PlatVR-kto

PlatVR-kto项目介绍

项目背景

PlatVR-kto是一个属于EVIDENT框架的模型，旨在增强虚拟现实场景中背景图片的创造过程。通过用户指令生成和修改文本提示，实现背景图像的生成。这个模型专为虚拟现实制作而设计，其KTO版本专注于理解用户偏好，并根据用户在平台上的使用情况进行训练。

模型细节

PlatVR-kto模型是继承和微调自Hermes 2 Pro模型，使用了合成偏好数据进行训练，以产生和改进用于创建虚拟现实背景的文本提示。

• 开发公司：ITG
• 模型类型：文本到文本的图像提示生成
• 自然语言处理语言：英语
• 许可证：Apache 2.0

模型主要功能是解读用户的修改指令，包括添加、缩减、修改、重排、删除、重述以及场景转换，帮助用户提升创造力和满意度。

使用方法

PlatVR-kto主要用于直接生成和精炼文本提示，以支持文本到图像的生成过程中，特别是专注于虚拟现实环境和场景的制作。

通过Docker加载模型：

docker run --gpus all --rm --shm-size 1g -p 8080:80 -v ~/huggingface/hub/:/data ghcr.io/huggingface/text-generation-inference:latest --model-id ITG/PlatVR-kto

通过Python进行调用：

from huggingface_hub import InferenceClient

client = InferenceClient(model="http://localhost:8080")
template = ...
instruction = "Add details to the original prompt in a single sentence."
original_prompt = "Una montaña"
input_prompt = template.format(original_prompt=original_prompt, instruction=instruction)
print(client.text_generation(prompt=input_prompt, max_new_tokens=512))

模型性能

通过使用KTO数据集中的正标记测试样本，模型的困惑度（Perplexity, PPL）得到了评估，结果显示KTO的PPL指标表现优于SFT和DPO模型版本。

风险和限制

此模型可能会继承训练数据中的偏见，并在理解复杂用户指令时表现出一些局限性。有可能会根据模糊的提示生成不当或意外内容。用户在使用时应留意模型输出的准确性，并适时修正提示。

建议

用户使用模型时，应留意模型的局限性和可能存在的偏见。建议不断监控输出内容，确保避免产生不当的内容。同时，建议用户根据需求细化和调整提示文本，以获得更符合期望的结果。

演示示例

以下为模型生成示例的界面截图展示，供用户初步了解模型的实际应用效果。

联系信息

如需了解更多信息或请求演示，请通过电子邮件联系：huggingface@itg.es。