InsTag：LLM监督微调中数据分析工具

我们推出了一个名为InsTag的工具，用于分析符合人类偏好的LLM监督微调(SFT)数据。对于本地标注部署，我们发布了基于InsTag结果微调的InsTagger，用于标注SFT数据中的查询。

通过标签范围，我们从开源SFT数据中采样了6K子集来微调LLaMA和LLaMA-2，微调后的模型TagLM-13B-v1.0和TagLM-13B-v2.0在MT-Bench上的表现优于许多开源LLM。

🤗 <a href="https://huggingface.co/OFA-Sys/InsTagger" target="_blank">InsTagger 检查点</a> • 👉 <a href="https://www.modelscope.cn/studios/lukeminglkm/instagger_demo/summary" target="_blank">在线LocalTagger演示</a> • 📖 <a href="https://arxiv.org/pdf/2308.07074.pdf" target="_blank">论文</a> 🤖️ <a href="https://huggingface.co/OFA-Sys/TagLM-13b-v1.0" target="_blank">TagLM-13B-v1.0 检查点</a> 🤖️ <a href="https://huggingface.co/OFA-Sys/TagLM-13b-v2.0" target="_blank">TagLM-13B-v2.0 检查点</a>

什么是InsTag？

基础语言模型通过监督微调(SFT)获得指令跟随能力。多样性和复杂性被认为是成功SFT数据集的关键因素，但它们的定义仍然模糊，缺乏定量分析。在本研究中，我们提出了InsTag，一个开放集细粒度标注器，基于语义和意图对SFT数据集中的样本进行标注，并根据标签定义指令多样性和复杂性。我们获得了6.6K个标签来描述全面的用户查询。我们分析了流行的开源SFT数据集，发现模型能力随着更多样和复杂的数据而增长。基于这一观察，我们提出了一个基于InsTag的数据选择器，从开源数据集中选择6K个多样化和复杂的样本，并在InsTag选择的数据上微调模型。这些模型在MT-Bench评估中表现优于基于大得多的SFT数据的开源模型，印证了查询多样性和复杂性的重要性。

新闻

[2023年8月] 🔥 我们在ModelScope上有InsTagger的在线演示。请参考顶部的链接。感谢ModelScope！
[2023年8月] 🔥 我们发布了基于LLaMA和LLaMA-2的对齐LLM TagLM-13B-v1.0和TagLM-13B-v2.0。两者都是在根据InsTag子采样的SFT数据上微调的。下载 v1.0 和 [v2.0](.
[2023年8月] 🔥 我们发布了一个名为InsTagger的大语言模型，该模型在我们的标注结果上进行了微调，用于本地标注部署。下载权重。
[2023年8月] 🔥 我们推出了InsTag，这是我们的SFT数据分析工具。查看论文。

InsTagger

InsTagger是一个基于LLaMa-2的SFT模型，使用FastChat在vicuna模板下训练。你可以在HuggingFace模型仓库轻松下载权重，然后使用FastChat进行服务或推理。示例代码即将发布。

模型检查点

InsTagger用于本地查询标注：

InsTagger是一个标注用大语言模型，在InsTag对开源SFT数据的标注结果上进行了微调。该模型基于LLaMA-2的7B版本。

在下方下载模型检查点：

模型	检查点	精确匹配F1	基于语义的模糊匹配F1	许可证
LocalTagger	🤗 <a href="" target="_blank">HF链接</a>	31.8%	73.4%	<a href="https://ai.meta.com/resources/models-and-libraries/llama-downloads/" target="_blank">LLaMA 2许可证</a>

TagLM，在我们通过复杂度优先的多样性采样程序子采样的SFT数据上进行微调：

仅使用当前开源SFT数据集中的6k数据，TagLM在MT-Bench上的表现（使用GPT-4作为评判）就可以超越许多开源大语言模型。

在下方下载模型检查点：

模型	检查点	MT-Bench	许可证
TagLM-13B-v1.0	🤗 <a href="" target="_blank">HF仓库链接</a>	6.44	<a href="https://ai.meta.com/resources/models-and-libraries/llama-downloads/" target="_blank">LLaMA许可证</a>
TagLM-13B-v2.0	🤗 <a href="" target="_blank">HF仓库链接</a>	6.55	<a href="https://ai.meta.com/resources/models-and-libraries/llama-downloads/" target="_blank">LLaMA 2许可证</a>

所有模型均基于LLaMA或LLaMA-2，应按照其相应的许可证使用。所有模型都使用FastChat代码库进行微调，我们应用了Vicuna V1.1的系统模板。

引用

如果您发现本仓库有帮助，请引用我们的工作。

@misc{lu2023instag,
      title={#InsTag: Instruction Tagging for Analyzing Supervised Fine-tuning of Large Language Models}, 
      author={Keming Lu and Hongyi Yuan and Zheng Yuan and Runji Lin and Junyang Lin and Chuanqi Tan and Chang Zhou and Jingren Zhou},
      year={2023},
      eprint={2308.07074},
      archivePrefix={arXiv},
      primaryClass={cs.CL}
}