LLM2Vec-Sheared-LLaMA-mntp

项目介绍：LLM2Vec-Sheared-LLaMA-mntp

LLM2Vec-Sheared-LLaMA-mntp是一个令人兴奋的项目，它展示了大型语言模型（Large Language Models, LLMs）作为强大文本编码器的潜力。这个项目的目标是将通常用于生成文本的解码器转换为能够进行文本编码的模型。项目提供了一种简单的三步骤方案，实现这一目标：启用双向注意力机制、使用掩蔽的下一个词预测以及无监督对比学习。这些步骤让模型能够更有效地执行多种任务，如文本分类、信息检索及文本重排序等。

项目背景

LLM2Vec项目由McGill大学的NLP实验室发起，旨在充分利用大型语言模型的能力进行文本编码。在传统上，这类模型倾向于文本生成任务，而LLM2Vec通过其独特的三步骤方法，使其能在多种文本理解任务中表现出色，这是该项目的独到之处。

主要特性

• 双向注意力机制：模式启用了双向注意力，使模型能够同时关注上下文中的所有单词，而非仅关注前序或后序。
• 掩蔽的下一个词预测：通过掩蔽句子中的某些词，然后预测这些词的方式进行训练，这种方式让模型学习更丰富的语义信息。
• 无监督对比学习：这一技术帮助模型在没有标注数据的情况下学习文本间的相似度，从而提高模型的性能。

使用方法

使用这个项目十分简单，只需要几个步骤即可开始：

1. 安装及引入库

   首先，通过pip安装llm2vec库：

   pip install llm2vec

2. 加载模型

   使用transformers库中的AutoTokenizer和AutoModel加载LLM2Vec模型：

   from llm2vec import LLM2Vec
   from transformers import AutoTokenizer, AutoModel, AutoConfig
   from peft import PeftModel
   
   tokenizer = AutoTokenizer.from_pretrained("McGill-NLP/LLM2Vec-Sheared-LLaMA-mntp")
   config = AutoConfig.from_pretrained("McGill-NLP/LLM2Vec-Sheared-LLaMA-mntp", trust_remote_code=True)
   model = AutoModel.from_pretrained("McGill-NLP/LLM2Vec-Sheared-LLaMA-mntp", trust_remote_code=True, config=config)

3. 文本编码

   使用LLM2Vec类提供的编码功能，将查询和文档转变为可用于相似度计算的嵌入向量：

   l2v = LLM2Vec(model, tokenizer, pooling_mode="mean", max_length=512)
   
   queries = [["Given a web search query, retrieve relevant passages that answer the query:", "how much protein should a female eat"],
              ["Given a web search query, retrieve relevant passages that answer the query:", "summit define"]]
   q_reps = l2v.encode(queries)
   
   documents = ["As a general guideline, the CDC's average requirement of protein for women ages 19 to 70 is 46 grams per day.", "Definition of summit for English Language Learners."]
   d_reps = l2v.encode(documents)

4. 计算相似度

   计算查询和文档之间的余弦相似度：

   import torch
   q_reps_norm = torch.nn.functional.normalize(q_reps, p=2, dim=1)
   d_reps_norm = torch.nn.functional.normalize(d_reps, p=2, dim=1)
   cos_sim = torch.mm(q_reps_norm, d_reps_norm.transpose(0, 1))
   print(cos_sim)

应用领域

这一强大的文本编码器能够应用于多种领域，包括句子相似性分析、信息检索、文本质量评估及文本聚类等，这些应用场景在自然语言处理领域中极具价值。

项目信息

如果对该项目有任何疑问，可以联系到以下人员：

• Parishad Behnamghader (parishad.behnamghader@mila.quebec)
• Vaibhav Adlakha (vaibhav.adlakha@mila.quebec)

LLM2Vec为利用大型语言模型的能力提供了一种简单而有效的方式，极大地提升了文本编码任务的准确性和效率。