Easy-Translate

<p align="center"> <br> <img src="https://yellow-cdn.veclightyear.com/0a4dffa0/974c9a03-645e-4a64-844a-5357798e1c48.png" width="900"/> <br> <a href="https://twitter.com/intent/tweet?text=Wow:&url=https%3A%2F%2Fgithub.com%2Fikergarcia1996%2FEasy-Translate"><img alt="Twitter" src="https://img.shields.io/twitter/url?style=social&url=https%3A%2F%2Fgithub.com%2Fikergarcia1996%2FEasy-Translate"></a> <a href="https://github.com/ikergarcia1996/Easy-Translate/blob/main/LICENSE.md"><img alt="License" src="https://img.shields.io/github/license/ikergarcia1996/Easy-Translate"></a> <a href="https://huggingface.co/docs/transformers/index"><img alt="Transformers" src="https://img.shields.io/badge/-%F0%9F%A4%97Transformers%20-grey"></a> <a href="https://huggingface.co/docs/accelerate/index/"><img alt="Accelerate" src="https://img.shields.io/badge/-%F0%9F%A4%97Accelerate%20-grey"></a> <a href="https://ikergarcia1996.github.io/Iker-Garcia-Ferrero/"><img alt="Author" src="https://img.shields.io/badge/Author-Iker García Ferrero-ff69b4"></a> <br> <br> </p>

Easy-Translate是一个用于通过💥单一命令💥翻译大型文本文件的脚本。Easy-Translate旨在为初学者尽可能简单，同时为高级用户提供无缝和可定制的体验。 我们支持几乎所有模型，包括M2M100、 NLLB200、SeamlessM4T、 LLaMA、 Bloom等🥳。 我们还提供了一个脚本用于轻松评估您的翻译结果📋

Easy-Translate基于🤗HuggingFace的Transformers和🤗HuggingFace的Accelerate库构建。

我们目前支持：

• CPU / 多CPU / GPU / 多GPU / TPU加速
• BF16 / FP16 / FP32 / 8位 / 4位精度
• 自动批量大小查找器：忘记CUDA OOM错误。设置初始批量大小，如果不适合，我们将自动调整
• 多种解码策略：贪婪搜索、束搜索、Top-K采样、Top-p（核）采样等。更多信息请参见解码策略
• 在单个GPU上加载大型模型，支持8位/4位量化以及在GPU和CPU之间拆分模型。更多信息请参见加载大型模型
• 支持LoRA模型
• 支持HuggingFace's Hub上的任何Seq2SeqLM或CausalLM模型
• 支持提示！更多信息请参见提示
• :new: 新增对SeamlessM4T的支持！

在此处测试🔌在线演示：https://huggingface.co/spaces/Iker/Translate-100-languages

支持的模型

💥 EasyTranslate现在支持来自🤗 Hugging Face's Hub的任何Seq2SeqLM（m2m100、nllb200、SeamlessM4T、small100、mbart、MarianMT、T5、FlanT5等）和任何CausalLM（GPT2、LLaMA、Vicuna、Falcon等）模型！！ 我们仍然建议您使用M2M100、NLLB200或SeamlessM4T以获得最佳结果，但您可以尝试任何其他MT模型，以及提示LLM生成翻译（更多详情请参见提示部分）。 您还可以查看示例文件夹，了解如何使用不同模型的EasyTranslate示例。

M2M100

M2M100是一个多语言编码器-解码器（序列到序列）模型，用于多对多多语言翻译，在这篇论文中介绍，并首次在这个仓库中发布。

M2M100可以直接在100种语言的9,900个方向之间进行翻译。

• Facebook/m2m100_418M: https://huggingface.co/facebook/m2m100_418M

• Facebook/m2m100_1.2B: https://huggingface.co/facebook/m2m100_1.2B

• Facebook/m2m100_12B: https://huggingface.co/facebook/m2m100-12B-avg-5-ckpt

NLLB200

**No Language Left Behind (NLLB)**开源了能够直接在200多种语言之间提供高质量翻译的模型——包括阿斯图里亚斯语、卢干达语、乌尔都语等低资源语言。它旨在帮助人们与任何人、任何地方进行交流，无论他们的语言偏好如何。它在这篇论文中介绍，并首次在这个仓库中发布。

NLLB可以直接在200多种语言的40,000多个方向之间进行翻译。

• facebook/nllb-moe-54b: https://huggingface.co/facebook/nllb-moe-54b（需要transformers 4.28.0）

• facebook/nllb-200-3.3B: https://huggingface.co/facebook/nllb-200-3.3B

• facebook/nllb-200-1.3B：https://huggingface.co/facebook/nllb-200-1.3B

• facebook/nllb-200-distilled-1.3B：https://huggingface.co/facebook/nllb-200-distilled-1.3B

• facebook/nllb-200-distilled-600M：https://huggingface.co/facebook/nllb-200-distilled-600M

SeamlessM4T

SeamlessM4T是一系列旨在提供高质量翻译的模型，使不同语言社区的人们能够通过语音和文本轻松交流。它在这篇论文中被介绍，并首次在这个仓库中发布。

SeamlessM4T可以直接在196种语言之间进行文本输入/输出的翻译。

• facebook/hf-seamless-m4t-medium：https://huggingface.co/facebook/hf-seamless-m4t-medium（需要transformers 4.35.0）

• facebook/hf-seamless-m4t-large：https://huggingface.co/facebook/hf-seamless-m4t-large（需要transformers 4.35.0）

支持的其他机器翻译模型

我们支持🤗 Hugging Face's Hub中的所有机器翻译模型。如果您发现某个模型不工作，请为我们开一个issue以修复它，或者提交一个带有修复的PR。这包括但不限于以下模型：

• Small100：https://huggingface.co/alirezamsh/small100
• Mbart多对多/多对一：https://huggingface.co/facebook/mbart-large-50-many-to-many-mmt
• Opus MT：https://huggingface.co/Helsinki-NLP/opus-mt-es-en

查看支持的语言表以了解支持的语言及其ID。

引用

如果您使用此软件，请引用

@inproceedings{garcia-ferrero-etal-2022-model,
    title = "Model and Data Transfer for Cross-Lingual Sequence Labelling in Zero-Resource Settings",
    author = "Garc{\'\i}a-Ferrero, Iker  and
      Agerri, Rodrigo  and
      Rigau, German",
    booktitle = "Findings of the Association for Computational Linguistics: EMNLP 2022",
    month = dec,
    year = "2022",
    address = "Abu Dhabi, United Arab Emirates",
    publisher = "Association for Computational Linguistics",
    url = "https://aclanthology.org/2022.findings-emnlp.478",
    pages = "6403--6416",
}

要求

Pytorch >= 1.10.0 
参见：https://pytorch.org/get-started/locally/

Accelerate >= 0.12.0
pip install accelerate

HuggingFace Transformers 
如果您计划使用NLLB200，请使用 >= 4.28.0，因为在此版本中修复了一个重要的bug。
如果您计划使用SeamlessM4T，请使用 >= 4.35.0。
pip install --upgrade transformers

BitsAndBytes（可选，8位/4位量化需要）
pip install bitsandbytes

PEFT（可选，加载LoRA模型需要）
pip install peft

翻译文件

运行python translate.py -h以获取更多信息。 查看examples文件夹以了解如何运行不同模型的示例。

使用单个CPU/GPU

python3 translate.py \
--sentences_path sample_text/en.txt \
--output_path sample_text/en2es.translation.m2m100_1.2B.txt \
--source_lang en \
--target_lang es \
--model_name facebook/m2m100_1.2B

如果您想翻译目录中的所有文件，请使用--sentences_dir标志而不是--sentences_path。

# 我们使用--files_extension txt来仅翻译具有此扩展名的文件。
# 使用空字符串来翻译目录中的所有文件

python3 translate.py \
--sentences_dir sample_text/ \
--output_path sample_text/translations \
--files_extension txt \
--source_lang en \
--target_lang es \
--model_name facebook/m2m100_1.2B

多GPU

有关更多信息（多节点、TPU、分片模型等），请参见Accelerate文档：https://huggingface.co/docs/accelerate/index
您可以使用Accelerate CLI来配置Accelerate环境（在终端中运行accelerate config），而不是使用--multi_gpu和--num_processes标志。

# 使用2个GPU
accelerate launch --multi_gpu --num_processes 2 --num_machines 1 translate.py \
--sentences_path sample_text/en.txt \
--output_path sample_text/en2es.translation.m2m100_1.2B.txt \
--source_lang en \
--target_lang es \
--model_name facebook/m2m100_1.2B

自动批处理大小查找器

我们将自动找到适合您GPU内存的批处理大小。默认的初始批处理大小为128（您可以使用--starting_batch_size 128标志设置）。如果我们发现内存不足错误，我们将自动减小批处理大小，直到找到一个可行的大小。

加载巨大模型

像LLaMA 65B或nllb-moe-54b这样的巨大模型可以在单个GPU上以8位和4位量化加载，性能下降最小。 参见BitsAndBytes。使用--precision标志将精度设置为8或4。

pip install bitsandbytes

python3 translate.py \
--sentences_path sample_text/en.txt \
--output_path sample_text/en2es.translation.nllb200-moe-54B.txt \
--source_lang eng_Latn \
--target_lang spa_Latn \
--model_name facebook/nllb-moe-54b \
--precision 8 \
--force_auto_device_map \
--starting_batch_size 8

如果即使是量化后的模型也不适合您的GPU内存，您可以设置--force_auto_device_map标志。 模型将在GPU和CPU之间分割以适应内存。CPU卸载速度较慢，但可以让您运行不适合GPU内存的巨大模型。

提示

你可以使用LLaMA、Vicuna、GPT2、FlanT5等LLM模型,而不是使用专门的翻译模型。这些模型需要一个提示来定义任务。你可以在输入文件中已经包含提示(每个句子都包含提示),或者使用--prompt标志为每个句子添加提示。在这种情况下,你需要在提示中包含%%SENTENCE%%标记。这个标记将被替换为要翻译的句子。在这种情况下,你不需要指定--source_lang和--target_lang标志。

python3 translate.py \
--sentences_path sample_text/en.txt \
--output_path sample_text/en2es.FlanT5.translation.txt \
--model_name google/flan-t5-large \
--prompt "将英语翻译成西班牙语: %%SENTENCE%%"

解码/采样策略

你可以选择使用的解码/采样策略,以及为每个输入句子输出的候选翻译数量。默认情况下,我们将使用波束搜索,num_beams设置为5,并输出最可能的候选翻译。这应该是大多数用例的最佳配置。你可以使用以下标志更改此行为:

--num_beams: 用于波束搜索解码的波束数(默认:5)
--do_sample: 是否使用采样而不是波束搜索解码(默认:False)
--temperature: 采样温度(默认:0.8)
--top_k: Top k采样(默认:100)
--top_p: Top p采样(默认:0.75)
--repetition_penalty: 重复惩罚(默认:1.0)
--keep_special_tokens: 是否保留特殊标记(默认:False)
--keep_tokenization_spaces: 是否保留分词空格(默认:False)
--num_return_sequences: 为每个输入句子输出的候选翻译数量(默认:1)

请注意,在使用--do_sample时,如果--num_beams > 1并且使用8位或4位量化,可能会出现数值不稳定并产生错误。

评估翻译

要运行评估脚本,你需要安装bert_score: pip install bert_score和🤗HuggingFace的Evaluate模型: pip install evaluate。

评估脚本将计算以下指标:

• SacreBLEU
• BLEU
• ROUGE
• METEOR
• TER
• BertScore

运行以下命令来评估翻译:

python3 eval.py \
--pred_path sample_text/en2es.translation.m2m100_1.2B.txt \
--gold_path sample_text/es.txt 

如果你想将结果保存到文件中,请使用--output_path标志。

查看sample_text/en2es.m2m100_1.2B.json以获取示例输出。