reader-lm-1.5b

项目简介

reader-lm-1.5b项目是由Jina AI开发的一个多语言文本生成模型系列中的一员，主要用于将HTML内容转换为Markdown格式。这种转换对于内容转换任务尤其有用。该模型是在一个精心挑选的HTML内容及其对应的Markdown内容集上进行训练的，从而能够实现高效的文本格式转换。

模型概述

reader-lm-1.5b是Jina Reader-LM系列中的一个重要模型。这个系列的模型主要设计用于将HTML内容转换为Markdown格式，适用于各种内容转换任务。模型提供了不同大小和上下文长度的版本，以满足多样化的需求。具体来说，reader-lm-1.5b具有256K的上下文长度，并可供用户在Hugging Face上下载。

如何开始使用

在Google Colab上使用

使用reader-lm的最简单办法是运行Jina AI提供的Colab示例笔记本。在这个笔记本中，用户可以学习如何使用reader-lm-1.5b将HackerNews网站内容转换为Markdown格式。这个笔记本经过优化，可在Google Colab的免费T4 GPU上顺畅运行。此外，用户还可以切换使用reader-lm-0.5b或更改网址，以探索不同网站内容转换的效果。需要注意的是，输入给模型的内容是未经处理的原始HTML，并不需要额外的前缀指令。

本地环境使用

要在本地使用该模型，需要首先安装transformers库。安装完成后，可以参考以下代码实例，将HTML内容转换为Markdown格式：

pip install transformers<=4.43.4

接下来，使用Python代码示例：

from transformers import AutoModelForCausalLM, AutoTokenizer
checkpoint = "jinaai/reader-lm-1.5b"

device = "cuda" # 使用GPU或改为"cpu"使用CPU
tokenizer = AutoTokenizer.from_pretrained(checkpoint)
model = AutoModelForCausalLM.from_pretrained(checkpoint).to(device)

# 示例HTML内容
html_content = "<html><body><h1>Hello, world!</h1></body></html>"

messages = [{"role": "user", "content": html_content}]
input_text=tokenizer.apply_chat_template(messages, tokenize=False)

print(input_text)

inputs = tokenizer.encode(input_text, return_tensors="pt").to(device)
outputs = model.generate(inputs, max_new_tokens=1024, temperature=0, do_sample=False, repetition_penalty=1.08)

print(tokenizer.decode(outputs[0]))