fltr

fltr 项目介绍

fltr 是一个旨在解析自然语言问题的工具，可以被视为类比于 grep 的工具，但专注于自然语言的处理。它依托于强大的语言模型，例如 Mistral 7B 和 Mixtral 8x7B，来分析和输出符合特定语言条件的信息。

性能表现

fltr 在不同配置的硬件上表现各异，具体而言：

• Nvidia RTX 3070 (8GB 内存)

  • 对于 Mistral 7B，处理速度大约为每秒 52 词符。
  • 对于 Mixtral 8x7B，处理速度大约为每秒 28 词符。

• Intel I5-6500 (8GB 内存)

  • 对于 Mistral 7B，处理速度大约为每秒 5 词符。
  • 对于 Mixtral 8x7B，处理速度大约为每秒 2 词符。

这种差异体现了在不同硬件条件下，工具的性能可以有显著的提升或下降，这意味着在高性能显卡上体验最佳。

安装指南

fltr 提供了便捷的安装方式，适用于 Linux（x86_64）和 macOS（x86_64 和 arm64）。安装过程中，若系统已有支持 CUDA 12.1 的 Nvidia 驱动程序，则会安装 CUDA 版本，否则，安装 CPU 版本。用 Mixtral 8x7B 替换 Mistral 7B，可以选择安装稍大的数据包。这两种安装包的大小分别为约 7GB 和 48GB。

安装命令如下，用户可按需替换安装版本：

curl https://raw.githubusercontent.com/moritztng/fltr/main/install.sh -o install.sh && bash install.sh small && export PATH=$PATH:~/Fltr

使用 small 为 Mistral 7B 版本，若需安装 Mixtral 8x7B，则将其替换为 large。

快速入门

fltr 的使用方式也非常简单，只需要通过命令行运行相应的命令，即可实现自然语言问题的解析。例如，用户可以使用以下命令对电子邮件文件进行批量检查，判断其是否为垃圾邮件：

fltr --file emails.txt --prompt "Is the following email spam? Email:" --batch-size 32

在该示例中，--file 指定了需要分析的文件为 emails.txt，--prompt 后的文本表示问题格式，fltr 将返回所有符合条件（即给出“是”的答案）的行。

fltr 的开发设计目的是提供一种快速且高效的文本处理中自然语言问题解析能力，为用户带来便捷易用的体验。通过其强大的语言模型支持，fltr 能够在众多应用程序中找到广泛的应用价值。