Farfalle - 开源AI搜索引擎入门指南与项目介绍

Farfalle是一个令人兴奋的开源AI搜索引擎项目,它允许用户自托管并使用本地或云端的大语言模型(LLMs)。本文将为您详细介绍Farfalle项目,包括其主要功能、技术栈、部署方法以及使用指南。

项目概述

Farfalle是一个类似Perplexity的AI驱动搜索引擎。它支持运行本地LLM模型(如llama3、gemma、mistral、phi3等),也可以通过LiteLLM使用自定义LLM,或者使用云端模型(如Groq/Llama3、OpenAI/gpt4等)。

Farfalle搜索界面

主要特性

支持多种搜索提供商(Tavily、Searxng、Serper、Bing)
可使用云端模型(OpenAI/gpt4、OpenAI/gpt3.5-turbo、Groq/Llama3)回答问题
支持本地模型(llama3、mistral、gemma、phi3)
通过LiteLLM支持自定义LLM
使用智能代理规划和执行搜索,以获得更好的结果

技术栈

Farfalle采用了现代化的技术栈:

前端:Next.js
后端:FastAPI
搜索API:SearXNG, Tavily, Serper, Bing
日志:Logfire
限流:Redis
UI组件:shadcn/ui

快速开始

要在本地运行Farfalle,您需要:

安装Docker
安装Ollama(如果运行本地模型)
获取所需的API密钥(Tavily, Serper, OpenAI, Bing, Groq等)

然后按以下步骤操作:

git clone https://github.com/rashadphz/farfalle.git
cd farfalle && cp .env-template .env
# 修改.env文件,添加API密钥
docker-compose -f docker-compose.dev.yaml up -d

完成后访问http://localhost:3000即可使用Farfalle。

部署

Farfalle提供了便捷的部署选项:

后端:可一键部署到Render
前端:可一键部署到Vercel

详细的部署说明请参考项目README。

将Farfalle设为默认搜索引擎

要将Farfalle设置为浏览器的默认搜索引擎,请按以下步骤操作:

访问浏览器设置
进入"搜索引擎"设置
创建新的搜索引擎,使用URL:http://localhost:3000/?q=%s
添加该搜索引擎

结语

Farfalle为用户提供了一个强大而灵活的AI搜索引擎解决方案。无论您是想要使用本地LLM模型,还是希望利用云端的强大算力,Farfalle都能满足您的需求。我们期待看到更多开发者参与到这个激动人心的项目中来,共同推动AI搜索技术的发展。

如果您对Farfalle项目感兴趣,欢迎访问GitHub仓库了解更多信息,或者直接在farfalle.dev体验在线demo。

Farfalle - 开源AI搜索引擎入门指南与项目介绍