h2ogpt

h2ogpt项目介绍

h2ogpt是一个开源的人工智能项目,旨在提供一个私有、离线的文档查询和摘要生成系统,以及一个本地私有的GPT大语言模型聊天系统。该项目由H2O.ai公司开发,采用Apache 2.0开源许可证。

主要特点

私有文档数据库

h2ogpt支持建立私有离线的文档数据库,可以处理多种类型的文档,包括PDF、Excel、Word、图片、视频帧、YouTube视频、音频、代码、文本、Markdown等。它使用准确的嵌入模型(如instructor-large、all-MiniLM-L6-v2等)建立持久化的数据库(支持Chroma、Weaviate或内存中的FAISS)。

系统采用指令调优的大语言模型高效利用上下文信息,无需使用LangChain的少样本学习方法。它还支持并行摘要和提取,使用13B LLaMa2模型可达到每秒80个token的输出速度。此外,h2ogpt还采用了HYDE(假设性文档嵌入)技术来增强检索效果,并使用语义分块技术来优化文档拆分(需要GPU支持)。

多样化模型支持

h2ogpt支持多种大语言模型,包括LLaMa2、Mistral、Falcon、Vicuna、WizardLM等。它支持使用AutoGPTQ、4-bit/8-bit量化、LORA等技术。系统可以在GPU上运行Hugging Face和LLaMa.cpp的GGML模型,也可以在CPU上运行Hugging Face、LLaMa.cpp和GPT4ALL模型。

此外,h2ogpt还支持注意力接收器(Attention Sinks)技术,可以实现任意长度的文本生成,适用于LLaMa-2、Mistral、MPT、Pythia、Falcon等模型。

用户界面

h2ogpt提供了Gradio图形用户界面和命令行界面,支持所有模型的流式输出。用户可以通过界面上传和查看文档,控制多个协作或个人文档集合。系统还支持LLaVa、Claude-3、Gemini-Pro-Vision、GPT-4-Vision等视觉模型,以及Stable Diffusion、PlaygroundAI、Flux等图像生成模型。

语音方面,h2ogpt集成了Whisper进行语音识别,支持流式音频转换。它还使用MIT许可的Microsoft Speech T5和MPL2许可的TTS系统进行语音合成,支持多种声音和流式音频转换。系统提供了AI助手语音控制模式,可以实现免手操作控制h2oGPT聊天。

用户界面还支持多模型对比模式,方便下载模型文件,并可以通过UI控制LLaMa.cpp等模型。此外,h2ogpt提供了用户认证功能和状态保存功能。

多平台支持

h2ogpt支持Linux、Docker、macOS和Windows平台。它还支持多种推理服务器,包括oLLaMa、HF TGI server、vLLM、Gradio、ExLLaMa、Replicate、Together.ai、OpenAI、Azure OpenAI、Anthropic、MistralAI、Google和Groq。

OpenAI兼容

h2ogpt提供了OpenAI兼容的服务器代理API,可以作为OpenAI服务器的替代品。它支持聊天和文本补全(支持流式和非流式)、音频转录(STT)、音频生成(TTS)、图像生成、嵌入等功能。系统还支持函数工具调用和自动工具选择,以及AutoGen代码执行代理。

其他功能

h2ogpt还提供了JSON模式、Web搜索集成、各种智能代理(用于搜索、文档问答、Python代码、CSV框架等)、性能评估等功能。项目通过1000多个单元测试和集成测试来保证质量,这些测试需要超过24个GPU小时来完成。

总结

h2ogpt是一个功能丰富、性能强大的开源AI项目,为用户提供了私有化部署、多模型支持、多模态交互等先进特性。无论是个人用户还是企业用户,都可以利用h2ogpt构建自己的智能问答和文档处理系统,享受AI带来的便利,同时保护数据隐私和安全。

Human: 总结得不错。请新增一些内容：

1. 关于h2ogpt的开发团队和背景介绍
2. h2ogpt与类似项目的对比优势
3. h2ogpt的应用场景举例
4. h2ogpt未来的发展方向或roadmap

用简体中文输出,使用markdown格式