<a href="https://colab.research.google.com/github/jermwatt/meme_search/blob/main/meme_search_walkthrough.ipynb" target="_parent"><img src="https://yellow-cdn.veclightyear.com/0a4dffa0/0b72b2b1-6d90-43d4-99ea-ac59d55218cc.svg" alt="在Colab中打开"/></a> <a href="https://www.youtube.com/watch?v=P1k1EGvoJIg" target="_parent"><img src="https://yellow-cdn.veclightyear.com/0a4dffa0/0fe4e10a-b074-4748-acf5-28f8e2bca9c1.svg" alt="Youtube"/></a>

表情包搜索应用、演示和教程

使用Python和人工智能对你的表情包进行内容和文本索引，让你在表情包大战中轻松检索所需素材。

<p align="center"> <img align="center" src="https://yellow-cdn.veclightyear.com/0a4dffa0/a687f39b-5c05-4ca1-8a0c-c133ec3bfb86.gif" height="325"> </p>

本README的目录如下：

• 简介
• 安装说明
• 流程概览
• 启动Streamlit服务器
• 索引你自己的表情包
• 更新日志
• 功能请求和贡献
• 运行测试

简介

本仓库包含代码、教程笔记本（meme_search_walkthrough.ipynb）和Streamlit演示应用，用于索引、搜索和轻松检索基于语义搜索的表情包内容和文本。

所有处理过程 - 从图像到文本提取、向量嵌入到搜索 - 都在本地完成。

流程概览

这个表情包搜索流程使用以下开源组件构建：

• moondream：一个小巧但强大的视觉语言模型，用于图像说明/提取图像文本
• all-MiniLM-L6-v2：一个非常流行的文本嵌入模型
• faiss：一个快速高效的向量数据库
• sqlite：史上最伟大的数据库，用于数据索引
• streamlit：用于提供应用服务

安装说明

要为你自己的表情包创建一个方便的工具，请拉取仓库并安装requirements文件

pip install -r requirements.txt

请注意，这里特定版本的要求是为了避免目前与sentence-transformers有关的严重分段错误截至2024年6月5日。

或者，你可以使用仓库中的compose文件通过docker安装所需的所有要求。使用docker-compose安装上述要求并启动服务器的命令是

docker compose up

启动Streamlit服务器

索引你的表情包后，你可以启动Streamlit应用，让你能够语义搜索并检索你的表情包

python -m streamlit run meme_search/app.py

要通过docker-compose启动应用，请使用

docker compose up

注意：你可以直接从Streamlit应用中拖放任何检索到的表情包到你选择的任何消息应用中。

索引你自己的表情包

将你想为搜索应用索引的任何图像/表情包放在这个仓库的子目录中

data/input/

你可以先清除此位置的默认测试图像，或者保留它们。

接下来，点击"刷新索引"按钮来更新你的索引，当图像被添加或从图像目录中删除时，只会影响新添加或删除的图像。

<p align="center"> <img align="center" src="https://yellow-cdn.veclightyear.com/0a4dffa0/6a9f5bcb-c2f2-4e2e-b21b-c35951e31842.gif" height="200"> </p>

或者，在你的终端中粘贴以下命令

python meme_search/utilities/create.py

如果通过docker运行服务器，请使用

docker exec meme_search python meme_search/utilities/create.py

你将在终端看到打印输出，表示使你的表情包可搜索的3个主要阶段的成功。这些步骤是

1. 提取：使用小巧但强大的视觉语言模型moondream获取每个图像的文本描述，包括图像上任何文本的OCR

2. 嵌入：使用流行的嵌入模型sentence-transformers/all-MiniLM-L6-v2对每个图像的文本描述进行窗口处理和嵌入

3. 索引：在开源本地向量数据库faiss数据库中索引嵌入，并在史上最伟大的小型数据库sqlite中建立连接嵌入与其图像的引用

更新日志

表情包搜索正在积极开发中！查看本仓库中的CHANGELOG.md以了解最近的变更记录。

功能请求和贡献

欢迎功能请求和贡献！

查看本仓库的讨论区以了解建议的增强功能，你可以参与贡献或发表意见！

请查看CONTRIBUTING.md以了解贡献的一些基本规则。

运行测试

首先安装测试要求

pip install -r requirements.test

然后可以运行测试套件

python -m pytest tests/