代码索引循环

代码索引循环是一个用于索引和检索代码片段的Python库。

它利用LlamaIndex库的实用索引工具和支持多种语言的tree-sitter库来解析多种流行编程语言的代码。tiktoken用于根据令牌数量调整检索大小，LangChain用于获取嵌入（默认使用OpenAI的text-embedding-ada-002）并将其存储在嵌入式ChromaDB向量数据库中。watchdog用于根据文件系统事件持续更新索引。

阅读发布博文了解我们为什么要构建这个项目的更多详情！

安装：

使用pip从PyPI安装代码索引循环。

pip install code-indexer-loop

使用方法：

导入必要的模块：

from code_indexer_loop.api import CodeIndexer

创建一个CodeIndexer对象并让它监视变化：

indexer = CodeIndexer(src_dir="path/to/code/", watch=True)

使用.query执行搜索查询：

query = "pandas"
print(indexer.query(query)[0:30])

注意：确保设置了OPENAI_API_KEY环境变量。这是生成嵌入所必需的。

你还可以使用indexer.query_nodes获取查询的节点，或使用indexer.query_documents接收完整的源代码文件。

请注意，如果你编辑了src_dir中的任何源代码文件，它会使用watchdog和基于md5的缓存机制高效地重新索引这些文件。这确保每次查询索引时都能得到最新的嵌入。

示例

查看basic_usage笔记本，快速了解API的使用。

令牌限制

你可以通过CodeIndexer构造函数配置块的令牌限制：

indexer = CodeIndexer(
    src_dir="path/to/code/", watch=True,
    target_chunk_tokens = 300,
    max_chunk_tokens = 1000,
    enforce_max_chunk_tokens = False,
    coalesce = 50
    token_model = "gpt-4"
)

注意，你可以选择是否强制执行max_chunk_tokens。如果强制执行，在没有语义解析能够遵守max_chunk_tokens的情况下，它将引发异常。

coalesce参数控制将较小的块合并为单个块的限制，以避免产生许多非常小的块。coalesce的单位也是令牌。

tree-sitter

使用tree-sitter进行解析，块只在源文件中有效的节点级字符串位置处断开。这避免了破坏函数和类定义等结构。

支持的语言：

C, C++, C#, Go, Haskell, Java, Julia, JavaScript, PHP, Python, Ruby, Rust, Scala, Swift, SQL, TypeScript

注意，我们主要测试Python支持。使用其他语言时请自行承担风险。

贡献

欢迎提交拉取请求。请确保适当更新测试。使用dev依赖项中提供的工具来维护代码标准。

测试

在根目录中调用pytest运行单元测试。

许可证

请查看源代码提供的LICENSE文件。

致谢

我们要感谢Sweep AI公开他们关于代码分块的想法。阅读他们关于这个主题的博客文章这里和这里。code_indexer_loop中的实现是从他们的原始实现修改而来，主要是基于令牌而不是字符来限制，并实现完美的文档重构（"".join(chunks) == original_source_code）。