Nosey Parker: 在文本数据中寻找秘密信息

概述

Nosey Parker 是一个命令行工具,用于在文本数据中查找秘密和敏感信息。它对攻击性和防御性安全测试都很有用。

主要特点:

可以原生扫描文件、目录和Git仓库历史
使用正则表达式匹配,基于经验和攻击性安全项目的反馈选择了144个高信噪比的模式
对发现进行去重,将共享相同密钥的匹配分组,在实践中可以将审查工作量减少100倍或更多
速度快:在单核上可以以每秒数百兆字节的速度扫描,能够在较旧的MacBook Pro上不到2分钟内扫描100GB的Linux内核源代码历史
可扩展:在安全项目中扫描过高达20TiB的输入

Nosey Parker的内部版本在Praetorian的数百次攻击性安全项目中发现了秘密信息。内部版本具有额外的误报抑制功能和基于机器学习的无规则检测引擎。更多信息请阅读博客文章。

安装

Homebrew公式

Nosey Parker可以通过Homebrew安装:

$ brew install noseyparker

预构建二进制文件

x86_64 Linux和x86_64/aarch64 macOS的预构建二进制文件可在最新发布页面获取。这是一种简单的入门方式,性能也很好。

Docker镜像

最新发布版本的多平台Docker镜像适用于x86_64和aarch64:

$ docker pull ghcr.io/praetorian-inc/noseyparker:latest

最新提交的多平台Docker镜像适用于x86_64和aarch64:

$ docker pull ghcr.io/praetorian-inc/noseyparker:main

最新发布版本的基于Alpine的多平台Docker镜像适用于x86_64和aarch64:

$ docker pull ghcr.io/praetorian-inc/noseyparker-alpine:latest

最新提交的基于Alpine的多平台Docker镜像适用于x86_64和aarch64:

$ docker pull ghcr.io/praetorian-inc/noseyparker-alpine:main

注意: Docker镜像运行速度明显慢于原生二进制文件,尤其是在macOS上。

</details>

Arch Linux软件包

Nosey Parker可在Arch用户仓库中获取。

Windows

Nosey Parker目前不提供Windows原生二进制文件。可以使用WSL1和原生Linux版本在Windows上运行。

从源代码构建

1. 安装先决条件

这已在x86_64上的多个Ubuntu Linux版本和x86_64/aarch64上的macOS上测试过。

必需的依赖项:

cargo: 推荐方法:从https://rustup.rs安装
cmake: 用于构建vectorscan-sys crate和其他一些依赖项
boost: 用于构建vectorscan-sys crate (支持的版本>=1.57)
git: 用于将版本信息嵌入noseyparker CLI
patch: 用于构建vectorscan-sys crate
pkg-config: 用于构建vectorscan-sys crate
sha256sum: 用于计算摘要(通常由coreutils包提供)
zsh: 用于构建脚本

2. 使用`create-release.zsh`脚本构建

$ rm -rf release && ./scripts/create-release.zsh

如果成功,这将在release目录生成包含发布工件的目录结构。命令行程序将位于release/bin/noseyparker。

</details>

使用方法

概述

Nosey Parker本质上是一个用于检测秘密的专用grep类工具。典型的工作流程分为三个阶段:

使用scan命令扫描感兴趣的输入
使用report命令报告扫描结果详情
审查和分类发现

扫描和报告步骤被实现为单独的命令,因为您可能希望从一次昂贵的扫描运行中生成多个报告。

获取帮助

不带参数运行noseyparker二进制文件会打印顶级帮助并退出。您可以通过运行noseyparker COMMAND -h获取特定命令的简略帮助。更详细的帮助可通过help命令或长格式的--help选项获得。

预构建的发布版本还包括将命令行帮助收集在一处的手册页。这些手册页转换为Markdown格式也包含在存储库中。

如果您有文档中未回答的问题,请随时开始讨论。

术语和数据模型

数据存储

大多数Nosey Parker命令使用数据存储,这是Nosey Parker用来记录其发现并维护其内部状态的特殊目录。如果需要,scan命令会隐式创建数据存储。

二进制大对象

Nosey Parker扫描的每个输入称为二进制大对象,并有一个唯一的二进制大对象ID,这是以与git相同的方式计算的SHA-1摘要。

来源

每个二进制大对象都有一个或多个与之关联的来源条目。来源条目是描述输入如何被发现的元数据,例如文件系统上的文件或Git仓库历史中的条目。

规则

Nosey Parker是一个基于规则的系统,使用正则表达式。每个规则都有一个单一的模式,至少有一个捕获组将匹配内容与周围上下文隔离。您可以使用noseyparker rules list列出可用的规则。

规则集

规则的集合被组织成规则集。Nosey Parker的默认规则集包括检测似乎是硬编码秘密的规则。其他规则集也可用;您可以使用noseyparker rules list列出它们。

匹配

当规则的模式匹配输入时,它会产生一个匹配。匹配由规则、二进制大对象ID、起始字节偏移量和结束字节偏移量定义;这些字段用于确定唯一的匹配标识符。

发现

由同一规则产生并共享相同捕获组的匹配被分组为一个发现。换句话说,发现是一组匹配。这是Nosey Parker的顶级报告单位。

</details>

使用示例

注意:使用Docker时...

如果您使用Docker镜像,请将以下命令中的noseyparker替换为使用挂载卷的Docker调用:

docker run -v "$PWD":/scan ghcr.io/praetorian-inc/noseyparker:latest <参数>

Docker容器以/scan作为其工作目录运行,因此将$PWD挂载到容器中的/scan将使命令行调用中的tab补全和相对路径正常工作。

扫描输入以查找秘密

文件系统内容,包括本地Git仓库

显示Nosey Parker扫描文件系统以查找秘密的工作流的截图

Nosey Parker内置支持扫描文件、递归扫描目录和扫描Git仓库的整个历史。

例如,如果您在本地的cpython.git中有CPython的Git克隆,您可以使用scan命令扫描其整个历史。Nosey Parker将在np.cpython创建一个新的数据存储并将其发现保存在那里。(np.cpython这个名称并不重要;它可以是您想要的任何名称。)

$ noseyparker scan --datastore np.cpython cpython.git
找到28.30 GiB,来自18个普通文件和1个Git仓库的427,712个二进制大对象 [00:00:04]
扫描内容  ████████████████████ 100%  28.30 GiB/28.30 GiB  [00:00:53]
在54秒内扫描了427,730个二进制大对象的28.30 GiB (538.46 MiB/s); 4,904/4,904个新匹配

 规则                       不同组数   总匹配数
───────────────────────────────────────────────────────
 PEM编码私钥                   1,076      1,192
 通用秘密                        331        478
 netrc凭据                       42      3,201
 通用API密钥                       2         31
 md5crypt哈希                      1          2

接下来运行`report`命令以显示发现详情。

</details>

给定URL、GitHub用户名或GitHub组织名称的Git仓库

Nosey Parker还可以扫描尚未克隆到本地文件系统的Git仓库。scan命令的--git-url URL、--github-user NAME和--github-org NAME选项允许您指定感兴趣的仓库。

例如,要扫描Nosey Parker仓库本身:

$ noseyparker scan --datastore np.noseyparker --git-url https://github.com/praetorian-inc/noseyparker

例如,要扫描属于octocat的可访问仓库:

$ noseyparker scan --datastore np.noseyparker --github-user octocat

如果NP_GITHUB_TOKEN环境变量中有可用的GitHub令牌,这些输入指定符将使用它。提供访问令牌会提高API速率限制,并可能使您可以访问更多仓库。

有关更多详细信息,请参阅noseyparker help scan。

</details>

报告发现

要查看Nosey Parker发现的详细信息,请使用report命令。这会打印出一个为人类消费设计的基于文本的报告:

$ noseyparker report --datastore np.cpython
发现1/1452: 通用API密钥
匹配: QTP4LAknlFml0NuPAbCdtvH4KQaokiQE
显示3/29个出现:

    出现1:
    Git仓库: clones/cpython.git
    二进制大对象: 04144ceb957f550327637878dd99bb4734282d07
    行: 70:61-70:100

        e buildbottest

        notifications:
          email: false
          webhooks:
            urls:
              - https://python.zulipchat.com/api/v1/external/travis?api_key=QTP4LAknlFml0NuPAbCdtvH4KQaokiQE&stream=core%2Ftest+runs
            on_success: change
            on_failure: always
          irc:
            channels:
              # This is set to a secure vari

    出现2:
    Git仓库: clones/cpython.git
    二进制大对象: 0e24bae141ae2b48b23ef479a5398089847200b3
    行: 174:61-174:100

        j4 -uall,-cpu"

        notifications:
          email: false
          webhooks:
            urls:
              - https://python.zulipchat.com/api/v1/external/travis?api_key=QTP4LAknlFml0NuPAbCdtvH4KQaokiQE&stream=core%2Ftest+runs
            on_success: change
            on_failure: always
          irc:
            channels:
              # This is set to a secure vari
...

（注：以上发现是合成的，无效的秘密。）支持其他输出格式，包括JSON、JSON行和SARIF（实验性），通过--format=FORMAT选项。

人类可读的文本格式

显示Nosey Parker以人类可读格式呈现其发现的工作流程的截图

JSON格式

显示Nosey Parker以JSON格式呈现其发现的工作流程的截图

总结发现

Nosey Parker在完成扫描时会打印出发现的摘要。你也可以单独运行这一步骤：

$ noseyparker summarize --datastore np.cpython

 规则                      不同组数   总匹配数
───────────────────────────────────────────────────────────
 PEM编码私钥                 1,076           1,192
 通用秘密                      331             478
 netrc凭证                      42           3,201
 通用API密钥                      2              31
 md5crypt哈希                     1               2

支持其他输出格式，包括JSON和JSON行，通过--format=FORMAT选项。

从GitHub枚举仓库

要列出属于GitHub用户或组织的仓库URL，使用github repos list命令。此命令使用GitHub REST API枚举属于一个或多个用户或组织的仓库。例如：

$ noseyparker github repos list --user octocat
https://github.com/octocat/Hello-World.git
https://github.com/octocat/Spoon-Knife.git
https://github.com/octocat/boysenberry-repo-1.git
https://github.com/octocat/git-consortium.git
https://github.com/octocat/hello-worId.git
https://github.com/octocat/linguist.git
https://github.com/octocat/octocat.github.io.git
https://github.com/octocat/test-repo1.git

可以通过NP_GITHUB_TOKEN环境变量提供可选的GitHub个人访问令牌。提供访问令牌可以获得更高的API速率限制，并可能使你能够访问更多仓库。

支持其他输出格式，包括JSON和JSON行，通过--format=FORMAT选项。

有关更多详细信息，请参阅noseyparker help github。