timesearch

新闻 (2023年6月25日):

Pushshift的API目前已下线。没有时间戳搜索参数或Pushshift访问权限,timesearch无法获取历史数据。您可以继续使用"livestream"模块来收集新发布的帖子和评论。

您仍然可以下载Pushshift存档。https://the-eye.eu/redarcs/ 是其中一个来源。

我添加了一个模块用于将这些json文件导入timesearch数据库,以便您可以继续使用"offline_reading",或者如果您只是更喜欢sqlite格式。在将zst文件提供给timesearch之前,您需要使用像7-Zip这样的归档工具解压缩。

python timesearch.py ingest_jsonfile subredditname_submissions -r subredditname

python timesearch.py ingest_jsonfile subredditname_comments -r subredditname

新闻 (2023年5月1日):

Reddit已撤销Pushshift的API访问权限,因此pushshift.io可能无法继续摄取Reddit内容。

新闻 (2018年4月9日):

Reddit已移除timesearch所依赖的时间戳搜索功能 (原文)。请通过向/r/reddit.com发送私信联系管理员。让他们知道这个功能对您很重要,您希望他们在新的搜索系统中恢复它。

幸运的是,Jason Baumgartner又名/u/Stuck_in_the_Matrix,Pushshift.io的所有者,已经让与他的数据集交互变得容易。Timesearch现在查询他的API来获取帖子数据,然后使用Reddit的/api/info来获取这些帖子的最新信息(分数、编辑后的正文等)。同时,这也让我们能够加速get_comments。此外,我们可以获取用户的所有评论,这在仅通过Reddit是不可能的。

注意:由于Pushshift是由普通人运营的独立数据集,它不包含私有subreddit的帖子。没有时间戳搜索参数,扫描私有subreddit现在是不可能的。我再次敦促您联系~~您的参议员~~管理员,恢复这个功能。

我没有测试套件。你就是我的测试套件!消息请发送到/u/GoldenSights。

Timesearch是一个用于归档subreddit的实用工具集合。

确保您已经:

使用右上角的绿色"Clone or Download"按钮下载了这个项目。
安装了Python。我使用Python 3.7。
安装了PRAW >= 4,以及requirements.txt中的其他模块。尝试pip install -r requirements.txt来全部安装。
在https://old.reddit.com/prefs/apps创建了一个OAuth应用。将其类型设为`script`,并将重定向URI设为`http://localhost:8080`。标题和描述可以是任何您想要的内容,关于URL不是必需的。
使用这个PRAW脚本生成了刷新令牌。只需将其保存为某处的.py文件,并通过终端/命令行运行它。为简单起见,我只选择all作为范围。
- 说明中提到export praw_client_id=...。这在Linux上创建环境变量。如果您使用Windows,或者只是不想创建环境变量,您可以在第40行的praw.Reddit实例中添加client_id='...'和client_secret='...',与redirect_uri和user_agent参数一起。
下载了这个文件的副本并将其保存为bot.py。使用您的OAuth信息填写变量,并阅读说明了解把它放在哪里。最简单的方法是将其保存在与本README文件相同的文件夹中。
- USERAGENT是您API使用的描述。通常"/u/username的praw客户端"就足够了。
- CONTACT_INFO在从Pushshift下载时发送,如Stuck_in_the_Matrix所鼓励的。它可以只是您的电子邮件地址或Reddit用户名。

这个包包含:

get_submissions: 如果您尝试在subreddit上翻页/new,您会在1,000个帖子处或之前遇到限制。Timesearch使用pushshift.io数据集获取有关非常旧的帖子的信息,然后查询Reddit API更新它们的信息。以前,我们在Reddit自己的API上使用timestamp cloudsearch查询参数,但Reddit已移除该功能,pushshift现在是唯一可行的初始数据来源。 python timesearch.py get_submissions -r subredditname <flags>
python timesearch.py get_submissions -u username <flags>
get_comments: 类似于get_submissions,这个工具查询pushshift获取评论数据并从Reddit更新它。 python timesearch.py get_comments -r subredditname <flags>
python timesearch.py get_comments -u username <flags>
livestream: get_submissions+get_comments非常适合启动您的数据库并获取历史帖子,但它不是保持最新的最佳方法。相反,livestream监控/new和/comments以持续摄取数据。 python timesearch.py livestream -r subredditname <flags>
python timesearch.py livestream -u username <flags>
get_styles: 下载样式表和CSS图像。 python timesearch.py get_styles -r subredditname
get_wiki: 从/wiki/pages下载wiki页面、侧边栏等。 python timesearch.py get_wiki -r subredditname
offline_reading: 通过markdown将评论线程渲染成HTML。注意:我目前使用pypi上的markdown库,它显然不支持Reddit的自定义markdown,如/r/或/u/。到目前为止,我认为没有人真正使用o_r,所以我没有投入太多时间来改进它。 python timesearch.py offline_reading -r subredditname <flags>
python timesearch.py offline_reading -u username <flags>
index: 生成按您选择的属性排序的提交的纯文本或HTML列表。您可以按日期、作者、标签等排序。使用--offline参数,您可以让所有链接指向您用offline_reading生成的文件。 python timesearch.py index -r subredditname <flags>
python timesearch.py index -u username <flags>
breakdown: 生成一个JSON文件,指示哪些用户在subreddit中发帖最多,或用户在哪些subreddit中发帖。 python timesearch.py breakdown -r subredditname <flags>
python timesearch.py breakdown -u username <flags>
merge_db：将一个时间搜索数据库中的所有新数据复制到另一个数据库中。这对于同步或合并同一子版块的两次扫描很有用。 python timesearch.py merge_db --from filepath/database1.db --to filepath/database2.db

如何使用

当你下载这个项目时，你将要执行的主文件是根目录中的timesearch.py。它会从modules文件夹加载适当的模块来运行你的命令。

你可以通过运行timesearch.py查看所有帮助文本的摘要版本，也可以通过运行不带参数的特定命令（如timesearch.py livestream等）来查看特定的帮助文本。

如果你想自己检查数据库，我推荐使用sqlitebrowser。

更新日志

2020年1月27日
- 当我最初创建Timesearch时，它只是我为归档各种内容而编写的随机脚本的集合。这些脚本往往有些古怪的名字，比如commentaugment和redmash。既然timesearch工具包现在旨在成为一个独立的连贯包，我决定最终重命名所有内容。我相信我已经正确地为所有内容设置了别名，以保持向后兼容性，除了modules文件夹现在被称为timesearch_modules，这可能会破坏你的导入语句（如果你曾经自己导入过的话）。
2018年4月9日
- 与Pushshift集成，以恢复timesearch功能，加速commentaugment，并获取用户评论。
2017年11月13日
- 为timesearch创建了自己的Github仓库，这样（1）人们可以更容易地下载它，（2）它有一个更清晰、更独立的URL。voussoir/timesearch
2017年11月5日
- 在livestream辅助程序中添加了try-except，以防止生成器终止。
2017年11月4日
- 对于timesearch，我从使用自定义的cloudsearch迭代器切换到PRAW4+自带的迭代器。
2017年10月12日
- 添加了mergedb工具用于合并数据库。
2017年6月2日
- 你可以使用commentaugment -s abcdef来获取特定的帖子，即使你还没有从该子版块抓取任何其他内容。之前-s只在数据库已经存在并且你通过-r指定时才有效。现在它可以从提交本身推断。
2017年4月28日
- 完全重构为包，开始使用PRAW4。
2016年8月10日
- 开始合并redmash并编写其参数解析器
2016年7月3日
- 改进了文档字符串的清晰度。
2016年7月2日
- 添加了livestream参数解析
2016年6月7日
- Offline_reading已合并到主timesearch文件中
- get_all_posts重命名为timesearch
- Timesearch参数usermode重命名为username；maxupper重命名为upper。
- 现在所有功能都可以通过命令行参数访问。阅读文件顶部的文档字符串。
2016年6月5日
- 新的数据库方案。提交和评论现在存储在不同的表中，就像它们一开始就应该的那样。提交表有两个新列用于存储一些commentaugment元数据。这允许commentaugment只扫描新的帖子。
- 你可以使用migrate_20160605.py脚本将旧数据库转换为新数据库。
2015年11月11日
- 创建了offline_reading.py，它将timesearch数据库转换为可以渲染成HTML的评论树
2015年9月7日
- 修复了一个bug，该bug允许livestream崩溃，因为bot.refresh()在try-catch块外。
2015年8月19日
- 修复了一个bug，如果数据库中连续有超过100条评论，updatescores会提前停止迭代
- commentaugment已完全合并到timesearch.py文件中。你可以使用commentaugment_prompt()输入参数，或直接使用commentaugment()函数。