fundus

<p align="center"> <picture> <source media="(prefers-color-scheme: dark)" srcset="https://github.com/flairNLP/fundus/blob/master/resources/logo/svg/logo_darkmode_with_font_and_clear_space.svg"> <source media="(prefers-color-scheme: light)" srcset="https://yellow-cdn.veclightyear.com/ab5030c0/f3ef7c5a-d29b-4647-8414-b8a28395df36.svg"> <img src="https://yellow-cdn.veclightyear.com/ab5030c0/f3ef7c5a-d29b-4647-8414-b8a28395df36.svg" alt="Logo" width="50%" height="50%"> </picture> </p> <p align="center">一个非常简单的Python<b>新闻爬虫</b>。由<a href="https://www.informatik.hu-berlin.de/en/forschung-en/gebiete/ml-en/">柏林洪堡大学</a>开发。 </p> <p align="center"> <a href="https://pypi.org/project/fundus/"><img alt="PyPi版本" src="https://yellow-cdn.veclightyear.com/ab5030c0/caa593ba-7b4a-450f-a221-5f8317b46522.svg"></a> <img alt="python" src="https://img.shields.io/badge/python-3.8-blue"> <img alt="Static Badge" src="https://img.shields.io/badge/license-MIT-green"> <img alt="发布商覆盖率" src="https://img.shields.io/endpoint?url=https://gist.githubusercontent.com/dobbersc/ca0ae056b05cbfeaf30fa42f84ddf458/raw/fundus_publisher_coverage.json"> </p> <div align="center"> <hr>

快速开始 | 教程 | 新闻来源 | 论文

</div>

Fundus是：

一个静态新闻爬虫。 Fundus让你只需几行Python代码就能爬取在线新闻文章！无论是从实时网站还是CC-NEWS数据集。
一个开源Python包。 Fundus的理念是共同构建。我们欢迎你的贡献，帮助Fundus成长！

<hr>

快速开始

要从pip安装，只需执行：

pip install fundus

Fundus需要Python 3.8+。

示例1：爬取一批英语新闻文章

让我们使用Fundus从美国的发布商那里爬取2篇文章。

from fundus import PublisherCollection, Crawler

# 初始化美国新闻发布商的爬虫
crawler = Crawler(PublisherCollection.us)

# 爬取2篇文章并打印
for article in crawler.crawl(max_articles=2):
    print(article)

就这么简单！

如果你运行这段代码，它应该会打印出类似这样的内容：

Fundus-Article:
- 标题: "费恩斯坦的回归不足以确认有争议的新[...]"
- 正文:  "周四，民主党人在最后一刻通过了对乔·拜登总统三名有争议的法院提名人的投票，
          这要归功于[...]"
- URL:    https://freebeacon.com/politics/feinsteins-return-not-enough-for-confirmation-of-controversial-new-hampshire-judicial-nominee/
- 来源:   FreeBeacon (2023-05-11 18:41)

Fundus-Article:
- 标题: "西北大学学生政府因[...]冻结共和党学生团体资金"
- 正文:  "伊利诺伊州西北大学的学生政府"无限期"冻结了该大学
          共和党学生分会的资金[...]"
- URL:    https://www.foxnews.com/us/northwestern-student-government-freezes-college-republicans-funding-poster-critical-lgbtq-community
- 来源:   FoxNews (2023-05-09 14:37)

这个输出告诉你已经成功爬取了两篇文章！

对于每篇文章，输出详细列出了：

文章的"标题"，即其头条
"正文"，即文章的主体内容
爬取的"URL"
新闻"来源"

示例2：爬取特定新闻来源

也许你想爬取特定的新闻来源。让我们只爬取《纽约客》的新闻文章：

from fundus import PublisherCollection, Crawler

# 初始化《纽约客》的爬虫
crawler = Crawler(PublisherCollection.us.TheNewYorker)

# 爬取2篇文章并打印
for article in crawler.crawl(max_articles=2):
    print(article)

示例3：爬取100万篇文章

为了爬取如此大量的数据，Fundus依赖于CommonCrawl网络存档，特别是新闻爬虫CC-NEWS。如果你不熟悉CommonCrawl或CC-NEWS，请查看他们的网站。只需导入我们的CCNewsCrawler，并确保事先查看我们的教程。

from fundus import PublisherCollection, CCNewsCrawler

# 使用fundus支持的所有发布商初始化爬虫
crawler = CCNewsCrawler(*PublisherCollection)

# 爬取100万篇文章并打印
for article in crawler.crawl(max_articles=1000000):
  print(article)

注意：默认情况下，爬虫会利用你系统上所有可用的CPU核心。为了获得最佳性能，我们建议使用processes参数手动设置进程数。一个好的经验法则是每200 Mbps带宽分配一个进程。这可能会根据核心速度而有所不同。

注意：上述爬取在使用整个PublisherCollection的情况下，在一台配备1000 Mbps连接、Core i9-13905H、64GB内存、Windows 11的机器上耗时约7小时，且不打印文章。估计时间可能会根据使用的发布商和可用带宽而有很大差异。此外，并非所有发布商都包含在CC-NEWS爬虫中（尤其是美国的发布商）。对于大规模语料库创建，也可以通过只使用网站地图来使用常规爬虫，这需要的带宽明显更少。

from fundus import PublisherCollection, Crawler, Sitemap

# 初始化美国/英国发布商的爬虫，并限制只使用网站地图
crawler = Crawler(PublisherCollection.us, PublisherCollection.uk, restrict_sources_to=[Sitemap])

# 爬取100万篇文章并打印
for article in crawler.crawl(max_articles=1000000):
  print(article)

教程

我们提供快速教程帮助你开始使用这个库：

如果您想贡献，请查看以下教程：

当前支持的新闻来源

您可以在这里找到目前支持的出版商。

同时：添加新的出版商很简单 - 考虑为项目做出贡献！

评估基准

查看我们的评估基准。

爬虫	精确度	召回率	F1得分
Fundus	99.89<sub>±0.57</sub>	96.75<sub>±12.75</sub>	97.69<sub>±9.75</sub>
Trafilatura	90.54<sub>±18.86</sub>	93.23<sub>±23.81</sub>	89.81<sub>±23.69</sub>
BTE	81.09<sub>±19.41</sub>	98.23<sub>±8.61</sub>	87.14<sub>±15.48</sub>
jusText	86.51<sub>±18.92</sub>	90.23<sub>±20.61</sub>	86.96<sub>±19.76</sub>
news-please	92.26<sub>±12.40</sub>	86.38<sub>±27.59</sub>	85.81<sub>±23.29</sub>
BoilerNet	84.73<sub>±20.82</sub>	90.66<sub>±21.05</sub>	85.77<sub>±20.28</sub>
Boilerpipe	82.89<sub>±20.65</sub>	82.11<sub>±29.99</sub>	79.90<sub>±25.86</sub>

引用

使用Fundus或基于我们的工作进行开发时，请引用以下论文：

@inproceedings{dallabetta-etal-2024-fundus,
    title = "Fundus: A Simple-to-Use News Scraper Optimized for High Quality Extractions",
    author = "Dallabetta, Max  and
      Dobberstein, Conrad  and
      Breiding, Adrian  and
      Akbik, Alan",
    editor = "Cao, Yixin  and
      Feng, Yang  and
      Xiong, Deyi",
    booktitle = "Proceedings of the 62nd Annual Meeting of the Association for Computational Linguistics (Volume 3: System Demonstrations)",
    month = aug,
    year = "2024",
    address = "Bangkok, Thailand",
    publisher = "Association for Computational Linguistics",
    url = "https://aclanthology.org/2024.acl-demos.29",
    pages = "305--314",
}