Google Scholar 引用世界地图

陈刘，耶鲁大学计算机科学博士候选人。

研究领域：机器学习、时空建模、医学视觉、AI4Science。

新闻

[寻求建议]

这是我第一次处理网页抓取/爬虫。用户报告了稳定性问题，我怀疑主要问题是(1)被验证码或机器人检查捕获，以及(2)被Google Scholar列入黑名单。如果您在这些领域有经验并有好的建议，我将非常感谢您提出GitHub问题或拉取请求。

[2024年8月2日] 版本4.0发布 >>> 逻辑更新。新增输入参数affiliation_conservative。如果设置为True，我们将使用非常保守的方法来识别机构，这将导致更高的精确度和更低的召回率。非常感谢刘志坚的有益讨论。

[2024年7月28日] 版本3.10发布 >>> 逻辑更新。在一位有10,000次引用的教授的资料上进行了测试！

[2024年7月27日] 版本2.0发布 >>> 使用多进程实现10倍加速（我的资料从1小时减少到5分钟）。

[2024年7月26日] 版本1.0发布 >>> 首个适用于我的100次引用资料的工作版本。

目的

这是一个简单的Python工具，用于从您的Google Scholar ID生成HTML引用世界地图。

它易于安装（pip install citation-map，可在PyPI上获得）且易于使用（请参阅用户指南）。

除非您想进行自定义更改，否则无需分叉此存储库。

预期结果

脚本的输出将是一个HTML文件。

如果您在浏览器中打开它，您将看到您自己版本的以下引用世界地图。

此外，还会有一个CSV文件记录引用信息（引用作者、引用论文、被引用论文、机构、详细位置）。

免责声明： 这个工具可能会出现一些小错误：遗漏一些引用作者，在错误位置放置几个标记等。如果您非常在意确保所有引用作者的机构都被包括并准确标记，您可以尝试在Google My Maps上手动注释。这个工具旨在帮助那些无法忍受这个痛苦过程的人，特别是当他们有相当数量的引用时。

注意： 现在您可以使用affiliation_conservative选项在机构精确度和召回率之间进行权衡。如果设置为True，我们将使用Google Scholar验证的引用作者的官方组织名称。这是一种非常保守的方法，因为(1)作者需要在机构面板中自我报告，(2)作者需要用匹配的电子邮件地址进行验证，以及(3)组织需要被Google Scholar记录。例如，Meta（公司）不在列表中。非常感谢刘志坚的有益讨论。

引用

@article{liu2024CitationMap,
  title={CitationMap: A Python Tool to Identify and Visualize Your Google Scholar Citations Around the World},
  author={Liu, Chen},
  journal={TechRxiv},
  year={2024}
}

用户指南

如果您是Python新手，您可能想从一个也帮助管理环境的Python发行版开始（例如anaconda）。一旦您设置好环境（例如，当您在这个教程中达到conda activate env39阶段时），您就可以进入下一步。
通过在conda可访问的命令行中运行以下行来安装此工具。
```
pip install citation-map --upgrade
```
找到您的Google Scholar ID。
- 打开您的Google Scholar个人资料。URL应该采用https://scholar.google.com/citations?user=GOOGLE_SCHOLAR_ID的形式。在这种情况下，您的Google Scholar ID就是字符串GOOGLE_SCHOLAR_ID。
- 请忽略配置字符串，如&hl=en（主机语言为英语）或&sortby=pubdate（按发布日期排序作品）。
- 注意：如果您有手动添加到Google Scholar页面的出版物/专利，在运行此工具时您可能想暂时删除它们。由于不兼容，它们可能会导致错误。

在一个空白的Python脚本中，运行以下内容。

注意1：请不要将您的脚本命名为citation_map.py，这会导致循环导入，因为这个包本身共享相同的名称。将其命名为其他名称：例如，run_citation_map.py，run.py等。请参见问题#2。
注意2：使用if __name__ == '__main__'保护似乎是避免多进程问题所必需的，而且这也是一个好习惯。

from citation_map import generate_citation_map

if __name__ == '__main__':
    # 这是我的Google Scholar ID。用您的ID替换它。
    scholar_id = '3rDjnykAAAAJ'
    generate_citation_map(scholar_id)

请注意，在版本4.0中，我们会在识别机构之前缓存结果。因此，如果您想从头重新运行同一作者，您需要删除缓存（默认位置是'cache'）。

更多输入参数在演示脚本中显示。

您可以查看generate_citation_map函数的输入参数（列在下面），以防您需要这些功能。

参数
----
scholar_id: str
    您的Google Scholar ID。
output_path: str
    （默认为'citation_map.html'）
    输出HTML文件的路径。
csv_output_path: str
    （默认为'citation_info.csv'）
    输出csv文件的路径。
cache_folder: str
    （默认为'cache'）
    保存中间结果的文件夹，在找到（作者，论文）之后但在找到机构之前。
    这是因为用户可能想尝试积极vs保守的方法。
    如果您不想缓存，请设置为None。
affiliation_conservative: bool
    （默认为False）
    如果为true，我们将使用更保守的方法来识别机构。
    如果为false，我们将使用更积极的方法来识别机构。
num_processes: int
    （默认为16）
    并行处理的进程数。
use_proxy: bool
    （默认为False）
    如果为true，我们将使用学术代理。
    对于某些环境来说，这是避免被封锁所必需的，但通常会使事情变慢。
pin_colorful: bool
    （默认为True）
    如果为true，位置标记将有各种颜色。
    否则，它将只有一种颜色。
print_citing_affiliations: bool
    （默认为True）
    如果为true，打印引用机构列表（引用作者的机构）。

限制

这个工具完全基于Google Scholar。因此，您预期会有低估，原因包括：
- 您的Google Scholar个人资料不是最新的。
- 一些引用您的论文没有被Google Scholar索引。
- 一些引用您的作者没有Google Scholar个人资料。
- 一些引用您的作者没有报告他们的机构。
进行了网页抓取，验证码或机器人检查经常会捕获我们，特别是在我们频繁爬取时。这在被高度引用的用户中更常见。除非您被Google Scholar封锁，最坏的情况下您将遗漏几个引用作者，这对于高度引用的用户来说可能不是大问题。
机构识别和地理定位问题。这是机构识别和地理定位的联合效应。引用机构的数量将会：
- 如果一些机构未被geopy.geocoders找到，则被低估。
- 如果我们与geopy.geocoders发生通信错误，则被低估。
- （仅限积极方法）如果非机构短语被geopy.geocoders错误地识别为位置，则被高估。
- （仅限保守方法）如果引用者没有用匹配机构域名的电子邮件地址验证，则被低估。
- （仅限保守方法）因为所有非主要（有验证电子邮件地址的）机构都被忽略，所以被低估。
如果您有一些好主意来更好地处理机构字符串，请提出问题或提交拉取请求。请注意，目前我不考虑任何给用户带来额外负担的付费服务或工具，比如GPT API。

调试

MaxTriesExceededException或Exception: 获取Google Scholar页面失败或（对所有条目出现[警告！] 被CAPTCHA或机器人检查阻止）。
- 根据我的经验，这些都是很好的指标，表明您的IP地址因过度爬取（使用scholarly包）而被Google Scholar封锁。
- 我发现的一个快速解决方法是连接大学VPN并重新运行。我通常在运行该工具两次后遇到这个错误，需要断开并重新连接VPN来"解除封锁"。
- 如果这不起作用，您可以尝试更改IP地址并减少进程数（例如，设置num_processes=1）。
- 如果您遇到的[警告！] 被CAPTCHA或机器人检查阻止不超过几次，特别是在您有许多引用作者的情况下，这并不是什么大问题。

在当前进程完成其引导阶段之前，已尝试启动新进程。

我认为这是因为您没有用if __name__ == '__main__'保护主函数。您可以再次查看推荐的脚本。

如果这仍然无法解决问题，您可能需要稍微改写您的脚本。感谢Issue #4中的dk-liang。

from citation_map import generate_citation_map

def main():
    # 这是我的Google Scholar ID。请替换成您的ID。
    scholar_id = '3rDjnykAAAAJ'
    generate_citation_map(scholar_id)

if __name__ == '__main__':
    import multiprocessing
    multiprocessing.freeze_support()
    main()