scattertext

Scattertext 项目介绍

项目概述

Scattertext 是一个用于语料库差异可视化的工具。它能够帮助用户发现文本数据中的不同词汇，并以交互式 HTML 散点图的形式展示这些词语。这种图表特别适合用来对文本数据的分类特性进行深入分析和直观展示。

核心功能

Scattertext 的主要功能是通过词汇的分布和使用频率来在不同的文本集合中识别和可视化其独特词汇，例如可以对比分析政治演讲中的用词差异。它能够生成一个 HTML 文件，其中每个点代表不同的词语或短语，这些点根据在不同类别（如政治党派）的使用频率被标记，并以密集排名为横纵坐标。

使用示例

例如，Scattertext 可以用于分析 2012 年美国政治大会中的演讲内容，将最具代表性的 2000 个词通过散点图形式展现出来。x 轴和 y 轴分别是共和党和民主党演讲者使用这些词的排名。

import scattertext as st

df = st.SampleCorpora.ConventionData2012.get_data().assign(
    parse=lambda df: df.text.apply(st.whitespace_nlp_with_sentences)
)

corpus = st.CorpusFromParsedDocuments(
    df, category_col='party', parsed_col='parse'
).build().get_unigram_corpus().compact(st.AssociationCompactor(2000))

html = st.produce_scattertext_explorer(
    corpus,
    category='democrat',
    category_name='Democratic',
    not_category_name='Republican',
    minimum_term_frequency=0, 
    pmi_threshold_coefficient=0,
    width_in_pixels=1000, 
    metadata=corpus.get_df()['speaker'],
    transform=st.Scalers.dense_rank,
    include_gradient=True,
    left_gradient_term='More Republican',
    middle_gradient_term='Metric: Dense Rank Difference',
    right_gradient_term='More Democratic',
)
open('./demo_compact.html', 'w').write(html)

项目特色

• 交互式可视化：Scattertext 可以动态生成交互性强的 HTML 图表，方便在浏览器中查看和分析。
• 灵活的可定制性：用户可以通过多种参数调整视觉化结果，例如颜色梯度、标记和尺寸等。
• 支持多种分析方法：项目提供多种算法和指标，例如 F-Score、散度分析等，以便于用户进行深度数据挖掘。

使用建议

Scattertext 需要在 Python 3.11 或更高版本中运行。推荐安装 jieba, spacy, empath, gensim 等包，确保工具的功能能够充分发挥。可视化结果在 Chrome 和 Safari 浏览器中展示效果最佳。

应用场景

• 文本分类分析：可用于分析不同分类文本的特征词汇和短语，以及他们的语义关联。
• 传播学研究：分析词语在不同文章或者演讲中的频率和使用差异，探索传播模式。
• 社交媒体分析：通过对用户生成内容的文本分析，识别和展示不同群体之间的语言差异。

Scattertext 作为一个功能强大的工具，为文本分析和可视化提供了丰富的支持，适用于企业、研究与学术领域的数据科学家和分析员。