pytextclassifier

PyTextClassifier 项目介绍

简介

PyTextClassifier 是一个开源的 Python 文本分类工具包，专为满足生产环境中的文本分析需求而设计。它主要应用于情感极性分析和文本风险分类，并支持多种分类算法和聚类算法。该工具包能够处理句子和文档级的分类任务，涵盖二分类、多分类、多标签分类、多层级分类和 Kmeans 聚类等任务，且在 Python 3 环境下运行。

特性

PyTextClassifier 的特点在于其算法的清晰性、高性能以及可定制的语料库。它提供多种模型供选择，包括传统机器学习算法和深度学习模型。

分类器

Logistic Regression（逻辑回归）
Random Forest（随机森林）
Decision Tree（决策树）
K-Nearest Neighbours（K近邻）
Naive Bayes（朴素贝叶斯）
XGBoost
Support Vector Machine (SVM)（支持向量机）
TextCNN
TextRNN
FastText
BERT

聚类

MiniBatchKmeans

在功能丰富的同时，PyTextClassifier 的内部模块设计为低耦合，支持惰性加载模型，提供简单易用的字典发布，极大地方便了用户的使用。

安装

用户可以通过以下命令安装 PyTextClassifier：

pip3 install torch  # conda install pytorch
pip3 install pytextclassifier

或通过克隆 Git 仓库进行安装：

git clone https://github.com/shibing624/pytextclassifier.git
cd pytextclassifier
python3 setup.py install

使用

PyTextClassifier 可以轻松实现文本分类任务，以 ClassicClassifier 为例，通过导入工具包进行模型训练、保存、预测和评估。以下代码展示了如何进行英语和中文文本分类。

英文文本分类

from pytextclassifier import ClassicClassifier

if __name__ == '__main__':
    m = ClassicClassifier(output_dir='models/lr', model_name_or_model='lr')
    data = [
        ('education', 'Student debt to cost Britain billions within decades'),
        ('education', 'Chinese education for TV experiment'),
        ('sports', 'Middle East and Asia boost investment in top level sports'),
        ('sports', 'Summit Series look launches HBO Canada sports doc series: Mudhar')
    ]
    m.train(data)
    m.load_model()
    predict_label, predict_proba = m.predict(['Abbott government spends $8 million on higher education media blitz'])
    print(f'predict_label: {predict_label}, predict_proba: {predict_proba}')
    test_data = [
        ('education', 'Abbott government spends $8 million on higher education media blitz'),
        ('sports', 'Middle East and Asia boost investment in top level sports'),
    ]
    acc_score = m.evaluate_model(test_data)
    print(f'acc_score: {acc_score}')

运行结果：

ClassicClassifier instance (LogisticRegression(fit_intercept=False), stopwords size: 2438)
predict_label: ['education'], predict_proba: [0.5378236358492112]
acc_score: 1.0

中文文本分类

from pytextclassifier import ClassicClassifier

if __name__ == '__main__':
    m = ClassicClassifier(output_dir='models/lr-toy', model_name_or_model='lr')
    data = [
        ('education', '名师指导托福语法技巧：名词的复数形式'),
        ('education', '中国高考成绩海外认可 是“狼来了”吗？'),
        ('sports', '图文：法网孟菲尔斯苦战进16强 孟菲尔斯怒吼'),
        ('sports', '四川丹棱举行全国长距登山挑战赛 近万人参与'),
    ]
    m.train(data)
    print(m)
    m.load_model()
    predict_label, predict_proba = m.predict(['福建春季公务员考试报名18日截止 2月6日考试'])
    print(f'predict_label: {predict_label}, predict_proba: {predict_proba}')
    test_data = [
        ('education', '福建春季公务员考试报名18日截止 2月6日考试'),
        ('sports', '意甲首轮补赛交战记录:米兰客场8战不败国米10年连胜'),
    ]
    acc_score = m.evaluate_model(test_data)
    print(f'acc_score: {acc_score}')

联系方式

如果您对 PyTextClassifier 有任何疑问或建议，欢迎通过以下方式联系我们：

通过 GitHub 提交问题：
发送邮件给项目维护者：xuming624@qq.com
加入微信交流群，微信号：xuming624，备注："姓名-公司名-NLP" 以获得入群邀请。

引用

如果您在研究中使用了 PyTextClassifier ，请使用以下格式进行引用：

APA 格式：

Xu, M. Pytextclassifier: Text classifier toolkit for NLP (Version 1.2.0) [Computer software]. https://github.com/shibing624/pytextclassifier

BibTeX 格式：

@misc{Pytextclassifier,
  title={Pytextclassifier: Text classifier toolkit for NLP},
  author={Xu Ming},
  year={2022},
  howpublished={\url{https://github.com/shibing624/pytextclassifier}},
}