cryptobert

CryptoBERT项目介绍

什么是CryptoBERT？

CryptoBERT是一个经过预训练的自然语言处理（NLP）模型，专门用于分析与加密货币相关的社交媒体帖子的语言和情感。这一模型是通过在加密货币领域对vinai's bertweet-base语言模型进行进一步训练而构建的，使用了超过320万条独特的加密货币相关社交媒体帖子作为语料库。

分类训练

CryptoBERT模型能够识别并分类社交媒体帖子中的情感倾向，采用了三个分类标签来进行训练：“看空”（0），“中性”（1）和“看多”（2）。该模型的情感分类头在一份平衡数据集上进行了微调，这些数据来自ElKulako/stocktwits-crypto的数据集中，包含了200万条经过标记的StockTwits帖子。

使用示例

使用CryptoBERT进行情感分析非常简单。例如，给定几条关于加密货币的社交媒体帖子，CryptoBERT能够返回每条帖子的情感倾向及其置信度分数：

from transformers import TextClassificationPipeline, AutoModelForSequenceClassification, AutoTokenizer

model_name = "ElKulako/cryptobert"
tokenizer = AutoTokenizer.from_pretrained(model_name, use_fast=True)
model = AutoModelForSequenceClassification.from_pretrained(model_name, num_labels=3)
pipe = TextClassificationPipeline(model=model, tokenizer=tokenizer, max_length=64, truncation=True, padding='max_length')

post_1 = " see y'all tomorrow and can't wait to see ada in the morning, i wonder what price it is going to be at. 😎🐂🤠💯😴, bitcoin is looking good go for it and flash by that 45k. "
post_2 = "  alright racers, it’s a race to the bottom! good luck today and remember there are no losers (minus those who invested in currency nobody really uses) take your marks... are you ready? go!!" 
post_3 = " i'm never selling. the whole market can bottom out. i'll continue to hold this dumpster fire until the day i die if i need to." 
df_posts = [post_1, post_2, post_3]
preds = pipe(df_posts)
print(preds)

结果为：

[{'label': 'Bullish', 'score': 0.8734585642814636}, {'label': 'Bearish', 'score': 0.9889495372772217}, {'label': 'Bullish', 'score': 0.6595883965492249}]

这表示第一条和第三条帖子表现出较强的看多情绪，而第二条则表现出强烈的看空情绪。

训练数据集

CryptoBERT使用了320万条涉及各种加密货币的社交媒体帖子进行训练，下列社区提供了这些语料:

1. StockTwits - 超过187.5万条关于交易量排名前100的加密货币的帖子，这些数据从2021年11月1日至2022年6月16日收集而来。ElKulako/stocktwits-crypto

2. Telegram - 从前五个Telegram群组收集了66.4万条帖文，这些群包括Binance、Bittrex、Huobi Global、Kucoin、OKEx。数据收集时间为2020年11月16日至2021年1月30日。

3. Reddit - 从各个加密货币投资专区收集了17.2万条评论，时间范围为2021年5月至2022年5月。

4. Twitter - 包含有#XBT、#Bitcoin或#BTC标签的49.6万条推文，数据采集自2018年5月。

通过对这些多样化的数据进行训练，CryptoBERT能够在加密货币市场情感分析上提供强大的支持。