Update Logs

2024.05
- GPU 서버 지원 종료로 웹앱 데모를 종료합니다.
2023.07.28
- RTX3090(4090/A5000) 4대 사용한 TensorParallel 기반 학습 예제 코드 추가
2023.06.12
- Kakao/Telegram 봇 안내 삭제
2023.06.08
- Colab: QLoRA로 학습한 adapter weight 로드해서 Inference하기 추가
 - Colab Free(T4 GPU)에서 로드 가능합니다.
 - 예제로 🤗beomi/qlora-koalpaca-polyglot-12.8b-50step 레포(50step 학습한 예제)를 사용합니다. <a style='display:inline' target="_blank" href="https://colab.research.google.com/github/Beomi/KoAlpaca/blob/main/2023_06_08_PEFT%EB%A1%9CLoRA%EB%A1%9C%EB%93%9C.ipynb"> <img src="https://colab.research.google.com/assets/colab-badge.svg" alt="Open In Colab"/>
 </a>
2023.06.02
- 🐧KoRWKV-6B🤗 28B tokens ckpt 기반 🐧KoAlpaca-KoRWKV-6B🤗 v1.1a버전 학습 및 모델 공개
  
  🐧KoAlpaca-KoRWKV-6B 허깅페이스 레포🤗에 몇가지 생성 결과 샘플이 있습니다.
- RTX 3090/4090/A5000으로 Polyglot-ko 5.8b full finetune 가이드 추가
2023.05.30
- 무료 Colab(T4 GPU)에서 동작하는 학습 예제 추가: QLoRA로 Polyglot-ko 12.8B 모델 KoAlpaca v1.1a 학습 with 4bit
 - Colab 무료 - T4에서는 50sample에 약 4분, 1epoch에 약 15시간(최대 사용시간 초과)
 - Colab Pro - A100에서는 50sample에 약 44초, 1epochs에 약 2-3시간 <a style='display:inline' target="_blank" href="https://colab.research.google.com/gist/Beomi/a3032e4eaa33b86fdf8de1f47f15a647/2023_05_26_bnb_4bit_koalpaca_v1_1a_on_polyglot_ko_12_8b.ipynb"> <img src="https://colab.research.google.com/assets/colab-badge.svg" alt="Open In Colab"/>
 </a>
2023.05.03
- 🤗Polyglot-ko 5.8B 기반 KoAlpaca-Polyglot-5.8B-v1.1b fp16 모델 및 🤗8bit 모델 공개
2023.04.28
- Logo 업데이트 🎉
2023.04.26
- 웹UI에 Hugging Face ChatUI 적용
  - 해당 ChatKoAlpaca GPU서버는 모두의연구소 K-디지털 플랫폼의 지원을 받아 서비스되었습니다.(2024.05 종료)
2023.04.20
- KoAlpaca v1.1 데이터셋 공개
- 🤗Polyglot-ko 12.8B 기반 KoAlpaca-Polyglot-12.8B-v1.1b fp16 모델 및 🤗8bit 모델 공개
- ChatKoAlpaca Web UI(v1.1b) 공개
2023.03.26: 🤗LLAMA 30B 기반 KoAlpaca 모델을 공개합니다. (LoRA로 학습)
- LLAMA 30B 학습은 GIST Sundong Kim 교수님의 A100 지원으로 학습되었습니다. 감사합니다 😄
2023.03.24: 🤗LLAMA 13B 기반 KoAlpaca 모델을 공개합니다. (LoRA로 학습)
2023.03.23: 🤗LLAMA 65B 기반 KoAlpaca 모델을 공개합니다. (LoRA로 학습)
2023.03.22: 카카오톡에 포팅된 KoAlpaca 봇이 추가되었습니다.

KoAlpaca: Korean Alpaca Model based on Stanford Alpaca (feat. LLAMA and Polyglot-ko)

Stanford Alpaca 모델을 학습한 방식과 동일한 방식으로 학습을 진행한, 한국어를 이해하는 Alpaca 모델입니다.

바로 써보기: 채팅형 웹 페이지(v1.1b-chat) 혹은 카카오톡 봇, Telegram Bot으로 만나보세요!

ChatKoAlpaca: 채팅형 KoAlpaca (Polyglot-ko-12.8b-v1.1b)

해당 데모는 모두연 KoAlpaca Lab에서 모두의연구소 K-디지털 플랫폼의 지원 받아 진행되었습니다. 감사합니다 😍
2024년 5월 기준 서버 지원 종료로 서비스를 종료합니다.

ChatKoAlpaca Web page with chat input

설치 없이 Web으로 곧바로 만날 수 있습니다.
이전 대화의 맥락을 기억해 답변을 생성합니다.
최대 512 토큰의 응답을 생성하며, 이전 맥락은 (신규 생성 답변을 포함해) 최대 1024 토큰을 기억합니다.
데모에서는 A5000 24G GPU 2대로 Tensor Parallel을 통해 서빙중이며, fp16 모델로 서비스중입니다.

완성된 모델: 한국어 기반 모델(Polyglot-ko) & 영한 모델(LLAMA)

KoAlpaca는 백본 모델로 한국어 모델은 Polyglot-ko(5.8B)모델을, 영문+한국어 기반 모델은 LLAMA를 사용하였습니다.

Polyglot-ko 12.8B 기반 [Full Finetune v1.1] -> 🤗 beomi/KoAlpaca-Polyglot-12.8B

해당 모델은 ChatKoAlpaca에서 사용되었습니다.
해당 모델은 🤗 8Bit quantized된 모델도 제공합니다.

Polyglot-ko 5.8B 기반 [Full Finetune] -> 🤗 beomi/KoAlpaca-Polyglot
Meta LLAMA 7B 기반 [Full Finetune] -> 🤗 beomi/KoAlpaca
Meta LLAMA 13B 기반 [LoRA] -> 🤗 KoAlpaca-13B-LoRA
Meta LLAMA 30B 기반 [LoRA] -> 🤗 KoAlpaca-30B-LoRA
Meta LLAMA 65B 기반 [LoRA] -> 🤗 KoAlpaca-65B-LoRA

참고: LLAMA 13B로는, 찬성님(@deep-diver)이 학습하신 🤗chansung/koalpaca-lora-13b가 추가적으로 공개되어있습니다.)

Meta의 LLAMA 모델은 한국어 데이터셋을 충분히 학습하지 않아서, 실제 Inference를 돌려보았을 때 한국어 성능이 낮게 나오는 이슈가 있습니다.

보다 한국어에 나은 퀄리티를 얻어보고자 Polyglot-ko 5.8B, 12.8B 모델을 백본으로 사용한 모델도 학습시켰습니다.

이후 v1.1 데이터와 함께, 이전 대화의 맥락과 사용자의 추가 입력의 맥락을 이해하는 모델인 KoAlpaca v1.1을 공개합니다.

KoAlpaca 모델 실행 예시 코드

Huggingface Pipeline으로 실행

최신버전 torch / HF 라이브러리 설치

pip install -U torch transformers tokenizers accelerate safetensors

아래 예제 코드로 실행해볼 수 있습니다.

import torch
from transformers import pipeline, AutoModelForCausalLM

MODEL = 'beomi/KoAlpaca-Polyglot-5.8B'

model = AutoModelForCausalLM.from_pretrained(
    MODEL,
    torch_dtype=torch.float16,