Vicuna : ChatGPT 90% 성능을 가진 오픈 소스 챗봇

 

Vicuna: An Open-Source Chatbot Impressing GPT-4 with 90%* ChatGPT Quality | LMSYS Org

 

• Vicuna-13B 기준 트레이닝 비용은 $300
• model code와 model weights 공개됨
• 28GB GPU memory 또는 60GB CPU memory 가 필요
  • 충분하지 않다면 가상 RAM 사이즈 늘리기 https://arcolinux.com/how-to-increase-the-size-of-your-swapfile/
• ShareGPT의 70K 공개된 데이터로 파인튜닝한 LLaMA 13B 기반 모델
  • HTML을 markdown으로 변환한 다음에, low-quality 샘플들은 제거함
  • 길이가 긴 conversation은 작게 나눠줌 ( context 길이 512~2048)

 

• GPT-4로 평가했을 때 ChatGPT와 Bard의 90% 성능
  • GPT-4에게 같은 질문에 대한 각 모델의 답변을 주고 어떤 답변이 더 나은지 평가 받음

Limitations

• 추론, 수학 포함하는 작업 성능이 안좋다
• It may have limitations in accurately identifying itself or ensuring the factual accuracy of its outputs. 
• 안정성 보장 및 편견 완화할 만큼 충분히 최적화되지 않음
  • 온라인 데모에서는 openAI의 moderation API 이용해서 필터링 중

• 당연하지만 한국어는 영어에 비해 느리고
• 아직까지는 특수문자(?)에서 한글로 변환되는게 적나라하게 보인다.
• 간단한 질답은 잘 하지만, 페르소나를 주는 것에는 성능이 안좋은 듯 하다.