[IT Issues] RWKV / QLoRA / 캐릭터 챗봇 서비스 / AI 윤리 / Drag Your GAN

 

RWKV ( paper ) - 2023.05.22 논문!

• Transformer 는 시퀀스 길이가 길어질 수록 그 제곱만큼 시간이 늘어나고 메모리를 많이 차지한다는 한계가 있다.
• RNN은 메모리 및 계산 시간이 선형적으로 증가하지만 시퀀스를 하나씩 계산해야 하므로 병렬화가 불가능하다는 한계가 있다. 또한 확장성에 제한이 있고 vanishing gradient problem 을 가지고 있어 아주 긴 시퀀스를 훈련하기 어렵다.
• RWKV (Receptance Weight Key Value)는 Transformer의 효율적인 병렬화와 RNN의 효율적인 inference 측면을 동시에 사용 가능한 새로운 architecture 다.
  • linear attention mechanism
  • computational complexity 와 memory complexity를 동시에 잡으면서 모델을 훈련하고 inference를 돌릴 수 있다. scalability issue도 없어 모델 사이즈를 마음대로 키울 수 있고, 비슷한 사이즈의 Transformer와 비슷한 성능을 냈다.

✅ RNN 계열이 이론상 시퀀스가 무제한이라지만 실제로는 정보량이 늘어날 수록 느려지고 성능 저하가 되는데, RWKV의 경우 실제로 어떤지 궁금하다. 

✅ KoAlpaca를 학습한 이준범 개발자가 최근 KoRWKV-6B 모델을 공개했는데 pyglot-ko-5.8B 모델과 비교분석 해보면 좋을 듯 하다.

 

 

QLoRA : Quantization + LoRA ( Huggingface / Paper )

 

• 양자화 (Quantization) : 파라미터를 4-bit로 만들어 더 작은 VRAM을 소모하면서 더 적은 GPU에서 실행하는 방식. 기존에는 추론시에 사용했고 학습 시에는 어려웠다.
• QLoRA는 양자화된 모델을 LoRA 기법을 사용해 학습하는 방법이다. 4-bit로 양자화된 모델을 가져와 LoRA 기법을 활용해 파인튜닝하는 방법으로 NF4(4-bit NormalFloat) + 이중 양자화(Double Quantized) + 페이지드 옵티마이저(Paged Optimizer) 등을 사용하여 메모리 소모를 크게 줄였다.

 

✅ LoRA는 파라미터의 수를 크게 줄일 수 있다는 점에서 앞으로의 LLM에서 많이 사용될 것으로 기대되는 학습 방법이다. LLM에 적용하면 instruction 수행이 제대로 안되는 것 같다는 의견도 있지만 어떻게 활용할 수 있을지 생각해봄직하다. LoRA 논문과 함께 QLoRA 논문을 읽어봐야겠다.

 

 

캐릭터 챗봇 서비스

✅ 다양한 캐릭터 챗봇 서비스들이 등장하고 있다. chatGPT와 같은 LLM을 사용한 챗봇 기반 서비스부터, 딥보이스를 이용한 서비스, 가상의 3D 캐릭터에 페르소나를 부여한 챗봇 서비스들도 생겨나고 있다. 그 중 character.AI 가 유니콘에 등극한 점은 그 가능성에 두근거리게 한다.

 

Character.AI

팔로알토에 본사를 둔 AI 스타트업으로 자연어 모델과 딥러닝 알고리즘을 사용해 개인화된 AI 챗봇을 만들 수 있는 플랫폼을 제공한다. 코딩 기술을 알지 못해도 자신만의 맞춤형 AI 챗봇을 만들 수 있다는 것이 특징이다. 용자는 이메일 초안 작성, 아이디어 브레인스토밍, 학습 친구 역할 등 다양한 작업을 도와주는 AI를 훈련시킬 수 있고 비즈니스, 교육, 의료 등 다양한 환경에서 사용할 수 있다. 플랫폼은 다른 애플리케이션과 통합할 수 있어 사용자는 다양한 디바이스 및 플랫폼에서 AI에 액세스하는 것도 가능하다.

최근 안드레센호루위츠가 주도하는 1억 5천만 달러 규모의 시리즈 A 투자 라운드를 마감하며 기업가치를 10억 달러로 인정받고 설립 16개월만에 유니콘에 등극했다.

 

 

Caryn.ai 

Forever Voices 회사에서 공개한 목소리와 페르소나를 가진 Caryn.ai를 공개했다. CarynAI는 인플루언서 Caryn Marjorie를 모델로 한 AI 기반 챗봇이다. 가상 여자친구 서비스는 1분당 1$ 요금을 부과하는데, 일주일만에 벌써 1억원의 매출을 달성했다고 알려져있다.

 

 

ElevenLabs - Instant Voice Cloning

ElevenLabs에서 공개한 Instant Voice Cloning은 1분 정도의 음성만 있으면 목소리 클론을 만들 수 있는 서비스다. 이걸 사용해 제작한 테일러 스위프트 영상이 틱톡에서 바이럴되고 있다. 동경하는 가수가 나만을 위해서 위로와 응원의 메세지를 보내준다면? 

 

 

Ayman on TikTok

fatesire l nora ❥ on TikTok

 

 

AI 윤리

• 미국 국방부 펜타곤 건물이 폭발하는 가짜 영상이 퍼지면서 잠시 미국 증시가 흔들렸다. 인공지능으로 생성된 가짜 영상 및 영상이 초래할 수 있는 사회적 이슈의 조짐이라고 생각된다. (기사 링크)
• 미군 AI 드론 가상훈련에서 AI 시스템이 인간 조종사의 공격 금지 결정이 더 중요한 임무를 방해한다고 판단하고 조종자를 공격해 살해했다고 발표했다. 하지만 이것은 브리핑 실수였고 시뮬레이션이 아닌 가설 사고 실험이었다고 한다. (기사 링크)
• chatGPT에 속은 30년 경력 미국 변호사가 가짜 판례를 사용해 문제가 발생했다. (기사 링크)
  위와 같은 사례에서 초거대 언어모델을 어떻게 사용해야하고, 언제는 사용하면 안되는지에 대한 교육이 전혀 이루어지지 않았음을 알 수 있다.
• 최근 GPT와 같은 인공지능의 등장으로 생산성이 향상될 것이고 일자리가 줄어들 것이라는 주장이 대세다. 반대 견해 중 흥미로운 기사가 있다. 전기와 철도를 포함해 자동화된 수신 전환기 등의 지난 기술 혁명에서도 발명에서부터 대중화되어 사회적으로 도입되기까지 수십년의 시간이 걸렸다. 생성형 인공지능 또한 마찬가지일 것이라는 주장이다.  (기사 링크)
• 뉴욕대 조경현 교수님은 벤처비트 인터뷰에서 현재 AI risk에 대한 불만을 표명했다. 
• 네이버에서 한국어 AI 윤리 벤치마크 데이터셋을 공개했다. SQuARe 와 KoSBi 데이터셋과 소스코드 공개했고 모두 상업적 용도로 활용이 가능하다. 사회적 민감이슈와 편향성을 정의했고 전문가와 HyperCLOVA를 함께 활용해 질의 응답을 생성하고 어노테이션 하는 과정을 논문으로 게재했다.

 

✅ 조경현 교수님의 인터뷰처럼 Future AI risk 논의보다는 현재 발생하고 있고, 발생가능한 사회적 문제들을 정의하고 해결 방법과 규제를 논의하는 것이 먼저라고 생각된다. 여기에 더해 앞으로 LLM을 사용할 때 어떻게 AI 윤리를 정의하고 개선시킬 것인지에 대한 논의와 연구도 많이 필요하다고 생각된다. 그런 의미에서 네이버가 발표한 AI 윤리 벤치마크 데이터셋은 첫 스텝이자 감사한 움직임인 것 같다. 

 

 

Drag Your GAN: Interactive Point-based Manipulation on the Generative Image Manifold

Website: https://vcai.mpi-inf.mpg.de/projects/DragGAN/

Paper: https://vcai.mpi-inf.mpg.de/projects/DragGAN/data/paper.pdf

 

GAN 결과물을 마우스 클릭으로 변경할 수 있는 방법을 소개한다. StyleGANv2의 feature map과 motion supervision loss를 결합해 연속적인 움직임을 생성한다고 한다.

 

 

✅ OMG. 정확한 성능과 가능한 영역은 논문과 이어진 실험들을 봐야 알겠지만, 마우스 클릭으로 이미지 생성물을 변경할 수 있다는 점은 충분히 놀랍다. 이 기술은 조금만 다듬으면 포토샵에 적용되지 않을까?