RWKV ( paper ) - 2023.05.22 논문! Transformer 는 시퀀스 길이가 길어질 수록 그 제곱만큼 시간이 늘어나고 메모리를 많이 차지한다는 한계가 있다. RNN은 메모리 및 계산 시간이 선형적으로 증가하지만 시퀀스를 하나씩 계산해야 하므로 병렬화가 불가능하다는 한계가 있다. 또한 확장성에 제한이 있고 vanishing gradient problem 을 가지고 있어 아주 긴 시퀀스를 훈련하기 어렵다. RWKV (Receptance Weight Key Value)는 Transformer의 효율적인 병렬화와 RNN의 효율적인 inference 측면을 동시에 사용 가능한 새로운 architecture 다. linear attention mechanism computational compl..

"AI will not replace you. A person using AI will. - Santiago" 쓰나미에 올라타자! 한 단계 더 성장할 기회로 삼자. by 하정우 센터장 커다란 기회가 오고 있다! 이 흐름에서 새로운 글로벌 기업이 나오면 좋겠다. by 성낙호 총괄 지금 AI 판은 어떻게 돌아가고 있나? 딥러닝 연구는 공개 연구를 통해 AI 발전을 이끌어왔다. AI는 선행 연구와 service product 간의 간격이 좁은 산업이다. product 에 들어가는 기술이 논문으로 바로 나오고, 논문에 나온 기술이 product에 적용되고, ... => AI 기술이 흔해지고, 사용하기 쉬워지는 것 openAI가 GPT-3 를 공개했을 때도 방법론적인 혁신보다는 규모가 만들어낸 혁신이었음 open..

기능 Visual Studio Code 과 같은 IDE에 연동해 사용 가능 Option-C 키 누름으로 코드 추천 요청 가능 (TAB 키로 적용 / ESC 키로 나가기) 자동으로 여러 개의 코드 추천하도록 설정도 가능 🌟 무료 🌟 지원 언어 Java, Python, JavaScript, C# , TypeScript, C, C++, Go, Rust, PHP, Scala, Kotlin, Ruby, Shell and SQL. Installation ( in VS code ) [extensions] - [AWS toolkit] 설치하기 왼쪽에 귀여운 AWS 로고가 생긴다. 로고 클릭한 뒤, [CodeWhisperer] - [Start] 클릭 인증 후 아마존 계정과 연동한다. 의견 Copilot 겨냥하며 현재는 ..