라이트모드
다크모드AI판 LK-99 사실이었다...지금 사용 가능 | Microsoft 1-bit으로 학습한 2
페이지 정보
관련링크
https://youtu.be/XHoj9MrEFA8?si=y5a2r5BGMi_QrSkQ
본문
Microsoft가 재작년부터 논문으로 제시하여 주목을 받은 AI 판 LK-99 BitNet: 1-bit LLM 이 오픈 모델로 공개되며 사실임을 입증하였습니다. 저도 직접 설치하여 해보니, 한글은 잘 되지 않지만 영어 대화에 기존 sLM 1B ~ 3B 모델 보다 더 나은 성능을 보이거나 유사한 성능을 보이는데요. 중요한 것은 GPU 필요 없이 CPU 만으로 충분히 구동이 가능한 규모로 초당 수 토큰 출력의 빠른 속도를 보인다는 점입니다. 1.58bit LLM 이라며 -1, 0. 1의 3진 구조를 사용하는 BitNet은 학습 시 BackPropagation 과정에서만 중간 단계의 높은 precision을 사용할 뿐 나머지는 모두 1~2bit만 사용하여 학습을 진행하는데요. 이로 인해 추론 시 사용하는 메모리 양을 극단적으로 낮추면서도 CPU만으로 구동 가능한 경량화된 모델로 On-Device AI의 발전이 점차 가속화되고 있는 것으로 보입니다.
#마이크로소프트 #BitNet #온디바이스AI
Written by Error
Edited by 이진이
unrealtech2021@gmail.com
댓글목록
ㅋㅋ 저도 방금까지 보고 있었습니다.
영상 중간에 잠깐 나왔는데 작은 비트단위로 학습시키는게 큰 비트를 가진 모델을 양자화 하는거보다 더 잘 돌아가는거 같은 얘기를 하더군요
이게 작은모델의 열쇠가 아닐까 하는 생각을 잠깐 해봤습니다^^