30억 활성·300억 총 파라미터 경량 AI 모델…단일 GPU에서도 구동
무료 사용·수정 가능한 개방형 모델…’NeMo Switchyard’도 출시

엔비디아가 고성능 서버가 아닌 개인용 PC에서도 구동할 수 있는 경량 개방형 인공지능(AI) 모델 ‘NVIDIA Nemotron 3.5 Lightning’을 공개했다.
새 모델은 총 300억 개(30B)의 파라미터 가운데 작업 수행 시 약 30억 개(3B)만 활성화하는 구조로 설계됐다. 필요한 일부 파라미터만 사용해 연산량과 메모리 부담을 줄여 적절한 GPU와 메모리를 갖춘 PC에서는 단일 GPU로도 구동할 수 있다.
엔비디아는 ‘증류(distillation)’ 기술을 활용해 더 큰 모델의 지식과 성능을 상대적으로 작은 모델에 이전했다. 이를 통해 모델 규모와 연산 부담을 줄이면서 AI 에이전트의 도구 호출과 작업 처리 등에 필요한 성능을 확보하는 데 초점을 맞췄다.
개발자와 기업은 모델을 내려받아 자체 환경에서 활용하거나 필요에 따라 수정할 수 있다. 이에 따라 외부 클라우드에 전적으로 의존하지 않고 PC나 워크스테이션에서 AI를 직접 운영할 수 있는 선택지도 확대될 전망이다.
엔비디아는 이날 AI 작업의 특성과 난이도에 따라 적합한 모델을 선택해 주는 오픈소스 라우팅 라이브러리 ‘NVIDIA NeMo Switchyard’도 공개했다. 대형 모델이 필요하지 않은 작업에는 더 작고 저렴한 모델을 배정해 AI 운영비와 처리 효율을 개선하는 방식이다.
업계에서는 개방형 AI 모델과 로컬 AI의 확산이 엔비디아의 GPU 사업에도 긍정적인 영향을 줄 것으로 보고 있다. 개발자들이 AI 모델을 직접 내려받아 PC와 워크스테이션에서 실행할수록 이를 구동하기 위한 GPU 수요도 늘어날 수 있기 때문이다.
이번 Nemotron 3.5 Lightning은 AI 경쟁이 모델의 크기뿐 아니라 적은 컴퓨팅 자원으로 얼마나 효율적으로 AI를 운영할 수 있는지를 놓고 벌어지고 있음을 보여준다.
Jay Lee 기자