‘카나나 1.5 확장’ 멀티모달 언어토토사이트 토실장

한국어·영어 이해능력 GPT-4o 수준

국내 첫 MOE 토토사이트 토실장 오픈소스 공개

토종 AI 속도전

국내 빅테크 기업들의 ‘인공지능(AI) 대전’에 속도가 붙었다. 카카오는 국내 공개 토토사이트 토실장 중 최고 수준 성능의 경량 멀티모달 언어토토사이트 토실장과 전문가 혼합(MoE) 토토사이트 토실장을 오픈소스로 공개했다. 이에 맞서 SK텔레콤도 오픈소스 커뮤니티에 독자 구축 대규모언어토토사이트 토실장(LLM)인 ‘A.X(에이닷 엑스) 3.1’을 공개했다. 두 기업 모두 ‘국가대표 AI’를 선발하는 정부 사업에 도전장을 내민 가운데, 치열한 기술 경쟁이 더욱 가열되고 있다.

카카오가 국내 공개 토토사이트 토실장 중 최고 수준 성능의 경량 멀티모달 언어토토사이트 토실장과 전문가 혼합(MoE) 토토사이트 토실장을 오픈소스로 공개했다. 사진은 정신아 카카오 대표 [카카오 제공]
카카오가 국내 공개 토토사이트 토실장 중 최고 수준 성능의 경량 멀티모달 언어토토사이트 토실장과 전문가 혼합(MoE) 토토사이트 토실장을 오픈소스로 공개했다. 사진은 정신아 카카오 대표 [카카오 제공]

카카오가 국내 공개 토토사이트 토실장 중 최고 수준 성능의 경량 멀티모달 언어토토사이트 토실장과 전문가 혼합(MoE) 토토사이트 토실장을 오픈소스로 공개했다. MOE 토토사이트 토실장을 오픈소스로 공개한 것은 국내 기업 중 최초다.

카카오는 24일 허깅페이스를 통해 ▷이미지 정보 이해와 지시 이행 능력을 갖춘 경량 멀티모달 언어토토사이트 토실장 ‘카나나(Kanana)-1.5-v-3b’와 ▷MoE 언어토토사이트 토실장 ‘Kanana-1.5-15.7b-a3b’를 오픈소스로 공개했다.

Kanana-1.5-v-3b는 텍스트뿐만 아니라 이미지 정보도 처리할 수 있는 멀티모달 언어토토사이트 토실장로, 지난 5월 말 오픈소스로 공개한 ‘Kanana 1.5’ 토토사이트 토실장을 기반으로 하고 있다. Kanana 1.5는 토토사이트 토실장 개발의 처음부터 마지막 단계까지 카카오의 자체 기술을 바탕으로 구축했다.

멀티모달 언어토토사이트 토실장인 Kanana-1.5-v-3b는 이용자의 질문 의도를 정확히 이해하는 높은 지시 이행 성능과 뛰어난 한국어·영어 이미지 이해 능력을 보유한 것이 특징이다. 경량 토토사이트 토실장임에도 이미지로 표현된 한국어와 영어 문서 이해 능력이 글로벌 멀티모달 언어토토사이트 토실장 GPT-4o와 견줄 수 있다.

또 한국어 벤치마크에서 유사 사이즈의 국내외 공개 토토사이트 토실장과 비교한 결과 최고 점수를 기록했고, 다양한 영어 벤치마크에서 해외 오픈소스 공개토토사이트 토실장과 비교했을 때도 유사한 수준의 성능을 보였다. 지시 이행 능력 벤치마크에서는 국내 공개된 유사한 규모의 멀티모달 언어토토사이트 토실장 대비 128% 수준의 성능을 기록했다.

카카오는 인간 선호 반영 학습과 지식 증류를 통해 Kanana-1.5-v-3b의 성능을 극대화했다고 설명했다. 지식 증류는 고성능의 대형 토토사이트 토실장로부터 비교적 작은 토토사이트 토실장을 학습하는 방식이다. 단순한 정답뿐 아니라 대형 토토사이트 토실장의 예측 확률 분포까지 학습에 반영함으로써 작은 토토사이트 토실장이 더 정교하고 일반화된 예측 능력을 갖추도록 돕는 기술이다.

Kanana-1.5-v-3b는 경량 멀티모달 언어토토사이트 토실장의 강점을 토대로 ▷이미지·글자 인식 ▷동화·시 창작 ▷국내 문화유산 및 관광지 인식 ▷도표 이해 ▷수학 문제풀이 등 여러 분야에서 유연하게 활용할 수 있다.

카카오는 이날 MoE 구조의 언어토토사이트 토실장을 오픈소스로 함께 공개했다. MoE는 입력 데이터 처리 시 모든 파라미터가 연산에 참여하는 기존 토토사이트 토실장과 달리, 특정 작업에 최적화된 일부 전문가 토토사이트 토실장만 활성화해 효율적으로 컴퓨팅 자원을 활용하고 비용을 절감할 수 있다. MoE 아키텍처를 적용한 Kanana-1.5-15.7b-a3b는 전체 15.7B의 파라미터 중 추론 시 약 3B 파라미터만 활성화되어 동작한다. 카카오는 토토사이트 토실장의 학습 시간과 비용을 절약하기 위해 자사의 3B 규모의 토토사이트 토실장 Kanana-Nano-1.5-3B에 ‘업사이클링’ 방식을 적용해 개발했다. 이를 통해 활성화되는 파라미터가 3B에 불과하지만 성능은 ‘Kanana-1.5-8B’와 동등하거나 웃도는 수준을 기록했다.

카카오는 하반기 중에는 에이전트형 AI 구현에 필수적인 추론 토토사이트 토실장의 성과도 공개할 예정이다. 김병학 카카오 카나나 성과리더는 “이번 오픈소스 공개는 비용 효율성과 성능이라는 유의미한 기술 개발의 성과를 거둔 것으로, 단순한 토토사이트 토실장 아키텍처의 진보를 넘어 서비스 적용과 기술 자립이라는 두 가지 측면의 목표에 부합하는 결과물”이라고 말했다. 권제인 기자


eyre@heraldcorp.com