구글, 차세대 LLM 'PaLM 2' 공개…'원조의 진화'
구글이 차세대 대규모언어모델(LLM) 'PaLM 2(Pathways Language Model)'를 공개했다. 대화형 AI 서비스 '바드'는 향후 파운데이션 모델을 현 LaMDA에서 PaLM 2로 교체하게 된다. 10일(현지시간) 구글은 온라인으로 개최한 '구글 I/O' 개발자 컨퍼런스에서 PaLM 2를 발표했다. PaLM 2는 작년 공개된 PaLM의 새로운 버전이다. 구글의 JAX 프레임워크와 TPU v4 인프라에서 구축됐다. 파라미터 수는 5천400억개로, 이전 버전에서 늘어나지 않았다. 테크크런치에 따르면, 딥마인드 주빈 가흐라마니 부사장은 언론브리핑에서 "모델의 크기가 더 크다고 더 좋은 것은 아니란 것을 발견했다"며 "파라미터 수는 모델의 기능에서 유용한 방법이 아니며, 기능은 실제로 모델을 사용하고 달성하려는 테스트에서 유용한지 여부를 알아내는 사람이 판단해야 한다"고 설명했다. 구글은 PaLM 2에 대해 상식적인 추론, 수학, 논리 등에서 더 우수하다고 밝혔다. 구글은 수학적 표현과 대량의 수학 및 과학 텍스트를 모델에 학습시켰다. 오픈AI의 GPT-4는 자연어 모델이기 때문에 수학 텍스트 추론에 약점을 드러낸다. 반면, PaLM 2는 수학 퍼즐을 풀고, 문제 내용을 추론해 다이어그램도 생성할 수 있다. 코드 작성과 디버깅 기능 지원 역량도 향상됐다. 자바스크립트, 파이썬 등의 언어 외에 Prolog, Verilog, 포트란 등 20개 개발언어를 학습했다. 이날 행사에서 함께 공개된 코드 완성, 생성 서비스 '구글 코디(Codey)'의 기반을 이룬다. PaLM 2는 100개 이상의 언어를 학습했으며, 이전 모델보다 더 미묘한 문구를 포함해 다국어 작업에 강점을 보인다. 구글은 PaLM 2가 통달 수준에서 고급 언어 능력 시험을 통과할 수 있다고 강조했다. 올해 구글 I/O 행사에서 구글은 25개의 새로운 AI 제품과 서비스 기능을 공개했다. 각 서비스와 제품은 모두 PaLM 2를 기반으로 한다. 구글은 현재 LaMDA 기반으로 구동되고 있는 대화형 AI 서비스 '구글 바드'의 파운데이션 모델을 PaLM 2로 교체할 계획이다. 구글워크스페이스의 생성 AI 기능도 PaLM 2를 활용한다. 의학지식을 갖춘 Med-PaLM 2는 다양하고 밀도있는 의학 텍스트를 요약할 수 있다. 미국 의료 면허 시험에서 전문가 수준의 답변을 제공할 수 있다고 한다. 엑스레이, 유방조영상 같은 정보를 합성해 환자의 결과를 개선하는 다중모드 기능이 추가될 예정이라고 회사측은 밝혔다. Sec-PaLM은 보안 사례를 위해 훈련된 버전이다. 사이버보안 분석 역량을 보유했다. 악의적인 스크립트의 동작을 분석할 수 있다. PaLM 2는 활용 사례에 따라 선택가능한 다양한 크기로 제공된다. 가장 작은 것부터 가장 큰 것까지 크기에 따라 겍코(Gecko), 오터(otter), 바이슨(Bison), 유니콘(Unicorn) 등으로 만들어진다. 가장 작은 모델인 '겍코'는 모바일 기기에서도 작동가능하며, 오프라인 환경에서도 대화형 애플리케이션을 실행할 수 있다. 개발자는 구글의 PaLM API, 파이어베이스, 코랩(Colab) 등에서 PaLM 2를 활용할 수 있다. 주빈 가라마니 부사장은 "구글 브레인과 딥마인드 연구팀은 지난 10년 간 AI에서 많은 결정적인 순간을 달성했으며, 계속해서 발전을 가속화하기 위해 이 두 개의 세계적 수준의 팀을 단일 단위로 통합하고 있다"며 "구글의 컴퓨팅 리소스를 기반으로 하는 구글 딥마인드는 매일 사용하는 제품에 놀라운 새 기능을 제공할 뿐만 아니라 책임감 있게 차세대 AI 모델을 위한 길을 닦을 것"이라고 강조했다. 그는 차세대 멀티모달 파운데이션 모델 개발을 시작했다고 밝혔다. 또 "구글은 이미 제미니(Gemini) 작업을 진행 중"이라며 "처음부터 멀티모달을 갖추고 도구 및 API 통합에서 매우 효율적이며 메모리 및 계획과 같은 미래 혁신을 가능하게 하기 위해 구축된 차세대 모델"이라고 설명했다. 그는 "제미니는 아직 훈련 중이지만 이전 모델에서 볼 수 없었던 멀티모달 기능을 이미 보여주고 있다"며 "안전을 위해 미세 조정되고 엄격한 테스트를 거친 제미니는 PaLM 2와 마찬가지로 다양한 크기와 기능으로 제공되어 모든 사람의 이익을 위해 다양한 제품, 애플리케이션 및 장치에 배포할 수 있다"고 덧붙였다. 구글은 작년 PaLM을 공개하면서 핵심 정보를 포함한 상세 데이터를 연구논문으로 공개했었다. 반면, PaLM 2를 설명한 연구논문은 핵심정보를 제외하고 공개됐다.
