챗GPT와 유사한 오픈소스 모델 공개됐지만…

오픈AI의 챗봇 '챗GPT'와 유사하게 동작하는 오픈소스 모델이 공개됐다. 하지만 실제 작동까지 필요한 비용이 너무 커 챗GPT 대안역할을 하긴 힘들 것으로 예상된다. 2일(현지시간) 테크크런치에 따르면, 메타의 비공개 AI 시스템 리버스 엔지니어링 담당 개발자인 필립 왕은 챗GPT와 유사한 기능을 할 수 있는 텍스트 생성 AI 모델 'PaLM+RLHF'를 깃허브에 오픈소스로 공개했다. PaLM은 구글의 대규모 언어모델이고, RLHF는 인간의 피드백을 통한 강화학습이다. 두 기술을 결합해 메일 작성, 코드 제안 등 챗GPT로 가능한 작업을 할 수 있다. 오픈AI가 사전 훈련한 챗GPT와 달리 PaLM+RLHF는 사전 훈련되지 않았다. 실제 작동에 필요한 데이터 학습을 사용자가 직접해야 한다는 의미다. 사용자는 모델 학습에 필요한 컴퓨팅 자원을 확보해야 한다. 필립 왕은 "고차원 매개변수 공간에서 올바른 지점으로 나아가려면 여전히 수백만 달러의 컴퓨팅과 데이터가 필요하다"며 "난기를 통해 배를 그 지점까지 실제로 안내하려면 전문 선원이 필요하다"고 조언했다. 개발자도 밝혔듯 데이터와 하드웨어를 확보하는데 막대한 비용이 필요하다. 지난 2020년 한 연구에 의하면 매개변수 15억개 규모의 텍스트 생성 모델을 개발하는 비용은 최대 160만달러다. PaLM의 매개변수 규모는 5천400억개다. GPT3 수준의 오픈소스 언어 모델인 '블룸(Bloom)'은 학습에 엔비디아 A100 GPU 384개를 3개월동안 돌려야 했다. 블룸으로 학습된 모델을 실행하는데는 A100 GPU 8개를 장착한 전용 하드웨어가 필요하다. 테크크런치는 1천750억개 매개변수 규모의 오픈AI GPT3 실행 비용이 아마존웹서비스(AWS) 인스턴스에서 연간 8만7천달러라고 전했다. 챗GPT를 복제하려는 또다른 움직임이 이미 있다. CarperAI란 그룹이 시도하고 있다. 비영리단체 LAION도 챗GPT 복제 프로젝트를 주도하고 있다.