검색 - IT세상을 바꾸는 힘 지디넷코리아

ZDNet 검색 페이지

'라마3'통합검색 결과 입니다. (7건)

태그
기간
- 3개월
- 1년
- 1년 이전

재검색

"운영 비용 8분의 1"...메타, 신형 AI '라마 3.3 70B' 출시

메타가 신형 대규모언어모델(LLM) '라마 3.3 70B'를 출시했다. 기존 언어모델 수준의 성능에 운영비용을 8분의 1 수준으로 사용할 수 있는 것이 특징이다. 8일 메타는 인공지능(AI) 개발 플랫폼 허깅페이스를 통해 라마 3.3 70B를 공개했다. 라마 3.3 70B는 지난 4월 출시한 라마 3의 신규 버전이다. 4천50억개의 매개변수를 활용한 라마 3.1 대비 6분의 1 수준인 매개변수를 700억개로 줄였음에도 유사하거나 일부 더 뛰어난 성능을 갖췄다. 메타에서 공개한 벤치마크 결과에 따르면 라마 3.3 70B는 라마 시리즈 중 가장 많은 매개변수를 활용한 라마 3.1 405B를 비롯해 오픈AI의 GPT-4o, 구글의 제미나이 1.5, 아마존의 노바 프로와 유사한 성능을 기록했다. 언어 모델의 다방면적인 지식 수준을 측정하는 MMLU는 소폭 낮은 기록을 보였지만 대화 내용을 이해하고 지침을 따르는 능력을 평가하는 IFeval은 노바 프로와 함께 가장 높은 점수를 달성했다. 더불어 라마 3.3 70B는 모델 크기, 추론 알고리즘, 데이터 효율성, 컴퓨팅 자원 활용에서 비용 절감 요인을 극대화하는 설계와 최적화로 타 AI대비 8분의 1 이하의 운영비용을 요구한다. 메타 측에 따르면 운영 비용은 토큰 100만개당 입력 0.1달러, 출력 0.4달러 수준이다. 라마 3.3은 다양한 언어환경에서 상업적 및 연구 목적으로 개발된 AI모델이다. 최적화된 트랜스포머 아키텍처를 기반으로 기업의 목표나 특성에 맞춰 감독 미세 조정(SFT)과 피드백을 통한 강화 학습(RLHF)을 지원한다. 다양한 언어 환경을 지원하는 만큼 영어, 독일어, 프랑스어 등 사전학습된 8개 언어 외에도 추가학습을 통해 새로운 언어를 사용하는 것도 가능하다. 마크 저커버그 메타 CEO는 인스타그램을 통해 "올해 마지막 빅 업데이트"라고 라마 3.3를 소개하며 "메타는 전 세계 모든 이용자에게 혜택을 제공하기 위해 AI를 개발하고 있으며 메타 AI는 현재 월간 활성 사용자가 6억명에 달한다"고 밝혔다. 이어 "다음은 2025년 출시할 라마 4"라며 차기 버전을 예고했다.

2024.12.08 14:35남혁우

메타, 'GPT-4o'와 본격 경쟁…'라마3' 최상위 버전 23일 출격

메타가 오픈소스 거대언어모델(LLM) 라마3 시리즈 중 가장 상위 버전을 공개하며 'GPT-4o'를 비롯해 '제미나이', '클로드3 소네트' 등과 본격 경쟁을 벌인다. 16일 디 인포메이션에 따르면 메타는 오는 23일 기존 8B와 70B에 이어 매개변수 4천50억(405B) 규모의 LLM '라마3'를 공개한다. 이 모델은 텍스트 외 이미지를 이해하고 생성할 수 있는 멀티모달을 지원하는 것이 특징으로, AI 모델이 질문에 어떻게 응답하는지를 결정하는 '설정' 기능도 제공한다. 앞서 메타는 지난 4월 '라마3' 시리즈 중 80억 개(8B), 700억 개(70B) 등 소형 버전 2종을 출시한 바 있다. 이어 6월에는 80억 매개변수의 '라마3 8B' 모델을 기반으로 시각적 정보를 이해하는 비전 모델 '라마3-V'를 선보였다. 이에 대해 개발자들은 8B와 70B 소규모 모델로도 충분히 강력하다는 긍정적인 평가를 내놨다. 또 '라마3' 상위 버전이 나오지 않았음에도 개발자들은 '라마3' 소형 버전으로 테스트를 진행해 좋은 결과를 얻어 '라마3'로 교체하는 것을 검토 중인 것으로 알려졌다. 디인포메이션은 한 창업자 발언을 인용해 "LMSYS 리더보드에서 영어로 성능을 테스트한 결과 오픈AI GPT-4 터보만 라마3 70B를 넘어섰다"고 밝혔다. 업계 관계자는 "메타가 이번에 출시될 모델이 LLM 중 유일한 오픈소스라는 점에서 향후 AI 음성 비서 개발 등에서 오픈소스 진영이 큰 도움을 얻을 가능성이 있다"며 "하지만 메타가 오픈소스 LLM으로 어떻게 수익을 낼지는 불분명하다"고 말했다.

2024.07.16 10:32장유미

"오픈소스 AI 모델, 공공사업에도 들어가야…생태계 확장 필요"

국내 오픈소스 인공지능(AI) 생태계에 활력을 불어넣자는 목소리가 나오고 있다. 전문가들은 정부가 공공사업에 오픈소스 AI 모델이 들어갈 수 있는 활로를 마련하는 등 관련 정책과 예산을 확보해야 한다고 입을 모았다. 오픈소스는 저작권자가 소스코드를 공개한 소프트웨어(SW)다. 개발자는 라이선스 규정에 맞게 이 SW를 자유롭게 사용하고 수정·재배포를 할 수 있다. 오픈소스형 AI 모델도 마찬가지다. 사용자들은 일정 조건 하에 이 모델로 새로운 AI 모델을 만들거나 기술, 솔루션 개발을 할 수 있다. 메타가 이달 19일 출시한 '라마3'를 비롯한 스태빌리티AI의 '스테이블 디퓨전', 미스트랄AI의 '미스트랄' 등이 오픈소스형 AI 모델이다. 한국에는 업스테이지의 '솔라'가 있다. 일각에서는 국내 기업도 라마3 수준의 오픈소스 모델을 보유해야 한다는 입장이다. 반면 전문가들은 라마3로 새로운 모델과 기술, 제품 제작을 돕는 환경 조성이 우선이라고 주장했다. 건국대 김두현 컴퓨터공학부 교수는 오픈소스 AI 모델 신뢰성부터 높여야 한다고 주장했다. 일반적으로 오픈소스 모델이 신뢰도가 낮거나 안전하지 않다는 편견이 존재한다. 폐쇄형 모델과 다르게 소스코드 등이 공개됐다는 이유에서다. 김두현 교수는 "공공기관이 시중에 나온 오픈소스 AI 모델을 자체 검증해야 한다"고 주장했다. 그는 "정부가 강력한 검증 방식으로 이를 시행한다면 모델 신뢰성과 안전성을 확보할 수 있을 것"이라고 설명했다. 김 교수는 오픈소스 AI 모델이 공공사업에 들어갈 수 있는 활로를 마련해야 한다고 봤다. 정부가 오픈소스 모델 활용 사례를 늘려야 한다는 의미다. 그는 "특히 정부 조달정책에 이같은 내용이 다뤄지지 않았다"며 "최소한 나라장터에 오픈소스 모델 기반 솔루션 입찰이 가능해야 한다"고 주장했다. 업계에서도 오픈소스 AI 생태계가 커져야한다고 의견을 밝혔다. 이를 위해 강력한 모델 검증과 정확한 성능 파악이 필요하다고 봤다. 개발자 커뮤니티 활성화도 절실하다고 강조했다. 업스테이지는 AI 모델 성능을 평가하는 플랫폼에 지원을 아끼지 않아야 한다고 강조했다. 회사 관계자는 "모든 개발자가 검증받은 오픈소스형 모델로 AI 개발을 자유롭게 할 것"이라며 "이를 통해 국내 'AI 민주화'를 이룰 수 있을 것"이라고 했다. 이 기업은 현재 한국지능정보사회진흥원(NIA)과 지난해부터 한국어 AI 모델 순위 매기는 '오픈 Ko-LLM 리더보드'를 운영하고 있다. 업스테이지 관계자는 "특히 모델 성능 측정에 필요한 LLM 전용 평가 데이터 개발이 절실하다"며 "정부가 이 분야를 위해 예산을 마련해야 할 것"이라고 덧붙였다. 이 외에도 AI 업계에선 정보와 노하우를 공유하는 커뮤니티 활성화도 필요하다는 의견이 나왔다. 국내 기업 관계자나 개발자가 AI에 대해 토론하고 기술을 서로 소개하는 공간이다. 업계 관계자는 "커뮤니티는 개발자에게 다양한 모델 활용 사례를 제공할 것"이라며 "도메인 특화 서비스 출시를 기존보다 신속하게 진행할 수 있을 것"이라고 말했다.

2024.04.24 09:43김미정

메타, 오픈소스 모델 '라마3' 출시…페북-인스타 등에 적용

메타가 오픈소스 생성형 인공지능(AI) 모델 '라마 3'를 출시했다. 라마3는 현재 AI 챗봇서비스 '메타 AI'에 적용됐다. 18일(현지시간) 메타는 자사 블로그를 통해 라마3 시리즈의 자세한 내용을 공개했다. 시리즈는 총 3가지 버전으로 이뤄졌다. 우선 매개변수 80억개와 700억개 버전부터 나왔다. 나머지 버전은 미공개 상태다. 매개변수 4천억개 버전이며 데이터셋 훈련 중이다. 메타 측은 "메타3의 최소형 버전 기능은 라마2 초대형 버전과 비슷한 수준"이라며 "현존하는 오픈소스 모델 중 가장 성능 좋다"고 강조했다. 메타는 다른 모델과 비교한 성능 테스트 결과를 공개했다. 다중작업언어이해(MMLU) 등 AI 벤치마크를 활용했다. 라마3 8B는 9개 벤치마크에서 미스트랄 7B와 구글 제미나이 나노를 넘어섰다. 특히 라마3 70B는 MMLU에서 79.5점을 받아 구글 제미나이 프로보다 높은 점수를 기록했다. 이 버전은 제미나이뿐 아니라 앤트로픽 클로드3 오퍼스 버전과 맞먹는 점수를 기록했다. 라마3 모델은 아마존웹서비스(AWS)를 비롯한 데이터브릭스, 구글 클라우드, 허깅 페이스, 캐글, IBM의 왓슨X, 마이크로소프트 애저, 엔비디아의 NIM, 스노우플레이크를 포함한 클라우드 플랫폼에서 관리형 형태로 제공될 예정이다. 라마3, 비영어권 데이터셋 전체 5%…안전 도구 업데이트 메타는 라마3 데이터셋 중 비영어권 데이터 비율이 5% 이상이라고 설명했다. 이 5% 안에 영어를 제외한 30개 언어가 들어갔다. 메타 측은 "이번 모델은 라마2보다 더 높은 비영어권 데이터셋으로 이뤄졌다"며 "데이터 다양성이 증가하면 여러 언어에서도 강력한 성능을 발휘할 것"이라고 설명했다. 답변 편향성 감소를 위한 노력도 했다. 메타의 생성형 AI 안전 제품군인 '라마 가드'를 업데이트했다. 보안 취약점을 탐지할 수 있는 도구 '코드 쉴드'도 조만간 출시할 예정이다. 반면 업계에서는 이런 도구가 답변 필터링을 100% 보장하지 않는다고 반응했다. 라마3 모델이 실제 환경에서 어떻게 작동될지 우선 지켜봐야 할 것이라는 입장이다. 라마3 모델은 아마존웹서비스(AWS)를 비롯한 데이터브릭스, 구글 클라우드, 허깅 페이스, 캐글, IBM의 왓슨X, 마이크로소프트 애저, 엔비디아의 NIM, 스노우플레이크를 포함한 클라우드 플랫폼에서 관리형 형태로 제공될 예정이다. 라마3, 인스타그램·페이스북·왓츠앱 탑재…'메타 AI' 서비스 시작 이날 메타는 자사 소셜미디어 서비스 페이스북과 인스타그램, 왓츠앱에서 메타 AI 서비스를 시작했다. 여기에 라마3 시리즈가 들어갔다. 메타 AI는 이용자 질문에 답변을 제공하거나 이미지 등을 생성할 수 있다. 이용자는 메타 AI에 레스토랑 추천을 요청하고, 휴가를 계획하거나 새 아파트를 장식에 필요한 아이디어를 물어볼 수 있다. 다만 메타 AI의 이미지 생성 기능은 왓츠앱과 웹사이트에서 베타 버전만 제공된다. 현재 미국과 캐나다, 뉴질랜드, 호주 등 12개국 영어권 사용자부터 서비스를 이용할 수 있다. 한국은 1차 서비스 대상이 아니다. 마크 저커버그 메타 최고경영자(CEO)는 "메타 AI는 가장 지능적인 'AI 비서' 역할을 할 것"이라고 했다.

2024.04.19 10:41김미정

인텔 "서버·AI PC서 메타 라마3 구동 지원"

인텔은 19일 메타가 공개한 생성 AI LLM(거대언어모델) 라마3(Llama 3)를 제온 프로세서와 가우디 AI 가속기, 코어 울트라 탑재 AI PC 등에서 지원한다고 밝혔다. 메타가 공개한 라마3는 오픈소스 생성 AI 모델이며 데이터셋 중 비영어권 데이터 비중을 5%까지 높였다. 현재 매개변수 80억 개, 700억 개 버전이 선 공개됐다. 매개변수 4천억 개 버전은 현재 데이터셋 훈련중이다. 인텔은 가우디 AI 가속기, 제온/코어 울트라 프로세서와 아크 GPU로 메타가 선공개한 매개변수 80억/700억 개 버전의 구동을 검증했다고 밝혔다. 인텔은 파이토치(PyTorch), 딥스피드, 인텔 옵티멈 하바나 라이브러리, 인텔 파이토치 익스텐션 등 오픈소스 소프트웨어로 수행한 자체 벤치마크 결과도 공개했다. 인텔이 2분기 중 출시할 P코어 제온6 프로세서는 80억 개 모델 추론 구동시 4세대 제온 스케일러블 프로세서 대비 지연 시간을 절반으로 단축했다. 또 700억 개 버전에서 토큰 하나당 지연시간을 0.1초 미만으로 줄였다. 코어 울트라 프로세서는 내장 아크 GPU를 이용해 라마3 구동시 사람이 읽을 수 있는 것보다 더 빠른 속도로 토큰을 생성했다. Xe 행렬곱셈 확장(XMX)을 내장한 아크 A770은 16GB 메모리를 활용해 라마3 처리를 가속한다. 가우디2 AI 가속기는 라마2 3개 모델(70억개, 130억개, 7천억개)에 이어 라마3 모델도 구동했다. 올 하반기 출시될 가우디3 AI 가속기도 라마3를 지원한다. 인텔은 향후 매개변수를 늘리고 성능을 강화한 라마3 모델도 지속 지원할 예정이다.

2024.04.19 10:24권봉석

퀄컴 "메타 라마3 PC·스마트폰·차량서 구동 지원"

퀄컴은 19일 메타가 공개한 LLM(거대언어모델)인 라마3(Llama 3)를 스마트폰과 PC, VR/AR 헤드셋과 차량 등에서 직접 구동할 수 있도록 지원한다고 밝혔다. 메타가 공개한 라마3는 오픈소스 생성 AI 모델이며 데이터셋 중 비영어권 데이터 비중을 5%까지 높였다. 현재 매개변수 80억 개, 700억 개 버전이 선 공개됐다. 매개변수 4천억 개 버전은 현재 데이터셋 훈련중이다. 퀄컴은 지난 해 7월 라마2 최적화 지원에 이어 라마3 역시 스냅드래곤 기반 기기에 최적화 예정이다. 스냅드래곤 내장 퀄컴 AI 엔진을 활용한 직접 구동으로 응답 속도 향상, 프라이버시 보호, 개인화 경험을 기대할 수 있다. 두르가 말라디 퀄컴 기술, 기획 및 엣지 솔루션 부문 본부장은 "라마3를 이용해 개발자를 지원하고 AI 혁신을 촉진하는 메타의 개방형 접근에 뜻을 같이 한다"고 밝혔다. 이어 "퀄컴은 엣지에 위치하는 다양한 기기 접근성과 함께 온디바이스 AI 분야 리더십을 통해 라마 생태계를 넓히고, 고객과 협력사와 개발자가 혁신적인 AI 경험을 얻도록 할 것"이라고 덧붙였다. 퀄컴은 현재 100개 이상의 최적화 AI 모델을 지원하는 퀄컴 AI 허브를 통해 스냅드래곤 플랫폼에서 라마3를 구동하는 데 필요한 개발툴과 자원 등을 제공할 예정이다.

2024.04.19 09:51권봉석

메타, '라마3' 전용 AI인프라 공개...GPU만 4만9천개

메타가 차기 대규모언어모델(LLM) '라마 3' 학습을 위한 세계 최대 규모의 컴퓨팅 인프라를 공개했다. 최근 실리콘 앵글 등 외신에 따르면 메타는 AI학습을 위한 데이터센터급의 24K GPU 클러스터 한 쌍의 세부정보를 공식 블로그를 통해 공개했다. 여러 그래픽처리장치(GPU)를 네트워크로 연결해 병렬 컴퓨팅 작업을 수행하는 시스템이다. 기계학습, 대규모 시뮬레이션 등 대규모 계산 작업을 더 빠르게 처리하기 위해 활용된다. 메타에서 공개한 24K GPU 클러스터는 2022년 선보인 리서치슈퍼클러스터(RSC)의 후속모델이다. 이름처럼 2개의 클러스터에 각 2만4천576개의 엔비디아 텐서 코어 H100(이하 H100) GPU가 적용된 것이 특징으로 총 4만9천 개 이상의 H100 CPU를 활용할 수 있다. 이번 발표는 일반인공지능(AGI) 연구를 위해 대규모 인프라 구축 계획의 일환이다. 메타는 2024년 말까지 35만 개의 H100 GPU를 포함한 AI 인프라를 확장할 계획이다. 이를 통해 기존에 확보한 인프라를 포함해 60만 개의 H100 GPU 수준의 컴퓨팅 파워를 갖추는 것을 목표로 한다. 두 클러스터는 GPU 수가 동일하며 개방형 GPU 하드웨어 플랫폼 '그랜드 티톤(Grand Teton)'을 사용해 구축됐다. 하지만 네트워크 인프라 설계에 차이가 있다. 하나는 웻지 400 및 미니팩 2 OCP 랙 스위치와 아리스타 7800를 기반으로 자체 개발한 RDMA 오버 컨버지드 이더넷(RoCE) 솔수션을 적용했다. 두 번째 클러스터는 엔비디아의 퀀텀2 인피니밴드 패브릭 솔루션이 적용됐다. 두 클러스터의 구조를 다르게 한 이유는 향후 더 크고 확장된 클러스터 구축을 목표로 하기 때문이다. 두 클러스터에서 다양한 분야의 AI를 학습하며 어떤 구조와 설계 방식이 AI에 적합한지 데이터를 확보해 이후 적용하겠다는 비전이다. 저장장치도 해머스케이프와 협력해 자체 개발했다. 생성형 AI 훈련 작업이 점점 빨라지고 규모가 커지는 것에 대비해 고성능이면서도 수만개의 GPU에서 동시 작업하는 데이터를 감당할 수 있도록 E1.S SSD를 활용했다. 이와 함께 구글은 개방형 AI 생태계 활성화를 위해 AI 소프트웨어 프레임워크인 파이토치를 지속해서 지원할 것이라고 강조했다. 케빈 리 등 구글 연구원은 “지난 2015년 빅서 플랫폼을 시작으로 GPU 하드웨어 플랫폼을 설계를 공개하고 있다”며 “우리는 이런 정보 공유가 업계의 문제 해결을 돕는데 도움이 될 것이라고 믿고 있다”고 이번 GPU 클러스터 관련 내용을 공개한 이유를 밝혔다. 이어서 “우리의 AI 노력은 개방형 과학과 교차 협력의 철학을 바탕으로 구축됐다”며 “개방형 생태계는 AI 개발에 투명성, 정밀성, 신뢰를 제공하고 안전과 책임을 최우선으로 하여 모든 사람이 혜택을 누릴 수 있는 혁신을 이끌어낼 것”이라고 강조했다.

2024.03.17 13:07남혁우