검색 - IT세상을 바꾸는 힘 지디넷코리아

이스트소프트, AI 휴먼 키오스크 사업 시동…자체 LLM 첫 상용화

이스트소프트(대표 정상원)가 자체 개발한 경량 대규모언어모델(LLM) '앨런'을 앞세워 온디바이스 AI 시장 공략에 본격 나선다. 이스트소프트는 이큐비알과 대화형 AI 휴먼 솔루션 'AI 라이브 챗' 공급 계약을 체결했다고 19일 밝혔다. 이 계약을 통해 양사는 온디바이스 AI 키오스크 시장 공략에 본격 나선다. 이번 계약은 이스트소프트기 '앨런 LLM'과 AI 휴먼 기술을 기반으로 한 온디바이스 소프트웨어 개발 키트(Full On-Device SDK)를 이큐비알에 공급하는 내용이다. 이를 통해 양사는 온디바이스 AI 휴먼 키오스크를 빠른 시일 내에 제품화하고, 초도 물량 20억원 규모를 시작으로 순차적 유통에 돌입한다. 이스트소프트는 키오스크에 탑재되는 AI 라이브 챗이 독립 환경에서 구동돼 ▲높은 보안성 ▲지연시간 최소화 ▲클라우드 인프라 비용 절감 등의 장점을 제공한다고 설명했다. 여기에 검색 기반 생성형 AI(RAG), 음성합성(TTS), AI 휴먼 인터페이스 등 온디바이스 최적화를 위한 기술 고도화를 지속 추진하고 있다. 이큐비알은 금융권 SI 사업에서 쌓은 구축·유통·운영 노하우를 기반으로 키오스크 현장 설치와 유지보수까지 전반을 담당하게 된다. 양사는 기술-사업 연계 모델을 통해 온디바이스 기반 LLM 서비스의 상용화 속도를 높이겠다는 계획이다. 이스트소프트는 이번 계약을 통해 자체 개발한 앨런 LLM을 처음으로 상업 공급하게 됐으며, 이를 기점으로 에이전트 AI 구축 사업과 LLM 플랫폼 확장에 속도를 낼 방침이다. 하반기에는 LLM 기반 온디바이스 솔루션 사업을 주력으로 추진한다. 정상원 이스트소프트 대표는 "이번 계약은 자체 LLM 기술을 온디바이스 환경에 상용화한 상징적인 첫 사례"라며 "AI 라이브 챗을 포함한 다양한 솔루션을 통해 온디바이스 AI 생태계를 선도하고, LLM 기반 사업의 본격 성장을 이끌겠다"고 강조했다. 향후 양사는 공공, 의료, 유통, 관광 등 다양한 분야로 온디바이스 AI 키오스크 사업을 확대하고, 베리어프리 키오스크 도입 의무화에 선제 대응할 계획이다.

2025.06.19 09:43남혁우

"윈도처럼 복잡한 AI, 만들기 보다 도입이 유리"

"AI 모델 개발에는 막대한 데이터와 고성능 컴퓨팅 자원이 필요하며, 이는 많은 기업에 현실적으로 큰 부담이 된다. 이는 기업에서 윈도나 리눅스 등 운영체제(OS)를 직접 만들어 사용하는 것과 유사하다." 발전 속도가 날로 빨라지는 AI를 중심으로 기업 경영과 비즈니스 혁신이 이뤄지고 있다. AI를 효과적으로 활용하지 못하는 기업은 가속화되는 변화를 따라잡기 어려워지는 추세다. 베스핀글로벌은 이런 상황에 대처하기 위해 양질의 상용AI를 활용해 빠르게 시스템을 구축하고 기업은 비즈니스와 장점에 집중할 것을 권하고 있다. 11일 만난 베스핀글로벌의 박기철 헬프나우AI 실장은 이와 같이 말하며 급변하는 AI시대 기업들이 갖춰야 할 AI전략을 제시했다. 박 실장은 AI 기술의 발전 속도가 가속화됨에 따라 기업 내에서 대규모 언어모델(LLM) 등 AI 서비스를 개발하기에는 시간과 자원의 제약이 크다고 지적했다. 특히 천문학적인 단위의 비용과 대규모 전문 인력을 투자하는 상용AI나 오픈소스AI와 비교해 성능이나 개발 속도 면에서 차이가 발생할 수밖에 없다는 설명이다. 그는 "오픈AI나 메타의 경우 AI 개발을 위해 막대한 인력과 고성능 컴퓨팅 자원을 투자하고 있다"며 "이런 방식을 일반 기업에서 그대로 따라하는 것은 현실적으로 한계가 있다"고 설명했다. 이어 "이는 기업에서 윈도나 리눅스 등 운영체제(OS)를 직접 만들어 사용하는 것과 비슷하다"며 "그보다는 이미 검증된 AI와 서비스를 활용하고 기업은 보유한 데이터와 비즈니스에 집중하는 것이 중요하다"고 말했다. GPT나 라마 등 기성 AI는 개발 과정을 최소화해 도입할 수 있는 만큼 초기 투자 비용과 리소스를 줄일 수 있으며, 각 개발사에서 지속적으로 모델을 업데이트하는 만큼 자동으로 최신 기술을 선점할 수 있다. 더불어 박 실장은 상용AI를 기업에 더욱 최적화해 사용할 수 있는 방안으로 헬프나우AI를 활용할 것을 제시했다. 헬프나우AI는 복잡한 코딩이나 프로그램 작업 없이 기업 데이터와 AI를 연계해 맞춤형 AI 서비스를 구축할 수 있도록 지원하는 AI플랫폼이다. AI 에이전트를 통해 반복적인 업무를 자동화하고, 내부 검색 시스템을 고도화하며, 고객 지원 서비스를 혁신적으로 개선할 수 있도록 돕는다. 오픈AI의 GPT-4, 구글의 PaLM2를 비롯해 구글 다이얼로그플로우, 아마존웹서비스(AWS) 렉스, IBM 왓슨 등 다양한 AI를 지원한다. 공공, 통신, 모빌리티, 물류, 제조, 교육 등 다양한 산업 분야에 특화된 AI서비스 환경을 제공한다. 노코드 기반의 인터페이스로 기존 6개월 이상 소요되던 개발 기간을 1개월 내외로 단축하며, 비용도 50% 이상 절감할 수 있다. 이런 장점을 바탕으로 현재 한국공항공사의 김포국제공항 AI챗봇 시범서비스, 매년 대규모로 변경되는 제도·규정을 민원상담사에게 알려주는 한 공공기관의 대내 상담서비스 등에 적용됐다. 한 제조사는 헬프나우AI를 활용해 전사적자원관리(ERP)와 연동한 음성 인식 기반 주문 처리 시스템을 구축했다. 이를 통해 제조 과정에 필요한 자재 주문을 자동화해 주문 처리 시간을 50% 단축하고 인적 오류가 감소하는 성과를 거뒀다. 울산교육청은 헬프나우AI를 기반으로 생성형 AI 기반 개인화 교육 지원 시스템을 구축했다. AI가 학생들의 질문 수준과 학습 이해도에 따라 맞춤형 응답을 제공하는 등 각 학생에 최적화된 교육 서비스를 제공할 수 있었다. 다른 지방자치단체는 민원 처리 시스템에 AI 검색 기능을 추가해 민원 등 업무 처리 시간을 기존 대비 30% 단축시키는 성과를 기록했다. 박기철 실장은 급변하는 AI 시대에 기업이 적응하기 위해서는 AI 기술을 빠르게 도입해 실질적인 비즈니스 성과를 도출하는 것이 중요하다며, 이를 위해서는 상용AI에 기업 데이터를 연동해 맞춤형 AI환경을 구축하는 것이 가장 유리하다고 강조했다. 그는 "기업에서 AI를 개발하고 운영하기 위해서는 그만큼 막대한 투자비용이 지출되고 도입까지의 기간도 늘어질 수밖에 없다"며 "AI 도입과 운영은 우리가 담당할 테니 각 기업은 그동안 축적한 데이터와 노하우를 AI와 연계해 비즈니스에 활용하기만 하면 된다"고 말했다. 이어 "이제 AI는 단순히 기술 트렌드가 아닌 모든 기업이 필수적으로 사용하는 도구로 발전하고 있다"며 "베스핀글로벌은 기업들이 AI를 고민 없이 효율적으로 활용할 수 있도록 최선을 다할 것"이라고 강조했다.

2024.12.11 16:06남혁우

"운영 비용 8분의 1"...메타, 신형 AI '라마 3.3 70B' 출시

메타가 신형 대규모언어모델(LLM) '라마 3.3 70B'를 출시했다. 기존 언어모델 수준의 성능에 운영비용을 8분의 1 수준으로 사용할 수 있는 것이 특징이다. 8일 메타는 인공지능(AI) 개발 플랫폼 허깅페이스를 통해 라마 3.3 70B를 공개했다. 라마 3.3 70B는 지난 4월 출시한 라마 3의 신규 버전이다. 4천50억개의 매개변수를 활용한 라마 3.1 대비 6분의 1 수준인 매개변수를 700억개로 줄였음에도 유사하거나 일부 더 뛰어난 성능을 갖췄다. 메타에서 공개한 벤치마크 결과에 따르면 라마 3.3 70B는 라마 시리즈 중 가장 많은 매개변수를 활용한 라마 3.1 405B를 비롯해 오픈AI의 GPT-4o, 구글의 제미나이 1.5, 아마존의 노바 프로와 유사한 성능을 기록했다. 언어 모델의 다방면적인 지식 수준을 측정하는 MMLU는 소폭 낮은 기록을 보였지만 대화 내용을 이해하고 지침을 따르는 능력을 평가하는 IFeval은 노바 프로와 함께 가장 높은 점수를 달성했다. 더불어 라마 3.3 70B는 모델 크기, 추론 알고리즘, 데이터 효율성, 컴퓨팅 자원 활용에서 비용 절감 요인을 극대화하는 설계와 최적화로 타 AI대비 8분의 1 이하의 운영비용을 요구한다. 메타 측에 따르면 운영 비용은 토큰 100만개당 입력 0.1달러, 출력 0.4달러 수준이다. 라마 3.3은 다양한 언어환경에서 상업적 및 연구 목적으로 개발된 AI모델이다. 최적화된 트랜스포머 아키텍처를 기반으로 기업의 목표나 특성에 맞춰 감독 미세 조정(SFT)과 피드백을 통한 강화 학습(RLHF)을 지원한다. 다양한 언어 환경을 지원하는 만큼 영어, 독일어, 프랑스어 등 사전학습된 8개 언어 외에도 추가학습을 통해 새로운 언어를 사용하는 것도 가능하다. 마크 저커버그 메타 CEO는 인스타그램을 통해 "올해 마지막 빅 업데이트"라고 라마 3.3를 소개하며 "메타는 전 세계 모든 이용자에게 혜택을 제공하기 위해 AI를 개발하고 있으며 메타 AI는 현재 월간 활성 사용자가 6억명에 달한다"고 밝혔다. 이어 "다음은 2025년 출시할 라마 4"라며 차기 버전을 예고했다.

2024.12.08 14:35남혁우

메타, LLM '라마' 美정부 방위·군사기관 지원…中 AI경쟁 확대

페이스북, 인스타그램의 모기업인 메타가 미국 정부 방위 및 국가 안보 기관에 오픈 소스 인공지능(AI) 모델인 라마(Llama)를 제공한다. 6일 MS파워유저 등 외신에 따르면 메타는 액센츄어, 아마존웹서비스(AWS), 록히드 마틴, 오라클 등과 협력해 정부 기관에 AI모델을 제공한다고 밝혔다. 이번 협력을 통해 오라클은 라마를 기반으로 항공기 유지 관리 문서를 통합해 기술자가 문제를 빠르고 정확하게 진단하고 수리 시간을 단축할 수 있도록 항공 수리 시스템을 구축하며 스케일 AI는 라마를 미세 조정해 작전 계획 및 취약성 식별과 같은 안보 임무를 지원한다. 록히드마틴은 AI 팩토리에 라마를 통합해 코드 생성, 데이터 분석 및 비즈니스 프로세스 업무를 가속화한다. 이 밖에도 AWS와 마이크로소프트 애저는 민감한 데이터를 위한 보안 클라우드 솔루션을 라마를 활용해 구축하고 IBM은 왓슨 솔루션을 기반으로 자체 관리형 데이터 센터와 클라우드를 국가 안보 기관에 지원한다. 이번 조치는 그동안 군사적 용도 AI 사용을 제한했던 기존 AI기업들의 행보와 대비된다. 이에 대해 메타는 최근 중국 등 경쟁국에서 개발 중인 군사용AI에 대비하기 위한 것이라고 밝혔다. 닉 클레그 메타 글로벌 사업 사장은 "중국을 포함한 많은 경쟁국이 미국을 앞지르기 위해 자체 오픈소스 모델을 개발에 막대한 투자를 지속하고 있다"며 "미국이 기술적 우위를 유지하는 동시에 AI에 대한 접근성을 확대할 것"이라고 밝혔다. 또 일부에선 경쟁국에서 오픈소스의 메타의 라마를 활용한 군사용AI를 개발 중인 만큼 이에 대처하기 위해 직접 나선 것이란 분석도 나오고 있다. 로이터 등 외신에 따르면 중국의 인민해방군(PLA)과 연계된 연구그룹에서 군사 중심 AI 도구인 '챗빗(ChatBIT)'을 개발했다. 챗빗은 라마를 기반으로 개발됐으며 군사 전용 업무와 대화에 특화되어 기존 AI 대비 더 높은 성능을 보이는 것으로 알려졌다. 닉 클레그 사장은 "우리의 목표는 미국이 기술적 우위를 유지하는 동시에 AI에 대한 접근성을 전 세계적으로 확대하고 미국과 가까운 동맹국의 전략적, 지정학적 이익을 지원하는 선순환을 만든 것"이라며 "차세대 디지털 인프라가 민주적 가치와 보호 장치에 뿌리를 두고 있음을 보장하는 데 일조하고자 한다"고 말했다.

2024.11.06 10:11남혁우

[컨콜] 삼성SDS "내년 상반기 멀티모달 챗·지식 그래프 선보일 것"

삼성SDS가 주력 비즈니스로 인공지능(AI) 서비스 확대를 위해 내년 상반기 멀티모달 챗·지식 그래프기반 기술을 선보일 예정이다. 삼성SDS는 30일 개최한 3분기 컨퍼런스콜을 통해 차기 AI 비즈니스 계획을 공개했다. 구형준 클라우드서비스사업부장은 "내년 상반기 안으로 멀티모달 챗, 지식 그래프 등의 핵심 기술을 확보할 것"이라며 "이를 사업에 활용할 수 있도록 준비할 것"이라고 밝혔다. 멀티모달 챗은 텍스트, 이미지, 소리 등 여러 형태의 입력과 출력을 통합해 사용자와 상호작용하는 챗봇 시스템을 말한다. 다양한 데이터 소스에서 정보를 수집하고 분석하여 더욱 풍부하고 정확한 대화를 제공할 수 있도록 지원한다. 지식 그래프는 정보와 데이터를 연결해 시각적, 구조적으로 나타내는 데이터 모델이다. 사람, 장소, 사물 등 다양한 개체 간의 관계를 그래프 형태로 표현해 정보 간의 연결을 보여주며 이를 통해 단순한 데이터 집합이 아닌 맥락화된 정보를 제공해 더 높은 수준의 데이터 분석과 추론이 가능하도록 돕는다. 구 부사장은 "현재 200개가 넘는 기업 고객사례를 바탕으로 다양한 요구사항을 수집하고 있다"며 "이를 해결하기 위해 대규모언어모델(LLM), 에이전트 등을 활용한 기술을 구체화하고 있다"고 밝혔다.

2024.10.30 15:57남혁우

유아이패스 "LLM 결합한 RPA로 쉽고 빠른 기업혁신 지원”

유아이패스가 대규모 언어모델(LLM)을 로봇프로세스자동화(RPA)에 적용해 보다 쉽고 빠르게 기업의 혁신을 돕는다. 유아이패스 세바스찬 슈뢰텔 제품 총괄 부사장 6일 서울 페이몬트 앰배서더 호텔에서 개최한 'AI 서밋 2024'에서 LLM 기반 RPA서비스를 대거 선보였다. 세바스찬 부사장은 " LLM 기반 제품군을 포함한 유아이패스의 혁신은 조직들이 AI의 잠재력을 최대한 활용할 수 있도록 설계됐다“며 ”각 분야에 맞춰 최적화된 A| 및 자동화 기능을 내장함으로써 국내 기업들이 정확성, 일관성, 예측 가능성을 높일 수 있도록 지원한다"고 설명했다. 먼저 공개한 닥패스와 컴패스는 6월 국내 서비스를 시작한 자동화 서비스로 대규모 언어모델(LLM)을 적용한 것이 특징이다. 닥패스는 세금 계산, 인보이스, 구매 주문서, 재무제표 등 다양한 유형의 문서를 처리 작업에 특화됐다. 업무 자동화 과정에서 문서 처리의 신뢰성과 속도를 향상할 수 있도록 지원한다. 컴패스는 이메일, 메시지 등 비즈니스 커뮤케이션 과정에서 정확하고 효율적인 정보 처리에 특화된 서비스다. 기업 내 다양한 커뮤니케이션 채널에서 발생하는 대량의 데이터를 분석하고, 핵심적인 내용을 도출하거나 이상을 감지해 운영 효율성을 개선하고, 기업의 의사 결정 과정을 돕는다. AI의 성능을 높이기 위한 기능도 다양하게 추가됐다. 현재 비공개 프리뷰 버전으로 제공 중인 오토파일럿 어드민은 AI 도구인 오토파일럿을 보다 효율적으로 활용하기 위한 관리 도구다. 이를 통해 사용자는 오토파일럿의 장애를 사전에 방지해 중단 없이 업무를 수행하거나 보다 업무 효율성을 높이는 것이 가능하다. 컨택스트 그라운딩은 기업 내 데이터나 내부 정책 및 절차와 같은 데이터 소스를 AI에 학습시킬 뿐 아니라 색인화하고 검색할 수 있도록 정제해 AI를 비롯해 다양한 환경에서 데이터 환경에서 활용할 수 있도록 제공한다. 또한 생성형 AI 액티비티는 유아이패스 AI 트러스트 레이어를 활용하며, 자동화 워크플로우에서 고품질의 A| 예측에 쉽게 액세스하고 이를 개발하여 활용함으로써 가치 창출 시간을 단축할 수 있다. 조의웅 유아이패스 코리아 지사장은 국내 기업들은 이제 디지털 혁신(DX)을 넘어 AI 혁신(AX)을 중요한 우선 순위로 삼고 있다"며 "유아이패스는 새로 출시된 혁신적인 기능을 포함한 강력한 자동화 도구를 제공함으로써 이러한 변화를 지원하기 위해 최선을 다하고 있다. 유아이패스의 현지화 노력은 다양한 산업 분야에서 문서 처리 정확도를 크게 개선하고 운영 효율성을 향상시킬 것이며, 앞으로도 AI를 활용해 새로운 성장 기회를 창출할 수 있도록 지원할 것"이라고 강조했다.

2024.09.06 13:07남혁우

"AI 운영비용 최대 90% 감소"…앤트로픽, 프롬프트 캐싱 도입

앤트로픽이 생성형 인공지능(AI) 클로드의 운영비용을 최대 90% 줄이고 반응속도를 개선하는 새로운 기능을 공개했다. 16일 실리콘앵글 등 외신에 따르면 앤트로픽은 프롬프트 캐싱을 공식 홈페이지를 통해 발표했다. 이 기능은 앤트로픽의 멀티모달 대규모언어모델(LLM) 클로드3.5 소네트와 고속 AI모델인 클로드3 하이쿠에서 베타모드로 먼저 도입된다. 프롬프트 캐싱은 AI챗봇의 응답 처리 과정에서 발생하는 비용을 줄이고 반응속도를 높이기 위한 기술이다. 일반적인 AI모델은 프롬프트를 입력할 때마다 해당 데이터를 새로 입력해야 하는 만큼 많은 비용과 시간을 소모한다. 반면, 프롬프트 캐싱은 반복적으로 사용할 긴 문서나 복잡한 프롬프트를 캐시에 저장해 반복 사용하는 방식이다. 앤트로픽에 따르면 프롬프트를 캐시에 저장할 때는 백만 토큰당 3.75달러의 비용이 든다. 하지만 캐시에 저장된 데이터를 불러와 사용할 경우에는 백만 토큰당 0.3달러로 줄어든다. 이를 통해 반복적인 작업에서 기존 대비 최대 90%의 비용 감소효과를 일으킬 수 있다는 설명이다. 더불어 매번 데이터를 새로 불러올 필요가 없는 만큼 응답 시간 역시 2배 이상 높일 수 있다. 앤트로픽에 따르면 10만 토큰 규모의 특정 문서 기반 대화의 경우 캐싱 전 지연 시간은 11.5초수준이었다. 프롬프트 캐싱 적용 후 지연 시간은 2.4초로 79% 줄어드는 성과를 기록했다. 앤트로픽은 프롬프트 캐싱의 실무 사례로 노션을 소개했다. 노션은 해당 기능을 통해 AI 운영 비용을 최대 90%까지 절감했으며, 10초가 걸리던 응답 시간도 약 2.5초로 단축했다고 밝혔다. 더불어 AI응답속도가 증가하고 비용을 절감하게 되면서 더 많은 사용자에게 보다 빠른 AI서비스를 제공할 수 있어 사용자 경험 향상에 큰 영향을 미쳤다고 답했다. 노션의 공동창업자인 사이먼라스트는 "프롬프트 캐싱을 사용해 노션AI를 더 빠르고 저렴할 뿐 아니라 높은 품질을 유지할 수 있게 됐다"며 해당 서비스를 평가했다.

2024.08.16 09:52남혁우

[현장] 오픈AI 제이슨 권 "AI 극초기 단계…낙관론 유지해야"

"사람들이 인공지능(AI)을 '스마트하다'고 느끼기 시작했음에도 이 기술은 아직 초기 단계에 있습니다. 기술의 유용성을 극대화하기 위해서는 AI를 '과대광고'라고 생각하지 말고 합리적 낙관론을 유지해야 합니다." 제이슨 권 오픈AI 최고전략임원(CSO)은 12일 서울 페럼홀에서 열린 '서울 AI 정책 컨퍼런스(Seoul AI Policy Conference) 2024'에서 임용 서울대 교수와 대담하며 AI 기술의 현황과 잠재력에 대한 자신의 견해를 밝혔다. 권 이사는 지난 2022년 11월 '챗GPT-3.5'가 출시된 후 생성 AI에 대한 대중의 인식이 급격히 변화했다고 언급했다. 거대언어모델(LLM)을 통해 AI가 사람의 말을 이해하게 되면서 20년 전에는 상상할 수 없었던 기술들이 실현됐기 때문이다. 그는 직접 오픈AI 'GPT-4o' 최신 음성 모드를 시연하며 기술의 급격한 발전을 증명했다. 한국인 교수와의 대화를 통역해 달라는 권 이사의 영어로 된 요청에 'GPT-4o'는 그의 말을 한국어로 실시간 변환하며 성공적인 통역을 수행했다. 권 이사는 "불과 1년 반 전만 해도 텍스트를 키보드로 입력해야 했던 모델이 이제는 음성으로 실시간 통역을 제공할 수 있게 됐다"며 "기술은 매우 빠르게 발전하고 있다"고 강조했다. AI 능력의 급격한 발전에도 여전히 할루시네이션(환각)이나 음성 인식 오류와 같은 문제가 존재한다. 그럼에도 불구하고 AI는 여전히 추론 능력을 개선하고 있으며 엔지니어들은 최신 기술인 '트랜스포머' 이후의 새로운 패러다임을 모색하고 있다. 이러한 발전 과정에 대해 권 이사는 "우리는 기술을 점진적으로 발전시키고 AI가 일상 업무를 대신하도록 하는 것이 목표"라며 "단 한번의 도약이 아닌 점진적인 진화 과정을 통해 종국에는 일반인공지능(AGI)에 도달할 것이라고 믿는다"고 밝혔다. AI의 급격한 발전이 안전성 문제를 초래할 수 있지 않냐는 질문에 그는 AI 시스템 발전이 오히려 '정렬(Alignment)' 문제를 해결하는 데 도움될 수 있다는 점을 강조했다. 실제로 'GPT-2' 시절의 AI는 일반화 능력이 부족해 비윤리적인 명령을 실행했던 바 있으나 현재의 강력한 모델들은 스스로를 윤리적인 방향으로 제어할 수 있게 됐다. 또 권 이사는 AI 기업의 구조·거버넌스는 필요에 따라 변할 수 있지만 중요한 것은 조직을 운영하고 결정을 내리는 사람이라는 점을 강조했다. 오픈AI 역시 비영리로 시작했지만 컴퓨팅 자원과 투자 유치로 인해 복잡한 구조를 가지게 됐기 때문이다. 권 이사는 "AGI라는 핵심 목표를 위해 우리는 세상과 상호작용하며 유연하게 진화해 왔다"며 "이는 회사 구성원들이 원했던 목적을 이루기 위해 변화한 결과"라고 주장했다. 오픈AI의 향후 계획에 대해 권 이사는 "앞으로 사람들이 AI를 지금보다 많은 방향으로 활용하며 잠재력을 실현할 것"이라며 "AI의 추론 능력을 더욱 발전시켜 사람들의 업무에 실질적인 도움을 주고 동시에 안전성을 확보하는 것이 회사의 목표"라고 밝혔다.

2024.08.12 14:52조이환

오픈AI 中 서비스 중단…알리바바 '큐원2'가 대안될까

오픈AI가 중국 내 서비스를 전면 차단한 가운데 알리바바가 대규모 언어 모델(LLM) '큐원2-수학(Qwen2-Math)'을 출시해 관심이 쏠린다. 현존하는 LLM 중 최상위권 수학 AI로 평가돼 현지 연구자와 개발자들의 대안으로도 각광 받고 있다. 9일 미국의 기술 매체 벤처비트에 따르면 알리바바의 '큐원2-수학'은 LLM용 수학 벤치마크 '매스(MATH)' 테스트에서 84%의 정확도를 기록했다. 벤치마크 성능 1위인 오픈AI의 'GPT-4 코드 인터프리터(GPT-4 Code Interpreter)'가 기록한 87.92%에 근접한 성과로, 알리바바의 기술력을 입증했다는 평가다. '큐원2'는 초등학교 수준의 수학을 테스트하는 'GSM8K'에서 96.7%, 대학 수준의 수학 테스트에서는 47.8%의 점수를 기록하며 눈에 띄는 성과를 거뒀다. 이는 오픈AI 'GPT-4o', 앤트로픽 '클로드 3.5 소네트', 구글 '수학-제미나이 스페셜라이즈드 1.5 프로(Math-Gemini Specialized 1.5 Pro)'와 같은 주요 경쟁 모델들을 능가하는 결과다. 이번 성과는 중국 유저들에게 의미가 크다. 오픈AI의 서비스 차단으로 중국 개발업계와 학계가 '챗GPT'를 사용하지 못하고 있기 때문이다. 지금까지 중국 개발자·연구자들은 가상사설망(VPN)을 통해 제한적으로 파인튜닝, 연구 및 벤치마킹을 진행해 왔으나 이마저도 지난 7월 전면적으로 차단돼 연구에 제약을 받아 왔다. 이런 상황에서 '큐원2'는 'GPT-4 코드 인터프리터'에 거의 준하는 수학 능력을 달성해 중국 유저들의 업무를 효율적으로 지원할 것으로 예측된다. 이에 맞춰 알리바바는 해당 모델의 광범위한 활용을 위해 배포를 계획하고 있다. 특히 월간 사용자 수가 1억 명 이하인 기업들에게 오픈소스로 제공해 스타트업과 중소기업이 사실상 무료로 사용할 수 있게 할 방침이다. 벤처비트는 "LLM 모델 경쟁이 매우 빠르게 진행되면서 '큐원'이 지금까지는 경쟁자들에게 밀려났었다"며 "이번 수학 능력의 비약적인 향상은 알리바바가 다시 경쟁력을 회복하는 계기가 될 수 있을 것"이라고 분석했다.

2024.08.09 15:28조이환

마크 저커버그 "차기 LLM 라마4 기존 대비 10배 이상 투자"

메타가 차기 오픈소스 대규모 언어모델(LLM) 개발을 위해 10배 이상의 컴퓨팅 파워를 투자할 전망이다. 2일 테크크런치 등 외신에 따르면 마크 저커버그 최고경영자(CEO)는 메타의 2분기 실적발표에서 향후 AI 개발 계획을 소개했다. 그는 "향후 수 년간 필요한 컴퓨팅 클러스터와 데이터를 계획하고 있다"며 "차기 모델인 라마4(Llama 4)는 업계에서 가장 진보한 오픈 AI모델로 구축하기 위해 이전 모델보다 거의 10배에 달하는 컴퓨팅 파워가 필요할 것이라고 추정했다. 이번 실적 발표에서 수잔 리 최고재무책임자(CFO)는 메타가 올해 생성 AI에서 수익을 창출하지 못할 것임을 인정했다. 또한 다양한 데이터 센터 프로젝트와 미래 AI 모델을 훈련할 수 있는 역량 구축을 고려하고 있어 2025년까지 자본 지출이 늘어날 수 있다고 밝혔다. 이에 대해 마크 저커버그 CEO는 대규모 AI경쟁에서 뒤처지지 않기 위해 투자를 확대하는 과정이라고 밝혔다. 그는 "AI가 앞으로 어떤 추세를 보일지 예측하기 어려운 것은 사실"이라며 "하지만 투자를 멈춘 후 다시 새로운 추론 프로젝트를 시작하기엔 긴 리드타임이 필요하기 때문에 너무 늦기 전에 필요한 인프라를 미리 구축하는 위험을 감수하는 것이 낫다"고 설명했다. 또한 페이스북의 콘텐츠 순위 및 추천 도구와 인스타그램의 피드 등에 AI를 활용하고 있으며 이를 통해 성과를 개선하고 있다며 AI의 활용성을 소개했다. 마크 저커버그는 "예전에는 광고주가 특정 연령대, 지역 또는 관심사와 같이 도달하고 싶은 특정 대상 고객을 가지고 우리에게 왔다"며 "AI가 적용된 우리 광고 시스템은 이제 광고주 자신보다 누가 관심을 가질지 더 잘 예측할 수 있는 지점까지 도달했다"고 강조했다.

2024.08.02 09:58남혁우

오픈AI, 챗GPT 때문에 파산할 수도…왜?

오픈AI가 챗GPT의 유지 비용이 높아서 올해 안에 파산 위기에 처할 수 있다는 우려가 나왔다. 인공지능(AI) 기업인 오픈AI는 AI 챗봇 '챗GPT' 운영비 부담 때문에 올해 50억 달러(약 6조9천250억원) 가량 손실을 볼 가능성이 있다고 튀르키예투데이, 디인포메이션 등 외신들이 28일(현지시간) 보도했다. 보도에 따르면 챗GPT는 하드웨어를 운영 비용만 매일 70만 달러(약 9억6천950만원) 가량이 필요하다. 이 수치는 앞으로 AI 기능이 정교해지게 되면 더 늘어날 것으로 예상된다. 또 오픈AI는 올해 ▲AI 교육 부문 70억 달러(약 9조6천950억원) ▲인건비 15억 달러(약 2조775억원) 가량 필요할 전망이다. 이는 아마존의 지원을 받는 앤트로픽 등 경쟁업체의 같은 기간 지출 27억 달러(약 3조7천395억원)를 능가하는 수치다. 반면 오픈AI가 챗GPT로 벌어들이는 돈은 운영 비용을 감당하기에는 턱 없이 부족한 수준이다. 디인포메이션에 따르면 오픈AI는 챗GPT로 연간 약 20억 달러(약 2조7천700억원)를 벌어들이고 있다. 이와 별도로 대규모언어모델(LLM) 이용료로 10억 달러(약 1조3천850억원) 매출을 추가로 만들어내고 있다. 현재 오픈AI의 기업 가치는 800억 달러(약 110조8천억원)를 웃도는 수준이다. 또 생성형 AI에 대한 기업들의 관심이 높아짐에 따라 오는 2025년까지 매출이 두 배 이상 증가할 것이라는 기대도 있다. 오픈AI는 7번의 투자 라운드를 통해 110억 달러(약 15조2천416억원) 이상의 금액을 모금했으며, 마이크로소프트의 클라우드 서비스 '애저(Azure)' 할인 혜택도 누리고 있다. 그럼에도 오픈AI는 35만개의 서버 중 29만개를 챗GPT 전용으로 운영 중이다. 오픈AI는 파산을 피하기 위해 향후 12개월 이내에 추가 자본을 확보해야 한다. 이러한 리스크에도 오픈AI는 샘 알트만(Sam Altman) 대표와 함께 일반인공지능(AGI)을 발전에 집중하고 있다. 또한 AI 기반 검색 엔진인 서치(Search)GPT를 출시하며 제품과 수익원을 다각화를 모색 중이다.

2024.07.29 13:48정석규

오픈AI, 더 똑똑한 AI 모델 내놓나…비밀리에 '스트로베리' 개발

오픈AI가 인공지능(AI) 모델 추론능력 향상을 위해 비공개 연구를 진행 중인 것으로 전해졌다. 성공 시 AI는 인터넷을 자율적으로 탐색하고 작업을 순차적으로 계획·수행 할 수 있게 된다. 15일 로이터에 따르면 오픈AI는 코드명 '스트로베리(Strawberry)'라는 모델을 개발 중인 것으로 알려졌다. 이 모델의 목표는 AI가 심층연구(Deep Research)를 수행하도록 하는 것이다. 심층연구란 AI가 자율적으로 인터넷을 탐색하고 문제를 해결하며 단계에 따라 계획을 수립·실행하는 능력이다. 스트로베리는 질의에 대한 답변만 생성하는 기존 AI모델과 달리 고도의 심층연구 능력을 달성하는 것을 목표로 한다. '챗GPT' 등 생성형 AI 서비스는 이미 인간보다 빠르게 텍스트를 요약하고 산문을 작성할 수 있다. 그러나 인간이 직관적으로 이해하는 상식적 문제나 논리적 오류를 해결하지는 못한다. 대신 거짓 정보를 내뱉는 '환각(Hallucination)' 문제가 발생한다. 로이터는 스트로베리가 성공적으로 개발된다면 현재 AI가 직면한 추론 능력 문제를 해결할 수 있을 것으로 분석했다. 전문가들은 향후 AI가 애플리케이션 개발과 과학적 발견에 중요한 역할을 하게 될 것으로 기대하고 있다. 로이터 소식통은 "스트로베리 개발은 진행 중인 사안"이라며 "모델의 작동원리는 오픈AI 내부에서도 철저한 기밀"이라고 말했다. 스트로베리는 지난해 '큐스타(Q*)'로 알려져 있었다. 이 모델은 기존 AI가 해결하지 못하던 과학 및 수학 문제에 대해 답을 하는 등 발전된 추론능력을 보였다. 오픈AI 관계자는 스트로베리에 대한 직접적인 언급을 피하며 "우리는 AI 모델이 인간처럼 세상을 보고 이해하기를 바란다"며 "AI 기능에 대한 지속적인 연구는 업계에서 일반적인 관행"이라고 밝혔다.

2024.07.15 14:19조이환

"AI가 다 한다"...앤트로픽, 고품질 프롬프트 기능 추가

앤트로픽이 안전하고 전문적으로 대규모언어모델(LLM) '클로드(Claude)'를 사용할 수 있도록 고품질 프롬프트를 생성하고 검사하는 기능을 도입했다. 앤트로픽은 공식 뉴스룸을 통해 '클로드' 개발자 콘솔에 테스트케이스를 추가했다고 11일 밝혔다. 개발자 콘솔은 모델의 응답을 평가하고 개선하기 위해 사용하는 도구다. 앞서 지난 5월 앤트로픽은 콘솔에 프롬프트 생성기를 추가했다. 이 기능은 생각의 사슬(CoT) 기법 등 최신 추론 기법에 기반해 정확하고 안정적인 고품질 프롬프트를 생성한다. 새로 추가된 테스트케이스는 프롬프트 생성기 등을 통해 작성한 프롬프트가 올바르게 작동하는지를 검증한다. 마케팅용 이메일 작성, 기술 메뉴얼 작성 등 산업이나 업무의 특성에 따라 달라지는 프롬프트 요구사항을 가상환경에서 안전하고 빠르게 확인하기 위함이다. 테스트케이스는 콘솔에서 자동으로 생성하거나 수동으로 작성할 수 있으며, 다양한 종류의 테스트케이스를 하나로 통합해 테스트묶음(Test Suite)으로 운영할 수도 있다. 개발자 콘솔은 다양한 기능을 추가로 제공한다. 프롬프트 생성과 테스트케이스 묶음을 통한 검증 작업은 여러 차례 반복이 가능하며 유저는 이 결과물들을 서로 비교해 최고의 결과물을 채택할 수 있다. 또 앤트로픽은 평점을 통해 결과물 개선 작업을 지원한다. 인간 전문가가 결과의 질적 향상 여부에 대해 평가를 내리게 함으로써 모델 성능의 접근성과 속도를 향상했다. 앤트로픽은 "프롬프트 및 테스트케이스 생성·출력 기능은 모든 콘솔 사용자에게 제공된다"며 이 기능의 적극적인 사용을 독려했다.

2024.07.11 16:35조이환

美 클라우드플레어, '웹사이트 스크랩' 차단 지원

미국의 인터넷 보안 업체 클라우드플레어가 웹사이트 소유자들이 인공지능(AI) 서비스의 콘텐츠 접근을 차단하는 기능을 출시했다. 여러 AI 기업들이 타사 웹사이트를 무단으로 스크랩해 콘텐츠를 수집하자 대응 조치를 내놓은 것이다. 지난 6일 포브스 등 외신에 따르면, 클라우드플레어는 공식 블로그를 통해 클라우드플레어 고객이 자신의 웹사이트를 방문하는 AI 봇을 차단하는 기능을 출시했다고 밝혔다. 클라우드플레어 관계자는 해당 기능을 출시한 이유에 대해 "생성형 AI의 인기로 모델 학습이나 추론 실행에 사용되는 콘텐츠 수요가 급증하고 있다"며 "웹 스크래핑용 AI봇을 투명하게 운영하지 않는 일부 AI 기업이 무단으로 콘텐츠를 가져가는 사례도 발생하고 있다"고 설명했다. 해당 기능은 클릭 한 번으로 클라우드플레어 고객 누구나 활성화할 수 있으며 무료 사용자도 이용 가능하다. 해당 기능이 활성화되면 클라우드플레어 자체 기술로 봇 점수를 계산하며, AI봇을 식별하고 막는다. 클라우드플레어는 발표와 함께 자사가 수집한 'AI 스크랩퍼'들의 활동 데이터를 공유했다. AI 모델을 학습시키기 위해 대규모언어모델(LLM) 등의 콘텐츠 수요가 급증하자 여러 기업에서 타사의 홈페이지의 스크랩해 콘텐츠를 도용한 것이다. 해당 데이터에 따르면, 6월 한 달 간 클라우드플레어 사용자 중 약 39%가 AI 봇에 의해 홈페이지 스크랩을 당했다. 또한 이 중 2.98%만이 홈페이지 스크랩을 자체적으로 차단한 것으로 나타났다. 클라우드플레어 관계자는 "봇 탐지를 회피하기 위해 기존 감지 규칙을 우회해 콘텐츠에 접근하려는 AI 기업이 계속 나올 것으로 보인다"며 "클라우드플레어는 머신러닝 모델을 고도화하고 더 많은 AI봇을 차단목록에 추가해 콘텐츠 제작자가 성장할 환경을 제공할 것"이라고 말했다.

2024.07.07 14:13정석규

"AI와 인간 사이 격차 줄인다"…메타, 새로운 AI 학습방법 제시

메타가 사람의 언어를 보다 깊이 이해할 수 있는 인공지능(AI) 학습 방법을 제시했다. 5일 벤처비트 등 외신에 따르면 메타는 다중토큰예측 방식으로 사전학습한 대규모언어모델(LLM) 4종을 허깅페이스를 통해 출시했다. 다중토큰예측은 지난 4월 메타의 연구진이 발표한 논문을 통해 처음 소개된 기술이다. 순차적으로 토큰 하나씩 예측하는 기존 LLM 훈련과 달리 동시에 여러 토큰을 예측하는 방식이다. 토큰은 LLM이 인식하는 문자데이터의 기본 단위다. 이는 여러 토큰을 동시에 예측함으로써 언어 구조와 맥락에 대한 세밀한 관계를 보다 깊게 파악할 수 있어 언어에 담긴 내용을 AI가 더욱 정확하게 이해할 수 있도록 지원한다. 이를 통해 코드 생성부터 글쓰기 등 다양한 작업에서 보다 효율적이고 높은 수준의 결과물을 작성하는 것이 가능하다. 메타는 해당 방식을 통해 기존 방식보다 LLM의 성능을 향상시킬 뿐 아니라 훈련 시간과 학습에 필요한 컴퓨팅파워를 줄일 수 있다고 밝혔다. 이를 통해 AI 개발·운영 비용을 절감하고 환경에 미치는 악영향을 최소화해 지속가능한 업무환경을 구축할 수 있다고 설명했다. 허깅페이스에 공개된 4종의 LLM은 모두 70억 개의 매개변수를 기반으로 하지만 성능 비교를 위해 토큰에 차이를 뒀다. 7B_200B_1와 7B_200B_4는 2천억 개의 토큰을 활용하지만 7B_200B_1는 기존 방식으로 7B_200B_4는 다중토큰예측모델이 적용됐다. 7B_1T_1와 7B_1T_4는 토큰의 개수가 1조개로 늘어났으며 방식은 동일하다. 메타는 AI 성능 테스트인 MBPP와 휴먼에벌 벤치마크 테스트를 실시한 결과 각각 17%와 12% 더 높은 정확성을 기록했으며 생성속도는 3배 더 빨랐다고 밝혔다. 메타의 연구원들은 "우리의 접근 방식은 LLM의 속도를 향상시킬 뿐 아니라 더 나은 모델의 성능과 훈련 효율성을 제공한다"며 "새로운 학습 방법은 단순한 효율성의 확장을 넘어 언어에 대한 더욱 깊이 있는 이해를 제공해 AI와 인간 사이의 격차를 줄일 수 있는 잠재력을 가지고 있다"고 논문을 통해 강조했다.

2024.07.05 10:44남혁우

아마존, '홈페이지 무단 스크랩' 혐의로 AI 스타트업 조사

아마존이 자사 홈페이지를 무단 스크랩했다는 혐의로 인공지능 스타트업 '퍼플렉시티'를 조사 중이다. 최근 엔가젯·와이어 등 외신 보도에 따르면, 아마존 운영사 '아마존웹서비스'는 퍼플렉시티가 규정을 위반하고 있는지 확인하기 위한 조사를 시작했다. 퍼플렉시티는 AI 개발의 토대가 되는 대규모언어모델(LLM) 훈련용 콘텐츠를 수집하기 위해 아마존 홈페이지를 무단으로 스크랩했다는 의심을 받고 있다. 대부분의 프로그램 개발자는 봇이 특정 페이지에 액세스할 수 있는지에 대한 지침이 포함된 '로봇(robots.txt)'이라는 문서 파일을 도메인에 넣는다. 이는 자발적인 조치지만, 프로그램 개발자들이 90년대에 표준화한 이래로 대부분의 스크랩 프로그램은 이를 지켜왔다. 아마존웹서비스의 클라우드 사업부는 퍼플렉시티가 '로봇' 문서 지침을 무시하는 스크랩 프로그램을 사용했다는 혐의를 조사하고 있다. 와이어드 등의 외신은 아마존 웹 사이트의 '로봇' 지침을 우회하는 가상 머신을 발견했다고 보도했다. 보도에 따르면, 이 시스템은 퍼플렉시티의 IP 주소를 사용해 아마존 서버에서 웹사이트의 사용됐다. 아마존웹서비스 대변인은 관련 성명서에서 "우리 회사의 서비스 약관은 불법적인 활동을 금지하며 고객은 이러한 약관을 준수할 책임이 있다"며 "우리는 다양한 출처로부터 관련 혐의에 대한 보고를 지속적으로 받고 있다"고 밝혔다. 그는 "우리 클라우드 사업부는 퍼플렉시티의 규정 위반 가능성에 대한 모든 정보를 종합해 조사 중이다"고 덧붙였다. 사라 플랫닉 퍼플렉시티 대변인은 자사의 스크랩 프로그램이 로봇 배제 프로토콜을 우회하고 있다는 사실을 부인했다. 그는 "아마존에서 실행되는 퍼플렉시티 봇은 로봇 문서를 존중하며, 퍼플렉시티가 아마존 서비스 약관을 위반하지 않는다는 것을 확인했다"고 말했다.

2024.07.01 09:36정석규

알리바바, 자사 AI 프로그래머로 앱 개발 돕는다

알리바바 클라우드가 자체 개발한 대규모언어모델(LLM)을 기반으로 첫 '인공지능(AI) 프로그래머'를 도입했다. 23일 사우스차이나모닝포스트 보도에 따르면, 알리바바 클라우드는 AI 프로그래머가 앱 개발 시간을 분 단위까지 단축하는 것을 목표로 한다고 밝혔다. AI 프로그래머 출시는 알리바바 클라우드의 첫 AI 코딩 비서인 통이 링마(Tongyi Lingma)가 소개된 지 7개월 만이다. 알리바바 클라우드는 개인·기업 개발자 모두를 고객으로 상정했으며, 구체적인 사용료는 아직 공개되지 않았다. 알리바바에 따르면, 비서 역할을 하는 AI 프로그래머는 ▲소프트웨어 설계자 ▲개발 엔지니어 ▲테스트 엔지니어의 역할을 결합해 제품 개발을 돕는다. 알리바바 클라우드의 LLM 서비스 '통이치엔원'을 관리하는 쑤동(Xu Dong)은 지난 21일(현지시간) 상하이에서 열린 회사의 클라우드AI 행사에서 "소프트웨어 앱 개발의 패러다임이 변하고 있다"고 말했다. 그는 "미래에는 사용자가 문제를 식별하고 요구사항을 표현하기만 하면 몇 분 만에 AI가 앱 개발을 완료하는 일이 낯설지 않을 것"이라고 덧붙였다. AI 프로그래머의 출시는 통이치엔원이 지원하는 알리바바 클라우드의 첫번째 AI 코딩 도우미 '통이링마'가 도입된 지 7개월 만에 이뤄졌다. 오픈 소스 코드 교육을 받은 '통이링마'는 자연어 지침을 기반으로 ▲코드 생성 ▲단위 테스트 실행 ▲코드 디버그·최적화가 가능하다다. 롱이링마의 기본 버전은 개인 사용자에게 무료이며, 추가 관리 기능을 갖춘 기업 버전은 1인당 월 159위안(약 3만원)의 요금으로 사용할 수 있다.

2024.06.24 14:57정석규

"기업 환경에 LLM 특화"…미스트랄AI, 미세조정 SDK 공개

미스트랄AI가 대규모언어모델(LLM)의 성능을 개선하거나 기업에 특화할 수 있도록 기술 지원을 제공한다. 미스트랄은 5일(현지시간) AI모델 미세 조정을 위한 소프트웨어 개발 키트(SDK)인 미스트랄 파인튠(Mistral-Finetune)을 출시했다. 깃허브를 통해 공개된 미스트랄 파인튠는 미스트랄의 AI 모델을 워크스테이션, 서버 및 소규모 데이터 센터 노드 등 다양한 인프라에 최적화할 수 있도록 지원한다. 공개된 내용에 따르면 해당 SDK는 다중 GPU 설정에 최적화되어 있지만 미스트랄 7B와 같은 소형 모델을 미세 조정하기 위해 엔비디아 A100 또는 H100 GPU 단일 모델로 설정을 변경하는 것도 가능하다. 예를 들어 오픈AI의 챗GPT를 사용한 140만 개의 대화 모음인 울트라챗과 같은 데이터 세트를 미세 조정하는 과정은 8개의 H100 GPU를 활용해 약 30분 만에 완료할 수 있다. 보다 효율적인 AI 개발을 위해 '라 플랫폼'과 같은 유로 개발 서비스와 연계한 작업도 가능하다. 라플랫폼을 활용하면 특정 요구 사항에 맞게 모델을 정의하거나 교육하는 API를 호출해효과적으로 AI를 개발할 수 있다. 미스트랄은 몇 주에 걸쳐 미세 조정 서비스에 새로운 모델을 추가할 예정이라고 밝혔다. 이와 함께 미스트랄은 SDK를 효율적으로 활용할 수 있도록 지원하기 위한 교육 서비스를 함께 제공한다. 교육서비스에는 기업의 자체 데이터를 사용해 미스트랄 AI 모델을 미세조정하는 커리큘럼이 포함돼 보다 효율적이고 전문적으로 AI를 활용할 수 있는 방법을 제시한다. 미스트랄 AI 팀은 "우리는 개발자에게 강력한 개방형 생성 모델을 제공하고 이를 효율적으로 사용할 수 있는 방법을 제공한다"고 강조했다.

2024.06.06 15:00남혁우

GPT-3.5, 스트리트파이터3로 GPT-4 꺾었다

오픈AI의 GPT-3.5 터보가 GPT-4 등 상위 인공지능(AI) 모델을 꺾고 스트리트파이터3 챔피언에 올랐다. 14개 대규모언어모델(LLM)들이 각축을 벌인 스트리트파이터3 게임 대회에서 'GPT-3.5'가 우승을 차지했다고 PC게이머 등 외신들이 최근 보도했다. 보도에 따르면 미국 샌프란시스코에서 개최한 미스트랄 AI SF 해커톤에서 LLM간 이벤트 매치가 열렸다. 비디오게임 스트리트파이터3를 학습해 치러진 이번 대회는 LLM이 실제 업무에서 어떤 성과를 낼 수 있는지 시각적으로 확인할 수 있도록 마련됐다. 단기간에 치러진 대회인 만큼 학습시간을 줄이기 위해 캐릭터는 켄으로 제한됐다. 승부에 참여한 LLM은 화면을 인식할 수 있도록 텍스트 설명이 제공되며 캐릭터와 상대의 동작 그리고 양쪽의 체력바를 학습해 대회가 치러졌다. 오픈AI의 GPT-3.5 및 GPT-4과 다양한 버전의 미스트랄 LLM 등 총 14종의 LLM이 경합을 벌인 결과 GPT-3.5 터보버전이 최종 우승을 차지했다. 이어서 미스트랄 스몰 파이널버전이 뒤를 이었다. 기본 성능이 더 높은 GPT-4와 미스트랄 AI 상위 모델이 오히려 하위권을 기록해 눈길을 끌기도 했다. 이에 대해 미스트랄 AI의 운영진은 각 AI가 갖는 특성이 게임에 영향을 미쳤다고 설명했다. 모델의 크기가 작으면 대기 시간과 속도에 이점을 가질 수 있는 만큼 게임에서 유리해질 가능성이 크다는 설명이다.

2024.04.08 14:11남혁우

메타, '라마3' 전용 AI인프라 공개...GPU만 4만9천개

메타가 차기 대규모언어모델(LLM) '라마 3' 학습을 위한 세계 최대 규모의 컴퓨팅 인프라를 공개했다. 최근 실리콘 앵글 등 외신에 따르면 메타는 AI학습을 위한 데이터센터급의 24K GPU 클러스터 한 쌍의 세부정보를 공식 블로그를 통해 공개했다. 여러 그래픽처리장치(GPU)를 네트워크로 연결해 병렬 컴퓨팅 작업을 수행하는 시스템이다. 기계학습, 대규모 시뮬레이션 등 대규모 계산 작업을 더 빠르게 처리하기 위해 활용된다. 메타에서 공개한 24K GPU 클러스터는 2022년 선보인 리서치슈퍼클러스터(RSC)의 후속모델이다. 이름처럼 2개의 클러스터에 각 2만4천576개의 엔비디아 텐서 코어 H100(이하 H100) GPU가 적용된 것이 특징으로 총 4만9천 개 이상의 H100 CPU를 활용할 수 있다. 이번 발표는 일반인공지능(AGI) 연구를 위해 대규모 인프라 구축 계획의 일환이다. 메타는 2024년 말까지 35만 개의 H100 GPU를 포함한 AI 인프라를 확장할 계획이다. 이를 통해 기존에 확보한 인프라를 포함해 60만 개의 H100 GPU 수준의 컴퓨팅 파워를 갖추는 것을 목표로 한다. 두 클러스터는 GPU 수가 동일하며 개방형 GPU 하드웨어 플랫폼 '그랜드 티톤(Grand Teton)'을 사용해 구축됐다. 하지만 네트워크 인프라 설계에 차이가 있다. 하나는 웻지 400 및 미니팩 2 OCP 랙 스위치와 아리스타 7800를 기반으로 자체 개발한 RDMA 오버 컨버지드 이더넷(RoCE) 솔수션을 적용했다. 두 번째 클러스터는 엔비디아의 퀀텀2 인피니밴드 패브릭 솔루션이 적용됐다. 두 클러스터의 구조를 다르게 한 이유는 향후 더 크고 확장된 클러스터 구축을 목표로 하기 때문이다. 두 클러스터에서 다양한 분야의 AI를 학습하며 어떤 구조와 설계 방식이 AI에 적합한지 데이터를 확보해 이후 적용하겠다는 비전이다. 저장장치도 해머스케이프와 협력해 자체 개발했다. 생성형 AI 훈련 작업이 점점 빨라지고 규모가 커지는 것에 대비해 고성능이면서도 수만개의 GPU에서 동시 작업하는 데이터를 감당할 수 있도록 E1.S SSD를 활용했다. 이와 함께 구글은 개방형 AI 생태계 활성화를 위해 AI 소프트웨어 프레임워크인 파이토치를 지속해서 지원할 것이라고 강조했다. 케빈 리 등 구글 연구원은 “지난 2015년 빅서 플랫폼을 시작으로 GPU 하드웨어 플랫폼을 설계를 공개하고 있다”며 “우리는 이런 정보 공유가 업계의 문제 해결을 돕는데 도움이 될 것이라고 믿고 있다”고 이번 GPU 클러스터 관련 내용을 공개한 이유를 밝혔다. 이어서 “우리의 AI 노력은 개방형 과학과 교차 협력의 철학을 바탕으로 구축됐다”며 “개방형 생태계는 AI 개발에 투명성, 정밀성, 신뢰를 제공하고 안전과 책임을 최우선으로 하여 모든 사람이 혜택을 누릴 수 있는 혁신을 이끌어낼 것”이라고 강조했다.

2024.03.17 13:07남혁우

ZDNet 검색 페이지

'대규모언어모델(LLM)'통합검색 결과 입니다. (24건)