검색 - IT세상을 바꾸는 힘 지디넷코리아

ZDNet 검색 페이지

'AI 모델'통합검색 결과 입니다. (225건)

태그
기간
- 3개월
- 1년
- 1년 이전

재검색

인공지능은 어떻게 인간의 미래 예측할까

어떤 사람의 사회경제적 조건이나 건강 상태에 대한 정보를 충분히 알면 그의 미래를 예측할 수 있을까? 사람의 일생을 정확히 예측하는 인공지능(AI)을 만들 수 있을까? 덴마크 연구진이 사람의 조기사망률이나 성격의 미묘한 차이 등을 높은 정확도로 예측하는 AI 모델을 만들었다. 자연어처리를 위한 대형 언어모델의 방법론을 적용한 것이 특징이다. 이 연구 결과는 학술지 '네이처 컴퓨테이셔널 사이언스(Nature Computational Science)'에 최근 실렸다. 사회경제적, 인구학적 요소가 각 사람의 삶의 여정에 결정적 영향을 끼치긴 하지만, 구체적으로 어떻게 영향을 미치는지 정확히 알기는 어렵다. 덴마크기술대학교 등 연구진은 정부 자료 등을 바탕으로 덴마크인 600만명의 교육, 보건, 소득, 직업 등 생활 지표와 삶의 조건, 일상의 주요 사건 등을 추렸다. 이 데이터는 사람의 삶을 하루 단위로 나타낼 수 있을 정도로 정교했다. 이어 이같은 데이터를 활용해 사람들의 삶의 여정과 주요 변곡점을 나타낼 수 있는 AI 모델을 만들었다. 이때 삶의 주요 요소들을 마치 초거대언어모델이 단어를 다루는 것과 비슷한 방식으로 표현했다. 삶에서 일어나는 사건들이 언어 모델의 단어에 해당하는 셈이다. 연구진은 이 모델에 '라이프2벡(life2vec)'이란 이름을 붙였다. 수많은 단어들 사이의 의미적 거리를 다차원 벡터 공간에 나타냄으로써 AI 언어모델의 성능 향상에 크게 기여한 '워드2벡(word2vec)' 기술에서 딴 이름이다. 워드2벡은 단어 사이의 관계를 수학적으로 표현, 언어모델이 번역을 하거나 다음에 나올 단어의 확률을 정확하게 예측하게 하는 기반이 됐다. 라이프2벡 모델은 질병이나 보건, 거주지, 소득 수준 등 삶의 주요 사건이나 요소들을 벡터로 나타내 삶의 다음 단계를 예측한다. 연구진은 이 모델을 바탕으로 2016년 1월 이후 4년의 기간 동안 35-65세 사이 집단의 조기사망률을 예측했다. 사람들의 성격에 나타나는 미묘한 차이도 포착할 수 있었다. 이 모델은 기존의 다른 예측 모델에 비해 정확도가 11% 이상 높았다고 연구진은 밝혔다. 사회경제적 및 보건 관련 요소들 사이의 복잡한 연결 고리를 드러내는 방식을 통해 삶을 정확하게 예측할 수 있다는 가능성을 열었다는 평가다. 다만 실제로 적용하기 위해선 사생활 보호를 위한 엄격한 규제가 반드시 필요하다고 연구진은 밝혔다. 논문 제목은 Using sequences of life-events to predict human lives 이다.

2023.12.20 10:11한세희

너도나도 독점 LLM, 클라우드 경쟁 핵심으로

빅테크가 대규모언어모델(LLM)을 차별화 요소로 삼으면서 생성형 인공지능(AI) 시장이 상용 모델과 오픈소스 모델의 양대 축으로 굳어지는 모습이다. 마이크로소프트는 100억 달러 이상 투자한 오픈AI를 통해 GPT-4 서비스를 사실상 독점하고, 구글은 PaLM2와 제미나이를 내놓으며 선두를 맹추격하고 있다. 반면, 아마존웹서비스(AWS)는 한동안 생성 AI의 개방성을 강조하며 '아마존 베드록'에서 다양한 LLM을 취사선택할 수 있다는 점을 강조했다. 오픈AI의 경쟁 스타트업인 앤트로픽에 투자해 '클로드2' 주요 후원사로서 이미지를 구축했다. 그러나 AWS도 자체 모델인 '타이탄'을 계속 강화하고 독점 모델을 보유했다는 이미지도 함께 만들려 애썼다. 생성형 AI 애플리케이션을 개발하려는 기업은 현재 오픈AI의 GPT 모델 시리즈를 마이크로소프트 애저와 오픈AI 자체 서비스를 통해 이용할 수 있다. 접근 경로는 두개지만 실제로 인프라와 서비스 안정성 측면 때문에 기업용으로 마이크로소프트 애저가 유일한 선택지다. PaLM2, 제미나이의 API를 이용하고자 하는 기업은 구글클라우드를 활용해야 한다. GPT-4와 제미나이가 현존하는 LLM 중 가장 앞서 있다는 평가를 받는 만큼 자체적으로 대규모 LLM을 구축하지 않는 경우 대다수 기업은 GPT-4와 제미나이를 이용하려 한다. 마이크로소프트와 구글클라우드가 구체적인 수치를 밝히지 않지만 현재 두 회사에 대한 생성 AI 수요의 매출기여도는 10% 미만으로 추정된다. 다소 작은 규모로 보이는데 폭발적인 수요에 AI 인프라 공급이 충분하지 못해 생긴 제약으로 해석된다. 아직 LLM 분야에 대해 기업들은 명확한 판단을 내리지 못한 상태다. GPT-4나 제미나이 같은 저명한 모델을 미세조정하거나 프롬프트 엔지니어힝을 이용해야 할 지, 자체적인 LLM을 구축하거나 다른 오픈소스 혹은 상용 모델을 사용해야 할 지 검증하고 있다. 전세계적인 엔비디아 H100 및 A100 GPU 수요 폭증은 자체 개발이냐 상용 서비스 이용이냐 양면에서 고민하는 기업의 현재 상황을 보여준다. GPT-4와 제미나이를 제외하고도 시중에 다양한 파운데이션모델이 나와 있다. 앤트로픽의 클로드2, 코히어, 모자이크ML 등 상용 모델도 있고, 돌리, 팰컨, 미스트랄 등 오픈소스 모델도 있다. 상용과 오픈소스의 성격을 모두 가진 메타의 라마2도 있다. 한국의 경우 네이버의 하이퍼클로바X가 대표적이다. 여러 스타트업의 상용 모델은 각사의 자체 API 서비스로도 이용할 수 있지만, 마이크로소프트 애저나 구글클라우드, AWS에서도 이용가능하다. 오픈소스 모델도 마찬가지다. 메타의 라마2도 제한적이지만 주요 클라우드 서비스에서 접근할 수 있다. 생성 AI 애플리케이션을 구축하려는 기업은 여러 선택지를 평가, 검증하고 자사의 AI 전략을 고도화할 수 있다. 특정 모델에 온전히 집중할 수도 있고, 여러 모델을 혼용할 수도 있다. 최근 증강검색생성(RAG)을 활용해 여러 LLM을 혼용하는 방안이 대세를 이루는 모습이다. 그 와중에 GPT-4를 최우선순위 선택지로 보는 기업이 다수다. 상용 LLM의 독점 서비스는 클라우드 기업에게 고객의 수요를 끌어들이면서 붙잡아두는 핵심이다. 애플리케이션이나 서비스의 사례에 따라 그에 가장 적합한 LLM이 있기 때문에 기업은 GPT-4나 제미나이 활용을 필연적으로 고민할 수밖에 없다. 돌고 돌아 결국 애저나 구글클라우드로 흘러들어가게 되는 것이다. AWS가 엔트로픽 투자와 타이탄 LLM 강화를 병렬로 진행하는 것도 이같은 계산과 관련된다. 비록 아마존 타이탄의 인지도는 주요 LLM에 비해 극히 낮지만 자칫 주요 수요를 경쟁사에 내주는 상황을 차단하려면 AWS에서만 이용가능한 모델을 보유해야 이롭다. 상용 모델을 개발하는 스타트업의 경우 주요 투자처를 계속 확보하면서 발전해야 하는 입장이다. 오픈소스모델은 자발적 기여로 발전해야 하는데 모델 학습용 인프라 확보 문제 때문에 획기적 역량 확장은 현실적으로 어렵다. 라마2 정도가 메타란 강력한 후원을 바탕으로 발전 가능성을 갖고 있는데, 라이선스 정책 상 라마2로 상용 AI 서비스를 만들어 대규모 사업을 벌이는 건 불가능해 외부의 개발 동력이 떨어진다. 대형 클라우드 기업의 독점 LLM 선호는 탈 엔비디아 GPU란 명제와도 관련된다. 마이크로소프트가 마이아100을 공개하고, 구글클라우드가 클라우드TPUv5를 출시하며, AWS가 트레이니움과 인퍼런시아 칩의 업그레이드를 이어가고 있다. 모델의 최고 성능을 끌어내려면 AI 칩 최적화가 필수적인데, 여러 모델을 지원하는 것보다 특정 모델에 투자하는 게 더 효율적이다. 엔비디아 GPU 구매 및 운영비용을 줄이고 전용 칩으로 고객을 유도하는 게 클라우드 사업자의 운영부담을 줄이는 길이다. 상용 모델 중 GPT-4와 제미나이의 선두 입지는 당분간 공고할 것으로 전망된다. 두 모델 모두 텍스트모델에서 이미지, 오디오, 비디오 등을 모두 처리할 수 있는 멀티모달로 진화하고 있고 발전속도와 성능에서 경쟁 모델을 압도한다. 클라우드 사업자들이 고객 이동을 막고, 지속적으로 신규 수요를 이끌어내는데 현 상황에서 독점 LLM보다 나은 선택지가 없다.

2023.12.19 14:53김우용

거대 AI 모델, 인간 도움 없이 '초소형 AI' 만든다

거대 인공지능(AI) 모델이 사람 도움 없이 초소형 AI을 만드는 시대가 왔다. 그동안 사람이 모델 개발 전 과정에 참여했다면, 이젠 거대 모델이 알아서 소형 모델 개발부터 배포까지 한다. 미국 비즈니스인사이더 등 외신은 17일 미국 매사추세츠 공과대(MIT)와 캘리포니아 대학 연구팀이 이같은 연구 개발에 성공했다고 보도했다. 연구 과정에서 거대 AI 모델은 스스로 데이터셋을 통해 사람 동작 데이터를 수집 및 분석할 수 있는 기기를 개발했다. 크기는 동전보다 작으며, 모바일 기기에 바로 탑재해 활용할 수 있다. 그동안 전 세계 개발자들은 오픈AI의 챗GPT, 메타의 라마 2, 구글의 제미나이 등 거대 AI 모델을 통해 소형 AI 모델이나 애플리케이션을 만들었다. 이러한 모델과 앱은 제조, 의료, 교육 등 여러 산업에 들어가 업무 경쟁력과 효율성 증가를 도왔다. 다만 인간 개발자가 반드시 있어야만 가능한 성과다. 거대 모델이 스스로 무언가를 창조할 수는 없었다. MIT 연구팀은 "마치 형님이 아우를 키우고 돌보는 것과 같은 원리"라며 "개발자 없이도 거대 모델이 자신의 데이터셋으로 소형 모델이나 앱을 만드는 셈"이라고 설명했다. 연구진은 스스로 진화하는 AI가 첫 걸음을 내뎠다는 입장이다. 팀은 앞으로 AI 모델이 매우 다양한 솔루션과 제품에 적용될 수 있을 것이라고 내다봤다. 구체적인 활용 사례도 소개했다. 이번 연구에 참여한 MIT 유베이 첸 연구원은 "초소형 모델은 사람 목소리 식별기를 비롯해, 안면 인식기, 보청기, 배관 데이터 통신 품질 평가기, 야생 동물 센서 추적기 등 다양한 기기에서 특정 작업을 효과적으로 수행할 수 있을 것"이라고 강조했다. 연구진은 앞으로 거대 모델과 소형 모델이 서로 협력하는 양상을 띌 전망이라는 입장이다. 첸은 "연구가 상용화 되면 빅테크와 중소기업이 협력함으로써 완전한 인텔리전스 생태계를 구축할 것으로 본다"고 전했다.

2023.12.18 11:16김미정

구글클라우드, 애니펜의 생성형 AI 플랫폼 구축 지원

구글클라우드는 가상현실 및 메타버스 플랫폼 서비스 기업 애니펜이 버텍스 AI를 활용해 생성형 AI 플랫폼을 구축했다고 18일 밝혔다. 애니펜은 구글 클라우드와의 협업을 통해 서비스 기획부터 운영 전반까지 포괄적인 지원을 받으며 몰입도 높은 가상공간 경험을 제작하고 있다. 애니펜은 메타버스 환경에 AI를 더해 몰입도 높은 가상공간 경험을 제공하고 있다. 특히 자체 개발한 맞춤형 거대언어모델(LLM)에 구글의 PaLM 2 등 외부 모델을 접목해 자사 지식재산권(IP)의 가능성을 확장하는 데 주력하고 있다. 애니펜은 이용자들이 페르소나를 가진 캐릭터와 대화하고 그들이 원하는 콘텐츠를 재생산할 수 있는 환경을 구축하고자 AI 프로세스의 효율적인 운영 및 안정적인 배포를 위해 구글 클라우드의 버텍스 AI를 도입했다. 버텍스 AI는 기업이 맞춤형 머신러닝 모델을 구축, 배포, 확장할 수 있도록 지원하는 구글 클라우드의 AI 플랫폼이다. 애니펜은 다양한 모델을 제공하는 버텍스 AI 내에서 스테이블디퓨젼 모델을 활용해 고품질의 이미지를 손쉽게 만들 수 있는 서비스를 구축하는 등 여러 가지 머신러닝 모델을 개발했다. 애니펜이 직접 만든 커스텀 모델을 유연하게 수용하고 모델을 적용하기 쉬운 기능이 버텍스 AI의 이점이다. 애니펜은 버텍스 AI의 모델을 이용해 적절한 페르소나와 상황에 맞는 외향을 인공지능으로 세밀하게 조정하는 작업을 통해 특정 성격을 가진 캐릭터를 만들 수 있는 인공지능 환경을 갖추게 됐다. 애니펜은 특정 인물의 글과 말을 기반으로 지식을 학습하고 감정 표현도 할 수 있는 모델을 완성해 자사의 메타버스 서비스에 반영을 준비 중이다. 애니펜은 AI 관련 구글 클라우드가 보유한 다양한 경험과 기술, 그리고 상호 간의 적극적인 소통이 성공적인 개발 과정을 이끌었다고 평가했다. 구글 클라우드의 지원을 통해 개발 과정을 크게 단축하면서 클라우드 비용을 15% 이상 절감했을 뿐만 아니라, 스타트업이 필요로 하는 기술적인 지원 및 다양한 상황에 대한 조언을 제공받아 전체 개발 과정을 효율적으로 운영할 수 있었다. 구글 클라우드는 이외에도 머신러닝 개발과 학습 및 운영 시 트래픽에 따른 GPU의 스케일아웃 등 하드웨어도 충분하게 지원했다. 무엇보다 버텍스 AI는 타 클라우드 서비스와 달리 개발자가 직접 새로운 모델 및 서비스 배포를 할 수 있도록 모든 부분이 자동화되어 있어 운영 부담을 줄이면서도 원활한 인프라 관리가 가능하다. 전재웅 애니펜 대표는 “구글 클라우드의 실질적인 기술 지원 및 조언을 통해 전체 개발 과정을 크게 단축할 수 있었고, 비용 절감뿐만 아니라 개발 작업 측면에서도 확신을 가지고 추진할 수 있었다”며 “버텍스 AI는 애니펜이 직접 만든 커스텀 모델을 적용하기 쉽도록 기능들이 열려 있어 가장 유연하게 적용 가능한 플랫폼”이라고 밝혔다. 그는 “구글 클라우드가 다방면으로 관리를 직접 지원해 최적의 상태에서 운영이 가능했다”고 덧붙였다. 강형준 구글클라우드코리아 사장은 “구글 클라우드는 다양한 기업의 AI 트랜스포메이션 가속화를 지원하고 있다”며 “버텍스 AI는 AI 솔루션부터 130개 이상의 기반 모델, 머신러닝 모델 구축 및 배포를 위한 통합 AI 플랫폼에 이르기까지 생성형 AI를 빌드하고 사용하는 데 필요한 모든 것을 제공한다”고 강조했다. 그는 “구글 클라우드는 독보적인 생성형 AI 기술과 광범위한 인프라를 바탕으로 더 많은 국내 스타트업들이 AI 환경을 구축하고 확장할 수 있도록 지원하겠다”라고 밝혔다.

2023.12.18 10:00김우용

중국 "대규모 언어모델 기업 19개..시장 지난해 갑절"

중국의 대규모 언어모델(LLM) 개발 기업이 빠르게 성장하고 있다는 정부의 집계가 발표됐다. 17일 중국 언론 CCTV가 인용한 공업정보화부 산하 CCID 연구소 데이터에 따르면 올해 중국 대규모 언어모델 시장 규모가 이미 지난해 대비 100% 성장했다. 또 최근 중국의 대규모 언어모델 연구개발 기업이 19개를 넘어섰으며 이중 15개 기업의 모델이 정식으로 등록됐다. 올해 중국 LLM 시장 규모는 132억3000만 위안(약 2조 4천178억 원)으로 지난해 대비 성장률이 110%다. CCTV는 LLM이 인간의 대화와 의사 결정 능력을 모방할 수 있으며 기술 혁신과 애플리케이션 구현을 달성한 최초의 대형 모델이지 인공지능(AI)의 '주요 경쟁 무대'라고 표현했다. 최근 LLM은 금융, 의료, 교육, 산업, 게임, 법률 등 산업에서 폭넓게 사용되고 있다. LLM 시장이 이끄는 생성형 AI 시장 성장세도 가파르다. 매체에 따르면 전문가들은 중국 LLM 시장이 2027년 600억 위안(약 10조 9천650억 원)에 이를 것으로 예상하고 있다. CCID가 지난 주 발표한 생성형 AI 개발 보고서에 따르면 올해 생성형 AI 시장 규모는 이미 10조 위안(약 1천827조 5천 억 원)을 넘어설 전망이다. 중국 기업의 생성형 AI 채택률은 이미 15%에 이르렀으며 시장 규모는 약 14조4천억 위안(약 2천631조 6천 억 원)에 달한다.

2023.12.18 08:32유효정

"오픈AI 기술 비밀리 썼다?" 中 바이트댄스 '반박'

중국 바이트댄스가 미국 오픈AI의 기술을 몰래 대규모언어모델(LLM) 개발에 사용했다는 보도에 반박했다. 바이트댄스는 글로벌 숏클립 앱 '틱톡(중국 서비스명 '더우인')', VR 헤드셋 브랜드 '피코', 뉴스 큐레이션 서비스 '투데이스헤드라인스' 등의 모기업이다. 17일 중국 언론 상하이정췐바오에 따르면 바이트댄스의 조디세스 대변인은 "GPT가 생성한 데이터는 '시드(Seed) 프로젝트' 개발 초기 단계에서 모델에 주석을 달기 위해 사용됐으며, 올해 중반쯤 바이트댄스의 훈련 데이터에서 삭제됐다"고 설명했다. 또 "오픈AI의 관련 서비스 사용시 규칙을 준수했고 현재 오픈AI와 소통하고 있으며 외부 보도로 인한 오해를 풀었다"고도 해명했다. 전일 미국 매체 더버지는 바이트댄스가 오픈AI의 기술을 자사 LLM 모델 개발 프로젝트인 시드 프로젝트에 사용해왔으며, 이는 오픈AI의 서비스 규칙을 위반한 것이라고 보도했다. 오픈AI는 이미 바이트댄스의 계정을 정지시켰다. 이 규칙은 오픈AI 서비스 약관 규정을 의미한다. 오픈AI가 제공하는 모델 기능을 '해당 제품 및 서비스와 경쟁하는 AI 모델을 개발하는데 사용할 수 없다'는 규정이다. 이에 대해 바이트댄스는 "올초 기술팀이 초거대 모델의 초기 탐색을 시작했을 때, 일부 엔지니어가 소형 모델에 대한 실험 프로젝트 연구에 GPT의 API 서비스를 적용했다"며 "이 모델은 테스트용이며 출시할 계획이 없고 외부에서 사용된 적이 없다"고 해명했다. 이어 4월 회사는 GPT API 사용 진단을 도입해 이를 중단시켰다. 이어 바이트댄스는 "올해 4월 초 바이트댄스의 초거대모델팀은 이미 내부에서 GPT 모델이 생성한 데이터를 바이트댄스의 모델 훈련 데이터세트에 추가하지 않도록 요구했다"고도 설명했다. 동시에 GPT의 서비스 규칙을 지키도록 교육시켰고 9월엔 또 다른 내부 검사를 진행해 API 규범 요구를 준수하는지 확인했다고도 덧붙였다. 더불어 바이트댄스는 마이크로소프트를 통해 GPT 애플리케이션프로그래밍인터페이스(API)를 사용할 수 있는 라이선스를 보유하고 있다고도 전했다. 단, 마이크로소프트 역시 오픈AI와 같은 규정을 적용하고 있다. 마이크로소프트의 프랭크쇼 대변인은 "애저 오픈AI 서비스 등 마이크로소프트의 AI 솔루션은 제한적인 액세스가 이뤄지는 프레임워크의 일부분"이라며 "이는 모든 고객이 필수적으로 마이크로소프트의 비준을 받아야 액세스할 수 있다는 것"이라고 전했다. 이에 바이트댄스가 오픈AI와 마이크로소프트의 서비스 약관을 위반하는 방식으로 API를 계속 사용하고 있었다는 게 오픈AI의 입장이다. 이 무렵 바이트댄스의 자체 초거대 AI 모델인 더우바오가 발표됐고, 이를 통해 시드 프로젝트가 시장에 출시된 것이라고 보고 있다. 이와 관련해 바이트댄스의 조디 세스 대변인은 "바이트댄스는 GPT를 사용해 중국 이외 시장을 위한 제품과 기능을 강화하지만 자체 개발한 모델은 더우바오 AI를 지원하게 위해 사용하며 더우바오는 중국에서만 출시됐다"고도 설명했다. 실제 바이트댄스는 올해 6월 '볼케이노 엔진'을 발표하고 이에 기반한 초거대 모델 '볼케이노아크'를 출시했다. 이어 8월 자체 개발한 '윈췌'가 중국 당국의 '생성형 인공지능 서비스 관리 방안'을 통과했다. 같은 달 AI 챗봇 상품인 '더우바오'가 외부 테스트를 시작했다. 더우바오는 챗봇, 글쓰기 비서, 영어 학습 비서 등 기능이 있으며 여러 질문에 대화 형식으로 답변할 수 있다.

2023.12.18 08:30유효정

제미나이가 GPT-4 이겼다고?...마이크로소프트의 반격

구글의 차세대 언어모델 '제미나이'가 오픈AI의 GPT-4보다 더 높은 벤치마크 테스트 성적을 받았다는 발표에 마이크로소프트가 반격을 가했다. GPT-4에 고도의 프롬프트 엔지니어링을 거쳐 제미나이 성능을 뛰어넘는 성적을 받았다는 것이다. 지난 12일 마이크로소프트의 연구진은 'Steering at the Frontier: Extending the Power of Prompting'이란 블로그 글에서 "수정된 버전의 메드프롬프트로 GPT-4를 조정해 완전한 MMLU 벤치마크에서 최고점수를 달성했다"고 밝혔다. 메드프롬프트는 올해 마이크로소프트 연구진이 고안해낸 프롬프트 방법으로 의학 분야에 특화돼 프롬프트 전략이다. 이달초 에릭 호비츠 마이크로소프트 최고과학책임자를 비롯한 연구원들이 메드프롬프트 방식으로 오픈AI의 GPT-4를 활용해 의학 분야 벤치마크테스트에서 구글의 의료특화 미세조정 모델인 MedPaLM2를 능가했다는 결과를 발표하며 주목받았다. 메드프롬프트는 kNN 기반의 소수 예시 선택, GPT-4에서 생성된 사고 프롬프트 체인, 다수결 선택 앙상블 등을 결합한다. 당시 연구원들은 파운데이션모델을 특정 목적을 위해 미세조정하지 않고 고도의 프롬프트 전략을 활용하는 것만으로도 다양한 분야에서 특출난 성과를 낼 수 있다고 강조했었다. 이달초 구글은 제미나이 울트라를 공개하면서 MMLU(Measuring Massive Multitask Language Understanding) 테스트에서 90.04%를 받아 GPT-4뿐 아니라 인간 전문가의 점수도 뛰어넘었다고 발표했다. MMLU는 대규모언어모델의 일반지식과 추론능력을 테스트할 목적으로 만들어진 벤치마크다. 기초 수학부터 미국 역사, 법률, 컴퓨터 과학, 공학, 의학 등 57개 영역에서 수만가지 도전문제를 풀게 된다. 이에 마이크로소프트 연구진은 GPT-4에 기존 메드프롬프트를 적용해 MMLU에서 89.1%의 점수를 달성했다. 이후 메드프롬프트의 항상블 호출 수를 5개에서 20개로 늘린 뒤 같은 테스트에서 89.56%로 점수를 더 높일 수 있었다고 한다. 그리고 더 간단한 프롬프트 방법을 추가하고, 기본 전략과 단순 프롬프트 출력을 통합해 최종답변을 도출하는 정책을 공식화해 '메드프롬프트+'를 만들었다. 메드프롬프트+를 활용한 GPT-4는 MMLU 테스트에서 90.10%를 기록해 구글 제미나이 울트라를 약간 앞섰다. MMLU뿐 아니라 GSM8K, MATH, Humaneval, BIG-Bench-Hard, DROP, HellaSwag 등의 테스트에서도 GPT-4는 제미나이 울트라보다 더 높은 성적을 받았다. 심지어 MMLU를 제외한 타 테스트의 경우 GPT-4는 제로샷으로 제미나이 울트라를 앞섰다. 제로샷은 언어모델이 배우지 않은 작업을 수행하는 것을 의미한다. 에리 호비츠는 "최종 답변의 종합은 GPT-4에 의해 관리되는 제어 전략과 후보 답변의 추론된 신뢰도에 따라 진행된다"며 "복잡하고 간단한 쿼리를 결합하는 관련 방법은 구글 제미나이팀에서 활용했던 것"이라고 설명했다. 그는 "수정된 메드프롬프트+는 GPT-4의 신뢰점수(logprobs)에 접근하는 데 의존한다"며 "현재 API를 통해 공개적으로 사용할 수 없지만 가까운 시일 내에 모두 사용할 수 있게 될 것"이라고 덧붙였다. 파운데이션모델은 주로 인터넷 상에 공개된 데이터를 학습한다. 조직 내부에 보호된 전문 데이터를 학습하지 못하고, 특정 시점까지의 데이터만 학습하므로 생성하는 정보의 전문성과 최신성에 약점을 갖는다. 이때문에 파운데이션모델을 특별히 선별된 데이터로 더 학습시키는 미세조정을 사용하게 된다. 마이크로소프트 연구진은 막대한 비용을 들여야 하는 미세조정을 줄일 방법으로 파운데이션모델을 더 광범위하게 훈련시키는 방법을 연구했고, 자신들의 발상을 입증하고 있다. 에릭 호비츠는 "체계적인 프롬프트 엔지니어링으로 최대 성능을 얻을 수 있지만, 간단한 프롬프트를 통해 프론티어 모델의 기본 성능을 계속해서 탐색했다"며 "GPT-4의 기본 기능과 제로샷 또는 퓨샷 프롬프트 전략으로 모델을 어떻게 조종할 수 있는지 계속 주시하는 게 중요하다"고 밝혔다. 구글의 제미나이는 모델의 크기에 따라 ▲제미나이 울트라 ▲제미나이 프로 ▲제미나이 나노 등 세 버전으로 존재한다. 이중 제미나이 울트라는 아직 외부에 공개되지 않았으며, 현재는 제미나이 프로와 나노만 외부에 공개돼있다. 구글에서 공개한 논문 속 테스트 결과표에 의하면, 제미나이 프로의 경우 MMLU 테스트에서 GPT-3.5를 앞선 79.13%를 받은 것으로 공개됐었다. 다만, 제미나이 프로가 사용한 방법론은 제미나이 울트라와 다르며, GPT-3.5의 방법론도 다르다. 이에 제미나이와 GPT를 동일한 방법론으로 테스트해 비교해야 한다는 반론이 제기됐다. 구글이 제미나이 울트라의 벤치마크 테스트에 사용한 방법론은 'CoT@32'라 불린다. 여러 방법을 혼합한 것이지만, 대표적인 방법은 쿼리를 답변에 따라 꼬리물듯 이어서 LLM에 던지는 것이다. 사고사슬(CoT)로 해석되는 이 기법은 특정 작업에서 LLM에게 최종답변을 받기까지 질문을 계속 던져 답변을 다듬어 간다. CoT@32는 컨텍스트 길이를 3만2천 토큰으로 설정한 것이다.

2023.12.15 10:52김우용

中 CSOT, "GPT-4 넘는 초거대 AI 이용해 R&D"

중국 TCL그룹 디스플레이 기업 CSOT가 오픈AI의 'GPT-4' 보다 더 뛰어난 성능의 초거대 인공지능(AI) 모델을 이용해 연구개발 속도를 높일 것이라고 밝혔다. 7일 중국 언론 IT즈자에 따르면 CSOT는 글로벌 첫 반도체·디스플레이 영역 초거대 모델이라며 '싱즈(Xingzhi) X-인텔리전스'를 발표했다. 이 초거대 모델은 CSOT가 중국 AI 기업 '즈푸AI', 국가신형디스플레이기술혁신센터, 그리고 칭화대와 공동으로 개발했으며 최근 이미 시스템을 배치했다. CSOT는 이 모델이 이미 이중맹검(Double-blind, 실험자와 피험자 모두 블라인드 테스트) 테스트를 완료했으며, 공식적으로 GPT-4를 넘어섰다고도 강조했다. 매체가 인용한 CSOT의 옌샤오린 최고기술책임자(CTO)는 이 모델로 인해 향후 직원들이 기술 문제를 해결할 때 강력한 비서를 갖게 될 것이라고 말했다. 이 초거대 모델이 이미 디스플레이 분야 기술논문, 데이터와 자료뿐 아니라 CSOT 내부의 대량 데이터를 읽고 이해했다는 게 그의 설명이다. 이 모델은 최근 CSOT 내부 직원에게 공개됐다. CSOT 직원들이 이 모델을 통해 연구개발 전문 지식과 관련된 질문을 할 수 있어, 제품 개발 속도가 빨라질 것이라고 중국 언론은 전했다. 이 초거대 AI 모델은 범용 초거대 AI 모델을 기반으로 100만 개 매개변수 수준의 전문 문헌 데이터 라이브러리를 구축했다. 공식적인 소개에 따르면 반도체와 디스플레이 영역의 방대한 지식을 이해하고 정합할 수 있다. 또 설계를 지원하고 문제에 대한 답변을 내놓거나 신입 직원 육성 등 다방면에 사용될 수 있다. CSOT는 중국 주요 디스플레이 기업으로서, LCD와 OLED 등을 생산하고 있으며 BOE에 이어 LCD TV용 패널 출하량 탑2 기업으로 꼽힌다. 올해 2분기 글로벌 고주사율 LCD 패널 출하량 기준 BOE와 CSOT의 합산 점유율이 시장의 절반 이상을 차지했다.

2023.12.08 07:43유효정

생성AI, 미세조정보다 프롬프팅이 나을 수 있다

오픈AI의 GPT-4나 구글의 PaLM2 같은 대규모언어모델(LLM)은 파운데이션모델로서 그 자체로 큰 역량을 가졌지만 특정 분야에서 맥락을 이해하지 못하고 수준이하 혹은 잘못된 답변을 내놓기 쉽다. 이에 모델 미세조정을 활용해 특화 모델을 만드는게 일반적이다. 하지만 최근 한 의학 분야 연구에서 GPT-4를 미세조정하지 않고 프롬프트 엔지니어링만 사용해 더 나은 성능을 낼 수 있다는 결과가 나와 주목받고 있다. 지난달 28일 마이크로소프트 연구블로그에 '프롬프팅의 힘'이란 제목의 글이 게재됐다. 에릭 호비츠 마이크로소프트 최고과학책임자의 글로, 일반 GPT-4 모델이 의학적 과학 문제 벤치마크에서 미세조정된 모델을 능가하는 성적을 받았다는 내용을 담았다. 에릭 호비츠는 "이 결과는 일반 파운데이션 모델에서 영역별 전문 지식을 불러일으키는데 프롬프트 전략이 얼마나 효과적일 수 있는지 보여주는 연구 중 하나"라며 "일반적 추론 능력을 넘어 GPT-4가 다양한 영역에서 도메인별 전문가로 활동할 수 있다는 사실을 발견했다"고 밝혔다. 파운데이션모델은 주로 인터넷 상에 공개된 데이터를 학습한다. 조직 내부에 보호된 전문 데이터를 학습하지 못하고, 특정 시점까지의 데이터만 학습하므로 생성하는 정보의 전문성과 최신성에 약점을 갖는다. 이때문에 파운데이션모델을 특별히 선별된 데이터로 더 학습시키는 미세조정을 사용하게 된다. 연구진은 막대한 비용을 들여야 하는 미세조정을 줄일 방법으로 파운데이션모델을 더 광범위하게 훈련시키는 방법을 연구했다. 이에 지난 3월 연구진은 간단한 프롬프팅 전략만으로 GPT-4의 의학적 지식에 대한 역량을 끌어낼 수 있다는 걸 입증했다. 이어 최근 연구에서 여러 프롬프트 전략을 '메트프롬프트(Medprompt)'란 방법으로 구성해 GPT-4가 최고 성능을 달성할 수 있도록 효율적으로 유도하는 방법을 보여줬다. 메드프롬프트를 적용한 GPT-4는 최고의 성능을 발휘하는 것으로 나타났다. 메드프롬프트를 이용한 GPT-4는 MedQA 데이터세트에서 90% 초과달성했다. MultiMedQA 제품군의 9개 벤치마크 데이터세트 모두에서 최고 결과를 달성했다. MedPaLM 2보다 MedQA에서 오류율이 27% 감소했다. MedPaLM 2는 구글에서 의료용으로 내놓은 PaLM2의 특수목적 버전이다. 메드프롬프트는 kNN 기반의 소수 예시 선택, GPT-4에서 생성된 사고 프롬프트 체인, 다수결 선택 앙상블 등을 결합한다. 에릭 호비츠는 "많은 AI 실무자가 특정 영역에서 우수한 성능을 발휘하도록 범용 파운데이션 모델을 확장하려면 전문문야 중심의 미세조정이 필요하다고 생각한다"며 "미세조정으로 성능을 향상시킬 수 있지만 이 과정은 많은 비용이 들 수 있다"고 설명했다. 그는 "미세조정을 하려면 전문가 또는 전문적으로 라벨을 지정한 데이터세트를 통해 모델 매개변수를 업데이트하고, 연산해야 하는 경우가 많다"며 "이 프로세스는 자원집약적이고 비용이 많이 들기 때문에 많은 중소규모 조직에서 접근하기 어려운 과제"라고 덧붙였다. 이 연구는 범용 LLM을 추가 시간과 연산 자원 투입없이 프롬프트 엔지니어링으로 빠르게 전문분야에서 활용할 수 있다는 점을 보여줘 눈길을 끈다. 의학분야에 한정된 연구지만 다른 전문분야에서도 활용가능할 것으로 기대된다. 에릭 호비츠는 "우리가 제시하는 프롬프트 방식은 전기공학, 머신러닝, 철학, 회계, 법률, 심리학 등 다양한 분야의 전문 역량 시험에서 도메인별 업데이트 없이도 가치있다는 것으로 나타났다"고 강조했다.

2023.12.04 12:55김우용

오픈AI 연구진 "인류 위협하는 모델 나왔다" 경고

지난 일주일 간 벌어졌던 오픈AI CEO 해임 사태의 원인이 조금씩 확인되고 있다. 인류를 위협할 정도로 강력한 인공지능(AI) 모델이 나타났고, 몇몇 연구원이 이사회에 이메일을 보내 경고했다는 것이다. 22일 미국 디인포메이션은 오픈AI 연구진이 강력한 일반인공지능(AGI)을 개발했다는 내용의 서한을 이사회에 보냈다고 보도했다. 서한을 보낸 시점은 샘 알트먼 해임 소동 발생 직전이다. 보도에 따르면 AI 모델 이름은 '큐 스타'다. 기존 모델 발전 속도가 몇십 배 더 빠르다. 연구진들은 모델의 수학 연산 능력을 테스트한 뒤 충격을 감추지 못했다는 입장이다. 일반적으로 챗GPT 등 생성형 AI는 통계 기반으로 다음 단어를 예측하는 방식으로 문자를 생성한다. 수학 연산도 마찬가지다. 데이터 학습 범위 내에서만 연산할 수 있다. 학습하지 않은 새로운 수학 문제 정답을 맞힐 수 없다. 큐 스타는 다르다. 추가 데이터 학습 없이 연산 문제 이해부터 푸는 것을 스스로 할 수 있다. 기존 데이터셋을 응용할 수 있기 때문이다. 데이터셋에 없던 새로운 연산 문제도 능숙하게 풀 수 있는 이유다. 사람처럼 기존 지식을 응용해 새로운 문제를 해결할 수 있는 셈이다. 일반 사람들이 보기에 AI의 이런 능력이 간단해 보일 수 있지만, AI 연구 분야에선 기술 혁신에 가깝다. 22일 더 버지는 "큐 스타가 수학 문제를 스스로 풀 수 있다는 건 AGI에 한발짝 더 가까워졌다는 신호"라고 전했다. 연구진들은 서한을 통해 "모델 큐 스타는 인류를 파괴할 정도로 강력한 시스템으로 사용될 수 있을 것"이라며 "개발 속도에 대한 경각심을 가져야 할 것"이라고 이사회에 경고했다. 이들은 알트먼이 위협적인 모델 개발을 암시한 발언을 했다고 전했다. 그는 해고 소동이 겪기 직전인 지난 16일 아시아태평양경제협력체(APEC) 정상회의에서 "오픈AI는 미지 속 베일을 걷어내고 기술 발전 지평을 넓힐 수 있을 것"이라며 "이런 순간을 이끌 수 있어 영광"이라고 언급한 바 있다. 해당 발언은 알트먼 해고 때문에 외부에 거의 알려지지 않았다고 디인포메이션이 전했다.

2023.11.24 09:23김미정

오픈AI 경쟁자 앤트로픽, '클로드 2.1' 출시

오픈AI 퇴사자 중심으로 구성된 인공지능 스타트업 앤트로픽이 최신 대화형 AI 모델인 '클로드 2.1'을 발표했다. 한번에 15만 단어를 입력할 수 있다. 21일(현지시간) 앤트로픽은 클로드 2.1을 콘솔의 API로 제공한다고 밝혔다. 클로드 2.1은 20만 토큰을 콘텍스트 창에 입력할 수 있으다. 앤트로픽의 클로드는 프롬프트 창에 한번에 입력할 수 있는 텍스트의 양에서 오픈AI의 챗GPT를 월등히 앞서왔다. 그 양 덕분에 학술 논문 번역이나 복잡한 계약 분석 등의 용도로 많이 사용되고 있다. 클로드 2.1은 프롬프트 창에 입력할 수 있는 텍스트 양을 두배 더 늘렸다. 약 15만 단어나 500페이지 이상 분량의 자료를 다룰 수 있다. 회사측은 전체 코드베이스, S-1 제무제표, 일리아드, 오딧세이 등의 문서를 업로드할 수 있다고 설명했다. 클로드 2.1은 전 버전 대비 모델 환각 비율을 대폭 감소시켰다. 허위 진술이 2배 감소했다고 회사측은 밝혔다. 특히 법률 문서, 재무 보고서, 기술 사양 문서 등 고도의 정확성을 요구하는 길고 복잡한 문서에 대한 이해력과 요약 측면에서 의미있는 개선을 이뤘다고 강조했다. 해당 사례에서 클로드 2.1의 오답은 전 버전 대비 30% 감소했고, 특정 주장을 뒷받침하는 문서로 잘못된 결론을 내리는 비율이 3~4배 낮은 것으로 나타났다고 한다. 앤트로픽은 클로드 2.1에 기존 프로세스, 제품, API 등과 통합할 수 있는 '툴 사용'이란 베타 기능도 선보였다. 개발자는 정의한 기능이나 API를 조정하고, 웹 소스를 검색하며, 개인 기술 자료에서 정보를 찾을 수 있다. 사용자는 클로드에서 사용할 수 있는 도구 세트를 정의할 수 있다. 모델이 정의된 도구 세트에 따라 사용자를 대신해 복잡한 수치 추론을 위한 계산기 사용, 자연어 요청을 구조화된 API 호출로 변환, 데이터베이스 검색이나 웹 검색 API를 사용해 질문에 답변, 비공개 API를 통해 소프트웨어의 간단한 작업 수행 등의 업무에 필요한 도구를 결정한다. 개발자 경험도 향상됐다. 새 워크벤치 제품을 사용해 플레이그라운드 스타일 환경에서 프롬프트를 반복하고 새로운 모델 설정에 접근해 클로드 행동을 최적화할 수 있다. 여러 개 프롬프트를 생성해 서로 다른 프로젝트에 대해 탐색할 수 있고, 기록 컨텍스트 유지를 위해 수정 내용이 저장된다. 개발자는 코드 스니펫을 생성해 자신의 프롬프트를 앤트로픽의 SDK에서 직접 사용할 수 있다. 앤트로픽 측은 성능 향상을 위해 클로드에게 맞춤 지침을 제공할 수 있는 시스템 프롬프트도 도입할 예정이라고 밝혔다.

2023.11.22 09:38김우용

비디오 만드는 스테이블디퓨전 모델 공개

이미지생성 인공지능(AI) 개발회사 스태빌리티AI가 비디오를 생성하는 첫 파운데이션 모델을 공개했다. 21일(현지시간) 스태빌리티AI는 이미지모델 스테이블디퓨전에 기반한 비디오 생성 모델 '스테이블 비디오 디퓨전'을 리서치 프리뷰로 발표했다. 스테이블 비디오 디퓨전은 모든 유형의 비디오 창작자를 위한 모델을 목표로 만들어지고 있다. 회사측은 이 미비도 모델은 멀티 뷰 데이터세트에 대한 미세조정을 통해 단일 이미지에서 멀티뷰 합성을 비롯한 다양한 하부 작업에 쉽게 적용될 수 있다고 설명했다. 스테이블디퓨전과 유사한 생태계를 구축하고 그 기반을 확장하는 다양한 모델을 개발중이라고 회사측은 밝혔다. 대기 신청을 통해 이용자는 접근권을 획득하고 텍스트투비디오 인터페이스를 갖춘 웹 UI를 이용할 수 있다. 광고, 교육, 엔터테인먼트 등 다양한 분야에서 스테이블 비디오 디퓨전의 적용사례를 보여준다. 회사에 따르면, 스테이블 비디오 디퓨전은 초당 3~30 프레임 사이의 프레임 속도로 14 프레임과 25 프레임을 생성할 수 있는 두가지 모델로 출시됐다. 테스트에서 스테이블 비디오 디퓨전이 런웨이나 피카랩스보다 더 뛰어난 성능을 보이는 것으로 나타났다. 스테이블 비디오 디퓨전은 깃허브 저장소에서 코드를 사용할 수 있으며, 허깅페이스 페이지에서 로컬 실행에 필요한 가중치를 확인할 수 있다. 스태빌리티AI 측은 "이 모델은 현재 단계에서 실제 또는 상업용 애플리케이션을 위한 게 아니다"라고 강조했다.

2023.11.22 09:38김우용

삼성넥스트, LLM 보안기업 라소시큐리티 80억 투자

삼성전자의 투자 전문 자회사 삼성넥스트가 이스라엘의 대형언어모델(LLM) 보안 스타트업 '라소시큐리티'에 투자했다. 20일(현지시간) 실리콘앵글 등 외신에 따르면 삼성넥스트는 라소시큐리티에 600만 달러(약 80억 원)를 투자했다. 이번 투자는 앙트레 캐피털과 공동으로 진행한 것으로 총 투자비용은 750만 달러(약 100억 원) 규모다. 이스라엘 텔아비브에 위치한 라소시큐리티는 사이버 보안 위험 방지를 위해 생성형 AI의 무단 사용을 감지하는 플랫폼을 서비스 중이다. 이번 투자에 대해 외신은 삼성이 LLM을 안전하게 개발하고 사용하는 기반을 확보하기 위한 것이라고 분석했다. 다만 삼성이 AI를 자체 개발할 것인지 아니면 라소의 보안 플랫폼을 별도로 운영할 것인지는 공개되지 않았다. 라소시큐리티에 따르면 해당 플랫폼은 사내 기술 환경을 분석하고, 직원이 사용하는 모든 생성형 AI 도구를 자동으로 매핑할 수 있다. 이후 누가 무슨 AI 서비스를 어떻게 사용하고 있는지에 대한 정보도 대시보드를 통해 제공한다. 특히, AI프롬프트 입력 과정에서 신용카드 번호 등 민감한 데이터가 포함됐는지 확인할 수 있다. 관리자는 해당 플랫폼을 통해 사용 중인 AI앱을 제한하거나, 외부 LLM에 민감한 데이터를 입력하는 것을 확인 후 사용자에게 비식별화할 것을 팝업 패널 등을 통해 전달할 수 있다. 또한 AI앱을 개발하거나 AI를 이용해 코드를 생성하는 과정에서 지적재산권을 침해하거나 안전이 보장되지 않은 코드가 포함되는 것을 감지할 수 있다. 기업에서 개발한 AI의 오작동을 유발해 데이터 유출을 노리는 프롬프트 주입 공격도 탐지 차단하는 기능도 지원한다. 앙트레 캐피털의 에런 비엘스키 제너럴파트너는 “라소는 LLM과 관련된 취약점을 직접적으로 해결하는 플랫폼을 개발했다"며 "이를 통해 기업은 대규모 언어 모델을 제품이나 내부 도구에 자신 있게 통합하는 동시에 상업 데이터와 정보를 보호할 수 있을 것으로 기대한다"고 밝혔다.

2023.11.21 11:03남혁우

中 AI 회사, '美 메타' 초거대 AI 표절 논란

중국에서 오픈소스 인공지능(AI) 초거대 모델을 개발한 스타트업이 논란 끝에 표절을 인정했다. 15일 중국 언론 IT즈자에 따르면 중국 시노베이션벤처스 CEO 겸 회장인 리카이푸가 올해 창업한 AI 초거대 모델 스타트업 '링이완우'가 '와이(Yi)-34B'와 'Yi-6B' 등 초거대 모델을 출시한 후 표절 논란에 휘말렸다. 두 모델은 학술연구원을 대상으로 전면 개방됐으며 무료로 상업용 사용 신청이 가능하다. Yi-34B는 두 언어 기반의 모델로 340억 개 매개변수로 훈련됐다. 전일 Yi-34B의 허깅페이스(AI 모델이 모이는 플랫폼) 오픈소스 페이지에 한 개발자(ehartford)가 메타의 대형언어모델(LLM) '라마(LLaMA)' 아키텍처를 사용한 것 아니냐는 의혹을 제기했다. 두 개의 텐서(Tensor) 명칭만 바꾼 것이라고 지적했다. 텐서는 딥러닝 개념에서 다차원 배열을 의미하며 더 높은 차원의 행렬과 벡터를 만들기 위해 쓰인다. 이에 대해 링이완우 측은 공식 답변을 통해 "회사의 오픈소스팀 총괄 책임자인 라치드 린이 라마 텐서 명칭을 수정한 것에 대해 부적절했다고 인정했다"며 "외부 제안에 따라 수정된 텐서 명칭은 기존 Yi에서 다시 라마로 변경된다"고 설명했다. 경위를 설명한 링이완우 측은 명칭 지정이 실수로 이뤄진 것이라고 해명했다. 리차드 린은 "명칭 지정 문제가 개발자의 감독 소홀에 기인했다"며 "개발자가 테스트 요구를 충족하기 위해 코딩 중 여러 차례 명칭을 변경했다"고 밝혔다. 이어 "개발자가 텐서 이름을 라마로 다시 수정하는 것을 잊어버린 것"이라고 사과했다. 또 다른 개발자는 이미 공식적으로 Yi 초거대 모델의 텐서 명칭 수정을 발표했으니, 오픈소스 초거대 모델 Yi는 라마의 파생 저작물이며 코드의 추론 부분과 모델 정의가 모두 라마의 일부란 점에서 라이선스 충돌이 일어난다고 지적했다. 이에 링이완우가 상업적 이용과 관련된 조항을 개정해야 하며, 해당 모델의 월 활성 사용자가 7억 명을 초과할 경우 메타에 라이선스 신청을 해야 한다고 주장했다. Yi 시리즈 모델의 소유권 및 관련 지식재산권에 대한 조항 역시 문제 삼았다. 링이완우의 창업자이자 시노베이션벤처스 회장인 리카이푸는 전 구글 중국 CEO 이자 마이크로 글로벌 부사장, SAP와 시스코 부사장 등을 역임한 중국 유명 AI 전문가 겸 기업가다. 링이완우는 리카이푸가 직접 설립한 스타트업이란 사실 만으로도 상당히 주목받은 기업으로, 이미 알리바바클라우드가 이끄는 10억 달러(약 1조 3천50억 원) 규모의 투자도 받았다. 최근 기업가치가 10억 달러를 넘으면서 유니콘으로 불려왔다.

2023.11.16 08:46유효정

델, 허깅페이스에서 생성 AI 포털 제공

델테크놀로지스는 허깅페이스와 협력해 손쉽게 오픈소스 생성형 AI를 구축하고, 미세 조정해 운영할 수 있도록 지원할 계획이라고 15일 밝혔다. '허깅페이스'는 머신러닝 모델을 구축, 배포 및 교육하기 위한 도구와 리소스를 개발하는 프랑스계 미국 회사이자 오픈소스 커뮤니티다. 양사는 허깅페이스 플랫폼에 델 포털을 구축하고 델의 인프라 솔루션에 맞춤형 거대언어모델(LLM)을 온프레미스로 구축할 수 있도록 지원할 예정이다. 허깅페이스의 델 포털은 커스텀 및 전용 컨테이너, 스크립트 등을 제공할 예정이며, 기업은 이를 활용해 델 서버와 스토리지를 기반으로 허깅페이스에 올라온 오픈소스 모델을 쉽고 안전하게 배포할 수 있다. 향후 델 인프라에 최적화된 컨테이너 업데이트를 지속적으로 출시하면서 새로운 생성형 AI 활용 사례 및 모델에 요구되는 성능 및 지원을 향상시켜 나갈 예정이다. 제프 부드로 델테크놀로지스 최고 AI 책임자는 "델 테크놀로지스의 생성형 AI 경쟁력과 허깅 페이스의 데이터셋 및 라이브러리를 결합함으로써, 오픈소스 생성형 AI 모델의 이점과 온프레미스 환경의 데이터 보안 및 신뢰성을 모두 누릴 수 있을 것"이라며 "이번 협업은 신뢰할 수 있는 델 인프라를 기반으로 구동되는 맞춤형 생성형 AI 모델을 보다 간단하게 구축함으로써 빠르게 기술 환경을 현대화할 수 있음을 의미한다”고 설명했다. 제프 부디에 허깅페이스 제품 및 성장 총괄은 "델 테크놀로지스와 협력해 온프레미스 인프라 환경의 기업들이 오픈소스 AI를 손쉽게 사용할 수 있게끔 지원하게 된 것에 큰 기대를 걸고 있다”며 “기업들이 오픈소스 커뮤니티의 놀라운 혁신을 활용해 고유한 AI 시스템을 구축하는 데 큰 힘이 될 것으로 믿는다”고 밝혔다. 김경진 한국델테크놀로지스 총괄사장은 "생성형 AI의 새로운 모델을 구축하고 확장하기 위한 전략적 투자가 빠르게 늘어나고 있지만, 이를 구현하는 과정에서 원치 않는 복잡성으로 어려움을 겪는 것도 사실”이라며 “생성형 AI 사용을 간소화하고, 확장성을 부여하기 위해 델과 허깅 페이스가 새로운 협력을 선보임으로써, 고객들은 신뢰가 보장되는 담대한 혁신을 이어갈 수 있을 것으로 기대한다”고 덧붙였다.

2023.11.15 16:52김우용

삼성전자 "생성형 AI '가우스'로 업무 혁신 추진...유출 걱정 없다"

삼성전자가 자체 개발한 생성형 AI '삼성 가우스'를 연내 사내 툴에 접목해 업무 혁신을 추진하고, 향후 다양한 제품에 적용할 계획이다. 삼성 가우스는 주요 내용이 포함된 내부 코드가 외부에 유출되지 않도록 보안성이 강화된 모델이라는 점이 특징이다. 삼성전자는 14일 삼성전자 서초사옥에서 '삼성 개발자 콘퍼런스 코리아 2023'을 개최하고 첫 번째 키노트에서 '삼성 가우스'를 주력으로 소개했다. 이번 행사는 소프트웨어 개발자들이 최신 IT 기술과 정보를 공유하는 자리다. 이날 전경훈 삼성전자 DX부문 최고기술책임자(CTO) 겸 삼성리서치장인 사장은 환영사에서 "삼성전자는 생성형 AI 모델인 삼성 가우스를 개발해 언어 모델, 코딩 모델, 그리고 이미지 모델을 발표했다"라며 "이를 사내 툴에 접목해 업무 생산성을 향상시키고, 단계적으로 제품에 적용해 그 용도를 확장해 나가면서 차별화된 고객 경험을 제공하겠다"고 전했다. 삼성전자가 자체 개발한 '삼성 가우스'는 ▲텍스트를 생성하는 '언어 모델' ▲코드를 생성하는 '코드 모델' ▲이미지를 생성하는 '이미지 모델' 등 3가지 모델로 구성돼 있다. 이주형 삼성리서치 상무는 "삼성 가우스 랭귀지(언어) 모델은 삼성전자의 제품, 서비스, 그리고 생성형 AI 기능을 구현하기 위한 언어 모델"이라며 "삼성전자의 학습 인프라, 학습 데이터, 그리고 역량을 총동원해서 수십억 바이트의 데이터와 수많은 GPU가 수개월간 활용돼 최고의 성능을 가진 언어 모델을 개발할 수 있었다"고 소개했다. 가우스 언어 모델은 다양한 상황에 최적화된 크기의 언어 모델을 클라우드(Cloud)와 온디바이스(On-device)에서 선택할 수 있다. 다국어 모델로 개발돼 한국어뿐만 아니라, 영어, 프랑스어, 스페인어, 중국어, 일본어 등도 지원한다. 언어 모델을 이메일에서 사용하면 부재를 알리는 영문 메일을 작성을 할 수 있고, 친근한 메일 스타일을 변환할 수 있다. 또 원문을 개조식으로 세 문장으로 간단하게 요약하고, PDF로 된 논문을 업로드하고 요약 정리할 수 있다. 메일의 내용을 다른 언어로 번역하는데도 활용 가능하다. 삼성전자는 다른 생성형 AI와 비교해 삼성 가우스의 장점으로 최적화와 보안성을 강조했다. 코드 모델을 기반으로 개발된 AI 코딩 어시스턴트 '코드아이(code.i)'는 사내 소프트웨어 개발에 최적화되어 개발자들이 쉽고 빠르게 코딩할 수 있도록 도와준다. 또 대화형 인터페이스를 통해 코드 설명이나 테스트 케이스 생성 등의 서비스를 제공한다. 이 상무는 "코드 아이는 소프트웨어 개발의 효율성을 높이기 위해 특화된 코드 생성 전문 모델"이라며 "소프트웨어 개발 과정의 생산성 향상을 위해 다른 생산용 AI 기반 도구들이 출시돼 있지만, 외부 도구들은 공개되지 않은 삼성 제품 코드에 대한 지식이 부족하고, 또 사용 과정에서 내부 코드의 유출 가능성으로 인해 삼성 내에서 활용하기가 어렵다"고 지적했다. 이어 그는 "삼성 가우스 이미지 모델은 라이선스나 개인정보를 침해하지 않는 안전한 데이터를 통해 학습됐으며, 온디바이스에서 작동하도록 설계되어 외부로 사용자의 정보가 유출되지 않아서 장점이다. 이에 사용자는 안전하게 이미지를 생성해 편집, 변환할 수 있고, 생성된 사진을 자유롭게 공유할 수 있다"고 말했다. 이 상무는 "삼성은 AI 윤리 원칙인 공정성, 투명성, 책임성에 기반해 안전한 데이터와 사용자 프라이버시 보호를 위해 여러 노력을 해왔다"라며 "데이터 수집 단계부터 컴플라이언스 등을 위해 가능성 있는 데이터를 선별해 리스크를 최소화하고 있다. 이 기술을 통해 삼성의 디바이스와 생성형 AI가 어우러지는 새로운 가능성의 문을 열고자 한다"고 전했다.

2023.11.14 13:46이나리

슈퍼브에이아이, 비전 AI 모델 성능 진단한다

슈퍼브에이아이(대표 김현수)가 비전 인공지능(AI) 모델 성능을 평가할 수 있는 진단 기능을 공개했다고 14일 밝혔다. 모델 진단 기능은 슈퍼브에이아이의 '슈퍼브 큐레이트' 솔루션에 적용된다. 슈퍼브 큐레이트는 컴퓨터 비전 데이터를 한 곳에서 쉽게 관리하고 선별할 수 있는 솔루션이다. 머신러닝 지식이 없더라도 제공되는 가이드라인에 따라 누구나 모델 개선 방안에 대한 인사이트를 얻고, 개선 조치를 취할 수 있다. 새로 도입되는 모델 진단은 이미지를 판독·식별하고 인식할 수 있는 비전 AI 모델의 성능을 진단하고, 오류 유형을 파악하는 기능이다. AI 모델에 대한 각종 성능 지표 수치를 시각화해서 보여주기 때문에 인공지능 개발자가 아니어도 눈으로 쉽게 취약 데이터를 찾을 수 있다. 개선 전후 모델을 직관적으로 비교해 클래스별 성능 변화도 한 눈에 파악 가능하다. 모델 진단을 통해 여러 모델 중 보유하고 있는 데이터셋에 가장 적합한 모델을 선택하고, 모델 배포 시 성능을 모니터링하고 개선할 수 있다. 추가 확보해야 하는 데이터는 어떤 유형인지, 라벨링 오류를 수정해야 하는 데이터는 무엇인지 등 성능 개선을 위한 방안을 마련할 수도 있다. 슈퍼브에이아이의 플랫폼 내에서 다양한 솔루션들을 함께 활용해 모델 품질을 높이고, 모델 버전 및 히스토리 관리도 가능하다. 모델 진단을 통해 모델 성능이 취약한 데이터 유형을 파악한 후, 자동선별 기능으로 취약 데이터를 선별하고, 모델 학습·배포 솔루션인 '슈퍼브 모델'로 재학습해서 성능을 높일 수 있다. 해당 유형의 데이터를 신규로 수집할 경우, '슈퍼브 라벨'로 데이터 라벨링 후 재학습에 활용하면 된다. 학습 데이터에서 사용된 정답 데이터의 라벨링이 잘못됐다고 판단될 경우, '슈퍼브 라벨' 솔루션을 통해 데이터를 다시 라벨링할 수 있다. 김현수 슈퍼브에이아이 대표는 "AI 개발에서 모델을 진단하는 것은 모델의 성능은 물론, 안정성과 효율성을 평가하고 개선하는 과정으로 AI 개발 성공을 위해 반드시 필요한 단계다"라며 "모델 성능 개선에 대한 고민이 많은 머신러닝 엔지니어부터 AI 서비스를 기획하고 설계하는 기획자까지 모델 진단 기능을 활용해 시간과 비용을 절감하며 모델을 개선할 수 있다"고 전했다.

2023.11.14 10:50김미정

中 비보, 폰에 세계 최초 '100억 매개변수' AI 탑재

중국 스마트폰 기업 비보가 신제품에 인공지능(AI) 초거대 모델을 탑재하고 AI 경쟁력을 높였다고 소개했다. 13일 중국 비보가 'X100' 신제품 발표회를 열고 '란신(BlueLM)' AI 모델을 탑재했다고 밝혔다. 비보는 란신 AI 초거대 모델이 슈퍼클루, C이벌, CMMLU 등 여러 권위있는 테스트에서 세계 1위를 차지했다고 밝혔다. X100 시리즈 스마트폰은 70억 개 매개 변수 대형 언어 모델(LLM)과 130억 개 매개 변수 모델이 단말기에서 구현되는 것으로 소개됐다. 비보는 X100이 세계 최초로 단말기에서 조절되는 100억 개 AI 모델을 가진 스마트폰이라고 강조했다. 비보는 앞서 지난 1일 열린 개발자대회에서 자체 개발한 란신 AI 초거대 모델을 공개했다. 비보가 개발한 AI 초거대 모델은 10억, 100억, 1천 억 개 매개 변수 급의 5종 모델이 있다. 비보의 X100 시리즈는 미디어텍의 '디멘션9300' 시리즈 칩을 탑재했으며, 이 칩에는 생성형 AI 엔진인 APU790이 내장됐다. 자체 개발한 6nm 영상 칩 'V3'도 적용했다. 이 칩은 AI 감지 ISP 구조를 갖췄다. 오는 21일 판매되며 가격은 3천999위안(약 72만 6천 원)부터 시작한다. 비보는 이날 비보 워치3와 자체 OS도 함께 발표했다.

2023.11.14 08:46유효정

엔씨소프트, 구글클라우드 TPU로 '바르코 LLM' 개발

구글 클라우드는 엔씨소프트가 구글 클라우드 TPU를 기반으로 '바르코(VARCO) LLM'을 개발하고 학습 환경을 구축했다고 10일 밝혔다. 엔씨소프트는 지난 8월 자체 개발한 AI 언어 모델 '바르코 LLM'을 공개했다. 바르코 LLM은 개발 초기 단계부터 엔씨소프트에서 직접 선별한 고품질 데이터로 학습됐다. 현재까지 공개된 유사한 크기의 한국어 언어 모델 대비 최고의 성능을 구현하며 Q&A, 챗봇, 요약, 정보 추출 등 다양한 자연어처리(NLP) 기반 AI 서비스 개발에 활용되고 있다. 엔씨소프트는 바르코 LLM을 개발하기 위해 클라우드 TPU를 도입하고 지난 1년 동안 AI 모델 학습을 진행했다. 클라우드 TPU는 대규모 AI 모델 학습과 추론에 최적화된 구글 클라우드의 맞춤형 머신러닝 가속기(ASIC)로 챗봇, 코드 생성, 미디어 콘텐츠 생성 등 다양한 사용 사례를 지원한다. 엔씨소프트는 클라우드 TPU가 제공하는 업계 최고 수준의 속도와 성능을 바탕으로 LLM 학습에 소요되는 시간을 효과적으로 단축하고 학습 생산성을 향상시킬 수 있었다. 생성형 AI 시대를 맞아 AI 관련 인프라 수요가 폭발적으로 증가하며 수급이 어려운 시대에도 탄력적인 운영이 가능한 점 또한 엔씨소프트가 구글 클라우드 TPU를 긍정적으로 평가한 이유 중 하나였다. 구글이 제공하는 업계 선도적인 AI 기술 역시 엔씨소프트 자체 AI 연구와 시너지를 낼 수 있을 것으로 판단했다. 특히 클라우드 TPU가 GPU 대비 달러 당 거의 2배 높은 성능을 제공하면서, 엔씨소프트는 대규모 AI 학습 워크로드의 성능과 비용을 최적화할 수 있었다. 엔씨소프트는 '바르코 LLM'을 기반으로 게임 콘텐츠 개발은 물론 디지털 휴먼, 생성형 AI 플랫폼, 대화형 언어 모델 등 다양한 AI 연구와 사업에 본격 나선다. 생성형 AI 기술을 통해 플레이어와 실시간으로 반응하고 자연스러운 인터랙션이 가능한 NPC 모델을 개발 중이며, 향후 플레이어의 행동에 따라 완전히 새로운 콘텐츠를 생성할 수 있는 게임 환경을 구현할 예정이다. 이외에 엔씨소프트는 교육, 금융, 바이오 등 다양한 분야의 파트너들과 협업해 전문지식을 결합한 도메인 전용 모델도 선보일 계획이다. 엔씨소프트는 과거에도 버텍스 AI, 빅쿼리, 컴퓨트 엔진 등 구글 클라우드 솔루션을 사용해 안정적인 글로벌 서비스 확장 및 기술 고도화를 지속해 왔다. 자체 AI 번역 엔진을 개발해 사용자 경험을 혁신해온 엔씨소프트는 구글 쿠버네티스 엔진(GKE)을 도입해 AI 기반 글로벌 실시간 번역 시스템을 안정적으로 운영하고 있다. 양사는 이번 파트너십을 통해 AI 및 머신러닝(ML) 부문에서 협업을 더욱 강화하고 다양한 비즈니스 기회를 모색해 나갈 예정이다. 이연수 엔씨소프트 NLP 센터장은 “엔씨소프트는 이미 십수 년 전부터 국내 게임사 중 최초로 AI 조직을 운영하며, 고객에게 새로운 가치를 제공하기 위해 기술 연구에 매진해 왔다”며 “바르코 LLM은 이러한 노력의 결실이자 엔씨소프트의 새로운 비전”이라고 설명했다. 그는 “클라우드 TPU의 뛰어난 성능과 확장성, 국내외를 아우르는 구글 클라우드 엔지니어링 팀의 전방위적 지원 덕분에 LLM 개발을 빠르고 비용 효율적으로 수행할 수 있었다”며 “앞으로도 양사가 함께 성장을 도모하며 협력을 지속해 나갈 예정”이라고 강조했다. 강형준 구글 클라우드 코리아 사장은 “게임사가 자체 LLM 개발에 클라우드 TPU를 도입한 것은 구글 클라우드 고객 중 최초이며, 이는 매우 선도적인 사례”라며 “앞으로도 구글 클라우드의 독보적인 AI 기술과 인프라를 바탕으로 엔씨소프트를 비롯한 국내 기업이 게임 체인저로 도약해 글로벌 경쟁력을 더욱 강화할 수 있도록 적극 지원할 예정”이라고 덧붙였다.

2023.11.10 15:39김우용

오픈AI "AI 학습 데이터 제공할 파트너 찾습니다"

오픈AI가 인공지능(AI) 모델 훈련에 필요한 고품질 데이터를 확보하기 위한 적극적 노력에 나섰다. 오픈AI는 10일(현지시간) AI 모델 교육을 위한 공개 및 비공개 데이터세트를 생성하는 '오픈AI 데이터 파트너십' 프로그램을 도입한다고 발표했다. 주요 대규모언어모델(LLM) 학습에 사용되는 데이터세트는 주로 인터넷에서 수집된다. 이런 공개된 데이터세트 다수는 오염되거나 편향된 절보를 다수 포함하고, LLM은 이를 학습해 반사회적이고 해로운 방식으로 증폭시킨다. 일반적으로 기업이나 조직은 내부의 데이터를 외부인에게 제공하지 않으므로 AI 학습 데이터의 결함 문제는 쉽게 해결하기 어렵다. 오픈AI는 외부 기관과 협력해 개선된 데이터세트를 생성함으로써 이런 문제를 해결하고 싶다고 밝혔다. 인류 모두에게 안전하고 유익한 AI를 만들려면, AI 모델이 모든 주제, 산업, 문화, 언어를 깊이 이해해야 하며, 이를 위해서는 가능한 한 광범위한 교육 데이터 세트가 필요하다고 설명했다. 오픈AI는 이미 각 국가나 업계의 데이터를 대표하고자 하는 많은 파트너와 협력하고 있다고 강조했다. 그 예로 아이슬란드 정부, 미데인드와 협력해 선별된 데이터세트를 통합해 GPT-4의 아이슬란드어 말하기 능력을 향상시켰다고 밝혔다. AI 교육에 대규모 법률 문서 컬렉션을 포함시켜 법적 이해에 대한 접근을 민주화하는 것을 목표로 하는 비영리 단체인 프리로프로젝트와 파트너십을 맺었다고 덧붙였다. 데이터 파트너십 프로그램은 인간 사회를 반영하고 온라인에서 쉽게 접근할 수 없는 대규모 데이터세트를 수집하는 것을 목표로 한다. 이미지, 오디오, 비디오 등 광범위한 형식을 수집하고, 특히 다양한 언어, 주제, 형식에 걸쳐 인간의 의도를 표헌하는 데이터를 찾는다. 예로 장문의 글쓰기나 대화를 들었다. 오픈AI는 협력하는 조직과 함께 데이터세트에서 개인정보와 민감 데이터를 제거하겠다고 강조했다. 파트너십은 두가지 방식으로 이뤄질 수 있다. 하나는 오픈소스 아카이브로, 오픈소스 데이터세트를 만드는데 도움을 주는 파트너다. 이렇게 만들어진 데이터세트는 다시 AI 학습용도로 외부에 공개된다. 해당 데이터세트로 오픈소스 모델을 안전하게 교육하는 방법도 찾는다. 다른 하나는 프라이빗 데이터세트다. 기반모델과 미세조정 모델, 맞춤형 모델 등 독점적 AI 모델을 학습시키기 위한 프라이빗 데이터세트인데, 특정 분야 지식을 오픈AI의 언어모델이 더 깊이 있게 이해하길 원하는 파트너를 찾는다. 이 경우 협력자가 원하는 민감도와 접근제어 수준으로 데이터를 처리하게 된다.

2023.11.10 09:19김우용

Prev 1 2 3 4 5 6 7 8 9 10 Next