ZDNet 검색 페이지

'AI 추론'통합검색 결과 입니다. (31건)

"추론하는 법 배웠다"…오픈AI 'o1' 출시에 국내 업계 반응은?

오픈AI가 데이터 기반으로 답하는 것을 넘어 실제 추론까지 하는 생성형 인공지능(AI) 모델을 공개한 가운데, 생각의 사슬(CoT) 기법을 통한 추론 기술 고도화가 AI 업계에 필수 역량으로 자리할 것이라는 주장이 나왔다. 13일 오픈AI는 AI 추론 능력을 대폭 강화한 새로운 모델 'o1' 프리뷰 버전과 미니 버전을 블로그를 통해 공개했다. o1은 과거 오픈AI 내부에서 '스트로베리'라는 암호명으로 불렸던 모델이기도 하다. 이전 모델보다 더 복잡한 문제를 처리할 수 있으며 수학과 코딩 등 기술적 문제 해결에 강점을 보인다. 국제 수학 올림피아드 예선에서 'GPT-4o'는 13%의 문제를 해결했으나 'o1'은 83%의 문제를 정확히 풀어냈다. 현재 챗GPT 플로스 고객과 챗GPT 팀즈 고객만 o1을 이용할 수 있다. 이 모델은 챗GPT 기업 고객 대상으로는 제공되지 않는다. 질문 가능 횟수는 사용자당 일주일에 30회까지다. "생각의 사슬 필수요소...강화학습 뜬다" 전문가들은 AI 업계가 CoT를 필수 패러다임으로 갖출 것이라고 입을 모았다. 해당 과정에 포함된 강화학습(RL)방법이 재주목받을 것이라는 의견도 나왔다. 업스테이지 박찬준 수석연구원은 "앞으로 CoT를 다양하게 구성하고 이를 학습 과정에 잘 녹여내는 패러다임이 필수일 것"이라며 "이로 인해 강화학습이 다시 떠오를 것"고 강조했다. CoT는 생성형 AI가 복잡한 문제를 세분화해 오류를 수정하고 실수를 인정하며 해답 찾는 과정을 뜻한다. 복잡한 문제를 낱개로 잘라 하나씩 답을 푸는 형태다. 이를 통해 복잡한 문제도 차근차근 해결한다. 이는 마치 사람이 어려운 질문에 답하기 위해 오랫동안 생각하는 것처럼 생각의 꼬리를 무는 형식이다. 챗GPT-4o 등 기존 챗봇보다 답변 시간이 오래 걸리지만 더욱 자세하고 정확한 답변을 얻을 수 있는 이유다. CoT 기법에 RL방법론이 적용된 것으로 알려졌다. AI가 복잡한 문제를 세분화해 하나하나 차근차근 풀면서 최종 정답과 가장 가까운 방향으로 간다는 이유에서다. RL방법은 CoT을 통해 AI에 생산적으로 사고하는 방법을 모델에 가르치는 셈이다. 오픈AI는 RL을 통해 o1 성능이 지속적으로 향상되는 것을 발견했다고 설명했다. 오픈AI 미라 무라티 최고기술책임자(CTO)는 "o1의 추론 과정을 개선하기 위해 RL을 선택했다"며 "모델이 정답을 맞히면 긍정적인 피드백을, 틀릴 경우 부정적인 피드백을 주는 식으로 기능을 개선했다"고 설명했다. 김동환 포티투마루 대표는 "o1이 CoT 기법을 활용한 복합 추론 기술의 고도화를 통해 수학을 비롯한 과학, 생명공학 분야에서의 난제 해결에 기여할 것"이라고 밝혔다. 국내서 LLM을 개발하는 한 업계 관계자도 "생성형 AI가 CoT와 RL로 사람처럼 생각하는 법을 학습했다"며 "기존 데이터 기반으로 답변을 찾아내는 것에서 실제 추론 단계로 넘어갔는지에 대한 평가가 이어질 것"이라고 내다봤다. "B2B·B2C 사업 전략 뚜렷...상용화에 GPU 확보 관건" 업계 관계자들은 기업용 o1 정식 버전 가격이 상당할 것이라고 내다봤다. 이에 오픈AI B2C와 B2B 비즈니스에 대한 경계가 뚜렷해지면서 수익화에 다양성을 줄 것이라고 분석했다. 국내서 LLM 사업하는 한 관계자는 "앞으로 오픈AI 고객은 기존 비용으로 챗GPT-4o까지 사용하는 부류와 높은 비용으로 좋은 결과물을 얻고자 하는 부류로 나뉠 것"이라고 언급했다. 이어 "오픈AI 서비스가 다양화돼서 B2B·B2C 비즈니스 전략에 차별화가 생길 것"이라고 밝혔다. 최근 외신은 오픈AI가 o1 모델을 기업용으로 출시할 경우 가격을 매월 2천 달러(약 266만원)로 책정할 것이란 소식을 내부 관계자 말을 인용해 보도한 바 있다. 오픈AI가 모델 상용화를 위해 중앙처리장치(GPU) 확보에 혈안일 것이라는 분석도 나왔다. 박찬준 수석연구원은 "고도화된 추론으로 GPU 추가 확보가 불가피할 것"이라며 "샘 알트먼 오픈AI 최고경영자(CEO)가 GPU를 더 확보하려는 이유가 o1 상용화에 있을 것으로 본다"고 예측했다.

2024.09.13 14:39김미정

[써보고서] "정말 미쳤다"…오픈AI 新모델 'o1' 추론 능력에 '감탄'

"다른 인공지능(AI)에게 물어봐도 한 번도 맞힌 적 없는 문제들을 한글로 한 번에 해결하네. 이 모델은 정말 미쳤다." 13일 공개된 오픈AI의 인공지능(AI) 모델 'o1'에 대해 국내 관련 커뮤니티에서는 찬사가 이어졌다. 사용자들이 모델 성능을 비교하기 위해 넣었던 난해한 논리학 문제와 수학 문제들을 직접 생각하고 모두 해결했기 때문이다. 론칭 당일 새벽부터 모니터링하던 기자도 직접 다양한 테스트를 진행해 봤다. 추론과 수학 논리에 특화된 AI…뛰어난 문제 해결 능력 '눈길' 우선 간단한 실험으로 단어 내 특정 알파벳 개수를 세는 테스트를 진행했다. 기존의 거대언어모델(LLM) 대다수는 숫자 세기에 약점을 보였지만 'o1'은 'strawberry'에 포함된 'r'의 개수를 묻자 2초 만에 정확히 3개라고 대답했다. 논리학 문제에서도 뛰어난 성능을 보였다. 멘사 등에서 사용하는 '아이의 나이 맞추기' 문제를 제시하자 'o1'은 정확한 답을 도출했다. 문제는 러시아 수학자 이반과 이고르의 대화로, 아들들의 나이의 곱이 36이고 합이 오늘 날짜라는 힌트를 기반으로 아들들의 나이를 추론하는 것이었다. 기존 GPT-4 모델은 오답을 제시했지만 'o1'은 아들들의 나이가 1, 6, 6이며 오늘 날짜가 13일임을 정확히 맞혔다. 또 복잡한 추리 문제가 포함된 도난 사건에서도 'o1'은 정확한 범인을 지목했다. 여러 용의자의 진술과 거짓말이 섞인 상황에서 '찰리'와 '존무드'가 범인임을 밝혀내며 논리적 추론 능력을 입증했다. 일상에서 사용하지 않는 논리학 문제 대신 복잡한 문장의 해석 능력도 확인해 봤다. 한때 국내에서 밈이 됐던 "나 아는 사람 강다니엘 닮은 이모가 다시 보게 되는 게 다시 그때처럼 안 닮게 엄마 보면 느껴지는 걸 수도 있는 거임? 엄마도?"라는 난해한 비문을 제시하자 'o1'은 그럴듯한 해석을 내놓았다. 'o1'은 화자의 말을 "강다니엘을 닮은 이모를 다시 보았을 때 예전만큼 닮았다고 느끼지 못했다"며 "이런 느낌이 어머니를 본 후에 생긴 것일 수 있는데, 어머니도 같은 생각을 하시는지 궁금하다"는 뜻으로 해석했다. 이처럼 'o1'은 복잡한 문장의 의미를 자연스럽게 이해하고 해석하는 능력을 보여줬다. 막대한 토큰 사용 추정…응답 시간과 사용 횟수 제한은 아쉬워 일부 아쉬운 부분도 있었다. 간단한 질문에도 응답 시간이 10초 이상 소요되는 경우가 있어 실시간 활용에 제약이 있었다. 국내 커뮤니티 유저 한 유저는 '고맙다'는 답을 듣기 위해 10초가 소요됐다는 비판을 제기한 바 있다. 또 일주일에 30회로 제한된 사용 횟수는 실제 업무나 연구에 활용하기에는 부족한 면이 있었다. 실제로 기자가 15번 이상 'o1'을 사용하자마자 경고창이 떴다. "미리 보기의 응답이 15개 남았습니다. 한도에 도달하면 2024년 9월 20일로 재설정될 때까지 응답이 다른 모델로 전환됩니다." 마지막으로 일반 사용자들이 수학이나 복잡한 논리 문제를 자주 접하지 않는다는 점에서 이러한 고급 기능이 얼마나 대중적으로 활용될지는 지켜봐야 할 부분이다. 단 프로그래머나 수학 연구자 등 전문 분야에서는 큰 도움이 될 것으로 예상된다. 'o1' 출시로 AI의 추론 능력이 한 단계 도약한 것은 분명하다. 향후 응답 속도 개선과 사용 제한 완화가 이루어진다면 다양한 분야에서 혁신적인 활용이 기대된다. 특히 수학적 계산과 논리적 추론이 필요한 분야에서 큰 변화를 가져올 것으로 보인다. 샘 알트만 오픈AI 대표는 'o1'의 출시에 대해 "새로운 패러다임의 시작"이라며 "AI는 이제 다양한 목적으로 복잡한 사고를 할 수 있게 됐다"고 평가했다.

2024.09.13 11:01조이환

오픈AI, AI 추론의 새 시대 연다…'o1' 전격 공개

오픈AI가 인공지능(AI) 추론 능력을 대폭 강화한 새로운 모델 'o1'을 출시했다. 오픈AI 블로그는 새로운 AI 모델 'o1'이 이전 모델들보다 복잡한 질문에 정확하게 대답할 수 있다고 13일 밝혔다. 과거 오픈AI 내부에서 '스트로베리'라는 암호명으로 개발된 이 모델의 출시를 두고 회사는 '미리보기(preview)'로 정의하며 현재 제품이 초기 단계에 있음을 강조했다. 이번 'o1' 모델은 문제 해결을 위한 '사고의 연결(CoT)' 방식을 자체적으로 적용해 단계별로 추론하는 능력을 갖춘 것을 전해졌다. 이를 통해 이전 모델보다 더 복잡한 문제를 처리할 수 있으며 수학과 코딩 등 기술적 문제 해결에 특히 강점을 보인다. 실제로 국제 수학 올림피아드 예선에서 'GPT-4o'는 13%의 문제를 해결했으나 'o1'은 83%의 문제를 정확히 풀어냈다. 'o1-미니(mini)'라는 보다 저렴한 버전도 함께 출시됐다. 이 모델은 'o1'과 비슷한 성능을 발휘하면서도 비용이 적게 든다는 장점이 있다고 오픈AI는 전했다. 이번 모델은 오픈AI의 장기 목표인 인간과 유사한 지능 개발을 위한 중요한 진전이라고 전문가들은 평가했다. 그럼에도 현재로서는 추론 능력이 다소 느리고 상용화하기에는 비용이 많이 든다는 한계가 있는 것으로 전해졌다. 샘 알트만 오픈AI 대표는 'o1'의 출시에 대해 "새로운 패러다임의 시작"이라며 "AI는 이제 다양한 목적으로 복잡한 사고를 할 수 있게 됐다"고 평가했다.

2024.09.13 09:02조이환

오픈AI, 새 AI 모델 '스트로베리' 곧 출시…"신중하게 고민한 뒤 답변"

오픈AI가 더 신중하고 정확한 답변을 제공하는 추론 중심 인공지능(AI) 모델 '스트로베리(Strawberry)'를 당초 예상보다 일찍 출시할 전망이다. 11일 디인포메이션 등 외신에 따르면 오픈AI는 '스트로베리' 출시 일정을 앞당겨 9월 중 출시하기로 결정했다. 당초 이 모델은 올 가을 중 나올 것으로 예상됐다. '스트로베리'는 즉시 답변하는 챗GPT와 달리 질문에 대해 10~20초 이상 고민한 뒤 답변하는 방식으로 설계됐다. 이에 따라 ▲수학 문제 해결 ▲코딩 ▲마케팅 계획 작성 같은 복잡한 업무를 처리할 때 특히 강력한 성능을 발휘할 것으로 예상된다. 이 모델은 '챗GPT' 플랫폼 내 통합된 옵션으로 제공될 예정이다. 미리 테스트해본 사용자들은 기존 '챗GPT' 인터페이스에서 '스트로베리'를 선택해 사용할 수 있으나 이와 동시에 기존 모델과는 다른 요금제가 적용될 가능성이 있다고 전했다. 하지만 일부 전문가들은 스트로베리의 긴 응답 시간과 정확도에 대해 우려를 표하는 것으로 알려졌다. 특히 '스트로베리' 초기 버전은 텍스트 기반의 입력과 출력만을 처리하며 이미지 분석과 같은 멀티모달 기능은 제공되지 않는다. 간단한 질문에도 응답 시간이 길어질 수 있다는 우려가 있다. 또 스트로베리는 대화를 기억해 맞춤형 응답을 제공할 수 있도록 설계됐지만, 테스트 결과 불안정한 성능을 보일 때도 있었다고 외신들이 전했다. 영국의 AI 관련 유명 유튜브 채널인 'AI 익스플레인드(AI Explained)'는 "예전에는 오픈AI 직원들이 '스트로베리'를 두고 '인류에 대한 위협'이라고 폭로했는데 지금 초기 테스터들은 '기존보다 약간 나아졌지만 응답 시간이 오래 걸리는 모델'로 평한다"며 "뭔가 납득이 되지 않으니 벤치마크 테스트 결과를 기다리겠다"고 밝혔다.

2024.09.11 15:49조이환

샘 알트먼이 올린 '딸기' 사진에 "새 모델 출시 임박?"

샘 알트먼 오픈AI 대표가 소셜 미디어를 통해 차기 인공지능(AI) 모델에 대한 기대감을 높이고 있다. 이는 업계와 사용자들의 큰 관심을 불러일으켜 오픈AI의 입지를 강화하려는 전략으로 해석되는데, 일부 전문가들은 우려를 제기했다. 18일 블룸버그에 따르면 알트먼 대표는 자신의 엑스(X) 소셜 미디어 계정에 "나는 여름의 정원이 좋아"라는 캡션과 함께 진흙 화분에 심은 딸기 사진을 올렸다. 업계 관계자들은 알트먼 대표가 추론·수학 능력을 크게 향상시킨 오픈AI의 신형 AI '스트로베리' 출시를 암시한 것이라고 분석했다. 또 알트먼 대표는 엑스에서 오픈AI 관련 소문을 올리는 두 익명 계정과 지속적으로 대화를 나눈 것으로 알려졌다. 특히 그는 딸기 이모지를 이름으로 둔 '스트로베리'라는 별명을 가진 계정과 '지미 애플'이라는 계정에서 올라온 글에 답글을 달며 루머에 반응했다. 오픈AI는 최근 AI 모델을 소규모로 개선했지만 많은 사람들이 예상했던 큰 변화는 아직 발표되지 않았다. 이런 상황에서 업계 일각은 알트먼 대표의 게시물이 중요한 기술의 출시를 암시한다는 신호로 본다. 지나친 기대감이 실망으로 이어질 수 있다는 우려도 있다. 오픈AI는 아직 차기 모델에 대해 공식 발표하지 않았다. 또 지난해 'GPT-4'를 개발자 행사(DevDay)에서 출시한 것과는 달리 올해 행사에서는 신제품을 발매하지 않겠다고 발표했다. 업계 일각에서는 알트먼 대표의 행보가 회사의 위기를 잠재우기 위한 것이라고 보고 있다. 실제로 지난 6일 존 슐먼 오픈AI 공동창업자는 경쟁사인 앤트로픽으로 이직했고 그렉 브록먼 사장은 장기 휴가를 떠났다. 이는 오픈AI의 기술 부문을 책임지던 일리야 수츠케버 공동창업자가 지난 5월 회사를 떠난 데 이은 일이다. AI 업계의 한 관계자는 알트먼의 소셜 미디어 활동을 두고 "새로 발표할 파괴적 기술을 대비하게 하려는 목적일 수도 있지만 그냥 재미있게 놀고 싶은 걸지도 모른다"며 "솔직히 소문이 오래 지속돼 지치는 면이 있다"고 밝혔다.

2024.08.18 10:09조이환

"어려운 수학 문제도 거뜬"…구글 AI, 올림피아드 은메달 수준 新무기 공개

구글 인공지능(AI)이 국제수학올림피아드(IMO)에서 은메달 수준의 성과를 달성하며 수학 추론 능력에 있어 중요한 진전을 이뤘다. 구글은 AI 자회사 딥마인드의 공식 뉴스룸을 통해 수학 추론에 특화된 AI 모델 '알파프루프(AlphaProof)'를 출시했다고 26일 밝혔다. 또 올 초 선보인 기하학에 초점을 맞춘 AI 모델의 업데이트 버전인 '알파기하학2(AlphaGeometry2)'도 이번에 함께 공개됐다. '알파프루프'와 '알파기하학2'는 '2024 국제 수학 올림피아드' 문제 6개 중 4개를 해결함으로써 은메달 점수도 받았다. 특히 '알파프루프'는 대수학 문제 2개와 정수론 문제 1개를 해결하며 가장 어려운 IMO 문제도 해결해냈다. 또 '알파기하학2'는 기하학 문제를 19초 만에 풀어 그 성능을 입증했다. 이는 AI가 지금까지 수학대회에서 기록한 최고 점수다. 딥마인드에 따르면 '알파프루프'는 구글의 대규모언어모델(LLM) '제미나이(Gemini)'와 바둑·체스 등 보드게임을 푸는 모델인 '알파제로(AlphaZero)'를 합친 것이다. '알파기하학2'는 더 많은 데이터를 사용해 훈련된 시스템으로, 이전 모델보다 훨씬 더 많은 기하 문제를 해결할 수 있게 됐다. 이번 성과는 AI의 수학적 추론 능력을 비약적으로 향상시켰다는 점에서 중요하다. 업계 일부는 이러한 발전을 일반인공지능(AGI)으로 가는 돌파구로 여기고 있다. 실제로 오픈AI는 같은 목표를 가지고 지난해부터 수학 문제 해결 능력을 갖춘 '스트로베리' AI 개발 프로젝트에 힘을 쏟고 있다. 수학계의 노벨상으로 불리는 필즈 메달 수상자인 윌리엄 티모시 가워스 교수는 "이 프로그램이 추상적인 구조를 생각해 낼 수 있다는 사실은 매우 인상적"이라며 "이는 기존에 생각했던 최첨단 기술 수준 훌쩍 뛰어넘어선 것"이라고 밝혔다.

2024.07.26 10:42조이환

오픈AI, 더 똑똑한 AI 모델 내놓나…비밀리에 '스트로베리' 개발

오픈AI가 인공지능(AI) 모델 추론능력 향상을 위해 비공개 연구를 진행 중인 것으로 전해졌다. 성공 시 AI는 인터넷을 자율적으로 탐색하고 작업을 순차적으로 계획·수행 할 수 있게 된다. 15일 로이터에 따르면 오픈AI는 코드명 '스트로베리(Strawberry)'라는 모델을 개발 중인 것으로 알려졌다. 이 모델의 목표는 AI가 심층연구(Deep Research)를 수행하도록 하는 것이다. 심층연구란 AI가 자율적으로 인터넷을 탐색하고 문제를 해결하며 단계에 따라 계획을 수립·실행하는 능력이다. 스트로베리는 질의에 대한 답변만 생성하는 기존 AI모델과 달리 고도의 심층연구 능력을 달성하는 것을 목표로 한다. '챗GPT' 등 생성형 AI 서비스는 이미 인간보다 빠르게 텍스트를 요약하고 산문을 작성할 수 있다. 그러나 인간이 직관적으로 이해하는 상식적 문제나 논리적 오류를 해결하지는 못한다. 대신 거짓 정보를 내뱉는 '환각(Hallucination)' 문제가 발생한다. 로이터는 스트로베리가 성공적으로 개발된다면 현재 AI가 직면한 추론 능력 문제를 해결할 수 있을 것으로 분석했다. 전문가들은 향후 AI가 애플리케이션 개발과 과학적 발견에 중요한 역할을 하게 될 것으로 기대하고 있다. 로이터 소식통은 "스트로베리 개발은 진행 중인 사안"이라며 "모델의 작동원리는 오픈AI 내부에서도 철저한 기밀"이라고 말했다. 스트로베리는 지난해 '큐스타(Q*)'로 알려져 있었다. 이 모델은 기존 AI가 해결하지 못하던 과학 및 수학 문제에 대해 답을 하는 등 발전된 추론능력을 보였다. 오픈AI 관계자는 스트로베리에 대한 직접적인 언급을 피하며 "우리는 AI 모델이 인간처럼 세상을 보고 이해하기를 바란다"며 "AI 기능에 대한 지속적인 연구는 업계에서 일반적인 관행"이라고 밝혔다.

2024.07.15 14:19조이환

지코어 CEO "생성형 AI는 엣지에서 꽃 피울 것"

"한국은 IT 강국이면서 다양한 제품과 서비스를 수출하는 국가다. 작년 한국 시장에서 AI 칩 수요에 대응하려 AI 인프라를 저변에 구축했다면, 올해는 인프라 구축에서 나아가 유즈케이스를 찾아내는 것에 집중하고 있다. 기업이 AI를 실행하는 단계에 돌입했다고 보고 추론이나 엣지의 다방면 서비스를 배포하고 부하를 줄이는 방법으로 서비스를 진행중이다. 엔비디아의 새로운 칩도 액체 냉각 역량을 갖춘 데이터센터만 확보되면 바로 도입할 예정이다.” 안드레 레이텐바흐 지코어 창업자 겸 최고경영자(CEO)는 최근 본지와 인터뷰에서 이같이 밝혔다. 2014년 룩셈부르크에 설립된 지코어는 전세계 180 개 이상의 PoP를 기반으로 한국을 비롯해 중국, 일본 등으로 강력하고 안전한 클라우드 및 엣지 컴퓨팅 솔루션을 확장하며 아태지역에서의 영향력을 확대해 나가고 있다. 이는 엔터프라이즈 급 AI GPU 클라우드 인프라에 대한 고객 수요의 증가, 그중에서도 엔비디아 기반 머신러닝 트레이닝과 AI 애플리케이션을 위한 엣지 추론에 대한 필요성이 늘고 있는데 따른 것이다. 작년 오픈AI 챗GPT로 촉발된 생성형 AI 열풍은 전세계 기업의 대규모언어모델(LLM) 개발 붐을 일으켰다. 이에 언어모델 훈련에 필수재로 꼽히는 고성능 엔비디아 GPU가 공급부족 현상을 보였다. 지코어는 엔비디아 텐서코어 H100 GPU 기반 데이터센터를 각국에 배포해 기업의 LLM 개발 수요를 지원했다. 한국 기업도 지난 4월15일 H100 GPU 클러스터를 갖춘 지코어 데이터센터를 국내에서 이용할 수 있게 됐다. 지코어는 또한 지난 6 월 사전 학습된 머신러닝 모델을 지코어 엣지 추론 노드 중 사용자와 가장 가까운 위치에서 응답할 수 있도록 해 초저지연 추론을 실시간 제공하는 '인퍼런스 앳 더 엣지(Inference at the Edge)' 솔루션을 출시했다. 안드레 레이텐바흐 CEO는 “한국 투자의 경우 한국 지역 회사 파트너를 더 잘 지원하는 역량을 갖출 수 있게 팀을 더 강화하는 방면으로 투자할 것”이라며 “마케팅, 엔지니어링, 파트너십 등의 인력을 계속 공고히하고, 인프라 투자도 계속 진행할 계획”이라고 말했다. 그는 “최근 한국에 도입한 기술 중 하나는 AI 중심의 콘텐츠를 인지하는 부분”이라며 “고객이 원하는 콘텐츠를 필터링하고 중재하고, 원하는 방식으로 콘텐츠를 인지하게 하는 방식도 진행하고 있는데, 이는 데이터가 잘 보호되고 보안을 지킬 수 있게 하는 방안”이라고 덧붙였다. 지코어는 올해 들어 생성형 AI의 흐름이 모델 학습에서 추론 모델 구동 부분으로 이동하고 있다고 보고 있다. 글로벌과 유사하게 국내 기업에서도 AI 추론 수요가 증가할 것으로 예상한다. 이런 추세에 대응하려 집중하는 부분이 '인퍼런스 앳 더 엣지'다. 이 솔루션은 사전 학습된 머신러닝 모델을 전세계에 분포돼 있는 엣지 추론 노드 중 사용자와 가장 가까운 경로 또는 위치에서 응답할 수 있도록 함으로써 원활한 실시간 추론을 보장한다. 180 개 이상의 엣지 노드로 구성된 지코어의 광범위한 글로벌 네트워크(PoP)에서 실행되며, 모두 지코어의 정교한 저지연 스마트 라우팅 기술로 상호 연결된다. 고성능의 각 노드는 지코어 네트워크 중 최종 사용자와 가까운 엣지에 전략적으로 배치된다. 지코어 각 엣지에서의 AI 추론은, 이를 위해 특별히 설계된 엔비디아 L40S GPU에서 실행된다. 사용자가 요청을 보내면 엣지 노드는 지연 시간이 가장 짧은, 가장 가까운 엣지 추론 노드로 경로를 설정해 일반적으로 30 밀리초(ms) 미만의 응답 시간을 보장한다. 네트워크 간 최대 대역폭도 200Tbps 로 학습 및 추론 능력이 가능하다. 인퍼런스 앳 더 엣지는 광범위한 기본 머신러닝 및 커스텀 모델을 지원한다. 지코어 머신 러닝 모델 허브에서 라마 프로 8B, 미스트랄 7B, 스테이블디퓨전 XL 등의 오픈 모델을 사용할 수 있다. 여러 형식 또는 여러 소스로부터 데이터를 수신해, 모델을 사용 사례에 맞게 선택하고 학습한 후 전 세계에 위치하고 있는 인퍼런스 앳더 엣지 노드에 배포할 수 있다. 인터뷰에 함께 한 파브리스 모이잔 지코어 최고수익책임자(CRO)는 “지코어가 10년 간 공고하게 구축해놓은 CDN 인프라를 최대한 활용하는 서비스로 보안과 패스트엣지를 갖춘 AI를 제공하고자 한다”며 “엣지 AI는 저지연이고 보안도 강화한 기술로, 이미 여러 금융서비스와 금융사에서 활용되고 있으며, 보안과 저지연성은 자율주행차나 휴머노이드 로봇 같은 AI에서 필수적인 요소”라고 밝혔다. 그는 “한국은 세계적으로 중요한 자동차 제조사 두곳이 있고, 세계적인 통신회사와 통신서비스를 자랑하고 있다”며 “LLM은 이런 분야에서 혁신을 이룰 것이라고 생각한다”고 덧붙였다. 지코어 인퍼런스 앳더는 유연한 가격구조로 사용한 자원에 대해서만 비용을 지불할 수 있으며, 디도스 공격에도 머신러닝의 각 엔드포인트를 자동으로 보호하는 내장형 디도스 보호 기능을 갖췄다. 모델 자동확장 기능으로 모델이 항상 최대 수요는 물론 예기치 않은 로드 급증을 지원하고, 진화하는 요구에 맞춰 아마존 S3 호환 클라우드 오브젝트 스토리지를 무제한으로 제공한다. 뿐만 아니라 FaaS 기반으로 동작되기 때문에, 자체 개발모델을 포함해 어떤 레퍼지토리에 있는 모델이든, 손쉽게 전세계로 서비스를 할 수 있다. 로드 밸런싱과 부하 증감에 따른 시스템의 변경도 맡겨 둘 수 있다. 개발자는 서비스의 배포를 걱정할 필요없이 본연의 업무에 집중할 수 있다. 모델의 크기에 따라서 적절한 가속기와 자원을 선택할 수 있으며, 서비스의 확장에 따른 컨테이너의 배포수량도 지역별로 정의할 수가 있다. 손쉬운 서비스는 더 많은 횟수의 서비스 레벨 사전 테스트를 가능케 하므로, 실질적인 서비스의 품질 향상에도 도움을 주게 된다. 안드레 레이텐바흐 CEO는 "지코어 인퍼런스 앳더 엣지는 고객이 전 세계에 AI 애플리케이션을 배포하는 데 필요한 비용, 기술, 인프라를 걱정할 필요 없이 머신러닝 모델을 학습시키는 데 집중할 수 있도록 지원한다”며 “지코어는 엣지가 최고의 성능과 최종 사용자 경험을 제공하는 곳이라고 믿으며, 모든 고객이 탁월한 규모와 성능을 누릴 수 있도록 지속적으로 혁신해 나가고 있다”고 말했다. 그는 “지코어의 자랑은 유연성이며, 서비스를 배포할 때 이미 트레이닝된 모델도 제공하지만 고객이 원하는 LLM을 우리쪽에 배포해서 원하는 방식으로 사용가능하다”며 “우리의 방식과 고객의 방식 다 제공 가능해서 극강의 유연성을 자랑한다”고 강조했다. 파브리스 모이잔 CRO는 “지코어는 엣지 AI를 생각하고 배포하고자 하는 고객에게 정말 실행할 수 있게 하는 부분을 지원할 수 있다”며 “한국 고객사에게 미래로 일컬어지는 엣지 AI로 갈 수 있는 가장 빠른 길을 제안할 수 있다”고 밝혔다. 인퍼런스 앳 더 엣지는 특히 GDPR, PCI DSS, ISO/IEC 27001 등 업계표준을 준수하는 데이터 프라이버시 및 보안을 보장한다. 안드레 레이텐바흐 CEO는 “특히 많은 사람이 데이터 주도권, 데이터 보안 이슈를 걱정하고 있다”며 “지적재산권 문제에 대해서도 여러 기업과 함께 해결책을 모색하고자 한다”고 말했다. 파브리스 모이잔 CRO는 “지코어는 유럽 회사기 때문에 GDPR과 전세계 최초의 AI 법에 대응하는 경험을 가졌으며 10년간 보안 솔루션을 제공해왔다”며 “데이터 보안과 주권에 대해 선도 기업이라 자신하며, 유럽회사로서 더 중립적으로 서비스를 제공할 수 있고, 사우디아라비아에서 프라이빗 소버린 클라우드 구축 계획도 발표했다”고 설명했다. 안드레 레이텐바흐 CEO는 “한국은 매우 빠르고, 기술을 선도하는 기업이 많은 나라기 때문에 한국 기업과 협업하면 세계가 어디로 향하는지 알 수 있다”며 “그들과 같이 성장하고 생태계를 발전시킬 수 있도록 노력하겠다”고 강조했다.

2024.07.11 13:58김우용

KAIST, 멀티모달 대형언어모델 '깃허브' 공개…GPT-4V 시각성능 "제꼈다"

국내 연구진이 오픈AI의 GPT-4V와 구글 제미나이-프로(Gemini-Pro)의 시각 성능을 능가하는 멀티모달 대형언어모델을 개발, 오픈소스 커뮤니티 깃허브(Github)에 공개했다. 최근 주목받는 생성형 AI 트랜드가 멀티모달화로 진화 중이어서 귀추가 주목됐다. KAIST는 전기및전자공학부 노용만 교수 연구팀이 GPT-4V 등 비공개 상업 모델의 시각 성능을 넘어서는 공개형 멀티모달 대형언어모델을 선보였다고 20일 밝혔다. 연구팀은 멀티모달 대형언어모델 시각 성능을 개선하기 위해 '콜라보(CoLLaVO)'와 '모아이(MoAI)' 2가지 기술을 자체 개발했다. 이병관 연구원(박사과정,제1저자)은 "GPT-4V나 제미나이-프로 등과 시각성능 만을 비교하면 점수나 정확도 면에서 최대 10% 더 우수하다"고 말했다. 인지추론성도 함께 따져봐야 하지만, 이는 이번 연구 주제에서 벗어나 나중에 생각할 부분이라는 것이 이 연구원 얘기다. 사실 인지추론성도 개별 검토한 결과 오픈AI나 구글 모델 대비 결코 뒤지진 않는다는 것이 이 연구원의 귀뜸이다. 연구팀은 '콜라보'를 개발하기 전 기존 공개형 멀티모달 대형언어모델 성능이 비공개형에 비해 떨어지는 이유를 1차적으로 물체 수준에 대한 이미지 이해 능력 저하에서 찾았다. 연구팀은 이를 개선하기 위해 이미지 내 정보를 배경과 물체 단위로 분할하고 각 배경 및 물체에 대한 정보를 멀티모달 대형언어모델에 직접 넣어주는 '크레용 프롬프트(Crayon Prompt)'라는 시각적 프롬프트를 새로 설계했다. 또 시각적 지시 조정 단계에서 크레용 프롬프트로 학습한 정보를 잃어버리지 않기 위해 물체 수준 이미지 이해 능력과 시각-언어 태스크 처리 능력을 서로 다른 파라미터로 학습시키는 획기적인 학습전략인 '듀얼 큐로라(Dual QLoRA)'를 제안했다. 이병관 연구원은 "이로 인해 이미지 내에서 배경 및 물체를 1차원적으로 구분하는 능력이 크게 향상됐다"고 덧붙였다. 대형언어모델인 모아이(MoAI)'도 개발했다. 인간이 사물을 판단하는 인지과학적 요소(물체 존재나 상태, 상호작용, 배경, 텍스트 등)에서 영감을 얻었다는 것이 연구팀 설명이다. 연구팀은 "기존 멀티모달 대형언어모델은 텍스트에 의미적으로 정렬된 시각 인코더(vision encoder)만을 사용하기 때문에, 이미지 픽셀 수준에서의 상세하고 종합적인 실세계 장면에 대한 이해가 모자란다고 판단했다"고 말했다. 연구팀은 △전체적 분할 △한계가 없는 물체 검출기 △상황 그래프 생성 △글자 인식 등 4가지 컴퓨터 비전 모델을 언어로 변환한 뒤 멀티모달 대형언어모델에 입력했다. 이를 연구팀이 실제 검증한 결과 '콜라보'는 Math Vista(대학수준 수학 및 물리문제)나 MM-벤치(영어 객관식 문제), MMB-CN(중국어 객관식 문제), AI2D(어학문제) 등의 풀이에서 기존 모델 대비 최대 10%까지 점수와 정확도가 우수했다. 또 '모아이'는 기존 공개형 및 비공개형 LLVMs(멀티모달 대형언어)와 비교한 결과 각 질문에 따라 점수가 20포인트 이상 우수하게 답변한 경우도 나타났다. 이병관 연구원은 "3개월전 깃허브에 올려놓은 '콜라보'(https://github.com/ByungKwanLee/CoLLaVO)와 '모아이'(https://github.com/ByungKwanLee/MoAI)에 관심을 가져달라"며 "박사학위가 마무리되면 멀티모달 대형언어를 아이템으로 창업할 생각도 있다"고 말했다. 박사과정 5년차인 이 연구원은 또 "개인적으로 향후 기회가 닿는다면, 핸드폰에 들어가는 사이즈로 현재 성능을 유지하는 멀티모달 대형언어모델을 만들어 볼 것"이라고 덧붙였다. 노용만 교수는 “연구팀에서 개발한 공개형 멀티모달 대형언어모델이 허깅페이스 일간 화제의 논문(Huggingface Daily Papers)에 추천됐다"며 "SNS 등을 통해 전세계에 점차 알려지는 등 관련분야 발전에 기여할 것"으로 기대했다. 연구에는 논문 제1저자 이병관 박사과정 연구원 외에도 박범찬 석박사통합과정, 김채원 박사과정이 공동 저자로 참여했다. 연구결과는 '콜라보'의 경우 자연어 처리(NLP) 분야 국제 학회 'ACL Findings 2024'(5월16일자)에 게재됐다. '모아이(MoAI)'는 컴퓨터 비전 국제 학회인 'ECCV 2024'에 논문을 제출하고 결과를 기다리고 있다. 한편 이 연구는 KAIST 미래국방 인공지능 특화연구센터 및 전기및전자공학부 지원을 받아 수행했다.

2024.06.20 14:26박희범

지코어, 엣지에서 실시간 추론 '인퍼런스앳더엣지' 솔루션 출시

지코어는 AI 애플리케이션에 초저지연 경험을 실시간 제공하는 '인퍼런스 앳더 엣지' 솔루션을 출시한다고 10일 밝혔다. 솔루션은 사전 학습된 머신 러닝 모델을 전 세계에 분포돼 있는 엣지 추론 노드 중 사용자와 가장 가까운 경로 또는 위치에서 응답할 수 있도록 함으로써 원활한 실시간 추론을 보장한다. 지코어 인퍼런스 앳더 엣지는 180개 이상의 엣지 노드로 구성된 지코어의 광범위한 글로벌 네트워크(PoP)에서 실행되며, 모두 지코어의 정교한 저지연 스마트 라우팅 기술로 상호 연결된다. 고성능의 각 노드는 지코어 네트워크 중 최종 사용자와 가까운 엣지에 전략적으로 배치된다. 무엇보다 지코어 각 엣지에서의 AI 추론은, 이를 위해 특별히 설계된 업계 내 최고의 칩인 엔비디아 L40S GPU에서 실행된다. 사용자가 요청을 보내면 엣지 노드는 지연 시간이 가장 짧은, 가장 가까운 엣지 추론 노드로 경로를 설정해 일반적으로 30밀리초(ms) 미만의 응답 시간을 보장한다. 네트워크 간 최대 대역폭도 200Tbps로 최고 수준의 학습 및 추론 능력이 가능하다. 인퍼런스 앳더 엣지는 광범위한 기본 머신 러닝 및 커스텀 모델을 지원한다. 지코어 머신 러닝 모델 허브에서 사용 가능한 오픈 소스 기반 모델로 라마프로 8B, 미스트랄 7B, 스테이블디퓨전 XL 등이 있다. 여러 형식 또는 여러 소스로부터 데이터를 수신해, 모델을 사용 사례에 맞게 선택하고 학습한 후 전 세계에 위치하고 있는 인퍼런스 앳더 엣지 노드에 배포할 수 있다. 이는 일반적으로 개발팀이 직면하는 중요한 문제 중 하나인, 이미 AI 모델이 학습된 동일한 서버에서 다시 실행됨으로써 발생하는 성능이 저하되는 문제를 해결해 준다. 지코어 인퍼런스 앳더 엣지의 주요 이점을 정리해 보면 다음과 같다. ▲첫째, 유연한 가격구조로 고객이 사용한 리소스에 대해서만 비용을 지불할 수 있어 '비용 효율적인 배포'가 가능하다. ▲둘째, 디도스 공격에도 머신 러닝의 각 앤드포인트가 지코어의 인프라를 통해 자동으로 보호되는 내장형 디도스 보호 기능을 갖추고 있다. ▲셋째, GDPR, PCI DSS, ISO/IEC 27001 등 업계 표준을 준수하는 뛰어난 데이터 프라이버시 및 보안을 보장한다. ▲넷째, 모델 자동확장 기능으로 모델이 항상 최대 수요는 물론 예기치 않은 로드 급증을 지원한다. ▲마지막으로, 빠르게 진화하는 요구에 맞춰 S3 호환 클라우드 오브젝트 스토리지를 무제한으로 제공한다. 이러한 강점을 통해 지코어 인퍼런스 앳더 엣지는 자동차, 제조업, 유통, 테크놀로지 등 다양한 산업 분야의 기업들이 비용 효율적이고 확장 가능하며, 안전한 AI 모델 배포를 통해 역량을 강화할 수 있도록 지원한다. 이를 통해 기업은 생성형 AI, 객체 인식, 실시간 행동 분석, 가상 비서, 생산 모니터링과 같은 사용 사례를 글로벌 규모로 빠르게 실현할 수 있다. 안드레 레이텐바흐 지코어 CEO는 "지코어 인퍼런스 앳더 엣지는 고객이 전 세계에 AI 애플리케이션을 배포하는 데 필요한 비용, 기술, 인프라에 대해 걱정할 필요 없이 머신 러닝 모델을 학습시키는 데 집중할 수 있도록 지원한다”며 “지코어는 엣지가 최고의 성능과 최종 사용자 경험을 제공하는 곳이라고 믿으며, 모든 고객이 탁월한 규모와 성능을 누릴 수 있도록 지속적으로 혁신해 나가고 있다”고 밝혔다. 그는 “인퍼런스 앳더 엣지는 전 산업분야에 걸쳐 현대적이고 효과적이며, 가장 효율적인 AI 추론 환경을 제공하게 될 것"이라고 강조했다.

2024.06.10 14:21김우용

"엣지 플랫폼, 새로운 AI 담도록 진화한다"

[라스베이거스(미국)=김우용 기자] “엣지 플랫폼은 점점 더 많은 AI 여정을 수용하고 있다.” 피에르루카 치오델리 델테크놀로지스 엣지포트폴리오제품관리 수석부사장은 22일(현지시간) 미국 라스베이거스에서 열린 '델테크놀로지스월드(DTW) 2024'에서 한국기자단과 만나 이같이 강조했다. 피에르루카 치오델리 부사장은 델테크놀로지스에서 스토리지 관련 신규 비즈니스 구축을 담당해왔다고 자신을 소개했다. 그는 델테크놀로지스 파워스토어를 개발했으며, CTO실에서 VM웨어 모든 공동 전략 프로젝트 감독조직을 이끌었다. 그는 “델테크놀로지스는 2년전 프로젝트 프론티어를 발표하고 작년 델 네이티브엣지 신제품을 발표하며 엣지 비즈니스를 개발해왔다”며 “디지털시티부터 제조, 소매, 에너지 등의 전문가 팀을 구성해 제품을 연구한 결과 제로 터치를 확보할 수 있는 엣지 플랫폼을 수평적으로 구축해야 한다는 결론을 내렸다”고 말했다. 그는 “델 네이티브엣지는 제로트러스트와 제로토치를 통해 애플리케이션과 워크로드를 엣지에 배포할 수 있는 플랫폼”이라고 설명했다. 델테크놀로지스는 올해 행사에서 델 네이티브엣지의 최신 버전을 발표했다. 델 네이티브엣지 2.1 버전은 엔비디아, 서비스나우, 마이크로소프트와 파트너십을 강화하고, 엣지에서 메어메탈 컨테이너 기반으로 AI 애플리케이션 개발, 배포, 확장 등을 간소화할 수 있게 됐다. 올해 델테크놀로지스월드2024의 전체 주제가 AI로 관통하는 만큼 '델 네이티브엣지'도 새로운 AI 환경 구현에 주목했다. 그는 “AI는 아주 오랫동안 엣지에 존재하며 사용돼 왔고, 예전의 AI는 매우 최적화된 알고리즘 혹은 모델로서 간단한 조작에서 수년간 매우 정확하게 사용돼왔다”며 “지금은 AI 모델을 학습시켜 엣지로 추론을 가져와야 하는데, 엔비디아와 함께 네이티브엣지의 청사진을 통해 즉각적으로 엔비디아 NIM을 배포할 수 있는 기능을 발표했다”고 말했다. 그는 “네이티브엣지는 현재 엣지로 엔비디아 NIM을 사용할 수 있는 최초의 제품”이라며 “또, AI 실행은 매일 패키지를 변경하고, 계속 업데이트하면서 재교육을 해야 하기 때문에, 중앙부터 엣지까지 보안이 필요하다”고 강조했다. 그는 “AI 모델은 더 세련될 필요가 있고, 훈련을 받아야 하며, 또한 멀티모달 종류와 같은 더 다른 차원을 추가해야 한다”며 “따라서 AI 공장에서 만든 모델을 제조 공간이나 소매 공간으로 옮겨야 하는데 보안을 위해 쉽게 패키징할 수 있는 게 필요하다”고 덧붙였다. 델 네이티브엣지 최신 버전은 올해 행사에서 발표된 '델 AI 팩토리'의 일환으로 프로덕션급 애플리케이션의 개발 및 배포를 위한 엔비디아 NIM과 기타 마이크로서비스를 포함하는 엔드투엔드 소프트웨어 플랫폼인 '엔비디아 AI 엔터프라이즈'를 제공한다. 델 네이티브엣지와 엔비디아 AI 도구 및 SDK가 결합됐고, 엔비디아 메트로폴리스를 사용한 비디오 분석, 엔비디아 리바를 사용한 음성 및 번역, 엔비디아 NIM을 사용한 엣지에서 최적화된 추론 등에 이르는 엔비디아 AI 프레임워크를 엣지로 자동 제공할 수 있다. 델 네이티브엣지는 서비스나우의 나우플랫폼과 통합돼 엣지에서 AI 애플리케이션 개발 및 배포를 단순화한다. 기업은 IT 운영을 핵심 데이터 센터에서 엣지까지 효율적으로 확장할 수 있으며, 1일차 초기 배포부터 2일차 이상의 운영까지 아우르는 자동화된 엣지 관리 솔루션을 구축할 수 있다. 치오델리 부사장은 “이같은 폐쇄 루프 자동화를 통해 엣지 컴퓨팅 리소스의 오케스트레이션, 관리 및 워크플로를 단순화하고, 여러 산업 전반에 걸쳐 AI 및 기타 엣지 워크로드를 위한 보다 효율적이고 민첩하며 안전한 운영 및 서비스 모델을 제공할 것”이라며 “또 마이크로소프트 애저 아크 활성화 자동화 도입으로 엣지에서 추진력이 더욱 증폭됐다”고 말했다. 델테크놀로지스는 더 나은 비즈니스 성과와 엣지 사용 사례를 추진하기 위해 제조, 소매 및 디지털 도시에 서비스를 제공하는 ISV를 위한 6가지 새로운 네이티브엣지 솔루션을 도입했다. 대표적으로, 아비바 솔루션을 갖춘 새로운 통합 운영 센터는 도시 계획에 대한 360도 운영 뷰를 제공해 데이터 관리 및 시민 서비스를 향상시킨다. 플랫폼 자체 개선 사항으로 엣지 애플리케이션 성능, 확장성 및 보안이 향상됐다. 더 나은 성능, 확장성 및 보안을 제공하는 베어메탈 컨테이너에 애플리케이션을 배포하는 기능을 포함하며, 델네이티브엣지용 REST API를 도입해 데브옵스 워크플로에 통합하고 애플리케이션 통합을 개발하는 데 도움을 주는 비주얼스튜디오 플러그인 같은 새 도구를 제공한다. 델 에이펙스를 통한 단일 월간 구독으로 네이티브엣지 소프트웨어와 네이티브엣지 엔드포인트를 모두 활용할 수 있다. 델 '델 프리시전 워크스테이션'과 파워엣지 T160 서버 등의 새 엣지 하드웨어를 엣지 인프라 지원에 포함시켰다. 델 파워엣지 T160은 이전 제품보다 42% 작은 크기로 소매점 같은 작은 공간에 이상적이다. 엣지 및 인프라를 위한 프로컨설트 자문서비스와 엣지용 애플리케이션 디자인 서비스 등의 새 엣지 서비스를 출시했다. 델 서비스 전문가는 현재 상태를 평가하고 원하는 상태에 도달하기 위한 엣지 전략을 구축할 뿐만 아니라 효율성, 성능 및 ROI를 극대화하도록 엣지 환경을 설계하는 데 도움을 준다. 그는 네이티브엣지를 사용해 청사진 기술을 조정할 수 있고, 모든 것을 제로트러스트와 제로터치로 자동화하면서, 요구사항과 필요한 모든 소프트웨어를 패키지에 넣을 수 있다”며 “비용을 절감하고 완전한 보안을 달성하면서, 추론을 엣지에서 수행하고 모델을 재훈련시키는 전체 루프를 갖게 된다”고 강조했다. 그는 생성형 AI를 산업 엣지 환경에서 활용이 이제 막 시작됐다고 밝혔다. 그는 “큰 교량의 상황을 분석하고 품질을 관리한다고 할 때 현재의 컴퓨터비전으로 할 수 있는 건 얼마나 녹슬었는지 보는 정도였다”며 “생성형 AI를 활용한다면, 녹슨 교량 주변의 나무나, 다른 종류의 변색, 진동, 소음 등을 포함해 생성형 AI 기반의 3D 모델을 만들어내는 식이 가능할 것”이라고 예를 들었다. 그는 “올해 플랫폼을 지속적으로 혁신하면서 더 많은 릴리스를 출시할 예정”이라며 “플랫폼 기능을 더 확장하고, 파트너 생태계를 더욱 확장함으로써 고객에게 엣지를 위한 최고의 기반을 제공할 것”이라고 밝혔다.

2024.05.24 00:07김우용

지금 뜨는 기사

이시각 헤드라인

블록체인 가상자산, '입법지연·예산삭감·규제' 악순환 끊어야

[AI는 지금] 대선후보들 'AI 전쟁' 돌입…기술 주권부터 전력 인프라까지 격돌

한화 김동선 진두지휘 ‘벤슨' 뭐가 다른가…‘100% 국내산 유제품'

SKT "정보 유출 없다 '확신'...있더라도 끝까지 책임"

ZDNet Power Center