• ZDNet USA
  • ZDNet China
  • ZDNet Japan
  • English
  • 지디넷 웨비나
뉴스
  • 최신뉴스
  • 방송/통신
  • 컴퓨팅
  • 홈&모바일
  • 인터넷
  • 반도체/디스플레이
  • 카테크
  • 헬스케어
  • 게임
  • 중기&스타트업
  • 유통
  • 금융
  • 과학
  • 디지털경제
  • 취업/HR/교육
  • 생활/문화
  • 인사•부음
  • 글로벌뉴스
지스타2025
인공지능
스테이블코인
IT'sight
칼럼•연재
포토•영상

ZDNet 검색 페이지

'거대언어모델(LLM)'통합검색 결과 입니다. (83건)

  • 태그
    • 제목
    • 제목 + 내용
    • 작성자
    • 태그
  • 기간
    • 3개월
    • 1년
    • 1년 이전

"MS 애저보다 빠르다"…美 스타트업 그로크, AI 칩으로 시장 판도 흔들까

거대언어모델(LLM)의 추론·응답 속도를 높인 인공지능(AI) 칩이 나왔다. 엔비디아 그래픽처리장치(GPU)보다 더 빠른 속도를 갖췄다는 점에서 업계의 주목을 받고 있다. 22일 미국 IT 매체 뉴아틀라스에 따르면 미국 AI 스타트업 그로크는 지난 20일 LLM의 추론과 응답 속도를 높이는 AI 칩 '언어처리장치(LPU)'를 출시했다. 그로크는 구글 개발자 출신들이 모여 2016년 설립한 반도체 기업이다. 설립자 중에는 구글 머신러닝(ML) 칩을 개발한 조나단 로스가 최고경영자(CEO)다. 보도에 따르면 LPU는 LLM을 탑재한 챗봇인 오픈AI의 '챗GPT', 구글의 '제미나이' 등의 응답 속도 향상에 특화됐다. 사용자 질문에 1초도 안 되는 시간에 영어 기준 수백 단어의 답변을 생성할 수 있다. 벤치마크 테스트에서도 LPU는 마이크로소프트의 애저 클라우드 인프라 성능을 능가했다. 메타의 700억 매개변수 '라마 2'는 마이크로소프트 애저 클라우드상에서 초당 19개 토큰을 생성했지만, 그로크를 탑재했을 때 초당 241개 토큰을 만들었다. LLM이 그로크를 탑재할 경우 18배 이상 빠른 추론 속도를 갖출 수 있는 셈이다. 또 LPU는 100개 토큰을 생성하는 데 0.8초가 걸렸지만, 마이크로소프트의 애저 클라우드는 10.1초 소요됐다. 현재 개발자는 그로크챗 인터페이스에서 LPU 엔진을 이용할 수 있다. 승인된 사용자는 라마 2, 미스트랄, 팰컨 등을 통해 엔진을 시험해 볼 수 있다. 조나단 로스 그로크 CEO는 "LLM의 추론 속도는 개발자의 아이디어를 사업화할 수 있다"며 "이는 AI 사업 생태계 필수 요소"라고 밝혔다.

2024.02.22 11:05김미정

마이디포 "오픈소스 AI-LLM 잘 꿰어야 보배"

속담에 '구슬이 서 말이라도 꿰어야 보배'(아무리 좋은 것이라도 쓸모 있게 만들어 놓아야 값어치가 있다는 뜻)라 했다. 다양한 인공지능(AI) 기술들이 쏟아져 나왔지만, 아직 사람들의 일상과 업무에 눈에 띄게 사용되는 제품이나 서비스가 기대만큼 많지 않은 게 사실이다. 그나마 지난해 초거대 언어모델(LLM)과 생성형 AI 기술 고도화가 무르익으면서 실생활에 쓰이는 AI 제품과 서비스들이 하나둘 늘어나는 추세다. 이런 한계를 딛고, 개별적인 AI 기술과 서비스들을 한 데 모아 업무 효율성과 완성도를 높이는 기업이 있다. 그야말로 구슬(AI)을 하나하나 꿰어(조합) 보배(앱)로 만드는 AI 매시업 기업 '마이디포'가 그 주인공이다. 매시업이란 웹서비스 업체들이 제공하는 각종 콘텐츠와 서비스를 융합해 새로운 웹서비스를 만들어내는 것을 뜻한다. 예를 들어 AI 기술을 활용해 번역서를 출간한다고 하면, 도서 표지는 '스테이블 디퓨젼'이 디자인하고, 교정과 윤문은 '챗GPT'가, 번역은 'DeepL'이 담당하는 식이다. 그 동안에는 출판사가 디자이너·편집자·번역가 등을 채용해 번역서를 펴냈다면, 마이디포는 마치 오케스트라 지휘자처럼 결과물에 적합한 최적의 AI 서비스들을 조합해 결과물을 만들어낸다. 이처럼 마이디포는 각각의 AI 모델(서비스)들을 모듈화하고, 사용자가 필요로 하는 서비스(앱)에 적합한 모듈을 가져다 쓸 수 있도록 했다. 요청하는 작업은 각각의 모듈에 뿌려져 분산·병렬 처리되기 때문에 사용자는 시간 단축 효과를 볼 수 있다. 마이디포 솔루션은 먼저 판례 및 사건 분석 등이 필요한 변호사, 보고서 작성이 많은 금융사, 초벌 번역 등이 필요한 출판사, 외신 번역과 기사 작성이 주 업무인 언론사 등에게 유용하게 쓰일 수 있다. 또 벤처캐피털의 투자심사 보고서 작성 등에도 활용할 수 있다. 류승훈 대표, 코트라 직원서 창업가로...생성 AI 가능성 보고 '마이디포' 창업 마이디포를 창업한 류승훈 대표는 대한무역투자진흥공사(KOTRA) 출신이다. 2012년 퇴직 후 '플랫클'이란 회사를 창업해 '거인의 서재' 앱을 출시, 출판계의 디지털 마케팅을 혁신했다. 그 후 거인의 서재는 체인지그라운드에 매각됐고, 류 대표는 300명의 뛰어난 개발자를 육성하겠다는 취지로 '300Dev'라는 회사를 세웠다. 베네수엘라를 중심으로 중남미 개발자들에게 글로벌 네트워크와 글로벌 비즈니스 기회를 제공, 북미 시장에 실력 있는 각국 개발자들이 접근할 수 있는 토양을 만들었다. 류 대표의 도전은 여기에서 멈추지 않았다. 본인 지분을 매각한 뒤, 지난해 생성형 AI 가능성을 보고 마이디포를 창업했다. 류승훈 대표는 “라틴아메리카에 있는 6명의 팀원은 기술 개발과 마케팅 담당을 하고, 국내에는 3명의 직원들이 B2B 영업과 기획, 디자인 등의 업무를 맡고 있다”면서 “마이디포는 파편화된 AI 서비스들을 하나하나 모듈화 시키고 조합함으로써 대용량을 병렬, 분산처리 해 고속으로 결과물을 얻을 수 있다”고 설명했다. 류 대표에 따르면 마이디포는 현재 '팔만대장경 프로젝트'를 진행 중이다. 이 프로젝트는 1971년 미국 일리노이대 학생이던 마이클 하트가 시작한 '구텐베르크 프로젝트'라는 사회 운동을 모티브로 한다. 저작권 문제가 해결된 고전을 직접 타이핑해 모두가 무료 또는 최소한의 비용으로 읽을 수 있도록 한 이 프로젝트는 50년도 넘게 진행돼 현재 7만권이 넘는 세계 각국의 도서가 인터넷을 통해 공유되고 있다. 마이디포는 구텐베르크 프로젝트의 문서를 LLM AI를 활용해 읽기 쉬운 우리말 도서로 변환하는 작업을 하고 있다. 번역, 교정, 표지 디자인, 전자책 출간 등의 작업이 과거에는 수주에서 몇 달이 걸렸다면, 팔만대장경 프로젝트는 300페이지 외서 초벌 번역을 5분까지 단축시키는 것이 목표다. 류 대표는 “여전히 구텐베르크 프로젝트의 과실은 영어 사용자들이 주로 누리고 있는데, 생성형 AI 시대에는 모든 게 달라질 것”이라며 “언어 장벽 탓에 쉽게 접근할 수 없었던 구텐베르크 프로젝트의 문서를 읽기 쉬운 현대 우리말로 만들 것으로 기대, LLM 인공지능을 활용해 구텐베르크 도서를 한국어 도서로 변환하고 있다. 수주에서 몇 달 걸리던 작업을 단 5분으로 단축하고자 하는데 이것이 우리의 팔만대장경 프로젝트”라고 말했다. 종착지는북미 시장..."누구나 쉽게 이용하고 조합할 수 있는 AI 서비스 지향" 류 대표가 궁극적으로 바라보는 시장은 히스패닉 시장을 교두보로 한 북미 지역이다. 창업 초기부터 글로벌 개발팀을 꾸렸는데, 챗GPT 상위 국가에 미국·인도, 그 뒤로 콜롬비아와 브라질 등 히스패닉 국가가 상위 5위권에 오른 것을 눈여겨봤다. 미국 내 히스패닉 인구가 이미 6천500만을 넘었는데, 류 대표는 히스패닉 시장을 교두보 삼아 세계 최대 시장인 북미 지역으로 진출한다는 구상이다. 류 대표는 “마이디포를 지난해 3월에 개발해 그해 5월 개념증명(PoC)을 했고, 7월 최소기능제품(MVP)을 출시, 현재는 서비스 고도화에 집중하고 있다”면서 “현재 이용 고객의 70%가 히스패닉 시장에서 발생하고 있는데, 서비스 안정화와 완성도가 갖춰지면 글로벌 시장뿐 아니라 국내에서도 마케팅 활동을 펼칠 계획”이라고 밝혔다. 마이디포 AI 서비스는 크게 세 가지로 구분된다. 먼저 월 구독 모델로 AI 매시업 프레임워크를 제공한다. 또 마이디포 AI 컨설턴트들이 AI 활용 방법을 상담해준다. 끝으로 프롬프트 엔지니어링 등 기업 맞춤형 매시업 솔루션을 제작, 공급해준다. 개인 또는 기업은 필요로 하는 나만의 AI 서비스(앱)를 마이디포에 직접 제작 의뢰해 최적의 결과물을 얻을 수도 있으며, 다른 창작자들이 공개해 놓은 오픈마켓에서 적합한 서비스를 골라 유료로 구매한 크레딧을 지불하고 이용할 수도 있다. 이 때 창작자는 앱 사용 수익의 70%를 받는 구조다. 류승훈 대표는 “마이디포 서비스 고도화 맵에 있어 기술적인 목표는 LLM을 어떻게 나에게 더 잘 맞는 서비스로 만드느냐가 있다. 데이터를 양과 질을 고도화 시켜 맥락에 맞는 결과물을 얻는 것”이라면서 “각 AI 기술과 서비스들의 장점을 활용해 누구나 쉽게 이용하고 조합할 수 있도록 확장시키는 것이 마이디포의 목표”라고 말했다. 이어 “우리가 생각하는 범용인공지능(AGI)은 단순한 만물박사가 아니라, 여러 가지가 조합돼 결국은 우리가 원하는 결과를 얻어내는 것”이라며 “각 모듈들이 AGI 내에서 하나의 플러그인으로 활용될 수 있다. 마이디포의 리퀘스트 마켓이 적극 활용되고 집단적인 프롬프터들이 쌓인다면 다양한 AI 서비스들이 보다 쉽고 널리 쓰일 것”이라고 말했다.

2024.01.31 14:14백봉삼

비아이매트릭스, 데이터 분석 AI비서용 자체 LLM 출시

비아이매트릭스는 자체 개발한 LLM(거대 언어 모델) 'G-매트릭스(G-MATRIX) MX-7B'를 출시했다고 10일 밝혔다. 이번에 발표한 'G- 매트릭스 MX-7B'는 자연어 기반 데이터 분석 및 시각화 서비스에 특화된 언어 모델이다. 업무 담당자가 AI와 대화를 하듯이 기업의 데이터베이스에서 데이터를 조회하고, 조회한 데이터를 바탕으로 분석 화면을 제작하는 생성형 AI 솔루션 G-매트릭스에 최적화했다. G- 매트릭스 MX-7B는 70억 개의 매개변수를 가진 경량 언어 모델이다. 산업군에 특화된 5만 개 이상의 데이터 분석용 질문과 다양한 시각화 대시보드 탬플릿을 학습해, 자연어로 기업의 데이터를 추출하고 데이터 특성에 맞는 시각화 화면을 추천하는 것이 가능하다. 모든 기업에서는 그동안 생성형 AI를 활용한 업무혁신을 희망하였으나, 보안을 이유로 도입을 망설였던 기업을 위하여 온프레미스형 LLM으로 내부망에서 구축 가능한 환경을 제공한다. 지금까지 다양한 시스템 구축을 필요로 했던 데이터 분석 업무 혁신 분야에 특화됐다. 또한 데이터 분석 업무용으로 최적화, 경량화되어 하드웨어 자원의 최소화가 가능하여 타사 대비 도입 비용이 절감되고 빠른 처리 속도를 제공한다. 이번에 출시된 MX-7B는 전 세계 인공지능 솔루션이 모여있는 허깅페이스에도 등록되어 있다. 비아이매트릭스는 2023년 데이터 분석용 생성형 AI 솔루션 G-매트릭스 2.0을 출시한데 이어 기업에서 보안 걱정없이 사용할 수 있는 자체 LLM까지 출시하여 실용적 AI를 구현하는 회사로써의 이미지를 부각시킴과 동시에 기업의 업무 생산성 혁신에 기여할 예정이다. 올해 생성형 AI 분야의 R&D 인력을 대폭 강화하고, 그동안 보유한 데이터 기반 특허 기술들과 융합하여 상반기에는 데이터 예측 및 아우디(AUD) 플랫폼 코팡일럿도 선보일 예정이다. 또한 이번 출시로 더 나은 비즈니스 환경과 업무 효율성을 추구하는 기업들에게 혁신적이고 안전한 솔루션을 제공하고 성공 가능한 사업 모델을 지속적으로 제시하여 현실성있는 생성형 AI 분야에서 시장을 선도해 나가겠다는 포부를 밝혔다.

2024.01.10 11:32남혁우

  Prev 1 2 3 4 5 Next  

지금 뜨는 기사

이시각 헤드라인

SK하이닉스, 낸드 계열사 지분 中에 전량매각…고부가 메모리 집중

[지디 코믹스] 판교 대기업 다니는 김부장 딸 결혼식

아우디, F1 첫 진출 앞두고 '레이싱 머신' 디자인 콘셉트 공개

비아그라에 또 이런 효능이?..."선천성 난청 치료 도움 가능성 판명"

ZDNet Power Center

Connect with us

ZDNET Korea is operated by Money Today Group under license from Ziff Davis. Global family site >>    CNET.com | ZDNet.com
  • 회사소개
  • 광고문의
  • DB마케팅문의
  • 제휴문의
  • 개인정보취급방침
  • 이용약관
  • 청소년 보호정책
  • 회사명 : (주)메가뉴스
  • 제호 : 지디넷코리아
  • 등록번호 : 서울아00665
  • 등록연월일 : 2008년 9월 23일
  • 사업자 등록번호 : 220-8-44355
  • 주호 : 서울시 마포구 양화로111 지은빌딩 3층
  • 대표전화 : (02)330-0100
  • 발행인 : 김경묵
  • 편집인 : 김태진
  • 개인정보관리 책임자·청소년보호책입자 : 김익현
  • COPYRIGHT © ZDNETKOREA ALL RIGHTS RESERVED.