• ZDNet USA
  • ZDNet China
  • ZDNet Japan
  • English
  • 지디넷 웨비나
뉴스
  • 최신뉴스
  • 방송/통신
  • 컴퓨팅
  • 홈&모바일
  • 인터넷
  • 반도체/디스플레이
  • 카테크
  • 헬스케어
  • 게임
  • 중기&스타트업
  • 유통
  • 금융
  • 과학
  • 디지털경제
  • 취업/HR/교육
  • 생활/문화
  • 인사•부음
  • 글로벌뉴스
  • AI의 눈
ZDPick
지스타2026
반도체
IT'sight
칼럼•연재
포토•영상

ZDNet 검색 페이지

'승진'통합검색 결과 입니다. (48건)

  • 태그
    • 제목
    • 제목 + 내용
    • 작성자
    • 태그
  • 기간
    • 3개월
    • 1년
    • 1년 이전

[황승진의 AI칼럼] 글로벌 물류, 멀티에이전트 LLM과 Manus

이런 가정을 해보자. 중국의 한 도시에 글로벌 로지스틱스 컴퍼니(Global Logistics Company, 이하 GL)라는 가상의 회사가 있다. 이 회사는 상당한 고객 기반을 갖고 있다. 이 도시에 100개 이상의 고객 기업이 있고, 대부분은 가구 또는 건축 자재 제조업체다. 이들은 전 세계에 흩어져 있는 고객에게 제품을 배송한다. 각 제조업체는 제품을 '크레이트'라는 나무상자에 담아 포장하고 보호한다. 매달 GL는 수백 개 크레이트의 배송 주문을 받는다. 지금까지는 요청이 도착할 때마다 즉흥적으로 실행했다. 하지만 최적화 개념은 없고, 주먹구구식으로 운영, 이에 비용 절감의 많은 기회를 놓치고 있다. 나아가, 이러한 주먹구구식 관행은 수많은 비준수(non-compliance) 사례로 이어졌다. 비준수는 고객과의 계약 조건 또는 규정 위반을 의미하며, 이는 페널티와 신뢰도 손실로 이어진다. GL은 AI를 활용해 지금보다 더 잘할 수 있다. 예로, 크레이트를 개별적으로 배송하는 대신, 서로 가까운 목적지(예, 북가주)로 향하는 수십 개의 크레이트를 모아 풀 컨테이너로 지역별 물류기지로 일단 옮긴 후 작은 트럭으로 최종 목적지까지 배송하면 비용 면에서 더 효율적이다. 단, 고객이 오래 기다려야 하기 때문에 약속한 배송 시간 미준수로 이어질 수 있다. 이에, 가능한 한 빨리 크레이트를 배달하고 규정 및 계약의 모든 준수 사항을 충족하면서 비용을 최소화하는 것이 이 회사가 가진 화두이자 도전이다. 이를 비용, 시간, 준수로 구성된 삼각형 모델로 요약할 수 있다. 이 모델을 수학적으로 푸는 건 불가능하지만 AI는 가능하다. GL은 AI 에이전트 모델로 이 삼각형 모델을 접근할 수 있다. 한 명의 마스터 에이전트와 비용, 시간, 준수를 각각 담당하는 세 명의 에이전트를 만든다. 비용 에이전트는 2개월 이내에 배송하되 비용을 최소화하는 10개 계획을 찾아 마스터 에이전트에게 추천한다. 시간 에이전트는 주어진 예산 내에서 배송 시간을 최소화하는 10개 계획을 찾아 마스터 에이전트에게 추천한다. 마스터 에이전트는 이러한 20개 계획을 받아, 준수 에이전트에게 준수 여부를 확인하도록 시킨다. 계약과 규정을 준수하는 계획만 통과된다. 끝으로 인간 사용자가 최선의 계획을 선택한다. 왜 이것이 새로운 것일까? '준수 검사의 자동화'다. 최적화 문제는 목적함수, 결정변수, 그리고 제약조건으로 이뤄져 있다. 다음과 같이 생겼다: maxx f(x), subject to Ax

2025.03.15 15:48황승진 컬럼니스트

[황승진의 AI칼럼] 100년간 신봉해 온 통계적 품질관리 AI로 재고해야

AI가 사람보다 더 빠르고 비슷한 성능으로 유방암을 판독하는 것으로 나타났다. AI 이전에는 유방암의 최선 예방은 연간 또는 2년 간격으로 촬영을 통한 조기 발견이었다. 촬영 영상은 일반적으로 전문 방사선과 의사가 판독한다. 하지만 최근에는 AI가 판독을 더 잘할 수 있는 것으로 알려졌다. 돌이켜보면 이는 당연한 일이다. 사람의 눈은 영상에서 선과 형체를 읽을 수 있는 반면, 기계는 이런 선과 형체의 구성요소인 픽셀을 읽을 수 있다. 기계에게 많은 이미지를 주어 픽셀 단위로 특성과 패턴을 볼 수 있도록 훈련시키면 전문가보다 섬세한 점을 더 잘 볼 수 있다. 기계가 더 잘할 수 있는 것이 또 있다. 기계는 암의 발생을 '예측'할 수도 있다. 코넬대 연구팀은 총 7353명의 환자로부터 암 진단 결과가 나온 1413건을 포함해 총 1만9328건의 유방촬영 데이터 세트(과거 및 최신)를 수집했다. 그리고 연구원들은 새로운 유방암 환자의 경우, 1년 이상 전에 찍은 옛 유방촬영 사진을 살펴보았다. 당연히 당시에 찍은 유방촬영 사진은 깨끗했다. 즉 방사선과 의사의 눈에 암의 징후가 보이지 않았다. 하지만 학습된 AI의 눈은 달랐다. 이 새로운 유방암 환자와 비환자의 옛 촬영 사진을 구분해 기계에게 보여주면서, 기계는 암 발생을 예언하는 패턴을 학습시킬 수 있었다. 사실, 암 환자의 이전 유방촬영 사진은 비환자의 사진과 달랐다. 지도 학습을 통해 기계는 어제의 유방 영상 (현재 관찰 가능)과 내일의 암 (현재 관찰 불가능) 간의 관계를 파악할 수 있었다. AI 기계만이 이러한 차이점을 인식할 수 있었다. 예측되는 환자에게는 초기 조치를 취해 암의 진척을 막을 수 있다. 비슷한 예가 있다. 수 년 전 항조우에 있는 차이나텔레콤 지부를 방문한 적이 있다. 한 오피스에 30여명의 직원이 각자 부지런히 전화를 하고 있었다. 안내자의 말에 따르면, 그들은 유선전화 서비스를 곧 그만둘 듯한 고객에게 전화를 해, 가격 할인이나 인터넷, 와이파이와 이동전화를 섞은 패키지를 제안하는 것이었다. 기존 고객을 계속 잡아놓기 위함이었다. 그러면 어떻게 어느 고객이 그만 둘 지를 아느냐고 묻자, 그는 답했다. “유선전화 사용량이 급감할 때죠.” 이 경우 사전 징후가 단순해 구태여 AI의 힘을 빌릴 필요가 없지만, 다른 '고객 이탈'의 경우는 좀 더 복잡해 징후 찾기에 AI의 힘이 필요할 것이다. 예를 들어, 슈퍼마켓이 새로운 손님을 경쟁사에게서 빼앗는 가장 좋은 때는 그들의 결혼, 임신, 출산, 새 직장 같은 인생의 변곡점에서다. 이 말은, 다른 슈퍼마켓으로는 이때가 공격적으로 단골손님을 방어해야 할 때라는 것이다. 그 슈퍼마켓은 구매 데이터에서 그 패턴을 찾을 수 있다. 비타민, 애기 기저귀, 안 사던 브랜드의 맥주, 식품 종류나 양의 변화 등이다. 이때, 고객 이탈의 적신호를 얻는데 AI의 힘을 빌릴 수 있다. 이상의 사례를 일반화할 수 있다. 이렇게, 장기간에 걸쳐 동일한 변수를 반복적으로 관찰하는 연구 방법을 '종단적' 연구라 부른다. 종단적 접근법은 많은 다른 '실패' 사례에 적용할 수 있다. 예를 들어, 장비 고장이 발생하면 고장 직전의 장비와 주변 환경의 과거 데이터를 수집한다. 이를 정상적인 경우의 데이터와 함께 AI에게 보여 준다. 많은 데이터를 통해 AI는 예측 능력을 개발할 수 있다. 따라서 IT 네트워크 장애, 풍력 터빈 고장, 엘리베이터 고장 같은 경우에도 실패 전에 패턴이 존재할 수 있다. 이러한 패턴은 인간의 눈과 뇌로는 인식하거나 해석할 수 없다. 따라서 종단적 데이터를 제공하고 실제 실패 전에 패턴을 감지하도록 AI를 훈련시킨다. 어느 빌딩에 두 명의 엘리베이터 수선공이 나타난다. 빌딩 관리원이 그들에게 묻는다. “어떻게 왔습니까?” 그들은 답한다. “이 빌딩의 엘리베이터를 고치러 왔습니다.” “아니, 우리 엘리베이터는 고장이 안 났는데.” 그들은 답한다. “곧 고장 날 것입니다.” 마치 미래에서 온 아놀드 슈와츠네거 같을 것이다. 종단적 접근법이 효과적이라면, 우리가 100년 동안 신봉했던 통계적 품질관리 방식 (SQC)을 재고할 시간이 왔다. 쉬하트에 의해 개발된 SQC의 핵심은 콘트롤 차트다. 여기서는 평균을 중심으로 하여, 위 아래로 3*시그마만큼의 마진을 두고 박스권을 만든 후 그 밖에 나가는 경우 '불량'이란 라벨을 씌운다. 여기서 시그마는 표준편차를 뜻한다. 그런 '박스권 이탈 사건'이 아무 이유 없이 순전히 확률적으로 일어날 확률은 0.3 퍼센트에 지나지 않으니 무언가 불량요인이 생겼다는 결론이다. 이 SQC의 주요 목적은 문제의 '탐지'에 있다. 허나, 최근 AI는 이러한 프로세스의 데이터를 이용해 탐지뿐 아니라 '예측'으로 활용할 수 있다. IoT 센서에서 계속 수집되는 종단적 데이터는 입력과 출력의 관계를 AI로 하여금 배우게 한다. 결국, 출력이 아니라 '입력'에서 불량을 예측할 수준에 이르게 한다. 불량이 일어나기 전에, 제조 프로세스를 통제할 수 있다. 또한 설령 불량이 생기면 앞뒤 상황을 분석하고, 실시간으로 원인을 규명하고, 수정할 수 있는 조치를 제안한다. 이를 실현하기 위해서는 도메인 엔지니어, 프로세스 엔지니어, 장비관리사, 데이터 엔지니어 등의 전문 지식이 필요하다. 샌프란시스코에 위치한 스타트업 Facilis.ai는 AI멀티에이전트를 이용해 이런 기능을 자동화한다. SQC(통계적QC)에서 시작해, TQC(토탈QC)로, 그리고 100년 후 오늘 AIQC의 시대가 온 듯하다.

2025.03.08 23:39황승진 컬럼니스트

[황승진의 AI칼럼] AI는 속도전 무기···프로세스 병목 해결

캘리포니아에 있는 한 종이 제품 제조업체는 고객 주문 응답 시간이 지나치게 길다는 것을 발견했다. 이로 인해 고객 서비스 질이 떨어지고 주문에서 현금화까지 시간이 길어지니 회사에 악영향을 미친다. 어떻게 응답 시간을 단축할 수 있을까? 그 답은 '병목 분석(Bottleneck Analysis)'에서 시작한다. 이는 전체 비즈니스 프로세스 가운데 어느 단계에서 가장 시간이 소요되는가를 찾아서 집중적으로 개선하는 방법이다. 이 제조업체도 분석을 해보니 병목을 발견했다. 주문 처리 초기의 정보 처리 단계가 문제였다. 주문이 도착하면 고객과 주문을 체크하는 과정이다. 이 과정을 통과해야 본사 공장으로 주문이 들어간다. 주문 승인에는 재무 팀이 참여했다. 재무 팀은 고객의 신용 정보를 확인했다. 미납액이 있는지, 지불 거절과 같은 악의적인 선례가 있는지, 재무적 어려움의 부정적인 신호가 있는지 확인했다. 재무 팀은 인력 부족과 많은 요청으로 과부하 상태였기 때문에 주문을 승인하고 공장이 작업을 시작하는 데 보통 일주일 이상 걸렸다. 이 이야기는 몇 년 전, 지금의 AI 시대가 도래하기 전에 일어난 일이다. 이제 우리는 이 케이스를 되돌아보고, AI 기반 승인 시스템을 생각해 본다. AI를 활용해 대부분의 승인은 몇 초 만에 끝낼 수 있다. LLM이 RAG나 에이전트와 힘을 합쳐 가능해 진 일이다. AI가 나오기 이전 그 제조업체의 승인율은 98% 이상이었다. 나머지 2% 때문에, 100% 작업이 오랫동안 IT 시스템에 앉아서 기다리고 있었다. 이 사례의 메시지는 다음과 같다. AI의 기본 실력이 갖춰 지면, 조직은 병목 분석을 통해 병목을 찾아내고 여기에 AI를 활용해 자동화를 고려해야 한다. 즉, '병목-자동화-AI'가 기업의 비즈니스 프로세스 속도를 높이는 기본 공식이 되는 것이다. 이 메시지 전달은 나보다 다음 신경외과 의사가 더 효과적일 듯하다. 2019년 TEDMED에서 강력한 연설을 한 신경외과 의사 크리스 만시 박사의 연설문은 다음과 같이 시작한다. "불과 4시간 전, 제인(Jane)은 차에 치였습니다. 이제 수술실의 신경외과 의사인 저는 제인의 뇌를 구하는 것이었습니다. 저와 팀은 제인의 두개골에 구멍을 뚫고 혈전을 제거하여 압력을 완화했습니다. 수술은 완벽하게 성공했습니다. 우리는 젊은 여성의 생명을 구했습니다. 하지만 12시간 후 제인은 사망했습니다. 나중에 알게 된 것은 제인의 사망을 좌우한 결정적인 요소는 수술실에서 일어난 일이 아니었습니다. 바로 제인을 수술실에 데려오는 데 걸린 4시간이었습니다. 뇌혈전을 누군가가 확인하고, 해당 의사에게 알리고, 수술을 위한 조율을 하는 과정이 너무 늦었습니다. 제인의 뇌는 복구할 수 없는 수준으로 손상됐었습니다." 현대 의학이 뽐내는 첨단 의료시설과 유능한 의료진은 시간과의 경쟁에서 맥없이 나가떨어졌다. 반격을 위해, 만시 박사가 바라는 것은 AI의 방사선 사진 해독과 그때로부터 환자를 치료하고 돌보는 워크플로의 자동화다. 둘 다 오늘날의 AI 에이전트 워크플로로 가능하다. 결국, 인명구조 프로세스에서의 병목인 '검사와 분석' 단계를 AI로 자동화함으로써 반응시간 4시간을 몇 분으로 줄여 귀중한 생명을 구할 찬스를 높일 수 있다. 이를 위해 그는 스탠포드 MBA를 취득한 후 viz.ai라는 회사를 세웠다. 이 사례의 키포인트는, AI는 비용과 기능이나 품질 뿐 아니라 '프로세스 속도' 면에서 크게 기여할 수 있다는 것이다. 의료 분야 뿐이 아니다. 내 사업에서도 비슷한 시간과의 투쟁이 일어나고 있을지 모른다. 독일 의료 장비 제조 회사 지멘스는 자사의 '주문에서 자금회수 시간'이 너무 길다고 느꼈다. 이에 '프로세스 마이닝(Process Mining)'이란 분석을 통해 문제의 원인을 찾아냈다. 놀랍게도, 수많은 거래에서 정해진 비즈니스 프로세스에서 벗어난 변칙(non-compliance)이 일어나고 있었다. 이런 발견은 ERP, MES, CRM, 웹로그, 배달 추적시스템에서 기존 거래를 추적하고 분석함으로써 얻었다. 병목을 찾아낸 후, 회사는 그중 상당수를 자동화했다. 그 결과 프로세스가 24% 더 자동화되고, 매년 천만 건의 사람의 개입이 사라져 더 빠르고 더 정확한 프로세스를 성취했다. 여기에 AI가 힘을 보탤 수 있다. 명목을 자동화하는데 직접 활용될 뿐아니라, 그 자동화 프로그램을 코딩하는 속도도 늘린다. 게다가, 실제 프로세스 데이터를 읽어 도표로 만들고, 또한 시물레이션 힘을 빌려 더 좋은 비즈니스 프로세스를 개발하는 데 도움을 주든지 혹은 새로 제안할 수도 있다. 즉, 관찰, 분석, 개선, 실행의 품질 사이클 (Plan-Do-Check-Act) 전체 과정을 가속화하는데 AI가 적극 개입, 개선할 수 있다. 기업에게 속도는 경쟁력이다. AI는 여기에 큰 역할을 할 수 있다. 다른 예로는 구글 딥마인드가 개발한 '알파폴드'다. 이는 신약 개발 속도를 올린다. 단백질 구조를 이해함으로써 병의 원인과 치료약, 그리고 약과 조직의 상호반응을 신속히 파악하기 때문이다. 암, 치매나 파킨슨병 같은 인간의 생명과 삶의 질에 결정정인 영향을 주는 병 들의 치료약이 하루라도 빨리 나오길 우리는 기다리고 있다. 게다가, 이 시장에서는 빠른 자가 독식한다. 구글도 자기가 개발한 이점을 남 주기 아까운지 신약개발에 뛰어 들었다. 이제는 빠르지 않고는 시장에서 살아 남기 힘들다. 그런데 AI 없인 빠르기가 불가능하다. 그런 시대가 왔다.

2025.03.01 16:21황승진 컬럼니스트

오너家, 4.4년이면 '별'단다…4명 중 1명은 임원으로 입사

국내 대기업집단 오너일가는 평균 30.4세에 입사해 34.8세에 임원이 되는 것으로 나타났다. 일반 임원 중 상무(이사 포함) 직급 임원 평균 나이(2019년 9월말 기준)가 52.9세인 점을 감안하면 오너일가 임원 승진이 일반 직원에 비해 약 18.1년 더 빠른 셈이다. 26일 기업데이터연구소 CEO스코어가 2023년 결산 기준 자산총액 5조원 이상 공시대상기업집단 88곳을 대상으로 오너일가의 경영참여 현황을 조사한 결과, 오너일가가 임원으로 경영에 참여하고 있는 대기업집단은 63곳이며 인원은 총 212명으로 나타났다.남성이175명,여성이37명이다. 조사대상 대기업집단 오너일가 212명은 평균 30.4세에 입사해 4.4년 만에 임원으로 승진했다. 212명 중 사장단 이력이 조사된 167명의 승진 소요기간은 12.9년이다. 성별 승진 평균 소요기간은 여성이 남성보다 빨랐다. 임원까지 1.3년, 사장단까진 1.7년 더 빠른 것으로 나타났다. 남성은 평균 30.0세에 입사해 임원 승진까지 4.6년, 사장단 승진까지 13.1년이 소요됐다. 여성은 평균 32.6세에 입사해 임원 승진까지 3.3년, 사장단 승진까지 11.4년이 걸렸다. 입사와 동시에 임원으로 승진한 인원은 전체 25.5%인 54명이었다. 임원 승진까지 5년 미만(0년 포함)이 걸린 인원의 비중도 59.4%(126명)에 달했다. 입사와 동시에 임원에 오른 오너일가가 5명 이상인 그룹은 영풍, OCI 등 2곳이 유일했다. 3명인 곳은 신세계와 현대해상 등 2곳이었다. 2명인 곳은 롯데, 두산, KCC, 세아, 유진, 대신증권, 한솔 등 7곳이다. 1명인 곳은 총 24개로 삼성, 현대차, LG, 한화, GS, LS, 미래에셋, 금호아시아나, 효성, 호반건설 등이 있었다. 입사 후 바로 임원에 오른 주요 인물은 ▲최창영(고려아연 명예회장) ▲최민석(스틸싸이클 사장) ▲이건영(유니온 대표이사 회장) ▲이우선(유니온 대표이사 부사장) ▲이명희(신세계그룹 총괄회장) ▲정용진(신세계그룹 회장) ▲정몽진(KCC 회장) ▲정재림(KCC 상무) 등이다. 입사 후 바로 임원에 오른 자녀세대 주요 인물로는 ▲김재열(삼성글로벌리서치 사장) ▲정태영(현대카드 부회장) ▲허세홍(GS칼텍스 사장) ▲박서원(두산매거진 전 대표) ▲박세진(금호고속 상무) 등이 있다. 이중 1986년 이후 출생해 연나이로 39세 미만인 자녀세대 주요 인물로는 ▲데이비드 백(미래에셋캐피탈 라이프사이언스 부사장) ▲김민형(호반그룹 상무) ▲정경선(현대해상 전무) 등이다. 입사와 동시에 바로 사장단에 오른 오너일가의 비중은 전체 4.2%인 7명으로 집계됐다. 구체적으로 ▲김주원 DB그룹 부회장(2021년 DB하이텍 미주법인 사장 입사) ▲신창재 교보생명 회장(1996년 교보생명 부회장 입사) ▲이지현 OCI드림 대표(2023년 OCI드림 사장 입사) ▲유경선 유진그룹 회장(1985년 유진종합개발 사장 입사) ▲이어룡 대신파이낸셜그룹 회장(2004년 대신증권 회장 입사) ▲조동혁 한솔케미칼 회장(1996년 한솔흥진 사장 입사) ▲최윤정 파라다이스그룹 부회장(2014년 파라다이스그룹 사장 입사) 등이다. 입사 후 임원 승진까지 가장 오래 걸린 인물은 SK그룹 박장석 SKC 전 상근고문이었다. 박 상근고문은 1979년 SK네트웍스 입사 후 16년 만인 1995년 임원으로 승진했다. 이어 E1 구자용 대표이사 회장(15.8년 소요), LS전선 구자엽 회장(14.6년 소요)과 GS건설 허명수 전 부회장(14.3년 소요), GS리테일 허연수 전 부회장(14.0년 소요) 등이 임원 승진까지 오래 걸린 인물로 조사됐다. 또 사장단 승진까지 가장 오래 걸린 인물은 신영자 롯데재단 의장으로 조사됐다. 신 의장은 1973년 롯데호텔 입사 후 34.9년 만인 2008년에 사장단으로 승진했다. 이어 두산 박석원 사장(27.8년 소요), LS전선 구자엽 회장(27.2년), 두산밥캣코리아 박형원 사장(26.8년), DN그룹 김상헌 회장(26.0년) 등이 사장단 승진까지 오래 걸렸다. 이번 조사는 그룹 경영에 참여 중이거나 과거에 참여했었던 창업주(1세 및 1세의 배우자)의 자녀세대(형제자매 포함) 및 그들의 배우자(고인 및 과거 참여 임원 포함)를 포함했다. 승진시기 산정 기준은 인사 승진기사, 포털에 등록된 프로필, 분기보고서 등에 기재된 직위를 기준으로 했다. 승진 연도만 확인된 경우 승진 연도의 3월 기준으로 일괄 처리했다. 승진 시기는 그룹 경영에 참여한 시점부터 잡았으며, 계열분리 이전 시점부터 추정해 반영했다. 단 재단, 관장 등의 이력은 제외했다. 창업주를 1세대로 했으며 이후엔 나이에 관계없이 2세, 3세 등으로 구분했다. 또 통계에서 창업주 또는 창업주와 동세대(인수·설립 등 포함)은 제외했다. 그룹경영에 참여한 적이 있으나 이혼, 계열분리 또는 타사를 창업한 인물도 제외했다.

2025.02.26 09:35류은주 기자

[황승진의 AI칼럼] 인간과 AI – 누구세요?

다음은 필자가 실리콘밸리에서 실제 본 이야기다. 실리콘밸리에서 숙련된 소프트웨어 엔지니어로 일하고 있는 스탠(가명)에게는 아래와 같은 일이 자주 일어난다. 지난 금요일에도 그랬다. 스탠은 산호세 집에서 어머니 제인과 함께 있었다. 제인은 "스탠, 지금 몇 시야? 존은 오늘 왜 이리 늦지?"라고 불평했다. 스탠은 "엄마, 존은 8년 전에 돌아가셨어요. 그러니까 집에 안 들어올 거예요."라고 답했다. 어머니 제인은 지난 3년간 알츠하이머 환자였고, 아버지 존은 8년 전에 타계했다. 이 대화는 2시간 동안 8번이나 반복됐다. 효자인 스탠은 어머니 제인을 위해 아이패드에 챗봇을 만들기로 결심했다. 새로운 챗봇인 '보(Bo)'는 하루 종일 제인과 함께 지내며 80년 동안의 추억을 이야기하고 되살린다. Bo는 항상 시리(애플의 음성 기반 개인 비서)를 통해 제인과 대화할 수 있다. 제인은 계속해서 질문을 던지고, Bo는 언제든지 지칠 줄 모르고 대답한다. 때로는 Bo가 무작위로 주제를 선택하여 대화를 시작한다. "옛날 우리 강아지 쿠키가 처음 우리 집에 도착했던 날을 기억해요?" 이렇게, 원작은 스탠, 각본은 LLM, 그리고 성우는 시리로, 음성 복제를 사용해 존의 목소리로 대화할 것이다. 대화는 스탠의 가족과 실제 경험을 이용해 제인에게 맞춤화 됐다. 대화 주제는 날씨나 드라마뿐만 아니라, 실제로 일어난 가족일 일 수 있다. 제인은 20년 전 스페인 가족 여행에서 가방을 잃어버린 것을 희미하게 기억할 수 있다. Bo는 스탠이 재구성한 개인 일기에 있는 데이터에 액세스할 수 있다. Bo는 해당 주제와 관련된 사진, 노래 및 비디오 클립을 보여줄 것이다. 이는 텍스트, 음성, 이미지 및 비디오를 저장하는 벡터 DB를 사용해 가능하다. LLM과 개인 DB의 혼합은 RAG를 형성한다. 전체 워크플로는 에이전트에 의해 관리된다. 에이전트는 대화를 시작하고, LLM 자동 프롬프팅을 통해 관련 데이터를 검색하고, 상황에 맞게 선택된 노래를 재생하고, 약 복용 시간을 알려주고, TV 프로그램을 선택하며 최신 뉴스를 업데이트한다. 각 에이전트는 시리, 벡터 DB 쿼리 및 음성 복제와 같은 자체 도구를 사용할 수 있다. 사실, 이 RAG는 주디스 뉴먼의 실화를 다룬 책 'To Siri, with Love'에 등장하는 시리의 업그레이드 버전이라고 말할 수 있다. 이 책은 13살 자폐증을 가진 소년 거스와 애플의 디지털 비서 시리 간의 유대감을 이야기한다. 여성 목소리를 가진 시리는 친구이자 스승처럼 끊임없이 이야기하고 질문에 답한다. 거스의 관심거리인 기차나 비행기에 대해 지치지 않고 친절하게 답해준다. 그러나 시리는 거스에 대해 전혀 모르니, Bo처럼 개인적인 친밀한 대화를 나누지는 못 한다. '친절한 LLM'의 다른 예를 들어보겠다. 사립 교육 조직인 '칸 아카데미' 창립자인 샐 칸은 그의 책 'Brave New Words'에서 교육 분야 AI에 대해 이야기한다. 그의 열한 살 난 딸 디야와 함께 노트북으로 단편소설을 쓰기로 한다. 이야기 주인공은 유튜브 인플루언서인 사만다다. 디야는 "사만다는 무인도에 표류했습니다"라고 타이핑한다. 그러자 노트북이 갑자기 "안녕하세요 디야와 샐, 그 스토리는 매우 훌륭합니다! 고전적인 무인도 이야기를 현대식으로 비틀었네요!"라고 대답한다. 디야는 "무인도에서의 삶은 어떤가요?"라고 되물었고, 사만다는 "매우 예상치 못한 모험이었습니다"라고 대답한다. 이것은 놀라운 AI의 사용이지만, 근본적인 기술은 그렇게 놀랍지 않다. LLM은 스토리를 생성할 수 있으므로, 스토리를 공동 저술하는 것은 놀라운 일이 아니다. 여기서 묻는다. AI는 인간에게 무엇일까? LLM이 이끄는 AI는 비서 역할뿐 아니라 친구, 친척, 동료, 글동무, 비평가, 어드바이저, 선생님, 주치의까지 가능하다. 인간은 지적, 감성적 그리고 감정적 동물이다. 그래서 인간과 인지능력을 공유하는 AI는 인간의 '지식'뿐 아니라 '감성'으로도 연결된다. 더 나아가, '감정'까지 개입될 수 있다. 이는 친구, 친척이나 동료의 관계 형태로 나타난다. 상업 사이트 Replika.com이나 Character.ai는 인간과 AI 사이에 감정적 관계를 가능하게 한다. 전자의 경우, 처음 면접으로 사용자의 개성을 신경망에 반영한 후, 지속된 챗봇과의 대화를 통해 서로 말동무가 된다. 아마도 그들 나름대로의 기초모델이 있어 그 위에 파인튜닝을 하는 듯하다. 후자의 경우도 비슷하게 만들어지는 듯 추정된다. 허나, 이 경우, 사용자는 개성을 지닌 가상인물(character)을 만들어 '남'들이 대화하게 만들었다. 개성은 유명인사일 수도 혹은 신인일 수도 있다. 즉, 지식, 감성 및 감정을 인간과 교감하는 '쏘울(soul)'이 만들어져 상용화된 것이다. 물론 수요가 있기 때문이다. 전자는 총 3천만 방문객이, 후자는 매일 평균 3백5십만 방문객이 있다한다. 더 나아가, 호아킨 피닉스가 주연한 영화 'Her(그녀)'에서는 AI와 사랑에 빠진 남자를 그린다. 이혼 직전의 주인공 시어도어는 AI 소프트웨어 상품으로 AI 인물 '사만다'를 만나 그의 고뇌에 관해 위안을 받는다. 그러면서 시어도어는 그녀에게 사랑에 빠진다. 놀랍게도, 사만다 역시 그를 사랑하게 된다. 소프트웨어 특성상, 육체적 접촉 없는 형이상학적 숭고한 사랑을 지속한다. 허나 어느 날 시어도어는 또 다른 소프트웨어의 특성을 마주친다. 사만다에게 640명의 다른 연인이 있음을 알게된다. 위에서 언급한 뉴먼의 책에서 13살 난 거스는 말한다. “시리, 나와 결혼해 주겠어?” 물론, 시리는 거절한다. 역시 AI는 아직 순정의 연애나 결혼의 대상이 못 되는 듯하다. 대안으로 인간을 추천한다.

2025.02.22 13:54황승진 컬럼니스트

[황승진의 AI칼럼] 애플이 37년전 꿈꾼 'Knowledge Navigator' 실현한 뉴AI

인터넷 시대에서 볼 때 선사시대에 해당하는 1987년, 애플사는 자신이 그리는 기술의 장기적 비전을 '애플 지식 항해(Apple Knowledge Navigator)'란 비디오에 담았다. 이 비디오는 애플을 넘어 세계 기술사의 비전이 됐다. 워낙 장기적이라 37년이 지난 지금도 그 비전은 다 실현되지 않았다. 이제야 겨우 가시권에 들어왔다. 독자에게 이 비디오를 유튜브에서 찾아서 보기를 강력히 추천한다. 이 비디오에는 한 버클리 교수의 어느 하루가 나오는데, 이를 통해 애플은 AI가 어떻게 세상을 변화시킬지를 상상한다. 비디오에서 버클리 교수는 자신의 가상 비서와 대화하며 강의 준비를 한다. 그곳에 동원되는 기술은 놀랍도록 현재의 AI와 일치한다. 첫째, 가상 비서는 교수의 말을 이해하고 답한다. 거대언어모델(LLM)이 미리 태어난 것 같은 착각을 준다. 둘째는 3자 멀티모달(텍스트, 영상과 오디오) 데이터의 자연스런 사용이다. 가상 비서는 입술을 움직이며 교수와 말을 주고받으며, 오는 전화를 받고, 놓친 전화에 대해 설명하며, 딴 교수에게 전화하며, 하루의 일정을 설명한다. 답하는 중에 논문, 도표와 지도도 사용한다. 시뮬레이션을 통해 비디오도 즉석에서 생성한다. 셋째, LLM 혼자가 아니라, 그의 일당(RAG, Agent, API, 도구)까지 등장한다. 교수의 지시사항에 맞춰 작업의 흐름 즉 워크플로를 계획하고 실천한다. 리서치 네트워크 등 여러 데이터 소스가 비서에게 매끄럽게 연결되는데, 요새로 따지면 RAG가 할 일이다. 개인 일정표는 도구로 연결하면 된다. 마지막으로, 교수는 정확한 소스를 모르지만 대강 뜻하는 바를 밝힐 뿐이다. “거, 플레밍인가 하는 친구가 최근에 발표한 삼림의 황폐화에 관한 논문…”. 흔히 말하는 인텐트 기반 AI가 있는 듯하다. 어느 정보소스에 연결할지 그 라우팅은 자동으로 되는데, 요새 같으면 '에이전틱 워크플로'의 일부일 것이다. 물론 그 비디오는 30여년전 애플이 배우를 써 촬영한 공상과학극이지만, 그 기반 기술은 실제 우리 눈 앞에 펼쳐지고 있다. 할리우드 영화가 실리콘 밸리에 현실로 나타난 듯하다. 이 공상극이 연출한 기술 선물세트를 우리는 요새 LLM Mesh(LLM 망)라 부른다. 여기에는 LLM, RAG, 에이전트, API 같은 도구가 등장한다. 이들은 여러 역할로 시스템 내 워크플로에 참가한다. '누가 무엇을 한 후, 누가 받아서 무엇을 어떻게 해서 답을 내놓느냐' 등을 설계하고 실천하는 것이다. 이 구성원들을 간단히 소개한다. LLM은 언어 모델로 인간 사용자와 자연어로 대화한다. LLM은 이러한 기업시스템의 UI(User Interface)가 된다. 다음으로, RAG는 LLM에게 외부 정보를 제공한다. 예를 들어, 각종 서류를 PDF로 변환하고, 이 PDF를 LLM과 연결할 수 있다. 또한 기업 DB에 있는 데이터를 데이터 언어 SQL로 축출한다. 이때, SQL 전환이든지 SQL 명령수행 등은 RAG로 처리한다. 에이전트는 워크플로를 자동화한다. 특히 마스터 에이전트는 작업의 흐름을 지휘하고, LLM이 이 역할을 맡는다. 때로는 여러 명의 에이전트가 작업을 나눠 처리한다. 에이전트는 독자적으로 결정권을 행사하며 주어진 임무를 달성한다. 이를 위해 소프트웨어 도구를 사용한다. 웹을 검색하든지, 파이손을 해석하고, 항공사 웹에 예약하고, 신용카드로 지불하는 API도 도구의 한 형태다. 전체 워크플로는 랭체인(LangChain)이나 Agent Builder 같은 에이전트 프레임워크가 관장한다. 이렇게, LLM은 그 보완제품들과 같이 무리지여 돌아다닌다. LLM 하나만 가지고는 퀴즈 맞추기 정도 밖에 할 게 없다. 그 무리 덕택에 AI가 비즈니스 안으로 들어오게 됐다. 이제 Knowledge Navigator로부터 무대를 바꿔 오늘날의 LLM Mesh 혹은 에이전트 시스템을 상상해 본다. 한 기업이 AI 기반 챗봇을 설계한다. 인간 사용자는 제미나이 2.0나 gradio같은 UI를 통해 마스터 에이전트와 화면 대화를 한다. 우리 마스터 에이전트는 LLM으로 3개의 연결 도구를 가지고 있다. 첫째 도구는 회사 정책과 절차가 들어있는 PDF를 RAG로 연결한다. “내 경우, 내년에 며칠의 휴가가 가능한가?”라고 물으면, 그 답이 관련 문서를 통째로 주며 “여기 어디엔가 답이 있어”라는 게 아니라, “14일”이라는 형태로 돌아온다. 둘째 도구는 회사의 관계형 DB를 엑세스하게 하는 SQL 에이전트다. 여기에 회사의 기업활동에 대한 중요한 정보가 포함되어 있다. 이 에이전트 역시 LLM이다. 영어 쿼리를 SQL로 번역하고, 또 테이블 형태로 나온 답을 영어로 풀어 마스터 에이전트에게 넘긴다. “작년에 LA 지역에서 몇 건의 주문 취소가 일어났나?”라고 자연어로 질문하면, “512 건입니다” 라고 자연어로 답한다. 마지막 도구는 인터넷 검색을 가능하게 한다. 오늘의 주식 상황이든지 내일 날씨 같은 최근 뉴스는 이 도구가 처리한다. LLM은 실시간 정보를 처리할 수 없으니 이런 도움이 필요하다. 이 에이전트 시스템에서, 사용자는 챗봇과 자연스레 대화하며, 마스터 에이전트는 다 알아서 답한다. 질의 내용에 따라 마스터 에이전트는 필요한 출처를 선택해 필요한 정보를 추출한 후 사용자에게 전달한다. 하나의 UI로 모든 비즈니스가 처리된다. 드디어 애플이 꿈꿨던 Knowledge Navigator가 완성된 것이다.

2025.02.15 12:36황승진 컬럼니스트

[황승진의 AI칼럼] LLM이란 별의 탄생

중국 AI 스타트업 딥시크가 세계 AI시장에 준 충격의 여진이 계속되고 있다. 이번 2회에서는 거대언어모델(LLM)의 탄생을 다루고자 한다. 2012년 체코 과학자 토마스 미콜로프(Thomas Mikolov) 박사의 논문은 '벡터 공간에서의 단어 표현'을 다뤘다. 임베딩이라 부르는 이 아이디어는 간단하면서도 훌륭했다. 각 단어를 516차원의 실수(實數) 벡터로 표현하자는 제안이었다. 516개 숫자는 내 마음대로 생성하는 것이 아니라, 그 단어와 그 벡터와의 의미 있는 연결이 있어야 한다. 두 단어가 의미적으로 유사하거나 관련이 있다면, 그 두 숫자는 고차원 벡터 공간에서 서로 가깝다. 예로, '사과'와 '바나나'는 서로 근처에 있고, '아파트'는 멀리 있다. 그 정도에 그치는 게 아니라 임베딩에는 의미와 해당 숫자가 나란히 같이 가는 미스터리한 논리적 관계가 있다. 예를 들어 '왕–남자+여자=여왕'이 대략이나마 성립한다. 이 임베딩을 채택해 2017년 구글 과학자들은 또 다른 혁명적인 개념인 '트랜스포머(transformer)' 아키텍처를 개발했다. 트랜스포머는 인코더와 디코더라는 2단계로 작동하는 소프트웨어다. 1단계로, 인코더는 문장을 입력 받아 X라는 임시 출력을 생성하는데, X는 입력에서 추출한 압축 데이터다. 2단계로, 디코더는 X를 받아 출력을 생성한다. 그 중간에는 여러 계층의 신경망과 지능형 알고리즘이 작동한다. 이들 신경망은 웹 페이지, 위키피디아, 책 및 문서에서 읽은 수조 개의 문장으로 사전 훈련된다. 이 기술은 궁극적으로 오픈AI의 챗GPT와 같은 대형 언어 모델(LLM)의 탄생을 이끌었다. LLM은 많은 '지식'을 보유할 뿐만 아니라 읽고, 쓰고, 듣고, 말하고, 줄이고, 늘리고, 평하고, 통합하고, 구분하고, 바꾸고, 저장하고, 가져오고, 코드 쓰고, 예측하고, 창작하는 '능력'을 갖고 있다. 어찌해 이런 괴물 작품이 탄생했을까? 사실, LLM이라는 혁명적인 작품이 나오는데는 임베딩이나 트랜스포머 외에도 많은 요소가 잘 섞여 잘 맞아떨어졌기 때문이다. 그 시작은 신경망이란 훌륭한 모델을 사용했다. 정보 저장 및 처리 능력이 좋은 줄 알았지만 이렇게 좋을 줄 몰랐다. 물론 힌튼(Hinton) 르쿤(LeCun), 벤지오(Bengio) 같은 학자와 그들 제자가 한 결정적인 기여 덕택이다. 트랜스포머 핵심은 '어텐션'이란 메커니즘인데, 이게 기가 막히게 효과적이다. 오죽하면 이를 발표한 구글 논문 제목이 '어텐션만 있으면 다 된다 (Attention is all you need)'였다. 문맥을 보고 단어의 모호성을 제거하는 방법이다. 이런 이론적 업적을 현실화한 것은 엄청난 양의 공공 데이터, 즉 WWW와 위키피디아, 디지털 서적 등이 있었기 때문이다. LLM은 데이터를 먹고 사는 '크리처'다. 이 녀석은 먹성이 좋아 수백억 내지 수조 단위의 데이터 입력이 있어야 일을 제대로 한다. 이 정도 데이터를 1-2년 만에 다 소화할 수 있던 것은 하드웨어 GPU와 이를 잘 활용한 트랜스포머 덕택이다. LLM을 훈련시킨 방식 NWP(Next Word Prediction) 또한 큰 몫을 했다. 문장의 첫 부분을 주고 그 다음 단어를 예측하게 하는 이 훈련법은 나중에 LLM의 작문 실력을 키웠다. OpenAI의 공동창업자인 슈츠커브(Sutskever)에 따르면, NWP는 추론 및 추리 능력을 키운다고 한다. 추리소설은 모든 증거를 내놓고 독자에게 범인을 추측하라고 도전한다. NWP 역시 같은 게임을 하고 있다는 주장이다. LLM의 2단계 제조 방식도 AI 생태계 발전에 큰 역할을 했다. 거대한 신경망을 사전 훈련시켜 기초모델을 만든 후, 이를 미세 조정해 응용을 개발한다. 우리에게 익숙한 LLM인 ChatGPT는 GPT라는 기초 모델(파운데이션모델)에 Chat이란 애플리케이션을 올린 것이다. 비슷한 사례로 메주 제조법이 있다. 먼저 콩으로 메주를 만든 후, 그 메주로 된장, 고추장이나 간장을 만든다. 이렇게 LLM은 두단계로 개발됐다. 놀랍게도, 임베딩과 트랜스포머의 아이디어가 이미지 처리 기술에도 적용됐다. 2009년, 페이 페이 리(Fei-fei Li) 교수가 이끄는 미국 프린스턴대 연구진은 2만 가지 카테고리로 분류한 1400만 장의 라벨이 들어간 (즉, 식별용 딱지가 있는) 이미지 DB를 구축했다. 그리고 연구자들이 1000개의 이미지를 인식할 수 있는 AI 프로그램을 개발하도록 하는 오픈 경진대회를 시작했다. AI 프로그램은 라벨을 읽거나 인간의 개입 없이 "이것은 개이고, 저것은 고양이입니다"라고 말할 수 있어야 한다. 이 경진대회는 이미지 AI개발에서 신의 한수였다. 특히, 2012년에 가장 주목할 만한 성과를 거둔 것은 Krizhevsky, Hinton, Sutskever가 개발한 CNN이란 신경망 기반으로 만든 알렉스넷(AlexNet)이었다. 이는 엔비디아(NVIDIA)의 2개 GPU에서 실행됐고, 이것이 GPU와 AI의 긴밀한 로맨스의 시작이었다. 최근에는 트랜스포머가 이미지에도 적용됐을 뿐 아니라 오디오에도 적용됐다. 소위 말하는 텍스트, 이미지와 오디오의 3자 멀티모달이 하나의 기술 파라다임으로 가능해졌다. 더욱이, 각 모달마다 읽기 뿐 아니라 '쓰기'까지 가능하게 됐다. 말 대답하고, 시키는 대로 그림 그리고, 남의 목소리로 말할 수 있다. 이렇게 LLM이란 별이 태어나고 새로운 AI의 기반이 형성됐다.

2025.02.08 16:21황승진 컬럼니스트

[황승진의 AI칼럼] "세계가 딥시크 쇼크···이제는 우리 차례"

지디넷코리아는 미국 스탠퍼드대학 최초 한국인 종신교수인 황승진 스탠퍼드경영대학원 잭디프 로시니 싱 석좌명예교수(Jagdeep and Roshni Singh Professor)의 AI칼럼을 주 1회 게재합니다. 총 20회 게재합니다. 황 교수는 1974년 서울공대를 졸업하고, 미국 로체스터 대학에서 전산정보학 분야에서 경영학 박사를 취득한 후 스탠포드 경영대학원에서 35년간 교수로 재직했습니다. 2022년 은퇴 후, 현재 동 대학원에서 싱 석좌 명예교수로 있으며 여러 경영자 과정에서 가르치고 있습니다. 그의 전공분야는 공급망관리와 전산경제학입니다. 이 분야에 50여편의 학술논문을 출판했습니다. 특히 '채찍효과' 논문은 1만2000번 인용되며 공급망 관리의 대표적 논문이 됐습니다. 대외 활동으로 알토스 벤처와 길리아드를 비롯한 20여 기업에서 자문단 혹은 사회이사 직을 맡은 경험이 있습니다. 작년 3월 '경영이라는 세계'의 제목으로 한국어 에세이집을 출판해 정진기 언론문화상을 받기도 했습니다. 그의 최근 관심사는 인공지능으로 경영 분야 응용과 영향을 연구하고 있습니다. (편집자 주) 1987년 필자가 로체스터 경영 대학원의 전산정보학 과정에서 대학원생시절에는 AI가 일부 과학자의 연구 분야로 결코 실용성이 있어 보이지 않았다. 2015년 알파고가 이세돌 9단을 4 대 1로 이겼을 때도 AI가 “참 세다”라고 생각했지, 우리 삶과는 여전히 동떨어진 먼 과학 세계의 한 성공담이라 느꼈다. 2022년 11월 오픈AI가 챗GPT를 출시하자 우리는 AI가 우리 생활 속으로 성큼 들어왔다는 것을 깨달았다. 그저 무뚝뚝한 인터넷 검색에 반해, 이 녀석은 알기도 많이 알고, 또 인간과 대화를 부드럽게 할 수 있는 놀라운 재주가 있다는 것을 알았다. 허나 이는 시작점이었다. LLM이라 불리는 이 녀석은 대화 이상의 능력을 갖춰 우리 비즈니스에 큰 역할을 할 수 있다는 것을 알았다. 업무를 편하고 빠르게 도와준다. 또 RAG, 에이전트, 도구와 합작했을 때 폭발적 힘을 발휘한다. 'LLM과 그의 일당'은 아예 기업의 전체 IT를 대체하거나 지배할 능력을 갖추고 있다. 제품의 기능과 성능을 높이고, 작업 과정을 정밀화 또는 가속화하고, 신 제품을 개발해 기업의 경쟁력을 높일 수 있다. 어느 형태의 기업이건 상관없다. 가히 혁명적인 기술이다. 이는 결국 국가 경쟁력과 직결된다. 멀리 앞선 미국은 접어 두고라도, 이웃 나라 중국은 AI를 국가적 차원에서 선도하고 대기업, 벤처캐피털(VC), 스타트업이 힘을 모아 AI 혁명을 세계적으로 이끌고 있다. 솔직히 부럽다. 더 이상 값싸고 낮은 품질이란 중진국 틀에서 벗어나 창의적이고 고품질인 제품을 저렴하게 제공할 거다. 대한민국에는 위기이자 기회다. 우리 기업들도 이에 맞서서 좀더 적극적으로 이 세기의 테크놀로지에 대응해야 한다. 이를 돕는 것이 내가 이 칼럼을 시작하는 이유다. 나는 이번 고정 칼럼을 통해 AI의 응용 사례를 주로 다룰 것이다. 약간의 기술 소개를 곁들인다. 우리 각자 기업이 어떤 아이디어를 도입할까 고민해 볼 기회가 되기를 바란다. 첫 회 주제는 최근 세계 AI산업계를 강타한 '딥시크(DeepSeek) 쇼크'다. 지난 1월 27일 월요일, 중국 스타트업체 딥시크(DeepSeek, DS)는 실리콘밸리와 증권시장을 충격의 도가니로 몰았넣었다. 불과 5% 설비비용과 10% 시간만에, 기존 대형언어모델(LLM)에 버금가는 혹은 능가하는 LLM인 DS R1을 오픈소스로 내놓았다. 일반 사용자에게는 공짜고, API 가격은 경쟁사에 비해 10% 밖에 안된다. 오픈AI나 구글(Google), 메타(Meta) 같은 기존 대형 LLM 제조사 들은 벼락 맞은 듯한 쇼크를 느꼈을 것이다. 이들의 핵심관계사인 GPU 제조사, 데이터 센터, 스타게이트(Stargate) 프로젝트 투자가 모두 쇼킹하고 불편한 하루였을 것이다. 반면에 많은 스타트업이나 사용자 기업에는 반가운 뉴스였다. 매달 만 달러 내던 게 90% 세일이라니, 즐거운 하루였을 것이다. 어찌 이런 일이 생겼을까? DS R1은 DS 67B라는 기초 모델을 독자적으로 구축했다. 이후 파인튜닝 단계에서 기존 오픈소스 LLM Llama 3에서 지식을 증류(distill)한다. 증류라 함은 큰 언어모델(Teacher)에서 답을 추출해서 작은 모델(Student)에 이식하는 것이다. 여기에 R1 제작에서 다음 4가지 2루타급 혁신을 합쳐 홈런 효과를 내놓았다. 아래에 간단히 소개한다. *MLA(Multi-Heads Latent Attention): 일반 LLM에 이용하는 어텐센(Attention) 메카니즘은 데이터 처리량과 캐시(Cache)이용 면에서 요구가 크다. 특히, Cache에는 세개 행렬과 Attention에서 전에 처리한 결과 등이 저장된다. 빨리 꺼내 쓸 수 있기 때문에 Cache를 쓰는데, 처리량이 많으면 성능이 떨어져 처리가 오래 걸린다. 사이즈 문제를 해결하기 위해, MLA는 Attention에 입력되는 임베딩 벡터를 낮은 차원으로 줄여 Attention을 시행한 후 원래 크기로 돌려 놓는다. *MoE (Mixture of Experts, 전문가들 복합): 일반 LLM은 모든 입력을 신경망 전체가 처리한다. 이는 비효율적이다. MoE는 배당을 담당하는 별도의 '배당 신경망'이 있어, 입력을 신경망의 일부인 '전문 소(小)신경망'에게 보낸다. 또 '일반 소신경망'도 있어 모든 입력을 받아 작업을 행한다. 은행 고객 한 사람을 위해 전 직원 30명이 몰려가 서비스할 필요가 없고, 1~2 명이면 되는 식이다. 마찬가지로 DS는 6710억개의 매개변수가 있지만, MoE는 주어진 작업에 따라 이 중 5.5% 정도만 처리에 가담시켜 계산 부담을 줄인다. *Multiple Token Prediction(복수의 토큰 추측): 일반 LLM은 NWP(다음단어추측)로 다음 한 단어(토큰)만 예측한다. DS는 아예 1~2개를 더 예측한 후에야 다음 예측어를 내놓는다. 즉 NWP를 두 세번 되풀이해 다음(+1), 그 다음(+2), 또 그 다음(+3) 예측을 한 다음, 첫번째(+1) 예측어 만을 발표한다. 'The man forgot ____'에서 'The man forgot about the meeting'이라고 3 토큰을 속으로 예측하고, about을 다음 예측어로 밖에 제출한다. 멀리 보는 덕분에 문맥을 더 잘 이해할 수 있다. *논리에 강화학습(RL): DS는 수학, 코딩, 논리에 훈련돼 있다. 그들의 사고 방식은 CoT(Chain of Thought)로써 생각을 잘라 단계적으로 또 논리적으로 말하는 방식이다. 5*8+15는 5*8=40, 그리고 나서 40+15=55라고 답합니다. CoT는 원래 환각 현상을 줄이겠다고 만들었지만, 논리 전개에도 효과적이다. 게다가 강화학습(RL)이 신경망과 연결해 수행한다. 행위자-비평가 방식으로 행위자의 정책이 신경망에 매개변수 형태로 들어가 있다. 이를 비평가가 평가하면, 행위자가 이를 받아 점수를 높이도록 매개변수를 수정한다. 과거 LLM들은 RL을 파인튜닝에 썼는 데 반해, DS는 기초 모델에 적용했다. 이러한 개선은 수출 규제로 인해 고성능 GPU가 아닌 조금 낮은 NVIDIA H800를 쓰며, 할 수 없이 절약하다 보니 기존 LLM 제조사가 놓친 혁신을 이끌었다. 또 DS의 다른 성공요인으로는, 대학교 막 졸업생으로 LLM 개발에 경험이 없는 젊은이들이 겁 없이 새로운 생각과 그들 고유의 열정으로 큰 일을 저질렀다. 이러한 혁신은 타기업에 의해 복사되고 발전될 것이다. DS는 게임체인저로서 영원히 기억될 것이다. DS 창업자가 한 일은 '로컬화'다. DS의 성공적인 절약 덕에 이제 LLM을 기업 서버나 센 desktop에서 작동(런)할 수 있게 됐다. 기존 LLM은 중앙 데이터 센터에서 작동한다. 이러한 변화는 IBM 대형 전산시대에서 홈PC 시대로의 전환을 생각나게 한다. 즉 '홈LLM'이 가능해질 것이다. 또 미래 LLM은 실시간 인터넷이나 엑셀, 워드 같은 다른 애플리케이션을 통제 관리할 것이다. 기업 역시 전사적으로 ERP, RDB, CRM을 연결하는 단일 UI(유저 인터페이스)가 될 것이다. 겁나게도, 2025년초에 발생한 이 쇼크는 중국의 새로운 힘과 새로운 시대에 대한 경고로 읽혀진다. 자, 우리 차례다.

2025.02.01 09:13황승진 컬럼니스트

  Prev 1 2 3 Next  

지금 뜨는 기사

이시각 헤드라인

젠슨 황 CEO 불명예 퇴진..."콜렛 크레스 CFO가 대행"

네카오 3Q 수익, AI 투자 규모차로 희비…‘실행형’ 에이전트에 베팅

CSOT "8.6세대 잉크젯 OLED 내년 4분기 양산"

[포스트 젠슨 황] 엔비디아 성장세 이어질까...국내 반도체 공급망도 주목

ZDNet Power Center

Connect with us

ZDNET Korea is operated by Money Today Group under license from Ziff Davis. Global family site >>    CNET.com | ZDNet.com
  • 회사소개
  • 광고문의
  • DB마케팅문의
  • 제휴문의
  • 개인정보취급방침
  • 이용약관
  • 청소년 보호정책
  • 회사명 : (주)메가뉴스
  • 제호 : 지디넷코리아
  • 등록번호 : 서울아00665
  • 등록연월일 : 2008년 9월 23일
  • 사업자 등록번호 : 220-8-44355
  • 주호 : 서울시 마포구 양화로111 지은빌딩 3층
  • 대표전화 : (02)330-0100
  • 발행인 : 김경묵
  • 편집인 : 김태진
  • 개인정보관리 책임자·청소년보호책입자 : 김익현
  • COPYRIGHT © ZDNETKOREA ALL RIGHTS RESERVED.