검색 - IT세상을 바꾸는 힘 지디넷코리아

ZDNet 검색 페이지

'리더'통합검색 결과 입니다. (43건)

태그
기간
- 3개월
- 1년
- 1년 이전

재검색

"AI 모델 순위 매기는 '리더보드'는 과장됐다"

인공지능(AI) 언어모델의 성능을 측정해 순위를 매기는 리더보드 점수가 과장됐다는 지적이 이어지고 있다. 기업들이 임의로 데이터를 조정해 모델 점수를 높여 이를 홍보나 투자 유치를 위한 수단으로 활용한다는 이유에서다. 최근 기업들은 자사 거대언어모델(LLM)이나 소형언어모델(SLM) 성능이 오픈AI의GPT-4를 뛰어넘었다는 소식을 전하고 있다. 기준은 깃허브나 허깅페이스, 오픈 Ko-LLM 리더보드 순위다. 오픈 Ko-LLM 리더보드는 한국지능정보사회진흥원(NIA)과 업스테이지가 지난해 구축한 한국어 전용 리더보드다. 개발사가 리더보드에서 모델 등수를 받으려면 몇 가지 과정을 거쳐야 한다. 우선 모델은 벤치마크 테스트를 받는다. 벤치마크는 특정 작업에서 모델 성능을 비교하는 테스트다. 이를 통해 모델은 점수를 받는다. 점수에는 답변 정확성, 속도, 견고성 등으로 이뤄졌다. 모델은 이를 기반으로 리더보드에서 순위가 매겨진다. "답안지 보고 문제 푸는 셈...기업 홍보·투자 유치 수단" 국내 전문가들도 기업들이 평가 과정 틈새를 이용해 모델 벤치마킹 점수와 리더보드 순위를 조작하고 있다고 입을 모았다. 익명을 요청한 국내 AI 기업 대표는 "개발사가 모델에 학습데이터가 아니라 이미 테스트를 거친 공개 평가데이터를 입력해 점수와 등수를 올린다"고 지적했다. 그는 "마치 모델이 시험 답안지를 한번 훑고 문제를 푸는 것과 같은 것"이라며 "당연히 벤치마크 점수와 리더보드 순위가 급상승할 수밖에 없다"고 덧붙였다. 한 국내 대학 연구원은 "보통 벤치마크에서 동일한 질문을 여러 모델에 물어봐야 성능 평가가 가능하다"며 "같은 질문을 했을 때 나오는 답변 수준에 따라 리더보드 순위가 매겨지기 때문"이라고 설명했다. 연구원은 "AI 개발사들은 타사 모델이 답했던 데이터를 단순 참고용으로만 활용해야 하는데, 이를 아예 자사 모델에 집어넣는 행태를 취하고 있다"고 악용 사례를 지적했다. 그는 "현재 벤치마크 종목도 공개된 상태"라며 "개발사는 평가 데이터를 모델에 넣지 않아도, 벤치마크 종목과 유사한 데이터를 생성할 수는 있다"고 설명했다. 모델이 벤치마크 종목 데이터를 집중 학습함으로써 점수를 올릴 수 있는 셈이다. 이런 상황은 해외서도 발생했다. 앞서 마이크로소프트는 SLM '파이-1'이 리더보드에서 오픈AI의 GPT-3.5를 능가했다고 발표한 바 있다. 당시 미국 개발자들은 해당 모델을 직접 테스트한 후 점수가 과장됐다고 지적했다. 이를 증명하는 논문까지 발표된 바 있다. 개발사들이 자사 모델에 '리더보드 1위' 이름표를 붙이려는 이유는 따로 있다. 모델 홍보 효과와 투자 유치에 유용한 수단이기 때문이다. 업계 관계자는 "기업이 자사 LLM을 리더보드 상위권에 올리면 해당 기업 주가도 덩달아 오른다"며 "추후 투자자들에게도 이를 적극 어필한다"고 설명했다. 그는 "투자가 급하거나 주식 상승 효과를 보고 싶은 기업이 리더보드를 통해 자사 모델 홍보를 하는 추세"라며 "돈 있는 기업이거나 AI 전문가들은 리더보드에 관심 없다"고 했다. 업스테이지 "해당 현상 알고 있어…조치 논의 중" 지난해부터 NIA와 오픈 Ko-LLM 리더보드를 운영하는 업스테이지도 해당 현상을 인지하고 있다고 밝혔다. 업스테이지 관계자는 "벤치마크 항목은 공개 정보"라며 "개발자는 유사 데이터를 생성할 수 있어 악용 사례가 나올 수밖에 없는 구조"라고 설명했다. 기업이 모델 학습 범위를 평가데이터로만 한정해 점수만 올리려는 '오버피팅'이 가능한 셈이다. 다만 "자사 리더보드는 프라이빗 데이터셋으로 운영된다"며 "개발사가 평가 데이터를 직접 넣을 순 없다"고 덧붙였다. 관계자는 "최근 기업들이 오버피팅으로 모델 점수와 순위를 높이는 상황을 알고 있다"며 "이는 리더보드 생태계 취지와 부합하지 않는다"고 했다. 그는 "업스테이지는 내부적으로 오버피팅을 비롯한 유사 데이터 생성 방지를 막기 위해 징벌 조치를 논의하고 있다"며 "NIA와 상의를 통해 리더보드 평가 과목, 방식을 전면 교체함으로써 악용 사례를 막을 계획"이라고 말했다.

2024.03.26 14:50김미정

[신간] 처음 리더가 봐야할 진짜 리더 이야기 '지금부터 리더' 출간

신임 리더 온보딩을 위한 리더십 팩트 체크, '지금부터 리더'가 24일 출간된다. 이 책은 신임 리더로서 팀과 일을 장악하고, 스스로 성장할 수 있도록 '진짜 리더십'을 알려준다. 지금까지는 맡은 일만 잘 해내기 위해 열심히 달려왔다면, 리더가 된 '지금부터'는 팀과 조직을 관리해야 한다. 책에서는 신임 리더로서 일과 조직을 장악하기 위해, 또 리더십의 기초공사를 위해 6휠을 제안하고 있다. 6휠은 누구나 따라할 수 있는 쉬운 방법으로, 신임 리더가 리더십의 뼈대를 세울 수 있는 확실한 방법이다. 1휠은 지지자 만들기로, 리더에게 추종자가 필요한 이유와 방법을 소개한다. 2휠은 상사의 기대를 확인하고 활용하는 법, 3휠은 팀원의 기대를 확인하고 관리하는 방법, 4휠은 업무 R&R(역할과 책임)을 명확하게 하는 방법, 5휠은 초기 작은 성공을 만들어 신뢰를 쌓는 방법, 마지막으로 6휠은 회고하는 팀이 되는 방법을 제시한다. 신임 리더로서 6휠로 리더십을 장착했다면 이제 본격적으로 팀을 운영해야 할 시간이다. 이때 중요한 것은 이전의 나의 경험과 지식을 그대로 적용하면 안 된다. 시대와 세대가 바뀐 만큼 적합한 방식으로 리더십을 발휘해야 한다. 실무 리더들의 경험과 통찰을 통해 구성원과 함께 일이 되도록 만들고, 조직을 단단하게 하고, 스스로 관리하는 방법을 살펴보자. 비전을 제시하고 커뮤니케이션, 권한위임, 회의나 성과관리, 의사결정 등 일이 되게 하는 리더가 되는 세부적인 방법을 설명한다. 시대가 변하고 세대가 변해도 리더가 갖춰야 할 리더십의 핵심은 있다. 책은 리더십의 체력을 길러줄 수 있는 '신뢰, 진심, 겸손, 공감, 치열, 균형'의 6가지 코어를 드라마, 영화, 다큐를 통해 제시하며 마무리된다. 이 책은 팀을 이끌어 가는 리더로서 첫발을 내디딘 '처음 리더'가 '진짜 리더'가 될 수 있는 다양한 방법을 제시하고 있다. 신임 리더가 빠르게 적응하고, 성공적으로 안착하는 데 도움이 되는 안내서가 될 것으로 기대된다.

2024.02.23 15:43백봉삼

어도비, 애크로뱃·리더 'AI 어시스턴트' 출시

어도비는 '리더'와 '애크로뱃'에 새로운 생성형 AI 구동 대화형 엔진인 AI 어시스턴트 베타를 21일 공개했다. 리더와 애크로뱃의 워크플로우에 긴밀히 통합된 AI 어시스턴트는 긴 문서에 대한 요약과 인사이트를 즉시 생성하고, 사용자 질문에 답하며, 이메일, 보고서 및 발표자료 서식에 맞춰 정보를 제공한다. AI 어시스턴트는 전 세계 약 3조 건의 PDF에 담긴 정보에서 새로운 가치를 창출하는 생성형 AI를 대중에게 제공하고 있다. AI 어시스턴트는 모바일에서 PDF의 반응형 읽기 환경을 지원하며 다수의 수상을 석권한 애크로뱃 리퀴드 모드와 동일한 AI 및 머신 러닝 모델을 활용한다. 이 어도비 자체 모델은 PDF 구조와 콘텐츠에 대한 심층적인 이해를 바탕으로 AI 어시스턴트 결과물의 품질과 안정성을 향상시킨다. 애크로뱃 개인, 프로 및 팀즈 구독자와 애크로뱃 프로 체험판 사용자는 이제부터 AI 어시스턴트 베타를 사용해 별도의 복잡한 설치 없이 보다 생산적으로 작업할 수 있다. 또한 앞으로 몇 주에 걸쳐 리더에도 기능이 추가될 예정이다. AI 어시스턴트는 직관적인 대화형 인터페이스를 통해 PDF 콘텐츠를 기반으로 사용자에게 질문을 제안하거나 문서 내용에 대한 질문에 답한다. 생성형 요약은 가독성 좋은 서식으로 짧은 개요를 생성해 사용자가 긴 문서 내용을 빠르게 파악할 수 있도록 돕는다. 어도비의 맞춤형 인용 출처 엔진 및 자체 AI를 활용하는 지능형 인용을 통해 AI 어시스턴트가 제공한 답변의 출처를 쉽게 검증 가능하다. 클릭 가능한 링크로 간편한 탐색이 가능해, 사용자는 방대한 양의 문서에서도 필요한 정보를 빠르게 찾으며 중요한 정보를 탐색하고 실행하는 데 집중할 수 있다. AI 어시스턴트의 서식 출력을 통해 핵심 요약이나 이메일, 보고서 및 발표용 텍스트 등의 여러 용도에 맞게 정보를 통합하고 서식을 지정할 수 있으며, '복사' 버튼으로 쉽게 잘라 붙이거나 공유할 수 있다. 고객 데이터를 존중하는 AI 어시스턴트는 데이터 보안 프로토콜에 의해 관리되며, 고객 동의 없이 고객 문서 내용을 저장하거나 AI 어시스턴트 학습을 위해 사용하지 않는다. AI 어시스턴트는 PDF 외에도 워드, 파워포인트, 회의 기록 등 모든 종류의 문서 서식을 지원한다. 애크로뱃은 PDF 읽기, 편집 및 변환을 위한 도구다. 데스크톱, 웹, 모바일 기기, 독립형 애플리케이션, 마이크로소프트 및 구글 같은 생산성 앱에 주요 브라우저에 내장되는 등 어디에서나 사용 가능하다. 리더와 애크로뱃의 AI 어시스턴트는 개인부터 대기업까지 모두가 안심하고 사용할 수 있는 안전장치를 갖추고 있다. 대기업 고객에게 엔터프라이즈급 보안 및 정보 거버넌스를 제공한다. AI 어시스턴트는 어도비의AI 윤리 프로세스에 따라 개발됐다. 어도비는 리더 및 애크로뱃의 AI 어시스턴트를 통해 다양한 고객 사례를 처리할 수 있는 기술을 채택함으로써 대규모언어모델(LLM)에 구애받지 않는 접근 방식을 취하고 있다. 어도비는 서드파티 LLM의 어도비 고객 데이터 학습을 금지한다. 리더 및 애크로뱃의 AI 어시스턴트는 긴 문서와 방대한 양의 정보를 유용한 인사이트 및 이해하기 쉽고 실용적인 콘텐츠로 전환한다. 프로젝트 매니저는 회의의 주요 내용을 몇 초 안에 확인하고, 요약 및 공유할 수 있으며, 영업팀은 관련 자료를 맞춤화하고 몇 분 내 고객 요청에 대응할 수 있다. 또한 학생은 자료 검색 대신 분석과 인사이트 발굴에 더 많은 시간을 할애할 수 있고, 소셜 미디어 및 마케팅 팀은 이해관계자를 위한 일간 트렌드 및 이슈 업데이트를 신속하게 제공 가능하다. AI 어시스턴트는 이메일 작성이나 각종 계약서 스캔에 소요되는 시간을 줄여, 어디서나 사무직 근로자와 소비자에게 생산성을 제공한다. 어도비는 이번 발표로 생성형 AI를 활용해 디지털 문서의 가치를 재창조하겠다는 비전을 본격화한다. 어도비는 AI 어시스턴트에 대한 폭넓고 심도 있는 로드맵을 갖고 있다. AI 어시스턴트는 여러 문서 및 문서 유형과 소스에 적용돼 어디서나 가장 중요한 정보를 즉각 제시한다. 지난해 사용자들은 애크로뱃에서 수십억 건의 문서를 편집했다. AI 어시스턴트는 초안을 빠르게 생성하는 한편, 용이한 카피 편집을 위해 어투와 문체를 즉시 수정하고 카피 길이를 줄이거나, 콘텐츠 디자인 및 레이아웃을 제안한다. 어도비의 크리에이티브 생성형 AI 모델 제품군인 파이어플라이와 어도비 익스프레스의 주요 기능을 통해 누구나 쉽게 창의적이고 전문적이며 개인화된 문서를 만들 수 있다. 디지털 협업은 초안에서 완성까지 작업을 수행하는 방식이다. 공유되고 있는 문서 수가 전년 대비 75% 증가하면서 사용자들은 애크로뱃으로 그 어느때보다도 활발한 디지털 협업을 진행하고 있다. 생성형 AI는 피드백과 주석을 분석하고 변경 사항을 제안하며, 상충되는 피드백을 따로 표시하고 해결하도록 지원하는 등 협업 프로세스를 간소화한다. 리더 및 애크로뱃 사용자는 AI 어시스턴트의 베타 종료 후 새로운 애드-온 구독 플랜을 통해 모든 AI 어시스턴트 기능을 이용할 수 있다. 그 전까지 새로운 AI 어시스턴트 기능은 데스크톱 및 웹에서 애크로뱃 스탠더드와 애크로뱃 프로의 개인 및 팀즈 구독 플랜을 통해 영어로만 베타로 이용할 수 있으며, 향후 몇 주 내 데스크톱 리더에서도 영어로 기능을 이용해볼 수 있다. 추후 다른 언어도 지원될 예정이며, 기업 고객의 경우 비공개 베타로 이용할 수 있다. 아비간 모디 어도비 도큐먼트 클라우드 수석 부사장은 “생성형 AI는 PDF내 정보를 실용적인 지식과 전문가 수준의 콘텐츠로 전환하며 보다 지능적인 문서 경험을 제공한다”며 “PDF는 가장 중요한 문서에 대한 사실상 표준으로 이번에 소개된 기능은 리더와 애크로뱃 애플리케이션 및 서비스를 통해 AI 어시스턴트가 제공하고자 하는 새로운 가치의 시작에 불과하다”고 밝혔다.

2024.02.21 09:35김우용