"AI 때문에 망했다" vs "AI로 대박났다"... 성패를 가르는 이것
65% 기업이 채택한 생성형 AI, 성공의 열쇠는 '책임감' 생성형 인공지능(Generative AI, genAI)의 도입이 폭발적으로 증가하고 있다. 2024년 맥킨지 조사에 따르면 65%의 조직이 정기적으로 생성형 AI를 사용하고 있으며, 이는 불과 10개월 전보다 거의 두 배 증가한 수치다. 또한 미국 성인의 39.4%가 생성형 AI를 사용하고 있으며, 24%의 근로자가 최소 주 1회 이상 사용하고 있다고 보고됐다. 이러한 급속한 도입 속에서 주목할 점은 책임감 있는 AI 사용이 성공을 좌우하는 핵심 요인으로 부상했다는 것이다. 캘리포니아 대학교 버클리 캠퍼스의 'BAIR 책임감 있는 AI 이니셔티브(BAIR Responsible AI Initiative)'가 발표한 플레이북에 따르면, 생성형 AI를 성공적으로 활용하고 있는 조직들은 모두 AI 위험에 주의를 기울이고 있는 반면, 위험 대응에 뒤처진 조직들은 혜택을 제대로 활용하지 못하고 있다. 챗GPT에서 신용카드 정보 추출 성공... 5가지 치명적 위험 요소 플레이북은 제품 관리자들이 특히 주의해야 할 5가지 주요 위험을 제시했다. 첫째는 데이터 프라이버시 문제로, 생성형 AI 모델이 사용자 데이터를 보유하거나 훈련 데이터에서 개인정보나 저작권 자료를 노출할 위험이 있다는 것이다. 실제로 연구진들은 대형 언어 모델에서 이메일 주소, 전화번호, 심지어 신용카드 번호까지 추출할 수 있음을 증명했다. 둘째, 투명성 부족이다. 생성형 AI 모델의 "블랙박스" 특성으로 인해 의사결정 과정을 이해하기 어렵고, AI 시스템을 개발하는 기업들도 훈련 데이터나 모델 아키텍처에 대한 세부사항을 공개하지 않는 경우가 많다. 스탠포드 재단 모델 개방성 지수(Stanford Foundation Model Openness Index)에 따르면 개발자들의 평균 점수는 100점 만점에 58점에 불과했다. 셋째, 환각(Hallucination)과 부정확성 문제다. 생성형 AI 도구들은 거짓 정보를 확신에 차서 제시하는 것으로 악명이 높다. 2024년 스탠포드 연구에서는 법률 분야에서 환각 비율이 69-88%에 달한다고 밝혔으며, 의료 분야에서도 ChatGPT가 생성한 115개 참고문헌 중 47%가 조작된 것으로 나타났다. 넷째, 편향성 문제로, 생성형 AI는 훈련 데이터에 기반한 편향을 보일 수 있다. 이는 특정 인구집단에 대한 성능 저하나 유해한 고정관념의 강화로 이어질 수 있다. 다섯째, 안전성과 보안 취약점으로, 프롬프트 인젝션 공격과 같은 보안 위협이 데이터 유출이나 위험한 정보 제공으로 이어질 수 있다. 리더십용 5전략 vs 제품관리자용 5전략... 총 10가지 실행 가이드 플레이북은 조직 리더십과 제품 관리자를 위한 총 10가지 실행 전략을 제시했다. 조직 리더십을 위한 5가지 전략은 다음과 같다. 먼저 리더십이 책임감 있는 생성형 AI 사용의 가치를 인식하고, 책임감 있는 AI 원칙을 개발하며, 모든 직원에게 조직의 책임에 대한 의지를 전달해야 한다. 또한 생성형 AI의 책임감 있는 사용을 보장하기 위한 정책과 기준을 구현하고, 핵심 역할을 정의하고 조직 구조를 확립하며 공동 책임 문화를 조성하는 포괄적인 책임감 있는 AI 거버넌스 프레임워크를 구축해야 한다. 아울러 성과, 제품 개발, 지표를 책임과 일치시키도록 인센티브를 업데이트하고, 격차를 해결하고 생성형 AI의 책임감 있는 사용을 지원하기 위한 맞춤형 교육을 실시해야 한다. 제품 관리자를 위한 5가지 전략도 마련됐다. 업무 사용 사례와 제품 개발에서 책임 위험을 평가하기 위한 "직감 점검(gut check)"을 수행하고, 필요와 잠재적 위험을 평가하여 생성형 AI 제품용 모델을 선택해야 한다. 이때 모델, 파인튜닝 데이터, 주요 고려사항을 문서화하여 투명성을 보장하는 것이 중요하다. 또한 교차 기능 팀, 전문가 감독, 조직 원칙 및 핵심 위험과 일치하는 도구를 포함하여 생성형 AI 제품에 대한 위험 평가와 감사를 수행하고, 취약점을 발견하기 위한 레드팀 공격과 적대적 테스트를 구현하면서 시간 경과에 따른 사용자 피드백을 포착하고 대응해야 한다. 마지막으로 책임감 있는 의사결정을 보여주는 간단하고 영향력 있는 행동인 책임 마이크로 모멘트를 추적하고 성과 검토에서 이를 보여줘야 한다. 세일즈포스·마이크로소프트·구글의 책임감 있는 AI 도입 성공 사례 여러 기업들이 이미 책임감 있는 생성형 AI 사용을 위한 구체적인 조치를 취하고 있다. 세일즈포스(Salesforce)는 자체 생성형 AI 모델군인 파이어플라이(Firefly)를 개발하면서 투명성과 책임감 있는 사용에 중점을 두었다. 저작권 침해 위험을 인식하고 공개 도메인 콘텐츠와 라이선스가 있는 콘텐츠로만 모델을 훈련시켜 법적 위험을 완화했다. 마이크로소프트(Microsoft)는 2022년 업데이트된 책임감 있는 AI 표준을 출시했으며, 이는 6가지 AI 원칙과 연결되어 제품 개발 요구사항을 설명한다. 생성형 AI 애플리케이션을 개발하는 팀들은 개발 라이프사이클 전반에 걸쳐 위험을 매핑, 측정, 관리해야 한다. 구글(Google)은 Bard 출시 전에 다양한 배경을 가진 수백 명의 구글러를 모집하여 의도적으로 사용 정책을 위반하고 서비스를 테스트했다. 또한 MLCommons 및 Kaggle과 파트너십을 맺어 "Adversarial Nibbler"라는 공개 AI 경쟁을 만들어 텍스트-이미지 모델을 스트레스 테스트하기 위한 적대적 프롬프트를 크라우드소싱했다. FAQ Q: 생성형 AI를 책임감 있게 사용하는 것이 왜 중요한가요? A: 생성형 AI의 책임감 있는 사용은 브랜드 신뢰도와 평판을 구축하고, 규제 준수를 유지하며, 위험을 완화하여 지속 가능한 성장을 촉진합니다. 특히 57%의 소비자가 기업의 개인정보 사용 방식에 불편함을 느끼고 있어, 책임감 있는 AI 관행은 고객 신뢰 확보에 필수적입니다. Q: 생성형 AI 사용 시 가장 주의해야 할 위험은 무엇인가요? A: 5가지 핵심 위험으로 데이터 프라이버시 침해, 투명성 부족, 환각과 부정확성, 편향성, 안전성과 보안 취약점이 있습니다. 이 중에서도 부정확성은 2024년 글로벌 경영진의 63%가 관련 위험으로 인식하고 있는 최고 위험 요소입니다. Q: 중소기업도 생성형 AI를 책임감 있게 사용할 수 있나요? A: 네, 가능합니다. 플레이북에서 제시하는 '직감 점검' 같은 간단한 방법부터 시작하여 점진적으로 정책과 교육을 확대할 수 있습니다. 조직의 규모와 상관없이 AI 사용 전 기본적인 위험 평가와 투명한 소통만으로도 책임감 있는 사용의 첫걸음을 뗄 수 있습니다. ■ 이 기사는 AI 전문 매체 'AI 매터스'와 제휴를 통해 제공됩니다. 기사는 클로드 3.5 소네트와 챗GPT를 활용해 작성되었습니다. (☞ 기사 원문 바로가기)
