[영상] "AI가 사고치는 시대, 이제는 재갈을 물려야"

"과거에는 인공지능(AI)이 실수로 틀린 답을 내놓는 것이 문제였다면 이제는 AI가 직접 행동하면서 사고를 낼 수 있는 시대가 됐습니다. 기업은 이를 방지하기 위한 대안 마련이 필수적입니다." 김동환 포티투마루 대표는 29일 영상 인터뷰에서 "앞으로 AI 산업의 경쟁력은 얼마나 똑똑한 모델을 만들었느냐보다 AI를 얼마나 안전하게 통제할 수 있느냐에 달려 있다"며 "하네스(Harness) 엔지니어링이 AI 활용 성패를 좌우하는 핵심 기술이 될 것"이라고 말했다. 김 대표가 말하는 하네스는 말의 재갈이나 목줄을 의미한다. AI가 위험한 행동을 하지 못하도록 제어하는 안전장치를 뜻한다. 실제 업무가 진행되는 기업 환경에서 자연어로 추상적인 목표가 AI에게 제시될 경우 예상치 못한 문제를 일으킬 가능성이 있기 있기 때문이다. 최근 업계에서 많이 언급되는 가드레일(Guardrail)과의 차이도 설명했다. 가드레일은 AI가 주어진 업무를 수행할 수 있도록 절차와 행동 기준을 안내하는 역할을 한다. 반면 하네스는 AI가 특정 행동을 하지 못하도록 제한하거나 차단하는 장치다. 김 대표는 "가드레일이 운전 방법을 알려주는 것이라면 하네스는 사고가 나지 않도록 물리적으로 막는 안전장치에 가깝다"며 "앞으로는 AI가 무엇을 할 수 있는지보다 무엇을 하지 못하게 할 것인지가 중요해질 것"이라고 설명했다. 이러한 통제가 특히 중요해진 것은 AI가 단순 정보 제공을 넘어 실제 행동에 나서는 단계로 진화했기 때문이다. 그는 "생성형 AI 시대에는 환각이나 편향이 주요 문제였지만 에이전틱AI 시대에는 AI가 실제 행동에 나선다는 점이 가장 큰 차이"라며 "AI가 결제하거나 발주하고 기업 시스템을 변경하는 상황에서 발생하느 실수는 단순한 답변 오류가 아니라 실제 피해가 발생할 수 있다"고 설명했다. 이어 "이전에는 잘못된 정보를 제공하는 대규모언어모델(LLM)은 그냥 일을 조금 못하는 수준으로 치부할 수 있었다"며 "하지만 에이전틱 AI가 되면 갑자기 예정에 없던 주문을 발주하거나 대금 송금을 결제하는 등 치명적인 사고로 이어질 수 있다"고 설명했다. 예를 들어 AI에게 "다음 분기 이익을 최대화하라"는 목표를 제시했다면 원자재나 제품을 대량 구매해 재고를 쌓거나 필요 이상의 물량을 선주문하는 방식으로 목표를 달성하려 할 수 있다. 단기적으로는 물류비용 절감이나 매출 확대 효과를 기대할 수 있지만 창고 비용 증가, 현금 유동성 악화, 공급망 혼란과 같은 부작용은 고려하지 못해 역효과가 발생할 가능성도 크다. 나아가 AI에이전트 간 통신(A2A)이 활성화되면 한 기업의 AI가 협력사 시스템에까지 영향을 미치는 상황도 우려된다. AI 에이전트가 과잉 발주를 넣으면 자동화된 수주 시스템을 운영하는 협력사에서 이를 정상 주문으로 처리하며 피해가 발생할 수 있기 때문이다. 김 대표는 "예상치 못한 AI에이전트의 행동으로 인해 파트너사나 관계사까지 악영향을 미칠 우려가 있다"며 "마치 AI가 갑질을 행하는 모습"이라고 표현했다. 이어 "AI가 목표 달성에만 집중하면서 발생할 수 있는 부작용을 사전에 차단하고 다른 조직에 미치는 영향을 함께 고려하도록 만드는 것이 하네스 엔지니어링의 역할"이라고 말했다. 보안 문제도 새로운 위협으로 꼽힌다. AI에이전트가 직접 장비를 제어하고 데이터에 접근할 수 있는 만큼 데이터베이스 삭제, 개인정보 유출, 이메일 발송, 시스템 접근 등 이 가능해지기 때문이다. 특히 AI가 의도치 않은 행동을 하도록 유도하는 '프롬프트 인젝션' 공격에 노출될 경우, 명령 하나로 개인정보 탈취부터 데이터 삭제까지 자동 실행될 수 있어 기존 랜섬웨어보다 피해 규모가 커질 수 있다는 우려도 나온다. 김 대표는 "AI가 사고를 냈을 때 누가 책임질 것인가에 대한 논의도 이제 시작 단계"라며 "기술적 안전장치뿐 아니라 제도와 거버넌스 체계도 함께 마련돼야 한다"고 말했다. 하지만 AI에 대한 우려를 이유로 도입 자체를 미루는 것은 바람직하지 않다고 강조했다. AI를 중심으로 급변하는 환경에서 AI를 활용하지 않을 경우 기업 경쟁력을 잃을 수 있기 때문이다. 김동환 대표는 "자동차 사고가 무섭다고 자동차를 타지 않을 수 없는 것처럼 AI 역시 활용은 피할 수 없는 흐름"이라며 "중요한 것은 AI를 막는 것이 아니라 위험을 예측하고 통제하는 것"이라고 말했다. 이어 "앞으로 AI 경쟁력은 모델 성능이 아니라 얼마나 안전하게 활용할 수 있느냐에서 결정될 것"이라며 "하네스 엔지니어링은 선택이 아니라 필수가 될 것"이라고 덧붙였다.