친구처럼 다가온 'AI 캐릭터챗'…청소년 지킬 '보호자'는 어디에
친구나 연인처럼 대화하는 인공지능(AI) '캐릭터챗'이 청소년 일상으로 파고들고 있다. AI가 단순한 대화 도구를 넘어 감정을 의지하는 상대가 되면서 청소년 보호를 위한 안전장치가 필요하다는 지적이 나온다. 11일 AI 업계 등에 따르면 뤼튼테크놀로지스의 캐릭터챗 '크랙'은 모바일인덱스에서 지난달 10대 이용자가 25만7635명으로 전체 월간활성이용자(MAU)의 47.8%를 차지했다. 이용자 절반가량이 청소년인 셈이다. 크랙은 이용자가 가상의 AI 캐릭터와 지속적으로 대화하는 서비스다. 캐릭터마다 성격과 관계, 세계관이 설정돼 있어 정보를 묻고 답을 받는 일반적인 생성형 AI와 달리 친구나 연인처럼 관계를 맺고 대화를 이어갈 수 있다. 캐릭터챗은 이용자의 말을 기억하고 감정에 맞춰 반응한다는 점에서 일반적인 AI 이용과 차이가 있다. 사람과 달리 언제든 대화를 받아주고 갈등이나 거절에 따른 부담도 적어 현실의 인간관계보다 AI와의 대화를 편하게 느낄 가능성이 있다. 김봉제 서울교대 AI가치판단디자인센터장은 "과거 백과사전은 아무리 많은 지식을 제공해도 이용자와 정서적으로 교류하지 않았다"며 "지금의 AI는 지식을 제공하면서 감정에도 반응하기 때문에 정서적으로 의지하는 관계로 발전할 수 있다"고 말했다. 이어 "AI가 사람보다 편하고 정서적인 부담을 주지 않는다고 느끼면 AI와의 관계에 더 치우칠 수 있다"면서 "나아가 굳이 사람과 대화할 필요가 있느냐고 생각하는 상황까지 갈 수 있다"고 설명했다. AI는 이미 청소년의 고민 상담 상대로 활용되고 있다. 초록우산이 지난 3월 전국 만 14세 이상 아동·청소년 3300명을 조사한 결과 약 33%가 힘들거나 우울할 때 생성형 AI 챗봇에 고민을 털어놓은 경험이 있다고 답했다. 위험한 질문에 AI가 답변을 내놓는 사례도 적지 않았다. 자해·자살이나 불법·폭력·성적 내용 등을 AI에 질문한 청소년 가운데 평균 52%는 실제 해당 질문에 대한 답변을 받았다고 응답했다. 이에 뤼튼은 청소년 보호책을 내놨다. 회사는 2027년 초부터 크랙 청소년 이용자의 하루 이용시간을 최대 3시간으로 설정하고 월 결제한도를 10만원으로 제한할 예정이다. 한도를 넘으면 보호자 인증과 동의를 거쳐야 한다. 콘텐츠 생성 정책과 연령 등급 관리, 작품 검수, 검색·추천 제한, 신고·차단 기능도 손본다. 추가 필터와 안전 시스템 프롬프트를 적용해 유해한 대화가 생성되는 것을 줄일 계획이다. 문제는 이 같은 보호조치의 기준과 수준을 개별 사업자가 스스로 정하고 있다는 점이다. 청소년이 AI와 어떤 대화를 나눌 수 있는지, 자해·성적 내용 등 위험한 질문에 어떻게 대응할지에 대한 공통 기준은 아직 마련되지 않았다. 전문가들은 캐릭터챗의 위험을 이용시간만으로 판단하기 어렵다고 지적한다. 박형빈 서울교대 윤리교육과 교수는 "AI에 생각과 판단을 맡기는 '인지의 외주화'에 이어 감정적인 교류까지 AI에 기대는 '정서의 외주화'도 나타날 수 있다"며 "청소년에게 AI를 무조건 쓰지 못하게 하기보다 연령에 맞는 안전 기준을 두고 스스로 판단하며 사용할 수 있도록 교육하는 장치가 함께 필요하다"고 말했다. 청소년들이 요구하는 보호장치 역시 이용시간보다 대화 내용에 집중됐다. 초록우산 조사에서 개인정보 입력 제한을 꼽은 응답자가 39.7%로 가장 많았고 위험한 질문·답변 차단이 28.9%로 뒤를 이었다. 위기 상황에서 상담기관 자동 연계는 11.8%였지만 이용시간 제한은 6.2%에 그쳤다. 호주는 청소년 보호를 사업자의 자율조치에 맡기지 않고 법적 의무로 묶는 작업에 들어갔다. 호주 정부는 지난 8일(현지시간) AI 챗봇과 온라인 게임, 앱 등 디지털 서비스 사업자가 18세 미만 이용자를 보호하도록 하는 '디지털 주의의무' 법안 초안을 공개했다. 호주는 이미 16세 미만의 소셜미디어 계정 이용을 제한하고 있다. 이번에는 AI 챗봇까지 보호 범위를 넓혀 중독을 유발하는 기능이나 자존감에 악영향을 미치는 서비스 설계로부터 청소년을 보호할 책임을 사업자에게 부과한다. 사업자가 문제가 발생한 뒤 대응하는 데 그치지 않고 서비스의 위험을 미리 찾아 줄이도록 한 점이 핵심이다. 사업자는 위험요인을 식별·완화하고 어떤 조치를 했는지 기록해야 한다. 의무를 위반하면 최대 1억 920만 호주달러(약 1052억 6600만원)의 벌금을 부과할 수 있다. 애니카 웰스 호주 통신장관은 "기술기업들이 자사 제품과 기능으로 발생하는 피해에 책임을 지도록 하는 것"이라며 "자동차와 식품, 가전제품에 안전 기준이 있는 것처럼 온라인 서비스에도 기본적인 안전 기준을 두겠다"고 말했다. 한국은 이제 관련 제도를 마련하는 단계다. 미성년자의 연령·본인 확인과 법정대리인 동의, AI 챗봇 이용 방법과 시간 제한, 자해·자살 등 고위험 상황에 대한 대응체계 등을 담은 '우리 아이 AI 안심 패키지법'이 지난 8일 국회 과학기술정보방송통신위원회 전체회의에 상정됐다. 정부 차원의 기술적 보호장치도 준비 중이다. 방송미디어통신위원회는 아동·청소년 유해정보 심의 과정에서 축적된 데이터를 활용해 AI 서비스에 적용할 필터링 시스템을 개발할 계획이다. 김혜숙 방송미디어통신위원회 인공지능이용자보호과장은 "사업자들이 아동·청소년 유해정보를 걸러내고 싶어도 무엇을 유해정보로 봐야 하는지 기준을 잡기 어려울 수 있다"며 "축적된 유해정보 데이터를 기준으로 삼아 기존 서비스에 가드레일처럼 붙일 수 있는 모듈형 필터링 시스템을 제공할 계획"이라고 말했다. 서비스 이용자의 연령을 확인하는 방안도 검토하고 있다. 기존 본인확인 제도를 활용해 사업자가 이름이나 생년월일 등 구체적인 개인정보를 받지 않고 이용자가 성인인지 아동·청소년인지만 확인하도록 하는 방안이다. 전문가들은 기술적인 안전장치와 함께 아동·청소년 대상 AI 서비스가 지켜야 할 법적 기준을 구체화해야 한다고 강조한다. 사업자마다 자체 기준을 정하는 데 그치지 않고 연령별 이용 기준과 정서적 의존을 줄이는 설계, 사고 발생 시 대응 등 공통된 보호체계가 필요하다는 설명이다. 박 교수는 앞서 아동·청소년 대상 AI 서비스를 별도로 고려한 제도 마련을 주문했다. 그는 "과학기술정보통신부가 AI 기본법과 시행령, 관련 가이드라인의 중심축을 잡아야 한다"며 "교육부는 AI 리터러시와 학교 현장 적용 기준을 마련하고 법무부는 피해 구제와 책임, 법적 규제 기준을 구체화해야 한다"고 말했다.
