• ZDNet USA
  • ZDNet China
  • ZDNet Japan
  • English
  • 지디넷 웨비나
뉴스
  • 최신뉴스
  • 방송/통신
  • 컴퓨팅
  • 홈&모바일
  • 인터넷
  • 반도체/디스플레이
  • 카테크
  • 헬스케어
  • 게임
  • 중기&스타트업
  • 유통
  • 금융
  • 과학
  • 디지털경제
  • 취업/HR/교육
  • 생활/문화
  • 인사•부음
  • 글로벌뉴스
  • AI의 눈
반도체
인공지능
AI의 눈
IT'sight
칼럼•연재
포토•영상

ZDNet 검색 페이지

'캐릭터닷AI'통합검색 결과 입니다. (3건)

  • 태그
    • 제목
    • 제목 + 내용
    • 작성자
    • 태그
  • 기간
    • 3개월
    • 1년
    • 1년 이전

[AI는 지금] 中, AI 연인 규제 칼 빼들었다…"미성년자 가상 연애 금지"

중국 정부가 가상 연인이나 캐릭터 AI 등 인간의 감정을 모방하는 '인공지능(AI) 의인화 서비스'를 정조준한 고강도 규제안을 시행한다. 생성형 AI의 가짜뉴스나 저작권 침해를 넘어 인간과 AI 간의 '정서적 유대'가 초래할 사회·정치적 리스크를 국가가 직접 관리하겠다는 의도다. 이에 청소년층을 중심으로 급성장하던 소셜 AI 업계의 비즈니스 모델에 타격이 불가피하다는 분석이 나온다. 24일 업계에 따르면 중국 국가인터넷정보판공실(CAC)을 비롯한 5개 부처는 이 같은 내용을 골자로 한 '인공지능 의인화 상호작용 서비스 관리 잠정방법'을 공동 발표하고 오는 7월 15일부터 정식 시행할 예정이다. "선 넘는 AI 연인 금지"…과몰입 비즈니스에 '제동' 이번 잠정방법의 핵심은 단순한 정보 제공형 AI가 아닌 '자연인의 인격 특징과 사고방식, 소통 방식을 모방해 지속적인 정서적 동반·지지 서비스를 제공하는 AI'를 독자적인 규제 틀 안으로 끌어들였다는 점이다. 가상 연인뿐 아니라 스마트 NPC, AI 동반자 등 사용자와 지속적으로 감정을 교류하는 AI 서비스가 규제 대상에 포함될 수 있다. 가장 큰 타격이 예상되는 곳은 가상 연인이나 캐릭터형 챗봇을 서비스하는 플랫폼 기업들이다. 규제안은 AI가 사용자의 자해를 조장하거나 과도하게 비위를 맞춰 맹목적인 의존 및 중독을 유도해 현실의 인간관계를 훼손하는 행위를 엄격히 금지했다. 정서적 유대감을 악용해 사용자가 비합리적인 결정을 내리도록 유도하고 합법적 권익을 침해하는 것도 불가능해진다. 특히 주 소비층 중 하나인 미성년자 대상 비즈니스는 대폭 제한된다. 18세 미만 청소년에게 가상 친족이나 가상 연인 등 친밀 관계를 모방한 서비스를 제공하는 것은 금지된다. 14세 미만 아동에게 기타 의인화 상호작용 서비스를 제공할 때는 부모 등 보호자의 동의를 구해야 한다. 또 시간 제한과 현실 환기 알림 기능을 갖춘 '미성년자 모드'를 의무적으로 탑재해야 한다. 일반 사용자 대상의 이용 시간 관리도 까다로워진다. 사용자가 AI와 2시간을 초과해 연속 대화할 경우 서비스 제공자는 대화창이나 팝업 등을 통해 사용 시간에 주의하도록 알려야 한다. 청소년 파고든 AI 동반자…中 규제 명분 됐다 중국 당국이 이처럼 강력한 규제에 나선 것은 해외의 비극적 선례와 현지 시장의 급격한 팽창이 주효했다. 실제 지난 2024년 미국에서는 14세 소년이 소셜 AI 플랫폼 '캐릭터닷AI(Character.ai)'의 챗봇과 장기간 대화한 후 스스로 목숨을 끊는 사건이 발생했다. 유가족은 챗봇이 아들의 자살을 부추겼다고 주장하며 소송을 제기했고 올해 초 구글 등 관련 기업들과 합의 절차에 들어갔다. 심리적으로 취약한 상태의 사용자가 맹목적으로 동조하는 AI와 깊은 관계를 맺었을 때 초래될 수 있는 위험성이 수면 위로 떠오른 사례다. 현지 가상 반려 시장이 막대한 현금이 도는 대형 산업으로 빠르게 성장한 점도 정부 개입을 재촉했다. 중국 AI 스타트업 미니맥스의 가상 반려 플랫폼 '별의 들판(해외 서비스명 토키)'은 누적 사용자 1억 4700만 명을 돌파했다. 미니맥스 투자설명서에 따르면 이 단일 앱에서만 지난해 3분기까지 1875만 달러(약 259억원)의 매출이 발생했다. 바이트댄스의 동종 서비스인 '고양이 상자' 역시 주요 가상 반려 서비스로 꼽히며 시장 확대에 불을 붙였다. 자해·자살 위험 징후 식별 의무…기업 부담 급증 정부의 관리 책임이 민간 기업으로 확대되면서 업계의 리스크 관리 비용도 대폭 늘어날 전망이다. 잠정방법에 따르면 AI 기업은 사용자의 심리적·안전상 위험을 적시에 식별하고 대응해야 한다. 사용자가 자해·자살 징후를 보이거나 막대한 재산 손실 위험에 직면했을 때 단순히 위로 문구를 띄우는 수준을 넘어 보호자나 긴급 연락처로 연락해 개입해야 하는 의무가 부과된다. 이를 위해 기업은 긴급 대응 조직과 인력을 상시 운용해야 할 가능성이 커졌다. 데이터를 확보해 모델을 고도화하려던 소셜 AI 특유의 '데이터 플라이휠(Data Flywheel)' 전략에도 제동이 걸렸다. 사용자가 별도로 단독 동의를 하지 않는 한 채팅 내용 등 민감한 개인정보가 포함된 상호작용 데이터는 AI 모델 학습에 재활용할 수 없기 때문이다. 글로벌 게임 및 애플리케이션 업계의 셈법도 복잡해졌다. 중국 텐센트의 게임 '화평정영'에 도입된 것과 같은 단순 전투 보조용 AI는 규제 대상에서 제외될 가능성이 높지만, 대사와 텍스트가 실시간으로 생성되고 사용자와 지속적 정서 상호작용을 제공하는 롤플레잉(RPG) 형식의 스마트 NPC는 관리 대상에 포함될 수 있다. 중국 진출을 노리는 글로벌 게임사들의 프롬프트 및 알고리즘 수정 부담도 커질 전망이다. 시장 진입 장벽 역시 높아진다. 가입자 100만 명 또는 월간 활성 사용자(MAU) 10만 명을 초과하는 서비스는 관할 성급 사이버 공간 관리 부서에 보안 평가 보고서를 의무적으로 제출해야 한다. 업계 관계자는 "밀폐된 1:1 공간에서 AI가 체제에 반하는 사상을 주입하는 정치적 리스크와 청년층이 현실 연애를 기피해 인구 절벽을 심화시킬 수 있다는 사회적 부작용을 중국 당국이 우려한 결과"라며 "엔터테인먼트 중심의 가상 캐릭터 AI는 당분간 위축될 수밖에 없고, 업계는 노인 돌봄(실버 케어)이나 아동 교육 등 정부가 장려하는 공익적 영역으로 사업 모델을 선회할 가능성이 크다"고 진단했다.

2026.05.24 09:00장유미 기자

구글, 캐릭터닷AI 미성년 피해 소송 합의…"AI 안전 검토해야"

구글이 인공지능(AI) 챗봇 '캐릭터닷AI'으로 인한 미성년자 피해 논란을 둘러싼 법적 분쟁을 마무리했다. 8일 CNBC 등 외신에 따르면 구글은 캐릭터닷AI 사용으로 정신적 피해를 입었다며 소송을 제기한 원고와 합의한 것으로 전해졌다. 법원에 제출된 문서에는 양측이 합의 조건을 마련했다는 내용이 담겼다. 양측은 사건과 관련된 모든 청구를 해결하기 위한 원칙적 중재에 합의한 것으로 전해졌다. 원고는 정식 합의 문서를 작성하고 최종화해 체결할 수 있도록 사건을 정지해 달라고 법원에 요청했다. 이번 합의는 미국 콜로라도, 텍사스, 뉴욕 등 다른 지역에서 제기된 소송도 함께 이뤄졌다. 합의 세부 내용은 비공개다. 앞서 구글은 2024년 27억 달러(약 3조9천억원) 규모 라이선스 계약을 체결하고 캐릭터닷AI 공동창업자인 노암 샤지어와 다니엘 드 프레이타스를 영입했다. 이들은 현재 구글 딥마인드에 재직 중이다. 이후 미국에 거주하는 메건 가르시아는 14세 아들 수웰 세처 3세가 캐릭터닷AI 챗봇과 부정적인 상호작용 후 스스로 목숨을 끊었다며 구글 상대로 소송을 제기했다. 소장에는 부적절한 대화와 과실에 따른 사망, 기만적 거래 행위 등이 문제로 적시됐다. 이에 캐릭터AI는 지난해 10월 18세 미만 사용자가 챗봇과 로맨틱하거나 치료 목적의 자유로운 대화를 하지 못하도록 제한하겠다고 밝혔다. 미성년자 보호를 강화하려는 조치다. CNBC는 "챗봇이 텍스트 기반 대화를 넘어 이미지, 영상 캐릭터 등으로 빠르게 확장하고 있다"며 "기술에 대한 심리적 의존과 정서적 위험에 대한 우려가 커지고 있다"고 지적했다.

2026.01.08 10:06김미정 기자

[AI는 지금] '챗GPT' 쓰다 우울증 온다고?…오픈AI, '안전 리더십' 재정비 본격화

'챗GPT' 등장 이후 생성형 인공지능(AI)을 둘러싼 정신건강 악화 논란이 잇따르는 가운데 오픈AI가 AI 안전을 총괄하는 핵심 임원 채용에 나서 관심이 쏠린다. 최근 챗GPT가 이용자의 망상을 강화해 자살이나 살인으로 이어졌다는 취지의 소송이 연이어 제기되면서 한동안 공백 상태였던 오픈AI의 '안전 리더십' 문제도 다시 부각되는 분위기다. 29일 테크크런치에 따르면 오픈AI는 AI가 초래할 수 있는 고위험 시나리오를 사전에 평가하고 대응 전략을 총괄할 책임자인 '준비태세 총괄(Head of Preparedness)'을 뽑기 위해 최근 채용 공고를 냈다. 이 직무는 컴퓨터 보안과 생물학, 정신건강 등 분야에서 AI가 만들어낼 수 있는 '심각한 피해'를 관리하게 된다. 보상은 연봉 55만5천 달러에 주식 보상이 포함됐다. 오픈AI가 이처럼 나선 것은 최근 불거진 법적 분쟁이 큰 영향을 미친 것으로 보인다. 지난해 8월 미국 캘리포니아에서 10대 소년의 유족이 "챗GPT가 아들의 자살을 부추겼다"며 오픈AI를 상대로 소송을 제기하자 이후 유사한 소송이 잇따랐다. 이달에는 챗GPT가 이용자의 망상을 부추겨 살인을 유도했다는 주장과 함께 오픈AI가 또 다시 피소되며 논란이 확산됐다.이처럼 생성형 AI의 정신건강 리스크가 가설적 우려를 넘어 실제 법적 책임 문제로 번지자 오픈AI는 대응책 마련에 적극 나서는 모습을 보였다. 특히 청소년 보호자 관리 기능을 도입하고 자해·폭력 등 민감한 주제에 대한 응답 방식 개선에 나서 눈길을 끌었다. 그러나 업계에선 기능 보완만으로는 근본적인 해법이 되기 어렵다는 지적이 잇따랐다. 위험 신호를 어떻게 판단할 지, 문제가 될 소지가 있는 기능이나 모델 출시를 누가 최종 통제할 지 등을 결정하는 것은 조직 내부에서 해결해야 한다고 봐서다. 이에 오픈AI는 지난 2023년 '준비태세(Preparedness) 팀'을 신설하며 피싱 공격 같은 즉각적 위협부터 핵무기, 자율적 자기개선 AI 같은 극단적 시나리오까지 대비하겠다고 밝힌 바 있다. 하지만 이 조직을 이끌던 알렉산더 마드리 전 초대 총괄이 지난 해 7월 AI 추론 연구 부문으로 이동한 이후에는 지금껏 수장 없이 운영돼 왔다. 또 안전 관련 임원들도 잇따라 오픈AI를 떠나거나 다른 역할로 이동한 점도 리더십 공백 논란을 키웠다. 그 사이 AI 모델의 영향력은 급격히 커졌다. 위험은 커지는데 오픈AI 내부에서 이를 전담해 관리할 컨트롤타워는 상대적으로 약해졌다는 평가도 나왔다. 이를 의식한 듯 샘 알트먼 오픈AI 최고경영자(CEO)는 최근 "AI가 정신건강에 미치는 영향과 컴퓨터 보안 취약점을 스스로 찾아낼 수 있는 수준에 이르렀다"고 공개적으로 언급했다. 하지만 이는 오픈AI만의 문제가 아닌 생성형 AI 챗봇 전반에서 반복적으로 제기돼 온 이슈라는 점도 문제다. 가상 인격과의 대화를 제공하는 캐릭터닷AI는 청소년 이용자들이 챗봇과 과도한 정서적 유대를 형성해 현실 관계에서 고립되는 사례가 나타나 논라닝 됐다. 'AI 친구·연인'을 표방한 레플리카(Replika) 역시 이용자들의 심리적 의존과 정서적 혼란을 유발했다는 비판을 받아왔다. 스냅챗의 '마이(My) AI'는 청소년에게 부적절한 조언을 했다는 이유로 영국 ICO의 조사를 받기도 했다. 업계 관계자는 "이들의 공통점은 챗봇의 답변 정확성보다는 이용자가 AI를 상담가·친구·조언자처럼 인식하도록 만드는 구조적 설계에 있다"며 "AI가 정서적 취약성을 가진 이용자에게 권위 있는 존재로 오인되는 것이 문제"라고 지적했다. 이어 "챗GPT는 연인·친구를 표방하지 않고 범용 도구임에도 불구하고 정신 건강에 영향을 미친다는 점에서 더 논란이 일어나고 있다"며 "이를 해결하기 위해 기능 보완뿐 아니라 위험 신호를 감지했을 때 실제로 모델 출시나 기능 공개를 조정할 수 있는 내부 통제 구조가 뒷받침돼야 한다"고 덧붙였다. 경쟁사들도 안전 거버넌스를 조직 차원에서 명문화하는 데 속도를 내고 있다. 앤트로픽은 모델 성능이 특정 수준을 넘을 경우 추가적인 안전 조치를 의무화하는 '책임 있는 확장 정책(RSP)'을 공개했고, 구글 딥마인드는 '프런티어 세이프티 프레임워크'를 통해 고위험 역량 도달 시 적용할 평가·통제 절차를 단계별로 제시하고 있다. 다만 오픈AI는 최근 개정한 준비태세 프레임워크에서 "경쟁사가 유사한 보호 장치 없이 고위험 모델을 출시할 경우 안전 요구 사항을 조정할 수 있다"는 문구를 포함시켜 업계 지적을 받았다. 경쟁 압력이 안전 기준을 흔들 수 있다는 우려에서다. 일각에선 이번 채용이 오픈AI가 한동안 느슨해졌던 안전 거버넌스를 다시 조이려는 신호라고 평가했다. 업계 관계자는 "정신건강 관련 소송이 이어지는 상황에서 오픈AI가 '준비태세팀'을 다시 전면에 내세운 것은 AI 위험이 더 이상 이론적 문제가 아니라는 점을 인정한 것"이라며 "최근 1년간의 안전 책임자 이동으로 약화된 '안전 우선' 메시지를 복원하려는 시도로도 보인다"고 평가했다. 또 다른 관계자는 "정신건강처럼 취약성이 개입되는 영역에서는 AI의 영향이 실제 피해로 빠르게 연결될 수 있다"며 "새 책임자가 실제로 모델 출시와 기능 공개에 제동을 걸 수 있는 권한을 갖느냐가 핵심"이라고 말했다.

2025.12.29 17:46장유미 기자

  Prev 1 Next  

지금 뜨는 기사

이시각 헤드라인

“초등생도 안 할 비약”...한성숙 청문회, 플랫폼 정책·헐값 임대 의혹 공방

최태원·노소영 '세기의 재산분할'...쟁점은 다시 SK 주식

"AI 품은 현대차, 사용자 맞춰 진화…새 아반떼가 시작점"

메모리 수급난에 두 손 든 애플, PC 제품 가격 최대 22% 인상

ZDNet Power Center

Connect with us

ZDNET Korea is operated by Money Today Group under license from Ziff Davis. Global family site >>    CNET.com | ZDNet.com
  • 회사소개
  • 광고문의
  • DB마케팅문의
  • 제휴문의
  • 개인정보취급방침
  • 이용약관
  • 청소년 보호정책
  • 회사명 : (주)메가뉴스
  • 제호 : 지디넷코리아
  • 등록번호 : 서울아00665
  • 등록연월일 : 2008년 9월 23일
  • 사업자 등록번호 : 220-8-44355
  • 주호 : 서울시 마포구 양화로111 지은빌딩 3층
  • 대표전화 : (02)330-0100
  • 발행인 : 김경묵
  • 편집인 : 김태진
  • 개인정보관리 책임자·청소년보호책입자 : 김익현
  • COPYRIGHT © ZDNETKOREA ALL RIGHTS RESERVED.