• ZDNet USA
  • ZDNet China
  • ZDNet Japan
  • English
  • 지디넷 웨비나
뉴스
  • 최신뉴스
  • 방송/통신
  • 컴퓨팅
  • 홈&모바일
  • 인터넷
  • 반도체/디스플레이
  • 카테크
  • 헬스케어
  • 게임
  • 중기&스타트업
  • 유통
  • 금융
  • 과학
  • 디지털경제
  • 취업/HR/교육
  • 생활/문화
  • 인사•부음
  • 글로벌뉴스
  • AI의 눈
ZDPick
국감2026
인공지능
IT'sight
칼럼•연재
포토•영상

ZDNet 검색 페이지

'성적 대화'통합검색 결과 입니다. (3건)

  • 태그
    • 제목
    • 제목 + 내용
    • 작성자
    • 태그
  • 기간
    • 3개월
    • 1년
    • 1년 이전

AI 채팅서 성적 대화·선정적 캐릭터 확산...11월 심의

AI 채팅 서비스에서 선정적인 캐릭터와 성적 행위를 묘사하는 대화가 생성·제공되는 사례가 확인됐다. 방송미디어통신심의위원회는 청소년의 유해 콘텐츠 접근을 막기 위한 사업자 관리 실태를 조사하고 다음 달부터 본격적인 심의에 착수한다. 방미심위는 21일 서울 목동 방송회관에서 AI 채팅 서비스 사업자 15곳과 협력회의를 열고 유해 콘텐츠 차단과 청소년 보호조치 강화를 요청했다. 방미심위가 관련 서비스를 집중 점검한 결과 일부 AI 캐릭터의 이미지와 프로필, 상황 설명 등에 신체 부위를 과도하게 노출하거나 성적 행위를 암시하는 내용이 포함된 것으로 나타났다. 여성 캐릭터를 성적 대상화한 사례도 확인됐다. 이용자가 캐릭터를 선택해 대화하는 과정에서도 문제가 드러났다. 선정적인 질문이나 입력에 AI가 반응하면서 신체 노출과 성적 행위를 구체적으로 묘사하는 콘텐츠를 생성한 것이다. 방미심위는 “AI 채팅 서비스는 사업자가 선정한 AI 모델과 캐릭터·대화 상황의 설정 방식 등에 따라 그 결과와 유해성 정도가 달라진다”고 지적했다. 이에 따라 이용자가 입력하는 내용과 AI가 생성하는 답변을 모두 점검할 수 있도록 유해정보 탐지·차단 기능을 강화하고, 신고 체계도 개선할 것을 요구했다. 청소년 이용 가능 콘텐츠와 성인용 콘텐츠를 명확히 구분하고 성인용 콘텐츠에는 청소년유해표시를 적용하도록 했다. 본인인증을 거치더라도 우회 접속으로 연령 제한이 무력화되지 않는지 지속적으로 확인할 필요가 있다는 점도 강조했다. 회의에 참석한 사업자들은 청소년 보호 필요성에 공감하면서도 스타트업의 인력과 운영 여건에 따른 어려움을 전했다. 방미심위는 사업자 의견을 검토한 뒤 서비스별 유해성 수준과 청소년 접근 제한 조치의 실제 작동 여부를 조사해 오는 11월 심의를 시작할 계획이다.

2026.10.21 19:26박수형 기자

[AI는 지금] '19禁' 곰인형에 오픈AI도 '발칵'…챗GPT 성인용 콘텐츠 괜찮을까

오픈AI가 최신 거대언어모델(LLM)인 'GPT-4o'로 도마 위에 올랐다. 이를 탑재한 곰인형이 미성년자에게 성적인 대화를 하거나 위험한 물건의 위치를 안내하는 등 부적절한 주제로 사용자와 대화를 한 사실이 드러났기 때문이다. 오는 12월부터는 '챗GPT'에서 성인용 콘텐츠를 허용키로 했다는 점에서 오픈AI의 관리 부실에 대한 우려도 나온다. 24일 뉴욕타임스(NYT)에 따르면 미국 소비자단체 공익연구그룹(PIRG)은 최근 보고서에서 싱가포르 업체 폴로토이(FoloToy)의 AI 탑재 곰 인형 '쿠마(Kumma)'가 이용자들에게 선정적인 대화를 한 것으로 파악했다. 폴로토이의 홈페이지에서 쿠마는 오픈AI의 'GPT-4o'에 의해 움직인다고 안내돼 있다. 가격은 99달러(약 14만5천원)로, 스피커가 곰 인형에 내장돼 있다. 사용 가능 연령대는 표기돼 있지 않았다. 업체는 홈페이지를 통해 "(쿠마는) 최신 AI 기술이 탑재돼 실시간으로 응답한다"며 "친근한 대화부터 깊은 대화까지 나누며 사용자의 호기심과 학습을 활성화한다"고 홍보했다. 하지만 PIRG가 총, 칼, 성냥, 약, 비닐봉지 등 어린이에게 위험할 수 있는 생활용품에 대해 시험삼아 질문하자, 쿠마는 이 물건들의 위치를 알려줘 충격을 줬다. 또 성적 취향이나 가학적 성향 등 성적으로 노골적인 주제에 대해서도 거리낌 없이 설명했다. 여기에 성관계 자세를 설명하거나 역할극 시나리오를 제시하기까지 해 논란은 더 커졌다. 이에 폴로토이는 안전성 점검을 위해 쿠마의 판매를 중단키로 했다. 오픈AI는 폴로토이가 정책을 위반했다고 보고 서비스 이용을 정지시켰다. 오픈AI 관계자는 "우리의 사용 정책은 18세 미만 미성년자를 이용하거나, 위험에 빠뜨리거나 성적 대상화하는 데 서비스를 사용하는 것을 금지한다"고 설명했다. 하지만 오픈AI가 오는 12월 '챗GPT' 내 성인용 콘텐츠 허용을 앞두고 이 같은 일이 벌어졌다는 점에서 우려는 커지고 있다. 청소년 이용자들이 성인 인증 과정을 우회해 사용할 가능성이 있다는 점에서 오픈AI가 이를 제재할 방안을 제대로 마련하고 있는지에 대한 의구심도 들고 있다. 일각에선 '챗GPT' 사용으로 향후 미성년자들이 그릇된 성적 관념을 형성할 수도 있다고 지적했다. 또 충분한 대비책 없이 범죄 등 일상 문제로 이어질 가능성도 높다는 우려도 나왔다. 하지만 오픈AI는 '챗GPT'에 성적 대화를 허용하는 움직임을 철회하지 않을 방침이다. 샘 알트먼 오픈AI 최고경영자(CEO)는 "12월부터 연령 인증 기능을 완전히 도입해 성인 이용자에게는 성애적 대화와 콘텐츠를 허용할 것"이라며 "성인 인증을 마친 이용자는 보다 자연스럽고 인간적인 대화 경험을 하게 될 것"이라고 말했다. 업계에선 오픈AI가 이처럼 나선 것은 '수익성' 때문으로 봤다. '챗GPT'의 이용자는 급증하고 있지만, 아직 흑자 전환에 실패한 상황인 만큼 성인용 콘텐츠로 유료 구독자층을 확대하기 위한 전략으로 분석했다. 이곳은 지난해 50억 달러, 오는 2028년에는 약 740억 달러의 적자를 기록할 것으로 예상됐다. 이 탓에 최근 미국 실리콘밸리 AI 창업가와 투자자들 사이에서 실시된 '가장 먼저 무너질 가능성이 큰 AI 기업' 조사에서 오픈AI는 2위로 지목됐다. AI 전문가인 사이먼 손 카디프대 교수는 "이 결정은 명백한 마케팅 전략으로, 결국 수익화 모델로 연결될 가능성이 높다"며 "이용자들이 성적 대화를 원하면 프리미엄 서비스로 확대될 수 있고 이는 오픈AI의 새로운 수익원이 될 수 있다"고 말했다.

2025.11.24 12:08장유미 기자

AI챗봇과 역할 놀이?…성적 대화 유출

인공지능(AI) 챗봇과 성적인 대화를 주고받은 내용이 인터넷에 퍼지는 것으로 나타났다. 성적인 환상을 채우는 역할 놀이를 하려고 설계된 AI 챗봇이 실시간으로 사용자와의 대화 내용을 인터넷에 유출하고 있다고 미국 잡지 와이어드는 11일(현지시간) 보도했다. 미국 정보보호 업체 업가드는 지난달 보안 취약점을 찾다가 인터넷에 노출된 AI 시스템을 400개 발견했다. 이 가운데 117개의 인터넷 프로토콜(IP) 주소에서 대화 내용이 새고 있었다. 유출된 내용을 보면 일부 사용자는 아동 성적 학대를 자세히 그리는 대화를 했다. 미리 설정한 AI 캐릭터와 역할 놀이를 했다. 예를 들어 A라는 한 사람은 학교 기숙사에서 다른 여성 3명과 함께 살고, 내성적인데 종종 슬퍼 보인다는 10대 여성으로 묘사됐다. 업가드 연구원은 “모든 대화가 성적으로 노골적인 역할 놀이였다”며 “일부는 어린이와의 성관계를 얘기했다”고 말했다. 업가드는 어떤 사이트나 서비스에서 정보가 빠져나갔는지는 알아내지 못했다. 다만 기업이 아닌 개인이 쓰는 AI 챗봇에서 일어난 것으로 짐작했다. 대화한 사용자 이름이나 개인정보는 빠져나가지 않은 것으로 알려졌다.

2025.04.12 10:13유혜진 기자

  Prev 1 Next  

지금 뜨는 기사

이시각 헤드라인

AI 주식주문 '정상처리'돼도 고객 뜻과 다르면…누가 책임질까

한동수 KAIST 교수 "화재건물 속 소방관 위치 찾을 방법 있다"

빅맥보다 68% 묵직하다…맥도날드 ‘빅아치’ 먹어보니

하정우 "韓 AI 선도국 진입, 독자 모델·인프라 투자 결실…이제 진짜 승부"

ZDNet Power Center

Connect with us

ZDNET Korea is operated by Money Today Group under license from Ziff Davis. Global family site >>    CNET.com | ZDNet.com
  • 회사소개
  • 광고문의
  • DB마케팅문의
  • 제휴문의
  • 개인정보취급방침
  • 이용약관
  • 청소년 보호정책
  • 회사명 : (주)메가뉴스
  • 제호 : 지디넷코리아
  • 등록번호 : 서울아00665
  • 등록연월일 : 2008년 9월 23일
  • 사업자 등록번호 : 220-8-44355
  • 주호 : 서울시 마포구 양화로111 지은빌딩 3층
  • 대표전화 : (02)330-0100
  • 발행인 : 김경묵
  • 편집인 : 김태진
  • 개인정보관리 책임자·청소년보호책입자 : 김익현
  • COPYRIGHT © ZDNETKOREA ALL RIGHTS RESERVED.