"한 번 설정으로 AI 학습 거부"…오픈AI·구글·MS·앤트로픽 동참
앞으로 웹사이트 운영자가 설정 한번 만으로 주요 인공지능(AI) 기업에 콘텐츠 학습 거부 의사를 전달할 수 있게 된다. 그동안 AI 기업마다 별도의 크롤러 차단 규칙을 설정해야 했지만 앞으로는 공통 규칙을 적용해 여러 기업에 한꺼번에 학습 거부 의사를 표시할 수 있다. 1일 오픈AI, 구글, 마이크로소프트, 앤트로픽은 웹사이트의 AI 학습 관련 공통 신호를 수용하겠다는 계획을 발표했다. 국제인터넷표준화기구(IETF)의 AI 선호도(AIPREF) 작업반에서 논의 중인 기술을 기반으로 한다. 핵심은 웹사이트의 '로봇 배제 표준(robots.txt)' 파일에 AI 학습 거부 의사를 공통으로 표시하는 것이다. robots.txt는 검색엔진이나 AI 크롤러가 웹사이트 콘텐츠에 접근하는 방식을 설정하는 파일이다. 기존에는 오픈AI의 'GPT봇', 구글의 '구글 익스텐디드' 등 기업별로 다른 크롤러나 정책 식별자를 지정해 각각 규칙을 관리해야 했다. 새로운 방식은 공통 식별자를 사용해 여러 AI 기업에 동일한 학습 거부 의사를 전달할 수 있도록 한다. robots.txt 파일에 'User-Agent: __usage_ai-training'과 'Disallow: /'라는 두 줄을 추가하면 된다. 이는 웹사이트 전체 콘텐츠를 AI 모델 학습에 사용하지 말라는 의사를 나타낸다. 특정 경로만 학습을 허용하거나 거부하도록 세부 설정하는 것도 가능하다. 주요 AI 기업들은 공통 신호를 기존 설정 기능과 병행해 적용할 예정이다. 오픈AI는 앞으로 수개월 내 관련 기능을 구현하고 구체적인 적용 방식을 공개할 계획이다. 구글은 2027년 초부터 지원할 예정이다. 별도의 구글 익스텐디드 설정이 없다면 공통 신호를 기존 구글 익스텐디드의 학습 거부 설정과 동일하게 해석한다. MS는 2027년 2월 1일부터 새로운 설정을 적용한다. AI 모델 학습뿐 아니라 AI가 답변을 생성할 때 외부 콘텐츠를 참고하는 '그라운딩'도 별도로 관리할 수 있도록 지원한다. MS는 기존에 검색엔진의 웹페이지 저장본 제공을 제한하는 '노아카이브'와 '노캐시' 설정을 AI 콘텐츠 활용 제한에도 사용해 왔다. 노아카이브는 콘텐츠를 AI 답변과 학습에서 제외하고, 노캐시는 웹페이지 전체 대신 주소와 제목, 요약 정보 등만 활용하도록 제한하는 방식이다. 이러한 기존 설정을 이용하던 웹사이트는 2027년 3월 1일 이전까지 새로운 방식으로 전환해야 한다. 앤트로픽 역시 공통 신호 지원을 위한 구현 작업에 착수했다. 다만 이번 공통 신호는 AI 학습을 위한 콘텐츠 활용에 관한 의사를 전달하는 것으로, 웹사이트 접근이나 검색 결과 노출 자체를 차단하는 기능은 아니다. AI가 검색 결과 등을 참고해 답변을 생성하는 행위도 공통 신호의 직접적인 적용 대상은 아니다. 또한 현재는 IETF의 정식 표준이 아닌 개별 인터넷 초안 단계다. 이를 따르지 않는 AI 기업에 대한 강제력이 없어 실제 효과는 관련 사업자의 참여와 준수 여부에 달려 있다. 이번 규격 초안을 작성한 앤트로픽의 케빈 켈리는 IETF 메일링리스트에서 "이는 콘텐츠 활용에 관한 의사 표시이지, 크롤링 트래픽을 통제하기 위한 신호가 아니다. 두 기능은 의도적으로 분리돼 있다"고 설명했다.
