• ZDNet USA
  • ZDNet China
  • ZDNet Japan
  • English
  • 지디넷 웨비나
뉴스
  • 최신뉴스
  • 방송/통신
  • 컴퓨팅
  • 홈&모바일
  • 인터넷
  • 반도체/디스플레이
  • 카테크
  • 헬스케어
  • 게임
  • 중기&스타트업
  • 유통
  • 금융
  • 과학
  • 디지털경제
  • 취업/HR/교육
  • 생활/문화
  • 인사•부음
  • 글로벌뉴스
  • AI의 눈
반도체
인공지능
AI의 눈
IT'sight
칼럼•연재
포토•영상

ZDNet 검색 페이지

'AI 크롤러'통합검색 결과 입니다. (3건)

  • 태그
    • 제목
    • 제목 + 내용
    • 작성자
    • 태그
  • 기간
    • 3개월
    • 1년
    • 1년 이전

클라우드플레어, 'AI 크롤러' 차단 확대…"콘텐츠 대가 정당해야"

클라우드플레어는 검색용 크롤러와 인공지능(AI) 학습·에이전트용 크롤러를 분리해 출판사와 웹사이트 운영자 콘텐츠 통제권을 강화한다. 1일(현지시간) 테크크런치 등 외신에 따르면 클라우드플레어는 올해 9월 15일부터 광고를 게재하는 페이지에서 '혼합 용도' 크롤러를 기본 차단한다고 발표했다. 혼합 용도 크롤러는 구글 검색 같은 전통적 검색과 AI 에이전트 실행·AI 모델 학습을 함께 수행하는 웹 크롤러다. 이번 정책이 적용되면 사이트 소유자가 설정을 직접 바꾸지 않는 한 혼합 용도 크롤러는 광고 페이지를 크롤링할 수 없다. 적용 대상은 기존 무료 고객을 비롯한 신규 클라우드플레어 고객, 기존 고객이 새로 설정하는 사이트다. 외신은 이번 조치가 AI 모델 제공업체의 웹 콘텐츠 접근 방식에 영향을 줄 수 있다고 분석했다. AI 기업이 모델 학습과 에이전틱 서비스 구동을 위해 웹 콘텐츠를 수집하려면 크롤러 목적을 더 명확히 구분해야 해서다. 클라우드플레어는 "다수 웹사이트 소유자는 콘텐츠가 검색에는 노출되기를 원하지만 지식재산(IP)이 AI 학습이나 AI 서비스에 무료로 활용되는 것은 원하지 않는다"고 분석했다. 이어 "검색과 AI 학습을 크롤러 하나로 처리하는 구조가 문제"라며 "이 경우 사이트 운영자는 검색 노출을 유지하면서 AI 활용만 별도로 차단하기 어렵다"고 덧붙였다. 이 같은 문제를 해결하기 위해 클라우드플레어는 출판사 콘텐츠 통제 권한을 강화하는 도구도 확대하고 있다. 앞서 웹사이트가 AI 봇 스크래핑에 비용을 부과할 수 있는 마켓플레이스 '페이 퍼 크롤'을 선보인 데 이어 이를 '페이 퍼 유스'로 확대할 계획이다. 페이 퍼 유스는 AI 기업이 콘텐츠를 단순히 가져갈 때뿐 아니라 해당 콘텐츠가 실제 가치를 창출했을 때도 출판사가 대가를 받을 수 있도록 설계됐다. 이번 정책은 출판사 대역폭과 컴퓨팅 자원 부담을 줄이는 효과도 기대된다. 클라우드플레어 데이터에 따르면 AI 크롤러 트래픽의 50% 이상은 변경되지 않은 페이지를 반복해서 가져오는 데 사용되고 있다. 클라우드플레어는 우선 세라믹.ai와 유닷컴을 파트너로 선정해 이 모델을 적용한다. 출판사가 참여를 선택하면 콘텐츠가 세라믹.ai의 AI 검색 결과에 반영되거나 유닷컴이 프리미엄 콘텐츠에 접근할 때 출판사는 이용 대가를 받을 수 있다. 매튜 프린스 클라우드플레어 공동창업자 겸 최고경영자(CEO)는 "인터넷 트래픽 상당 부분이 사람보다 봇·크롤러에서 발생하고 있다"며 "지속 가능한 생태계가 형성될 수 있도록 우리는 더 나아가고 더 빠르게 행동해야 한다"고 밝혔다.

2026.07.02 09:14김미정 기자

클라우드플레어, 독립 언론·비영리단체에 'AI 크롤러 차단' 무료

클라우드플레어가 인공지능(AI) 크롤러로부터 독립 언론과 비영리 단체를 보호하기 위한 무료 지원에 나섰다. 클라우드플레어는 '프로젝트 갈릴레오' 서비스를 확대해 전 세계 독립 언론과 비영리 단체에 무료로 AI 크롤러 제어 도구를 제공한다고 25일 발표했다. 이번 조치는 디도스(DDoS) 방어 중심으로 운영돼 온 프로젝트 갈릴레오의 보호 범위를 AI 환경까지 넓힌 형태다. 언론과 공익 단체의 콘텐츠 권한을 강화하려는 의도를 담고 있다. 프로젝트 갈릴레오는 2014년부터 사이버 공격에 노출된 언론인과 인권 활동가를 보호해 왔다. 이번 확장을 통해 언론과 비영리 단체는 클라우드플레어의 '봇 매니지먼트'와 'AI 크롤 컨트롤' 기능을 활용할 수 있다. 이를 통해 AI 서비스가 웹사이트를 수집·활용하는 과정을 모니터링하고 차단할 수 있다. 현재 전 세계 약 750여 명의 언론인과 뉴스 기관이 이 프로그램을 이용할 수 있다. 클라우드플레어는 올해 초 대형 퍼블리셔와 콘텐츠 창작자에게 AI 크롤러 접근 제어 기능을 지원하기 시작했다. 이번에 이를 공익 단체와 독립 언론으로 확대했다. 이들은 별도 비용 없이 AI 환경에 적응할 수 있는 보안·통제 툴을 활용해 디지털 전환 과정에서 지속가능성을 높일 수 있다. 특히 지역 단위에서 활동하거나 언론 환경이 제약된 단체들은 특히 큰 수혜를 볼 것이란 전망도 나오고 있다. 최근 AI 모델을 활용한 정보 소비가 늘면서 웹사이트 직접 방문이 줄어들고 있다. 이에 광고·구독·후원 기반의 수익 구조를 약화하는 추세다. 이는 지역 사회가 신뢰할 수 있는 뉴스 소스를 잃게 만들 위험으로 이어진다. 클라우드플레어는 이같은 이슈에 대응하기 위해 프로그램 범위를 확장한 셈이다. 매튜 프린스 클라우드플레어 최고경영자(CEO)는 "저널리즘은 건강한 인터넷과 사회의 핵심 토대"라며 "프로젝트 갈릴레오를 통해 언론인과 인권 활동가가 사이버 공격에서 목소리를 지킬 수 있도록 지원해왔고, 이제 AI 발전이 불리하게 작용하지 않도록 돕겠다"고 밝혔다.

2025.09.25 11:37김미정 기자

[SW키트] "AI가 고른 사이트만 생존"…'콘텐츠 노출 전쟁' 시작

밀키트는 손질된 식재료와 양념을 알맞게 담은 간편식입니다. 누구나 밀키트만 있으면 별도 과정 없이 편리하게 맛있는 식사를 할 수 있습니다. [SW키트]도 마찬가지입니다. 누구나 매일 쏟아지는 소프트웨어(SW) 기사를 [SW키트]로 한눈에 볼 수 있습니다. SW 분야에서 가장 주목받는 인공지능(AI), 보안, 클라우드 관련 이야기를 이해하기 쉽고 맛있게 보도하겠습니다. [편집자주] 인공지능(AI) 검색엔진 등장으로 마케터 등 웹사이트 운영자들이 분주해졌다. AI가 생성한 답변 출처에 브랜드 콘텐츠가 우선 배치되도록 만드는 것이 새 과제로 떠올랐기 때문이다. 12일 IT 업계에 따르면 챗GPT 같은 AI 챗봇이나 AI 기반 검색엔진이 등장하면서 검색 결과에 웹사이트나 특정 콘텐츠 노출도를 높이는 솔루션 산업이 증가할 것이란 전망이 나왔다. 그동안 구글이 글로벌 검색엔진 점유율 1위를 유지하면서 광고 핵심 채널이자 관문 역할을 해왔다. 그러나 챗봇과 AI 검색엔진 출현 후 이런 패러다임은 바뀌고 있다는 의견이 지배적이다. 전문가들은 앞으로 브랜드·웹사이트 운영 전략 핵심이 '검색 상단 노출'에서 'AI가 선택하는 콘텐츠로 보이게 하는 것'으로 이동할 것으로 보고 있다. 현재 AI 검색 시장에 진입하려는 기업들 움직임부터 빨라지고 있다. 최근 퍼플렉시티와 오픈AI는 AI 기반 웹브라우저와 검색엔진 출시를 통해 새 검색 생태계를 예고했다. 우선 퍼플렉시티는 검색뿐 아니라 행동까지 AI로 실행하는 웹브라우저 '코멧'을 이달 정식 출시했다. 이 브라우저는 맥스 요금제 구독자와 일부 대기자에게만 우선 제공된다. 추후 일반 사용자에게도 단계적으로 확대될 예정이다. 코멧은 사용자가 링크를 직접 확인하지 않아도 대화 한 줄로 원하는 결과를 얻을 수 있도록 설계됐다. 이메일 작성부터 캘린더 예약, 상품 주문 등 일상 업무를 자연어 명령으로 실행할 수 있다. 사용자 습관에 따라 쌓인 탭을 학습해 맥락 기반의 인터페이스를 제공한다. 오픈AI도 AI 기반 웹브라우저 출시를 앞둔 것으로 전해졌다. 이 브라우저는 챗GPT와 유사한 대화형 인터페이스 중심으로 정보를 찾는 식이다. 사용자는 검색 결과를 클릭하지 않아도 브라우저 내에서 질문과 답변을 주고받으며 필요한 정보를 얻을 수 있다. "노출 빈도 분석·제안"…어도비, 'LLM 옵티마이저'로 공략 AI 검색 결과에 웹사이트 노출 빈도나 상태를 분석·관리할 수 있는 서비스도 등장했다. 대표 서비스는 지난달 출시된 어도비의 'LLM 옵티마이저'다. LLM 옵티마이저는 챗GPT와 제미나이, 클로드 등 다양한 생성형 AI 도구 전반에서 브랜드 성과를 들여다볼 수 있는 창구 역할을 한다. 마케터 담당자는 LLM 옵티마이저로 AI 검색 결과에 브랜드 웹사이트 노출 빈도나 개선 사항을 확인 할 수 있다. 콘텐츠 게시 전략을 신속히 조정해 브랜드의 AI 검색 노출 빈도를 높일 수 있는 식이다. 예를 들어 마케터는 콘텐츠나 웹사이트 링크가 어떤 LLM의 사용자 질의 응답 결과에 포함됐는지 알 수 있다. 이를 통해 브랜드가 AI 챗봇이나 AI 검색 엔진에 어떤 방식으로 더 잘 등장하는지 인사이트를 얻을 수 있다. 고객들이 어떤 질문을 통해 브랜드 콘텐츠를 접하는지까지 파악할 수 있다. LLM 옵티마이저 플랫폼에는 '추천 엔진'도 탑재됐다. 이 엔진은 생성형 AI 응답을 지속 모니터링함으로써 브랜드 노출도를 올리기 위한 콘텐츠 조정 사항을 사용자에게 실시간 제안한다. 사용자는 클릭 한번으로 추천된 변경 사항을 승인하기만 하면 된다. 이에 시간과 인력 많이 드는 웹 개발 작업까지 대체 가능하다. 어도비는 "생성형 AI는 고객과 브랜드 간 인식과 대화, 구매 전환 핵심 도구로 자리잡았다"며 "LLM 옵티마이저는 기업이 변화하는 환경에서 주도권을 유지하고 성공 확률을 높이는 데 도움 줄 것"이라고 강조했다. 클라우드플레어, AI 챗봇·웹사이트 접근 관리한다 챗봇·AI 검색엔진과 웹브라우저 간 생태계 활성화를 위한 노력도 이어지고 있다. AI 챗봇이 웹사이트 데이터 무단 접근·수집을 막기 위한 마켓플레이스까지 등장했다. 클라우드플레어는 AI 크롤러의 웹사이트 접근을 차단·유료화하는 '페이 퍼 크롤(Pay per Crawl)' 마켓플레이스를 비공개 베타 형태로 공개했다. 마켓은 AI 챗봇이 웹사이트에 무단 접속해 정보를 무단으로 긁어가는 것을 방지하기 위해 등장했다. 클라우드플레어는 두 가지 방식으로 AI 크롤러를 통제할 방침이다. 우선 웹사이트가 AI 크롤러 접근을 원천 차단하는 기능이다. AI 크롤러가 웹사이트 자체에 접속조차 할 수 없게 만드는 식이다. 다른 하나는 크롤러가 웹사이트에 접근할 경우 소액결제를 통해 요금을 청구하는 시스템이다. AI 챗봇 기업이 웹사이트의 콘텐츠를 긁어갈 때마다 일정 금액을 지불하고, 해당 금액은 수수료를 제외한 뒤 웹사이트 운영자에게 전달되는 방식이다. 웹사이트 운영자는 크롤링 목적이 AI 학습용인지 또는 검색 응답용인지 등 기타 목적에 따라 접근 허용 여부나 과금 조건을 다르게 설정할 수 있다. 해당 정책은 클라우드플레어에 도메인을 등록한 고객 한해서만 적용된다. 현재 클라우드플레어는 AI 크롤러 고객사로 타임과 애틀랜틱, 포춘, 콘데나스트, 애드워크 등을 확보했다. 해당 매체는 AI 크롤러 전면 차단을 기본 설정으로 적용한 상태다. 매슈 프린스 클라우드플레어 최고경영자(CEO)는 "대형 언론사부터 중소 자영업자까지 모든 웹사이트 운영자가 AI 크롤러로부터 콘텐츠를 보호할 수 있게 조치할 것"이라고 강조했다.

2025.07.12 06:40김미정 기자

  Prev 1 Next  

지금 뜨는 기사

이시각 헤드라인

[ZD브리핑] 3대 메가프로젝트 2차 점검회의...독파모 국민평가단 참여

AI 학과 늘리기만으론 부족…"모든 전공에 AI 역량 심어야"

유니폼부터 AI 로봇 드로잉까지…무료 KT스포츠 팝업 가보니

AI규제는 풀고 OTT는 발목 잡고…'영화 6개월 홀드백' 논란

ZDNet Power Center

Connect with us

ZDNET Korea is operated by Money Today Group under license from Ziff Davis. Global family site >>    CNET.com | ZDNet.com
  • 회사소개
  • 광고문의
  • DB마케팅문의
  • 제휴문의
  • 개인정보취급방침
  • 이용약관
  • 청소년 보호정책
  • 회사명 : (주)메가뉴스
  • 제호 : 지디넷코리아
  • 등록번호 : 서울아00665
  • 등록연월일 : 2008년 9월 23일
  • 사업자 등록번호 : 220-8-44355
  • 주호 : 서울시 마포구 양화로111 지은빌딩 3층
  • 대표전화 : (02)330-0100
  • 발행인 : 김경묵
  • 편집인 : 김태진
  • 개인정보관리 책임자·청소년보호책입자 : 김익현
  • COPYRIGHT © ZDNETKOREA ALL RIGHTS RESERVED.