• ZDNet USA
  • ZDNet China
  • ZDNet Japan
  • English
  • 지디넷 웨비나
뉴스
  • 최신뉴스
  • 방송/통신
  • 컴퓨팅
  • 홈&모바일
  • 인터넷
  • 반도체/디스플레이
  • 카테크
  • 헬스케어
  • 게임
  • 중기&스타트업
  • 유통
  • 금융
  • 과학
  • 디지털경제
  • 취업/HR/교육
  • 인터뷰
  • 인사•부음
  • 글로벌뉴스
인공지능
배터리
양자컴퓨팅
컨퍼런스
칼럼•연재
포토•영상

ZDNet 검색 페이지

'AI 크롤러'통합검색 결과 입니다. (2건)

  • 태그
    • 제목
    • 제목 + 내용
    • 작성자
    • 태그
  • 기간
    • 3개월
    • 1년
    • 1년 이전

[SW키트] "AI가 고른 사이트만 생존"…'콘텐츠 노출 전쟁' 시작

밀키트는 손질된 식재료와 양념을 알맞게 담은 간편식입니다. 누구나 밀키트만 있으면 별도 과정 없이 편리하게 맛있는 식사를 할 수 있습니다. [SW키트]도 마찬가지입니다. 누구나 매일 쏟아지는 소프트웨어(SW) 기사를 [SW키트]로 한눈에 볼 수 있습니다. SW 분야에서 가장 주목받는 인공지능(AI), 보안, 클라우드 관련 이야기를 이해하기 쉽고 맛있게 보도하겠습니다. [편집자주] 인공지능(AI) 검색엔진 등장으로 마케터 등 웹사이트 운영자들이 분주해졌다. AI가 생성한 답변 출처에 브랜드 콘텐츠가 우선 배치되도록 만드는 것이 새 과제로 떠올랐기 때문이다. 12일 IT 업계에 따르면 챗GPT 같은 AI 챗봇이나 AI 기반 검색엔진이 등장하면서 검색 결과에 웹사이트나 특정 콘텐츠 노출도를 높이는 솔루션 산업이 증가할 것이란 전망이 나왔다. 그동안 구글이 글로벌 검색엔진 점유율 1위를 유지하면서 광고 핵심 채널이자 관문 역할을 해왔다. 그러나 챗봇과 AI 검색엔진 출현 후 이런 패러다임은 바뀌고 있다는 의견이 지배적이다. 전문가들은 앞으로 브랜드·웹사이트 운영 전략 핵심이 '검색 상단 노출'에서 'AI가 선택하는 콘텐츠로 보이게 하는 것'으로 이동할 것으로 보고 있다. 현재 AI 검색 시장에 진입하려는 기업들 움직임부터 빨라지고 있다. 최근 퍼플렉시티와 오픈AI는 AI 기반 웹브라우저와 검색엔진 출시를 통해 새 검색 생태계를 예고했다. 우선 퍼플렉시티는 검색뿐 아니라 행동까지 AI로 실행하는 웹브라우저 '코멧'을 이달 정식 출시했다. 이 브라우저는 맥스 요금제 구독자와 일부 대기자에게만 우선 제공된다. 추후 일반 사용자에게도 단계적으로 확대될 예정이다. 코멧은 사용자가 링크를 직접 확인하지 않아도 대화 한 줄로 원하는 결과를 얻을 수 있도록 설계됐다. 이메일 작성부터 캘린더 예약, 상품 주문 등 일상 업무를 자연어 명령으로 실행할 수 있다. 사용자 습관에 따라 쌓인 탭을 학습해 맥락 기반의 인터페이스를 제공한다. 오픈AI도 AI 기반 웹브라우저 출시를 앞둔 것으로 전해졌다. 이 브라우저는 챗GPT와 유사한 대화형 인터페이스 중심으로 정보를 찾는 식이다. 사용자는 검색 결과를 클릭하지 않아도 브라우저 내에서 질문과 답변을 주고받으며 필요한 정보를 얻을 수 있다. "노출 빈도 분석·제안"…어도비, 'LLM 옵티마이저'로 공략 AI 검색 결과에 웹사이트 노출 빈도나 상태를 분석·관리할 수 있는 서비스도 등장했다. 대표 서비스는 지난달 출시된 어도비의 'LLM 옵티마이저'다. LLM 옵티마이저는 챗GPT와 제미나이, 클로드 등 다양한 생성형 AI 도구 전반에서 브랜드 성과를 들여다볼 수 있는 창구 역할을 한다. 마케터 담당자는 LLM 옵티마이저로 AI 검색 결과에 브랜드 웹사이트 노출 빈도나 개선 사항을 확인 할 수 있다. 콘텐츠 게시 전략을 신속히 조정해 브랜드의 AI 검색 노출 빈도를 높일 수 있는 식이다. 예를 들어 마케터는 콘텐츠나 웹사이트 링크가 어떤 LLM의 사용자 질의 응답 결과에 포함됐는지 알 수 있다. 이를 통해 브랜드가 AI 챗봇이나 AI 검색 엔진에 어떤 방식으로 더 잘 등장하는지 인사이트를 얻을 수 있다. 고객들이 어떤 질문을 통해 브랜드 콘텐츠를 접하는지까지 파악할 수 있다. LLM 옵티마이저 플랫폼에는 '추천 엔진'도 탑재됐다. 이 엔진은 생성형 AI 응답을 지속 모니터링함으로써 브랜드 노출도를 올리기 위한 콘텐츠 조정 사항을 사용자에게 실시간 제안한다. 사용자는 클릭 한번으로 추천된 변경 사항을 승인하기만 하면 된다. 이에 시간과 인력 많이 드는 웹 개발 작업까지 대체 가능하다. 어도비는 "생성형 AI는 고객과 브랜드 간 인식과 대화, 구매 전환 핵심 도구로 자리잡았다"며 "LLM 옵티마이저는 기업이 변화하는 환경에서 주도권을 유지하고 성공 확률을 높이는 데 도움 줄 것"이라고 강조했다. 클라우드플레어, AI 챗봇·웹사이트 접근 관리한다 챗봇·AI 검색엔진과 웹브라우저 간 생태계 활성화를 위한 노력도 이어지고 있다. AI 챗봇이 웹사이트 데이터 무단 접근·수집을 막기 위한 마켓플레이스까지 등장했다. 클라우드플레어는 AI 크롤러의 웹사이트 접근을 차단·유료화하는 '페이 퍼 크롤(Pay per Crawl)' 마켓플레이스를 비공개 베타 형태로 공개했다. 마켓은 AI 챗봇이 웹사이트에 무단 접속해 정보를 무단으로 긁어가는 것을 방지하기 위해 등장했다. 클라우드플레어는 두 가지 방식으로 AI 크롤러를 통제할 방침이다. 우선 웹사이트가 AI 크롤러 접근을 원천 차단하는 기능이다. AI 크롤러가 웹사이트 자체에 접속조차 할 수 없게 만드는 식이다. 다른 하나는 크롤러가 웹사이트에 접근할 경우 소액결제를 통해 요금을 청구하는 시스템이다. AI 챗봇 기업이 웹사이트의 콘텐츠를 긁어갈 때마다 일정 금액을 지불하고, 해당 금액은 수수료를 제외한 뒤 웹사이트 운영자에게 전달되는 방식이다. 웹사이트 운영자는 크롤링 목적이 AI 학습용인지 또는 검색 응답용인지 등 기타 목적에 따라 접근 허용 여부나 과금 조건을 다르게 설정할 수 있다. 해당 정책은 클라우드플레어에 도메인을 등록한 고객 한해서만 적용된다. 현재 클라우드플레어는 AI 크롤러 고객사로 타임과 애틀랜틱, 포춘, 콘데나스트, 애드워크 등을 확보했다. 해당 매체는 AI 크롤러 전면 차단을 기본 설정으로 적용한 상태다. 매슈 프린스 클라우드플레어 최고경영자(CEO)는 "대형 언론사부터 중소 자영업자까지 모든 웹사이트 운영자가 AI 크롤러로부터 콘텐츠를 보호할 수 있게 조치할 것"이라고 강조했다.

2025.07.12 06:40김미정

레딧, AI봇과 싸운다...공개 데이터 접근 차단

미국 온라인 커뮤니티 레딧이 AI봇 웹크롤러가 공개 데이터에 접근하는 것을 차단한다. 24일(현지시간) 더버지, 테크크런치 등 외신에 따르면 레딧은 AI봇이 공개 데이터에 접근 하는 것을 차단하기로 했다. 앞으로 모델 학습 및 기타 상업적 목적으로 레딧의 콘텐츠를 사용하려면 구글과 오픈AI 사례처럼 라이선스 계약을 체결해야 한다. 레딧은 웹 크롤러의 사이트 액세스 허용 방법을 결정하는 웹의 핵심 부분인 '로봇.txt(robots.txt)' 파일을 업데이트하면서 AI봇이 플랫폼에 접근하는 것을 차단키로 했다. 레딧은 AI봇이 레딧의 퍼블릭 콘텐츠 정책을 준수하지 않고, 플랫폼과 합의하지 않으면 요금 제한이나 차단이 될 것이라고 밝혔다. 벤 리 레딧 최고 법률 책임자는 "당사와 계약을 맺지 않은 사람들은 레딧 데이터에 액세스해서는 안 된다는 신호"라며 "또한 로봇.txt의 '허용'이라는 단어가 데이터를 원하는 대로 사용할 수 있다는 뜻이 아니다"고 말했다. 로봇.txt 파일은 검색 엔진이 사이트를 스케이프한 다음 사람들을 컨텐츠로 안내하는 데 사용됐다. 그러나 AI의 부상으로 웹사이트는 콘텐츠의 실제 출처를 인식하지 못한 채 스크랩되고 모델을 훈련하는 데 사용되고 있다. 앞서 레딧은 몇 주 전에 레딧의 데이터가 상용 기업 및 기타 파트너에 의해 액세스되고 사용되는 방법을 안내하기 위해 고안된 새로운 정책을 발표했다.

2024.06.26 16:00최지연

  Prev 1 Next  

지금 뜨는 기사

이시각 헤드라인

李, 네이버 출신 트리플 발탁...플랫폼 '꽃' 필까

네이버 "소버린 AI는 현지화+자립"…韓 넘어 글로벌 확산 핵심 키워드로 '부상'

[SW키트] "AI가 고른 사이트만 생존"…'콘텐츠 노출 전쟁' 시작

LG는 '전담조직 신설', 삼성은 '기술 인수'…HVAC 주도권 승부수

ZDNet Power Center

Connect with us

ZDNET Korea is operated by Money Today Group under license from Ziff Davis. Global family site >>    CNET.com | ZDNet.com
  • 회사소개
  • 광고문의
  • DB마케팅문의
  • 제휴문의
  • 개인정보취급방침
  • 이용약관
  • 청소년 보호정책
  • 회사명 : (주)메가뉴스
  • 제호 : 지디넷코리아
  • 등록번호 : 서울아00665
  • 등록연월일 : 2008년 9월 23일
  • 사업자 등록번호 : 220-8-44355
  • 주호 : 서울시 마포구 양화로111 지은빌딩 3층
  • 대표전화 : (02)330-0100
  • 발행인 : 김경묵
  • 편집인 : 김태진
  • 개인정보관리 책임자·청소년보호책입자 : 김익현
  • COPYRIGHT © ZDNETKOREA ALL RIGHTS RESERVED.