커넥티비티 클라우드 기업인 클라우드플레어는 AI 크롤러가 웹사이트 콘텐츠를 무단으로 수집하거나 보상 없이 접근하는 것을 기본 설정으로 차단할 수 있도록 지원한다고 2일 밝혔다.이번 조치로 웹사이트 소유자는 AI 크롤러 접근 여부를 직접 설정하고, 해당 콘텐츠를 AI 기업이 어떤 목적으로 활용할 수 있을지 선택할 수 있게 된다. AI 기업은 자사 크롤러가 학습, 추론, 검색 중 어떤 용도로 콘텐츠를 수집하는지 명확히 밝혀야 하며, 웹사이트 소유자는 이를 바탕으로 허용 여