By admin 
Dark Visitors 설립자 Gavin King에 따르면, 주요 AI 에이전트 대부분은 여전히 robots.txt를 준수합니다. 그는 “꽤 일관적이었습니다.”라고 말합니다. 하지만 모든 웹사이트 소유자가 robots.txt 파일을 지속적으로 업데이트할 시간이나 지식이 있는 것은 아닙니다. 그리고 그렇게 하더라도 일부 봇은 파일의 지시를 어길 것입니다. “그들은 트래픽을 위장하려고 합니다.”
프린스는 클라우드플레어의 봇 차단이 이런 종류의 악의적인 행위자가 무시할 수 있는 명령이 아니라고 말합니다. 그는 “Robots.txt는 ‘침입 금지’ 표지판을 세우는 것과 같습니다.”라고 말합니다. “이것은 무장 경비원이 순찰하는 실제 벽을 갖는 것과 같습니다.” 불법적인 가격 모니터링에 사용되는 가격 스크래핑 봇과 같은 다른 유형의 의심스러운 웹 동작을 표시하는 것처럼, 이 회사는 가장 신중하게 숨겨진 AI 크롤러도 발견하는 프로세스를 만들었습니다.
Cloudflare는 또한 고객이 AI 회사와 스크래핑 이용 약관을 협상할 수 있는 다가올 마켓플레이스를 발표할 예정이며, 여기에는 콘텐츠 사용에 대한 지불 또는 스크래핑에 대한 대가로 AI 서비스 사용에 대한 크레딧을 물물교환하는 것이 포함됩니다. Prince는 “우리는 거래가 무엇인지는 신경 쓰지 않지만, 원래 콘텐츠 제작자에게 가치를 되돌려줄 방법이 필요하다고 생각합니다.”라고 말합니다. “보상은 반드시 달러일 필요는 없습니다. 보상은 크레딧이나 인정일 수 있습니다. 다양한 것일 수 있습니다.”
해당 시장을 출시할 정해진 날짜는 없지만, 올해 출시된다 하더라도 AI 기업, 퍼블리셔, 플랫폼 및 기타 웹사이트 간의 라이선스 계약 및 기타 사용 권한 약정을 원활하게 하기 위한 프로젝트가 점차 늘어나고 있는 추세에 동참하게 될 것입니다.
AI 회사들은 이에 대해 어떻게 생각할까? 프린스는 “우리는 그들 대부분과 이야기를 나누었고, 그들의 반응은 ‘이게 말이 되고 우리는 열려 있다’에서 ‘지옥에 가라’까지 다양했습니다.”라고 말한다. (그는 이름을 밝히지 않았다.)
이 프로젝트는 꽤 빠르게 진행되었습니다. 프린스는 Atlantic CEO(전 WIRED 편집장) 닉 톰슨과의 대화를 이 프로젝트의 영감으로 들었습니다. 톰슨은 얼마나 많은 다른 출판사가 은밀한 웹 스크래퍼를 마주쳤는지에 대해 논의했습니다. 톰슨은 “그가 그렇게 하는 것을 좋아합니다.”라고 말합니다. 프린스는 유명 미디어 기관조차 스크래퍼의 유입에 대처하는 데 어려움을 겪는다면, 독립 블로거와 웹사이트 소유자는 훨씬 더 어려움을 겪을 것이라고 추론했습니다.
Cloudflare는 수년 동안 선도적인 웹 보안 회사였으며, 웹을 지탱하는 인프라의 상당 부분을 제공합니다. 이 회사는 역사적으로 서비스하는 웹사이트의 콘텐츠에 대해 가능한 한 중립을 유지해 왔습니다. 이 규칙에 대한 예외를 만든 드문 경우에 Prince는 Cloudflare가 온라인에서 허용되는 것에 대한 중재자가 되기를 원하지 않는다고 강조했습니다.
그는 Cloudflare가 입장을 표명할 수 있는 독특한 위치에 있다고 생각합니다. “우리가 가는 길은 지속 가능하지 않습니다.” Prince가 말합니다. “우리가 인간이 일에 대한 대가를 받을 수 있도록 하는 일에 참여할 수 있기를 바랍니다.”