아동 포르노를 만든 AI 이미지 생성기가 폐쇄됐을까?

AI가 생성하는 아동 성적 학대 영상(CSAM)을 제작할 수 있는 도구를 개발하고 배포하는 데 수백만 달러, 수십억 달러의 가치가 있는 AI 기업들은 왜 그렇게 평가받는 걸까요?

Stability AI의 자금 지원을 받아 AI 회사 Runway가 만든 Stable Diffusion 버전 1.5라는 이미지 생성기는 CSAM 제작에 특히 연루되었습니다. 그리고 Hugging Face와 Civitai와 같은 인기 있는 플랫폼은 이 모델과 아동 성적 학대의 실제 이미지로 훈련되었을 수 있는 다른 모델을 호스팅하고 있습니다. 어떤 경우에는 회사가 서버에 합성 CSAM 자료를 호스팅함으로써 법을 위반할 수도 있습니다. 그리고 Google, Nvidia, Intel, Salesforce, Andreesen Horowitz와 같은 주류 회사와 투자자가 왜 이러한 회사에 수억 달러를 투자하는 것일까요? 그들의 지원은 소아성애자의 콘텐츠를 보조하는 것과 같습니다.

AI 안전 전문가로서, 우리는 이러한 질문을 통해 이러한 회사들을 지적하고 아래에 설명한 시정 조치를 취하도록 압력을 가했습니다. 그리고 오늘 우리는 한 가지 큰 승리를 보고하게 되어 기쁩니다. 우리의 질문에 대한 응답으로 Stable Diffusion 버전 1.5가 Hugging Face에서 제거되었습니다. 하지만 아직 해야 할 일이 많고, 의미 있는 진전을 이루려면 법률이 필요할 수 있습니다.

CSAM 문제의 범위

아동 안전 옹호자들은 작년에 경각심을 고조하기 시작했습니다. 스탠포드의 인터넷 관측소와 기술 비영리 단체인 Thorn의 연구원들은 2023년 6월에 우려스러운 보고서를 발표했습니다. 그들은 광범위하게 이용 가능하고 “오픈 소스”인 AI 이미지 생성 도구가 이미 악의적인 행위자들에 의해 아동 성적 학대 자료를 만드는 데 오용되고 있다는 것을 발견했습니다. 어떤 경우에는 악의적인 행위자들이 이러한 모델의 자체 사용자 정의 버전(미세 조정이라고 알려진 프로세스)을 만들어 실제 아동 성적 학대 자료를 사용하여 특정 피해자의 맞춤형 이미지를 생성했습니다.

작년 10월, 아동 성적 학대 자료 신고 핫라인을 운영하는 영국 비영리 단체인 인터넷 감시 재단의 보고서는 악의적인 행위자들이 이제 규모에 맞게 사실적인 AI 생성 아동 성적 학대 자료를 만드는 것이 얼마나 쉬운지에 대해 자세히 설명했습니다. 연구자들은 다크 웹 CSAM 포럼에 대한 “스냅샷” 연구를 포함하여 한 달 동안 게시된 11,000개 이상의 AI 생성 이미지를 분석했습니다. 그 중 약 3,000개가 범죄로 분류될 만큼 심각하다고 판단되었습니다. 이 보고서는 생성 AI 모델에 대한 더 강력한 규제 감독을 촉구했습니다.

AI 모델은 이전에 예를 본 적이 있기 때문에 이 자료를 만드는 데 사용할 수 있습니다. 스탠포드의 연구원들은 작년 12월에 이미지 생성 모델을 훈련하는 데 사용된 가장 중요한 데이터 세트 중 하나에 수천 개의 CSAM이 포함되어 있다는 것을 발견했습니다. 인기 있는 Stable Diffusion 버전 1.5 모델을 포함하여 가장 인기 있는 다운로드 가능한 오픈소스 AI 이미지 생성기 중 다수가 이 데이터를 사용하여 훈련되었습니다. Stable Diffusion의 해당 버전은 Runway에서 만들었지만 Stability AI는 데이터 세트를 생성하고 모델을 훈련하는 데 필요한 컴퓨팅 파워에 비용을 지불했고 Stability AI는 후속 버전을 출시했습니다.

Runway는 논평 요청에 응답하지 않았습니다. Stability AI 대변인은 회사가 Stable Diffusion 버전 1.5를 출시하거나 유지하지 않았으며, 회사는 후속 모델에서 CSAM에 대한 “강력한 보호 장치”를 구현했다고 말했으며, 여기에는 학습을 위한 필터링된 데이터 세트 사용이 포함됩니다.

또한 작년 12월, 소셜 미디어 분석 회사 Graphika의 연구원들은 수십 개의 “옷 벗기” 서비스가 급증하는 것을 발견했는데, 그 중 다수가 오픈소스 AI 이미지 생성기, 아마도 Stable Diffusion을 포함한 기반일 것입니다. 이러한 서비스를 통해 사용자는 옷을 입은 사람의 사진을 업로드하고 미성년자와 성인 모두의 비합의적 친밀한 이미지(NCII)라고 전문가들이 부르는 것을 만들 수 있습니다. 이를 딥페이크 포르노라고도 합니다. 이러한 웹사이트는 Google 검색을 통해 쉽게 찾을 수 있으며, 사용자는 온라인에서 신용 카드를 사용하여 서비스 비용을 지불할 수 있습니다. 이러한 서비스 중 다수는 여성과 소녀에게만 적용되며, 이러한 유형의 도구는 Taylor Swift와 같은 여성 유명인과 미국 대표 Alexandria Ocasio-Cortez와 같은 정치인을 표적으로 삼는 데 사용되었습니다.

AI가 생성한 CSAM은 실제적인 영향을 미칩니다. 아동 안전 생태계는 이미 과부하 상태이며, 매년 수백만 건의 CSAM 의심 파일이 핫라인에 신고됩니다. 이러한 콘텐츠의 급류에 추가되는 모든 것, 특히 사실적인 학대 자료는 적극적으로 위험에 처한 아동을 찾는 것을 더욱 어렵게 만듭니다. 상황을 더 악화시키는 것은 일부 악의적인 행위자가 기존 CSAM을 사용하여 이러한 생존자의 합성 이미지를 생성하고 있다는 것입니다. 이는 그들의 권리를 끔찍하게 재침해하는 것입니다. 다른 사람들은 쉽게 구할 수 있는 “누드화” 앱을 사용하여 실제 아동의 무해한 이미지에서 성적 콘텐츠를 만든 다음 새로 생성된 콘텐츠를 성적 강탈 계획에 사용하고 있습니다.

AI가 생성한 CSAM에 대한 한 번의 승리

작년 12월 스탠포드 조사에 따르면, Stable Diffusion 1.5가 아동 성적 학대 자료에서 훈련되었다는 것은 AI 커뮤니티에서 잘 알려져 있으며, LAION-5B 데이터 세트에서 훈련된 다른 모든 모델도 마찬가지였습니다. 이러한 모델은 악의적인 행위자가 AI가 생성한 CSAM을 만드는 데 적극적으로 오용되고 있습니다. 그리고 더 무해한 자료를 생성하는 데 사용되더라도, 이러한 사용은 본질적으로 학대 이미지가 훈련 데이터에 들어간 아동을 다시 피해자로 만듭니다. 그래서 우리는 인기 있는 AI 호스팅 플랫폼인 Hugging Face와 Civitai에 Stable Diffusion 1.5와 파생 모델을 호스팅하여 무료로 다운로드할 수 있게 한 이유를 물었습니다.

Integrity Institute의 데이터 과학자인 제프 앨런은 Stable Diffusion 1.5가 지난달 Hugging Face에서 600만 번 이상 다운로드되었으며, 이로써 플랫폼에서 가장 인기 있는 AI 이미지 생성기가 되었다고 밝혔습니다.

Hugging Face가 왜 이 모델을 계속 호스팅하는지 물었을 때 회사 대변인인 브리짓 투시냥은 질문에 직접 대답하지 않았지만 대신 회사는 플랫폼에서 CSAM을 용납하지 않으며, 다양한 안전 도구를 통합하고 있으며, 부적절한 이미지를 식별하여 억제하는 Safe Stable Diffusion 모델을 커뮤니티에서 사용하도록 장려한다고 말했습니다.

그런 다음 어제, 우리는 Hugging Face를 확인했고 Stable Diffusion 1.5가 더 이상 제공되지 않는다는 것을 알게 되었습니다. Tousignant는 Hugging Face가 그것을 내리지 않았다고 말했고, Runway에 연락하라고 제안했습니다. 우리는 다시 연락했지만 아직 답변을 받지 못했습니다.

이 모델을 더 이상 Hugging Face에서 다운로드할 수 없다는 것은 의심할 여지 없이 성공입니다. 안타깝게도 Civitai에서는 여전히 사용할 수 있으며, 수백 개의 파생 모델도 마찬가지입니다. Civitai에 문의했을 때 대변인은 Stable Diffusion 1.5에서 어떤 훈련 데이터를 사용했는지 전혀 모른다고 말했고, 오용의 증거가 있는 경우에만 삭제할 것이라고 말했습니다.

플랫폼은 책임에 대해 긴장해야 합니다. 지난주에는 CSAM 및 기타 범죄와 관련된 조사의 일환으로 메시징 앱 Telegram의 CEO인 Pavel Durov가 체포되었습니다.

AI가 생성한 CSAM에 대해 어떤 조치를 취하고 있나요?

AI가 생성한 CSAM과 NCII에 대한 불안한 보고와 뉴스의 꾸준한 드럼비트는 멈추지 않았습니다. 일부 회사는 Tech Coalition의 도움으로 제품의 안전을 개선하려고 노력하고 있지만, 더 광범위한 문제에서 어떤 진전을 보았습니까?

4월에 Thorn과 All Tech Is Human은 주류 기술 기업, 생성 AI 개발자, 모델 호스팅 플랫폼 등을 모아 제품 개발 프로세스의 중심에 아동 성적 학대 예방을 두는 Safety by Design 원칙을 정의하고 이를 준수하도록 하는 이니셔티브를 발표했습니다. Amazon, Civitai, Google, Meta, Microsoft, OpenAI, Stability AI를 포함한 10개 기업이 이러한 원칙을 준수하기로 했고, 여러 기업이 더 자세한 권장 완화책을 담은 관련 논문을 공동 저술했습니다. 이 원칙은 기업이 아동 안전 위험을 사전에 해결하는 AI 모델을 개발, 배포, 유지 관리하고, 생성된 학대 자료를 안정적으로 감지할 수 있는 시스템을 구축하고, 이러한 학대 자료를 만드는 데 사용되는 기본 모델과 서비스의 배포를 제한하도록 요구합니다.

이런 종류의 자발적 약속은 시작에 불과합니다. Thorn의 데이터 과학 책임자인 Rebecca Portnoff는 이 이니셔티브가 기업에 완화 단계에 대한 진행 상황에 대한 보고서를 발행하도록 요구함으로써 책임을 묻고자 한다고 말합니다. 또한 IEEE와 NIST와 같은 표준 설정 기관과 협력하여 노력을 새 표준과 기존 표준에 통합하고 있으며, “명예 시스템을 넘어선” 제3자 감사의 문을 열고 있다고 Portnoff는 말합니다. Portnoff는 또한 Thorn이 정책 입안자들과 협력하여 기술적으로 실행 가능하고 영향력 있는 법안을 구상하도록 돕고 있다고 언급합니다. 실제로 많은 전문가들은 자발적 약속을 넘어설 때라고 말합니다.

우리는 현재 AI 산업에서 무모한 하향 경쟁이 진행 중이라고 믿습니다. 회사들은 너무나 맹렬하게 싸우고 있습니다. 기술적으로 그들 중 많은 사람들이 이를 무시하고 있다는 점에서 선두에 서 있습니다. 윤리적인 그리고 아마도 심지어 합법적인 제품의 결과. 유럽 연합을 포함한 일부 정부는 AI 규제에 진전을 이루고 있지만 아직 충분히 나아가지 못했습니다. 예를 들어, 법률에서 CSAM을 생성할 수 있는 AI 시스템을 제공하는 것을 불법으로 규정하면 기술 회사가 주목할 수 있습니다.

현실은 일부 회사가 자발적 약속을 준수하지만 많은 회사가 준수하지 않는다는 것입니다. 그리고 준수하는 회사 중에서도 많은 회사가 준비가 되지 않았거나 경쟁 우위를 유지하기 위해 고군분투하고 있기 때문에 너무 느리게 조치를 취할 것입니다. 그동안 악의적인 행위자는 이러한 서비스로 몰려들어 파괴를 일으킬 것입니다. 그러한 결과는 용납할 수 없습니다.

기술 회사가 AI가 생성한 CSAM에 대해 해야 할 일

전문가들은 이 문제가 멀리서부터 다가오고 있다는 것을 알고 있었고, 아동 안전 옹호자들은 이를 해결하기 위한 상식적인 전략을 권고했습니다. 상황을 해결하기 위한 조치를 취할 수 있는 이 기회를 놓치면 우리 모두가 책임을 져야 합니다. 최소한 오픈 소스 모델을 출시하는 회사를 포함한 모든 회사는 Thorn의 Safety by Design 원칙에 명시된 공약을 따라야 합니다.

• 생성 AI 모델을 학습시키기 전에 학습 데이터 세트에서 CSAM을 탐지, 제거하고 보고합니다.
• 강력한 워터마크를 통합하고 콘텐츠 출처 시스템 생성된 이미지를 생성한 모델에 연결할 수 있도록 생성 AI 모델로 전환할 수 있습니다. 이는 캘리포니아 법안에 따라 요구되는 사항입니다. 디지털 콘텐츠 출처 표준 주에서 사업을 하는 기업을 위한 것입니다. 이 법안은 다음 달에 Gavin Newson 주지사의 서명을 받을 가능성이 높습니다.
• CSAM에서 훈련되었거나 CSAM을 생성할 수 있는 것으로 알려진 모든 생성 AI 모델을 플랫폼에서 제거합니다. CSAM이 제거된 완전히 재구성되지 않는 한 이러한 모델을 다시 호스팅하는 것을 거부합니다.
• CSAM에서 의도적으로 미세 조정된 모델을 식별하여 해당 플랫폼에서 영구히 제거합니다.
• 앱 스토어에서 “누드화” 앱을 제거하고, 이러한 도구와 서비스에 대한 검색 결과를 차단하고, 결제 서비스 제공업체와 협력하여 제작자에 대한 결제를 차단합니다.