산업·정책

Meta, 실제 십대의 사진을 가짜 성관계 영상으로 만드는 앱 광고 수백 건 게재

연구자들은 Meta의 광고 심사가 몇 달 동안 AI로 생성된 아동 학대 광고 수백 건을 놓쳤으며, 그중 일부는 신원이 확인 가능한 실제 아동을 이용했다고 밝혔습니다. 규제 당국과 의원들이 조치를 취하라고 압박하기 시작한 뒤에야 이 문제가 드러났습니다.

AI로 생성한 이미지입니다

Meta 심사를 통과한 광고 수백 건

비영리단체 Tech Transparency Project(TTP)의 연구자들은 8월 초 이후 Facebook, Instagram, Threads에서 아동 성착취물(CSAM)을 담은 광고가 250건 넘게 추가로 게재되었다는 사실을 발견했습니다. 이는 Wired의 이전 보도 이후 Meta가 비슷한 광고 약 50건을 이미 삭제한 지 몇 달이 지난 시점이었습니다. 새로 발견된 광고 중 일부는 Meta가 삭제했다고 밝혔던 광고와 동일한 것이었습니다. TTP에 따르면 Meta는 작년 말 이후 이런 학대성 영상 광고를 350건 넘게 게재했으며, The Straits Times는 이 단체의 집계를 별도로 인용해 300건이 넘는 광고가 29,000명 이상에게 도달했다고 보도했습니다.

연구자들은 첫 번째 광고 묶음과 달리 이번 새 광고들에서는 실제 아동을 특정할 수 있었다고 밝혔습니다. 여기에는 공식적으로 공개된 사진이 '노골적인 성행위'로 묘사된 영상으로 둔갑한 한 유럽 왕실 구성원도 포함되어 있었습니다. TTP는 또한 미국인 미성년자 3명을 확인했는데, 공개 소셜미디어 인플루언서 계정을 가진 십대 2명과, 스톡 사진 웹사이트에서 '미취학 전' 아동으로 표시된 이미지의 스톡 사진 모델 1명이었습니다. TTP는 피해자 보호를 위해 해당 왕실 구성원의 이름을 밝히지 않았으며, 해당 국가 당국에 연락했다고 밝혔습니다.

Meta의 광고 라이브러리 데이터에 따르면 이 광고들은 유럽연합에서 29,000개가 넘는 계정에, 영국에서는 약 7,000개 계정에 도달했으며, 미국에서 250회 이상, 호주에서 120회, Meta가 세부 광고 성과 수치를 공개하지 않는 인도에서 80회 노출되었습니다. TTP에 따르면 신고된 광고의 약 80퍼센트가 미국에서 게재되었습니다. Meta 대변인 Tracy Clayton은 회사가 '실제이든 AI로 생성된 것이든' 누드화(nudify) 앱이나 아동 착취를 용인하지 않는다며, 해당 광고 다수가 이미 삭제되었다고 말했습니다.

출처 1, 2, 3

광고는 어떻게 작동했고, 왜 걸러지지 않았나

이 광고들은 일관된 패턴을 보였습니다. 사춘기 이전이나 십대 소녀의 평범한 사진 위에 '단순한 사진이 아니다'라는 문구와 '이 사진으로 할 수 있는 일에 제한이 없다'는 문구를 덧씌운 형태였습니다. 재생하면 몇 초짜리 영상 속에서 아동의 얼굴이 노골적인 성적 콘텐츠로 변형되었으며, 흔히 모의 성행위 장면을 보여주었습니다. 광고를 클릭하면 Apple App Store나 Google Play에서 얼굴 합성 또는 영상 생성 앱을 다운로드하도록 유도했으며, '이것이 남성들이 실제로 사용하는 AI다' 같은 문구가 사용되었습니다.

Meta는 자사 플랫폼의 모든 광고가 게재 전에 심사를 거친다고 밝히지만, 연구자들은 미성년자가 등장하는 영상 클립이 짧거나 흐릿하게 처리되어 일부 광고가 탐지를 피했으며, 일부 콘텐츠는 Meta가 '성인'이라고 표현한 인물들과 학대성 콘텐츠를 함께 배치해 확대된 형태로 만들어졌다는 사실을 발견했습니다. TTP가 신고한 한 사례에서는, 자체 신고 도구를 통해 신고된 게재 중인 광고를 Meta가 심사하는 데 약 일주일이 걸렸으며, 그 기간 동안 조회수가 수백 건 더 쌓였습니다. TTP는 또한 삭제된 광고 중 일부가 처음에는 Meta의 아동 착취 정책 위반 사실을 나타내는 공개 표시가 없었으며, Wired가 이 공백에 대해 Meta에 문의한 뒤에야 그런 세부 사항이 나타났다고 밝혔습니다.

플랫폼 내 비동의 이미지를 조사했던 전직 Meta 직원 David Pham은 광고를 업로드하는 사람들이 새로운 탐지 시스템을 피하기 위해 끊임없이 수법을 바꿨으며, 때로는 Meta가 허점을 막은 지 며칠 만에 우회 방법을 새로 만들어냈다고 말했습니다. 많은 광고가 중국 개발자들과 연결되어 있었고 중국 광고 리셀러를 통해 게재되었는데, 이는 Meta의 플랫폼 자체가 중국 내에서는 차단되어 있기 때문입니다. 검토된 약 350건의 광고 중 약 300건이 AI 이미지 또는 영상 생성기로 연결되었으며, 대부분 중국 기반 개발자와 관련이 있었습니다.

출처 2

한 플랫폼, 한 국가에 국한된 문제가 아니다

BBC World Service의 별도 조사에 따르면 Instagram은 인도에서 '강간 영상' 같은 표현을 사용해 아동 성착취물을 직접 홍보하는 유료 광고를 게재했으며, 사용자를 해당 자료를 최소 99루피, 약 80펜스에 판매하는 Telegram 채널로 연결했습니다. BBC가 울고 있는 어린 소녀가 등장하는 그런 광고 하나를 신고하자, Instagram은 24시간 뒤 자사 심사팀이 해당 광고가 커뮤니티 규정을 위반하지 않았다고 판단했다고 답변했습니다. 이후 BBC가 추가로 문제를 제기하자 Meta는 여러 계정과 추가 광고를 비활성화했습니다. Meta는 '어떤 시스템도 완벽하지 않으며, 저희 심사 절차가 모든 정책 위반을 탐지하지 못할 수 있다'고 인정했습니다.

Ars Technica가 인용한 특히 눈에 띄는 한 사례에서는, 예수그리스도후기성도교회(Church of Jesus Christ of Latter-day Saints)를 대변한다고 주장한 'Divine Productions'라는 Facebook 페이지가 CSAM 광고를 게재했으며, Meta는 TTP가 직접 신고한 뒤에야 이를 비활성화했습니다. 예수그리스도후기성도교회를 대변한다고 주장한 'Divine Productions'라는 Facebook 페이지가 게재한 이 CSAM 광고는 Meta의 자동 탐지 시스템을 완전히 피해갔습니다. TTP의 책임자 Katie Paul은 유해 콘텐츠가 유통되는 동안에도 Meta가 광고 배치로 수익을 올리고 있다고 말했습니다. 다만 Meta는 신고된 광고들이 평균 노출수 200회 미만이었고, 신고된 광고 전체의 총 광고비 지출이 5,000달러 미만이었다고 밝혔습니다.

출처 1, 4

출처

  1. 1. “This is the AI men actually use”: Meta ads pushed apps nudifying real teensArs Technica · Tier 2
  2. 2. Meta Failed to Catch Hundreds of AI Child Abuse Ads. Some Included Images of Real KidsWIRED · Tier 2
  3. 3. Meta ran over 300 ads with suspected AI child abuse, NGO saysThe Straits Times · Tier 2
  4. 4. India: Instagram running ads promoting child sexual abuse material, BBC findsBBC News · Tier 2
  5. 5. Instagram is making all teen accounts ‘PG-13’The Verge · Tier 2

이해하기 쉬웠나요?

Meta, 실제 십대의 사진을 가짜 성관계 영상으로 만드는 앱 광고 수백 건 게재