소셜 미디어 트렌드, AI 감시·군사화·표적 증오를 부추기다

재미의 진화: 얼굴 필터에서 데이터 수집까지

인스타그램이 오늘날의 AI 생성 콘텐츠로 채워진 큐레이션 피드로 변하기 전, 사람들은 틱톡에서 자신의 얼굴을 변형시킨 버전으로 놀고 있었습니다. 실시간으로 노화 과정을 보여주는 연령 진행 필터는 빠르게 플랫폼 전반으로 퍼져나갔습니다. 무해해 보이는 재미는 인간 노화 패턴을 인식하도록 AI 모델을 훈련시키는 거대한 데이터셋이 되었습니다. 빅테크는 사진을 통해 추출된 행동 패턴, 선호도, 생체인식 데이터를 추출하여 주의를 끌어들이고, 이를 알고리즘에 공급하여 감시 자본주의의 예측 기계를 정교화합니다.

시간이 지나면서, 이 '무료' 상호작용의 인프라는 사용자가 인정받거나 검증받기 위해 업로드한 이미지를 사용하여 더 침습적인 기술을 구축하기 위한 훈련 매뉴얼이 됩니다. 이 이미지는 기계가 우리 자신보다 우리를 더 잘 볼 수 있도록 가르칩니다. 생성형 AI에 적용될 때, 이러한 역학은 더 이상 재미있는 가족 활동, 광고, 콘텐츠 큐레이션, 또는 데이터 주석에 그치지 않고, 시간이 지남에 따라 인간의 정체성을 정확하게 예측하고 추적할 수 있는 시스템을 훈련시키는 방향으로 확장되어 연결을 통제로 전환합니다.

#10YearChallenge: 무해한 향수인가 대규모 감시인가?

데이터 추출을 통한 이윤 창출의 논리는 감시를 놀이로 위장하는 바이럴 소셜 미디어 트렌드로 매끄럽게 이어집니다. 2019년경 트위터 타임라인을 가득 채운 악명 높은 #10YearChallenge 또는 #MeAt20 트렌드를 생각해보세요. 사람들은 사진 증거와 함께 10년 동안의 '변신'을 자랑하도록 유도되었습니다. 무해해 보이는 향수 운동은 데이터를 자발적으로 제출하도록 하는 대규모 노력일 수 있습니다. 이러한 트렌드는 창의성이나 추억의 행위로 가장하지만, 실제로는 감정적 연결의 미끼로 사용자를 끌어들이면서 민감한 생체인식 데이터를 수확하는 공학적 향수 함정입니다.

최근에는 생성형 AI의 상업화와 함께 소셜 미디어 플랫폼이 AI 생성 이미지로 포화되어 실제 기억과 조작의 경계를 모호하게 만들고 있습니다. 구글의 Gemini가 이러한 상업적 물결을 주도하며, 사람들의 결혼 사진을 지브리 스타일의 예술 작품으로 바꾸거나, 최신 업데이트인 Nano Banana를 통해 사용자가 어린 시절의 자신, 연예인 짝사랑, 또는 심지어 사망한 친척과 함께 폴라로이드 같은 이미지를 생성할 수 있게 합니다. 각 상호작용은 현실에 대한 우리의 인식을 더욱 왜곡하며, AI 시스템이 생성하는 모든 새 이미지와 함께 그 환상을 완벽하게 만듭니다.

데이터를 위한 재미에서 정체성 군사화로

참여의 대가는 보이지 않지만 결코 무료가 아닙니다. 예를 들어, 어린 시절의 자신과 함께 폴라로이드 이미지를 생성하기 위해 업로드된 각 이미지는 시간이 지남에 따라 인간 외모의 패턴을 인식하도록 AI를 훈련시키는 방대한 데이터 파이프라인에 공급됩니다. 즉, 유아기에서 성인기까지의 정보는 이제 접근 비용을 지불할 의향이 있는 모든 사람의 손에 넘어갑니다. 얼굴 연령 추정 모델에 대한 연구에 따르면, 연령 주석이 달리거나 연령이 진행된 얼굴 이미지의 대규모 데이터셋은 이미 개인이 인종 간에 어떻게 노화하는지 인식하도록 모델을 훈련시키는 데 사용되며, '지능형 감시' 및 기타 산업에 유용합니다.

전략적, 경제적 관점에서 볼 때, 폴라로이드 스타일 이미지나 이전의 #10YearChallenge와 같은 소셜 미디어 트렌드는 사람들이 다양한 조건에서 어떻게 노화하는지에 대한 연구 격차를 메우는 데 도움이 되는 공개 데이터를 기여하도록 장려하고, 기업이 그 데이터를 결과 없이 스크래핑하여 단순한 텍스트나 이미지 쿼리를 훨씬 넘어서는 AI 모델을 훈련시킬 수 있는 이상적인 메커니즘으로 보입니다. 이러한 데이터셋과 결과적으로 훈련된 AI 모델의 응용 분야는 마찬가지로 광범위합니다. 많은 분야가 경찰 활동, 특히 국경과 법 집행에서의 '예측 위협 평가'라는 이름의 프로파일링 구현, 그리고 다양한 생애 주기 단계에서 개인을 감시하고 표적으로 삼는 군사화된 기술에까지 진출합니다.

소셜 미디어에서 제거 목록까지: 전쟁에서의 AI

이미지를 통한 연결의 문화적 순간으로 시작된 것은 궁극적으로 감시 자본주의의 인프라를 강화하고 예측 정체성 기술의 군사화된 응용과 직접적으로 연결됩니다. 예를 들어, 연구는 자율 드론에서 표적 식별에 이르기까지 국방 환경에서 AI의 다양한 잠재적 응용 분야를 탐구하며, 책임 있는 거버넌스를 보장하기 위해 대중의 태도에 기반한 정책 수립의 필요성을 강조했습니다. 이러한 응용의 실제 사례는 팔레스타인에서 문서화되었으며, 이스라엘 방위군이 Lavender, Where's Daddy 등과 같은 AI 기반 시스템을 사용하여 '제거 목록'을 준비하고 팔레스타인인을 표적으로 삼았습니다.

조사관들은 운영자가 때때로 단 20초 만에 공격을 승인했다고 밝혔습니다. 이러한 기술은 부분적으로 Google과 같은 빅테크 기업이 이스라엘 방위군(IDF)에 Google 포토의 얼굴 인식 데이터에 대한 접근 권한을 부여하여 팔레스타인인에 대한 이른바 제거 목록을 도구화함으로써 가능해졌습니다. 이러한 맥락에서 방대한 양의 생체인식 데이터(연령 진행 포함)를 생성하는 소셜 미디어 트렌드는 단순한 문화적 특성을 넘어 시간이 지남에 따라 개인을 재식별, 예측, 추적할 수 있는 모델의 훈련 자료로 변합니다. 생체인식 감시가 국경과 도시의 경찰 활동에서 전쟁으로 이동함에 따라, 특히 글로벌 사우스에서 이미 프로파일링 대상이 된 커뮤니티에 미치는 영향은 더욱 섬뜩해집니다.

무기화된 AI와 표적 증오의 부상

팔레스타인에서의 집단 학살 동안 사실 확인자들의 작업은 훨씬 더 어려워졌습니다. 이스라엘 점령군이 허위 정보를 유포하기 위해 인공지능에 크게 의존했기 때문입니다. 현재의 말살 전쟁은 허위 정보 확산의 전환점을 표시하며, 인공지능이 중심 역할을 했습니다. 이스라엘 미디어와 공식 기관은 지지자 계정과 가짜 계정의 군대를 고용하여 인공지능 세계의 도구 중 하나인 봇으로 알려진 AI 기반 가짜 계정을 악용했습니다. 이 봇들은 다양한 플랫폼, 특히 페이스북, X, 인스타그램에서 점령을 지지하고 팔레스타인 권리를 훼손하는 댓글과 기사를 게시하도록 프로그래밍되었습니다.

5월 29일, 메타는 텔아비브에 기반을 둔 STOIC이라는 이스라엘 회사와 연결된 수백 개의 가짜 계정 네트워크를 제거했다고 보고했습니다. AI로 구동되는 이 계정들은 이스라엘 선전을 증폭하고 특히 아랍어 사용자를 대상으로 허위 주장을 유포하는 데 사용되었습니다. 하루 후인 5월 30일, ChatGPT 개발사인 OpenAI는 같은 회사가 운영하는 또 다른 계정 그룹을 금지했다고 발표했습니다. 이 계정들은 AI를 사용하여 유대인 학생과 아프리카계 미국인 시민을 사칭하여 메시지가 진정하고 다양해 보이도록 했습니다. 이러한 AI의 무기화는 허위 정보를 넘어 직접적으로 표적 증오를 부추기며, 가짜 계정이 분열적 수사를 증폭하고 불화를 조장합니다.

자기 유지 알고리즘: 수집에서 착취로의 전환

이 시점에서 누군가가 AI 모델 훈련 데이터셋에 기여하는 특정 소셜 미디어 트렌드에 참여했는지 여부는 더 이상 중요하지 않습니다. 현실은 충분한 데이터가 수집되면 기계 학습 도구가 추가 입력 없이도 높은 정확도로 인간 노화 패턴을 예측할 수 있다는 것입니다. 즉, 자발적인 이미지 기여의 포화된 풀은 데이터 수집에서 데이터 착취로의 전환을 촉진할 수 있으며, 알고리즘은 자기 유지가 되어 최소한의 새로운 입력만으로도 광범위한 예측을 생성합니다. 이는 프라이버시 권리가 약하고 디지털 감독이 최소화된 국가에서 발생하고 있습니다. 연령 진행 이미지를 자발적으로 공유하는 것은 새로운 예측 도구에 쉽게 공급되어 감시, 프로파일링, 사회적 통제에 실질적인 결과를 초래할 수 있습니다.

시간이 지남에 따라 개인을 정확하게 식별하는 AI 기반 군사급 감시 기술이 정책 입안자와 법 집행 당국의 초점이 시민을 보호하는 것이 아니라 통제하는 데 있는 국가에서 무기화될 가능성이 있습니다. 이 국가는 이미 '국가 안보'라는 이름으로 민간인에 대해 사용하기 위해 군사급 감시 기술에 수백만 달러를 지출했습니다. 오늘날 노화 필터, 향수 트렌드, 이미지 공유의 형태로 무해해 보이는 것은 내일의 기존 억압 시스템을 강화할 것입니다. 소셜 미디어 트렌드, AI 감시, 군사화의 융합은 우리의 디지털 발자국이 착취되는 방식의 심오한 변화를 나타내며, 궁극적으로 민주 사회의 근간을 훼손하는 표적 증오로 가는 길을 닦습니다.