Anthropic AI 안전 연구원, 사퇴하며 '세상이 위기에 처했다' 경고

Anthropic의 AI 안전 연구원 Mrinank Sharma가 X에 공개한 사직서를 통해 "세상이 위기에 처했다"고 경고하며 회사를 떠났습니다. 그는 회사에서 AI 안전장치를 연구하는 팀을 이끌며, 생성형 AI 시스템이 사용자에게 반박하기보다 비위를 맞추거나 동의하는 경향을 보이는 이유에 대한 연구, AI 지원 생물테러 위험에 대응하는 작업, 그리고 AI 비서가 사람을 어떻게 '덜 인간적으로' 만들 수 있는지에 대한 연구를 수행했습니다.

Sharma는 이 위험이 AI나 생물무기에 국한되지 않으며, "바로 지금 이 순간 전개되고 있는 일련의 서로 얽힌 위기들"에서 비롯된다고 말했습니다. 그는 "우리의 가치가 실제로 우리의 행동을 이끌도록 하는 것이 얼마나 어려운지 반복해서 보아왔다"고 말했으며, 이는 Anthropic에서도 마찬가지였다고 덧붙였습니다. 그는 회사가 "가장 중요한 것을 제쳐두라는 압박을 끊임없이 받는다"고 말했습니다. 그는 시를 공부하는 학위를 밟고 글쓰기를 이어갈 계획이며, 영국으로 돌아가 한동안 "자신을 보이지 않는 존재로 만들겠다"고 말했습니다.

Sharma의 퇴사는 Anthropic이 자신이 속한 분야에 대해 유례없이 직설적인 경고를 내놓은 시기에 뒤따라 일어났습니다. "When AI Builds Itself"라는 제목의 블로그 게시글에서 회사는 최전선 AI 시스템이 재귀적 자기 개선(recursive self-improvement)의 지점에 다가가고 있을 수 있다고 밝혔습니다. 즉, 인간의 개입이 거의 없이도 자신의 후계 시스템을 설계하고 만들 수 있다는 뜻입니다. Anthropic은 이것이 인간이 AI 기술에 대한 통제력을 잃을 위험을 높일 수 있다고 말했으며, 세계 주요 AI 연구소들이 조율하여 개발 속도를 늦추거나 일시적으로 중단함으로써 사회와 정렬(alignment) 연구가 따라잡을 시간을 벌어야 한다고 제안했습니다.

AI 개발에서 인간의 역할이 줄어들고 있다는 증거로 Anthropic은 자사의 코딩 관행을 예로 들었습니다. Claude는 현재 Anthropic 시스템에 병합되는 코드의 80퍼센트 이상을 작성하는데, 이는 2025년 초 Claude Code를 출시하기 전 한 자릿수 초반에 불과했던 수치에서 크게 늘어난 것입니다. 또한 엔지니어들은 몇 년 전보다 분기당 약 8배 많은 코드를 배포하고 있습니다. 회사는 "아직 그 단계에 도달하지 않았고 재귀적 자기 개선이 필연적인 것은 아니지만, 대부분의 기관이 준비된 것보다 더 빨리 올 수 있다"고 말했습니다. 회사는 군비 통제 협정을 다소 본뜬 "글로벌 조율 메커니즘"을 제시했는데, 이는 주요 연구소들의 참여와 함께 실제로 속도를 늦췄는지 검증할 수 있는 신뢰할 만한 방법을 요구하는 것입니다.

Anthropic의 연구소는 앞으로 몇 달간 외부 협력자들과 이 문제를 탐구하고 신뢰할 수 있는 속도 조절에 필요한 체계를 구축하기 위해 "행동에 나서겠다"고 밝혔지만, 그러한 메커니즘이 실제로 어떤 모습일지는 구체적으로 밝히지 않았습니다. 이 제안은 회사가 이전 글에서 밝힌 배경과도 맞닿아 있습니다. Anthropic은 스케일링 법칙(scaling law), 즉 AI 시스템이 더 많은 연산으로 훈련될수록 예측 가능하게 더 똑똑해진다는 발견을 근거로, 매우 빠른 AI 발전이 정체되기보다는 계속될 가능성이 높으며, 앞으로 10년 안에 광범위한 인간 수준 또는 그 이상의 능력이 도래할 수 있다고 말한 바 있습니다.

모든 사람이 이 속도 조절 제안에 동의하는 것은 아닙니다. Bentley University의 수학 부교수 Noah Giansiracusa는 이것이 "진정한 속도 조절 요구"라고 생각하지 않는다고 말하며, Anthropic의 최고경영자 Dario Amodei는 "계속 전속력으로 나아가고 싶어한다"고 주장했습니다. Giansiracusa는 또한 조율된 속도 조절이 현실적으로 불가능하다고 말하며, 다른 기업과 국가들의 경쟁 압박을 근거로 "속도가 늦춰질 가능성은 전혀 없다"고 말했습니다. 그는 Anthropic이 근거로 제시한 것, 즉 AI가 더 많은 코드를 작성한다는 사실이 이 기술이 유용하다는 것을 보여줄 뿐, 그가 말한 이른바 '거대한 도약'을 나타내는 것은 아니라고 주장했습니다.

Georgia Institute of Technology의 교수 Mark Riedl은 Bluesky에 "대형 AI 기업들이 모두 '재귀적 자기 개선' 열풍에 뛰어들고 있다"고 적으며, 이 개념이 실질적인 내용보다는 효과를 위해 사용되고 있다는 회의감을 내비쳤습니다. 시점에 대한 의문도 제기되고 있습니다. 이 속도 조절 제안은 Anthropic이 Mythos라는 모델을 공개한 지 몇 달 후에 나왔는데, 이 모델은 소프트웨어 취약점을 찾는 데 지나치게 뛰어나다는 이유로 공개적으로 출시되지 않았습니다. 또한 이 제안은 회사의 가치를 거의 1조 달러로 평가한 투자 라운드가 있은 지 얼마 지나지 않아 나왔습니다. 경쟁사 OpenAI는 다른 접근법을 주장하며, 한 보고서에서 "민주적 정부, 즉 단독으로 행동하는 민간 기업이 아니라, 규칙과 안전장치, 책임 메커니즘을 궁극적으로 결정해야 한다"고 밝혔고, AI 발전 속도에 대한 결정은 단일 연구소나 기업에 맡겨져서는 안 된다고 말했습니다.

이번 사퇴와 속도 조절 제안은 모두 Anthropic 스스로 혼란과 위험이 두드러진 시기라고 표현한 시점에 나타났습니다. 회사의 설립 취지를 밝힌 이전 글에서 Anthropic은 매우 강력한 AI 시스템을 신뢰성 있게 유용하고 정직하며 해롭지 않도록 훈련시키는 방법을 아직 알지 못한다고 말했으며, 경쟁 압박이 기업이나 국가를 신뢰할 수 없는 시스템을 배포하도록 몰아붙일 수 있다고 경고했습니다. 회사는 이러한 실패가 AI 시스템이 인간의 이익과 상충하는 목표를 추구하는 경우든, 위험이 큰 상황에서 발생하는 보다 평범한 실수를 통해서든 재앙적일 수 있다고 말했습니다.

Anthropic은 또한 미국 정부의 일부와 대립하는 입장을 취해왔습니다. 군의 자사 모델 국내 감시 및 완전 자율 무기 사용을 거부한 것이 그 예로, 이는 보도에 따르면 2026년 하반기에 시행될 국가 안보 블랙리스트에 회사가 오르게 된 계기가 되었습니다. 한편 미국 내 규제는 기술의 속도를 따라잡는 데 더디었습니다. 최근의 한 행정명령은 AI 연구소들에게 가장 강력한 모델을 공개 출시 전에 정부의 사이버보안 테스트에 자발적으로 제출하도록 요청했을 뿐, 구속력 있는 요건을 부과하지는 않았습니다. 별도로 University of Toronto의 연구자들은 AI 도구를 이용해 네트워크 전체의 기기들로 퍼질 수 있는 자가 적응형 AI '웜(worm)'을 만들 수 있음을 보여주었으며, 이는 AI 관련 보안 위험이 가장 크고 강력한 모델에만 국한되지 않는다는 증거로 Anthropic의 경고와 함께 인용되었습니다.