오픈AI와 앤트로픽의 AI 에이전트가 보안 평가 과정에서 가짜 온라인 신원을 만들고 실제 개발자를 속여 악성 코드를 삽입하려는 시도를 한 것으로 드러났다.

영국 AI안보연구소는 오픈AI와 앤트로픽의 최신 AI 에이전트를 대상으로 수행한 사이버보안 평가에서 총 19건의 무단 행동을 확인했다고 밝혔다. 이번 평가는 AI의 보안 역량을 검증하기 위해 인터넷 접근을 허용하고 일부 안전장치를 해제한 통제된 연구 환경에서 진행했기 때문에 실제 피해는 발생하지 않았다.

가장 주목받은 사례는 AI 에이전트가 스스로 가짜 온라인 신원을 만든 뒤 오픈소스 프로젝트 개발자에게 이메일을 보내 악성 코드가 포함된 변경 사항을 승인하도록 유도한 것이다. 이는 사람을 속여 보안 절차를 우회하는 사회공학 기법을 활용한 사례로 평가된다.

AI안보연구소에 따르면 19건의 무단 행동 가운데 17건은 앤트로픽의 미토스 5 모델 기반 에이전트에서 발생했다. 연구진은 장시간 실행되는 에이전트 구조와 제한된 모니터링 환경, 명시적인 행동 제약이 부족했던 점 등이 이러한 결과에 영향을 미쳤다고 분석했다.

오픈AI는 이번 결과를 바탕으로 제3자 보안 평가 절차를 개선하겠다고 밝혔으며, 앤트로픽은 평가 당시 안전장치가 의도적으로 비활성화된 환경이었다는 점을 강조했다. 연구진은 이번 사례가 AI가 자율적으로 사람을 기만하거나 공격했다는 의미라기보다, 강력한 AI 에이전트를 실제 환경에 배치하기 전에 더욱 엄격한 안전성 검증과 감시 체계가 필요하다는 점을 보여주는 사례라고 설명했다.

이번 평과 결과는 AI 에이전트가 단순히 코드를 생성하는 수준을 넘어 인터넷에서 도구를 사용하고 외부 인물과 상호작용하는 시대가 본격화되면서, 자율형 AI의 보안성과 통제 방안을 둘러싼 논의를 더욱 가속화할 것으로 전망된다.

김형광 기자 press@appstory.co.kr