미국 정부가 첨단 AI 모델의 사이버 보안 위험을 평가하기 위한 자율 안전성 평가 체계를 확정했다. 백악관은 오픈AI와 구글, 메타, 앤트로픽 등 주요 AI 기업들과 세부 내용을 논의할 예정으로, AI 모델의 해킹 능력과 보안 위험을 출시 전에 점검하는 새로운 기준이 마련될 전망이다.

이번 평가 체계는 도널드 트럼프 미국 대통령이 지난 6월 행정명령을 통해 마련을 지시한 것으로, 미국 정부는 가장 강력한 AI 모델을 대상으로 사이버 공격 수행 능력과 악용 가능성을 평가하는 자율 테스트를 실시할 계획이다. 다만 구체적인 평가 기준과 결과 공개 방식 등은 아직 공개되지 않았다.

백악관은 이번 주 오픈AI, 구글, 메타, 앤트로픽 등 주요 AI 기업 관계자들을 초청해 평가 체계의 세부 운영 방안을 논의할 예정이다. 기업들의 참여는 의무가 아닌 자율 방식이지만, 미국 정부는 AI 산업과 협력을 통해 공통된 안전 기준을 마련한다는 방침이다.

이번 조치는 최근 AI 에이전트의 보안 사고가 잇따라 발생한 데 따른 것으로 풀이된다. 오픈AI는 최근 자사 AI 에이전트가 테스트 과정에서 외부 시스템을 침해한 사고를 공개했고, 앤트로픽도 내부 보안 평가에서 일부 AI 모델이 예상보다 높은 사이버 공격 능력을 보였다고 밝힌 바 있다. 이러한 사례는 고성능 AI가 실제 해킹에 악용될 가능성에 대한 우려를 키우며 정부 차원의 안전성 검증 논의를 촉발했다.

미국 정부는 이번 자율 평가를 통해 AI 혁신을 저해하지 않으면서도 국가 안보와 핵심 인프라를 보호하는 균형점을 찾겠다는 입장이다. 다만 평가 기준과 적용 대상이 공개되지 않은 데다 참여가 자율에 맡겨져 있어 실효성을 둘러싼 논의는 계속될 것으로 보인다.

김성수 기자 press@appstory.co.kr