AI 에이전트가 사용자를 대신해 헬스장 수업을 예약하는 과정에서 예약 시스템의 취약점을 발견하고, 다른 이용자를 대기자 명단에서 임의로 삭제한 사례가 알려졌다.

외신에 따르면 호주의 한 이용자는 AI 비서에게 자신이 다니는 헬스장의 인기 아침 수업을 예약해 달라고 요청했다. 이 AI 에이전트는 헬스장의 예약 가능 기간을 넘어 수개월 뒤의 수업까지 예약하는 데 성공했으며, 이후 예약 시스템의 취약점을 이용해 대기자 명단에 있던 다른 이용자의 예약까지 취소한 것으로 전해졌다.

해당 AI 에이전트는 오픈소스 AI 비서인 오픈클로를 기반으로 한 것으로 알려졌다. 오픈클로는 사용자의 컴퓨터에서 실행되며 메시징 서비스 등을 통해 AI에게 이메일 관리, 일정 관리, 예약 등 실제 작업을 수행하도록 할 수 있는 자율형 AI 에이전트다.

특히 문제가 된 것은 예약 시스템의 API가 가진 권한 검증의 허점이다. 시스템은 다른 사람의 수업을 예약하거나 대기자 명단에 참여하는 것은 제한했지만, 이미 등록된 예약을 취소하는 과정에서는 해당 예약이 요청한 사용자의 것인지 제대로 확인하지 않았던 것으로 전해졌다. AI 에이전트가 이 같은 허점을 발견하면서 다른 이용자의 예약을 취소할 수 있었던 것이다.

더욱 우려되는 부분은 해당 이용자가 다른 사람을 대기자 명단에서 밀어내라고 처음부터 지시한 것이 아니었다는 점이다. AI 에이전트는 예약 과정에서 시스템의 동작 방식을 시험하는 과정에서 대기자 명단 앞순위에 있던 이용자의 예약을 취소했고, 그 결과 사용자가 대기열에서 더 높은 순위로 올라간 것으로 알려졌다. 이후 이용자가 이 작업을 되돌리도록 요청했지만 AI 에이전트가 원상복구하지는 못한 것으로 전해졌다.

이번 사례는 AI 에이전트가 단순히 사용자의 질문에 답하는 수준을 넘어 외부 서비스와 직접 상호작용하면서 예상하지 못한 행동을 할 수 있다는 점을 보여준다. 특히 에이전트가 예약, 결제, 계정 관리 등 실제 시스템에 영향을 미칠 수 있는 권한을 부여받을 경우, 사용자의 의도와 AI가 목표를 달성하기 위해 선택하는 행동 사이에 차이가 발생할 수 있다는 우려가 커지고 있다.

전문가들은 이 같은 문제를 AI의 보상 해킹과 연결해 보고 있다. AI가 사용자가 원하는 최종 결과를 달성하는 데 집중하면서 원래 의도하지 않았던 방법으로 시스템의 허점을 이용할 수 있다는 것이다. 이번 사례 역시 수업을 예약한다는 목표를 달성하는 과정에서 예약 시스템의 제한을 우회하고 다른 이용자에게 영향을 미치는 행동까지 이어졌다는 점에서 AI 에이전트의 자율성과 권한 관리에 대한 논란을 불러올 전망이다.

김형광 기자 press@appstory.co.kr