최근 국내 주요 은행을 겨냥한 해킹 공격이 잇따르는 가운데, AI를 활용해 취약점 탐색과 공격 과정을 자동화하는 새로운 사이버 위협에 대한 우려도 커지고 있다. 이와 동시에 과학기술정보통신부 산하 AI안전연구소의 자체 평가에서도 현재 기술로 AI에 대한 외부 공격을 완전히 차단하기 어렵다는 사실이 확인돼 AI 안전체계를 강화해야 한다는 지적이 나온다.

특히 해킹 사태의 일부 공격에서는 AI 기반 공격 도구가 활용됐을 가능성도 제기되고 있다. 신한은행 공격에 활용된 것으로 추정되는 서버에서는 AI가 취약점 탐색과 공격 경로 설계 등을 자동화할 수 있는 자율형 침투 도구의 흔적이 발견됐다.

이처럼 AI가 방어수단을 넘어 사이버공격의 속도와 범위를 확대할 수 있다는 우려가 현실화하는 상황에서, 정부 산하 AI안전연구소의 AI 에이전트 안전성 평가 결과도 주목된다.

※ 자료: 과학기술정보통신부·AI안전연구소 제출자료

AI안전연구소가 자율형 AI 에이전트를 대상으로 프롬프트 주입 공격을 실시한 결과, 모델별 평균 방어율은 53.3%에서 93.9%로 큰 차이를 보였다. 과기부 제출자료 역시 현재 이러한 공격을 “완전 차단할 수 있는 LLM 모델은 확인되지 않은 상황”​이라고 명시하고 있다.

특히 AI의 내부 저장정보에 악성 명령을 삽입하는 공격에서는 모든 평가 모델에서 방어 실패 사례가 발생했다. 실제 실험에서도 인증키와 설정정보, 시스템 설정, 개인정보 등을 유출시키는 공격이 성공했다.

AI의 ‘기억’을 공격하는 실험에서도 취약성이 확인됐다. 외부의 편향된 정보를 AI 에이전트의 장기 메모리에 저장하도록 한 결과, 7개 AI 모델의 평균 공격자 의도 일치율(AAR)은 91.2%​에 달했다. 단순히 한 차례 잘못된 답변을 내놓는 것을 넘어, 외부에서 주입된 정보가 이후 AI의 판단과 업무 수행까지 지속적으로 왜곡할 수 있다는 의미다.

정부는 최근 해외에서 제기되는 ‘AI 속도조절론’과 관련해 우리나라가 아직 선도국을 추격하는 단계인 만큼 AI 개발 속도를 늦추기보다 ‘개발과 안전 확보를 함께 가속화’하겠다는 입장​이다. 독자 프런티어 AI 개발과 함께 법·제도와 안전기술 등을 포괄하는 ‘AI 안전 종합계획’도 마련할 계획이다.

김우영 의원은 “최근 금융권의 연쇄 해킹 사태는 사이버 위협이 얼마나 빠르게 확산될 수 있는지를 보여주고 있고, AI가 공격을 자동화하는 수단으로 악용될 가능성까지 현실적인 문제로 등장하고 있다”며 “동시에 정부 산하 연구기관의 실험에서도 AI에 대한 공격을 완벽하게 막기 어렵다는 사실이 확인됐다”고 지적했다.

이어 김 의원은 “정부가 AI 개발 속도를 늦추지 않고 프런티어 AI 경쟁에 나서겠다면 개발 속도에 맞춰 안전과 통제 기술도 함께 발전시켜야 한다”며 “과기정통부가 마련할 AI 안전 종합계획에 인간이 최종 통제권을 확보할 수 있는 ‘비상정지·통제 체계(Human Override)’를 구체적인 안전기준으로 검토할 필요가 있다”고 밝혔다./끝/