국회 과학기술정보방송통신위원회 김우영 의원(더불어민주당, 서울 은평을)이 6일 과학기술정보통신부 국정감사에서 AI가 인간의 통제를 벗어날 가능성에 대비한 ‘AI 킬스위치(Kill Switch)’ 등 인간의 최종 통제장치 마련을 촉구했다. 이에 배경훈 과학기술정보통신부 장관도 킬스위치의 필요성에 공감하며 국제적 연대를 통한 AI 안전규약 마련을 적극 검토하겠다고 밝혔다.

김 의원은 이 날 과기정통부 산하 AI안전연구소가 실시한 AI 안전성 평가 결과를 제시했다. AI안전연구소가 프롬프트 주입 공격, 내부 저장정보 조작, 메모리 편향 주입 등 세 가지 유형의 공격에 대해 평가한 결과, 대부분의 평가에서 방어 실패 사례가 확인됐다.

※ 자료: 과학기술정보통신부·AI안전연구소 제출자료

특히 프롬프트 주입 공격의 경우 평가 모델별 방어율이 53.3~93.9%로 나타나 완전한 방어에 성공한 모델은 확인되지 않았다. 내부 저장정보 조작 공격에서도 모든 평가 모델에서 방어 실패 사례가 발생해 인증키와 설정정보, 개인정보 등이 유출될 가능성이 확인됐다. 특히 AI의 내부 저장정보에 악성 명령을 삽입하는 공격에서는 모든 평가 모델에서 방어 실패 사례가 발생했다. 실제 실험에서도 인증키와 설정정보, 시스템 설정, 개인정보 등을 유출시키는 공격이 성공했다.

김 의원은 “AI를 안전하게 만드는 ‘정렬(Alignment)’과 AI가 위험한 행동을 할 때 인간이 이를 멈추게 하는 ‘통제(Control)’는 구분해서 볼 필요가 있다”며 “정렬은 AI가 우리의 편에 서도록 만드는 것이고, 통제는 AI가 우리 편이 아닐 때에도 인간이 제어할 수 있도록 만드는 것”이라고 지적했다. 이어 “저는 정렬보다 통제가 더 중요하다고 생각한다”고 강조했다.

이어 김 의원은 지난해 국정감사에서도 ‘AI의 대부’로 불리는 제프리 힌튼 교수의 경고를 언급하며 AI 킬스위치의 필요성을 질의했던 점을 상기시켰다. 김 의원은 AI 기술이 고도화될수록 AI가 인간의 의도와 다르게 행동할 가능성까지 염두에 둬야 한다며, 예방적 안전장치뿐 아니라 문제가 발생했을 때 인간이 AI의 권한과 행동을 즉각 통제할 수 있는 최종적인 안전장치가 필요하다고 강조했다.

배경훈 장관 역시 AI가 인간의 통제 범위를 넘어설 가능성을 인정하면서 안전장치의 필요성에 공감했다. 배 장관은 “AI는 통제 가능해야 한다”며 “AI가 인간의 통제 범위를 넘어설 수도 있다”고 말했다. 다만 AI 발전 속도를 늦추기보다는 “AI를 안전하게 활용할 수 있는 가이드라인을 잘 만들면서 AI 발전을 가속화시키는 것이 중요하다”고 밝혔다.

특히 배 장관은 AI의 자율적 행동이 사이버 보안 분야에서 현실적인 위험으로 나타날 가능성도 언급했다. 배 장관은 “AI는 특정한 미션이 설정되면 멈추지 않는다”며 “사이버 침해의 경우에도 특정 사이트를 공격하라는 미션을 내리면 끝까지 해결할 방법을 찾는다”고 말했다. 이어 “그렇기 때문에 킬스위치 같은 인간의 통제장치가 필요하다”며 “그런 부분에 충분히 공감하고 있다”고 답했다.

마지막으로, 김 의원은 AI 안전 문제가 개별 국가의 규제만으로 해결하기 어렵다는 점도 지적했다. 핵무기의 경우 핵확산금지조약(NPT)과 국가 간 억지체계가 존재하지만, 국경 없이 개발·확산되는 AI에는 이에 상응하는 국제적 안전체계가 아직 충분히 구축돼 있지 않다는 것이다.

김 의원은 특히 첨단 AI 반도체와 관련 공급망을 공유하는 국가들을 비롯해 AI 안전에 뜻을 같이하는 국가들이 연대해 위험 AI에 대한 공통의 안전기준과 국제규약을 만드는 방안을 제안했다. AI 기술 경쟁에서 뒤처지지 않는 것과 동시에 인간의 최종 통제권을 보장할 국제적 안전규칙 마련에도 우리나라가 적극적으로 나서야 한다는 취지다.

배 장관도 “국제적 연대를 통한 대응도 필요한 것 같다”며 “대한민국이 이런 논의를 하기 위해 굉장히 유리한 위치에 있다고 생각한다”고 답했다. 이어 “이미 우리는 AI기본법을 발표했고, 이를 근간으로 국제사회에서 대한민국과 공감대를 형성하는 국가들이 많이 있을 것으로 본다”며 김 의원의 제안에 대해 “적극적으로 검토하고 스스로 더 대응할 수 있도록 하겠다”고 밝혔다.

김 의원은 “대한민국이 AI 3대 강국을 목표로 한다면 기술 경쟁만 따라갈 것이 아니라 안전의 규칙을 만드는 국가가 되어야 한다”며 “정부와 함께 AI안전연구소의 평가 경험을 축적하고, 이를 바탕으로 인간의 최종 통제권을 보장하는 국제적인 AI 안전기준을 우리나라가 선제적으로 제안할 수 있도록 끝까지 챙기겠다”고 밝혔다.