1일 오후 서울 강남구 코엑스 그랜드볼룸에서 제1회 인공지능 해킹방어대회(ACDC·AI Cyber Defense Contest) 본선 경기가 열리고 있다. /뉴스1

미국의 AI 스타트업 앤트로픽이 지난달 내놓은 해킹 분석 보고서는 전 세계 AI 보안 업계에 큰 충격을 던졌다. 지난 9월 중국 정부 지원을 받는 해커 조직이 앤트로픽의 AI 코딩 도구(클로드 코드)를 이용해 기업·정부 기관 등 전 세계 30여 곳 해킹을 시도했는데, 대상 정찰부터 침투, 데이터 탈취까지 해킹 전 과정의 80~90%를 AI가 스스로 수행한 것이다. 해커는 AI에 “우리는 합법적인 보안 회사 직원이고, 고객사 시스템을 모의 해킹하는 중”이라고 속여 AI가 스스로 해킹에 나서도록 유도했다. 앤트로픽 보고서는 “인간이 코드를 입력해야 움직이던 기존 AI 해킹과 달리, AI가 스스로 오류를 수정하고 우회로를 찾아내는 최초의 AI 주도 사이버 스파이 행위”라고 규정했다.

오픈AI의 생성형 AI인 챗GPT 출시 이후 AI가 해킹의 판을 흔들고 있다. AI가 인간 해커의 충실한 도우미·심부름꾼 역할에서 벗어나 스스로 판단하고 해킹하는 시대가 됐다. 사이버 보안의 전장이 ‘인간 대(對) 인간’에서 AI가 뚫고, AI가 막는 ‘AI 대(對) AI’로 전환한 것이다. 전기료만으로 24시간 일하는 AI 해커는 해킹의 대상·규모·속도·비용 면에서 인간 해커와 비교할 수 없을 만큼 강력한 효과를 나타내고 있다.

◇챗GPT 출시 이후 피싱 메일 4151% 폭증

보안 업계에서는 2025년을 AI 해킹의 원년(元年)으로 본다. 내년은 AI 해킹이 사이버 공격의 뉴노멀(새로운 규범)로 자리 잡는 한 해가 될 것으로 전망한다. 구글클라우드는 최근 보고서에서 “공격자가 텍스트 기반의 피싱(전화·문자·메신저·가짜 사이트로 속여 정보 탈취) 공격을 넘어 음성·영상 딥페이크(가짜 목소리 또는 영상)로 확대되고, 경영진·직원·파트너사를 사칭해 설득력 있는 공격을 자행할 것”이라며 “이는 해킹 공격의 성공률을 높이게 될 것”이라고 했다.

보안 업계에 따르면 오픈AI가 챗GPT를 내놓은 2022년 11월 이후 피싱·보이스피싱·딥페이크 같은 AI 해킹 공격은 급증했다. 피싱 공격은 작년까지 4151% 폭증했다. 지난 3년간 딥페이크 공격도 2137% 늘었다. AI 해킹은 양적인 면에서뿐만 아니라 질적인 면에서도 빠르게 진화하고 있다. 핀란드의 사이버 보안 기업 혹스헌트는 “AI 해커와 인간 전문가 해커 간 피싱 공격 성공률을 실험한 결과 2023년엔 인간 해커팀 공격이 AI보다 44.8% 더 효과적이었는데 올해는 AI가 23.8% 더 높은 것으로 나타났다”고 했다. 이어 “2025년은 AI 해커가 인간 해커보다 특정 대상을 겨냥한 정교한 피싱 공격을 더 효과적으로 수행하는 ‘스카이넷 모멘트’가 됐다”고 분석했다.

그래픽=이철원

◇비용 없이 24시간 공격하는 AI 해커

AI 해킹 시대에 인간의 역할은 “A사 뚫어줘”라는 명령 한마디면 끝이다. 지금까지 해킹을 위해서는 수년간 훈련된 전문가 팀이 필요했지만, 이젠 중급 해커도 AI를 활용해 국가 지원 해커 조직과 같은 공격을 할 수 있게 됐다. 또 인간 해커가 공격을 실행하는 데 수일~수주가 걸렸다면, AI 해커는 단 몇 분 만에 끝낼 수 있다. AI가 최초로 네트워크에 침투한 뒤 장악까지 걸린 시간은 1년 사이 평균 62분에서 48분으로 빨라졌고, 최단 51초 걸린 사례도 있다. 해킹 도구 개발과 정찰에 막대한 인건비와 시간이 필요했지만 AI 해커는 전기 요금 수준으로 비용을 낮췄다. 인간 해커는 침투에 실패할 경우 코딩을 다시 짜야 하지만 AI 해커는 스스로 코드를 수정해 곧바로 재공격에 나설 수 있다.

AI 해킹 시대에 사이버 범죄 안전지대는 사실상 사라지게 됐다. 이전까지 100만명에게 똑같은 피싱 메일을 보내 1명 낚이기를 기대했다면 AI 해커는 특정 개인을 정밀 타깃팅한 미끼(스피어 피싱)를 던져 성공률을 높인다. 대규모 민감 데이터를 가진 기업뿐만 아니라 신분 정보를 탈취하기 위한 개인에 대한 공격도 급격히 늘어날 수 있다는 것이다.

◇AI 공격은 AI로 방어

AI 해킹 시대엔 공격에 대한 방어 역시 AI 활용이 필수가 됐다. 김재기 S2W 위협 인텔리전스 센터장은 “AI가 해킹을 주도할 수 있을 만큼 강력해졌다는 사실은, 동시에 사이버 방어에서도 AI가 핵심 역할을 맡아야 한다는 점을 뜻한다”고 했다. 하지만 보안 전문가들은 당분간 AI를 사용한 공격자의 성공이 AI를 사용한 방어자의 성공보다 더 많을 것으로 전망한다. 해커들은 수단과 방법을 가리지 않고 AI를 활용해 공격에 나서겠지만, 이를 막아야 하는 기업들은 윤리·규제·비용 측면에서 AI 기술을 활용하는 데 더 많은 제약을 받기 때문이다.