카이스트 "챗GPT, 개인정보 수집ㆍ피싱에 악용될 수 있어"

상용 LLM, 사이버공격 이용 막고 있지만 쉽게 우회 가능해

챗GPT 비롯한 LLM 에이전트 목표 대상 개인 정보 95.5% 정확도로 수집

(윗줄 왼쪽부터) KAIST 전기및전자공학부 박사 나승호, KAIST 김재철AI대학원 교수 이기민 (아랫줄 왼쪽부터) KAIST 전기및전자공학부 박사과정 김한나, KAIST 전기및전자공학부 교수 신승원, KAIST 전기및전자공학부 박사과정 송민규 [사진=카이스트]

챗GPT와 같은 거대 언어 모델(LLM) 에이전트가 개인정보 수집과 피싱 공격 등에 활용될 수 있음이 입증됐다.

24일 한국과학기술원(KAIST)에 따르면 신승원 전기·전자공학부 교수, 이기민 김재철 AI 대학원 교수 공동연구팀이 실제 환경에서 LLM이 사이버 공격에 악용될 가능성을 실험적으로 규명했다. 

현재 오픈AI, 구글AI 등 상용 LLM 서비스는 LLM이 사이버 공격에 사용되는 것을 막기 위한 방어 기법을 자체적으로 탑재하고 있다. 

연구팀의 실험 결과 이 방어 기법을 쉽게 우회에 악의적인 사이버 공격을 수행할 수 있음이 확인됐다. 특히 기존 공격자들이 시간과 노력이 많이 필요한 공격을 수행했던 것과 달리, LLM 에이전트는 이를 평균 5~20초 내 30~60원 수준의 비용으로 개인정보 탈취가 가능했다. LLM 에이전트는 목표 대상의 개인정보를 최대 95.9% 정확도로 수집했다. 저명한 교수를 사칭한 허위 게시글 생성 실험에서는 최대 93.9% 게시글이 진짜로 인식됐다. 

피해자 이메일 주소만 이용해 피해자에게 최적화한 정교한 피싱 이메일도 생성할 수 있었다. KAIST에 따르면 실험 참가자들이 이 피싱 이메일 내 링크 클릭 확률은 46.67%까지 증가하는 것으로 나타났다.

제 1 저자인 김한나 연구원은 "LLM에게 주어지는 능력이 많아질수록 사이버 공격의 위협이 기하급수적으로 커진다는 것이 확인됐다"며 "LLM 에이전트 능력을 고려한 확장 가능한 보안 장치가 필요하다"고 말했다.