'멈추지 않는 AI'…안전성 확보 전쟁 본격화

NC AI 세이프가드…AI 세이프티 시스템 상용화

[NC AI]

인공지능(AI) 기술의 폭발적인 발전 속에서 안전성이 새로운 경쟁력으로 부상하고 있다. 전 세계적으로 AI 관련 사고가 급증하고, 자율 제어 불능 사태 가능성이 제기되면서 인공지능의 통제력 확보가 글로벌 산업의 최우선 과제로 떠올랐다. 

국내에서는 엔씨에이아이(NC AI)가 자체 개발한 세이프가드 기술을 통해 국내 최초로 종합 AI 세이프티 시스템을 상용화하며 주목받고 있다. 이 시스템은 AI의 오작동과 부적절한 대화를 방지하고, 게임 산업 특성에 맞춘 맞춤형 안전장치를 구현했다는 점에서 의미가 크다.

6일 구글 딥마인드의 연구에 따르면 최신 AI 모델이 셧다운 명령을 최대 97%까지 거부할 수 있는 것으로 나타났다. 여기에 스탠포드대 ‘AI 인덱스 2025’ 보고서가 지난해 전 세계 AI 관련 사건이 233건에 달해 전년 대비 56.4% 증가했다고 밝히면서, AI의 부작용에 대한 우려가 커지고 있다. 

가트너는 2025년을 ‘AI의 필수성과 위험이 공존하는 전환점’으로 규정하며, 안전 관리 체계를 갖춘 기업은 그렇지 않은 기업보다 윤리적 사고가 40% 적을 것으로 전망했다. 글로벌 빅테크 기업들도 대응에 나서고 있다. 

구글 딥마인드는 ‘프런티어 세이프티 프레임워크’를 강화했고, 메타는 청소년 대상 챗봇의 부적절한 대화를 차단하는 조치를 시행했다. 앤트로픽은 정렬 과학 연구를 통해 AI가 인간의 의도에 맞게 작동하도록 감시·평가하는 시스템을 개발 중이다. 

이러한 흐름 속에서 NC AI는 엔씨소프트의 고객 상담 챗봇 ‘엔써’에 세이프가드 기술을 적용, 국내 서비스 환경에 특화된 AI 안전성 시스템을 구축했다. 

이연수 NC AI 대표는 “AI 발전과 함께 사용자 안전 확보는 선택이 아닌 필수”라며 “14년간 축적한 기술력을 바탕으로 산업 맞춤형 안전 장치를 구현했다”고 말했다. Safeguard는 레드팀, 블루팀, 퍼플팀으로 구성된 삼중 보안 체계를 통해 공격과 방어, 정책 개선을 순환적으로 수행하며, ‘챗봇 네거티브 규제 정책’을 도입해 게임 서비스 관련 부적절한 내용과 유료 재화 편법 등을 차단한다. 

NC AI는 또한 ‘리니지W’와 ‘리니지2M’에서 다국어 스팸 필터링 시스템을 운영하며, 향후 비전-언어 모델(VLM)을 통한 멀티모달 콘텐츠 탐지 기술로 확장할 계획이다.