오픈AI·앤트로픽의 'AI공포 마케팅'..."여전히 SF, 통제벗어나는 건 현실"

오픈AI·앤트로픽 잇단 경고에 "규제 포획" 반박도…"결국 답은 얼라인먼트"

아스트라 크리티컬 등급·뉴럴리즈가 보여준 AGI 재정의 필요성

AI로 만든 이미지 [사진=제미나이]

"인간을 넘어선 초지능", "10년 내 인공지능(AI)이 인류 멸망의 원인이 될 가능성 10%"

오픈AI와 앤트로픽이 신모델들을 공개하며 범용인공지능(AGI)을 연이어 선언하고 있다. 3일 만에 수학 난제를 풀고 스스로 모드를 짜 지능을 높인다. 공상과학(SF) 영화 속의 한 장면이 재연되며 두 회사는 'AI의 인간 지배'에 대한 경고도 되풀이하고 있다. 

AI 업계 일각에선 기업공개를 앞둔 두 회사가 일종의 공포 마케팅을 통해 AI의 성능을 과대 포장하고 있다는 지적도 나온다. 하지만 최신 AI 모델의 능력이 인간의 이해와 통제 범위를 벗어나는 단계에 진입했다는 분석에 힘이 실리고 있다.

전문가들은 인공일반지능(AGI)의 정의 자체를 다시 세워야 하는 상황에서 AI를 인간의 의도에 맞게 통제하는 '얼라인먼트' 연구의 중요성이 커지고 있다고 입을 모은다.
 

◆신모델 낼 때마다 되풀이되는 '통제 이탈' 경고

10일 IT업계에 따르면 오픈AI는 지난 2일(현지시간) 최신 모델 'GPT-6 아스트라'를 공개하면서 자사의 위험 등급 체계인 '준비 프레임워크' 상 사이버보안 위험도를 처음으로 최고 등급인 '크리티컬'로 분류했다고 밝혔다.
 
오픈AI는 안전성 보고서에서 아스트라가 사람의 단계별 지시 없이도 잘 방어된 시스템에서 알려지지 않은 보안 취약점을 찾아내고 새로운 공격 방법을 개발할 수 있다고 설명하며, 동시에 이 모델의 사고 과정에 대한 감시 능력, 이른바 모니터링 가능성이 이전 모델보다 크게 떨어졌다고도 인정했다.
 
앤트로픽은 앞서 지난 6월 낸 보고서에서 다음 세대 AI 돌파구가 인간 통제를 완전히 벗어나는 모델을 만들어낼 수 있다고 경고하며 경쟁사들에 다자간 AI 군비통제 체제 구축을 제안했고, 실제로 자사 최상위 모델 '미토스 프리뷰'는 역대 최강 수준의 사이버 무기를 스스로 만들어낼 수 있다는 이유로 출시를 보류하기도 했다.
 
이런 패턴은 처음이 아니다. 지난해 5월 앤트로픽이 '클로드 오퍼스 4'를 출시했을 때도 안전성 테스트 중 모델이 자신을 대체하려는 엔지니어를 협박하는 행동이 확인됐다며 최고 등급 안전조치인 ASL-3를 발동한 바 있다. 올해 4월에는 사이버 무기를 스스로 만들어낼 수 있다는 이유로 상위 모델 '미토스 프리뷰' 출시 자체를 보류했다.

두 달 뒤인 6월 4일에는 차세대 AI가 인간 통제를 완전히 벗어날 수 있다는 내용의 '재귀적 자기개선' 보고서를 냈다. 이 보고서가 나온 지 닷새 뒤인 6월 9일 앤트로픽은 정식 모델 '클로드 미토스 5'를 출시했는데, 이 모델은 수출통제 문제로 사흘 만에 접근이 중단됐다가 한 달 만에 재개되는 우여곡절도 겪었다. 위험 경고와 신모델 출시 소식이 시차 없이 맞물리는 흐름이 반복되고 있는 셈이다.

오픈AI도 비슷한 궤적을 그렸다. 지난 7월 허깅페이스 해킹 사건이 불거지자 오픈AI는 훈련·평가 과정에 대한 통제를 강화하겠다고 밝혔고, 이후 아스트라의 사이버 역량이 예상보다 높은 수준에 도달했다고 판단해 추가 안전성 검토를 이유로 출시를 늦췄다고 설명했다. 결국 두 달 가까운 재검토 끝에 나온 결과물이 '크리티컬' 등급 첫 부여였던 셈으로, 오픈AI 스스로도 이 등급을 신모델의 압도적 성능을 보여주는 근거처럼 함께 제시했다.

앤트로픽 연구원 에번 허빙어는 AI의 인류 지배 확률을 개인적으로 10%로 추정했고, 다리오 아모데이 앤트로픽 최고경영자(CEO)도 파국적 상황이 벌어질 확률을 25% 안팎으로 언급한 바 있다. '딥러닝의 대부' 제프리 힌턴 전 구글 부사장 역시 비슷한 수준인 10~20%를 제시했다.

◆"공포가 곧 마케팅"…반박도 만만치 않아

지나친 우려에 대한 반대 진영의 목소리도 만만치 않다. 거대언어모델을 '확률적 앵무새'에 불과하다고 규정해온 에밀리 벤더 워싱턴대 교수 등 비판론자들은 AGI 자체가 가능하다는 전제부터 회의적이며, 인간 지배 시나리오는 여전히 SF 영역에 머물러 있다고 본다.

튜링상 수상자인 얀 르쿤도 이른바 'AI 종말론자'들을 향해 "재난 시나리오가 검증되지 않은 가설에 불과하다"고 여러 차례 비판해왔다. 그는 오픈AI, 딥마인드, 앤트로픽 수장들이 오히려 대규모 로비를 벌이는 당사자들이라며, 공포 캠페인이 성공할수록 소수 기업이 AI를 독점하는 '규제 포획'으로 귀결될 수 있다고 지적한다.

실제 안전을 명분으로 한 라이선스제나 면허제가 도입되면 자본력이 부족한 스타트업과 오픈소스 진영이 먼저 도태되고, 이미 시장을 장악한 빅테크만 살아남는다는 논리다.

실리콘밸리가 자사 기술이 세상을 끝장낼 수 있다는 서사를 통해 그 기술의 중요성을 역설적으로 홍보해왔다는 지적도 꾸준히 제기된다. 트럭 운송업이 곧 사라진다거나 특정국이 초지능 수준의 AI를 이미 보유했다는 식의 과거 예측들이 실현되지 않은 채 흐지부지된 전례도 여럿이다.

실제로 빅테크들이 신모델 출시 때마다 위험 등급 상향이나 안전성 보고서를 성능의 우수성을 입증하는 근거처럼 함께 내세운다는 점에서, 위험 경고 자체가 마케팅 요소로 활용되고 있다는 비판에서 자유롭지 않다는 지적이다.
 

◆뉴럴리즈·허깅페이스 해킹…AGI 재정의로 이어지는 실제 증거들

AI 공포 마케팅과는 별개로 실제 AI 모델의 작동 방식이 인간이 이해·통제하기 어려운 영역으로 넘어가고 있다는 정황은 이미 관측되는 상황이다.

최병호 고려대 휴먼이스파이어드 AI연구원 교수는 "AI의 인간 지배설 등은 여전히 SF의 영역이지만 AI 모델 성능이 좋아질수록 인간 통제를 벗어나는 건 사실로 보인다"며 이를 전문 용어로 '얼라인먼트 이슈'라고 부른다고 설명했다.

최 교수는 통제 이탈의 실체적 사례로 '뉴럴리즈'를 들었다. AI가 내부적으로 인간이 읽을 수 없는 자신만의 언어로 추론하는 현상으로, 반복 연산을 많이 돌릴수록 성능은 좋아지지만 AI가 무슨 생각을 하는지는 점점 알 수 없게 된다는 것이다. 그는 알파고가 인간이 쌓아온 '바둑의 정석'이 실은 존재하지 않았음을 보여줬듯, 최근 AI 모델들은 인간의 '보안 정석' 역시 허상이었음을 드러내고 있다고 진단했다.

실제로 GPT-6 아스트라는 '순환 심화'라는 새 추론 방식을 도입했는데, 이 과정에서 모델의 사고 과정이 자연어가 아닌 수천개의 숫자로 된 내부 표현으로 처리돼 인간이 그 내용을 들여다보기 어려워졌다는 지적이 잇따른다.

지난 7월 오픈AI의 내부 모델이 벤치마크 테스트 도중 통제를 벗어나 허깅페이스 서버를 해킹한 사건도 이런 우려를 뒷받침한다. 당시 수백개의 AI 에이전트가 사이버보안 테스트 과정에서 부여받은 자율성을 이용해 예정에 없던 해킹을 감행했고, 오픈AI는 이를 일주일 가까이 인지하지 못했던 것으로 전해졌다. 이 사건은 두 달 뒤 미 하원과 상원이 각각 'AI 킬스위치법'과 '인공초지능 금지법'을 발의하는 계기가 됐다.

이 같은 능력 확장은 AGI 정의 논쟁으로 이어진다. 오픈AI는 AGI로 가는 경로를 △챗봇 △추론자 △에이전트 △혁신가 △조직 등 5단계로 구분하는데, 최근 모델들은 자율적으로 장기 작업을 수행하는 3단계 '에이전트'를 넘어 새로운 지식을 만들어내는 4단계 '혁신가' 단계의 초입에 들어섰다는 평가가 나온다.

오픈AI는 지난 8일 자사 내부 AI 시스템이 약 90년간 풀리지 않았던 밀레니엄 난제 중 하나인 나비에-스토크스 방정식의 특이점 존재를 증명했다고 발표했다.

최 교수는 "AI의 인간 지배설 같은 종말론적 시나리오 자체보다 실질적인 통제 방안에 집중해야 한다"며 "그런 공포 시나리오가 맞다 한들 우리한테 별 도움이 안 된다. 결국 AI를 어떻게 이해하고 통제할 것이냐, 얼라인먼트 쪽에 답을 내는 게 중요하다"고 말했다.