"AI는 '왜'를 묻지 못한다"… 기계 폭주 막는 탈중앙화 거버넌스

영남대 미디어커뮤니케이션학과 박한우 교수가 2025년 12월 2일 서울 프레스센터에서 열린 AJP 창간 1주년 포럼에서 강연 중이다. [AJP 유나현=[e-mail]]

2025년 초 미국에서 작성된 신규 파이선 코드의 약 29%가 AI를 통해 탄생했다. 이 지표는 기업용 소프트웨어 업계에 소리 없는 공포를 몰고 왔으며, 업계 관계자들은 이를 이른바 'SaaS포칼립스'의 시작으로 규정했다. 이제 소프트웨어는 인간의 클릭만을 기다리는 수동적인 도구가 아니다. AI는 인지적 업무 흐름 전체를 흡수하고, 인간의 판단 권한을 앗아가고 있다. 이는 근본적인 권력의 이전을 시사한다.

영남대학교 미디어커뮤니케이션학과 박한우 교수는 세계 경제가 이러한 구조적 균열에 전혀 대비되어 있지 않다고 진단한다. 4월 20일 출간된 저서 'AI 시대의 디지털 자산과 신뢰의 운영체제'에서 그는 생성형 알고리즘이 단순한 보조자를 넘어 인간을 대신해 금융과 거버넌스를 결정하는 자율 에이전트로 진화하는 과정을 추적했다.

"판단은 곧 권한입니다." 박 교수는 강조했다. 그는 제도적 장치 없이 이러한 권한을 인공지능에 위임하는 행위가 심각한 위험을 초래할 수 있다고 보았다.

"AI는 정보를 만들 수 있지만 책임은 지지 못하기 때문입니다. 도구의 유용성 여부는 인간이 결정합니다. 도둑에게 칼은 사람을 위협하는 흉기가 될 수 있지만 주방장에게 칼은 맛있는 음식을 만들기 위한 필요한 장비입니다. AI에게 일을 맡기되, 결과물을 확인해야 합니다. AI는 빠릅니다. 하지만 틀릴 수 있습니다."

사회적 균열을 비추는 거울
기계에 대한 권한 위임은 우리 사회에 내재된 결함을 여실히 드러낸다. 그는 저서에서 이미지 생성 알고리즘에 길거리 양말 장수와 증권사 직원을 그려 달라고 요청했던 실험을 인용했다. 그 결과물은 양말 장수를 덩치가 큰 흑인으로, 증권사 직원은 정장 차림의 건강한 백인으로 묘사하며 고착화된 편견을 그대로 재현했다.

알고리즘은 인간의 편향이 섞인 과거의 데이터를 학습하며, 통제되지 않은 지능은 불평등을 개선하기보다 오히려 증폭시킨다.

"AI는 우리의 모습을 비추는 거울입니다," 그는 덧붙였다.

박 교수는 이러한 자동화된 차별을 방지하기 위해 인간의 개입이 필수적이라고 주장한다. 데이터 학습 전 단계에서의 정제, 결론 도출 과정의 투명성 확보, 그리고 핵심 결정 단계에서의 인간 감독이 동반되어야 한다는 논리다.

그는 무한히 생성되는 롱테일 미디어 환경을 언급하며 "콘텐츠는 넘치고, 신뢰는 부족하다"고 지적했다. 이어 "콘텐츠 검증은 구조에서 나온다"며 신뢰를 설계할 구조적 대안을 제시했다.

주권에 대한 알고리즘적 도전
박 교수가 제시하는 구조적 대안은 인공지능과 탈중앙화 자율조직이 결합된 'AIDAO(AI-enhanced Decentralized Autonomous Organization)'다. 이는 기계의 확률적 추론과 블록체인의 조작 불가능한 실행력을 결합한 모델이다.

"AIDAO를 한 문장으로 설명하면 이겁니다. AI와 인간이 함께 운영하는 조직, 혹은 인공지능이 CEO가 될 수 있는 탈중앙화 자율조직," 그는 설명했다.

AIDAO 체제에서 에이전트가 시장 변동에 따라 자산의 20%를 이동하자는 전략을 제안할 경우, 이는 즉시 실행되지 않는다. ERC-8004와 ERC-8001 같은 이더리움 프로토콜을 통한 검증과 인간의 최종 승인을 거쳐야만 비로소 집행된다.

"이게 중요한 이유는 판단, 실행, 책임을 분리하기 때문입니다," 박 교수는 강조했다.

워싱턴을 비롯한 서방 국가들이 이미 알고리즘 거버넌스의 파장에 직면한 가운데, 서울 역시 고립된 기업 플랫폼을 넘어 공유된 글로벌 아키텍처로 전환해야 한다는 목소리가 높다. SaaS포칼립스에 맞설 최후의 보루는 맹목적인 믿음이 아닌 검증 가능한 증거를 요구하는 신뢰의 운영체제다.

"AI는 규칙 기반으로 계산합니다. AI는 확률 기반으로 생성합니다. AI는 데이터 기반으로 추론합니다. 하지만 인간은 이 모두를 할 수 있기도 하고, 못하기도 하는 실수를 동반한 불완전한 존재입니다. 오류가 있는 AI는 폐기됩니다. 하지만, 완벽하지 않더라도 인간은 선택됩니다. 인간은 인간 그 자체로 고귀한 존재이기 때문이죠."

알고리즘이 업무 효율화에는 탁월할지라도, 그는 인류가 의미와 목적에 대한 독점적 권한을 유지할 것이라고 확신한다.

"AI는 '어떻게'는 잘합니다. 하지만 '왜'는 못합니다. AI는 답을 줍니다. 하지만 인간은 질문을 합니다."

이 철학적 경계는 그가 제안하는 운영체제의 근간이다. 알고리즘이 일상의 상업과 행정 기능을 흡수하는 오늘날, 인공지능 시대의 과제는 기술적 도약이 아니라 신뢰의 아키텍처 설계에 있다. 그리고 그 설계를 주도할 권한은 인간의 손에 남아 있어야 한다.

AIDAO를 둘러싼 학술적 논의가 계속되는 가운데 제도적 정비도 시작되었다. 한국 정부는 올해 1월부터 인공지능 생성물에 대한 워터마크 표시를 의무화했다.