셀렉트스타, 국내 최초 생성 AI 신뢰성 검증 자동화 솔루션 출시

[사진=셀렉트스타]

셀렉트스타는 국내 최초로 생성 AI 서비스의 신뢰성 검증 자동화 솔루션 '다투모 이밸(DATUMO Eval)'을 출시했다고 20일 밝혔다. 

'다투모 이밸'은 국내에서 처음으로 신뢰성 검증 프로세스를 자동화해 AI 서비스 운영 중 발생할 수 있는 다양한 오류와 위험성을 사전에 식별하고 대응할 수 있도록 지원하는 솔루션이다.

주요 기능은 △기업의 AI 서비스 유형과 사용 목적에 따른 평가 기준 설정 △도메인·서비스에 부합한 맞춤형 평가용 질문 자동 생성 △AI 서비스의 답변 자동 평가와 결과 분석 △AI 서비스의 취약점을 이끌어내는 레드티밍 기능 등이 있다. 

다투모 이밸은 100만 개 이상의 평가용 질문을 자동 생성해 AI 모델이 처리해야 할 다양한 사용자 발화 패턴을 포괄적으로 평가할 수 있도록 지원한다. 이를 통해 기존에 도메인 전문가가 손수 평가용 질문을 설계하며 발생했던 높은 비용과 기간을 절감했다.

자동 생성된 평가용 질문은 셀렉트스타의 자체 AI 에이전트 기술을 기반으로 생성되며 기업의 평가 목적, 요구사항, 난이도, 실제 고객 데이터와의 유사성 등 다양한 요소를 반영해 현실적인 평가가 가능하다고 회사 측은 설명했다.

또 AI 서비스가 기업이 설정한 기준을 벗어나거나, 유해한 정보를 생성하는지를 감지하고 자동 평가하는 기능을 제공한다. AI와 사용자 간의 상호 작용을 수치화해 객관적으로 분석이 가능하며 평가 과정에서는 다양한 메트릭을 제공해 여러 AI 모델의 성능을 비교, 약점을 빠르게 파악해 개선 방향을 도출할 수 있다. 평가가 완료된 후에는 모델이 특정 상황이나 맥락에서 문제를 일으키는 원인을 분석할 수도 있다.

다투모 이밸은 출시와 동시에 금융권을 포함한 여러 기업에서의 도입이 확정된 상태다. 셀렉트스타는 평가 데이터 생성 자동화 기술을 앞세워 해외에서도 유사 사례가 적은 영역을 공략, 글로벌 시장에서 경쟁력을 확보해 나갈 계획이다.

김세엽 셀렉트스타 대표는 "AI의 상용화에서 가장 중요한 것은 '신뢰성'"이라며 "다투모 이밸을 통해 기업들이 AI 서비스를 더욱 정확하고 안전하게 운영할 수 있도록 돕겠다"고 말했다.