AI 에이전트 신뢰도 측정하는 벤치마크 마련 목표
AI 스타트업 라이너가 한국과학기술원(KAIST) 인터랙션 연구실과 AI 에이전트 시스템의 신뢰도 측정 지표를 공동 연구한다고 밝혔다. [사진 = 라이너] 인공지능(AI) 검색 엔진을 제공하는 스타트업 라이너가 AI 에이전트의 신뢰도를 높이기 위한 벤치마크 개발에 나선다.
라이너는 한국과학기술원(KAIST) 인터랙션 연구실(KIXLAB)과 ‘AI 에이전트 시스템 신뢰도 측정 지표 및 벤치마크 개발’에 관한 공동 연구를 진행한다고 25일 밝혔다.
이번 연구는 AI 에이전트 시스템 신뢰도 제고를 위해 라이너가 전문 대학 연구기관과 진행하는 첫 산학협력 프로젝트이다. 라이너와 KIXLAB은 내년 2025년 3월까지 공동 연구를 진행하고,AI 에이전트 시스템의 신뢰도를 측정하고 규정할 수 있는 벤치마크 데이터셋을 구축할 예정이다.
라이너는 “AI 기술의 상용화를 위해서는 AI에 대한 신뢰도 제고가 관건인 만큼,라이너와 KIXLAB이 공동으로 AI 신뢰도 측정 지표 및 벤치마크 개발을 진행하는 것은 의미가 크다”라고 설명했다.
라이너와 KIXLAB은 환각 현상 등 AI의 신뢰 문제를 해결하기 위해 AI 에이전트 시스템의 신뢰도를 측정할 수 있도록 한다는 목표다.
라이너는 AI 검색 에이전트 서비스를 제공하는 스타트업이다. 지난 3월에는 미국의 주요 벤처캐피털인 ‘a16z’가 발표한 가장 인기 있는 생성형 AI 소비자 앱 상위 100개 중 웹 서비스 분야 4위에 오르기도 했다.
KIXLAB은 대규모 온라인 시스템에서의 인간-컴퓨터 상호작용(HCI) 분야에서 활발한 연구를 수행하고 있는 연구실이다. 올해는 컴퓨터공학 공정성 분야 학회인 FAccT에 제출한 논문을 통해 ‘AI 생성물로부터 정확한 정보를 파악할 수 있는 효과적인 방법’을 제안한 바 있다.
김주호 카이스트 전산학부 교수는 “거대언어모델(LLM)을 활용해 사용자에게 실질적인 가치를 제공하고자 하는 라이너의 비전이 KIXLAB의 연구 방향 및 전문성과 잘 맞아 공동연구를 진행하기로 했다”라고 밝혔다.
김진우 라이너 대표는 “이번 프로젝트를 통해 상호 이익 증진은 물론,AI 검색 엔진에 대한 사용자의 신뢰 향상에 기여하게 되기를 바란다”며 “연구 진행과 동시에 라이너 AI 에이전트 기술은 지속적으로 고도화할 예정”이라고 말했다.
