토종 모델평가 기업 투디지트
금융 특화 '핀다트벤치' 공개
외국산 의존하던 기술 '독립'
투디지트(대표 황영준·사진)가 한국 인공지능(AI) 모델이 금융 데이터를 얼마나 잘 이해하는지를 판단할 수 있는 금융 특화 벤치마크를 공개했다. 국산 AI의 성능을 정량적·객관적으로 평가할 수 있는 기술을 제공함으로써 K-AI 기술의 공정한 경쟁과 발전이 이뤄지는 생태계를 조성하기 위해서다.
투디지트는 금융감독원 전자공시시스템(DART) 공시 문서를 기반으로 구축한 한국어 금융 질의응답(Q&A) 데이터셋 '핀다트벤치(FinDartBench)'를 출시했다고 24일 밝혔다. 핀다트벤치는 LG전자,삼성전자,현대자동차,SK하이닉스,KB국민은행 등 국내 주요 산업군의 대표 기업과 중소형 기업의 공시 문서를 활용해 구축됐으며 총 1만4444건의 질문·답변 데이터로 구성됐다. 실제 기업의 다양한 공시 데이터를 기반으로 개발돼 한국 금융 AI 모델의 실질적인 성능 평가가 가능하다는 점에서 의미가 있다.
국내 AI 산업에서 사용되던 핀QA(FinQA)와 파이낸스벤치(FinanceBench) 등 글로벌 금융 벤치마크는 대부분 영문 금융 문서 기반이었지만,핀다트벤치는 국내 공시 제도와 문서 형식을 반영한 한국어 기반 데이터셋이라는 점에서 차별화된다.
재무정보 분석은 물론 기업 지배구조와 의사결정까지 평가할 수 있도록 사업보고서,지배구조보고서,주주총회 소집공고,투자설명서 등 다양한 공시 유형을 포함했다. 업계에서는 이번 데이터셋이 금융 특화 거대언어모델(LLM) 개발을 위한 성능 평가의 핵심 표준으로 활용될 수 있을 것으로 보고 있다.
김창연 투디지트 연구소장은 "이번 데이터셋은 다단계 검증 구조를 적용해 해외 기술 기반의 단순 자동 생성 방식보다 신뢰도가 대폭 향상됐다"고 설명했다.
한편 이번 데이터셋은 허깅페이스를 통해 공개될 예정이며 국내외 연구자와 기업이 자유롭게 활용할 수 있도록 개방할 계획이다.
[정호준 기자]
