서울 머신러닝 개발 플랫폼 선두 기업인 Weights & Biases(이하 W&B)가 LG CNS와 함께 금융 산업에 특화된 한국어 LLM 성능 평가 리더보드인 ‘황소(Hwangso)’를 공식 출시한다고 29일 발표했다.

황소 리더보드는 기존의 범용적인 언어 모델 평가를 넘어 금융 분야의 특수성을 반영한 심층적인 평가 기준을 제공한다. 이는 금융 산업 고객들이 각자의 비즈니스에 최적화된 LLM을 선택하고 활용하는 데 필수적인 지표를 제시할 것이다.

‘황소 리더보드’, 금융 LLM의 새로운 표준 제시

W&B는 이미 국내에서 ‘호랑이(Horangi) 리더보드’를 통해 한국어 LLM의 공정하고 객관적인 성능 평가를 선도해왔다. 이번에 LG CNS와 함께 선보이는 황소 리더보드는 금융 데이터를 포함한 복잡하고 전문적인 금융 도메인 지식을 바탕으로 설계됐다.

※ 황소(Hwangso) 리더보드: https://wandb.me/hwangso

황소 리더보드는 기존의 폐쇄적이고 비공개로 운영되던 평가 리더보드와 달리 평가 카테고리, 세부 태스크별 평가항목, 기준, 점수를 투명하게 공개함으로써 AI 생태계에 기여한다. 특히 금융 규제 준수, 보안, 그리고 최신 금융 상품 및 시장 동향에 대한 이해도를 평가해 실제 금융 환경에서 요구되는 정확성과 신뢰성을 검증하는 데 중점을 두고 있다. 주요 평가 항목은 △금융 지식을 기반으로 논리적 추론 능력 △요약 △금융 도메인 지식 평가 △지시사항 준수 등이다.

사용자는 금융 특화 성능뿐만 아니라 △다양한 학문 분야에서의 지식과 추론 능력(영문) △한국어로 된 다양한 학문 분야에서의 지식과 추론 능력 △한국어 논리적 사고 능력을 평가 등과 같은 범용 성능에 대해서도 비교 기능을 제공해 AI 모델 성능을 종합적으로 테스트할 수 있다. 또한 일반적으로 AI 모델 평가 시 모델이 가진 파라미터 수에 따라 성능의 차이가 발생할 수 있는데, 황소 리더보드는 정확한 검증을 위해 AI 모델 크기별 성능 비교 기능도 제공한다.

LG CNS는 금융 사업에서 다년간 축적한 노하우와 AX 기술력을 결합해 황소 리더보드의 평가 항목 개발과 데이터셋 구축 및 개발을 주도했다. 양사의 협력 시너지는 금융 기업들이 LLM 도입 시 겪는 시행착오를 줄이고, 보다 효율적으로 AI 전환을 가속화할 수 있도록 지원할 것으로 기대된다. 또한 황소 리더보드는 LG CNS가 최근에 공개한 기업용 에이전틱(Agentic) AI 플랫폼에 탑재돼 고객들에게 제공될 예정이다.

W&B의 Chief Revenue Officer(CRO)인 Robin Bordoli는 “황소 리더보드는 W&B의 강력한 실험 관리 및 평가 기술과 LG CNS의 금융 전문성이 결합된 결과물”이라며 “금융 기업 고객들이 황소 리더보드를 통해 비즈니스에 가장 적합한 모델을 신속하게 파악하고, LLM 기반의 혁신을 이끌어낼 수 있도록 적극적으로 지원할 것”이라고 말했다.

황소 리더보드는 9월 29일부터 W&B 플랫폼을 활용해 정식으로 운영될 예정이다. 현재 Global Frontier Model들과 정부 및 국내 AI 연구소 등에서 많이 활용되는 모델을 포함해 22개 이상의 LLM 모델을 평가하는데, 이후 주기적으로 계속 업데이트 예정이다. 금융업계는 이 리더보드를 활용해 중요한 기술 요구사항에 대해 충분한 정보를 바탕으로 의사결정을 내릴 수 있으며, 개발자 커뮤니티는 모델 성능을 비교하고 개선하는 데 활용할 수 있다.

Weights & Biases 소개

Weights & Biases LLC(W&B)는 선도적인 AI 개발 플랫폼으로, MLOps 및 LLMOps 워크플로를 위한 End-to-End 지원을 제공한다. OpenAI, Toyota, Microsoft 등 30개 이상의 Global Top Foundation Model 모델 개발사와 1000개 이상의 기업으로부터 신뢰받는 W&B는 개발자들이 머신러닝 및 대규모 언어 모델을 효율적으로 학습, 실험, 평가, 모니터링, 배포할 수 있도록 지원한다.

웹사이트: https://wandb.ai/site