서울 어텐션랩은 정보통신산업진흥원(NIPA)이 주관하는 ‘2026년 오픈소스 AI·SW 개발·활용 지원사업’의 선정 과제인 ‘LLM 서비스 성능-비용 최적화를 위한 오픈소스 AI 게이트웨이(LoxiLB) 고도화’에 참여해 협약을 완료하고 과제를 수행 중이라고 밝혔다.

본 과제는 2026년 5월 1일부터 12월 31일까지 수행되며, LLM 서비스 운영 과정에서 발생하는 응답 지연, 반복 컨텍스트 처리, GPU 자원 사용 최적화 등의 문제를 다루는 오픈소스 AI 인프라 고도화 과제다. 어텐션랩은 본 과제에서 자연어 기반 AI 게이트웨이 운영 인터페이스인 Agentic TUI와 SCADA 데이터를 활용한 산업 운영 추론 엔진 개발을 담당한다.

생성형 AI와 대규모 언어모델(LLM) 기반 서비스가 산업 전반으로 확산되면서 AI 서비스의 경쟁력은 단순한 모델 호출을 넘어 추론 요청 처리, GPU 자원 관리, 반복 컨텍스트 최적화, 운영 데이터 해석 역량에 의해 좌우되고 있다. 특히 산업 설비, 통신망, 에너지 인프라와 같은 운영 환경에서는 SCADA 등 현장 데이터가 존재하더라도 이를 AI가 해석 가능한 구조로 전환하고, 실제 운영 판단으로 연결하는 기술이 중요해지고 있다.

어텐션랩이 개발하는 Agentic TUI는 운영자가 자연어 기반 명령을 통해 AI 게이트웨이의 상태를 확인하고, 설정·모니터링·장애 대응 흐름을 다룰 수 있도록 지원하는 터미널 인터페이스다. 이를 통해 복잡한 API 호출이나 설정 절차에 대한 부담을 줄이고, 운영자가 GPU 상태, 요청 큐, 응답 지연, Prefix Cache hit rate 등 주요 지표를 보다 직관적으로 확인할 수 있는 운영 환경을 구현하는 것을 목표로 한다.

어텐션랩은 이번 과제에서 SCADA 데이터를 활용한 추론 엔진 개발도 함께 수행한다. 해당 추론 엔진은 설비 이벤트, 상태 변화, 장애 징후 등 산업 운영 데이터를 구조화하고, 이를 기반으로 운영자가 이해할 수 있는 원인 분석과 대응 판단을 지원하는 방향으로 개발된다. 이를 통해 현장 운영 데이터를 단순 조회하거나 시각화하는 수준을 넘어 이상 상황을 해석하고 의사결정을 지원하는 AI 운영 계층으로 발전시키는 데 중점을 둘 예정이다.

이번 과제의 기술 목표에는 LLM 추론 응답 지연을 줄이기 위한 Prefix-aware Routing, GPU Resource-aware Scheduling, KV Cache-aware Inference Optimization 등이 포함돼 있다. 과제 성과지표로는 TTFT(Time-to-First-Token) P99 기준 20% 이상 감소, Prefix Cache hit rate 25% 이상 향상, Multi-LLM 3종 이상 지원 등이 제시돼 있다. 어텐션랩은 이중 운영자 인터페이스와 산업 운영 데이터 기반 추론 계층을 담당함으로써 AI 게이트웨이 기술이 실제 산업 현장에서 활용될 수 있는 운영 경험과 판단 구조를 구현하는 데 기여할 계획이다.

어텐션랩은 이번 과제를 통해 기존에 축적해온 LLM 기반 리즈닝 엔진, Multi-LLM 오케스트레이션, 데이터 구조화 기술을 산업 인프라 운영 영역으로 확장할 계획이다. 향후 제조·인프라·공공 운영 환경에서 활용 가능한 AI 리즈닝 엔진 기술 기반을 강화하고, 복잡한 도메인 데이터를 추론·판단·운영 지원으로 연결하는 AI 시스템 개발 역량을 고도화해 나갈 방침이다.

어텐션랩은 LLM 기반 리즈닝 엔진, Agentic AI 인터페이스, 데이터 구조화 및 AI 오케스트레이션 기술을 개발하는 AI 시스템 기업이다. 복잡한 도메인 데이터를 AI가 해석 가능한 구조로 전환하고, 이를 추론·판단·운영 지원으로 연결하는 AI 리즈닝 엔진 개발을 핵심 역량으로 한다.

어텐션랩 소개

어텐션랩은 LLM 기반 리즈닝 엔진, Agentic AI 인터페이스, 데이터 구조화 및 AI 오케스트레이션 기술을 개발하는 AI 시스템 기업이다. 복잡한 도메인 데이터를 AI가 이해하고 활용할 수 있는 구조로 전환하고, 이를 추론·판단·운영 지원으로 연결하는 AI 리즈닝 엔진 개발을 핵심 역량으로 한다. 현재 정보통신산업진흥원(NIPA) 오픈소스 AI·SW 개발·활용 지원사업을 수행하며 자연어 기반 AI 게이트웨이 운영 인터페이스와 SCADA 데이터를 활용한 산업 운영 추론 엔진을 개발하고 있으며, 이를 통해 축적한 리즈닝 엔진 및 데이터 구조화 기술의 적용 범위를 산업 인프라를 비롯한 다양한 운영 환경으로 확장하고 있다.

웹사이트: https://attentionlab.org