[IE] Inference Engine

[Sungryul Lee]

1. 추론 엔진(Inference Engine)

추론 엔진(Inference Engine)은 사전 학습된 인공지능(AI) 모델을 실제 서비스 환경에서 실행하고, 새로운 데이터가 입력되었을 때 결과를 예측하거나 답변을 생성하는 핵심 소프트웨어입니다. 쉽게 말해, 학습된 AI 모델(두뇌)이 실제 현실에서 빠르고 효율적으로 동작할 수 있도록 돕는 '실행 최적화 시스템'입니다.

주요 역할 및 기능

• 실행 최적화: 학습이 끝난 모델이 CPU, GPU 등 하드웨어 위에서 지연 시간(Latency) 없이 가장 빠르게 작동하도록 연산 구조를 재구성합니다.
• 메모리 및 요청 관리: 수많은 사용자의 동시 요청을 한 번에 모아서 처리(Batching)하거나, 불필요한 메모리 낭비를 방지하여 원활한 AI 서비스를 제공합니다.

현대 AI(ChatGPT, Ultralytics YOLO, DALL-E 등)에서 추론 엔진(inference engine)은 직렬화(serialized) 및 학습 완료된 신경망을 가져와 새로운 데이터에서 실행하는 역할을 합니다. 또한 추론 엔진은 다음과 같은 기술을 사용하여 모델이 실제 서비스(deployment) 환경에서 효율적으로 작동하도록 최적화합니다.

• 레이어 융합(Layer Fusion): 여러 연산을 하나로 결합하는 기술
• 양자화(Quantization): 가중치의 정밀도를 낮추는 기술 (예: FP32를 INT8로 변환)
• 지능형 배칭(Intelligent Batching): 여러 요청을 똑똑하게 묶어서 처리하는 기술 

AI 서비스에서의 작동 예시

• 생성형 AI (ChatGPT, DALL-E 등): 방대한 텍스트나 이미지를 생성할 때, 추론 엔진이 모델과 하드웨어 간의 복잡한 연산을 밀리초(ms) 단위로 처리하여 실시간으로 답변을 출력합니다. 
• 자율주행 및 비전 AI: 카메라에 찍힌 사물(보행자, 표지판 등)을 AI가 즉시 식별할 수 있도록 실시간 데이터 처리를 담당합니다.

가장 대표적인 오픈소스/상용 추론 엔진으로는 vLLM, TensorRT-LLM, SGLang 등이 있습니다

• General: ONNX Runtime (a cross-platform accelerator for CPUs, GPUs, and web).
• LLMs: vLLM and Text Generation Inference (TGI) designed for high-throughput text serving.
• Edge & Hardware Specific: NVIDIA TensorRT (for GPUs) and Intel OpenVINO (for CPUs).
• Local & Lightweight: Ollama (often wrapping llama.cpp) for running smaller language models on consumer-grade hardware.

2. survey paper

A Survey on Inference Engines for Large Language Models: Perspectives on Optimization and Efficiency, 2025

https://arxiv.org/abs/2505.01658