마이크로소프트가 대규모 언어 모델의 출력 제어를 쉽게 도와주는 AI 컨트롤러 인터페이스(AICI)를 발표했습니다.
LLM이 생성하는 컨텐츠 정확도를 높이고, 프롬프트 기반 프로그램 인터페이스를 통해 사용자 코드와 LLM 출력 생성을 통합합니다.
LLM 처리 엔진의 구현을 추상화해 LLM을 더 간단하게 제어할 수 있으며, 가상 머신 AI 컨트롤러를 탑재해 러스트나 C++으로 만든 컨트롤러 제어 모듈을 네이티브 코드에 컴파일해서 실행합니다.
이 인터페이스는 CPU, LLM 추론은 GPU에서 병렬 작동하기에 생성 과정에서 성능에 미치는 영향도 최소화합니다.