vLLM Structured Outputs로 RAG API 응답을 JSON Schema에 맞게 생성하는 방법
요약프롬프트만으로 JSON 출력을 요청하면 필드 누락이나 잘못된 형식이 발생할 수 있습니다. vLLM의 OpenAI 호환 API에서 JSON Schema 기반 Structured Outputs를 사용하고 애플리케이션에서도 결과를 다시 검증하는 방법을 정리합니다.문제와 배경RAG·AIOps API에서는 severity·summary·actions처럼 정해진 필드가 필요합니다. Structured Outputs는 생성 형식을 제한하지만 장애 원인이나 조치 내용의 사실성을 보장하지는 않습니다.사전 확인vllm --versionvllm serve --help | grep -i -E 'structured|guided'요청 필드와 백엔드는 버전별로 변경된 이력이 있습니다. 설치된 버전과 모델·실행 장치에서 지원되는..
글 읽기