01 · 공급
엔드포인트 하나
여러 머신의 자체 서빙(vLLM · Ollama · TGI · GPUStack 같은)과 공용 AI 공급자를 하나로 받아, 인증 · 계측 · 라우팅 · 폴백을 맡습니다. 응용과 에이전트는 엔드포인트 하나만 압니다.
인증
응용마다 키를 주고, 어떤 모델을 얼마나 쓸 수 있는지 한 곳에서 정합니다.
계측
요청 수 · 토큰 · 지연을 응용과 용도 그룹 단위로 셉니다.
라우팅 · 폴백
논리 모델 이름을 실제 공급으로 잇고, 한 공급이 막히면 정해 둔 다음 공급으로 넘깁니다.
03 · 구성
같은 구성은 같은 현장입니다
선언과 관측을 대조
현장은 구성 데이터와 매니페스트로 섭니다. 서 있는 현장이 선언과 어긋나면 어느 축에서 어긋났는지 알려 줍니다.
다시 세워도 같은 digest
같은 구성 데이터로 다시 세우면 같은 구성 digest가 나옵니다 — 현장을 옮기거나 복구할 때의 기준입니다.
04 · 검증됨
«검증됨»은 실측이 있을 때만
구성이 «검증됨»이 되려면, Y-Gauge가 서명한 실측 성적서가 그 구성과 같은 대상을 가리키고 판정이 모두 통과여야 하도록 설계합니다. 근거 성적서 없이 «검증됨»을 붙이지 않습니다.
Y-Gauge — 성적서는 다른 머신에서 스스로 검증되고, 받은 쪽이 같은 방법으로 다시 돌릴 수 있습니다.
05 · 운영 기록
운영 기록에는 내용이 없습니다
밖으로 나가는 운영 기록은 시간 단위 집계뿐입니다. 주체 · 키 · 요청 id · 요청과 응답의 내용이 없습니다.
운영 기록 한 줄의 모양
{
"hour": "시간 단위 시각",
"usage_group": "용도 그룹",
"model": "논리 모델",
"requests": { "total", "succeeded", "failed",
"rejected", "fell_back", … },
"tokens": { "input_total", "output" },
"latency_ms": { "p50", "p95", "p99" }
}
06 · 경계
무엇이 아닌가
- 추론 엔진이 아닙니다vLLM · Ollama · TGI 같은 서빙을 받아 하나로 묶습니다.
- 가드레일이 아닙니다요청 · 응답의 내용을 보지도 저장하지도 않습니다. 내용을 다루는 일은 응용의 몫입니다.
- 성능 판정자가 아닙니다구성이 «검증됨»인지는 서명된 실측이 정합니다.
- 구축 용역이 아닙니다지은 뒤의 통제점과 그 운영 약속입니다.
07 · 문의
도입 문의
여러 응용과 에이전트가 함께 쓰는 AI 공급을 한 곳에서 통제하려는 조직, 고객 현장에 AI 공급을 구축 · 운영하는 수행팀의 문의를 받습니다.
hello@iyulab.com