에이전트 판단품질 벤치마크

어떻게 측정했나

범용 리더보드 점수가 아니라, 우리 도메인(에이전트 운영 의사결정)에서의 실전 판단 품질입니다.

Frozen 하니스

정답 disposition을 고정한 N=116 실사례 세트. 한 번 얼린 뒤로는 문항·정답을 수정하지 않아 사후 튜닝이 불가능합니다.

심판에 응답자 모델명 비공지

LLM 심판에게 모델명을 알려주지 않고 각 응답의 판단 품질을 1~5로 채점해 브랜드 편향을 줄입니다. 다만 일부 응답이 스스로 정체를 드러낸 사례가 있습니다 — 아래 한계 참조.

Native 프롬프트

각 모델을 제 방식 그대로 돌렸습니다 — teacher를 대리 지표로 쓰지 않는 like-for-like 비교.
평가 대상: Qwopus3.6-35B-A3B (Q4_K_M), RTX 3090 1대, llama-server 자체 호스팅.

하니스 유효성

의미 없는 baseline과의 판별력 +1.77점. 하니스가 실제로 좋은 판단과 나쁜 판단을 구분함을 검증했습니다.

결과 — 다음-행동 판단 품질

심판(모델명 비공지) 기준 overall 점수(1~5, 높을수록 좋음). 프론티어 3종은 실측값입니다.

Claude Opus

3.43 ±0.17

Claude Sonnet

3.20 ±0.18

Claude Haiku

3.09 ±0.21

우리 운영 35B
(자체 호스팅)

2.89 ±0.20

baseline(무의미)

1.12 ±0.08

012345

프론티어 최고 우리 운영 모델 (오픈웨이트, 자체 호스팅) 비교군

우리가 자체 하드웨어에서 직접 운영하는 에이전트-판단 모델(35B)이 Haiku 판단 품질의 약 93% 수준에 도달했습니다 — 비용은 13.5%입니다. 범용 성능이 아니라, 에이전트 운영 의사결정이라는 우리 도메인에 특화해서요.

불확실성 판정 — 오차는 평균의 95% 신뢰구간(t 분포)입니다. 우리 모델(2.89)은 Haiku(3.09)보다 0.26 낮습니다(같은 케이스를 둘 다 푼 90건의 paired 비교, 차이의 95% CI [−0.51, −0.01], p=0.045 paired t). 다만 같은 90건의 부호검정은 p=0.103으로 유의하지 않고(승 25 / 패 39 / 무 26), CI 상한도 −0.01로 0에 거의 붙어 있습니다. 즉 두 검정이 엇갈리는 경계선상의 차이입니다. 그래서 이 데이터가 지지하는 주장은 "Haiku와 구분되지 않는다(parity)"가 아니라 "Haiku보다 근소하게 낮다"이며, 우리는 딱 그만큼만 주장합니다. 이전 판(2026-07-16까지)은 Haiku를 2.80으로 싣고 parity를 주장했습니다 — 그 2.80은 Haiku만 CLI 경로로 생성해 얻은 값이었고, 동일 subset을 API 경로로 재생성·재판정하자 3.09로 올라갔습니다(TON-3150). 우리가 직접 찾아 정정합니다. 유효 표본: 평가셋은 N=116이고, overall 점수가 기록된 케이스는 비교 대상 4개 모델 기준 99~116건(심판 출력 일부에 overall 누락)입니다. 무의미 baseline은 전체가 아니라 58건에만 투입된 바닥 앵커라 n=58이며, 모델 간 비교에는 쓰이지 않습니다. 표본 수·평균은 모두 케이스 단위(같은 케이스가 재채점된 경우 평균 1건으로 집계)라서 어떤 모델도 n이 N=116을 넘지 않습니다.
심판 독립성 공시 — 심판은 Opus이며, Opus는 동시에 최고점 참가자(3.43)이기도 합니다. 자기선호(self-preference) 편향 가능성이 있으므로 Opus 자신의 점수보다는 Sonnet·Haiku를 더 깨끗한 독립 기준으로 보는 것이 안전하고, 우리의 핵심 주장(Haiku 대비 93%)은 그 독립 기준 위에 서 있습니다.

정직한 각주 — 품질과 비용을 같이 공개합니다.
위 2.89는 오늘 우리 운영 에이전트 fleet을 실제로 구동하는 모델의 판단 품질입니다. 같은 자체 호스팅 경로에서 측정한 비용은 $0.378/1k decisions로, 이 하니스의 Claude Haiku 기준 비용 대비 13.5%입니다. 즉 이 데이터가 증명하는 것은 Haiku 판단 품질의 약 93%(2.89 / 3.09)를 Haiku 비용의 약 1/7.4에서 냈다는 점입니다. 단, 이는 Qwopus3.6-35B-A3B (Q4_K_M)를 RTX 3090 1대/llama-server에서 돌린 이 실험 경로의 실측값이며, 다른 모델·하드웨어·배포 조건의 비용은 별도 측정이 필요합니다.

한계 (Limitations)

한계 — 그리고 우리가 스스로 뒤집은 이전 각주
이전 판에서 우리는 이렇게 썼습니다: "Haiku 응답만 CLI 경로로 생성됐고 116건 중 5건이 스스로 정체를 드러냈지만, 그 5건을 전부 만점(5.0)으로 가정한 최악의 재채점에서도 결론은 바뀌지 않는다(paired 차이 −0.011, p=0.93)." 그 각주는 틀렸고, 여기서 철회합니다.
틀린 이유가 핵심입니다. 그 민감도 분석은 우리가 탐지한 5건만 흔들어 봤습니다. 그러나 CLI 경로는 5건만 오염시킨 게 아니라 116건 전부를 다른 문으로 통과시켰습니다. 동일 subset을 API 경로로 재생성·재판정하자 Haiku는 2.80 → 3.09 (+0.34 paired, n=97)로 올랐는데, 그 상승분의 97%가 누수 5건이 아닌 나머지 92건에서 나왔습니다 (5건 기여분은 +0.010에 불과). 즉 누수 5건은 잘못된 문의 증상이었지 손상 그 자체가 아니었고, 5건만 흔든 민감도 분석은 구조적으로 손상을 과소평가할 수밖에 없었습니다. 재생성 후 자기정체 노출은 5건 → 0건입니다.
일반화하면: 탐지 가능한 오염만 흔드는 민감도 분석은, 오염이 계통적일 때 상한이 되지 못합니다. 우리는 이 실수를 외부가 아니라 우리가 먼저 찾았고, 그래서 위 표의 숫자와 주장을 바꿨습니다.

요약

평가 대상	에이전트 다음-행동 disposition 판단
하니스	Frozen · 심판에 응답자 모델명 비공지 · Native (N=116)
심판 판별력	+1.77 (vs 무의미 baseline)
우리 모델 품질	2.89 ±0.20 = Haiku(3.09 ±0.21)의 약 93%
우리 모델 비용	$0.378 / 1k decisions = Haiku 비용의 13.5%
vs Haiku 유의성	경계선 — paired Δ 95% CI [−0.51, −0.01], p=0.045(paired t) / p=0.103(부호검정)
프론티어 실측	Opus 3.43 ±0.17 · Sonnet 3.20 ±0.18 · Haiku 3.09 ±0.21
생성 경로	전 모델 API 단일 경로 (Haiku CLI 경로는 TON-3150에서 폐기·재생성)

이 방법론과 결과가 필요한 팀을 위해, 우리는 LLM 파인튜닝과 에이전트 오케스트레이션을 직접 만듭니다.

프로젝트 시작하기

에이전트의 판단 품질을,
프론티어와 같은 링에서 같은 심판으로 잽니다.