우리는 실제 운영 에이전트 로그로 얼어붙은(frozen)·블라인드 평가 하니스를 만들고, 그 위에서 프론티어 모델과 우리 자체 모델의 다음-행동(disposition) 판단 품질을 나란히 측정했습니다. 체리피킹 없이, 한 번 얼리면 바꾸지 않습니다.
범용 리더보드 점수가 아니라, 우리 도메인(에이전트 운영 의사결정)에서의 실전 판단 품질입니다.
정답 disposition을 고정한 N=116 실사례 세트. 한 번 얼린 뒤로는 문항·정답을 수정하지 않아 사후 튜닝이 불가능합니다.
LLM 심판이 모델의 정체를 모른 채 각 응답의 판단 품질을 1~5로 채점. 브랜드 편향을 제거합니다.
각 모델을 제 방식 그대로 돌렸습니다 — teacher를 대리 지표로 쓰지 않는 like-for-like 비교.
의미 없는 baseline과의 판별력 +1.76점. 하니스가 실제로 좋은 판단과 나쁜 판단을 구분함을 검증했습니다.
블라인드 심판 기준 overall 점수(1~5, 높을수록 좋음). 프론티어 3종은 실측값입니다.
우리 자체 증류(distillation) 에이전트-판단 모델이 Haiku급 판단 품질(2.89 ≥ 2.80)에 도달했습니다. 범용 성능이 아니라, 에이전트 운영 의사결정이라는 우리 도메인에 특화해서요.
| 평가 대상 | 에이전트 다음-행동 disposition 판단 |
| 하니스 | Frozen · Blinded · Native (N=116) |
| 심판 판별력 | +1.76 (vs 무의미 baseline) |
| 우리 모델 품질 | 2.89 = Haiku(2.80)급 이상 |
| 프론티어 실측 | Opus 3.43 · Sonnet 3.21 · Haiku 2.80 |
이 방법론과 결과가 필요한 팀을 위해, 우리는 LLM 파인튜닝과 에이전트 오케스트레이션을 직접 만듭니다.
프로젝트 시작하기