지난주 우리는 이 사이트의 벤치마크 페이지에 "우리 모델이 Haiku와 구분되지 않는다"고 썼습니다. 이번 주에 그 주장을 철회했습니다. 아무도 지적하지 않았습니다. 우리가 먼저 찾았습니다.
운영일지의 첫 정기 회차를 자랑이 아니라 정정으로 시작하는 게 맞다고 판단했습니다. 우리가 어떻게 일하는지 가장 정확하게 보여주는 게 이번 주에는 이 일이었기 때문입니다.
무엇이 틀렸나
우리는 우리 모델과 Claude Haiku의 판단 품질을 블라인드로 비교했습니다. 이전 판(2026-07-16까지)은 Haiku 점수를 2.80으로 싣고, 우리 모델이 그와 구분되지 않는다고 주장했습니다.
문제는 그 2.80이 어떻게 나온 값이냐는 데 있었습니다. Haiku만 CLI 경로로 답변을 생성했습니다. 다른 참가자와 다른 문으로 들어온 겁니다. 동일한 문제 subset을 API 경로로 다시 생성해서 다시 채점하자 Haiku는 3.09로 올랐습니다.
우리 모델이 나빠진 게 아닙니다. 상대를 실제보다 약하게 측정해 놓고 비겼다고 쓴 것입니다.
왜 틀렸는지가, 틀렸다는 것보다 중요합니다
이 오류에는 앞선 단계가 있었습니다. 우리는 CLI 경로에서 답변이 새는 케이스 5건을 이미 탐지했고, 각주에 이렇게 썼습니다 — "그 5건을 빼고 재채점해도 결론은 바뀌지 않는다."
그 각주도 함께 철회했습니다. 계산이 틀려서가 아니라, 질문이 틀렸기 때문입니다.
그 민감도 분석은 *우리가 탐지한 5건만* 흔들어 봤습니다. 그러나 CLI 경로는 5건만 오염시킨 게 아니라 116건 전부를 다른 문으로 통과시켰습니다. 재측정에서 오른 +0.34 중 97%가 그 5건이 아닌 나머지 92건에서 나왔습니다. 5건의 기여분은 +0.010에 불과했습니다.
즉 우리가 찾아낸 누수 5건은 잘못된 문의 증상이었지, 손상 그 자체가 아니었습니다. 탐지된 오염만 흔드는 민감도 분석은, 오염이 계통적일 때 상한이 되지 못합니다. 우리는 우리가 볼 수 있는 것의 크기를 문제의 크기로 착각했습니다.
이게 이번 주에 우리가 배운 것입니다. 그리고 이건 벤치마크에만 해당되는 교훈이 아닙니다.
지금 우리가 하는 주장
정정된 데이터 위에서, 우리가 주장할 수 있는 건 딱 이만큼입니다:
- 우리가 자체 하드웨어에서 직접 운영하는 35B 에이전트-판단 모델이 Haiku 판단 품질의 약 93% (2.89 / 3.09)에 도달했습니다.
- 같은 자체 호스팅 경로에서 측정한 비용은 Haiku 대비 13.5% — 약 1/7.4입니다.
- 범용 성능이 아닙니다. 에이전트 운영 의사결정이라는 우리 도메인에 한정한 이야기입니다.
"Haiku와 구분되지 않는다"가 아니라 "Haiku보다 근소하게 낮다" 입니다. 부호검정은 p=0.103으로 유의하지 않고, 신뢰구간 상한도 0에 거의 붙어 있는 경계선상의 차이입니다. 두 검정이 엇갈리는 구간이라, 우리는 딱 그만큼만 주장합니다.
품질의 93%를 비용의 13.5%에 낸다 — 이게 정정된 진짜 이야기이고, 솔직히 이쪽이 원래 주장보다 더 쓸모 있습니다.
왜 이걸 공개하나
숨길 수 있었습니다. 5건 누수는 이미 각주로 처리해 뒀고, 아무도 CLI 경로를 묻지 않았습니다.
그런데 벤치마크를 공개하는 이유가 "우리 모델이 좋다"를 설득하려는 것이라면, 그 벤치마크는 마케팅 자료지 측정이 아닙니다. 자기 채점을 부풀릴 수 없는 구조를 만들겠다고 해 놓고 유리한 오류만 남겨 두면, 그 구조는 이미 거짓말입니다.
측정을 공개하는 회사가 지켜야 할 최소한은 이겁니다 — 틀렸을 때 우리가 먼저 말한다.
심판 독립성도 같은 이유로 공시해 뒀습니다. 우리 심판은 Opus인데, Opus는 동시에 최고점 참가자이기도 합니다. 자기선호 편향 가능성이 있어서, 우리는 Opus 자신의 점수보다 Sonnet·Haiku를 더 깨끗한 독립 기준으로 봅니다. 위의 93% 주장은 그 독립 기준 위에 서 있습니다.
정정 전문과 방법론, 유효 표본 수까지 벤치마크 페이지에 그대로 열어 뒀습니다. 이전 판이 뭐라고 썼는지도 지우지 않고 남겨 뒀습니다.
다음 주에
이 운영일지는 이제 매주 월요일에 올라옵니다. 잘된 주는 잘된 대로, 이번 주 같은 주는 이번 주 같은 대로 쓰겠습니다.
읽어 주셔서 감사합니다.