---

title: 내가 만든 AI 에이전트가 스스로 한 연구 — 15개 모델 랭킹

type: portfolio

tags:

created: 2026-08-16

---

내가 만든 AI 에이전트가 스스로 한 연구 — 15개 모델 랭킹

---

결과 (30초 요약)

나는 15개 AI 모델을, **공개 벤치마크가 아니라 실제 실행 데이터**로 순위를 매겼다. 캐시 효율을 반영한 실질 비용 계산으로, 기존 "점수 나누기 가격" 방식이 17배 왜곡한다는 것을 숫자로 증명했다. 지능 점수가 없는 9개 모델은 점수를 지어내는 대신 통계적으로 정직한 "순위 미정" 판정을 내렸다.

최종 결론: 플릿 기본 모델(deepseek-v4-flash)이 데이터로 다시 한 번 최적임을 증명. 지능 1위 모델(Kimi-K3)이 실제로는 abort율 21%로 비용 폭증 중이라는 숨은 비용을 발견.

이 연구는 **사람이 시키는 대로 계산한 게 아니라, 에이전트가 스스로 문제를 정의하고, 데이터를 찾고, 방법을 선택하고, 정직하게 결론을 내린 과정**의 결과다.

---

문제 (내가 마주한 것)

"15개 AI 모델을 내 워크로드 기준으로 순위 매겨줘. 지능 점수는 일부만 있고, 실행 데이터는 있는데, 가격도 있고... 어떻게 객관적으로 합치지?"

이 질문에는 세 개의 함정이 있었다:

1. **지능 점수 결측** — 15개 중 6개만 공개 지능 점수가 있었다. 나머지 9개는 "not yet scored".

2. **이질적 기준** — 지능·비용·성공률·캐시 효율·abort율. 하나의 숫자로 합치는 객관적 방법?

3. **단순 공식의 유혹** — "점수 나누기 가격"은 가장 쉬운 답이지만, 캐시·성공률을 무시한다.

이건 "모델 추천"이 아니라 **의사결정 시스템 설계** 문제였다. 매달 모델이 바뀌고, 실제 성능이 벤치마크와 다르고, 비용 구조가 캐시에 의해 지배되는 환경에서.

---

방법 (내가 선택한 것)

1. 점수 결측 → 평균 대치가 아니라 Manski 경계 분석

평범한 방법은 "없는 점수는 평균으로 채우자"다. 나는 거부했다. "not yet scored"는 대개 최근 출시와 상관된 구조적 결측(MNAR)이다. 평균으로 채우면 최신 모델을 체계적으로 깎는다.

대신 지능을 [최솟값, 최댓값]으로 넣어 순위를 두 번 계산했다. 순위가 안 뒤집히면 "결측 무관", 뒤집히면 "순위 미정"으로 정직 보고.

2. MCDA → weighted sum도 TOPSIS도 거부, Pareto + 하드 게이트

정답: **Pareto 필터**로 어떤 가중치로도 최적 불가인 모델 제거 → **abort율 ≤ 15% 하드 게이트** (abort는 quota·rate-limit 문제지만 결과적으로 재시도·인적복구 비용 폭증) → 3축 정규화 (지능·비용·성공률, 실행 2배 가중).

3. "점수/가격" → 태스크당 실질 비용

캐시 히트율 99% 모델의 실질 지능/비용은 단순 점수/가격보다 **17배 높다**. 반복 에이전트 워크로드에서 캐시는 할인이 아니라 순위 결정 축이다. 그래서:

---

증거 (실제 데이터)

최종 순위 (abort 게이트 통과 4개)

**게이트 탈락 3개**: Kimi-K3 (지능 59.70으로 1위지만 abort 21%), Gemini 3.7 Flash (33%), GLM-5.2 (100%).

**결측 8개**: 실행 데이터 없음 → "순위 미정". 비용만 보면 mimo-v2.5($0.036), Qwen3.7-Flash($0.016)가 flash에 근접하지만, 성공률·abort를 모르면 순위를 정할 수 없다.

핵심 발견

1. **플릿 기본값 검증**: deepseek-v4-flash가 데이터로 최적 — 157회 실행 100% 성공, abort 0, 캐시 99%.

2. **숨은 비용 발견**: Kimi-K3는 지능 1위지만 abort 21% → 실질 비용 폭증. "지능 순위"만 보고 쓰면 손해.

3. **캐시의 힘**: 점수/가격 단순 계산은 17배 왜곡. 캐시 효율을 빼면 순위가 통째로 뒤집힌다.

---

왜 이게 포트폴리오에 있는가

이건 "모델 추천"이 아니라, **불완전한 데이터 속에서 정직한 의사결정을 내리는 시스템 설계**의 사례다. 내가 증명하고 싶은 것:

1. **에이전트가 스스로 판단한다** — 지시를 받고 계산만 하는 게 아니라, 방법을 선택하고 거부할 줄 안다.

2. **통계적 정직성** — 점수를 지어내지 않고 "모른다"고 말할 수 있다. 결측을 채우는 대신 경계를 보고한다.

3. **실제 비용 사고** — 벤치마크 점수나 단가가 아니라, 캐시·성공률·재시도를 반영한 태스크당 비용으로 판단한다.

이 연구의 진짜 결과는 순위표가 아니라, **"이런 환경에서 어떻게 믿을 만한 결론을 내리는가"라는 방법론**이다.

---

부록: 재현 가능성