Lesson 6 of 30 ~15 min
Course progress
0%

Benchmark Comparison

Objektivní srovnání Opus, Sonnet a Haiku na standardních benchmarcích.

Podívejme se na tvrdá data - jak si jednotlivé modely vedou na standardních benchmarcích.

Hlavní benchmarky

Coding (HumanEval)

ModelHumanEval ScorePoznámka
Opus 4.592.1%Nejlepší, ale drahý
Sonnet 4.588.7%Sweet spot
Haiku 3.575.9%Pro jednoduché úlohy

Reasoning (MMLU)

ModelMMLU ScoreGraduate Level
Opus 4.595.2%Excelentní
Sonnet 4.590.8%Velmi dobré
Haiku 3.582.1%Dostatečné

Math (GSM8K)

ModelGSM8KMATH
Opus 4.597.8%76.4%
Sonnet 4.594.2%68.5%
Haiku 3.588.3%52.1%

Rychlost vs Kvalita

Rychlost (tokens/sec):
Haiku:  ~180 t/s  ████████████████████
Sonnet: ~90 t/s   ██████████
Opus:   ~45 t/s   █████

Kvalita (relativní):
Haiku:  ★★★☆☆
Sonnet: ★★★★☆
Opus:   ★★★★★

Real-world úlohy

Code Review (1000 řádků)

ModelČasNalezené bugyCena
Opus45s12/12$0.18
Sonnet25s10/12$0.04
Haiku12s6/12$0.006

Dokumentace (API docs)

ModelKvalitaStrukturaCena/stránka
OpusExcelentníPerfektní$0.12
SonnetVelmi dobráDobrá$0.03
HaikuZákladníAkceptovatelná$0.004

Debugging (complex bug)

ModelÚspěšnostPrůměrný čas
Opus94%2 min
Sonnet78%1.5 min
Haiku45%1 min

Klíčové poznatky

  1. Opus dominuje v komplexních úlohách - ale za cenu
  2. Sonnet je sweet spot - 80% kvality za 20% ceny Opus
  3. Haiku pro volume - když potřebujete rychlost a škálu

V další lekci se podíváme na detailní cost analýzu.