Benchmarking (KI)
Ein Benchmark ist ein standardisierter Test, mit dem man die Leistung verschiedener KI-Modelle an denselben Aufgaben vergleicht.
Definition
Benchmarks bestehen aus festen Aufgabensammlungen, z. B. Mathefragen, Textverständnis oder Programmieraufgaben, und einer Bewertungsregel. Ein gutes Ergebnis zeigt, dass ein Modell diese Testaufgaben gut löst. Es zeigt nicht, dass es deine Aufgabe im Unterricht gut erledigt. Wenn Testaufgaben ins Trainingsmaterial gelangt sind, fallen Ergebnisse besser aus, als das Modell wirklich ist. Für deinen Einsatz brauchst du zusätzlich einen eigenen kleinen Test mit typischen Aufgaben aus deinem Alltag.
Beispiel
Ein Anbieter wirbt damit, dass sein Modell in einem Mathe-Benchmark vorne liegt. Du testest selbst zehn typische Sachaufgaben aus Klasse 4 und prüfst die Lösungen. Dieses Ergebnis sagt dir mehr darüber, ob das Modell für deine Klasse taugt, als der Platz im Benchmark.
Verwandte Begriffe
Weiterführend
Zuletzt aktualisiert: 18. Oktober 2026