DOE-Teststärke-Rechner

Was ist die DOE-Poweranalyse?

Die Teststärke ist die Wahrscheinlichkeit, dass ein Versuch einen tatsächlich vorhandenen Effekt einer bestimmten Größe auch nachweist. Teststärke = 1 - β, wobei β die Wahrscheinlichkeit eines Fehlers 2. Art ist (einen realen Effekt nicht zu erkennen). Eine Teststärke von 80% oder mehr gilt als übliches Minimum für geplante Versuche.

Bei 2^(k-p)-Faktorplänen hängt die Teststärke von der Anzahl der Faktoren (k), der Anzahl der Generatoren (p, bei teilfaktoriellen Plänen), der Anzahl der Wiederholungen (n), der nachzuweisenden Effektgröße (δ), der Prozessstandardabweichung (σ) und dem Signifikanzniveau (α) ab. Zusätzliche Wiederholungen sind der wichtigste Hebel, um die Teststärke zu erhöhen. Die Teststärke wird aus der nichtzentralen t-Verteilung mit den Fehlerfreiheitsgraden berechnet, die das angepasste Modell übrig lässt, N − 1 − (Modellterme): Ein volles Modell ohne Wiederholung lässt keine übrig und braucht daher eine Wiederholung oder ein kleineres Modell (nur Haupteffekte oder Haupteffekte plus Zweifach-Wechselwirkungen).

Das Signal-Rausch-Verhältnis δ/σ ist der entscheidende Treiber: Größere Effekte im Verhältnis zum Rauschen lassen sich leichter nachweisen. Ist die Teststärke unzureichend, kommen folgende Möglichkeiten infrage: Wiederholungen hinzufügen, α erhöhen (und damit mehr falsch positive Ergebnisse in Kauf nehmen), die Anzahl der Faktoren verringern oder einen weniger stark fraktionierten Versuchsplan wählen.

Formula: Power = P(|T| > t(α/2, df_E)), T ~ noncentral t(df_E, λ) λ = δ·√N / (2σ) N = n × 2^(k−p) df_E = N − 1 − model terms

Berechnungsbeispiel

Ein vollständiger 2³-Faktorplan (8 Versuchsläufe) mit 2 Wiederholungen (16 Läufe insgesamt), Effektgröße δ = 2.0, σ = 1.5, α = 0.05, mit dem vollen Modell (7 Terme). Signal = 2.0/1.5 = 1.33, und dem Fehler bleiben 16 − 1 − 7 = 8 Freiheitsgrade. Die Teststärke beträgt ≈ 65 % — unter dem üblichen Ziel von 80 %. Eine dritte Wiederholung (24 Läufe) hebt sie auf ≈ 87 %, genug, um einen Effekt der Größe 2.0 nachzuweisen.

Wann diesen Rechner verwenden

• Vor der Durchführung eines teuren Experiments um sicherzustellen, dass genügend Wiederholungen vorhanden sind, um praktisch wichtige Effekte mit hoher Konfidenz zu erkennen
• Bei der Entscheidung zwischen vollem und fraktionellem Faktorenplan — die Trennschärfeanalyse zeigt, wie viel Erkennungsfähigkeit mit weniger Versuchen verloren geht
• Bei der Experimentbudgetierung zur Rechtfertigung der Versuchsanzahl durch Darstellung der minimalen Wiederholungen für die Ziel-Trennschärfe
• Wenn das erste Experiment keine signifikanten Effekte zeigt — prüfen ob die Trennschärfe ausreichend war, bevor man schließt dass keine Effekte existieren
• Bei der Anpassung des Signifikanzniveaus α — den Trade-off zwischen Fehler 1. Art (Falsch-Positiv) und statistischer Trennschärfe (Erkennungsfähigkeit) verstehen

Häufige Fehler vermeiden

• Ein Experiment ohne Trennschärfeanalyse durchführen — nachträglich festzustellen, dass die Trennschärfe nur 30% betrug, bedeutet das Experiment war wahrscheinlich verschwendet; immer Trennschärfe vor der Datenerhebung berechnen
• Eine unrealistische Effektgröße δ verwenden — eine sehr große Effektgröße ergibt hohe Trennschärfe, bedeutet aber nur große Effekte können erkannt werden; den kleinsten praktisch bedeutsamen Effekt verwenden
• σ unterschätzen — wenn die Schätzung des Prozessrauschens zu niedrig ist, ist die berechnete Trennschärfe zu optimistisch; historische Prozessdaten oder Pilotstudien für realistische σ-Schätzungen verwenden
• Die Fraktion bei fraktionellen Versuchsplänen ignorieren — ein 2^(6-3) Plan hat nur 8 Versuche von 64 möglichen; viele Effekte sind vermischt und die Trennschärfe für die Erkennung einzelner Effekte ist reduziert

Ergebnisse interpretieren

• Trennschärfe unter 50% bedeutet, dass man einen realen Effekt eher verpasst als erkennt — das Experiment ist unterpowert und sollte in dieser Form nicht durchgeführt werden
• Trennschärfe 50-80% ist grenzwertig — Wiederholungen hinzufügen oder Rauschen durch Blockbildung und experimentelle Kontrolle reduzieren
• Trennschärfe über 80% erfüllt das Standard-Minimum — gute Chance den spezifizierten Effekt zu erkennen wenn er existiert
• Trennschärfe über 90% bietet starke Erkennungsfähigkeit — empfohlen für kritische Experimente bei denen das Übersehen eines Effekts schwerwiegende Folgen hat
• Wenn die Trennschärfe trotz vieler Versuche niedrig ist, ist das Signal-Rausch-Verhältnis (δ/σ) zu klein — Fokus auf Reduzierung des experimentellen Rauschens statt mehr Versuche

Zugehörige Normen & Referenzen

• NIST/SEMATECH e-Handbook of Statistical Methods, Kapitel 5 — Überlegungen zu Stichprobenumfang und Teststärke für zweistufige faktorielle Designs
• Montgomery, Design and Analysis of Experiments — Das Standardlehrbuch zu Teststärke und Replikation für 2^(k-p)-faktorielle Versuche
• ISO 3534-3 — Statistik-Vokabular zur Versuchsplanung; definiert Replikation, Signifikanzniveau und verwandte Begriffe
• ASTM E1325 — Standardterminologie der Versuchsplanung, die die faktoriellen und teilfaktoriellen Designs dieser Teststärkeberechnung abdeckt

Häufig gestellte Fragen

Welche Teststärke sollte ich für meinen Versuch anstreben?

80% Teststärke gilt als allgemein akzeptiertes Minimum. Bei kritischen Entscheidungen (Produkteinführung, sicherheitsrelevante Faktoren) sollten Sie 90% oder mehr anstreben. Unterhalb von 80% besteht ein erhebliches Risiko, einen teuren Versuch durchzuführen und auf 'kein Effekt' zu schließen, obwohl ein bedeutsamer Effekt tatsächlich vorhanden ist.

Wie erhöhe ich die Teststärke, ohne weitere Versuchsläufe hinzuzufügen?

Verringern Sie das Rauschen (σ) durch eine strengere Versuchskontrolle: derselbe Bediener, dieselbe Materialcharge, dieselbe Anlage. Bilden Sie Blöcke für bekannte Störgrößen. Erhöhen Sie α von 0.05 auf 0.10, wenn die Kosten eines falsch positiven Ergebnisses gering sind. Verwenden Sie einen weniger stark fraktionierten Versuchsplan (kleineres p). Nutzen Sie Zentralpunkte, um die Krümmung zu prüfen, ohne vollständige Wiederholungen hinzuzufügen.