[Gelöst] Benchmark-Software für HARDWARE-RAID mit viel Cache

Aloha!

Seit Jahren habe ich IOmeter genutzt und war wohl auch nicht ganz unschuldig daran, daß THG dieses Tool für seine Benchmarks einsetzt.

Seitdem ich selbst einen 3Ware 9690SA-8i habe (512MB Cache onboard), suche ich allerdings von neuem ein Benchmark-Tool, welches halbwegs brauchbare Ergebnisse ausspuckt.

IOmeter liefert bei mir alles, von -20MB/s (ja, tatäschlich unter null!) bis über 400MB/s. Die Zugriffszeiten schwanken ebenfalls von negativen Werten über 0 bis hin zu exorbitant hohen Werten.

ATTO versagt ebenfalls. Lesend halbwegs brauchbare Werte, schreibend unglaublicher Mist. So habe ich bei einem RAID-1 z.B. Datenraten bis zu 600MB/s gemessen. Das kann höchstens den Cache-Transferraten entsprechen, aber nicht der Realität.
H2benchw: Fehlermeldung, da Festplatte zu groß (kein Witz).
HD Tune: Schwachsinnige Werte, die zwischen ~155MB/s und 100MB/s schwanken. Dafür wird bei der Burst-Transferrate meistens ein Wert angezeigt, der sogar darunter liegt.
HD-Tach: Läuft nicht unter Windows Server 2008 64bit

Hat jemand weitere Vorschläge, mit welchen BENCHMARKS ich anständige Werte erhalten kann?

SiSoft Sandra war bisher nie für RAID-Systeme geeignet. Der Benchmark hat immer versagt und totalen Unfug produziert. Ausprobieren werde ich den aber heute trotzdem.

Dennoch wäre es nett ein Benchmarktool für Festplatten zu finden, welches nicht total abdreht unter einem 64bit OS auf einem Array über 2TB größe.
Die Tests, die auf Partitionen laufen, habe ich auf einer Partition innerhalb der ersten 80GB ausprobiert. Auch IOmeter habe ich dafür den gesamten Platz nutzen lassen, so daß die Testdatei mit 80GB auch wesentlich größer war als Cache + RAM.

Bevor ich es vergesse: Ich suche Testergebnisse, die dem entsprechen, was ich "im normalen Gebrauch" maximal erwarten kann. Wenn also jemand meint, daß die Lösung wäre sämtliche Caches zu deaktivieren, dann muß ich dem schonmal vorab widersprechen: Im täglichen Gebrauch bleibt der Cache auch an.

Für brauchbare Tipps und Ideen wäre ich natürlich dankbar.

------

Update
SiSoftSandra kommt auch nicht klar. Lesend geht es noch, schreibend werden allerdings Zugriffszeiten von 1ms angezeigt, was darauf zurückzuführen ist, daß die Schreibkommandos im Cache des Controllers landen.

Hier nun ein paar positiv- und negativ-Beispiele, wie Benchmarks aussehen können und aussehen sollten.

Der Vollständigkeit halber:
Getestet auf einem H8DCi, 2x Opteron 852, 9690SA-8i, 6x Seagate Barracuda 7200.11 1,5TB ST31500341AS, RAID-50, "balanced" Performance, 64k Stripe-Size, leere 500GB Partition NTFS, 512bytes pro Zuordnungseinheit, Windows XP SP3, 4GB RAM (8x 512MB PC3200, ECC, REG).
Das sollte alles sein, was irgendwie für die Ergebnisse interessant ist.

----

2006.07.27 ist die letzte offizielle IOmeter-Version auf der Sourceforge-Seite, die zur Zeit zum Download bereit steht.
Diese zeigt noch brav in 32bit Windows in Cyan hervorgeben ein "PHYSICALDRIVE:2"

Getestet nach 3Ware-Vorgaben (256 outstanding IOs, 64k streaming reads) mit einem RAID-50 werden die Ergebnisse schon relativ einheitlich - die Schwankungen sind VIEL geringer als bei einem RAID-0, aber trotzdem sieht man immer mal wieder negative Zugriffszeiten. Wenn das auftritt, stimmt etwas nicht und die Ergebnisse, so schön sie auch scheinen mögen, sind unglaubwürdig bzw. wertlos:
Rund 1200MB/s und 20000 IO/s sind dann doch "etwas" zu viel.
Hier die dazu passenden Bilder:

Eventuell sind dies reine Cache-Transferraten oder Fehler in der Berechnung. Richtig sind diese Ergebnisse nicht.

-----

Da die neue Version unter 32bit Windows nicht mehr direkt auf die Partition zugreifen kann, wurde eine 500GB Partition auf dem RAID-50 angelegt und IOmeter 2008.06.22 gestartet. Testgröße: 8000000 Sektoren, was einer Datei von 4GB entspricht. Das passt zumindest schonmal nicht in den Cache des Controllers.
Das Erstellen einer solch großen Datei dauert natürlich erstmal eine Weile.

Getestet wieder 64k streaming reads bei 1 outstanding IO, 2, 3, 8 und 256 outstanding IOs (ab 8 gibt es erfahrungsgemäß kaum steigende Werte, 256 outstanding IOs entspricht der Empfehlung von 3Ware).

Ergebnisse RAID-50:
1IO:

2IOs:

3IOs:

8IOs:

256IOs:

Nunja, immerhin! Zumindest die Transferraten scheinen schonmal einen "sinnvollen" Wert erreicht zu haben, auch wenn ich persönlich etwas mehr von einem RAID-50 erwartet hätte.

----

HD-Tune Pro:
Wenn man die Standardeinstellungen beibehält, dann landet man auf ca 140MB/s. Da ist halt Sense bei einem ausstehenden IO und angeforderten 64KB. Was anderes testet der nicht und es entspricht dann ja auch ungefähr den Werten von IOmeter bei diesen Einstellungen.

Wenn man nun aber an der Blockgröße dreht...
512KB:

8MB:

----

Und Zugriffszeiten:

----

Hier ein paar Testergebnisse unter Windows Server 2008 Enterprise Edition 64bit auf dem gleichen RAID-50 von zuvor.

Zuerst HD-Tune 3.5 PRO:

64kB:

512KB:

8MB:

Nun weiter mit IOmeter 2008.06.22 (64bit-Version!):

64K streaming read, 1 outstanding IO:

64K streaming read, 2 outstanding IOs:

64K streaming read, 3 outstanding IOs:

64K streaming read, 8 outstanding IOs:

64K streaming read, 256 outstanding IOs:

---

RAID-0 mit allen 6 Festplatten. StorSave: Performance.

Man beachte vor allem die niedrigen Zugriffszeiten bei HD-Tune:

IOmeter
64K streaming read, 8 outstanding IOs:

64K streaming read, 256 outstanding IOs:

---

Nun ein paar negativ-Beispiele für Benchmarks, die sich nicht anpassen lassen oder schnell Unfug anzeigen:

Atto im RAID-0, wenn ein Häkchen fehlt:

Bis zu 900MB/s sind bei dieser Konfiguration absoluter Quatsch.
Ebenso sind Schreibraten von 28MB/s bis 9MB auch zu niedrig.

HD-Tach mit 5 Festplatten im RAID-0:

IOmeter 2003.02.08 mit negativen Zugriffszeiten: