Tom's Hardware > Foren > Festplatten, RAID, Datensicherung, Backup, Datenrettung > Weitere > [Gelöst] Inhalt gleichzeitig auf mehrere Platten kopieren

[Gelöst] Inhalt gleichzeitig auf mehrere Platten kopieren

Forum Festplatten, RAID, Datensicherung, Backup, Datenrettung : Weitere - [Gelöst] Inhalt gleichzeitig auf mehrere Platten kopieren

Tom's Hardware: 1,4 Mio. Mitglieder aus 6 verschiedenen Ländern beantworten alle Ihre Fragen über Computer-Technik und IT. Um Hilfe zu erhalten, registrieren Sie sich kostenlos!

Beste Antwort von derGhostrider.

Wort:    Username:           
 

Hi

Folgendes Problem:

Man muss den selben inhalt, zB 500 GB, auf 10 platten kopieren.

einfach eine nach der anderen anstecken ist die jetzige methode, gibt es da nicht controller/ softwarelösungen die genau DAS machen was ich hier benötigen würde?

(kein raid oder dglchn.)

danke u lg
peter

Zehn parallele Schreibvorgänge würden von der Quellplatte sehr viel Bandbreite verlangen. Durch kleine Asynchronitäten würde diese Platte dann wohl nur noch im Random-Zugriff arbeiten.
Hier müsste eine Softwarelösung die Transferrate etwas reduzieren, so daß alle Ziel-Festplatten schnell genug hinterher kommen - wie es auch bei CD-Brennprogrammen ist, bei denen man inzwischen auf mehrere Brenner gleichzeitig schreiben kann. Hinkt ein Brenner hinterher, dann werden die anderen halt etwas ausgebremst, damit insgesamt alle gleichzeitig fertig werden.

Es könnte Clone-Programme geben, die das erreichen. Acronis Echo Server kann wohl auf mehrere Platten gleichzeitig "sichern" (also kopieren).

Wenn es Dir nur darum geht, daß es "irgendwie" automatisch funktioniert, dann könntest Du auf verschiedene Weisen Batch-Dateien schreiben. "Normales" Kopieren von derartig großen Datenmengen macht man am besten mit Robocopy (in Windows, zumindest den Servervarianten, integriert, ansonsten bei MS als freier Download verfügbar).
Ja, auch MS rät dazu große Datenmengen mit Robocopy zu transferieren anstatt den Explorer zu benutzen. Im Unternehmen habe ich selbst mehrfach erlebt, wie der Explorer nicht alle Daten oder zumindest nicht Fehlerfrei kopiert hat, wenn man zehn- bis hunderttausende von Dateien und Datenmengen im mehrstelligen GB-Bereich kopierte.
Das gute an Robocopy ist eben auch, daß man es vollständig konfigurieren und über einfache Batch-Routinen ausführen kann.

Eine Batch-Datei, die entweder nacheinander die Kopiervorgänge startet (geeignet bei gleich schnellen Festplatten Quelle->Ziel) oder auch parallel mehrere Kopiervorgänge (geeignet bei einer sehr schnellen Quelle wie einem guten RAID-5), ist da überhaupt kein Problem.
Für die Hintereinander ausführung schreibst Du die Befehle untereinander in die Batch-Datei:
robocopy [Befehle1]
robocopy [Befehle2]
...

Wenn es "gleichzeitig" ausgeführt werden soll, dann schreibst Du "Start" vor Robocopy:
start robocopy [Befehle1]
start robocopy [Befehle2]
...

Für jeden einzelnen Kopiervorgang wird dann eine neue Instanz gestartet.


Komfortabel, aber vielleicht teuer: Acronis Echo Server
Wenn es als low-tech-Lösung auch geht: Robocopy

Tipp für Robocopy-Optionen: /E /ZB /r:2 /w:1
Wenn der Vorgang geloggt werden soll, dann gibt es ein paar Sachen, die man berücksichtigen sollte:
1. Die LOG-Datei nicht auf der Quelle oder dem Ziel ablegen (random-access ist nicht gut bei Festplatten und bremst)
2. Auf keinen Fall die Prozentangaben mit loggen lassen! Das verursacht dermaßen viel IO-Last, daß der Kopiervorgang ewig dauert.
Zusätzliche Switches:
/NP /TEE /LOG:logdatei.txt
(wobei logdatei.txt auf einer anderen Festplatte liegen sollte. Also wenn d:\ nach h:\ kopiert wird, dann sollte man die Logdatei auf z.B. c: ablegen, sofern das eine andere PLATTE (nicht nur Partition!) ist.

/V verwende ich auch ganz gerne. /TEE ist nicht benötigt, wenn niemand am Bildschirm den Vorgang verfolgen möchte. Ohne Bildschirmausgabe ist die Geschwindigkeit höher! Also ist es ideal nur die Logdatei schreiben zu lassen und hinterher nach zu schauen, ob alles OK war.

Es lohnt sich die Optionen alle durch zu lesen. Du kannst das ganze auch "Multithreaded" laufen lassen /MT:3 für 3 threads.

Über /MON und /MOT kannst Du auch die Quelle überwachen lassen und den Kopiervorgang erneut anstoßen, sobald eine bestimmte Menge an Änderungen angefallen ist. Für ein automatisches "Backup" ist das ideal mit der Option /MIR zu verknüpfen.

Aber wie gesagt: Das ist eben keine optimierte Abarbeitung, die einmal von der Quelle liest und dann auf n Ziele schreibt. Es wird pro Ziel auch einmal gelesen.
Anzeigen
Beste Antwort

Zehn parallele Schreibvorgänge würden von der Quellplatte sehr viel Bandbreite verlangen. Durch kleine Asynchronitäten würde diese Platte dann wohl nur noch im Random-Zugriff arbeiten.
Hier müsste eine Softwarelösung die Transferrate etwas reduzieren, so daß alle Ziel-Festplatten schnell genug hinterher kommen - wie es auch bei CD-Brennprogrammen ist, bei denen man inzwischen auf mehrere Brenner gleichzeitig schreiben kann. Hinkt ein Brenner hinterher, dann werden die anderen halt etwas ausgebremst, damit insgesamt alle gleichzeitig fertig werden.

Es könnte Clone-Programme geben, die das erreichen. Acronis Echo Server kann wohl auf mehrere Platten gleichzeitig "sichern" (also kopieren).

Wenn es Dir nur darum geht, daß es "irgendwie" automatisch funktioniert, dann könntest Du auf verschiedene Weisen Batch-Dateien schreiben. "Normales" Kopieren von derartig großen Datenmengen macht man am besten mit Robocopy (in Windows, zumindest den Servervarianten, integriert, ansonsten bei MS als freier Download verfügbar).
Ja, auch MS rät dazu große Datenmengen mit Robocopy zu transferieren anstatt den Explorer zu benutzen. Im Unternehmen habe ich selbst mehrfach erlebt, wie der Explorer nicht alle Daten oder zumindest nicht Fehlerfrei kopiert hat, wenn man zehn- bis hunderttausende von Dateien und Datenmengen im mehrstelligen GB-Bereich kopierte.
Das gute an Robocopy ist eben auch, daß man es vollständig konfigurieren und über einfache Batch-Routinen ausführen kann.

Eine Batch-Datei, die entweder nacheinander die Kopiervorgänge startet (geeignet bei gleich schnellen Festplatten Quelle->Ziel) oder auch parallel mehrere Kopiervorgänge (geeignet bei einer sehr schnellen Quelle wie einem guten RAID-5), ist da überhaupt kein Problem.
Für die Hintereinander ausführung schreibst Du die Befehle untereinander in die Batch-Datei:
robocopy [Befehle1]
robocopy [Befehle2]
...

Wenn es "gleichzeitig" ausgeführt werden soll, dann schreibst Du "Start" vor Robocopy:
start robocopy [Befehle1]
start robocopy [Befehle2]
...

Für jeden einzelnen Kopiervorgang wird dann eine neue Instanz gestartet.


Komfortabel, aber vielleicht teuer: Acronis Echo Server
Wenn es als low-tech-Lösung auch geht: Robocopy

Tipp für Robocopy-Optionen: /E /ZB /r:2 /w:1
Wenn der Vorgang geloggt werden soll, dann gibt es ein paar Sachen, die man berücksichtigen sollte:
1. Die LOG-Datei nicht auf der Quelle oder dem Ziel ablegen (random-access ist nicht gut bei Festplatten und bremst)
2. Auf keinen Fall die Prozentangaben mit loggen lassen! Das verursacht dermaßen viel IO-Last, daß der Kopiervorgang ewig dauert.
Zusätzliche Switches:
/NP /TEE /LOG:logdatei.txt
(wobei logdatei.txt auf einer anderen Festplatte liegen sollte. Also wenn d:\ nach h:\ kopiert wird, dann sollte man die Logdatei auf z.B. c: ablegen, sofern das eine andere PLATTE (nicht nur Partition!) ist.

/V verwende ich auch ganz gerne. /TEE ist nicht benötigt, wenn niemand am Bildschirm den Vorgang verfolgen möchte. Ohne Bildschirmausgabe ist die Geschwindigkeit höher! Also ist es ideal nur die Logdatei schreiben zu lassen und hinterher nach zu schauen, ob alles OK war.

Es lohnt sich die Optionen alle durch zu lesen. Du kannst das ganze auch "Multithreaded" laufen lassen /MT:3 für 3 threads.

Über /MON und /MOT kannst Du auch die Quelle überwachen lassen und den Kopiervorgang erneut anstoßen, sobald eine bestimmte Menge an Änderungen angefallen ist. Für ein automatisches "Backup" ist das ideal mit der Option /MIR zu verknüpfen.

Aber wie gesagt: Das ist eben keine optimierte Abarbeitung, die einmal von der Quelle liest und dann auf n Ziele schreibt. Es wird pro Ziel auch einmal gelesen.

Antworten derGhostrider

wow e, vielen dank für die ausführliche beschreibung

quelle ist ein raid5 mit 24 (sas) platten - das wäre nicht das Problem ...

also mal danke - werde mal deine tips beherzigen ;-)

LG

Antworten wahnsinniger

Joa, OK... *G* Bei 24 SAS-Platten würde ich dann die "start robocopy..." Variante zumindest mal ausprobieren und eventuell sogar mit /MT:2 multithreaded laufen lassen. Das sind dann zwar maximal 20 Threads, aber das kannst Du dann ja mal in Ruhe austesten.

An einer kurzen Rückmeldung, wie gut es läuft, wäre ich auch ehrlich gesagt interessiert.

Antworten derGhostrider

jo, wird gemacht :-)
habe deine variante an die stellen weitregeleitet, dies betrifft, ich hoffe das wirs heute testen können, aber du bekommst auf jeden fall eine rückmeldung !

Antworten wahnsinniger

Du hast nicht geschrieben, ob Du über's Filesystem (Ghostriders Lösung) oder Blockweise kopierst?

 

Wenn Du über's Filesystem gehtst, dann wärst Du doch sicher viel früher auf die Idee gekommen an Dein RAID5 aus 24x SAS einfach 10x den Kopiervorgang zu starten. Das kann Windows sogar per drag 'n drop.

 

Wenn Du Blockweise kopierst, dann geht das sogar mit Quelle nur 1x (!!!) lesen und 10x raushauen:

 

dd if=/dev/sda1 | tee >(dd of=/dev/sdb1) >(dd of=/dev/sdb2) >...

 

Dazu braucht man aber Linux oder vielleicht geht's auch mit cygwin unter Windows. Beschleunigen kann man das ganze dann noch durch Partimage, dass nur die Nutzdaten vom NTFS Filesystem kopiert. Geht obiges zu langsam kann man's mit tee auch in Betriebssystem Pipes routen u. von dort jeweils einen eigenen Prozess lesen lassen.

 

--

 

Und warum kopiert man 10x das gleiche? Zur Installation von einem Betriebssystem auf 10 gleichen Rechnern? Das kann man auch über's Netz abfackeln: BootCD (Clonzilla oder WinPE) in den neuen Rechner u. der holt sich das Image über's Netz. Kann man dann an 10 Rechnern gleichzeitig machen. Natürlich ist das über eine Gigabitleitung nicht so prall. 10 Gigabit wären da besser. Oder halt über Nacht - der macht das schon.


Nachricht bearbeitet von 7oby am 09.10.2009 um 13:53:27
Antworten 7oby

Vielleicht werden ja Datensätze / DB-Auszüge an Kunden verschickt...

dd haut m.E. nur hin, wenn man die gesamte Partition kopieren möchte. Dafür hätte ich dann aber auch schon Acronis als Vorschlag gehabt, wobei dd, auch wenn es nicht unter Windows läuft, die preislich günstigere Variante ist.

Vom Drag&Drop über den Explorer kann ich nur abraten. Schlechte Erfahrungen... ;) Und wenn sogar MS zu Robocopy rät, dann hat das bestimmt schon seinen Grund.

Antworten derGhostrider
Tom's Hardware > Foren > Festplatten, RAID, Datensicherung, Backup, Datenrettung > Weitere > [Gelöst] Inhalt gleichzeitig auf mehrere Platten kopieren
Zu:

Es gibt 110 identifizierte und nicht identifizierte User. Zur Ansicht der Liste identifizierter User, Hier klicken.

Google Anzeigen
  • Die Community jetzt fragen
  • Veröffentlichen
Anzeige
Die folgenden Community-Mitglieder erhielten Auszeichnungen!
Wir gratulieren:
  • 13:29 gscheitmeier hat das Abzeichen Kolumnist erhalten
  • 01:00 JustinJoafeyz hat das Abzeichen Leser erhalten
  • 01:00 xelage hat das Abzeichen Leser erhalten
  • 01:00 iopodx hat das Abzeichen Leser erhalten
  • 01:00 _anders hat das Abzeichen Niedergelassen erhalten
  • 01:00 catdeelay hat das Abzeichen Leser erhalten
  • 01:00 purple_haze hat das Abzeichen Leser erhalten
  • 01:00 bigreval hat das Abzeichen Leser erhalten
  • 01:00 balkontroll hat das Abzeichen Leser erhalten
  • 01:00 puppe hat das Abzeichen Leser erhalten
Anzeigen