NAS mit ZFS für Filmsammlung?

[Marc Stibane]

Ich geb's ja zu, ich bin ein (Digital-)Messie...

Meine Filmsammlung wächst und wächst (dank EyeTV und manchmal auch
OnlineTVRecorder). Derzeit habe ich (immer noch) ein 2-Bay ReadyNAS Duo
mit 2*4TB im RAID-0, welches zu >99% voll ist. SPAN kann es leider
nicht, aber immerhin fährt es die Platten runter wenn ca. 15 Minuten
kein Zugriff erfolgte, und ist sehr leise wg. externem Netzteil ohne
Lüfter. Und eine Handvoll (5Stk) 3TB USB 3.0 Platten, die ich
abwechselnd an meinen Mac anschließe um ein Backup zu haben.
Das manuelle Kopieren nervt, und auch dass ich selber die Filme in die
richtigen Ordner auf die richtige Platte kopieren muss.

Wichtige Daten sind auf meinem rMBP (750 GB SSD) sowie 2 TimeMachine
Platten, eine per USB unregelmäßig angeschlossen, die andere hängt an
der Airport Extreme und ist somit dauerhaft im LAN.

Ich hätte gerne ein größeres NAS nur für die Filme. Es reicht mir
eigentlich wenn das IMO größte Ausfallrisiko abgedeckt ist, nämlich dass
eine Platte kaputtgeht. Hatte in den letzten 20 Jahren ca. 10 defekte
Platten, also alle 2 Jahre eine. Einen Überspannungsschutz würde ich
auch noch dafür kaufen, obwohl ich noch nie deswegen Schäden hatte.
Aber die Filme sind nicht so wichtig dass ein zweites NAS nötig wäre.
Wenn die Wohnung abbrennt, sind sie eben weg...

Das NAS sollte primär wie ein WORM funktionieren - typischerweise kommen
zwar regelmäßig neue Aufnahmen hinzu, aber gelöscht werden eigentlich
nur wirklich schlechte Filme. Speedanforderung ist moderat, zum
Abspielen reichen ja 3-4 GByte pro Stunde...

Ich hätte gerne sowas ähnliches wie TimeMachine Backups - nur eben auf
dem NAS selber. Wiederherstellungspunkte, damit das versehentliche
Löschen von Dateien/Ordnern ggf. rückgängig gemacht werden kann. Mit
HardLinks damit die Daten selber nicht doppelt auf der Platte liegen.
Wären ZFS Snapshots dafür geeignet?


Ich besitze derzeit vier 4TB-Platten (2 im ReadyNAS, 2 einzeln USB), und
fünf (einzeln USB) 3TB-Platten für Filme. Ein FreeNAS mit RaidZ2 sollte
also 6 * 4TB haben für eine Nettokapazität von 16TB, was mir wohl die
nächsten 5 Jahre reichen würde.
Anschaffen müsste ich das (BareBone-) NAS selber, dazu zwei 4TB-Platten.
Die 3TB-Platten könnte ich einmal mit dem aktuellen Stand befüllen und
für Notfälle einlagern. Das wäre Möglichkeit 1.


Möglichkeit 2: Ein Simpel-NAS welches SPAN beherrscht und mir mit den
4TB-Platten ohne Redundanz ein 16TB-Volume im Netz bereitstellt. Und ein
DAS-Gehäuse welches dasselbe für die fünf 3TB-Platten macht, nur per USB
3.0 statt Ethernet. Die Ordnerstruktur würde ich dann am DAS erzeugen,
und via RSync auf das NAS spiegeln. Nachteil: Ohne Snapshots - Datei
lokal (DAS) löschen, und RSync löscht es auch am NAS. Man könnte
natürlich statt RSync direkt TimeMachine verwenden - und vom
Filmabspieler einfach immer das letzte Backup mounten
(NAS/Backups.backupdb/rMBP/latest/DAS) - aber dagegen spricht meine
Erfahrung mit TM-Disks. Mir sind in den letzten 10 Jahren (seit MacOS X)
eigentlich immer nur TM-Backup-Platten logisch kaputtgegangen (lassen
sich nur noch R/O mounten, MacOS meckert dass man Daten runterkopieren
soll und die Platte neu formattieren), während zu MacOS 6,7,8,9 -Zeiten
das alle Nase lang mit normalen Festplatten passierte.


Nochmal kurz
1) FreeNAS mit RaidZ2
Kosten: 6-bay PC, am besten mit ECC 16GB RAM, sowie zwei 4TB-Platten
+ : vier existierende 3TB-Platten mit den derzeitigen Daten können
eingelagert werden, neue Filme am NAS können auf die fünfte 3TB-USB
gebackup't werden. RaidZ2 mit Snapshots sehr sicher.
- : Stromverbrauch für sechs Platten 24/7/52

Könnte ein N54L (mit fünfter Platte im CD-Bay und sechster Platte extern
am eSATA) dafür taugen?


2) NAS ohne RAID, plus DAS
Kosten: 4-bay NAS (SPAN-tauglich), sowie 5-bay DAS-Gehäuse (SPAN)
+ : Dauer-Stromverbrauch für vier Platten statt 6 (das DAS wird
ausgeschaltet)
- : DAS und NAS laufen gleichzeitig, RSync fehleranfälliger als
Snapshots. HFS+


Andere Ideen oder Vorschläge?

[Thomas Kaiser]

Einen Überspannungsschutz würde ich auch noch dafür kaufen, obwohl ich
noch nie deswegen Schäden hatte.

Da würde ich dann gleich den Griff zu sowas wie einer EnerGenie EG-PMS
empfehlen:

http://geizhals.at/eu/gembird-energenie-eg-pms-6-fach-a732667.html

Das hat neben dem Überspannungsschutz dann noch 4 schaltbare Dosen, die
Du simpel per USB schalten kannst (bspw. um externe Platten oder ein
USB-DAS zu schalten)

Ich hätte gerne sowas ähnliches wie TimeMachine Backups - nur eben auf
dem NAS selber. Wiederherstellungspunkte, damit das versehentliche
Löschen von Dateien/Ordnern ggf. rückgängig gemacht werden kann. Mit
HardLinks damit die Daten selber nicht doppelt auf der Platte liegen.
Wären ZFS Snapshots dafür geeignet?

Klar bzw. perfekt. Das Konzept ist zwar anders/besser als Hardlinks aber
prinzipiell ist das genau dafür tauglich. Und bei ZFS verlangsamt eine
unendliche Anzahl Snapshots auch prinzipiell nix (damit haben andere
Ansätze durchaus massiv Probleme)

Möglichkeit 2: Ein Simpel-NAS welches SPAN beherrscht und mir mit den
4TB-Platten ohne Redundanz ein 16TB-Volume im Netz bereitstellt.

Das kriegst Du mit jedem Simpel-Linux-DIY-Hobel hin (bspw. mittels LVM).
Wenn dann eine Platte ausfallen sollte, sind sogar noch die Blöcke der
anderen Platten existent aber es wird dann schon bisserl hakelig, an
deren Daten zu kommen.

Ohne Snapshots - Datei lokal (DAS) löschen, und RSync löscht es auch
am NAS.

Muß ja nicht sein. Du kannst im Gegensatz zu ZFS bei rsync tatsächlich
mit Hardlinks nahezu Identisches erreichen:

http://www.mikerubel.org/computers/rsync_snapshots/

Man könnte natürlich statt RSync direkt TimeMachine verwenden - und
vom Filmabspieler einfach immer das letzte Backup mounten
(NAS/Backups.backupdb/rMBP/latest/DAS)

Große Datenmengen auf HFS+ -- Risiko! ;-)

Nur fürs Archiv: Wenn man das mit TimeMachine-Netzwerk-Backups machen
will, kann man ein SparseBundle (auch an einer anderen als der
sichernden Maschine) read-only mounten und per "hdiutil -shadow
[shadowfile]" alle Schreibzugriffe auf eine lokale Datei umbiegen. D.h.
man kann dann auf sowas read-write zugreifen (was manche Programme
unbedingt wollen) ohne die Integrität des Sparsebundles zu gefährden,
weil's in Wirklichkeit nur read-only gemountet wird.

Und weil ZFS schon erwähnt wurde: Dort kann man ähnlichen Kram auch
direkt auf dem Dateisystem machen, d.h. man erzeugt erst vom produktiven
Storage einen Snapshot, klont den dann

https://docs.oracle.com/cd/E18752_01/html/819-5461/gbcxz.html

und hat dann eine read-writeable Kopie des originalen Snapshots, die nur
den zusätzlichen Speicherbedarf erzeugt, der real anfällt. Sowas ist
großartig, um produktive Installationen in Sekundenschnelle zu klonen
und bspw. ein neues komplexes Software-Release zu testen ohne dafür
doppelt so viel Storage zu brauchen. Und wenn das neue Software-Release
nix taugt oder amokläuft, lacht man kurz, schmeißt den Klon weg und
werkelt auf dem alten Snapshot weiter.

1) FreeNAS mit RaidZ2

[...]

- : Stromverbrauch für sechs Platten 24/7/52

Warum müssen die durchlaufen?

Könnte ein N54L (mit fünfter Platte im CD-Bay und sechster Platte
extern am eSATA) dafür taugen?

Ja. Und das dürfte auch die günstigste Variante sein, ein raidz2 mit
maximal 6 Platten in sinnvoll (also mit ECC-RAM) zu betreiben. Und die
sechste Platte kannst Du auch reinstopfen und eSATA nach innen verlegen.
Und das Dings nicht nur als NAS sondern auch noch als Mediacenter
verwenden:

http://www.hardwareluxx.de/community/f101/hp-proliant-n36l-n40l-n54l-microserver-752079.html

Wie Patrick neulich hier in einem anderen Thread (der harmlos als
"WD-NAS langsame Kopiergeschwindigkeit" anfing und dann multipel
gehijackt wurde) schon schrieb, kannst Du auch mit ZFS/raidz ohne
Datenverlust später mal die Platten durch welche mit höherer Kapazität
ersetzen. Einfach der Reihe nach tauschen, resilvern und am Ende hast Du
dann die neue Gesamtkapazität. Sofern die anderen Komponenten überleben
ist das also auch relativ zukunftsicher...

Gruss,

Thomas

[Thomas Heier]

Post by Marc Stibane
Könnte ein N54L (mit fünfter Platte im CD-Bay und sechster Platte extern
am eSATA) dafür taugen?

Läuft hier (als N40L) seit rund 2 Jahren zufriedenstellend. ist sparsam
und braucht keinen PC. (Ja, technisch ist es einer, ich mein ja nur)

[Thomas Kaiser]

Post by Thomas Heier

Post by Marc Stibane
Könnte ein N54L (mit fünfter Platte im CD-Bay und sechster Platte
extern am eSATA) dafür taugen?

Läuft hier (als N40L) seit rund 2 Jahren zufriedenstellend. ist sparsam

Wie sparsam ist das denn? Also zwischen Netzteil und Steckdose gemessen?
Unter Last und idle?

Und wie betreibst Du Deine "2*4 TB und 3*3 TB (= 17 TB Brutto)"? Welcher
raidz-Modus und was kommt netto 'bei raus?

Post by Thomas Heier
und braucht keinen PC. (Ja, technisch ist es einer, ich mein ja nur)

Das ist mitunter einer _der_ Vorteile einer FreeNAS-Lösung gegenüber
einem 08/15-NAS: Es ist eben ein vollwertiger PC (oder kann durch Einbau
einer passenden Grafik-Karte dazu gemacht werden) und muß nicht nur
dümmlich Daten horten sondern kann die bspw. auch direkt wiedergeben
(Mediacenter). Die "Kunst" dabei ist dann aber, wenn man das Ding 24/7
durchlaufen läßt, durch passende Treiber und Einstellungen die nicht
benötigten Komponenten fallweise abzuschalten (ja, geht auch bei PCIe-
Devices). Das scheinen aber nur wenige zu beherrschen und schon braucht
das Ding auch wenn es nix tut, auf einmal 20/30W mehr (ggf. auch noch
24/7).

Die meisten Kisten disqualifizieren sich aber aufgrund Lautstärke eh
fürs Wohnzimmer also "muß" die FreeNAS-Kiste in den Keller und an die
Glotze/Anlage ein zusätzliches Gadget.

Gruss,

Thomas

[Thomas Heier]

Post by Thomas Kaiser
Wie sparsam ist das denn? Also zwischen Netzteil und Steckdose gemessen?
Unter Last und idle?

Ich selbst habe noch nicht gemessen, aber bei Hardwareluxx (du hattest
ja schon darauf verlinkt) steht viel drin (allerdings auch viel
Gebrabbel).

Post by Thomas Kaiser
Und wie betreibst Du Deine "2*4 TB und 3*3 TB (= 17 TB Brutto)"? Welcher
raidz-Modus und was kommt netto 'bei raus?

Wieso muß da ein RAID drin sein? Also der Server im Keller ist schon
mein 1. Backup (die "Arbeits"dateien liegen im Mac vor). Dann gibt es
ein 2. Backup auf "normalen HFS-HDDs" im Schrank (Arbeitszimmer) (also
elektrisch getrennt) und ein 3. Backup im Banksafe. Die Daten ändern
sich kaum, sporadisch gibt es Zuwachs (Urlaubsvideos/Fotos). Da sehe ich
keinen Nutzen von RAID x.

Post by Thomas Kaiser
Das scheinen aber nur wenige zu beherrschen und schon braucht
das Ding auch wenn es nix tut, auf einmal 20/30W mehr (ggf. auch noch
24/7).

Die Laufwerke werden nach 1/2 Stunde Nichtzugriff geparkt. Was wäre noch
abschaltbar? Die Onboardgrafik?

Post by Thomas Kaiser
also "muß" die FreeNAS-Kiste in den Keller und an die
Glotze/Anlage ein zusätzliches Gadget.

Glotze? Wie Rückständig. Fernsehvollbild in einer kleinen Ecke des
UHD-Monitors reicht - ich bin dank Brille nicht auf riesige Pixel
angewiesen...

[Thomas Kaiser]

Post by Thomas Heier

Post by Thomas Kaiser
Wie sparsam ist das denn? Also zwischen Netzteil und Steckdose
gemessen? Unter Last und idle?

Ich selbst habe noch nicht gemessen

Sollte man aber. Laut c’t 2013, Heft 21, taugen inzwischen sogar
Billigheimer wie Brennenstuhls PM231E oder Reichelts KD-302 (das es
folgerichtig nicht mehr gibt ;-)

http://www.reichelt.de/Energiemessgeraete/2/index.html?&ACTION=2&LA=514&GROUPID=5938

Kleine Details machen den Unterschied, grad wenn man vorhat, sowas 24/7
durchlaufen zu lassen. Beliebt: Disks gehen nicht in sleep sondern nur
standby (macht pro Platte dann evtl. 2-3W), irgendwelche onboard- oder
PCIe-Devices drehen hyperaktiv Däumchen anstatt sich hinzulegen und paar
Watt weniger zu saugen, etc. pp.

Post by Thomas Heier

Post by Thomas Kaiser
Und wie betreibst Du Deine "2*4 TB und 3*3 TB (= 17 TB Brutto)"?
Welcher raidz-Modus und was kommt netto 'bei raus?

Wieso muß da ein RAID drin sein?

Muß es nicht, man nutzt dann nur ein beinahe-Alleinstellungsmerkmal der
Kiste (RAID in sinnvoll) nicht aus. Und wenn man dann noch auf ZFS-
Snapshots verzichtet, verzichtet man parallel auf höhere Datensicherheit
und wenn man sich regelmäßiges Scrubbing spart, negiert man auch
Anforderungen an Datenintegrität. Jeder wie er mag. :-)

Post by Thomas Heier
Also der Server im Keller ist schon mein 1. Backup (die
"Arbeits"dateien liegen im Mac vor). Dann gibt es ein 2. Backup auf
"normalen HFS-HDDs" im Schrank (Arbeitszimmer) (also elektrisch
getrennt) und ein 3. Backup im Banksafe.

Und alles 1:1 gesynct und ohne Versionierung?

Gruss,

Thomas

[Thomas Kaiser]

Laut c’t 2013, Heft 21, taugen inzwischen sogar Billigheimer wie
Brennenstuhls PM231E oder Reichelts KD-302 (das es folgerichtig nicht
mehr gibt ;-)
http://www.reichelt.de/Energiemessgeraete/2/index.html?&ACTION=2&LA=514&GROUPID=5938

Nachtrag:

http://geizhals.at/de/brennenstuhl-primera-line-pm231e-energiekostenmessgeraet-1506600-a945626.html

Gruss,

Thomas, hat sich das Revolt NC-5461 <http://www.pearl.de/a-NC5461-3102.shtml>
mal auf die TODO gesetzt. Soll auch ausreichend präzise messen und man
kann die Funk-Kommunikation hijacken, um die Verbrauchswerte direkt in
ein Monitoring-System einfließen zu lassen. Für FHEM/culfw gibt's was:
http://forum.fhem.de/index.php/topic,14292.0.html

[Thomas Heier]

Post by Thomas Kaiser
Und wenn man dann noch auf ZFS-
Snapshots verzichtet,

Den Begriff bzw. was dahinter steht habe ich noch nicht begriffen. Und
bisher auch noch nicht die Muße, danach zu googeln. Wenn du eine Seite
kennst, die das (auf deutsch) erklärt, dann schicke mir bitte den Link.

Post by Thomas Kaiser
Und alles 1:1 gesynct und ohne Versionierung?

Wie exakt muß "1:1" denn sein? Die Daten sind Ordnerweise auf 2. bzw. 3.
Medium kopiert, aber nur im Server stecken 4TB HDDs, im Safe welche von
2 und 3 TB. Also unterschiedliche Hersteller, Serie und Größe der HDDs.

Wozu soll bei Urlaubsbildern (RAW-Dateien plus ggf. Arbeitsdateien der
RAW-Entwickler) ein Versionierung bringen? Oder bei ca. 80 Dateien
(Serienfolgen) von "Mit Schirm, Charme und Melone"?

[Thomas Kaiser]

Post by Thomas Heier

Und wenn man dann noch auf ZFS- Snapshots verzichtet,

Den Begriff bzw. was dahinter steht habe ich noch nicht begriffen. Und
bisher auch noch nicht die Muße, danach zu googeln. Wenn du eine Seite
kennst, die das (auf deutsch) erklärt, dann schicke mir bitte den Link.

Nö, sinnlos. Du betreibst etwas, das Du "Profi-Server" nennst, als
Äquivalent für 5 USB-Plattengehäuse, machst damit Archivierung und
bildest Dir irgendwas von Backup ein. Man kann nur hoffen, dass Dein
HP-Microserver für diesen Quatsch nicht auch noch 24/7 durchläuft.

Post by Thomas Heier

Und alles 1:1 gesynct und ohne Versionierung?

Wie exakt muß "1:1" denn sein?

"1:1" bedeutet: gargabe in --> garbage out. Wenn Du Deine Archivierung
streng von Hand machen solltest, also per Stift und Zettel Buch führst,
wann auf dem Hochsicherheits-Dateisystem HFS+ an Deinem Mac neues
Material dazugekommen ist und das dann nach Prüfung, wo's hin soll, auf
eine der Platten in Deinem "Profi-Server" kopierst, dann ist noch nicht
sooo viel verloren.

Dumm wird's halt, wenn man Tools nimmt, die 1:1 in der Gegend rumsyncen
(die werden oft als "Backup-Software" angepriesen, obwohl sie das
Gegenteil sind), weil dann gehen Deine Daten an der Quelle kaputt (am
Mac, wo sie ja so besonders sicher sind, Dank eines anachronistischen
Schrott-Dateisystems namens HFS+) und die tolle "Backup-Software"
vernichtet sie am Ziel gleich mit. So machen das die meisten Leute.

Die betreiben dafür aber nicht den Aufwand, einen "Profi-Server" dafür
abzustellen sondern sichern den Quatsch auf externe Platten (Du quasi
auch aber halt übers Ethernet-Kabel). Versionierung im Zusammenhang mit
Snapshots bedeutet schlicht, dass man dann merkt, wenn was an der Quelle
kaputtgegangen ist, weil's schon wieder aufs Ziel kopiert werden soll
(weil Quelle und Ziel nicht mehr identisch).

So'n HP-Microserver hat -- zumindest in der Preisklasse -- das Allein-
stellungsmerkmal, für ziemlich wenig Geld eine Storage-Lösung hinstellen
zu können, die hohen Anforderungen und Datenintegrität und -sicherheit
gerecht wird (und noch Datenverfügbarkeit als Sahnehäubchen liefert).
Kann man natürlich auch wunderbar wegignorieren und das ganze Setup
konterkarieren.

Gruss,

Thomas

[Markus Elsken]

Moin!

Post by Thomas Kaiser
Dumm wird's halt, wenn man Tools nimmt, die 1:1 in der Gegend rumsyncen
(die werden oft als "Backup-Software" angepriesen, obwohl sie das
Gegenteil sind), weil dann gehen Deine Daten an der Quelle kaputt (am
Mac, wo sie ja so besonders sicher sind, Dank eines anachronistischen
Schrott-Dateisystems namens HFS+) und die tolle "Backup-Software"
vernichtet sie am Ziel gleich mit.

Nur, wenn immer alles kopiert wird. Hier ist es so eingestellt, dass
immer nur die neu hinzugekommenen Daten auf das Backup geschoben werden
und die anderen unberührt bleiben. Bei weitgehend statischen Daten
(Bilder, Filme, Musik) eine durchaus brauchbare Methode.

mfg Markus

[Thomas Kaiser]

Post by Markus Elsken

Post by Thomas Kaiser
Dumm wird's halt, wenn man Tools nimmt, die 1:1 in der Gegend
rumsyncen (die werden oft als "Backup-Software" angepriesen, obwohl
sie das Gegenteil sind), weil dann gehen Deine Daten an der Quelle
kaputt (am Mac, wo sie ja so besonders sicher sind, Dank eines
anachronistischen Schrott-Dateisystems namens HFS+) und die tolle
"Backup-Software" vernichtet sie am Ziel gleich mit.

Nur, wenn immer alles kopiert wird. Hier ist es so eingestellt, dass
immer nur die neu hinzugekommenen Daten auf das Backup geschoben
werden und die anderen unberührt bleiben. Bei weitgehend statischen
Daten (Bilder, Filme, Musik) eine durchaus brauchbare Methode.

Jaja, schon gut.

Als jemand, der beruflich oft mit Datenverlusten bzw. den Konsequenzen
derselben zu tun hat, sieht man das halt anders. Und ersetzt blindes
Vertrauen und naive Annahmen durch technische Maßnahmen (die es allesamt
für lau gibt, man muß nur mal versuchen, bisserl nachzudenken). Da diese
Erkenntnis aber nicht durch Gerede oder Prosa vermittelbar ist sondern
immer nur durch eigenen erlebten Datenverlust, wünsche ich viel Spaß.

Gruss,

Thomas

PS: "Neu hinzugekommen" basiert auf Zeitstempeln von Dateien, korrekt?
Falls ja: das ist ein sehr _weiches_ Kriterium... und noch dazu
eines, das sich just in dem Moment ändert, in dem an der Quelle was
geändert wird. Aber hey, wozu sich den minimalen Aufwand antun, und
sich effizient vor Datenverlusten schützen, wenn man auch einfach
theoretische Gedankenmodelle konstruieren kann, die instabil sind
und einem irgendwann mal Datenverlust bescheren?

[Markus Elsken]

Moin!

Post by Thomas Kaiser
"Neu hinzugekommen" basiert auf Zeitstempeln von Dateien, korrekt?

Nein, drauf, dass diese Dateien ÜBERHAUPT da sind. Das NAS hier hält
STATISCHE Dateien, also Bilder, Filme und Musik. Nach Ersterstellungen
gab es einen Sync auf andere Platten, fertig. Jetzt rippe ich eine DVD
oder digitalisiere eine Schallplatte neu und ich habe zusätzliche
Dateien auf dem NAS, die wiederum auf die Platten gesichert werden. Die
vorhandenen Daten werden nur noch gelesen, die packt im Idealfall
niemand mehr schreibend an. Sollten sie doch kaputtgehen, werden sie
zurückkopiert oder eben neu vom Original eingespielt.

mfg Markus

[Thomas Kaiser]

Post by Markus Elsken

Post by Thomas Kaiser
"Neu hinzugekommen" basiert auf Zeitstempeln von Dateien, korrekt?

Nein, drauf, dass diese Dateien ÜBERHAUPT da sind.

Welches konkrete Programm mit welchen konkreten Einstellungen nutzt Du
für Deine Syncerei?

Gruss,

Thomas

[Markus Elsken]

Moin!

Post by Thomas Kaiser
Welches konkrete Programm mit welchen konkreten Einstellungen nutzt Du
für Deine Syncerei?

Chronocync, Backup Quelle -> Ziel. Ganz einfach.

mfg Markus

[Thomas Kaiser]

Post by Markus Elsken

Post by Thomas Kaiser
Welches konkrete Programm mit welchen konkreten Einstellungen nutzt
Du für Deine Syncerei?

Chronocync, Backup Quelle -> Ziel. Ganz einfach.

Genau. Kein Backup sondern Blödelsync basierend _auf Zeitstempeln_. Und
damit wird genau das passieren, wie vorhergesagt: Wenn sich an der
Quelle was (unbemerkt) ändert, wird Dir Dein Sync-Tool die Daten auch am
Ziel schreddern. Viel Glück weiterhin...

Gruss,

Thomas

[Markus Elsken]

Moin!

Post by Thomas Kaiser
Wenn sich an der
Quelle was (unbemerkt) ändert, wird Dir Dein Sync-Tool die Daten auch am
Ziel schreddern.

Dann wird das betreffende Video halt neu von DVD/BD gerippt, fertig.
Oder welche Lösung nimmt man für DIESEN Fall (statische Daten), ohne in
riesige, teure und komplizierte Dateiserver zu investieren?

mfg Markus

[Andre Igler]

Post by Markus Elsken
Moin!

moin moin

Post by Markus Elsken

Wenn sich an der Quelle was (unbemerkt) ändert, wird Dir Dein
Sync-Tool die Daten auch am Ziel schreddern.

Dann wird das betreffende Video halt neu von DVD/BD gerippt, fertig.
Oder welche Lösung nimmt man für DIESEN Fall (statische Daten), ohne
in riesige, teure und komplizierte Dateiserver zu investieren?

Hmmm - Thomas kennt offenbar Chronosync nicht wirklich, aber Du offenbar
auch nicht.

Ja, Chronosync ist ein KlickiBunti-Frontend für rsync, aber es kann dann
doch ein bisserl was ...

so kann man unter ->Optionen genau einstellen, was den sync triggert,
Zeitstempel ist nur eine Möglichkeit

man kann auch einstellen, dass die "alte" Datei erhalten bleibt
->Archivfunktion

man könnte sich da ja per script gehen lassen ... oder einfach nach eine
sync-durchgang kontrollieren ... oder was auch immer.

An sich ist Chronosync _kein_ Archivprogramm, und ja, syncen schreddert
Dateien. BTDT, da hat Thomas schon recht. Aber in seinem Eifer hat er
ein bisserl über's Ziel geschossen, mit Chronosync kann man - für so
unprofessionelle User wie unsereinen - schon ganz gut arbeiten. Wenn man
denn auch das kleingedruckte liest ...

addio

[Thomas Kaiser]

Post by Andre Igler

Post by Markus Elsken

Wenn sich an der Quelle was (unbemerkt) ändert, wird Dir Dein
Sync-Tool die Daten auch am Ziel schreddern.

Dann wird das betreffende Video halt neu von DVD/BD gerippt, fertig.
Oder welche Lösung nimmt man für DIESEN Fall (statische Daten), ohne
in riesige, teure und komplizierte Dateiserver zu investieren?

Hmmm - Thomas kennt offenbar Chronosync nicht wirklich

Ich bezog mich da oben auf Markus' Aussage, er würde dieses Programm in
der Default-Einstellung "Backup" betreiben (die nix mit Backup zu tun
hat sondern ein 1:1 Sync ist -- überhaupt sind die ChronoSync-Macher
ziemlich groß darin, mit verfälschender Terminologie und Unwahrheiten
bzgl. des "Mitbewerbs" davon abzulenken, dass man sich für den Zweck
Datensicherung ihre Software mal lieber spart und das Geld in ein
zusätzliches TimeMachine-Medium investiert)

Post by Andre Igler
Ja, Chronosync ist ein KlickiBunti-Frontend für rsync

Sicher? Verwechselst Du nicht grad was? CCC von Mike Bombich (der 'zig
Patches für rsync entwickelt hat, damit das vollwertig am Mac tut!)?

Post by Andre Igler
so kann man unter ->Optionen genau einstellen, was den sync triggert,
Zeitstempel ist nur eine Möglichkeit

Aber das ist der default. Und das parallel mit dem anderen default, nix
zu archivieren sondern alles zu überschreiben, macht genau den
Unterschied aus zwischen "1:1 Blödelsync", wie ihn Markus am Start hat,
und etwas, das das Attribut Datensicherheit verdienen würde.

Post by Andre Igler
Wenn man denn auch das kleingedruckte liest ...

Und Blödsinn glaubt. Ich werde mir selbstverständlich nicht mal eine
Testinstallation irgendwo mit ChronoSync kontaminieren nachdem ich kurz
den ganzen Quatsch, den die bzgl. TimeMachine und ihrer angeblichen
Alleinstellungsmerkmale ("bootable backup übers Netz", kann rsync/CCC
bspw. auch) überflogen und mit Grausen in das Installer-Package geschaut
habe.

Gruss,

Thomas

[Markus Elsken]

Moin!

das Geld in ein zusätzliches TimeMachine-Medium investiert)

Was in diesem Fall sinnfrei wäre, denn es wird vom NAS auf mehrere
lokale Platten gesichert.

mfg Markus

[Thomas Kaiser]

Post by Markus Elsken

das Geld in ein zusätzliches TimeMachine-Medium investiert)

Was in diesem Fall sinnfrei wäre, denn es wird vom NAS auf mehrere
lokale Platten gesichert.

Drum stand vor meiner Aussage die wichtige Einschränkung "für den Zweck
Datensicherung". Das ist bei Dir nicht der Fall, Du kopierst bereits
redundante Daten (weil die Originale ja allesamt noch vorhanden sind)
redundant in der Gegend herum. Und pfeifst auf Überlegungen hinsichtlich
Datensicherheit und -integrität, weil's eh wurscht ist, wenn ich Dich
richtig verstanden habe?

Ich versteh zwar den Ansatz nicht, Daten ohne Wert redundant vorhalten
zu wollen und dabei konsequent alle Schutzmaßnahmen vor Datenkorrumption
zu deaktivieren, so dass am Ende ggf. nur noch redundanter Müll und
keine redundanten Daten vorliegen. Aber wahrscheinlich versteht ich's
nach wie vor nicht. Macht auch nix, weil am Grundsätzlichen, also wenn
die Daten irgendeinen Wert haben sollten, ändert das alles nix, dass
1:1-Gesynce à la "ChronoSync in default Einstellung" eine der miesesten
Varianten ist, die Daten schützen zu wollen.

Gruss,

Thomas

[Markus Elsken]

Moin!

Post by Thomas Kaiser
Drum stand vor meiner Aussage die wichtige Einschränkung "für den Zweck
Datensicherung". Das ist bei Dir nicht der Fall, Du kopierst bereits
redundante Daten (weil die Originale ja allesamt noch vorhanden sind)
redundant in der Gegend herum. Und pfeifst auf Überlegungen hinsichtlich
Datensicherheit und -integrität, weil's eh wurscht ist, wenn ich Dich
richtig verstanden habe?

Für die Film- und Musikdaten ist es relativ wurst, da möchte ich im
Falles eines Plattendefektes nicht alles neu einlesen müssen, sondern
nur eben wieder von den Platten zurückspielen. Das geht deutlich
schneller, speziell für die digitalisierten Vinyl-Scheiben.

Die wichtigen Daten liegen auf den Rechnern (z.B. die Originale zu den
Bildern auf dem NAS) und die werden via TM gesichert, die Hauptrechner
sogar mehrfach (TimeCapsule und lokale Platten gemischt).

mfg Markus

[Marc Stibane]

Post by Markus Elsken
Für die Film- und Musikdaten ist es relativ wurst, da möchte ich im
Falles eines Plattendefektes nicht alles neu einlesen müssen, sondern
nur eben wieder von den Platten zurückspielen. Das geht deutlich
schneller,

Bis dahin war ich noch bei Dir.

Post by Markus Elsken
speziell für die digitalisierten Vinyl-Scheiben.

Aber jetzt nicht mehr. Das ist dann doch ein so großer Aufwand, dass man
den kein zweites Mal im Leben machen möchte. Vor allem, wenn man eh
schon sowohl Hardware (HP Microserver mit ECC) als auch Software
(FreeNAS mit ZFS) im Einsatz hat, die es prinzipiell "Richtig" (also
sicher) machen könnte. Lediglich mal 'ne halbe Stunde richtig
konfigurieren vs. (im Schadenfall) dutzende bis hunderte Stunden Vinyl
neu digitalisieren.
Also wer da nicht die erste Möglichkeit wählt...

[Markus Elsken]

Moin!

Post by Marc Stibane
Aber jetzt nicht mehr. Das ist dann doch ein so großer Aufwand, dass man
den kein zweites Mal im Leben machen möchte.

OK, missverständlich ausgedrückt: zurücksichern von den Backupplatten
geht deutlich einfacher als neues Digitalisieren.

mfg Markus

[Markus Elsken]

Moin!

Post by Andre Igler
man kann auch einstellen, dass die "alte" Datei erhalten bleibt
->Archivfunktion

Gibt es denn hier "alte" und "neue" Versionen einer Datei? So ein Film
wird nach dem Draufkopieren nur noch gelesen, warum sollte Chronosync
das Teil noch einmal kopieren?

mfg Markus

[Thomas Kaiser]

Post by Markus Elsken

Post by Andre Igler
man kann auch einstellen, dass die "alte" Datei erhalten bleibt
->Archivfunktion

Gibt es denn hier "alte" und "neue" Versionen einer Datei?

Weil sich Dateien einfach so ändern können, wenn man keine technischen
Maßnahmen ergreift, um das zu unterbinden (es gibt dafür sogenannte WORM
-- write once, read many -- Medien oder man setzt das als Teil des
Workflows um: Die Share, auf die man neue Daten draufkopiert, ist
read-writeable, die, auf die sie ein Mechanismus dann verschiebt, ist
read-only. Das reicht aber wiederum nicht, um Defekten/Modifikationen
auf dem NAS selbst vorzubeugen, weshalb man eigentlich meist mit
Konzepten wie einem "VAULT" arbeitet, in das Medien-Dateien ein- und
ausgecheckt werden)

Post by Markus Elsken
So ein Film wird nach dem Draufkopieren nur noch gelesen, warum sollte
Chronosync das Teil noch einmal kopieren?

Ok, hol ich mal wieder die Liebesbrief-Keule raus:

http://de.wikipedia.org/wiki/Loveletter

Das war ein Windows-Virus, der gar nicht mal so wenig Schaden
angerichtet hat. Hat der Mac-User betroffen? Ja, auch.

Konkretes Beispiel: Wir haben damals für eine ziemlich fette
Verlagsgruppe ca. 15 Nullnummern (neue Magazine, die die antesten
wollten bzw. das Zeugs für Vorab-Anzeigen-Akquise gebraucht haben) im
Digitaldruck vorbereiten sollen. Das Timing war insofern perfekt, als
die Daten mit all dem Zeugs schon unterwegs waren, als im Verlag der
Virus zugeschlagen hat und quasi alles Bildmaterial der Druckvorstufen-
Abteilung mit Müll überschrieben hat (es hieß, es wäre jemand aus dem
Controlling gewesen, der den Virus angeklickt hat)

Die machten dort kein oder nur sporadisch Backup (weil "RAID und teurer
NT-Cluster" -- höhö, aus redundanten Daten wurde redundanter Müll in
quasi Echtzeit) und haben erst am Folgetag begriffen, dass ihre
nächtliche Spiegelung außer Haus auch die letzte vormals intakte Instanz
der Daten vernichtet, weil überschrieben hat. Zu ihrem Glück waren fast
alle Daten zu dem Zeitpunkt bei paar Digitaldruck-Dienstleistern quer
durch D verteilt. Ich war leider damals im Urlaub, das Nervenflattern
hätte ich gerne live miterlebt...

Und das ist das grundsätzliche Dilemma: Wenn man's nicht sicherstellt,
dass Dateien "eigentlich" nur noch gelesen werden, dann werden sie
irgendwann eben doch aus Versehen mal überschrieben/geändert/gelöscht.
Und wenn man dann nicht ein echtes Backup oder einen versionierenden
Sync am Start hat sondern nur RAID oder Blödelsync, dann ist alles in
Echtzeit oder beim nächsten Pseudo-Backup-Lauf auch weg. Das stumpfe
Setzen auf reine Redundanz ist und war schon immer relativ sinnlos, wenn
man auf Datensicherheit aus ist.

Gruss,

Thomas

[Markus Elsken]

Moin!

Post by Thomas Kaiser
Und das ist das grundsätzliche Dilemma: Wenn man's nicht sicherstellt,
dass Dateien "eigentlich" nur noch gelesen werden, dann werden sie
irgendwann eben doch aus Versehen mal überschrieben/geändert/gelöscht.

Gut, dann muss ich Chronosync nur noch beibiegen, eine einmal gesicherte
Datei nicht noch einmal zu sichern, sondern nur die neu hinzugekommenen.
Das sollte doch machbar sein...

mfg Markus

[Thomas Kaiser]

Post by Markus Elsken

Und das ist das grundsätzliche Dilemma: Wenn man's nicht sicher-
stellt, dass Dateien "eigentlich" nur noch gelesen werden, dann
werden sie irgendwann eben doch aus Versehen mal überschrieben/
geändert/gelöscht.

Gut, dann muss ich Chronosync nur noch beibiegen, eine einmal
gesicherte Datei nicht noch einmal zu sichern, sondern nur die neu
hinzugekommenen.

Oder halt wie jetzt schon 'zigmal angeregt, einfach Versionierung (heißt
bei ChronoDings "archivieren" oder so) einschalten. Das hat den netten
Nebeneffekt, dass man im Nachhinein vielleicht sogar rauskriegt, wann
irgendwas mit den Daten passiert ist.

Was auch noch gegen kleine Malheurs helfen kann im Umgang mit Daten, die
"eigentlich" nicht gelöscht oder geändert werden sollen, ist der Nutzen
des "locked"-Flags ([cmd]-[i] im Finder --> "Geschützt"). Muß man nicht
per Hand applizieren sondern macht man sinnigerweise mit Skripting oder
irgendwelchen Tools, die das rekursiv applizieren können (und sowas muß
man nicht kaufen, das steht in Form von paar Zeilen Skripting und
Automator immer gratis bereit, bspw. [1])

Wir haben bei einem Kunden, der immer rekursive Datenverluste hatte,
einfach in jedes Arbeitsverzeichnis auf dem Server eine unsichtbare
Datei mit gesetztem "geschützt"-Flag getan und schon waren die Ordner
nicht mehr einfach so im Finder zu löschen (hat nur nix gebracht, denn
Schuld an den Datenverlusten waren nicht unachtsame Anwender sondern ein
Skript, das die ITler selbst ausgerollt hatten). Aber grundsätzlich
bietet dieses "geschützt"-Flag einen rudimentären Schutz von Dateien vor
versehentlicher Änderung oder Löschen.

Gruss,

Thomas

[1] http://superuser.com/questions/381614/context-menu-item-to-lock-unlock-files-in-finder-more-quickly

[Başar Alabay]

Post by Thomas Heier

Post by Thomas Kaiser
Und alles 1:1 gesynct und ohne Versionierung?

Wie exakt muß "1:1" denn sein? Die Daten sind Ordnerweise auf 2. bzw. 3.
Medium kopiert, aber nur im Server stecken 4TB HDDs, im Safe welche von
2 und 3 TB. Also unterschiedliche Hersteller, Serie und Größe der HDDs.
Wozu soll bei Urlaubsbildern (RAW-Dateien plus ggf. Arbeitsdateien der
RAW-Entwickler) ein Versionierung bringen? Oder bei ca. 80 Dateien
(Serienfolgen) von "Mit Schirm, Charme und Melone"?

Naja, gemeint ist wohl, daß Du das 1:1 kopierst und damit dann (ohne
Versionierung) auch Defekte 1:1 rüberholst. Bei Versionen, die bei
inkrementellen Backups irgendwo rumlungern hättest Du dann die Chance,
eine funktionierende Version zu suchen/finden.

Aber naja, Backups sind ein schwieriges Thema :-)

B. Alabay

[Patrick Kormann]

Post by Thomas Heier
Den Begriff bzw. was dahinter steht habe ich noch nicht begriffen. Und
bisher auch noch nicht die Muße, danach zu googeln. Wenn du eine Seite
kennst, die das (auf deutsch) erklärt, dann schicke mir bitte den Link.

Dann will ich's mal versuchen.
Ein Snapshot speichert den momentanen Zustand. Wenn du z.B. automatisch
alle 2 Stunden einen Snapshot machen lässt und die für 2 Wochen
(Monate...) aufhebst, kannst du, wenn du mal merkst, dass eine Datei
verschwunden ist oder kaputt jederzeit auf einen der Snapshots zugreifen
und die Datei/das Verzeichnis etc. dort raus ziehen. Du kannst auch alle
Änderungen nach dem Snapshot komplett wieder wegwerfen.

[Thomas Heier]

Post by Patrick Kormann
Dann will ich's mal versuchen.

Danke.

Post by Patrick Kormann
Ein Snapshot speichert den momentanen Zustand.

In Form eines Duplikates jeder Datei oder in Form der Dateiinfos (Länge,
MD5 o.ä.)? Und was kostet das an Platz?

Post by Patrick Kormann
Wenn du z.B. automatisch
alle 2 Stunden einen Snapshot machen lässt und die für 2 Wochen
(Monate...) aufhebst, kannst du, wenn du mal merkst, dass eine Datei
verschwunden ist oder kaputt jederzeit auf einen der Snapshots zugreifen
und die Datei/das Verzeichnis etc. dort raus ziehen.

Also ein Duplikat jeder Datei? Und wenn eine Datei z.B. mehrfach geänder
wird ein mehrfaches Duplikat?

Zurück zu meinem Archiv: Da ich zu > 99% Daten (im GB, nicht Anzahl der
Dateien) habe, die sich nicht ändern, was bringt mir da ein Snapshot?

ca. 2/3 der GB in meinem Archiv sind Videodaten, TV-Sendungen, eigene
Videos. Die ändern sich nie, die TV-Sendungen werden nur sporadisch
gelöscht (wenn gesehen). Das andere ca. 1/3 sind Fotos (RAW-Daten) die
auch nie geändert werden, denn wenn ich ein Foto bearbeite geschied das
auf Nicht-destruktivem Weg, d.h. die Änderung wird nicht an der
Fotodatei vorgenommen, sondern als Arbeitsauftrag in eine weitere Datei
geschrieben ("beschneide das Foto oben um 20 Pixel, drehe es um 0,4 Grad
linksrum, setze Weißabgleiche auf Wolken, drehe die Belichtung um 0,2EV
runter" was meist als XML vorliegt). Ein Foto ist aktuell 30 MB groß,
die XMLs sind nur wenige kB groß und das unwichtigste an dem Foto.
Meine MP3-Samlung mit rund 5GB ist von eigenen CDs gerippt, also
jederzeit wieder herstellbar bei Verlust. Die wichtigen Daten (Briefe,
AGBs, Adressen usw.) ist weit unter 1 GB und ist mehrfach auf
verschiedenen Medien und Orten verteilt, zusätzlich zum Server.


Nach diesen Infos, würdes du bestätigen (oder auch nicht), das
Versionierung und Snapshot _für mich_ nicht relevant ist?

[Patrick Kormann]

Post by Thomas Heier
In Form eines Duplikates jeder Datei oder in Form der Dateiinfos (Länge,
MD5 o.ä.)? Und was kostet das an Platz?

Sagen wir mal, der aktuelle Zustand wird vermerkt, alles was du von dem
Moment an änderst wird 'vermerkt', so dass man zum vorherigen Zustand
zurückkehren kann. Der Snapshot braucht also erst mal fast keinen Platz.
Wenn du eine neue Dazu hinzufügst, braucht das auch erst mal keinen
zusätzlichen Platz zu dem, den die Datei sowieso braucht.
'Doof' wird es erst dann, wenn du Dateien änderst oder löschst, dann
braucht der alte Zustand weiterhin Platz.
Gibt es in ähnlicher Form ja auch bei jeder schlauen VM.

Post by Thomas Heier
Also ein Duplikat jeder Datei? Und wenn eine Datei z.B. mehrfach geänder
wird ein mehrfaches Duplikat?

k.A. wie es bei ZFS handhabt, d.h. wie gross die Blöcke sind. Ich nehm
nicht an, dass es auf Dateiebene passiert, sondern auf Blockebene (die
Frage ist dann, wie gross ist so ein Block)

Post by Thomas Heier
Zurück zu meinem Archiv: Da ich zu > 99% Daten (im GB, nicht Anzahl der
Dateien) habe, die sich nicht ändern, was bringt mir da ein Snapshot?
Nach diesen Infos, würdes du bestätigen (oder auch nicht), das
Versionierung und Snapshot _für mich_ nicht relevant ist?

Ich würde es machen, wenn man die Möglichkeit schon hat. Du 'brauchst'
das nicht, so lange DU nie einen Fehler machst und so lange die Hardware
nie einen Fehler macht. Die Erfahrung zeigt aber, früher oder später
kann man gar nicht genug 'Sicherheitsnetze' haben...

[Thomas Kaiser]

Patrick Kormann schrieb in <news:7bcrkb-***@news.sirdir.ch>
[ZFS-Snapshot]

Post by Patrick Kormann
k.A. wie es bei ZFS handhabt, d.h. wie gross die Blöcke sind. Ich nehm
nicht an, dass es auf Dateiebene passiert, sondern auf Blockebene (die
Frage ist dann, wie gross ist so ein Block)

Geschieht auf Block-Ebene ("Dataset record size") -- der default sind
128 KByte. Das Gute an der ZFS-Snapshot-Implementierung (oder auch der
von btrfs unter Linux): Es ist quasi inhärente Nebenwirkung von COW:
"Copy-on-Write". Da bei ZFS eh nie Daten überschrieben werden sondern
geänderte Blöcke neu geschrieben werden, ist es völlig wurscht, ob
anschl. die alten Blöcke freigegeben werden oder weil sie Bestandteil
eines Snapshots sind, aufgehoben werden. Das ist auch der Unterschied zu
bspw. Snapshots unter Linux mit LVM/ext4. Da die dort nur drangebastelt
sind, kostet das Hantieren damit Performance. Bei ZFS kann ich Snapshots
anlegen, bis der Arzt kommt oder eben der Speicher nicht mehr ausreicht.

Wenn man auf die verrückte Idee kommt, in einer Suchmaschine "ZFS
Schnappschuß" einzugeben (und dann noch um das Wort "Grundlagen" oder so
ergänzt), dann kriegt man all das auf dem Silbertablett serviert.

Aus meiner (beruflich versauten/geprägten) Sicht ist das Tolle an
Snapshots, dass ich damit einen konsistenten Zustand des Dateisystems
"einfrieren" kann, bspw. um ein Backup anzufertigen oder das Ganze auf
ein zweites System zu replizieren (weil wenn so ein Sync paar Stunden
dauert, parallel User auf dem Quell-Storage rumwerkeln und ich nicht mit
Snapshots arbeite, dann synce ich ggf. inkonsistenten Müll in der Gegend
herum). Mit 2 Systemen, auf denen ZFS läuft, kann ich auf dem
produktiven System eine Momentaufnahme des Dateisystems in Sekunden-
schnelle anfertigen, dann nur die Änderungen seit dem letzten Snapshot
per "zfs send/receive" auf das Backup-System replizieren und hebe so
viele Snapshots auf, bis ich eine ordentliche Retention Time erreiche.
Wir haben das bei einem Kunden mit 150% Backup-Storage im Bereich 90 -
120 Tage. So lange können die auf dem Backup-Server bzgl. alten oder
gelöschten Daten auf der Basis der typischen Änderungsdeltas zurückgehen.

Und wenn ich mir einen 24/7 durchlaufenden Microserver hinstellen würde,
der mir -- sinnvoll aufgesetzt -- bei einem sensationellen Preis-/
Leistungsverhältnis mit ZFS/raidz2 alle Aspekte hinsichtlich Daten-
integrität, -sicherheit und -verfügbarkeit bietet, dann wäre das
selbstredend der "Master", auf dem alles Wichtige liegt. Das Ding dann
noch per "zfs send/receive" an einen zweiten Standort klonen und das
Setup ist perfekt. Aber man kann die ganzen Features auch brachliegen
lassen.

Gruss,

Thomas

[Patrick Kormann]

Post by Thomas Kaiser
Und wenn ich mir einen 24/7 durchlaufenden Microserver hinstellen würde,
der mir -- sinnvoll aufgesetzt -- bei einem sensationellen Preis-/
Leistungsverhältnis mit ZFS/raidz2 alle Aspekte hinsichtlich Daten-
integrität, -sicherheit und -verfügbarkeit bietet, dann wäre das
selbstredend der "Master", auf dem alles Wichtige liegt. Das Ding dann
noch per "zfs send/receive" an einen zweiten Standort klonen und das
Setup ist perfekt. Aber man kann die ganzen Features auch brachliegen

Wollte ich kürzlich so machen (bisher habe ich per rsync gesynct, nicht
per zfs send resp. zfs replication wie es freenas nennt).
Habe es wieder aufgegeben, hatte allerlei komische Probleme (mag daran
liegen dass das Syncziel 9.3 beta ist. Da die Tage die Final rauskommen
sollte sollte das aber eigentlich nicht passieren...)
Also mal ging's, mal ging's nicht, dataset busy und was weiss ich was
alles...
Jetzt rsynce ich wieder.

[Thomas Kaiser]

Post by Patrick Kormann

Post by Thomas Kaiser
Und wenn ich mir einen 24/7 durchlaufenden Microserver hinstellen
würde, der mir -- sinnvoll aufgesetzt -- bei einem sensationellen
Preis-/ Leistungsverhältnis mit ZFS/raidz2 alle Aspekte hinsichtlich
Daten- integrität, -sicherheit und -verfügbarkeit bietet, dann wäre
das selbstredend der "Master", auf dem alles Wichtige liegt. Das Ding
dann noch per "zfs send/receive" an einen zweiten Standort klonen und
das Setup ist perfekt.

Wollte ich kürzlich so machen (bisher habe ich per rsync gesynct, nicht
per zfs send resp. zfs replication wie es freenas nennt).
Habe es wieder aufgegeben, hatte allerlei komische Probleme

Ja nun, kann man ohne die konkrete Implementierung zu kennen, nix 'zu
sagen. Prinzipiell tun ja auch beide Ansätze vom Ergebnis her. Der
Unterschied zwischen "echter" Replizierung von Snapshots bei ZFS und
einem reinen inkrementellen Sync von Datendeltas per rsync ist
letztlich, was man auf dem Ziel-Storage damit anstellen kann.

Da die Snapshots dort als Snapshot ankommen (und daher bamperlsimpel in
Sekundenschnelle per "zfs clone" in ein neues nutzbares Dateisystem
gewandelt werden können, mit dem man Software-Tests durchführen kann)
kann man sich in produktiven Umgebungen und wenn man nicht mit
formalistischen Holzköpfen zusammenarbeiten muß, mit nahezu null Aufwand
aus der Datensicherungs-Infrastruktur eine reine Test- und zusätzlich
eine Deployment-Umgebung bauen lassen. Wenn man mit produktivem Storage
im höheren zweistelligen TByte-Bereich hantieren muß, ist das ein schon
ein Unterschied, ob man das einmal produktiv, einmal als Backup-System
mit 150% Kapazität und dann noch jeweils einmal für die Test- und einmal
für die Deployment-Umgebung vorhalten muß. Oder auf Knopfdruck auf dem
Backup-System Test- und Deployment-Storage generieren kann. :-)

Gruss,

Thomas

[Patrick Kormann]

Post by Thomas Kaiser
Ja nun, kann man ohne die konkrete Implementierung zu kennen, nix 'zu
sagen. Prinzipiell tun ja auch beide Ansätze vom Ergebnis her. Der
Unterschied zwischen "echter" Replizierung von Snapshots bei ZFS und
einem reinen inkrementellen Sync von Datendeltas per rsync ist
letztlich, was man auf dem Ziel-Storage damit anstellen kann.

Ja. Ich werd's dann wohl wieder mal probieren, irgendwann. Die letzten
Erfahrungen waren allerdings nicht wirklich toll. Es fing aber schon
beim erstellen eines neuen Datasets an, resp. dem wieder löschen... hat
sich richtig zickig verhalten, das System.

Post by Thomas Kaiser
Da die Snapshots dort als Snapshot ankommen (und daher bamperlsimpel in
Sekundenschnelle per "zfs clone" in ein neues nutzbares Dateisystem
gewandelt werden können, mit dem man Software-Tests durchführen kann)
kann man sich in produktiven Umgebungen und wenn man nicht mit
formalistischen Holzköpfen zusammenarbeiten muß, mit nahezu null Aufwand
aus der Datensicherungs-Infrastruktur eine reine Test- und zusätzlich
eine Deployment-Umgebung bauen lassen. Wenn man mit produktivem Storage
im höheren zweistelligen TByte-Bereich hantieren muß, ist das ein schon
ein Unterschied, ob man das einmal produktiv, einmal als Backup-System
mit 150% Kapazität und dann noch jeweils einmal für die Test- und einmal
für die Deployment-Umgebung vorhalten muß. Oder auf Knopfdruck auf dem
Backup-System Test- und Deployment-Storage generieren kann. :-)

Ich mach jetzt die Snapshots einfach (auch) auf dem Zielsystem...