Hat Mac OS ein Problem mit großen Mengen an Dateien auf einem Server?

[Thomas Heier]

Hallo,

mein Mini läuft ja inzwischen wieder, und ich bin weiter am Umsortieren
und aufräumen. Dabei passiert es inzwischen mehrfach, das große Mengen
an Dateien umkopiert werden sollen. Nur komischerweise braucht der Mini
dazu Tage statt Stunden. Irgendwie komisch. Ist das ein grundsätzliches
Problem von Mac OS 10.10.x oder des verwendeten Protokolls? Details:

Mac Mini late 2014, 16 GB RAM, aktuellstes Mac OS, SSD als
Systemlaufwerk

Server HP Proliant N40L, 16 GB ECC-RAM, FreeNAS 9.2.1
Serverplatten: 4 * 4 TB NAS-Laufwerke intern, 2 als RAID(Striped), 1 3TB
am DVD-Anschluß, BIOS ungepatcht.

Netzwerk: Durchgehend Gigabit Ethernet, Switch (oben) Level One GSW
0608, unten Fritz!Box 7490. Laut Statusanzeigen der Switche alle
Leitungen grün (also Gigabit erkannt)

Verbindunganzeige laut Finder-Info-Fenster:
afp://Speicher._afpovertcp._tcp.local/ada4_303 TMP
afp://Speicher._afpovertcp._tcp.local/Eigene Daten

Aufgabe: In einem iTunes Ordner (50GB Datenmenge, ca. 120000 Dateien in
iTune üblicher Sortierung (Name, Album, Lied)): Es sollen 2500 Dateien
in einem Ordner in einen in dieser Ebenen angelegten neuen Ordner
kopiert werden. Dauer 36 Stunden...

iTunes-Daten (50GB mp3) in eine neue leere Bibliothek einlesen (Quelle
und Ziel liegen auf dem Server): fast 50 Stunden.


Es sollen 150000 Dateien (Fotos, teileweise mit XMP-Dateien) vom Server
auf eine externe USB3-HDD (am Mac) umkopiert werden. Dauer
(voraussichtlich) 3 Tage. Datenduchsatz laut Aktivitätsanzeige und
Webgui: 2MByte/s (120 habe ich beim kopieren EINER großen Datei schon
erreicht)

Löschen von 3500 Dateien in einem Ordner einer Ordnerhierachie (3. Ebene
von 4 Ebenen): rund 30 Stunden.


Irgendwie kommt mir das komisch vor. So lahm kann doch kein aktuelles
System sein...

Der Server macht jetzt gerade (seit o:oo Uhr) nebenbei ein Scrub über
das RAID mit 80-240 MByte/s. Daher vermute ich das der Server nicht das
Problem ist.

Vorschläge oder Ideen warm das alles so langsam läuft?

[Michael]

Post by Thomas Heier
Hallo,
mein Mini läuft ja inzwischen wieder, und ich bin weiter am Umsortieren
und aufräumen. Dabei passiert es inzwischen mehrfach, das große Mengen
an Dateien umkopiert werden sollen. Nur komischerweise braucht der Mini
dazu Tage statt Stunden. Irgendwie komisch. Ist das ein grundsätzliches
Mac Mini late 2014, 16 GB RAM, aktuellstes Mac OS, SSD als
Systemlaufwerk
Server HP Proliant N40L, 16 GB ECC-RAM, FreeNAS 9.2.1
Serverplatten: 4 * 4 TB NAS-Laufwerke intern, 2 als RAID(Striped), 1 3TB
am DVD-Anschluß, BIOS ungepatcht.
Netzwerk: Durchgehend Gigabit Ethernet, Switch (oben) Level One GSW
0608, unten Fritz!Box 7490. Laut Statusanzeigen der Switche alle
Leitungen grün (also Gigabit erkannt)
afp://Speicher._afpovertcp._tcp.local/ada4_303 TMP
afp://Speicher._afpovertcp._tcp.local/Eigene Daten
Aufgabe: In einem iTunes Ordner (50GB Datenmenge, ca. 120000 Dateien in
iTune üblicher Sortierung (Name, Album, Lied)): Es sollen 2500 Dateien
in einem Ordner in einen in dieser Ebenen angelegten neuen Ordner
kopiert werden. Dauer 36 Stunden...
iTunes-Daten (50GB mp3) in eine neue leere Bibliothek einlesen (Quelle
und Ziel liegen auf dem Server): fast 50 Stunden.
Es sollen 150000 Dateien (Fotos, teileweise mit XMP-Dateien) vom Server
auf eine externe USB3-HDD (am Mac) umkopiert werden. Dauer
(voraussichtlich) 3 Tage. Datenduchsatz laut Aktivitätsanzeige und
Webgui: 2MByte/s (120 habe ich beim kopieren EINER großen Datei schon
erreicht)
Löschen von 3500 Dateien in einem Ordner einer Ordnerhierachie (3. Ebene
von 4 Ebenen): rund 30 Stunden.
Irgendwie kommt mir das komisch vor. So lahm kann doch kein aktuelles
System sein...
Der Server macht jetzt gerade (seit o:oo Uhr) nebenbei ein Scrub über
das RAID mit 80-240 MByte/s. Daher vermute ich das der Server nicht das
Problem ist.
Vorschläge oder Ideen warm das alles so langsam läuft?

Lösung habe ich nicht wirklich, aber so oder ähnlich auch schon erlebt
(auch "interne" Kopiervorgänge). Ich habe dann den Vorgang abgebrochen,
die paar schon kopierten "Leichen" gelöscht und nochmal angefangen, dann
gings. Woran das lag weiß ich aber nicht, kommt aber alle paar Wochen
mal vor.


Gruß

Michael

[Juergen P. Meier]

Thomas Heier <***@thomas-heier.de>:

[sehr viele kleine DAteien]

Post by Thomas Heier
Vorschläge oder Ideen warm das alles so langsam läuft?

Falsche Komination aus Netzerkfilesystem (AFP statt SMB2) und lokalem
Dateisystem auf dem NAS.

Um ein Problem mit dem billigen Level-1 Schrott auszuschliessen wuerd
ich mal Mac und NAS direkt mit einem Kabel verbinden.

[Ralph Boehme]

Post by Juergen P. Meier
[sehr viele kleine DAteien]

Post by Thomas Heier
Vorschläge oder Ideen warm das alles so langsam läuft?

Falsche Komination aus Netzerkfilesystem (AFP statt SMB2) und lokalem
Dateisystem auf dem NAS.

Wie von Thomas und mir gelegentlich beschrieben, ist AFP zum Teil
deutlich effizienter als SMB2 mit Samba < 4.2. Häufig bermerkt man den
zusätzlichen overhead nicht, aber er ist da.

Gruß,
Ralph

[Thomas Kaiser]

Post by Juergen P. Meier
[sehr viele kleine DAteien]

Post by Thomas Heier
Vorschläge oder Ideen warm das alles so langsam läuft?

Falsche Komination aus Netzerkfilesystem (AFP statt SMB2) und lokalem
Dateisystem auf dem NAS.

Och, bitte. Manche Mythen wollen einfach nicht aussterben, gell?

Was hat die 2 hinter SMB zu suchen? Das ist nicht der Punkt. OS X über
SMB wird erst dann performant, wenn 'ne ganze Reihe anderer Rand-
bedingungen auch noch paßt. Wenn's nicht zufällig OS X (10.8 oder höher)
als SMB-Server sein sollte, braucht man mindestens Samba 4.2 mit Ralphs
Nachbauten der Appleschen SMB-Spezialitäten. Im Kontext Directory
Enumeration bedeutet das: "AAPL"-Kontext [1]. Das geht zwar erst ab SMB2
aber der Umkehrschluß "SMB2 -- also alles schän schnell" gilt trotzdem
nicht.

Abseits OS X als Server kriegst Du einen Server nur dann per SMB
schneller als per AFP, wenn Samba 4.2 (oder höher) mit den ganzen
notwendigen Modulen korrekt gestackt am Start ist. Und die Anzahl
entsprechender Installationen dürfte Stand heute weltweit an einer Hand
abzählbar sein.

Ergo: AFP nehmen, weil ist schneller, grad bei kleinen Dateien. Das wird
sich irgendwann in der Zukunft mal ändern. Für FreeNAS-User aber erst,
wenn dieser Feature-Request hier mal den Status "Screened" verläßt:

https://bugs.freenas.org/issues/5904

Post by Juergen P. Meier
Um ein Problem mit dem billigen Level-1 Schrott auszuschliessen wuerd
ich mal Mac und NAS direkt mit einem Kabel verbinden.

Es gilt nach wie vor die ganz simple Regel bzgl. Eingrenzung von
Problemen im NAS-/File-Server-Umfeld:

- Server-/NAS-Storage separat vermessen (iozone, bonnie++)
- Netzwerk separat vermessen (iperf, netperf, ping)
- synthetische Benchmarks laufen lassen (LanTest bspw.)

Bevor das nicht abgefeiert wurde und aus den Einzeldisziplinen
entsprechende Konsequenzen gezogen wurden (bspw. das defekte Netzwerk-
Kabel austauschen, bspw. dem Dateisystemfehler auf dem Server auf den
Grund gehen, usw. usf.) ist das alles nur Kaffeesatzleserei in blöd.

Gruss,

Thomas

[1] https://lists.samba.org/archive/samba/2014-September/184761.html

[Thomas Heier]

Post by Thomas Kaiser
Es gilt nach wie vor die ganz simple Regel bzgl. Eingrenzung von
- Server-/NAS-Storage separat vermessen (iozone, bonnie++)
- Netzwerk separat vermessen (iperf, netperf, ping)
- synthetische Benchmarks laufen lassen (LanTest bspw.)

Hallo Namensvetter,

wie immer eine Antwort, die sich fundiert anhört, mit der ich aber nicht
viel anfangen kann. LANTest habe ich mal laufen lassen und nicht
aussagekräfitiges gefunden.

Was sich mir nach deiner Liste oben nicht erschließt, mglw. mangels
Wissen/Erfahrung:
Warum soll das Netzwerk ein Problem sein, wenn ich bei großen Dateien
120MByte/s druchbekomme, aber bei 50000 "kleinen" Dateien (immerhin im
Schnitt 20 Megabyte/Datei) nur auf 1-2 Megabyte / Sekunde komme?

Gibt es für "(iozone, bonnie++)" eine deutsche Anleitung incl.
Auswerteanleitung?

Post by Thomas Kaiser
Um ein Problem mit dem billigen Level-1 Schrott auszuschliessen wuerd
ich mal Mac und NAS direkt mit einem Kabel verbinden.

Kommt, aber erst in einigen Wochen, da steht sowieso ein Umzug der
Geräte an.