OT: FreeNAS 9.3 disk replacement

[Marc Stibane]

Gegeben: N54L, 4*2TB in den 4 HDD Trays plus 2*3TB (ODD, eSATA),
FreeNAS 9.3, raidz2 über alle 6 Disks, derzeit also 7.x TB netto.

Plan: der Reihe nach jeweils eine 2TB raus und dafür eine 3TB
reinstecken, resilvern. Nachdem alle 4 kleinen 2TB Platten durch 3TB
ersetzt worden sind, sollte der zpool automatisch von 7.x auf 11.x TB
netto wachsen.

Laut Doku (*) soll man beim Ersetzen intakter Disks genauso vorgehen wie
beim Ausfall einer Disk, nämlich erst die Disk abmelden, wechseln, dann
die neue Disk eintragen woraufhin das Resilvern autmatisch starten soll.

8.1.10. Replacing a Failed Drive
Before physically removing the failed device, go to Storage > Volumes >
View Volumes > Volume Status and locate the failed disk.

(Entfällt weil ja gar nicht kaputt)

If the disk is formatted with ZFS, click the disk's entry then its
"Offline" button in order to change that disk's status to OFFLINE.

(Und genau hier ist mein Problem - es gibt keinen "Offline"-Button)

This step is needed to properly remove the device from the ZFS pool and
to prevent swap issues.

(Swap sind 2GB je Disk reserviert, aber komplett unused lt. Reporting >
Swap utilization - die Kiste hat 8GB ECC RAM, das reicht anscheinend)

If your hardware supports hot-pluggable disks, click the disk's
"Offline" button, pull the disk, then skip to step 3. If there is no
"Offline" button but only a "Replace" button, then the disk is already
offlined and you can safely skip this step.


Ich sehe weder "Replace" noch "Offline" Button - kann ich einfach
runterfahren, eine 2TB Disk entnehmen und eine 3TB Disk reinstecken?


(*)http://doc.freenas.org/9.3/freenas_storage.html#replacing-drives-to-grow-a-zfs-pool

[Patrick Kormann]

Post by Marc Stibane
Ich sehe weder "Replace" noch "Offline" Button - kann ich einfach
runterfahren, eine 2TB Disk entnehmen und eine 3TB Disk reinstecken?

Ja. Das mit Replace und Co kommt dann wenn du wieder hochgefahren hast,
soweit ich mich erinnere. Jedenfalls geht so schnell nichts kaputt, wenn
du z.B. 2 Platten rausziehst heisst es einfach irgendwas von 'zuwenig
Platten vorhanden' und du kannst die auch wieder reinstecken...

[Marc Stibane]

Post by Patrick Kormann

Post by Marc Stibane
Ich sehe weder "Replace" noch "Offline" Button - kann ich einfach
runterfahren, eine 2TB Disk entnehmen und eine 3TB Disk reinstecken?

Ja. Das mit Replace und Co kommt dann wenn du wieder hochgefahren hast,
soweit ich mich erinnere. Jedenfalls geht so schnell nichts kaputt, wenn
du z.B. 2 Platten rausziehst heisst es einfach irgendwas von 'zuwenig
Platten vorhanden' und du kannst die auch wieder reinstecken...

Hab' mich eh schon getraut...
Degraded, aber natürlich noch lesbar. Ich könnte sogar zwei Platten
entnehmen, ist ja raidz2.

[Marc Stibane]

Post by Patrick Kormann

Post by Marc Stibane
Ich sehe weder "Replace" noch "Offline" Button - kann ich einfach
runterfahren, eine 2TB Disk entnehmen und eine 3TB Disk reinstecken?

Ja. Das mit Replace und Co kommt dann wenn du wieder hochgefahren hast,

Pustekuchen. Da kam gar nix. Ich habe ewig gesucht, aber im GUI nirgends
eine Möglichkeit gefunden, den Pool mitsamt der fehlenden Disk
aufzulisten. Unter Storage > View Disks wurden nur die physikalisch
vorhandenen Disks aufgelistet, ohne irgendwelche Verbindungen zu vdev
oder zpool. Unter Storage > View Volumes wurden nur die logisch
existierenden zpools und die darin angelegten shares aufgelistet, ohne
jegliche Verbindung zu Hardware (Disks).

Ich vermisse einen kompletten Menüpunkt, nämlich sowas wie "vdevs". Und
im Pool die Möglichkeit, vdevs hinzuzufügen. Geht alles nicht im GUI...


Letztlich habe ich mit einer Shell erst die rausgenommene Disk von
"unavailable" auf "offline" gesetzt, dann mit
# zpool replace zpool6 /dev/gptid/devUUID /dev/ada3
den Pool angewiesen, das was da gerade in Tray3 steckt (die neue 3TB)
als Replacement für die offline gesetzte devUUID zu nehmen und das
Resilvern zu starten.

# zpool status zpool6
pool: zpool6
state: DEGRADED
status: One or more devices is currently being resilvered.
The pool will continue to function, possibly in a
degraded state.
action: Wait for the resilver to complete.
scan: resilver in progress since Tue Jan 6 01:53:04 2015
298G scanned out of 4.08T at 407M/s, 2h42m to go
49.6G resilvered, 7.13% done


Also reine Mausschubser wären da aufgeschmissen...

[Marc Stibane]

Post by Marc Stibane
Letztlich habe ich mit einer Shell erst die rausgenommene Disk von
"unavailable" auf "offline" gesetzt, dann mit
# zpool replace zpool6 /dev/gptid/devUUID /dev/ada3
den Pool angewiesen, das was da gerade in Tray3 steckt (die neue 3TB)
als Replacement für die offline gesetzte devUUID zu nehmen und das
Resilvern zu starten.
# zpool status zpool6
pool: zpool6
state: DEGRADED
status: One or more devices is currently being resilvered.
The pool will continue to function, possibly in a
degraded state.
action: Wait for the resilver to complete.
scan: resilver in progress since Tue Jan 6 01:53:04 2015
298G scanned out of 4.08T at 407M/s, 2h42m to go
49.6G resilvered, 7.13% done

Und jetzt sieht es so aus:

# zpool status zpool6
pool: zpool6
state: ONLINE
scan: resilvered 696G in 2h55m with 0 errors on Jan 6 04:48:26 2015
config:
NAME STATE
zpool6 ONLINE
raidz2-0 ONLINE
gptid/71357b2a-9448-... ONLINE
gptid/77095e6c-9448-... ONLINE
gptid/77e2a22e-9448-... ONLINE
gptid/789b5a2a-9448-... ONLINE
gptid/7953d67d-9448-... ONLINE
ada3 ONLINE
errors: No known data errors


Mist. Die Ersteinrichtung wurde ja per GUI gemacht, da hat FreeNAS die
Device-UUID eingetragen. Ich dachte dass er die beim Ersetzen
automatisch nimmt, wenn ich die Hardwareslot-ID von Tray 3 eintrage -
das war wohl nix. Wie ändere ich jetzt ada3 in eine UUID?

[Patrick Kormann]

Post by Marc Stibane
Mist. Die Ersteinrichtung wurde ja per GUI gemacht, da hat FreeNAS die
Device-UUID eingetragen. Ich dachte dass er die beim Ersetzen
automatisch nimmt, wenn ich die Hardwareslot-ID von Tray 3 eintrage -
das war wohl nix. Wie ändere ich jetzt ada3 in eine UUID?

Das ging früher definitiv über die gui... eben mit replace etc. Mit 9.3
hab ich das aber noch nicht probiert! Es *muss* eigentlich über's gui
gehen. Die Platte ersetzen könntest du ja schon per shell, aber die
korrekte Partitionierung inkl. Swapdatei etc. wäre dann schon
einbisschen kompliziert....

[Marc Stibane]

Post by Patrick Kormann

Post by Marc Stibane
Mist. Die Ersteinrichtung wurde ja per GUI gemacht, da hat FreeNAS
die Device-UUID eingetragen.

Denkfehler meinerseits - das war die UUID der Partition.

Post by Patrick Kormann

Post by Marc Stibane
Ich dachte dass er die beim Ersetzen automatisch nimmt, wenn ich die
Hardwareslot-ID von Tray 3 eintrage - das war wohl nix. Wie ändere
ich jetzt ada3 in eine UUID?

Das ging früher definitiv über die gui...

Geht immer noch, ist nur versteckt. Man muss erst auf "View Volumes"
klicken, dann das vDev anklicken (was genauso heißt wie der zpool eine
Zeile tiefer), und dann werden ganz unten drei Icons eingeblendet. Das
rechte führt zum gewünschten Dialog...

Post by Patrick Kormann
eben mit replace etc. Mit 9.3 hab ich das aber noch nicht probiert! Es
*muss* eigentlich über's gui gehen. Die Platte ersetzen könntest du ja
schon per shell, aber die korrekte Partitionierung inkl. Swapdatei etc.
wäre dann schon einbisschen kompliziert....

Eben - ich hatte bei meinem missglückten Versuch heute nacht die ganze
Disk in das vDEV eingebunden, statt zu partitionieren.

Waren letztendlich nur wenige Klicks, eben im "richtigen" Menü welches
ich vorher nicht gefunden hatte.
Jetzt resilvert er gerade (nochmal) aber eben auf die 2te Partition der
Disk.

Alles gut, wieder was gelernt. Und das alte Vorurteil bestätigt - Open
Source Leute können kein GUI designen...

[Marc Stibane]

Und wieder was neues über FreeNAS gelernt...

Post by Marc Stibane

Post by Patrick Kormann

Post by Marc Stibane
Ich dachte dass er die beim Ersetzen automatisch nimmt, wenn ich die
Hardwareslot-ID von Tray 3 eintrage - das war wohl nix. Wie ändere
ich jetzt ada3 in eine UUID?

Das ging früher definitiv über die gui...

Geht immer noch, ist nur versteckt. Man muss erst auf "View Volumes"
klicken, dann das vDev anklicken (was genauso heißt wie der zpool eine
Zeile tiefer), und dann werden ganz unten drei Icons eingeblendet. Das
rechte führt zum gewünschten Dialog...
Waren letztendlich nur wenige Klicks, eben im "richtigen" Menü welches
ich vorher nicht gefunden hatte.
Jetzt resilvert er gerade (nochmal) aber eben auf die 2te Partition der
Disk.
Alles gut, wieder was gelernt. Und das alte Vorurteil bestätigt - Open
Source Leute können kein GUI designen...

Nicht nur das, sie können auch nicht zählen. Das ist mir beim letzten
Mal nicht aufgefallen, weil ich die Kiste ausgeschaltet hatte, dann die
Disk gewechselt, dann wieder hochgefahren. Da hat er dann angezeigt,
dass /dev/ada3 (die ganz rechte im 4-Tray-Käfig) neu ist (Käfig=0..3,
eSATA=4, ODD=5) und "someDiskID" unavailable (die Platte in Tray 3 hatte
ich ja nicht abgemeldet vor dem Ausschalten, also quasi einen Ausfall
simuliert). Alles fein, die 5 noch im Pool verbliebenen Disks waren alle
noch da wo sie vorher waren, ada3 war neu.

Diesesmal habe ich ada2p2 (das ist die zweite Partition auf ada2, mit
99,9% Größe der 2TB-Platte - die erste Partition mit 2GB = 0.01% ist
SwapSpace für FreeNAS) abgemeldet vor dem Ausschalten (offline),
ausgeschaltet, dann Disk 2 (die dritte von links im Käfig) ausgebaut,
und die neue 3TB-Platte noch nicht in Tray 2 eingesteckt, sondern den
N54L mit nur 5 Disks eingeschaltet.

Was würde ein Mac-User jetzt wohl erwarten?
Degraded - rechts oben blinkt es rot, logischerweise.
Also ich hatte mir vorgestellt, dass mir jetzt angezeigt wird, dass in
/dev/ada2 keine Disk steckt. Oder zumindest, dass die einfach nur fehlt
in der Aufzählung, und folgende Disks (/dev/ada3, /dev/ada4, /dev/ada5)
alle ihren Namen (bzw. die aufsteigende Numerierung basierend auf dem
SATA-Port) behalten. Nein, FreeNAS numeriert die einfach um, so dass
keine Lücke entsteht. D.h. was vorher /dev/ada3 war (die ganz rechte im
4er-Käfig) ist jetzt /dev/ada2 wenn Tray 2 (dritter von links) leer ist.
Und die eSATA-Disk ist nicht mehr /dev/ada4, sondern /dev/ada3. Erkennt
man gut weil die ja 'nen Haufen uncorrectable Sectors (*) hat und das
nach dem Booten am VGA-Monitor des N54L angezeigt wird (im GUI sieht man
nix davon).
Im GUI unter "View Disks" sieht man hingegen gar nicht, dass eine Platte
fehlt. Es sind halt nur noch 5 statt 6, aufsteigend von ada0..ada4.

So ein Mist.
Wenn im laufenden Betrieb eine Platte ausfällt, wird hoffentlich nicht
sofort renumeriert werden, sondern nur beim Booten. D.h. man sieht dann
wenigstens anhand der verbleibenden Nummern welche Disk man ersetzen
muss.
Aber wie soll man denn z.B. nach einem Stromausfall erkennen, welche
Platte ausgefallen ist wenn die sich gar nicht mehr am SATA-Controller
meldet, somit beim Booten renumeriert wird und dann laut GUI die letzte
Platte (bei mir mit 6 Disks folglich ada5) fehlt?
Man muss sich also manuell aufschreiben, welche Platten-Seriennummer
(die wird in Storage > Volumes > View Disks angezeigt) zu welchem
SATA-Port gehört bzw. gehören sollte. Und dann eben schauen, welche
Seriennummer fehlt, damit man weiß aus welchem Tray man die Platte
rausziehen kann.
So ein Schwachfug. Wieso kann mir der Computer (also das FreeNAS-GUI)
nicht anzeigen in welchem Hardware-Tray eine Platte fehlt / ausgefallen
ist? Stattdessen soll ich das selber rausfinden?

Die Bezeichnungen ada0..ada5 sind also nicht eindeutig festgelegt,
sondern werden bei jedem Booten neu vergeben. Sind somit komplett
sinnbefreit, weil man sich nicht darauf verlassen kann.


(*) Die Anzahl der uncorrectable Sectors der eSATA-Disk ist übrigens von
120 auf 96 gesunken. Ich hatte einen "Long SMART Self-Test" eingetragen,
auszuführen jeden Abend 21 Uhr, für Disk "ada4" (bei Vollbestückung die
eSATA-Disk). Und ada2 (dritte von links im Käfig) rausgezogen hatte ich
erst um Mitternacht, der Test ist also gestern abend auf der eSATA-Disk
durchgelaufen - wahrscheinlich hat die Platte dabei ein paar Sektoren
wiederbelebt.
Nun ist aber heute die eSATA-Disk nicht mehr ada4, sondern ada3 - womit
der SMART-Test heute abend die falsche Disk testen wird, nämlich die im
ODD die gestern noch ada5 war.
Die Renumerierung macht also wirklich keinen Sinn.

[Marc Stibane]

Post by Marc Stibane
Die Renumerierung macht also wirklich keinen Sinn.

Oder liegt das am HP N54L BIOS, und FreeNAS kann gar nix dafür?

[Patrick Kormann]

Post by Marc Stibane
Oder liegt das am HP N54L BIOS, und FreeNAS kann gar nix dafür?

Ich denke nicht, dass sich FreeBSD da gross auf BIOS-Funktionen verlässt.
Aber ja, es ist durchaus nervig, dass die Zuordnung nicht ganz so
unproblematisch ist. Bei nem Kollegen ist in seinem N54L wohl auch eine
Platte ausgefallen (hab den Server mal runter gefahren und er sollte ihn
mal wieder einschalten um das zu checken, er tut es aber nicht...)...
aber anders als mit trial and error werden wir wohl auch nicht
rausfinden welche Platte da kaputt ist. Und da der Kollege eh nie zuhört
und macht was man ihm sagt... wird das lustig werden.

[Marc Stibane]

Post by Patrick Kormann

Post by Marc Stibane
Oder liegt das am HP N54L BIOS, und FreeNAS kann gar nix dafür?

Ich denke nicht, dass sich FreeBSD da gross auf BIOS-Funktionen verlässt.

Habe meinen Sermon parallel hierzu auch ins (deutsche) FreeNAS-Forum
sowie in den ZFS-Stammtisch von hardwareluxx.de gekippt - die Antworten
die ich da bekommen habe passen 1a zum verbreiteten OpenSource-
Vorurteil. Wie üblich schaffen die's nicht eine an sich gute Software
auch in sich logisch bedienbar zu machen. Und raffen nicht, dass sie
damit >98% der potentiellen Klientel verlieren...

Post by Patrick Kormann
Aber ja, es ist durchaus nervig, dass die Zuordnung nicht ganz so
unproblematisch ist.

Beide Foren haben schlussendlich empfohlen, dass man sich selber manuell
Notizen macht, welche Platte (Seriennummer) in welchem Slot/Tray/...
stecken sollte. Und das dann manuell verifizieren, bevor man irgendwas
tut was Daten umräumen (also löschen) könnte.
Genau dann wenn die Panik groß ist (weil Plattenausfall), stiftet das OS
zusätzliche Verwirrung.
Wenn ich Web-Programmierer wäre, würde ich das GUI von FreeNAS umbauen.

Post by Patrick Kormann
Bei nem Kollegen ist in seinem N54L wohl auch eine Platte ausgefallen (hab
den Server mal runter gefahren und er sollte ihn mal wieder einschalten um
das zu checken, er tut es aber nicht...)... aber anders als mit trial and
error werden wir wohl auch nicht rausfinden welche Platte da kaputt ist.

Wenn er nur 4 drin hat, ist es ja nicht weiter schlimm - die Trays
lassen sich ja mit zwei Handgriffen aus dem Käfig ziehen. Einfach der
Reihe nach rausziehen, booten, und schauen ob sich *nichts* ändert -
dann hat man die kaputte rausgezogen. Sonst war es eine intakte,
ausschalten, wieder rein, nächste raus, einschalten...

[Markus Elsken]

Moin!

Post by Marc Stibane
Wenn er nur 4 drin hat, ist es ja nicht weiter schlimm - die Trays
lassen sich ja mit zwei Handgriffen aus dem Käfig ziehen. Einfach der
Reihe nach rausziehen, booten, und schauen ob sich*nichts* ändert -
dann hat man die kaputte rausgezogen. Sonst war es eine intakte,
ausschalten, wieder rein, nächste raus, einschalten...

Sollte ein vernünftiges RAID nicht durch Status-LEDs (rot blinkend
empfiehlt sich) anzeigen, WELCHE Platte kaputt ist?

mfg Markus

[Marc Stibane]

Post by Markus Elsken

Post by Marc Stibane
Wenn er nur 4 drin hat, ist es ja nicht weiter schlimm - die Trays
lassen sich ja mit zwei Handgriffen aus dem Käfig ziehen. Einfach der
Reihe nach rausziehen, booten, und schauen ob sich*nichts* ändert -
dann hat man die kaputte rausgezogen. Sonst war es eine intakte,
ausschalten, wieder rein, nächste raus, einschalten...

Sollte ein vernünftiges RAID nicht durch Status-LEDs (rot blinkend
empfiehlt sich) anzeigen, WELCHE Platte kaputt ist?

Die HP Microserver haben keine realen LEDs für sowas. Bräuchte man ja
auch nicht, wenn das Web-GUI sowas hätte.

FreeNAS macht das aber nicht. Nur rechts oben in der Ecke ist ein Kreis
mit ca. 1cm Durchmesser, der verändert die Farbe von grün nach rot.
Blinkt nicht, sagt nicht was passiert ist... Degraded - den Rest darf
$Admin selber rausfinden. Tool für Nerds eben.
Immerhin schickt es ein Mail an den Admin-Account. Aber auch darin nur
"Degraded", und nicht welche Disk ausgefallen ist. Obwohl die Kiste das
natürlich weiß...

[Patrick Kormann]

Post by Marc Stibane
$Admin selber rausfinden. Tool für Nerds eben.
Immerhin schickt es ein Mail an den Admin-Account. Aber auch darin nur
"Degraded", und nicht welche Disk ausgefallen ist. Obwohl die Kiste das
natürlich weiß...

Naja, die UUID zeigt es ja IMHO durchaus an. Die DeviceID ist insofern
halt ziemlich egal, du kannst die Platten ja gerne in anderer
Reihenfolge einschieben und es geht trotzdem...

[Juergen P. Meier]

Post by Patrick Kormann

Post by Marc Stibane
$Admin selber rausfinden. Tool für Nerds eben.
Immerhin schickt es ein Mail an den Admin-Account. Aber auch darin nur
"Degraded", und nicht welche Disk ausgefallen ist. Obwohl die Kiste das
natürlich weiß...

Naja, die UUID zeigt es ja IMHO durchaus an. Die DeviceID ist insofern
halt ziemlich egal, du kannst die Platten ja gerne in anderer
Reihenfolge einschieben und es geht trotzdem...

Es ist durchaus wichtig zu wissen, welche Platte man rausziehen und
durch eine neue ersetzen muss.

Wenn du bei einem degraded RAID die falsche Platte rausziehst, hast du
verloren.

[Patrick Kormann]

Post by Juergen P. Meier
Wenn du bei einem degraded RAID die falsche Platte rausziehst, hast du
verloren.

Ja. Bei raidzx - so glaube ich zumindest - nicht, da kriegst du eifnach
die Meldung dass nicht genügend Platten zur Verfügung stehen und du
sollst sie bitte wieder einschieben (so gehört es IMHO für jede
sinnvolle RAID-Implementierung. Einfach mal so schnell wie möglich
kaputt gehen sollte nun wirklich nicht das Ziel sein).
Im laufenden Betrieb habe ich das allerdings nie probiert, runterfahren,
platte ziehen, wieder starten reagiert allerdings so.

[Marc Stibane]

Post by Patrick Kormann

Post by Marc Stibane
$Admin selber rausfinden. Tool für Nerds eben.
Immerhin schickt es ein Mail an den Admin-Account. Aber auch darin
nur "Degraded", und nicht welche Disk ausgefallen ist. Obwohl die
Kiste das natürlich weiß...

Naja, die UUID zeigt es ja IMHO durchaus an.

Weder im Degraded-Mail (da steht gar nix) noch im WebGUI unter Storage >
View Disks. Da sieht man nur die noch existierenden Disks, nicht die
ausgefallene(n).
Immerhin gibt es eine Spalte "Description", wo man sich selber
beliebigen Text für jede Disk eintragen kann (solange sie noch online
ist ;-). Da habe ich gestern Tray0..Tray3, ODD und eSATA eingetragen.

Gerade die zweite von links aus dem Käfig gezogen, wieder hochgefahren,
und jetzt ist eindeutig dass "Tray1" fehlt - obwohl die Disks mit Namen
"ada0".."ada4" online sind, also die letzte ("ada5") verschwunden ist.

Post by Patrick Kormann
Die DeviceID ist insofern halt ziemlich egal, du kannst die Platten ja
gerne in anderer Reihenfolge einschieben und es geht trotzdem...

Schon klar. Aber man darf halt aus einem Degraded-RAID nicht die falsche
rausziehen...


Fazit: Die Spalte "Name" ignorieren, stattdessen rechtzeitig selber
"Description" sinnvoll ausfüllen.

[Thomas Kaiser]

Post by Marc Stibane
Immerhin gibt es eine Spalte "Description", wo man sich selber
beliebigen Text für jede Disk eintragen kann (solange sie noch online
ist ;-). Da habe ich gestern Tray0..Tray3, ODD und eSATA eingetragen.

Und das ist die Lösung für das Problem (ernsthaft, alle anderen Ansätze
sind mehr oder weniger zum Scheitern verurteilt, grad bei einer reinen
Software, die nix von der Hardware wissen kann, also bzgl. physischer
Gegebenheiten). Das FreeNAS-GUI müsste den User halt drangsalieren, bei
ungelabelten Disks immer per Description den physischen Ort zu vermerken
bevor die Disk genutzt werden kann.

Post by Marc Stibane
Fazit: Die Spalte "Name" ignorieren, stattdessen rechtzeitig selber
"Description" sinnvoll ausfüllen.

Yep.

Gruss,

Thomas

[Patrick Kormann]

Post by Marc Stibane
Weder im Degraded-Mail (da steht gar nix) noch im WebGUI unter Storage >
View Disks. Da sieht man nur die noch existierenden Disks, nicht die
ausgefallene(n).

Wollte gerade das Gegenteil behaupten (für FreeNAS 8.x zumindest, wo ich
das durchexerziert habe) aber jetzt fällt mir gerade ein, dass ich gar
nie Platten direkt physisch ersetzt habe, sondern jeweils eine neue
zusätzlich angeschlossen und dann eine bestehende 'replaced'... D.h. die
alte war auch noch online... natürlich wurde sie dann auch angezeigt ;)

[Patrick Kormann]

Post by Marc Stibane
Beide Foren haben schlussendlich empfohlen, dass man sich selber manuell
Notizen macht, welche Platte (Seriennummer) in welchem Slot/Tray/...
stecken sollte. Und das dann manuell verifizieren, bevor man irgendwas
tut was Daten umräumen (also löschen) könnte.
Genau dann wenn die Panik groß ist (weil Plattenausfall), stiftet das OS
zusätzliche Verwirrung.
Wenn ich Web-Programmierer wäre, würde ich das GUI von FreeNAS umbauen.

Ja aber das ist ja nicht so einfach. Wenn du die Hardware nicht kennst,
kannst du ja nicht wissen wie die Platten physisch angehorded sind. Und
wenn ne Platte nicht mehr da ist, was willst du machen wenn das OS den
Devicenamen ändert? Klar man könnte die Platte als 'Geisterdevice'
weiter anzeigen zusammen mit den Devicenamen, die die Geräte früher mal
hatten... aber das nützt ja auch nicht wirklich viel. Mit geeigneter
Hardware müsste man den betroffenen Slot blinken lassen oder sowas, viel
mehr Möglichkeiten seh ich spontan gerade nicht.

Post by Marc Stibane
Wenn er nur 4 drin hat, ist es ja nicht weiter schlimm - die Trays
lassen sich ja mit zwei Handgriffen aus dem Käfig ziehen. Einfach der
Reihe nach rausziehen, booten, und schauen ob sich *nichts* ändert -
dann hat man die kaputte rausgezogen. Sonst war es eine intakte,
ausschalten, wieder rein, nächste raus, einschalten...

Ja, aber wenn einer schon innert 4 Wochen es nicht schafft einen Server
wieder einzuschalten, halte ich das für eine Überforderung ;)

[Marc Stibane]

Post by Patrick Kormann

Post by Marc Stibane
Genau dann wenn die Panik groß ist (weil Plattenausfall), stiftet das
OS zusätzliche Verwirrung.

Ja aber das ist ja nicht so einfach. Wenn du die Hardware nicht kennst,
kannst du ja nicht wissen wie die Platten physisch angehorded sind. Und
wenn ne Platte nicht mehr da ist, was willst du machen wenn das OS den
Devicenamen ändert?

Genau das ist der Bug. Der Devicename sollte entweder fest an die
Hardware gekoppelt sein - SATA-Port 1 sollte immer ada1 heißen, egal ob
in SATA-Port 0 eine Disk steckt (ada0) oder nicht. Es ist einfach
unsinnig, im zweiten Fall dann den Namen ada0 an SATA-Port 1 zu
vergeben.

Oder wenn das OS diesbezüglich nicht änderbar ist, dann sollte eben die
Spalte im GUI nicht "Name" heißen, sondern der Spaltentitel leer sein
(in der Spalte weiterhin ada0..n) so dass dem User klar wird dass das
eine unwichtige Information ist, und eine weitere, echte Spalte "Name"
mit vom User vergebenen Namen eingefügt werden. Bei der Einrichtung
sollte dieser "Name" sinnvoll vorbelegt sein mit "SATA 0", "SATA 1",
aber natürlich vom Einrichter beliebig geändert werden können.

Post by Patrick Kormann
Klar man könnte die Platte als 'Geisterdevice' weiter anzeigen zusammen
mit den Devicenamen, die die Geräte früher mal hatten... aber das nützt ja
auch nicht wirklich viel.

Doch. Erst (in schwarz) die existierenden Disks aufzählen, darunter -
nein, *darüber* in rot die fehlenden Disks. In der Spalte ohne Titel
(derzeit "Name") steht dann natürlich kein Eintrag, aber der User sollte
aus der (derzeit noch nicht existierenden, *echten*) Spalte "Name" und
"Description" dann auf einen Blick sehen können, welche Disk fehlt.

Post by Patrick Kormann
Mit geeigneter Hardware müsste man den betroffenen Slot blinken lassen
oder sowas, viel mehr Möglichkeiten seh ich spontan gerade nicht.

Das machen größere Server sowieso. Manche pfeifen oder tröten dann
sogar.

Post by Patrick Kormann
wenn einer schon innert 4 Wochen es nicht schafft einen Server
wieder einzuschalten, halte ich das für eine Überforderung ;)

Hinfahren, Server abholen, der braucht ihn schließlich gar nicht...

[Thomas Kaiser]

Post by Marc Stibane
Genau das ist der Bug. Der Devicename sollte entweder fest an die
Hardware gekoppelt sein - SATA-Port 1 sollte immer ada1 heißen, egal ob
in SATA-Port 0 eine Disk steckt (ada0) oder nicht. Es ist einfach
unsinnig, im zweiten Fall dann den Namen ada0 an SATA-Port 1 zu
vergeben.

Das magst Du aufgrund Deines beschränkten Einsatzszenarios "raidz in
FreeNAS" so sehen, das sieht halt der Rest der Storage-Welt ganz anders.
Das ist halt gängige Konvention, dass Controller die an ihren Ports
_gefundenen_ Disks der Reihe nach rausreichen, der OS-Treiber numeriert
die dann kontinuierlich durch und später darauf aufsetzende Mechanismen
scannen Device-Nodes, bis der erste nicht verfügbare auftaucht. Deine
Idee widerspricht der "gängigen Praxis" wie mit Disk-Devices --
eigentlich egal wo -- umgegangen wird :-)

Und genau dafür _gibt's_ ja UUIDs&Co. Und für die Zuordnung Disk zu
Hardware-Slot gibt's dann Intuitives à la Disk-Label bzw. Description.
Der Rest ist GUI-Sache bzw. -Versagen.

Post by Marc Stibane

Post by Patrick Kormann
Mit geeigneter Hardware müsste man den betroffenen Slot blinken
lassen oder sowas, viel mehr Möglichkeiten seh ich spontan gerade
nicht.

Das machen größere Server sowieso. Manche pfeifen oder tröten dann
sogar.

Weil das eine "Appliance" darstellt, d.h. eine Einheit aus Hardware und
Software und einer Konvention, wie beides zusammenhängt. Mit FreeNAS als
"Software only" gar nicht möglich.

Gruss,

Thomas

[Thomas Kaiser]

Post by Patrick Kormann

Post by Marc Stibane
Oder liegt das am HP N54L BIOS, und FreeNAS kann gar nix dafür?

Ich denke nicht, dass sich FreeBSD da gross auf BIOS-Funktionen verlässt.

Bedingt. Die Reihenfolge der Controller (und deren Art) bestimmt halt,
wie die Platten logisch in FreeBSD erscheinen (also was ada0, was da3,
etc. ist). Da FreeNAS keine Appliance (also eine Kombination aus Hard-
und Software, die aufeinander abgestimmt ist), sondern im schlimmsten
Fall auch auf untauglichster Schraddel-Hardware zum Laufen gebracht
werden kann, hat man _prinzipiell_ das Problem der Zuordnung von
physischen zu logischen Disks.

Hilft wohl nur, sich $irgendwie zu notieren, welches Laufwerk mit
welcher Seriennummer initial in welchen physischen "Slot" gesteckt wurde
(siehe Marcs Kreativ-Ansatz, bei dem man nicht mehr von Slots sondern
nur noch von Positionen sprechen kann). Und dann nach Befülliung des
raidz initial "glabel status" parsen lassen -- Spalte 1 ist die GPT-ID,
Spalte 3 der Devicename, dem man per

smartctl -a /dev/$dev | grep "^Serial"

die zugehörige Seriennummer entlocken kann. Das in eine Datei und fertig.
Und ja, DAU-freundlich ist was anderes. Für den DAU brauchst Du aber
eine Appliance, da Du ohne sowas keine Hardware-Features à la Failure-
LED hinbekommst. Schade halt, dass die ganzen günstigen Fix- und Fertig-
NAS mit RAID im Vergleich zu ZFS/raidz2 auf vernünftiger Hardware wie
'nem N54L dermaßen besch***en abschneiden, was Datenintegrität angeht,
dass auch der DAU schlecht beraten ist, zu Synology, Drobo und Co. zu
greifen (weiß er aber weder noch kapiert er es -- er ist ja DAU)

Gruss,

Thomas

[Marc Stibane]

Post by Thomas Kaiser
Die Reihenfolge der Controller (und deren Art) bestimmt halt,
wie die Platten logisch in FreeBSD erscheinen (also was ada0, was da3,
etc. ist).

Dass sich das verändert wenn man umbaut (Controller in anderen PCI-Slot
steckt, oder Disks an anderen SATA-Port) ist völlig logisch.

Aber dass beim Ausfall einer Platte alle *dahinter* umgenannt werden,
ist einfach Unsinn.

Und dass man dann im GUI Jobs einrichten kann, die auf diesem "Namen"
beruhen, der sich bei Ausfall einer Platte zufällig ändern kann oder
auch nicht, je nachdem welche Platte ausfällt, ist ein
Konstruktionsfehler.

Post by Thomas Kaiser
Da FreeNAS keine Appliance (also eine Kombination aus Hard-
und Software, die aufeinander abgestimmt ist), sondern im schlimmsten
Fall auch auf untauglichster Schraddel-Hardware zum Laufen gebracht
werden kann, hat man _prinzipiell_ das Problem der Zuordnung von
physischen zu logischen Disks.

Nö. Beim Einrichten werden alle verfügbaren Disks aufgelistet, zu vDEVs
und zpools eingerichtet. Da sollten sie einen eindeutigen Namen
bekommen, der nicht beim Ausfall irgendeiner Platte geändert wird.

Wenn der User umbaut ist er selber schuld, und muss eben danach auch
Name und Description ändern.

[Thomas Kaiser]

Post by Marc Stibane

Die Reihenfolge der Controller (und deren Art) bestimmt halt, wie die
Platten logisch in FreeBSD erscheinen (also was ada0, was da3, etc.
ist).

Dass sich das verändert wenn man umbaut (Controller in anderen PCI-Slot
steckt, oder Disks an anderen SATA-Port) ist völlig logisch.

Und auch dann stimmen sofort die Device-Nummern nicht mehr, wenn Du zwei
Typ-gleiche Controller verwenden würdest. Bringt also nix, die Device-ID
ist grundsätzlich nicht dafür geeignet.

Post by Marc Stibane
Aber dass beim Ausfall einer Platte alle *dahinter* umgenannt werden,
ist einfach Unsinn.

Aber halt nunmal gängige Konvention seit 3000 Jahren, auf die sich zig
Mechanismen verlassen. Der Effekt, das auf Dein Modell umzustellen,
dürfte ähnlich dem sein, /dev/null nicht mehr für alles und jeden
beschreibbar zu machen. Unix-Systeme sterben dann einen langsamen aber
lustigen Tod (man glaubt gar nicht, was dann alles gegen die Wand fährt
und wie ulkig sich das aufschaukelt)

Post by Marc Stibane
Und dass man dann im GUI Jobs einrichten kann, die auf diesem "Namen"
beruhen, der sich bei Ausfall einer Platte zufällig ändern kann oder
auch nicht, je nachdem welche Platte ausfällt, ist ein
Konstruktionsfehler.

Ich würd's eher konzeptionellen Fehler oder -- wahrscheinlicher -- Unix-
Holzkopf-Denke nennen.

Post by Marc Stibane
Nö. Beim Einrichten werden alle verfügbaren Disks aufgelistet, zu vDEVs
und zpools eingerichtet. Da sollten sie einen eindeutigen Namen
bekommen, der nicht beim Ausfall irgendeiner Platte geändert wird.
Wenn der User umbaut ist er selber schuld, und muss eben danach auch
Name und Description ändern.

Exakt. Das ist die einzig praktikable Lösung für eine reine Software-
Lösung wie FreeNAS, die "ab Werk" nix von den Hardware-Randbedingungen
wissen kann. Da bauen zwei FreeNAS-Bastler 'nen 8-Port-SAS-Controller in
ein Gehäuse mit 6 Platteneinschüben und der eine verbindet die Ports 0-5
mit den Platten, der andere 2-7. Nur der Mensch, der das so zusammen-
gesteckt hat, weiß um den tieferen Sinn des Ganzen und kann die Platten
passend labeln (denn die will er ja den physischen Plattenschächten und
nicht den Ports auf dem SAS-Controller zuordnen! Der Sinn ist ja, beim
Plattentausch den richtigen Schacht zu erwischen.)

Gruss,

Thomas

[Patrick Kormann]

Post by Thomas Kaiser
Bedingt. Die Reihenfolge der Controller (und deren Art) bestimmt halt,
wie die Platten logisch in FreeBSD erscheinen (also was ada0, was da3,
etc. ist). Da FreeNAS keine Appliance (also eine Kombination aus Hard-
und Software, die aufeinander abgestimmt ist), sondern im schlimmsten
Fall auch auf untauglichster Schraddel-Hardware zum Laufen gebracht
werden kann, hat man _prinzipiell_ das Problem der Zuordnung von
physischen zu logischen Disks.

Jup. Ich hab bei meinem Serverboard z.B. (auch wenn's bei den
verwendeten Platten irrelevant ist) die schnelleren Ports prioritär für
die Datenplatten verwendet etc. Da taucht dann die boot-Platte sogar
mitten zwischen den Datenplatten auf. Unschön, aber solang nur ich
'durchsteigen' muss...

[Thomas Kaiser]

Nicht nur das, sie können auch nicht zählen. [...]
Was würde ein Mac-User jetzt wohl erwarten?

Das ist vor dem Hintergrund, _wie_ das Betriebsystem von den
angeschlossenen Controllern über Platten informiert wird, völlig
uninteressant. Und in OS X exakt identisch. Dort werden die disk-
Devices auch quasi-zufällig durchnumeriert. Das einzig, was einigermaßen
sicher ist, ist, dass von disk0 gebootet wurde. Das war's aber schon.

Degraded - rechts oben blinkt es rot, logischerweise.
Also ich hatte mir vorgestellt, dass mir jetzt angezeigt wird, dass in
/dev/ada2 keine Disk steckt.

Dann hast Du aber das Device-Konzept unter egal welchem aktuellen OS
nicht verstanden. Und die Hardware-Randbedingungen. Denn ein Storage-
Controller scannt halt seinen Bus, wenn er vom OS oder BIOS/EFI danach
gefragt wird. Und reicht alles an Devices (!= Slots, der Controller hat
keine Augen und sieht nicht, wo leere Schächte sind) der Reihe nach
hoch. In welcher Reihenfolge die Controller abgefragt werden, wenn es
mehrere gibt, ist nochmal ein ganz anderes Thema. Direkte Konsequenz:
Die Device-Nummern taugen nur bedingt bis gar nicht zur Bestimmung, wo
Platten physisch sind. Und überhaupt nicht, zur Bestimmung, wo Platten
mal gewesen sind oder sein sollten.

Oder zumindest, dass die einfach nur fehlt in der Aufzählung, und
folgende Disks (/dev/ada3, /dev/ada4, /dev/ada5) alle ihren Namen
(bzw. die aufsteigende Numerierung basierend auf dem SATA-Port)
behalten.

Dann bräuchte der SATA-Controller eine Kamera und ein tieferes
Verständnis dafür, was eigentlich geschehen sollte. Weil er dann nicht
mehr von Disks sondern von Laufwerk-Schächten ausgehen müsste und prüfen
müsste, ob eine an einem Anschluß fehlende Platte jetzt bedeutet "Slot
(auf einmal) leer" oder "braucht niemand, weil physisch gar nicht
existent" (das ist oft der Fall: der Controller hat bspw. 8 Ports aber
nur 6 sind physisch ausgeführt. Ich hoffe Du merkst: Auf Device-Ebene
ist das Ganze hoffnungslos. Das muß auf der Applikations-Ebene
geschehen, der man ein Verständnis für die Aufgabenstellung einimpfen
_könnte_ (auch wenn das als reine Software-Lösung schwer wird -- als
Appliance hingegen sogar DAU-fest umsetzbar -- macht FreeNAS halt leider
nicht)

Nein, FreeNAS numeriert die einfach um, so dass keine Lücke entsteht.

Das macht der Storage-Controller bzw. das "Device-Konzept" bereits.
FreeNAS hat an der Stelle gar keine Chance. Die können nur auf jede
Platte weitere Merkmale draufklatschen (GPT-ID konkret), um mit der
quasi-zufälligen Device-Repräsentation umgehen zu können.

D.h. was vorher /dev/ada3 war (die ganz rechte im 4er-Käfig) ist jetzt
/dev/ada2 wenn Tray 2 (dritter von links) leer ist. Und die eSATA-Disk
ist nicht mehr /dev/ada4, sondern /dev/ada3.

Ja, klar. Und völlig unvermeidlich. Und zum Glücl auch wurscht, was die
Funktionalität des RAID an sich angeht, weil die Platten alle über ihre
GPT-ID eindeutig markiert sind. Wenn Dein Microserver sterben sollte,
hängst Du die Platten an neuer Hardware in beliebiger Reihenfolge an
beliebigen Controllern (da darf dann auch SAS oder USB dabeisein) ggf.
alles auch gemischt ein, nutzt Deine originale Config vom USB-Stick und
das RAID ist sofort wieder online, obwohl sämtliche Device-Einträge am
neuen System komplett anders/durcheinander sind.

(*) Die Anzahl der uncorrectable Sectors der eSATA-Disk ist übrigens
von 120 auf 96 gesunken.

Das waren ja auch "pending" und nicht bereits "reallocated" sectors.
"Pending" bedeutet, dass die Platte festgestellt hat, dass was mit dem
Sektor nicht stimmt. Meist geht das damit einher, dass das Dateisystem,
das auf den Sektor zugreifen wollte, parallel auch gemerkt hat, dass da
was nicht stimmt und Dateisystem-intern vermerkt hat "LBA 4711 hängt bei
Zugriffen, nicht mehr benutzen sondern logisch wegmappen", d.h. das OS
bzw. Dateisystem wird im Normalfall auf solche Sektoren nicht mehr
zugreifen. Um die Dinger verläßlich loszuwerden, müsstest Du auf der
Ebene "low-level-Format" agieren. Dann siehst Du auch, ob da weitere
Sektoren dazukommen oder nur diese ganzen Sektoren weggemapped werden
(tauchen dann bei reallocated auf).

Ob das Ganze Grund zur Sorge ist, kann man gar nicht sagen, v.a. da die
Platte ja vorher in einem anderen Umfeld (TimeCapsule?) lief. Ich würde
es beobachten bzw. sicherstellen, dass die pending-Situation weggeht.

Ich hatte einen "Long SMART Self-Test" eingetragen

Der kann auch helfen, um die pending-Dinger auf Herz und Nieren testen
zu lassen (damit sie entweder wieder für gut befunden oder eben auf
Platten-Firmware-Basis weggemapped werden und in der "grown defect list"
landen)

Nun ist aber heute die eSATA-Disk nicht mehr ada4, sondern ada3 - womit
der SMART-Test heute abend die falsche Disk testen wird, nämlich die im
ODD die gestern noch ada5 war.
Die Renumerierung macht also wirklich keinen Sinn.

Andersrum: das FreeNAS-GUI ist (nicht nur) an der Stelle dämlich. Weil
es mal auf Devices direkt aufsetzt, mal andere Identifier nutzt. FreeNAS
sollte eine konsistente Behandlung von Platten ermöglichen, d.h.
abstrahiert von Devicenummer/-name (das darf immer nur unter der Haube
eine Rolle spielen, nachdem die konkrete Platte anhand "höherer"
Kriterien wie GPT-ID, Seriennummer oder schlicht ein zu vergebenes Label
à la "Platte 3 oben" identifiziert bzw. durch den User ausgewählt wurde).

Viel Spaß beim Eintüten bzw. Verargumentieren so eines Feature-Requests.
Deine Kritik diesbzgl. an der "OpenSource-Gemeinde" kann ich leider sehr
gut nachvollziehen. Im Prinzip kriegt man sowas auch nie verargumentiert
sondern müsste mit- bzw. bessermachen.

Gruss,

Thomas

[Marc Stibane]

Marc Stibane schrieb am 07.01.2015

Post by Marc Stibane
Was würde ein Mac-User jetzt wohl erwarten?

Das ist vor dem Hintergrund, _wie_ das Betriebsystem von den
angeschlossenen Controllern über Platten informiert wird

Also im BIOS sehe ich beim Booten, in welchem SATA-Port eine Disk steckt
(wird kurz auf dem VGA-Monitor angezeigt).

Post by Marc Stibane
Degraded - rechts oben blinkt es rot, logischerweise.
Also ich hatte mir vorgestellt, dass mir jetzt angezeigt wird, dass
in /dev/ada2 keine Disk steckt.

Dann hast Du aber das Device-Konzept unter egal welchem aktuellen OS
nicht verstanden. Und die Hardware-Randbedingungen. Denn ein Storage-
Controller scannt halt seinen Bus, wenn er vom OS oder BIOS/EFI danach
gefragt wird. Und reicht alles an Devices (!= Slots, der Controller hat
keine Augen und sieht nicht, wo leere Schächte sind) der Reihe nach
hoch. In welcher Reihenfolge die Controller abgefragt werden, wenn es
Die Device-Nummern taugen nur bedingt bis gar nicht zur Bestimmung, wo
Platten physisch sind. Und überhaupt nicht, zur Bestimmung, wo Platten
mal gewesen sind oder sein sollten.

OK, es gibt ja auch Hardware, wo man ohne Ausschalten im laufenden
Betrieb Controllerkarten einstecken kann und somit Platten dazukommen
oder auch verschwinden können.

Ich hoffe Du merkst: Auf Device-Ebene ist das Ganze hoffnungslos. Das muß
auf der Applikations-Ebene geschehen, der man ein Verständnis für die
Aufgabenstellung einimpfen _könnte_ (auch wenn das als reine
Software-Lösung schwer wird -- als Appliance hingegen sogar DAU-fest
umsetzbar -- macht FreeNAS halt leider nicht)

Jupp.

Wenn Dein Microserver sterben sollte, hängst Du die Platten an neuer
Hardware in beliebiger Reihenfolge an beliebigen Controllern (da darf dann
auch SAS oder USB dabeisein) ggf. alles auch gemischt ein, nutzt Deine
originale Config vom USB-Stick

Holla, die Waldfee - was passiert wenn der USB-Stick stirbt?

Post by Marc Stibane
Ich hatte einen "Long SMART Self-Test" eingetragen

Der kann auch helfen, um die pending-Dinger auf Herz und Nieren testen
zu lassen (damit sie entweder wieder für gut befunden oder eben auf
Platten-Firmware-Basis weggemapped werden und in der "grown defect list"
landen)

Genau das war der Plan... Heute sind es immer noch "96 Offline
Uncorrectable Sectors". Werde den Long Test aber jetzt von täglich auf
wöchentlich setzen.

Andersrum: das FreeNAS-GUI ist (nicht nur) an der Stelle dämlich. Weil
es mal auf Devices direkt aufsetzt, mal andere Identifier nutzt. FreeNAS
sollte eine konsistente Behandlung von Platten ermöglichen, d.h.
abstrahiert von Devicenummer/-name (das darf immer nur unter der Haube
eine Rolle spielen, nachdem die konkrete Platte anhand "höherer"
Kriterien wie GPT-ID, Seriennummer oder schlicht ein zu vergebenes Label
à la "Platte 3 oben" identifiziert bzw. durch den User ausgewählt wurde).

Jupp. Genauso und nicht anders.

Viel Spaß beim Eintüten bzw. Verargumentieren so eines Feature-Requests.
Deine Kritik diesbzgl. an der "OpenSource-Gemeinde" kann ich leider sehr
gut nachvollziehen. Im Prinzip kriegt man sowas auch nie verargumentiert
sondern müsste mit- bzw. bessermachen.

Bin kein WebDesigner...

[Thomas Kaiser]

Post by Marc Stibane

Marc Stibane schrieb am 07.01.2015

Post by Marc Stibane
Was würde ein Mac-User jetzt wohl erwarten?

Das ist vor dem Hintergrund, _wie_ das Betriebsystem von den
angeschlossenen Controllern über Platten informiert wird

Also im BIOS sehe ich beim Booten, in welchem SATA-Port eine Disk
steckt (wird kurz auf dem VGA-Monitor angezeigt).

Ja und? Du kannst die SATA-Ports auf dem Mainboard doch kreuz und quer
mit irgendwelchen Platten verbinden. Die Information, _an_ (nicht "in")
welchem Port des Controllers ein Disk-Device auftaucht, ist für die
Frage, wo im Gehäuse die fragliche Platte steckt, ohne einen Blick auf
das SATA-Kabel zu werfen, weder beantwortbar noch in irgendeiner Form
sinnig.

Post by Marc Stibane
OK, es gibt ja auch Hardware, wo man ohne Ausschalten im laufenden
Betrieb Controllerkarten einstecken kann und somit Platten dazukommen
oder auch verschwinden können.

Es gibt auch Hardware, wo das beim Booten quasi zufällig jedesmal
ausgewürfelt wird.

Post by Marc Stibane

Wenn Dein Microserver sterben sollte, hängst Du die Platten an neuer
Hardware in beliebiger Reihenfolge an beliebigen Controllern (da darf
dann auch SAS oder USB dabeisein) ggf. alles auch gemischt ein, nutzt
Deine originale Config vom USB-Stick

Holla, die Waldfee - was passiert wenn der USB-Stick stirbt?

Neues FreeNAS auf'n Stick, *alle* Platten physisch anschließen und
einschalten. Wenn FreeNAS "zpool import" nicht von selbst auf die Reihe
kriegt, dann halt zu Fuß. Wenn alle Devices da sind, wird so der zpool
mit der passenden Redundanz (raidz2 bei Dir) einfach wieder eingebunden.
Dafür flackt ja der Metadaten-Kram auf den Platten. Und das ist ja _der_
Vorteil eines ZFS/raidz/FreeNAS-Ansatzes. Du hast kein proprietäres RAID
sondern kriegst das Ding an irgendeiner Hardware mit den Platten an
irgendwelchen Controllern einfach so wieder ans Fliegen (zur Not in
einer VM aufm Mac und allen Platten in USB-Gehäusen). Und erst ab dem
Niveau wird die Verfügbarkeits-Chose von RAID überhaupt sinnvoll.

Post by Marc Stibane

Post by Marc Stibane
Ich hatte einen "Long SMART Self-Test" eingetragen

Der kann auch helfen, um die pending-Dinger auf Herz und Nieren
testen zu lassen (damit sie entweder wieder für gut befunden oder
eben auf Platten-Firmware-Basis weggemapped werden und in der "grown
defect list" landen)

Genau das war der Plan... Heute sind es immer noch "96 Offline
Uncorrectable Sectors". Werde den Long Test aber jetzt von täglich auf
wöchentlich setzen.

Wieso das? Streß die Platte doch lieber jetzt? Wenn sie nicht einmal
täglich ein Auslesen/Testen ihrer Gesamtkapazität verkraftet, dann
sollte man ihr keine Daten mehr anvertrauen -- raidz2 hin oder her. Wenn
eine Disk als ablebensgefährdet identifiziert ist, kann man schon mal von
vorneherein um Reduktion der Redundanz um 1 ausgehen: Single Redundancy.

Post by Marc Stibane

Viel Spaß beim Eintüten bzw. Verargumentieren so eines Feature-
Requests. Deine Kritik diesbzgl. an der "OpenSource-Gemeinde" kann
ich leider sehr gut nachvollziehen. Im Prinzip kriegt man sowas auch
nie verargumentiert sondern müsste mit- bzw. bessermachen.

Bin kein WebDesigner...

Das ist mit Oberflächen-Design nicht getan, da fehlt's konzeptionell.

Gruss,

Thomas

[Marc Stibane]

Marc Stibane schrieb

Post by Marc Stibane

Marc Stibane schrieb am 07.01.2015

Also im BIOS sehe ich beim Booten, in welchem SATA-Port eine Disk
steckt (wird kurz auf dem VGA-Monitor angezeigt).

Ja und? Du kannst die SATA-Ports auf dem Mainboard doch kreuz und quer
mit irgendwelchen Platten verbinden. Die Information, _an_ (nicht "in")
welchem Port des Controllers ein Disk-Device auftaucht, ist für die
Frage, wo im Gehäuse die fragliche Platte steckt, ohne einen Blick auf
das SATA-Kabel zu werfen, weder beantwortbar noch in irgendeiner Form
sinnig.

Auch wieder richtig. Der Käfig im N54L hat eine Backplane, da kann man
die Reihenfolge (links 0..3 rechts) gar nicht ändern. ODD und eSATA
vertauschen ist auch nicht möglich wenn man so wie ich die eSATA-Platte
gar nicht *in* den Server einbaut, sondern außen dranklemmt.

Post by Marc Stibane

Wenn Dein Microserver sterben sollte, hängst Du die Platten an neuer
Hardware in beliebiger Reihenfolge an beliebigen Controllern (da
darf dann auch SAS oder USB dabeisein) ggf. alles auch gemischt ein,
nutzt Deine originale Config vom USB-Stick

Holla, die Waldfee - was passiert wenn der USB-Stick stirbt?

Neues FreeNAS auf'n Stick, *alle* Platten physisch anschließen und
einschalten. Wenn FreeNAS "zpool import" nicht von selbst auf die Reihe
kriegt, dann halt zu Fuß. Wenn alle Devices da sind, wird so der zpool
mit der passenden Redundanz (raidz2 bei Dir) einfach wieder eingebunden.

Also braucht man keine "originale Config" vom Boot-Device...

Dafür flackt ja der Metadaten-Kram auf den Platten. Und das ist ja _der_
Vorteil eines ZFS/raidz/FreeNAS-Ansatzes. Du hast kein proprietäres RAID
sondern kriegst das Ding an irgendeiner Hardware mit den Platten an
irgendwelchen Controllern einfach so wieder ans Fliegen (zur Not in
einer VM aufm Mac und allen Platten in USB-Gehäusen).

... sondern die Konfiguration ist *komplett* auf den Datenplatten, oder?
Die Frage ist einfach nur, ob ich irgendwas vom USB-Stick auch sichern
sollte, und sei es nur um eine Stunde Handarbeit im Schadensfall zu
sparen. Manuell draufgespielt habe ich bisher nur das temperature-
Shellscript.

Und erst ab dem Niveau wird die Verfügbarkeits-Chose von RAID überhaupt
sinnvoll.

Bei mir ist es eh Overkill (Film-Datenhalde), ich will halt einfach
Erfahrungen sammeln. Deswegen ja auch der Aufwand mit 6 Platten, von
denen ich gleich am Anfang 4 Stück sukzessive durch größere ersetze,
weil ich das Resilvern ausprobieren will.

Post by Marc Stibane
Genau das war der Plan... Heute sind es immer noch "96 Offline
Uncorrectable Sectors". Werde den Long Test aber jetzt von täglich
auf wöchentlich setzen.

Wieso das?

Weil die 96 nicht mehr weniger werden.

Streß die Platte doch lieber jetzt?

Auch wieder wahr...

Wenn sie nicht einmal täglich ein Auslesen/Testen ihrer Gesamtkapazität
verkraftet, dann sollte man ihr keine Daten mehr anvertrauen -- raidz2 hin
oder her. Wenn eine Disk als ablebensgefährdet identifiziert ist, kann man
schon mal von vorneherein um Reduktion der Redundanz um 1 ausgehen: Single
Redundancy.

Irgendwann in naher Zukunft werden mir 6*3TB brutto = 4*3TB netto eh
nicht mehr reichen, dann werde ich sukzessive 4TB-Platten verbauen. Und
die erste 3TB die rausfliegt ist natürlich diese...
Derzeit habe ich hier vier 4TB, davon zwei in meinem ReadyNAS Duo
(RAID-0), mehr als 99% voll. Und zwei im Verbatim-USB-Gehäuse. Ich
müsste also nur weitere zwei Stück nachkaufen.

Für das Duo habe ich zwei 8TB-Platten (Seagate ST8000AS0002) bestellt.
Als RAID-0 habe ich dann dort 16TB, stromsparender und leiser geht's
nicht. Wenn die Dinger darin laufen, und Netgear nicht etwa eine 4TB-
Limitierung eingebaut hat. Im Vorgänger war ein 2TB-Limit.

[Thomas Kaiser]

Post by Marc Stibane

Marc Stibane schrieb

Post by Marc Stibane

Marc Stibane schrieb am 07.01.2015

Also im BIOS sehe ich beim Booten, in welchem SATA-Port eine Disk
steckt (wird kurz auf dem VGA-Monitor angezeigt).

Ja und? Du kannst die SATA-Ports auf dem Mainboard doch kreuz und
quer mit irgendwelchen Platten verbinden. Die Information, _an_
(nicht "in") welchem Port des Controllers ein Disk-Device auftaucht,
ist für die Frage, wo im Gehäuse die fragliche Platte steckt, ohne
einen Blick auf das SATA-Kabel zu werfen, weder beantwortbar noch in
irgendeiner Form sinnig.

Auch wieder richtig. Der Käfig im N54L hat eine Backplane, da kann man
die Reihenfolge (links 0..3 rechts) gar nicht ändern. ODD und eSATA
vertauschen ist auch nicht möglich wenn man so wie ich die eSATA-
Platte gar nicht *in* den Server einbaut, sondern außen dranklemmt.

Yo, und jetzt könnte man aus N54L+FreeNAS eine Appliance machen, in der
sowas hart verdrahtet ist. Aber schon wenn man nur drüber nachdenkt,
FreeNAS Grips mitzugeben, so dass es anhand der Hardware-Charakteristik
automagisch erkennen soll, dass es auf einem N54L eingerichtet wird,
kann einem HP mit einer neuen Hardware- oder BIOS-Revision einen Strich
durch die Rechnung machen, weil dann auf einmal die Annahmen nicht mehr
stimmen (bspw. Backplane andersrum "verkabelt") oder die Erkennung ins
Leere läuft.

Post by Marc Stibane

Post by Marc Stibane
Holla, die Waldfee - was passiert wenn der USB-Stick stirbt?

Neues FreeNAS auf'n Stick, *alle* Platten physisch anschließen und
einschalten. Wenn FreeNAS "zpool import" nicht von selbst auf die
Reihe kriegt, dann halt zu Fuß. Wenn alle Devices da sind, wird so
der zpool mit der passenden Redundanz (raidz2 bei Dir) einfach wieder
eingebunden.

Also braucht man keine "originale Config" vom Boot-Device...

Ich hab keine Ahnung, was/wieviel FreeNAS auf den Stick schreibt. Aber
ich vermute ganz stark, dass dort Konfig und Logs drauf landen. Evtl.
weiß Patrick oder wer anders mehr.

Post by Marc Stibane

Dafür flackt ja der Metadaten-Kram auf den Platten. Und das ist ja
_der_ Vorteil eines ZFS/raidz/FreeNAS-Ansatzes. Du hast kein
proprietäres RAID sondern kriegst das Ding an irgendeiner Hardware
mit den Platten an irgendwelchen Controllern einfach so wieder ans
Fliegen (zur Not in einer VM aufm Mac und allen Platten in
USB-Gehäusen).

... sondern die Konfiguration ist *komplett* auf den Datenplatten, oder?

Weiß ich nicht. Aber ein raidz[2|3] kriegst Du nur mit den Metadaten,
die auf den Platten selbst existent sind, an einem anderen Host mit ZFS
in gleicher oder höherer Version wieder ans Laufen ("zpool import"
scannt dann alle verfügbaren Disk-Devices auf Metadaten und baut das
RAID wieder zam)

Post by Marc Stibane
Wenn die Dinger darin laufen, und Netgear nicht etwa eine 4TB-
Limitierung eingebaut hat. Im Vorgänger war ein 2TB-Limit.

Kaum, Netgear nutzt ja nur ein bisserl spezielles Linux unter ARM (was
mit Nebenwirkungen einhergeht, siehe [1]). Da kenn ich jenseits der
bekannten 2 TByte-Limits (fdisk, 32-Bit-Überläufe, etc.) erst wieder ein
16TB-Limit bei älteren Versionen von ext4 -- da konnte man dann dicke
Dateisysteme anlegen aber fsck und sowas weigerten sich, die dann
anzufassen, weil die noch intern 32-bittige Strukturen hatten. Linux ist
halt immer wieder für häßliche Überraschungen rund um Storage gut ;-)

BTW: RAID-0? Wirklich?

Gruss,

Thomas

[1] http://www.raid-recovery-guide.com/nas-recovery.aspx

[Patrick Kormann]

Post by Thomas Kaiser
Ich hab keine Ahnung, was/wieviel FreeNAS auf den Stick schreibt. Aber
ich vermute ganz stark, dass dort Konfig und Logs drauf landen. Evtl.
weiß Patrick oder wer anders mehr.

Falls das die Frage ist, die FreeNAS Konfiguration landet IMHO komplett
auf dem Boot-Stick. Wobei man das Boot Device ja nun bei 9.3 auch schon
als redundantes ZFS Volume anlegen kann (hab ich nicht versucht, da ich
ja Upgrade gemacht habe und keinen neu-Install. Ausserdem kann man's mit
der Redundanz IMHO auch übertreiben für nen Heimserver.

[Marc Stibane]

Post by Patrick Kormann

Post by Thomas Kaiser
Ich hab keine Ahnung, was/wieviel FreeNAS auf den Stick schreibt.
Aber ich vermute ganz stark, dass dort Konfig und Logs drauf landen.
Evtl. weiß Patrick oder wer anders mehr.

Falls das die Frage ist, die FreeNAS Konfiguration landet IMHO komplett
auf dem Boot-Stick. Wobei man das Boot Device ja nun bei 9.3 auch schon
als redundantes ZFS Volume anlegen kann (hab ich nicht versucht, da ich
ja Upgrade gemacht habe und keinen neu-Install. Ausserdem kann man's mit
der Redundanz IMHO auch übertreiben für nen Heimserver.

Da geht es aber nicht um Redundanz - der Stick ist ja ein SPoF.
Ich habe eine CA eingerichtet und ein Zertifikat ausgestellt, weil ich
das WebGUI via https ansprechen möchte. User und Gruppen eingerichtet...
Das war doch etliches an Arbeit, und soll natürlich auch gesichert
werden.

Wie/wohin backupst Du das? Und wie bekommst Du es im Schadenfall auf
einen neuen USB-Stick mit jungfräulichem FreeNAS wieder zurück?

[Thomas Kaiser]

Post by Marc Stibane

Post by Patrick Kormann
Falls das die Frage ist, die FreeNAS Konfiguration landet IMHO
komplett auf dem Boot-Stick. Wobei man das Boot Device ja nun bei 9.3
auch schon als redundantes ZFS Volume anlegen kann (hab ich nicht
versucht, da ich ja Upgrade gemacht habe und keinen neu-Install.
Ausserdem kann man's mit der Redundanz IMHO auch übertreiben für nen
Heimserver.

Da geht es aber nicht um Redundanz - der Stick ist ja ein SPoF.

Nicht, wenn Du ihn redundant auslegst -- darauf spielte Patrick ja an:

http://doc.freenas.org/9.3/freenas_system.html#mirroring-the-boot-device

Aber wie ebenfalls schon richtig angesprochen: Man kann's mit der
Redundanz auch übertreiben und das auch im kommerziellen Umfeld (erleben
wir mit schöner Regelmäßigkeit, dass irgendwelche Komponenten ohne Sinn
und Zweck redundant ausgelegt werden und am Ende oft sogar mehr
Fragilität in irgendein Setup bringen, d.h. außer höheren Kosten auch
noch das Gegenteil von dem erreichen, wofür man sie einsetzt -- na gut,
erlebt man bei ZFS-Mirrors natürlich nicht, d.h. alles, was man da
falsch machen könnte, ist einen irrelvanten SPoF durch mehr Hardware
abfangen, was am Ende nur auf unnötige Mehrkosten rausläuft aber keinen
Schaden nach sich zieht)

Post by Marc Stibane
Ich habe eine CA eingerichtet und ein Zertifikat ausgestellt, weil ich
das WebGUI via https ansprechen möchte. User und Gruppen
eingerichtet... Das war doch etliches an Arbeit, und soll natürlich
auch gesichert werden.

http://doc.freenas.org/9.3/search.html?q=backup&check_keywords=yes&area=default
http://doc.freenas.org/9.3/freenas_system.html?highlight=backup
https://forums.freenas.org/index.php?threads/a-script-to-backup-configuration-file-when-changed.12333/
https://github.com/ebright/Freenas-bk-cfg

Gruss,

Thomas

[Marc Stibane]

Marc Stibane schrieb

Post by Marc Stibane

Marc Stibane schrieb

Post by Marc Stibane
Holla, die Waldfee - was passiert wenn der USB-Stick stirbt?

Neues FreeNAS auf'n Stick, *alle* Platten physisch anschließen und
einschalten. Wenn FreeNAS "zpool import" nicht von selbst auf die
Reihe kriegt, dann halt zu Fuß. Wenn alle Devices da sind, wird so
der zpool mit der passenden Redundanz (raidz2 bei Dir) einfach
wieder eingebunden.

Also braucht man keine "originale Config" vom Boot-Device...

Ich hab keine Ahnung, was/wieviel FreeNAS auf den Stick schreibt.
Aber ich vermute ganz stark, dass dort Konfig und Logs drauf landen.

Hmm. Und was davon braucht man (=>Backup)?

Post by Marc Stibane

Dafür flackt ja der Metadaten-Kram auf den Platten.

... die Konfiguration ist *komplett* auf den Datenplatten, oder?

Weiß ich nicht. Aber ein raidz[2|3] kriegst Du nur mit den Metadaten,
die auf den Platten selbst existent sind, an einem anderen Host mit ZFS
in gleicher oder höherer Version wieder ans Laufen ("zpool import"
scannt dann alle verfügbaren Disk-Devices auf Metadaten und baut das
RAID wieder zam)

Ich werde wohl mal im FreeNAS Forum suchen, was denn nun wirklich auf
dem Stick gespeichert wird. Logs wären mir egal, aber Users, Groups,
Zertifikate, Tasks, Services... mag ich nicht erneut einrichten müssen
wenn der Stick abraucht.
Am besten wäre natürlich ein Backup-Task, welcher diese Sachen
automatisch täglich auf den zpool sichert. Und ein Shellscript, welches
ein jungfräuliches FreeNAS auf einem neuen USB-Stick mit diesem
zpool-Backup wieder auf den letzten Stand bringen kann.

Post by Marc Stibane
Wenn die Dinger darin laufen, und Netgear nicht etwa eine 4TB-
Limitierung eingebaut hat. Im Vorgänger war ein 2TB-Limit.

Kaum, Netgear nutzt ja nur ein bisserl spezielles Linux unter ARM (was
mit Nebenwirkungen einhergeht, siehe [1]). Da kenn ich jenseits der
bekannten 2 TByte-Limits (fdisk, 32-Bit-Überläufe, etc.) erst wieder ein
16TB-Limit bei älteren Versionen von ext4 -- da konnte man dann dicke
Dateisysteme anlegen aber fsck und sowas weigerten sich, die dann
anzufassen, weil die noch intern 32-bittige Strukturen hatten. Linux ist
halt immer wieder für häßliche Überraschungen rund um Storage gut ;-)

Die derzeit verbauten 4TB-Platten wurden ja offiziell auch nicht
unterstützt. Schaun wir mal wenn die 8er da sind.

BTW: RAID-0? Wirklich?

Jupp. Geht leider nicht anders, SPAN (und die unbenutzte Platte
runterfahren (lassen), wenn ein Film von der anderen gestreamt wird)
wäre mir ja auch lieber gewesen, aber das bietet die Kiste nicht an.

Backup ist eh vorhanden - das Duo soll einfach nur möglichst viel Daten
möglichst leise und sparsam bereitstellen. Genau das tut es seit >2
Jahren, erst mit 2*2TB, vor 'nem Jahr eben auf 2*4TB umgerüstet. Und
demnächst 2*8TB.

Das Ding läuft 24/7 hier durch. Den N54L will ich runterfahren wenn
immer möglich.

[Patrick Kormann]

Post by Marc Stibane
Holla, die Waldfee - was passiert wenn der USB-Stick stirbt?

Du kannst die Konfiguration auch runterladen. Ausserdem kannst du den
Pool auch sonst wieder importieren, nur die händische Beschriftung ist
dann natürlich weg.

[Marc Stibane]

Post by Patrick Kormann

Post by Marc Stibane
Holla, die Waldfee - was passiert wenn der USB-Stick stirbt?

Du kannst die Konfiguration auch runterladen.

Wie?

Post by Patrick Kormann
Ausserdem kannst du den Pool auch sonst wieder importieren, nur die
händische Beschriftung ist dann natürlich weg.

Welche Beschriftung? Ich will doch schwer hoffen, dass die "Description"
("Tray 0" .. "Tray 3", "ODD", "eSATA") die ich den Platten verpasst habe
auch *auf* der jeweiligen Platte selber gespeichert wird, oder etwa
nicht?
Hmm, zutrauen kann man den Open-Source-Fuzzies das ja schon, dass die
sowas nur in die config schreiben...

[Thomas Kaiser]

Post by Marc Stibane

Post by Patrick Kormann
Ausserdem kannst du den Pool auch sonst wieder importieren, nur die
händische Beschriftung ist dann natürlich weg.

Welche Beschriftung? Ich will doch schwer hoffen, dass die "Description"
("Tray 0" .. "Tray 3", "ODD", "eSATA") die ich den Platten verpasst habe
auch *auf* der jeweiligen Platte selber gespeichert wird, oder etwa
nicht?

Nun ja, zwischen dem Disk-Device und Dir steht ja noch das Dateisystem
an sich. D.h. Dateisystem-Metadaten fallen schon mal flach, weil das ja
vom physischem Disk- und Partitions-Layout völlig abstrahiert ist. Das
muß wenn dann also an den Partitionen drankleben, siehe das vorher schon
erwähnte "glabel" (wenn Du Glück hast, speichert FreeNAS die Description
als GPT label)

Post by Marc Stibane
Hmm, zutrauen kann man den Open-Source-Fuzzies das ja schon, dass die
sowas nur in die config schreiben...

Naja, dann sichert man das halt mit. Wenn Du im Worst Case auf 'ne
andere Hardware umsteigen müsstest, sind die Beschreibungen eh nix mehr
wert.

Gruss,

Thomas

[Patrick Kormann]

Post by Marc Stibane

Post by Patrick Kormann

Post by Marc Stibane
Holla, die Waldfee - was passiert wenn der USB-Stick stirbt?

Du kannst die Konfiguration auch runterladen.

Wie?

System -> General -> Save Config
Gleich daneben ist 'Upload Config', da kannst du sie in einer
jungfräulichen Installation wiederherstellen.

Post by Marc Stibane
Welche Beschriftung? Ich will doch schwer hoffen, dass die "Description"
("Tray 0" .. "Tray 3", "ODD", "eSATA") die ich den Platten verpasst habe
auch *auf* der jeweiligen Platte selber gespeichert wird, oder etwa
nicht?
Hmm, zutrauen kann man den Open-Source-Fuzzies das ja schon, dass die
sowas nur in die config schreiben...

Ich glaube FreeNAS speichert überhuapt nichts auf den Platten, ausser
bei einem Firmwareupdate. Gut, jetzt gibt es noch ein 'System Dataset',
das kann auch auf den Festplatten liegen. Sind aber IMHO nur Log und
Statistikdaten.

[Marc Stibane]

Post by Patrick Kormann

Post by Patrick Kormann
Du kannst die Konfiguration auch runterladen.

System -> General -> Save Config

Done. Dann stehengelassen. 1-2 Std. später wollte ich nachsehen, wie
weit das Resilvering der dritten Platte ist - und das GUI leitet mich
zunächst mal auf die Login-Seite. Normalerweise passiert das erst wenn
ich deutlich länger nichts mehr gemacht habe...

Und die Login-Seite lässt mich nicht mehr rein:
Forbidden (403)
CSRF verification failed. Request aborted.
More information is available with DEBUG=True.

Google fand folgendes:
PROBLEM CSRF verification failed. Request aborted
https://forums.freenas.org/index.php?threads/9388/
https://forums.freenas.org/index.php?threads/16911/
CSRF verification false-positive
https://bugs.freenas.org/issues/5595
9.3 BETA + 9.1.1 config => WebGUI authentication failure
https://bugs.freenas.org/issues/7049

Ich konnte mich vom iPad einloggen, und habe dort unter System ->
General -> Protocol wieder http eingestellt (hatte vor 3 Tagen ja CA und
Zertifikat erzeugt und danach auf https gestellt).

Am iPad komme ich nach wie vor rein, aber am Mac immer noch nicht. Egal
ob mit oder ohne vorangestelltes "http://", Safari will immer
"https://freenas.local" aufrufen. Dabei habe ich gar keine Erweiterung
"https everywhere" o.ä. installiert.

Ich habe schon die Cookies für freenas.local gelöscht.
Woran kann es liegen, dass Safari am Mac mich immer auf die https-Seite
von freenas.local umleiten will?

[Patrick Kormann]

Post by Marc Stibane

Post by Patrick Kormann
System -> General -> Save Config

Done. Dann stehengelassen. 1-2 Std. später wollte ich nachsehen, wie

Keine Ahnung ob das implizieren soll, dass das etwas miteinander zu tun
hat. Könnte ich mir nicht vorstellen. Das läd nur die Config runter
(innert Sekunden)

Post by Marc Stibane
Am iPad komme ich nach wie vor rein, aber am Mac immer noch nicht. Egal
ob mit oder ohne vorangestelltes "http://", Safari will immer
"https://freenas.local" aufrufen. Dabei habe ich gar keine Erweiterung
"https everywhere" o.ä. installiert.

Kann ich mir gerade nicht vorstellen, ausser, dass Safari manchmal etwas
penetrante 'autovervollständigung' macht. Versuch mal http://ip.von.freenas

Post by Marc Stibane
Ich habe schon die Cookies für freenas.local gelöscht.
Woran kann es liegen, dass Safari am Mac mich immer auf die https-Seite
von freenas.local umleiten will?

Weiss ich nicht, hab https noch nicht versucht bei 9.3, brauch ich
eigentlich nicht im lokalen Netz.

[Marc Stibane]

Post by Patrick Kormann

Post by Marc Stibane
Am iPad komme ich nach wie vor rein, aber am Mac immer noch nicht.
Egal ob mit oder ohne vorangestelltes "http://", Safari will immer
"https://freenas.local" aufrufen. Dabei habe ich gar keine
Erweiterung "https everywhere" o.ä. installiert.

Kann ich mir gerade nicht vorstellen, ausser, dass Safari manchmal etwas
penetrante 'autovervollständigung' macht.

wenn ich nur "freenas.local", steht in den Vorschlägen als Toptreffer
"https://freenas.local". Also schreibe ich explizit "http://" davor.
Und trotzdem will Safari wieder die https-Seite aufrufen :-(

Post by Patrick Kormann
Versuch mal http://ip.von.freenas

Da passiert genau dasselbe. Ich tippe "10.0.1.16" (ohne Return) und
Safari schlägt "https://10.0.1.16" als Toptreffer vor. Also schreibe ich
explizit "http://10.0.1.16", und trotzdem will Safari wieder die
https-Seite aufrufen :-(

Post by Patrick Kormann

Post by Marc Stibane
Ich habe schon die Cookies für freenas.local gelöscht.
Woran kann es liegen, dass Safari am Mac mich immer auf die
https-Seite von freenas.local umleiten will?

Weiss ich nicht, hab https noch nicht versucht bei 9.3, brauch ich
eigentlich nicht im lokalen Netz.

Ich hier eigentlich auch nicht, aber da unser Nachbar im selben Netz
hängt könnte der rein theoretisch (zum Glück versteht der eh nix
davon)...

D.h. ich habe jetzt zwei Probleme:

1) Safari nimmt https trotz explizit gewünschtem http

2) FreeNAS 9.3: CSRF verification failed. Request aborted

zu 2) komme ich derzeit (am Mac) gar nicht, weil ich (per iPad) am N54L
https ausgeschaltet habe. D.h. der N54L antwortet auf den https-request
nicht - Safari zeigt nur eine leere weiße Seite.

[Thomas Kaiser]

Post by Marc Stibane
1) Safari nimmt https trotz explizit gewünschtem http

Und Du unterliegst irgendeinem Safari-Nutzungs-Zwang? Schließ Dich doch
dem Trend zum Zweit-Browser an und hoffe zwischenzeitlich, dass der
doofe Bug in Safari irgendwann gefixt wird [1].

Gruss,

Thomas

[1] https://discussions.apple.com/thread/5884595
https://discussions.apple.com/thread/5531657

[Juergen P. Meier]

Post by Thomas Kaiser

Post by Marc Stibane
1) Safari nimmt https trotz explizit gewünschtem http

Und Du unterliegst irgendeinem Safari-Nutzungs-Zwang? Schließ Dich doch
dem Trend zum Zweit-Browser an und hoffe zwischenzeitlich, dass der
doofe Bug in Safari irgendwann gefixt wird [1].

Das wird ihm kaum helfen. Auch alle anderen Browser folgen dem
automatischen Redirect von der HTTP-Seite auf die HTTPS-Version.

[Thomas Kaiser]

Post by Juergen P. Meier

Post by Thomas Kaiser

Post by Marc Stibane
1) Safari nimmt https trotz explizit gewünschtem http

Und Du unterliegst irgendeinem Safari-Nutzungs-Zwang? Schließ Dich
doch dem Trend zum Zweit-Browser an und hoffe zwischenzeitlich, dass
der doofe Bug in Safari irgendwann gefixt wird [1].

Das wird ihm kaum helfen. Auch alle anderen Browser folgen dem
automatischen Redirect von der HTTP-Seite auf die HTTPS-Version.

Und wenn da gar keiner ist? Marc hat HTTPS doch ausgeschalten? Es war
aber mal eingeschalten und Safari hat 302 zurückbekommen und ist nun
felsenfest davon überzeugt, das cachen zu müssen bis in alle Ewigkeit.

Er braucht ja bloß nachgucken, ob Safari oder FreeNAS doof ist:

curl -v "http://freenas.local" >/dev/null

und fertig. Alles Wesentliche schlägt an stderr auf. Ein Test mit einem
anderen Browser sollte auch funktionieren (und ja, es ist ein alter Hut:
aber man sollte nicht unbedingt den Browser, mit dem man durch die
Untiefen des Internets schippert, auch dazu verwenden, paßwortgeschützte
Web-Konfigurations-GUIs von wichtigem Zeugs zu befutteln)

Gruss,

Thomas

[Marc Stibane]

Post by Thomas Kaiser

Post by Juergen P. Meier

Marc Stibane schrieb

Post by Marc Stibane
1) Safari nimmt https trotz explizit gewünschtem http

Schließ Dich doch dem Trend zum Zweit-Browser an und hoffe
zwischenzeitlich, dass der doofe Bug in Safari irgendwann gefixt
wird [1].

Das wird ihm kaum helfen. Auch alle anderen Browser folgen dem
automatischen Redirect von der HTTP-Seite auf die HTTPS-Version.

Und wenn da gar keiner ist? Marc hat HTTPS doch ausgeschalten?

Genau. Und das am iPad, weil da Fehler 2 (CSRF verification failed)
nicht auftrat. Ich hatte zuerst von nur https auf https+http geschaltet,
dann am Mac bemerkt dass immer https genommen wurde (und Fehler 2
auftrat). Deswegen hatte ich dann https ganz abgedreht, und kam am iPad
folgerichtig auch nur noch via http an das FreeNAS-WebGUI. Und mein Mac
(Safari) wollte dann aber immer https nehmen...

Post by Thomas Kaiser
Es war aber mal eingeschalten und Safari hat 302 zurückbekommen und ist
nun felsenfest davon überzeugt, das cachen zu müssen bis in alle Ewigkeit.

Nope. Ich war 3 Tage weg (Tanzwochenende in Budapest), und heute nun
funktioniert erstens Safari wieder mit http (allerdings erst als ich
statt freenas.local nun http://10.0.1.16 aufgerufen habe), und zweitens
tritt auch der CRSF-Bug nicht mehr auf.

Daraufhin habe ich am Mac den N54L wieder auf https only umgeschaltet,
und auch damit konnte ich mich am Mac wieder einloggen.

Kein Reboot, den Safari-Neustart hatte ich schon vor dem WE gemacht und
das hatte damals nichts verändert (Fehler 1 immer noch da), jetzt
einfach nur den Mac 3 Tage stehengelassen, und da ich EyeTV-Aufnahmen
programmiert hatte, hat das rMBP auch nur den Bildschirm ausgeschaltet,
selber aber nicht geschlafen. Und jetzt geht's wieder...

Post by Thomas Kaiser
curl -v "http://freenas.local" >/dev/null

Trying 10.0.1.16...
Connected to freenas.local (10.0.1.16) port 80 (#0)
< Location: https://freenas.local:443/
Connection #0 to host freenas.local left intact

Logo, ich habe ja https wieder eingeschaltet.

Post by Thomas Kaiser
und fertig. Alles Wesentliche schlägt an stderr auf. Ein Test mit einem
aber man sollte nicht unbedingt den Browser, mit dem man durch die
Untiefen des Internets schippert, auch dazu verwenden, paßwortgeschützte
Web-Konfigurations-GUIs von wichtigem Zeugs zu befutteln)

Ich habe hier noch einen Chrome, den ich aber eigentlich nur für Flash
-Webseiten nehme. Aber ein iCab ist auch noch da - und ja damit komme
ich auch rein. Der probiert erst http und wechselt dann automatisch zu
https.

[Juergen P. Meier]

Post by Thomas Kaiser

Post by Juergen P. Meier

Post by Thomas Kaiser

Post by Marc Stibane
1) Safari nimmt https trotz explizit gewünschtem http

Und Du unterliegst irgendeinem Safari-Nutzungs-Zwang? Schließ Dich
doch dem Trend zum Zweit-Browser an und hoffe zwischenzeitlich, dass
der doofe Bug in Safari irgendwann gefixt wird [1].

Das wird ihm kaum helfen. Auch alle anderen Browser folgen dem
automatischen Redirect von der HTTP-Seite auf die HTTPS-Version.

Und wenn da gar keiner ist? Marc hat HTTPS doch ausgeschalten? Es war
aber mal eingeschalten und Safari hat 302 zurückbekommen und ist nun
felsenfest davon überzeugt, das cachen zu müssen bis in alle Ewigkeit.

Hmm, ob da vielleicht http://support.apple.com/kb/PH17186 helfen
koennte? Oder auch http://support.apple.com/kb/PH17195

Post by Thomas Kaiser
und fertig. Alles Wesentliche schlägt an stderr auf. Ein Test mit einem
aber man sollte nicht unbedingt den Browser, mit dem man durch die
Untiefen des Internets schippert, auch dazu verwenden, paßwortgeschützte
Web-Konfigurations-GUIs von wichtigem Zeugs zu befutteln)

Allerdings.

[Marc Stibane]

Post by Juergen P. Meier
Hmm, ob da vielleicht http://support.apple.com/kb/PH17186 helfen
koennte? Oder auch http://support.apple.com/kb/PH17195

Witzig - beide Seiten sind "leer" - jedenfalls in Safari, obwohl ich
gerade (erzwungenermaßen nach einer Kernel-Panic) einen Neustart gemacht
habe, und andere Webseiten (heise newsticker, aber auch das FreeNAS
WebGUI meines N54L) funktionieren. Letzteres übrigens ohne erneute
Passworteingabe...

In iCab werden die Supportseiten problemlos gerendert: "Safari 7
(Mavericks): Reset Safari" und "Safari 7 (Mavericks): Use the Safari
Develop menu".

[Heinz Bastenhorst]

Post by Marc Stibane
Witzig - beide Seiten sind "leer" - jedenfalls in Safari, obwohl ich
gerade (erzwungenermaßen nach einer Kernel-Panic) einen Neustart gemacht
habe, und andere Webseiten (heise newsticker, aber auch das FreeNAS
WebGUI meines N54L) funktionieren. Letzteres übrigens ohne erneute
Passworteingabe...

Hier werden die Seiten auch mit Safari dargestellt. Vielleicht irgend
ein komisches Plugin installiert?

Gruß
h1

[Marc Stibane]

Post by Heinz Bastenhorst

Post by Marc Stibane
Witzig - beide Seiten sind "leer" - jedenfalls in Safari, obwohl ich
gerade (erzwungenermaßen nach einer Kernel-Panic) einen Neustart
gemacht habe

Hier werden die Seiten auch mit Safari dargestellt. Vielleicht irgend
ein komisches Plugin installiert?

AdBlock
ClickToPlugin
Youtube5
OpenAtEnd
Right Exit
autocomplete
Facebook Cleaner
Ghostery
DuckDuckGo

All diese Plugins hatte ich auch schon vor dem Yosemite-Upgrade, also
bei 10.8.5, und da ging noch alles mit Safari.
Ist bestimmt ein weiterer 10.10-Bug...

[Goetz Hoffart]

Post by Marc Stibane
All diese Plugins hatte ich auch schon vor dem Yosemite-Upgrade, also
bei 10.8.5, und da ging noch alles mit Safari.
Ist bestimmt ein weiterer 10.10-Bug...

Du kannst aber testweise auch einfach mal alle Erweiterungen kurz
ausknipsen und es nochmals probieren.

Grüße
Götz

[Peter Brunner]

Post by Goetz Hoffart

Post by Marc Stibane
All diese Plugins hatte ich auch schon vor dem Yosemite-Upgrade, also
bei 10.8.5, und da ging noch alles mit Safari.
Ist bestimmt ein weiterer 10.10-Bug...

Du kannst aber testweise auch einfach mal alle Erweiterungen kurz
ausknipsen und es nochmals probieren.

Hier unter 10.9.5 mit Safari 7.1.2 ebenfalls absolut blanke Seiten, mit
und ohne Erweiterungen. Firefox und Chrome ohne Probleme.

Gruss
Peter

[Juergen P. Meier]

Post by Peter Brunner
Hier unter 10.9.5 mit Safari 7.1.2 ebenfalls absolut blanke Seiten, mit
und ohne Erweiterungen. Firefox und Chrome ohne Probleme.

Gleiche Version: kein Problem Mmit wie ohne Erweiterungen (AdBlock,
AutoPagerize und ClickToPlugin - mehr brauch ich nicht)

Bei euch muss was kaputt sein.

Juergen

[Thomas Kaiser]

Post by Juergen P. Meier

Post by Peter Brunner
Hier unter 10.9.5 mit Safari 7.1.2 ebenfalls absolut blanke Seiten,
mit und ohne Erweiterungen. Firefox und Chrome ohne Probleme.

Gleiche Version: kein Problem Mmit wie ohne Erweiterungen (AdBlock,
AutoPagerize und ClickToPlugin - mehr brauch ich nicht)
Bei euch muss was kaputt sein.

Na, vielleicht ist doch genau das Teil des Problems (Safari stieß/stößt
auf einen 302-Redirect und läßt sich fortan nicht mehr vom Darstellen
einer weißen Seite abbringen)?

In Safari Einstellungen --> Erweitert --> "Entwickler-Menü anzeigen",
dann im Entwickler-Menü "Webinformationen einblenden" auswählen, unten
auf "Timelines" klicken, links "Netzwerkanfragen" anklicken und ganz
simpel nachschauen, was eigentlich genau passiert, wenn die Seite
geladen werden soll. Alternativ: herumrätseln. Muß man halt mögen...

Gruss,

Thomas

[Peter Brunner]

Post by Thomas Kaiser

Post by Juergen P. Meier

Post by Peter Brunner
Hier unter 10.9.5 mit Safari 7.1.2 ebenfalls absolut blanke Seiten,
mit und ohne Erweiterungen. Firefox und Chrome ohne Probleme.

Gleiche Version: kein Problem Mmit wie ohne Erweiterungen (AdBlock,
AutoPagerize und ClickToPlugin - mehr brauch ich nicht)
Bei euch muss was kaputt sein.

Na, vielleicht ist doch genau das Teil des Problems (Safari stieß/stößt
auf einen 302-Redirect und läßt sich fortan nicht mehr vom Darstellen
einer weißen Seite abbringen)?
In Safari Einstellungen --> Erweitert --> "Entwickler-Menü anzeigen",
dann im Entwickler-Menü "Webinformationen einblenden" auswählen, unten
auf "Timelines" klicken, links "Netzwerkanfragen" anklicken und ganz
simpel nachschauen, was eigentlich genau passiert, wenn die Seite
geladen werden soll. Alternativ: herumrätseln. Muß man halt mögen...

Zu spät, der Spuk hat sich selber weggezaubert: Nach einem Neustart -
des Macs, nicht bloss von Safari - ist alles wieder so, wie es sein
soll. Für die, die's mögen oder halt nicht besser können (wie z.B. ich)
bleibt allerdings rätselhaft, weshalb ein komplettes Zurücksetzen von
Safari, mit Löschen von Caches und Cookies, zuvor nichts gebracht hat.

Gruss
Peter

[Marc Stibane]

Post by Peter Brunner
Zu spät, der Spuk hat sich selber weggezaubert: Nach einem Neustart -
des Macs, nicht bloss von Safari - ist alles wieder so, wie es sein
soll. Für die, die's mögen oder halt nicht besser können (wie z.B. ich)
bleibt allerdings rätselhaft, weshalb ein komplettes Zurücksetzen von
Safari, mit Löschen von Caches und Cookies, zuvor nichts gebracht hat.

Ich habe in den letzten Tagen 2,3 mal mein rMBP rebootet. Das Problem
tritt immer noch auf, gestern abend z.B. auf der Lufthansa-Webseite.
Buchen konnte ich den Flug erst (problemlos) mit iCab...

[Marc Stibane]

Post by Thomas Kaiser
im Entwickler-Menü "Webinformationen einblenden" auswählen, unten
auf "Timelines" klicken, links "Netzwerkanfragen" anklicken und ganz
simpel nachschauen, was eigentlich genau passiert, wenn die Seite
geladen werden soll.

Timeline-Ereignisse
- PH17186
<html><head><style type="text/css"></style></head><body></body></html>
- Ereignis "Page Hide" übergeben
... (einen Haufen mehr Ereignisse - leider muss man scrollen)

danach habe ich irgendwo in die Timeline geklickt (in den horizontalen
Scroll-Indicator, aber der Klick ging durch und hat ein Intervall
markiert), und irgendwas verstellt, was ich nicht rückgängig machen
kann. Ich habe das Intervall zwar von 0 auf 5 Sekunden aufgezogen, aber
trotzdem gibt es keine Daten mehr unter "Einträge", alles leer.
Das gilt global, nicht nur auf der PH17186-Webseite. Ich habe einen
neuen Tab geöffnet, PH17195 aufgerufen, Webinfos eingeblendet, und
bekomme dieselben Ereignisse (nämlich keine) wie bei PH17186.

Wie kann man das Entwickler-Feld resetten?

[Marc Stibane]

Post by Marc Stibane
Alles gut, wieder was gelernt. Und das alte Vorurteil bestätigt -
Open Source Leute können kein GUI designen...

Nachdem ich bereits vor 3 Wochen vier der sechs 3TB-Platten sukzessive
durch (hier bereits rumliegende) 4TB-Platten ersetzt hatte, was auch
problemlos ging weil die 4 Käfigtrays von links nach rechts startend von
0 durchnummeriert sind, wollte ich heute die restlichen zwei resilvern,
um danach eben 16TB netto (24TB brutto, raidz2) zu haben. (*)

Ich hatte ja unter View-Disks jeder "Platte" (ada0..ada5) ein Label
gegeben (Tray0..Tray3, ODD, eSATA). Und dabei eben ada4 = ODD und ada5 =
eSATA angenommen. Das fiel bisher nicht auf, weil ich den ganzen zpool
ja mit vier 2TB WD green und schon zwei 3TB Seagate initialisiert hatte,
und dann nur noch die vier Käfig-Trays resilvern musste, um auf sechs
3TB zu kommen. Aber eSATA ist ada4, und ODD ada5. Ich hatte also die
Labels quasi vertauscht.

Als ich dann ada5 (Label "eSATA") auf offline gesetzt habe und die
eSATA-Disk ausgetauscht hatte, fuhr das System zwar voll funktionierend
hoch, aber eben mit 2 fehlenden Disks (ODD offline aber vorhanden, eSATA
unavailable, stattdessen eben die neue, unformatierte Toshiba). Kann
passieren, ausschalten, die Toshiba in den ODD-Schacht einbauen, und die
ursprüngliche eSATA-Disk wieder anschließen.

Anschließend fuhr das System genau wie erwartet hoch, 5 Disks online,
eine offline. Und man kann mit View-Volumes=>Status die Offline-Disk
auswählen und "Replace" wählen, woraufhin die neue Toshiba als Ersatz
angeboten wird. Alles wie erwartet...

Nur wenn man dann unter View-Disks schaut, hat die eSATA-Disk kein Label
mehr. Die Labels Tray0..Tray3 sind vorhanden, die neue Toshiba auf ada5
hat natürlich noch keins, aber die eSATA-Disk auf ada4 hatte heute früh
noch das Label ODD gehabt. Nix, verschwunden.

WARNUNG: Platte rausnehmen, booten, runterfahren, Platte wieder rein,
booten, Label weg.
Ganz großer Bahnhof - genau dann wenn man das Label braucht um Disks zu
identifizieren, verschwindet es einfach.
Hilft alles nix, man muss sich wirklich die Seriennummern der Platten
zusammen mit der physikalischen Position (Tray0..3, eSATA, ODD) und der
logischen Adresse (ada0..5) auf einem PostIt-Klebezettel o.ä. notieren
und in den Server kleben.

Und da wundern sich die Open Source Leute, dass Enduser lieber Windows
oder MacOS nehmen...



(*) Bei Alternate via eBay (!) gefunden: 4TB Intenso Retail mit 2 Jahren
Garantie (nicht nur gesetzl. Gewährleistung) für 99€ incl. Versand.
Geliefert werden Toshiba MD04ACA400 (4kn, nicht 512e) in buntbedruckter
Schachtel mit Handbuch und 4 Schrauben.
Im Shop von Alternate.de gibt es dieses Angebot nicht, nur bei eBay.

Die bereits verbauten vier 4TB Seagate Desktop sind 512e.
Die erste 4kn Toshiba wurde von FreeNAS 9.3 problemlos formatiert,
resilvering ist schon bei 12%, Restzeit ca. 6,5 Stunden. Danach kommt
die zweite dran.

[Thomas Kaiser]

Post by Marc Stibane
Hilft alles nix, man muss sich wirklich die Seriennummern der Platten
zusammen mit der physikalischen Position (Tray0..3, eSATA, ODD) und
der logischen Adresse (ada0..5) auf einem PostIt-Klebezettel o.ä.
notieren und in den Server kleben.

Die "logischen" Adressen kannst Du doch auch schon komplett vergessen,
weil Konvention ist, einfach stumpf von ada0 nach adaX hochzuzählen und
wenn ada1 von gestern heute fehlt, wird aus ada2 eben ada1. Ergo: Vergiß
es, die Device-Nummern sind "flüchtig".

Post by Marc Stibane
Und da wundern sich die Open Source Leute, dass Enduser lieber Windows
oder MacOS nehmen...

Das ist immer noch Quatsch. Eine Software wie FreeNAS hat keine Augen
und sieht den blöden Server nicht bzw. wo der überall Anschlüsse hat, an
die man was anschließen könnte. Das, was Du willst, kriegst Du nicht mit
einer Software-Lösung, die auf allem von der virtuellen Maschine über
popelige HP MicroServer bis hin zu fetten Servern mit hunderten Platten
an SAS-Expandern, läuft. Das kriegst Du nur mit einer "Appliance", wenn
Hard- und Software Hand in Hand zusammenarbeiten bzw. die Software auch
weiß, auf was für physischer Hardware sie läuft. Hatten wir in diesem
Thread am 8. Januar bis zum Erbrechen durchgekaut. Einfach nochmal
nachlesen:

https://groups.google.com/forum/#!topic/de.comp.sys.mac.lokale-netze/nXEN2Qxzw1g%5B26-50%5D

IMO hast Du nur zwei persistente Kriterien, die Du zusammenbringen mußt:

- Die Seriennummer der Platte (liest man per smartctl aus, nachdem die
Platte erste "Burn in"-Tests separat fährt, man wird ja kaum ein Rudel
neuer Platten in einem Rutsch in einen Server verbauen und da gleich
Daten drauf tun, wenn man nicht weiß, ob die das überhaupt abkönnen)

- die physische Position der einzelnen Platten im Server

Bei mir sind das Textdateien mit der smartctl-Ausgabe (zwengs lang-
fristige Dokumentation bzw. wie sich welche Parameter mit der Zeit
ändern), deren Benamung manuell vorgenommen die Position im Gehäuse
widerspiegelt (tray0.txt, tray1.txt, odd.txt, usw.)

Post by Marc Stibane
Geliefert werden Toshiba MD04ACA400 (4kn, nicht 512e) [...] Die erste
4kn Toshiba wurde von FreeNAS 9.3 problemlos formatiert, resilvering
ist schon bei 12%, Restzeit ca. 6,5 Stunden.

Kannst Du mal bitte Temperaturwerte posten? "smartctl -a" und
idealerweise auch "smartctl -l scttemp" (so die Toshiba das überhaupt
können)

Dank' und Gruss,

Thomas

[Marc Stibane]

Post by Thomas Kaiser

Post by Marc Stibane
Hilft alles nix, man muss sich wirklich die Seriennummern der Platten
zusammen mit der physikalischen Position (Tray0..3, eSATA, ODD) und
der logischen Adresse (ada0..5) auf einem PostIt-Klebezettel o.ä.
notieren und in den Server kleben.

Die "logischen" Adressen kannst Du doch auch schon komplett vergessen,
weil Konvention ist, einfach stumpf von ada0 nach adaX hochzuzählen und
wenn ada1 von gestern heute fehlt, wird aus ada2 eben ada1. Ergo: Vergiß
es, die Device-Nummern sind "flüchtig".

Ändert nix daran, dass man in FreeNAS z.B. einen SMART-Test für ada-n
anlegt. Genau darüber meckere ich doch, dass FreeNAS diese volatilen
Device-Nummern an allen Ecken verwendet, auch für CRON-Jobs...

Post by Thomas Kaiser

Post by Marc Stibane
Und da wundern sich die Open Source Leute, dass Enduser lieber
Windows oder MacOS nehmen...

Das ist immer noch Quatsch. Eine Software wie FreeNAS hat keine Augen
und sieht den blöden Server nicht bzw. wo der überall Anschlüsse hat, an
die man was anschließen könnte.

MacOS und Windows auch nicht. Aber da kann ich einer Disk einen Namen
geben, und den behält sie auch wenn ich sie an einem anderen Port
anschließe (sofern der Name eindeutig ist). Bei FreeNAS ist unter
View-Disks die erste Spalte überschrieben mit "Name", und als Werte sind
ada0..5 drin. Der User kann keinen Namen vergeben, das macht das System
beim booten, je nachdem in welcher Reihenfolge die Devices gefunden
werden. Und das wird ausgerechnet dann inkonsistent, wenn eine Platte
ausfällt, also genau dann wenn die Panik eh schon da ist...

Das einzige Feld was der User selber setzen kann ist "Description".
Platte ab, booten, Platte wieder dran, nochmal booten, und das Feld ist
gelöscht. Echt genial...

Post by Thomas Kaiser
Das, was Du willst

ist dass der User den Namen der Platte vergeben kann, der dann auf die
Platte selber geschrieben wird, und auch noch da ist wenn man die Platte
an einem anderen Port anschließt. Oder an einen anderen Rechner.
Hexenwerk. Völlig unmöglich... (für Open Source Software ;-)

Post by Thomas Kaiser
- Die Seriennummer der Platte
- die physische Position der einzelnen Platten im Server

und 'nen User-vergebenen Namen oder Description, was auch im
Schadensfall erhalten bleibt.

Unter View-Disks sehe ich ja genau dieses Tupel: Name (ada0..5
entspricht physischer Position genau so lange wie keine Disk ausfällt),
Seriennummer, und Description (behält den vom User reingeschriebenen
Wert solange die Platte nicht abgeklemmt wird). Bei Schönwetter alles
prima.

Aber unter View-Volumes, vdev, Status sehe ich weder Description noch
Seriennummer der Platte. Die erste Spalte heißt auch "Name", da ist aber
jeweils der logische Partitionsname drin (ada0p2 .. ada5p2) - p2 weil
FreeNAS auf jeder Disk erstmal selber eine 2GB Swap-Partition anlegt,
und dann den Rest der Disk als Datenpartition verwendet.

Es kann doch eigentlich nicht so schwer sein, von der Disk selber die
Seriennummer und die Description auszulesen und hier auch anzuzeigen,
oder? Das wäre jedenfalls das was ich machen würde, weil der "Name" vor
dem "p2" ja wie oben festgestellt Schall und Rauch ist. Aber hier gibt
es nur den Namen, sonst nix.

Post by Thomas Kaiser
Bei mir sind das Textdateien mit der smartctl-Ausgabe (zwengs lang-
fristige Dokumentation bzw. wie sich welche Parameter mit der Zeit
ändern), deren Benamung manuell vorgenommen die Position im Gehäuse
widerspiegelt (tray0.txt, tray1.txt, odd.txt, usw.)

Handarbeit. Weil der Computer es nicht selber kann...

Post by Thomas Kaiser

Post by Marc Stibane
Geliefert werden Toshiba MD04ACA400 (4kn, nicht 512e) [...] Die erste
4kn Toshiba wurde von FreeNAS 9.3 problemlos formatiert, resilvering
ist schon bei 12%, Restzeit ca. 6,5 Stunden.

Kannst Du mal bitte Temperaturwerte posten? "smartctl -a" und
idealerweise auch "smartctl -l scttemp" (so die Toshiba das überhaupt
können)

Dafür habe ich ein ShellScript: ./temperature.sh
System Temperatures - Mon Mar 16 12:39:25 CET 2015
System Load: 3.14
CPU Temperature:
dev.cpu.0.temperature: 52.6C
dev.cpu.1.temperature: 52.6C

HDD Temperature:
ada0: 33 C - ST4000DM000-1F2168
ada1: 34 C - ST4000DM000-1F2168
ada2: 34 C - ST4000DM000-1F2168
ada3: 33 C - ST4000DM000-1F2168
ada4: 45 C - ST3000DM001-9YN166
ada5: 42 C - TOSHIBA MD04ACA400

Aktuell 42% resilvert, die Kiste arbeitet seit 3 Stunden unter Last.
Die Toshiba schwebt im ODD-Tray (mit 4 Gummi-Spacern auf 5.25"-Breite
gebracht, damit sie in die Führungsschiene passt), hat also Luft an
allen Seiten. Der Lüfter sitzt bekanntlich direkt hinter dem Platten-
käfig, oben beim ODD zieht also nur wenig Luft vorbei.
Die eSATA-Disk ada4 liegt einfach nackt oben auf dem Server (auf einer
1mm Schaumstofflage), ungekühlt. Ich hatte mir schon überlegt, die mit
einer Halterung außen hinter den Lüfter zu setzen damit sie wenigstens
einen Luftzug hat, aber wenn das Resilvern durch ist ist eh kaum noch
Last auf dem Server, und deren Temperatur sinkt auf unter 40 Grad C.

Ich poste nachher nochmal die Werte wenn die 3TB eSATA-Disk ebenfalls
durch die zweite 4TB Toshiba ersetzt worden ist.

[Marc Stibane]

Post by Marc Stibane
Ich poste nachher nochmal die Werte wenn die 3TB eSATA-Disk ebenfalls
durch die zweite 4TB Toshiba ersetzt worden ist.

So sah es nach ca. 6% resilvering (ca. 20min) der zweiten Toshiba aus:

[***@freenas ~]# ./temperature.sh
System Temperatures - Mon Mar 16 18:48:39 CET 2015
System Load: 2.78, 2.29
CPU Temperature:
dev.cpu.0.temperature: 52.7C
dev.cpu.1.temperature: 52.7C

HDD Temperature:
ada0: 32 C - ST4000DM000-1F2168
ada1: 34 C - ST4000DM000-1F2168
ada2: 33 C - ST4000DM000-1F2168
ada3: 33 C - ST4000DM000-1F2168
ada4: 40 C - TOSHIBA MD04ACA400
ada5: 40 C - TOSHIBA MD04ACA400


Ich schaue in 'ner Stunde nochmal - wenn die außen auf dem Server
liegende Toshiba ada4 ohne Luftstrom zu warm wird, werde ich sie mit der
Seagate ada0 im Käfig tauschen.

[Thomas Kaiser]

Post by Marc Stibane
dev.cpu.0.temperature: 52.7C
dev.cpu.1.temperature: 52.7C
ada0: 32 C - ST4000DM000-1F2168
ada1: 34 C - ST4000DM000-1F2168
ada2: 33 C - ST4000DM000-1F2168
ada3: 33 C - ST4000DM000-1F2168

Die Seagate-Temperaturen sind plausibel. Als ich mit "meinem" N54L
getestet hatte, war das alles im selben Bereich und auch ada1 die
Spitzenreiterin, weil die die Temperatur von CPU und Chipsatz drunter
per Konvektion zusätzlich abbekommt. So lange man aber nicht weiß, wo in
der Platte der Temperatur-Sensor steckt, braucht man es auch nicht
übertreiben und kann v.a. immer nur baugleiche Platten sinnvoll
miteinander vergleichen.

Seitdem ich den N54L bei der Kundin horizontal in ihr Netzwerk-
Schrankerl gebettet habe, ist ada0 die oberste Platte und im Schnitt um
2-3°C wärmer als die unterste. Bei den beiden oberen beiden Platten in
"meinem" Setup schwankt die Temperatur zudem nicht so sehr in
Abhängigkeit von der Last. Die kriegen einfach zu viel Konvektion von
drunter ab (trotz Lüfter, der aber immer nur auf Minimalgeschwindigkeit
und quasi unhörbar dreht)

Bei der großen Plattensterben-Studie von Google fanden sie ja keine
Korrelation zwischen Betriebstemperatur und vorzeitigem Ableben von
Platten, statistisch relevant schienen hingegen große Temperatur-
schwankungen gewesen zu sein. Aber mit der Einschränkung, dass hohe
Schwankungen automatisch auch bei Systemen auftreten, die öfter
Service-Intervalle haben, also gemeinhin "Problemservern". Mit anderen
Worten: Temperatur wird überschätzt zumindest bei Platten. Im Zweifel
kühler ist sicher besser aber auch ein wenig wurscht, wenn's paar Grad
zu viel sind.

Post by Marc Stibane
ada4: 40 C - TOSHIBA MD04ACA400
ada5: 40 C - TOSHIBA MD04ACA400
Ich schaue in 'ner Stunde nochmal - wenn die außen auf dem Server
liegende Toshiba ada4 ohne Luftstrom zu warm wird, werde ich sie mit der
Seagate ada0 im Käfig tauschen.

Bei meinen Tests der letzten Monate hab ich gemerkt, dass vertikale
Befestigung von Platten mit ausreichend Luftzirkulation drumherum immer
paar Grad kühler bedeutet. Weil Konvektion. Aber die paar Grad sollten
andererseits auch kein Problem sein.

Ich würde an Deiner Stelle mit einer Platte außerhalb drauf achten, eine
exakt baugleiche in einem der Laufwerk-Trays zu haben, denn dann kriegst
Du gratis über die Temperatursensoren in den Laufwerken auch die Raum-
temperatur. Aber im Prinzip müsstest Du dann dem collectd beibringen,
auch die Temperatur-Werte in eine RRD zu schreiben und zusätzlich Logik
nachfüttern, die auf Veränderungen der Temperatur-Delta (absolut als
auch relativ zwischen "intern" und "extern") sinnvoll reagiert. Wenn
bspw. alle Temperaturwerte konstant steigen und außerhalb einen Ticken
schneller, dann bricht entweder mit Macht der Sommer an oder die Bude
fackelt gerade ab. Steigen die Temperaturen intern schneller, dann ist
der Microserver der Brandbeschleuniger. Alles drei interessante
Informationen ;-)

Gruss,

Thomas.

[Marc Stibane]

Post by Thomas Kaiser

Post by Marc Stibane
ada0: 32 C - ST4000DM000-1F2168
ada1: 34 C - ST4000DM000-1F2168
ada2: 33 C - ST4000DM000-1F2168
ada3: 33 C - ST4000DM000-1F2168

Die Seagate-Temperaturen sind plausibel. Als ich mit "meinem" N54L
getestet hatte, war das alles im selben Bereich und auch ada1 die
Spitzenreiterin, weil die die Temperatur von CPU und Chipsatz drunter
per Konvektion zusätzlich abbekommt. So lange man aber nicht weiß, wo in
der Platte der Temperatur-Sensor steckt, braucht man es auch nicht
übertreiben und kann v.a. immer nur baugleiche Platten sinnvoll
miteinander vergleichen.

Yes but...
wie bereits geschrieben, war heute früh die ungekühlte eSATA Toshiba bei
42 Grad, und fühlte sich in der Hand auch wirklich warm an. Als ich die
Seagate aus dem Käfig nahm, fühlte die sich deutlich kälter an.

Post by Thomas Kaiser

Post by Marc Stibane
ada4: 40 C - TOSHIBA MD04ACA400
ada5: 40 C - TOSHIBA MD04ACA400

Diese 7 Grad Differenz glaube ich durchaus aufgrund des Handgefühls.

Post by Thomas Kaiser
Bei meinen Tests der letzten Monate hab ich gemerkt, dass vertikale
Befestigung von Platten mit ausreichend Luftzirkulation drumherum immer
paar Grad kühler bedeutet. Weil Konvektion. Aber die paar Grad sollten
andererseits auch kein Problem sein.

Trotzdem hätte ich gerne <40 Grad.

Post by Thomas Kaiser
Ich würde an Deiner Stelle mit einer Platte außerhalb drauf achten, eine
exakt baugleiche in einem der Laufwerk-Trays zu haben, denn dann kriegst
Du gratis über die Temperatursensoren in den Laufwerken auch die Raum-
temperatur.

Wie das? Ich vermute mal dass es hier ungefähr 22-23 Grad warm ist
(Südostfront, Sonne) - wie soll ich mit 32 Grad (Tray2) und 35 Grad
(eSATA) darauf kommen?

Post by Thomas Kaiser
Aber im Prinzip müsstest Du dann dem collectd beibringen, auch die
Temperatur-Werte in eine RRD zu schreiben und zusätzlich Logik
nachfüttern, die auf Veränderungen der Temperatur-Delta (absolut als auch
relativ zwischen "intern" und "extern") sinnvoll reagiert. Wenn bspw. alle
Temperaturwerte konstant steigen und außerhalb einen Ticken schneller,
dann bricht entweder mit Macht der Sommer an oder die Bude fackelt gerade
ab.

Oder die Nacht ist vorbei und die Frühlingssonne knallt auf die
Fensterfront (3 Doppelflügelfenster jeweils mit Oberlicht). Der HP steht
in der Ecke schräg unterhalb des Fensters an der Wand, bekommt also
keine direkte Sonneneinstrahlung ab, aber der Fußboden davor wird
merklich warm. Und somit auch die in durchströmende Umgebungsluft.

Post by Thomas Kaiser
Steigen die Temperaturen intern schneller, dann ist der Microserver der
Brandbeschleuniger. Alles drei interessante Informationen ;-)

Durchaus...

[Thomas Kaiser]

Post by Marc Stibane
wie bereits geschrieben, war heute früh die ungekühlte eSATA Toshiba
bei 42 Grad

Horizontal auf Schaumstoff herumliegend ist halt auch nicht wirklich
ideal. Wenn Du Platte sicher vertikal und mit Luftzirkulation drumrum
außerhalb verstauen würdest, würde die Temperatur auch schon um ein paar
Grad zurückgehen.

Post by Marc Stibane
und fühlte sich in der Hand auch wirklich warm an. Als ich die Seagate
aus dem Käfig nahm, fühlte die sich deutlich kälter an.

Post by Thomas Kaiser

Post by Marc Stibane
ada4: 40 C - TOSHIBA MD04ACA400
ada5: 40 C - TOSHIBA MD04ACA400

Diese 7 Grad Differenz glaube ich durchaus aufgrund des Handgefühls.

Yo, und damit sind diese Intenso/TOSHIBA MD04ACA400 in die Kategorie
Hitzköpfe einzuordnen. Ich würde die Dinger ja eher nicht in den
Luftstrom (und damit Temperatursensor) des Lüfters hängen sondern
außerhalb per Konvektion betreiben. Weil niedrigere Lüfterdrehzahl
sticht ;-)

Post by Marc Stibane

Post by Thomas Kaiser
Bei meinen Tests der letzten Monate hab ich gemerkt, dass vertikale
Befestigung von Platten mit ausreichend Luftzirkulation drumherum
immer paar Grad kühler bedeutet. Weil Konvektion. Aber die paar Grad
sollten andererseits auch kein Problem sein.

Trotzdem hätte ich gerne <40 Grad.

Sollte auch bei den Toshiba durch vertikal+Konvektion möglich sein. BTW:
Aus Neugierde bzw. um diese Billigheimer einzuschätzen. Kannst Du bitte
einmal "smartctl -l scttemp" auf die Toshiba loslassen, die von außen
nach innen gewandert ist? Einfach nur um zu wissen, ob/wie die ihren
Temperaturverlauf intern logged.

Post by Marc Stibane

Post by Thomas Kaiser
Ich würde an Deiner Stelle mit einer Platte außerhalb drauf achten,
eine exakt baugleiche in einem der Laufwerk-Trays zu haben, denn dann
kriegst Du gratis über die Temperatursensoren in den Laufwerken auch
die Raum- temperatur.

Wie das? Ich vermute mal dass es hier ungefähr 22-23 Grad warm ist
(Südostfront, Sonne) - wie soll ich mit 32 Grad (Tray2) und 35 Grad
(eSATA) darauf kommen?

In Deinem Setup mit direkter Sonneneinstrahlung bzw. Lufterwärmung vor
dem Microserver unmöglich. Aber unter "kontrollierten Bedingungen" bspw.
im Serverschränkchen oder in der Abstellkammer kann man nach paar
Messungen (iozone mit sequentiellen Transfers, dann random I/O, dann
gemischt) und den dann bekannten Temperaturwerten und dem Mitschneiden
der realen Raumtemperatur recht simpel ein mathematisches Modell
entwickeln, mit dem sich in Abhängigkeit von Plattentemperaturen und
mitgeschnittenen Parametern ("iostat 5" reicht da bereits, weil man da
CPU-Auslastung, tps (random I/O) und I/O-Datenmengen mit in die Rechnung
einbringen kann) die Umgebungstemperatur auch ohne Temperaturfühler bis
aufs Grad genau bestimmen läßt. Zumindest so lange die Werte nicht rasch
wechseln, dann galoppiert das mathematische Modell der Realität davon.

Ich hab das mit 'nem Spezl, zwei Platten an einem Banana Pi und echten
Temperatursensoren im Januar mal durchgespielt. Wir sind auf 0,5° bis
max. 1° Anweichung gekommen anhand iostat-Ausgabe, Berücksichtigung von
thermischer Trägheit und der per SMART ausgelesenen Plattentemperaturen.
Mir fehlen leider die Mathe-Skills und er meinte, das spezifische Modell
gälte nur für exakt diesen Aufbau (_das_ hat noch in meinen Kopf gepaßt
zum Glück). Und damit war das dann auch nur 'ne nette Übung bzw. was
"für die Schublade" (hätte eigentlich Teilprojekt von "OpenSource Time-
Capsule" werden sollen)

Wie auch immer. Mit einer Platte draußen und einer drinnen und dem
permanenten Mitscheiden von Temperatur-Änderungs-Delta und System-
Parametern (CPU-Auslastung _und_ I/O) kannst Du bei einem plötzlichen
Anstieg der Temperaturen auch deren Herkunft lokalisieren. Meist wohl
eher witzlos -- ich hab bei dem produktiven N54L, den ich neulich
ausgeliefert habe, einfach "HDD-Temperatur > 39°" als Alarmkriterium
eingestellt, denn alleine durch Volllast ist der Wert mit den verbauten
Seagate "Pipeline" gar nicht zu erreichen, der Server ist relativ
unabhängig von Außentemperaturen aufgestellt, d.h. 40° im Server kommen
dann definitiv von innerhalb des Gebäudes und sind Indiz für nix Gutes.

Bzw. hab ich per https://ifttt.com den ersten warmen Tag auf
Wiedervorlage, dann kommt 'ne Mail und ich prüf noch einmal manuell,
wie/ob sich +27° draußen auf Platten-Temperaturen im Inneren des Servers
auswirken. Dann wird der Alarm-Triggerwert ggf. bisserl hochgesetzt.

Gruss,

Thomas

[Marc Stibane]

Post by Thomas Kaiser
Aus Neugierde bzw. um diese Billigheimer einzuschätzen. Kannst Du bitte
einmal "smartctl -l scttemp" auf die Toshiba loslassen, die von außen
nach innen gewandert ist? Einfach nur um zu wissen, ob/wie die ihren
Temperaturverlauf intern logged.

Tut sie:


smartctl 6.3 2014-07-26 r3976 [FreeBSD 9.3-RELEASE-p8 amd64] (local
build)
Copyright (C) 2002-14, Bruce Allen, Christian Franke,
www.smartmontools.org

=== START OF READ SMART DATA SECTION ===
SCT Status Version: 3
SCT Version (vendor specific): 1 (0x0001)
SCT Support Level: 1
Device State: Active (0)
Current Temperature: 36 Celsius
Power Cycle Min/Max Temperature: 34/36 Celsius
Lifetime Min/Max Temperature: 22/45 Celsius
Under/Over Temperature Limit Count: 0/0

SCT Temperature History Version: 2
Temperature Sampling Period: 1 minute
Temperature Logging Interval: 1 minute
Min/Max recommended Temperature: 5/55 Celsius
Min/Max Temperature Limit: 5/55 Celsius
Temperature History Size (Index): 478 (325)

Index Estimated Time Temperature Celsius
326 2015-03-17 08:00 42 ***********************
... ..( 22 skipped). .. ***********************
349 2015-03-17 08:23 42 ***********************
350 2015-03-17 08:24 41 **********************
... ..( 6 skipped). .. **********************
357 2015-03-17 08:31 41 **********************
358 2015-03-17 08:32 42 ***********************
359 2015-03-17 08:33 41 **********************
... ..( 2 skipped). .. **********************
362 2015-03-17 08:36 41 **********************
363 2015-03-17 08:37 42 ***********************
... ..(137 skipped). .. ***********************
23 2015-03-17 10:55 42 ***********************
24 2015-03-17 10:56 ? -
25 2015-03-17 10:57 37 ******************
... ..( 5 skipped). .. ******************
31 2015-03-17 11:03 37 ******************
32 2015-03-17 11:04 36 *****************
... ..( 15 skipped). .. *****************
48 2015-03-17 11:20 36 *****************
49 2015-03-17 11:21 35 ****************
... ..( 24 skipped). .. ****************
74 2015-03-17 11:46 35 ****************
75 2015-03-17 11:47 36 *****************
... ..( 39 skipped). .. *****************
115 2015-03-17 12:27 36 *****************
116 2015-03-17 12:28 ? -
117 2015-03-17 12:29 34 ***************
118 2015-03-17 12:30 34 ***************
119 2015-03-17 12:31 35 ****************
... ..( 35 skipped). .. ****************
155 2015-03-17 13:07 35 ****************
156 2015-03-17 13:08 36 *****************
... ..(168 skipped). .. *****************
325 2015-03-17 15:57 36 *****************

[Marc Stibane]

Post by Thomas Kaiser

Post by Marc Stibane
wie bereits geschrieben, war heute früh die ungekühlte eSATA Toshiba
bei 42 Grad

Horizontal auf Schaumstoff herumliegend ist halt auch nicht wirklich
ideal. Wenn Du Platte sicher vertikal und mit Luftzirkulation drumrum
außerhalb verstauen würdest, würde die Temperatur auch schon um ein paar
Grad zurückgehen.

Hast recht... read on...

Post by Thomas Kaiser
Yo, und damit sind diese Intenso/TOSHIBA MD04ACA400 in die Kategorie
Hitzköpfe einzuordnen. Ich würde die Dinger ja eher nicht in den
Luftstrom (und damit Temperatursensor) des Lüfters hängen sondern
außerhalb per Konvektion betreiben. Weil niedrigere Lüfterdrehzahl
sticht ;-)

Das Argument hat mich überzeugt. Da mir eine hochkant stehende Platte
auf dem Server aber zu instabil scheint (trotzdem hier weder Haustiere
noch Kleinkinder rumwuseln), habe ich eben einfach beide Toshibas nach
außen verlegt, und mit den 5,25"-Einbauschienen miteinander verschraubt.

Beide stehen hochkant 8cm voneinander entfernt nackt auf dem N54L,
Umfallen ausgeschlossen, und der Lüfter muss jetzt nur noch die 4
Seagates kühlen. Resultat:

[***@freenas ~]# ./temperature.sh
System Temperatures - Wed Mar 18 15:07:52 CET 2015
System Load: 0.13, 0.15

CPU Temperature:
dev.cpu.0.temperature: 34.1C
dev.cpu.1.temperature: 34.1C

HDD Temperature:
ada0: 32 C - ST4000DM000-1F2168
ada1: 33 C - ST4000DM000-1F2168
ada2: 32 C - ST4000DM000-1F2168
ada3: 32 C - ST4000DM000-1F2168
ada4: 37 C - TOSHIBA MD04ACA400
ada5: 38 C - TOSHIBA MD04ACA400

Post by Thomas Kaiser

Post by Marc Stibane
Trotzdem hätte ich gerne <40 Grad.

Passt. Und die Kiste ist auch leiser als gestern ;-)

Beim Lauschen fällt mir gerade auf, dass alle 5 Sekunden heftige
Kopfbewegungen stattfinden. Und die Kiste idlet... Hmm, sollten die
Toshibas etwa auch andauernd parken?

[Thomas Kaiser]

Post by Marc Stibane

Post by Marc Stibane
wie bereits geschrieben, war heute früh die ungekühlte eSATA Toshiba
bei 42 Grad

[...]
ada4: 37 C - TOSHIBA MD04ACA400
ada5: 38 C - TOSHIBA MD04ACA400

Und wenn Du das Konstrukt jetzt noch genau so vertikal _hinter_ dem
Lüfterauslaß montierst, kannst Du ein Dach drüber oder irgendwas
Geschlossenes oben/unten/seitlich drumherum montieren, was dann vor
Spritzwasser und "aus Versehen hintappsen", also Elektrostatik oder
Kurzschlüssen durch Berührung schützt -- bei identischer Temperatur.

Aber ich weiß ja nicht, wie das Bedrohungspotential am Aufstellungsort
so aussieht. Nach meiner Erfahrung sind kleine Kinder Weltmeister darin,
Dinge zu tun, die niemand für möglich gehalten hätte. Den "All time
high"-Rekord hält immer noch die süße Tochter eines Spezls, die binnen 3
Minuten in meinem alten Büro diverse Schoko-Graffitis an diversen Wänden
verteilte, ein PowerBook auf den Boden knallen ließ und paar Stunden
Arbeit der Bürokollegin vernichtete beim kichernden "Fluchtversuch"
unter ihrem Schreibtisch (Ein-/Ausschalter der Steckerleiste auf
Fluchtweg -- und weg war der Strom)

Post by Marc Stibane

Post by Marc Stibane
Trotzdem hätte ich gerne <40 Grad.

Passt. Und die Kiste ist auch leiser als gestern ;-)

Eben :-)

Post by Marc Stibane
Beim Lauschen fällt mir gerade auf, dass alle 5 Sekunden heftige
Kopfbewegungen stattfinden. Und die Kiste idlet... Hmm, sollten die
Toshibas etwa auch andauernd parken?

Nachgucken und berichten bitte: smartctl und Load_Cycle_Count sind Deine
Freunde ;-)

Gruss,

Thomas

[Marc Stibane]

Post by Thomas Kaiser

Post by Marc Stibane
Beim Lauschen fällt mir gerade auf, dass alle 5 Sekunden heftige
Kopfbewegungen stattfinden. Und die Kiste idlet... Hmm, sollten die
Toshibas etwa auch andauernd parken?

Nachgucken und berichten bitte: smartctl und Load_Cycle_Count sind Deine
Freunde ;-)

[***@freenas ~]# smartctl -a /dev/ada5 | grep Load_Cycle_Count
193 Load_Cycle_Count 0x0032 100 100 000 Old_age Always 7

die andere Toshiba (ada4) hat 5

zum Vergleich die 4 Seagates:

193 Load_Cycle_Count 0x0032 080 080 000 Old_age Always 41495
193 Load_Cycle_Count 0x0032 100 100 000 Old_age Always 993
193 Load_Cycle_Count 0x0032 078 078 000 Old_age Always 44079
193 Load_Cycle_Count 0x0032 100 100 000 Old_age Always 685

Also sollte ich mir wohl eher um die Sorgen machen als um die Hitzköpfe.
Über Nacht laufen lassen und morgen nochmal schauen...

[Thomas Kaiser]

Post by Marc Stibane
193 Load_Cycle_Count 0x0032 080 080 000 Old_age Always 41495
193 Load_Cycle_Count 0x0032 100 100 000 Old_age Always 993
193 Load_Cycle_Count 0x0032 078 078 000 Old_age Always 44079
193 Load_Cycle_Count 0x0032 100 100 000 Old_age Always 685
Also sollte ich mir wohl eher um die Sorgen machen

Sorgen erst, wenn LCC pro Zeiteinheit zu hoch ist. Also mußt Du mit
Power_On_Hours vergleichen und falls die Platten nicht schon immer unter
FreeNAS betrieben wurden, auch Start_Stop_Count (kompletter Spindown/
Wakeup) mit berücksichtigen.

Post by Marc Stibane
Über Nacht laufen lassen und morgen nochmal schauen...

Und ggf. ruhigstellen, _wenn_ Deine Seagates sich von APM beeinflussen
lassen. Ich hatte erst heute eine Momentus, die in einem als Server
mißbrauchten Mini werkelt, und natürlich einen LCC weit jenseits der
maximalen Angabe in den Specs hat. Per hdapm versucht, zur Räson zu
bringen:

Mar 18 12:22:00 webshare-macmini hdapm[32725]: disk1: ST9500420ASG
Mar 18 12:22:00 webshare-macmini hdapm[32725]: Set APM Level to 0xfe: Success

Aber Pustekuchen, die parkt munter weiter :-(

Wenn Du tatsächlich LCC-Probleme hast, dann ataidle per pkg installieren

http://www.freshports.org/sysutils/ataidle

dann schauen, ob es wirkt und dann beim Systemstart den passenden APM-
Wert setzen lassen.

Gruss,

Thomas

[Marc Stibane]

Post by Thomas Kaiser

Also sollte ich mir wohl eher um die (Seagates) Sorgen machen

Sorgen erst, wenn LCC pro Zeiteinheit zu hoch ist. Also mußt Du mit
Power_On_Hours vergleichen und falls die Platten nicht schon immer unter
FreeNAS betrieben wurden, auch Start_Stop_Count (kompletter Spindown/
Wakeup) mit berücksichtigen.

Über Nacht laufen lassen und morgen nochmal schauen...

Gerade nochmal ausgelesen - der LCC ist exakt genausohoch wie gestern,
bei allen 6 Platten. Die 2 Seagates mit Werten über 40.000 waren ja
vorher 15 Monate lang 24/7/365 in meinem ReadyNAS Duo mit Idle spindown,
das passt also. Die beiden anderen mit Werten von ca 700 bzw. 1000
wurden im USB-Gehäuse nur selten eingeschaltet, passt auch. Und die
Toshibas mit 5 bzw. 7 sind ja neu. Alles OK...

D.h. die regelmäßige Kopfpositioniererei alle 5sec kommt von realer Last
- wahrscheinlich weil das System Dataset incl. DB auch auf dem
Festplatten-Pool liegt. Bin am Überlegen eine alte SSD per USB an den
N54L anzuschließen und das System Dataset dorthin zu speichern, dann
können die 6 Platten nach 15min Idle schlafen gehen.

[Thomas Kaiser]

Post by Marc Stibane
D.h. die regelmäßige Kopfpositioniererei alle 5sec kommt von realer
Last - wahrscheinlich weil das System Dataset incl. DB auch auf dem
Festplatten-Pool liegt.

Kennst Du "zfs iostat"?

Post by Marc Stibane
Bin am Überlegen eine alte SSD per USB an den N54L anzuschließen und
das System Dataset dorthin zu speichern, dann können die 6 Platten
nach 15min Idle schlafen gehen.

Das kriegst Du auch mit System Dataset auf USB-Stick mit 4 GB ;-)

BTW: Logs und sowas sind auch was, das man prima mittels Kompression
auf ein Zehntel eindampfen kann.

Gruss,

Thomas

[Marc Stibane]

Post by Marc Stibane
System Temperatures - Mon Mar 16 18:48:39 CET 2015
System Load: 2.78, 2.29
dev.cpu.0.temperature: 52.7C
dev.cpu.1.temperature: 52.7C
ada0: 32 C - ST4000DM000-1F2168
ada1: 34 C - ST4000DM000-1F2168
ada2: 33 C - ST4000DM000-1F2168
ada3: 33 C - ST4000DM000-1F2168
ada4: 40 C - TOSHIBA MD04ACA400
ada5: 40 C - TOSHIBA MD04ACA400

Und jetzt nach 24%:

[***@freenas ~]# ./temperature.sh
System Temperatures - Mon Mar 16 20:09:44 CET 2015
System Load: 2.68
CPU Temperature:
dev.cpu.0.temperature: 53.0C
dev.cpu.1.temperature: 53.0C

HDD Temperature:
ada0: 32 C - ST4000DM000-1F2168
ada1: 34 C - ST4000DM000-1F2168
ada2: 33 C - ST4000DM000-1F2168
ada3: 33 C - ST4000DM000-1F2168
ada4: 45 C - TOSHIBA MD04ACA400
ada5: 41 C - TOSHIBA MD04ACA400

Bei Dauerlast wird die ungekühlte ada4 ziemlich warm, aber in 5 Stunden
ist das Resilvern durch...

[Thomas Kaiser]

Post by Marc Stibane

Post by Marc Stibane
ada4: 40 C - TOSHIBA MD04ACA400

[...]
ada4: 45 C - TOSHIBA MD04ACA400
Bei Dauerlast wird die ungekühlte ada4 ziemlich warm

Das ist noch harmlos. Du kannst gaudihalber ja mal die Platte aufrecht
stellen, das sollte sofort paar Grad weniger bringen. Ist generell eine
saublöde Idee, denn Platten, die aus dieser vertikalen Position v.a. auf
harte Untergründe umkippen, kriegen ordentlich bzw. viel zu viel G ab.

Aber wenn Du Haustiere, kleine Kinder und Grobmotoriker fernhalten
kannst, wäre es ein interessanter Test. Naja, mit absehbarem Ergebnis.

Gruss,

Thomas

[Marc Stibane]

Post by Marc Stibane

Post by Marc Stibane
ada0: 32 C - ST4000DM000-1F2168
ada1: 34 C - ST4000DM000-1F2168
ada2: 33 C - ST4000DM000-1F2168
ada3: 33 C - ST4000DM000-1F2168
ada4: 40 C - TOSHIBA MD04ACA400
ada5: 40 C - TOSHIBA MD04ACA400

ada0: 32 C - ST4000DM000-1F2168
ada1: 34 C - ST4000DM000-1F2168
ada2: 33 C - ST4000DM000-1F2168
ada3: 33 C - ST4000DM000-1F2168
ada4: 45 C - TOSHIBA MD04ACA400
ada5: 41 C - TOSHIBA MD04ACA400
Bei Dauerlast wird die ungekühlte ada4 ziemlich warm, aber in 5 Stunden
ist das Resilvern durch...

Nachdem auch im Idle heute morgen die ungekühlte Toshiba noch 42 Grad
hatte, habe ich die mit der Seagate in Tray0 getauscht. Resultat:

[***@freenas ~]# ./temperature.sh
System Temperatures - Tue Mar 17 11:33:39 CET 2015
System Load: 0.07, 0.07
CPU Temperature:
dev.cpu.0.temperature: 34.5C
dev.cpu.1.temperature: 34.5C
HDD Temperature:
ada0: 35 C - TOSHIBA MD04ACA400
ada1: 34 C - ST4000DM000-1F2168
ada2: 32 C - ST4000DM000-1F2168
ada3: 33 C - ST4000DM000-1F2168
ada4: 35 C - ST4000DM000-1F2168
ada5: 37 C - TOSHIBA MD04ACA400

Alles fein. Man könnte jetzt noch die zweite Toshiba (ada5 = ODD) rechts
in den Käfig (ada2 oder ada3) setzen, dann wären wohl alle 6 Platten
zwischen 34 und 36 Grad im Idle - aber bevor ich das mache schaue ich
mir erstmal an wie die Temperatur unter Last aussieht.

[Patrick Kormann]

Post by Marc Stibane
Unter View-Disks sehe ich ja genau dieses Tupel: Name (ada0..5
entspricht physischer Position genau so lange wie keine Disk ausfällt),
Seriennummer, und Description (behält den vom User reingeschriebenen
Wert solange die Platte nicht abgeklemmt wird). Bei Schönwetter alles
prima.

Ja und die Seriennummer siehst du ja auch.

Post by Marc Stibane
Aber unter View-Volumes, vdev, Status sehe ich weder Description noch
Seriennummer der Platte. Die erste Spalte heißt auch "Name", da ist aber
jeweils der logische Partitionsname drin (ada0p2 .. ada5p2) - p2 weil
FreeNAS auf jeder Disk erstmal selber eine 2GB Swap-Partition anlegt,
und dann den Rest der Disk als Datenpartition verwendet.

Ich weiss nicht wo du meinst...

Immerhin ist es ja so, dass bei Ziehen der falschen Platte nicht gleich
alle Daten weg sind, das ist ja schon mal was.
Das waren noch Zeiten, als Fesptlatten noch selbst ZugriffsLEDs hatten.
Dann könnte man wenigstens die blinken lassen.

[Marc Stibane]

Post by Patrick Kormann

Post by Marc Stibane
Unter View-Disks sehe ich ja genau dieses Tupel: Name (ada0..5
entspricht physischer Position genau so lange wie keine Disk
ausfällt), Seriennummer, und Description

^^^^^^^^^^^^

Post by Patrick Kormann
Ja und die Seriennummer siehst du ja auch.

Schrub ich ja...

Post by Patrick Kormann

Post by Marc Stibane
Aber unter View-Volumes, vdev, Status sehe ich weder Description noch
Seriennummer der Platte. Die erste Spalte heißt auch "Name", da ist
aber jeweils der logische Partitionsname drin (ada0p2 .. ada5p2)

Ich weiss nicht wo du meinst...

View-Volumes. Dann auf das vdev klicken (ich habe nur eins) - das ist
die erste Zeile der Tabelle. Die zweite Zeile ist der zPool (ich habe
nur einen), die Dritte das Share (ich habe derzeit nur eines, werden
aber noch mehr).
Danach tauchen unten im Fenster 3 Buttons mit Icons auf: Detach Volume
(rotes X), Scrub Volume (Reisig-Besen), Volume Status (Tabellenblatt).
Klick auf den rechten Button (Status).

Es erscheint eine Status-Tabelle mit den Spalten "Name", "Read",
"Write", "Checksum", und "Status". Da funktioniert die Hierarchie genau
andersrum:
Erste Zeile ist der Pool (unter Name steht "zpool6", der von mir
vergebene Name).
Zweite Zeile steht bei mir unter Name "raidz2-0" was kein Name ist den
ich vergeben habe - das könnte der intern benutzte Identifier für das
vdev sein.
Zeile 3..8 sind dann die 6 Partitionen (ada0p2..ada5p2) welche im vdev
sind.

Wenn man eine Platte (!) austauschen will, klickt man die dazugehörige
Partition (!) an - also z.B. ada4p2 für ada4 (eSATA), und dann
erscheinen unten drei Buttons (diesesmal mit Text, keine Icons): Edit
Disk, Offline, und Replace. Man sollte die Disk (bzw. Partition) erst
offline setzen, dann ausschalten, Platte wechseln, booten, wieder in die
Status-Tabelle gehen, die Offline-Partition anklicken und dann "Replace"
klicken.

Für diese Status-Tabelle gibt es keinen ShortCut - klar, man könnte ja
mehrere vdevs haben mit jeweils mehreren Pools...
Der kleine Mann hat nur 1 vdev mit 1 pool, weil mehr gar nicht in den
Mikroserver reinpasst bzw. es einfach keinen Sinn macht, die max 6 disks
auch noch auf mehrere vdevs aufzuteilen. Da wäre ein Shortcut schon
schön, aber halt Luxus.
Nur dass in der Status-Tabelle die einzige Zuordnung der Partitionen zu
Disks über den volatilen Namen läuft, der ausgerechnet bei Ausfall einer
Platte nicht mehr stimmt, ist einfach Murks. Wenn man einfach die Platte
zieht ohne sie abzumelden (Offline) verschiebt sich ja alles dahinter...

Post by Patrick Kormann
Immerhin ist es ja so, dass bei Ziehen der falschen Platte nicht gleich
alle Daten weg sind, das ist ja schon mal was.

Jupp. Wobei ich da bei Raid-5 (raidz1) auch nervöser wäre als bei RAID-6
(raidz2).

Post by Patrick Kormann
Das waren noch Zeiten, als Fesptlatten noch selbst ZugriffsLEDs hatten.
Dann könnte man wenigstens die blinken lassen.

Thomas wird jetzt sicher wieder mit "richtigem" Server statt HP Mikro
kommen, der sowas natürlich im Tray eingebaut hat...
Mir würde ein selbstvergebener "Name" statt dem volatilen ada-X ja auch
reichen. Egal, noch wenige Stunden und ich habe alle sechs Disks von 3TB
auf 4TB gewechselt, womit dann netto 16TB statt 12TB verfügbar sind -
das sollte (hoffentlich) wieder 'ne Weile reichen.

[Patrick Kormann]

Post by Marc Stibane

Post by Patrick Kormann

Post by Marc Stibane
Unter View-Disks sehe ich ja genau dieses Tupel: Name (ada0..5
entspricht physischer Position genau so lange wie keine Disk
ausfällt), Seriennummer, und Description

^^^^^^^^^^^^

Post by Patrick Kormann
Ja und die Seriennummer siehst du ja auch.

Schrub ich ja...

Post by Patrick Kormann

Post by Marc Stibane
Aber unter View-Volumes, vdev, Status sehe ich weder Description noch
Seriennummer der Platte. Die erste Spalte heißt auch "Name", da ist
aber jeweils der logische Partitionsname drin (ada0p2 .. ada5p2)

Ich weiss nicht wo du meinst...

View-Volumes. Dann auf das vdev klicken (ich habe nur eins) - das ist
die erste Zeile der Tabelle. Die zweite Zeile ist der zPool (ich habe
nur einen), die Dritte das Share (ich habe derzeit nur eines, werden
aber noch mehr).
Danach tauchen unten im Fenster 3 Buttons mit Icons auf: Detach Volume
(rotes X), Scrub Volume (Reisig-Besen), Volume Status (Tabellenblatt).
Klick auf den rechten Button (Status).
Es erscheint eine Status-Tabelle mit den Spalten "Name", "Read",
"Write", "Checksum", und "Status". Da funktioniert die Hierarchie genau
Erste Zeile ist der Pool (unter Name steht "zpool6", der von mir
vergebene Name).
Zweite Zeile steht bei mir unter Name "raidz2-0" was kein Name ist den
ich vergeben habe - das könnte der intern benutzte Identifier für das
vdev sein.
Zeile 3..8 sind dann die 6 Partitionen (ada0p2..ada5p2) welche im vdev
sind.
Wenn man eine Platte (!) austauschen will, klickt man die dazugehörige
Partition (!) an - also z.B. ada4p2 für ada4 (eSATA), und dann
erscheinen unten drei Buttons (diesesmal mit Text, keine Icons): Edit
Disk, Offline, und Replace. Man sollte die Disk (bzw. Partition) erst
offline setzen, dann ausschalten, Platte wechseln, booten, wieder in die
Status-Tabelle gehen, die Offline-Partition anklicken und dann "Replace"
klicken.
Für diese Status-Tabelle gibt es keinen ShortCut - klar, man könnte ja
mehrere vdevs haben mit jeweils mehreren Pools...
Der kleine Mann hat nur 1 vdev mit 1 pool, weil mehr gar nicht in den
Mikroserver reinpasst bzw. es einfach keinen Sinn macht, die max 6 disks
auch noch auf mehrere vdevs aufzuteilen. Da wäre ein Shortcut schon
schön, aber halt Luxus.
Nur dass in der Status-Tabelle die einzige Zuordnung der Partitionen zu
Disks über den volatilen Namen läuft, der ausgerechnet bei Ausfall einer
Platte nicht mehr stimmt, ist einfach Murks. Wenn man einfach die Platte
zieht ohne sie abzumelden (Offline) verschiebt sich ja alles dahinter...

Ach so... Bin da schon gelandet, dachte aber das sei dasselbe wie 'View
Disks' - ist ja aber nicht dasselbe.
Eben gegen das Verschieben kannst du wohl wenig machen.

Post by Marc Stibane
Jupp. Wobei ich da bei Raid-5 (raidz1) auch nervöser wäre als bei RAID-6
(raidz2).

Ich will ja nicht resilvern ;) - so lange der Pool nicht die Grätsche
macht, wenn er mal mit zuwenig Festplatten hoch kommt, sondern einfach
auf weitere Platten wartet, passiert da ja nicht viel.
Wobei ich das letzte mal jeweils die neue Platte zusätzlich angesteckt
habe und die alte erst nachträglich aus dem Verbund genommen habe -
erschien mir doch sicherer.

Post by Marc Stibane
Thomas wird jetzt sicher wieder mit "richtigem" Server statt HP Mikro
kommen, der sowas natürlich im Tray eingebaut hat...
Mir würde ein selbstvergebener "Name" statt dem volatilen ada-X ja auch
reichen. Egal, noch wenige Stunden und ich habe alle sechs Disks von 3TB
auf 4TB gewechselt, womit dann netto 16TB statt 12TB verfügbar sind -
das sollte (hoffentlich) wieder 'ne Weile reichen.

Ja bei mir muss es auch ne Weile reichen. Und wenn schon müsste ich eh
den Pool mal neu anlegen. Dann endlich auch raidz2 und vor allem die
Devices mit 4096 Sektorgrösse anlegen lassen, sonst hab ich leider immer
den hier:

status: One or more devices are configured to use a non-native block size.
Expect reduced performance.
action: Replace affected devices with devices that support the
configured block size, or migrate data to a properly configured
pool.

und der Thomas hat halt Recht. Sonst musst du dir mal TrueNAS anschauen
statt FreeNAS ;)

[Marc Stibane]

Post by Patrick Kormann

Post by Marc Stibane

Post by Marc Stibane
Aber unter View-Volumes, vdev, Status sehe ich weder Description
noch Seriennummer der Platte. Die erste Spalte heißt auch "Name",
da ist aber jeweils der logische Partitionsname drin (ada0p2 ..
ada5p2)

Es erscheint eine Status-Tabelle mit den Spalten "Name", "Read",
"Write", "Checksum", und "Status". Da funktioniert die Hierarchie
Erste Zeile ist der Pool (unter Name steht "zpool6", der von mir
vergebene Name).
Zweite Zeile steht bei mir unter Name "raidz2-0" was kein Name ist
den ich vergeben habe - das könnte der intern benutzte Identifier für
das vdev sein.
Zeile 3..8 sind dann die 6 Partitionen (ada0p2..ada5p2) welche im
vdev sind.
Wenn man eine Platte (!) austauschen will, klickt man die
dazugehörige Partition (!) an - also z.B. ada4p2 für ada4 (eSATA)

Genau hier wäre ein User-vergebener Name, oder die Description, oder
eben die Seriennummer sinnvoll. Nein, es gibt nur die volatilen "Namen"…

Post by Patrick Kormann
Ach so... Bin da schon gelandet, dachte aber das sei dasselbe wie 'View
Disks' - ist ja aber nicht dasselbe.

Ganz und gar nicht. Man braucht View Volumes bzw Volume Status halt,
wenn man umbaut (resilvert). Da sollte man nicht die falsche Platte
ersetzen...

Post by Patrick Kormann
Ich will ja nicht resilvern ;) - so lange der Pool nicht die Grätsche
macht, wenn er mal mit zuwenig Festplatten hoch kommt, sondern einfach
auf weitere Platten wartet, passiert da ja nicht viel.
Wobei ich das letzte mal jeweils die neue Platte zusätzlich angesteckt
habe und die alte erst nachträglich aus dem Verbund genommen habe -
erschien mir doch sicherer.

Ähm - wie geht das denn? Hinzufügen geht immer, aber wegnehmen geht doch
gar nicht...
Und selbst wenn - der N54L hat nur 6 SATA-Ports, die nutze ich alle für
die Datenplatten. Ich könnte gar keine siebte anhängen.

Post by Patrick Kormann

Post by Marc Stibane
Thomas wird jetzt sicher wieder mit "richtigem" Server statt HP Mikro
kommen, der sowas natürlich im Tray eingebaut hat...

den Pool mal neu anlegen. Dann endlich auch raidz2 und vor allem die
Devices mit 4096 Sektorgrösse anlegen lassen, sonst hab ich leider immer
status: One or more devices are configured to use a non-native block size.

Hmm - habe ich noch nicht gesehen. Dabei habe ich beim Einrichten gar
nicht drauf geachtet - 4096 ist anscheinend der Default-Wert bei FreeNAS
9.3. Wowereit...

Post by Patrick Kormann
und der Thomas hat halt Recht. Sonst musst du dir mal TrueNAS anschauen
statt FreeNAS ;)

Scherzkeks. Ich bin ja schon froh, dass ich endlich das Backup meines
Medien-Serverchens (ein ReadyNAS Duo mit 2 Platten im RAID-0, seit
kurzem bestückt mit zwei 8TB Seagate Archive und deswegen auch 16TB
netto) nicht mehr manuell auf 6 USB-Disks verteile, sondern dieselbe
Ordner-Struktur habe und rsync nutzen kann. Das NAS fährt leider nur ein
angepasstes Linux, hat aber eh nur 256MB RAM ohne ECC und könnte gar
kein ZFS fahren.

Hmm, was würde eine TrueNAS-Kiste mit 16TB netto raidz2 kosten?
Mein N54L war vollbestückt (sechs 4TB-Platten) gerade noch
dreistellig... Das ReadyNAS Duo kostete 150, die zwei 8TB-Platten 450.
Macht 600, aber eben keinerlei Redundanz.

[Patrick Kormann]

Post by Marc Stibane
Genau hier wäre ein User-vergebener Name, oder die Description, oder
eben die Seriennummer sinnvoll. Nein, es gibt nur die volatilen "Namen"…

Ja aber es ist eben noch schwierig. Seriennummer kannst du ja sehen,
aber auch nur so lange die Platte da ist. Alles andere ist halt relativ.
Selbst wenn du tolle Labels (tray0) vergibst, kann sich das im Prinzip
jederzeit ändern. Vielleicht durch eine andere Einstellung im BIOS,
durch Anschluss eines zusätzlichen Geräts oder durch ein BIOS-Update.
Vielleicht schon nur durch einen Timout dadurch, dass eine Platte
langsamer hochfährt (nein, bei FreeBSD wohl nicht...)

Aber ist es nicht so, dass die gptid auch siehst, wenn die Platte weg
ist? dann müsste man halt die auf die Platte schreiben.

Post by Marc Stibane
Ähm - wie geht das denn? Hinzufügen geht immer, aber wegnehmen geht doch
gar nicht...
Und selbst wenn - der N54L hat nur 6 SATA-Ports, die nutze ich alle für
die Datenplatten. Ich könnte gar keine siebte anhängen.

Naja, doch das ging schon. Ist glaub ich über ein Jahr her dass ich das
gemacht habe (oder noch mehr) - aber IIRC kann man bei 'Replace'
angeben, mit welcher leeren Platte man das Member des zraids ersetzen
will. Danach kann man dann die alte Offline nehmen. Aber wenn du keinen
Port frei hast... (kannst ja USB nehmen ;) )

Post by Marc Stibane
Hmm - habe ich noch nicht gesehen. Dabei habe ich beim Einrichten gar
nicht drauf geachtet - 4096 ist anscheinend der Default-Wert bei FreeNAS
9.3. Wowereit...

Ja mein Volume ist halt schon älter und ist schon mehrmals von kleineren
auf grössere Platten umgezogen.

Post by Marc Stibane
Scherzkeks. Ich bin ja schon froh, dass ich endlich das Backup meines
Medien-Serverchens (ein ReadyNAS Duo mit 2 Platten im RAID-0, seit
kurzem bestückt mit zwei 8TB Seagate Archive und deswegen auch 16TB
netto) nicht mehr manuell auf 6 USB-Disks verteile, sondern dieselbe
Ordner-Struktur habe und rsync nutzen kann. Das NAS fährt leider nur ein
angepasstes Linux, hat aber eh nur 256MB RAM ohne ECC und könnte gar
kein ZFS fahren.
Hmm, was würde eine TrueNAS-Kiste mit 16TB netto raidz2 kosten?
Mein N54L war vollbestückt (sechs 4TB-Platten) gerade noch
dreistellig... Das ReadyNAS Duo kostete 150, die zwei 8TB-Platten 450.
Macht 600, aber eben keinerlei Redundanz.

Keeeine Ahnung. Hab ich auch noch nie life gesehen. Wenn die nen
Europa-Vertrieb hätten, hätte ich mir vielleicht ein FreeNAS Mini
gekauft, aber so mit Zoll und Porto aus den USA hab ich das gelassen.
Aber ist halt schon teurer als ein N54L, kostet ohne Disks schon knapp
$1000.
Ich nehm an das Ding würde auch schon bieten was du suchst. Aber sicher
bin ich auch nicht ;)

[Thomas Kaiser]

Post by Patrick Kormann

Post by Marc Stibane
Genau hier wäre ein User-vergebener Name, oder die Description, oder
eben die Seriennummer sinnvoll. Nein, es gibt nur die volatilen "Namen"…

Ja aber es ist eben noch schwierig. Seriennummer kannst du ja sehen,
aber auch nur so lange die Platte da ist. Alles andere ist halt
relativ. Selbst wenn du tolle Labels (tray0) vergibst, kann sich das
im Prinzip jederzeit ändern. Vielleicht durch eine andere Einstellung
im BIOS, durch Anschluss eines zusätzlichen Geräts oder durch ein
BIOS-Update.

Nee, sowas wie BIOS-Updates könnte nur die Reihenfolge, in der FreeBSD
die Devices listet ändern. Marc hat schon recht, gäbe es einen Weg,
sauber irgendwelche Labels auf Disk zu schreiben, wäre das die halbe
Miete. Aber das Problem ist eben, wo so ein Label hingeschrieben wird
(verschiedenene Implementierungen und Re-Partitionierung nie überlebend)
und dass wohl die halbe FreeNAS Code-Basis umgegraben werden muß, wenn
sie weg von ada0/adaX und hin zu aussagekräftigen Labels kommen wollen.

Post by Patrick Kormann

Post by Marc Stibane
Hmm, was würde eine TrueNAS-Kiste mit 16TB netto raidz2 kosten?

Viel und ist IMO ein nicht besonders sinniges Setup weil da zwar ein
Avoton-Board mit viel Leistung und viel RAM drinsteckt und man SSDs als
ZIL-Mirror dazustecken kann. Aber bei den paar Platten, die man dann
noch nutzen kann, nicht viel bringt. Schon gar nicht für den Zweck
"seltenst genutztes Datengrab". IMO markieren da die HP Microserver den
günstigsten Einstieg, wenn man mit 4 (oder beim N54L und vorher auch bis
zu 6) Platten auskommt.

Gruss,

Thomas

[Patrick Kormann]

Post by Thomas Kaiser
Nee, sowas wie BIOS-Updates könnte nur die Reihenfolge, in der FreeBSD
die Devices listet ändern. Marc hat schon recht, gäbe es einen Weg,
sauber irgendwelche Labels auf Disk zu schreiben, wäre das die halbe
Miete. Aber das Problem ist eben, wo so ein Label hingeschrieben wird
(verschiedenene Implementierungen und Re-Partitionierung nie überlebend)
und dass wohl die halbe FreeNAS Code-Basis umgegraben werden muß, wenn
sie weg von ada0/adaX und hin zu aussagekräftigen Labels kommen wollen.

Ja so meinte ich das. Aber mit Label auf die Disk schreiben ist es ja
nicht getan, ob das Label jetzt auf der Disk steht oder in der
Konfiguration ist ja eigentlich egal, das Problem ist eher, dass das
Label nicht mehr angezeigt wird, wenn die Platte entfernt wurde.
Aber soweit ich mich erinnere wird die Platte in dem Fall ja auch als
offline angezeigt, mit eindeutiger gptid. Darum sage ich ja, man müsste
wohl diese auf die Platte schreiben, dann weiss man auch, um welche es
geht. Klar, man könnte das auch zusätzlich mit nem Label machen.

[Marc Stibane]

Post by Patrick Kormann

Post by Marc Stibane
Ähm - wie geht das denn? Hinzufügen geht immer, aber wegnehmen geht
doch gar nicht...

Naja, doch das ging schon. Ist glaub ich über ein Jahr her dass ich das
gemacht habe (oder noch mehr) - aber IIRC kann man bei 'Replace'
angeben, mit welcher leeren Platte man das Member des zraids ersetzen
will. Danach kann man dann die alte Offline nehmen.

Ich nehme erst die "alte" (zu ersetzende) Platte Offline, schalte aus,
baue eine neue ein und lege die alte gut weg, und dann wird die neue
resilvert. Wenn dabei was schiefgeht habe ich ja noch die alte...

Hmm, man sollte wohl auch noch manuell einen Snapshot machen, damit man
einen definierten Aufsetzpunkt hat. Dann hat zwar die weggelegte Platte
nicht die Daten die nach dem Ausbau anfielen, aber man sollte zumindest
den Snapshot wiederherstellen können und somit den Pool auf einen
definierten Stand bringen.

[Patrick Kormann]

Post by Marc Stibane
Ich nehme erst die "alte" (zu ersetzende) Platte Offline, schalte aus,
baue eine neue ein und lege die alte gut weg, und dann wird die neue
resilvert. Wenn dabei was schiefgeht habe ich ja noch die alte...

Wollte ich eben lieber nicht, da nur raidz1. Wenn du erst resilverst und
die Platte erst dann raus nimmst, hast du nie ein degraded raid. Und ob
du ne Platte, die du offline genommen hast ersetzt dann einfach wieder
in's raid nehmen könntest... das bezweifle ich sehr stark.

Post by Marc Stibane
Hmm, man sollte wohl auch noch manuell einen Snapshot machen, damit man
einen definierten Aufsetzpunkt hat. Dann hat zwar die weggelegte Platte
nicht die Daten die nach dem Ausbau anfielen, aber man sollte zumindest
den Snapshot wiederherstellen können und somit den Pool auf einen
definierten Stand bringen.

Also der Snapshot setzt IMHO ne Stufe über dem raid auf, das bringt da
irgendwie überhaupt nichts.

[Marc Stibane]

Post by Patrick Kormann

Post by Marc Stibane
Ich nehme erst die "alte" (zu ersetzende) Platte Offline, schalte
aus, baue eine neue ein und lege die alte gut weg, und dann wird die
neue resilvert. Wenn dabei was schiefgeht habe ich ja noch die
alte...

Wollte ich eben lieber nicht, da nur raidz1. Wenn du erst resilverst und
die Platte erst dann raus nimmst, hast du nie ein degraded raid. Und ob
du ne Platte, die du offline genommen hast ersetzt dann einfach wieder
in's raid nehmen könntest... das bezweifle ich sehr stark.

Doch, das geht. Zwar nicht via GUI (dass die Open Source Leute kein GUI
machen können ist ja eh bekannt), aber mit CLI geht es:
https://forums.freenas.org/index.php?threads/offlined-a-disk-to-test-raid-expected-online-button-but-there-is-none.8847/

Post by Patrick Kormann

Post by Marc Stibane
Hmm, man sollte wohl auch noch manuell einen Snapshot machen, damit
man einen definierten Aufsetzpunkt hat. Dann hat zwar die weggelegte
Platte nicht die Daten die nach dem Ausbau anfielen, aber man sollte
zumindest den Snapshot wiederherstellen können und somit den Pool auf
einen definierten Stand bringen.

Und lt. o.g. Link ist nichtmal das nötig - einfach einen Scrub über den
Pool laufen lassen, der erkennt dass die Blöcke die geschrieben wurden
während die eine Platte offline war dort fehlen und ergänzt sie einfach.

Post by Patrick Kormann
Also der Snapshot setzt IMHO ne Stufe über dem raid auf, das bringt da
irgendwie überhaupt nichts.

Es geht nur darum, Files (bzw. Blöcke) die geschrieben wurden während
die eine Platte offline war und somit nicht konsistent auf *allen*
Platten vorhanden sind nachdem man die Platte wieder online setzt,
wieder auf einen konsistenten Zustand zu bringen. Entweder indem man
zurückgeht zu einem Snapshot der vor dem Offline noch auf allen Platten
geschrieben worden ist, oder durch einen Scrub der die fehlenden Blöcke
auf der einen Platte nachzieht.

Da der Snapshot so gut wie keinen Platz wegnimmt, sollte man den
trotzdem machen, bzw. werde ich in Zukunft immer einen machen bevor ich
mal wieder eine Platte Offline nehme - was hoffentlich dieses Jahr nicht
mehr nötig sein sollte. Und sofern ich mich dann auch daran erinnere ;-)

[Patrick Kormann]

Post by Marc Stibane
Doch, das geht. Zwar nicht via GUI (dass die Open Source Leute kein GUI
https://forums.freenas.org/index.php?threads/offlined-a-disk-to-test-raid-expected-online-button-but-there-is-none.8847/

Ja aber das ist doch nicht dasselbe wie wenn du eine Platte erst
ersetzt, resilverst und dann irgendwann wieder die alte rein machst...

Post by Marc Stibane
Und lt. o.g. Link ist nichtmal das nötig - einfach einen Scrub über den
Pool laufen lassen, der erkennt dass die Blöcke die geschrieben wurden
während die eine Platte offline war dort fehlen und ergänzt sie einfach.

Naja, schlussendlich wird das einfach neu aufgebaut denk ich mal.

Post by Marc Stibane
Es geht nur darum, Files (bzw. Blöcke) die geschrieben wurden während
die eine Platte offline war und somit nicht konsistent auf *allen*
Platten vorhanden sind nachdem man die Platte wieder online setzt,
wieder auf einen konsistenten Zustand zu bringen. Entweder indem man
zurückgeht zu einem Snapshot der vor dem Offline noch auf allen Platten
geschrieben worden ist, oder durch einen Scrub der die fehlenden Blöcke
auf der einen Platte nachzieht.
Da der Snapshot so gut wie keinen Platz wegnimmt, sollte man den
trotzdem machen, bzw. werde ich in Zukunft immer einen machen bevor ich
mal wieder eine Platte Offline nehme - was hoffentlich dieses Jahr nicht
mehr nötig sein sollte. Und sofern ich mich dann auch daran erinnere ;-)

Ein Snapshot macht in etwa das, was der Name sagt: Ein Schnappschuss des
momentanen Filesystems. Damit korrigierst du keine Probleme auf raidz
level, sondern nur Dateisystemfehler (falsche Datei gelöscht). Fehlt die
Datei aber, weil die entsprechenden Blöcke auf der Platte leer sind,
nützt dir der Snaphost auch nichts.

[Marc Stibane]

Post by Patrick Kormann

Post by Marc Stibane
Da der Snapshot so gut wie keinen Platz wegnimmt, sollte man den
trotzdem machen, bzw. werde ich in Zukunft immer einen machen bevor
ich mal wieder eine Platte Offline nehme

Ein Snapshot macht in etwa das, was der Name sagt: Ein Schnappschuss des
momentanen Filesystems. Damit korrigierst du keine Probleme auf raidz
level, sondern nur Dateisystemfehler (falsche Datei gelöscht). Fehlt die
Datei aber, weil die entsprechenden Blöcke auf der Platte leer sind,
nützt dir der Snaphost auch nichts.

1) Snapshot von Pool (raidz1 mit Platten A,B,C)
2) Platte A offline nehmen, Pool degraded: A_offline,B,C
3) neue Platte N einbauen, resilvern, Pool degraded: N_replacing_A,B,C,
währenddessen geht Platte B kaputt
4) alte Platte A einbauen, online setzen, Pool (A,B_unavailable,C) zum
Snapshot zurückkehren

Danach hat man wieder einen konsistenten Zustand, nämlich den von 1),
wenn auch degraded, und kann N löschen (weil die ja A ersetzen sollte)
und erneut resilvern lassen, diesmal für B.

Bei raidz2 hat man ja noch eine zweite Platte Redundanz, aber trotzdem
lasse ich die alte immer unangetastet liegen bis das Resilvern der neuen
fertig ist.

[Patrick Kormann]

Post by Marc Stibane
1) Snapshot von Pool (raidz1 mit Platten A,B,C)
2) Platte A offline nehmen, Pool degraded: A_offline,B,C
3) neue Platte N einbauen, resilvern, Pool degraded: N_replacing_A,B,C,
währenddessen geht Platte B kaputt
4) alte Platte A einbauen, online setzen, Pool (A,B_unavailable,C) zum
Snapshot zurückkehren

Ich kann mir irgendwie doch nicht vorstellen, dass das so klappt.

Post by Marc Stibane
Bei raidz2 hat man ja noch eine zweite Platte Redundanz, aber trotzdem
lasse ich die alte immer unangetastet liegen bis das Resilvern der neuen
fertig ist.

Eben, am Besten finde ich immernoch die neue Platte zusätzlich
reinzuhängen und die alte erst nachher raus zu nehmen. Dann bist du nie
degraded.

[Thomas Kaiser]

Post by Marc Stibane

Post by Thomas Kaiser

Post by Marc Stibane
Hilft alles nix, man muss sich wirklich die Seriennummern der
Platten zusammen mit der physikalischen Position (Tray0..3, eSATA,
ODD) und der logischen Adresse (ada0..5) auf einem
PostIt-Klebezettel o.ä. notieren und in den Server kleben.

Die "logischen" Adressen kannst Du doch auch schon komplett
vergessen, weil Konvention ist, einfach stumpf von ada0 nach adaX
hochzuzählen und wenn ada1 von gestern heute fehlt, wird aus ada2
eben ada1. Ergo: Vergiß es, die Device-Nummern sind "flüchtig".

Ändert nix daran, dass man in FreeNAS z.B. einen SMART-Test für ada-n
anlegt. Genau darüber meckere ich doch, dass FreeNAS diese volatilen
Device-Nummern an allen Ecken verwendet, auch für CRON-Jobs...

Bei Cron-Jobs kannst Du Dir ja helfen. Da Du nur SATA hast, kannst Du
immer schön durch die Liste der Platten-Devices pflügen per "camcontrol
devlist" oder "sysctl -n kern.disks", dann der Reihe nach Seriennummern
prüfen ("camcontrol identify <device> | grep ^serial") und dann die
richtige Platte ansprechen. In universell (also auch SCSI/SAS/whatever
berücksichtigend) wird das alles schon schwieriger.

Post by Marc Stibane

Post by Thomas Kaiser

Post by Marc Stibane
Und da wundern sich die Open Source Leute, dass Enduser lieber
Windows oder MacOS nehmen...

Das ist immer noch Quatsch. Eine Software wie FreeNAS hat keine Augen
und sieht den blöden Server nicht bzw. wo der überall Anschlüsse hat,
an die man was anschließen könnte.

MacOS und Windows auch nicht. Aber da kann ich einer Disk einen Namen
geben, und den behält sie auch wenn ich sie an einem anderen Port
anschließe (sofern der Name eindeutig ist).

Aber sobald Du neu partitionierst, sind Label weg und sowas GUID oder
allgemein UUIDs auch. Ich hab da vorhin mal kurz und oberflächlich
geguckt. Mir scheint, FreeNAS kann nur dann Label/Description direkt auf
Platte schreiben, wenn es sich um den alten GEOM-Kram handelt. Bei ZFS
wird wohl nur nach der GPT-ID geguckt und die dann irgendwo/irgendwie
auf die "Description" im FreeNAS-GUI gemapped. Unschön. Aber irgendwie
auch wurscht, denn Du hast mit FreeNAS auf 08/15-Hardware immer noch das
Problem, das Du mit einer Appliance nicht hättest.

Eine Appliance, die weiß, in welcher Reihenfolge welche Disk am Bus
auftaucht (weil Controller und Plattentypen fix vorgegeben sind), weiß
wo physisch welche Disk steckt. Und kann darüber Buch führen (dabei
Identifier wie Serial, GPT-IDs und sogar Device-Identifier wie ada0
nutzend). Und wenn nun plötzlich eine Disk weg ist, dann kann die
Appliance durch Vergleich vorher/nachher eindeutig sagen: Platte in
Schacht 3 tot. Völlig egal, was FreeBSD an Devicenummern nach einem
Reboot hochreicht oder was sonst so alles passiert sein mag. Und nur
dann könnte die Software sowas wie eine LED am richtigen Plattenschacht
blinken oder von grün auf rot wechseln lassen, damit im Moment der
größten Panik kein Fehler gemacht wird.

Aber klar, wenn FreeNAS persistente Disk-Label könnte, dann würde auch
ein Blick ins GUI ohne LED am betroffenen Schacht Klarheit verschaffen,
falls die Disk mit dem Label "Schacht 2" plötzlich fehlt. Vielleicht
kommt das ja, wenn sie GEOM rauskicken und nur noch auf ZFS setzen.

Post by Marc Stibane
Es kann doch eigentlich nicht so schwer sein, von der Disk selber die
Seriennummer und die Description auszulesen und hier auch anzuzeigen,
oder?

Da bin ich viel zu wenig FreeBSD-Checker und hab zu wenig Ahnung, wie
man abseits SATA (am onboard-Controller) an diese und jene Informationen
rankommt. Kann sein, dass es da grundlegende Probleme gibt, die sich
bspw. mit Wechsel auf die nächste FreeBSD-Version in Luft auflösen, kann
auch sein, dass nur die typische Unix-Holzkopf-Denke das Problem ist
bzw. niemand, der "User Experience" aussprechen kann, sich mal in die
FreeNAS-Sourcen einarbeitet und sich dem Problem annimmt (das im Fall
der Holzkopf-Denke weniger technisch als argumentatorisch sein dürfte
;-)

Post by Marc Stibane

Post by Thomas Kaiser
Bei mir sind das Textdateien mit der smartctl-Ausgabe (zwengs lang-
fristige Dokumentation bzw. wie sich welche Parameter mit der Zeit
ändern), deren Benamung manuell vorgenommen die Position im Gehäuse
widerspiegelt (tray0.txt, tray1.txt, odd.txt, usw.)

Handarbeit. Weil der Computer es nicht selber kann...

Ja, aber kein Mehraufwand, denn Grundinvetarisierung macht man ja eh,
erste Tests auch, das Ganze dokumentiert man und dann steckt halt noch
eine relevante Information mehr am Dateinamen.

Gruss,

Thomas

[Patrick Kormann]

Post by Marc Stibane
Mist. Die Ersteinrichtung wurde ja per GUI gemacht, da hat FreeNAS die
Device-UUID eingetragen. Ich dachte dass er die beim Ersetzen
automatisch nimmt, wenn ich die Hardwareslot-ID von Tray 3 eintrage -
das war wohl nix. Wie ändere ich jetzt ada3 in eine UUID?

Ich seh gerade... wie hast du die neue Platte partitioniert? Auch ne
Swap Partition eingerichtet etc?
Wie du an die UUID kommst könnte ich dir unter Linux sagen, hier hab ich
gerade nichts gefunden. Und ob du die einfach in ne config eintragen
kannst statt ada3... (ich nehm es an...)

Wenn du machst, was hier steht, geht das?
http://doc.freenas.org/9.3/freenas_storage.html#replacing-a-failed-drive

[Thomas Kaiser]

Post by Marc Stibane
zpool6 ONLINE
raidz2-0 ONLINE
gptid/71357b2a-9448-... ONLINE
gptid/77095e6c-9448-... ONLINE
gptid/77e2a22e-9448-... ONLINE
gptid/789b5a2a-9448-... ONLINE
gptid/7953d67d-9448-... ONLINE
ada3 ONLINE
errors: No known data errors
Mist. Die Ersteinrichtung wurde ja per GUI gemacht, da hat FreeNAS die
Device-UUID eingetragen. Ich dachte dass er die beim Ersetzen
automatisch nimmt, wenn ich die Hardwareslot-ID von Tray 3 eintrage -
das war wohl nix. Wie ändere ich jetzt ada3 in eine UUID?

Wie "ändern"? Die Zuordnung Devicename (der dynamisch ist, wie Du ja
schon rausfinden mußtest -- das Problem hast Du aber in egal welchem
Betrübsystem und deshalb gibt es ja UUIDs oder wie in Deinem Fall
GPT-IDs) zu GPT-ID erfährst Du per

glabel status

Und da auch die GPT-ID "fragil" ist (wird bei "Neuerscheinen" einer
Platte vergeben und ist _je Platte_ eindeutig), braucht es für eine
eindeutige Zuordnung dann am Besten noch die Seriennummer der Platte
(die kriegt FreeNAS normalerweise selbst raus außer Du hast exotische
Controller am Start, dann kann auch das hakelig werden)

Gruss,

Thomas