Du bist nicht angemeldet.

#1 03.08.2019 11:32:38

tom.smith
Mitglied

btrfs raid5 kann nicht mehr gemountet werden... bad Superblock

Hallo,

ich benötige eure Hilfe, da ich nicht weiß, wie ich mit meinem btrfs-Problem umgehen soll.

Was ist passiert:
Auf meinem NAS hatte ich ZFS mit dem proxmox-Kernel genutzt. Da ich für diesen Kernel keine Quellen finden konnte, die ich für die Module meiner TV-Karte benötigte, habe ich den normalen Kernel genutzt und schon waren meine Dateien futsch. Als System habe ich damals Openmediavault genutzt.
Als Alternative habe ich dann Arch installiert.
Meine Daten lagen auf einem btrfs-Raid10 (4 x 4TB). Bei diesem ging mir der Platz aus, so dass ich mit dem Tausch der Platten begonnen habe. Da ich nicht alle 4 Platten gleichzeitig tauschen konnte (€...) habe ich auf ein Raid5 umgestellt und die Platten einzeln ausgetauscht. Nach dem Austausch der ersten Platte war noch alles i. O. Ich habe mir dann jetzt zwei geleistet und diese - wie die erste auch - mit btrfs device replace - eingebunden. Fehler wurden nicht angezeigt. Der Verbund bestand nun aus 3x8TB und 1x4TB. Der Raid5-Verbund wurde gemountet, die Subvol. ebenfalls, Dateien waren vorhanden. Alles gut auf den ersten(!) Blick.

Warum auch immer, waren die Dateien aber nicht mehr vollständig im Zugriff. Im Rahmen eines Kopiervorgangs konnte immer nur auf ca. 50 % der Datei zugegriffen werden. Alle drei 8TB-Laufwerke wiesen Fehler auf.

Also die drei neuen 8TB raus und zumindest die zuletzt getauschten zwei 4TB-Laufwerke wieder rein. Ich hatte die Hoffnung, dass diese beiden zusammen mit dem verbliebenen 4TB-Laufwerk zumindest degraded gemountet werden können. Geht aber nicht. Ich hatte defekte Superblocks gerade auf den beiden 4TB-Laufwerken. Da diese hier nur auf dem Tisch gelegen haben, kann ich mir das nicht erklären. Die Anschlusskabel der beiden 4TB-Laufwerke habe ich getauscht, was aber auch keine Verbesserung gebracht hat.

Hier die Ausgaben:

1. btrfs fi show
Label: 'ROOT'  uuid: 945d20d6-6628-4a09-9980-9be3798f41e5
    Total devices 2 FS bytes used 24.50GiB
    devid    1 size 40.00GiB used 27.03GiB path /dev/sdd2
    devid    2 size 40.00GiB used 27.03GiB path /dev/sde1

warning, device 5 is missing
parent transid verify failed on 6655209209856 wanted 2515847 found 2516706
parent transid verify failed on 6655209209856 wanted 2515847 found 2519592
parent transid verify failed on 6655209209856 wanted 2515847 found 2519592
Ignoring transid failure
Couldn't setup extent tree
Couldn't setup device tree
Label: 'Halut-Pool'  uuid: b9407dc9-f86f-4f8f-844d-78d387831f80
    Total devices 4 FS bytes used 5.81TiB
    devid    1 size 3.64TiB used 1.98TiB path /dev/sda
    devid    3 size 3.64TiB used 1.97TiB path /dev/sdb
    devid    4 size 3.64TiB used 1.98TiB path /dev/sdc
    *** Some devices missing

2. mount -o degraded /dev/sda /srv/btrfs
mount: /srv/btrfs: Falscher Dateisystemtyp, ungültige Optionen, der Superblock von /dev/sda ist beschädigt, fehlende Kodierungsseite oder ein anderer Fehler.

3. btrfs rescue super-recover -v /dev/sda
All Devices:
    Device: id = 4, name = /dev/sdc
    Device: id = 3, name = /dev/sdb
    Device: id = 1, name = /dev/sda

Before Recovering:
    [All good supers]:
        device name = /dev/sdc
        superblock bytenr = 65536

        device name = /dev/sdc
        superblock bytenr = 67108864

        device name = /dev/sdc
        superblock bytenr = 274877906944

    [All bad supers]:
        device name = /dev/sdb
        superblock bytenr = 65536

        device name = /dev/sdb
        superblock bytenr = 67108864

        device name = /dev/sdb
        superblock bytenr = 274877906944

        device name = /dev/sda
        superblock bytenr = 65536

        device name = /dev/sda
        superblock bytenr = 67108864

        device name = /dev/sda
        superblock bytenr = 274877906944


Make sure this is a btrfs disk otherwise the tool will destroy other fs, Are you sure? [y/N]: y
warning, device 5 is missing
parent transid verify failed on 19425773273088 wanted 2519571 found 78559
parent transid verify failed on 19425773273088 wanted 2519571 found 78559
Ignoring transid failure
parent transid verify failed on 6652529033216 wanted 2519598 found 2515848
parent transid verify failed on 6652750954496 wanted 2519598 found 2515848
parent transid verify failed on 6652529049600 wanted 2519598 found 2516704
parent transid verify failed on 6652750495744 wanted 2519598 found 72615
parent transid verify failed on 6655527501824 wanted 2519595 found 1483385
parent transid verify failed on 6652533096448 wanted 2519598 found 1516970
parent transid verify failed on 6652529344512 wanted 2519598 found 2516704
parent transid verify failed on 6652769288192 wanted 2519598 found 2515848
parent transid verify failed on 6655373246464 wanted 2519592 found 1482715
parent transid verify failed on 6652566749184 wanted 2519598 found 2515844
parent transid verify failed on 6652781658112 wanted 2519598 found 2515848
parent transid verify failed on 6652536979456 wanted 2519598 found 2515844
parent transid verify failed on 6652601139200 wanted 2519598 found 56863
parent transid verify failed on 6655626117120 wanted 2519595 found 1483862
parent transid verify failed on 6656708526080 wanted 2519595 found 1483914
parent transid verify failed on 6655626182656 wanted 2519595 found 1483863
parent transid verify failed on 6655626199040 wanted 2519595 found 1483863
parent transid verify failed on 6656708542464 wanted 2519595 found 1483914
parent transid verify failed on 6655626543104 wanted 2519595 found 1483864
parent transid verify failed on 6656706740224 wanted 2519595 found 1483879
parent transid verify failed on 6655626985472 wanted 2519595 found 1483866
parent transid verify failed on 6656708608000 wanted 2519595 found 1483915
parent transid verify failed on 6655627034624 wanted 2519595 found 1483868
parent transid verify failed on 6655627083776 wanted 2519595 found 1483868
parent transid verify failed on 6655627100160 wanted 2519595 found 1483867
parent transid verify failed on 6655349751808 wanted 2519592 found 1482597
parent transid verify failed on 6655493865472 wanted 2519593 found 78353
parent transid verify failed on 6656708575232 wanted 2519595 found 1483915
parent transid verify failed on 6655627116544 wanted 2519595 found 1483867
parent transid verify failed on 6655621791744 wanted 2519594 found 1483839
parent transid verify failed on 6655350374400 wanted 2519592 found 1482600
parent transid verify failed on 6655336120320 wanted 2519538 found 1482524
parent transid verify failed on 6655622529024 wanted 2519594 found 1483842
parent transid verify failed on 6655413141504 wanted 2519592 found 1481377
parent transid verify failed on 6655575638016 wanted 2519571 found 1483604
parent transid verify failed on 6655575654400 wanted 2519571 found 1483604
volumes.c:1795: btrfs_chunk_readonly: BUG_ON `!ce` triggered, value 1
btrfs(+0x2f712)[0x559bea3ef712]
btrfs(+0x32059)[0x559bea3f2059]
btrfs(btrfs_read_block_groups+0x282)[0x559bea3e4972]
btrfs(btrfs_setup_all_roots+0x3f3)[0x559bea3deb23]
btrfs(+0x1ef53)[0x559bea3def53]
btrfs(open_ctree_fs_info+0x90)[0x559bea3df1a0]
btrfs(open_ctree+0x1c)[0x559bea3df24c]
btrfs(btrfs_recover_superblocks+0x25d)[0x559bea4386bd]
btrfs(main+0x94)[0x559bea3d40c4]
/usr/lib/libc.so.6(__libc_start_main+0xf3)[0x7f888a636ee3]
btrfs(_start+0x2e)[0x559bea3d435e]
[1]    2369 abort (core dumped)  btrfs rescue super-recover -v /dev/sda

Warum bricht der Vorgang ab?

Was kann ich noch tun?

Zum Backup... Bevor die Frage kommt... Ja, hatte ich, bis zu dem Zeitpunkt, an dem das dritte 8TB-Laufwerk eingebunden gewesen ist. Das Backup-Laufwerk hatte ebenfalls 8TB und sollte die vierte Platte im Raid5 werden und da alles zu funktionieren schien...

Vielen Dank!

Offline

#2 04.08.2019 12:41:05

tom.smith
Mitglied

Re: btrfs raid5 kann nicht mehr gemountet werden... bad Superblock

Ich bin in der Lage das btrfs-raid5 zu mounten (mount -o degraded /dev/sda /srv/btrfs)

Ein 'btrfs fi df /srv/btrfs' gibt aus:
Data, RAID5: total=5.84TiB, used=5.82TiB
System, RAID1: total=32.00MiB, used=416.00KiB
Metadata, RAID1: total=8.00GiB, used=6.34GiB
GlobalReserve, single: total=512.00MiB, used=0.00B

Ein list für das Verzeichnis /srv/btrfs (Mountpoint) zeigt die einzelnen Subvolumes:
ls -al
insgesamt 16
drwxr-xr-x 1 root root      110 15. Jun 19:20 .
drwxr-xr-x 1 root users      90  1. Aug 03:58 ..
drwxrwxr-x 1 tom  smb-users  58  4. Aug 12:21 @Backup
drwxrwxr-x 1 tom  smb-users  50 15. Jun 21:19 @DataSet
drwxrwxr-x 1 tom  smb-users  86 20. Jul 13:15 @Multimedia
drwxrwxr-x 1 tom  smb-users 110 15. Jun 21:22 @Pictures
drwxrwxr-x 1 tom  smb-users  92 18. Jun 11:23 @Save
drwxrwxr-x 1 tom  smb-users  20 15. Jun 22:36 @VUPlus
drwxrwxr-x 1 tom  smb-users 406 25. Jul 16:44 @Win_usr

Die folgende Datei kann dann auch kopiert werden:
-rwxrwxr-x 1 tom smb-users     3441 15. Feb 22:07  Hummeldumm.m3u
cp ./Hummeldumm.m3u /srv/btrfs/@Backup/test

Die cover.jpg z. B. kann aber nicht kopiert werden:
-rwxrwxr-x 1 tom smb-users   166213  3. Mär 20:53  cover.jpg
cp ./cover.jpg /srv/btrfs/@Backup/test
cp: Fehler beim Lesen von './cover.jpg': Eingabe-/Ausgabefehler

ls -l /srv/btrfs/@Backup/test
insgesamt 40
-rwxr-xr-x 1 root root 36864  4. Aug 12:34 cover.jpg
-rwxr-xr-x 1 root root  3441  4. Aug 12:34 Hummeldumm.m3u

Die m3u ist vollständig kopiert worden, von der cover.jpg nur 36864 von insgesamt 166213kb!?

Ich kann unverändert die Dateien nur unvollständig kopieren. Nur kleine Dateien werden kopiert...
Ich weiß nicht, ob das bei der Lösung meines Problems helfen kann. Zumindest schwitze ich hier ganz schön...

Offline

#3 05.08.2019 17:48:39

ub4000
Mitglied

Re: btrfs raid5 kann nicht mehr gemountet werden... bad Superblock

Sorry, habe keine Lösung für dich,
aber ggf. ein Hinweis, warum es nicht funktioniert hat:

tom.smith schrieb:

habe ich auf ein Raid5 umgestellt und die Platten einzeln ausgetauscht.


https://wiki.archlinux.org/index.php/Bt … ile_system Warning: The RAID 5 and RAID 6 modes of Btrfs are fatally flawed,


tom.smith schrieb:

Das Backup-Laufwerk hatte ebenfalls 8TB und sollte die vierte Platte im Raid5 werden

Ein RAID ist kein Backup, egal welcher RAID Level.
https://wiki.archlinux.org/index.php/RA … AID_levels

Offline

#4 05.08.2019 21:10:56

Kabbone
Mitglied

Re: btrfs raid5 kann nicht mehr gemountet werden... bad Superblock

Ich würde zwar einem BTRFS RAID5 im Moment auch nicht vollends vertrauen, aber die Info aus dem Wiki sollte nicht mehr ganz aktuell sein. Soweit mir bekannt wurden die meisten Probleme damit innerhalb des letzten Jahres gelöst.

Offline

#5 10.08.2019 09:57:27

tom.smith
Mitglied

Re: btrfs raid5 kann nicht mehr gemountet werden... bad Superblock

Kabbone schrieb:

Ich würde zwar einem BTRFS RAID5 im Moment auch nicht vollends vertrauen, aber die Info aus dem Wiki sollte nicht mehr ganz aktuell sein. Soweit mir bekannt wurden die meisten Probleme damit innerhalb des letzten Jahres gelöst.

Tja, das hatte ich auch gedacht. Mein NAS hängt deshalb an einer USV, um dieses letzte große Problem 'write hole' zu umgehen. Hat nicht funktioniert.

Offline

#6 17.11.2019 13:53:16

fablab
Mitglied

Re: btrfs raid5 kann nicht mehr gemountet werden... bad Superblock

https://btrfs.wiki.kernel.org/index.php/Status#RAID56

RAID56     Unstable     tbd     n/a     write hole still exists (see below)

RAID56

Some fixes went to 4.12, namely scrub and auto-repair fixes. Feature marked as mostly OK for now.

Further fixes to raid56 related code are applied each release. The write hole is the last missing part, preliminary patches have been posted but needed to be reworked. The parity not checksummed note has been removed.

Hallo User,

RAID56     gilt noch nicht als stable.

MfG

fablab

Beitrag geändert von fablab (17.11.2019 13:56:54)

Offline

Schnellantwort auf dieses Thema

Schreibe deinen Beitrag und versende ihn
Deine Antwort

Fußzeile des Forums