Autor Thema: Kopieren großer Datenmengen auf USB-HDD bricht regelmäßig ab  (Gelesen 114 mal)

0 Mitglieder und 1 Gast betrachten dieses Thema.

Offline perchlorat

  • Vollwertiges Mitglied
  • ***
  • Beiträge: 114
  • Dankeschön: 1 mal
  • Karma: +0/-0
    • Lebenslust jetzt! – Praxis für Psychotherapie
  • Desktop: XFCE
  • Grafikkarte: nVidia GeForce GTX 1650
  • Grafikkartentreiber: nonfree
  • Kernel: 5.10.2
  • Prozessor: i5-7400
  • Skill: Anfänger
  • Zweig: stable
In einem früheren Beitrag hier https://de.manjaro.org/index.php?topic=10249.0 hatte ich noch angenommen, dass das Problem mit der Eigenheit von VirtualBox VMs zu tun hat, die ja einen Binary-Blob von durchaus 80 bis 100 GB Größe haben können. Immer wenn ich solch eine VM auf eine mobile HDD kopieren wollte, blieb der Vorgang nach spätestens  ca. 2,2 bis 2,6 GB kopierter Datenmenge stehen. Oft gelingt es nicht einmal, den blockierten Kopiervorgang mit dem Button "Abbrechen" zu beenden!

Egal ob im Zustand der Blockade oder nach einem erfolgreichen Abbruch des Kopiervorgangs flackert die Zugriffs-LED der HDD weiter.

Jetzt hatte ich einen Haufen Videodateien zu kopieren. Jede ist ca. 2 bis 3 GB große, insgesamt waren es 58 GB Daten. Ich öffnete zwei Thunar-Fenster und verschob per Drag n Drop das ganze Verzeichnis, in dem die o.g. Dateien lagen. Wie schon bisher beobachtet, blockierte der Kopiervorgang bei ca. 2,4 GB.

Wie in dem erwähnten Thread, habe ich dann die HDD an mehreren anderen USB-Anschlüssen und mit verschiedenen USB-3-Kabeln angeschlossen – Das Problem war immer das gleiche, egal ob USB direkt auf der Mainboard-Platine oder über eine USB-PCI-Karte oder über einen Hub. Und es tritt auch mit anderen USB-HDDs auf, nicht nur mit der jetzt auffälligen neuen Transcend 2TB im stoßgeschützten Gehäuse.

Über dmesg erhielt ich:
7529.772613] usb 2-4: new SuperSpeed Gen 1 USB device number 4 using xhci_hcd
[ 7529.931579] usb 2-4: New USB device found, idVendor=8564, idProduct=7000, bcdDevice=80.00
[ 7529.931585] usb 2-4: New USB device strings: Mfr=2, Product=3, SerialNumber=1
[ 7529.931589] usb 2-4: Product: StoreJet Transcend
[ 7529.931592] usb 2-4: Manufacturer: StoreJet Transcend
[ 7529.931595] usb 2-4: SerialNumber:             WDZS02EX
[ 7529.934750] usb-storage 2-4:1.0: USB Mass Storage device detected
[ 7529.935014] scsi host9: usb-storage 2-4:1.0
[ 7530.964771] scsi 9:0:0:0: Direct-Access     StoreJet Transcend        0    PQ: 0 ANSI: 6
[ 7530.965253] sd 9:0:0:0: Attached scsi generic sg9 type 0
[ 7530.965473] sd 9:0:0:0: [sdi] 3907029168 512-byte logical blocks: (2.00 TB/1.82 TiB)
[ 7530.965923] sd 9:0:0:0: [sdi] Write Protect is off
[ 7530.965929] sd 9:0:0:0: [sdi] Mode Sense: 43 00 00 00
[ 7530.966140] sd 9:0:0:0: [sdi] Write cache: enabled, read cache: enabled, doesn't support DPO or FUA
[ 7531.001158]  sdi: sdi1
[ 7531.003005] sd 9:0:0:0: [sdi] Attached SCSI disk
[ 8706.700066] sd 9:0:0:0: [sdi] Synchronizing SCSI cache
[ 8706.748330] usb 2-4: USB disconnect, device number 4

Das Disconnect am Ende hatte ich selbst ausgelöst durch Aushängen der HDD. Sehr oft ist aber weder das Abbrechen noch das Aushängen der HDD möglich. Eine Lösung findet sich möglicher Weise in dieser Zeile:
sd 9:0:0:0: [sdi] Write cache: enabled, read cache: enabled, doesn't support DPO or FUA
Hierzu fand ich noch folgenden Thread aus dem Jahr 2008:
https://ubuntuforums.org/showthread.php?t=984157
Dort wird diskutiert, dass im BIOS AHCI aktiviert sein muss (bei mir ist es aktiviert) und dass NCQ eine Rolle spielt. Ferner sollte man die Caches anscheinend deaktivieren. Wie man das macht, findet sich dort aber nicht. Zudem: Solches HDD-Handling ist vermutlich doch auch Kernel-Angelegenheit und müsste seit 2008 doch gelöst sein, auch bei aktivem NCQ und aktivierten Caches, oder?


Wie ich in dem alten Thread schrieb, funktionierten alle 3,5" HDDs mit externem Gehäuse und USB-3 einwandfrei – darunter auch ein RAID-1 mit btrfs, welches Höchstgeschwindigkeit liefert.

Zum optimierten Datenhandling wollte ich nun damit beginnen, alle zu schneidenden Videos auf solch eine 2,5" USB-HDD zu speichern. Mit solchen Problemen ist das aber nun nicht möglich.

Was tun?
« Letzte Änderung: 09. März 2021, 14:27:19 von perchlorat »

Offline perchlorat

  • Vollwertiges Mitglied
  • ***
  • Beiträge: 114
  • Dankeschön: 1 mal
  • Karma: +0/-0
    • Lebenslust jetzt! – Praxis für Psychotherapie
  • Desktop: XFCE
  • Grafikkarte: nVidia GeForce GTX 1650
  • Grafikkartentreiber: nonfree
  • Kernel: 5.10.2
  • Prozessor: i5-7400
  • Skill: Anfänger
  • Zweig: stable
Re: Kopieren großer Datenmengen auf USB-HDD bricht regelmäßig ab
« Antwort #1 am: 09. März 2021, 14:44:39 »
Betr. der Caches der HDD fand ich gerade dies hier:
https://stackoverflow.com/questions/20215516/disabling-disk-cache-in-linux

Demnach könnte ich mittels:
hdparm -W 0 sdi
hdparm -R 0 sdi
die Chaches deaktivieren.

Ist aber fraglich, ob das Sinn macht, denn ich müsste das nach jedem Einhängen der HDD machen oder aber irgendwo im System hinterlegen. Bei letzterem würde die Deaktivierung dann aber auf jede HDD einwirken, die künftig mit sdi eingehängt wird, also auch dann, wenn die Deaktivierung unerwünscht ist.

Zudem ist es fraglich, ob eine Cache-Deaktivierung überhaupt als Lösung für das Problem angesehen werden sollte! Denn Caching und die NCQ-Technik sind doch eigentlich heutzutage Standard, um aus der USB-Technik das Maximum heraus zu holen.

Offline perchlorat

  • Vollwertiges Mitglied
  • ***
  • Beiträge: 114
  • Dankeschön: 1 mal
  • Karma: +0/-0
    • Lebenslust jetzt! – Praxis für Psychotherapie
  • Desktop: XFCE
  • Grafikkarte: nVidia GeForce GTX 1650
  • Grafikkartentreiber: nonfree
  • Kernel: 5.10.2
  • Prozessor: i5-7400
  • Skill: Anfänger
  • Zweig: stable
Re: Kopieren großer Datenmengen auf USB-HDD bricht regelmäßig ab
« Antwort #2 am: 09. März 2021, 19:22:24 »
Sorry, es musste natürlich heißen:
hdparm -W 0 /dev/sdi
hdparm -R 0 /dev/sdi

Hab das gerade ausprobiert und beide Caches deaktiviert. Die Deaktivierung wurde mir auch im Terminal bestätigt. Leider wird das Problem damit nur abgemildert, aber nicht behoben:

Während die HDD im "blockierten Zustand" entweder gar keine Schreibaktivitäten oder nur noch welche mit wenigen kB/s zulässt, nachdem ca. 2,4 GB schnell (ca. 120 MB/s) geschrieben wurden, so lässt sie nun mit deaktiviertem Cache immerhin noch ca. 5 bis 8 MB/s zu statt der wenigen kB/s.

Zahlreiche Videodateien sind größer als 3GB, sodass das Problem nach wie vor die Nutzung der HDD verhindert.