Re: [Python-de] http Upload: große Dateien über langsame Leitung

Thomas Güttler Lists <guettliml@thomas-guettler.de> wrote:
Hallo,
ich suche einen Weg um Dateien per http über eine sehr langsame und
fehleranfällige Leitung zu einem Server zu übertragen.
Wenn zB schon 80% übertragen wurde, und dann die Netzwerkverbindung
verloren geht und wieder aufgebaut wird, dann sollen nur noch die
restlichen 20% übertragen werden.
Die Übertragung kann bis zu 6 Stunden dauern.
Für den Bereich Download ist das schon mehrfach gelöst worden. Aber
wie könnte das für einen http-Upload funktionieren?
Das einfachste dürfte sein, die Datei in handliche Stücke zu zerteilen und diese mit fortlaufenden Nummern zu versehen. So ähnlich wie es früher mit split und uuencode gemacht wurde. Es ist ein Handshake zwischen Server und Client nötig, d.h. nach jedem übertragenen Stück liefert der Server ein OK, wenn die Übertragung geklappt hat. Ansonsten muss der Client das letzte Stück erneut senden. Wenn alle Teile übertragen sind, muss der Server nur die Teile zusammenfügen. -- Dipl.-Inform(FH) Peter Heitzer, peter.heitzer@rz.uni-regensburg.de

Peter Heitzer <peter.heitzer@rz.uni-regensburg.de> wrote:
Das einfachste dürfte sein, die Datei in handliche Stücke zu zerteilen und diese mit fortlaufenden Nummern zu versehen. So ähnlich wie es früher mit split und uuencode gemacht wurde.
Das fuehrt entweder zu SEHR vielen http POST oder zu (zu) grossen Teilstuecken, so dass man da immer wieder von vorne beginnen muss. Im schlimmsten Fall bekommt man eine grosse Datei so gar nie uebertragen. Besser ist es, den Server zu fragen, wieviel er von der Datei schon hat und dann Byte-genau den Rest zu POSTen. So macht es F*EX. Meine User haben damit schon 10 TB grosse Dateien uebertragen. https://fex.rus.uni-stuttgart.de/usecases/downunder.html -- Ullrich Horlacher Server und Virtualisierung Rechenzentrum TIK Universitaet Stuttgart E-Mail: horlacher@tik.uni-stuttgart.de Allmandring 30a Tel: ++49-711-68565868 70569 Stuttgart (Germany) WWW: http://www.tik.uni-stuttgart.de/
participants (2)
-
Peter Heitzer
-
Ulli Horlacher