Im Prod mit s3, im Dev mit ???
Hallo,
ich würde gerne meine BLOB Daten des Produktivsystems in einem Storage mit S3 API speichern.
Im Entwicklungs- und CI-System möchte ich aber gerne ohne S3 auskommen.
Hat hier jemand Erfahrung oder Hinweise?
Gruß, Thomas
Du müßtest schon etwas spezifischer sein. Das S3 API ist ja nicht so komplex. Wir haben für unsere (einfachen) Zwecke einen Wrapper geschrieben, der URIs der Art s3://bla/bla bzw. file:///bla/bla akzeptiert und ein Objekt zurück liefert, das "das Richtige" tut.
Es gibt eine Library die das allgemein versucht und z.B. Downloads im Hintergrund effizient parallelisiert. Für uns war sie etwas zu smart und ich müßte den Namen suchen.
Hängt wie gesagt in meinen Augen alles etwas von deinem Anwendungsfall ab, sollte sich aber mit den üblichen Abstraktionen lösen lassen.
Grüße, Achim
On Monday, 11 June, 2018 01:27 PM, Thomas Güttler wrote:
Hallo,
ich würde gerne meine BLOB Daten des Produktivsystems in einem Storage mit S3 API speichern.
Im Entwicklungs- und CI-System möchte ich aber gerne ohne S3 auskommen.
Hat hier jemand Erfahrung oder Hinweise?
Gruß, Thomas
Hallo
evtl. kannst du das mit pyfilesystem realisieren
https://github.com/PyFilesystem/s3fs
Grüße Reimar
2018-06-11 15:20 GMT+02:00 Achim Domma domma@procoders.net:
Du müßtest schon etwas spezifischer sein. Das S3 API ist ja nicht so komplex. Wir haben für unsere (einfachen) Zwecke einen Wrapper geschrieben, der URIs der Art s3://bla/bla bzw. file:///bla/bla akzeptiert und ein Objekt zurück liefert, das "das Richtige" tut.
Es gibt eine Library die das allgemein versucht und z.B. Downloads im Hintergrund effizient parallelisiert. Für uns war sie etwas zu smart und ich müßte den Namen suchen.
Hängt wie gesagt in meinen Augen alles etwas von deinem Anwendungsfall ab, sollte sich aber mit den üblichen Abstraktionen lösen lassen.
Grüße, Achim
On Monday, 11 June, 2018 01:27 PM, Thomas Güttler wrote:
Hallo,
ich würde gerne meine BLOB Daten des Produktivsystems in einem Storage mit S3 API speichern.
Im Entwicklungs- und CI-System möchte ich aber gerne ohne S3 auskommen.
Hat hier jemand Erfahrung oder Hinweise?
Gruß, Thomas
python-de maillist - python-de@python.org https://mail.python.org/mailman/listinfo/python-de
Am 12.06.2018 um 22:46 schrieb Reimar Bauer:
Hallo
evtl. kannst du das mit pyfilesystem realisieren
https://github.com/PyFilesystem/s3fs
Grüße Reimar
Danke für den Hinweis.
Ich bin hier skeptisch:
Filesystem Abstraction for Python.
Will man das haben? Ich persönlich finde, dass das Betriebssystem das sicherlich besser kann. Also in meinem Fall könnte ich mit zB FUSE alles mögliche per mount in das Dateisystem bekommen.
Aber selbst wenn das Betriebssystem prima remote-Verzeichnisse lokal bereitstellen kann, noch mal die gleiche Überlegung: will man das?
Ich habe für mich festgestellt, dass Daten erstmal in eine Datenbank gehören.
Für BLOBs funktioniert das leider noch nicht gut. Darum für BLOBs einen Storage-Server nehmen.
Mein Ziel:
Das Dateisystem ist dann nur noch dafür da Python- und Konfig-Dateien zu speichern.
Aktuell nutze ich noch das Dateisystem zu Ablage von BLOBs, aber das will ich ändern.
Gruß, Thomas
2018-06-11 15:20 GMT+02:00 Achim Domma domma@procoders.net:
Du müßtest schon etwas spezifischer sein. Das S3 API ist ja nicht so komplex. Wir haben für unsere (einfachen) Zwecke einen Wrapper geschrieben, der URIs der Art s3://bla/bla bzw. file:///bla/bla akzeptiert und ein Objekt zurück liefert, das "das Richtige" tut.
Es gibt eine Library die das allgemein versucht und z.B. Downloads im Hintergrund effizient parallelisiert. Für uns war sie etwas zu smart und ich müßte den Namen suchen.
Hängt wie gesagt in meinen Augen alles etwas von deinem Anwendungsfall ab, sollte sich aber mit den üblichen Abstraktionen lösen lassen.
Grüße, Achim
On Monday, 11 June, 2018 01:27 PM, Thomas Güttler wrote:
Hallo,
ich würde gerne meine BLOB Daten des Produktivsystems in einem Storage mit S3 API speichern.
Im Entwicklungs- und CI-System möchte ich aber gerne ohne S3 auskommen.
Hat hier jemand Erfahrung oder Hinweise?
Gruß, Thomas
python-de maillist - python-de@python.org https://mail.python.org/mailman/listinfo/python-de
python-de maillist - python-de@python.org https://mail.python.org/mailman/listinfo/python-de
https://github.com/spulec/moto ?
Gruß,
Dinu
Hallo,
ich würde gerne meine BLOB Daten des Produktivsystems in einem Storage mit S3 API speichern.
Im Entwicklungs- und CI-System möchte ich aber gerne ohne S3 auskommen.
Hat hier jemand Erfahrung oder Hinweise?
Gruß, Thomas
Am 13.06.2018 um 07:44 schrieb Dinu Gherman:
"Moto is a library that allows your python tests to easily mock out the boto library"
Danke für den Link.
3k Commits und 279 Contributors. Es scheint, dass diese Lib sehr viel genutzt wird.
Danke für den Link.
Hast du die Lib schon selbst genutzt?
Gruß, Thomas
participants (4)
-
Achim Domma -
Dinu Gherman -
Reimar Bauer -
Thomas Güttler