Suchdateien (Schlüssel) in s3 Eimer dauert längere Zeit

Ich habe 10000 Dateien in einem s3 bucket.Wenn ich alle Dateien auflisten, dauert es 10 Minuten. Ich möchte ein Suchmodul mit BOTO (Python-Schnittstelle zu AWS) implementieren, das Dateien basierend auf Benutzereingaben durchsucht. Gibt es eine Art, wie ich bestimmte Dateien mit weniger Zeit suchen kann?

2 Solutions collect form web for “Suchdateien (Schlüssel) in s3 Eimer dauert längere Zeit”

AFAIK das Beste, was du tun kannst, filtern die Ergebnisse auf der Grundlage eines Dateivorfos mit dem prefix namens Parameter .

Es gibt zwei Möglichkeiten, die Suche zu implementieren …

Fall 1 . Wie von john vorgeschlagen – können Sie das Präfix der s3-Schlüsseldatei in Ihrer Listenmethode angeben. Das wird das Ergebnis von S3-Schlüsseldateien zurückgeben, die mit dem angegebenen Präfix beginnen.

Fall 2. Wenn du die S3-Taste durchsuchen möchtest, die mit einem bestimmten Suffix enden oder wir eine Erweiterung sagen können, kannst du das Suffix im Trennzeichen angeben. Denken Sie daran, es wird Ihnen korrektes Ergebnis nur in dem Fall geben, wenn Sie Suffix für die Suche geben, die mit diesem String endet. Else Trennzeichen wird für Pfad Trennzeichen verwendet.

Ich schlage vor, Sie Fall 1 aber wenn Sie schneller suchen mit bestimmten Suffix dann können Sie versuchen, Fall 2

  • Schneller Weg, um S3 "Ordner Hierarchie" als das Parsen von Dateinamen zu machen?
  • Wie bekomme ich die aktuellsten Cloudwatch-Metrik-Daten für eine Instanz mit Boto?
  • Python / Boto 3: Wie kann ich Dateien von AWS S3 abrufen / herunterladen?
  • AWS boto Erhalten Sie Schnappschüsse in der Zeitspanne
  • Gibt boto.exception.S3ResponseError: S3ResponseError: 403 Forbidden beim Hochladen von Datei
  • Migration von Amazon S3 zu Azure Storage (Django Web App)
  • Erstellen und laden Sie ein AWS ec2 Schlüsselpaar mit Python boto
  • Wie kann ich XML aus Boto-Anrufen zurückgeben?
  • Erstellen von mTurk HIT aus Layout mit Parametern mit boto und python
  • SSLError auf Google App Engine (lokaler Dev-Server)
  • Boto DynamoDB2 bedingte put_item
  • Python ist die beste Programmiersprache der Welt.