Tag: chunks

Wie hast du eine Liste in gleichgroße Stücke aufgeteilt?

Ich habe eine Liste von willkürlichen Länge, und ich muss es in gleich große Stücke aufteilen und darauf operieren. Es gibt einige offensichtliche Möglichkeiten, dies zu tun, wie das Halten eines Zählers und zwei Listen, und wenn die zweite Liste füllt, fügen Sie es in die erste Liste und leeren Sie die zweite Liste für […]

In Python wie hast du eine Liste in gleichmäßig sortierte Chunks aufgeteilt, beginnend mit dem letzten Element aus dem vorherigen Chunk?

Was wäre die pythonischste Art, eine Liste wie folgt zu konvertieren: mylist = [0,1,2,3,4,5,6,7,8] In Stücke von n Elementen, die immer mit dem letzten Element des vorherigen Chunk beginnen. Das letzte Element des letzten Chunk sollte mit dem ersten Element des ersten Chunk identisch sein, um die Datenstruktur kreisförmig zu machen. Mögen: [ [0,1,2,3], [3,4,5,6], […]

Pandas SQL chunksize

Das ist eher eine Frage zum Verständnis als Programmierung. Ich bin ganz neu in Pandas und SQL. Ich verwende Pandas, um Daten aus SQL mit einigen bestimmten Chunksize zu lesen. Wenn ich eine SQL-Abfrage ausführen, zB importiere Pandas als pd df = pd.read_sql_query('select name, birthdate from table1', chunksize = 1000) Was ich nicht verstehe, ist, […]

Gib alle möglichen Kombinationen eines Strings zurück, wenn er in n Strings aufgeteilt ist

Ich habe eine Suche nach Stackoverflow über diese, aber konnte nicht finden, einen Weg, es zu tun. Es handelt sich wahrscheinlich um itertools. Ich möchte alle möglichen Ergebnisse der Spaltung einer Zeichenfolge finden, sagen die String thisisateststring in n (gleiche oder ungleiche Länge, spielt keine Rolle, beide sollten enthalten sein) Strings. Zum Beispiel sei n […]

Aus Speicherfehler beim Lesen der CSV-Datei im Chunk

Ich verarbeite eine csv Datei, die 2,5 GB groß ist. Die 2,5 GB Tabelle sieht so aus: columns=[ka,kb_1,kb_2,timeofEvent,timeInterval] 0:'3M' '2345' '2345' '2014-10-5',3000 1:'3M' '2958' '2152' '2015-3-22',5000 2:'GE' '2183' '2183' '2012-12-31',515 3:'3M' '2958' '2958' '2015-3-10',395 4:'GE' '2183' '2285' '2015-4-19',1925 5:'GE' '2598' '2598' '2015-3-17',1915 Und ich möchte gruppieren von ka und kb_1 , um das Ergebnis so […]

Paging-Python-Listen in Scheiben von 4 Items

Mögliche Duplikat: Wie hast du eine Liste in gleichmäßig sortierte Chunks in Python gespalten? mylist = [1, 2, 3, 4, 5, 6, 7, 8, 9] Ich muss Blöcke von diesen an eine Drittanbieter-API übergeben, die nur mit 4 Items zu einem Zeitpunkt umgehen kann. Ich könnte eins zu einer Zeit zu tun, aber es ist […]

Wie spalte ich eine csv-Datei in gleichmäßig sortierte Chunks in Python?

Im Grunde hatte ich den nächsten Prozess. import csv reader = csv.reader(open('huge_file.csv', 'rb')) for line in reader: process_line(line) Siehe diese Frage . Ich möchte die Prozesslinie alle 100 Zeilen senden, um Batch Sharding zu implementieren. Das Problem der Implementierung der entsprechenden Antwort ist, dass csv-Objekt nicht abrufbar ist und nicht len ​​verwenden kann. >>> import […]

Aufteilung einer Liste in N Teile von ungefähr gleicher Länge

Was ist der beste Weg, um eine Liste in ungefähr gleiche Teile aufzuteilen? Zum Beispiel, wenn die Liste hat 7 Elemente und ist es in 2 Teile aufgeteilt, wollen wir 3 Elemente in einem Teil zu bekommen, und das andere sollte 4 Elemente haben. Ich suche etwas wie even_split(L, n) , das L in n […]

Was ist der "pythonische" Weg, um über eine Liste in Brocken zu iterieren?

Ich habe ein Python-Skript, das als Eingabe eine Liste von ganzen Zahlen, die ich brauche, um mit vier ganzen Zahlen zu einer Zeit zu arbeiten. Leider habe ich keine Kontrolle über die Eingabe, oder ich hätte es als eine Liste von Vier-Element-Tupel passiert. Derzeit lerne ich auf diese Weise: for i in xrange(0, len(ints), 4): […]

Wie hast du eine Liste in gleichgroße Stücke aufgeteilt?

Ich habe eine Liste von willkürlichen Länge, und ich muss es in gleich große Stücke aufteilen und darauf operieren. Es gibt einige offensichtliche Möglichkeiten, dies zu tun, wie das Halten eines Zählers und zwei Listen, und wenn die zweite Liste füllt, fügen Sie es in die erste Liste und leeren Sie die zweite Liste für […]

Python ist die beste Programmiersprache der Welt.