Effizienteste I / O-Einstellung zwischen Stata und Python (Pandas)

Ich benutze Stata, um einige Daten zu verarbeiten, exportiere die Daten in einer CSV-Datei und lade sie in Python mit der Funktion pandas read_csv.

Das Problem ist, dass alles so langsam ist. Das Exportieren von Stata in eine CSV-Datei dauert alters (das Exportieren im dta Stata-Format ist viel schneller), und das Laden der Daten über read_csv ist ebenfalls sehr langsam. Mit der Funktion read_stata pandas ist noch schlimmer.

Ich frage mich, gibt es noch andere Optionen? Wie exportieren Sie ein anderes Format als csv? Mein csv-Dataset ist ca. 6-7 Gb groß.

Jede Hilfe geschätzt

Vielen Dank

One Solution collect form web for “Effizienteste I / O-Einstellung zwischen Stata und Python (Pandas)”

Ziemlich effizient pd.read_stata()/.to_stata() , siehe hier

Python ist die beste Programmiersprache der Welt.