UnicodeDecodeError beim Lesen einer CSV-Datei in Pandas mit Python

Die einfachste aller Lösungen:

• Öffnen Sie die CSV-Datei im Sublime-Texteditor.
• Speichern Sie die Datei im Format utf-8.

Klicken Sie in sublime auf Datei -> Mit Kodierung speichern -> UTF-8

Dann können Sie Ihre Datei wie gewohnt lesen:

import pandas as pd
data = pd.read_csv('file_name.csv', encoding='utf-8')

EDIT 1:

Wenn es viele Dateien gibt, können Sie den sublime Schritt überspringen.

Lesen Sie einfach die Datei mit

data = pd.read_csv('file_name.csv', encoding='utf-8')

und die anderen verschiedenen Codierungsarten sind:

encoding = "cp1252"
encoding = "ISO-8859-1"

Pandas ermöglicht die Angabe der Codierung, nicht aber das Ignorieren von Fehlern, um die anstößigen Bytes nicht automatisch zu ersetzen. Es gibt also keine one size fits all method, aber unterschiedliche Möglichkeiten, abhängig vom tatsächlichen Anwendungsfall.

1. Sie kennen die Kodierung und die Datei enthält keinen Kodierungsfehler. Großartig: Sie müssen nur die Kodierung angeben:

   file_encoding = 'cp1252'        # set file_encoding to the file encoding (utf8, latin1, etc.)
   pd.read_csv(input_file_and_path, ..., encoding=file_encoding)
   

2. Sie möchten sich nicht mit Fragen zum Kodieren beschäftigen und nur diese verdammte Datei laden, auch wenn einige Textfelder Müll enthalten. Ok, Sie müssen nur die Latin1-Codierung verwenden, da jedes mögliche Byte als Eingabe akzeptiert wird (und in das Unicode-Zeichen desselben Codes umgewandelt wird):

   pd.read_csv(input_file_and_path, ..., encoding='latin1')
   

3. Sie wissen, dass der Großteil der Datei mit einer bestimmten Kodierung geschrieben ist, sie enthält jedoch auch Kodierungsfehler. Ein reales Beispiel ist eine UTF8-Datei, die mit einem Nicht-Utf8-Editor bearbeitet wurde und einige Zeilen mit einer anderen Kodierung enthält. Pandas hat keine spezielle Fehlerverarbeitung, aber die Funktion Python open hat (vorausgesetzt, Python3) und read_csv akzeptiert ein dateiähnliches Objekt. Typische Fehlerparameter, die hier verwendet werden sollen, sind 'ignore', die nur die anstößigen Bytes unterdrücken, oder (IMHO besser) 'backslashreplace', der die anstößigen Bytes durch ihre umgekehrte Python-Escape-Sequenz ersetzt:

   file_encoding = 'utf8'        # set file_encoding to the file encoding (utf8, latin1, etc.)
   input_fd = open(input_file_and_path, encoding=file_encoding, errors = 'backslashreplace')
   pd.read_csv(input_fd, ...)
   

with open('filename.csv') as f:
   print(f)

nachdem Sie diesen Code ausgeführt haben, finden Sie die Kodierung von 'Dateiname.csv'

data=pd.read_csv('filename.csv', encoding="encoding as you found earlier"

los gehts

Kämpfte eine Weile damit und dachte, ich würde zu dieser Frage posten, da dies das erste Suchergebnis ist. Das Hinzufügen des Tags "coding = 'iso-8859-1" zu pandas read_csv funktionierte nicht und auch keine andere Codierung lieferte einen UnicodeDecodeError. 

Wenn Sie einen Datei-Handle an pd.read_csv () übergeben, müssen Sie das Attribut coding = in die Datei öffnen, nicht in read_csv. Im Nachhinein offensichtlich, aber ein subtiler Fehler.

In meinem Fall funktionierte dies für python 2.7:

data = read_csv(filename, encoding = "ISO-8859-1", dtype={'name_of_colum': unicode}, low_memory=False) 

Und für python 3 nur:

data = read_csv(filename, encoding = "ISO-8859-1", low_memory=False) 

Diese Antwort scheint der Haken für CSV-Codierungsprobleme zu sein. Wenn Sie mit Ihrer Kopfzeile ein seltsames Codierungsproblem wie folgt feststellen:

>>> f = open(filename,"r")
>>> reader = DictReader(f)
>>> next(reader)
OrderedDict([('\ufeffid', '1'), ... ])

Dann haben Sie am Anfang Ihrer CSV-Datei ein Byte Order Mark (BOM) Zeichen. Diese Antwort spricht das Problem an:

Python read csv - In den ersten Schlüssel eingebettete Stückliste

Die Lösung besteht darin, die CSV mit encoding="utf-8-sig" zu laden:

>>> f = open(filename,"r", encoding="utf-8-sig")
>>> reader = DictReader(f)
>>> next(reader)
OrderedDict([('id', '1'), ... ])

Hoffentlich hilft das jemandem.

Ich benutze Jupyter-Notebook. In meinem Fall wurde die Datei im falschen Format angezeigt. Die Option 'Kodierung' hat nicht funktioniert. Also speichere ich die csv im utf-8 Format und es funktioniert.

Versuchen Sie, die Engine = 'python' anzugeben. Es hat für mich funktioniert, aber ich versuche immer noch herauszufinden warum.

df = pd.read_csv(input_file_path,...engine='python')

Ich poste ein Update zu diesem alten Thread. Ich habe eine Lösung gefunden, die funktioniert hat, aber jede Datei geöffnet werden muss. Ich habe meine CSV-Datei in LibreOffice geöffnet, und dann Speichern unter> Filtereinstellungen bearbeiten gewählt. Im Dropdown-Menü habe ich die UTF8-Codierung ausgewählt. Dann fügte ich encoding="utf-8-sig" zur data = pd.read_csv(r'C:\fullpathtofile\filename.csv', sep = ',', encoding="utf-8-sig") hinzu.

Hoffe das hilft jemandem.

In meinem Fall hat eine Datei die Codierung "USC-2 LE BOM" gemäß Notepad ++. Für Python ist das encoding = "utf_16_le". 

Ich hoffe, es hilft, eine Antwort für jemanden etwas schneller zu finden.