できない.dev

Python「UnicodeDecodeError」がファイル読み込みで出る原因と直し方

UnicodeDecodeError は、ファイルの文字コードと open() の想定が違うと出る。
encoding='utf-8' を明示するか、BOM 付きは utf-8-sig、Shift_JIS は cp932 を指定すれば直る。

公開: 更新:

症状できない · exit 1
python bad.py
Traceback (most recent call last):
  File "/tmp/tmp.1PbIWpiSpn/bad.py", line 2, in <module>
    print(f.read())
          ^^^^^^^^
  File "<frozen codecs>", line 322, in decode
UnicodeDecodeError: 'utf-8' codec can't decode byte 0x93 in position 0: invalid start byte

2026-08-02 に python:3.12 で実際に打って取った出力。検証環境の詳細

要約

Python で UnicodeDecodeError: 'utf-8' codec can't decode byte ... などが出る場合、ファイルの実エンコーディングと open() が想定するエンコーディングが食い違っている。
open(path, encoding='utf-8') のように明示的に指定する、または utf-8-sig / cp932 などファイル実態に合わせれば解消する。

実行例

実際に上記の手順を python:3.12(Debian GNU/Linux 13 trixie)環境で動かした。
cp932 で用意したファイルを encoding 未指定で開いた段階で、UnicodeDecodeError: 'utf-8' codec can't decode byte 0x93 が発生した。
encoding='cp932' を明示すると、正常に読み出せた。

$ python bad.py
Traceback (most recent call last):
  File "/tmp/tmp.1PbIWpiSpn/bad.py", line 2, in <module>
    print(f.read())
          ^^^^^^^^
  File "<frozen codecs>", line 322, in decode
UnicodeDecodeError: 'utf-8' codec can't decode byte 0x93 in position 0: invalid start byte
$ echo $?
1
$ python solve_cp932.py
日本語テキスト
$ python solve_replace.py
'���{��e�L�X�g\n'
$ python solve_utf8_sig.py
utf-8-sig: 'hello'
utf-8    : '\ufeffhello'

— 2026-08-02 時点の出力

検証環境2026-08-02 検証
検証日
実行環境
python:3.12

この記事の「実行例」は、上記の環境で実際にコマンドを実行して得られた出力をそのまま掲載しています。 再現手順はリポジトリの検証スクリプトとして管理し、定期的に再実行して出力を更新しています。

解決策

1. encoding を明示する

ほぼ全ての UnicodeDecodeError はこれで防げる。

with open("data.txt", encoding="utf-8") as f:
    text = f.read()

open() の仕様(新しいタブで開く) のとおり、テキストモードで encoding を省略すると Python 3.14 まではロケール既定が使われる。
3.15 からは PEP 686(新しいタブで開く) により UTF-8 が既定になったので、版によって読み方が変わらないよう明示しておく。

2. BOM 付き UTF-8 は utf-8-sig

import csv
with open("export.csv", encoding="utf-8-sig") as f:
    rows = list(csv.reader(f))

utf-8-sig は読み込み時に BOM を取り除き、書き込み時には先頭に付与する。

3. Shift_JIS / cp932

Windows のメモ帳で保存した古いファイルは、cp932 として開く。

with open("legacy.txt", encoding="cp932") as f:
    text = f.read()

shift_jis ではなく cp932 を推奨する(NEC 拡張・IBM 拡張文字を含むため)。

4. errors 引数で握り潰す

ログのような壊れても致命的でないファイルなら、errors='replace' でデコードできないバイトを U+FFFD(�)に置き換えられる(? への置換はエンコード時の挙動で、デコード時は �)。

with open("noisy.log", encoding="utf-8", errors="replace") as f:
    text = f.read()

5. バイナリモードで読み自前デコード

判別が必要なら chardet や charset-normalizer でエンコーディングを推定して decode する。

import charset_normalizer
raw = open("unknown.txt", "rb").read()
guess = charset_normalizer.from_bytes(raw).best()
text = str(guess)

よくある原因

  1. encoding を指定していない。
    open(path) だけだと、Python 3.14 までは OS のロケールに依存する。
    Windows では cp932(Shift_JIS 系)、Linux では UTF-8 であることが多い。
    3.15 からは UTF-8 モードが既定になり、環境によらず UTF-8 で読むため、cp932 のファイルを encoding なしで開くと Windows でもこのエラーになる。
  2. BOM 付き UTF-8 で保存されている。
    Excel で保存した CSV などは BOM が先頭に付き、utf-8 で読むと最初の文字に余計なバイトが残ることがある。
  3. エンコーディングを取り違えている。
    古い Windows 由来の文書を、utf-8 として開いてしまう。
  4. バイト列が壊れている。
    ネットワーク越しのバイナリ混入や、途中で切れたファイルでは、一部のバイト列が無効になる。