できない.dev

JSON Lines を1行ずつ読み書きするには

1 行に 1 件の JSON を書く JSON Lines(.jsonl)形式を、各言語で 1 行ずつ書き出して読み戻す基本形を示す。
ファイル全体を 1 つの JSON として読むと失敗する理由と、空行や巨大な行で起きるつまずきまでを扱う。

公開:

選んだ言語は、ほかのサンプルコードを開いたときも最初に表示する。

Python

import json
from pathlib import Path
 
rows = [{"id": 1, "name": "田中"}, {"id": 2, "name": "鈴木"}, {"id": 3, "name": "Sato"}]
path = Path("users.jsonl")
 
# 書き込み: 1 件ずつ json.dumps して改行で区切る(ensure_ascii=False で日本語をそのまま出す)
with path.open("w", encoding="utf-8", newline="\n") as f:
    for row in rows:
        f.write(json.dumps(row, ensure_ascii=False) + "\n")
 
print(path.read_text(encoding="utf-8"), end="")
# -> {"id": 1, "name": "田中"}
# -> {"id": 2, "name": "鈴木"}
# -> {"id": 3, "name": "Sato"}
 
# 読み込み: 1 行ずつ json.loads する(空行は飛ばす)
with path.open(encoding="utf-8") as f:
    loaded = [json.loads(line) for line in f if line.strip()]
print(loaded == rows)  # -> True
 
# ファイル全体を 1 つの JSON として読むと失敗する
try:
    json.loads(path.read_text(encoding="utf-8"))
except json.JSONDecodeError as e:
    print(e)  # -> Extra data: line 2 column 1 (char 24)

1 件ずつ json.dumps して改行を付けて書き、読むときは 1 行ずつ json.loads する。
ensure_ascii=False を付けると日本語が \uXXXX に化けず、ファイルを開いたときにそのまま読める。
ファイルを開くときは encoding を明示し、環境による文字化けを防ぐ。

できないときPython「json.decoder.JSONDecodeError: Expecting value」の原因と直し方

JavaScript

import { readFileSync, writeFileSync } from "node:fs";
 
const rows = [
  { id: 1, name: "田中" },
  { id: 2, name: "鈴木" },
  { id: 3, name: "Sato" },
];
 
// 書き込み: 1 件ずつ JSON.stringify して改行でつなぎ、最後にも改行を付ける
writeFileSync("users.jsonl", rows.map((r) => JSON.stringify(r)).join("\n") + "\n", "utf8");
 
const text = readFileSync("users.jsonl", "utf8");
process.stdout.write(text);
// -> {"id":1,"name":"田中"}
// -> {"id":2,"name":"鈴木"}
// -> {"id":3,"name":"Sato"}
 
// 読み込み: 改行で分けて、空行を除いてから 1 行ずつ JSON.parse する
const loaded = text
  .split("\n")
  .filter((line) => line.trim() !== "")
  .map((line) => JSON.parse(line));
console.log(loaded.length, loaded[1].name); // -> 3 鈴木
 
// ファイル全体を 1 つの JSON として読むと失敗する
try {
  JSON.parse(text);
} catch (e) {
  console.log(e.message); // -> Unexpected non-whitespace character after JSON at position 21 (line 2 column 1)
}

JSON.stringify は改行を含まない 1 行の文字列を返すので、配列を join("\n") でつなぐだけで JSON Lines になる。
読むときは split("\n") の末尾に空文字列が残るため、filter で空行を除いてから JSON.parse に渡す。

TypeScript

import { readFileSync, writeFileSync } from "node:fs";
 
interface User {
  id: number;
  name: string;
}
 
function writeJsonl<T>(path: string, rows: readonly T[]): void {
  writeFileSync(path, rows.map((r) => JSON.stringify(r) + "\n").join(""), "utf8");
}
 
function readJsonl<T>(path: string): T[] {
  const result: T[] = [];
  readFileSync(path, "utf8")
    .split("\n")
    .forEach((line, i) => {
      if (line.trim() === "") return; // 空行は飛ばす
      try {
        result.push(JSON.parse(line) as T);
      } catch (e) {
        // どの行が壊れているかを行番号で分かるようにする
        throw new Error(`${path}:${i + 1} を JSON として読めない: ${(e as Error).message}`);
      }
    });
  return result;
}
 
const rows: User[] = [
  { id: 1, name: "田中" },
  { id: 2, name: "鈴木" },
];
writeJsonl("users.jsonl", rows);
console.log(readJsonl<User>("users.jsonl")); // -> [ { id: 1, name: '田中' }, { id: 2, name: '鈴木' } ]
 
writeFileSync("broken.jsonl", '{"id":1}\n{"id":2,}\n', "utf8");
try {
  readJsonl<User>("broken.jsonl");
} catch (e) {
  console.log((e as Error).message); // -> broken.jsonl:2 を JSON として読めない: Expected double-quoted property name in JSON at position 8 (line 1 column 9)
}

型引数を取る readJsonl<T> にしておくと、呼び出し側で行の型を指定できる。
ただし JSON.parse の結果は実行時に検査されないため、型は書き手の約束でしかない。
壊れた行は行番号付きの例外にすると、巨大なファイルでも原因の行を探しやすい。

Go

package main
 
import (
	"bufio"
	"encoding/json"
	"fmt"
	"os"
)
 
type User struct {
	ID   int    `json:"id"`
	Name string `json:"name"`
}
 
func main() {
	rows := []User{{1, "田中"}, {2, "鈴木"}, {3, "Sato"}}
 
	// 書き込み: Encoder.Encode は 1 件ごとに末尾へ改行を付ける
	f, err := os.Create("users.jsonl")
	if err != nil {
		panic(err)
	}
	enc := json.NewEncoder(f)
	for _, r := range rows {
		if err := enc.Encode(r); err != nil {
			panic(err)
		}
	}
	f.Close()
 
	// 読み込み: Scanner で 1 行ずつ取り出して Unmarshal する
	rf, err := os.Open("users.jsonl")
	if err != nil {
		panic(err)
	}
	defer rf.Close()
	sc := bufio.NewScanner(rf)
	sc.Buffer(make([]byte, 0, 64*1024), 10*1024*1024) // 1 行が 64KB を超えても読めるようにする
	for sc.Scan() {
		line := sc.Bytes()
		if len(line) == 0 {
			continue
		}
		var u User
		if err := json.Unmarshal(line, &u); err != nil {
			panic(err)
		}
		fmt.Println(u.ID, u.Name) // -> 1 田中 / 2 鈴木 / 3 Sato
	}
	if err := sc.Err(); err != nil {
		panic(err)
	}
 
	// ファイル全体を 1 つの JSON として読むと失敗する
	all, _ := os.ReadFile("users.jsonl")
	var v any
	fmt.Println(json.Unmarshal(all, &v)) // -> invalid character '{' after top-level value
}

json.NewEncoder(f).Encode は 1 件ごとに末尾へ改行を付けるので、そのまま JSON Lines になる。
読むときは bufio.Scanner で 1 行ずつ取り出して json.Unmarshal に渡す。
Scanner は 1 行の上限が 64KB なので、長い行がありうるなら Buffer で上限を広げる。

C#

using System.Text.Encodings.Web;
using System.Text.Json;
 
var options = new JsonSerializerOptions { Encoder = JavaScriptEncoder.UnsafeRelaxedJsonEscaping };
var rows = new[] { new User(1, "田中"), new User(2, "鈴木"), new User(3, "Sato") };
 
// 書き込み: 1 件ずつシリアライズして 1 行にする(既定では日本語が \uXXXX に変換される)
File.WriteAllLines("users.jsonl", rows.Select(r => JsonSerializer.Serialize(r, options)));
Console.Write(File.ReadAllText("users.jsonl")); // -> {"Id":1,"Name":"田中"} ... 3 行
 
// 読み込み: ReadLines は 1 行ずつ遅延して読むので大きなファイルでもメモリを食わない
foreach (var line in File.ReadLines("users.jsonl").Where(l => l.Trim().Length > 0))
{
    var u = JsonSerializer.Deserialize<User>(line)!;
    Console.WriteLine($"{u.Id} {u.Name}");
}
 
// ファイル全体を 1 つの JSON として読むと失敗する
try
{
    JsonSerializer.Deserialize<User>(File.ReadAllText("users.jsonl"));
}
catch (JsonException e)
{
    Console.WriteLine(e.Message); // -> '{' is invalid after a single JSON value. Expected end of data. Path: $ | LineNumber: 1 | BytePositionInLine: 0.
}
 
record User(int Id, string Name);

JsonSerializer.Serialize は既定で日本語を \uXXXX に変換するため、UnsafeRelaxedJsonEscaping を指定してそのまま書き出す。
File.ReadLines は 1 行ずつ遅延して読むので、大きなファイルでも全体をメモリに載せずに処理できる。

つまずき

JSON Lines のファイル全体を json.loads や JSON.parse に渡すと、最初の 1 行を読み終えた時点で失敗する。
JSON Lines は 1 つの JSON ではなく、改行で区切った JSON の並びだからである。
実際に出るメッセージは言語で違い、Python では Extra data: line 2 column 1、Go では invalid character '{' after top-level value、C# では '{' is invalid after a single JSON value になる。
いずれも 1 件の JSON の後ろに続きがあると指摘しているので、このメッセージが出たらファイルが JSON Lines だと疑う。

空行を飛ばさないと落ちる

最後の行の改行で文字列を分割すると、末尾に空文字列が 1 つ残る。
これを json.loads に渡すと Expecting value: line 1 column 1 (char 0) で落ちる。
JavaScript の JSON.parse("") も Unexpected end of JSON input で落ちる。
読み込みの前に空行を除くのが定石で、上のコードも line.strip() や filter で除いている。

1 行ずつ読む利点と上限

全体を 1 つの配列にした JSON は、読み込みのときに全件をメモリへ載せる必要がある。
JSON Lines なら 1 行ずつ処理できるうえ、ファイルの末尾へ 1 行足すだけで追記もできる。
ただし 1 行が非常に長い場合は、言語側の上限に当たることがある。
Go の bufio.Scanner は 1 行の上限が 64KB なので、Buffer で広げるか、json.NewDecoder で連続する JSON を直接読む方法を選ぶ。