JSON Lines を1行ずつ読み書きするには
1 行に 1 件の JSON を書く JSON Lines(.jsonl)形式を、各言語で 1 行ずつ書き出して読み戻す基本形を示す。
ファイル全体を 1 つの JSON として読むと失敗する理由と、空行や巨大な行で起きるつまずきまでを扱う。
公開:
選んだ言語は、ほかのサンプルコードを開いたときも最初に表示する。
Python
import json
from pathlib import Path
rows = [{"id": 1, "name": "田中"}, {"id": 2, "name": "鈴木"}, {"id": 3, "name": "Sato"}]
path = Path("users.jsonl")
# 書き込み: 1 件ずつ json.dumps して改行で区切る(ensure_ascii=False で日本語をそのまま出す)
with path.open("w", encoding="utf-8", newline="\n") as f:
for row in rows:
f.write(json.dumps(row, ensure_ascii=False) + "\n")
print(path.read_text(encoding="utf-8"), end="")
# -> {"id": 1, "name": "田中"}
# -> {"id": 2, "name": "鈴木"}
# -> {"id": 3, "name": "Sato"}
# 読み込み: 1 行ずつ json.loads する(空行は飛ばす)
with path.open(encoding="utf-8") as f:
loaded = [json.loads(line) for line in f if line.strip()]
print(loaded == rows) # -> True
# ファイル全体を 1 つの JSON として読むと失敗する
try:
json.loads(path.read_text(encoding="utf-8"))
except json.JSONDecodeError as e:
print(e) # -> Extra data: line 2 column 1 (char 24)1 件ずつ json.dumps して改行を付けて書き、読むときは 1 行ずつ json.loads する。ensure_ascii=False を付けると日本語が \uXXXX に化けず、ファイルを開いたときにそのまま読める。
ファイルを開くときは encoding を明示し、環境による文字化けを防ぐ。
JavaScript
import { readFileSync, writeFileSync } from "node:fs";
const rows = [
{ id: 1, name: "田中" },
{ id: 2, name: "鈴木" },
{ id: 3, name: "Sato" },
];
// 書き込み: 1 件ずつ JSON.stringify して改行でつなぎ、最後にも改行を付ける
writeFileSync("users.jsonl", rows.map((r) => JSON.stringify(r)).join("\n") + "\n", "utf8");
const text = readFileSync("users.jsonl", "utf8");
process.stdout.write(text);
// -> {"id":1,"name":"田中"}
// -> {"id":2,"name":"鈴木"}
// -> {"id":3,"name":"Sato"}
// 読み込み: 改行で分けて、空行を除いてから 1 行ずつ JSON.parse する
const loaded = text
.split("\n")
.filter((line) => line.trim() !== "")
.map((line) => JSON.parse(line));
console.log(loaded.length, loaded[1].name); // -> 3 鈴木
// ファイル全体を 1 つの JSON として読むと失敗する
try {
JSON.parse(text);
} catch (e) {
console.log(e.message); // -> Unexpected non-whitespace character after JSON at position 21 (line 2 column 1)
}JSON.stringify は改行を含まない 1 行の文字列を返すので、配列を join("\n") でつなぐだけで JSON Lines になる。
読むときは split("\n") の末尾に空文字列が残るため、filter で空行を除いてから JSON.parse に渡す。
TypeScript
import { readFileSync, writeFileSync } from "node:fs";
interface User {
id: number;
name: string;
}
function writeJsonl<T>(path: string, rows: readonly T[]): void {
writeFileSync(path, rows.map((r) => JSON.stringify(r) + "\n").join(""), "utf8");
}
function readJsonl<T>(path: string): T[] {
const result: T[] = [];
readFileSync(path, "utf8")
.split("\n")
.forEach((line, i) => {
if (line.trim() === "") return; // 空行は飛ばす
try {
result.push(JSON.parse(line) as T);
} catch (e) {
// どの行が壊れているかを行番号で分かるようにする
throw new Error(`${path}:${i + 1} を JSON として読めない: ${(e as Error).message}`);
}
});
return result;
}
const rows: User[] = [
{ id: 1, name: "田中" },
{ id: 2, name: "鈴木" },
];
writeJsonl("users.jsonl", rows);
console.log(readJsonl<User>("users.jsonl")); // -> [ { id: 1, name: '田中' }, { id: 2, name: '鈴木' } ]
writeFileSync("broken.jsonl", '{"id":1}\n{"id":2,}\n', "utf8");
try {
readJsonl<User>("broken.jsonl");
} catch (e) {
console.log((e as Error).message); // -> broken.jsonl:2 を JSON として読めない: Expected double-quoted property name in JSON at position 8 (line 1 column 9)
}型引数を取る readJsonl<T> にしておくと、呼び出し側で行の型を指定できる。
ただし JSON.parse の結果は実行時に検査されないため、型は書き手の約束でしかない。
壊れた行は行番号付きの例外にすると、巨大なファイルでも原因の行を探しやすい。
Go
package main
import (
"bufio"
"encoding/json"
"fmt"
"os"
)
type User struct {
ID int `json:"id"`
Name string `json:"name"`
}
func main() {
rows := []User{{1, "田中"}, {2, "鈴木"}, {3, "Sato"}}
// 書き込み: Encoder.Encode は 1 件ごとに末尾へ改行を付ける
f, err := os.Create("users.jsonl")
if err != nil {
panic(err)
}
enc := json.NewEncoder(f)
for _, r := range rows {
if err := enc.Encode(r); err != nil {
panic(err)
}
}
f.Close()
// 読み込み: Scanner で 1 行ずつ取り出して Unmarshal する
rf, err := os.Open("users.jsonl")
if err != nil {
panic(err)
}
defer rf.Close()
sc := bufio.NewScanner(rf)
sc.Buffer(make([]byte, 0, 64*1024), 10*1024*1024) // 1 行が 64KB を超えても読めるようにする
for sc.Scan() {
line := sc.Bytes()
if len(line) == 0 {
continue
}
var u User
if err := json.Unmarshal(line, &u); err != nil {
panic(err)
}
fmt.Println(u.ID, u.Name) // -> 1 田中 / 2 鈴木 / 3 Sato
}
if err := sc.Err(); err != nil {
panic(err)
}
// ファイル全体を 1 つの JSON として読むと失敗する
all, _ := os.ReadFile("users.jsonl")
var v any
fmt.Println(json.Unmarshal(all, &v)) // -> invalid character '{' after top-level value
}json.NewEncoder(f).Encode は 1 件ごとに末尾へ改行を付けるので、そのまま JSON Lines になる。
読むときは bufio.Scanner で 1 行ずつ取り出して json.Unmarshal に渡す。Scanner は 1 行の上限が 64KB なので、長い行がありうるなら Buffer で上限を広げる。
C#
using System.Text.Encodings.Web;
using System.Text.Json;
var options = new JsonSerializerOptions { Encoder = JavaScriptEncoder.UnsafeRelaxedJsonEscaping };
var rows = new[] { new User(1, "田中"), new User(2, "鈴木"), new User(3, "Sato") };
// 書き込み: 1 件ずつシリアライズして 1 行にする(既定では日本語が \uXXXX に変換される)
File.WriteAllLines("users.jsonl", rows.Select(r => JsonSerializer.Serialize(r, options)));
Console.Write(File.ReadAllText("users.jsonl")); // -> {"Id":1,"Name":"田中"} ... 3 行
// 読み込み: ReadLines は 1 行ずつ遅延して読むので大きなファイルでもメモリを食わない
foreach (var line in File.ReadLines("users.jsonl").Where(l => l.Trim().Length > 0))
{
var u = JsonSerializer.Deserialize<User>(line)!;
Console.WriteLine($"{u.Id} {u.Name}");
}
// ファイル全体を 1 つの JSON として読むと失敗する
try
{
JsonSerializer.Deserialize<User>(File.ReadAllText("users.jsonl"));
}
catch (JsonException e)
{
Console.WriteLine(e.Message); // -> '{' is invalid after a single JSON value. Expected end of data. Path: $ | LineNumber: 1 | BytePositionInLine: 0.
}
record User(int Id, string Name);JsonSerializer.Serialize は既定で日本語を \uXXXX に変換するため、UnsafeRelaxedJsonEscaping を指定してそのまま書き出す。File.ReadLines は 1 行ずつ遅延して読むので、大きなファイルでも全体をメモリに載せずに処理できる。
つまずき
JSON Lines のファイル全体を json.loads や JSON.parse に渡すと、最初の 1 行を読み終えた時点で失敗する。
JSON Lines は 1 つの JSON ではなく、改行で区切った JSON の並びだからである。
実際に出るメッセージは言語で違い、Python では Extra data: line 2 column 1、Go では invalid character '{' after top-level value、C# では '{' is invalid after a single JSON value になる。
いずれも 1 件の JSON の後ろに続きがあると指摘しているので、このメッセージが出たらファイルが JSON Lines だと疑う。
空行を飛ばさないと落ちる
最後の行の改行で文字列を分割すると、末尾に空文字列が 1 つ残る。
これを json.loads に渡すと Expecting value: line 1 column 1 (char 0) で落ちる。
JavaScript の JSON.parse("") も Unexpected end of JSON input で落ちる。
読み込みの前に空行を除くのが定石で、上のコードも line.strip() や filter で除いている。
1 行ずつ読む利点と上限
全体を 1 つの配列にした JSON は、読み込みのときに全件をメモリへ載せる必要がある。
JSON Lines なら 1 行ずつ処理できるうえ、ファイルの末尾へ 1 行足すだけで追記もできる。
ただし 1 行が非常に長い場合は、言語側の上限に当たることがある。
Go の bufio.Scanner は 1 行の上限が 64KB なので、Buffer で広げるか、json.NewDecoder で連続する JSON を直接読む方法を選ぶ。