NDJSON ファイルとは？ — ConvertLab.cloud

フォーマットを使用する NDJSON

NDJSONのログからJSONの表を準備する。

各行は有効なJSONである必要があります。空行、孤立したエラー、および集計結果のサイズを確認してください。

元のデータを保存し、使用するソフトウェアやデバイスで結果を開く。

なぜ私のJSONはCSVに変換すると構造が変わるのですか？

CSV は行と列の表を表します。JSON は直接転置できないオブジェクトや入れ子になったリストを含むことができます。コピーを変換し、フィールドがどのように表現されているかを確認し、使用上 JSON の全構造を保持する必要がある場合はそのままにしてください。

識別子の先頭のゼロを失わないようにするにはどうすればよいですか？

CSV をスプレッドシートで開く際、ID 列はテキストとしてインポートしてください。自動で開くと 00123 が 123 に変わることがあります。再保存前に日付や小数点の区切りも確認してください。

秘密情報を含むファイルを変換できますか？

サービスやサポートに例を送信する前に、API のパスワード、キー、その他の秘密情報を削除してください。ファイルの処理はオンラインで行われます。デバイス外に出したくないデータは、適切なローカルツールを使用してください。

なぜすべての出力が提案されないのですか？

すべての場合にフォーマットを交換できるわけではありません。ConvertLabはカタログ内の変換を表示します；拡張子を変更しても内容は変わりません。特定のXMLエクスポートやスプレッドシートのような専門的な出力はNoLimitとして識別されます。

NDJSONでは、各行に完結したJSONオブジェクトを1つずつ記述し、全体を囲む角括弧も行間のカンマも使用しません。各行はそれぞれ独立して読み取ることができます。

この方式の利点は大容量データを扱う際に顕著に表れます。通常のJSONファイルは、利用可能な状態にするために全体を一度メモリに読み込む必要があります。一方NDJSONは1行ずつ読み込めるため、メモリが8GBしかないマシンでも50GBのファイルを処理できます。

この形式は、データ量の増大によりファイル全体を読み込む方式が現実的でなくなるにつれ、ストリーム処理の普及とともに自然に定着していきました。

現在では、アプリケーションのログや大規模データベースのエクスポートにおける事実上の標準形式となっています。

ファイル全体の容量に関係なく、1行ずつストリーム処理できます。

一部の行が破損していても、残りのデータには影響しません。通常のJSONでは、カンマの位置を一つ間違えただけでファイル全体が読み込み不能になるのとは対照的です。

厳密な意味では正規のJSONではないため、通常のJSONパーサーでは読み込めません。

公式な仕様が存在しないため、実装によって細部に差異が生じることがあります。

ログデータ、大規模なエクスポート、データストリームを扱う場合にはNDJSONが適しています。

表計算ソフトで利用する場合は、構造がフラットであることを条件にCSV形式へ変換してください。

フランスにある安全なサーバーで、NDJSON を数秒で変換できます。