JSONL ファイルとは？ — ConvertLab.cloud

フォーマットを使用する JSONL

同種のフィールドを持つJSONLコレクションからCSVを準備する

オブジェクトは異なるキーを持つことがあります。欠落している列とリストの表現方法を確認してください。

元のデータを保存し、使用するソフトウェアやデバイスで結果を開く。

なぜ私のJSONはCSVに変換すると構造が変わるのですか？

CSV は行と列の表を表します。JSON は直接転置できないオブジェクトや入れ子になったリストを含むことができます。コピーを変換し、フィールドがどのように表現されているかを確認し、使用上 JSON の全構造を保持する必要がある場合はそのままにしてください。

識別子の先頭のゼロを失わないようにするにはどうすればよいですか？

CSV をスプレッドシートで開く際、ID 列はテキストとしてインポートしてください。自動で開くと 00123 が 123 に変わることがあります。再保存前に日付や小数点の区切りも確認してください。

秘密情報を含むファイルを変換できますか？

サービスやサポートに例を送信する前に、API のパスワード、キー、その他の秘密情報を削除してください。ファイルの処理はオンラインで行われます。デバイス外に出したくないデータは、適切なローカルツールを使用してください。

なぜすべての出力が提案されないのですか？

すべての場合にフォーマットを交換できるわけではありません。ConvertLabはカタログ内の変換を表示します；拡張子を変更しても内容は変わりません。特定のXMLエクスポートやスプレッドシートのような専門的な出力はNoLimitとして識別されます。

JSONLとNDJSONは全く同じものを指す。1行につき1つのJSONオブジェクトという形式である。名称は2つ、コミュニティも2つあるが、フォーマットは1つしかない――両者の違いを探して時間を無駄にする前に、知っておく価値のある事実である。

とはいえ、実際の使われ方には傾向がある。機械学習の分野ではJSONLと呼ばれることが多く、アプリケーションログやデータストリームの世界ではNDJSONと呼ばれることが多い。

拡張子「.jsonl」は、人工知能向けデータセットの急増とともに広まった。各行が1つの学習サンプルを表す形式である。

現在では、モデルのファインチューニングを行う大半のツールが標準的に要求する形式となっている。1行が1サンプルという構成である。

数ギガバイトに及ぶデータセットであっても、全体をメモリに読み込むことなく処理できる。

データの追加はファイル末尾に行を加えるだけで済み、既存部分を書き換える必要がない。

標準的なJSONを前提とするツールでは読み込めない。

全体を包む構造が存在しないため、ファイル全体を対象とした検証を行うことができない。

学習用データセットやストリーム処理には、JSONLを使うのが適している。

表計算ソフトで内容を確認したい場合はCSVに、単一の配列を要求するツールを使う場合はJSONに変換するとよい。ただし、ファイルサイズが大きい場合はメモリ使用量に注意が必要である。

フランスにある安全なサーバーで、JSONL を数秒で変換できます。