Wat is een JSONL-bestand?

JSONL — JSON Lines

Wat is het?

JSONL staat voor precies hetzelfde als NDJSON: één JSON-object per regel. Twee namen, twee gemeenschappen, één formaat — goed om te weten voordat u tijd verspilt aan het zoeken naar een verschil dat er niet is.

Het gebruik heeft wel een voorkeur bepaald: in de wereld van machine learning spreekt men eerder van JSONL, terwijl NDJSON gangbaarder is bij applicatielogs en datastromen.

Geschiedenis & oorsprong

De extensie .jsonl raakte wijdverspreid met de opkomst van datasets voor kunstmatige intelligentie, waarbij elke regel een trainingsvoorbeeld voorstelt.

Het is tegenwoordig het formaat dat de meeste tools voor het finetunen van modellen verwachten: één regel, één voorbeeld.

Waarom het handig is

Het maakt het mogelijk om datasets van meerdere gigabytes te verwerken zonder alles in het geheugen te moeten laden.

Gegevens toevoegen komt neer op regels achteraan het bestand toevoegen — herschrijven is niet nodig.

Beperkingen & nadelen

Het is niet leesbaar voor tools die standaard JSON verwachten.

Doordat er geen omvattende structuur is, kan het bestand nooit als geheel worden gevalideerd.

Praktische tips

JSONL is het aangewezen formaat voor een trainingsdataset of voor elke vorm van streamverwerking.

Zet het om naar CSV om het in een spreadsheet te bekijken, of naar JSON als een tool één enkele array vereist — let dan wel op het geheugengebruik bij grote bestanden.

Converteer uw JSONL in enkele seconden, op onze beveiligde servers in Frankrijk.

JSONL converteren