Czym jest plik JSONL?

JSONL — JSON Lines

Co to jest?

JSONL oznacza dokładnie to samo co NDJSON: jeden obiekt JSON w każdej linii. Dwie nazwy, dwie społeczności, jeden format — warto to wiedzieć, zanim zacznie się szukać różnic, których po prostu nie ma.

Praktyka jednak rozstrzygnęła tę kwestię: w świecie uczenia maszynowego mówi się raczej o JSONL, natomiast w kontekście dzienników aplikacji i strumieni danych — o NDJSON.

Historia i pochodzenie

Rozszerzenie .jsonl upowszechniło się wraz z gwałtownym wzrostem liczby zbiorów danych do sztucznej inteligencji, gdzie każda linia reprezentuje jeden przykład uczący.

Dziś jest to format wymagany przez większość narzędzi do dostrajania modeli: jedna linia, jedna próbka.

Dlaczego jest przydatny

Umożliwia przetwarzanie zbiorów danych liczących kilka gigabajtów bez konieczności wczytywania ich w całości do pamięci.

Dodawanie danych polega po prostu na dopisaniu linii na końcu pliku — nie wymaga to żadnego przepisywania całości.

Ograniczenia i wady

Nie jest czytelny dla narzędzi oczekujących standardowego JSON-a.

Brak nadrzędnej struktury uniemożliwia jakąkolwiek globalną walidację pliku.

Wskazówki

JSONL to format, który warto stosować do zbiorów danych treningowych oraz wszelkiego przetwarzania strumieniowego.

Aby przejrzeć dane w arkuszu kalkulacyjnym, przekonwertuj plik do CSV, a jeśli narzędzie wymaga jednej tablicy — do JSON. Przy dużych plikach warto jednak pamiętać o ograniczeniach pamięci.

Przekonwertuj swój plik JSONL w kilka sekund na naszych bezpiecznych serwerach we Francji.

Konwertuj JSONL