Что такое файл JSONL?
JSONL — JSON Lines
Что это такое?
JSONL — это то же самое, что и NDJSON: один объект JSON на строку. Два названия, два сообщества, но формат один — стоит знать это заранее, чтобы не тратить время на поиск несуществующих различий.
Тем не менее сложилось разделение по употреблению: в области машинного обучения чаще говорят о JSONL, а в контексте журналов приложений и потоков данных — о NDJSON.
История и происхождение
.jsonl получил широкое распространение вместе с ростом объёма наборов данных для искусственного интеллекта, где каждая строка представляет собой отдельный обучающий пример.
Сегодня это формат, который ожидают большинство инструментов для дообучения моделей: одна строка — один образец.
Чем он удобен
Он позволяет обрабатывать наборы данных объёмом в несколько гигабайт, не загружая всё содержимое в память целиком.
Чтобы добавить данные, достаточно дописать строки в конец файла — переписывать всё остальное не нужно.
Ограничения и недостатки
Он не читается инструментами, рассчитанными на стандартный JSON.
Отсутствие общей структуры делает невозможной проверку файла целиком.
Советы по использованию
JSONL — формат, который стоит использовать для обучающих наборов данных или любой потоковой обработки.
Конвертируйте его в CSV, чтобы просмотреть содержимое в табличном редакторе, или в JSON, если какой-то инструмент требует единый массив — но учитывайте расход памяти, если файл большой.
Конвертируйте ваш JSONL за секунды на наших защищённых серверах во Франции.
Конвертировать JSONL