Что такое файл JSONL?
JSONL — JSON Lines
Использовать формат JSONL
Конкретный пример
Подготовить CSV из коллекции JSONL с однородными полями.
Полезные проверки
Объекты могут иметь разные ключи. Проверьте отсутствующие столбцы и способ представления списков.
Выбрать конверсию
Сохраните оригинал и откройте результат в программном обеспечении или на устройстве, которое будет его использовать.
Ваши вопросы по этому формату
Почему мой JSON меняет структуру на CSV?
CSV представляет собой таблицу строк и столбцов. JSON может содержать вложенные объекты и списки, которые нельзя транспонировать напрямую. Создайте копию, проверьте, как отображаются поля, и сохраните JSON, если ваше использование требует сохранить всю его структуру.
Как избежать потери нулей в начале идентификаторов ?
При открытии CSV в таблице импортируйте столбцы с идентификаторами как текст. Автоматическое открытие может преобразовать 00123 в 123. Также проверьте даты и десятичные разделители перед повторным сохранением.
Могу ли я конвертировать файл, содержащий секреты?
Удалите пароли, ключи API и другие секреты перед отправкой примера в службу или поддержку. Обработка файлов выполняется онлайн. Для данных, которые не должны покидать ваше устройство, используйте подходящий локальный инструмент.
Почему не предлагаются все варианты вывода?
Форматы не взаимозаменяемы во всех случаях. ConvertLab отображает конверсии из своего каталога; переименование расширения не изменяет содержание. Специализированные выходы, такие как некоторые экспорты XML или таблиц, идентифицируются как NoLimit.
Что это такое?
JSONL — это то же самое, что и NDJSON: один объект JSON на строку. Два названия, два сообщества, но формат один — стоит знать это заранее, чтобы не тратить время на поиск несуществующих различий.
Тем не менее сложилось разделение по употреблению: в области машинного обучения чаще говорят о JSONL, а в контексте журналов приложений и потоков данных — о NDJSON.
История и происхождение
.jsonl получил широкое распространение вместе с ростом объёма наборов данных для искусственного интеллекта, где каждая строка представляет собой отдельный обучающий пример.
Сегодня это формат, который ожидают большинство инструментов для дообучения моделей: одна строка — один образец.
Чем он удобен
Он позволяет обрабатывать наборы данных объёмом в несколько гигабайт, не загружая всё содержимое в память целиком.
Чтобы добавить данные, достаточно дописать строки в конец файла — переписывать всё остальное не нужно.
Ограничения и недостатки
Он не читается инструментами, рассчитанными на стандартный JSON.
Отсутствие общей структуры делает невозможной проверку файла целиком.
Советы по использованию
JSONL — формат, который стоит использовать для обучающих наборов данных или любой потоковой обработки.
Конвертируйте его в CSV, чтобы просмотреть содержимое в табличном редакторе, или в JSON, если какой-то инструмент требует единый массив — но учитывайте расход памяти, если файл большой.
Конвертируйте ваш JSONL за секунды на наших защищённых серверах во Франции.
Конвертировать JSONL