Tệp JSONL là gì?
JSONL — JSON Lines
Đó là gì?
JSONL và NDJSON thực ra là một: mỗi dòng là một đối tượng JSON. Hai tên gọi, hai cộng đồng sử dụng, nhưng chỉ một định dạng duy nhất — nên biết điều này trước khi mất công tìm điểm khác biệt giữa chúng.
Tuy nhiên, thói quen sử dụng đã phân định rõ: người ta thường gọi là JSONL trong lĩnh vực học máy, còn NDJSON được dùng phổ biến hơn trong nhật ký ứng dụng và các luồng dữ liệu.
Lịch sử và nguồn gốc
Đuôi tệp .jsonl trở nên phổ biến cùng với sự bùng nổ của các bộ dữ liệu dành cho trí tuệ nhân tạo, nơi mỗi dòng đại diện cho một mẫu huấn luyện.
Ngày nay, đây là định dạng mà phần lớn các công cụ tinh chỉnh mô hình yêu cầu: một dòng, một mẫu dữ liệu.
Vì sao hữu ích
Định dạng này cho phép xử lý các bộ dữ liệu nặng nhiều gigabyte mà không cần tải toàn bộ vào bộ nhớ.
Việc thêm dữ liệu chỉ đơn giản là nối thêm dòng vào cuối tệp — không cần ghi lại toàn bộ tệp.
Giới hạn và nhược điểm
Định dạng này không thể đọc được bởi các công cụ chỉ chấp nhận JSON chuẩn.
Do không có cấu trúc bao trùm toàn bộ, việc kiểm tra tính hợp lệ của cả tệp là điều bất khả thi.
Mẹo sử dụng
JSONL là định dạng nên dùng cho các bộ dữ liệu huấn luyện hoặc bất kỳ quy trình xử lý theo luồng nào.
Hãy chuyển sang CSV nếu muốn xem trong bảng tính, hoặc sang JSON nếu công cụ nào đó yêu cầu một mảng duy nhất — nhưng cần lưu ý về bộ nhớ nếu tệp có dung lượng lớn.
Chuyển đổi tệp JSONL của bạn trong vài giây, trên máy chủ an toàn của chúng tôi tại Pháp.
Chuyển đổi JSONL