ConvertLab.cloud

JSONL 是什么格式?

JSONL — JSON Lines

使用该格式 JSONL

一个具体例子

从具有同质字段的 JSONL 集合中准备一个 CSV。

有用的检查

对象可能具有不同的键。检查缺失的列以及列表的表示方式。

选择一种转换

保留原件,并在需要使用该文件的软件或设备上打开结果。

您对该格式的疑问

为什么我的 JSON 在变为 CSV 时会改变结构?

CSV 表示一个行列表。JSON 可以包含无法直接转换的对象和嵌套列表。请转换一份副本,检查字段的表示方式,如果您的使用需要保留其完整结构,请保留 JSON。

如何避免在标识符开头丢失零?

在电子表格中打开 CSV 时,将标识符列导入为文本。自动打开可能会将 00123 转换为 123。在重新保存之前,请检查日期和小数分隔符。

我可以转换包含机密信息的文件吗?

在向服务或支持发送示例之前,请删除密码、API 密钥及其他机密信息。文件处理是在在线进行的。对于不应离开您设备的数据,请使用适当的本地工具。

为什么并非提供所有输出选项?

在所有情况下,格式不是可互换的。ConvertLab 显示其目录中的转换;重命名扩展名并不会改变内容。某些专用输出,如特定 XML 导出或电子表格,被识别为 NoLimit。

01

这是什么?

JSONL 和 NDJSON 其实是同一种格式:每行一个 JSON 对象。两个名字,两个使用群体,实为同一回事——了解这一点,可以省去不少不必要的困惑。

不过,叫法上还是有约定俗成的分工:机器学习领域更常用 JSONL 这个名字,而应用日志和数据流领域则习惯称之为 NDJSON。

02

历史与由来

随着人工智能数据集的爆发式增长,.jsonl 这一扩展名逐渐流行开来,其中每一行代表一条训练样本。

如今,大多数模型微调工具都要求输入这种格式:一行,一个样本。

03

为什么好用

它可以处理体积达数 GB 的数据集,而无需一次性全部加载到内存中。

追加数据只需在文件末尾添加新行——无需重写整个文件。

04

局限与不足

需要标准 JSON 格式的工具无法直接读取它。

由于没有外层结构包裹,无法对整个文件进行统一校验。

05

使用建议

训练数据集或任何流式处理场景,JSONL 都是首选格式。

若想在表格软件中查看,可将其转换为 CSV;若某个工具要求单一数组,则转换为 JSON——但文件较大时要留意内存占用。

在我们位于法国的安全服务器上,几秒内转换您的 JSONL。

转换 JSONL