JSONL 파일이란? — ConvertLab.cloud

형식 사용 JSONL

동질적인 필드를 가진 JSONL 컬렉션에서 CSV를 준비하기

객체들은 다른 키를 가질 수 있습니다. 누락된 열과 리스트가 표현되는 방식을 확인하세요.

원본을 보관하고 결과를 해당 소프트웨어나 장치에서 엽니다.

왜 내 JSON가 CSV로 구조가 바뀌나요?

CSV는 행과 열의 표를 나타냅니다. JSON는 직접 변환되지 않는 중첩된 객체와 목록을 포함할 수 있습니다. 복사본을 변환하고 필드가 어떻게 표시되는지 확인하며, 전체 구조를 유지해야 하는 경우 JSON를 그대로 보관하십시오.

식별자의 처음에 있는 0을 잃지 않으려면 어떻게 해야 합니까?

CSV를 스프레드시트에서 열 때 식별자 열을 텍스트로 가져오세요. 자동 열기는 00123을 123으로 변환할 수 있습니다. 다시 저장하기 전에 날짜와 소수 구분자도 확인하세요.

비밀이 포함된 파일을 변환할 수 있나요?

서비스나 지원팀에 샘플을 보내기 전에 비밀번호, API 키 및 기타 비밀을 제거하세요. 파일 처리는 온라인에서 이루어집니다. 장치를 벗어나지 않아야 하는 데이터의 경우 적합한 로컬 도구를 사용하세요.

왜 모든 출력이 제공되지 않나요?

모든 경우에 형식이 서로 교환 가능하지는 않습니다. ConvertLab는 카탈로그의 변환을 표시합니다; 확장자를 바꾼다고 내용이 바뀌는 것은 아닙니다. 일부 전문 출력물, 예를 들어 XML 내보내기 또는 스프레드시트는 NoLimit로 식별됩니다.

JSONL은 NDJSON과 정확히 같은 것을 가리킵니다. 한 줄에 하나의 JSON 객체를 담는 형식이지요. 이름은 두 개, 사용하는 커뮤니티도 두 곳이지만 형식은 하나입니다. 둘의 차이를 찾느라 시간을 허비하기 전에 이 점을 알아두면 도움이 됩니다.

다만 관용적으로는 구분이 있습니다. 머신러닝 분야에서는 주로 JSONL이라 부르고, 애플리케이션 로그나 데이터 스트림 쪽에서는 NDJSON이라는 명칭을 씁니다.

.jsonl 확장자는 인공지능용 데이터셋이 폭발적으로 늘어나면서 널리 쓰이게 되었습니다. 이런 데이터셋에서는 한 줄이 하나의 학습 예제를 나타냅니다.

오늘날 대부분의 모델 파인튜닝 도구가 요구하는 형식이 바로 이것입니다. 한 줄에 하나의 샘플이라는 원칙입니다.

수 기가바이트에 달하는 데이터셋도 전체를 메모리에 올리지 않고 처리할 수 있습니다.

데이터를 추가하려면 파일 끝에 줄을 덧붙이기만 하면 됩니다. 파일 전체를 다시 쓸 필요가 없습니다.

표준 JSON을 기대하는 도구에서는 읽을 수 없습니다.

전체를 감싸는 구조가 없어서 파일 전체에 대한 검증이 불가능합니다.

학습 데이터셋이나 스트림 방식 처리에는 JSONL을 사용하는 것이 적합합니다.

표 형태로 확인하려면 CSV로, 도구가 단일 배열을 요구한다면 JSON으로 변환하십시오. 다만 파일이 크다면 메모리 사용량에 유의해야 합니다.

프랑스에 있는 안전한 서버에서 JSONL 파일을 몇 초 만에 변환하세요.