ไฟล์ NDJSON คืออะไร
NDJSON — JSON แบบบรรทัดต่อบรรทัด
คืออะไร
NDJSON จัดเก็บอ็อบเจกต์ JSON ที่สมบูรณ์ไว้หนึ่งรายการต่อหนึ่งบรรทัด โดยไม่มีวงเล็บเหลี่ยมครอบทั้งหมดหรือเครื่องหมายจุลภาคคั่นระหว่างบรรทัด แต่ละบรรทัดสามารถอ่านและตีความได้อย่างอิสระจากบรรทัดอื่น
จุดเด่นนี้สำคัญมากสำหรับข้อมูลปริมาณมาก เพราะไฟล์ JSON ทั่วไปต้องโหลดทั้งหมดเข้าหน่วยความจำก่อนจึงจะนำไปใช้งานได้ ขณะที่ไฟล์ NDJSON อ่านได้ทีละบรรทัด จึงสามารถประมวลผลไฟล์ขนาด 50 GB บนเครื่องที่มีหน่วยความจำเพียง 8 GB ได้
ประวัติและที่มา
แนวทางนี้เกิดขึ้นเองตามธรรมชาติเมื่อการประมวลผลข้อมูลแบบสตรีมได้รับความนิยมมากขึ้น เนื่องจากปริมาณข้อมูลที่เพิ่มขึ้นทำให้การโหลดไฟล์ทั้งหมดพร้อมกันเป็นไปไม่ได้อีกต่อไป
มันได้กลายเป็นรูปแบบมาตรฐานโดยพฤตินัยสำหรับบันทึกการทำงานของแอปพลิเคชันและการส่งออกข้อมูลจากฐานข้อมูลขนาดใหญ่
ทำไมจึงมีประโยชน์
สามารถประมวลผลแบบสตรีมได้ทีละบรรทัด ไม่ว่าไฟล์จะมีขนาดใหญ่เพียงใด
บรรทัดที่เสียหายเพียงบรรทัดเดียวจะไม่ทำให้ข้อมูลส่วนที่เหลือใช้งานไม่ได้ ต่างจาก JSON ทั่วไปที่เพียงเครื่องหมายจุลภาควางผิดที่จุดเดียวก็ทำให้ทั้งไฟล์ใช้งานไม่ได้
ข้อจำกัดและข้อเสีย
ไม่ใช่ JSON ที่ถูกต้องตามมาตรฐานอย่างเคร่งครัด ตัวแยกวิเคราะห์ (parser) ทั่วไปจะปฏิเสธไม่ยอมอ่านไฟล์นี้
ไม่มีข้อกำหนดอย่างเป็นทางการ จึงเปิดโอกาสให้เกิดรูปแบบปลีกย่อยที่แตกต่างกันไป
เคล็ดลับการใช้งาน
NDJSON เหมาะสำหรับบันทึกการทำงาน การส่งออกข้อมูลปริมาณมาก หรือข้อมูลที่ไหลเข้ามาต่อเนื่องแบบสตรีม
หากต้องการนำไปใช้ในโปรแกรมตารางคำนวณ ให้แปลงเป็น CSV ก่อน โดยข้อมูลต้องมีโครงสร้างแบบแบน (ไม่ซ้อนกันหลายชั้น)
แปลงไฟล์ NDJSON ของคุณได้ในไม่กี่วินาที บนเซิร์ฟเวอร์ที่ปลอดภัยของเราในฝรั่งเศส
แปลงไฟล์ NDJSON