TL;DR – รูปแบบไฟล์ที่คุณเลือกสามารถลดเวลาในการฝึกได้ 30‑50 %, ลดค่าใช้จ่ายการจัดเก็บโดย 1 %–5 %, และทำให้โมเดลหลายโหมดของคุณไม่เกิดปัญหาข้อมูลที่ไม่สอดคล้องกัน จุดที่เหมาะสมที่สุดคือ คอนเทนเนอร์ไบนารีแบบคอลัมน์ที่พร้อมสตรีม (TFRecord, WebDataset, Arrow/Parquet) ที่เก็บ ข้อความที่ทำการแปลงเป็นโทเคนแล้ว และ สื่อที่เข้ารหัสล่วงหน้า ไว้ในชาร์ดเดียวที่ควบคุมเวอร์ชัน

ทำไมรูปแบบไฟล์จึงสำคัญสำหรับการฝึก AI

สรุป: รูปแบบไฟล์เป็นแนวป้องกันแรก ต่อ I/O ที่ช้า, ข้อมูลที่มีเสียงรบกวน, และปัญหาการปฏิบัติตามกฎระเบียบ.

แนวคิดและคำศัพท์หลัก (อ้างอิงอย่างรวดเร็ว)

การเลือกรูปแบบที่เหมาะสม

Rule of thumb:

• การฝึกในระดับใหญ่ → TFRecord, WebDataset, หรือ Arrow/Parquet (พวกมันสตรีม, บีบอัด, และรองรับการแบ่งชาร์ด).
• งานสำรวจ → JSONL (อ่านง่ายโดยมนุษย์, แก้ไขง่าย).
• การเข้าถึงแบบสุ่มหนัก (เช่น การสร้างแบบเสริมการดึงข้อมูล) → LMDB.

แผนผังขั้นตอนโดยละเอียด (จากไฟล์ดิบสู่ชาร์ดพร้อมผลิต)

1. กำหนดสคีม่าแหล่งความจริงเดียว

   message MultiModalExample {
     bytes image = 1;                // JPEG‑XL or AVIF
     repeated int32 caption = 2;    // token IDs
     bytes audio = 3;                // Opus or FLAC
     map<string, string> meta = 4;  // source_id, timestamp, etc.
   }
   

   Store this .proto (or Arrow schema) alongside the dataset.

2. เก็บรวบรวมและทำความสะอาดทรัพยากรดิบ

   • ข้อความ: Unicode‑NFKC, ลบอักขระควบคุม, กำจัดข้อมูลซ้ำ.
   • ภาพ: แปลงเป็น PNG แบบไม่มีการสูญเสียก่อน, จากนั้นอาจแปลงเป็น JPEG‑XL แบบเสียคุณภาพ (คุณภาพ 85‑90 %).
   • เสียง: รีแซมป์เป็น 16 kHz, 16‑bit PCM; เข้ารหัสด้วย Opus (เสียคุณภาพ) หรือ FLAC (ไม่มีการสูญเสีย).

3. ทำการประมวลผลล่วงหน้า / แปลงเป็นโทเคน
   ใช้ tokenizer เดียวกันที่คุณจะป้อนให้โมเดล (เช่น tiktoken สำหรับ GPT‑NeoX). เก็บ int32[] token ID ที่ได้โดยตรงในเรคคอร์ด.

4. ทำการซีเรียลไลซ์แต่ละเรคคอร์ด
   เลือกตัวซีเรียลไลเซอร์ไบนารีที่เร็ว: Protocol Buffers, FlatBuffers, หรือ Arrow IPC. เป้าหมายคือ สตริงไบต์เดียวต่อแต่ละตัวอย่าง ที่สามารถเขียนลงใน TFRecord หรือ tarball.

5. แบ่งชาร์ดและบีบอัด

   • ขนาดชาร์ดเป้าหมาย: 256 MiB – 1 GiB (เหมาะสำหรับการร้องขอช่วงของ S3 GET).
   • บีบอัดด้วย Zstandard (ระดับ 3‑5) – การแตกไฟล์เร็ว, อัตราการบีบอัดดี.
   • รูปแบบการตั้งชื่อ: train-00000-of-01000.tfrecord.zst.

6. สร้าง manifest

   [
     {
       "shard": "train-00000-of-01000.tfrecord.zst",
       "checksum": "sha256:ab12…",
       "num_examples": 12456,
       "avg_seq_len": 256,
       "git_hash": "d3f9c1e"
     },
     …
   ]
   

   Manifest เป็นแหล่งความจริงเดียวสำหรับการตรวจสอบ, การฝึกต่อได้, และการตรวจสอบ.

7. ตรวจสอบ
   สุ่มตัวอย่าง 0.1 % ของเรคคอร์ด, ถอดรหัสแต่ละฟิลด์, และทำการตรวจสอบความสมเหตุสมผล (การถอดรหัสภาพ, ความยาวโทเคน, ระยะเวลาเสียง). คำนวณสถิติทั่วโลก (การครอบคลุม vocab, การกระจายความละเอียด) และเก็บไว้ใน manifest.

8. เวอร์ชันและเก็บแบบไม่เปลี่ยนแปลง
   ผลักดันชาร์ด + manifest ไปยัง bucket ที่ไม่เปลี่ยนแปลง (gs://my‑project/datasets/v1/). ใส่แท็กเวอร์ชันเชิงความหมาย (v1.0.0) และลงทะเบียน snapshot ในระบบเวอร์ชันข้อมูล (DVC, LakeFS).

9. โหลดในลูปการฝึกของคุณ

   # PyTorch + WebDataset example
   import webdataset as wds, torch, torchvision, torchaudio
   
   def decode(sample):
       img = torchvision.io.decode_image(sample["jpg"], mode=torchvision.io.ImageReadMode.RGB)
       txt = torch.tensor([int(t) for t in sample["txt"].decode().split()], dtype=torch.long)
       wav, _ = torchaudio.load(io.BytesIO(sample["wav"]))
       return {"image": img, "caption": txt, "audio": wav}
   
   ds = (wds.WebDataset("s3://my-bucket/train-{00000..00999}.tar.zst")
         .decode("torchrgb")
         .map(decode)
         .batched(64)
         .prefetch(2))
   
   loader = torch.utils.data.DataLoader(ds, num_workers=8)
   for batch in loader:
       # feed to model …
       pass
   

แนวโน้มที่กำลังเกิดขึ้นและการเตรียมอนาคต

รายการตรวจสอบพร้อมผลิต

• ไฟล์สคีม่า (.proto หรือ Arrow schema) เก็บไว้ข้างข้อมูล
• ทุกชาร์ดบีบอัดด้วย codec ที่เร็ว (แนะนำ ZSTD‑L3).
• ขนาดชาร์ดอยู่ระหว่าง 256 MiB ถึง 1 GiB.
• Manifest มี checksum, จำนวนเรคคอร์ด, สถิติแต่ละชาร์ด, และ git hash ของโค้ดการเตรียมข้อมูล.
• ระบบควบคุมเวอร์ชันที่ไม่เปลี่ยนแปลง (DVC, LakeFS, หรือคล้ายกัน).
• บันทึกเมตริกคุณภาพข้อมูลต่อชาร์ด.
• การตรวจสอบความเป็นส่วนตัวเสร็จสมบูรณ์ (การลบข้อมูลส่วนบุคคล, การเข้ารหัสแบบเลือก).
• ตัวโหลดทดสอบแบบ End‑to‑end ที่สามารถอ่านชาร์ดสุ่มได้โดยไม่มีข้อผิดพลาด.
• README ที่อธิบายสคีม่า, ขั้นตอนการเตรียมข้อมูล, และวิธีสร้างชาร์ดใหม่.

การทำตามแผนผังนี้จะทำให้ pipeline การฝึกของคุณ เร็ว, ราคาถูก, และทำซ้ำได้ — สามเสาหลักที่ทีม LLM สมัยใหม่ทุกทีมต้องการ.

Tags: data‑engineering multi‑modal‑llm training‑pipelines
Slug: how-to-prepare-data-file-formats-for-ai-training