TL;DR – Format fail yang anda pilih boleh menjimatkan 30‑50 % masa latihan, mengurangkan kos penyimpanan sebanyak 1 %–5 %, dan memastikan model multi‑modal anda tidak tergelincir akibat data yang tidak selaras. Pilihan terbaik ialah bekas binari berkolum yang sedia untuk penstriman (TFRecord, WebDataset, Arrow/Parquet) yang menyimpan teks pra‑tokenisasi dan media pra‑enkod dalam satu shard yang dikawal versi.

Mengapa Format Fail Penting untuk Latihan AI

Kesimpulannya: format adalah barisan pertahanan pertama terhadap I/O yang perlahan, data bising, dan masalah pematuhan.

Konsep Teras & Istilah (Rujukan Pantas)

Memilih Format yang Betul

Rule of thumb:

• Training at scale → TFRecord, WebDataset, atau Arrow/Parquet (mereka menstrim, mampat, dan menyokong sharding).
• Kerja eksploratori → JSONL (boleh dibaca manusia, mudah diedit).
• Akses rawak berat (contoh, retrieval‑augmented generation) → LMDB.

Pelan Langkah‑ demi‑Langkah (Dari Fail Mentah ke Shard Siap Produksi)

1. Tentukan satu skema sumber‑kebenaran

   message MultiModalExample {
     bytes image = 1;                // JPEG‑XL atau AVIF
     repeated int32 caption = 2;    // token IDs
     bytes audio = 3;                // Opus atau FLAC
     map<string, string> meta = 4;  // source_id, timestamp, etc.
   }
   

   Simpan .proto (atau skema Arrow) bersebelahan set data.

2. Kumpul & bersihkan aset mentah

   • Teks: Unicode‑NFKC, buang aksara kawalan, hapus duplikasi.
   • Imej: Tukar kepada PNG tanpa kehilangan terlebih dahulu, kemudian secara pilihan ke JPEG‑XL lossy (kualiti 85‑90 %).
   • Audio: Resample kepada 16 kHz, PCM 16‑bit; enkod dengan Opus (lossy) atau FLAC (lossless).

3. Pra‑pemproses / Tokenisasi
   Gunakan penokenizer yang tepat yang akan anda beri kepada model (contoh, tiktoken untuk GPT‑NeoX). Simpan ID token int32[] yang terhasil terus dalam rekod.

4. Serialkan setiap rekod
   Pilih penyeri binari pantas: Protocol Buffers, FlatBuffers, atau Arrow IPC. Matlamatnya ialah satu rentetan bait per contoh yang boleh ditulis ke TFRecord atau tarball.

5. Shard & mampat

   • Saiz shard sasaran: 256 MiB – 1 GiB (optimum untuk permintaan S3 GET range).
   • Mampat dengan Zstandard (tahap 3‑5) – penyahmampatan pantas, nisbah baik.
   • Konvensi penamaan: train-00000-of-01000.tfrecord.zst.

6. Jana manifest

   [
     {
       "shard": "train-00000-of-01000.tfrecord.zst",
       "checksum": "sha256:ab12…",
       "num_examples": 12456,
       "avg_seq_len": 256,
       "git_hash": "d3f9c1e"
     },
     …
   ]
   

   Manifest adalah satu‑satu sumber kebenaran untuk pengesahan, latihan boleh disambung semula, dan audit.

7. Sahkan
   Ambil sampel rawak 0.1 % rekod, dekod setiap medan, dan jalankan pemeriksaan kebijaksanaan (penyahkod imej, panjang token, durasi audio). Kira statistik global (liputan vokab, taburan resolusi) dan simpan dalam manifest.

8. Versi & simpan secara tidak boleh diubah
   Tolak shard + manifest ke bucket yang tidak boleh diubah (gs://my‑project/datasets/v1/). Tag dengan versi semantik (v1.0.0) dan daftar snapshot dalam sistem versi data (DVC, LakeFS).

9. Muat dalam gelung latihan anda

   # PyTorch + WebDataset example
   import webdataset as wds, torch, torchvision, torchaudio
   
   def decode(sample):
       img = torchvision.io.decode_image(sample["jpg"], mode=torchvision.io.ImageReadMode.RGB)
       txt = torch.tensor([int(t) for t in sample["txt"].decode().split()], dtype=torch.long)
       wav, _ = torchaudio.load(io.BytesIO(sample["wav"]))
       return {"image": img, "caption": txt, "audio": wav}
   
   ds = (wds.WebDataset("s3://my-bucket/train-{00000..00999}.tar.zst")
         .decode("torchrgb")
         .map(decode)
         .batched(64)
         .prefetch(2))
   
   loader = torch.utils.data.DataLoader(ds, num_workers=8)
   for batch in loader:
       # feed to model …
       pass
   

Trend Terkini & Persiapan Masa Depan

Senarai Semak Siap Produksi

• Fail skema (.proto atau skema Arrow) disimpan bersebelahan data.
• Semua shard dimampat dengan codec pantas (ZSTD‑L3 disarankan).
• Saiz shard antara 256 MiB dan 1 GiB.
• Manifest mengandungi checksum, kiraan rekod, statistik per‑shard, dan hash git kod pra‑pemprosesan.
• Kawalan versi yang tidak boleh diubah (DVC, LakeFS, atau serupa).
• Metrik kualiti data dicatat per shard.
• Audit privasi selesai (penyembunyian PII, enkripsi pilihan).
• Pemuat ujian hujung‑ke‑hujung yang boleh membaca shard rawak tanpa ralat.
• README yang menjelaskan skema, langkah pra‑pemprosesan, dan cara menjana semula shard.

Mengikuti pelan ini akan memastikan aliran kerja latihan anda cepat, murah, dan boleh diulang—tiga tiang utama yang diperlukan oleh setiap pasukan LLM moden.

Tag: data‑engineering multi‑modal‑llm training‑pipelines
Slug: how-to-prepare-data-file-formats-for-ai-training