TL;DR – Seçdiyiniz fayl formatı təlim vaxtını 30‑50 % azalda, saxlanma xərclərini 1 %–5 % endirə və çox‑modal modellərinizi uyğunsuz məlumatlarla qarşılaşmaqdan qoruyar. Ideal seçim axın‑hazır, sütun‑əsaslı ikili konteyner (TFRecord, WebDataset, Arrow/Parquet) olub, öncədən tokenləşdirilmiş mətn və öncədən kodlaşdırılmış media‑nı tək, versiya‑idarəli shardda saxlayır.

Fayl‑Formatının AI Təlimi Üçün Niyə Önəmli olduğu

Nəticə: format yavaş I/O, səs‑küylü məlumat və uyğunluq problemlərinə qarşı ilk müdafiə xəttidir.

Əsas Konsepsiyalar və Terminologiya (Sürətli İstinad)

Doğru Formatı Seçmək

Ümumi qayda:

• Miqqyaslı təlim → TFRecord, WebDataset, ya da Arrow/Parquet (axın, sıxışdırma və shard‑lama dəstəyi var).
• Eksplorativ iş → JSONL (insan‑oxunaqlı, asan redaktə).
• Ağır random oxuma (məsələn, retrieval‑augmented generation) → LMDB.

Addım‑Addım Planı (Xam Fayllardan İstehsal‑Hazır Shard‑lara)

1. Tək mənbə‑həqiqət sxemi təyin edin

   message MultiModalExample {
     bytes image = 1;                // JPEG‑XL or AVIF
     repeated int32 caption = 2;    // token IDs
     bytes audio = 3;                // Opus or FLAC
     map<string, string> meta = 4;  // source_id, timestamp, etc.
   }
   

   Bu .proto (və ya Arrow sxemi) dataset‑in yanında saxlayın.

2. Xam aktivləri toplayın və təmizləyin

   • Mətn: Unicode‑NFKC, nəzarət simvollarını silin, dublikatları aradan qaldırın.
   • Şəkillər: Əvvəl lossless PNG‑yə çevirin, sonra ehtiyac varsa lossy JPEG‑XL (keyfiyyət 85‑90 %) istifadə edin.
   • Audio: 16 kHz‑ə resample edin, 16‑bit PCM; Opus (lossy) ya da FLAC (lossless) ilə kodlayın.

3. Ön‑emal / Tokenləşdirin
   Modelinizə verəcəyiniz eyni tokenləşdiricidən (məsələn, tiktoken for GPT‑NeoX) istifadə edin. Nəticə int32[] token ID‑lərini birbaşa qeydə yazın.

4. Hər qeydini seriyalaşdırın
   Sürətli ikili seriyalaşdırıcı seçin: Protocol Buffers, FlatBuffers, ya da Arrow IPC. Məqsəd hər nümunə üçün tək byte string yaratmaqdır ki, TFRecord‑a ya da tarball‑a yazılsın.

5. Shard‑ləşdirin və sıxın

   • Hədəf shard ölçüsü: 256 MiB – 1 GiB (S3 GET range sorğuları üçün optimal).
   • Zstandard (level 3‑5) ilə sıxın – sürətli dekompressiya, yaxşı nisbət.
   • Adlandırma nümunəsi: train-00000-of-01000.tfrecord.zst.

6. Manifest yaradın

   [
     {
       "shard": "train-00000-of-01000.tfrecord.zst",
       "checksum": "sha256:ab12…",
       "num_examples": 12456,
       "avg_seq_len": 256,
       "git_hash": "d3f9c1e"
     },
     …
   ]
   

   Manifest doğrulama, davamlı təlim və audit üçün tək həqiqi mənbədir.

7. Doğrulama
   Qeydlərin 0.1 %‑ni təsadüfi seçin, hər sahəni deşifrə edin və məntiqi yoxlamalar aparın (şəkil deşifrə, token uzunluğu, audio müddəti). Ümumi statistikaları (vocab əhatəsi, çözünürlük paylanması) hesablayın və manifest‑ə əlavə edin.

8. Versiyalaşdırın və dəyişməz saxlayın
   Shard‑ları + manifest‑ı dəyişməz bucket‑a yükləyin (gs://my‑project/datasets/v1/). Semantik versiya (v1.0.0) ilə işarələyin və snapshot‑ı data‑versioning sistemi (DVC, LakeFS) ilə qeyd edin.

9. Təlim döngünüzdə yükləyin

   # PyTorch + WebDataset example
   import webdataset as wds, torch, torchvision, torchaudio
   
   def decode(sample):
       img = torchvision.io.decode_image(sample["jpg"], mode=torchvision.io.ImageReadMode.RGB)
       txt = torch.tensor([int(t) for t in sample["txt"].decode().split()], dtype=torch.long)
       wav, _ = torchaudio.load(io.BytesIO(sample["wav"]))
       return {"image": img, "caption": txt, "audio": wav}
   
   ds = (wds.WebDataset("s3://my-bucket/train-{00000..00999}.tar.zst")
         .decode("torchrgb")
         .map(decode)
         .batched(64)
         .prefetch(2))
   
   loader = torch.utils.data.DataLoader(ds, num_workers=8)
   for batch in loader:
       # modelə ötür …
       pass
   

Yaranan Trendlər və Gələcəyə Hazırlıq

İstehsal‑Hazır Yoxlama Siyahısı

• .proto ya da Arrow sxemi faylı dataset‑in yanında saxlanılıb.
• Bütün shard‑lar sürətli kodkl (ZSTD‑L3 tövsiyə olunur) ilə sıxılıb.
• Shard ölçüsü 256 MiB‑dən 1 GiB‑ə qədərdir.
• Manifest checksum, qeyd sayı, per‑shard statistikalar və preprocessing kodunun git hash‑ini ehtiva edir.
• Dəyişməz versiya idarəetməsi (DVC, LakeFS və ya oxşar) aktivdir.
• Hər shard üçün data keyfiyyəti ölçüləri qeyd olunub.
• Məxfilik auditı tamamlanıb (PII redaktəsi, istəyə bağlı şifrələmə).
• Son‑son test loaderi təsadüfi bir shard‑ı səhvsiz oxuya bilir.
• README‑da sxem, ön‑emal addımları və shard‑ların necə yenidən yaradılacağı izah olunub.

Bu planı izləyərək təlim pipeline‑larınızı sürətli, ucuz və təkrarlana bilən saxlayacaqsınız – müasir LLM komandalarının üç əsas sütunu.

Etiketlər: data‑engineering multi‑modal‑llm training‑pipelines
Slug: how-to-prepare-data-file-formats-for-ai-training