TL;DR – Seçtiğiniz dosya formatı eğitim süresini %30‑50 azaltabilir, depolama maliyetlerini %1‑5 düşürebilir ve çok‑modlu modellerinizin uyumsuz veriler yüzünden takılmasını önler. En uygun seçenek, akış‑hazır, sütun‑temelli ikili bir kapsayıcı (TFRecord, WebDataset, Arrow/Parquet) olup önceden tokenlanmış metin ve önceden kodlanmış medyayı tek bir, sürüm‑kontrollü shard içinde saklar.

Dosya Formatının AI Eğitimi İçin Önemi

Özet: format, yavaş I/O, gürültülü veri ve uyum sorunlarına karşı ilk savunma hattıdır.

Temel Kavramlar ve Terminoloji (Hızlı Referans)

Doğru Formatı Seçmek

Kural:

• Ölçekli eğitim → TFRecord, WebDataset veya Arrow/Parquet (akış, sıkıştırma ve shard desteği sağlar).
• Keşif çalışmaları → JSONL (insan‑okunur, düzenlemesi kolay).
• Yoğun rastgele erişim (ör. retrieval‑augmented generation) → LMDB.

Adım‑Adım Plan (Ham Dosyalardan Üretim‑Hazır Shard’lara)

1. Tek bir gerçek‑kaynak şeması tanımlayın

   message MultiModalExample {
     bytes image = 1;                // JPEG‑XL or AVIF
     repeated int32 caption = 2;    // token IDs
     bytes audio = 3;                // Opus or FLAC
     map<string, string> meta = 4;  // source_id, timestamp, etc.
   }
   

   Store this .proto (or Arrow schema) alongside the dataset.

2. Ham varlıkları topla ve temizle

   • Metin: Unicode‑NFKC, kontrol karakterlerini temizle, tekrarları kaldır.
   • Görüntüler: Önce lossless PNG’ye dönüştür, ardından isteğe bağlı olarak kayıplı JPEG‑XL (kalite 85‑90 %).
   • Ses: 16 kHz, 16‑bit PCM’ye yeniden örnekle; Opus (kayıplı) veya FLAC (kayıpsız) ile kodla.

3. Ön‑işleme / Tokenizasyon
   Modelinize besleyeceğiniz tam aynı tokenlayıcıyı (ör. GPT‑NeoX için tiktoken) kullanın. Ortaya çıkan int32[] token ID’lerini doğrudan kayda kaydedin.

4. Her kaydı serileştir
   Hızlı bir ikili serileştirici seçin: Protocol Buffers, FlatBuffers veya Arrow IPC. Amaç, bir örnek için tek bir bayt dizisi elde etmek ve bunu TFRecord ya da bir tarball’a yazabilmektir.

5. Shard’la ve sıkıştır

   • Hedef shard boyutu: 256 MiB – 1 GiB (S3 GET aralık istekleri için optimal).
   • Zstandard (seviye 3‑5) ile sıkıştır – hızlı dekompresyon, iyi oran.
   • İsimlendirme kuralı: train-00000-of-01000.tfrecord.zst.

6. Manifest oluştur

   [
     {
       "shard": "train-00000-of-01000.tfrecord.zst",
       "checksum": "sha256:ab12…",
       "num_examples": 12456,
       "avg_seq_len": 256,
       "git_hash": "d3f9c1e"
     },
     …
   ]
   

   Manifest, doğrulama, yeniden başlatılabilir eğitim ve denetim için tek gerçek kaynaktır.

7. Doğrula
   Kayıtların %0.1’ini rastgele örnekleyin, her alanı çözün ve görüntü çözümleme, token uzunluğu, ses süresi gibi kontrolleri çalıştırın. Küresel istatistikleri (vocab kapsama, çözünürlük dağılımı vb.) hesaplayıp manifest’e ekleyin.

8. Sürümle ve değişmez şekilde depola
   Shard’ları ve manifest’ı değişmez bir bucket’a gönderin (gs://my‑project/datasets/v1/). Semantik bir sürüm etiketi (v1.0.0) ekleyin ve anlık görüntüyü bir veri‑versiyonlama sistemi (DVC, LakeFS) ile kaydedin.

9. Eğitim döngünüzde yükleyin

   # PyTorch + WebDataset example
   import webdataset as wds, torch, torchvision, torchaudio
   
   def decode(sample):
       img = torchvision.io.decode_image(sample["jpg"], mode=torchvision.io.ImageReadMode.RGB)
       txt = torch.tensor([int(t) for t in sample["txt"].decode().split()], dtype=torch.long)
       wav, _ = torchaudio.load(io.BytesIO(sample["wav"]))
       return {"image": img, "caption": txt, "audio": wav}
   
   ds = (wds.WebDataset("s3://my-bucket/train-{00000..00999}.tar.zst")
         .decode("torchrgb")
         .map(decode)
         .batched(64)
         .prefetch(2))
   
   loader = torch.utils.data.DataLoader(ds, num_workers=8)
   for batch in loader:
       # feed to model …
       pass
   

Ortaya Çıkan Trendler ve Geleceğe Hazırlık

Üretim‑Hazır Kontrol Listesi

• Şema dosyası (.proto veya Arrow şeması) verinin yanında saklanır.
• Tüm shard’lar hızlı bir codec (ZSTD‑L3 önerilir) ile sıkıştırılır.
• Shard boyutu 256 MiB ile 1 GiB arasında.
• Manifest, kontrol toplamı, kayıt sayısı, shard başına istatistikler ve ön işleme kodunun git hash’ini içerir.
• Değişmez sürüm kontrolü (DVC, LakeFS veya benzeri).
• Veri kalitesi metrikleri shard başına kaydedilir.
• Gizlilik denetimi tamamlandı (PII gizleme, isteğe bağlı şifreleme).
• Hata olmadan rastgele bir shard okuyabilen uçtan uca test yükleyicisi.
• Şema, ön işleme adımları ve shard’ların nasıl yeniden üretileceğini açıklayan README.

Bu planı izlemek, eğitim veri hatlarınızı hızlı, ucuz ve yeniden üretilebilir tutar — modern bir LLM ekibinin ihtiyaç duyduğu üç temel.

Etiketler: data‑engineering multi‑modal‑llm training‑pipelines
Slug: how-to-prepare-data-file-formats-for-ai-training