TL;DR – Formát souboru, který zvolíte, může zkrátit dobu tréninku o 30‑50 %, snížit náklady na úložiště o 1 %–5 % a zabránit vašim multimodálním modelům, aby se zakopávaly o nesynchronizovaná data. Ideální volbou je streamovací, sloupcově orientovaný binární kontejner (TFRecord, WebDataset, Arrow/Parquet), který ukládá předtokenizovaný text a předkódovaná média v jednom, verze‑kontrolovaném shardu.

Proč formát souboru záleží na tréninku AI

Závěr: formát je první linií obrany proti pomalému I/O, špatným datům a problémům s dodržováním předpisů.

Základní pojmy a terminologie (rychlý přehled)

Výběr správného formátu

Pravidlo:

• Trénink ve velkém → TFRecord, WebDataset nebo Arrow/Parquet (streamují, komprimují a podporují sharding).
• Explorace → JSONL (čitelné, snadno editovatelné).
• Intenzivní náhodný přístup (např. retrieval‑augmented generation) → LMDB.

Plán krok za krokem (od surových souborů k produkčně připraveným shardům)

1. Definujte jediné schéma pravdy

   message MultiModalExample {
     bytes image = 1;                // JPEG‑XL nebo AVIF
     repeated int32 caption = 2;    // token IDs
     bytes audio = 3;                // Opus nebo FLAC
     map<string, string> meta = 4;  // source_id, timestamp, atd.
   }
   

   Uložte tento .proto (nebo Arrow schema) vedle datasetu.

2. Shromažďujte a čistěte surová data

   • Text: Unicode‑NFKC, odstraňte řídící znaky, deduplikujte.
   • Obrázky: Nejprve převést na bezztrátový PNG, poté volitelně ztrátový JPEG‑XL (kvalita 85‑90 %).
   • Audio: Převzorkovat na 16 kHz, 16‑bit PCM; kódovat pomocí Opus (ztrátový) nebo FLAC (bezztrátový).

3. Předzpracování / tokenizace
   Použijte přesně ten tokenizer, který budete modelu předávat (např. tiktoken pro GPT‑NeoX). Uložte výsledné int32[] token ID přímo do záznamu.

4. Serializujte každý záznam
   Vyberte rychlý binární serializer: Protocol Buffers, FlatBuffers nebo Arrow IPC. Cílem je jediný bajtový řetězec na příklad, který lze zapsat do TFRecord nebo tarballu.

5. Rozdělte do shardů a komprimujte

   • Cílová velikost shardu: 256 MiB – 1 GiB (optimální pro požadavky S3 GET range).
   • Komprimujte pomocí Zstandard (úroveň 3‑5) – rychlá dekomprese, dobrý poměr.
   • Název souboru: train-00000-of-01000.tfrecord.zst.

6. Vytvořte manifest

   [
     {
       "shard": "train-00000-of-01000.tfrecord.zst",
       "checksum": "sha256:ab12…",
       "num_examples": 12456,
       "avg_seq_len": 256,
       "git_hash": "d3f9c1e"
     },
     …
   ]
   

   Manifest je jediný zdroj pravdy pro validaci, obnovitelný trénink a audit.

7. Validujte
   Náhodně vyberte 0,1 % záznamů, dekódujte každé pole a proveďte sanity‑checks (dekódování obrazu, délka tokenů, délka audia). Vypočítejte globální statistiky (pokrytí slovníku, rozlišení) a uložte je do manifestu.

8. Verzujte a ukládejte neměnně
   Nahrajte shardy + manifest do neměnného bucketu (gs://my‑project/datasets/v1/). Označte semantickou verzí (v1.0.0) a zaregistrujte snímek v systému pro verzování dat (DVC, LakeFS).

9. Načtěte ve vašem tréninkovém smyčce

   # PyTorch + WebDataset example
   import webdataset as wds, torch, torchvision, torchaudio
   
   def decode(sample):
       img = torchvision.io.decode_image(sample["jpg"], mode=torchvision.io.ImageReadMode.RGB)
       txt = torch.tensor([int(t) for t in sample["txt"].decode().split()], dtype=torch.long)
       wav, _ = torchaudio.load(io.BytesIO(sample["wav"]))
       return {"image": img, "caption": txt, "audio": wav}
   
   ds = (wds.WebDataset("s3://my-bucket/train-{00000..00999}.tar.zst")
         .decode("torchrgb")
         .map(decode)
         .batched(64)
         .prefetch(2))
   
   loader = torch.utils.data.DataLoader(ds, num_workers=8)
   for batch in loader:
       # feed to model …
       pass
   

Vznikající trendy a budoucí zabezpečení

Kontrolní seznam připravený pro produkci

• Soubor se schématem (.proto nebo Arrow schema) uložený vedle dat.
• Všechny shardy komprimované rychlým kodekem (doporučeno ZSTD‑L3).
• Velikost shardu mezi 256 MiB a 1 GiB.
• Manifest obsahuje kontrolní součet, počet záznamů, statistiky per shard a git hash předzpracovacího kódu.
• Neměnná verzování (DVC, LakeFS nebo podobné).
• Metriky kvality dat zaznamenané per shard.
• Audit soukromí dokončen (redakce PII, volitelná šifrování).
• End‑to‑end testovací loader, který dokáže načíst náhodný shard bez chyb.
• README, který vysvětluje schéma, kroky předzpracování a jak regenerovat shardy.

Dodržení tohoto plánu udrží vaše tréninkové pipeline rychlé, levné a reprodukovatelné—tři pilíře, které potřebuje každý moderní tým LLM.

Tagy: data‑engineering multi‑modal‑llm training‑pipelines
Slug: how-to-prepare-data-file-formats-for-ai-training