TL;DR – Pasirinktas failo formatas gali sutrumpinti mokymo laiką 30‑50 %, sumažinti saugojimo išlaidas 1 %–5 % ir apsaugoti daugi-modalinius modelius nuo nesuderintų duomenų. Idealu yra srautinio skaitymo, stulpelių orientuotas binarinis konteineris (TFRecord, WebDataset, Arrow/Parquet), kuris saugo iš anksto sužetkintą tekstą ir iš anksto užkoduotą mediją vienoje, versijomis valdomoje dalyje.

Kodėl failo formatas svarbus AI mokymui

Pagrindinė išvada: formatas yra pirmoji gynybos linija prieš lėtą I/O, triukšmingus duomenis ir atitikties problemas.

Pagrindinės sąvokos ir terminologija (greita nuoroda)

Kaip pasirinkti tinkamą formatą

• Mokymas mastu → TFRecord, WebDataset arba Arrow/Parquet (jie srautiniai, suspausti ir palaiko skaidymą).
• Eksploracinis darbas → JSONL (žmogui skaitoma, lengvai redaguojama).
• Didelis atsitiktinis priėjimas (pvz., retrieval‑augmented generation) → LMDB.

Žingsnis po žingsnio planas (nuo neapdorotų failų iki gamybos pasiruošusių skaidinių)

1. Apibrėžkite vieną šaltinio‑tiesos schemą

   message MultiModalExample {
     bytes image = 1;                // JPEG‑XL or AVIF
     repeated int32 caption = 2;    // token IDs
     bytes audio = 3;                // Opus or FLAC
     map<string, string> meta = 4;  // source_id, timestamp, etc.
   }
   

   Store this .proto (or Arrow schema) alongside the dataset.

2. Surinkite ir išvalykite neapdorotas priemones

   • Tekstas: Unicode‑NFKC, pašalinkite valdymo simbolius, pašalinkite dublikatus.
   • Vaizdai: Pirma konvertuokite į bepralaidį PNG, tada, jei reikia, į prarandamą JPEG‑XL (kokybė 85‑90 %).
   • Garsas: Perkoduokite iki 16 kHz, 16‑bit PCM; koduokite su Opus (prarandamas) arba FLAC (bepralaidis).

3. Išankstinis apdorojimas / Žodžių skaidymas
   Naudokite tą patį žodžių skaidiklį, kurį tieksite modeliui (pvz., tiktoken GPT‑NeoX). Išsaugokite gautus int32[] žodžių ID tiesiogiai įraše.

4. Serializuokite kiekvieną įrašą
   Pasirinkite greitą binarinį serializatorių: Protocol Buffers, FlatBuffers arba Arrow IPC. Tikslas – vienas baitų eilutė per pavyzdį, kurią galima įrašyti į TFRecord arba tarball.

5. Skaidymas ir suspaudimas

   • Tikslinė skaidinio dydis: 256 MiB – 1 GiB (optimalu S3 GET intervalų užklausoms).
   • Suspauskite su Zstandard (lygis 3‑5) – greitas išskleidimas, geras santykis.
   • Pavadinimo konvencija: train-00000-of-01000.tfrecord.zst.

6. Sukurkite manifestą

   [
     {
       "shard": "train-00000-of-01000.tfrecord.zst",
       "checksum": "sha256:ab12…",
       "num_examples": 12456,
       "avg_seq_len": 256,
       "git_hash": "d3f9c1e"
     },
     …
   ]
   

   Manifestas yra vienintelis šaltinis validacijai, tęsiamam mokymui ir auditui.

7. Patikrinkite
   Atsitiktinai išrinkite 0,1 % įrašų, iškoduokite kiekvieną lauką ir atlikite patikrinimus (vaizdo dekodavimas, žodžių ilgis, garso trukmė). Apskaičiuokite bendrą statistiką (žodyno aprėptis, rezoliucijos pasiskirstymas) ir įrašykite ją į manifestą.

8. Versijuokite ir saugokite nekeičiama forma
   Įkelkite skaidinius + manifestą į nekeičiama saugyklą (gs://my‑project/datasets/v1/). Pažymėkite semantine versija (v1.0.0) ir užregistruokite momentinę kopiją duomenų versijavimo sistemoje (DVC, LakeFS).

9. Įkelkite į mokymo ciklą

   # PyTorch + WebDataset example
   import webdataset as wds, torch, torchvision, torchaudio
   
   def decode(sample):
       img = torchvision.io.decode_image(sample["jpg"], mode=torchvision.io.ImageReadMode.RGB)
       txt = torch.tensor([int(t) for t in sample["txt"].decode().split()], dtype=torch.long)
       wav, _ = torchaudio.load(io.BytesIO(sample["wav"]))
       return {"image": img, "caption": txt, "audio": wav}
   
   ds = (wds.WebDataset("s3://my-bucket/train-{00000..00999}.tar.zst")
         .decode("torchrgb")
         .map(decode)
         .batched(64)
         .prefetch(2))
   
   loader = torch.utils.data.DataLoader(ds, num_workers=8)
   for batch in loader:
       # feed to model …
       pass
   

Kylančios tendencijos ir ateities pasiruošimas

Gamybos pasiruošimo kontrolinis sąrašas

• Schemos failas (.proto arba Arrow schema) saugomas šalia duomenų.
• Visi skaidiniai suspausti greitu kodeku (rekomenduojama ZSTD‑L3).
• Skaidinio dydis tarp 256 MiB ir 1 GiB.
• Manifestas apima kontrolinę sumą, įrašų skaičių, statistikas per skaidinį ir git hash išankstinio apdorojimo kodo.
• Nekeičiama versijavimo kontrolė (DVC, LakeFS ar panaši).
• Duomenų kokybės metrikos registruojamos per skaidinį.
• Baigtas privatumo auditas (PII redagavimas, pasirinktinė šifravimas).
• Pilnas testinis įkroviklis, galintis perskaityti atsitiktinį skaidinį be klaidų.
• README, kuriame paaiškinta schema, išankstinio apdorojimo žingsniai ir kaip regeneruoti skaidinius.

Laikydamiesi šio plano, jūsų mokymo duomenų srautas išliks greitas, pigus ir pakartojamas – trys stulpai, kurių reikia kiekvienai šiuolaikinei LLM komandai.

Tags: data‑engineering multi‑modal‑llm training‑pipelines
Slug: how-to-prepare-data-file-formats-for-ai-training