TL;DR – Filformatet du väljer kan spara 30‑50 % av träningstiden, minska lagringskostnaderna med 1 %–5 %, och förhindra att dina multimodala modeller snubblar över felaktigt anpassade data. Den bästa lösningen är en ström‑klar, kolumnorienterad binärbehållare (TFRecord, WebDataset, Arrow/Parquet) som lagrar för‑tokeniserad text och för‑kodad media i en enda, versionskontrollerad shard.

Varför filformat är viktigt för AI‑träning

Slutsats: formatet är den första försvarslinjen mot långsam I/O, brusig data och efterlevnadsproblem.

Kärnkoncepter & Terminologi (Snabbreferens)

Välja rätt format

Regel för tumme:

• Träning i skala → TFRecord, WebDataset eller Arrow/Parquet (de strömmar, komprimerar och stödjer sharding).
• Utforskande arbete → JSONL (mänskligt läsbar, lätt att redigera).
• Kraftig slumpmässig åtkomst (t.ex. retrieval‑förstärkt generering) → LMDB.

Steg‑för‑steg‑plan (Från råa filer till produktionsklara shards)

1. Definiera ett enda sanningskälla‑schema

   message MultiModalExample {
     bytes image = 1;                // JPEG‑XL or AVIF
     repeated int32 caption = 2;    // token IDs
     bytes audio = 3;                // Opus or FLAC
     map<string, string> meta = 4;  // source_id, timestamp, etc.
   }
   

   Lagra denna .proto (eller Arrow‑schema) bredvid datasetet.

2. Samla in & rensa råa tillgångar

   • Text: Unicode‑NFKC, ta bort kontrolltecken, deduplicera.
   • Bilder: Konvertera först till förlustfri PNG, och sedan eventuellt förlustig JPEG‑XL (kvalitet 85‑90 %).
   • Audio: Omproducera till 16 kHz, 16‑bit PCM; koda med Opus (förlustig) eller FLAC (förlustfri).

3. Förprocessa / Tokenisera
   Använd exakt den tokeniserare du kommer att mata in i modellen (t.ex. tiktoken för GPT‑NeoX). Lagra de resulterande int32[] token‑ID:n direkt i posten.

4. Serialisera varje post
   Välj en snabb binärserialiserare: Protocol Buffers, FlatBuffers eller Arrow IPC. Målet är en enkel byte‑sträng per exempel som kan skrivas till en TFRecord eller ett tar‑arkiv.

5. Shard‑a & komprimera

   • Målsatt shard‑storlek: 256 MiB – 1 GiB (optimalt för S3 GET‑range‑förfrågningar).
   • Komprimera med Zstandard (nivå 3‑5) – snabb dekomprimering, bra förhållande.
   • Namngivningskonvention: train-00000-of-01000.tfrecord.zst.

6. Generera ett manifest

   [
     {
       "shard": "train-00000-of-01000.tfrecord.zst",
       "checksum": "sha256:ab12…",
       "num_examples": 12456,
       "avg_seq_len": 256,
       "git_hash": "d3f9c1e"
     },
     …
   ]
   

   Manifestet är den enda sanningskällan för validering, återupptagbar träning och audit.

7. Validera
   Ta slumpmässigt ett urval på 0,1 % av posterna, avkoda varje fält och kör kontroller (bildavkodning, token‑längd, ljudlängd). Beräkna globala statistik (vokabulär‑täckning, upplösnings‑distribution) och lagra dem i manifestet.

8. Versionera & lagra oföränderligt
   Skicka shards + manifest till en oföränderlig bucket (gs://my‑project/datasets/v1/). Tagga med en semantisk version (v1.0.0) och registrera snapshoten i ett data‑versionssystem (DVC, LakeFS).

9. Läs in i din träningsloop

   # PyTorch + WebDataset example
   import webdataset as wds, torch, torchvision, torchaudio
   
   def decode(sample):
       img = torchvision.io.decode_image(sample["jpg"], mode=torchvision.io.ImageReadMode.RGB)
       txt = torch.tensor([int(t) for t in sample["txt"].decode().split()], dtype=torch.long)
       wav, _ = torchaudio.load(io.BytesIO(sample["wav"]))
       return {"image": img, "caption": txt, "audio": wav}
   
   ds = (wds.WebDataset("s3://my-bucket/train-{00000..00999}.tar.zst")
         .decode("torchrgb")
         .map(decode)
         .batched(64)
         .prefetch(2))
   
   loader = torch.utils.data.DataLoader(ds, num_workers=8)
   for batch in loader:
       # feed to model …
       pass
   

Framväxande trender & framtidssäkring

Produktionsklar checklista

• Schemafil (.proto eller Arrow‑schema) lagrad bredvid data.
• Alla shards komprimerade med en snabb codec (ZSTD‑L3 rekommenderas).
• Shard‑storlek mellan 256 MiB och 1 GiB.
• Manifestet innehåller kontrollsumma, postantal, statistik per shard och git‑hash för förprocess‑koden.
• Oföränderlig versionskontroll (DVC, LakeFS eller liknande).
• Datakvalitets‑metrik loggad per shard.
• Integritetsgranskning slutförd (PII‑redigering, valfri kryptering).
• End‑to‑end‑test‑loader som kan läsa en slumpmässig shard utan fel.
• README som förklarar schema, förprocess‑steg och hur man regenererar shards.

Genom att följa denna plan kommer dina träningspipelines att vara snabba, billiga och reproducerbara — de tre pelarna varje modernt LLM‑team behöver.

Tags: data‑engineering multi‑modal‑llm training‑pipelines
Slug: how-to-prepare-data-file-formats-for-ai-training