TL;DR – 選択するファイル形式により、トレーニング時間を30‑50 %短縮し、ストレージコストを1 %–5 %削減でき、マルチモーダルモデルがデータの不整合で失敗するのを防げます。最適なのはストリーミング対応・列指向バイナリコンテナ（TFRecord、WebDataset、Arrow/Parquet）で、事前トークン化されたテキストと事前エンコードされたメディアを単一のバージョン管理されたシャードに格納する方式です。

ファイル形式がAIトレーニングに重要な理由

結論として、フォーマットは遅いI/O、ノイズデータ、コンプライアンス上の課題に対する最初の防御線です。

コア概念と用語（クイックリファレンス）

適切なフォーマットの選択

経験則：

• 大規模トレーニング → TFRecord、WebDataset、または Arrow/Parquet（ストリーミング、圧縮、シャーディング対応）。
• 探索的作業 → JSONL（人間可読で編集が容易）。
• 大量のランダムアクセス（例：検索強化生成） → LMDB。

ステップバイステップ設計図（生データから本番向けシャードへ）

1. 単一の真実のソーススキーマを定義する

   message MultiModalExample {
     bytes image = 1;                // JPEG‑XL or AVIF
     repeated int32 caption = 2;    // token IDs
     bytes audio = 3;                // Opus or FLAC
     map<string, string> meta = 4;  // source_id, timestamp, etc.
   }
   

   この .proto（または Arrow スキーマ）をデータの隣に保存します。

2. 生データ資産を収集・クリーンアップする

   • テキスト: Unicode‑NFKC、制御文字を除去、重複排除。
   • 画像: まずロスレスPNGに変換し、必要に応じてロッシーJPEG‑XL（品質85‑90 %）に変換。
   • 音声: 16 kHz、16‑bit PCMにリサンプリングし、Opus（ロッシー）または FLAC（ロスレス）でエンコード。

3. 前処理／トークン化
   モデルに供給する正確なトークナイザ（例：GPT‑NeoX 用 tiktoken）を使用し、得られた int32[] トークンID をレコードに直接保存します。

4. 各レコードをシリアライズする
   高速バイナリシリアライザ（Protocol Buffers、FlatBuffers、または Arrow IPC）を選択します。目的は、TFRecord または tarball に書き込める 例ごとの単一バイト列 を作成することです。

5. シャーディングと圧縮

   • 対象シャードサイズ: 256 MiB – 1 GiB（S3 GET のレンジリクエストに最適）。
   • **Zstandard（レベル 3‑5）**で圧縮 – 高速デコード、良好な圧縮率。
   • 命名規則: train-00000-of-01000.tfrecord.zst。

6. マニフェストを生成する

   [
     {
       "shard": "train-00000-of-01000.tfrecord.zst",
       "checksum": "sha256:ab12…",
       "num_examples": 12456,
       "avg_seq_len": 256,
       "git_hash": "d3f9c1e"
     },
     …
   ]
   

   マニフェストは検証、再開可能なトレーニング、監査の単一の情報源です。

7. 検証
   レコードの 0.1 % をランダムにサンプリングし、各フィールドをデコードして妥当性チェック（画像デコード、トークン長、音声長さ）を実行します。全体統計（語彙カバレッジ、解像度分布）を計算し、マニフェストに保存します。

8. バージョン管理と不変ストレージ
   シャードとマニフェストを不変バケット（gs://my‑project/datasets/v1/）にプッシュします。セマンティックバージョン（v1.0.0）でタグ付けし、データバージョニングシステム（DVC、LakeFS）にスナップショットを登録します。

9. トレーニングループでロードする

   # PyTorch + WebDataset example
   import webdataset as wds, torch, torchvision, torchaudio
   
   def decode(sample):
       img = torchvision.io.decode_image(sample["jpg"], mode=torchvision.io.ImageReadMode.RGB)
       txt = torch.tensor([int(t) for t in sample["txt"].decode().split()], dtype=torch.long)
       wav, _ = torchaudio.load(io.BytesIO(sample["wav"]))
       return {"image": img, "caption": txt, "audio": wav}
   
   ds = (wds.WebDataset("s3://my-bucket/train-{00000..00999}.tar.zst")
         .decode("torchrgb")
         .map(decode)
         .batched(64)
         .prefetch(2))
   
   loader = torch.utils.data.DataLoader(ds, num_workers=8)
   for batch in loader:
       # feed to model …
       pass
   

新興トレンドと将来への備え

本番向けチェックリスト

• スキーマファイル（.proto または Arrow スキーマ）をデータの隣に保存する。
• すべてのシャードを高速コーデック（ZSTD‑L3 推奨）で圧縮する。
• シャードサイズを 256 MiB から 1 GiB の間にする。
• マニフェストにチェックサム、レコード数、シャードごとの統計、前処理コードの git ハッシュを含める。
• 不変のバージョン管理（DVC、LakeFS など）を使用する。
• シャードごとにデータ品質メトリクスを記録する。
• プライバシー監査を完了する（PII の削除、オプションの暗号化）。
• エラーなくランダムシャードを読み取れるエンドツーエンドのテストローダーを用意する。
• スキーマ、前処理手順、シャード再生成方法を説明した README を用意する。

この設計図に従うことで、トレーニングパイプラインを 高速、低コスト、再現性のある 状態に保てます—現代の LLM チームが必要とする三本柱です。

Tags: data‑engineering multi‑modal‑llm training‑pipelines
Slug: how-to-prepare-data-file-formats-for-ai-training