TL;DR – 선택한 파일 포맷은 훈련 시간을 30‑50 % 단축하고, 저장 비용을 1 %–5 % 줄이며, 멀티모달 모델이 정렬되지 않은 데이터 때문에 오류가 나는 것을 방지합니다. 최적의 선택은 스트리밍 준비가 된 컬럼형 바이너리 컨테이너(TFRecord, WebDataset, Arrow/Parquet)로, 사전 토큰화된 텍스트와 사전 인코딩된 미디어를 하나의 버전 관리 샤드에 저장하는 것입니다.

파일 포맷이 AI 훈련에 중요한 이유

핵심 요점: 포맷은 느린 I/O, 잡음 데이터, 그리고 규제 문제에 대한 첫 번째 방어선입니다.

핵심 개념 및 용어 (빠른 참고)

올바른 포맷 선택하기

• 대규모 훈련 → TFRecord, WebDataset, 또는 Arrow/Parquet (스트리밍, 압축, 샤딩 지원).
• 탐색적 작업 → JSONL (사람이 읽기 쉬우며 편집이 간편).
• 무거운 랜덤 접근(예: 검색 강화 생성) → LMDB.

단계별 청사진 (원시 파일에서 프로덕션‑준비 샤드까지)

1. 단일 진실 소스 스키마 정의

   message MultiModalExample {
     bytes image = 1;                // JPEG‑XL or AVIF
     repeated int32 caption = 2;    // token IDs
     bytes audio = 3;                // Opus or FLAC
     map<string, string> meta = 4;  // source_id, timestamp, etc.
   }
   

   이 .proto(또는 Arrow 스키마)를 데이터셋과 함께 저장하세요.

2. 원시 자산 수집 및 정리

   • 텍스트: Unicode‑NFKC 적용, 제어 문자 제거, 중복 제거.
   • 이미지: 무손실 PNG로 변환 후 필요에 따라 손실 JPEG‑XL(품질 85‑90 %)로 변환.
   • 오디오: 16 kHz, 16‑bit PCM으로 재샘플링; Opus(손실) 또는 FLAC(무손실)로 인코딩.

3. 전처리 / 토큰화
   모델에 바로 입력할 토크나이저(예: tiktoken for GPT‑NeoX)를 사용하세요. 결과 int32[] 토큰 ID를 레코드에 직접 저장합니다.

4. 각 레코드 직렬화
   빠른 바이너리 직렬화기(Protocol Buffers, FlatBuffers, Arrow IPC) 중 하나를 선택합니다. 목표는 예시당 하나의 바이트 문자열을 만들어 TFRecord 또는 tarball에 기록하는 것입니다.

5. 샤드 및 압축

   • 목표 샤드 크기: 256 MiB – 1 GiB (S3 GET 범위 요청에 최적).
   • Zstandard(level 3‑5) 로 압축 – 빠른 해제와 좋은 비율.
   • 파일명 규칙: train-00000-of-01000.tfrecord.zst.

6. 매니페스트 생성

   [
     {
       "shard": "train-00000-of-01000.tfrecord.zst",
       "checksum": "sha256:ab12…",
       "num_examples": 12456,
       "avg_seq_len": 256,
       "git_hash": "d3f9c1e"
     },
     …
   ]
   

   매니페스트는 검증, 재개 가능한 훈련, 감사의 단일 진실 소스입니다.

7. 검증
   레코드 0.1 %를 무작위 샘플링해 각 필드를 디코드하고 이미지 디코드, 토큰 길이, 오디오 길이 등 정상 여부를 확인합니다. 어휘 커버리지, 해상도 분포 등 전역 통계를 계산해 매니페스트에 저장합니다.

8. 버전 관리 및 불변 저장
   샤드와 매니페스트를 불변 버킷(gs://my‑project/datasets/v1/)에 푸시합니다. 의미 체계 버전(v1.0.0)을 태그하고 스냅샷을 데이터‑버전 관리 시스템(DVC, LakeFS)에 등록합니다.

9. 훈련 루프에서 로드

   # PyTorch + WebDataset example
   import webdataset as wds, torch, torchvision, torchaudio
   
   def decode(sample):
       img = torchvision.io.decode_image(sample["jpg"], mode=torchvision.io.ImageReadMode.RGB)
       txt = torch.tensor([int(t) for t in sample["txt"].decode().split()], dtype=torch.long)
       wav, _ = torchaudio.load(io.BytesIO(sample["wav"]))
       return {"image": img, "caption": txt, "audio": wav}
   
   ds = (wds.WebDataset("s3://my-bucket/train-{00000..00999}.tar.zst")
         .decode("torchrgb")
         .map(decode)
         .batched(64)
         .prefetch(2))
   
   loader = torch.utils.data.DataLoader(ds, num_workers=8)
   for batch in loader:
       # feed to model …
       pass
   

떠오르는 트렌드 및 미래 대비

프로덕션‑준비 체크리스트

• 스키마 파일(.proto 또는 Arrow 스키마)을 데이터 옆에 저장합니다.
• 모든 샤드를 빠른 코덱(ZSTD‑L3 권장)으로 압축합니다.
• 샤드 크기를 256 MiB에서 1 GiB 사이로 설정합니다.
• 매니페스트에 체크섬, 레코드 수, 샤드별 통계 및 전처리 코드의 git 해시를 포함합니다.
• 불변 버전 관리(DVC, LakeFS 등)를 사용합니다.
• 샤드별 데이터 품질 메트릭을 기록합니다.
• 프라이버시 감사 완료(PII 삭제, 선택적 암호화).
• 오류 없이 무작위 샤드를 읽을 수 있는 엔드‑투‑엔드 테스트 로더를 구현합니다.
• 스키마, 전처리 단계 및 샤드 재생성 방법을 설명하는 README를 작성합니다.

이 청사진을 따르면 훈련 파이프라인을 빠르고, 저렴하며, 재현 가능하게 유지할 수 있습니다—현대 LLM 팀이 필요로 하는 세 가지 핵심 축입니다.

Tags: data‑engineering multi‑modal‑llm training‑pipelines
Slug: how-to-prepare-data-file-formats-for-ai-training