TL;DR – فرمت فایلی که انتخاب می‌کنید می‌تواند 30‑50 % زمان آموزش را کاهش دهد، هزینه‌های ذخیره‌سازی را 1 %‑5 % کم کند و از بروز مشکلات مدل‌های چند‌مودال به‌دلیل داده‌های نامرتب جلوگیری کند. نقطهٔ ایده‌آل یک کانتینر باینری ستونی و آماده برای استریم (TFRecord، WebDataset، Arrow/Parquet) است که متن پیش‌توکن‌شده و رسانه‌های پیش‌رمزگذاری‌شده را در یک شارد کنترل‌شدهٔ نسخه‌دار ذخیره می‌کند.

چرا فرمت فایل برای آموزش هوش مصنوعی مهم است

نتیجه‌گیری: فرمت اولین خط دفاعی در برابر I/O کند، داده‌های نویزی و مشکلات رعایت مقررات است.

مفاهیم اصلی و اصطلاحات (مرجع سریع)

انتخاب فرمت مناسب

قانون کلی:

• آموزش در مقیاس بزرگ → TFRecord، WebDataset یا Arrow/Parquet (آن‌ها استریم می‌شوند، فشرده‌اند و از شاردینگ پشتیبانی می‌کنند).
• کارهای اکتشافی → JSONL (قابل خواندن برای انسان، ویرایش آسان).
• دسترسی تصادفی سنگین (مثلاً بازیابی‑تقویت‑تولید) → LMDB.

طرح‌نقشه گام‌به‌گام (از فایل‌های خام تا شاردهای آماده برای تولید)

1. تعریف یک طرح‌واره منبع واحد

   message MultiModalExample {
     bytes image = 1;                // JPEG‑XL or AVIF
     repeated int32 caption = 2;    // token IDs
     bytes audio = 3;                // Opus or FLAC
     map<string, string> meta = 4;  // source_id, timestamp, etc.
   }
   

   این .proto (یا طرح‌واره Arrow) را در کنار مجموعه داده ذخیره کنید.

2. جمع‌آوری و پاک‌سازی دارایی‌های خام

   • متن: Unicode‑NFKC، حذف کاراکترهای کنترل، حذف تکرارها.
   • تصاویر: ابتدا به PNG بدون افت تبدیل کنید، سپس در صورت نیاز به JPEG‑XL با کیفیت 85‑90 % فشرده کنید.
   • صدا: به 16 kHz و 16‑bit PCM بازنمونه‌گیری کنید؛ با Opus (فشرده) یا FLAC (بدون فشرده) رمزگذاری کنید.

3. پیش‌پردازش / توکن‌سازی
   دقیقاً همان توکنایزر را که به مدل می‌خواهید بدهید استفاده کنید (مثلاً tiktoken برای GPT‑NeoX). شناسه‌های عددی حاصل را مستقیماً در رکورد ذخیره کنید.

4. سریال‌سازی هر رکورد
   یک سریالایزر باینری سریع انتخاب کنید: Protocol Buffers، FlatBuffers یا Arrow IPC. هدف داشتن یک رشته بایت برای هر مثال است که بتوان آن را در TFRecord یا یک tarball نوشت.

5. شاردینگ و فشرده‌سازی

   • اندازه هدف شارد: 256 MiB – 1 GiB (بهینه برای درخواست‌های رنج S3).
   • فشرده‌سازی با Zstandard (سطح 3‑5) – سرعت بالا در دیکمپریشن، نسبت خوب.
   • قالب نامگذاری: train-00000-of-01000.tfrecord.zst.

6. تولید مانیفست

   [
     {
       "shard": "train-00000-of-01000.tfrecord.zst",
       "checksum": "sha256:ab12…",
       "num_examples": 12456,
       "avg_seq_len": 256,
       "git_hash": "d3f9c1e"
     },
     …
   ]
   

   مانیفست منبع حقیقت واحد برای اعتبارسنجی، ادامه آموزش و حسابرسی است.

7. اعتبارسنجی
   به‌صورت تصادفی 0.1 % از رکوردها را نمونه‌برداری کنید، هر فیلد را دیکود کنید و بررسی‌های صحت (دیکود تصویر، طول توکن، مدت زمان صدا) انجام دهید. آمار کلی (پوشش واژگان، توزیع وضوح) را محاسبه و در مانیفست ذخیره کنید.

8. نسخه‌بندی و ذخیره‌سازی غیرقابل تغییر
   شاردها + مانیفست را به یک سطل غیرقابل تغییر (مثلاً gs://my‑project/datasets/v1/) بارگذاری کنید. با یک نسخه معنایی (v1.0.0) برچسب بزنید و اسنپ‌شات را در یک سیستم نسخه‌بندی داده (DVC، LakeFS) ثبت کنید.

9. بارگذاری در حلقه آموزشی

   # PyTorch + WebDataset example
   import webdataset as wds, torch, torchvision, torchaudio
   
   def decode(sample):
       img = torchvision.io.decode_image(sample["jpg"], mode=torchvision.io.ImageReadMode.RGB)
       txt = torch.tensor([int(t) for t in sample["txt"].decode().split()], dtype=torch.long)
       wav, _ = torchaudio.load(io.BytesIO(sample["wav"]))
       return {"image": img, "caption": txt, "audio": wav}
   
   ds = (wds.WebDataset("s3://my-bucket/train-{00000..00999}.tar.zst")
         .decode("torchrgb")
         .map(decode)
         .batched(64)
         .prefetch(2))
   
   loader = torch.utils.data.DataLoader(ds, num_workers=8)
   for batch in loader:
       # feed to model …
       pass
   

روندهای نوظهور و آینده‌پذیری

چک‌لیست آماده برای تولید

• فایل طرح‌واره (.proto یا طرح‌واره Arrow) در کنار داده ذخیره شود.
• تمام شاردها با یک کدک سریع (پیشنهاد ZSTD‑L3) فشرده شوند.
• اندازه شارد بین 256 MiB و 1 GiB باشد.
• مانیفست شامل چک‌سام، تعداد رکوردها، آمار هر شارد و هش گیت کد پیش‌پردازش باشد.
• نسخه‌بندی غیرقابل تغییر (DVC، LakeFS یا مشابه) اعمال شود.
• متریک‌های کیفیت داده برای هر شارد ثبت شوند.
• ممیزی حریم‌خصوصی تکمیل شود (حذف PII، رمزگذاری اختیاری).
• تست انتها‑به‑انتها برای بارگذار که بتواند یک شارد تصادفی را بدون خطا بخواند، انجام شود.
• README که طرح‌واره، مراحل پیش‌پردازش و نحوهٔ بازتولید شاردها را توضیح می‌دهد، آماده باشد.

پیروی از این طرح‌نقشه، خطوط لولهٔ آموزشی شما را سریع، ارزان و بازتولیدپذیر نگه می‌دارد — سه ستون اساسی که هر تیم مدرن LLM به آن نیاز دارد.

برچسب‌ها: data‑engineering multi‑modal‑llm training‑pipelines
آدرس کوتاه: how-to-prepare-data-file-formats-for-ai-training