TL;DR – আপনি যে ফাইল ফরম্যাটটি বেছে নেবেন তা প্রশিক্ষণের সময় ৩০‑৫০ % কমাতে পারে, স্টোরেজ খরচ ১ %–৫ % কমাতে পারে, এবং আপনার মাল্টি‑মোডাল মডেলকে ভুলভাবে সাজানো ডেটা থেকে রক্ষা করতে পারে। আদর্শ সমাধান হল স্ট্রিমিং‑রেডি, কলাম‑অরিয়েন্টেড বাইনারি কন্টেইনার (TFRecord, WebDataset, Arrow/Parquet) যা প্রি‑টোকেনাইজড টেক্সট এবং প্রি‑এনকোডেড মিডিয়া একক, ভার্সন‑কন্ট্রোলড শার্ডে সংরক্ষণ করে।

কেন ফাইল‑ফরম্যাট AI প্রশিক্ষণের জন্য গুরুত্বপূর্ণ

সারমর্ম: ফরম্যাটই প্রথম রক্ষা লাইন ধীর I/O, শোরগোলপূর্ণ ডেটা এবং সম্মতি সমস্যার বিরুদ্ধে।

মূল ধারণা ও পরিভাষা (দ্রুত রেফারেন্স)

সঠিক ফরম্যাট নির্বাচন

নিয়ম:

• বৃহৎ স্কেলে প্রশিক্ষণ → TFRecord, WebDataset, অথবা Arrow/Parquet (এগুলো স্ট্রিম, কম্প্রেস এবং শার্ডিং সমর্থন করে)।
• অন্বেষণমূলক কাজ → JSONL (মানব‑পাঠযোগ্য, সহজে সম্পাদনযোগ্য)।
• বড় র‍্যান্ডম অ্যাক্সেস (যেমন, রিট্রিভাল‑অগমেন্টেড জেনারেশন) → LMDB।

ধাপে‑ধাপে ব্লুপ্রিন্ট (কাঁচা ফাইল থেকে প্রোডাকশন‑রেডি শার্ডে)

1. একটি একক সোর্স‑অফ‑ট্রুথ স্কিমা সংজ্ঞায়িত করুন

   message MultiModalExample {
     bytes image = 1;                // JPEG‑XL or AVIF
     repeated int32 caption = 2;    // token IDs
     bytes audio = 3;                // Opus or FLAC
     map<string, string> meta = 4;  // source_id, timestamp, etc.
   }
   

   এই .proto (বা Arrow স্কিমা) ডেটাসেটের পাশে সংরক্ষণ করুন।

2. কাঁচা অ্যাসেট সংগ্রহ ও পরিষ্কার করুন

   • টেক্সট: Unicode‑NFKC, কন্ট্রোল ক্যারেক্টার সরান, ডুপ্লিকেট দূর করুন।
   • ইমেজ: প্রথমে লসলেস PNG‑এ রূপান্তর করুন, তারপর ঐচ্ছিকভাবে লসি JPEG‑XL (কোয়ালিটি ৮৫‑৯০ %) ব্যবহার করুন।
   • অডিও: ১৬ kHz, ১৬‑বিট PCM‑এ রিস্যাম্পল করুন; Opus (লসি) অথবা FLAC (লসলেস) দিয়ে এনকোড করুন।

3. প্রিপ্রসেস / টোকেনাইজ
   মডেলে যেই টোকেনাইজার ব্যবহার করবেন (যেমন, tiktoken for GPT‑NeoX) সেটি ঠিক একই ব্যবহার করুন। উৎপন্ন int32[] টোকেন আইডি সরাসরি রেকর্ডে সংরক্ষণ করুন।

4. প্রতিটি রেকর্ড সিরিয়ালাইজ করুন
   দ্রুত বাইনারি সিরিয়ালাইজার বেছে নিন: Protocol Buffers, FlatBuffers, অথবা Arrow IPC। লক্ষ্য হল প্রতি উদাহরণের জন্য একটি একক বাইট স্ট্রিং তৈরি করা, যা TFRecord অথবা টারবলে লেখা যাবে।

5. শার্ড ও কম্প্রেস

   • লক্ষ্য শার্ড সাইজ: ২৫৬ MiB – ১ GiB (S3 GET রেঞ্জ রিকোয়েস্টের জন্য আদর্শ)।
   • Zstandard (লেভেল 3‑5) দিয়ে কম্প্রেস করুন – দ্রুত ডিকম্প্রেশন, ভাল রেশিও।
   • নামকরণের নিয়ম: train-00000-of-01000.tfrecord.zst।

6. একটি ম্যানিফেস্ট তৈরি করুন

   [
     {
       "shard": "train-00000-of-01000.tfrecord.zst",
       "checksum": "sha256:ab12…",
       "num_examples": 12456,
       "avg_seq_len": 256,
       "git_hash": "d3f9c1e"
     },
     …
   ]
   

   ম্যানিফেস্ট হল ভ্যালিডেশন, রিসিউমেবল ট্রেনিং এবং অডিটের একমাত্র সত্য।

7. ভ্যালিডেট
   র‍্যান্ডমভাবে ০.১ % রেকর্ড স্যাম্পল করুন, প্রতিটি ফিল্ড ডিকোড করুন, এবং স্যানিটি চেক চালান (ইমেজ ডিকোড, টোকেন লেন্থ, অডিও ডিউরেশন)। গ্লোবাল স্ট্যাটস (ভোকাব কভারেজ, রেজোলিউশন ডিস্ট্রিবিউশন) গণনা করে ম্যানিফেস্টে সংরক্ষণ করুন।

8. ভার্সন ও অপরিবর্তনীয়ভাবে সংরক্ষণ
   শার্ড + ম্যানিফেস্টকে একটি অপরিবর্তনীয় বাকেটে (gs://my‑project/datasets/v1/) পুশ করুন। সেমান্টিক ভার্সন (v1.0.0) দিয়ে ট্যাগ করুন এবং ডেটা‑ভার্সনিং সিস্টেমে (DVC, LakeFS) স্ন্যাপশট রেজিস্টার করুন।

9. আপনার ট্রেনিং লুপে লোড করুন

   # PyTorch + WebDataset example
   import webdataset as wds, torch, torchvision, torchaudio
   
   def decode(sample):
       img = torchvision.io.decode_image(sample["jpg"], mode=torchvision.io.ImageReadMode.RGB)
       txt = torch.tensor([int(t) for t in sample["txt"].decode().split()], dtype=torch.long)
       wav, _ = torchaudio.load(io.BytesIO(sample["wav"]))
       return {"image": img, "caption": txt, "audio": wav}
   
   ds = (wds.WebDataset("s3://my-bucket/train-{00000..00999}.tar.zst")
         .decode("torchrgb")
         .map(decode)
         .batched(64)
         .prefetch(2))
   
   loader = torch.utils.data.DataLoader(ds, num_workers=8)
   for batch in loader:
       # feed to model …
       pass
   

উদীয়মান প্রবণতা ও ভবিষ্যৎ‑প্রুফিং

প্রোডাকশন‑রেডি চেকলিস্ট

• Schema ফাইল (.proto বা Arrow schema) ডেটার পাশে সংরক্ষণ করা।
• সকল শার্ড দ্রুত কোডেক (ZSTD‑L3 সুপারিশকৃত) দিয়ে কম্প্রেস করা।
• শার্ড সাইজ ২৫৬ MiB থেকে ১ GiB এর মধ্যে।
• ম্যানিফেস্টে চেকসাম, রেকর্ড সংখ্যা, প্রতি শার্ডের পরিসংখ্যান, এবং প্রিপ্রসেসিং কোডের git হ্যাশ অন্তর্ভুক্ত।
• অপরিবর্তনীয় ভার্সন কন্ট্রোল (DVC, LakeFS, অথবা অনুরূপ)।
• প্রতি শার্ডে ডেটা কোয়ালিটি মেট্রিক লগ করা।
• প্রাইভেসি অডিট সম্পন্ন (PII রিড্যাকশন, ঐচ্ছিক এনক্রিপশন)।
• এন্ড‑টু‑এন্ড টেস্ট লোডার যা কোনো ত্রুটি ছাড়াই র‍্যান্ডম শার্ড পড়তে পারে।
• README যা স্কিমা, প্রিপ্রসেসিং ধাপ এবং কীভাবে শার্ড পুনরায় তৈরি করবেন তা ব্যাখ্যা করে।

এই ব্লুপ্রিন্ট অনুসরণ করলে আপনার প্রশিক্ষণ পাইপলাইন দ্রুত, সস্তা এবং পুনরুত্পাদনযোগ্য থাকবে—আধুনিক LLM টিমের জন্য প্রয়োজনীয় তিনটি স্তম্ভ।

ট্যাগস: data‑engineering multi‑modal‑llm training‑pipelines
স্লাগ: how-to-prepare-data-file-formats-for-ai-training