Format File OCR untuk Dokumen Historis dan Tulisan Tangan

Mengarsip warisan budaya melalui digitalisasi telah memasuki era kebangkitan. Sementara sistem pengenalan karakter optik (OCR) awal dirancang untuk menguraikan dokumen bersih yang dicetak mesin pada abad kedua puluh, institusi warisan budaya modern menghadapi tantangan yang jauh lebih rumit dan kaya: manuskrip abad pertengahan, korespondensi kursif abad kesembilan belas, folio beriluminasi yang rapuh, dan registri berusia abad.

Mentranskripsi dokumen bersejarah tidak lagi hanya tentang mengekstrak teks ASCII biasa. Ini memerlukan penangkapan konteks—geometri fisik halaman, kurva baseline, koreksi bleed-through, marginalia, singkatan, dan ketidakpastian paleografis. Bidang khusus ini, yang sering dikategorikan di bawah Handwritten Text Recognition (HTR), sangat bergantung pada format file yang digunakan untuk menyimpan dan bertukar koordinat gambar serta lapisan teks.

Memilih skema yang salah dapat menghilangkan data baseline penting, merusak penyelarasan dengan manifes IIIF (International Image Interoperability Framework), atau menghalangi preservasi digital jangka panjang. Berikut adalah panduan definitif tentang format file OCR dan HTR terkemuka untuk dokumen bersejarah, kekuatan strukturalnya, dan cara menentukan pilihan yang tepat untuk alur kerja arsip Anda.

Dilema Historis: Mengapa Teks Biasa dan PDF Standar Gagal

OCR yang dicetak mesin sering menghasilkan file .txt sederhana atau PDF “sandwich” dengan lapisan teks tersembunyi di bawah pemindaian. Untuk manuskrip bersejarah dan tulisan tangan kursif, output ini gagal karena tiga alasan utama:

1. Teks Non-Linear dan Tata Letak Kompleks: Penyalin sejarah tidak mematuhi kisi persegi panjang yang rapi. Teks mengalir ke margin, melilit inisial yang diterangi, menyusuri koreksi interlinear yang disisipkan, atau berjalan secara vertikal sepanjang punggung buku.
2. Garis Dasar Melengkung dan Miring: Tulisan sambung jarang mengikuti sumbu horizontal yang kaku. Mesin HTR seperti Transkribus, Kraken, dan eScriptorium mengandalkan garis dasar polyline daripada kotak pembatas untuk menafsirkan skrip yang kaya ligatur.
3. Kompleksitas Paleografis dan Metadata: Penelitian arsip memerlukan pelacakan singkatan, variasi ejaan historis, bacaan yang rusak, dan skor kepercayaan tingkat baris. Format dokumen standar mengabaikan granularitas ini.

Untuk mempertahankan kesetiaan pada artefak asli, komunitas arsip mengandalkan skema XML terstruktur yang dirancang untuk melestarikan topologi tata letak bersama teks yang ditranskripsi.

1. PAGE XML: Standar Emas untuk Pengakuan Teks Tulisan Tangan (HTR)

Dikembangkan oleh Laboratorium Penelitian PRImA (Pattern Recognition & Image Analysis), PAGE XML (Page Analysis and Groundtruth Elements) secara luas dianggap sebagai format mutakhir untuk pengenalan teks tulisan tangan dan analisis tata letak lanjutan.

Arsitektur Inti

PAGE XML memperlakukan dokumen fisik sebagai struktur hierarkis:

• PcGts (Akar)
  • Page (Dimensi gambar dan urutan baca keseluruhan)
    • TextRegion (Paragraf, judul, catatan marginal, kata penangkap)
      • TextLine
        • Coords (Koordinat poligon di sekitar garis)
        • Baseline (Serangkaian titik yang mengikuti baseline sebenarnya dari tulisan)
        • TextEquiv (Teks yang dikenali, dengan metrik kepercayaan opsional)

Mengapa Ini Unggul untuk Naskah Historis

• Presisi Poligon dan Poliline: Alih-alih memaksa karakter ke dalam kotak pembatas persegi panjang, PAGE XML menggunakan batas poligon multi-titik dan baseline kontinu. Ini mencegah aksen naik dan turun tulisan sambung yang tumpang tindih mengganggu segmentasi.
• Tipe Struktural Granular: Wilayah dapat diklasifikasikan secara tepat (mis., marginalia, drop-capital, signature-mark, header, editorial-note).
• Ekosistem Perangkat Lunak Luas: Ini berfungsi sebagai skema internal dan ekspor utama untuk platform HTR unggulan seperti Transkribus, eScriptorium, dan Kraken.

2. ALTO XML: Kekuatan Perpustakaan dan Arsip

ALTO (Analyzed Layout and Text Object) adalah standar XML terbuka yang dipelihara oleh Library of Congress dan banyak diadopsi oleh perpustakaan nasional, termasuk Bibliothèque nationale de France (BnF) dan British Library.

Arsitektur Inti

ALTO menyusun tata letak secara hierarkis dari Page ke PrintSpace, turun ke TextBlock, TextLine, dan String (kata atau token individu). Ini sering dikemas di dalam pembungkus METS (Metadata Encoding and Transmission Standard) untuk mengaitkan metadata struktural dengan gambar master resolusi tinggi.

Kekuatan Utama dan Kasus Penggunaan

• Alur Kerja Digitalisasi Massal: ALTO dirancang dengan mempertimbangkan digitalisasi surat kabar dan buku berskala industri. Ia secara bersih mengkodekan atribut font, koordinat tingkat kata, kepercayaan karakter, dan spasi putih.
• Dukungan HTR Modern (ALTO 4): Versi-versi sebelumnya dari ALTO sangat bergantung pada koordinat persegi panjang (HPOS, VPOS, WIDTH, HEIGHT). Namun, mulai dengan versi ALTO 4, skema memperkenalkan poligon <Shape> dan baseline polyline, menutup kesenjangan fungsional dengan PAGE XML untuk bahan tulisan tangan.
• Preservasi Jangka Panjang: Karena merupakan standar resmi yang didukung oleh konsorsium perpustakaan internasional, ALTO menjamin stabilitas jangka panjang dan kompatibilitas mundur tingkat arsip.

3. hOCR: Standar Ringan Berbasis Web

Dibuat oleh Thomas Breuel, hOCR mengambil pendekatan pragmatis: alih-alih membuat skema XML yang sepenuhnya baru, ia menyematkan metadata tata letak dan transkripsi langsung ke dalam HTML/XHTML semantik menggunakan mikroformat dan atribut kelas.

Contoh Sintaks Umum

<div class="ocr_page" id="page_1" title="bbox 0 0 2480 3508">
  <div class="ocr_carea" id="block_1_1">
    <p class="ocr_par" id="par_1_1">
      <span class=\"ocr_line\" id=\"line_1_1\" title=\"bbox 150 320 2200 410; baseline 0 -5\">\n        <span class=\"ocrx_word\" id=\"word_1_1\" title=\"bbox 150 325 380 405; x_wconf 92\">Incipit</span>\n      </span>
    </p>
  </div>
</div>

Keuntungan dan Kerugian untuk Bahan Sejarah

• Keuntungan: Browser dapat merendernya secara native. Ia mudah diubah menggunakan CSS dan JavaScript standar, dan merupakan format ekspor terstruktur default untuk mesin seperti Tesseract.
• Kerugian: Dukungan native untuk kurva baseline multi-titik yang kompleks dan bebas bentuk terbatas. Meskipun praktis untuk karya cetak awal (incunabula atau brosur bersih), hOCR kesulitan dengan tata letak manuskrip yang tidak teratur dan marginalia berlapis.

4. TEI-XML: Tolok Ukur Akademik dan Humaniora Digital

Format Text Encoding Initiative (TEI) bukanlah secara ketat format output mesin OCR; melainkan standar utama untuk edisi digital kritis dan representasi ilmiah teks sastra dan sejarah.

Menghubungkan OCR/HTR ke TEI

Pipeline modern jarang berhenti pada pengenalan karakter mentah. Para sarjana menggunakan alat seperti Transkribus TEI Exporter atau pipeline XSLT otomatis untuk menerjemahkan file PAGE XML atau ALTO menjadi XML yang sesuai dengan TEI:

• Singkatan diperluas (<choice><abbr>...</abbr><expan>...</expan></choice>).
• Penghapusan, penambahan, dan tangan penulis diklasifikasikan secara formal (<add>, <del>, <handShift>).
• Data tata letak dipertahankan bersama analisis sastra melalui elemen <facsimile> dan <surface>.

Jika proyek sejarah Anda bertujuan membuat edisi kritis interaktif atau arsip ilmiah yang dapat dicari secara semantik, mengonversi data OCR/HTR Anda ke TEI-XML seringkali merupakan langkah akhir yang diperlukan.

Matriks Perbandingan: Format OCR/HTR Sekilas

Rekomendasi Praktis: Memilih Jalur Arsip Anda

Untuk membangun alur digitalisasi yang efisien dan tahan masa depan:

1. Untuk Manuskrip Tangan Murni & Arsip: Standarisasi transkripsi dan ekstraksi tata letak Anda pada PAGE XML. Perhitungan baseline dan kontur poligon-nya menangani tulisan tangan yang tidak standar dengan kehilangan data minimal.
2. Untuk Perpustakaan Skala Besar & Koleksi Campuran: Pilih ALTO XML (v4.2 atau lebih tinggi) yang dipasangkan dengan METS. Ini menjamin integrasi mulus ke dalam arsitektur repositori digital standar dan sistem manajemen aset digital (DAMS).
3. Untuk Presentasi Web & Indeks Pencarian Teks Penuh: Gunakan hOCR atau hasilkan struktur GeoJSON/Web Annotation yang ringan dari PAGE XML untuk menggerakkan penampil IIIF interaktif (seperti Mirador atau Universal Viewer) dengan lapisan teks langsung di dalam peramban.
4. Untuk Edisi Ilmiah & Penelitian Paleografik: Hasilkan ground truth Anda dalam PAGE XML, lakukan pengenalan, dan alirkan output melalui konverter otomatis untuk menghasilkan TEI-XML untuk penandaan editorial.

Dengan mencocokkan kemampuan struktural format-format ini dengan tuntutan paleografik bahan sumber Anda, Anda memastikan bahwa setiap goresan, singkatan, dan nuansa historis tetap dapat dibaca selama berabad-abad yang akan datang.

Pertanyaan yang Sering Diajukan (FAQ)

Q1. Apa perbedaan mendasar antara OCR standar dan HTR? OCR mengenali tipografi mesin cetak yang konsisten, sedangkan HTR (Handwritten Text Recognition) menggunakan jaringan saraf dalam untuk mendekode tulisan tangan manusia yang kontinu, variabel, dan garis dasar melengkung.

Q2. Bisakah Tesseract OCR menghasilkan PAGE XML atau output ALTO untuk dokumen historis? Ya, Tesseract dapat menghasilkan ALTO XML native dan output hOCR, dan pembungkus pihak ketiga dapat mengonversi hasil tersebut menjadi PAGE XML.

Q3. Mengapa baseline lebih penting daripada bounding box dalam transkripsi teks tulisan tangan? Baseline melacak garis alami yang berombak dari tulisan tangan manusia, memungkinkan perangkat lunak memisahkan ascender dan descender yang tumpang tindih yang bertabrakan di dalam bounding box yang kaku.

Q4. Bagaimana standar IIIF berinteraksi dengan format file OCR ini? IIIF menyajikan gambar resolusi tinggi melalui API web terbuka, sementara format seperti ALTO atau PAGE XML menyediakan data koordinat yang dapat dikonversi menjadi anotasi Pencarian Konten IIIF.

Q5. Format file mana yang paling mudah dikonversi langsung menjadi PDF yang dapat dicari? Baik hOCR maupun ALTO XML dapat dipasangkan dengan gambar halaman asli untuk membuat file PDF berlapis ganda yang dapat dicari menggunakan alat seperti OCRmyPDF.

Lihat Juga

• PDF/A-3 - Monster Hibrida? Menyematkan Data Asli di Dalam OCR Anda
• Memahami Format File OCR - HOCR vs ALTO vs PDF/A Dijelaskan
• Apa Perbedaan Antara PDF dan FDF?
• Untuk Apa FDF Digunakan? Memahami Tujuan Format Data Formulir
• PDF vs Word: Mana yang Harus Anda Gunakan dan Kapan?