Format Fail OCR untuk Dokumen Sejarah dan Tulisan Tangan

Pemeliharaan warisan budaya melalui digitalisasi telah memasuki zaman kebangkitan. Walaupun sistem pengenalan aksara optik (OCR) awal direka untuk menguraikan dokumen bersih yang dicetak mesin pada abad ke-20, institusi warisan budaya moden menghadapi cabaran yang jauh lebih rumit dan kaya: manuskrip abad pertengahan, korespondensi tulisan sambung abad ke-19, folio beriluminasi yang rapuh, dan daftar berusia satu abad.

Mentranskripsi dokumen sejarah tidak lagi sekadar mengekstrak teks ASCII biasa. Ia memerlukan penangkapan konteks—geometri fizikal halaman, lengkung garis dasar, pembetulan tembusan, marginalia, singkatan, dan ketidakpastian paleografik. Bidang khusus ini, yang sering dikategorikan di bawah Pengiktirafan Teks Tangan (HTR), sangat bergantung pada format fail yang digunakan untuk menyimpan dan menukar koordinat imej serta lapisan teks.

Memilih skema yang salah boleh menghilangkan data garis dasar penting, memutuskan penyelarasan dengan manifes IIIF (International Image Interoperability Framework), atau menghalang pemeliharaan digital jangka panjang. Berikut ialah panduan definitif mengenai format fail OCR dan HTR terkemuka untuk dokumen sejarah, kekuatan struktur mereka, dan cara menentukan pilihan yang tepat untuk aliran kerja arkib anda.

Dilema Sejarah: Mengapa Teks Biasa dan PDF Standard Gagal

OCR yang dicetak mesin selalunya menghasilkan fail .txt ringkas atau PDF “sandwich” dengan lapisan teks tersembunyi di bawah imbasan. Untuk manuskrip sejarah dan tulisan sambung, output ini gagal atas tiga sebab utama:

1. Teks Tidak Linear dan Susun Atur Kompleks: Penyalin sejarah tidak mematuhi grid segi empat tepat yang kemas. Teks mengalir ke dalam margin, melilit huruf permulaan yang diterangi, menyelit antara pembetulan interlinear yang dimasukkan, atau berjalan menegak di sepanjang punggung.
2. Garis Dasar Melengkung dan Condong: Penulisan sambung jarak jarang mengikuti paksi mendatar yang kaku. Enjin HTR seperti Transkribus, Kraken, dan eScriptorium bergantung pada garis dasar polilinia bukan kotak sempadan untuk mentafsir skrip yang banyak ligatur.
3. Kerumitan Paleografi dan Metadata: Penyelidikan arkib memerlukan penjejakan singkatan, variasi ejaan sejarah, bacaan rosak, dan skor keyakinan per baris. Format dokumen standard mengabaikan butiran halus ini.

Untuk mengekalkan kesetiaan kepada artifak asal, komuniti arkib bergantung pada skema XML berstruktur yang direka untuk memelihara topologi susun atur bersama teks yang ditranskripsi.

1. PAGE XML: Standard Emas untuk Pengenalan Teks Tulisan Tangan (HTR)

Dibangunkan oleh Makmal Penyelidikan PRImA (Pattern Recognition & Image Analysis), PAGE XML (Page Analysis and Groundtruth Elements) secara meluas dianggap sebagai format terkini untuk pengenalan teks tulisan tangan dan analisis susun atur lanjutan.

Senibina Teras

PAGE XML menganggap dokumen fizikal sebagai struktur hierarki:

• PcGts (Akar)
  • Page (Dimensi imej dan susunan bacaan keseluruhan)
    • TextRegion (Perenggan, tajuk, nota marginal, kata kunci)
      • TextLine
        • Coords (Koordinat poligon di sekitar garis)
        • Baseline (Siri titik yang mengikuti garis dasar sebenar skrip)
        • TextEquiv (Teks yang dikenali, dengan metrik keyakinan pilihan)

Mengapa Ia Cemerlang untuk Manuskrip Sejarah

• Ketepatan Poligon dan Polilin: Daripada memaksa aksara ke dalam kotak sempadan segi empat tepat, PAGE XML menggunakan sempadan poligon berbilang titik dan garis dasar berterusan. Ini mengelakkan aksara sambung yang bertindih (ascender dan descender) mengganggu segmentasi.
• Jenis Struktur Granular: Ruang dapat diklasifikasikan dengan tepat (contoh, marginalia, drop-capital, signature-mark, header, editorial-note).
• Ekosistem Perisian Luas: Ia berfungsi sebagai skema dalaman dan eksport utama untuk platform HTR unggulan seperti Transkribus, eScriptorium, dan Kraken.

2. ALTO XML: Kuasa Perpustakaan dan Arkib

ALTO (Analyzed Layout and Text Object) ialah standard XML terbuka yang diselenggarakan oleh Library of Congress dan meluas digunakan oleh perpustakaan kebangsaan, termasuk Bibliothèque nationale de France (BnF) dan British Library.

Senibina Teras

ALTO menyusun susun atur secara hierarki dari Page ke PrintSpace, turun ke TextBlock, TextLine, dan String (perkataan atau token individu). Ia kerap dibungkus dalam pembalut METS (Metadata Encoding and Transmission Standard) untuk mengaitkan metadata struktur dengan imej master beresolusi tinggi.

Kekuatan Utama dan Kes Penggunaan

• Aliran Kerja Digitasi Besar-besaran: ALTO direka dengan mempertimbangkan digitasi surat khabar dan buku berskala industri. Ia dengan jelas mengekod atribut fon, koordinat peringkat perkataan, keyakinan aksara, dan ruang putih.
• Sokongan HTR Moden (ALTO 4): Versi-versi awal ALTO sangat bergantung pada koordinat segiempat (HPOS, VPOS, WIDTH, HEIGHT). Walau bagaimanapun, bermula dengan versi ALTO 4, skema memperkenalkan poligon <Shape> dan baseline polyline, menutup jurang fungsi dengan PAGE XML untuk bahan tulisan tangan.
• Pemeliharaan Jangka Panjang: Oleh kerana ia merupakan standard rasmi yang disokong oleh konsortium perpustakaan antarabangsa, ALTO menjamin kestabilan jangka panjang dan keserasian mundur setaraf arkib.

3. hOCR: Standard Ringan Web-First

Dicipta oleh Thomas Breuel, hOCR mengambil pendekatan pragmatik: bukannya mencipta skema XML yang sepenuhnya baru, ia menyematkan metadata susun atur dan transkripsi secara langsung ke dalam HTML/XHTML semantik menggunakan mikroformat dan atribut kelas.

Contoh Sintaks Biasa

<div class="ocr_page" id="page_1" title="bbox 0 0 2480 3508">
  <div class="ocr_carea" id="block_1_1">
    <p class="ocr_par" id="par_1_1">
      <span class="ocr_line" id="line_1_1" title="bbox 150 320 2200 410; baseline 0 -5">
        <span class="ocrx_word" id="word_1_1" title="bbox 150 325 380 405; x_wconf 92">Incipit</span>
      </span>
    </p>
  </div>
</div>

Kelebihan dan Kekurangan Bahan Sejarah

• Kelebihan: Penyemak imbas dapat memaparkannya secara asli. Ia mudah diubah menggunakan CSS dan JavaScript asas, dan ia merupakan format eksport berstruktur lalai untuk enjin seperti Tesseract.
• Kekurangan: Sokongan asli untuk lengkung baseline berbilang titik yang kompleks dan bebas bentuk adalah terhad. Walaupun praktikal untuk karya cetakan awal (incunabula atau lembaran bersih), hOCR menghadapi kesukaran dengan susun atur manuskrip yang tidak menentu dan marginalia berlapis banyak.

4. TEI-XML: Penanda Aras Akademik dan Kemanusiaan Digital

Format Text Encoding Initiative (TEI) bukanlah secara ketat format output enjin OCR; sebaliknya, ia merupakan standard utama untuk edisi digital kritikal dan representasi ilmiah teks sastera serta sejarah.

Menyambungkan OCR/HTR ke TEI

Saluran moden jarang berhenti pada pengenalan aksara mentah. Sarjana menggunakan alat seperti Transkribus TEI Exporter atau saluran XSLT automatik untuk menukar fail PAGE XML atau ALTO kepada XML yang mematuhi TEI:

• Singkatan diperluas (<choice><abbr>...</abbr><expan>...</expan></choice>).
• Penghapusan, penambahan, dan tangan penulis diklasifikasikan secara formal (<add>, <del>, <handShift>).
• Data susun atur dipelihara bersama analisis sastera melalui elemen <facsimile> dan <surface>.

Jika projek sejarah anda bertujuan untuk menghasilkan edisi kritikal interaktif atau arkib ilmiah yang boleh dicari secara semantik, menukar data OCR/HTR anda ke dalam TEI-XML selalunya merupakan langkah akhir yang diperlukan.

Matriks Perbandingan: Format OCR/HTR Sekilas

Cadangan Praktikal: Memilih Alur Kerja Arkib Anda

Untuk mewujudkan saluran digitasi yang cekap dan tahan masa depan:

1. Untuk Manuskrip Tangan Tulisan Tulen & Arkib: Standardkan transkripsi dan pengekstrakan susun atur anda pada PAGE XML. Pengiraan garis dasar dan kontur poligonnya mengendalikan tulisan tangan yang tidak standard dengan kehilangan data yang minimum.
2. Untuk Perpustakaan Skala Besar & Koleksi Campuran: Pilih ALTO XML (v4.2 atau lebih tinggi) yang dipasangkan dengan METS. Ini menjamin integrasi lancar ke dalam seni bina repositori digital standard dan sistem pengurusan aset digital (DAMS).
3. Untuk Persembahan Web & Indeks Carian Teks Penuh: Gunakan hOCR atau hasilkan struktur GeoJSON/Anotasi Web yang ringan daripada PAGE XML untuk menggerakkan penonton IIIF interaktif (seperti Mirador atau Universal Viewer) dengan lapisan teks langsung dalam pelayar.
4. Untuk Edisi Ilmiah & Penyelidikan Paleografik: Jana data rujukan anda dalam PAGE XML, lakukan pengecaman, dan alirkan output melalui penukar automatik untuk menghasilkan TEI-XML bagi penanda editorial.

Dengan menyelaraskan keupayaan struktur format-format ini dengan keperluan paleografik bahan sumber anda, anda memastikan setiap goresan, singkatan, dan nuansa sejarah tetap dapat difahami selama berabad-abad akan datang.

Soalan Lazim (FAQ)

Q1. Apakah perbezaan asas antara OCR standard dan HTR? OCR mengenali tipografi cetakan mesin yang konsisten, manakala HTR (Pengiktirafan Teks Tangan) menggunakan rangkaian neural mendalam untuk menafsir tulisan tangan manusia yang berterusan, berubah-ubah dan garis dasar melengkung.

Q2. Bolehkah Tesseract OCR menghasilkan PAGE XML atau output ALTO untuk dokumen sejarah? Ya, Tesseract dapat menjana ALTO XML asli dan output hOCR, dan pembungkus pihak ketiga boleh menukar hasil ini ke dalam PAGE XML.

Q3. Mengapa garis dasar lebih penting daripada kotak sempadan dalam transkripsi teks tulisan tangan? Garis dasar menjejaki garis semula jadi yang beralun dalam tulisan manusia, membolehkan perisian memisahkan aksara naik dan turun yang bertindih yang bertembung di dalam kotak sempadan yang kaku.

Q4. Bagaimana standard IIIF berinteraksi dengan format fail OCR ini? IIIF menyediakan imej resolusi tinggi melalui API web terbuka, manakala format seperti ALTO atau PAGE XML menyediakan data koordinat yang boleh ditukar menjadi anotasi Carian Kandungan IIIF.

Q5. Format fail mana yang paling mudah untuk ditukar secara langsung menjadi PDF yang boleh dicari? Kedua-dua hOCR dan ALTO XML boleh digabungkan dengan imej halaman asal untuk membina fail PDF berlapis dua yang boleh dicari menggunakan alat seperti OCRmyPDF.

Lihat Juga

• PDF/A-3 - Raksasa Hibrid? Menyemat Data Asal Dalam OCR Anda
• Memahami Format Fail OCR - HOCR vs ALTO vs PDF/A Dijelaskan
• Apakah Perbezaan Antara PDF dan FDF?
• Untuk Apa FDF Digunakan? Memahami Tujuan Format Data Borang
• PDF vs Word: Mana yang Patut Anda Gunakan dan Bila?