Pēdējoreiz atjaunināts: 20 Aug, 2026

Storing Emails in Databases vs. File Systems: PST, MBOX, and Beyond

E-pastu glabāšana datu bāzēs pret failu sistēmām: PST, MBOX un vairāk

Katrs programmatūras sistēma, kas apstrādā, arhivē vai apkalpo e-pastus, galu galā saskaras ar to pašu arhitektūras šķērsgriezumu: vai ziņojumiem vajadzētu būt strukturētā datu bāzē vai tieši failu sistēmā?

Virsmas skatā e-pasts izskatās maldinoši vienkārši — galveņu bloks, vienkāršs teksts vai HTML ķermenis, un, iespējams, daži MIME kodēti pielikumi. Tomēr, kad pāriet no viena lietotāja darbvirsmas iesūtni līdz miljoniem uzņēmuma ziņojumu, atbilstības arhīviem vai daudzīpašu SaaS cauruļvadiem, pamatā esošais glabāšanas dzinējs nosaka visu, sākot no vaicājumu latentuma līdz katastrofu atjaunošanai.

Apskatīsim, kā klasiskie failu balstītie konteineri, piemēram, PST un MBOX, salīdzina ar mūsdienīgajām relāciju un NoSQL datu bāzēm, kur iekļaujas atsevišķi ziņojumu formāti, piemēram, EML un Maildir, un kāpēc lielākā daļa ražošanas sistēmu beidzot izmanto hibrīda pieeju.

1. Failu sistēmas glabāšana: klasiskie pastkastes konteineri

Uzglabāšana e-pasta ziņojumu failu sistēmā ir tikpat veca kā pats SMTP. Tā vietā, lai palaistu datubāzes dēmonu, pasta serveri un darbvirsmas klienti vēsturiski rakstīja ziņojumus tieši uz diska, izmantojot vai nu viena faila konteinerus, vai viena fails katram ziņojumam direktorijus.

MBOX: Savienotais vienkāršā teksta darba zirgs

Sākotnēji agrīnajos Unix pasta sistēmās, MBOX saglabā visu e-pasta mapes saturu vienā secīgā teksta failā. Katrs ziņojums sākas ar īpašu From atdalītāja rindu, kam seko standarta RFC 5322 galvenes, ziņojuma ķermenis un Base64 kodēti pielikumi.

  • Stiprās puses: Tā kā MBOX ir atvērts, cilvēkiem lasāms teksta formāts, tas ir plaši atbalstīts visā Thunderbird, Apple Mail, Google Takeout eksportos un Unix komandrindas utilītēs (grep, awk, sed). Jauna saņemta e-pasta pievienošana faila beigām ir $O(1)$ secīgs rakstīšanas process.
  • Vājās puses: Karogu atjaunināšana (piemēram, e-pasta atzīmēšana kā “lasīts”) vai ziņojuma dzēšana 10 GB MBOX faila vidū liek klientam pārrakstīt milzīgus faila gabalus. Vēl sliktāk, viena diska sektora bojājums vai vienlaicīgas rakstīšanas bloķēšanas kļūme var sabojāt atdalītāja robežas un izjaukt visu pastkasti.

PST: Microsoft īpašais B-koku konteineris

Microsoft’s Personal Storage Table (PST) pieņem pavisam atšķirīgu pieeju. Tā vietā, lai izmantotu vienkāršu tekstu, PST fails būtībā ir pašpietiekams binārais datubāzes fails, kas strukturēts ap B-kokiem un piešķiršanas tabulām.

  • Spēki: Viena .pst fails ietver e-pastus, mapju hierarhijas, kalendāra notikumus, kontaktus, uzdevumus un Outlook‑specifisku metadatu. Tas atbalsta iebūvētu saspiešanu, šifrēšanu un strukturētu indeksēšanu, neprasot ārēju datubāzes serveri.
  • Vājības: PST ir slēgts, īpašnieka formāts, kas cieši saistīts ar Windows un Microsoft Outlook. Failu izmēri vēsturiski nokļūst ap 50 GB pēc noklusējuma mūsdienu Outlook konfigurācijās, un PST failu glabāšana tīkla koplietojumos ir slaveni pazīstama ar indeksa korupcijas radīšanu.

Maildir un EML: Viens fails katram ziņojumam

Lai likvidētu bloķēšanas un korupcijas dēmonus monolītiskajos MBOX un PST failos, arhitektūras kā Maildir (populārizējusi Qmail un Dovecot) saglabā katru individuālu e-pastu kā atsevišķu failu — bieži strukturētu kā standarta .eml (RFC 5322) failus — organizētus mapēs tmp/, new/ un cur/.

  • Stiprās puses: Atomiski failu pārvietojumi novērš slēgšanas konfliktus. Ja diska sektors kļūst bojāts, zaudējat vienu e-pastu, nevis desmit gadu saraksti. Standarta OS rezerves kopijas, rsync un inkrementālie momentuzņēmumi kļūst par vienkāršu uzdevumu.
  • Vājās puses: Miljonu mazu failu glabāšana iztukšo failu sistēmas inodes un pasliktina direktoriju saraksta veiktspēju, ja vien nesadalāt direktorijus pēc datuma vai haša (piem., /2026/11/14/a3/msg-id.eml). Pilna teksta meklēšana caur neapstrādātiem .eml failiem ir sāpīgi lēna bez atsevišķa indeksa faila.

2. Datu bāzu glabāšana: Relāciju un NoSQL dzinēji

Kad lietojumprogrammas pieprasa tūlītēju meklēšanu, vairāku lietotāju vienlaicīgu piekļuvi, lomu balstītu piekļuves kontroli vai sarežģītu analītiku (piemēram, CRM platformas, atbalsta dienesti un eDiscovery rīki), inženieri bieži izvēlas datubāzes, piemēram, PostgreSQL, MySQL, Elasticsearch vai MongoDB.

Kā datu bāzes modelē e-pastu

Relāciju datubāzē e-pasts netiek glabāts kā necaurredzams bloks — tas tiek normalizēts par vaicājumiem pieejamām entītēm:

CREATE TABLE emails (
    id UUID PRIMARY KEY,
    thread_id UUID NOT NULL,
    message_id VARCHAR(255) UNIQUE NOT NULL,
    sender VARCHAR(320) NOT NULL,
    subject TEXT,
    received_at TIMESTAMPTZ NOT NULL,
    is_read BOOLEAN DEFAULT FALSE,
    headers JSONB,
    body_text TEXT,
    body_html TEXT
);

CREATE INDEX idx_emails_thread_received ON emails (thread_id, received_at DESC);
CREATE INDEX idx_emails_fts ON emails USING GIN (to_tsvector('english', coalesce(subject, '') || ' ' || coalesce(body_text, '')));

Datu bāzu glabāšanas priekšrocības

  1. Apaksmilisekundes filtrēšana un pavedņu apstrāde: Iegūstot “visus neizlasītos e-pastus no konkrēta domēna pēdējās 30 dienas” tiek izmantoti B-tree un GIN indeksi, nevis skenēti gigabaiti diska teksta.
  2. ACID darījumi un paralēla izpilde: Vairāki fona darbinieki, IMAP sinhronizācijas procesi un tīmekļa klienti var droši atjaunināt lasīšanas statusus, birkas un mapju piešķiršanas vienlaicīgi, nepārkāpjot failu bloķēšanas sadursmes.
  3. Strukturēta metadatu un deduplikācijas: Pievienojumu SHA-256 hešu glabāšana ļauj deduplikēt identiskus PDF, kas nosūtīti 500 iekšējiem saņēmējiem — kaut kas, ko monolītiskie PST vai MBOX faili dublē 500 reizes.

Datu bāzu glabāšanas trūkumi

  1. Glabāšanas pārmērība un izmaksas: Vairāku megabaitu Base64 pievienojumu un neapstrādātu HTML ķermeņu glabāšana primārajās datubāzes tabulās palielina datubāzes izmēru, palēnina replikāciju, paplašina rakstīšanas priekšlogus (WAL) un paaugstina SSD/mākonis IOPS izmaksas.
  2. Dublēšanas un atjaunošanas šaurceļi: 2 TB relāciju datubāzes atjaunošana no momentuzņēmuma aizņem daudz ilgāk nekā atsevišķu failu atjaunošana no objektu glabāšanas.
  3. Neapstrādāta datu integritātes zudums: Ja ienākošo e-pastu parsējat datubāzes kolonnās un izmetat oriģinālo MIME straumi, varat pārtraukt DKIM kriptogrāfiskos parakstus vai zaudēt neparastus pielāgotus galvenes, kas nepieciešami tiesiskajai auditēšanai.

3. Blakus salīdzinājums: Failu sistēmas pret datu bāzēm

Arhitektūras faktorsMBOX (Plakans fails)PST (Binārais konteiner)Maildir / EML (katram failam)SQL / NoSQL datubāze
Glabāšanas struktūraViens savienots teksta failsĪpašnieka binārais B-koka failsViens RFC 5322 fails uz katru e-pastuNormalizētas tabulas / JSON dokumenti
Vaicājumu un meklēšanas ātrumsLēns (nepieciešama lineāra skenēšana vai ārējais indekss)Ātrs Outlook vidē; lēns ārējiLēns bez sidecar indeksaĻoti ātrs (B-tree, GIN, pilna teksta)
LīdzlaicībaVāja (nepieciešama faila līmeņa bloķēšana)Tikai vienlietotāja darbvirsmas slēdzējsAugsts (atomiskas faila operācijas)Augsts (rindas līmeņa ACID bloķēšana)
Korpūcijas izplatības rādiussAugsts (visa mape/mailbox apdraudēta)Augsts (viens fails satur visu mailbox)Zems (izolēts uz vienu ziņu)Vidējs (mazināts ar WAL & replikām)
PortabilitāteAugsts (atvērts standarts visos Unix/Mac/Linux)Zems (ierobežots Microsoft ekosistēmā)Visaugstākais (universāls .eml standarts)Zems (saistīts ar lietojumprogrammas shēmu)
Pielikumu deduplikācijaNavIerobežota iekšējā saspiešanaNav (ja vien ir cietā saite)Iebūvēts, izmantojot satura adresējamu hešēšanu

4. Pāri binārajai izvēlei: Mūsdienīgā hibrīda arhitektūra

Modernajā mākoņu inženierijā izvēlēties stingri starp datubāzi vai failu sistēmu ir viltus dichotoma. Liela mēroga e-pasta platformas, atbilstības arhīvi un SaaS rīki gandrīz visur pieņem Hibrīdo objektu‑metadatu arhitektūru:

  1. Neapstrādāta ziņa un pielikumi objektglabā (S3 / GCS / MinIO): Kad pienāk e-pasts, precīzs, nemainīts .eml MIME slodzes dati — un visi izvilktie binārie pielikumi — tiek rakstīti nemainīgi objektglabā, izmantojot satura adresētu vai datuma sadalītu atslēgu (piemēram, s3://mail-archive/2026/11/14/<sha256>.eml). Tas saglabā sākotnējās DKIM parakstus, samazina glabāšanas izmaksas līdz centiem par gigabaitu, un izolē bināro apjomu no transakciju datubāzēm.
  2. Virsraksti, stāvoklis un attiecības relāciju datubāzē: PostgreSQL vai MySQL glabā vieglu metadatu kopu: sūtītājs, saņēmēji, temats, laika zīmes, pavediena ID, mapes norādītāji, lasīts/nav lasīts atzīmes, un S3 objekta atslēgu.
  3. Pilna teksta meklēšana veltītā meklēšanas dzinējā: Lai nodrošinātu tūlītēju atslēgvārdu meklēšanu starp miljardiem ziņu, izvilktais vienkāršais teksts tiek asinkroni pārraidīts uz Elasticsearch, OpenSearch vai Typesense.
  4. Eksporta caurules PST un MBOX: Nevis izmantot PST vai MBOX kā tiešo ražošanas glabāšanu, mūsdienīgi sistēmas ģenerē .pst, .mbox vai .zip arhīvus no .eml failiem pēc pieprasījuma, kad lietotāji pieprasa Google Takeout‑stila eksportu vai juridisku eDiscovery paketi.

Kuru pieeju jums vajadzētu izvēlēties?

  • Izmantojiet MBOX vai EML failu sistēmā veidojot lokālus darbvirsmas klientus, vieglus CLI rīkus, portatīvus dublējumus vai forensiskus datu pārsūtīšanas cauruļvadu, kur svarīgākais ir nulles atkarības pārnēsāmība.
  • Izmantojiet PST tikai tad, ja ir stingra prasība pēc savietojamības ar Microsoft Outlook darbvirsmas vidēm vai vecākām Exchange eksportēšanas funkcijām.
  • Izmantojiet datubāzes + objektu glabāšanas hibrīdu jebkurai daudzlietotāju tīmekļa lietojumprogrammai, klientu atbalsta platformai vai uzņēmuma arhīvam, kam nepieciešama ātra meklēšana, vienlaicīga piekļuve un horizontāla mērogojamība.

Biežāk uzdotie jautājumi (BUJ)

1. Vai ir labāk glabāt e-pastus datubāzē vai kā failus uz diska? Augstas vienlaicīguma lietojumprogrammām, kam nepieciešama ātra meklēšana un filtrēšana, hibrīda pieeja — saglabājot meklējamos metadatus datubāzē un neapstrādātus .eml failus vai pielikumus objektu glabātavā — sniedz vislabākos rezultātus.

2. Kāda ir galvenā atšķirība starp PST un MBOX failu formātiem? PST ir Microsoft Outlook īpašais binārais konteineris, kas glabā e-pastus, kalendārus un kontaktus kopā, savukārt MBOX ir atvērts vienkārša teksta formāts, kas savieno e-pasta ziņojumus vienā failā.

3. Kāpēc lieli MBOX un PST faili kļūst pakļauti korupcijai? Jo abi formāti iekļauj tūkstošiem ziņu vienā monolītiskā failā, pārtraukta rakstīšana, diska sektora kļūda vai tīkla koplietošanas traucējums var sabojāt iekšējās norādes vai ziņu atdalītājus visā arhīvā.

4. Kāpēc e-pasta pielikumu glabāšana tieši SQL datubāzēs tiek neieteicama? Lieli binārie vai Base64 pielikumi paplašina datubāzes tabulas, palēlina dublēšanu un replikāciju, un būtiski palielina augstas ātruma glabāšanas izmaksas salīdzinājumā ar objektu glabāšanu vai failu sistēmām.

5. Kad izstrādātājiem vajadzētu izmantot EML vai Maildir nevis MBOX? Izstrādātājiem jāizvēlas EML vai Maildir, ja viņiem ir nepieciešamas atomiskas failu operācijas, droša vienlaicīga piekļuve un izolēta ziņu atgūšana bez bloķēšanas vai visas pastkastes faila pārrakstīšanas.

Skatīt arī