最后更新: 20 Aug, 2026

Storing Emails in Databases vs. File Systems: PST, MBOX, and Beyond

在数据库与文件系统中存储电子邮件:PST、MBOX 以及更多

每个摄取、归档或提供电子邮件的软件系统最终都会遇到相同的架构分叉点:消息应该存放在结构化数据库中还是直接存放在文件系统中?

表面上,电子邮件看似简单——一段标题块、纯文本或 HTML 正文,或许还有一些 MIME 编码的附件。然而,当你从单个用户的桌面收件箱扩展到数百万企业邮件、合规归档或多租户 SaaS 流水线时,底层存储引擎决定了从查询延迟到灾难恢复的所有方面。

让我们拆解一下经典的基于文件的容器,如 PST 和 MBOX,与现代 关系型和 NoSQL 数据库 的对比,了解单个消息格式如 EML 和 Maildir 的定位,以及为何大多数生产系统最终采用混合方法。

1. 文件系统存储:经典邮箱容器

在文件系统上存储电子邮件的历史与 SMTP 本身一样悠久。与其启动数据库守护进程,邮件服务器和桌面客户端历来直接将消息写入磁盘,使用 单文件容器 或 每条消息一个文件的目录。

MBOX:串联的纯文本工作马

起源于早期的 Unix 邮件系统,MBOX 将整个邮件文件夹存储在单个顺序的纯文本文件中。每条消息以特殊的 From 分隔符行开头,随后是标准的 RFC 5322 头部、消息正文以及 Base64 编码的附件。

  • 优势: 因为 MBOX 是一种开放的、可读的文本格式,它在 Thunderbird、Apple Mail、Google Takeout 导出以及 Unix 命令行工具(grep、awk、sed)中得到广泛支持。将新收到的电子邮件追加到文件末尾是 $O(1)$ 的顺序写入。
  • 劣势: 更新标记(例如将邮件标记为“已读”)或在 10 GB MBOX 文件的中间删除消息会迫使客户端重写文件的大块内容。更糟的是,单个磁盘扇区损坏或并发写锁失败可能会破坏分隔符边界,导致整个邮箱被弄乱。

PST:Microsoft 的专有 B 树容器

Microsoft 的 Personal Storage Table (PST) 采用了截然不同的方法。与平面文本不同,PST 文件本质上是一个自包含的二进制数据库文件,结构基于 B 树和分配表。

  • 优势: 单个 .pst 文件封装了电子邮件、文件夹层次结构、日历事件、联系人、任务以及 Outlook 特有的元数据。它支持内置压缩、加密和结构化索引,无需外部数据库服务器。
  • 劣势: PST 是一种封闭的专有格式,紧密耦合于 Windows 和 Microsoft Outlook。文件大小在现代 Outlook 配置中默认上限约为 50 GB,且在网络共享上存储 PST 文件因导致索引损坏而臭名昭著。

Maildir 与 EML:每封邮件一个文件

为消除单体 MBOX 和 PST 文件的锁定与损坏噩梦,类似 Maildir(由 Qmail 和 Dovecot 推广)的架构将每封电子邮件存储为单独的文件——通常结构为标准的 .eml(RFC 5322)文件——并在 tmp/、new/ 和 cur/ 目录中组织。

  • 优势: 原子文件移动消除锁争用。如果磁盘扇区损坏,你只会丢失一封邮件,而不是十年的往来邮件。标准操作系统备份、rsync和增量快照变得轻而易举。
  • 劣势: 存储数百万个小文件会耗尽文件系统的 inode,并且除非按日期或哈希对目录进行分片(例如 /2026/11/14/a3/msg-id.eml),否则目录列表性能会下降。对原始 .eml 文件进行全文搜索在没有单独索引文件的情况下非常慢。

2. 数据库存储:关系型和 NoSQL 引擎

当应用程序需要即时搜索、多用户并发、基于角色的访问控制或复杂分析(例如 CRM 平台、帮助台和电子取证工具)时,工程师通常会转向 PostgreSQL、MySQL、Elasticsearch 或 MongoDB 等数据库。

数据库如何建模电子邮件

在关系型数据库中,电子邮件并不是以不透明的二进制大对象(blob)存储——它被规范化为可查询的实体:

CREATE TABLE emails (
    id UUID PRIMARY KEY,
    thread_id UUID NOT NULL,
    message_id VARCHAR(255) UNIQUE NOT NULL,
    sender VARCHAR(320) NOT NULL,
    subject TEXT,
    received_at TIMESTAMPTZ NOT NULL,
    is_read BOOLEAN DEFAULT FALSE,
    headers JSONB,
    body_text TEXT,
    body_html TEXT
);

CREATE INDEX idx_emails_thread_received ON emails (thread_id, received_at DESC);
CREATE INDEX idx_emails_fts ON emails USING GIN (to_tsvector('english', coalesce(subject, '') || ' ' || coalesce(body_text, '')));

数据库存储的优势

  1. 亚毫秒级过滤和线程化: 获取"过去 30 天内来自特定域的所有未读邮件"时,使用 B-tree 和 GIN 索引,而不是扫描数 GB 的磁盘文本。
  2. ACID 事务和并发性: 多个后台工作进程、IMAP 同步进程和网页客户端可以安全地同时更新阅读状态、标签和文件夹分配,而不会出现文件锁冲突。
  3. 结构化元数据与去重: 存储附件的 SHA-256 哈希可以让您对发送给 500 位内部收件人的相同 PDF 进行去重——而单体的 PST 或 MBOX 文件会重复 500 次。

数据库存储的劣势

  1. 存储膨胀与成本: 在主数据库表中存储多兆字节的 Base64 附件和原始 HTML 正文会导致数据库体积膨胀,复制速度变慢,写前日志(WAL)增大,并推高 SSD/云端 IOPS 成本。
  2. 备份与恢复瓶颈: 从快照恢复 2 TB 关系型数据库的时间远远长于从对象存储恢复单个文件的时间。
  3. 原始数据完整性丢失: 如果将收到的电子邮件解析为数据库列并丢弃原始 MIME 流,可能会破坏 DKIM 加密签名或丢失法务审计所需的隐蔽自定义头部。

3. 并排比较:文件系统 vs. 数据库

架构因素MBOX (平面文件)PST (二进制容器)Maildir / EML(每个文件)SQL / NoSQL 数据库
存储结构单个合并的文本文件专有二进制 B 树文件每封邮件一个 RFC 5322 文件规范化表格 / JSON 文档
查询与搜索速度慢(需要线性扫描或外部索引)在 Outlook 内部快速;在外部慢没有 sidecar 索引时慢极快(B 树、GIN、全文)
并发差(需要文件级锁定)仅单用户桌面锁定高(原子文件操作)高 (行级 ACID 锁定)
损坏冲击半径高 (整个文件夹/邮箱有风险)高 (单个文件包含整个邮箱)低 (仅限单个消息)中 (通过 WAL 与副本缓解)
可移植性高 (跨 Unix/Mac/Linux 的开放标准)低(锁定在 Microsoft 生态系统)最高(通用 .eml 标准)低(耦合到应用程序模式)
附件去重无有限的内部压缩无(除非硬链接)原生通过内容可寻址哈希

4. 超越二元选择:现代混合架构

在现代云工程中,严格在数据库 或 文件系统之间进行选择是一种错误的二分法。大规模电子邮件平台、合规归档和 SaaS 工具几乎普遍采用 混合对象-元数据架构:

  1. 原始邮件及附件存储于对象存储(S3 / GCS / MinIO): 当邮件到达时,完整、未修改的 .eml MIME 负载——以及任何提取的二进制附件——会以不可变方式写入对象存储,使用内容寻址或日期分区的键(例如 s3://mail-archive/2026/11/14/<sha256>.eml)。这可保留原始 DKIM 签名,以每 GB 几分钱的成本存储,并将大量二进制数据与事务数据库隔离。
  2. 在关系数据库中的标题、状态与关系: PostgreSQL 或 MySQL 存储轻量级元数据:发件人、收件人、主题、时间戳、线程 ID、文件夹指针、已读/未读标记,以及 S3 对象键。
  3. 专用搜索引擎中的全文检索: 为了在数十亿条消息中实现即时关键字搜索,提取的纯文本会异步流式写入 Elasticsearch、OpenSearch 或 Typesense。
  4. PST 与 MBOX 的导出管道: 与其将 PST 或 MBOX 用作实时生产存储,现代系统会在用户请求类似 Google Takeout 的导出或法律 eDiscovery 包时,按需 生成 .pst、.mbox 或 .zip 格式的 .eml 文件归档。

您应该选择哪种方法?

  • 在文件系统上使用 MBOX 或 EML,在构建本地桌面客户端、轻量级 CLI 工具、便携备份或法医数据传输管道时,零依赖的可移植性最为重要。
  • 仅在需要与 Microsoft Outlook 桌面环境或旧版 Exchange 导出实现互操作性时使用 PST,当互操作性是硬性要求时。
  • 使用数据库 + 对象存储混合方案,适用于任何需要快速搜索、并发访问和水平可扩展性的多用户 Web 应用、客户支持平台或企业归档。

常见问题 (FAQs)

1. 将电子邮件存储在数据库中还是作为磁盘文件更好? 对于需要快速搜索和过滤的高并发应用,混合方案——在数据库中存储可搜索的元数据,在对象存储中存放原始 .eml 文件或附件——表现最佳。

2. PST 与 MBOX 文件格式的主要区别是什么? PST 是 Microsoft Outlook 的专有二进制容器,能够将电子邮件、日历和联系人一起存储,而 MBOX 是一种开放的纯文本格式,将电子邮件消息串联到单个文件中。

3. 为什么大型 MBOX 和 PST 文件容易损坏? 因为这两种格式将成千上万的邮件打包到一个单一的巨型文件中,写入中断、磁盘扇区错误或网络共享故障都可能破坏整个归档中的内部指针或邮件分隔符。

4. 为什么不建议将电子邮件附件直接存储在 SQL 数据库中? 大型二进制或 Base64 附件会膨胀数据库表,减慢备份和复制速度,并且相较于对象存储或文件系统显著增加高速存储成本。

5. 开发者何时应使用 EML 或 Maildir 而不是 MBOX? 当需要原子文件操作、安全的并发访问以及在不锁定或重写整个邮箱文件的情况下进行独立的邮件恢复时,开发者应选择 EML 或 Maildir。

另见