Последнее обновление: 20 авг., 2026

Storing Emails in Databases vs. File Systems: PST, MBOX, and Beyond

Хранение электронных писем в базах данных и файловых системах: PST, MBOX и другие

Каждая программная система, которая принимает, архивирует или обслуживает электронную почту, в конечном итоге сталкивается с одной и той же архитектурной развилкой: должны ли сообщения храниться внутри структурированной базы данных или напрямую в файловой системе?

На первый взгляд, электронное письмо выглядит обманчиво простым — блок заголовков, текстовое или HTML‑тело и, возможно, несколько вложений, закодированных в MIME. Однако когда вы масштабируете от почтового ящика одного пользователя на рабочем столе до миллионов корпоративных сообщений, архивов соответствия или многопользовательских SaaS‑конвейеров, движок хранения определяет всё: от задержки запросов до восстановления после катастроф.

Давайте разберём, как классические файловые контейнеры, такие как PST и MBOX, сравниваются с современными реляционными и NoSQL базами данных, где вписываются отдельные форматы сообщений, такие как EML и Maildir, и почему большинство производственных систем в итоге используют гибридный подход.

1. Хранение в файловой системе: классические контейнеры почтовых ящиков

Хранение электронных писем в файловой системе настолько же старо, как и сам SMTP. Вместо запуска демона базы данных, почтовые серверы и настольные клиенты исторически записывали сообщения напрямую на диск, используя либо контейнеры в виде одного файла, либо каталоги с одним файлом на сообщение.

MBOX: Конкатенированный текстовый основной инструмент

Возникший в ранних Unix‑почтовых системах, MBOX хранит всю папку писем в одном последовательном текстовом файле. Каждое сообщение начинается со специальной строки‑разделителя From , за которой следуют стандартные заголовки RFC 5322, тело сообщения и вложения, закодированные в Base64.

  • Преимущества: Поскольку MBOX — открытый, человекочитаемый текстовый формат, он поддерживается повсеместно в Thunderbird, Apple Mail, экспортах Google Takeout и утилитах командной строки Unix (grep, awk, sed). Добавление нового полученного письма в конец файла представляет собой последовательную запись $O(1)$.
  • Недостатки: Обновление флагов (например, пометка письма как “прочитано”) или удаление сообщения в середине 10‑ГБ файла MBOX заставляют клиент переписывать огромные части файла. Ещё хуже, повреждение отдельного сектора диска или сбой одновременной блокировки записи могут испортить границы разделителей и испортить всю почтовую коробку.

PST: Проприетарный B-Tree контейнер Microsoft

Microsoft Personal Storage Table (PST) использует совершенно иной подход. Вместо простого текста файл PST представляет собой по сути автономный бинарный файл базы данных, структурированный вокруг B-деревьев и таблиц распределения.

  • Плюсы: Один файл .pst инкапсулирует электронные письма, иерархию папок, события календаря, контакты, задачи и специфичные для Outlook метаданные. Он поддерживает встроенное сжатие, шифрование и структурированную индексацию без необходимости внешнего сервера баз данных.
  • Недостатки: PST — закрытый проприетарный формат, тесно связанный с Windows и Microsoft Outlook. Размеры файлов исторически ограничены примерно 50 ГБ по умолчанию в современных конфигурациях Outlook, а хранение файлов PST на сетевых ресурсах печально известно тем, что приводит к повреждению индексов.

Maildir и EML: По одному файлу на сообщение

Чтобы избавиться от проблем с блокировкой и повреждением монолитных файлов MBOX и PST, такие архитектуры, как Maildir (популяризированный Qmail и Dovecot), хранят каждое отдельное письмо в виде отдельного файла — часто в виде стандартных файлов .eml (RFC 5322) — организованных в каталогах tmp/, new/ и cur/.

  • Преимущества: Атомарные перемещения файлов устраняют конкуренцию за блокировки. Если сектор диска выходит из строя, вы теряете одно письмо вместо десяти лет переписки. Стандартные резервные копии ОС, rsync и инкрементные снимки становятся простыми.
  • Недостатки: Хранение миллионов крошечных файлов истощает inodes файловой системы и ухудшает производительность листинга каталогов, если только не разбивать каталоги по дате или хэшу (например, /2026/11/14/a3/msg-id.eml). Полнотекстовый поиск по сырым файлам .eml чрезвычайно медлен без отдельного индексного файла.

2. Хранение в базе данных: Реляционные и NoSQL движки

Когда приложения требуют мгновенного поиска, многопользовательской конкуренции, контроля доступа на основе ролей или сложной аналитики (например, CRM‑платформ, справочных служб и инструментов eDiscovery), инженеры часто обращаются к базам данных, таким как PostgreSQL, MySQL, Elasticsearch или MongoDB.

Как базы данных моделируют электронную почту

В реляционной базе данных письмо не хранится как непрозрачный блоб — оно нормализуется в запросные сущности:

CREATE TABLE emails (
    id UUID PRIMARY KEY,
    thread_id UUID NOT NULL,
    message_id VARCHAR(255) UNIQUE NOT NULL,
    sender VARCHAR(320) NOT NULL,
    subject TEXT,
    received_at TIMESTAMPTZ NOT NULL,
    is_read BOOLEAN DEFAULT FALSE,
    headers JSONB,
    body_text TEXT,
    body_html TEXT
);

CREATE INDEX idx_emails_thread_received ON emails (thread_id, received_at DESC);
CREATE INDEX idx_emails_fts ON emails USING GIN (to_tsvector('english', coalesce(subject, '') || ' ' || coalesce(body_text, '')));

Преимущества хранения в базе данных

  1. Фильтрация и потоковая обработка менее миллисекунды: Получение “all unread emails from a specific domain in the last 30 days” использует индексы B-tree и GIN вместо сканирования гигабайтов текстовых данных на диске.
  2. Транзакции ACID и конкурентность: Несколько фоновых рабочих процессов, процессы синхронизации IMAP и веб‑клиенты могут безопасно одновременно обновлять состояния чтения, метки и назначения папок без конфликтов блокировок файлов.
  3. Структурированные метаданные и дедупликация: Хранение SHA-256 хешей вложений позволяет удалять дублирующиеся одинаковые PDF, отправленные 500 внутренним получателям — то, что монолитные файлы PST или MBOX дублируют 500 раз.

Недостатки хранения в базе данных

  1. Раздувание хранилища и стоимость: Хранение многомегабайтных вложений в Base64 и необработанных HTML‑сообщений внутри основных таблиц базы данных увеличивает размер базы, замедляет репликацию, раздувает журналы предзаписи (WAL) и повышает затраты на SSD/облачные IOPS.
  2. Узкие места резервного копирования и восстановления: Восстановление 2 ТБ реляционной базы данных из снимка занимает значительно больше времени, чем восстановление отдельных файлов из объектного хранилища.
  3. Потеря оригинальной целостности данных: Если вы разбираете входящее письмо в столбцы базы данных и отбрасываете исходный MIME‑поток, вы можете нарушить криптографические подписи DKIM или потерять редкие пользовательские заголовки, необходимые для судебного аудита.

3. Сравнение бок о бок: Файловые системы vs. Базы данных

Архитектурный факторMBOX (Плоский файл)PST (Бинарный контейнер)Maildir / EML (По‑файлу)SQL / NoSQL база данных
Структура храненияОдин объединённый текстовый файлСобственный бинарный B‑tree файлОдин файл RFC 5322 на каждое письмоНормализованные таблицы / JSON‑документы
Скорость запросов и поискаМедленно (требуется линейный скан или внешний индекс)Быстро внутри Outlook; медленно внешнеМедленно без вспомогательного индексаЧрезвычайно быстро (B-tree, GIN, полнотекстовый)
КонкурентностьПлохо (требуется блокировка на уровне файла)Только блокировка для одного пользователя на рабочем столеВысоко (атомарные файловые операции)Высокий (блокировка уровня строки ACID)
Радиус разрушения при поврежденииВысокий (весь каталог/почтовый ящик под угрозой)Высокий (один файл содержит весь почтовый ящик)Низкий (изолировано в одном сообщении)Средний (смягчено с помощью WAL & реплик)
ПереносимостьВысокий (открытый стандарт для Unix/Mac/Linux)Низкий (привязан к экосистеме Microsoft)Наивысший (универсальный стандарт .eml)Низкий (связан со схемой приложения)
Дедупликация вложенийНетОграниченное внутреннее сжатиеОтсутствует (если только не жёстко связаны)Нативно через хеширование, основанное на содержимом

4. За пределами бинарного выбора: Современная гибридная архитектура

В современной облачной инженерии выбор строго между базой данных или файловой системой — ложная дихотомия. Высоконагруженные почтовые платформы, архивы соответствия и SaaS‑инструменты почти повсеместно используют гибридную архитектуру объектов и метаданных:

  1. Неизменное сообщение и вложения в объектном хранилище (S3 / GCS / MinIO): Когда приходит электронное письмо, точный, неизменённый .eml MIME‑payload — а также любые извлечённые бинарные вложения — записываются неизменяемо в объектное хранилище с использованием ключа, основанного на содержимом или датой (например, s3://mail-archive/2026/11/14/<sha256>.eml). Это сохраняет оригинальные подписи DKIM, снижает стоимость хранения до копеек за гигабайт и изолирует массивные бинарные данные от транзакционных баз данных.
  2. Заголовки, состояние и связи в реляционной базе данных: PostgreSQL или MySQL хранят лёгкие метаданные: отправитель, получатели, тема, метки времени, идентификаторы веток, указатели папок, флаги прочитано/непрочитано и ключ объекта в S3.
  3. Полнотекстовый поиск в специализированном поисковом движке: Для мгновенного поиска по ключевым словам среди миллиардов сообщений извлечённый простой текст передаётся асинхронно в Elasticsearch, OpenSearch или Typesense.
  4. Конвейеры экспорта для PST и MBOX: Вместо использования PST или MBOX в качестве живого производственного хранилища современные системы генерируют архивы .pst, .mbox или .zip файлов .eml по запросу, когда пользователи запрашивают экспорт в стиле Google Takeout или юридический пакет eDiscovery.

Какой подход следует выбрать?

  • Используйте MBOX или EML в файловой системе при создании локальных настольных клиентов, легковесных CLI‑инструментов, портативных резервных копий или судебных каналов передачи данных, где важна портативность без зависимостей.
  • Используйте PST только тогда, когда требуется совместимость с настольными средами Microsoft Outlook или экспортом из устаревшего Exchange.
  • Используйте гибридную схему «База данных + Объектное хранилище» для любого многопользовательского веб‑приложения, платформы поддержки клиентов или корпоративного архива, требующего быстрой поисковой функции, одновременного доступа и горизонтальной масштабируемости.

Часто задаваемые вопросы (FAQ)

1. Лучше хранить электронные письма в базе данных или в виде файлов на диске? Для приложений с высокой конкуренцией, требующих быстрого поиска и фильтрации, гибридный подход — хранение поисковых метаданных в базе данных и сырых файлов .eml или вложений в объектном хранилище — показывает наилучшие результаты.

2. Какова основная разница между форматами файлов PST и MBOX? PST — это проприетарный бинарный контейнер Microsoft Outlook, который хранит электронные письма, календари и контакты вместе, тогда как MBOX — открытый текстовый формат, который объединяет сообщения электронной почты в один файл.

3. Почему большие файлы MBOX и PST подвержены повреждениям? Потому что оба формата упаковывают тысячи сообщений в один монолитный файл, прерванная запись, ошибка сектора диска или сбой сетевого ресурса могут нарушить внутренние указатели или разделители сообщений по всему архиву.

4. Почему хранение вложений электронной почты непосредственно в базах данных SQL не рекомендуется? Большие двоичные или Base64 вложения раздувают таблицы базы данных, замедляют резервное копирование и репликацию и резко увеличивают затраты на высокоскоростное хранилище по сравнению с объектным хранилищем или файловыми системами.

5. Когда разработчикам следует использовать EML или Maildir вместо MBOX? Разработчикам следует выбирать EML или Maildir, когда им нужны атомарные файловые операции, безопасный конкурентный доступ и изолированное восстановление сообщений без блокировки или переписывания всего файла почтового ящика.

См. также