Последнее обновление: 20 авг., 2026

Хранение электронных писем в базах данных и файловых системах: PST, MBOX и другие
Каждая программная система, которая принимает, архивирует или обслуживает электронную почту, в конечном итоге сталкивается с одной и той же архитектурной развилкой: должны ли сообщения храниться внутри структурированной базы данных или напрямую в файловой системе?
На первый взгляд, электронное письмо выглядит обманчиво простым — блок заголовков, текстовое или HTML‑тело и, возможно, несколько вложений, закодированных в MIME. Однако когда вы масштабируете от почтового ящика одного пользователя на рабочем столе до миллионов корпоративных сообщений, архивов соответствия или многопользовательских SaaS‑конвейеров, движок хранения определяет всё: от задержки запросов до восстановления после катастроф.
Давайте разберём, как классические файловые контейнеры, такие как PST и MBOX, сравниваются с современными реляционными и NoSQL базами данных, где вписываются отдельные форматы сообщений, такие как EML и Maildir, и почему большинство производственных систем в итоге используют гибридный подход.
1. Хранение в файловой системе: классические контейнеры почтовых ящиков
Хранение электронных писем в файловой системе настолько же старо, как и сам SMTP. Вместо запуска демона базы данных, почтовые серверы и настольные клиенты исторически записывали сообщения напрямую на диск, используя либо контейнеры в виде одного файла, либо каталоги с одним файлом на сообщение.
MBOX: Конкатенированный текстовый основной инструмент
Возникший в ранних Unix‑почтовых системах, MBOX хранит всю папку писем в одном последовательном текстовом файле. Каждое сообщение начинается со специальной строки‑разделителя From , за которой следуют стандартные заголовки RFC 5322, тело сообщения и вложения, закодированные в Base64.
- Преимущества: Поскольку MBOX — открытый, человекочитаемый текстовый формат, он поддерживается повсеместно в Thunderbird, Apple Mail, экспортах Google Takeout и утилитах командной строки Unix (
grep,awk,sed). Добавление нового полученного письма в конец файла представляет собой последовательную запись $O(1)$. - Недостатки: Обновление флагов (например, пометка письма как “прочитано”) или удаление сообщения в середине 10‑ГБ файла MBOX заставляют клиент переписывать огромные части файла. Ещё хуже, повреждение отдельного сектора диска или сбой одновременной блокировки записи могут испортить границы разделителей и испортить всю почтовую коробку.
PST: Проприетарный B-Tree контейнер Microsoft
Microsoft Personal Storage Table (PST) использует совершенно иной подход. Вместо простого текста файл PST представляет собой по сути автономный бинарный файл базы данных, структурированный вокруг B-деревьев и таблиц распределения.
- Плюсы: Один файл
.pstинкапсулирует электронные письма, иерархию папок, события календаря, контакты, задачи и специфичные для Outlook метаданные. Он поддерживает встроенное сжатие, шифрование и структурированную индексацию без необходимости внешнего сервера баз данных. - Недостатки: PST — закрытый проприетарный формат, тесно связанный с Windows и Microsoft Outlook. Размеры файлов исторически ограничены примерно 50 ГБ по умолчанию в современных конфигурациях Outlook, а хранение файлов PST на сетевых ресурсах печально известно тем, что приводит к повреждению индексов.
Maildir и EML: По одному файлу на сообщение
Чтобы избавиться от проблем с блокировкой и повреждением монолитных файлов MBOX и PST, такие архитектуры, как Maildir (популяризированный Qmail и Dovecot), хранят каждое отдельное письмо в виде отдельного файла — часто в виде стандартных файлов .eml (RFC 5322) — организованных в каталогах tmp/, new/ и cur/.
- Преимущества: Атомарные перемещения файлов устраняют конкуренцию за блокировки. Если сектор диска выходит из строя, вы теряете одно письмо вместо десяти лет переписки. Стандартные резервные копии ОС,
rsyncи инкрементные снимки становятся простыми. - Недостатки: Хранение миллионов крошечных файлов истощает inodes файловой системы и ухудшает производительность листинга каталогов, если только не разбивать каталоги по дате или хэшу (например,
/2026/11/14/a3/msg-id.eml). Полнотекстовый поиск по сырым файлам.emlчрезвычайно медлен без отдельного индексного файла.
2. Хранение в базе данных: Реляционные и NoSQL движки
Когда приложения требуют мгновенного поиска, многопользовательской конкуренции, контроля доступа на основе ролей или сложной аналитики (например, CRM‑платформ, справочных служб и инструментов eDiscovery), инженеры часто обращаются к базам данных, таким как PostgreSQL, MySQL, Elasticsearch или MongoDB.
Как базы данных моделируют электронную почту
В реляционной базе данных письмо не хранится как непрозрачный блоб — оно нормализуется в запросные сущности:
CREATE TABLE emails (
id UUID PRIMARY KEY,
thread_id UUID NOT NULL,
message_id VARCHAR(255) UNIQUE NOT NULL,
sender VARCHAR(320) NOT NULL,
subject TEXT,
received_at TIMESTAMPTZ NOT NULL,
is_read BOOLEAN DEFAULT FALSE,
headers JSONB,
body_text TEXT,
body_html TEXT
);
CREATE INDEX idx_emails_thread_received ON emails (thread_id, received_at DESC);
CREATE INDEX idx_emails_fts ON emails USING GIN (to_tsvector('english', coalesce(subject, '') || ' ' || coalesce(body_text, '')));
Преимущества хранения в базе данных
- Фильтрация и потоковая обработка менее миллисекунды: Получение “all unread emails from a specific domain in the last 30 days” использует индексы B-tree и GIN вместо сканирования гигабайтов текстовых данных на диске.
- Транзакции ACID и конкурентность: Несколько фоновых рабочих процессов, процессы синхронизации IMAP и веб‑клиенты могут безопасно одновременно обновлять состояния чтения, метки и назначения папок без конфликтов блокировок файлов.
- Структурированные метаданные и дедупликация: Хранение SHA-256 хешей вложений позволяет удалять дублирующиеся одинаковые PDF, отправленные 500 внутренним получателям — то, что монолитные файлы PST или MBOX дублируют 500 раз.
Недостатки хранения в базе данных
- Раздувание хранилища и стоимость: Хранение многомегабайтных вложений в Base64 и необработанных HTML‑сообщений внутри основных таблиц базы данных увеличивает размер базы, замедляет репликацию, раздувает журналы предзаписи (WAL) и повышает затраты на SSD/облачные IOPS.
- Узкие места резервного копирования и восстановления: Восстановление 2 ТБ реляционной базы данных из снимка занимает значительно больше времени, чем восстановление отдельных файлов из объектного хранилища.
- Потеря оригинальной целостности данных: Если вы разбираете входящее письмо в столбцы базы данных и отбрасываете исходный MIME‑поток, вы можете нарушить криптографические подписи DKIM или потерять редкие пользовательские заголовки, необходимые для судебного аудита.
3. Сравнение бок о бок: Файловые системы vs. Базы данных
| Архитектурный фактор | MBOX (Плоский файл) | PST (Бинарный контейнер) | Maildir / EML (По‑файлу) | SQL / NoSQL база данных |
|---|---|---|---|---|
| Структура хранения | Один объединённый текстовый файл | Собственный бинарный B‑tree файл | Один файл RFC 5322 на каждое письмо | Нормализованные таблицы / JSON‑документы |
| Скорость запросов и поиска | Медленно (требуется линейный скан или внешний индекс) | Быстро внутри Outlook; медленно внешне | Медленно без вспомогательного индекса | Чрезвычайно быстро (B-tree, GIN, полнотекстовый) |
| Конкурентность | Плохо (требуется блокировка на уровне файла) | Только блокировка для одного пользователя на рабочем столе | Высоко (атомарные файловые операции) | Высокий (блокировка уровня строки ACID) |
| Радиус разрушения при повреждении | Высокий (весь каталог/почтовый ящик под угрозой) | Высокий (один файл содержит весь почтовый ящик) | Низкий (изолировано в одном сообщении) | Средний (смягчено с помощью WAL & реплик) |
| Переносимость | Высокий (открытый стандарт для Unix/Mac/Linux) | Низкий (привязан к экосистеме Microsoft) | Наивысший (универсальный стандарт .eml) | Низкий (связан со схемой приложения) |
| Дедупликация вложений | Нет | Ограниченное внутреннее сжатие | Отсутствует (если только не жёстко связаны) | Нативно через хеширование, основанное на содержимом |
4. За пределами бинарного выбора: Современная гибридная архитектура
В современной облачной инженерии выбор строго между базой данных или файловой системой — ложная дихотомия. Высоконагруженные почтовые платформы, архивы соответствия и SaaS‑инструменты почти повсеместно используют гибридную архитектуру объектов и метаданных:
- Неизменное сообщение и вложения в объектном хранилище (S3 / GCS / MinIO): Когда приходит электронное письмо, точный, неизменённый
.emlMIME‑payload — а также любые извлечённые бинарные вложения — записываются неизменяемо в объектное хранилище с использованием ключа, основанного на содержимом или датой (например,s3://mail-archive/2026/11/14/<sha256>.eml). Это сохраняет оригинальные подписи DKIM, снижает стоимость хранения до копеек за гигабайт и изолирует массивные бинарные данные от транзакционных баз данных. - Заголовки, состояние и связи в реляционной базе данных: PostgreSQL или MySQL хранят лёгкие метаданные: отправитель, получатели, тема, метки времени, идентификаторы веток, указатели папок, флаги прочитано/непрочитано и ключ объекта в S3.
- Полнотекстовый поиск в специализированном поисковом движке: Для мгновенного поиска по ключевым словам среди миллиардов сообщений извлечённый простой текст передаётся асинхронно в Elasticsearch, OpenSearch или Typesense.
- Конвейеры экспорта для PST и MBOX: Вместо использования PST или MBOX в качестве живого производственного хранилища современные системы генерируют архивы
.pst,.mboxили.zipфайлов.emlпо запросу, когда пользователи запрашивают экспорт в стиле Google Takeout или юридический пакет eDiscovery.
Какой подход следует выбрать?
- Используйте MBOX или EML в файловой системе при создании локальных настольных клиентов, легковесных CLI‑инструментов, портативных резервных копий или судебных каналов передачи данных, где важна портативность без зависимостей.
- Используйте PST только тогда, когда требуется совместимость с настольными средами Microsoft Outlook или экспортом из устаревшего Exchange.
- Используйте гибридную схему «База данных + Объектное хранилище» для любого многопользовательского веб‑приложения, платформы поддержки клиентов или корпоративного архива, требующего быстрой поисковой функции, одновременного доступа и горизонтальной масштабируемости.
Часто задаваемые вопросы (FAQ)
1. Лучше хранить электронные письма в базе данных или в виде файлов на диске? Для приложений с высокой конкуренцией, требующих быстрого поиска и фильтрации, гибридный подход — хранение поисковых метаданных в базе данных и сырых файлов .eml или вложений в объектном хранилище — показывает наилучшие результаты.
2. Какова основная разница между форматами файлов PST и MBOX? PST — это проприетарный бинарный контейнер Microsoft Outlook, который хранит электронные письма, календари и контакты вместе, тогда как MBOX — открытый текстовый формат, который объединяет сообщения электронной почты в один файл.
3. Почему большие файлы MBOX и PST подвержены повреждениям? Потому что оба формата упаковывают тысячи сообщений в один монолитный файл, прерванная запись, ошибка сектора диска или сбой сетевого ресурса могут нарушить внутренние указатели или разделители сообщений по всему архиву.
4. Почему хранение вложений электронной почты непосредственно в базах данных SQL не рекомендуется? Большие двоичные или Base64 вложения раздувают таблицы базы данных, замедляют резервное копирование и репликацию и резко увеличивают затраты на высокоскоростное хранилище по сравнению с объектным хранилищем или файловыми системами.
5. Когда разработчикам следует использовать EML или Maildir вместо MBOX? Разработчикам следует выбирать EML или Maildir, когда им нужны атомарные файловые операции, безопасный конкурентный доступ и изолированное восстановление сообщений без блокировки или переписывания всего файла почтового ящика.