Последнее обновление: 20 авг., 2026

Cloud-Native Geospatial Formats Explained - COG, GeoParquet, PMTiles & More

Что такое форматы файлов GIS, ориентированные на облако? Руководство разработчика

Если вы когда‑либо строили геопространственный конвейер, вы знаете боль “download-first” узкого места. Традиционно, если вашему приложению нужен был ограничивающий прямоугольник 500×500 пикселей из 15‑ГБ спутниковой сцены — или нужно было отфильтровать десять строк из 4‑ГБ муниципального набора данных о земельных участках — вам приходилось загружать весь файл, разбирать его в памяти и затем вырезать нужный кусок.

Просто загрузив Shapefile, GeoJSON или стандартный GeoTIFF в бакет Amazon S3 или Google Cloud Storage, вы не делаете его облачно‑нативным. Вы просто помещаете устаревший файл на чужой жёсткий диск.

Облачные GIS‑форматы файлов решают эту проблему, перестраивая способ организации пространственных данных на диске. Вместо того чтобы заставлять клиентов читать файлы последовательно от начала до конца, эти форматы разработаны для прямого, частичного чтения по сети. Для разработчиков это открывает безсерверные архитектуры, резко снижает расходы на исходящий трафик и позволяет веб‑клиентам запрашивать огромные наборы данных напрямую из статического объектного хранилища.

Механика: как работают облачные геопространственные данные

Прежде чем погрузиться в конкретные расширения файлов, полезно понять базовый инженерный шаблон, который заставляет их работать. Практически каждый облачно‑нативный геопространственный формат опирается на три основных механизма:

  1. HTTP‑запросы диапазонов (GET с заголовками Range): Стандартные HTTP/1.1 и HTTP/2 поддерживают запросы конкретных диапазонов байтов из удалённого файла (например, bytes=0-16383). Объектные хранилища облака, такие как AWS S3, Cloudflare R2 и Azure Blob Storage, изначально поддерживают это «из коробки».
  2. Метаданные и пространственные индексы, загруженные заранее (или предсказуемые): Чтобы запросить точные байты, покрывающие географическую область, клиенту сначала нужна карта внутренней структуры файла. Облачные форматы хранят метаданные заголовка и пространственные индексы (например, R‑деревья или иерархии ограничивающих прямоугольников) в предсказуемом месте — обычно в самом начале или в самом конце файла. Клиент делает один небольшой начальный запрос, чтобы прочитать индекс, вычисляет точные смещения байтов для целевого региона и получает только эти фрагменты.
  3. Внутренняя плитка и разбиение на чанки: Вместо того чтобы хранить растры построчно или векторы как сплошной текстовый блок, данные разбиваются на автономные, сжатые блоки (плитки, группы строк или N-мерные чанки), которые можно извлекать и распаковывать независимо.

Основные облачные форматы файлов GIS

Не существует единого формата, который покрывает всё. Выбор подходящего зависит от того, имеете ли вы дело с изображениями, табличными векторами, картографическими плитками, многомерными массивами или облаками точек LiDAR.

1. Оптимизированный для облака GeoTIFF (COG) — Для растровых изображений

COG не является совершенно новым проприетарным типом файла; это стандартный GeoTIFF (.tif) со строгой внутренней структурой, принятым в качестве официального стандарта OGC. Поскольку он остаётся валидным GeoTIFF, устаревшие настольные инструменты, такие как QGIS и ArcGIS, всё ещё могут открывать его без проблем.

  • Как это работает: Вместо хранения пикселей в горизонтальных строках по всему изображению, COG организует пиксели во внутренние плитки (обычно 512×512 пикселей). Он также встраивает обзоры (предварительно вычисленные, низкоразрешённые пирамиды изображений) в тот же файл. Когда пользователь отдаляется на веб-карте, клиент запрашивает плитки обзоров низкого разрешения; при приближении он запрашивает только плитки высокого разрешения, пересекающие область просмотра.
  • Лучшее для: Спутниковые снимки, воздушные ортомозаики, цифровые модели высот (DEM) и динамические растровые тайловые серверы (например, TiTiler).

Создание COG с помощью GDAL:

gdal_translate input.tif output_cog.tif \
  -of COG \
  -co COMPRESS=DEFLATE \
  -co OVERVIEWS=IGNORE_EXISTING

2. GeoParquet — Для крупного векторного анализа и хранилищ данных

Если ваш рабочий процесс больше похож на обработку данных, чем на традиционную картографию, GeoParquet (.parquet) является ключевым игроком. Построенный на основе Apache Parquet, он хранит геометрии в виде стандарта ISO Well-Known Binary (WKB) вместе с богатыми табличными атрибутами.

  • Как это работает: В отличие от Shapefiles или GeoJSON, которые хранят данные построчно, Parquet является колоночным. Если вы выполните агрегирование по колонке population для 50 миллионов полигонов, движок полностью пропустит чтение тяжёлых байтов геометрии. GeoParquet также встраивает метаданные ограничивающего прямоугольника для каждой группы строк (и поддерживает пространственную сортировку с помощью кривых Гильберта или индексов H3), позволяя движкам запросов пропускать нерелевантные блоки.
  • Лучшее для: Крупномасштабная пространственная аналитика, облачные хранилища данных (Snowflake, BigQuery, Databricks) и безсерверные SQL‑движки, такие как DuckDB.

Запрос удалённого GeoParquet напрямую с помощью DuckDB:

INSTALL spatial;
LOAD spatial;

SELECT land_use, COUNT(*) AS parcel_count
FROM read_parquet('s3://example-bucket/parcels.parquet')
WHERE ST_Intersects(geometry, ST_MakeEnvelope(-122.5, 37.7, -122.3, 37.8))
GROUP BY land_use;

3. FlatGeobuf — Для потоковой передачи векторных объектов в веб

Хотя GeoParquet отлично работает в аналитических движках, его метаданные, основанные на футере, и колонно‑ориентированная структура не всегда подходят для потоковой передачи сырых векторных геометрий напрямую в браузерную карту. Представляем FlatGeobuf (.fgb).

  • Как это работает: Построен на библиотеке бинарной сериализации FlatBuffers от Google, FlatGeobuf размещает упакованный пространственный индекс Гильбертового R‑дерева сразу в начале файла. Веб‑клиенты (например, MapLibre GL JS, Leaflet или OpenLayers) могут выполнять запросы по ограничивающему прямоугольнику через HTTP‑range запросы и начинать отрисовку объектов на экране, пока остальные байты ещё передаются.
  • Лучшее применение: Замена многомегабайтных файлов GeoJSON в интерактивных веб‑приложениях без необходимости разворачивать бэкенд PostGIS/GeoServer.

4. PMTiles — Для безсерверных векторных и растровых базовых карт

Традиционно обслуживание интерактивных картографических тайлов (/{z}/{x}/{y}.pbf) требовало либо запуска выделенного сервера тайлов (например, Martin или Tileserver-GL), либо загрузки миллионов крошечных отдельных файлов .pbf в S3 — кошмар для управления бакетом и расходов на API‑запросы.

  • Как это работает: Созданный Protomaps, PMTiles (.pmtiles) упаковывает всю пирамиду Mapbox Vector Tiles (MVT) или растровых тайлов в один архивный файл. Он использует кластеризированную структуру каталогов, оптимизированную для пространственной локальности по кривой Гильберта, что позволяет библиотеке карт в браузере получать тайлы напрямую из одного статического файла на S3 или Cloudflare R2 с помощью HTTP range запросов.
  • Лучшее применение: Пользовательские базовые карты без бекенда, веб‑карты с высоким трафиком и офлайн‑мобильные картографические приложения.

5. Zarr — Для многомерных научных данных

NetCDF и HDF5 доминировали в метеорологии, океанографии и климатическом моделировании в течение десятилетий, но их монолитные файловые структуры сталкиваются с трудностями в распределённых облачных средах. Zarr переосмысливает N‑мерные массивы для объектного хранилища.

  • Как это работает: Хранилище Zarr делит огромные многомерные массивы (например, time × latitude × longitude × altitude) на небольшие, одинаково размерные, сжатые блоки. Каждый блок хранится как отдельный объект (или консолидируется через шардинг Zarr v3) с JSON‑метаданными, описывающими размеры массива. Десятки параллельных рабочих могут одновременно читать или записывать разные временные срезы без конфликтов блокировок файлов.
  • Лучшее применение: Временные спутниковые датакубы, прогнозы погоды, климатические модели и распределённые конвейеры Xarray/Dask.

6. Cloud-Optimized Point Cloud (COPC) — Для LiDAR

Создан как расширение стандартного сжатого формата LiDAR LAZ 1.4, COPC (.copc.laz) организует 3‑D облака точек в кластеризованную октальную структуру. Как и COG, он остаётся совместимым с существующими читателями LAS/LAZ, позволяя веб‑просмотрщикам (например, Potree или deck.gl) передавать точки в потоках на основе фрустума камеры и уровня детализации без загрузки многогигабайтных облаков точек.

Матрица решений разработчика: какой формат выбрать?

Тип данныхОсновная нагрузкаЛучший форматЗаменённый устаревший формат
Растр / ИзображенияДинамическая разметка, пиксельный анализ, веб‑визуализацияCOG (.tif)Неиндексированный GeoTIFF, JPEG2000
ВекторSQL‑аналитика, хранилища данных, массивные соединенияGeoParquet (.parquet)Shapefile, файловая геобаза
ВекторПотоковая передача необработанных объектов напрямую в браузерFlatGeobuf (.fgb)Большой GeoJSON, KML
Предварительно стилизованные плиткиБессерверные интерактивные веб‑карты и мобильный офлайнPMTiles (.pmtiles)MBTiles, деревья папок ZXY
N‑D массивыКлиматические данные, растры временных рядов, параллельные вычисленияZarr (.zarr)NetCDF4, HDF5
Точечные облака3D веб-визуализация и пространственное выделение LiDARCOPC (.copc.laz)Стандартный LAS / LAZ

Критические подводные камни при развертывании в продакшн

Переход к облачным нативным форматам упрощает ваш бэкенд, но переносит ответственность за конфигурацию на слой облачного хранилища. Обратите внимание на эти три распространённых подводных камня:

  1. Забывание заголовков CORS: Если браузерное приложение (использующее MapLibre, OpenLayers или geotiff.js) делает HTTP‑запрос диапазона к вашему бакету S3, политика Cross-Origin Resource Sharing (CORS) бакета должна явно разрешать заголовок Range в AllowedHeaders и раскрывать Content-Range, Content-Length и Accept-Ranges в ExposeHeaders. Без этого запросы будут тихо проваливаться в браузере.
  2. Несортированные группы строк GeoParquet: Преобразование неупорядоченного Shapefile напрямую в GeoParquet не сделает запросы по ограничивающему прямоугольнику быстрыми автоматически. Если объекты разбросаны случайным образом по группам строк, движок запросов всё равно должен сканировать каждую группу строк. Всегда сортируйте ваши геометрии пространственно (например, используя кривую Гилберта через geopandas или DuckDB перед записью), чтобы пространственно близкие объекты находились в одних и тех же группах строк.
  3. Неоптимальные размеры чанков/тайлов: Маленькие чанки (например, 64×64 пикселей) вызывают тысячи HTTP‑запросов, увеличивая задержку и стоимость облачных API. Огромные чанки (например, 4096×4096 пикселей) заставляют клиентов загружать избыточные данные. Придерживайтесь стандартных значений по умолчанию — 512×512 пикселей для COG и 10 МБ до 100 МБ на чанк для Zarr или групп строк GeoParquet.

Подведение итогов

Облачные GIS‑форматы файлов представляют собой фундаментальный сдвиг от перемещения данных к вычислениям к перемещению вычислений (и лёгких запросов диапазона) к данным. Сочетая такие форматы, как COG, GeoParquet, FlatGeobuf и PMTiles, с метаданными STAC (SpatioTemporal Asset Catalog), разработчики могут создавать надёжные, планетарного масштаба конвейеры картографии и аналитики поверх недорогого статического объектного хранилища — без необходимости в тяжёлой пространственной базе данных.

Часто задаваемые вопросы (FAQ)

Q1. Что делает GIS file format «облачным»? Формат считается облачным, когда он сочетает предварительно построенный пространственный индекс с внутренней плиткой или разбиением на чанки, позволяя клиентам получать небольшие географические подмножества через HTTP‑запросы диапазона без загрузки всего файла.

Q2. Нужно ли мне выделенный GIS‑сервер для размещения файлов COG, GeoParquet или PMTiles? Нет — вы можете размещать их в любом стандартном статическом объектном хранилище, поддерживающем HTTP‑запросы диапазона, таком как AWS S3, Google Cloud Storage, Azure Blob Storage или Cloudflare R2.

Q3. Должен ли я использовать GeoParquet или FlatGeobuf для своих векторных данных? Используйте GeoParquet для тяжёлых аналитических запросов, SQL‑движков (например, DuckDB) и хранилищ данных, а FlatGeobuf — когда потоково передаёте сырые векторные объекты напрямую в браузерную карту.

Q4. Совместим ли облачно‑оптимизированный GeoTIFF (COG) с традиционным настольным GIS‑ПО? Да, потому что COG — это по сути стандартный GeoTIFF с внутренними тайлами и пирамидальными обзорами, он открывается без проблем в устаревших инструментах, таких как QGIS, ArcGIS Pro и GDAL.

Q5. Чем PMTiles отличается от MBTiles? MBTiles опирается на базу данных SQLite (для которой требуется серверный код, чтобы выполнять запросы через веб), тогда как PMTiles упаковывает тайлы в статический архив, который веб‑браузеры могут читать напрямую с помощью HTTP‑запросов диапазона.

См. также

Лучшие форматы GIS‑файлов для мобильных приложений

Форматы GIS файлов на FileFormat.com

Топ-5 форматов GIS файлов для Google Maps

Новости о форматах файлов

Форумы о форматах файлов