最后更新: 20 Aug, 2026

什么是云原生 GIS 文件格式?开发者指南
如果你曾经构建过地理空间管道,你就会了解 “download-first” 瓶颈的痛苦。传统上,如果你的应用需要从一个15 GB的卫星影像中获取一个500×500像素的边界框——或者想要从一个4 GB的市政地块数据集中筛选出十行数据——你必须下载整个文件,将其解析到内存中,然后切割出你真正关心的那部分。
仅仅将 Shapefile、GeoJSON 或标准 GeoTIFF 上传到 Amazon S3 存储桶或 Google Cloud Storage 并不能使其成为云原生。它只是把一个传统文件放在别人的硬盘上。
云原生 GIS 文件格式 通过重新组织磁盘上空间数据的方式来解决此问题。与其强制客户端从头到尾顺序读取文件,这些格式被设计用于在网络上进行直接的、部分读取。对于开发者而言,这解锁了无服务器架构,显著降低了出站流量成本,并让网页客户端能够直接从静态对象存储中查询海量数据集。
机制:云原生地理空间到底是如何运作的
在深入具体文件扩展名之前,了解驱动它们运行的底层工程模式会有所帮助。几乎所有云原生地理空间格式都依赖于三种核心机制:
- HTTP 范围请求(
GET与Range头部): 标准的 HTTP/1.1 和 HTTP/2 支持从远程文件请求特定的字节范围(例如,bytes=0-16383)。像 AWS S3、Cloudflare R2 和 Azure Blob Storage 这样的云对象存储原生支持此功能,无需额外配置。 - 前置(或可预测)元数据与空间索引: 为了获取覆盖特定地理区域的精确字节,客户端首先需要文件内部布局的映射。云原生格式将其头部元数据和空间索引(如 R 树或包围盒层次结构)存放在可预测的位置——通常是文件的最开始或最末尾。客户端会先发出一次极小的请求读取索引,计算目标区域的精确字节偏移量,然后仅获取这些块。
- 内部切片和块划分: 与其逐行存储栅格或将矢量存成平铺的文本墙,数据被划分为自包含的压缩块(瓦片、行组或 N 维块),可以独立获取并解压缩。
核心云原生 GIS 文件格式
没有一种格式能够统领所有情况。选择合适的格式取决于你处理的是影像、表格矢量、地图瓦片、多维数组,还是 LiDAR 点云。
1. 云优化 GeoTIFF(COG) — 用于栅格影像
COG 并不是全新的专有文件类型;它是采用严格内部布局的标准 GeoTIFF(.tif),已被正式列为 OGC 标准。由于它仍然是有效的 GeoTIFF,像 QGIS 和 ArcGIS 这样的传统桌面工具仍然可以打开它而不会出错。
- 工作原理: 与其在整幅图像上以水平扫描线存储像素,COG 将像素组织为内部瓦片(通常为 512×512 像素)。它还在同一文件中嵌入 概览(预先计算的低分辨率图像金字塔)。当用户在网络地图上缩小视图时,客户端会获取低分辨率的概览瓦片;放大时,则仅获取与视口相交的高分辨率瓦片。
- 最佳适用场景: 卫星影像、航空正射影像、数字高程模型(DEMs),以及动态栅格瓦片服务器(如 TiTiler)。
通过 GDAL 生成 COG:
gdal_translate input.tif output_cog.tif \
-of COG \
-co COMPRESS=DEFLATE \
-co OVERVIEWS=IGNORE_EXISTING
2. GeoParquet — 用于大规模矢量分析和数据仓库
如果你的工作流程更像是数据工程而非传统制图,GeoParquet(.parquet)是重量级选手。它基于 Apache Parquet,能够将几何形状以 ISO 标准的 Well-Known Binary(WKB)形式存储,并附带丰富的表格属性。
- 工作原理: 与逐行存储数据的 Shapefile 或 GeoJSON 不同,Parquet 是 列式 的。如果在 5000 万个多边形上对
population列进行聚合,引擎会完全跳过读取庞大的几何字节。GeoParquet 还在每个行组中嵌入边界框元数据(并支持通过 Hilbert 曲线或 H3 索引进行空间排序),从而让查询引擎跳过不相关的块。 - 最佳适用场景: 大规模空间分析、云数据仓库(Snowflake、BigQuery、Databricks)以及类似 DuckDB 的无服务器 SQL 引擎。
使用 DuckDB 直接查询远程 GeoParquet:
INSTALL spatial;
LOAD spatial;
SELECT land_use, COUNT(*) AS parcel_count
FROM read_parquet('s3://example-bucket/parcels.parquet')
WHERE ST_Intersects(geometry, ST_MakeEnvelope(-122.5, 37.7, -122.3, 37.8))
GROUP BY land_use;
3. FlatGeobuf — 用于将矢量要素流式传输到网页
虽然 GeoParquet 在分析引擎中表现出色,但其基于页脚的元数据和列式布局并不总是适合将原始矢量几何直接流式传输到浏览器地图中。现在介绍 FlatGeobuf(.fgb)。
- 工作原理: 基于 Google 的 FlatBuffers 二进制序列化库,FlatGeobuf 在文件的前部放置了一个压缩的 Hilbert R 树空间索引。Web 客户端(如 MapLibre GL JS、Leaflet 或 OpenLayers)可以通过 HTTP 范围请求执行边界框查询,并在剩余字节仍在流式传输时开始在屏幕上渲染要素。
- 适用场景: 在交互式 Web 应用中替换多兆字节的 GeoJSON 文件,而无需启动 PostGIS/GeoServer 后端。
4. PMTiles — 用于无服务器矢量和栅格底图
传统上,提供交互式地图瓦片(/{z}/{x}/{y}.pbf)需要运行专用瓦片服务器(如 Martin 或 Tileserver-GL),或将数百万个小的单独 .pbf 文件上传到 S3——这对存储桶管理和 API 请求成本来说是一场噩梦。
- 工作原理: 由 Protomaps 创建,PMTiles (
.pmtiles) 将整个 Mapbox 矢量瓦片 (MVT) 或栅格瓦片金字塔打包成单个归档文件。它使用针对 Hilbert 曲线空间局部性的优化聚类目录结构,这意味着浏览器地图库可以通过 HTTP 范围请求直接从 S3 或 Cloudflare R2 上的单个静态文件获取瓦片。 - 最佳适用场景: 零后端自定义底图、高流量网络地图以及离线移动制图应用。
5. Zarr — 用于多维科学数据
NetCDF 和 HDF5 多年来在气象学、海洋学和气候建模领域占据主导地位,但它们的单体文件结构在分布式云环境中面临挑战。Zarr 为对象存储重新构想了 N 维数组。
- 工作原理: Zarr 存储将巨大的多维数组(例如
time × latitude × longitude × altitude)拆分为小的、大小统一的压缩块。每个块作为单独的对象存储(或通过 Zarr v3 分片合并),并附带描述数组维度的 JSON 元数据。数十个并行工作者可以同时读取或写入不同的时间切片,而不会出现文件锁冲突。 - 最佳适用场景: 时间序列卫星数据立方体、天气预报、气候模型以及分布式 Xarray/Dask 流水线。
6. 云优化点云 (COPC) — 用于 LiDAR
作为标准 LAZ 1.4 压缩 LiDAR 格式的扩展构建,COPC (.copc.laz) 将 3D 点云组织为聚类八叉树结构。类似 COG,它保持对现有 LAS/LAZ 读取器的向后兼容,同时允许网页查看器(如 Potree 或 deck.gl)基于相机视锥体和细节层级流式传输点,而无需下载多千兆字节的点云。
开发者决策矩阵:应该选择哪种格式?
| 数据类型 | 主要工作负载 | 最佳格式 | 取代的旧版格式 |
|---|---|---|---|
| 栅格 / 图像 | 动态切片、像素分析、网页可视化 | COG (.tif) | 未索引的 GeoTIFF,JPEG2000 |
| 矢量 | SQL 分析、数据仓库、大规模联接 | GeoParquet (.parquet) | Shapefile,文件地理数据库 |
| 矢量 | 将原始要素流式传输直接到浏览器 | FlatGeobuf (.fgb) | 大型 GeoJSON、KML |
| 预设样式瓦片 | 无服务器交互式网络地图和移动离线 | PMTiles (.pmtiles) | MBTiles、ZXY 文件夹树 |
| N-D 数组 | 气候数据、时间序列栅格、并行计算 | Zarr (.zarr) | NetCDF4, HDF5 |
| 点云 | 3D 网页可视化与空间 LiDAR 子集提取 | COPC (.copc.laz) | 标准 LAS / LAZ |
部署到生产环境时的关键注意事项
迁移到云原生格式可以简化后端,但会将配置责任转移到云存储层。请注意以下三大常见陷阱:
- 忘记 CORS 头部: 如果浏览器应用(使用 MapLibre、OpenLayers 或
geotiff.js)对您的 S3 存储桶发出 HTTP 范围请求,存储桶的跨域资源共享(CORS)策略 必须 在AllowedHeaders中显式允许Range头部,并在ExposeHeaders中公开Content-Range、Content-Length和Accept-Ranges。否则,请求将在浏览器中静默失败。 - 未排序的 GeoParquet 行组: 将混乱的 Shapefile 直接转换为 GeoParquet 并不会自动加快边界框查询。如果特征在行组中随机分布,查询引擎仍需扫描每个行组。始终对几何对象进行空间排序(例如,在写入前使用
geopandas或DuckDB通过 Hilbert 曲线),使空间上相近的特征位于同一行组中。 - 次优的块/瓦片大小: 小块(例如,64×64 像素)会触发成千上万的 HTTP 请求,增加延迟和云 API 成本。大块(例如,4096×4096 像素)会迫使客户端过度获取数据。坚持使用标准默认值——对 COG 使用 512×512 像素,对 Zarr 或 GeoParquet 行组每块使用 10 MB 到 100 MB。
总结
云原生 GIS 文件格式代表了从 将数据移动到计算 向 将计算(以及轻量级范围请求)移动到数据 的根本转变。通过将 COG、GeoParquet、FlatGeobuf 和 PMTiles 等格式与 STAC(时空资产目录) 元数据相结合,开发者可以在廉价的静态对象存储之上构建弹性、全球规模的制图和分析流水线——无需繁重的空间数据库。
常见问题解答(FAQ)
Q1. 什么使得一个 GIS 文件格式 "云原生"? 当一种格式将预先加载的空间索引与内部瓦片化或分块相结合时,即为云原生,这使得客户端能够通过 HTTP 范围请求获取小的地理子集,而无需下载整个文件。
Q2. 我是否需要专用的 GIS 服务器来托管 COG、GeoParquet 或 PMTiles 文件? 不需要——您可以将它们托管在任何支持 HTTP 范围请求的标准静态对象存储上,例如 AWS S3、Google Cloud Storage、Azure Blob Storage 或 Cloudflare R2。
Q3. 我应该为我的矢量数据使用 GeoParquet 还是 FlatGeobuf? 在进行大量分析查询、SQL 引擎(如 DuckDB)和数据仓库时使用 GeoParquet,在将原始矢量要素直接流式传输到浏览器地图时使用 FlatGeobuf。
Q4. 云优化 GeoTIFF(COG)是否兼容传统桌面 GIS 软件? 是的,因为 COG 严格来说是带有内部瓦片和概览金字塔的标准 GeoTIFF,它可以在 QGIS、ArcGIS Pro 和 GDAL 等传统工具中无缝打开。
Q5. PMTiles 与 MBTiles 有何不同? MBTiles 依赖 SQLite 数据库(需要服务器端代码通过网络查询),而 PMTiles 将瓦片组织成静态归档,网页浏览器可以通过 HTTP 范围请求直接读取。