Legutóbb frissítve: 2026. aug. 20.

Cloud-Native Geospatial Formats Explained - COG, GeoParquet, PMTiles & More

Mik azok a felhő-natív GIS fájlformátumok? Fejlesztői útmutató

Ha valaha is építettél geospatial (térinformatikai) adatcsővezetéket, ismered a "download-first" szűk keresztmetszet fájdalmát. Hagyományosan, ha az alkalmazásodnak egy 500x500 pixeles határoló dobozra volt szüksége egy 15 GB-os műholdas felvételből – vagy tíz sort akart szűrni egy 4 GB-os önkormányzati telekadatbázisból – le kellett tölteni az egész fájlt, memóriába beolvasni, majd kivágni azt a részt, ami valójában érdekel.

Csak egy Shapefile, a GeoJSON vagy egy szabványos GeoTIFF feltöltése egy Amazon S3 vödörbe vagy a Google Cloud Storage-be még nem teszi felhő-natívvá. Csak egy örökölt fájlt helyez el valaki más merevlemezén.

Felhő-natív GIS file formats oldják meg ezt a problémát azzal, hogy átstrukturálják a térbeli adatok lemezen való szervezését. Ahelyett, hogy a klienseket arra kényszerítenék, hogy a fájlokat sorban, elejétől a végéig olvassák, ezeket a formátumokat közvetlen, részleges hálózati olvasásra tervezték. A fejlesztők számára ez feloldja a serverless architektúrákat, drasztikusan csökkenti a kimenő adat költségeket, és lehetővé teszi, hogy a webkliensek közvetlenül a statikus objektumtárolóból kérdezzenek le hatalmas adatkészleteket.

A mechanika: Hogyan működik valójában a felhő-natív földrajzi adatok

Mielőtt belemerülnénk a konkrét fájlkiterjesztésekbe, hasznos megérteni az alapul szolgáló mérnöki mintát, amely működésüket biztosítja. Szinte minden felhőalapú térinformatikai formátum három alapvető mechanizmusra támaszkodik:

  1. HTTP Range Requests (GET with Range headers): Standard HTTP/1.1 és HTTP/2 támogatja a távoli fájlok meghatározott bájt tartományainak lekérését (például bytes=0-16383). Az olyan felhő tárhelyek, mint az AWS S3, a Cloudflare R2 és az Azure Blob Storage natívan támogatják ezt alapból.
  2. Front-Loaded (or Predictable) Metadata & Spatial Indexes: Ahhoz, hogy a földrajzi területet lefedő pontos bájtokat lekérdezzük, a kliensnek először szüksége van a fájl belső felépítésének térképére. A felhőalapú formátumok a fejléc metaadataikat és a térbeli indexeket (például R-fákat vagy határoló doboz hierarchiákat) egy előre meghatározott helyen tárolják – általában a fájl nagyon elején vagy nagyon végén. A kliens egy apró kezdeti kérést küld az index beolvasásához, kiszámítja a célrégió pontos bájteltolásait, és csak azokat a darabokat tölti le.
  3. Belső csempézés és darabolás: Ahelyett, hogy raszereket soronként vagy vektorokat egy lapos szöveggé falaznánk, az adatot önálló, tömörített blokkokra (csempék, sorcsoportok vagy N-dimenziós darabok) osztják, amelyeket önállóan le lehet kérni és kitömöríteni.

A felhő-natív GIS fájlformátumok alapjai

Nincs egyetlen formátum, amely mindet uralna. A megfelelő kiválasztása attól függ, hogy képekkel, táblázatos vektorokkal, térképcsempékkel, többdimenziós tömbökkel vagy LiDAR pontfelhőkkel dolgozol-e.

1. Felhő-optimalizált GeoTIFF (COG) — Raster képekhez

A COG nem egy vadonatúj, saját tulajdonú fájltípus; ez egy szabványos GeoTIFF (.tif) szigorú belső elrendezéssel, amelyet hivatalos OGC szabványként fogadtak el. Mivel továbbra is érvényes GeoTIFF, a régi asztali eszközök, mint a QGIS és az ArcGIS, továbbra is meg tudják nyitni anélkül, hogy hibát okoznának.

  • Hogyan működik: Ahelyett, hogy a pixeleket vízszintes sorokban tárolná az egész képen, egy COG a pixeleket belső csempékbe szervezi (általában 512×512 pixel). Emellett áttekintéseket (előre kiszámított, alacsonyabb felbontású képpiramisokat) ágyaz be ugyanabban a fájlban. Amikor egy felhasználó kicsinyíti a webtérképet, a kliens alacsony felbontású áttekintő csempéket tölt le; amikor nagyít, csak a nézetablakot érintő nagy felbontású csempéket tölti le.
  • Legjobb számára: Műholdas felvételek, légi ortomosaikok, Digitális Magassági Modellek (DEM-ek), és dinamikus raszteres csempe szerverek (például TiTiler).

COG generálása GDAL segítségével:

gdal_translate input.tif output_cog.tif \
  -of COG \
  -co COMPRESS=DEFLATE \
  -co OVERVIEWS=IGNORE_EXISTING

2. GeoParquet — Nagy vektoranalitika és adatraktárak számára

Ha a munkafolyamatod inkább adatfeldolgozáshoz hasonlít, mint a hagyományos kartográfiához, a GeoParquet (.parquet) a legerősebb. Az Apache Parquet-re építve a geometriai adatokat ISO-szabványú Well-Known Binary (WKB) formátumban tárolja, gazdag táblázatos attribútumokkal együtt.

  • Működési elv: A Shapefile-ok vagy a GeoJSON-tól eltérően, amelyek adatot soronként tárolnak, a Parquet oszlopos. Ha egy population oszlopon aggregációt futtatsz 50 millió poligonon, a motor teljesen kihagyja a nehéz geometriai bájtok olvasását. A GeoParquet továbbá beágyazza a határoló doboz metaadatait sorcsoportonként (és támogatja a térbeli rendezést Hilbert-görbék vagy H3 indexek segítségével), lehetővé téve a lekérdező motorok számára, hogy kihagyják a nem releváns darabokat.
  • Legjobb számára: Nagyszabású térbeli elemzések, felhőalapú adatraktárak (Snowflake, BigQuery, Databricks), és szerver nélküli SQL motorok, mint a DuckDB.

Távoli GeoParquet lekérdezése közvetlenül a DuckDB-vel:

INSTALL spatial;
LOAD spatial;

SELECT land_use, COUNT(*) AS parcel_count
FROM read_parquet('s3://example-bucket/parcels.parquet')
WHERE ST_Intersects(geometry, ST_MakeEnvelope(-122.5, 37.7, -122.3, 37.8))
GROUP BY land_use;

3. FlatGeobuf — Vektorjellemzők webre történő streaminghez

Miközben a GeoParquet ragyog az elemző motorokban, a lábléc-alapú metaadatok és az oszloporientáció nem mindig ideálisak a nyers vektoros geometriák közvetlen streameléséhez egy böngésző térképre. Itt jön a FlatGeobuf (.fgb).

  • Hogyan működik: A Google FlatBuffers bináris sorosítási könyvtárára építve, a FlatGeobuf egy tömörített Hilbert R-fát térbeli indexet helyez a fájl elejére. A webes kliensek (például MapLibre GL JS, Leaflet vagy OpenLayers) képesek határolódoboz lekérdezést végrehajtani HTTP tartománykéréseken keresztül, és elkezdeni a jellemzők megjelenítését a képernyőn, miközben a maradék bájtok még streamelnek.
  • Leginkább erre: Több megabájtos GeoJSON fájlok helyettesítése interaktív webalkalmazásokban anélkül, hogy PostGIS/GeoServer háttérrendszert indítanánk.

4. PMTiles — Szerver nélküli vektor- és raszter alap térképekhez

Hagyományosan az interaktív térképcsempék (/{z}/{x}/{y}.pbf) kiszolgálása vagy egy dedikált csempeszerver (például Martin vagy Tileserver-GL) futtatását, vagy több millió apró egyedi .pbf fájl S3-ra feltöltését igényelte – rémálom a bucket-kezelés és az API-kérések költségei szempontjából.

  • Hogyan működik: A Protomaps által létrehozott PMTiles (.pmtiles) egy teljes piramisát csomagolja a Mapbox vektoros csempéknek (MVT) vagy raszteres csempéknek egyetlen archív fájlba. Egy csoportosított könyvtárstruktúrát használ, amely a Hilbert-görbe térbeli lokalitásra van optimalizálva, ami azt jelenti, hogy egy böngésző térképkönyvtár közvetlenül egyetlen statikus fájlból tud csempéket lekérni az S3-on vagy a Cloudflare R2-en HTTP tartománykérésekkel.
  • Legalkalmasabb: Zero-backend egyedi alaptérképek, nagy forgalmú webes térképek és offline mobil térképező alkalmazások.

5. Zarr — Többdimenziós tudományos adatokhoz

A NetCDF és a HDF5 évtizedek óta uralja a meteorológiát, óceánográfiát és az éghajlati modellezést, de monolitikus fájlszerkezetük nehezen működik elosztott felhő környezetekben. Zarr újragondolja az N-dimenziós tömböket objektumtárolók számára.

  • Hogyan működik: A Zarr tároló felosztja a hatalmas többdimenziós tömböket (pl. time × latitude × longitude × altitude) kis, egységes méretű, tömörített darabokra. Minden darabot egy egyedi objektumként tárol (vagy a Zarr v3 sharding segítségével konszolidálva) JSON metaadatokkal, amelyek leírják a tömb dimenzióit. Tíz tucat párhuzamos munkavállaló képes egyszerre különböző időszeleteket olvasni vagy írni fájlzárolási konfliktusok nélkül.
  • Legjobban: Idősoros műholdas adatkockák, időjárás-előrejelzések, klímamodellek és elosztott Xarray/Dask csővezetékek.

6. Cloud-Optimized Point Cloud (COPC) — LiDAR-hoz

A standard LAZ 1.4 tömörített LiDAR formátum kiterjesztéseként épült, a COPC (.copc.laz) 3D pontfelhőket egy csoportosított oktree struktúrába szervez. A COG-hoz hasonlóan visszafelé kompatibilis a meglévő LAS/LAZ olvasókkal, miközben lehetővé teszi a webes megjelenítőknek (például a Potree vagy a deck.gl) a pontok streamelését a kamera frusztruma és a részletességi szint alapján anélkül, hogy több gigabájtos pontfelhőket le kellene tölteni.

Fejlesztői döntési mátrix: Melyik formátumot válassza?

AdattípusElsődleges munkaterhelésLegjobb formátumHelyettesített régi formátum
Raszter / KépDinamikus csempézés, pixel elemzés, webes megjelenítésCOG (.tif)Index nélküli GeoTIFF, JPEG2000
VectorSQL elemzések, adat raktárak, hatalmas összekapcsolásokGeoParquet (.parquet)Shapefile, fájl geoadatbázis
VectorNyers jellemzők streamelése közvetlenül egy böngészőbeFlatGeobuf (.fgb)Nagy GeoJSON, KML
Előre formázott csempékSzerver nélküli interaktív webtérképek és mobil offlinePMTiles (.pmtiles)MBTiles, ZXY mappafa
N-D tömbökKlímadata, időbeli sorozat raszterek, párhuzamos számításZarr (.zarr)NetCDF4, HDF5
Pontfelhők3D webes vizualizáció és térbeli LiDAR részhalmazképzésCOPC (.copc.laz)Standard LAS / LAZ

Kritikus buktatók a termelésbe való telepítés során

A felhő-natív formátumokra való áttérés egyszerűsíti a háttérrendszert, de a konfigurációs felelősséget a felhő tárolási rétegre helyezi át. Figyeljen ezekre a három gyakori buktatóra:

  1. CORS fejlécek elfelejtése: Ha egy böngészőalkalmazás (például MapLibre, OpenLayers vagy geotiff.js) HTTP tartománykérést küld az S3 vödörhöz, a vödör Cross-Origin Resource Sharing (CORS) szabályzatának kell kifejezetten engedélyeznie a Range fejlécet az AllowedHeaders részben, és ki kell tennie a Content-Range, Content-Length és Accept-Ranges fejléceket az ExposeHeaders részben. Enélkül a kérések csendben meghiúsulnak a böngészőben.
  2. Rendezetlen GeoParquet sorcsoportok: Egy rendezetlen Shapefile közvetlen GeoParquet-re konvertálása nem teszi automatikusan gyorsabbá a határoló doboz lekérdezéseket. Ha a jellemzők véletlenszerűen szóródnak a sorcsoportok között, a lekérdező motornak még mindig minden sorcsoportot át kell vizsgálnia. Mindig rendezze a geometriákat térbeli módon (pl. Hilbert-görbe használatával a geopandas vagy a DuckDB segítségével írás előtt), hogy a térben közel lévő elemek ugyanabban a sorcsoportban legyenek.
  3. Nem optimális darab/kocka méretek: A kis darabok (pl. 64×64 pixel) ezrek HTTP-kéréseket indítanak, növelve a késleltetést és a felhő API költségeket. A hatalmas darabok (pl. 4096×4096 pixel) arra kényszerítik a klienseket, hogy túl sok adatot töltsenek le. Tartsuk magunkat a szabványos alapértelmezésekhez — 512×512 pixel a COG-okhoz és 10 MB‑tól 100 MB‑ig darabonként a Zarr vagy GeoParquet sorcsoportoknál.

Összegzés

Felhő-natív GIS fájlformátumok alapvető elmozdulást jelentenek a adatok számításhoz mozgatása helyett a számítás (és könnyű tartománykérések) adat felé mozgatása irányába. A COG, GeoParquet, FlatGeobuf és PMTiles formátumok STAC (SpatioTemporal Asset Catalog) metaadataival párosítva a fejlesztők ellenálló, bolygóméretű térképezési és elemzési csővezetékeket építhetnek olcsó, statikus objektumtároló rétegre – nehéz térbeli adatbázis nélkül.

Gyakran Ismételt Kérdések (GYIK)

Q1. Mi teszi a GIS fájlformátumot „felhő-natívvá“? Egy formátum felhő-natív, ha előre betöltött térbeli indexet párosít belső csempézéssel vagy darabolással, lehetővé téve az ügyfelek számára, hogy kis földrajzi részleteket kérjenek le HTTP tartománykéréseken keresztül anélkül, hogy az egész fájlt letöltenék.

Q2. Szükségem van dedikált GIS szerverre a COG, GeoParquet vagy PMTiles fájlok tárolásához? Nem — tárolhatók bármely szabványos statikus objektumtárolóban, amely támogatja a HTTP tartománykéréseket, például AWS S3, Google Cloud Storage, Azure Blob Storage vagy Cloudflare R2.

Q3. Használjam a GeoParquet-et vagy a FlatGeobuf-ot a vektoradataimhoz? Használja a GeoParquet-et nehéz analitikai lekérdezésekhez, SQL motorokhoz (például DuckDB), és adatraktárakhoz, és használja a FlatGeobuf-ot, amikor nyers vektorjellemzőket streamel közvetlenül egy böngésző térképre.

Q4. Egy felhő-optimalizált GeoTIFF (COG) kompatibilis a hagyományos asztali GIS szoftverekkel? Igen, mivel a COG szigorúan egy szabványos GeoTIFF belső csempékkel és áttekintő piramisokkal, zökkenőmentesen megnyílik a régi eszközökben, mint a QGIS, az ArcGIS Pro és a GDAL.

Q5. Miben különbözik a PMTiles a MBTiles-től? A MBTiles egy SQLite adatbázist használ (amelyhez szerveroldali kód szükséges a weben keresztüli lekérdezéshez), míg a PMTiles a csempéket egy statikus archívumba szervezi, amelyet a webböngészők közvetlenül HTTP tartománykérésekkel olvashatnak.

Lásd még

Legjobb GIS fájlformátumok mobilalkalmazásokhoz

GIS fájlformátumok a FileFormat.com-on

Top 5 GIS fájlformátum a Google Maps-hez

Fájlformátum hírek

Fájlformátum fórumok