Pēdējoreiz atjaunināts: 20 Aug, 2026

Kas ir mākoņdatorā dzimti GIS failu formāti? Izstrādātāja ceļvedis
Ja kādreiz esat izveidojis ģeotelpisko cauruļvadu, jūs zināt “download-first” šauruma problēmu. Tradicionāli, ja jūsu lietojumprogrammai bija vajadzīgs 500x500 pikseļu robežlodziņš no 15 GB satelīta ainas — vai vēlējāties filtrēt desmit rindas no 4 GB pašvaldības zemes gabalu datu kopas — jums bija jālejupielādē viss fails, jāparsē tas atmiņā, un pēc tam jāizgriež tas gabals, kas patiešām interesēja.
Vienkārši augšupielādējot Shapefile, GeoJSON vai standarta GeoTIFF uz Amazon S3 spaini vai Google Cloud Storage, tas nepadara to mākoņdatora dzimto. Tas vienkārši liek mantotam failam atrasties kāda cita cietajā diskā.
Mākoņdatora dzimtais ĢIS failu formāti risina šo problēmu, pārstrukturējot, kā telpiskie dati tiek organizēti uz diska. Tā vietā, lai piespiestu klientus lasīt failus secīgi no sākuma līdz beigām, šie formāti ir izstrādāti tiešām, daļējām nolasēm pār tīklu. Izstrādātājiem tas atver serverless arhitektūras, būtiski samazina izvada (egress) izmaksas un ļauj tīmekļa klientiem vaicāt milzīgus datu kopumus tieši no statiskās objektu glabāšanas.
Mehānika: Kā mākoņdatorā dzimti ģeotelpiskie dati patiesi darbojas
Pirms iedziļināšanās konkrētās failu paplašinājumos, ir noderīgi izprast pamatā esošo inženierijas modeli, kas tos padara darbīgus. Gandrīz katrs mākoņdatora ģeotelpiskais formāts balstās uz trim galvenajiem mehānismiem:
- HTTP diapazona pieprasījumi (
GETarRangegalvenes): Standarta HTTP/1.1 un HTTP/2 atbalsta konkrētu baitu diapazonu pieprasīšanu no attālināta faila (piemēram,bytes=0-16383). Mākoņa objektu glabātuves, piemēram, AWS S3, Cloudflare R2 un Azure Blob Storage, iebūvēti atbalsta šo funkcionalitāti no paša sākuma. - Iepriekš ielādēta (vai paredzama) metadatu un telpisko indeksu informācija: Lai pieprasītu precīzus baitus, kas aptver ģeogrāfisko teritoriju, klientam vispirms ir vajadzīga faila iekšējās struktūras karte. Mākoņdatora formāti saglabā galvenes metadatus un telpiskos indeksus (piemēram, R-kokus vai robežkastes hierarhijas) paredzamā vietā — parasti faila pašā sākumā vai beigās. Klients veic vienu mazu sākotnējo pieprasījumu, lai nolasītu indeksu, aprēķina precīzus baitu nobīdes mērķa reģionam un ielādē tikai šos fragmentus.
- Iekšējā flīzēšana un gabalu sadalīšana: Tā vietā, lai saglabātu rastrus rindā pēc rindas vai vektorus kā plakanu teksta sienu, dati tiek sadalīti pašpietiekamos, saspiestajos blokos (flīzes, rindu grupas vai N-dimensiju gabali), kurus var izgūt un atspiest neatkarīgi.
Pamatmākoņdatorā dzimti GIS failu formāti
Nav viena formāta, kas valdītu visus. Pareiza formāta izvēle ir atkarīga no tā, vai jūs strādājat ar attēliem, tabulāriem vektoriem, kartes flīzēm, daudzdimensiju masīviem vai LiDAR punktu mākoņiem.
1. Mākoņoptimizēts GeoTIFF (COG) — Raster attēliem
A COG nav jauns īpašnieka faila veids; tas ir standarta GeoTIFF (.tif) ar stingru iekšējo struktūru, pieņemta kā oficiāls OGC standarts. Tā kā tas joprojām ir derīgs GeoTIFF, mantojuma darbvirsmas rīki, piemēram, QGIS un ArcGIS, to joprojām var atvērt, nepārtraukt darbību.
- Kā tas darbojas: Tā vietā, lai saglabātu pikseļus horizontālās skenēšanas līnijās visā attēlā, COG organizē pikseļus iekšējās flīzēs (parasti 512×512 pikseļi). Tas arī iekļauj pārskatus (iepriekš aprēķinātas, zemākas izšķirtspējas attēlu piramīdas) tajā pašā failā. Kad lietotājs attālinās uz tīmekļa kartes, klients ielādē zemrezolūcijas pārskatu flīzes; kad tas pietuvina, tiek ielādētas tikai augstas izšķirtspējas flīzes, kas krustojas ar skatlogu.
- Vislabāk piemērots: Satelītu attēli, gaisa ortomosaiki, digitālie augstuma modeļi (DEMs), un dinamiskie rastra flīžu serveri (piemēram, TiTiler).
COG ģenerēšana, izmantojot GDAL:
gdal_translate input.tif output_cog.tif \
-of COG \
-co COMPRESS=DEFLATE \
-co OVERVIEWS=IGNORE_EXISTING
2. GeoParquet — Lielu vektoru analītikai un datu noliktavām
Ja jūsu darba plūsma izskatās vairāk kā datu inženierija, nevis tradicionāla kartogrāfija, GeoParquet (.parquet) ir spēcīgais rīks. Balstīts uz Apache Parquet, tas saglabā ģeometrijas kā ISO standarta Well-Known Binary (WKB) kopā ar bagātīgiem tabulāriem atribūtiem.
- Kā tas darbojas: Atšķirībā no Shapefiles vai GeoJSON, kas saglabā datus rindas pa rindai, Parquet ir kolonārs. Ja veicat agregāciju
populationkolonnā pāri 50 miljoniem daudzstūru, dzinējs pilnīgi izlaiž smago ģeometrijas baitu nolasīšanu. GeoParquet arī iekļauj robežkastes metadatus katrā rindu grupā (un atbalsta telpisko kārtošanu, izmantojot Hilberta līknes vai H3 indeksus), ļaujot vaicājumu dzinējiem izlaist neatbilstošas daļas. - Vislabāk piemērots: Lielo mēroga telpiskā analīze, mākoņa datu noliktavas (Snowflake, BigQuery, Databricks) un serverless SQL dzinēji, piemēram, DuckDB.
Attālināta GeoParquet vaicāšana tieši ar DuckDB:
INSTALL spatial;
LOAD spatial;
SELECT land_use, COUNT(*) AS parcel_count
FROM read_parquet('s3://example-bucket/parcels.parquet')
WHERE ST_Intersects(geometry, ST_MakeEnvelope(-122.5, 37.7, -122.3, 37.8))
GROUP BY land_use;
3. FlatGeobuf — Vektoru funkciju straumēšanai uz tīmekļa
Kamēr GeoParquet spīd analītiskajās dzinējos, tā kājenes balstītā metadatu un kolonnu orientācija ne vienmēr ir ideāla, lai straumētu neapstrādātas vektoru ģeometrijas tieši pārlūkprogrammas kartē. Iepazīstieties ar FlatGeobuf (.fgb).
- Kā tas darbojas: Balstīts uz Google FlatBuffers binārās serializācijas bibliotēku, FlatGeobuf novieto pakotu Hilberta R-koka telpisko indeksu tieši faila sākumā. Tīmekļa klienti (piemēram, MapLibre GL JS, Leaflet vai OpenLayers) var izpildīt robežkastes vaicājumu, izmantojot HTTP diapazona pieprasījumus, un sākt attēlot elementus ekrānā, kamēr pārējie baiti joprojām tiek straumēti.
- Vislabāk piemērots: Aizstāt vairākus megabaitus lielus GeoJSON failus interaktīvās tīmekļa lietojumprogrammās, nepalaidot PostGIS/GeoServer aizmugursistēmu.
4. PMTiles — Bezservera vektoru un rastra pamata kartēm
Tradicionāli, interaktīvu kartes flīžu (/{z}/{x}/{y}.pbf) apkalpošana prasīja vai nu darbināt veltītu flīžu serveri (piemēram, Martin vai Tileserver-GL), vai arī augšupielādēt miljoniem mazu atsevišķu .pbf failu uz S3 — naktsmāksla kausa pārvaldībai un API pieprasījumu izmaksām.
- Kā tas darbojas: Izveidoja Protomaps, PMTiles (
.pmtiles) iepako visu Mapbox Vector Tiles (MVT) vai rastra flīžu piramīdu vienā arhīva failā. Tas izmanto grupētu direktoriju struktūru, kas optimizēta Hilberta līknes telpiskajai lokalitātei, kas nozīmē, ka pārlūkprogrammas kartes bibliotēka var izgūt flīzes tieši no viena statiskā faila S3 vai Cloudflare R2, izmantojot HTTP diapazona pieprasījumus. - Vislabāk piemērots: Nulles backend pielāgotām pamata kartēm, augstas apmeklējuma tīmekļa kartēm un bezsaistes mobilajām kartēšanas lietojumprogrammām.
5. Zarr — Daudzdimensiju zinātniskajiem datiem
NetCDF un HDF5 jau desmitgadēm dominē meteoroloģijā, okeanogrāfijā un klimata modelēšanā, bet to monolītiskās failu struktūras saskaras ar grūtībām izplatītās mākoņa vidēs. Zarr pārdomā N-dimensiju masīvus objektu glabāšanai.
- Kā tas darbojas: Zarr krātuve sadala milzīgus daudzdimensiju masīvus (piemēram,
time × latitude × longitude × altitude) mazos, vienmērīgi izmēra, saspiestus gabalus. Katrs gabals tiek glabāts kā atsevišķs objekts (vai konsolidēts, izmantojot Zarr v3 sadalīšanu) ar JSON metadatiem, kas apraksta masīva dimensijas. Desmitiem paralēlu darbinieku var vienlaicīgi lasīt vai rakstīt dažādus laika segmentus, neizraisot failu bloķēšanas konfliktus. - Vislabāk piemērots: Laika sēriju satelītu datakubi, laika prognozes, klimata modeļi un izplatītas Xarray/Dask apstrādes ķēdes.
6. Cloud-Optimized Point Cloud (COPC) — LiDAR
Izveidots kā paplašinājums standarta LAZ 1.4 kompresētajam LiDAR formātam, COPC (.copc.laz) organizē 3D punktu mākoņus klasterizētā oktāru struktūrā. Tāpat kā COG, tas saglabā atpakaļsaderību ar esošajiem LAS/LAZ lasītājiem, ļaujot tīmekļa skatītājiem (piemēram, Potree vai deck.gl) straumēt punktus, pamatojoties uz kameras redzes lauku un detalizācijas līmeni, nepielādējot daudzgiga‑baitu punktu mākoņus.
Izstrādātāju lēmumu matrica: kuru formātu izvēlēties?
| Datu veids | Primārā darba slodze | Labākais formāts | Aizstāts mantots formāts |
|---|---|---|---|
| Rastra / Attēli | Dinamisks flīzēšana, pikseļu analīze, tīmekļa vizualizācija | COG (.tif) | Neindeksēts GeoTIFF, JPEG2000 |
| Vector | SQL analītika, datu noliktavas, milzīgi savienojumi | GeoParquet (.parquet) | Shapefile, faila ģeodatu bāze |
| Vector | Straumēšana neapstrādātu elementu tieši uz pārlūkprogrammu | FlatGeobuf (.fgb) | Liels GeoJSON, KML |
| Iepriekšnoformētas flīzes | Bez servera interaktīvas tīmekļa kartes un mobilā režīmā bez interneta | PMTiles (.pmtiles) | MBTiles, ZXY mapes koks |
| N-dimensiju masīvi | Klīmatiski dati, laika sērijas rastri, paralēla skaitļošana | Zarr (.zarr) | NetCDF4, HDF5 |
| Punktu mākoņi | 3D tīmekļa vizualizācija & telpiskā LiDAR apakškopa | COPC (.copc.laz) | Standarta LAS / LAZ |
Svarīgi brīdinājumi, izvietojot produkcijā
Pāreja uz mākoņā dzimušiem formātiem vienkāršo jūsu aizmugurējo daļu, bet tas pārcel konfigurācijas atbildību uz jūsu mākoņa glabāšanas slāni. Uzmanieties no šiem trim biežajiem kritiskajiem brīžiem:
- Aizmirstot CORS galvenes: Ja pārlūkprogrammas lietojumprogramma (izmantojot MapLibre, OpenLayers vai
geotiff.js) veic HTTP diapazona pieprasījumu uz jūsu S3 spaini, spraugas Cross-Origin Resource Sharing (CORS) politika jā skaidri atļaujRangegalveniAllowedHeaderssarakstā un atklājContent-Range,Content-LengthunAccept-RangesExposeHeaders. Bez tam pieprasījumi pārlūkā klusi neizdosies. - Nesakārtotas GeoParquet rindu grupas: Pārvēršana no neapstrādāta Shapefile tieši uz GeoParquet automātiski nepadara robežkastes vaicājumus ātrus. Ja objekti ir izkliedēti nejauši pāri rindu grupām, vaicājumu dzinējam joprojām jāskan katra rindu grupa. Vienmēr kārtojiet savas ģeometrijas telpiski (piemēram, izmantojot Hilberta līkni caur
geopandasvaiDuckDBpirms rakstīšanas), lai telpiski tuvu esoši objekti atrastos tajās pašās rindu grupās. - Neoptimāli gabalu/kaļu izmēri: Mazas daļas (piemēram, 64×64 pikseļi) izraisa tūkstošiem HTTP pieprasījumu, palielinot latentumu un mākoņa API izmaksas. Milzīgas daļas (piemēram, 4096×4096 pikseļi) liek klientiem pārlādēt datus. Palieciet pie standarta noklusējuma—512×512 pikseļi COGiem un 10 MB līdz 100 MB uz gabalu Zarr vai GeoParquet rindu grupām.
Noslēgums
Cloud-native GIS failu formāti pārstāv būtisku pāreju no datu pārvietošanas uz skaitļošanu uz skaitļošanas (un vieglu diapazona pieprasījumu) pārvietošanu uz datiem. Apvienojot tādus formātus kā COG, GeoParquet, FlatGeobuf un PMTiles ar STAC (SpatioTemporal Asset Catalog) metadatiem, izstrādātāji var izveidot izturīgas, planētas mēroga kartēšanas un analītikas cauruļvadu uz lētas statiskas objektu glabāšanas—nav vajadzīga smaga telpiskā datubāze.
Biežāk uzdotie jautājumi (BUJ)
Q1. Kas padara GIS faila formātu par "cloud-native"? Formāts ir cloud-native, ja tas savieno priekšpienestāto telpisko indeksu ar iekšējo mozaīkas vai gabalu veidošanu, ļaujot klientiem izgūt mazas ģeogrāfiskas apakškopas, izmantojot HTTP diapazona pieprasījumus, nepielādējot visu failu.
Q2. Vai man ir nepieciešams veltīts GIS serveris, lai mitinātu COG, GeoParquet vai PMTiles failus? Nē—jūs varat tos mitināt jebkurā standartā statiskā objektu glabāšanas pakalpojumā, kas atbalsta HTTP diapazona pieprasījumus, piemēram, AWS S3, Google Cloud Storage, Azure Blob Storage vai Cloudflare R2.
Q3. Vai man vajadzētu izmantot GeoParquet vai FlatGeobuf maniem vektordatiem? Izmantojiet GeoParquet smagiem analītiskiem vaicājumiem, SQL dzinējiem (piemēram, DuckDB) un datu noliktavām, un izmantojiet FlatGeobuf, kad plūst neapstrādātas vektora funkcijas tieši uz pārlūkprogrammas kartes.
Q4. Vai mākoņoptimizēts GeoTIFF (COG) ir saderīgs ar tradicionālo darbvirsmas GIS programmatūru? Jā, jo COG ir stingri standarta GeoTIFF ar iekšējiem flīzēm un pārskata piramīdām, tas atveras nevainojami mantojuma rīkos, piemēram, QGIS, ArcGIS Pro un GDAL.
Q5. Kā PMTiles atšķiras no MBTiles? MBTiles balstās uz SQLite datubāzi (kas prasa servera puses kodu, lai veiktu vaicājumus tīmeklī), savukārt PMTiles organizē flīzes statiskā arhīvā, ko tīmekļa pārlūkprogrammas var nolasīt tieši, izmantojot HTTP diapazona pieprasījumus.
Skatīt arī
Labākie GIS failu formāti mobilajām lietotnēm
GIS failu formāti vietnē FileFormat.com