Paskutinį kartą atnaujinta: 2026 m. rugpjūčio 20 d.

Kas yra Debesų natūralūs GIS failų formatai? Kūrėjo vadovas
Jei kada nors kūrėte geografinės erdvės duomenų srautą, žinote, koks skausmas yra "download-first" siaurasis plotas. Tradiciškai, jei jūsų programa reikėjo 500×500 pikselių ribinio langelio iš 15 GB palydovinio vaizdo – arba norėjo filtruoti dešimt eilučių iš 4 GB savivaldybės sklypų duomenų rinkinio – turėjote atsisiųsti visą failą, įkelti jį į atmintį ir tada iškirpti tą dalį, kurią iš tikrųjų norėjote.
Paprastai įkelus Shapefile, GeoJSON arba standartinį GeoTIFF į Amazon S3 kibirą arba Google Cloud Storage, tai nepadaro jo debesų natyvu. Tai tik patalpina senąjį failą kieno nors kito kietajame diske.
Debesų natyvus GIS failų formatai išsprendžia šią problemą pertvarkydami, kaip erdvės duomenys organizuojami diske. Vietoj to, kad priverstų klientus skaityti failus nuosekliai nuo pradžios iki pabaigos, šie formatai sukurti tiesioginiams, daliniams skaitymams per tinklą. Programuotojams tai atveria serverless architektūras, drastiškai sumažina išėjimo (egress) išlaidas ir leidžia žiniatinklio klientams tiesiogiai užklausti milžiniškų duomenų rinkinių iš statinio objektų saugojimo.
Mechanika: Kaip iš tikrųjų veikia Debesų natūralūs geoduomenys
Prieš įsijaukiant į konkrečias failų plėtines, naudinga suprasti pagrindinį inžinerinį modelį, kuris juos veikia. Beveik kiekvienas debesų aplinkoje sukurtas geografinės informacijos formatas remiasi trim pagrindinėmis mechanikomis:
- HTTP Range Requests (
GETwithRangeheaders): Standartinis HTTP/1.1 ir HTTP/2 palaiko konkrečių baitų intervalų užklausas iš nuotolinio failo (pvz.,bytes=0-16383). Debesų objektų saugyklos, tokios kaip AWS S3, Cloudflare R2 ir Azure Blob Storage, natūraliai tai palaiko iš karto. - Front-Loaded (or Predictable) Metadata & Spatial Indexes: Norint gauti tikslius baitus, apimančius geografinę sritį, klientui pirmiausia reikia žemėlapio, kuriame nurodytas failo vidinis išdėstymas. Debesų aplinkoje sukurtos formatai saugo savo antraštės metaduomenis ir erdvinius indeksus (pvz., R-medžius arba ribų dėžės hierarchijas) numatytoje vietoje – dažniausiai paties failo pradžioje arba pabaigoje. Klientas atlieka vieną mažą pradinę užklausą, kad perskaitytų indeksą, apskaičiuoja tikslias baitų poslinkio reikšmes tikslinei sričiai ir parsiunčia tik tuos fragmentus.
- Vidinis plytelėjimas ir suskaidymas: Vietoj to, kad rastrus saugotumėte eilutė po eilutės arba vektorius kaip plokščią teksto sieną, duomenys skirstomi į savarankiškus, suspaustus blokų (plytelės, eilučių grupės arba N-dimensiniai gabalai), kuriuos galima atsiųsti ir išskleisti nepriklausomai.
Pagrindiniai Debesų natūralūs GIS failų formatai
Nėra vieno formato, kuris valdytų visus. Tinkamo formato pasirinkimas priklauso nuo to, ar dirbate su vaizdais, lentelės vektoriais, žemėlapių plytelėmis, daugiamačiais masyvais ar LiDAR taškų debesimis.
1. Debesų optimizuotas GeoTIFF (COG) — Rasteriniams vaizdams
COG nėra visiškai naujas nuosavybinis failo tipas; tai standartinis GeoTIFF (.tif) su griežta vidine struktūra, priimta kaip oficialus OGC standartas. Kadangi tai vis dar galiojantis GeoTIFF, senesnės darbalaukio priemonės, tokios kaip QGIS ir ArcGIS, vis dar gali jį atverti be problemų.
- Kaip tai veikia: Vietoj to, kad pikseliai būtų saugomi horizontaliomis skenavimo eilutėmis per visą vaizdą, COG organizuoja pikselius į vidines plyteles (dažniausiai 512×512 pikselių). Jis taip pat įterpia apžvalgas (iš anksto apskaičiuotas, mažesnės raiškos vaizdo piramidės) į tą patį failą. Kai naudotojas nutolsta (zoom out) žiniatinklio žemėlapyje, klientas parsiunčia mažos raiškos apžvalgos plyteles; kai priartėja (zoom in), jis parsiunčia tik aukštos raiškos plyteles, kurios kertasi su peržiūros zona.
- Geriausiai tinka: Palydovinis vaizdavimas, oro ortomosaikos, skaitmeniniai aukščio modeliai (DEM) ir dinaminiai rastrų plytelių serveriai (pvz., TiTiler).
Generuojamas COG naudojant GDAL:
gdal_translate input.tif output_cog.tif \
-of COG \
-co COMPRESS=DEFLATE \
-co OVERVIEWS=IGNORE_EXISTING
2. GeoParquet — Didelėms vektorinių analizių ir duomenų sandėlių
Jei jūsų darbo eiga primena labiau duomenų inžineriją nei tradicinę kartografiją, GeoParquet (.parquet) yra pagrindinis sprendimas. Sukurtas ant Apache Parquet, jis saugo geometrines formas kaip ISO standarto Well-Known Binary (WKB) kartu su turtingais lentelės atributais.
- Kaip tai veikia: Skirtingai nuo Shapefile arba GeoJSON, kurie saugo duomenis eilutė po eilutės, Parquet yra stulpelinė. Jei atliekate agregaciją
populationstulpelyje per 50 milijonų poligonų, variklis visiškai praleidžia sunkios geometrinės informacijos baitų skaitymą. GeoParquet taip pat įterpia ribų dėžutės metaduomenis kiekvienai eilutės grupei (ir palaiko erdvinį rūšiavimą naudojant Hilberto kreives arba H3 indeksus), leidžiant užklausų varikliams praleisti nereikalingus fragmentus. - Geriausiai tinka: Didelio masto erdvinė analizė, debesų duomenų sandėliai (Snowflake, BigQuery, Databricks) ir serverless SQL varikliai, tokie kaip DuckDB.
Užklausos nuotolinio GeoParquet tiesiogiai naudojant DuckDB:
INSTALL spatial;
LOAD spatial;
SELECT land_use, COUNT(*) AS parcel_count
FROM read_parquet('s3://example-bucket/parcels.parquet')
WHERE ST_Intersects(geometry, ST_MakeEnvelope(-122.5, 37.7, -122.3, 37.8))
GROUP BY land_use;
3. FlatGeobuf — Vektorinių elementų srautinimui į internetą
Nors GeoParquet puikiai veikia analitinėse varikliuose, jo poraštės pagrindu veikianti metaduomenų struktūra ir stulpelinė orientacija ne visada yra idealios transliuojant neapdorotas vektorines geometrines tiesiai į naršyklės žemėlapį. Įžengia FlatGeobuf (.fgb).
- Kaip tai veikia: Sukurtas remiantis „Google“ FlatBuffers dvejetainės serializacijos biblioteka, FlatGeobuf failo pradžioje įdeda supakuotą Hilberto R-medžio erdvinį indeksą. Žiniatinklio klientai (pvz., MapLibre GL JS, Leaflet arba OpenLayers) gali vykdyti ribų dėžės užklausą per HTTP diapazono užklausas ir pradėti atvaizduoti elementus ekrane, kol likusieji baitai vis dar srautinami.
- Geriausiai tinka: Pakeisti kelių megabaitų GeoJSON failus interaktyviose žiniatinklio programose, nepaleidžiant PostGIS/GeoServer serverio.
4. PMTiles — Be serverio vektorinių ir rastrinių pagrindinių žemėlapių
Tradiciškai, interaktyvių žemėlapio plytelių (/{z}/{x}/{y}.pbf) teikimas reikalavo arba dedikuoto plytelių serverio (pvz., Martin arba Tileserver-GL) veikimo, arba milijonų mažų atskirų .pbf failų įkėlimo į S3 – košmaras dėl kibiro valdymo ir API užklausų išlaidų.
- Kaip tai veikia: Sukurta Protomaps, PMTiles (
.pmtiles) supakuoja visą piramidę iš Mapbox vektorinių plytelių (MVT) arba rastrinių plytelių į vieną archyvo failą. Ji naudoja sugrupuotą katalogų struktūrą, optimizuotą Hilberto kreivės erdviniam lokalumui, tai reiškia, kad naršyklės žemėlapių biblioteka gali gauti plyteles tiesiogiai iš vieno statinio failo S3 arba Cloudflare R2 naudodama HTTP diapazono užklausas. - Geriausiai tinka: Nulinio backend’o pritaikyti baziniai žemėlapiai, didelio srauto internetiniai žemėlapiai ir neprijungusios mobiliosios kartografijos programos.
5. Zarr — Daugiamačiai moksliniai duomenys
NetCDF ir HDF5 dešimtmečius dominuoja meteorologijoje, vandenynų moksluose ir klimato modeliavimo srityse, tačiau jų monolitinės failų struktūros susiduria su sunkumais paskirstytose debesų aplinkose. Zarr iš naujo įsivaizduoja N-dimensinius masyvus objektų saugojimui.
- Kaip tai veikia: Zarr saugykla suskaido didžiules daugiadimensines masyvas (pvz.,
time × latitude × longitude × altitude) į mažus, vienodo dydžio, suspaustus fragmentus. Kiekvienas fragmentas saugomas kaip atskiras objektas (arba konsoliduojamas per Zarr v3 fragmentavimą) su JSON metaduomenimis, aprašančiais masyvo matmenis. Dešimtai paralelinių darbuotojų gali vienu metu skaityti arba rašyti skirtingus laiko skiltis be failų užrakinimo konfliktų. - Geriausiai tinka: Laiko serijų palydovinių duomenų kubų, orų prognozių, klimato modelių ir paskirstytų Xarray/Dask vamzdynų.
6. Cloud-Optimized Point Cloud (COPC) — LiDAR
Sukurtas kaip plėtinys standartiniam LAZ 1.4 suspaustam LiDAR formatui, COPC (.copc.laz) organizuoja 3D taškų debesis į suskirstytą oktų struktūrą. Kaip ir COG, jis lieka atgalinis suderinamumas su esamais LAS/LAZ skaitytuvais, leidžiant žiniatinklio peržiūros programoms (pvz., Potree arba deck.gl) transliuoti taškus pagal kameros šoną ir detalumo lygį be daugiagalio taškų debesų atsisiuntimo.
Kūrėjo sprendimų matrica: Kurį formatą pasirinkti?
| Duomenų tipas | Pagrindinė darbo apkrova | Geriausias formatas | Pakeistas senasis formatas |
|---|---|---|---|
| Rastras / Vaizdai | Dinaminis plytelėjimas, pikselių analizė, žiniatinklio vizualizacija | COG (.tif) | Neindeksuotas GeoTIFF, JPEG2000 |
| Vektorinis | SQL analizė, duomenų sandėliai, didžiuliai sujungimai | GeoParquet (.parquet) | Shapefile, failų geoduomenų bazė |
| Vektorinis | Srautinė neapdorotų elementų transliacija tiesiai į naršyklę | FlatGeobuf (.fgb) | Dideli GeoJSON, KML |
| Iš anksto stilizuoti plytelės | Be serverio interaktyvūs žiniatinklio žemėlapiai ir mobilusis neprisijungus | PMTiles (.pmtiles) | MBTiles, ZXY aplankų medžiai |
| N-D masyvai | Klimato duomenys, laiko eilučių rastrai, lygiagretus skaičiavimas | Zarr (.zarr) | NetCDF4, HDF5 |
| Taškiniai debesys | 3D žiniatinklio vizualizacija & erdvinis LiDAR atrinkimas | COPC (.copc.laz) | Standartinis LAS / LAZ |
Svarbūs nesklandumai diegiant į gamybą
Perėjimas prie debesų natūralių formatų supaprastina jūsų backendą, tačiau tai perkelia konfigūracijos atsakomybę į jūsų debesų saugojimo sluoksnį. Saugokitės šių trijų dažniausiai pasitaikančių klaidų:
- Pamirsti CORS antraštes: Jei naršyklės programa (naudojanti MapLibre, OpenLayers arba
geotiff.js) siunčia HTTP range užklausą į jūsų S3 kibirą, kibiro Cross-Origin Resource Sharing (CORS) politika privalo aiškiai leistiRangeantraštęAllowedHeadersir atskleistiContent-Range,Content-LengthbeiAccept-RangesExposeHeaders. Be to, užklausos naršyklėje tyliai nepavyks. - Nesurūšiuotos GeoParquet eilučių grupės: Konvertuojant neorganizuotą Shapefile tiesiai į GeoParquet, automatiškai nepadarysite ribų dėžės užklausų greitesnių. Jei elementai yra atsitiktinai paskirstyti per eilučių grupes, užklausų varikliui vis tiek teks nuskaityti kiekvieną grupę. Visada surūšiuokite savo geometrijas erdviniu būdu (pvz., naudodami Hilberto kreivę per
geopandasarbaDuckDBprieš rašymą), kad erdviniu požiūriu artimi elementai būtų toje pačioje eilučių grupėje. - Neoptimalūs gabalų/dazdelių dydžiai: Maži gabalai (pvz., 64×64 pikseliai) sukelia tūkstančius HTTP užklausų, didindami delsą ir debesų API išlaidas. Didžiuliai gabalai (pvz., 4096×4096 pikseliai) verčia klientus per daug atsisiųsti duomenų. Laikykitės standartinių numatytųjų—512×512 pikseliai COG’ams ir 10 MB–100 MB vienam gabalui Zarr arba GeoParquet eilučių grupėse.
Apibendrinimas
Debesų natūralūs GIS failų formatai reiškia esminį poslinkį nuo duomenų perkėlimo į skaičiavimą į skaičiavimo (ir lengvų diapazono užklausų) perkėlimą į duomenis. Derinant formatus, tokius kaip COG, GeoParquet, FlatGeobuf ir PMTiles, su STAC (SpatioTemporal Asset Catalog) metaduomenimis, kūrėjai gali sukurti patikimas, planetos masto žemėlapių ir analizės konvejerius ant nebrangios statinės objektų saugyklos — nereikia sunkaus erdvinio duomenų bazės.
Dažnai užduodami klausimai (DUK)
Q1. Kas daro GIS failų formatą "debesų natūraliu"? Formatą galima laikyti debesų natūraliu, kai jis sujungia iš anksto sukurtą erdvinį indeksą su vidiniu plytelėjimu arba suskaidymu, leidžiant klientams gauti mažus geografinės srities pogrupius per HTTP diapazono užklausas be viso failo atsisiuntimo.
Q2. Ar man reikia specialaus GIS serverio COG, GeoParquet arba PMTiles failų talpinimui? Ne—jūs galite juos talpinti bet kurioje įprastoje statinėje objektų saugykloje, kuri palaiko HTTP diapazono užklausas, pvz., AWS S3, Google Cloud Storage, Azure Blob Storage arba Cloudflare R2.
Q3. Ar turėčiau naudoti GeoParquet ar FlatGeobuf savo vektoriniams duomenims? Naudokite GeoParquet sunkioms analitinėms užklausoms, SQL varikliams (pvz., DuckDB) ir duomenų sandėliams, o FlatGeobuf naudokite, kai transliuojate neapdorotas vektorines funkcijas tiesiai į naršyklės žemėlapį.
Q4. Ar debesų optimizuotas GeoTIFF (COG) yra suderinamas su tradicine darbalaukio GIS programine įranga? Taip, nes COG yra tiesiog standartinis GeoTIFF su vidiniais plytelėmis ir apžvalgos piramidėmis, jis atsidaro sklandžiai senesnėse priemonėse, tokių kaip QGIS, ArcGIS Pro ir GDAL.
Q5. Kaip PMTiles skiriasi nuo MBTiles? MBTiles remiasi SQLite duomenų baze (kuri reikalauja serverio pusės kodo užklausoms per internetą), tuo tarpu PMTiles organizuoja plyteles į statinį archyvą, kurį žiniatinklio naršyklės gali skaityti tiesiogiai per HTTP diapazono užklausas.
Taip pat žiūrėkite
Geriausi GIS failų formatai mobiliosioms programoms
GIS failų formatai FileFormat.com