Python - Adatletöltés és -feldolgozás automatizálása

2019. január 9-én megjelent egy írás (Ínséges napok címmel) a Dunai Szigetek blogon, mely hidrológiai adatok statisztikai feldolgozásának eredményeit ismertette. A szerzővel a cikk megjelenése előtt röviden beszélgettünk erről az elemzésről, tettünk néhány javaslatot is az adatkezelésre, -vizualizációra vonatkozóan. Sajnos nem volt annyi időnk a közös munkára, hogy igazán elmélyedjünk a témában és részleteiben is megismerhessük az adatokat. Úgy tűnt azonban, hogy van még potenciál ebben a témában, így a szerző által is leírt adatgyűjtési utat követve ellátogattam a Hydroinfo archívumába, hogy letöltsem több mint 130 év budapesti vízmércére vonatkozó vízállás adatait. Először elkezdtem manuálisan leszedni az adatokat, ám nagyjából a tizedik év után eluntam és elkezdtem az automatizálás lehetőségén törni a fejemet. Ebben a cikkben ezt az automatizálási folyamatot és a hozzá készített szkriptet mutatom be, az adatok elemzésének eredményeit egy későbbi cikkben ismertetem majd.

Címkék:
Webes térinformatika - PaciTrip 2. rész (Téradatok előkészítése)

Folytatom korábban megkezdett sorozatunkat, mely során egy webes térképes alkalmazás felépítésének lépéseit mutatom be. Az előző részben (Ötlet, koncepció, vázlat) ismertettem, hogyan született meg az utazásaink útvonalát megjelenítő alkalmazás ötlete, milyen koncepciót fogalmaztam meg és milyen (vázlatos) felhasználói felület lebeg a szemem előtt. Ebben a részben a téradatok előkészítéséről lesz szó. Megmutatom, hogyan töltöttem le az állomások pontjait és az útvonalszakaszok vonalait, hogyan csatoltam ehhez alfanumerikus leíró adatokat és milyen formátumba exportáltam, hogy aztán az alkalmazás könnyen fel tudja használni ezeket.

Címkék: , ,
Webes térinformatika - PaciTrip 1. rész (Ötlet, koncepció, vázlat)

Ezúttal egy hosszabb utazásra invitállak benneteket, amely során megmutatom, hogyan építek fel egy webes térképes alkalmazást, amelyen korábbi utazásaim (nyaralásaim) útvonalait, állomásait lehet majd megtekinteni. Előzetes terveim szerint 8 részben írom le, hogyan juthattok el ti is az ötlettől a mindenki számára böngészhető alkalmazásig. Ez idő alatt használunk majd QGIS-t a téradatok előkészítéséhez, írunk majd HTML, CSS, Javascript kódokat, megismerkedünk az OpenLayers és a jQuery librarykkal, s végül megmutatom, én hogyan publikálom a térképet, hogy aztán bárki megtekinthesse.

R - Leíró statisztika és korrelációs mátrix készítése

Amikor egy új, ismeretlen adathalmaz elemzése a feladat, az első lépés többnyire a leíró statisztikák (szélső értékek, szórás, stb.) vizsgálata. Amennyiben a különböző változók közötti lehetséges összefüggések feltárása is cél, egy későbbi lépésben hasznos eszköz lehet egy korrelációs mátrix is. Egy statisztikai elemző program (pl. SPSS vagy SAS) ezeket könnyen, gyorsan elő tudja számunkra állítani, ám sajnos nem mindig áll rendelkezésünkre ilyen eszköz. Az Excel általában kéznél van, a feladat meg is oldható a segítségével (a korrelációs mátrix készítéséről mi is írtunk korábban), de a leíró statisztikához szükséges függvényeket beírni idő- és energiaigényesebb. Az R statisztikai programozási nyelv használata: az eredmény gyorsan és egyszerűen előállítható, a környezet pedig ingyenesen hozzáférhető.

Címkék:
Dinamikus dátum kiemelés Excel diagramon

Egy korábbi cikkünk (Dátumfejléc automatizálása Excelben) arról szólt, hogy miként lehet dinamikusan módosuló dátum mezőt létrehozni, ebben a cikkben pedig azt fogjuk megnézni, hogyan is lehet egy diagramon kiemelni bizonyos napokat vagy éppenséggel hónapokat úgy, hogy a dátumok frissülésének hatására is a megfelelő napok, hónapok kerüljenek kiemelésre, azaz a diagram lekövesse a változást.

Címkék:
QGIS - WFS réteg használata

Korábban már írtam a távoli szerveren tárolt adatok szolgáltatásokon keresztül történő eléréséről, s kiemelten a Web Map Service (WMS) használatáról. Most egy másik szolgáltatás, az adatok vektoros állományként történő elérését lehetővé tevő Web Feature Service (WFS) sajátosságait és QGIS környezetben való használatát szeretném bemutatni.

Címkék: ,
QGIS - WMS réteg használata

Egyre gyakoribb, hogy az elemzések során használt adatok nem a saját számítógépünkön találhatók, hanem egy távoli szerveren, amelyet belső hálózaton vagy interneten keresztül érünk el. A távoli adatok használatának támogatására sokféle technikai megoldás született a közvetlen fájl- vagy adatbázis hozzáféréstől a célalkalmazásokon keresztül történő elérésig. Egyre elterjedtebb a köztes megoldásként is értelmezhető, szolgáltatásokon (service-ken) keresztül történő adatelérés, amely a szolgáltatás létrehozásakor meghatározott műveleteket teszi csupán lehetővé, ugyanakkor nem igényli speciális célalkalmazás fejlesztését. Távoli szervereken tárolt téradatok elérésére született egyik megoldás a Web Map Service (WMS), melynek használatát mutatom be QGIS környezetben.

Címkék: ,
Korrelációs mátrix Excel segítségével

Ebben a cikkben azt fogjuk górcső alá venni, hogy miként is lehet Excel segítségével korrelációs mátrixot készíteni, hiszen gyakran előfordulhat olyan eset a munkánk során, hogy szükségünk lenne az egyes változók között fennálló kapcsolat milyenségét és irányát leíró információra, azonban hirtelen nem áll rendelkezésünkre statisztikai elemző eszköz, csak az Excel. 

Címkék:

1. oldal / 4

© 2017 AdatTérKép