Verifikáció
A meteorológiai előrejelzéseket numerikus modellek eredményei alapján készítjük.
Ahhoz, hogy meg tudjuk állapítani, hogy egy modell előrejelzése jó volt-e vagy sem,
valamilyen statisztikai mérőszámra van szükségünk. Ezeket a mérőszámokat az
előrejelzések és a megfigyelések számszerű összehasonlítása során kapjuk.
A mérőszámok segítségével össze tudjuk hasonlítani a különböző modelleket.
Ezt a kiértékelési eljárást nevezzük verifikációnak.
A verifikáció típusai
Beszélhetünk objektív és szubjektív verifikációról is. A verifikáció objektív,
ha adott pontban vagy a modell számítási rácsára vonatkozó számszerű értékekből
készítünk statisztikát, s ezeket grafikusan ábrázoljuk. Szubjektív verifikációról
akkor beszélünk, ha nemcsak a számszerű értékeket hasonlítjuk össze, hanem az
egyes meteorológiai paramétereket térképesen is ábrázoljuk, és ezeket vizuálisan
hasonlítjuk össze. A mezők szerkezete, s a térbeli elhelyezkedés is befolyásolja
a minősítést.
Miért fontos a verifikáció?
A modellek fejlesztői és az előrejelzéseket készítő meteorológus szakemberek számára
is hasznos információt szolgáltatnak az egyes modellek verifikációs mérőszámai.
A modellek fejlesztői számára azért fontos a modellek beválásának ismerete, mert
ezek visszajelzést adnak a kutatónak, hogy mely meteorológiai elem előrejelzésén
kell javítani, melyik paraméternél fordulnak elő szisztematikus hibák. Emellett a
fejlesztők a verifikációs eredmények folyamatos követésével gyorsan és könnyen
ellenőrizhetik a modell hibáit és azoknak javulását. Az előrejelzéseket készítő
meteorológusok számára is hasznos információk verifikációs mérőszámok, mert ezáltal
visszajelzést kapnak arról, hogy milyen beválású volt a modellek prognózisa, s ezt
összehasonlíthatják az általuk készített előrejelzéssel, s annak beválásával.
Verifikációs eljárások, megjelenítési típusok
A következőkben a determinisztikus előrejelzésekkel fogunk foglalkozni, először a
folytonos, majd a diszkrét eloszlású verifikációs lehetőségeket mutatjuk be.
Folytonos eloszlású verifikációs eljárások
A meteorológiai paramétereknél használhatunk eloszlás diagramokat (scatter plots),
különböző hibastatisztikákat és ún. eredményességi vagy beválási tényezőket(skill scores).
Eloszlás diagramok
A diagramok esetében csak vizuális képet kaphatunk az előrejelzés megbízhatóságáról.
Ilyen, pl. a megfigyelés/előrejelzés, vagy a megfigyelés/megfigyelés és előrejelzés
eltérések összefüggéseinek az ábrázolása. Ezzel a módszerrel készíthetjük el a
scatter plot ábrákat (1. ábra). Az 1. ábrán látható két diagram x tengelyén a
megfigyeléseket, a bal oldali diagram y tengelyen az előrejelzéseket, a jobb oldali
diagram y tengelyén pedig az előrejelzések és a megfigyelések különbségeit
tüntettük fel. Ennek megfelelően egy megfigyelés - előrejelzés párt egy ponttal
tudunk ábrázolni a diagramon. Egy kiválasztott időszakban és területen az összes
megfigyelés - előrejelzés párt ábrázoljuk, s így kapjuk a scatter plot diagramot.
Ezek azonban nem nyújtanak információt az előrejelzés megbízhatóságára vonatkozóan.
Készíthetünk diagramot az előrejelzések és a megfigyelések ábrázolásával másképpen
is, mégpedig úgy, hogy megszámláljuk (egymástól függetlenül), hogy hány előrejelzés
és megfigyelés esett az általunk meghatározott érték intervallumokba. Így kapjuk a
valószínűségi sűrűségfüggvényt (Probability density function, PDF) (2. ábra). Ezt
a diagramot is készíthetjük a megfigyelés és az előrejelzés eltérésére is.
1. ábra Az ECMWF modell egy három hónapos
időszakának scatter plot diagramjai. A bal oldali ábrán a megfigyelés
és az előrejelzés párokat ábrázoltuk, míg a jobb oldali ábrán a
megfigyelés és az előrejelzés és megfigyelés eltéréseinek párjait.
2. ábra Az ECMWF modell
egy három hónapos időszakára vonatkozó PDF diagramok. A bal oldali ábrán a
megfigyelések (kék) és az előrejelzések (piros) relatív gyakorisága van
feltüntetve, a jobb oldali ábrán pedig az előrejelzés hibájának relatív
gyakorisága látható.
Verifikációs hibastatisztikák
A hibastatisztikák közül a legegyszerűbb a szisztematikus hiba, vagy BIAS:
,
ahol mi az i-edik megfigyelést és ei az i-edik
előrejelzést jelöli. A tökéletes előrejelzés esetén a BIAS=0. Meg
kell azonban jegyeznünk, hogy 0 érték esetén is előfordulhat, hogy
az előrejelzés számottevő hibával terhelt, mert az összegzés során
a nagy negatív és nagy pozitív hibák kioltják egymást, így 0 közeli
értéket kapunk az összegre és az átlagra is.
A hibastatisztikák további változatai, így az abszolút
hiba (Mean absolut error - MAE), és a négyzetes hiba (Mean square error
- MSE), illetve ennek négyzetgyöke (Root mean square error - RMSE) ezt
a sajátosságot nem tartalmazzák.
A beválási tényezőket, vagy skill score-okat (SS) úgy
kapjuk meg, hogy a különböző hibastatisztikákat elosztjuk egy referencia
szint hibastatisztikájával, majd az eredményt kivonjuk 1-ből:
Az előbbiekben bemutatott mérőszámokat az idő
függvényében kétféleképpen is ábrázolhatjuk:
a) A valós idő függvényében : ez azt jelenti, hogy a modellek
hibastatisztikáit kiszámítjuk minden nap egy adott időlépcsőjére
vonatkozóan, egy pontban vagy egy kiválasztott területre, ezeket
átlagoljuk, s ábrázoljuk (3. ábra). Időlépcsőnek nevezzük azt az
időkülönbséget, amely megmutatja, hogy a futtatás időpontjától
számítva, melyik időpontra vonatkozik az előrejelzés.
3. ábra Ez a két
ábra két modell előrejelzésének RMSE és BIAS értékeit ábrázolja a
valós idő függvényében. A vízszintes tengelyen az idő hónap/nap
formátumban, a függőleges tengelyen pedig a hibák értéke látható
az adott paraméter mértékegységében. Az ábra címéből leolvasható,
hogy milyen időszakra és melyik paraméterre készült. A
jelmagyarázatból pedig azt tudhatjuk meg, hogy milyen modellekre,
milyen területre és melyik időlépcsőre végeztük el a számításokat.
Az ábrákon az x tengely 0 szintjét kék színnel kiemeltük a jobb
átláthatóság kedvéért.
b) Időlépcsők szerinti ábrázolás : a mérőszámoknak nemcsak a
valós időbeli menetét ábrázolhatjuk, hanem azt is megvizsgálhatjuk, hogy az egyes
modellek az előrejelzési idő előre haladtával hogyan válnak be. Ezt az időlépcső
szerinti átlagolással oldjuk meg. Ebben az esetben egy adott pontra vagy területre
és egy adott időszakra átlagoljuk külön-külön az egyes időlépcsők hibastatisztikáit,
s ezeket grafikusan ábrázoljuk (4. ábra).
4. ábra
Ez az ábra két modell előrejelzésének RMSE és BIAS hibáit ábrázolja
az időlépcsők függvényében. A vízszintes tengelyen az időlépcsők,
a függőleges tengelyen a hibák értéke látható az adott paraméter
mértékegységében.
Diszkrét eloszlású verifikáció
A diszkrét eloszlású verifikációnál megkülönböztetünk két- és többkategóriás
előrejelzéseket. Léteznek k=2 kategóriás (pl. esik, vagy nem esik), k=3 kategóriás
előrejelzések (pl. a borultság mértéke 0-2, 3-5 vagy 6-8 okta), továbbá k>3 számú
kategóriába sorolható előrejelzések.
A következőkben a kétkategóriás módszert mutatjuk be. Első lépésben ún.
kontingencia táblázatot készítünk, amely az eltalált, vagy eltévesztett előrejelzéseket
számlálja:
Előrejelzés
|
Megfigyelés
|
Igen
|
Nem
|
Összesen
|
Igen
|
a helyes "Hit"
|
b téves riasztás "False Alarm"
|
a+b
|
Nem
|
c hibás elvetés "Miss"
|
d helyes elvetés "Correct Rejection"
|
c+d
|
Összesen
|
a+c
|
b+d
|
a+b+c+d
|
Az előrejelzés beválását ebből a táblázatból többféle képlettel is kiszámolhatjuk.
A teljesség igénye nélkül felsorolunk néhányat:
- A folytonos eloszlású meteorológiai paramétereknél már említett a BIAS-hoz
hasonlóan itt a FBI (Frequency BIAS Index) képletét a következőként definiálhatjuk:
Az 1 érték jelentené a tökéletes előrejelzést, ami itt sem
azt jelenti, hogy hiba nélküli, hanem, hogy ugyanannyi esetben jeleztük előre
azt az eseményt, ami nem következett be ("False Alarm", téves riasztás),
mint amennyi esetben nem jeleztük előre a bekövetkezett eseményt ("Miss",
hibás elvetés).
- A beválást értékelő egyik legkézenfekvőbb hibastatisztika a
Proportion Correct:
,
ahol a tökéletes előrejelzés esetén PC=1.
- Nagyon elterjedt a Probability of Detection mérőszám:
,
amit főleg extrém időjárási események vonatkozásában használnak.
Tökéletes előrejelzést itt is a POD=1 jelenti.
- Mivel a POD nem ad információt a téves riasztás mértékéről, ezért gyakran
együtt szokták vizsgálni a False alarm ratio mérőszámmal:
.
Tökéletes előrejelzés esetén a POD=1 és a FAR=0.
-
E két hibastatisztika mellé hasznos lehet megvizsgálni a False alarm rate értékét is:
.
Ezeket a hibastatisztikákat az
5. ábrán is láthatjuk a jobb oldali felsorolásban:
5. ábra
Kontingencia táblázat a 24 órás csapadékösszeg egzisztenciájára.
Leolvashatóak az ábráról a táblázat elemei, és az ezekre
vonatkozó hibastatisztikák értékei is.
A szélirány előrejelzések beválását nemcsak az eddig említett módszerekkel
vizsgálhatjuk, hanem alkalmazhatunk más módszert is. Ábrázolhatjuk a szélirány
előrejelzések beválását kicsit szemléletesebben, kördiagramon. Első lépésként
különválasztjuk a 4 fő irány szerint az eseteket. A meteorológiában a szél
irányának azt az égtájat nevezzük, amely felől fúj a szél. Az északi irányt
tekintjük 0-nak, s ettől az óramutató járásával egyező irányban számítjuk a
fokokat. Az északi szél definícióját úgy adjuk meg, hogy az összes megfigyelés
közül a 315°, és a 45° közé eső szeleket nevezzük északi szélnek. Hasonlóan
meghatározzuk a keleti, a déli és a nyugati szeleket is. Emellett az
előrejelzéseket is megvizsgáljuk, hogy amennyiben a megfigyelés északi szél
volt, az előrejelzés mit adott. Majd, az előrejelzések beválását egy kördiagramon
ábrázoljuk. A 6. ábrán látható a 4 szélirányra vonatkozó kördiagram.
6. ábra
Egy kiválasztott modell szélirány előrejelzéseinek verifikációja kördiagramon.
A diagramokon zöld színnel vannak kiemelve a legjobb előrejelzések, sárgával
a kevésbé jók, és pirossal a rosszak vannak feltüntetve. A diagram szélén
látható számok a fokokat mutatják, a körcikkek melletti számok pedig az
adott tartományra vonatkozó százalékos beválást.
Fejlesztések az osztály verifikációs tevékenységében
Osztályunk folyamatosan nyomon követi a rendelkezésre álló numerikus
előrejelzések viselkedését és verifikációs eredményeit.
A verifikációs munkát segíti az osztály által fejlesztett objektív
verifikációs rendszer (OVISYS - 7. ábra). Ez egy olyan webes rendszer,
amelynek segítségével könnyen és gyorsan készíthetőek verifikációs ábrák
az általunk tárolt modellek előrejelzéseire. Működésének alapja egy adatbázis,
amelyben a modellek előrejelzési adatait és a megfigyeléseket tároljuk.
A rendszer egy webes felületen keresztül használható, ahol kiválaszthatóak
a modellek, időszakok, paraméterek, időlépcsők és az ábratípusok is.
A kiválasztott ábrának megfelelő adatokat egy program kiolvassa az adatbázisból
és kiszámítja a kért hibastatisztikákat, majd ezeket a megfelelő diagramtípuson
ábrázolja. A kész ábrák szintén a webes felületen jelennek meg.
7. ábra Az objektív verifikációs rendszer webes felülete.
A felület bal oldalán egy állandó menüsor látható, ez segíti a felhasználót
a paraméterek kiválasztása során. A jobb oldalon a már kiválasztott ábrák
információi láthatóak. A középső rész dinamikusan változik az éppen
megnyitott menüpont alapján.
Az osztályon több éve folyamatosan működik a szubjektív verifikációs rendszer is
(8. ábra), amelyben minden nap 4 modell szubjektív kiértékelését végezzük el.
Ezt a rendszert is folyamatosan továbbfejlesztjük, az adatokat és eredményeket
egy adatbázis rendszerezi és tárolja, s a felhasználói felület itt is webes
formában működik.
8. ábra A szubjektív verifikációs rendszer webes felülete.
A felületnek két fő funkciója van, az adatbevitel és a lekérdezés. Ezen
a példán az adatbevitel lapja látható. A bal oldali menü alapján változik a
főablak, és ennek segítségével lehet bevinni az adatokat az adott nap időjárási
helyzetére vonatkozóan, illetve az egyes meteorológiai paraméterek értékelését.
Emellett fel lehet tölteni képeket, amelyeket fontosnak tartunk a helyzet
megítélése során, és megtekinthetőek az objektív verifikációs rendszer által
készített ábrák is.