omsz
>>
    OMSZ      IDŐJÁRÁS      ÉGHAJLAT      LEVEGŐKÖRNYEZET      ISMERET-TÁR   
Kutatás és fejlesztés |  Numerikus prognosztika |  Levegőkörnyezet-elemzés 
Felbontás: KicsiFelbontás: NormálFelbontás: KözepesFelbontás: NagyobbFelbontás: Nagy Copyright © 

Verifikáció

A meteorológiai előrejelzéseket numerikus modellek eredményei alapján készítjük. Ahhoz, hogy meg tudjuk állapítani, hogy egy modell előrejelzése jó volt-e vagy sem, valamilyen statisztikai mérőszámra van szükségünk. Ezeket a mérőszámokat az előrejelzések és a megfigyelések számszerű összehasonlítása során kapjuk. A mérőszámok segítségével össze tudjuk hasonlítani a különböző modelleket. Ezt a kiértékelési eljárást nevezzük verifikációnak.

A verifikáció típusai

Beszélhetünk objektív és szubjektív verifikációról is. A verifikáció objektív, ha adott pontban vagy a modell számítási rácsára vonatkozó számszerű értékekből készítünk statisztikát, s ezeket grafikusan ábrázoljuk. Szubjektív verifikációról akkor beszélünk, ha nemcsak a számszerű értékeket hasonlítjuk össze, hanem az egyes meteorológiai paramétereket térképesen is ábrázoljuk, és ezeket vizuálisan hasonlítjuk össze. A mezők szerkezete, s a térbeli elhelyezkedés is befolyásolja a minősítést.

Miért fontos a verifikáció?

A modellek fejlesztői és az előrejelzéseket készítő meteorológus szakemberek számára is hasznos információt szolgáltatnak az egyes modellek verifikációs mérőszámai. A modellek fejlesztői számára azért fontos a modellek beválásának ismerete, mert ezek visszajelzést adnak a kutatónak, hogy mely meteorológiai elem előrejelzésén kell javítani, melyik paraméternél fordulnak elő szisztematikus hibák. Emellett a fejlesztők a verifikációs eredmények folyamatos követésével gyorsan és könnyen ellenőrizhetik a modell hibáit és azoknak javulását. Az előrejelzéseket készítő meteorológusok számára is hasznos információk verifikációs mérőszámok, mert ezáltal visszajelzést kapnak arról, hogy milyen beválású volt a modellek prognózisa, s ezt összehasonlíthatják az általuk készített előrejelzéssel, s annak beválásával.

Verifikációs eljárások, megjelenítési típusok

A következőkben a determinisztikus előrejelzésekkel fogunk foglalkozni, először a folytonos, majd a diszkrét eloszlású verifikációs lehetőségeket mutatjuk be.

Folytonos eloszlású verifikációs eljárások

A meteorológiai paramétereknél használhatunk eloszlás diagramokat (scatter plots), különböző hibastatisztikákat és ún. eredményességi vagy beválási tényezőket(skill scores).

Eloszlás diagramok

A diagramok esetében csak vizuális képet kaphatunk az előrejelzés megbízhatóságáról. Ilyen, pl. a megfigyelés/előrejelzés, vagy a megfigyelés/megfigyelés és előrejelzés eltérések összefüggéseinek az ábrázolása. Ezzel a módszerrel készíthetjük el a scatter plot ábrákat (1. ábra). Az 1. ábrán látható két diagram x tengelyén a megfigyeléseket, a bal oldali diagram y tengelyen az előrejelzéseket, a jobb oldali diagram y tengelyén pedig az előrejelzések és a megfigyelések különbségeit tüntettük fel. Ennek megfelelően egy megfigyelés - előrejelzés párt egy ponttal tudunk ábrázolni a diagramon. Egy kiválasztott időszakban és területen az összes megfigyelés - előrejelzés párt ábrázoljuk, s így kapjuk a scatter plot diagramot. Ezek azonban nem nyújtanak információt az előrejelzés megbízhatóságára vonatkozóan.

Készíthetünk diagramot az előrejelzések és a megfigyelések ábrázolásával másképpen is, mégpedig úgy, hogy megszámláljuk (egymástól függetlenül), hogy hány előrejelzés és megfigyelés esett az általunk meghatározott érték intervallumokba. Így kapjuk a valószínűségi sűrűségfüggvényt (Probability density function, PDF) (2. ábra). Ezt a diagramot is készíthetjük a megfigyelés és az előrejelzés eltérésére is.

1. ábra  Az ECMWF modell egy három hónapos időszakának scatter plot diagramjai. A bal oldali ábrán a megfigyelés és az előrejelzés párokat ábrázoltuk, míg a jobb oldali ábrán a megfigyelés és az előrejelzés és megfigyelés eltéréseinek párjait.
2. ábra  Az ECMWF modell egy három hónapos időszakára vonatkozó PDF diagramok. A bal oldali ábrán a megfigyelések (kék) és az előrejelzések (piros) relatív gyakorisága van feltüntetve, a jobb oldali ábrán pedig az előrejelzés hibájának relatív gyakorisága látható.

Verifikációs hibastatisztikák

A hibastatisztikák közül a legegyszerűbb a szisztematikus hiba, vagy BIAS:

 ,

ahol mi az i-edik megfigyelést és ei az i-edik előrejelzést jelöli. A tökéletes előrejelzés esetén a BIAS=0. Meg kell azonban jegyeznünk, hogy 0 érték esetén is előfordulhat, hogy az előrejelzés számottevő hibával terhelt, mert az összegzés során a nagy negatív és nagy pozitív hibák kioltják egymást, így 0 közeli értéket kapunk az összegre és az átlagra is.

A hibastatisztikák további változatai, így az abszolút hiba (Mean absolut error - MAE), és a négyzetes hiba (Mean square error - MSE), illetve ennek négyzetgyöke (Root mean square error - RMSE) ezt a sajátosságot nem tartalmazzák.

A beválási tényezőket, vagy skill score-okat (SS) úgy kapjuk meg, hogy a különböző hibastatisztikákat elosztjuk egy referencia szint hibastatisztikájával, majd az eredményt kivonjuk 1-ből:

Az előbbiekben bemutatott mérőszámokat az idő függvényében kétféleképpen is ábrázolhatjuk:

a)  A valós idő függvényében :   ez azt jelenti, hogy a modellek hibastatisztikáit kiszámítjuk minden nap egy adott időlépcsőjére vonatkozóan, egy pontban vagy egy kiválasztott területre, ezeket átlagoljuk, s ábrázoljuk (3. ábra). Időlépcsőnek nevezzük azt az időkülönbséget, amely megmutatja, hogy a futtatás időpontjától számítva, melyik időpontra vonatkozik az előrejelzés.

3. ábra  Ez a két ábra két modell előrejelzésének RMSE és BIAS értékeit ábrázolja a valós idő függvényében. A vízszintes tengelyen az idő hónap/nap formátumban, a függőleges tengelyen pedig a hibák értéke látható az adott paraméter mértékegységében. Az ábra címéből leolvasható, hogy milyen időszakra és melyik paraméterre készült. A jelmagyarázatból pedig azt tudhatjuk meg, hogy milyen modellekre, milyen területre és melyik időlépcsőre végeztük el a számításokat. Az ábrákon az x tengely 0 szintjét kék színnel kiemeltük a jobb átláthatóság kedvéért.

b)  Időlépcsők szerinti ábrázolás : a mérőszámoknak nemcsak a valós időbeli menetét ábrázolhatjuk, hanem azt is megvizsgálhatjuk, hogy az egyes modellek az előrejelzési idő előre haladtával hogyan válnak be. Ezt az időlépcső szerinti átlagolással oldjuk meg. Ebben az esetben egy adott pontra vagy területre és egy adott időszakra átlagoljuk külön-külön az egyes időlépcsők hibastatisztikáit, s ezeket grafikusan ábrázoljuk (4. ábra).

4. ábra  Ez az ábra két modell előrejelzésének RMSE és BIAS hibáit ábrázolja az időlépcsők függvényében. A vízszintes tengelyen az időlépcsők, a függőleges tengelyen a hibák értéke látható az adott paraméter mértékegységében.

Diszkrét eloszlású verifikáció

A diszkrét eloszlású verifikációnál megkülönböztetünk két- és többkategóriás előrejelzéseket. Léteznek k=2 kategóriás (pl. esik, vagy nem esik), k=3 kategóriás előrejelzések (pl. a borultság mértéke 0-2, 3-5 vagy 6-8 okta), továbbá k>3 számú kategóriába sorolható előrejelzések.

A következőkben a kétkategóriás módszert mutatjuk be. Első lépésben ún. kontingencia táblázatot készítünk, amely az eltalált, vagy eltévesztett előrejelzéseket számlálja:

Előrejelzés Megfigyelés
Igen Nem Összesen
Igen a
helyes
"Hit"
b
téves riasztás
"False Alarm"
a+b
Nem c
hibás elvetés
"Miss"
d
helyes elvetés
"Correct Rejection"
c+d
Összesen a+c b+d a+b+c+d

Az előrejelzés beválását ebből a táblázatból többféle képlettel is kiszámolhatjuk. A teljesség igénye nélkül felsorolunk néhányat:

  • A folytonos eloszlású meteorológiai paramétereknél már említett a BIAS-hoz hasonlóan itt a FBI (Frequency BIAS Index) képletét a következőként definiálhatjuk:

    Az 1 érték jelentené a tökéletes előrejelzést, ami itt sem azt jelenti, hogy hiba nélküli, hanem, hogy ugyanannyi esetben jeleztük előre azt az eseményt, ami nem következett be ("False Alarm", téves riasztás), mint amennyi esetben nem jeleztük előre a bekövetkezett eseményt ("Miss", hibás elvetés).

  • A beválást értékelő egyik legkézenfekvőbb hibastatisztika a Proportion Correct:

     , ahol a tökéletes előrejelzés esetén PC=1.

  • Nagyon elterjedt a Probability of Detection mérőszám:

     , amit főleg extrém időjárási események vonatkozásában használnak.
    Tökéletes előrejelzést itt is a POD=1 jelenti.

  • Mivel a POD nem ad információt a téves riasztás mértékéről, ezért gyakran együtt szokták vizsgálni a False alarm ratio mérőszámmal:

     . Tökéletes előrejelzés esetén a POD=1 és a FAR=0.

  • E két hibastatisztika mellé hasznos lehet megvizsgálni a False alarm rate értékét is:

     .

Ezeket a hibastatisztikákat az 5. ábrán is láthatjuk a jobb oldali felsorolásban:

5. ábra  Kontingencia táblázat a 24 órás csapadékösszeg egzisztenciájára. Leolvashatóak az ábráról a táblázat elemei, és az ezekre vonatkozó hibastatisztikák értékei is.

A szélirány előrejelzések beválását nemcsak az eddig említett módszerekkel vizsgálhatjuk, hanem alkalmazhatunk más módszert is. Ábrázolhatjuk a szélirány előrejelzések beválását kicsit szemléletesebben, kördiagramon. Első lépésként különválasztjuk a 4 fő irány szerint az eseteket. A meteorológiában a szél irányának azt az égtájat nevezzük, amely felől fúj a szél. Az északi irányt tekintjük 0-nak, s ettől az óramutató járásával egyező irányban számítjuk a fokokat. Az északi szél definícióját úgy adjuk meg, hogy az összes megfigyelés közül a 315°, és a 45° közé eső szeleket nevezzük északi szélnek. Hasonlóan meghatározzuk a keleti, a déli és a nyugati szeleket is. Emellett az előrejelzéseket is megvizsgáljuk, hogy amennyiben a megfigyelés északi szél volt, az előrejelzés mit adott. Majd, az előrejelzések beválását egy kördiagramon ábrázoljuk. A 6. ábrán látható a 4 szélirányra vonatkozó kördiagram.


   

6. ábra  Egy kiválasztott modell szélirány előrejelzéseinek verifikációja kördiagramon. A diagramokon zöld színnel vannak kiemelve a legjobb előrejelzések, sárgával a kevésbé jók, és pirossal a rosszak vannak feltüntetve. A diagram szélén látható számok a fokokat mutatják, a körcikkek melletti számok pedig az adott tartományra vonatkozó százalékos beválást.

Fejlesztések az osztály verifikációs tevékenységében

Osztályunk folyamatosan nyomon követi a rendelkezésre álló numerikus előrejelzések viselkedését és verifikációs eredményeit.

A verifikációs munkát segíti az osztály által fejlesztett objektív verifikációs rendszer (OVISYS - 7. ábra). Ez egy olyan webes rendszer, amelynek segítségével könnyen és gyorsan készíthetőek verifikációs ábrák az általunk tárolt modellek előrejelzéseire. Működésének alapja egy adatbázis, amelyben a modellek előrejelzési adatait és a megfigyeléseket tároljuk. A rendszer egy webes felületen keresztül használható, ahol kiválaszthatóak a modellek, időszakok, paraméterek, időlépcsők és az ábratípusok is. A kiválasztott ábrának megfelelő adatokat egy program kiolvassa az adatbázisból és kiszámítja a kért hibastatisztikákat, majd ezeket a megfelelő diagramtípuson ábrázolja. A kész ábrák szintén a webes felületen jelennek meg.

Az objektív verifikációs rendszer webes felülete

7. ábra Az objektív verifikációs rendszer webes felülete. A felület bal oldalán egy állandó menüsor látható, ez segíti a felhasználót a paraméterek kiválasztása során. A jobb oldalon a már kiválasztott ábrák információi láthatóak. A középső rész dinamikusan változik az éppen megnyitott menüpont alapján.

Az osztályon több éve folyamatosan működik a szubjektív verifikációs rendszer is (8. ábra), amelyben minden nap 4 modell szubjektív kiértékelését végezzük el. Ezt a rendszert is folyamatosan továbbfejlesztjük, az adatokat és eredményeket egy adatbázis rendszerezi és tárolja, s a felhasználói felület itt is webes formában működik.

A subjektív verifikációs rendszer webes felülete

8. ábra A szubjektív verifikációs rendszer webes felülete. A felületnek két fő funkciója van, az adatbevitel és a lekérdezés. Ezen a példán az adatbevitel lapja látható. A bal oldali menü alapján változik a főablak, és ennek segítségével lehet bevinni az adatokat az adott nap időjárási helyzetére vonatkozóan, illetve az egyes meteorológiai paraméterek értékelését. Emellett fel lehet tölteni képeket, amelyeket fontosnak tartunk a helyzet megítélése során, és megtekinthetőek az objektív verifikációs rendszer által készített ábrák is.

Feladatok 
HAWK-2 
ALADIN modell 
   Adatasszimiláció 
   AROME 
   LAMEPS 
   Szélklimatológia 
ECMWF 
Klímamodellezés 
   Bevezetés 
   Történet 
   Regionális modellkísérletek 
   Megfigyelési adatbázisok 
   Validáció 
   Projekciók 
   Szélsőségek 
   Tervek 
   További információk 
   Hivatkozások 
Utófeldolgozás