Talvisään ennustamisen vaikeudesta - finaali

Tämä bloggaus on finaaliosa edellisinä päivänä julkaistuille sääennustevertailulle, joista ensimmäisessä arvioitiin yhden vuorokauden ja toisessa viiden vuorokauden ennusteiden osuvuutta. En tässä bloggauksessa toista niiden tuloksia.

Nyt katsotaan yhdeksän vuorokauden ennusteiden osuvuutta toteuma-ajalla 4.1. - 9.2.2015. Tarkastelujaksoon siis kuuluu 37 päivän ennusteet, jotka on tehty ajalla 26.12.2014 - 31.1.2015. Ja seurattavina ennustelaitoksina olivat kotimaiset Ilmatieteen laitos (IL) ja Foreca sekä yhdysvaltalainen Weather Underground (WU).

Katsotaanpa ennen tuloksia yksi ammattilaisarvio siitä, miten pitkälle tulevaisuuteen lämpötilaennusteita voi tehdä. Ilmatieteen laitoksen sivulla on seuraava kohta:
Kuinka pitkälle eri asioita voidaan ennustaa:

• Säätyyppi: 6–10 vuorokautta. Säätyyppejä on esimerkiksi korkeapaine tai, että matalapaineita kulkee Suomen yli jatkuvana virtana. Parhaimmillaan säätyypin muutos, esimerkiksi voimakas kylmän purku, voidaan ennustaa yli viikkoa aikaisemmin.
• Lämpötila: 4–7 vuorokautta. Onnistunut lämpötilaennuste vaatii onnistumista myös pilvisyysennusteessa, mikä heikentää talvisin lämpötilaennusteita korkeapaineessa.
• Matalapaineiden ja sadealueiden reitit: 3–5 vuorokautta.
• Tuulen suunta ja nopeus: 2–3 vuorokautta. Tuuliennuste vaatii tarkkaa tietoa matalapaineiden ja säärintamien liikkeestä ja sijainnista.
• Sademäärät, sateen olomuoto ja sadealueiden tarkat reitit, sadekuuro- ja ukkosalueet: 0,5–2 vuorokautta. Yksittäisen sadekuuron syntyä ei onnistuta tarkasti ennustamaan lainkaan, mutta kun se on syntynyt, voidaan sen liikettä ja häviämistä ennustaa. Sateen olomuoto on joskus pienestä kiinni. Esimerkiksi rannikolla tuuli kääntyy vähän ja puhaltaa maan sijaan mereltä, jolloin sade muuttuu lumesta vedeksi. 

 Minä en seurannallani yrittänyt selvittää lämpötilan lisäksi muita asioita, joten niistä en osaa sanoa enempää. Mutta tämä viimeinen yhdeksän vuorokauden ennusteen vertailu kyllä kertoo, että kaikki mukana olleet ennustajat olivat jokseenkin "ulalla" ennusteissaan. Tosin en pitänyt edes viiden päivän ennusteita luotettavina. No, katsotaanpa tulokset.

Yhdeksän vuorokauden ennusteiden tarkkuudet

Alla olevissa kuvissa leveimmällä harmaalla murtoviivalla on mitattu lämpötila ja ennustajien yhdeksän päivää aikaisemmin ennustamat eri väreillä.

Yhdeksän vuorokauden ennustevirheiden keskihajonta kasvaa 90-110 prosentilla verrattuna viiden vuorokauden ennusteisiin. Ja lähes samoin kasvaa virheiden keskiarvo. 


Olen yllä olevan kuvan kahteen alimpaan graafiin pannut joulupäivänä tekemäni ennusteen (Mikon ennuste mustalla viivalla) koko seurantajaksolle - siis paljon 9 vrk:n ennustetta pidempi yritys. No, tosiasiassa se ei ole mikään ennuste, sillä kyseessä on vuosien 1959 - 2014 toteutuneista vastaavan ajan maksimi- ja minimilämpötiloista arpomalla tehty kyhäelmä. Mutta se oli tarkempi kuin minkään mukana olevien ennustuslaitosten maksimiennusteet, ja "minimiennusteeni" peittosi Ilmatieteen laitoksen vastaavan - ja vielä selvällä marginaalilla. Jos tilastoihin perustuvalla arvauksella pääsee parempaan tulokseen kuin ennustuslaitoksen supertietokoneavusteisilla mallinnuksilla ja meteorologien ammattitaidolla, on ennustuslaitoksen kyvykkyys alalla kyseenalainen. Katsotaanpa vielä ennustevirheet maksimi- ja minimilämpötilojen osalta.

Yllä olevan kuvan taulukoiden oikeaan reunaan on merkitty värillisin palkein kunkin ennustajan 68 prosentin osuma-alueet. Siis sille alueelle ennusteet tässä seurannassa osuivat 68 %:n todennäköisyydellä ja menivät sitten tuon alueen ohi 32 %:n todennäköisyydellä. Arvaamalla aikaansaatu musta palkki todistaa, että yhdeksän vuorokauden ennustuksiin ei voi luottaa. Niiden parasta käyttöä on kuvattu tämän bloggauksen ensimmäisessä kuvassa.

Yhdeksän vuorokauden sääennusteen sarjan voitto ei ollut ylivoimainen, mutta kyllähän se silti selvä oli. Sitäkin selvempi oli kakkosen ja kolmosen ero. Nimittäin ennusteiden virhepistekertymä - siis virhepiste jokaisesta asteen virheestä 37 seurantapäivän neljästä mittauspisteestä ja niiden summa - oli seuraava:

1. Weather Underground 605p
2. Foreca 620p
3. Ilmatieteen laitos 755p

Mikä ennustuslaitos on Suomen talvisääennustamisen mestari 2015?

Yhden, viiden ja yhdeksän vuorokauden lämpötilaennustusten virhepistekertymän kehitys seurantajaksolla on esitetty alla olevassa kuvassa (mitä vähemmän virhepisteitä, sitä parempi tulos):

Ensimmäiset 25 vuorokautta mentiin aika tasapäisesti, mutta kun yhdeksän vuorokauden ennustevirheet alkoivat painaa yhä enemmän, tippuivat kotimaiset yrittäjämme voittokamppailusta pois. Viime päivinä Foreca karisti paikalliskilpailijansa kannoiltaan. Ilmatieteen laitos jätettiin viimeiseksi, mikä on kyllä jonkinmoinen häpeä ottaen huomioon laitoksen sivulla edelleen koreilevan virkkeen:

Monilla verkkosivustoilla ennusteet ovat suoraan sääennustusmallista, mutta Ilmatieteen laitoksen tuottamilla sivustoilla ne ovat meteorologin korjaamasta tiedosta tehtyjä ja siksi huomattavasti parempia.

Tuolle virkkeelle, jolla tarkoitettaneen mm. Weather Undergroundia, ei ainakaan tämän analyysin perusteella löydy katetta.

Mutta voittaja ja Suomen paras talvisään ennustaja on siis yhdysvaltalainen Weather Underground. Parhaat onnittelut Atlantic Cityyn!

Jatkan seurantaa helmikuun loppuun, ja raportoin, mikäli sijoituksissa tapahtuu muutoksia. Sellaisiin en oikein usko, sillä ero näyttäisi alimman kuvan mukaan olevan kasvamaan päin. Mutta kun kaikki laitokset näyttävät olevan aika "pihalla" pidempien ennusteidensa kanssa - ja niistähän tulee eniten virhepisteitä - kaikki on teoriassa mahdollista.

Mutta lopuksi yksi vakava kysymys: Jos sään ennustaminen yhdeksän vuorokauden päähän onnistuu parhaiden resurssoidulta laitokseltamme arvausta kehnommin, miten voimme luottaa sen 100 vuoden päähän ulottuviin ilmastoennustuksiin? Siinäpä kysymys!!!

_____________________________________________________________

PS. Sain tänään 12.2.2015 vastauksen Ilmatieteen laitoksen palautekanavaan lähettämiini kysymyksiin, jotka ovat alimmaisina. Vastaus on kokonaisuudessaan alla:

Terve Mikko ja kiitos yhteydenotostasi

Vertailusi oli erittäin mielenkiintoinen ja huolellisesti valmisteltu. Ennusteiden osuvuustarkastelua voi tehdä monin eri tavoin ja lopputulos on usein erilainen riippuen valitusta ennustusalueesta, ennustettavasta säämuuttujasta (lämpötila, tuuli, sade..), vuodenajasta ja erityisesti myös verifiointimetodista. Sinun käyttämäsi verifiointitapa oli hyvä ja helposti ymmärrettävä. Ilmatieteen laitos puolestaan seuraa jatkuvasti maksimi- ja minimilämpötilaennusteidensa osuvuutta ja käytettävyyttä osuvuushaarukoiden/virhetoleranssien avulla n. 30 havaintoasemalla ympäri Suomea. Ennusteen voidaan ajatella onnistunut, jos ennusteen ja havainnon välinen ero on vaikkapa korkeintaan 2,5 astetta. Tällöin esimerkiksi luokkaa yhden ja kahden asteen eroilla havainnon ja ennusteen välillä ei ole ennusteen käyttäjän kannalta suurta merkitystä. Tällaiset 1-2 asteen erot ovat tavallisia samalla paikkakunnalla ja lähin havaintoasemakin voi sijaita jopa kymmenien kilometrien päässä paikkakunnalta.

Jos ennusteissa sallitaan yhden tai kahden asteen virhe, uskoisin ennusteiden osuvuustulosten olevan erilaisia. Toki otoskoko on vielä pieni, koska kyseessä on yksi paikkakunta, yksi sääparametri ja yksi vuodenaika. Vertailusi tuo kuitenkin selvästi esiin ennusteiden heikkenemisen ennustepituuden kasvaessa. Ennustettavuus 9 vrk:n päässä on odotetusti melko huono. Näillä ennustepituuksilla päiväkohtaiset ennusteet saattavat usein olla harhaanjohtavia ja meteorologin näkövinkkelistä olisikin parempi ennustaa esim. "sää on ennusteen mukaan 7-10 vrk:n päästä keskimääräistä lauhempi ja sateisempi". Onneksemme ennustettavuus paranee keskimäärin 1 vrk:n verran 10 vuodessa. Neljä vuosikymmentä sitten 5 vrk:n ennusteet olivat yhtä heikkoja kuin 9 vrk:n ennusteet nyt.

Toimintamme lähtökohta on ilman muuta se, että IL tuottaa laadullisesti erinomaisia sääennusteita Suomeen ja tapamme ennustaa on tuloksekas sekä jokapäiväisten sääennusteiden että äärevien sääilmiöiden ja varoitusten osalta. Kuuntelemme tarkasti kansalaisilta ja asiakkailtamme tulevaa palautetta ja kehitämme ennusteidemme laatua kaiken aikaa. Vertailut eri ennustepalveluiden välillä ja kansalaisilta tulevat palautteet ovat hyödyllisiä ja ne toimivat hyvänä sparrauksena meille.

Terveisin Juhana Hyrkkänen,
Sää- ja Turvallisuuskeskuksen päällikkö


-----Original Message-----
From: Ilmatieteen laitos webmaster [mailto:webmaster@fmi.fi]
Sent: 10. helmikuuta 2015 20:47
To: wwwpalaute
Subject: Palaute ilmatieteenlaitos.fi-verkkopalvelusta

Nimi : Mikko Mäkinen
Sähköpostiosoite : mikko2007@hotmail.com Palaute : Seurasin sääennusteitanne joulukuun lopusta helmikuun 9. päivään. Yhden päivän ennusteet olivat aika hyvin kohdallaan, mutta Teillä on melkoisesti parannettavaa pidemmissä sääennusteissa. Vertailussani (mukana myös Foreca ja Weather Underground) jäitte valitettavasti selvästi viimeiseksi.

Mielestäni verkkosivullanne oleva väittämä, jonka mukaan "Monilla verkkosivustoilla ennusteet ovat suoraan sääennustusmallista, mutta Ilmatieteen laitoksen tuottamilla sivustoilla ne ovat meteorologin korjaamasta tiedosta tehtyjä ja siksi huomattavasti parempia" on vertailuni valossa perusteeton.

Lisätietoa vertailustani täällä:
http://ilmastorealismia.blogspot.fi/2015/02/talvisaan-ennustamisen-vaikeudesta_10.html
 

Jos kommentoitte vastausta, muistanette, että kaikki kommentoijat ovat suojeluksessani. Lisäksi pidän Juhana Hyrkkäsen vastausta hyvänä asiakaspalveluna. Joten siistejä ja kohteliaita kommentteja odottelen.