Test prognoz długoterminowych. Warto im ufać?

Jak to jest z tymi prognozami długoterminowymi? Można im ufać, czy może ich sprawdzalność jest podobna do prawdopodobieństwa w grach losowych? Właśnie po to, zrobiłem test prognoz długoterminowych, którym chcę zaspokoić swoją ciekawość a przy okazji podzielić się jego wynikami z Wami. Test, mimo że obejmuje tylko dwie prognozy długoterminowe, kosztował sporo pracy i wysiłku ale myślę, że daje wyniki, pozwalające wyciągnąć konstruktywne wnioski.

Test prognoz długoterminowych – wstęp

Które prognozy analizuje mój test prognoz długoterminowych?

Mierzyłem siły na zamiary, dlatego zdecydowałem, że biorę pod lupę dwie internetowe prognozy długoterminowe. Zasada doboru była prosta. Miały zawierać dane o prognozowanej pogodzie, temperaturze i opadach oraz wybiegać w przyszłość o 10 dni. Wybór padł na dwa serwisy internetowe:

• prognoza na interia.pl
• prognoza w serwisie weather-forecast.com

Dlaczego akurat taki wybór? Z weather-forecast.com korzystam już od kilku lat, chciałem ją sprawdzić. A z racji, ze pierwszy wybór był zagraniczny, zdecydowałem, że drugi serwis powinien być polski. Wybór padł na interię.pl, która oferuje aż 45 dniową prognozę długoterminową.

Założenia testu

Przez miesiąc (od 20 maja do 19 czerwca br.), wykonywałem zrzuty ekranu prognozy długoterminowej dla lokalizacji – Poznań. Wybór miejscowości też nie jest przypadkowy. Środkowa Polska, teren nizinny o “stabilnej” sytuacji pogodowej, której na pewno nie można przypisać terenom górskim czy nadmorskim.

Zrzuty to był jedyny sposób archiwizowania prognoz, ponieważ żaden z serwisów nie oferuje archiwum swoich prognoz długoterminowych. Dlaczego ten termin? Zbiegło się to akurat z czasem gdy śledziłem prognozy długoterminowe na mój planowany wyjazd do Rowów. Postanowiłem, przy okazji i tak codziennego zerkania na nie, wykorzystać okazję i ocenić ich sprawdzalność.

Więcej o moich wakacjach w Rowach

Jakie dane zebrałem?

Wykonywane zrzuty ekranu wyglądały przykładowo (zrzuty z dnia 2 czerwca 2020):

Dla serwisu weather-forecast.com

Dla serwisu interia.pl

Założenia do analizy danych

Dane z jednego i drugiego serwisu różniły się znacznie na pierwszy rzut oka. Prognoza z interii, przedstawiała jedną wartość temperatury (temperaturę maksymalną), informacje o pogodzie i informacje o wysokości prognozowanego opadu dla danego dnia. Prognoza na weather-forecast.com dla każdego dnia, podawała dane odnoście temperatury, opadów i pogody dla trzech pór dnia (ranek, południe i wieczór). Dla uproszczenia, przyjąłem do dalszej analizy tylko prognozę dotyczącą środka każdego dnia. Zdawałem sobie sprawę że może zaburzyć to wyniki dot. opadów, jednak bardziej istota była dla mnie temperatura maksymalna i przewidywana pogoda (w ciągu dnia) niż opady poranne lub wieczorne.

Test prognoz długoterminowych – analiza danych

Jak analizowałem zebrane dane?

Wszystkie zebrane dane na zrzutach ekranu, przeniosłem do arkusza kalkulacyjnego. Zmieniłem oczywiście “obrazkowy” zapis na dane liczbowe, odpowiadające logicznemu ich przyporządkowaniu, pozwalającemu wykonywać na nich różne funkcje.

Oceny prognozowanej pogody dokonałem według kryterium zgodności. Mogła być ona pełna (100%) w przypadku gdy prognoza 1:1 pokrywała się z rzeczywistą pogodą. Mogła być również częściowa (50%), gdy nieznacznie się różniła. Szczegóły na grafice wyżej.

Opady analizowałem według podobnego mechanizmu. Jeżeli prognoza pokrywała się z rzeczywistością, uznawałem 100% sprawdzalność. W każdym innym przypadku, czyli przypadku braku zgodności, skuteczność prognozy oceniałem na 0%. Nie przyjmowałem oceny pośredniej, ponieważ uznałem, że albo pada, albo nie.

Temperatura to wartość liczbowa, tutaj przekształceń nie było a dane traktowałem bezpośrednio.

Przyjęte założenia do analizy

Analizuje trzy prognozy: 3-dniową, 7-dniową i 10-dniową. W każdej z nich sprawdzam trzy interesujące mnie parametry: prognozowaną pogodę, prognozowaną temperaturę maksymalną i prognozowane wystąpienie opadów. Wszystkie dane z prognoz porównuję i oceniam według powyższych kryteriów, zestawiając je z rzeczywistą pogodą, odczytaną również z danej witryny. Oczywiście analizę przeprowadzam w okresie na jaki pozwalają mi zbierane wciągu miesiąca dane.

Zestawienia zbiorcze danych

Arkusze kalkulacyjne są nudne, szare i bezduszne. Dlatego przygotowałem zestawienia w formie graficznej, które powinny być dla nas wszystkich bardziej przejrzyste. Kosztowało to trochę pracy ale efekt powinien wynagrodzić starania.

Zestawienie – weather-forecast.com

Zestawienie – interia.pl

Test prognoz długoterminowych – wyniki analizy

Sprawdzalność prognozy pogody

Dla wielu z Was jest to najważniejszy aspekt całej analizy. Mój test prognoz długoterminowych podchodzi to tej pozycji bez większej litości, ponieważ oceniam w nim zebrane dane, niemal zero-jedynkowo. Ale uważam, że tylko taka analiza da rzeczywiste wyniki. Każde złagodzenie, powoduje wzrost procentu sprawdzalności, ponieważ łaskawszym okiem ocenia zebrane dane. U mnie analiza brutalna, ale rzetelna.

Maksymalna sprawdzalność prognozy pogody, wykazała 3-dniowa prognoza interii i wyniosła 63%. Najgorzej wypadła prognoza 7-dniowa na weather-forecast.com (33% sprawdzalności).

Sprawdzalność prognozy wystąpienia opadu

Podobnie jak w ocenie prognozy pogody, test prognoz długoterminowych bez litości podchodzi do danych dot. opadów. Dla mnie sprawa jest jasna, albo pada, albo nie. Jak na takie twarde założenia oceny, wyniki nie są złe.

Wynik 78% w przypadku prognozy interii, w jej prognozie 3-dniowej to wynik godny pogratulowania. Oczywiście im dłuższa perspektywa czasowa, tym gorsze wyniki analizy. Prognoza na weather-forecast.com nieznacznie gorsza, a pamiętając o pewnym uproszeniu przy analizie danych, które generuje na pewno pewien błąd, wyniki można uznać za porównywalne.

Średnia odchyłka prognozowanej temperatury

Porównując prognozowaną temperaturę z rzeczywistą, uznałem że najlepiej będzie wykonać pomiar ich sprawdzalności na podstawie oceny średniej odchyłki prognozowanej temperatury, względem temperatury rzeczywistej.

W tej analizie bardzo dobry wynik osiągnął serwis weather-forecast.com (1,04 stopnia w prognozie 3-dniowej). Wyróżnia się on znacznie na tle innych wyników, które oscylują w granicach 3 stopni Celsjusza.

Wykresy temperatur

Wykres prawdę Ci powie, dlatego poniżej taka forma przedstawienia zebranych danych. Cztery wykresy: prognozy 10-dniowej (kolor fioletowy), 7-dniowej (kolor żółty), 3-dniowej (kolor czerwony) oraz rzeczywiste temperatury (kolor zielony). Oczywiście im wykres prognozy bardziej pokrywa się z wykresem rzeczywistej temperatury, tym lepiej. Dobrze widać to na wykresie 3-dniowej prognozy w serwisie weather-forecast.com, który biegnie bardzo podobnie do krzywej rzeczywistych temperatur.

Z wykresów widać na pierwszy rzut oka, również większy chaos w danych z serwisu weather-forecast.com. Wykres wykonany na podstawie danych z interii, wygląda bardziej uporządkowanie. Ta rozbieżność w danych wynika wprost z powyższej analizy średnich odchyłek, choć pokazuje też trend danych serwisów do prognozy bardziej usystematyzowanej (interia.pl) i ryzykanckiej (weather-forecast.com). Więcej o tym moim przemyśleniu za chwilę, we wnioskach.

Test prognoz długoterminowych – wnioski

Wnioski według twardych danych

Analiza matematyczna to cyfry i liczby, które bezwzględnie pokazują kto był bliżej prawdy. W tym przypadku w 8 porównywanych i analizowanych zbiorach danych większą sprawdzalnością może cieszyć się pogoda z serwisu interia.pl. Tylko w jednej kategorii, wynik lepszy osiągnął serwis weather-forecast.com.

Wnioski subiektywne

Jestem zaskoczony!

Zacznę od kwestii najlepszych wyników. Prognozy na weather-forecast.com śledzę i korzystam z nich od lat. Uważałem je za dobre, wręcz najlepsze jakie są dostępne dla zwykłego internauty. Przyznam, że te wyniki mnie zaskoczyły. Nawet pomijając kwestie opadów, gdzie może być pewne przekłamanie, interia.pl osiąga lepsze wyniki w większości analizowanych prognoz. Nie są to różnice ogromne, ale zdecydowane. Chyba czas zmienić serwis do sprawdzania prognoz…

Trendy

Prognoza długoterminowa ma dać nam informacje, o możliwej pogodzie w jak najdłuższej perspektywie czasu. Ja za taką przyjąłem okres 10 dni. Chcąc sprawdzić trendy i prognozy, przygotowałem poniższy wykres.

Mimo matematycznie uzyskanych wyników co do odchyłek prognozy 10-dniowej (interia – 2,67 stopnia, weather-forecast – 2,95 stopnia), analiza trendów na wykresie, może nasuwać inne wnioski niż matematyka. Według obliczeń, lepiej wypada interia.pl. Jednak jeżeli przyjrzymy się powyższym wykresom to prognoza z serwisu weather-forecast.com, lepiej prognozuje szczyt temperatury w 15 dniu analizy. Dlaczego w mojej ocenie lepiej? Ponieważ bardziej zdecydowanie wskazuje na znaczny wzrost temperatur w dniach 11-14. Dla odmiany interia.pl robi to bezpieczniej, bez rozbudzania nadziei, przez co potem, ostatecznie ich prognoza jest znacznie pod rzeczywistymi danymi. Za dowodem na argument bezpieczniejszej i bardziej stonowanej prognozy w serwisie interia.pl, przemawia również bardziej płaski przebieg wykresu. Nie przypomina on kształtem wykresu rzeczywistej temperatury. Nie można tego samego powiedzieć o prognozie w serwisie weather-forecast,com, która bardziej ryzykancko ocenia prognozy, jednak możliwe że lepiej przewiduje znaczące zmiany pogody.

Ryzykowna prognoza kontra bezpieczne prognozy?

Zawsze bezpieczniejsza prognoza, czyli taka o łagodniejszym przebiegu wykresu, będzie lepiej wypadała w analizach matematycznych. To logiczne, że minimalizując duże rozbieżności temperatur, zmniejszamy średnią odchyłkę. Dla nas, użytkowników i czytelników najważniejsze jest jednak przewidywanie trendów, które mogą sygnalizować falę upałów lub znaczne ochłodzenie. W mojej ocenie lepiej tutaj podchodzić do tematu bardziej ryzykownie, przez co te zmiany pogody będą bardziej widoczne, choć statystyki prognozy pewnie będą na tym cierpiały.

Czy warto ufać prognozom długoterminowym?

Niestety nie. Prognoza długoterminowa, czyli przyjmijmy, że taka która wybiega w przyszłość na minimum 10 dni do przodu, dająca sprawdzalność na poziomie 50% to nie jest pewny wyznacznik, tego co nas spotka za 10 dni. Jednak biorąc pod uwagę, że oba serwisy określają pogodę na około 7 różnych sposobów (słonecznie, deszczowo, burzowo, mieszanie itp.), prawdopodobieństwo wystąpienia jednego z nich można szacować na poziomie 15%. Przy dołożeniu poprawki “na szczęście” w ocenie, można byłoby zwiększyć prawdopodobieństwo do poziomu 20-25%. Dlatego zestawiając uzyskane około 50% w moim teście, z możliwym prawdopodobieństwem przy losowym wskazywaniu pogody, prognozy dają pewien ogląd.

Uważam jednak, że prognozowanie 10 dni w przód to maksymalny okres, gdzie wynik prognozy ma jeszcze jakąś wartość. Nie widzę dużych szans na wysoką skuteczność prognozy na przestrzeni 45 dni. To już mimo naprawdę szczerych chęci twórców, wróżenie z fusów.

A prognozy krótkoterminowe?

Prognoza 7-dniowa ma wyniki podobne do prognozy 10-dniowej. Dlatego uważam, że nie ma ona większej wartości niż prognoza w ciut dłuższej perspektywie. Na uwagę zasługuje jednak prognoza 3-dniowa, której wyniki (odchyłka około 1 stopnia, sprawdzalność pogody – 63% i sprawdzalność szansy opadów na poziomie 78%) pozwalają traktować ją jak względnie rzetelne źródło wiedzy. W ten sposób sam określił się przedział prognozy, która jest (z dużym prawdopodobieństwem) wartościowa i tych prognoz, po które należy sięgać z dużą ostrożnością i bez emocji oraz rozbudzania nadziei.

Test prognoz długoterminowych – podsumowanie

Cały test prognoz długoterminowych podsumuję jedną, poniższą grafiką. Wyniki analizy, są wyżej i mówią wszystko.

Na koniec, dla pełnej rzetelności, grafika ze wszystkimi zrzutami prognoz, które zebrałem w ciągu miesiąca (jakość grafiki może nie być idealna, z racji konwersji obrazów w WordPress-ie). To wrzutka głównie dla zwiększenia rzetelności tego testu.