Werbung

GFS vs. ECMWF, und andere Modelle im Vergleich

Grundlagen und Expertenwissen.
Benutzeravatar
Willi
Administrator
Beiträge: 8865
Registriert: Fr 10. Aug 2001, 16:16
Wohnort: 8143 Sellenbüren
Hat sich bedankt: 3974 Mal
Danksagung erhalten: 3888 Mal
Kontaktdaten:

GFS vs. ECMWF, und andere Modelle im Vergleich

Beitrag von Willi »

GFS und ECMWF sind wohl die beiden numerischen Vorhersagemodelle, welche im Forum am meisten beachtet und für die Mittelfrist-Vorhersage zu Rate gezogen werden. Die Treffsicherheit der beiden Modelle wird immer wieder an Einzelfällen dokumentiert und kommentiert. Daraus lässt sich selbstverständlich keine generelle Aussage ableiten, welches Modell nun "besser" oder "das beste" ist (schliesslich gibt es noch eine schöne Anzahl von weiteren, ernstzunehmenden Modell-Kandidaten).

Der aktuelle Blog-Beitrag von Cliff Mass lässt aber aufhorchen, danke Ralph Rickli für den Hinweis!

http://cliffmass.blogspot.cz/2013/02/th ... r-gap.html

Zusammengefasst, was ich dem sehr lesenswerten Artikel entnehme:
- Bei der 120h Vorhersage des Schneesturms an der USA-Ostküste vor ein paar Tagen war ECMWF um Längen besser als GFS.
- Das war genauso bei früheren "Super-"Stürmen
- Der Hauptgrund hierfür ist der Unterschied in der verfügbaren Rechenkapazität: 0.8 Petaflops für ECMWF vs. 0.08 Petaflops für GFS (Faktor 10 Unterschied!)
- Kaum zu glauben, dass die Weltmacht USA keine bessere Rechenkapazität für ihr Mittelfrist-Modell bereitstellen kann oder will.

Was soll man davon halten? GFS in den Kübel werfen? Es wäre lehrreich, weitere Hinweise auf Berichte/Analysen zur Trefferrate der Modelle in diesem Thread zu sammeln. Aus Fachkreisen ist bestimmt einiges zu erfahren, was bislang nur sporadisch den Weg ins Forum gefunden hat.

Gespannte Grüsse
Willi
Gruss Willi
Immer da wenn's wettert

Benutzeravatar
Alfred
Beiträge: 10469
Registriert: Mo 21. Jul 2003, 16:23
Geschlecht: männlich
Wohnort: 8037 Zürich
Hat sich bedankt: 49 Mal
Danksagung erhalten: 90 Mal

Re: GFS vs. ECMWF, und andere Modelle im Vergleich

Beitrag von Alfred »

Danke @Willi, für die Übersetzung!

Es kommt aber darauf an, für was man eine höhere Rechenleistung einsetzen würde,
etwa alle Stunde ein Hauptlauf :unschuldig: , oder doch ein alogorithmus verbessertes GFS.

Gruss, Alfred


Benutzeravatar
pterozaurus
Beiträge: 187
Registriert: Mi 9. Jan 2008, 10:07
Geschlecht: männlich
Wohnort: D-79282 ballrechten
Hat sich bedankt: 46 Mal
Danksagung erhalten: 17 Mal

Re: GFS vs. ECMWF, und andere Modelle im Vergleich

Beitrag von pterozaurus »

Hallo zusammen,
im Wetterzentrale Forum hat sich "Wetterfuchs" die Mühe gemacht verschiedendste Modelle zu vergleichen. Er ging von einem 6 tägiger Vorhersage aus:
Wetterzentrale Forum: Syn. Verifikation 6-Tages-Modell-Prognosen Dez.2011 - Nov.2012

Grüße
Stephan

Benutzeravatar
Federwolke
Moderator
Beiträge: 8740
Registriert: Mo 20. Aug 2001, 23:47
Geschlecht: weiblich
Wohnort: 3074 Muri bei Bern
Hat sich bedankt: 1632 Mal
Danksagung erhalten: 7637 Mal
Kontaktdaten:

Re: GFS vs. ECMWF, und andere Modelle im Vergleich

Beitrag von Federwolke »

Ein sehr schwieriges Thema, das häufig in Glaubenskrieg abgleitet. Der Grund liegt darin, dass exakte Vergleiche und Analysen im Alltag kaum zu bewerkstelligen sind. Es gäbe ja auch zahlreiche Kriterien, die man vergleichen könnte. Der Ansatz von Wetterfuchs (Bewertung der 6-Tage-Prognose anhand der grossskaligen Abbildung der Wetterlage) ist nur einer von vielen Möglichkeiten und sagt sehr wenig aus über die Prognosegüte in einem bestimmten geographischen Bereich. Der Alpenraum stellt zudem an alle Modelle ganz spezielle Herausforderungen. Bei allem Respekt vor der gewaltigen Arbeit von Wetterfuchs stelle ich doch die Objektivität in Frage, seine Präferenz für EZ ist seit Jahren hinlänglich bekannt. Seine zehnstufige Bewertungsskala ist zu fein und öffnet Tür und Tor für Unschärfen - da gleitet man rasch einen halben Punkt in der Durchschnittsbewertung ab. Was mich aber nicht erstaunt ist das Abfallen der Prognosegüte im Jahr 2012 gegenüber dem Vorjahr, insbesondere im Frühsommer. Wobei mir diese bei der täglichen Arbeit auf sehr ärgerliche Weise vor allem in der Kurzfrist aufgefallen ist.

Für mich persönlich sind EZ und GFS gleichwertig - es gibt halt bestimmte Situationen die vom einen, und andere Wetterlagen die vom anderen Modell besser erkannt werden. Welchem Modell ich in einer bestimmten Situation vertraue, hängt stark von der Entwicklung der Läufe in den vergangenen Tagen ab. War ein Modell sehr sprunghaft, macht mich das skeptisch. Oft kann man ein Modell gleich in die Tonne kloppen, wenn man erkennt dass es die aktuelle Situation schlecht im Griff hat. Zwei Tage später ist es vielleicht wieder Top. Die Wahl des "besten" Modells erfolgt in der täglichen Arbeit von Fall zu Fall, generelle Einschätzungen helfen da herzlich wenig. Ergänzen kann ich, dass neben EZ und GFS in der Mittelfrist andere Modelle bei mir so gut wie keine Rolle spielen. Zu viel Auswahl trägt meistens mehr zur Verunsicherung als zur Hilfe bei. In der Kurzfrist dienen die beiden Giganten ohnehin nur der Übersicht, die Feinarbeit erfolgt danach anhand von Lokalmodellen.
Zuletzt geändert von Federwolke am Mi 13. Feb 2013, 15:13, insgesamt 1-mal geändert.

Benutzeravatar
Willi
Administrator
Beiträge: 8865
Registriert: Fr 10. Aug 2001, 16:16
Wohnort: 8143 Sellenbüren
Hat sich bedankt: 3974 Mal
Danksagung erhalten: 3888 Mal
Kontaktdaten:

Re: GFS vs. ECMWF, und andere Modelle im Vergleich

Beitrag von Willi »

Um auf mein Eingangspost zurückzukommen, schreibe ich hin was mir plausibel erscheint. Bitte korrigieren, wenn ich falsch liege.

Da EZ anscheinend mehr Rechenkapazität hat als GFS, wird wohl auch die Maschenweite des EZ-Modells feiner sein als die von GFS. Dies kann in der Tat dazu führen, dass Extremereignisse, wie zum Beispiel der erwähnte Wintersturm, vom EZ besser erfasst werden. Andererseits spielt u.U. die Maschenweite bei der Mittelwert/Standardabweichung Statistik einer "über alles" Auswertung eine untergeordnete Rolle. So würde auch die "relative" Nähe der beiden Modelle in der Auswertung von Wetterfuchs verständlich. Wie auch immer, es ist gut zu wissen, dass beide Modelle gegenüber den Mitstreitern an der Spitze stehen. Immerhin bleiben die Vergleiche spannend, und die Resultate können sich auch jederzeit wieder ändern, dann nämlich, wenn weitere "Verbesserungen" in die Modelle eingebaut werden.

Gruss Willi
Gruss Willi
Immer da wenn's wettert

Michael (Seon)
Beiträge: 292
Registriert: Mi 12. Mai 2004, 16:44
Geschlecht: männlich
Wohnort: Seon
Hat sich bedankt: 87 Mal
Danksagung erhalten: 51 Mal
Kontaktdaten:

Re: GFS vs. ECMWF, und andere Modelle im Vergleich

Beitrag von Michael (Seon) »

Wer sich etwas in das Thema einlesen will findet vielleicht hier ein paar interessante Vorträge dazu: http://www.ecmwf.int/newsevents/meeting ... tions2012/
Insbesondere aus Session 1. Im ersten Vortrag "D Richardson: Medium range forecast products and performance" wird allerdings nicht mit dem GFS verglichen sondern nur ein paar anderen Modellen. Tendentiell ist bisher mein Eindruck schon auch, dass mit konventionellen "Scores" ECMWF fast immer am Besten abschneidet. Allerdings werden da meistens Grössen weg vom Boden angeschaut. Im Vortrag: "I Bonta: Use of ECMWF products in Hungary" gibt es ein paar Beispiele wo man sieht wie natürlich bei Inversionslagen der Mensch deutlich bessere Temperaturvorhersagen macht als das Modell. Allerdings ist das natürlich kein Modellvergleich.
Die oben verlinkte Seite ist auch aufs ECMWF fokussiert. Wenn ich mal nen guten Vergleich finde werde ich ihn posten.
Hier gibts sonst dauernd aktualisierte Verifikationen der 6-Tages-Prognose der geopotentiellen Höhe auf 500 hPa verschiedener Modelle. Oberer Plot Nördliche Hemisphäre 20-80° unterer Plot das gleiche für die südliche Hemisphäre. Möglichst Nahe bei 1 heisst, dass die Vorhersage besser war. Daraus lässt sich natürlich nicht wirklich ablesen wie gut die Modelle jetzt gerade für Europa waren. Man sieht auch hier, dass ECMWF vor GFS liegt und nur UKMO mithalten kann. Aber es fehlen auch Modelle. Interessant ist aber zu sehen, dass es Phasen gibt, wo immer mehrere Modelle schlechter werden. Wahrscheinlich, wenn die Natur gerade wieder etwas chaotischer wird.
Wenn man sich hier durch den Index klickt kann man beliebige weitere laufende Verifikationen sehen:
http://www.emc.ncep.noaa.gov/gmb/STATS/html/
Falls jemand nen Plot nicht lesen kann einfach fragen.
Zusätzlich werden Ensemblevorhersagen auch immer wichtiger, und da wird dann das ganze Verifizieren und Vergleichen noch einmal komplizierter. Denn es bleibt die Frage, will man möglichst genau mit der Vorhersage an der Wahrheit sein, oder will man möglichst gut die Unsicherheit aufzeigen (also viele verschiedene Vorhersagen im Ensemble haben). Und gerade bei Gewittern ist die Auswertung sehr schwierig, denn man kann nicht einfach den normalen quadratischen Fehler zwischen der Analyse und der Vorhersage nehmen, denn dies führt unter anderem zu nem "double penalty" Problem. Wenn das Modell ein Gewitter vorhersagt, aber 10 km daneben, wo es dann in Wirklichkeit war, gibt es einerseits einen Fehler an der Stelle wo das Gewitter hätte sein sollen und auch an der Stelle wo es fälschlicherweise war. Aber jeder würde intuitiv sagen, dass ein Gewitter, was um 10 km am falschen Ort vorhergesagt wurde, eigentlich eine gute Vorhersage war. Das gleiche Problem tritt natürlich in der Zeit auch auf, wenn z.B. ein Gewitter 1 Stunde zu spät vorhergesagt wird. Naja also ich schweife ab.

Gruss Michael

Benutzeravatar
Alfred
Beiträge: 10469
Registriert: Mo 21. Jul 2003, 16:23
Geschlecht: männlich
Wohnort: 8037 Zürich
Hat sich bedankt: 49 Mal
Danksagung erhalten: 90 Mal

Re: GFS vs. ECMWF, und andere Modelle im Vergleich

Beitrag von Alfred »

Sali zäme

Nochmals zu SANDY.
Eine umfassende Analyse unter
http://www.nhc.noaa.gov/data/tcr/AL182012_Sandy.pdf

Was mich besonders interessiert:

d) (Seite 19) «Forecast and Warning Critique
The genesis forecasts for Sandy were excellent. The precursor wave was introduced in
the Tropical Weather Outlook (TWO) with a low chance (10%) of genesis 66 h prior to tropical
cyclone formation and the probability was increased to a high chance (60%) 42 h prior to
genesis. In addition to providing above-average lead times on genesis, the TWOs issued within
36 h of tropical cyclone formation indicated the threat of heavy rains that could produce lifethreatening
flash floods and mudslides across Jamaica, eastern Cuba and Hispaniola.
A verification of NHC official track forecasts for Sandy is given in Table 10a. Official
forecast (OFCL) track errors were well below the mean official errors for the previous 5-yr
period at all time periods, and about 50% better than the long-term mean from 48 to 96 h. The
OCD5 (CLIPER) errors for this system were larger than the mean, suggesting these forecasts
were more difficult than normal, likely because of Sandy’s sinuous track, and as a consequence
the OFCL forecasts displayed a substantial amount of skill. A homogeneous comparison of the
official track errors with selected guidance models is given in Table 10b. The GFS ensemble
mean (AEMI), the Florida State Superensemble (FSSE) and the Atlantic Dynamical Model
Consensus (TVCA) all performed a bit better than the official forecast through 48 h. Although
the performance of the European Center for Medium-range Weather Forecasts (ECWMF) model
(EMXI) was unremarkable through 72 h, its days four and five forecasts were superior by far,
with extremely low errors. Most of the GFS-based guidance (including the HWFI and GHMI)
was less skillful, although the GHMI did outperform the official forecast at day 5. The ECMWF
model was one of the first to show the northwestward turn of Sandy at six and seven days (e.g.
Fig. 31b), even while most of the rest of the guidance showed the cyclone staying offshore of the
East Coast. Five days before landfall, the European ensemble guidance (Fig. 32) had a
significant number of members correctly showing the track of Sandy bending back toward the
United States, while the GFS ensemble members were mostly out to sea.
A verification of NHC official intensity forecasts for Sandy is given in Table 11a.
Official forecast intensity errors were near the mean official errors for the previous 5-yr period at
12 and 24 h, and much below the long-term mean from 36 to 120 h. The OCD5 (Decay-
SHIFOR) errors for this system were larger than the mean for Sandy except at 48 and 72 h. The
OFCL forecasts were quite skillful, although the forecasts had a bit of a low bias. The higher
OFCL errors in the 12-24 h time frame appear to be mostly due to a significant under-forecast of
the intensity of Sandy at landfall in Cuba. Only a few model forecasts even showed Sandy
reaching category 2 strength, with OFCL forecasts generally calling for a category 1 hurricane at
Cuban landfall. A homogeneous comparison of the official intensity errors with selected
guidance models is given in Table 11b. Overall, the official intensity forecasts were superior to
much of the model guidance throughout the period, with the greatest exception being at 120 h.
The HWRF was generally as good as or better than the official intensity forecasts, which is
perhaps fortuitous since it struggled with the track forecast. It is of note that the EMXI and GFSI
models beat the statistical-dynamical guidance (DSHP, LGEM) at 72-120 h, perhaps being able
to better forecast the wind field of Sandy due to its large size being relatively well resolved and
the importance of baroclinic influences with this cyclone.
»

Gruss, Alfred


Benutzeravatar
Alfred
Beiträge: 10469
Registriert: Mo 21. Jul 2003, 16:23
Geschlecht: männlich
Wohnort: 8037 Zürich
Hat sich bedankt: 49 Mal
Danksagung erhalten: 90 Mal

Re: GFS vs. ECMWF, und andere Modelle im Vergleich

Beitrag von Alfred »

Hoi zäme

Der Ralph Rickli bingt mich mit http://www.donneralarm.ch/forum_uploads ... /ECMWF.eml
in eine Zwickmühle, da ich seit Jahren mehr oder weniger (für die Trajks) nur den 12Z Lauf
verwende (ist ein zeitliches Problem). Hat da jemand Erfahrungen über einen längeren Zeit-
raum hinweg, wie sich die 00Z & 12Z Läufe so verhalten, oder ist dies zum jetzigen Zeitpunkt
ein Ausnahmefall?

Gruss, Alfred

Benutzeravatar
Willi
Administrator
Beiträge: 8865
Registriert: Fr 10. Aug 2001, 16:16
Wohnort: 8143 Sellenbüren
Hat sich bedankt: 3974 Mal
Danksagung erhalten: 3888 Mal
Kontaktdaten:

Re: GFS vs. ECMWF, und andere Modelle im Vergleich

Beitrag von Willi »

Von Ralph Rickli habe ich äusserst spannende Hinweise auf weitere Modellle erhalten, welche ich sehr gerne wiedergebe. Das kanadische GEM werde ich auf jeden Fall vermehrt beachten - bin gespannt, vielen Dank an Ralph für den Hinweis. Sein vollständiger Beitrag (mit Beispiel) ist, wie üblich, in seinem Mailblog: http://www.donneralarm.ch/forum_uploads ... v/20130322
(die .eml Dateien herunterladen und lokal mit einem Mailprogramm öffnen)

Gruss Willi

-------------------------------------------------
"An der Front" arbeitet man mit allen verfügbaren Modellen - im Februar 2013 hat die US Navy das NAVGEM Modell als Nachfolger des NOGAPS in den operationellen Betrieb genommen.
Auch hier sind massive Verbesserungen eingebaut.

Ein Modell wird meines Erachtens unterschätzt und erhält kaum je Beachtung im Sturmforum - das kanadische GEM, obschon GEM auf breiter Basis zugänglich ist bei:

http://www.wetter3.de
http://www.meteociel.fr
http://www.meteociel.fr/modeles/ensembles.php
http://www.meteocentre.com (Top Adresse für den Vergleich von Wettermustern, wenn man allgemeine Variablen studiert und nicht auf Variablen zur dynamischen Meteorologie angewiesen ist)
http://www.infoclimat.fr
http://www.weatheronline.co.uk (Expert Charts - Top Adresse für den Modellvergleich und den Vergleich unterschiedlicher runs)
http://www.wetterzentrale.de (allerdings nur rudimentär)

GEM steht heute dem ECMWF sehr nahe und rechnet sehr ähnliche Muster wie ECMWF.
Persönlich nutze ich es dort, wo Daten vom ECMWF nicht frei verfügbar sind als Surrogat für ECMWF - unter anderem auch das GEM ENS Set - obschon ähnlich wie beim GFS ein reduziertes Set an Members besteht.

GEM vs GFS
http://meteocentre.com/models/explorate ... =1&lang=fr
http://meteocentre.com/models/models.ph ... d=cmc_geps (ENS Meteogramme zum Vergleich mit GFS Meteogrammen - beispielsweise aus der Wetterzentrale oder von WetterIOnline)

Der aktuelle Stand der Modellentwicklung beeindruckt.
http://collaboration.cmc.ec.gc.ca/cmc/c ... 30213_gdps

Das angehängte Screenshot Beispiel zeigt, wie bei GEM das Bayerische Alpenvorland auf das Föhnsignal reagiert (gelb) während das Signal zumindest in der vorgegebenen Kartenauflösung beim GFS fehlt. Auch bringt GEM bei der 240h Vorhersage maritime Polarluft wieder näher und südlicher an den Kontinent heran als das GFS, das aktuell in der Mittelfristvorhersage sehr rasch auf die milde Schiene springt, obschon es mit dem heutigen 00run noch zwei Szenarien andeutete - ein mildes und ein kühleres.

Auch das UKMO ist selbstverständlich ein phantastisches Modell, doch reichen die GEM Daten entlang der Zeitachse weiter in die Zukunft als die UKMO Karten.

Von der Seite der europäischen Wetterdienste wird selbstverständlich fast ausnahmslos das ECMWF portiert und dieses Modell als alleinigen Massstab verwendet - auch wenn dieses Modell trotz seiner zweifellos sensationellen Stärken auch Grenzen und Macken hat. Diese ECMWF "blinde Auge" kommt vor allem in der Mittelfristdiskussion des DWD oft - manchmal zu oft und zu penetrant - zur Geltung.

http://www.dwd.de/bvbw/appmanager/bvbw/ ... nnn%3Dtrue
Zuletzt geändert von Willi am Sa 23. Mär 2013, 08:06, insgesamt 1-mal geändert.
Gruss Willi
Immer da wenn's wettert

Benutzeravatar
Alfred
Beiträge: 10469
Registriert: Mo 21. Jul 2003, 16:23
Geschlecht: männlich
Wohnort: 8037 Zürich
Hat sich bedankt: 49 Mal
Danksagung erhalten: 90 Mal

Re: GFS vs. ECMWF, und andere Modelle im Vergleich

Beitrag von Alfred »

Sali zäme

Wenn ich mir so anschaue, die Modelläufe für Basel:
http://msspace.ubimet.at:8888/~mspatzie ... NINGEN.PNG
und Zürich:
http://msspace.ubimet.at:8888/~mspatzie ... KLOTEN.PNG
(verfallen) muss ich wohl zum Schluss kommen, dass die Modelle
recht haben, aber das Wetter nicht überall und zu jeder Zeit, sich
daran hält!

Gruss, Alfred

Antworten