Auswertung der DWD-Daten

[enager]

Hi,

seit dem 17.01.2018 hat der DWD sein GDS-System abgeschaltet. Über den GDS Server habe ich mir bisher die Daten für die Diagramme und die Karte unter dem Punkt "DWD-Wetterdaten" automatisiert herunter geladen und auswerten lassen. Das Schreiben dieser Software hatte damals etliche, lange Abende gedauert. Aber letztlich lief sie zufreidenstellend und zuverlässig. Durch den Wechsel des DWD vom GDS-FTP Server, auf den Openweather-FTP Server und der Änderung des Datenformats, müsste nun auch die Software an dieses neue Datenformat angepasst werden. Standen diese Daten bisher in einer HTML-Tabelle, woraus sie ausgelesen wurde, liegen die Daten nun als CSV-Datei vor. Dis würde die Erstellung einer komplett neuen Software bedeuten. Im Moment ist mir das ehrlich gesagt, zu viel, diese Software wieder von Anfang an neu zu schreiben. Vielleicht mache ich es irgendwann. Erste Ansätze, wie den Download der Daten über ein BashScript existieren bereits. Aber die Auswertung der DWD-Daten und die Erstellung der Stationsdiagramme und der Deutschlandkarte würden einiges an Arbeit bedeuten. Im Moment... zu viel Arbeit. Zumal es nicht wirklich sicher ist, dass der DWD es dauerhaft bei diesem Datenformat belässt und auch die Quellpfade die gleichen bleiben. In der Vergangenheit hatten auch schon andere Programmierer viel damit zu tun, ihre Software an die stetigen Änderungen seitens des DWD anzupassen.

Quasi als Ausgleich für den Wegfall der DWD-Weterdaten, habe ich die Stundenvideos der Webcam wieder reaktiviert und auf 24h Dauerbetrieb ausgeweitet. Damit existieren nun auch in der Nacht Videos, der letzten 60 Minuten.

[enager]

Es ist geschafft. Die Datenauswertung der DWD-Messwerte läuft wieder. Zwei lange Abende am Wochenende (dem "spannendem" Fernsehprogramm sei dank) hat es gebraucht, die Software noch einmal von Grund auf neu zu schreiben. Die Daten kommen alle von hier. Dort gibt es die DWD-Daten als Exceltaugliche CSV-Dateien. Letztlich stehen dort alle Messwerte hintereinander, nur durch ein Semikolon voneinander getrennt drin. Die CSV-Dateien sind mit der Stations-ID benannt. So hat die die Wetterstation Lindenberg in Brandenburg die ID 10393. Sehr hilfreich war hier eine Exceltabelle, in welcher Sowohl der Stationsname, die ID, als auch die GPS-Koordinaten (Längen- und Breitengrad) angegeben sind. Diese habe ich zusammen mit dem Stationsnamen und der ID aus Excel heraus, direkt in die Lazarus-IDE kopiert. Der Rest war dann nicht mehr sonderlich kompliziert. Die Software klappert einfach in der Liste alle 207 Einträge ab und zieht sich die CSV-Dateien vom DWD-Server. Zeitgleich werden die Daten der CSV-Dateien in die Stationsdiagramme eingefügt, die Datensätze zudem in die Deutschlandkarten eingefügt und die aktualisierten Diagramme auch gleich auf die Homepage geladen. Wenn die Software alle 207 Stationen durch ist, kommen auch die Deutschlandkarten auf die Homepage. Klingt kompliziert, war aber nach insgesamt rund 8 Stunden fertig programmiert.

Derzeit bin ich nun dabei Tag für Tag kleinere Fehler zu beseitigen und die Designs der Diagramme noch zu verbessern. Gestern Abend beispielsweise, habe ich gemerkt, dass auf der Zugspitze angeblich 10,x°C sein sollen. Die CSV-Datei vom DWD bestätigte diesen Wert zwar, allerdings mit einem dicken Minus davor. Dies kam dadurch zustande, dass der DWD in den CSV-Dateien nicht gemessene Werte mit einem --- angibt. Diese Striche habe ich von der Software herausfiltern lassen. Leider gingen damit auch die Minuszeichen verloren und aus -10,5°C wurden 10,5°C. Durch weitere Änderungen an der Software, werden nun insgesamt nur noch wirklich vorhandene Messwerte in die Diagramme eingefügt. Meldet eine Station keinen Niederschlag, dann wird dieser nicht mehr mit 0mm angegeben sondern der Niederschlagswert wird erst wieder ins Diagrammscript eingefügt, wenn in der CSV-Datei etwas anderes als --- als Niederschlagswert angegeben ist. Zudem wurden gestern Abend noch einige Parameter hinzugefügt. Dies waren unter anderem: 2m Höchst/Tiefstwerte, Taupunkt, 5cm Temperatur, Neuschnee und Schneehöhe gesamt.

[enager]

Guten Morgen,

seit dem 26.06.2019 funktionierte die Datenauswertung nicht mehr richtig. Nun habe ich mich gestern Abend der Thematik mal angenommen und nach den Fehler gesucht. Es werden 208 Dateien vom DWD herunter geladen. Und bei irgend einer dieser 208 Dateien tritt ein "EConvertError" auf. Ich weiss nicht in welcher Datei, ich weiss nicht wie der Fehler genau aussieht. Ob irgendwo ein Punkt statt eines Kommas steht, oder ob irgendwo noch ein anderes (idealer Weise nicht sichbares) Zeichen vor kommt... Ich habe gestern Abend ewig gesucht und wurde doch nicht fündig. Daher habe ich mich dazu entschieden, die DWD-Stationsdiagramme wieder ausser Dienst zu stellen. Schade, das ein kleiner, nicht auffindbarer Fehler dafür reicht.