Navigation überspringen

UK Met Office Global Weather Data for COVID-19 Analysis

COVID-19 coronavirus Met Office environment Weather AIforEarth

Diese Daten sind für COVID-19-Forscher zur Untersuchung der Beziehungen zwischen COVID-19 und Umweltfaktoren vorgesehen.

Weitere Informationen finden Sie in diesem Blogbeitrag. Wenn Sie Computeressourcen zum Verarbeiten dieser Daten benötigen, werden Sie hier möglicherweise fündig.

Lizenz

Benutzer müssen Met Office als Quelle für diese Daten angeben, indem sie in allen daraus resultierenden Produkten, Publikationen oder Anwendungen die folgende Erklärung zur Namensnennung angeben: „Enthält Met Office-Daten, die unter der Open Government Licence v3.0 lizenziert wurden.“

Diese Daten werden unter der Open Government Licence zur Verfügung gestellt.

Informationen zu den Daten

Hier finden Sie die Ausgabe eines numerischen Wettermodells (global und mit hoher Auflösung) für das Vereinigte Königreich aus dem UK Met Office. Die Daten stammen aus den sehr frühen Zeitschritten des Modells im Anschluss an die Datenassimilation. Deshalb entsprechen diese Daten einem Dataset für die Beobachtung der gesamten Erde.

Die folgenden Variablen stehen zur Verfügung:

  • t1o5m = Lufttemperatur auf 1,5 m in K
  • sh = Spezifische Luftfeuchtigkeit auf 1,5 m in kg/kg (kg Wasserdampf in kg Luft)
  • sw = Kurzwellige Strahlung in Wm − 2 (Ersatzzeichen für Sonnenschein)
  • precip = Niederschlagsfluss in kgm − 2s − 1 (mit 3600 multiplizieren, um mm/Std. zu erhalten)
  • rain = Regenfluss in kgm − 2s − 1 (mit 3600 multiplizieren, um mm/Std. zu erhalten)
  • pmsl = Luftdruck bei mittlerem Meeresspiegel (Normalnull) in Pa

Diese Daten werden in Form von NetCDF-Dateien zur Verfügung gestellt.

Aktualisierte Modelldaten (weltweit und Vereinigtes Königreich) sind fortlaufend ab dem 1. Januar 2020 verfügbar. Das Dataset wird täglich für den vorherigen Tag aktualisiert.

Ausführliche Informationen dazu, wie diese Daten generiert werden und welche Besonderheiten für die Parameter gelten, finden Sie in der technischen Referenz.

Es gibt einige zusätzliche nachbearbeitete Datenaggregationen über COVID-19-Berichtsregionen im Vereinigten Königreich und in den USA, die in Form von CSV-Dateien zur Verfügung gestellt werden. Unten sind weitere Details hierzu angegeben.

Speicherort

Dieses Dataset wird in der Azure-Region „USA, Osten 2“ gespeichert. Aus Gründen der Affinität wird die Zuweisung von Computeressourcen in der Region „USA, Osten 2“ empfohlen.

  • Ankündigung durch Met Office, dass diese Daten als Reaktion auf die RAMP-Initiative zur Verfügung gestellt werden mit der Bitte um Unterstützung bei der Bewältigung der COVID-19-Pandemie

  • Sie können die von uns in Azure zur Verfügung gestellten Daten hier durchsuchen.

  • Diese Daten werden unter der Open Government Licence zur Verfügung gestellt.

  • Weitere Daten sind bald verfügbar! Bitte abonnieren Sie unsere Google Groups-Adressenliste, um Updates zu erhalten, wann diese Daten zur Verfügung stehen.

  • Sollten Sie Fragen haben oder zusätzliche Daten benötigen, kontaktieren Sie uns unter covid19@informaticslab.co.uk.

Datenvolumen, Aufbewahrung und Aktualisierungsfrequenz

Die gerasterten Daten werden täglich für den aktuellen Tag aktualisiert.

Mit Stand vom 18.04.20 beläuft sich das Dataset auf ca. 352 G. Es wird wöchentlich um ca. 22 G größer.

Diese Daten sollen aufbewahrt und zur Verfügung gestellt werden, solange sie unserer Meinung nach beim Planen der Reaktion auf die COVID-19-Pandemie hilfreich sind.

Schnellstart

Die Daten werden in Microsoft Azure über deren AI for Earth-Initiative gehostet. Sie können auf viele verschiedene Arten auf die Daten zugreifen, z. B:

Zeigen und Klicken

Öffnen Sie die Indexdatei in Ihrem Browser. Es wird eine Liste von Links zu Datendateien angezeigt, die Sie herunterladen können, indem Sie in Ihrem Browser darauf klicken.

Azure-Blobbibliotheken

Es gibt eine Reihe von Bibliotheken in einer Vielzahl von Sprachen für die Arbeit mit Azure-BLOBs. In der Dokumentation zu Azure-Blobs finden Sie weitere Informationen.

Download mit AzCopy

Weil es viele Dateien gibt, schlagen wir die Installation des Befehlszeilentools azcopy vor, das Sie hier herunterladen können. Es ermöglicht Ihnen das Herunterladen ganzer Verzeichnisse oder mehrerer Dateien mithilfe von Platzhaltern.

Beispiel

So laden Sie die Datei „global_daily_precip_max_20200101.nc“ in das aktuelle Verzeichnis herunter:
azcopy cp https://metdatasa.blob.core.windows.net/covid19-response/metoffice_global_daily/precip_max/global_daily_precip_max_20200101.nc .

So laden Sie die Inhalte von /metoffice_ukv_daily/snow_mean/ in ukv_daily_snow_mean/ herunter:
azcopy cp 'https://metdatasa.blob.core.windows.net/covid19-response/metoffice_ukv_daily/snow_mean/*' ukv_daily_snow_mean/

So laden Sie alle gemittelten meteorologischen Daten für US-Staaten und -Countys herunter, die mit dem Muster „us_55*.csv“ übereinstimmen:
azcopy cp --recursive --include-pattern 'us_55*.csv' https://metdatasa.blob.core.windows.net/covid19-response/regional_subset_data/us_data/ .

Wie die Daten organisiert sind

metoffice_global_daily/

…enthält die täglichen globalen gerasterten Datendateien von Met Office. Für jede Variable gibt es ein Verzeichnis.

Jede Datei hat einen beschreibenden Namen wie global_daily_{variable}_{statistic}_{YYYYMMDD}.nc.

  • .../t1o5m_mean/ = Dateien mit Angaben zur mittleren Lufttemperatur pro Tag
  • .../t1o5m_max/ = Tägliche Dateien zur maximalen Lufttemperatur
  • .../t1o5m_min/ = Tägliche Dateien zur minimalen Lufttemperatur
  • .../sh_mean/ = Tägliche Dateien zur mittleren spezifischen Luftfeuchtigkeit
  • .../sh_max/ = Tägliche Dateien zur maximalen spezifischen Luftfeuchtigkeit
  • .../sh_min/ = Tägliche Dateien zur minimalen spezifischen Luftfeuchtigkeit
  • .../sw_mean/ = Tägliche Dateien zum Mittelwert für kurzwellige Strahlung
  • .../sw_max/ = Tägliche Dateien zum Maximalwert für kurzwellige Strahlung
  • .../precip_mean/ = Tägliche Dateien zum mittleren Niederschlagsfluss
  • .../precip_max/ = Tägliche Dateien zum maximalen Niederschlagsfluss
metoffice_global_hourly/

…enthält die stündlichen globalen gerasterten Datendateien von Met Office.

Jede Datei hat einen beschreibenden Namen wie global_hourly_{variable}_global_{YYYYMMDD}.nc.

  • .../t1o5m/ = Stündliche Dateien zur Lufttemperatur
  • .../sh/ = Stündliche Dateien zur spezifischen Luftfeuchtigkeit
  • .../sw/ = Stündliche Dateien zur kurzwelligen Strahlung
  • .../precip/ = Stündliche Dateien zum Niederschlagsfluss
  • .../precip3hr/ = Dreistündliche Dateien zum Niederschlagsfluss
  • .../pmsl/ = Stündliche Dateien zum Luftdruck bei mittlerem Meeresspiegel (Normalnull)
metoffice_ukv_daily/

…enthält die täglichen gerasterten UKV-Datendateien von Met Office.

Jede Datei hat einen beschreibenden Namen wie ukv_daily_{variable}_{statistic}_{YYYYMMDD}.nc.

  • .../t1o5m_mean/ = Dateien mit Angaben zur mittleren Lufttemperatur pro Tag
  • .../t1o5m_max/ = Tägliche Dateien zur maximalen Lufttemperatur
  • .../t1o5m_min/ = Tägliche Dateien zur minimalen Lufttemperatur
  • .../sh_mean/ = Tägliche Dateien zur mittleren spezifischen Luftfeuchtigkeit
  • .../sh_max/ = Tägliche Dateien zur maximalen spezifischen Luftfeuchtigkeit
  • .../sh_min/ = Tägliche Dateien zur minimalen spezifischen Luftfeuchtigkeit
  • .../sw_mean/ = Tägliche Dateien zum Mittelwert für kurzwellige Strahlung
  • .../sw_max/ = Tägliche Dateien zum Maximalwert für kurzwellige Strahlung
metoffice_ukv_hourly/

…enthält die stündlichen gerasterten UKV-Datendateien von Met Office.

Jede Datei hat einen beschreibenden Namen wie ukv_hourly_{variable}_{YYYYMMDD}.nc.

  • .../t1o5m_ukv/ = Stündliche Dateien zur Lufttemperatur
  • .../sh_ukv/ = Stündliche Dateien zur spezifischen Luftfeuchtigkeit
  • .../sw_ukv/ = Stündliche Dateien zur kurzwelligen Strahlung
  • .../pmsl_ukv/ = Stündliche Dateien zum Luftdruck bei mittlerem Meeresspiegel (Normalnull)
regional_subset_data/

…enthält verarbeitete regionale tägliche Werte für das Vereinigte Königreich und die USA in Form von .csv-Dateien.

Dateien wurden verarbeitet, indem die täglichen gerasterten globalen Met Office-Dateien mithilfe von Shape-Dateien für jede Region unterteilt wurden. Dabei wurde der Mittelwert für Breitengrad-Längengrad bei jeder Variablen in jeder Region für jedes Datum verwendet, und diese Werte wurden in einer .csv-Datei* als Tabelle gespeichert.

  • .../uk_daily_meteodata_2020jan-mar_v03.csv = tägliche Werte zu t1o5m, sh, sw und precip für alle Berichtsregionen im Vereinigten Königreich (Zusammenführung aller Dateien in /uk_data/ und /uk_data_precip)
  • .../us_daily_meteodata_2020jan-mar_v03.csv = tägliche Werte zu t1o5m, sh, sw und precip für alle Countys in den USA (Zusammenführung aller Dateien in /us_data/ und /us_data_precip)
  • .../uk_data/ = tägliche Werte zu t1o5m, sh und sw für jede einzelne Berichtsregion im Vereinigten Königreich (eine CSV-Datei pro Region)
  • .../uk_data_precip/ = tägliche Werte zu precip für jede einzelne Berichtsregion im Vereinigten Königreich (eine CSV-Datei pro Region)
  • .../us_data/ = tägliche Werte zu t1o5m, sh und sw für jedes einzelne County in den USA (eine CSV-Datei pro County)
  • .../us_data_precip/ = tägliche Werte zu precip für jedes einzelne County in den USA (eine CSV-Datei pro County)
shapefiles/

Enthält Shape-Dateien für das Vereinigte Königreich, die USA, Italien, Brasilien, Uganda und Vietnam.

  • .../UK/ = COVID-19-Berichtsregionen im Vereinigten Königreich
  • .../USA/ = Bundesstaaten und Countys in den USA
  • .../Italy/ = GADM v3.6, Verwaltungsebene 2 für Italien
  • .../Brazil/ = GADM v3.6, Verwaltungsebene 2 für Brasilien
  • .../Uganda/ = GADM v3.6, Verwaltungsebene 2 für Uganda
  • .../Vietnam/ = GADM v3.6, Verwaltungsebene 2 für Vietnam

Die Dateinamen lauten nach Möglichkeit wie beschrieben. Allerdings kann es aufgrund der Kurzfristigkeit, mit der diese Daten zur Verfügung gestellt wurden, zu geringfügigen Abweichungen bei den Beschreibungen der Dateinamen kommen. Die Dateinamen sollten die Daten dennoch präzise beschreiben. Falls Sie Probleme bei Dateinamen oder den Daten selbst feststellen, kontaktieren Sie uns unter covid19@informaticslab.co.uk.

Hilfe und Kontakt

Wenn Sie Hilfe benötigen oder zusätzliche Daten benötigen, kontaktieren Sie uns unter covid19@informaticslab.co.uk.

Benachrichtigungen

MICROSOFT STELLT DATASETS DER PLATTFORM AZURE OPEN DATASETS AUF EINER „AS IS“-BASIS (D. H. OHNE MÄNGELGEWÄHR) ZUR VERFÜGUNG. MICROSOFT ÜBERNIMMT WEDER AUSDRÜCKLICH NOCH STILLSCHWEIGEND DIE GEWÄHRLEISTUNG FÜR IHRE NUTZUNG DER DATENSÄTZE UND SICHERT KEINERLEI GARANTIEN ODER BEDINGUNGEN ZU. SOWEIT NACH ÖRTLICH ANWENDBAREM RECHT ZULÄSSIG, LEHNT MICROSOFT JEGLICHE HAFTUNG FÜR SCHÄDEN ODER VERLUSTE AB. DIES SCHLIEßT DIREKTE, INDIREKTE, BESONDERE ODER ZUFÄLLIGE SCHÄDEN ODER VERLUSTE SOWIE FOLGE- UND STRAFSCHÄDEN UND DAMIT VERBUNDENE VERLUSTE EIN.

Access

Available inWhen to use
Azure Notebooks

Quickly explore the dataset with Jupyter notebooks hosted on Azure or your local machine.

Select your preferred service:

Azure Notebooks

Azure Notebooks

Package: Language: Python

Met Office COVID-19 response dataset

This dataset is created, curated and updated for researchers looking to understand links between COVID-19 and environmental factors.

For more information check out our blog post and the data readme.

We are constantly updating the available data; subscribe to our news group to stay up to date or contact us if you have any requests or questions.

Imports and globals

Import the required modules, set up the default plot size and set some constants

In [1]:
import matplotlib.pyplot as plt 
import datetime

from azure.storage.blob import BlobClient, ContainerClient
from IPython.display import Markdown
from collections import namedtuple

%matplotlib inline
plt.rcParams['figure.figsize'] = (20.0, 10.0)

Set up the blob client with the connection details

In [2]:
account_url  = 'https://metdatasa.blob.core.windows.net/'
container_name = 'covid19-response'

# Create the ContainerClient object which will be used to enumerate blobs
container_client = ContainerClient(account_url=account_url,
                                   container_name=container_name,
                                   credential=None)

List the files under metoffice_global_daily/t1o5m_max

In [3]:
max_blobs = 10
for i_blob,blob in enumerate(container_client.list_blobs(
    name_starts_with='metoffice_global_daily/t1o5m_max')):
    print(f'{blob.name}')
    if i_blob >= max_blobs:
        break
metoffice_global_daily/t1o5m_max/global_daily_t1o5m_max_20200101.nc
metoffice_global_daily/t1o5m_max/global_daily_t1o5m_max_20200102.nc
metoffice_global_daily/t1o5m_max/global_daily_t1o5m_max_20200103.nc
metoffice_global_daily/t1o5m_max/global_daily_t1o5m_max_20200104.nc
metoffice_global_daily/t1o5m_max/global_daily_t1o5m_max_20200105.nc
metoffice_global_daily/t1o5m_max/global_daily_t1o5m_max_20200106.nc
metoffice_global_daily/t1o5m_max/global_daily_t1o5m_max_20200107.nc
metoffice_global_daily/t1o5m_max/global_daily_t1o5m_max_20200108.nc
metoffice_global_daily/t1o5m_max/global_daily_t1o5m_max_20200109.nc
metoffice_global_daily/t1o5m_max/global_daily_t1o5m_max_20200110.nc
metoffice_global_daily/t1o5m_max/global_daily_t1o5m_max_20200111.nc

Get a particular file based on the data required

In [4]:
data_end = (datetime.datetime.now() - datetime.timedelta(days=9)).date()
data_start = datetime.date(2020,1,1)

def url_from_properties(model, param, freq, stat=None, day=None, hour=None):
    
    assert model in ["global","ukv"]
    assert param in ["rain", "sh", "snow", "t1o5m", "pmsl","precip","sw"]
    assert freq in ["daily","hourly"]
    if freq == 'daily':
        assert stat in ['max', 'min', 'mean']
    else:
        assert stat is None  
    assert data_start <= day <= data_end
    
    stat = '_'+stat if stat else ''

    filepath = f'metoffice_{model}_{freq}/{param}{stat}/{model}_{freq}_{param}{stat}_{day:%Y%m%d}.nc'
    return f"{account_url}/{container_name}/{filepath}"

Properties = namedtuple('Properties',["model","param","freq","stat","day"])

files = [
    Properties("global","precip","daily","mean",datetime.date(2020,3,3)),
    Properties("ukv","t1o5m","daily","min",datetime.date(2020,4,1)),
    Properties("ukv","snow","hourly",None,datetime.date(2020,2,2)),
]

for file in files:
    path = url_from_properties(*file)
    print(path.replace(account_url,''))
/covid19-response/metoffice_global_daily/precip_mean/global_daily_precip_mean_20200303.nc
/covid19-response/metoffice_ukv_daily/t1o5m_min/ukv_daily_t1o5m_min_20200401.nc
/covid19-response/metoffice_ukv_hourly/snow/ukv_hourly_snow_20200202.nc

xarray and iris are useful tools for interacting with this sort of data

In [5]:
import xarray as xr
import iris
from io import BytesIO

Stream blob into memory and load dataset in xarray

In [6]:
data_description = Properties("global","precip","daily","mean",datetime.date(2020,1,30))
file_data = BytesIO(BlobClient.from_blob_url(
    url_from_properties(*data_description)).download_blob().readall())
ds = xr.open_dataset(file_data)
ds
Out[6]:
Show/Hide data repr Show/Hide attributes
xarray.Dataset
    • bnds: 2
    • latitude: 1920
    • longitude: 2560
    • latitude
      (latitude)
      float32
      -89.953125 -89.859375 ... 89.953125
    • longitude
      (longitude)
      float32
      0.0703125 0.2109375 ... 359.9297
    • forecast_period
      ()
      timedelta64[ns]
      ...
    • forecast_reference_time
      ()
      datetime64[ns]
      ...
    • time
      ()
      datetime64[ns]
      ...
    • precipitation_flux
      (latitude, longitude)
      float32
      ...
    • latitude_longitude
      ()
      int32
      ...
    • forecast_period_bnds
      (bnds)
      float64
      ...
    • forecast_reference_time_bnds
      (bnds)
      datetime64[ns]
      ...
    • time_bnds
      (bnds)
      datetime64[ns]
      ...
  • source :
    Data from Met Office Unified Model
    um_version :
    11.2
    Conventions :
    CF-1.5

Plot it with iris

In [ ]:
import tempfile

ds.precipitation_flux.plot()

tmp = tempfile.NamedTemporaryFile(delete=False)
data_description = Properties("ukv","sw","hourly",None,datetime.date(2020,1,30))
tmp.write(BlobClient.from_blob_url(
    url_from_properties(*data_description)).download_blob().readall())
local_path = tmp.name
tmp.close()

sw = iris.load_cube(local_path)
sw
Out[ ]:
M01S01I202 (1) forecast_period forecast_reference_time grid_latitude grid_longitude
Shape 6 4 808 621
Dimension coordinates
forecast_period x - - -
forecast_reference_time - x - -
grid_latitude - - x -
grid_longitude - - - x
Auxiliary coordinates
time x x - -
Attributes
Conventions CF-1.5
STASH m01s01i202
source Data from Met Office Unified Model
um_version 11.2