Navigatie overslaan

UK Met Office Global Weather Data for COVID-19 Analysis

COVID-19 coronavirus Met Office environment Weather AIforEarth

Deze gegevens zijn bestemd voor onderzoekers van COVID-19 die onderzoek doen naar relaties tussen COVID-19 en omgevingsfactoren.

Zie de blogpost voor meer informatie. Als u rekenresources nodig hebt om deze gegevens te verwerken kunnen we u wellicht helpen.

Licentie

Gebruikers moet het Met Office erkennen als de bron van deze gegevens door de volgende bronvermelding te gebruiken bij alle eventuele producten, publicaties of toepassingen die als gevolg hiervan tot stand komen: ‘Bevat gegevens van het Met Office die zijn geautoriseerd onder de Open Government Licence v3.0’

Deze gegevens zijn beschikbaar gemaakt onder de Open Government License.

Over de gegevens

Mondiale en voor het VK in hoge resolutie weergegeven uitvoer in de vorm van een numeriek weermodel van het Met Office in het VK. De gegevens komen uit de hele vroege stadia van het model die volgen op het stadium waarin de gegevens zijn geassimileerd. Als zodanig komen deze gegevens bij benadering overeen met een gegevensset die wordt gebruikt bij de observatie op wereldschaal.

De volgende variabelen zijn beschikbaar:

  • t1o5m = luchttemperatuur op 1,5 m in K
  • sh = specifieke vochtigheidsgraad op 1,5 m in kg/kg (kg waterdamp in kg lucht)
  • sw = kortegolfstraling in Wm − 2 (in de plaats van zonlicht)
  • precip = neerslagstroom kgm − 2s − 1 (vermenigvuldigen met 3600 om mm/uur te berekenen)
  • rain = regenstroom in kgm − 2s − 1 (vermenigvuldigen met 3600 om mm/uur te berekenen)
  • pmsl = luchtdruk op gemiddeld zeespiegelniveau in Pa

Deze gegevens zijn beschikbaar gemaakt als NetCDF-bestanden.

Bijgewerkte gegevens voor mondiaal model en het model voor het VK zijn beschikbaar vanaf 01 jan 2020. De gegevenssets worden dagelijks bijgewerkt voor de vorige dag.

Zie de Technische naslaghandleiding voor gedetailleerde informatie over de parameters en over hoe deze gegevens worden gegenereerd.

Er is een aantal aanvullende, nabewerkte gegevensaggregaties met betrekking tot COVID-19 beschikbaar over regio’s in het VK en de VS, in de vorm van csv-bestanden. Zie hieronder voor meer informatie.

Opslaglocatie

Deze gegevensset wordt opgeslagen in de Azure-regio US - oost 2. Het wordt aanbevolen om rekenresources in US - oost 2 toe te wijzen voor affiniteit.

Snelkoppelingen

Gegevensvolumes, gegevensretentie en bijwerkfrequentie

De rastergegevens worden dagelijks bijgewerkt voor de vorige dag.

Op 18-04-2020 had de gegevensset een grootte van ongeveer 352 G. En deze groeit met ongeveer van 22 G per week.

Het is ons voornemen om deze gegevens net zo lang te bewaren en beschikbaar te maken, als dat dit ons inziens nuttig kan zijn bij het plannen van een reactie op de COVID-19-pandemie.

Snel starten

De gegevens worden gehost op Microsoft Azure via het initiatief AI for Earth. U hebt op veel verschillende manieren toegang tot de gegevens:

Aanwijzen en klikken

Open het indexbestand in uw browser. U krijgt een lijst met koppelingen naar gegevensbestanden te zien die u kunt downloaden door in de browser op een van de koppelingen te klikken.

Azure Blob-bibliotheken

Er is een reeks bibliotheken voor een aantal talen beschikbaar waarmee u in Azure Blob kunt werken. Zie de documentatie voor Azure Blob voor meer informatie.

Downloaden met AzCopy

Er is een groot aantal bestanden. Het is dus raadzaam het opdrachtregelprogramma azcopy te installeren. U kunt dit hier downloaden. Hiermee kunt u volledige directory’s of meerdere bestanden met behulp van jokertekens downloaden.

Bijvoorbeeld…

Het bestand global_daily_precip_max_20200101.nc downloaden naar de huidige directory:
azcopy cp https://metdatasa.blob.core.windows.net/covid19-response/metoffice_global_daily/precip_max/global_daily_precip_max_20200101.nc .

De inhoud weergeven van /metoffice_ukv_daily/snow_mean/ to ukv_daily_snow_mean/:
azcopy cp 'https://metdatasa.blob.core.windows.net/covid19-response/metoffice_ukv_daily/snow_mean/*' ukv_daily_snow_mean/

Alle gemiddelde meteorologische gegevens voor een county in een staat in de VS downloaden die overeenkomen met het patroon us_55*.csv:
azcopy cp --recursive --include-pattern 'us_55*.csv' https://metdatasa.blob.core.windows.net/covid19-response/regional_subset_data/us_data/ .

Hoe zijn de gegevens gestructureerd

metoffice_global_daily/

…bevat de dagelijkse gerasterde gegevensbestanden van het Met Office voor de hele wereld. Er is een map voor elke variabele.

Elk bestand heeft een beschrijvende naam, zoals global_daily_{variable}_{statistic}_{YYYYMMDD}.nc.

  • .../t1o5m_mean/ = bestanden met dagelijkse gemiddelde luchttemperatuur
  • .../t1o5m_max/ = bestanden met dagelijkse maximum luchttemperatuur
  • .../t1o5m_min/ = bestanden met dagelijkse minimum luchttemperatuur
  • .../sh_mean/ = bestanden met dagelijkse gemiddelde specifieke vochtigheidsgraad
  • .../sh_max/ = bestanden met dagelijkse maximale specifieke vochtigheidsgraad
  • .../sh_min/ = bestanden met dagelijkse minimale specifieke vochtigheidsgraad
  • .../sw_mean/ = bestanden met dagelijks gemiddelde voor kortegolfstraling
  • .../sw_max/ = bestanden met dagelijks maximum voor kortegolfstraling
  • .../precip_mean/ = bestanden met dagelijkse gemiddelde neerslagstroom
  • .../precip_max/ = bestanden met dagelijkse maximale neerslagstroom
metoffice_global_hourly/

…bevat de gerasterde gegevensbestanden per uur van het Met Office voor de hele wereld.

Elk bestand heeft een beschrijvende naam, zoals global_hourly_{variable}_global_{YYYYMMDD}.nc.

  • .../t1o5m/ = bestanden met luchttemperatuur per uur
  • .../sh/ = bestanden met specifieke vochtigheidsgraad per uur
  • .../sw/ = bestanden met kortegolfstraling per uur
  • .../precip/ = bestanden met neerslagstroom per uur
  • .../precip3hr/ = bestanden met neerslagstroom per drie uur
  • .../pmsl/ = bestanden met luchtdruk op gemiddeld zeespiegelniveau per uur
metoffice_ukv_daily/

…bevat de dagelijkse gerasterde gegevensbestanden van het Met Office voor UKV.

Elk bestand heeft een beschrijvende naam, zoals ukv_daily_{variable}_{statistic}_{YYYYMMDD}.nc.

  • .../t1o5m_mean/ = bestanden met dagelijkse gemiddelde luchttemperatuur
  • .../t1o5m_max/ = bestanden met dagelijkse maximum luchttemperatuur
  • .../t1o5m_min/ = bestanden met dagelijkse minimum luchttemperatuur
  • .../sh_mean/ = bestanden met dagelijkse gemiddelde specifieke vochtigheidsgraad
  • .../sh_max/ = bestanden met dagelijkse maximale specifieke vochtigheidsgraad
  • .../sh_min/ = bestanden met dagelijkse minimale specifieke vochtigheidsgraad
  • .../sw_mean/ = bestanden met dagelijks gemiddelde voor kortegolfstraling
  • .../sw_max/ = bestanden met dagelijks maximum voor kortegolfstraling
metoffice_ukv_hourly/

…bevat de gerasterde gegevensbestanden van het Met Office voor UKV oer uur.

Elk bestand heeft een beschrijvende naam, zoals ukv_hourly_{variable}_{YYYYMMDD}.nc.

  • .../t1o5m_ukv/ = bestanden met luchttemperatuur per uur
  • .../sh_ukv/ = bestanden met specifieke vochtigheidsgraad per uur
  • .../sw_ukv/ = bestanden met kortegolfstraling per uur
  • .../pmsl_ukv/ = bestanden met luchtdruk op gemiddeld zeespiegelniveau per uur
regional_subset_data/

…bevat verwerkte regionale dagelijkse waarden voor het VK en de VS als .csv-bestanden.

De bestanden werden verwerkt door de mondiale, dagelijkse, gerasterde bestanden van het Met Office met behulp van vormbestanden voor elke regio in subsets te verdelen. Hiervoor werden de gemiddelde waarden van de breedte- en lengtegraad voor elke variabele in elke regio voor elke datum genomen, en werden deze waarden als een tabel in een .csv-bestand* opgeslagen.

  • .../uk_daily_meteodata_2020jan-mar_v03.csv= dagelijkse waarden voor t1o5m, sh , sw en precip voor alle regio’s in het VK waarover wordt gerapporteerd (alle bestanden worden samengevoegd in /uk_data/ en /uk_data_precip).
  • .../us_daily_meteodata_2020jan-mar_v03.csv= dagelijkse waarden voor t1o5m, sh , sw en precip voor alle regio’s in de VS waarover wordt gerapporteerd (alle bestanden worden samengevoegd in /us_data/ en /us_data_precip)
  • .../uk_data/ = dagelijkse waarden voor t1o5m, sh en sw voor elke regio in het VK waarover wordt gerapporteerd (één csv-bestand per regio)
  • .../uk_data_precip/= dagelijkse waarden voor precip voor elke regio in het VK waarover wordt gerapporteerd (één .csv-bestand per regio)
  • .../us_data/ = dagelijkse waarden voor t1o5m, sh en sw voor elke county in de VS (één csv-bestand per county)
  • .../us_data_precip/ = dagelijkse waarden voor precip voor elke county in de VS (één csv-bestand per county)
shapefiles/

Bevat vormbestanden voor het VK, de VS, Italië, Brazilië, Oeganda en Vietnam.

  • .../UK/ = regio’s in de VK die over COVID-19 rapporteren
  • .../USA/ = county’s in staten in de VS
  • .../Italy/ = GADM v3.6 administratief niveau 2 voor Italië
  • .../Brazil/ = GADM v3.6 administratief niveau 2 voor Brazilië
  • .../Uganda/ = GADM v3.6 administratief niveau 2 voor Oeganda
  • .../Vietnam/ = GADM v3.6 administratief niveau 2 voor Vietnam

Waar mogelijk komen de bestandsnamen overeen met wat hier wordt beschreven. Vanwege het korte tijdsbestek waarbinnen deze gegevens beschikbaar zijn gemaakt, kunnen er echter kleine afwijkingen in de beschrijvingen van bestandsnamen voorkomen. De bestandsnamen vormen desondanks een accurate beschrijving van de gegevens. Als u problemen ondervindt met eventuele bestandsnamen of de gegevens zelf, kunt u contact met ons opnemen via covid19@informaticslab.co.uk.

Hulp vragen en contact opnemen

Voor hulp of voor het aanvragen van aanvullende gegevens kunt u contact met ons opnemen via covid19@informaticslab.co.uk.

Mededelingen

AZURE OPEN GEGEVENSSETS WORDEN DOOR MICROSOFT ONGEWIJZIGD GELEVERD. MICROSOFT GEEFT GEEN GARANTIES, EXPLICIET OF IMPLICIET, ZEKERHEDEN OF VOORWAARDEN MET BETREKKING TOT HET GEBRUIK VAN DE GEGEVENSSETS. VOOR ZOVER IS TOEGESTAAN ONDER HET TOEPASSELIJKE RECHT, WIJST MICROSOFT ALLE AANSPRAKELIJKHEID AF VOOR SCHADE OF VERLIEZEN, WAARONDER GEVOLGSCHADE OF DIRECTE, SPECIALE, INDIRECTE, INCIDENTELE OF PUNITIEVE SCHADE DIE VOORTVLOEIT UIT HET GEBRUIK VAN DE GEGEVENSSETS.

Access

Available inWhen to use
Azure Notebooks

Quickly explore the dataset with Jupyter notebooks hosted on Azure or your local machine.

Select your preferred service:

Azure Notebooks

Azure Notebooks

Package: Language: Python

Met Office COVID-19 response dataset

This dataset is created, curated and updated for researchers looking to understand links between COVID-19 and environmental factors.

For more information check out our blog post and the data readme.

We are constantly updating the available data; subscribe to our news group to stay up to date or contact us if you have any requests or questions.

Imports and globals

Import the required modules, set up the default plot size and set some constants

In [1]:
import matplotlib.pyplot as plt 
import datetime

from azure.storage.blob import BlobClient, ContainerClient
from IPython.display import Markdown
from collections import namedtuple

%matplotlib inline
plt.rcParams['figure.figsize'] = (20.0, 10.0)

Set up the blob client with the connection details

In [2]:
account_url  = 'https://metdatasa.blob.core.windows.net/'
container_name = 'covid19-response'

# Create the ContainerClient object which will be used to enumerate blobs
container_client = ContainerClient(account_url=account_url,
                                   container_name=container_name,
                                   credential=None)

List the files under metoffice_global_daily/t1o5m_max

In [3]:
max_blobs = 10
for i_blob,blob in enumerate(container_client.list_blobs(
    name_starts_with='metoffice_global_daily/t1o5m_max')):
    print(f'{blob.name}')
    if i_blob >= max_blobs:
        break
metoffice_global_daily/t1o5m_max/global_daily_t1o5m_max_20200101.nc
metoffice_global_daily/t1o5m_max/global_daily_t1o5m_max_20200102.nc
metoffice_global_daily/t1o5m_max/global_daily_t1o5m_max_20200103.nc
metoffice_global_daily/t1o5m_max/global_daily_t1o5m_max_20200104.nc
metoffice_global_daily/t1o5m_max/global_daily_t1o5m_max_20200105.nc
metoffice_global_daily/t1o5m_max/global_daily_t1o5m_max_20200106.nc
metoffice_global_daily/t1o5m_max/global_daily_t1o5m_max_20200107.nc
metoffice_global_daily/t1o5m_max/global_daily_t1o5m_max_20200108.nc
metoffice_global_daily/t1o5m_max/global_daily_t1o5m_max_20200109.nc
metoffice_global_daily/t1o5m_max/global_daily_t1o5m_max_20200110.nc
metoffice_global_daily/t1o5m_max/global_daily_t1o5m_max_20200111.nc

Get a particular file based on the data required

In [4]:
data_end = (datetime.datetime.now() - datetime.timedelta(days=9)).date()
data_start = datetime.date(2020,1,1)

def url_from_properties(model, param, freq, stat=None, day=None, hour=None):
    
    assert model in ["global","ukv"]
    assert param in ["rain", "sh", "snow", "t1o5m", "pmsl","precip","sw"]
    assert freq in ["daily","hourly"]
    if freq == 'daily':
        assert stat in ['max', 'min', 'mean']
    else:
        assert stat is None  
    assert data_start <= day <= data_end
    
    stat = '_'+stat if stat else ''

    filepath = f'metoffice_{model}_{freq}/{param}{stat}/{model}_{freq}_{param}{stat}_{day:%Y%m%d}.nc'
    return f"{account_url}/{container_name}/{filepath}"

Properties = namedtuple('Properties',["model","param","freq","stat","day"])

files = [
    Properties("global","precip","daily","mean",datetime.date(2020,3,3)),
    Properties("ukv","t1o5m","daily","min",datetime.date(2020,4,1)),
    Properties("ukv","snow","hourly",None,datetime.date(2020,2,2)),
]

for file in files:
    path = url_from_properties(*file)
    print(path.replace(account_url,''))
/covid19-response/metoffice_global_daily/precip_mean/global_daily_precip_mean_20200303.nc
/covid19-response/metoffice_ukv_daily/t1o5m_min/ukv_daily_t1o5m_min_20200401.nc
/covid19-response/metoffice_ukv_hourly/snow/ukv_hourly_snow_20200202.nc

xarray and iris are useful tools for interacting with this sort of data

In [5]:
import xarray as xr
import iris
from io import BytesIO

Stream blob into memory and load dataset in xarray

In [6]:
data_description = Properties("global","precip","daily","mean",datetime.date(2020,1,30))
file_data = BytesIO(BlobClient.from_blob_url(
    url_from_properties(*data_description)).download_blob().readall())
ds = xr.open_dataset(file_data)
ds
Out[6]:
Show/Hide data repr Show/Hide attributes
xarray.Dataset
    • bnds: 2
    • latitude: 1920
    • longitude: 2560
    • latitude
      (latitude)
      float32
      -89.953125 -89.859375 ... 89.953125
    • longitude
      (longitude)
      float32
      0.0703125 0.2109375 ... 359.9297
    • forecast_period
      ()
      timedelta64[ns]
      ...
    • forecast_reference_time
      ()
      datetime64[ns]
      ...
    • time
      ()
      datetime64[ns]
      ...
    • precipitation_flux
      (latitude, longitude)
      float32
      ...
    • latitude_longitude
      ()
      int32
      ...
    • forecast_period_bnds
      (bnds)
      float64
      ...
    • forecast_reference_time_bnds
      (bnds)
      datetime64[ns]
      ...
    • time_bnds
      (bnds)
      datetime64[ns]
      ...
  • source :
    Data from Met Office Unified Model
    um_version :
    11.2
    Conventions :
    CF-1.5

Plot it with iris

In [ ]:
import tempfile

ds.precipitation_flux.plot()

tmp = tempfile.NamedTemporaryFile(delete=False)
data_description = Properties("ukv","sw","hourly",None,datetime.date(2020,1,30))
tmp.write(BlobClient.from_blob_url(
    url_from_properties(*data_description)).download_blob().readall())
local_path = tmp.name
tmp.close()

sw = iris.load_cube(local_path)
sw
Out[ ]:
M01S01I202 (1) forecast_period forecast_reference_time grid_latitude grid_longitude
Shape 6 4 808 621
Dimension coordinates
forecast_period x - - -
forecast_reference_time - x - -
grid_latitude - - x -
grid_longitude - - - x
Auxiliary coordinates
time x x - -
Attributes
Conventions CF-1.5
STASH m01s01i202
source Data from Met Office Unified Model
um_version 11.2