Spring over navigation

UK Met Office Global Weather Data for COVID-19 Analysis

COVID-19 coronavirus Met Office environment Weather AIforEarth

Disse data er til forskere i COVID-19, så de kan undersøge relationen mellem COVID-19 og miljøfaktorer.

Du kan finde flere oplysninger i vores blogindlæg. Hvis du har brug for beregningsressourcer til at behandle disse data, kan vi måske hjælpe dig.

Licens

Brugerne skal anerkende Met Office (det britiske meteorologiske institut) som kilde til disse data ved at inkludere følgende tilskrivningserklæring i alle resulterende produkter, publikationer og programmer: “Indeholder Met Office-data, der er licenseret i henhold til Open Government Licence v3.0”

Disse data er gjort tilgængelige i henhold til Open Government License.

Om dataene

Globale resultater for Storbritannien via den numeriske vejrmodel i høj opløsning fra UK Met Office. Dataene er fra de meget tidlige trin i modellen efter dataassimilation, og derfor er disse data et estimat af et datasæt for en observation af hele jorden.

Følgende variabler er tilgængelige:

  • t1o5m = Lufttemperaturen ved 1,5 m i K
  • sh = Fugtighedsgrad ved 1,5 m i kg/kg (kg vanddamp i kg luft)
  • sw = Kortbølget stråling i Wm − 2 (erstatning for solskin)
  • precip = Nedbør i kgm − 2s − 1 (multiplicer med 3600 for at få mm/t. )
  • rain = Regn i kgm − 2s − 1 (multiplicer med 3600 for at få mm/t.)
  • pmsl = Lufttryk ved middelvandspejl i Pa

Disse data er tilgængelige som NetCDF-filer.

Globale data og modeldata fra Storbritannien er tilgængelige fra 1. januar 2020 og frem. Datasættet opdateres dagligt med data fra dagen før.

Se det tekniske referencemateriale for at få detaljerede oplysninger om, hvordan disse data genereres, og yderligere oplysninger om parametrene.

Der findes nogle CSV-filer med yderligere efterbehandlede datasammenlægninger for områder i Storbritannien og USA, som rapporterer om COVID-19. Flere detaljer nedenfor.

Lagerplacering

Dette datasæt er gemt i Azure-området Det østlige USA 2. Tildeling af beregningsressourcer i området Det østlige USA 2 anbefales af hensyn til tilhørsforhold.

  • Meddelelse fra Met Office, der gør disse data tilgængelige, i forbindelse med RAMP-tiltaget, hvor der bedes om hjælp til at håndtere COVID-19-pandemien.

  • Du kan gennemse de data, vi har gjort tilgængelige på Azure, her.

  • Disse data er gjort tilgængelige i henhold til Open Government License.

  • Der kommer flere data! Abonner på vores Google Groups-mailliste for at modtage opdateringer, når der er tilgængelige data.

  • Kontakt os på covid19@informaticslab.co.uk, hvis du har spørgsmål eller anmodninger om yderligere data.

Datamængder, opbevaring og opdateringshyppighed

De gitterinddelte data opdateres dagligt med data fra dagen før.

Per 18. april 2020 har datasættet en samlet størrelse på ca. 352 GB. Det vokser med ca. 22 GB om ugen.

Vi har i sinde at bevare disse data og gøre dem tilgængelige, så længe vi mener, at de er nyttige i planlægningen af håndteringen af COVID-19-pandemien.

Hurtig start

Dataene hostes på Microsoft Azure via tiltaget AI for Earth. Du kan få adgang til dataene på mange måder, f.eks.:

Peg og klik

Åbn indeksfilen i din browser. Du får vist en liste over links til datafilerne, som du kan downloade ved at klikke på dem i din browser.

Azure Blob-biblioteker

Der er en række biblioteker på en række sprog, så det er muligt at arbejde med Azure Blob. Du kan finde flere oplysninger i dokumentationen til Azure Blob.

Download med AZCopy

Der er mange filer, så vi anbefaler, at du installerer kommandolinjeværktøjet azcopy, som du kan downloade her. Det giver dig mulighed for at downloade hele mapper eller flere filer ved hjælp af jokertegn.

Eksempel…

Download af filen global_daily_precip_max_20200101.nc til den aktuelle mappe:
azcopy cp https://metdatasa.blob.core.windows.net/covid19-response/metoffice_global_daily/precip_max/global_daily_precip_max_20200101.nc .

Download af indholdet af /metoffice_ukv_daily/snow_mean/ to ukv_daily_snow_mean/:
azcopy cp 'https://metdatasa.blob.core.windows.net/covid19-response/metoffice_ukv_daily/snow_mean/*' ukv_daily_snow_mean/

Download af gennemsnitlige meteorologiske data for alle amerikanske amter, som stemmer overens med mønsteret us_55*.csv:
azcopy cp --recursive --include-pattern 'us_55*.csv' https://metdatasa.blob.core.windows.net/covid19-response/regional_subset_data/us_data/ .

Sådan organiseres dataene

metoffice_global_daily/

…indeholder de daglige, globale gitterinddelte datafiler fra Met Office. Der er en mappe til hver variabel.

Hver fil har et beskrivende navn, såsom global_daily_{variable}_{statistic}_{YYYYMMDD}.nc.

  • .../t1o5m_mean/ = filer med daglig middellufttemperatur
  • .../t1o5m_max/ = filer med daglig maks. lufttemperatur
  • .../t1o5m_min/ = filer med daglig min. lufttemperatur
  • .../sh_mean/ = filer med daglig middelfugtighedsgrad
  • .../sh_max/ = filer med daglig maks. fugtighedsgrad
  • .../sh_min/ = filer med daglig min. fugtighedsgrad
  • .../sw_mean/ = filer med daglig middelværdi for kortbølget stråling
  • .../sw_max/ = filer med daglig maks. værdi for kortbølget stråling
  • .../precip_mean/ = filer med daglig middelnedbør
  • .../precip_max/ = filer med daglig maks. nedbør
metoffice_global_hourly/

…indholder globale gitterinddelte datafiler pr. time fra Met Office.

Hver fil har et beskrivende navn, såsom global_hourly_{variable}_global_{YYYYMMDD}.nc.

  • .../t1o5m/ = filer med lufttemperatur pr. time
  • .../sh/ = filer med fugtighedsgrad pr. time
  • .../sw/ = filer med kortbølget stråling pr. time
  • .../precip/ = filer med nedbør pr. time
  • .../precip3hr/ = filer med nedbør hver 3. time
  • .../pmsl/ = filer med lufttryk ved middelvandspejl pr. time
metoffice_ukv_daily/

…indholder daglige UKV-gitterinddelte datafiler fra Met Office.

Hver fil har et beskrivende navn, såsom ukv_daily_{variable}_{statistic}_{YYYYMMDD}.nc.

  • .../t1o5m_mean/ = filer med daglig middellufttemperatur
  • .../t1o5m_max/ = filer med daglig maks. lufttemperatur
  • .../t1o5m_min/ = filer med daglig min. lufttemperatur
  • .../sh_mean/ = filer med daglig middelfugtighedsgrad
  • .../sh_max/ = filer med daglig maks. fugtighedsgrad
  • .../sh_min/ = filer med daglig min. fugtighedsgrad
  • .../sw_mean/ = filer med daglig middelværdi for kortbølget stråling
  • .../sw_max/ = filer med daglig maks. værdi for kortbølget stråling
metoffice_ukv_hourly/

…indholder UKV-gitterinddelte datafiler pr. time fra Met Office.

Hver fil har et beskrivende navn, såsom ukv_hourly_{variable}_{YYYYMMDD}.nc.

  • .../t1o5m_ukv/ = filer med lufttemperatur pr. time
  • .../sh_ukv/ = filer med fugtighedsgrad pr. time
  • .../sw_ukv/ = filer med kortbølget stråling pr. time
  • .../pmsl_ukv/ = filer med lufttryk ved middelvandspejl pr. time
regional_subset_data/

…indeholder behandlede områdemæssige daglige værdier for Storbritannien og USA som .csv-filer.

Filerne er blevet behandlet ved at inddele de daglige gitterinddelte filer fra Met Office ved hjælp af shapefiler for hver region, hvor middelværdien for længde- og breddegrad for hver variabel i hvert område for hver dato blev anvendt og gemt som en tabel i en .csv-fil*.

  • .../uk_daily_meteodata_2020jan-mar_v03.csv = daglige værdier for t1o5m, sh, sw og precip for alle rapporterende områder i Storbritannien (sammenfletning af alle filer i /uk_data/ og /uk_data_precip).
  • .../us_daily_meteodata_2020jan-mar_v03.csv = daglige værdier for t1o5m, sh, sw og precip for alle amter i USA (sammenfletning af alle filer i /us_data/ og /us_data_precip)
  • .../uk_data/ = daglige værdier for t1o5m, sh og sw for hvert rapporterende område i Storbritannien (én .csv-fil pr. område)
  • .../uk_data_precip/ = daglige værdier for precip for hvert rapporterende område i Storbritannien (én .csv-fil pr. område)
  • .../us_data/ = daglige værdier for t1o5m, sh og sw for hvert amt i USA (én .csv-fil pr. amt)
  • .../us_data_precip/ = daglige værdier for precip for hvert amt i USA (én .csv-fil pr. amt)
shapefiles/

Indeholder shapefiler for Storbritannien, USA, Italien, Brasilien, Uganda og Vietnam.

  • .../UK/ = regioner i Storbritannien, der rapporter om COVID-19
  • .../USA/ = amter i USA
  • .../Italy/ = GADM v3.6 – administrativt niveau 2 for Italien
  • .../Brazil/ = GADM v3.6 – administrativt niveau 2 for Brasilien
  • .../Uganda/ = GADM v3.6 – administrativt niveau 2 for Uganda
  • .../Vietnam/ = GADM v3.6 – administrativt niveau 2 for Vietnam

Hvor det er muligt, er filnavne som beskrevet. Da disse data er blevet gjort tilgængelige inden for relativt kort tid, kan der være mindre variationer i beskrivelserne af filnavnene. Filnavnene bør dog stadig være en nøjagtig beskrivelse af dataene. Hvis du oplever problemer med filnavnene eller selve dataene, bedes du kontakte os på covid19@informaticslab.co.uk.

Kontakt og sådan får du hjælp

Hvis du har brug for hjælp eller har yderligere dataanmodninger, bedes du kontakte os på covid19@informaticslab.co.uk.

Meddelelser

MICROSOFT STILLER AZURE OPEN DATASETS TIL RÅDIGHED, SOM DE ER OG FOREFINDES. MICROSOFT FRASKRIVER SIG ETHVERT ANSVAR, UDTRYKKELIGT ELLER STILTIENDE, OG GARANTIER ELLER BETINGELSER MED HENSYN TIL BRUGEN AF DATASÆTTENE. I DET OMFANG DET ER TILLADT I HENHOLD TIL GÆLDENDE LOVGIVNING FRASKRIVER MICROSOFT SIG ETHVERT ANSVAR FOR SKADER ELLER TAB, INKLUSIVE DIREKTE, FØLGESKADER, SÆRLIGE SKADER, INDIREKTE SKADER, HÆNDELIGE SKADER ELLER PONALE SKADER, DER MÅTTE OPSTÅ I FORBINDELSE MED BRUG AF DATASÆTTENE.

Access

Available inWhen to use
Azure Notebooks

Quickly explore the dataset with Jupyter notebooks hosted on Azure or your local machine.

Select your preferred service:

Azure Notebooks

Azure Notebooks

Package: Language: Python

Met Office COVID-19 response dataset

This dataset is created, curated and updated for researchers looking to understand links between COVID-19 and environmental factors.

For more information check out our blog post and the data readme.

We are constantly updating the available data; subscribe to our news group to stay up to date or contact us if you have any requests or questions.

Imports and globals

Import the required modules, set up the default plot size and set some constants

In [1]:
import matplotlib.pyplot as plt 
import datetime

from azure.storage.blob import BlobClient, ContainerClient
from IPython.display import Markdown
from collections import namedtuple

%matplotlib inline
plt.rcParams['figure.figsize'] = (20.0, 10.0)

Set up the blob client with the connection details

In [2]:
account_url  = 'https://metdatasa.blob.core.windows.net/'
container_name = 'covid19-response'

# Create the ContainerClient object which will be used to enumerate blobs
container_client = ContainerClient(account_url=account_url,
                                   container_name=container_name,
                                   credential=None)

List the files under metoffice_global_daily/t1o5m_max

In [3]:
max_blobs = 10
for i_blob,blob in enumerate(container_client.list_blobs(
    name_starts_with='metoffice_global_daily/t1o5m_max')):
    print(f'{blob.name}')
    if i_blob >= max_blobs:
        break
metoffice_global_daily/t1o5m_max/global_daily_t1o5m_max_20200101.nc
metoffice_global_daily/t1o5m_max/global_daily_t1o5m_max_20200102.nc
metoffice_global_daily/t1o5m_max/global_daily_t1o5m_max_20200103.nc
metoffice_global_daily/t1o5m_max/global_daily_t1o5m_max_20200104.nc
metoffice_global_daily/t1o5m_max/global_daily_t1o5m_max_20200105.nc
metoffice_global_daily/t1o5m_max/global_daily_t1o5m_max_20200106.nc
metoffice_global_daily/t1o5m_max/global_daily_t1o5m_max_20200107.nc
metoffice_global_daily/t1o5m_max/global_daily_t1o5m_max_20200108.nc
metoffice_global_daily/t1o5m_max/global_daily_t1o5m_max_20200109.nc
metoffice_global_daily/t1o5m_max/global_daily_t1o5m_max_20200110.nc
metoffice_global_daily/t1o5m_max/global_daily_t1o5m_max_20200111.nc

Get a particular file based on the data required

In [4]:
data_end = (datetime.datetime.now() - datetime.timedelta(days=9)).date()
data_start = datetime.date(2020,1,1)

def url_from_properties(model, param, freq, stat=None, day=None, hour=None):
    
    assert model in ["global","ukv"]
    assert param in ["rain", "sh", "snow", "t1o5m", "pmsl","precip","sw"]
    assert freq in ["daily","hourly"]
    if freq == 'daily':
        assert stat in ['max', 'min', 'mean']
    else:
        assert stat is None  
    assert data_start <= day <= data_end
    
    stat = '_'+stat if stat else ''

    filepath = f'metoffice_{model}_{freq}/{param}{stat}/{model}_{freq}_{param}{stat}_{day:%Y%m%d}.nc'
    return f"{account_url}/{container_name}/{filepath}"

Properties = namedtuple('Properties',["model","param","freq","stat","day"])

files = [
    Properties("global","precip","daily","mean",datetime.date(2020,3,3)),
    Properties("ukv","t1o5m","daily","min",datetime.date(2020,4,1)),
    Properties("ukv","snow","hourly",None,datetime.date(2020,2,2)),
]

for file in files:
    path = url_from_properties(*file)
    print(path.replace(account_url,''))
/covid19-response/metoffice_global_daily/precip_mean/global_daily_precip_mean_20200303.nc
/covid19-response/metoffice_ukv_daily/t1o5m_min/ukv_daily_t1o5m_min_20200401.nc
/covid19-response/metoffice_ukv_hourly/snow/ukv_hourly_snow_20200202.nc

xarray and iris are useful tools for interacting with this sort of data

In [5]:
import xarray as xr
import iris
from io import BytesIO

Stream blob into memory and load dataset in xarray

In [6]:
data_description = Properties("global","precip","daily","mean",datetime.date(2020,1,30))
file_data = BytesIO(BlobClient.from_blob_url(
    url_from_properties(*data_description)).download_blob().readall())
ds = xr.open_dataset(file_data)
ds
Out[6]:
Show/Hide data repr Show/Hide attributes
xarray.Dataset
    • bnds: 2
    • latitude: 1920
    • longitude: 2560
    • latitude
      (latitude)
      float32
      -89.953125 -89.859375 ... 89.953125
    • longitude
      (longitude)
      float32
      0.0703125 0.2109375 ... 359.9297
    • forecast_period
      ()
      timedelta64[ns]
      ...
    • forecast_reference_time
      ()
      datetime64[ns]
      ...
    • time
      ()
      datetime64[ns]
      ...
    • precipitation_flux
      (latitude, longitude)
      float32
      ...
    • latitude_longitude
      ()
      int32
      ...
    • forecast_period_bnds
      (bnds)
      float64
      ...
    • forecast_reference_time_bnds
      (bnds)
      datetime64[ns]
      ...
    • time_bnds
      (bnds)
      datetime64[ns]
      ...
  • source :
    Data from Met Office Unified Model
    um_version :
    11.2
    Conventions :
    CF-1.5

Plot it with iris

In [ ]:
import tempfile

ds.precipitation_flux.plot()

tmp = tempfile.NamedTemporaryFile(delete=False)
data_description = Properties("ukv","sw","hourly",None,datetime.date(2020,1,30))
tmp.write(BlobClient.from_blob_url(
    url_from_properties(*data_description)).download_blob().readall())
local_path = tmp.name
tmp.close()

sw = iris.load_cube(local_path)
sw
Out[ ]:
M01S01I202 (1) forecast_period forecast_reference_time grid_latitude grid_longitude
Shape 6 4 808 621
Dimension coordinates
forecast_period x - - -
forecast_reference_time - x - -
grid_latitude - - x -
grid_longitude - - - x
Auxiliary coordinates
time x x - -
Attributes
Conventions CF-1.5
STASH m01s01i202
source Data from Met Office Unified Model
um_version 11.2