Přeskočit navigaci

UK Met Office Global Weather Data for COVID-19 Analysis

COVID-19 coronavirus Met Office environment Weather AIforEarth

Tato data umožňují výzkumným pracovníkům zabývajícím se onemocněním COVID-19 zkoumat vztahy mezi COVID-19 a environmentálními podmínkami.

Další informace najdete v našem blogovém příspěvku. Pokud ke zpracování těchto dat potřebujete výpočetní prostředky, můžeme vám pomoct.

Licence

Uživatelé musí jako zdroj těchto dat uvést Met Office, a to přidáním následujícího prohlášení do všech výsledných produktů, publikací nebo aplikací: „Obsahuje data Met Office licencovaná na základě licence Open Government Licence v3.0.“

Tato data jsou k dispozici na základě licence Open Government Licence.

Informace o datech

Výstup numerického modelu počasí pro celý svět a Velkou Británii ve vysokém rozlišení od britského Met Office. Data pocházejí z velmi raných časových období modelu po asimilaci dat, a proto tato data přibližují datovou sadu z pozorování celé Země.

K dispozici jsou následující proměnné:

  • t1o5m = Teplota vzduchu ve výšce 1,5 metru v K
  • sh = Specifická vlhkost vzduchu ve výšce 1,5m v kg/kg (kilogramy vodní páry v kilogramu vzduchu)
  • sw = Krátkovlnné záření v Wm − 2 (náhrada za sluneční svit)
  • precip = Intenzita srážek v kgm − 2s − 1 (vynásobením této hodnoty číslem 3 600 získáte hodnotu v mm/h)
  • rain = Intenzita dešťových srážek v kgm − 2s − 1 (vynásobením této hodnoty číslem 3 600 získáte hodnotu v mm/h)
  • pmsl = Tlak vzduchu na střední hladině moře v Pa

Tato data jsou k dispozici jako soubory NetCDF.

Aktualizovaná data modelu pro celý svět a Velkou Británii jsou k dispozici od 1. ledna 2020. Tato datová sada se aktualizuje každý den údaji z předchozího dne.

Podrobné informace o postupu generování těchto dat a konkrétních hodnotách jednotlivých parametrů najdete v technických referenčních materiálech.

K dispozici jsou také některé další agregace dodatečně zpracovaných dat pro oblasti s hlášením výskytu COVID-19 ve Velké Británii a USA, a to jako soubory CSV. Další podrobnosti najdete níže.

Umístění úložiště

Tato datová sada se uchovává v oblasti Azure USA – východ 2. Kvůli přidružení se doporučuje přidělovat výpočetní prostředky v oblasti USA – východ 2.

Rychlé odkazy

Objemy, uchovávání a frekvence aktualizací dat

Data v tabulkách jsou aktualizována každý den údaji z předchozího dne.

K 18. 4. 2020 je celková velikost datové sady přibližně 352 GB. Každý týden se zvětšuje přibližně o 22 GB.

Plánujeme tato data uchovávat a dávat k dispozici do té doby, dokud se budeme domnívat, že jsou užitečná při plánování reakce na pandemii COVID-19.

Rychlý start

Data jsou hostovaná v Microsoft Azure v rámci iniciativy AI for Earth. K datům můžete přistupovat mnoha způsoby, mezi které patří:

Přístup typu ukázat a kliknout

Otevřete v prohlížeči indexový soubor. Zobrazí se seznam odkazů na datové soubory, které si můžete stáhnout tím, že na ně v prohlížeči kliknete.

Knihovny pro objekty blob Azure

Pro práci s objekty blob Azure existuje celá řada knihoven v různých jazycích. Další informace najdete v dokumentaci k objektům blob Azure.

Stahování pomocí nástroje AzCopy

Souborů je mnoho, proto doporučujeme nainstalovat nástroj příkazového řádku azcopy, který si můžete stáhnout tady. Pomocí tohoto nástroje si můžete stáhnout celé adresáře nebo několik souborů s využitím zástupných znaků.

Příklad:

Stažení souboru global_daily_precip_max_20200101.nc do aktuálního adresáře:
azcopy cp https://metdatasa.blob.core.windows.net/covid19-response/metoffice_global_daily/precip_max/global_daily_precip_max_20200101.nc .

Stažení obsahu adresáře /metoffice_ukv_daily/snow_mean/ do adresáře ukv_daily_snow_mean/:
azcopy cp 'https://metdatasa.blob.core.windows.net/covid19-response/metoffice_ukv_daily/snow_mean/*' ukv_daily_snow_mean/

Stažení zprůměrovaných meteorologických dat pro všechny okresy ve státech USA, která odpovídají vzoru us_55*.csv:
azcopy cp --recursive --include-pattern 'us_55*.csv' https://metdatasa.blob.core.windows.net/covid19-response/regional_subset_data/us_data/ .

Způsob uspořádání dat

metoffice_global_daily/

Obsahuje datové soubory v globální souřadnicové síti od Met Office pro jednotlivé dny. Pro každou proměnnou je k dispozici adresář.

Každý soubor má popisný název ve formátu global_daily_{variable}_{statistic}_{YYYYMMDD}.nc.

  • .../t1o5m_mean/ = Soubory s daty o průměrné denní teplotě vzduchu
  • .../t1o5m_max/ = Soubory s daty o maximální denní teplotě vzduchu
  • .../t1o5m_min/ = Soubory s daty o minimální denní teplotě vzduchu
  • .../sh_mean/ = Soubory s daty o průměrné denní specifické vlhkosti
  • .../sh_max/ = Soubory s daty o maximální denní specifické vlhkosti
  • .../sh_min/ = Soubory s daty o minimální denní specifické vlhkosti
  • .../sw_mean/ = Soubory s daty o průměrném denním krátkovlnném záření
  • .../sw_max/ = Soubory s daty o maximálním denním krátkovlnném záření
  • .../precip_mean/ = Soubory s daty o průměrné denní intenzitě srážek
  • .../precip_max/ = Soubory s daty o maximální denní intenzitě srážek
metoffice_global_hourly/

Obsahuje datové soubory v globální souřadnicové síti od Met Office pro jednotlivé hodiny.

Každý soubor má popisný název ve formátu global_hourly_{variable}_global_{YYYYMMDD}.nc.

  • .../t1o5m/ = Soubory s daty o teplotě vzduchu v danou hodinu
  • .../sh/ = Soubory s daty o specifické vlhkosti v danou hodinu
  • .../sw/ = Soubory s daty o krátkovlnném záření v danou hodinu
  • .../precip/ = Soubory s daty o intenzitě srážek v danou hodinu
  • .../precip3hr/ = Soubory s daty o intenzitě srážek za tři hodiny
  • .../pmsl/ = Soubory s daty o tlaku vzduchu na střední hladině moře v danou hodinu
metoffice_ukv_daily/

Obsahuje datové soubory v souřadnicové síti Velké Británie od Met Office pro jednotlivé dny.

Každý soubor má popisný název ve formátu ukv_daily_{variable}_{statistic}_{YYYYMMDD}.nc.

  • .../t1o5m_mean/ = Soubory s daty o průměrné denní teplotě vzduchu
  • .../t1o5m_max/ = Soubory s daty o maximální denní teplotě vzduchu
  • .../t1o5m_min/ = Soubory s daty o minimální denní teplotě vzduchu
  • .../sh_mean/ = Soubory s daty o průměrné denní specifické vlhkosti
  • .../sh_max/ = Soubory s daty o maximální denní specifické vlhkosti
  • .../sh_min/ = Soubory s daty o minimální denní specifické vlhkosti
  • .../sw_mean/ = Soubory s daty o průměrném denním krátkovlnném záření
  • .../sw_max/ = Soubory s daty o maximálním denním krátkovlnném záření
metoffice_ukv_hourly/

Obsahuje datové soubory v souřadnicové síti Velké Británie od Met Office pro jednotlivé hodiny.

Každý soubor má popisný název ve formátu ukv_hourly_{variable}_{YYYYMMDD}.nc.

  • .../t1o5m_ukv/ = Soubory s daty o teplotě vzduchu v danou hodinu
  • .../sh_ukv/ = Soubory s daty o specifické vlhkosti v danou hodinu
  • .../sw_ukv/ = Soubory s daty o krátkovlnném záření v danou hodinu
  • .../pmsl_ukv/ = Soubory s daty o tlaku vzduchu na střední hladině moře v danou hodinu
regional_subset_data/

Obsahuje zpracované denní hodnoty pro oblasti Velké Británie a USA jako soubory .csv.

Zpracování souborů proběhlo tak, že se pomocí souborů ve formátu shapefile vytvořila podmnožina souborů s denními daty v globální souřadnicové síti od Met Office pro jednotlivé oblasti, zjistila se průměrná hodnota zeměpisné šířky a délky pro každou proměnnou v každé oblasti a pro každé datum a tyto hodnoty se uložily do tabulky v souboru* .csv.

  • .../uk_daily_meteodata_2020jan-mar_v03.csv = denní hodnoty t1o5m, sh, sw a precip pro všechny sledované oblasti ve Spojeném království (sloučení všech souborů v adresářích /uk_data/ a /uk_data_precip).
  • .../us_daily_meteodata_2020jan-mar_v03.csv = denní hodnoty t1o5m, sh, sw a precip pro všechny okresy v USA (sloučení všech souborů v adresářích /us_data/ a /us_data_precip).
  • .../uk_data/ = denní hodnoty t1o5m, sh a sw pro jednotlivé sledované oblasti ve Velké Británii (pro každou oblast jeden soubor .csv)
  • .../uk_data_precip/ = denní hodnoty precip pro jednotlivé sledované oblasti ve Velké Británii (pro každou oblast jeden soubor .csv)
  • .../us_data/ = denní hodnoty t1o5m, sh a sw pro jednotlivé okresy v USA (pro každý okres jeden soubor .csv)
  • .../us_data_precip/ = denní hodnoty precip pro jednotlivé okresy v USA (pro každý okres jeden soubor .csv)
shapefiles/

Obsahuje soubory ve formátu shapefile pro Spojené království, USA, Itálii, Brazílii, Ugandu a Vietnam.

  • .../UK/ = Oblasti s hlášením výskytu COVID-19 ve Velké Británii
  • .../USA/ = Okresy ve státech USA
  • .../Italy/ = GADM v3.6, administrativní úroveň 2 pro Itálii
  • .../Brazil/ = GADM v3.6, administrativní úroveň 2 pro Brazílii
  • .../Uganda/ = GADM v3.6, administrativní úroveň 2 pro Ugandu
  • .../Vietnam/ = GADM v3.6, administrativní úroveň 2 pro Vietnam

Pokud je to možné, názvy souborů odpovídají uvedenému popisu. Vzhledem ke krátkým časovým obdobím, ve kterých jsou tato data k dispozici, však může v uvedených popisech názvů souborů dojít k mírným odchylkám. Názvy souborů by však stále měly dostatečně přesně popisovat data, která obsahují. Pokud zjistíte problémy s nějakými názvy souborů nebo samotnými daty, kontaktujte nás na adrese covid19@informaticslab.co.uk.

Získání pomoci a kontakt

Pokud potřebujete pomoc nebo chcete požádat o další data, kontaktujte nás na adrese covid19@informaticslab.co.uk.

Sdělení

MICROSOFT POSKYTUJE SLUŽBU AZURE OPEN DATASETS TAK, JAK JE. MICROSOFT V SOUVISLOSTI S VAŠÍM POUŽÍVÁNÍM DATOVÝCH SAD NEPOSKYTUJE ŽÁDNÉ ZÁRUKY, AŤ UŽ VÝSLOVNÉ NEBO PŘEDPOKLÁDANÉ, ANI JEJ NIJAK NEPODMIŇUJE. V ROZSAHU POVOLENÉM MÍSTNÍM ZÁKONEM MICROSOFT ODMÍTÁ JAKOUKOLI ODPOVĚDNOST ZA ŠKODY A ZTRÁTY ZPŮSOBENÉ VAŠÍM POUŽÍVÁNÍM DATOVÝCH SAD, VČETNĚ PŘÍMÝCH, NÁSLEDNÝCH, ZVLÁŠTNÍCH, NEPŘÍMÝCH, NÁHODNÝCH NEBO TRESTNÍCH ŠKOD.

Access

Available inWhen to use
Azure Notebooks

Quickly explore the dataset with Jupyter notebooks hosted on Azure or your local machine.

Select your preferred service:

Azure Notebooks

Azure Notebooks

Package: Language: Python

Met Office COVID-19 response dataset

This dataset is created, curated and updated for researchers looking to understand links between COVID-19 and environmental factors.

For more information check out our blog post and the data readme.

We are constantly updating the available data; subscribe to our news group to stay up to date or contact us if you have any requests or questions.

Imports and globals

Import the required modules, set up the default plot size and set some constants

In [1]:
import matplotlib.pyplot as plt 
import datetime

from azure.storage.blob import BlobClient, ContainerClient
from IPython.display import Markdown
from collections import namedtuple

%matplotlib inline
plt.rcParams['figure.figsize'] = (20.0, 10.0)

Set up the blob client with the connection details

In [2]:
account_url  = 'https://metdatasa.blob.core.windows.net/'
container_name = 'covid19-response'

# Create the ContainerClient object which will be used to enumerate blobs
container_client = ContainerClient(account_url=account_url,
                                   container_name=container_name,
                                   credential=None)

List the files under metoffice_global_daily/t1o5m_max

In [3]:
max_blobs = 10
for i_blob,blob in enumerate(container_client.list_blobs(
    name_starts_with='metoffice_global_daily/t1o5m_max')):
    print(f'{blob.name}')
    if i_blob >= max_blobs:
        break
metoffice_global_daily/t1o5m_max/global_daily_t1o5m_max_20200101.nc
metoffice_global_daily/t1o5m_max/global_daily_t1o5m_max_20200102.nc
metoffice_global_daily/t1o5m_max/global_daily_t1o5m_max_20200103.nc
metoffice_global_daily/t1o5m_max/global_daily_t1o5m_max_20200104.nc
metoffice_global_daily/t1o5m_max/global_daily_t1o5m_max_20200105.nc
metoffice_global_daily/t1o5m_max/global_daily_t1o5m_max_20200106.nc
metoffice_global_daily/t1o5m_max/global_daily_t1o5m_max_20200107.nc
metoffice_global_daily/t1o5m_max/global_daily_t1o5m_max_20200108.nc
metoffice_global_daily/t1o5m_max/global_daily_t1o5m_max_20200109.nc
metoffice_global_daily/t1o5m_max/global_daily_t1o5m_max_20200110.nc
metoffice_global_daily/t1o5m_max/global_daily_t1o5m_max_20200111.nc

Get a particular file based on the data required

In [4]:
data_end = (datetime.datetime.now() - datetime.timedelta(days=9)).date()
data_start = datetime.date(2020,1,1)

def url_from_properties(model, param, freq, stat=None, day=None, hour=None):
    
    assert model in ["global","ukv"]
    assert param in ["rain", "sh", "snow", "t1o5m", "pmsl","precip","sw"]
    assert freq in ["daily","hourly"]
    if freq == 'daily':
        assert stat in ['max', 'min', 'mean']
    else:
        assert stat is None  
    assert data_start <= day <= data_end
    
    stat = '_'+stat if stat else ''

    filepath = f'metoffice_{model}_{freq}/{param}{stat}/{model}_{freq}_{param}{stat}_{day:%Y%m%d}.nc'
    return f"{account_url}/{container_name}/{filepath}"

Properties = namedtuple('Properties',["model","param","freq","stat","day"])

files = [
    Properties("global","precip","daily","mean",datetime.date(2020,3,3)),
    Properties("ukv","t1o5m","daily","min",datetime.date(2020,4,1)),
    Properties("ukv","snow","hourly",None,datetime.date(2020,2,2)),
]

for file in files:
    path = url_from_properties(*file)
    print(path.replace(account_url,''))
/covid19-response/metoffice_global_daily/precip_mean/global_daily_precip_mean_20200303.nc
/covid19-response/metoffice_ukv_daily/t1o5m_min/ukv_daily_t1o5m_min_20200401.nc
/covid19-response/metoffice_ukv_hourly/snow/ukv_hourly_snow_20200202.nc

xarray and iris are useful tools for interacting with this sort of data

In [5]:
import xarray as xr
import iris
from io import BytesIO

Stream blob into memory and load dataset in xarray

In [6]:
data_description = Properties("global","precip","daily","mean",datetime.date(2020,1,30))
file_data = BytesIO(BlobClient.from_blob_url(
    url_from_properties(*data_description)).download_blob().readall())
ds = xr.open_dataset(file_data)
ds
Out[6]:
Show/Hide data repr Show/Hide attributes
xarray.Dataset
    • bnds: 2
    • latitude: 1920
    • longitude: 2560
    • latitude
      (latitude)
      float32
      -89.953125 -89.859375 ... 89.953125
    • longitude
      (longitude)
      float32
      0.0703125 0.2109375 ... 359.9297
    • forecast_period
      ()
      timedelta64[ns]
      ...
    • forecast_reference_time
      ()
      datetime64[ns]
      ...
    • time
      ()
      datetime64[ns]
      ...
    • precipitation_flux
      (latitude, longitude)
      float32
      ...
    • latitude_longitude
      ()
      int32
      ...
    • forecast_period_bnds
      (bnds)
      float64
      ...
    • forecast_reference_time_bnds
      (bnds)
      datetime64[ns]
      ...
    • time_bnds
      (bnds)
      datetime64[ns]
      ...
  • source :
    Data from Met Office Unified Model
    um_version :
    11.2
    Conventions :
    CF-1.5

Plot it with iris

In [ ]:
import tempfile

ds.precipitation_flux.plot()

tmp = tempfile.NamedTemporaryFile(delete=False)
data_description = Properties("ukv","sw","hourly",None,datetime.date(2020,1,30))
tmp.write(BlobClient.from_blob_url(
    url_from_properties(*data_description)).download_blob().readall())
local_path = tmp.name
tmp.close()

sw = iris.load_cube(local_path)
sw
Out[ ]:
M01S01I202 (1) forecast_period forecast_reference_time grid_latitude grid_longitude
Shape 6 4 808 621
Dimension coordinates
forecast_period x - - -
forecast_reference_time - x - -
grid_latitude - - x -
grid_longitude - - - x
Auxiliary coordinates
time x x - -
Attributes
Conventions CF-1.5
STASH m01s01i202
source Data from Met Office Unified Model
um_version 11.2