Pomiń nawigację

UK Met Office Global Weather Data for COVID-19 Analysis

COVID-19 coronavirus Met Office environment Weather AIforEarth

Dane te są przeznaczone dla badaczy COVID-19 na potrzeby badania związków między COVID-19 a czynnikami środowiskowymi.

Aby uzyskać więcej informacji, zobacz wpis w naszym blogu. Jeśli potrzebujesz zasobów obliczeniowych do przetwarzania tych danych, być może będziemy w stanie pomóc.

Licencja

Użytkownicy są zobowiązani do podania serwisu Met Office jako źródła tych danych poprzez dołączenie następującego oświadczenia o uznaniu autorstwa we wszelkich wynikowych produktach, publikacjach lub aplikacjach: „Zawiera dane serwisu Met Office na licencji Open Government License v3.0”.

Te dane są udostępniane na podstawie licencji Open Government License.

Informacje o danych

Globalne, wysokiej rozdzielczości dane wyjściowe numerycznego modelu pogody Zjednoczonego Królestwa z serwisu UK Met Office. Dane pochodzą z bardzo wczesnych etapów czasowych modelu po asymilacji danych i jako takie te dane są zbliżone do zestawu danych z obserwacji całej Ziemi.

Dostępne są następujące zmienne:

  • t1o5m = temperatura powietrza na 1,5 m w K
  • sh = wilgotność właściwa na 1,5 m w kg/kg (kg pary wodnej w kg powietrza)
  • sw = promieniowanie krótkofalowe w Wm − 2 (surogat światła słonecznego)
  • precip = strumień opadu w kgm − 2s − 1 (pomnożony przez 3600 w celu uzyskania wartości mm/godz. )
  • rain = strumień deszczu w kgm − 2s − 1 (pomnożony przez 3600 w celu uzyskania wartości mm/godz. )
  • pmsl = ciśnienie atmosferyczne na średnim poziomie morza w Pa

Te dane są udostępniane jako pliki NetCDF.

Zaktualizowane dane oparte na modelu globalnym i dla Wielkiej Brytanii dostępne są od 1 stycznia 2020 r. Zestaw danych jest aktualizowany codziennie za poprzedni dzień.

Aby uzyskać szczegółowe informacje o sposobie generowania tych danych oraz o parametrach, zobacz informacje techniczne.

W plikach CSV udostępniono pewne dodatkowe agregacje danych po przetworzeniu końcowym, które dotyczą regionów raportujących przypadki choroby COVID-19 w Zjednoczonym Królestwie i Stanach Zjednoczonych. Szczegółowe informacje można znaleźć poniżej.

Lokalizacja magazynu

Ten zestaw danych jest przechowywany w regionie platformy Azure Wschodnie stany USA 2. Zalecamy przydzielanie zasobów obliczeniowych w regionie Wschodnie stany USA 2 z uwagi na koligację.

Szybkie linki

Ilości, przechowywanie i częstotliwość aktualizacji danych

Dane w siatce są aktualizowane codziennie za poprzedni dzień.

Na dzień 18.04.2020 zestaw danych ma rozmiar około 352 G. Co tydzień rośnie o około 22 G.

Zamierzamy przechowywać i udostępniać te dane tak długo, jak długo będziemy uważać, że są przydatne w planowaniu reakcji na pandemię COVID-19.

Szybki start

Dane są hostowane na platformie Microsoft Azure za pośrednictwem ich inicjatywy AI for Earth. Dostęp do danych można uzyskać na wiele sposobów, takich jak:

Wskazanie i kliknięcie

Otwórz plik indeksu w przeglądarce. Zobaczysz listę linków do plików danych, które możesz pobrać, klikając je w przeglądarce.

Biblioteki obiektów blob platformy Azure

Istnieje wiele bibliotek w różnych językach do pracy z obiektami blob platformy Azure. Zapoznaj się z dokumentacją obiektów blob platformy Azure, aby uzyskać więcej informacji.

Pobieranie za pomocą narzędzia AzCopy

Istnieje wiele plików, dlatego zalecamy zainstalowanie narzędzia wiersza polecenia azcopy, które można pobrać tutaj. Umożliwia to pobranie całych katalogów lub wielu plików za pomocą symboli wieloznacznych.

Na przykład:

Aby pobrać plik global_daily_precip_max_20200101.nc do bieżącego katalogu:
azcopy cp https://metdatasa.blob.core.windows.net/covid19-response/metoffice_global_daily/precip_max/global_daily_precip_max_20200101.nc .

Aby pobrać zawartość katalogu /metoffice_ukv_daily/snow_mean/ do katalogu ukv_daily_snow_mean/:
azcopy cp 'https://metdatasa.blob.core.windows.net/covid19-response/metoffice_ukv_daily/snow_mean/*' ukv_daily_snow_mean/

Aby pobrać wszystkie dane meteorologiczne stanów USA uśrednione według hrabstw, które są zgodne ze wzorcem us_55*.csv:
azcopy cp --recursive --include-pattern 'us_55*.csv' https://metdatasa.blob.core.windows.net/covid19-response/regional_subset_data/us_data/ .

Jak zorganizowane są dane

metoffice_global_daily/

Zawiera pliki z globalnymi danymi dobowymi serwisu Met Office dla siatki regularnej. Istnieje katalog dla każdej zmiennej.

Każdy plik ma opisową nazwę, np. global_daily_{variable}_{statistic}_{YYYYMMDD}.nc.

  • .../t1o5m_mean/ = pliki średnich dobowych wartości temperatury powietrza
  • .../t1o5m_max/ = pliki maksymalnych dobowych wartości temperatury powietrza
  • .../t1o5m_min/ = pliki minimalnych dobowych wartości temperatury powietrza
  • .../sh_mean/ = pliki średnich dobowych wartości wilgotności właściwej
  • .../sh_max/ = pliki maksymalnych dobowych wartości wilgotności właściwej
  • .../sh_min/ = pliki minimalnych dobowych wartości wilgotności właściwej
  • .../sw_mean/ = pliki średnich dobowych wartości promieniowania krótkofalowego
  • .../sw_max/ = pliki maksymalnych dobowych wartości promieniowania krótkofalowego
  • .../precip_mean/ = pliki średniego dobowego strumienia opadu
  • .../precip_max/ = pliki maksymalnego dobowego strumienia opadu
metoffice_global_hourly/

Zawiera pliki z globalnymi danymi godzinnymi serwisu Met Office dla siatki regularnej.

Każdy plik ma opisową nazwę, np. global_hourly_{variable}_global_{YYYYMMDD}.nc.

  • .../t1o5m/ = pliki godzinnych wartości temperatury powietrza
  • .../sh/ = pliki godzinnych wartości wilgotności właściwej
  • .../sw/ = pliki godzinnych wartości promieniowania krótkofalowego
  • .../precip/ = pliki godzinnych wartości strumienia opadu
  • .../precip3hr/ = pliki wartości strumienia opadu w przedziałach trzygodzinnych
  • .../pmsl/ = pliki godzinnych wartości ciśnienia atmosferycznego zredukowanego do średniego poziomu morza
metoffice_ukv_daily/

Zawiera pliki danych dobowych z modelu opartego na siatce o zmiennej rozdzielczości przestrzennej (UKV) z serwisu Met Office.

Każdy plik ma opisową nazwę, np. ukv_daily_{variable}_{statistic}_{YYYYMMDD}.nc.

  • .../t1o5m_mean/ = pliki średnich dobowych wartości temperatury powietrza
  • .../t1o5m_max/ = pliki maksymalnych dobowych wartości temperatury powietrza
  • .../t1o5m_min/ = pliki minimalnych dobowych wartości temperatury powietrza
  • .../sh_mean/ = pliki średnich dobowych wartości wilgotności właściwej
  • .../sh_max/ = pliki maksymalnych dobowych wartości wilgotności właściwej
  • .../sh_min/ = pliki minimalnych dobowych wartości wilgotności właściwej
  • .../sw_mean/ = pliki średnich dobowych wartości promieniowania krótkofalowego
  • .../sw_max/ = pliki maksymalnych dobowych wartości promieniowania krótkofalowego
metoffice_ukv_hourly/

Zawiera pliki danych godzinnych z modelu opartego na siatce o zmiennej rozdzielczości przestrzennej (UKV) z serwisu Met Office.

Każdy plik ma opisową nazwę, np. ukv_hourly_{variable}_{YYYYMMDD}.nc.

  • .../t1o5m_ukv/ = pliki godzinnych wartości temperatury powietrza
  • .../sh_ukv/ = pliki godzinnych wartości wilgotności właściwej
  • .../sw_ukv/ = pliki godzinnych wartości promieniowania krótkofalowego
  • .../pmsl_ukv/ = pliki godzinnych wartości ciśnienia atmosferycznego zredukowanego do średniego poziomu morza
regional_subset_data/

Zawiera przetworzone regionalne wartości dobowe dla Zjednoczonego Królestwa i Stanów Zjednoczonych w postaci plików .csv.

Pliki zostały przetworzone przez utworzenie podzestawów globalnych plików wartości dobowych opartych na siatce regularnej z serwisu Met Office przy użyciu plików kształtów dla każdego regionu, biorąc wartość średnią szerokości i długości geograficznej dla każdej zmiennej w każdym regionie dla każdej daty i zapisując te wartości w postaci tabeli w pliku .csv*.

  • .../uk_daily_meteodata_2020jan-mar_v03.csv = wartości dobowe dla t1o5m, sh, sw i precip dla wszystkich regionów raportowania w Zjednoczonym Królestwie(scalając razem wszystkie pliki w /uk_data/ i /uk_data_precip).
  • .../us_daily_meteodata_2020jan-mar_v03.csv = wartości dobowe dla t1o5m, sh, sw i precip dla wszystkich hrabstw w Stanach Zjednoczonych (scalając razem wszystkie pliki w /us_data/ i /us_data_precip).
  • .../uk_data/ = wartości dobowe dla t1o5m, sh i sw dla każdego regionu raportowania w Zjednoczonym Królestwie (jeden plik csv na region).
  • .../uk_data_precip/ = wartości dobowe dla precip dla każdego regionu raportowania w Zjednoczonym Królestwie (jeden plik csv na region).
  • .../us_data/ = wartości dobowe dla t1o5m, sh i sw dla każdego hrabstwa w Stanach Zjednoczonych (jeden plik csv na hrabstwo).
  • .../us_data_precip/ = wartości dobowe dla precip dla każdego hrabstwa w Stanach Zjednoczonych (jeden plik csv na hrabstwo).
shapefiles/

Zawiera pliki kształtów dla Zjednoczonego Królestwa, Stanów Zjednoczonych, Włoch, Brazylii, Ugandy i Wietnamu.

  • .../UK/ = regiony raportowania COVID-19 w Zjednoczonym Królestwie
  • .../USA/ = hrabstwa stanowe w Stanach Zjednoczonych
  • .../Italy/ = GADM wersja 3.6 poziom administracyjny 2 dla Włoch
  • .../Brazil/ = GADM wersja 3.6 poziom administracyjny 2 dla Brazylii
  • .../Uganda/ = GADM wersja 3.6 poziom administracyjny 2 dla Ugandy
  • .../Vietnam/ = GADM wersja 3.6 poziom administracyjny 2 dla Wietnamu

Tam, gdzie to możliwe, nazwy plików są takie, jak opisano. Jednak biorąc pod uwagę krótkie ramy czasowe, w których te dane zostały udostępnione, mogą wystąpić niewielkie różnice w opisach nazw plików. Nazwy plików powinny nadal dokładnie opisywać dane. Jeśli znajdziesz problemy dotyczące nazw plików lub danych, skontaktuj się z nami pod adresem covid19@informaticslab.co.uk.

Uzyskiwanie pomocy i kontakt

W celu uzyskania pomocy lub zgłoszenia zapotrzebowania na dodatkowe dane prosimy o kontakt pod adresem covid19@informaticslab.co.uk.

Uwagi

FIRMA MICROSOFT UDOSTĘPNIA OTWARTE ZESTAWY DANYCH W ICH AKTUALNYM STANIE. FIRMA MICROSOFT NIE UDZIELA ŻADNYCH GWARANCJI, JAWNYCH LUB DOMNIEMANYCH, ANI NIE OKREŚLA ŻADNYCH WARUNKÓW W ODNIESIENIU DO KORZYSTANIA Z ZESTAWÓW DANYCH. W ZAKRESIE DOZWOLONYM PRZEZ PRZEPISY PRAWA LOKALNEGO FIRMA MICROSOFT ZRZEKA SIĘ ODPOWIEDZIALNOŚCI ZA JAKIEKOLWIEK STRATY I SZKODY, W TYM SZKODY BEZPOŚREDNIE, WYNIKOWE, SPECJALNE, POŚREDNIE, PRZYPADKOWE LUB KARNE, WYNIKAJĄCE Z KORZYSTANIA Z TYCH ZESTAWÓW DANYCH.

Access

Available inWhen to use
Azure Notebooks

Quickly explore the dataset with Jupyter notebooks hosted on Azure or your local machine.

Select your preferred service:

Azure Notebooks

Azure Notebooks

Package: Language: Python

Met Office COVID-19 response dataset

This dataset is created, curated and updated for researchers looking to understand links between COVID-19 and environmental factors.

For more information check out our blog post and the data readme.

We are constantly updating the available data; subscribe to our news group to stay up to date or contact us if you have any requests or questions.

Imports and globals

Import the required modules, set up the default plot size and set some constants

In [1]:
import matplotlib.pyplot as plt 
import datetime

from azure.storage.blob import BlobClient, ContainerClient
from IPython.display import Markdown
from collections import namedtuple

%matplotlib inline
plt.rcParams['figure.figsize'] = (20.0, 10.0)

Set up the blob client with the connection details

In [2]:
account_url  = 'https://metdatasa.blob.core.windows.net/'
container_name = 'covid19-response'

# Create the ContainerClient object which will be used to enumerate blobs
container_client = ContainerClient(account_url=account_url,
                                   container_name=container_name,
                                   credential=None)

List the files under metoffice_global_daily/t1o5m_max

In [3]:
max_blobs = 10
for i_blob,blob in enumerate(container_client.list_blobs(
    name_starts_with='metoffice_global_daily/t1o5m_max')):
    print(f'{blob.name}')
    if i_blob >= max_blobs:
        break
metoffice_global_daily/t1o5m_max/global_daily_t1o5m_max_20200101.nc
metoffice_global_daily/t1o5m_max/global_daily_t1o5m_max_20200102.nc
metoffice_global_daily/t1o5m_max/global_daily_t1o5m_max_20200103.nc
metoffice_global_daily/t1o5m_max/global_daily_t1o5m_max_20200104.nc
metoffice_global_daily/t1o5m_max/global_daily_t1o5m_max_20200105.nc
metoffice_global_daily/t1o5m_max/global_daily_t1o5m_max_20200106.nc
metoffice_global_daily/t1o5m_max/global_daily_t1o5m_max_20200107.nc
metoffice_global_daily/t1o5m_max/global_daily_t1o5m_max_20200108.nc
metoffice_global_daily/t1o5m_max/global_daily_t1o5m_max_20200109.nc
metoffice_global_daily/t1o5m_max/global_daily_t1o5m_max_20200110.nc
metoffice_global_daily/t1o5m_max/global_daily_t1o5m_max_20200111.nc

Get a particular file based on the data required

In [4]:
data_end = (datetime.datetime.now() - datetime.timedelta(days=9)).date()
data_start = datetime.date(2020,1,1)

def url_from_properties(model, param, freq, stat=None, day=None, hour=None):
    
    assert model in ["global","ukv"]
    assert param in ["rain", "sh", "snow", "t1o5m", "pmsl","precip","sw"]
    assert freq in ["daily","hourly"]
    if freq == 'daily':
        assert stat in ['max', 'min', 'mean']
    else:
        assert stat is None  
    assert data_start <= day <= data_end
    
    stat = '_'+stat if stat else ''

    filepath = f'metoffice_{model}_{freq}/{param}{stat}/{model}_{freq}_{param}{stat}_{day:%Y%m%d}.nc'
    return f"{account_url}/{container_name}/{filepath}"

Properties = namedtuple('Properties',["model","param","freq","stat","day"])

files = [
    Properties("global","precip","daily","mean",datetime.date(2020,3,3)),
    Properties("ukv","t1o5m","daily","min",datetime.date(2020,4,1)),
    Properties("ukv","snow","hourly",None,datetime.date(2020,2,2)),
]

for file in files:
    path = url_from_properties(*file)
    print(path.replace(account_url,''))
/covid19-response/metoffice_global_daily/precip_mean/global_daily_precip_mean_20200303.nc
/covid19-response/metoffice_ukv_daily/t1o5m_min/ukv_daily_t1o5m_min_20200401.nc
/covid19-response/metoffice_ukv_hourly/snow/ukv_hourly_snow_20200202.nc

xarray and iris are useful tools for interacting with this sort of data

In [5]:
import xarray as xr
import iris
from io import BytesIO

Stream blob into memory and load dataset in xarray

In [6]:
data_description = Properties("global","precip","daily","mean",datetime.date(2020,1,30))
file_data = BytesIO(BlobClient.from_blob_url(
    url_from_properties(*data_description)).download_blob().readall())
ds = xr.open_dataset(file_data)
ds
Out[6]:
Show/Hide data repr Show/Hide attributes
xarray.Dataset
    • bnds: 2
    • latitude: 1920
    • longitude: 2560
    • latitude
      (latitude)
      float32
      -89.953125 -89.859375 ... 89.953125
    • longitude
      (longitude)
      float32
      0.0703125 0.2109375 ... 359.9297
    • forecast_period
      ()
      timedelta64[ns]
      ...
    • forecast_reference_time
      ()
      datetime64[ns]
      ...
    • time
      ()
      datetime64[ns]
      ...
    • precipitation_flux
      (latitude, longitude)
      float32
      ...
    • latitude_longitude
      ()
      int32
      ...
    • forecast_period_bnds
      (bnds)
      float64
      ...
    • forecast_reference_time_bnds
      (bnds)
      datetime64[ns]
      ...
    • time_bnds
      (bnds)
      datetime64[ns]
      ...
  • source :
    Data from Met Office Unified Model
    um_version :
    11.2
    Conventions :
    CF-1.5

Plot it with iris

In [ ]:
import tempfile

ds.precipitation_flux.plot()

tmp = tempfile.NamedTemporaryFile(delete=False)
data_description = Properties("ukv","sw","hourly",None,datetime.date(2020,1,30))
tmp.write(BlobClient.from_blob_url(
    url_from_properties(*data_description)).download_blob().readall())
local_path = tmp.name
tmp.close()

sw = iris.load_cube(local_path)
sw
Out[ ]:
M01S01I202 (1) forecast_period forecast_reference_time grid_latitude grid_longitude
Shape 6 4 808 621
Dimension coordinates
forecast_period x - - -
forecast_reference_time - x - -
grid_latitude - - x -
grid_longitude - - - x
Auxiliary coordinates
time x x - -
Attributes
Conventions CF-1.5
STASH m01s01i202
source Data from Met Office Unified Model
um_version 11.2