Ignora esplorazione

UK Met Office Global Weather Data for COVID-19 Analysis

COVID-19 coronavirus Met Office environment Weather AIforEarth

Questi dati sono destinati a ricercatori in ambito di COVID-19 per esplorare le relazioni tra COVID-19 e i fattori ambientali.

Per altre informazioni, vedi il post di blog. Se ti servono risorse di elaborazione per elaborare questi dati, possiamo aiutarti.

Licenza

È necessario che gli utenti riconoscano Met Office come origine di questi dati includendo la dichiarazione di attribuzione seguente in eventuali prodotti, pubblicazioni o applicazioni risultanti: “Contiene dati di Met Office concessi in licenza in base a Open Government Licence v3.0”

Questi dati sono resi disponibili in base a Open Government License.

Informazioni sui dati

Output numerico del modello climatico a risoluzione elevata globale e del Regno Unito fornito da UK Met Office. I dati sono relativi alle fasi temporali iniziali del modello successive all’assimilazione dei dati e quindi questi dati corrispondono approssimativamente a un set di dati di osservazione dell’intera terra.

Sono disponibili le variabili seguenti:

  • t1o5m = Temperatura dell’aria a 1,5 m in K
  • sh = Umidità specifica a 1,5 m in kg/kg (kg di vapore acqueo in kg di aria)
  • sw = Radiazione a onde corte in Wm − 2 (surrogato per la luce del sole)
  • precip = Flusso di precipitazioni in kgm − 2s − 1 (moltiplica per 3600 per ottenere mm/hr)
  • rain = Flusso di pioggia in kgm − 2s − 1 (moltiplica per 3600 per ottenere mm/hr)
  • pmsl = Pressione atmosferica a livello medio del mare in Pa

Questi dati sono resi disponibili come file NetCDF.

I dati del modello globale e del Regno Unito sono disponibili a partire dal 1° gen 2020. Il set di dati viene aggiornato ogni giorno per la giornata precedente.

Per informazioni dettagliate sul modo in cui vengono generati i dati e informazioni specifiche sui parametri, vedi le informazioni tecniche di riferimento.

Sono disponibili sotto forma di file CSV alcune aggregazioni di dati aggiuntive con post-elaborazione relative alle aree che segnalano casi di COVID-19 nel Regno Unito e negli Stati Uniti. Altre informazioni sono disponibili di seguito.

Posizione di archiviazione

Questo set di dati è archiviato nell’area Stati Uniti orientali 2 di Azure. L’allocazione delle risorse di calcolo nell’area Stati Uniti orientali 2 è consigliata per motivi di affinità.

Collegamenti rapidi

Volumi, conservazione e frequenza di aggiornamento dei dati

I dati nella griglia vengono aggiornati ogni giorno per la giornata precedente.

A partire dal 18/04/20 le dimensioni del set di dati sono pari a circa 352 G. L’incremento settimanale è pari a circa 22 G alla settimana.

Intendiamo conservare e rendere disponibili questi dati fintanto che riteniamo che possano essere utili per la pianificazione della risposta alla pandemia di COVID-19.

Avvio rapido

I dati vengono ospitati in Microsoft Azure tramite l’iniziativa AI for Earth. Puoi accedere ai dati in molti modi, tra cui:

Puntamento e selezione

Apri il file di indice nel browser. Verrà visualizzato un elenco di collegamenti a file di dati che puoi scaricare selezionandoli nel browser.

Librerie BLOB di Azure

È disponibile una vasta gamma di librerie in diverse lingue per l’uso di BLOB di Azure. Vedi la documentazione di BLOB di Azure per altre informazioni.

Download con AZCopy

Sono disponibili molti file, quindi suggeriamo di installare lo strumento da riga di comando azcopy, disponibile qui per il download. Questo strumento ti permette di scaricare intere directory o più file usando i caratteri jolly.

Ad esempio…

Per scaricare il file global_daily_precip_max_20200101.nc nella directory corrente:
azcopy cp https://metdatasa.blob.core.windows.net/covid19-response/metoffice_global_daily/precip_max/global_daily_precip_max_20200101.nc .

Per scaricare i contenuti di /metoffice_ukv_daily/snow_mean/ in ukv_daily_snow_mean/:
azcopy cp 'https://metdatasa.blob.core.windows.net/covid19-response/metoffice_ukv_daily/snow_mean/*' ukv_daily_snow_mean/

Per scaricare tutti i dati meteorologici medi delle contee degli stati degli Stati Uniti che corrispondono al criterio us_55*.csv:
azcopy cp --recursive --include-pattern 'us_55*.csv' https://metdatasa.blob.core.windows.net/covid19-response/regional_subset_data/us_data/ .

Modalità di organizzazione dei dati

metoffice_global_daily/

…Contiene i file di dati con griglie globali giornaliere di Met Office. È disponibile una directory per ogni variabile.

Ogni file ha un nome descrittivo, ad esempio global_daily_{variable}_{statistic}_{YYYYMMDD}.nc.

  • .../t1o5m_mean/ = File relativi alla temperatura dell’aria media giornaliera
  • .../t1o5m_max/ = File relativi alla temperatura dell’aria massima giornaliera
  • .../t1o5m_min/ = File relativi alla temperatura dell’aria minima giornaliera
  • .../sh_mean/ = File relativi all’umidità specifica media giornaliera
  • .../sh_max/ = File relativi all’umidità specifica massima giornaliera
  • .../sh_min/ = File relativi all’umidità specifica minima giornaliera
  • .../sw_mean/ = File relativi alla radiazione a onde corte media giornaliera
  • .../sw_max/ = File relativi alla radiazione a onde corte massima giornaliera
  • .../precip_mean/ = File relativi al flusso di precipitazione medio giornaliero
  • .../precip_max/ = File relativi al flusso di precipitazione massimo giornaliero
metoffice_global_hourly/

…Contiene i file di dati con griglie globali orarie di Met Office.

Ogni file ha un nome descrittivo, ad esempio global_hourly_{variable}_global_{YYYYMMDD}.nc.

  • .../t1o5m/ = File relativi alla temperatura dell’aria oraria
  • .../sh/ = File relativi all’umidità specifica oraria
  • .../sw/ = File relativi alla radiazione a onde corte orari oraria
  • .../precip/ = File relativi al flusso di precipitazione orario
  • .../precip3hr/ = File relativi al flusso di precipitazione ogni tre ore
  • .../pmsl/ = File relativi alla pressione atmosferica oraria a livello del mare medio
metoffice_ukv_daily/

…Contiene i file di dati con griglie UKV giornaliere di Met Office.

Ogni file ha un nome descrittivo, ad esempio ukv_daily_{variable}_{statistic}_{YYYYMMDD}.nc.

  • .../t1o5m_mean/ = File relativi alla temperatura dell’aria media giornaliera
  • .../t1o5m_max/ = File relativi alla temperatura dell’aria massima giornaliera
  • .../t1o5m_min/ = File relativi alla temperatura dell’aria minima giornaliera
  • .../sh_mean/ = File relativi all’umidità specifica media giornaliera
  • .../sh_max/ = File relativi all’umidità specifica massima giornaliera
  • .../sh_min/ = File relativi all’umidità specifica minima giornaliera
  • .../sw_mean/ = File relativi alla radiazione a onde corte media giornaliera
  • .../sw_max/ = File relativi alla radiazione a onde corte massima giornaliera
metoffice_ukv_hourly/

…Contiene i file di dati con griglie UKV orarie di Met Office.

Ogni file ha un nome descrittivo, ad esempio ukv_hourly_{variable}_{YYYYMMDD}.nc.

  • .../t1o5m_ukv/ = File relativi alla temperatura dell’aria oraria
  • .../sh_ukv/ = File relativi all’umidità specifica oraria
  • .../sw_ukv/ = File relativi alla radiazione a onde corte orari oraria
  • .../pmsl_ukv/ = File relativi alla pressione atmosferica oraria a livello del mare medio
regional_subset_data/

…Contiene i valori giornalieri elaborati a livello di area per il Regno Unito e gli Stati Uniti come file .csv.

I file sono stati elaborati mediante la creazione di subset dei file con griglie giornaliere globali di Met Office tramite file di forma per ogni area, il recupero del valore medio di latitudine-longitudine per ogni variabile in ogni area per ogni data e il salvataggio di tali valori sotto forma di tabella in un file .csv*.

  • .../uk_daily_meteodata_2020jan-mar_v03.csv = valori giornalieri per t1o5m, sh, sw e precip per tutte le aree che inviano report nel Regno Unito (merge di tutti i file in /uk_data/ e /uk_data_precip).
  • .../us_daily_meteodata_2020jan-mar_v03.csv = valori giornalieri per t1o5m, sh, sw e precip per tutti le contee negli Stati Uniti (merge di tutti i file in /us_data/ e /us_data_precip)
  • .../uk_data/ = valori giornalieri per t1o5m, sh e sw per ogni area che invia report nel Regno Unito (un file CSV per area)
  • .../uk_data_precip/ = valori giornalieri per precip per ogni area che invia report nel Regno Unito (un file CSV per area)
  • .../us_data/ = valori giornalieri per t1o5m, sh e sw per ogni contea negli Stati Uniti (un file CSV per contea)
  • .../us_data_precip/ = valori giornalieri per precip per ogni contea negli Stati Uniti (un file CSV per contea)
shapefiles/

Contiene file di forma per Regno Unito, Stati Uniti, Italia, Brasile, Uganda e Vietnam.

  • .../UK/ = Aree che inviano report su COVID-19 nel Regno Unito
  • .../USA/ = Contee degli stati degli Stati Uniti
  • .../Italy/ = GADM v3.6 - Livello amministrativo 2 per Italia
  • .../Brazil/ = GADM v3.6 - Livello amministrativo 2 per Brasile
  • .../Uganda/ = GADM v3.6 - Livello amministrativo 2 per Uganda
  • .../Vietnam/ = GADM v3.6 - Livello amministrativo 2 per Vietnam

Dove possibile, i nomi file corrispondono a quanto descritto. A causa degli intervalli di tempo ridotti in cui questi dati sono stati resi disponibili, tuttavia, è possibile che si verifichino variazioni minori a livello di descrizioni dei nomi file. I nomi file dovrebbero comunque descrivere in modo accurato i dati. In caso di problemi relativi ai nomi file o ai dati stessi, contattaci su covid19@informaticslab.co.uk.

Assistenza e contatti

Per assistenza o richieste di dati aggiuntivi, contattaci su covid19@informaticslab.co.uk.

Notifiche

MICROSOFT FORNISCE I SET DI DATI APERTI DI AZURE “COSÌ COME SONO”. MICROSOFT NON OFFRE ALCUNA GARANZIA O CONDIZIONE ESPLICITA O IMPLICITA RELATIVAMENTE ALL’USO DEI SET DI DATI DA PARTE DELL’UTENTE. NELLA MISURA MASSIMA CONSENTITA DALLE LEGGI LOCALI, MICROSOFT NON RICONOSCE ALCUNA RESPONSABILITÀ RELATIVAMENTE A DANNI O PERDITE COMMERCIALI, INCLUSI I DANNI DIRETTI, CONSEQUENZIALI, SPECIALI, INDIRETTI, INCIDENTALI O PUNITIVI DERIVANTI DALL’USO DEI SET DI DATI DA PARTE DELL’UTENTE.

Access

Available inWhen to use
Azure Notebooks

Quickly explore the dataset with Jupyter notebooks hosted on Azure or your local machine.

Select your preferred service:

Azure Notebooks

Azure Notebooks

Package: Language: Python

Met Office COVID-19 response dataset

This dataset is created, curated and updated for researchers looking to understand links between COVID-19 and environmental factors.

For more information check out our blog post and the data readme.

We are constantly updating the available data; subscribe to our news group to stay up to date or contact us if you have any requests or questions.

Imports and globals

Import the required modules, set up the default plot size and set some constants

In [1]:
import matplotlib.pyplot as plt 
import datetime

from azure.storage.blob import BlobClient, ContainerClient
from IPython.display import Markdown
from collections import namedtuple

%matplotlib inline
plt.rcParams['figure.figsize'] = (20.0, 10.0)

Set up the blob client with the connection details

In [2]:
account_url  = 'https://metdatasa.blob.core.windows.net/'
container_name = 'covid19-response'

# Create the ContainerClient object which will be used to enumerate blobs
container_client = ContainerClient(account_url=account_url,
                                   container_name=container_name,
                                   credential=None)

List the files under metoffice_global_daily/t1o5m_max

In [3]:
max_blobs = 10
for i_blob,blob in enumerate(container_client.list_blobs(
    name_starts_with='metoffice_global_daily/t1o5m_max')):
    print(f'{blob.name}')
    if i_blob >= max_blobs:
        break
metoffice_global_daily/t1o5m_max/global_daily_t1o5m_max_20200101.nc
metoffice_global_daily/t1o5m_max/global_daily_t1o5m_max_20200102.nc
metoffice_global_daily/t1o5m_max/global_daily_t1o5m_max_20200103.nc
metoffice_global_daily/t1o5m_max/global_daily_t1o5m_max_20200104.nc
metoffice_global_daily/t1o5m_max/global_daily_t1o5m_max_20200105.nc
metoffice_global_daily/t1o5m_max/global_daily_t1o5m_max_20200106.nc
metoffice_global_daily/t1o5m_max/global_daily_t1o5m_max_20200107.nc
metoffice_global_daily/t1o5m_max/global_daily_t1o5m_max_20200108.nc
metoffice_global_daily/t1o5m_max/global_daily_t1o5m_max_20200109.nc
metoffice_global_daily/t1o5m_max/global_daily_t1o5m_max_20200110.nc
metoffice_global_daily/t1o5m_max/global_daily_t1o5m_max_20200111.nc

Get a particular file based on the data required

In [4]:
data_end = (datetime.datetime.now() - datetime.timedelta(days=9)).date()
data_start = datetime.date(2020,1,1)

def url_from_properties(model, param, freq, stat=None, day=None, hour=None):
    
    assert model in ["global","ukv"]
    assert param in ["rain", "sh", "snow", "t1o5m", "pmsl","precip","sw"]
    assert freq in ["daily","hourly"]
    if freq == 'daily':
        assert stat in ['max', 'min', 'mean']
    else:
        assert stat is None  
    assert data_start <= day <= data_end
    
    stat = '_'+stat if stat else ''

    filepath = f'metoffice_{model}_{freq}/{param}{stat}/{model}_{freq}_{param}{stat}_{day:%Y%m%d}.nc'
    return f"{account_url}/{container_name}/{filepath}"

Properties = namedtuple('Properties',["model","param","freq","stat","day"])

files = [
    Properties("global","precip","daily","mean",datetime.date(2020,3,3)),
    Properties("ukv","t1o5m","daily","min",datetime.date(2020,4,1)),
    Properties("ukv","snow","hourly",None,datetime.date(2020,2,2)),
]

for file in files:
    path = url_from_properties(*file)
    print(path.replace(account_url,''))
/covid19-response/metoffice_global_daily/precip_mean/global_daily_precip_mean_20200303.nc
/covid19-response/metoffice_ukv_daily/t1o5m_min/ukv_daily_t1o5m_min_20200401.nc
/covid19-response/metoffice_ukv_hourly/snow/ukv_hourly_snow_20200202.nc

xarray and iris are useful tools for interacting with this sort of data

In [5]:
import xarray as xr
import iris
from io import BytesIO

Stream blob into memory and load dataset in xarray

In [6]:
data_description = Properties("global","precip","daily","mean",datetime.date(2020,1,30))
file_data = BytesIO(BlobClient.from_blob_url(
    url_from_properties(*data_description)).download_blob().readall())
ds = xr.open_dataset(file_data)
ds
Out[6]:
Show/Hide data repr Show/Hide attributes
xarray.Dataset
    • bnds: 2
    • latitude: 1920
    • longitude: 2560
    • latitude
      (latitude)
      float32
      -89.953125 -89.859375 ... 89.953125
    • longitude
      (longitude)
      float32
      0.0703125 0.2109375 ... 359.9297
    • forecast_period
      ()
      timedelta64[ns]
      ...
    • forecast_reference_time
      ()
      datetime64[ns]
      ...
    • time
      ()
      datetime64[ns]
      ...
    • precipitation_flux
      (latitude, longitude)
      float32
      ...
    • latitude_longitude
      ()
      int32
      ...
    • forecast_period_bnds
      (bnds)
      float64
      ...
    • forecast_reference_time_bnds
      (bnds)
      datetime64[ns]
      ...
    • time_bnds
      (bnds)
      datetime64[ns]
      ...
  • source :
    Data from Met Office Unified Model
    um_version :
    11.2
    Conventions :
    CF-1.5

Plot it with iris

In [ ]:
import tempfile

ds.precipitation_flux.plot()

tmp = tempfile.NamedTemporaryFile(delete=False)
data_description = Properties("ukv","sw","hourly",None,datetime.date(2020,1,30))
tmp.write(BlobClient.from_blob_url(
    url_from_properties(*data_description)).download_blob().readall())
local_path = tmp.name
tmp.close()

sw = iris.load_cube(local_path)
sw
Out[ ]:
M01S01I202 (1) forecast_period forecast_reference_time grid_latitude grid_longitude
Shape 6 4 808 621
Dimension coordinates
forecast_period x - - -
forecast_reference_time - x - -
grid_latitude - - x -
grid_longitude - - - x
Auxiliary coordinates
time x x - -
Attributes
Conventions CF-1.5
STASH m01s01i202
source Data from Met Office Unified Model
um_version 11.2