Ignora esplorazione

Daymet

Weather Daymet AIforEarth

Stime dei parametri meteorologici giornalieri in America del Nord in una griglia di un chilometro.

Daymet fornisce misurazioni di condizioni metereologiche in prossimità della superficie. La finalità principale di Daymet consiste nel fornire stime di dati dove non esistono strumentazioni specifiche. Questo set di dati fornisce i dati Daymet versione 3 per l’America del Nord. Le aree relative alle isole Hawaii e all’isola di Portorico sono disponibili come file separati rispetto alla massa terrestre continentale. Le variabili di output di Daymet includono temperatura minima, temperatura massima, precipitazioni, radiazione a onde corte, pressione di vaporizzazione, equivalente in acqua della neve e durata del giorno. Il set di dati copre il periodo dal 1° gennaio 1980 a oggi. Ogni anno viene elaborato individualmente al termine dell’anno di calendario. Le variabili di Daymet sono superfici continue fornite sotto forma di singoli file, in base a variabile e anno, con una risoluzione spaziale di 1 chilometro e una risoluzione temporale giornaliera. I dati sono forniti sotto forma di proiezione conica conforme di Lambert per l’America del Nord e vengono distribuiti in formato netCDF conforme con le convenzioni dei metadati CF (Climate and Forecast) versione 1.6.

Risorse di archiviazione

I dati vengono archiviati in BLOB nel data center dell’area Stati Uniti orientali nel contenitore BLOB seguente:

https://daymet.blob.core.windows.net/daymetv3-raw

Entro tale contenitori i dati sono denominati come:

davymet_v3_[variable]_[year]_[region].nc4

  • La variabile è uno dei valori seguenti:
    • tmin (temperatura minima)
    • tmax (temperatura massima)
    • prcp (precipitazione)
    • srad (radiazione a onde corte)
    • vp (pressione di vaporizzazione)
    • sne (equivalente in acqua della neve)
    • dayl (durata del giorno)
  • year indica l’anno in quattro cifre
  • region è un codice relativo all’area, ovvero “na” (massa continentale dell’America del Nord), “hawaii” o “puertorico”

I dati del 1982 per la temperatura massima per la massa continentale, ad esempio, sono disponibili in:

https://daymet.blob.core.windows.net/daymetv3-raw/daymet_v3_tmax_1982_na.nc4

Un esempio Python completo per l’accesso e il tracciamento di un BLOB Daymet è disponibile nel notebook fornito in “Accesso ai dati”.

È disponibile anche un token di firma di accesso condiviso di sola lettura per consentire l’accesso ai dati Daymet tramite ad esempio BlobFuse, che ti permette di montare i contenitori BLOB come unità:

st=2020-01-03T00%3A12%3A06Z&se=2031-01-04T00%3A12%3A00Z&sp=rl&sv=2018-03-28&sr=c&sig=ca0OY7h4J6j0JxQiiTcM9PeZ%2FCWmX5wC5sjKUPqq0mk%3D

Le istruzioni di montaggio per Linux sono disponibili qui.

L’elaborazione su larga scala con questo set di dati risulta ottimale nel data center dell’area Stati Uniti orientali, in cui sono archiviati i dati. Se usi i dati Daymet per applicazioni correlate alle scienze ambientali, prendi in considerazione la richiesta di una sovvenzione di AI for Earth per supportare i tuoi requisiti di calcolo.

Citazione

Se usi questi dati in una pubblicazione, includi questa citazione:

Thornton, P.E., M.M. Thornton, B.W. Mayer, Y. Wei, R. Devarakonda, R.S. Vose e R.B. Cook. 2016. Daymet: dati climatici di superficie giornalieri su una griglia di 1 km per l’America del Nord, versione 3. ORNL DAAC, Oak Ridge, Tennessee, USA.

Per altre informazioni, vedi i criteri per l’uso e le citazioni di dati di Oak Ridge National Laboratory Distributed Active Archive Center (ORNL DAAC).

Risorse

Le risorse e i riferimenti seguenti potrebbero risultare utili durante l’uso del set di dati Daymet:

Immagine piacevole


Media della temperatura massima giornaliera alle Hawaii nel 2017.

Contatto

Se hai domande su questo set di dati, contatta aiforearthdatasets@microsoft.com.

Notifiche

MICROSOFT FORNISCE I SET DI DATI APERTI DI AZURE “COSÌ COME SONO”. MICROSOFT NON OFFRE ALCUNA GARANZIA O CONDIZIONE ESPLICITA O IMPLICITA RELATIVAMENTE ALL’USO DEI SET DI DATI DA PARTE DELL’UTENTE. NELLA MISURA MASSIMA CONSENTITA DALLE LEGGI LOCALI, MICROSOFT NON RICONOSCE ALCUNA RESPONSABILITÀ RELATIVAMENTE A DANNI O PERDITE COMMERCIALI, INCLUSI I DANNI DIRETTI, CONSEQUENZIALI, SPECIALI, INDIRETTI, INCIDENTALI O PUNITIVI DERIVANTI DALL’USO DEI SET DI DATI DA PARTE DELL’UTENTE.

Questo set di dati viene fornito in conformità con le condizioni originali in base alle quali Microsoft ha ricevuto i dati di origine. Il set di dati potrebbe includere dati provenienti da Microsoft.

Access

Available inWhen to use
Azure Notebooks

Quickly explore the dataset with Jupyter notebooks hosted on Azure or your local machine.

Select your preferred service:

Azure Notebooks

Azure Notebooks

Package: Language: Python

Accessing zarr-formatted Daymet data on Azure

The Daymet dataset contains daily minimum temperature, maximum temperature, precipitation, shortwave radiation, vapor pressure, snow water equivalent, and day length at 1km resolution for North America. The dataset covers the period from January 1, 1980 to December 31, 2019.

The Daymet dataset is maintained at daac.ornl.gov/cgi-bin/dsviewer.pl?ds_id=1328 and mirrored on Azure Open Datasets at aka.ms/ai4edata-daymet. Azure also provides a cloud-optimized version of the data in Zarr format, which can be read into an xarray Dataset. If you just need a subset of the data, we recommend using xarray and Zarr to avoid downloading the full dataset unnecessarily.

The datasets are available in the daymeteuwest storage account, in the daymet-zarr container. Files are named according to daymet-zarr/{frequency}/{region}.zarr, where frequency is one of {daily, monthly, annual} and region is one of {hi, na, pr} (for Hawaii, CONUS, and Puerto Rico, respectively). For example, daymet-zarr/daily/hi.zarr.

In [1]:
# Standard or standard-ish imports
import warnings
import matplotlib.pyplot as plt

# Less standard, but still pip- or conda-installable
import xarray as xr
import fsspec

# Neither of these are accessed directly, but both need to be installed; they're used
# via fsspec
import adlfs
import zarr

account_name = 'daymeteuwest'
container_name = 'daymet-zarr'

Load data into an xarray Dataset

We can lazily load the data into an xarray.Dataset by creating a zarr store with fsspec and then reading it in with xarray. This only reads the metadata, so it's safe to call on a dataset that's larger than memory.

In [2]:
store = fsspec.get_mapper('az://' + container_name + '/daily/hi.zarr', account_name=account_name)
# consolidated=True speeds of reading the metadata
ds = xr.open_zarr(store, consolidated=True)
ds
Out[2]:

Working with the data

Using xarray, we can quickly select subsets of the data, perform an aggregation, and plot the result. For example, we'll plot the average of the maximum temperature for the year 2009.

In [3]:
warnings.simplefilter("ignore", RuntimeWarning)
fig, ax = plt.subplots(figsize=(12, 12))
ds.sel(time="2009")["tmax"].mean(dim="time").plot.imshow(ax=ax, cmap="inferno");

Or we can visualize the timeseries of the minimum temperature over the past decade.

In [4]:
fig, ax = plt.subplots(figsize=(12, 6))
ds.sel(time=slice("2010", "2019"))['tmin'].mean(dim=["x", "y"]).plot(ax=ax);

Chunking

Each of the datasets is chunked to allow for parallel and out-of-core or distributed processing with Dask. The different frequencies (daily, monthly, annual) are chunked so that each year is in a single chunk. The different regions in the x and y coordinates so that no single chunk is larger than about 250 MB, which is primarily important for the na region.

In [5]:
ds['prcp']
Out[5]:

So our prcp array has a shape (14600, 584, 284) where each chunk is (365, 584, 284). Examining the store for monthly North America, we see the chunk each of a size of (12, 1250, 1250).

In [6]:
na_store = fsspec.get_mapper("az://" + container_name + "/monthly/na.zarr",
                             account_name=account_name)
na = xr.open_zarr(na_store, consolidated=True)
na['prcp']
Out[6]:

See http://xarray.pydata.org/en/stable/dask.html for more on how xarray uses Dask for parallel computing.