Navigatie overslaan

Daymet

Weather Daymet AIforEarth

Schattingen van dagelijkse weerparameters in Noord-Amerika in een raster van één kilometer.

Daymet verricht metingen van meteorologische omstandigheden nabij de oppervlakte. Het doel van Daymet is om schattingen van gegevens te geven op locaties waar geen meetinstrumenten voorhanden zijn. De gegevensset biedt gegevens voor Daymet versie 3 voor Noord-Amerika. De eilanden Hawaii en Puerto Rico zijn beschikbaar als bestanden die afzonderlijk van de landen op het continent worden bewaard. Daymet-uitvoervariabelen omvatten de minimumtemperatuur, maximumtemperatuur, neerslag, kortgolvige straling, dampspanning, waterequivalent van sneeuw en daglengte. De gegevensset beslaat de periode van 1 januari 1980 tot nu. Elk jaar wordt afzonderlijk verwerkt aan het einde van een kalenderjaar. Daymet-variabelen zijn doorlopende oppervlakken die als afzonderlijke bestanden worden geleverd, op variabele en jaar, met een ruimtelijke resolutie van 1 kilometer en een tijdelijke resolutie van een dag. De gegevens worden getoond in een Lambert Conformal Conic-weergave voor Noord-Amerika en gedistribueerd in een netCDF-indeling die voldoet aan de conventies voor CF-metagegevens (Climate and Forecast) (versie 1.6).

Opslagresources

Gegevens worden opgeslagen in blobs in het datacenter in de regio US - oost, in de volgende blobcontainer:

https://daymet.blob.core.windows.net/daymetv3-raw

Binnen die container krijgen gegevens de volgende naam:

davymet_v3_[variable]_[year]_[region].nc4

  • Variabele heeft een van de volgende waarden:
    • tmin (minimumtemperatuur)
    • tmax (maximumtemperatuur)
    • prcp (neerslag)
    • srad (kortegolfstraling)
    • vp (dampdruk)
    • sne (sneeuwwaterequivalent)
    • dayl (daglengte)
  • jaar is een jaar met vier cijfers
  • regio is een regiocode: ‘na’ (Noord-Amerikaanse continent), ‘hawaii’ of ‘puertorico’

Gegevens over maximumtemperatuur uit 1982 voor het Noord-Amerikaanse continent zijn bijvoorbeeld beschikbaar via:

https://daymet.blob.core.windows.net/daymetv3-raw/daymet_v3_tmax_1982_na.nc4

Een volledig Python-voorbeeld van het openen en plotten van een Daymet-blob is beschikbaar in het notebook onder “gegevenstoegang”.

We leveren ook een alleen-lezen SAS-token (Shared Access Signature) om toegang tot Daymet-gegevens toe te staan via bijvoorbeeld BlobFuse, waardoor u blobcontainers als schijven kunt koppelen:

st=2020-01-03T00%3A12%3A06Z&se=2031-01-04T00%3A12%3A00Z&sp=rl&sv=2018-03-28&sr=c&sig=ca0OY7h4J6j0JxQiiTcM9PeZ%2FCWmX5wC5sjKUPqq0mk%3D

Hier vindt u koppelingsinstructies voor Linux.

De beste locatie voor grootschalige verwerking van gegevens met deze gegevensset is het Azure-datacentrum US - oost, waar de data wordt opgeslagen. Als u Daymet-gegevens gebruikt voor milieuwetenschappelijke toepassingen, is het raadzaam om u aan te melden voor een AI for Earth-toelage ter ondersteuning van uw rekenbehoeften.

Gegevensvermelding

Citeer deze gegevens als u ze in een publicatie gebruikt:

Thornton, P.E., M.M. Thornton, B.W. Mayer, Y. Wei, R. Devarakonda, R.S. Vose en R.B. Cook. 2016. Daymet: Dagelijkse gegevens van oppervlakteweer op een raster van 1-km voor Noord-Amerika, versie 3. ORNL DAAC, Oak Ridge, Tennessee, USA.

Raadpleeg het beleid voor gegevensgebruik en -vermeldingen van het Oak Ridge National Laboratory Distributed Active Archive Center (ORNL DAAC) voor meer informatie.

Resources

De volgende resources en verwijzingen kunnen nuttig zijn wanneer u met de Daymet-gegevensset werkt:

Mooie afbeelding


Gemiddelde maximale dagtemperatuur in Hawaii in 2017.

Contactpersoon

Voor vragen over deze gegevensset kunt contact opnemen met aiforearthdatasets@microsoft.com.

Mededelingen

AZURE OPEN GEGEVENSSETS WORDEN DOOR MICROSOFT ONGEWIJZIGD GELEVERD. MICROSOFT GEEFT GEEN GARANTIES, EXPLICIET OF IMPLICIET, ZEKERHEDEN OF VOORWAARDEN MET BETREKKING TOT HET GEBRUIK VAN DE GEGEVENSSETS. VOOR ZOVER IS TOEGESTAAN ONDER HET TOEPASSELIJKE RECHT, WIJST MICROSOFT ALLE AANSPRAKELIJKHEID AF VOOR SCHADE OF VERLIEZEN, WAARONDER GEVOLGSCHADE OF DIRECTE, SPECIALE, INDIRECTE, INCIDENTELE OF PUNITIEVE SCHADE DIE VOORTVLOEIT UIT HET GEBRUIK VAN DE GEGEVENSSETS.

Deze gegevensset wordt geleverd onder de oorspronkelijke voorwaarden dat Microsoft de brongegevens heeft ontvangen. De gegevensset kan gegevens bevatten die afkomstig zijn van Microsoft.

Access

Available inWhen to use
Azure Notebooks

Quickly explore the dataset with Jupyter notebooks hosted on Azure or your local machine.

Select your preferred service:

Azure Notebooks

Azure Notebooks

Package: Language: Python

Accessing zarr-formatted Daymet data on Azure

The Daymet dataset contains daily minimum temperature, maximum temperature, precipitation, shortwave radiation, vapor pressure, snow water equivalent, and day length at 1km resolution for North America. The dataset covers the period from January 1, 1980 to December 31, 2019.

The Daymet dataset is maintained at daac.ornl.gov/cgi-bin/dsviewer.pl?ds_id=1328 and mirrored on Azure Open Datasets at aka.ms/ai4edata-daymet. Azure also provides a cloud-optimized version of the data in Zarr format, which can be read into an xarray Dataset. If you just need a subset of the data, we recommend using xarray and Zarr to avoid downloading the full dataset unnecessarily.

The datasets are available in the daymeteuwest storage account, in the daymet-zarr container. Files are named according to daymet-zarr/{frequency}/{region}.zarr, where frequency is one of {daily, monthly, annual} and region is one of {hi, na, pr} (for Hawaii, CONUS, and Puerto Rico, respectively). For example, daymet-zarr/daily/hi.zarr.

In [1]:
# Standard or standard-ish imports
import warnings
import matplotlib.pyplot as plt

# Less standard, but still pip- or conda-installable
import xarray as xr
import fsspec

# Neither of these are accessed directly, but both need to be installed; they're used
# via fsspec
import adlfs
import zarr

account_name = 'daymeteuwest'
container_name = 'daymet-zarr'

Load data into an xarray Dataset

We can lazily load the data into an xarray.Dataset by creating a zarr store with fsspec and then reading it in with xarray. This only reads the metadata, so it's safe to call on a dataset that's larger than memory.

In [2]:
store = fsspec.get_mapper('az://' + container_name + '/daily/hi.zarr', account_name=account_name)
# consolidated=True speeds of reading the metadata
ds = xr.open_zarr(store, consolidated=True)
ds
Out[2]:

Working with the data

Using xarray, we can quickly select subsets of the data, perform an aggregation, and plot the result. For example, we'll plot the average of the maximum temperature for the year 2009.

In [3]:
warnings.simplefilter("ignore", RuntimeWarning)
fig, ax = plt.subplots(figsize=(12, 12))
ds.sel(time="2009")["tmax"].mean(dim="time").plot.imshow(ax=ax, cmap="inferno");

Or we can visualize the timeseries of the minimum temperature over the past decade.

In [4]:
fig, ax = plt.subplots(figsize=(12, 6))
ds.sel(time=slice("2010", "2019"))['tmin'].mean(dim=["x", "y"]).plot(ax=ax);

Chunking

Each of the datasets is chunked to allow for parallel and out-of-core or distributed processing with Dask. The different frequencies (daily, monthly, annual) are chunked so that each year is in a single chunk. The different regions in the x and y coordinates so that no single chunk is larger than about 250 MB, which is primarily important for the na region.

In [5]:
ds['prcp']
Out[5]:

So our prcp array has a shape (14600, 584, 284) where each chunk is (365, 584, 284). Examining the store for monthly North America, we see the chunk each of a size of (12, 1250, 1250).

In [6]:
na_store = fsspec.get_mapper("az://" + container_name + "/monthly/na.zarr",
                             account_name=account_name)
na = xr.open_zarr(na_store, consolidated=True)
na['prcp']
Out[6]:

See http://xarray.pydata.org/en/stable/dask.html for more on how xarray uses Dask for parallel computing.