Navigatie overslaan

San Francisco Safety Data

San Francisco 911 Fire 311 Public Safety
Back to datasets

Oproepen aan de brandweercentrale voor service- en 311-cases in San Francisco.

Brand- en servicemeldingen bevat alle beantwoorde oproepen van de brandweer. Elke record bevat het oproepnummer, het incidentnummer, het adres, de eenheids-id, het oproeptype en de beschikking. Alle relevante tijdsintervallen worden ook vermeld. Omdat deze gegevensset op reacties is gebaseerd en omdat bij de meeste oproepen meerdere eenheden zijn betrokken, zijn er voor elk oproepnummer meerdere records. Adressen worden aan een straatnummer, kruispunt of telefoontoestel gekoppeld, niet aan een specifieke adres.

Onder 311-cases vallen cases die over het algemeen bij een plaats of object (bijvoorbeeld een park, straat of gebouw) horen en die op of na 1 juli 2008 zijn gemaakt. Cases die doorgaans zijn gemeld door een gebruiker met betrekking tot zijn of haar eigen behoeften (bijvoorbeeld vragen over onroerendgoed- of bedrijfsbelasting en aanvragen voor een parkeervergunning) worden niet opgenomen. Zie de programmakoppeling voor meer informatie.

Volume en retentie

Deze gegevensset wordt opgeslagen in de Parquet-indeling. De gegevensset wordt dagelijks bijgewerkt en bevat sinds 2019 in totaal ongeveer 6 miljoen rijen (400 MB).

Deze gegevensset bevat historische records die vanaf 2015 tot heden zijn verzameld. U kunt in onze SDK gebruikmaken van parameterinstellingen om gegevens op te halen binnen een specifiek tijdsbereik.

Opslaglocatie

Deze gegevensset wordt opgeslagen in de Azure-regio US - oost. Het wordt aanbevolen om rekenresources in US - oost toe te wijzen voor affiniteit.

Aanvullende informatie

Deze gegevensset is afkomstig van het stadsbestuur van San Francisco. U vindt meer informatie via de volgende koppelingen: Oproepen aan brandweer, 311-cases.

Raadpleeg de informatie hier voor de voorwaarden voor het gebruik van deze gegevensset.

Mededelingen

AZURE OPEN GEGEVENSSETS WORDEN DOOR MICROSOFT ONGEWIJZIGD GELEVERD. MICROSOFT GEEFT GEEN GARANTIES, EXPLICIET OF IMPLICIET, ZEKERHEDEN OF VOORWAARDEN MET BETREKKING TOT HET GEBRUIK VAN DE GEGEVENSSETS. VOOR ZOVER IS TOEGESTAAN ONDER HET TOEPASSELIJKE RECHT, WIJST MICROSOFT ALLE AANSPRAKELIJKHEID AF VOOR SCHADE OF VERLIEZEN, WAARONDER GEVOLGSCHADE OF DIRECTE, SPECIALE, INDIRECTE, INCIDENTELE OF PUNITIEVE SCHADE DIE VOORTVLOEIT UIT HET GEBRUIK VAN DE GEGEVENSSETS.

Deze gegevensset wordt geleverd onder de oorspronkelijke voorwaarden dat Microsoft de brongegevens heeft ontvangen. De gegevensset kan gegevens bevatten die afkomstig zijn van Microsoft.

Access

Available inWhen to use
Azure Notebooks

Quickly explore the dataset with Jupyter notebooks hosted on Azure or your local machine.

Azure Databricks

Use this when you need the scale of an Azure managed Spark cluster to process the dataset.

Azure Synapse

Use this when you need the scale of an Azure managed Spark cluster to process the dataset.

Preview

dataType dataSubtype dateTime category subcategory status address source extendedProperties
Safety 911_Fire 1/21/2021 2:59:53 AM Non Life-threatening Medical Incident null 900 Block of HYDE ST null
Safety 911_Fire 1/21/2021 2:55:16 AM Alarm Other null 17TH ST/CLAYTON ST null
Safety 911_Fire 1/21/2021 2:48:02 AM Potentially Life-Threatening Medical Incident null 6TH ST/STEVENSON ST null
Safety 911_Fire 1/21/2021 2:31:55 AM Potentially Life-Threatening Medical Incident null 17TH ST/ROOSEVELT WY null
Safety 911_Fire 1/21/2021 2:28:05 AM null Alarms null 500 Block of CHURCH ST null
Safety 911_Fire 1/21/2021 2:28:05 AM null Alarms null 500 Block of CHURCH ST null
Safety 911_Fire 1/21/2021 2:28:05 AM null Alarms null 500 Block of CHURCH ST null
Safety 911_Fire 1/21/2021 2:20:34 AM Alarm Other null 400 Block of PARNASSUS AVE null
Safety 911_Fire 1/21/2021 2:20:34 AM Alarm Other null 400 Block of PARNASSUS AVE null
Safety 911_Fire 1/21/2021 2:20:34 AM Alarm Other null 400 Block of PARNASSUS AVE null
Name Data type Unique Values (sample) Description
address string 270,913 Not associated with a specific address
0 Block of 6TH ST

Adres van het incident (opmerking: adres en locatie zijn gegeneraliseerd tot het middelste blok van de straat, een kruispunt of de dichtstbijzijnde telefoonpost, ten behoeve van de privacy van de beller).
category string 108 Street and Sidewalk Cleaning
Potentially Life-Threatening

De leesbare naam van de groep voor 311-serviceaanvraagtypen of oproeptypen voor 911-brandmeldingen.
dataSubtype string 2 911_Fire
311_All

‘911_Fire’ of ‘311_All’.
dataType string 1 Safety

‘Safety’
dateTime timestamp 6,330,062 2020-10-19 12:28:08
2020-07-28 06:40:26

De datum en tijd waarop de serviceaanvraag is ingediend of waarop de brandmelding is ontvangen.
latitude double 1,518,478 37.777624238929
37.786117211838

De breedtegraad van de locatie, met behulp van de WGS84-projectie.
longitude double 1,461,242 -122.39998111124
-122.419854245692

De lengtegraad van de locatie, met behulp van de WGS84-projectie.
source string 9 Phone
Mobile/Open311

Mechanisme of kanaal waarop de serviceoproep is ontvangen; doorgaans ‘Telefoon’, ‘Tekstbericht/sms’, ‘Website’, ‘Mobiele app’, ‘Twitter’, enzovoort, maar de voorwaarden kunnen per systeem afwijken.
status string 3 Closed
Open

Een indicatie van één woord van de huidige status van de service-oproep. (Opmerking: GeoReport V2 staat alleen ‘open’ en ‘gesloten’ toe)
subcategory string 1,270 Medical Incident
Bulky Items

De leesbare naam van het subtype voor serviceaanvragen voor 311-meldingen of oproeptypen voor 911-brandmeldingen.

Select your preferred service:

Azure Notebooks

Azure Databricks

Azure Synapse

Azure Notebooks

Package: Language: Python Python
Download Notebook Download Notebook
In [1]:
# This is a package in preview.
from azureml.opendatasets import SanFranciscoSafety

from datetime import datetime
from dateutil import parser


end_date = parser.parse('2016-01-01')
start_date = parser.parse('2015-05-01')
safety = SanFranciscoSafety(start_date=start_date, end_date=end_date)
safety = safety.to_pandas_dataframe()
ActivityStarted, to_pandas_dataframe Looking for parquet files... Reading them into Pandas dataframe... Reading Safety/Release/city=SanFrancisco/part-00125-tid-8598556649077331715-e7875271-3301-48fe-88c1-a6ce35841072-136781.c000.snappy.parquet under container citydatacontainer Done. ActivityCompleted: Activity=to_pandas_dataframe, HowEnded=Success, Duration=58673.14 [ms]
In [2]:
safety.info()
<class 'pandas.core.frame.DataFrame'> Int64Index: 361411 entries, 10 to 5821034 Data columns (total 11 columns): dataType 361411 non-null object dataSubtype 361411 non-null object dateTime 361411 non-null datetime64[ns] category 361409 non-null object subcategory 361411 non-null object status 231935 non-null object address 361411 non-null object latitude 361411 non-null float64 longitude 361411 non-null float64 source 231935 non-null object extendedProperties 117871 non-null object dtypes: datetime64[ns](1), float64(2), object(8) memory usage: 33.1+ MB
In [1]:
# Pip install packages
import os, sys

!{sys.executable} -m pip install azure-storage-blob
!{sys.executable} -m pip install pyarrow
!{sys.executable} -m pip install pandas
In [2]:
# Azure storage access info
azure_storage_account_name = "azureopendatastorage"
azure_storage_sas_token = r""
container_name = "citydatacontainer"
folder_name = "Safety/Release/city=SanFrancisco"
In [3]:
from azure.storage.blob import BlockBlobServicefrom azure.storage.blob import BlobServiceClient, BlobClient, ContainerClient

if azure_storage_account_name is None or azure_storage_sas_token is None:
    raise Exception(
        "Provide your specific name and key for your Azure Storage account--see the Prerequisites section earlier.")

print('Looking for the first parquet under the folder ' +
      folder_name + ' in container "' + container_name + '"...')
container_url = f"https://{azure_storage_account_name}.blob.core.windows.net/"
blob_service_client = BlobServiceClient(
    container_url, azure_storage_sas_token if azure_storage_sas_token else None)

container_client = blob_service_client.get_container_client(container_name)
blobs = container_client.list_blobs(folder_name)
sorted_blobs = sorted(list(blobs), key=lambda e: e.name, reverse=True)
targetBlobName = ''
for blob in sorted_blobs:
    if blob.name.startswith(folder_name) and blob.name.endswith('.parquet'):
        targetBlobName = blob.name
        break

print('Target blob to download: ' + targetBlobName)
_, filename = os.path.split(targetBlobName)
blob_client = container_client.get_blob_client(targetBlobName)
with open(filename, 'wb') as local_file:
    blob_client.download_blob().download_to_stream(local_file)
In [4]:
# Read the parquet file into Pandas data frame
import pandas as pd

print('Reading the parquet file into Pandas data frame')
df = pd.read_parquet(filename)
In [5]:
# you can add your filter at below
print('Loaded as a Pandas data frame: ')
df
In [6]:

Azure Databricks

Package: Language: Python Python
Download Notebook Download Notebook
In [1]:
# This is a package in preview.
# You need to pip install azureml-opendatasets in Databricks cluster. https://docs.microsoft.com/en-us/azure/data-explorer/connect-from-databricks#install-the-python-library-on-your-azure-databricks-cluster
from azureml.opendatasets import SanFranciscoSafety

from datetime import datetime
from dateutil import parser


end_date = parser.parse('2016-01-01')
start_date = parser.parse('2015-05-01')
safety = SanFranciscoSafety(start_date=start_date, end_date=end_date)
safety = safety.to_spark_dataframe()
ActivityStarted, to_spark_dataframe ActivityStarted, to_spark_dataframe_in_worker ActivityCompleted: Activity=to_spark_dataframe_in_worker, HowEnded=Success, Duration=3754.51 [ms] ActivityCompleted: Activity=to_spark_dataframe, HowEnded=Success, Duration=3757.76 [ms]
In [2]:
display(safety.limit(5))
dataTypedataSubtypedateTimecategorysubcategorystatusaddresslatitudelongitudesourceextendedProperties
Safety911_Fire2015-11-07T19:49:04.000+0000Potentially Life-ThreateningMedical IncidentnullMISSION ST/23RD ST37.753836588542-122.418593946321nullnull
Safety911_Fire2015-08-06T05:23:02.000+0000AlarmAlarmsnull200 Block of 10TH ST37.773466489733-122.413546904215nullnull
Safety911_Fire2015-07-28T13:34:52.000+0000Potentially Life-ThreateningMedical IncidentnullHOWARD ST/MAIN ST37.790612669554-122.393407939021nullnull
Safety911_Fire2015-06-24T10:39:57.000+0000Non Life-threateningMedical Incidentnull200 Block of BRIDGEVIEW DR37.734209339882-122.397590096788nullnull
Safety911_Fire2015-06-22T15:58:28.000+0000AlarmAlarmsnull100 Block of POST ST37.788796325286-122.403991276137nullnull
In [1]:
# Azure storage access info
blob_account_name = "azureopendatastorage"
blob_container_name = "citydatacontainer"
blob_relative_path = "Safety/Release/city=SanFrancisco"
blob_sas_token = r""
In [2]:
# Allow SPARK to read from Blob remotely
wasbs_path = 'wasbs://%s@%s.blob.core.windows.net/%s' % (blob_container_name, blob_account_name, blob_relative_path)
spark.conf.set(
  'fs.azure.sas.%s.%s.blob.core.windows.net' % (blob_container_name, blob_account_name),
  blob_sas_token)
print('Remote blob path: ' + wasbs_path)
In [3]:
# SPARK read parquet, note that it won't load any data yet by now
df = spark.read.parquet(wasbs_path)
print('Register the DataFrame as a SQL temporary view: source')
df.createOrReplaceTempView('source')
In [4]:
# Display top 10 rows
print('Displaying top 10 rows: ')
display(spark.sql('SELECT * FROM source LIMIT 10'))

Azure Synapse

Package: Language: Python Python
Download Notebook Download Notebook
In [18]:
# This is a package in preview.
from azureml.opendatasets import SanFranciscoSafety

from datetime import datetime
from dateutil import parser


end_date = parser.parse('2016-01-01')
start_date = parser.parse('2015-05-01')
safety = SanFranciscoSafety(start_date=start_date, end_date=end_date)
safety = safety.to_spark_dataframe()
In [19]:
# Display top 5 rows
display(safety.limit(5))
Out[19]:
In [1]:
# Azure storage access info
blob_account_name = "azureopendatastorage"
blob_container_name = "citydatacontainer"
blob_relative_path = "Safety/Release/city=SanFrancisco"
blob_sas_token = r""
In [2]:
# Allow SPARK to read from Blob remotely
wasbs_path = 'wasbs://%s@%s.blob.core.windows.net/%s' % (blob_container_name, blob_account_name, blob_relative_path)
spark.conf.set(
  'fs.azure.sas.%s.%s.blob.core.windows.net' % (blob_container_name, blob_account_name),
  blob_sas_token)
print('Remote blob path: ' + wasbs_path)
In [3]:
# SPARK read parquet, note that it won't load any data yet by now
df = spark.read.parquet(wasbs_path)
print('Register the DataFrame as a SQL temporary view: source')
df.createOrReplaceTempView('source')
In [4]:
# Display top 10 rows
print('Displaying top 10 rows: ')
display(spark.sql('SELECT * FROM source LIMIT 10'))

City Safety

From the Urban Innovation Initiative at Microsoft Research, databricks notebook for analytics with safety data (311 and 911 call data) from major U.S. cities. Analyses show frequency distributions and geographic clustering of safety issues within cities.

View