Вызовы на номер 311 в городе Бостоне.
Перейдите по ссылке для получения дополнительных сведений о BOS:311.
Объем данных и их хранение
Этот набор данных хранится в формате Parquet. Он ежедневно обновляется и по состоянию на 2019 г. содержит около 100 тыс. строк (10 МБ).
Этот набор данных содержит архивные записи, собранные с 2011 г. по сегодняшний день. Вы можете использовать параметры из нашего пакета SDK, чтобы получить данные за определенный диапазон времени.
Место хранения
Этот набор данных хранится в регионе Azure “Восточная часть США”. Для обеспечения приближенности рекомендуется выделять вычислительные ресурсы в регионе “Восточная часть США”.
Дополнительная информация
Этот набор данных получен от администрации города Бостона. Дополнительные сведения можно найти здесь. Ознакомьтесь с лицензией на использование этих данных на странице со сведениями о передаче в открытый доступ и лицензии Open Data Commons (ODC PDDL).
Объявления
КОРПОРАЦИЯ МАЙКРОСОФТ ПРЕДОСТАВЛЯЕТ ОТКРЫТЫЕ НАБОРЫ ДАННЫХ AZURE НА УСЛОВИЯХ “КАК ЕСТЬ”. КОРПОРАЦИЯ МАЙКРОСОФТ НЕ ПРЕДОСТАВЛЯЕТ НИКАКИХ ГАРАНТИЙ (ЯВНЫХ ИЛИ ПОДРАЗУМЕВАЕМЫХ) И НЕ ОБЕСПЕЧИВАЕТ НИКАКИХ УСЛОВИЙ В ОТНОШЕНИИ ИСПОЛЬЗОВАНИЯ ВАМИ ЭТИХ НАБОРОВ ДАННЫХ. В РАМКАХ, ДОПУСКАЕМЫХ МЕСТНЫМ ЗАКОНОДАТЕЛЬСТВОМ, КОРПОРАЦИЯ МАЙКРОСОФТ ОТКАЗЫВАЕТСЯ ОТ ОТВЕТСТВЕННОСТИ ЗА УЩЕРБ И УБЫТКИ (В ТОМ ЧИСЛЕ ПРЯМЫЕ, КОСВЕННЫЕ, СПЕЦИАЛЬНЫЕ, ОПОСРЕДОВАННЫЕ, СЛУЧАЙНЫЕ И ШТРАФНЫЕ), ПОНЕСЕННЫЕ В РЕЗУЛЬТАТЕ ИСПОЛЬЗОВАНИЯ ВАМИ ЭТИХ НАБОРОВ ДАННЫХ.
Этот набор данных предоставляется на тех же условиях, на которых корпорация Майкрософт получила исходные данные. Этот набор может включать данные, полученные от корпорации Майкрософт.
Access
Available in | When to use |
---|---|
Azure Notebooks | Quickly explore the dataset with Jupyter notebooks hosted on Azure or your local machine. |
Azure Databricks | Use this when you need the scale of an Azure managed Spark cluster to process the dataset. |
Azure Synapse | Use this when you need the scale of an Azure managed Spark cluster to process the dataset. |
Preview
dataType | dataSubtype | dateTime | category | subcategory | status | address | latitude | longitude | source | extendedProperties |
---|---|---|---|---|---|---|---|---|---|---|
Safety | 311_All | 2/27/2021 11:43:45 PM | Enforcement & Abandoned Vehicles | Parking Enforcement | Open | INTERSECTION of Trenton St & Brooks St East Boston MA | 42.3594 | -71.0587 | Citizens Connect App | |
Safety | 311_All | 2/27/2021 11:42:56 PM | Enforcement & Abandoned Vehicles | Parking Enforcement | Open | INTERSECTION of Trenton St & Brooks St East Boston MA | 42.3594 | -71.0587 | Citizens Connect App | |
Safety | 311_All | 2/27/2021 11:42:04 PM | Enforcement & Abandoned Vehicles | Parking Enforcement | Open | INTERSECTION of Trenton St & Brooks St East Boston MA | 42.3594 | -71.0587 | Citizens Connect App | |
Safety | 311_All | 2/27/2021 11:25:00 PM | Enforcement & Abandoned Vehicles | Parking Enforcement | Open | 21 Readville St Hyde Park MA 02136 | 42.2451 | -71.1342 | Citizens Connect App | |
Safety | 311_All | 2/27/2021 11:23:32 PM | Highway Maintenance | Request for Pothole Repair | Open | 43 Pearl St Charlestown MA 02129 | 42.379 | -71.0639 | Citizens Connect App | |
Safety | 311_All | 2/27/2021 11:14:58 PM | Street Lights | Street Light Outages | Open | 22 Neptune Cir East Boston MA 02128 | 42.3806 | -71.0181 | Citizens Connect App | |
Safety | 311_All | 2/27/2021 11:13:24 PM | Enforcement & Abandoned Vehicles | Parking Enforcement | Open | 6 Beechcroft St Brighton MA 02135 | 42.3494 | -71.1614 | Citizens Connect App | |
Safety | 311_All | 2/27/2021 11:11:39 PM | Street Lights | Street Light Outages | Open | 1918-1920 Beacon St Brighton MA 02135 | 42.3365 | -71.1492 | Citizens Connect App | |
Safety | 311_All | 2/27/2021 11:02:48 PM | Street Lights | Street Light Outages | Open | INTERSECTION of Prendergast Ave & Beacon St Brighton MA | 42.3594 | -71.0587 | Citizens Connect App | |
Safety | 311_All | 2/27/2021 11:00:44 PM | Street Lights | Street Light Outages | Open | INTERSECTION of Beacon St & Chestnut Hill Ave Brighton MA | 42.3594 | -71.0587 | Citizens Connect App |
Name | Data type | Unique | Values (sample) | Description |
---|---|---|---|---|
address | string | 142,093 | \" \" 1 City Hall Plz Boston MA 02108 |
Расположение. |
category | string | 54 | Street Cleaning Sanitation |
Причина вызова. |
dataSubtype | string | 1 | 311_All | “311_All” |
dataType | string | 1 | Safety | “Safety” |
dateTime | timestamp | 1,727,609 | 2015-07-23 10:51:00 2015-07-23 10:47:00 |
Дата и время открытия запроса на обслуживание. |
latitude | double | 1,622 | 42.3594 42.3603 |
Это значение широты. Линии широты располагаются параллельно экватору. |
longitude | double | 1,806 | -71.0587 -71.0583 |
Это значение долготы. Линии долготы параллельны линиям широты и проходят через оба полюса. |
source | string | 7 | Constituent Call Citizens Connect App |
Источник заявки. |
status | string | 2 | Closed Open |
Состояние заявки. |
subcategory | string | 208 | Parking Enforcement Requests for Street Cleaning |
Тип вызова. |
Azure Notebooks
# This is a package in preview.
from azureml.opendatasets import BostonSafety
from datetime import datetime
from dateutil import parser
end_date = parser.parse('2016-01-01')
start_date = parser.parse('2015-05-01')
safety = BostonSafety(start_date=start_date, end_date=end_date)
safety = safety.to_pandas_dataframe()
safety.info()
# Pip install packages
import os, sys
!{sys.executable} -m pip install azure-storage-blob
!{sys.executable} -m pip install pyarrow
!{sys.executable} -m pip install pandas
# Azure storage access info
azure_storage_account_name = "azureopendatastorage"
azure_storage_sas_token = r""
container_name = "citydatacontainer"
folder_name = "Safety/Release/city=Boston"
from azure.storage.blob import BlockBlobServicefrom azure.storage.blob import BlobServiceClient, BlobClient, ContainerClient
if azure_storage_account_name is None or azure_storage_sas_token is None:
raise Exception(
"Provide your specific name and key for your Azure Storage account--see the Prerequisites section earlier.")
print('Looking for the first parquet under the folder ' +
folder_name + ' in container "' + container_name + '"...')
container_url = f"https://{azure_storage_account_name}.blob.core.windows.net/"
blob_service_client = BlobServiceClient(
container_url, azure_storage_sas_token if azure_storage_sas_token else None)
container_client = blob_service_client.get_container_client(container_name)
blobs = container_client.list_blobs(folder_name)
sorted_blobs = sorted(list(blobs), key=lambda e: e.name, reverse=True)
targetBlobName = ''
for blob in sorted_blobs:
if blob.name.startswith(folder_name) and blob.name.endswith('.parquet'):
targetBlobName = blob.name
break
print('Target blob to download: ' + targetBlobName)
_, filename = os.path.split(targetBlobName)
blob_client = container_client.get_blob_client(targetBlobName)
with open(filename, 'wb') as local_file:
blob_client.download_blob().download_to_stream(local_file)
# Read the parquet file into Pandas data frame
import pandas as pd
print('Reading the parquet file into Pandas data frame')
df = pd.read_parquet(filename)
# you can add your filter at below
print('Loaded as a Pandas data frame: ')
df
Azure Databricks
# This is a package in preview.
# You need to pip install azureml-opendatasets in Databricks cluster. https://docs.microsoft.com/en-us/azure/data-explorer/connect-from-databricks#install-the-python-library-on-your-azure-databricks-cluster
from azureml.opendatasets import BostonSafety
from datetime import datetime
from dateutil import parser
end_date = parser.parse('2016-01-01')
start_date = parser.parse('2015-05-01')
safety = BostonSafety(start_date=start_date, end_date=end_date)
safety = safety.to_spark_dataframe()
display(safety)
# Azure storage access info
blob_account_name = "azureopendatastorage"
blob_container_name = "citydatacontainer"
blob_relative_path = "Safety/Release/city=Boston"
blob_sas_token = r""
# Allow SPARK to read from Blob remotely
wasbs_path = 'wasbs://%s@%s.blob.core.windows.net/%s' % (blob_container_name, blob_account_name, blob_relative_path)
spark.conf.set(
'fs.azure.sas.%s.%s.blob.core.windows.net' % (blob_container_name, blob_account_name),
blob_sas_token)
print('Remote blob path: ' + wasbs_path)
# SPARK read parquet, note that it won't load any data yet by now
df = spark.read.parquet(wasbs_path)
print('Register the DataFrame as a SQL temporary view: source')
df.createOrReplaceTempView('source')
# Display top 10 rows
print('Displaying top 10 rows: ')
display(spark.sql('SELECT * FROM source LIMIT 10'))
Azure Synapse
from azureml.opendatasets import BostonSafety
from datetime import datetime
from dateutil import parser
end_date = parser.parse('2016-01-01')
start_date = parser.parse('2015-05-01')
safety = BostonSafety(start_date=start_date, end_date=end_date)
safety = safety.to_spark_dataframe()
display(safety)
# Azure storage access info
blob_account_name = "azureopendatastorage"
blob_container_name = "citydatacontainer"
blob_relative_path = "Safety/Release/city=Boston"
blob_sas_token = r""
# Allow SPARK to read from Blob remotely
wasbs_path = 'wasbs://%s@%s.blob.core.windows.net/%s' % (blob_container_name, blob_account_name, blob_relative_path)
spark.conf.set(
'fs.azure.sas.%s.%s.blob.core.windows.net' % (blob_container_name, blob_account_name),
blob_sas_token)
print('Remote blob path: ' + wasbs_path)
# SPARK read parquet, note that it won't load any data yet by now
df = spark.read.parquet(wasbs_path)
print('Register the DataFrame as a SQL temporary view: source')
df.createOrReplaceTempView('source')
# Display top 10 rows
print('Displaying top 10 rows: ')
display(spark.sql('SELECT * FROM source LIMIT 10'))

City Safety
From the Urban Innovation Initiative at Microsoft Research, databricks notebook for analytics with safety data (311 and 911 call data) from major U.S. cities. Analyses show frequency distributions and geographic clustering of safety issues within cities.