New York város biztonsági adatai

Cikk
09/01/2024

New York város összes 311-es számra érkezett bejelentése 2010-től mostanáig.

Feljegyzés

A Microsoft az Azure Open Datasets szolgáltatást "adott módon" biztosítja. A Microsoft nem vállal kifejezett vagy vélelmezett garanciát vagy feltételeket az adathalmazok Ön általi használatára vonatkozóan. A microsoft a helyi jogszabályok által megengedett mértékben kizár minden felelősséget az adathalmazok használatából eredő károkért vagy veszteségekért, beleértve a közvetlen, következményi, különleges, közvetett, incidenses vagy büntető jellegű károkat is.

Az adatkészletet a Microsoft forrásadataihoz tartozó eredeti feltételek szerint szolgáltatjuk. A készlet tartalmazhat Microsofttól származó adatokat.

Kötet és megőrzés

Az adatkészlet Parketta formátumban van tárolva. Naponta frissül, és 2019-ben összesen körülbelül 12 M sort (500 MB) tartalmaz.

Az adatkészlet a 2010-től napjainkig összegyűlt rekordokat tartalmazza. Adott időtartomány adatainak beolvasásához az általunk biztosított SDK paraméterbeállításait használhatja.

Tárolási hely

Az adatkészlet tárolási helye a Kelet-USA Azure-régió. Az affinitás érdekében Kelet-USA régión belüli számítási erőforrások lefoglalását javasoljuk.

További információk

Ez az adatkészlet a New York-i önkormányzattól származik, további információkért lásd a New York-i város webhelyét. Tekintse meg az adatkészlet feltételeit.

Oszlopok

Név	Adattípus	Egyedi	Values (sample)	Leírás
cím	húr	1,536,593	655 KELET 230 UTCA 78-15 PARSONS BOULEVARD	Az incidens helyszínének házszáma, amelyet a bejelentő adott meg.
kategória	húr	446	Zaj - Lakossági HŐ/MELEGVÍZ	Ez a hierarchia első szintje, amely azonosítja az incidens vagy feltétel témáját (panasz típusa). Tartalmazhat egy vonatkozó alkategóriát is (leírás), de állhat önmagában is.
dataSubtype	húr	0	311_All	"311_All"
Adattípus	húr	0	Biztonság	"Biztonság"
dateTime	időbélyeg	17,332,609	2013-01-24 00:00:00 2015-01-08 00:00:00	A szolgáltatáskérelem létrehozásának dátuma.
latitude	double	1,513,691	40.89187241649303 40.72195913199264	Az incidens helyének földrajzi szélessége.
hosszúság	double	1,513,713	-73.86016845296459 -73.80969682426189	Az incidens helyének földrajzi hosszúsága.
status	húr	13	Lezárva függőben	A beküldött szolgáltatáskérés állapota.
Alkategória	húr	1,716	Hangos zene/Buli TELJES ÉPÜLET	Ez hozzárendelésre kerül a kategóriához (bejelentés típusa), és további információval szolgál az incidenssel vagy körülménnyel kapcsolatban. Értékei függenek a bejelentés típusától, és kitöltésük nem feltétlenül szükséges a szolgáltatáskérés felvételénél.

Előnézet

Adattípus	dataSubtype	dateTime	kategória	Alkategória	status	cím	latitude	hosszúság	forrás
Biztonság	311_All	2021.04.25. 2:05:05	Zaj - Utca/Járda	Hangos zene/buli	Folyamatban	2766 FÜRDŐ SUGÁRÚT	40.5906129741766	-73.9847949011337	null
Biztonság	311_All	2021.04.25. 2:04:33	Zaj - Kereskedelmi	Hangos zene/buli	Folyamatban	1033 WEBSTER AVENUE	40.8285784533256	-73.9117746958432	null
Biztonság	311_All	2021.04.25. 2:04:27	Zaj - Lakossági	Hangos zene/buli	Folyamatban	620 NYUGAT 141 UTCA	40.8241726554395	-73.9530069547366	null
Biztonság	311_All	2021.04.25. 2:04:04	Zaj - Lakossági	Hangos zene/buli	Folyamatban	1647 64 UTCA	40.6218907202382	-73.9931125332078	null
Biztonság	311_All	2021.04.25. 2:04:01	Zaj - Lakossági	Hangos zene/buli	Folyamatban	30 LENOX AVENUE	40.7991622274945	-73.9517496365803	null
Biztonság	311_All	2021.04.25. 2:03:40	Illegális parkolás	Double Parked Blocking Traffic	Folyamatban	304 NYUGAT 148 UTCA	40.8248229687124	-73.940696262361	null
Biztonság	311_All	2021.04.25. 2:03:31	Zaj - Utca/Járda	Hangos zene/buli	Folyamatban	ADEE AVENUE	40.8708386263454	-73.8382363208686	null
Biztonság	311_All	2021.04.25. 2:03:18	Zaj - Lakossági	Hangos zene/buli	Folyamatban	340 EVERGREEN AVENUE	40.6947512704197	-73.9248330229197	null
Biztonság	311_All	2021.04.25. 2:03:13	Zaj - Lakossági	Döngetés/döngés	Folyamatban	REMSEN UTCA 25.	40.6948938116483	-73.9973494607802	null

Az adatok elérése

Azure Notebooks

# This is a package in preview.
from azureml.opendatasets import SanFranciscoSafety

from datetime import datetime
from dateutil import parser


end_date = parser.parse('2016-01-01')
start_date = parser.parse('2015-05-01')
safety = SanFranciscoSafety(start_date=start_date, end_date=end_date)
safety = safety.to_pandas_dataframe()

safety.info()

# Pip install packages
import os, sys

!{sys.executable} -m pip install azure-storage-blob
!{sys.executable} -m pip install pyarrow
!{sys.executable} -m pip install pandas

# Azure storage access info
azure_storage_account_name = "azureopendatastorage"
azure_storage_sas_token = r""
container_name = "citydatacontainer"
folder_name = "Safety/Release/city=SanFrancisco"

from azure.storage.blob import BlockBlobServicefrom azure.storage.blob import BlobServiceClient, BlobClient, ContainerClient

if azure_storage_account_name is None or azure_storage_sas_token is None:
    raise Exception(
        "Provide your specific name and key for your Azure Storage account--see the Prerequisites section earlier.")

print('Looking for the first parquet under the folder ' +
      folder_name + ' in container "' + container_name + '"...')
container_url = f"https://{azure_storage_account_name}.blob.core.windows.net/"
blob_service_client = BlobServiceClient(
    container_url, azure_storage_sas_token if azure_storage_sas_token else None)

container_client = blob_service_client.get_container_client(container_name)
blobs = container_client.list_blobs(folder_name)
sorted_blobs = sorted(list(blobs), key=lambda e: e.name, reverse=True)
targetBlobName = ''
for blob in sorted_blobs:
    if blob.name.startswith(folder_name) and blob.name.endswith('.parquet'):
        targetBlobName = blob.name
        break

print('Target blob to download: ' + targetBlobName)
_, filename = os.path.split(targetBlobName)
blob_client = container_client.get_blob_client(targetBlobName)
with open(filename, 'wb') as local_file:
    blob_client.download_blob().download_to_stream(local_file)

# Read the parquet file into Pandas data frame
import pandas as pd

print('Reading the parquet file into Pandas data frame')
df = pd.read_parquet(filename)

# you can add your filter at below
print('Loaded as a Pandas data frame: ')
df

Azure Databricks

# This is a package in preview.
# You need to pip install azureml-opendatasets in Databricks cluster. https://learn.microsoft.com/azure/data-explorer/connect-from-databricks#install-the-python-library-on-your-azure-databricks-cluster
from azureml.opendatasets import SanFranciscoSafety

from datetime import datetime
from dateutil import parser


end_date = parser.parse('2016-01-01')
start_date = parser.parse('2015-05-01')
safety = SanFranciscoSafety(start_date=start_date, end_date=end_date)
safety = safety.to_spark_dataframe()

display(safety.limit(5))

# Azure storage access info
blob_account_name = "azureopendatastorage"
blob_container_name = "citydatacontainer"
blob_relative_path = "Safety/Release/city=SanFrancisco"
blob_sas_token = r""

# Allow SPARK to read from Blob remotely
wasbs_path = 'wasbs://%s@%s.blob.core.windows.net/%s' % (blob_container_name, blob_account_name, blob_relative_path)
spark.conf.set(
  'fs.azure.sas.%s.%s.blob.core.windows.net' % (blob_container_name, blob_account_name),
  blob_sas_token)
print('Remote blob path: ' + wasbs_path)

# SPARK read parquet, note that it won't load any data yet by now
df = spark.read.parquet(wasbs_path)
print('Register the DataFrame as a SQL temporary view: source')
df.createOrReplaceTempView('source')

# Display top 10 rows
print('Displaying top 10 rows: ')
display(spark.sql('SELECT * FROM source LIMIT 10'))

Azure Synapse

# This is a package in preview.
from azureml.opendatasets import SanFranciscoSafety

from datetime import datetime
from dateutil import parser


end_date = parser.parse('2016-01-01')
start_date = parser.parse('2015-05-01')
safety = SanFranciscoSafety(start_date=start_date, end_date=end_date)
safety = safety.to_spark_dataframe()

# Display top 5 rows
display(safety.limit(5))

# Azure storage access info
blob_account_name = "azureopendatastorage"
blob_container_name = "citydatacontainer"
blob_relative_path = "Safety/Release/city=SanFrancisco"
blob_sas_token = r""

# Allow SPARK to read from Blob remotely
wasbs_path = 'wasbs://%s@%s.blob.core.windows.net/%s' % (blob_container_name, blob_account_name, blob_relative_path)
spark.conf.set(
  'fs.azure.sas.%s.%s.blob.core.windows.net' % (blob_container_name, blob_account_name),
  blob_sas_token)
print('Remote blob path: ' + wasbs_path)

# SPARK read parquet, note that it won't load any data yet by now
df = spark.read.parquet(wasbs_path)
print('Register the DataFrame as a SQL temporary view: source')
df.createOrReplaceTempView('source')

# Display top 10 rows
print('Displaying top 10 rows: ')
display(spark.sql('SELECT * FROM source LIMIT 10'))

Példák

Tekintse meg a City Safety Analytics-példát a GitHubon.

Következő lépések

Tekintse meg a többi adathalmazt az Open Datasets katalógusban.

Megosztás a következőn keresztül: