Komisi Taksi & Limusin NYC - catatan perjalanan Kendaraan yang Disewakan (FHV)

Artikel
09/01/2024

Catatan perjalanan Kendaraan yang Disewakan (“FHV”) meliputi bidang yang menanangkap nomor lisensi dasar pengiriman dan tanggal penjemputan, waktu, dan ID lokasi zona taksi (file bentuk di bawah ini). Catatan ini dihasilkan dari pengiriman FHV Trip Record yang dibuat oleh pangkalan.

Catatan

Microsoft menyediakan Azure Open Datasets berdasarkan "apa adanya". Microsoft tidak memberikan jaminan, tersurat maupun tersirat, jaminan atau ketentuan sehubungan dengan penggunaan Anda atas himpunan data. Sejauh diizinkan menurut undang-undang setempat Anda, Microsoft melepaskan semua tanggung jawab atas segala kerusakan atau kerugian, termasuk langsung, konsekuensial, khusus, tidak langsung, insidental, atau hukuman, yang diakibatkan oleh penggunaan Anda atas kumpulan data.

Kumpulan data ini disediakan di bawah ketentuan asli yang diterima Microsoft data sumbernya. Himpunan data mungkin menyertakan data yang bersumber dari Microsoft.

Volume dan retensi

Himpunan data ini disimpan dalam format Parquet. Terdapat sekitar 500 Juta baris (5 GB) pada tahun 2018.

Himpunan data ini berisi catatan historis yang diakumulasi dari 2009 hingga 2018. Anda dapat menggunakan pengaturan parameter di SDK kami untuk mengambil data dalam rentang waktu tertentu.

Lokasi penyimpanan

Himpunan data ini disimpan di wilayah Azure US Timur. Disarankan untuk mengalokasikan sumber daya komputasi di US Timur untuk afinitas.

Informasi Tambahan

Komisi Taksi dan Limousine NYC (TLC):

Data dikumpulkan dan diberikan kepada Komisi Taksi dan Limousine NYC (TLC) oleh penyedia teknologi yang berwenang di bawah Program Peningkatan Penumpang Taksi dan Seragam (TPEP/LPEP). Data perjalanan tidak dibuat oleh TLC, dan TLC tidak membuat representasi tentang keakuratan data ini.

Lihat lokasi set data asli dan ketentuan penggunaan asli.

Kolom

Nama	Jenis data	Unik	Nilai (sampel)	Deskripsi
dispatchBaseNum	string	1,144	B02510 B02764	Nomor Lisensi Pangkalan TLC dari pangkalan memberangkatkan perjalanan
doLocationId	string	267	265 132	Zona Taksi TLC tempat perjalanan berakhir.
dropOffDateTime	rentang waktu	57,110,352	2017-07-31 23:59:00 2017-10-15 00:44:34	Tanggal dan waktu pengantaran perjalanan.
pickupDateTime	rentang waktu	111,270,396	2016-08-16 00:00:00 2016-08-17 00:00:00	Tanggal dan waktu penjemputan perjalanan.
puLocationId	string	266	79 161	Zona Taksi TLC tempat perjalanan berakhir.
puMonth	int	12	1 12
puYear	int	5	2018 2017
srFlag	string	44	1 2	Menunjukkan apakah perjalanan itu adalah bagian dari rantai perjalanan bersama yang ditawarkan oleh perusahaan FHV Volume Tinggi (misalnya, Uber Pool, Lyft Line). Untuk perjalanan bersama, nilainya adalah 1. Untuk perjalanan non-bersama, bidang ini null. CATATAN: Untuk sebagian besar perusahaan FHV Volume Tinggi, hanya perjalanan bersama yang diminta DAN dicocokkan dengan permintaan perjalanan bersama lainnya selama perjalanan ditandai. Namun, Lyft (nomor lisensi dasar B02510 + B02844) juga menandai perjalanan yang diminta oleh tumpangan bersama tetapi penumpang lain tidak berhasil dicocokkan untuk berbagi perjalanan —oleh karena itu, catatan perjalanan dengan SR_Flag = 1 dari dua pangkalan tersebut dapat menunjukkan perjalanan pertama dalam rantai perjalanan bersama ATAU perjalanan bersama yang diminta tetapi tidak pernah cocok. Pengguna harus mengantisipasi kelebihan perhitungan perjalanan bersama yang berhasil diselesaikan oleh Lyft.

Pratinjau

dispatchBaseNum	pickupDateTime	dropOffDateTime	puLocationId	doLocationId	srFlag	puYear	puMonth
B03157	6/30/2019 23:59:57	7/1/2019 Pukul 12.07.21	264	null	null	2019	6
B01667	6/30/2019 23:59:56	7/1/2019 12:28:06	264	null	null	2019	6
B02849	6/30/2019 23:59:55	7/1/2019 12:14:10	264	null	null	2019	6
B02249	6/30/2019 23:59:53	7/1/2019 12:15:53	264	null	null	2019	6
B00887	6/30/2019 23:59:48	7/1/2019 12:29:29	264	null	null	2019	6
B01626	6/30/2019 23:59:45	7/1/2019 12:18:20	264	null	null	2019	6
B01259	6/30/2019 23:59:44	7/1/2019 12:03:15	264	null	null	2019	6
B01145	6/30/2019 23:59:43	7/1/2019 12:11:15	264	null	null	2019	6
B00887	6/30/2019 23:59:42	7/1/2019 12.34.21	264	null	null	2019	6
B00821	6/30/2019 23:59:40	7/1/2019 12:02:57	264	null	null	2019	6

Akses data

Azure Notebooks

# This is a package in preview.
from azureml.opendatasets import NycTlcFhv

from datetime import datetime
from dateutil import parser


end_date = parser.parse('2018-06-06')
start_date = parser.parse('2018-05-01')
nyc_tlc = NycTlcFhv(start_date=start_date, end_date=end_date)
nyc_tlc_df = nyc_tlc.to_pandas_dataframe()

nyc_tlc_df.info()

# Pip install packages
import os, sys

!{sys.executable} -m pip install azure-storage-blob
!{sys.executable} -m pip install pyarrow
!{sys.executable} -m pip install pandas

# Azure storage access info
azure_storage_account_name = "azureopendatastorage"
azure_storage_sas_token = r""
container_name = "nyctlc"
folder_name = "fhv"

from azure.storage.blob import BlockBlobServicefrom azure.storage.blob import BlobServiceClient, BlobClient, ContainerClient

if azure_storage_account_name is None or azure_storage_sas_token is None:
    raise Exception(
        "Provide your specific name and key for your Azure Storage account--see the Prerequisites section earlier.")

print('Looking for the first parquet under the folder ' +
      folder_name + ' in container "' + container_name + '"...')
container_url = f"https://{azure_storage_account_name}.blob.core.windows.net/"
blob_service_client = BlobServiceClient(
    container_url, azure_storage_sas_token if azure_storage_sas_token else None)

container_client = blob_service_client.get_container_client(container_name)
blobs = container_client.list_blobs(folder_name)
sorted_blobs = sorted(list(blobs), key=lambda e: e.name, reverse=True)
targetBlobName = ''
for blob in sorted_blobs:
    if blob.name.startswith(folder_name) and blob.name.endswith('.parquet'):
        targetBlobName = blob.name
        break

print('Target blob to download: ' + targetBlobName)
_, filename = os.path.split(targetBlobName)
blob_client = container_client.get_blob_client(targetBlobName)
with open(filename, 'wb') as local_file:
    blob_client.download_blob().download_to_stream(local_file)

# Read the parquet file into Pandas data frame
import pandas as pd

print('Reading the parquet file into Pandas data frame')
df = pd.read_parquet(filename)

# you can add your filter at below
print('Loaded as a Pandas data frame: ')
df

Azure Databricks

# This is a package in preview.
# You need to pip install azureml-opendatasets in Databricks cluster. https://learn.microsoft.com/azure/data-explorer/connect-from-databricks#install-the-python-library-on-your-azure-databricks-cluster
from azureml.opendatasets import NycTlcFhv

from datetime import datetime
from dateutil import parser


end_date = parser.parse('2018-06-06')
start_date = parser.parse('2018-05-01')
nyc_tlc = NycTlcFhv(start_date=start_date, end_date=end_date)
nyc_tlc_df = nyc_tlc.to_spark_dataframe()

display(nyc_tlc_df.limit(5))

# Azure storage access info
blob_account_name = "azureopendatastorage"
blob_container_name = "nyctlc"
blob_relative_path = "fhv"
blob_sas_token = r""

# Allow SPARK to read from Blob remotely
wasbs_path = 'wasbs://%s@%s.blob.core.windows.net/%s' % (blob_container_name, blob_account_name, blob_relative_path)
spark.conf.set(
  'fs.azure.sas.%s.%s.blob.core.windows.net' % (blob_container_name, blob_account_name),
  blob_sas_token)
print('Remote blob path: ' + wasbs_path)

# SPARK read parquet, note that it won't load any data yet by now
df = spark.read.parquet(wasbs_path)
print('Register the DataFrame as a SQL temporary view: source')
df.createOrReplaceTempView('source')

# Display top 10 rows
print('Displaying top 10 rows: ')
display(spark.sql('SELECT * FROM source LIMIT 10'))

Azure Synapse

# This is a package in preview.
from azureml.opendatasets import NycTlcFhv

from datetime import datetime
from dateutil import parser


end_date = parser.parse('2018-06-06')
start_date = parser.parse('2018-05-01')
nyc_tlc = NycTlcFhv(start_date=start_date, end_date=end_date)
nyc_tlc_df = nyc_tlc.to_spark_dataframe()

# Display top 5 rows
display(nyc_tlc_df.limit(5))

# Azure storage access info
blob_account_name = "azureopendatastorage"
blob_container_name = "nyctlc"
blob_relative_path = "fhv"
blob_sas_token = r""

# Allow SPARK to read from Blob remotely
wasbs_path = 'wasbs://%s@%s.blob.core.windows.net/%s' % (blob_container_name, blob_account_name, blob_relative_path)
spark.conf.set(
  'fs.azure.sas.%s.%s.blob.core.windows.net' % (blob_container_name, blob_account_name),
  blob_sas_token)
print('Remote blob path: ' + wasbs_path)

# SPARK read parquet, note that it won't load any data yet by now
df = spark.read.parquet(wasbs_path)
print('Register the DataFrame as a SQL temporary view: source')
df.createOrReplaceTempView('source')

# Display top 10 rows
print('Displaying top 10 rows: ')
display(spark.sql('SELECT * FROM source LIMIT 10'))

Langkah berikutnya

Lihat himpunan data lainnya di katalog Open Datasets.

Bagikan melalui