共用方式為


從 Amazon S3 取得資料

在本文中,您將瞭解如何從 Amazon S3 取得資料到新的或現有的資料表。 Amazon S3 是用來儲存和擷取資料的物件儲存服務。

如需 Amazon S3 的詳細資訊,請參閱什麼是 Amazon S3

必要條件

來源

  1. 在 KQL 資料庫的下方功能區上,選取取得資料

    取得資料視窗中,已選取來源索引標籤。

  2. 從可用清單中選取資料來源。 在此範例中,您會從 Amazon S3 擷取資料。

    Screenshot of get data window with source tab selected.取得資料視窗的螢幕擷取畫面,其中已選取來源索引標籤。

設定

  1. 選取目標資料表。 如果想要將資料擷取到新資料表,請選取 + 新增資料表,然後輸入資料表名稱。

    注意

    資料表名稱最多可以有 1024 個字元,包括空格、英數字元、連字號和底線。 但不支援特殊字元。

  2. URI 欄位中,貼上單一貯體的連接字串,或下列格式的個別物件。

    貯體:https://BucketName.s3.RegionName.amazonaws.com;AwsCredentials=AwsAccessID,AwsSecretKey

    您可以選擇性地套用貯體篩選,以根據特定的副檔名來篩選資料。

    Screenshot of configure tab with new table entered and an Amazon S3 connection string pasted.已輸入新資料表並貼上 Amazon S3 連接字串的設定索引標籤的螢幕擷取畫面。

  3. 選取下一步

檢查

檢查索引標籤隨即開啟,其中包含資料的預覽。

若要完成擷取程序,請選取完成

Screenshot of the inspect tab.「檢查」索引標籤的螢幕擷取畫面。

或者:

編輯資料行

注意

  • 針對表格式格式 (CSV、TSV、PSV),您無法對應資料行兩次。 若要對應至現有的資料行,請先刪除新資料行。
  • 您無法變更現有的資料行類型。 如果您嘗試對應到具有不同格式的資料行,最終可能會出現空資料行。

您可以在資料表中進行的變更取決於下列參數:

  • 資料表類型是新的或現有的
  • 對應類型是新的或現有的
資料表類型 對應類型 可用的調整
新增資料表 新的對應 重新命名資料行、變更資料類型、變更資料來源、對應轉換、新增資料行、刪除資料行
現有的資料表 新的對應 新增資料行 (然後您可以在其中變更資料類型、重新命名和更新)
現有的資料表 現有的對應 none

Screenshot of columns open for editing.開啟供編輯資料行的螢幕擷取畫面。

對應轉換

某些資料格式對應 (Parquet、JSON 和 Avro) 支援簡單的擷取時間轉換。 若要套用對應轉換,請在編輯資料行視窗中建立或更新資料行。

對應變換可以在 string 或 datetime 類型的資料行上執行,而來源具有資料類型 int 或 long。 支援的對應轉換如下:

  • DateTimeFromUnixSeconds
  • DateTimeFromUnixMilliseconds
  • DateTimeFromUnixMicroseconds
  • DateTimeFromUnixNanoseconds

基於資料類型的進階選項

表格式 (CSV、TSV、PSV)

  • 如果您要在現有資料表中擷取資料表格式,您可以選取進階>保留資料表結構描述。 表格式資料不一定包含用來將來源資料對應至現有資料行的資料行名稱。 勾選此選項時,會按順序進行對應,資料表結構描述保持不變。 如果未勾選此選項,無論資料結構如何,都會為傳入資料建立新資料行。

  • 若要使用第一列作為資料行名稱,請選取進階>以第一列作為資料行標題

    Screenshot of advanced CSV options.進階 CSV 選項的螢幕擷取畫面。

JSON:

  • 若要確定 JSON 資料的資料行劃分,請選取進階>巢狀層級,從 1 到 100。

  • 如果您選取進階>略過包含錯誤的 JSON 行,則會以 JSON 格式擷取資料。 如果未選取此核取方塊,則會以 multijson 格式擷取資料。

    Screenshot of advanced JSON options.進階 JSON 選項的螢幕擷取畫面。

摘要

資料準備視窗中,當資料擷取成功完成時,會以綠色核取記號標記所有三個步驟。 您可以選取要查詢的卡片、卸除擷取的資料,或查看擷取摘要的儀表板。

Screenshot of summary page with successful ingestion completed.成功完成擷取的摘要頁面的螢幕擷取畫面。