Udostępnij za pośrednictwem

Pobieranie danych z usługi Amazon S3

  • Artykuł

Z tego artykułu dowiesz się, jak pobrać dane z usługi Amazon S3 do nowej lub istniejącej tabeli. Amazon S3 to usługa magazynu obiektów utworzona do przechowywania i pobierania danych.

Aby uzyskać więcej informacji na temat usługi Amazon S3, zobacz Co to jest Amazon S3?.

Warunki wstępne

Źródło

  1. Na dolnej wstążce bazy danych KQL wybierz pozycję Pobierz dane.

    W oknie Pobierz dane wybrana jest karta Źródło.

  2. Wybierz źródło danych z listy dostępnych. W tym przykładzie pozyskiwane są dane z usługi Amazon S3.

    Zrzut ekranu okna pobierania danych z wybraną zakładką źródło.

Skonfiguruj

  1. Wybierz tabelę docelową. Jeśli chcesz pozyskać dane do nowej tabeli, wybierz pozycję +Nowa tabela i wprowadź nazwę tabeli.

    Notatka

    Nazwy tabel mogą zawierać maksymalnie 1024 znaki, w tym spacje, alfanumeryczne, łączniki i podkreślenia. Znaki specjalne nie są obsługiwane.

  2. W polu identyfikatora URI wklej ciąg połączenia pojedynczego bucketu lub pojedyńczy obiekt w następującym formacie.

    Zasobnik: https://BucketName.s3.RegionName.amazonaws.com;AwsCredentials=AwsAccessID,AwsSecretKey

    Opcjonalnie można zastosować filtry zasobników, aby filtrować dane zgodnie z określonym rozszerzeniem pliku.

    Zrzut ekranu przedstawiający kartę konfigurowania z wprowadzoną nową tabelą i wklejonymi parametrami połączenia usługi Amazon S3.

  3. Wybierz pozycję Dalej.

Sprawdzić

Karta Inspekcja otwiera się z podglądem danych.

Aby ukończyć proces importowania, wybierz pozycję Zakończ.

zrzut ekranu przedstawiający kartę inspekcji.

Opcjonalnie:

  • Wybierz Podgląd poleceń, aby wyświetlić i skopiować polecenia automatyczne wygenerowane na podstawie danych wejściowych.
  • Użyj listy rozwijanej pliku definicji schematu, aby zmienić plik, z którego jest wywnioskowany schemat.
  • Zmień automatycznie wnioskowany format danych, wybierając żądany format z listy rozwijanej. Aby uzyskać więcej informacji, zobacz Formaty danych obsługiwane przez Real-Time Intelligence.
  • Edytuj kolumny.
  • Poznaj opcje zaawansowane oparte na typie danych.

Edytowanie kolumn

Notatka

  • W przypadku formatów tabelarycznych (CSV, TSV, PSV) nie można dwukrotnie mapować kolumny. Aby zamapować na istniejącą kolumnę, najpierw usuń nową kolumnę.
  • Nie można zmienić istniejącego typu kolumny. Jeśli spróbujesz mapować kolumnę na inny format, może się okazać, że kolumny będą puste.

Zmiany, które można wprowadzić w tabeli, zależą od następujących parametrów:

  • typ tabeli jest nowy lub istniejący
  • typ mapowania jest nowy lub istniejący
Typ tabeli Typ mapowania Dostępne korekty
Nowa tabela Nowe mapowanie Zmienianie nazwy kolumny, zmienianie typu danych, zmienianie źródła danych, przekształcanie mapowania, dodawanie kolumny, usuwanie kolumny
Istniejąca tabela Nowe mapowanie Dodaj kolumnę (na której można następnie zmienić typ danych, zmienić nazwę i zaktualizować)
Istniejąca tabela Istniejące mapowanie żaden

Zrzut ekranu przedstawiający otwarte kolumny do edycji.

Przekształcenia mapowania

Niektóre mapowania formatów danych (Parquet, JSON i Avro) obsługują proste transformacje podczas wczytywania danych. Aby zastosować przekształcenia mapowania, utwórz lub zaktualizuj kolumnę w oknie Edytuj kolumny.

Przekształcenia mapowania można wykonać na kolumnie typu ciąg lub data/godzina, gdzie źródło ma typ danych int lub long. Obsługiwane przekształcenia mapowania to:

  • DateTimeFromUnixSeconds
  • DateTimeFromUnixMilliseconds
  • DateTimeFromUnixMicroseconds
  • DateTimeFromUnixNanoseconds

Opcje zaawansowane oparte na typie danych

tabelaryczne (CSV, TSV, PSV):

  • Jeśli importujesz formaty tabelaryczne do istniejącej tabeli, możesz wybrać Zaawansowane>Zachowaj schemat tabeli. Dane tabelaryczne nie muszą zawierać nazw kolumn używanych do mapowania danych źródłowych na istniejące kolumny. Po zaznaczeniu tej opcji mapowanie odbywa się według kolejności, a schemat tabeli pozostaje taki sam. Jeśli ta opcja nie jest zaznaczona, nowe kolumny są tworzone dla danych przychodzących, niezależnie od struktury danych.

  • Aby użyć pierwszego wiersza jako nazw kolumn, wybierz Zaawansowane>Pierwszy wiersz to nagłówek kolumny.

    Zrzut ekranu przedstawiający zaawansowane opcje csv.

JSON:

  • Aby określić podział kolumn danych JSON, wybierz zaawansowane zagnieżdżone poziomy>, z zakresu od 1 do 100.

  • Jeśli wybierzesz Zaawansowane>Pomiń wiersze JSON z błędami, dane są ładowane w formacie JSON. Jeśli to pole wyboru nie zostanie zaznaczone, dane są pozyskiwane w formacie wielojasonowym.

    Zrzut ekranu przedstawiający zaawansowane opcje JSON.

Streszczenie

W oknie przygotowywania danych , wszystkie trzy kroki są oznaczone zielonymi znacznikami po pomyślnym zakończeniu pozyskiwania danych. Możesz wybrać kartę do zapytania, usunąć wprowadzone dane lub wyświetlić panel podsumowania wprowadzenia danych.

Zrzut ekranu przedstawiający stronę podsumowania z pomyślnie zakończonym importem danych.

Powiązana zawartość