Получение данных из Amazon S3
В этой статье вы узнаете, как получить данные из Amazon S3 в новую или существующую таблицу. Amazon S3 — это служба хранилища объектов, созданная для хранения и извлечения данных.
Дополнительные сведения об Amazon S3 см. в статье Что такое Amazon S3?.
Необходимые условия
- Рабочая область с включенной поддержкой Microsoft Fabric для емкости
- База данных KQL с разрешениями на редактирование
- Контейнер Amazon S3 с данными
Источник
На нижней ленте базы данных KQL выберите Получить данные.
В окне Получение данных выбрана вкладка Источник.
Выберите источник данных из доступного списка. В этом примере вы получаете данные из Amazon S3.
Настроить
Выберите целевую таблицу. Если вы хотите получать данные в новую таблицу, выберите +Создать таблицу и введите имя таблицы.
Заметка
Имена таблиц могут содержать до 1024 символов, включая пробелы, буквенно-цифровые символы, дефисы и символы подчеркивания. Специальные символы не поддерживаются.
В поле URI вставьте строку подключения одного контейнера или отдельный объект в следующем формате.
Контейнер:
https://BucketName.s3.RegionName.amazonaws.com;AwsCredentials=AwsAccessID,AwsSecretKeyПри необходимости можно применить фильтры контейнеров для фильтрации данных в соответствии с определенным расширением файла.
Выберите Далее.
Проверять
Откроется вкладка "Проверка" с предварительным просмотром данных.
Чтобы завершить процесс приема, нажмите кнопку Готово.
Необязательно:
- Выберите средство просмотра команд, чтобы просмотреть и скопировать автоматические команды, созданные из входных данных.
- Используйте раскрывающийся список для выбора файла определения схемы , из которого выводится схема.
- Измените автоматически выведенный формат данных, выбрав нужный формат из раскрывающегося списка. Дополнительные сведения см. в форматах данных, которые поддерживаются Real-Time аналитикой.
- Изменить столбцы.
- Изучите дополнительные параметры в зависимости от типа данных.
Изменение столбцов
Заметка
- Для табличных форматов (CSV, TSV, PSV) невозможно сопоставить столбец дважды. Чтобы сопоставить с существующим столбцом, сначала удалите новый столбец.
- Невозможно изменить существующий тип столбца. Если вы попытаетесь сопоставить со столбцом другого формата, это может привести к пустым столбцам.
Изменения, которые можно внести в таблицу, зависят от следующих параметров:
- тип таблицы является новым или существующим
- тип сопоставления является новым или существующим
| Тип таблицы | Тип сопоставления | Доступные корректировки |
|---|---|---|
| Новая таблица | Новое сопоставление | Переименовать столбец, изменить тип данных, изменить источник данных, преобразование сопоставления, добавить столбец, удалить столбец |
| Существующая таблица | Новое картирование | Добавьте столбец (в котором можно изменить тип данных, переименовать и обновить) |
| Существующая таблица | Существующее сопоставление | никакой |
Преобразования отображений
Некоторые сопоставления форматов данных (Parquet, JSON и Avro) поддерживают простые преобразования при загрузке данных. Чтобы применить преобразования сопоставления, создайте или обновите столбец в окне Редактирование столбцов.
Преобразования отображения можно выполнять для столбца с типом данных string или datetime, когда у источника тип данных int или long. Поддерживаемые сопоставительные преобразования:
- ДатаВремяИзUnixСекунд
- DateTimeFromUnixMilliseconds
- DateTimeFromUnixMicroseconds
- ДатаВремяИзUnixНаносекунд
Дополнительные параметры на основе типа данных
табличный (CSV, TSV, PSV):
Если вы используете табличные форматы в существующей таблице, можно выбрать Дополнительные>Сохранение схемы таблицы. Табличные данные не обязательно включают имена столбцов, которые используются для сопоставления исходных данных с существующими столбцами. При проверке этого параметра сопоставление выполняется по порядку, а схема таблицы остается той же. Если этот параметр снят, для входящих данных создаются новые столбцы независимо от структуры данных.
Чтобы использовать первую строку в качестве имен столбцов, выберите Advanced>Первая строка является заголовком столбца.
JSON:
Чтобы определить деление данных JSON, выберите Расширенные>вложенные уровниот 1 до 100.
Если выбрать Advanced>Skip JSON lines with errors, данные будут приниматься в формате JSON. Если этот флажок не выбран, данные будут получены в формате multijson.
Сводка
В окне подготовки данных все три шага помечаются зелеными галочками, когда прием данных завершается успешно. Вы можете выбрать карточку для запроса, удалить загруженные данные или просмотреть панель мониторинга сводки ингерсации.
Связанное содержимое
- Сведения об управлении базой данных см. в статье Управление данными
- Сведения о создании, хранении и экспорте запросов см. в разделе Запрос данных в наборе запросов KQL