Condividi tramite

Eseguire query sui dati di Avro con Azure Data Lake Analytics

  • Articolo

Questo articolo illustra come eseguire query sui dati di Avro per un routing efficiente dei messaggi provenienti dall'hub IoT di Azure ai servizi di Azure. Routing dei messaggi consente di filtrare i dati usando query avanzate basate sulle proprietà dei messaggi, sul corpo del messaggio, sui tag e sulle proprietà del dispositivo gemello. Per altre informazioni sulle funzionalità di query in Routing messaggi, vedere l'articolo sulla sintassi della query di routing dei messaggi.

La sfida è che quando hub IoT di Azure instrada i messaggi all'archiviazione BLOB di Azure, per impostazione predefinita hub IoT scrive il contenuto in formato Avro, che dispone sia di una proprietà del corpo del messaggio che di una proprietà message. Il formato Avro non viene usato per altri endpoint. Anche se il formato Avro è molto utile per la conservazione dei dati e dei messaggi, è difficile da usare per eseguire query sui dati. In confronto, il formato JSON o CSV è più semplice per eseguire query sui dati. hub IoT ora supporta la scrittura di dati nell'archivio BLOB in JSON e AVRO.

Per altre informazioni, vedere Uso di Archiviazione di Azure come endpoint di routing.

Per soddisfare esigenze e formati di Big Data non relazionali e superare questo problema, è possibile usare molti dei modelli di Big Data per la trasformazione e il ridimensionamento dei dati. Uno dei modelli, basato sul "pagamento per query" è Azure Data Lake Analytics, che viene illustrato in dettaglio in questo articolo. Nonostante sia possibile eseguire facilmente la query in Hadoop o con altre soluzioni, Data Lake Analytics è spesso più indicato per questo approccio basato sul "pagamento per query".

È disponibile un "estrattore" per Avro in U-SQL. Per altre informazioni, vedere U-SQL Avro example (Esempio Avro U-SQL).

Eseguire query ed esportare i dati di Avro in un file CSV

In questa sezione viene eseguita una query sui dati di Avro e l'esportazione in un file CSV in Archiviazione BLOB di Azure, anche se è possibile inserire i dati in altri repository o archivi dati.

  1. Configurare l'hub IoT di Azure per instradare i dati a un endpoint di Archiviazione BLOB di Azure usando una proprietà nel corpo del messaggio per selezionare i messaggi.

    La sezione

    Le regole di routing

    Per altre informazioni sulle impostazioni di route e sugli endpoint personalizzati, vedere Routing dei messaggi per un hub IoT.

  2. Verificare che il dispositivo abbia la codifica, il tipo di contenuto e i dati necessari nelle proprietà o nel corpo del messaggio, come indicato nella documentazione del prodotto. Quando si visualizzano questi attributi in Esplora dispositivi, come illustrato qui, è possibile verificare che siano impostati correttamente.

    Il riquadro Dati di hub eventi

  3. Configurare un'istanza di Azure Data Lake Store e un'istanza di Azure Data Lake Analytics. hub IoT di Azure non indirizza a un'istanza di Data Lake Store, ma un'istanza di Data Lake Analytics richiede una.

    Istanze di Data Lake Store e Data Lake Analytics

  4. In Data Lake Analytics configurare l'Archiviazione BLOB di Azure come archivio aggiuntivo, la stessa risorsa di archiviazione BLOB a cui l'hub IoT instrada i dati.

    Il riquadro

  5. Come descritto in Esempio di Avro U-SQL, sono necessari quattro file DLL. Caricare questi file in un percorso nell'istanza Data Lake Store.

    Quattro file DLL caricati

  6. In Visual Studio creare un progetto U-SQL.

    Creare uno script U-SQL

  7. Incollare il contenuto dello script seguente nel file appena creato. Modificare le tre sezioni evidenziate: l'account Data Lake Analytics, i percorsi dei file DLL associati e il percorso corretto dell'account di archiviazione.

    Le tre sezioni da modificare

    Ecco lo script U-SQL effettivo per un semplice output in un file CSV:

        DROP ASSEMBLY IF EXISTS [Avro];
    CREATE ASSEMBLY [Avro] FROM @"/Assemblies/Avro/Avro.dll";
    DROP ASSEMBLY IF EXISTS [Microsoft.Analytics.Samples.Formats];
    CREATE ASSEMBLY [Microsoft.Analytics.Samples.Formats] FROM @"/Assemblies/Avro/Microsoft.Analytics.Samples.Formats.dll";
    DROP ASSEMBLY IF EXISTS [Newtonsoft.Json];
    CREATE ASSEMBLY [Newtonsoft.Json] FROM @"/Assemblies/Avro/Newtonsoft.Json.dll";
    DROP ASSEMBLY IF EXISTS [log4net];
    CREATE ASSEMBLY [log4net] FROM @"/Assemblies/Avro/log4net.dll";

    REFERENCE ASSEMBLY [Newtonsoft.Json];
    REFERENCE ASSEMBLY [log4net];
    REFERENCE ASSEMBLY [Avro];
    REFERENCE ASSEMBLY [Microsoft.Analytics.Samples.Formats];

    // Blob container storage account filenames, with any path
    DECLARE @input_file string = @"wasb://hottubrawdata@kevinsayazstorage/kevinsayIoT/{*}/{*}/{*}/{*}/{*}/{*}";
    DECLARE @output_file string = @"/output/output.csv";

    @rs =
    EXTRACT
    EnqueuedTimeUtc string,
    Body byte[]
    FROM @input_file

    USING new Microsoft.Analytics.Samples.Formats.ApacheAvro.AvroExtractor(@"
    {
        ""type"":""record"",
        ""name"":""Message"",
        ""namespace"":""Microsoft.Azure.Devices"",
        ""fields"":
       [{
            ""name"":""EnqueuedTimeUtc"",
            ""type"":""string""
        },
        {
            ""name"":""Properties"",
            ""type"":
            {
                ""type"":""map"",
                ""values"":""string""
            }
        },
        {
            ""name"":""SystemProperties"",
            ""type"":
            {
                ""type"":""map"",
                ""values"":""string""
            }
        },
        {
            ""name"":""Body"",
            ""type"":[""null"",""bytes""]
        }]
    }"
    );

    @cnt =
    SELECT EnqueuedTimeUtc AS time, Encoding.UTF8.GetString(Body) AS jsonmessage
    FROM @rs;

    OUTPUT @cnt TO @output_file USING Outputters.Text();

    Data Lake Analytics ha impiegato cinque minuti per eseguire lo script seguente, che è stato limitato a 10 unità di analisi ed elaborato 177 file. Il risultato è illustrato nell'output del file CSV che viene visualizzato nell'immagine seguente:

    Risultati dell'output in un file CSV

    Output convertito in file CSV

    Per analizzare JSON, andare al passaggio 8.

  8. La maggior parte dei messaggi IoT è in formato di file JSON. Aggiungendo le righe seguenti, è possibile analizzare il messaggio in un file JSON, che consente di aggiungere clausole WHERE e restituire solo i dati necessari.

       @jsonify =
     SELECT Microsoft.Analytics.Samples.Formats.Json.JsonFunctions.JsonTuple(Encoding.UTF8.GetString(Body))
       AS message FROM @rs;

    /*
    @cnt =
        SELECT EnqueuedTimeUtc AS time, Encoding.UTF8.GetString(Body) AS jsonmessage
        FROM @rs;

    OUTPUT @cnt TO @output_file USING Outputters.Text();
    */

    @cnt =
        SELECT message["message"] AS iotmessage,
            message["event"] AS msgevent,
            message["object"] AS msgobject,
            message["status"] AS msgstatus,
            message["host"] AS msghost
        FROM @jsonify;

    OUTPUT @cnt TO @output_file USING Outputters.Text();

    L'output mostra una colonna per ogni elemento nel comando SELECT.

    Output che mostra una colonna per ogni elemento

Passaggi successivi

In questa esercitazione si è appreso come eseguire query sui dati di Avro per un routing efficiente dei messaggi provenienti dall'hub IoT ai servizi di Azure.