Domande comuni sull'inserimento di azure Esplora dati

I buffer di gestione batch e i dati in ingresso vengono inseriti in batch in base alle impostazioni di inserimento nei criteri di invio in batch di inserimento. I criteri di inserimento in batch impostano i limiti dei batch in base a tre fattori di limitazione, a seconda del primo raggiungimento: tempo trascorso dopo la creazione del batch, il numero accumulato di elementi (BLOB) o le dimensioni totali del batch. Le impostazioni di invio in batch predefinite sono di 5 minuti/ 1 GB / 1.000 BLOB, vale a dire che ci sarà almeno un ritardo di 5 minuti quando si accodano dati di esempio per l'inserimento.

L'inserimento in coda è ottimizzato per una velocità effettiva di inserimento elevata ed è il tipo di inserimento preferito e più efficiente. Al contrario, l'inserimento in streaming è ottimizzato per una bassa latenza di inserimento. Altre informazioni sull'inserimento in coda rispetto all'inserimento in streaming.

Se le impostazioni predefinite per i criteri di inserimento in batch non soddisfano le proprie esigenze, è possibile provare a ridurre i criteri di invio timein batch. Vedere Ottimizzare la velocità effettiva. È anche consigliabile aggiornare le impostazioni quando si aumentano le prestazioni di inserimento. Quando si modificano le impostazioni dei criteri di invio in batch, possono essere necessari fino a 5 minuti.

La latenza di inserimento può derivare dalle impostazioni dei criteri di inserimento in batch o da una compilazione del backlog dei dati. Per risolvere questo problema, modificare le impostazioni dei criteri di invio in batch. È possibile monitorare le latenze che fanno parte del processo di inserimento.

Per visualizzare le metriche di latenza di inserimento in coda, vedere Monitoraggio della latenza di inserimento. Le metriche Stage Latency e Discovery Latency mostrano latenze nel processo di inserimento e rivelano se sono presenti latenze lunghe.

È possibile ottenere informazioni sulle latenze e modificare le impostazioni nei criteri di invio in batch per risolvere i problemi che causano latenze, ad esempio backlog di dati, batch inefficiente, invio in batch di grandi quantità di dati non compressi o inserimento di quantità molto ridotte di dati.

Le dimensioni dei dati dei criteri di invio in batch sono impostate per i dati non compressi. Quando si inseriscono dati compressi, le dimensioni dei dati non compressi vengono calcolate dai parametri di inserimento in batch, dai metadati dei file ZIP o dalla dimensione del file compresso.

È possibile monitorare l'inserimento usando le metriche e configurando e usando i log di diagnostica di inserimento per il monitoraggio dettagliato a livello di tabella, la visualizzazione dettagliata dei codici di errore di inserimento e così via. È possibile selezionare metriche specifiche da tenere traccia, scegliere come aggregare i risultati e creare grafici delle metriche da visualizzare nel dashboard. Altre informazioni sulle metriche di streaming e su come monitorare l'inserimento in coda.

È possibile usare Le informazioni dettagliate di Monitoraggio di Azure del portale per comprendere le prestazioni di Azure Esplora dati e il modo in cui viene usato. La visualizzazione Informazioni dettagliate è basata su metriche e log di diagnostica che possono essere trasmessi a un'area di lavoro Log Analytics. Usare il comando dup-next-ingest per duplicare l'inserimento successivo in un contenitore di archiviazione ed esaminare i dettagli e i metadati dell'inserimento.

Per monitorare l'intero processo di inserimento, è possibile usare le metriche di inserimento e i log di diagnostica. Gli errori di inserimento possono essere monitorati usando la IngestionResult metrica o il FailedIngestion log di diagnostica. Il .show ingestion failures comando mostra gli errori di inserimento associati ai comandi di gestione dell'inserimento dati e non è consigliato per il monitoraggio degli errori. Il .dup-next-failed-ingest comando fornisce informazioni sull'inserimento non riuscito successivo caricando i file di inserimento e i metadati in un contenitore di archiviazione. Ciò può essere utile per controllare un flusso di inserimento, anche se non è consigliato per il monitoraggio costante.

Le metriche che includono lo stato della RetryAttemptsExceeded metrica molte volte indicano che l'inserimento ha superato il limite di tentativi di ripetizione o il limite di intervallo di tempo dopo un errore temporaneo ricorrente. Se questo errore viene visualizzato anche nel log di diagnostica con codice General_RetryAttemptsExceeded di errore e i dettagli "Non è stato possibile accedere all'archiviazione e ottenere informazioni per il BLOB", indica un problema di accesso all'archiviazione a carico elevato. Durante l'inserimento di Griglia di eventi, Azure Esplora dati richiede i dettagli del BLOB dall'account di archiviazione. Quando il carico è troppo elevato in un account di archiviazione, l'accesso all'archiviazione potrebbe non riuscire e le informazioni necessarie per l'inserimento non possono essere recuperate. Se i tentativi superano la quantità massima di tentativi definiti, Azure Esplora dati interrompe il tentativo di inserimento del BLOB non riuscito. Per evitare un problema di carico, usare un account di archiviazione Premium o dividere i dati inseriti su più account di archiviazione. Per individuare gli errori correlati, controllare i FailedIngestion log di diagnostica per i codici di errore e i percorsi di eventuali BLOB non riusciti.

Per inserire in modo efficiente grandi quantità di dati cronologici, usare LightIngest. Per altre informazioni, vedere Inserire dati cronologici. Per migliorare le prestazioni per molti file di piccole dimensioni, modificare i criteri di invio in batch, modificare le condizioni di invio in batch e risolvere le latenze. Per migliorare le prestazioni di inserimento quando si inseriscono file di dati di dimensioni estremamente grandi, usare Azure Data Factory (ADF), un servizio di integrazione dei dati basato sul cloud.

I dati in formato non valido, non verificabili, troppo grandi o non conformi allo schema, potrebbero non essere inseriti correttamente. Per altre informazioni, vedere Inserimento di dati non validi.

Quando si inserisce tramite SDK, è possibile usare le impostazioni dei criteri di inserimento in batch per migliorare le prestazioni. Provare a ridurre in modo incrementale le dimensioni dei dati inseriti nei criteri di invio in batch della tabella o del database verso il basso verso 250 MB. Controllare se c'è un miglioramento.

Gli utenti del sink Kafka devono ottimizzare il connettore per lavorare insieme ai criteri di inserimento in batch ottimizzando il tempo di invio in batch, le dimensioni e il numero di elemento.