Banen-API 2.0

Met de Jobs API kunt u taken maken, bewerken en verwijderen. De maximaal toegestane grootte van een verzoek aan de Jobs API is 10 MB.

Zie Bijwerken van taken-API 2.0 naar 2.1 en Bijwerken van taken-API 2.1 naar 2.2voor meer informatie over de bijgewerkte functionaliteit in recentere versies van de Taken-API.

Maken

Eindpunt	HTTP-methode
2.0/jobs/create	POST

Maak een nieuw project.

Voorbeeld

In dit voorbeeld wordt elke nacht om 10:15 uur een JAR-taak uitgevoerd.

Aanvraag

curl --netrc --request POST \
https://<databricks-instance>/api/2.0/jobs/create \
--data @create-job.json \
| jq .

create-job.json:

{
  "name": "Nightly model training",
  "new_cluster": {
    "spark_version": "7.3.x-scala2.12",
    "node_type_id": "Standard_D3_v2",
    "num_workers": 10
  },
  "libraries": [
    {
      "jar": "dbfs:/my-jar.jar"
    },
    {
      "maven": {
        "coordinates": "org.jsoup:jsoup:1.7.2"
      }
    }
  ],
  "timeout_seconds": 3600,
  "max_retries": 1,
  "schedule": {
    "quartz_cron_expression": "0 15 22 * * ?",
    "timezone_id": "America/Los_Angeles"
  },
  "spark_jar_task": {
    "main_class_name": "com.databricks.ComputeModels"
  }
}

Vervangen:

• <databricks-instance> met de naam van het Azure Databricks-werkruimte-exemplaar, bijvoorbeeld adb-1234567890123456.7.azuredatabricks.net.
• De inhoud van create-job.json met velden die geschikt zijn voor uw oplossing.

In dit voorbeeld wordt een .netrc-bestand en jq gebruikt.

Antwoord

{
  "job_id": 1
}

Aanvraagstructuur

Veldnaam	Soort	Beschrijving
existing_cluster_id OF new_cluster	STRING OR NewCluster	Als "existing_cluster_id" aanwezig is, wordt de ID van een bestaand cluster gebruikt voor alle runs van deze opdracht. Wanneer u taken uitvoert op een bestaand cluster, moet u het cluster mogelijk handmatig opnieuw opstarten als het niet meer reageert. We raden u aan taken uit te voeren op nieuwe clusters voor een grotere betrouwbaarheid. Bij een nieuwe cluster, een beschrijving van een cluster dat voor elke run wordt gemaakt. Als u een PipelineTask opgeeft, kan dit veld leeg zijn.
notebook_task OF spark_jar_task spark_python_task OF spark_submit_task pipeline_task OF run_job_task	NotebookTask OF SparkJarTask OF SparkPythonTask OF SparkSubmitTask OF PipelineTask OF RunJobTask	Als notebook_taak aangeeft, betekent dit dat deze taak een notebook moet uitvoeren. Dit veld kan niet worden opgegeven in combinatie met spark_jar_task. Als er sprake is van een spark_jar_task, geeft dat aan dat deze taak een JAR moet uitvoeren. Als spark_python_task, geeft u aan dat deze taak een Python-bestand moet uitvoeren. Wanneer spark_submit_task wordt gebruikt, wordt aangegeven dat deze job moet worden gestart door het spark-submit-script. Als pipeline_task, geeft u aan dat deze taak een DLT-pijplijn moet uitvoeren. Wanneer run_job_task, geeft dit aan dat deze taak een andere taak moet uitvoeren.
name	STRING	Een optionele naam voor de taak. De standaardwaarde is Untitled.
libraries	Een matrix van bibliotheek	Een optionele lijst met bibliotheken die moeten worden geïnstalleerd op het cluster waarmee de taak wordt uitgevoerd. De standaardwaarde is een lege lijst.
email_notifications	JobEmailNotifications	Een optionele set e-mailadressen die wordt gewaarschuwd wanneer de uitvoeringen van deze taak beginnen en worden voltooid, en ook wanneer deze taak wordt verwijderd. Het standaardgedrag is om geen e-mailberichten te verzenden.
webhook_notifications	WebhookNotifications	Een optionele set systeembestemmingen om te waarschuwen wanneer uitvoeringen van deze taak beginnen, voltooien of mislukken.
notification_settings	JobNotificationSettings	Optionele meldingsinstellingen die worden gebruikt bij het verzenden van meldingen naar elk van de email_notifications en webhook_notifications voor deze taak.
timeout_seconds	INT32	Er is een optionele time-out toegepast op elke uitvoering van deze taak. Het standaardgedrag is om geen time-out te hebben.
max_retries	INT32	Een optioneel maximum aantal keren om een mislukte uitvoering opnieuw uit te voeren. Een uitvoering wordt als onsuccesvol beschouwd als deze wordt voltooid met de resultaatstatus FAILED of INTERNAL_ERROR life_cycle_state. De waarde -1 betekent dat u het voor onbepaalde tijd opnieuw wilt proberen en de waarde 0 betekent dat u het nooit opnieuw wilt proberen. Het standaardgedrag is om het nooit opnieuw te proberen.
min_retry_interval_millis	INT32	Een optioneel minimaal interval in milliseconden tussen het begin van de mislukte uitvoering en de volgende nieuwe poging. Het standaardgedrag is dat mislukte uitvoeringen onmiddellijk opnieuw worden geprobeerd.
retry_on_timeout	BOOL	Een optioneel beleid om op te geven of een taak opnieuw moet worden uitgevoerd wanneer er een time-out optreedt. Het standaardgedrag is om het niet opnieuw te proberen bij time-out.
schedule	CronSchedule	Een optioneel periodiek schema voor deze taak. Het standaardgedrag is dat de taak wordt uitgevoerd wanneer deze wordt geactiveerd door op Nu uitvoeren in de gebruikersinterface taken te klikken of een API-aanvraag naar te runNowverzenden.
max_concurrent_runs	INT32	Een optioneel maximaal toegestaan aantal gelijktijdige uitvoeringen van de taak. Stel deze waarde in als u meerdere uitvoeringen van dezelfde taak tegelijk wilt kunnen uitvoeren. Dit is bijvoorbeeld handig als u uw taak activeert volgens een frequent schema en opeenvolgende uitvoeringen wilt laten overlappen met elkaar, of als u meerdere uitvoeringen wilt activeren die verschillen per invoerparameters. Deze instelling beïnvloedt alleen nieuwe rondes. Stel dat de gelijktijdigheid van de taak 4 is en dat er 4 gelijktijdige actieve uitvoeringen zijn. Als u vervolgens de gelijktijdigheid instelt op 3, worden geen actieve uitvoeringen gedood. Vanaf dat tijdstip worden nieuwe uitvoeringen echter overgeslagen, tenzij er minder dan 3 actieve uitvoeringen zijn. Deze waarde mag niet groter zijn dan 1000. Als u deze waarde instelt op 0, worden alle nieuwe uitvoeringen overgeslagen. Het standaardgedrag is om slechts 1 gelijktijdige uitvoering toe te staan.

Antwoordstructuur

Veldnaam	Soort	Beschrijving
job_id	INT64	De canonieke identifier voor de zojuist gemaakte job.

Lijst

Eindpunt	HTTP-methode
2.0/jobs/list	GET

Geef alle taken weer.

Voorbeeld

Aanvraag

curl --netrc --request GET \
https://<databricks-instance>/api/2.0/jobs/list \
| jq .

Vervang <databricks-instance> door de naam van het Azure Databricks-werkruimte-exemplaar, bijvoorbeeld adb-1234567890123456.7.azuredatabricks.net.

In dit voorbeeld wordt een .netrc-bestand en jq gebruikt.

Antwoord

{
  "jobs": [
    {
      "job_id": 1,
      "settings": {
        "name": "Nightly model training",
        "new_cluster": {
          "spark_version": "7.3.x-scala2.12",
          "node_type_id": "Standard_D3_v2",
          "num_workers": 10
        },
        "libraries": [
          {
            "jar": "dbfs:/my-jar.jar"
          },
          {
            "maven": {
              "coordinates": "org.jsoup:jsoup:1.7.2"
            }
          }
        ],
        "timeout_seconds": 100000000,
        "max_retries": 1,
        "schedule": {
          "quartz_cron_expression": "0 15 22 * * ?",
          "timezone_id": "America/Los_Angeles",
          "pause_status": "UNPAUSED"
        },
        "spark_jar_task": {
          "main_class_name": "com.databricks.ComputeModels"
        }
      },
      "created_time": 1457570074236
    }
  ]
}

Antwoordstructuur

Veldnaam	Soort	Beschrijving
jobs	Een reeks van Job	De lijst met taken.

Verwijderen

Eindpunt	HTTP-methode
2.0/jobs/delete	POST

Een taak verwijderen en een e-mailbericht verzenden naar de adressen die zijn opgegeven in JobSettings.email_notifications. Er treedt geen actie op als de taak al is verwijderd. Nadat de taak is verwijderd, zijn de details en de uitvoeringsgeschiedenis niet zichtbaar in de gebruikersinterface of API voor taken. De functie wordt gegarandeerd verwijderd na voltooiing van deze aanvraag. Uitvoeringen die actief waren voordat deze aanvraag werd ontvangen, kunnen echter nog steeds actief zijn. Ze worden asynchroon beëindigd.

Voorbeeld

curl --netrc --request POST \
https://<databricks-instance>/api/2.0/jobs/delete \
--data '{ "job_id": <job-id> }'

Vervangen:

• <databricks-instance> met de naam van het Azure Databricks-werkruimte-exemplaar, bijvoorbeeld adb-1234567890123456.7.azuredatabricks.net.
• <job-id> met de id van de taak, bijvoorbeeld 123.

In dit voorbeeld wordt een .netrc-bestand gebruikt.

Aanvraagstructuur

Veldnaam	Soort	Beschrijving
job_id	INT64	De canonieke id van de taak die moet worden verwijderd. Dit veld is vereist.

Ophalen

Eindpunt	HTTP-methode
2.0/jobs/get	GET

Informatie over één taak ophalen.

Voorbeeld

Aanvraag

curl --netrc --request GET \
'https://<databricks-instance>/api/2.0/jobs/get?job_id=<job-id>' \
| jq .

Of:

curl --netrc --get \
https://<databricks-instance>/api/2.0/jobs/get \
--data job_id=<job-id> \
| jq .

Vervangen:

• <databricks-instance> met de naam van het Azure Databricks-werkruimte-exemplaar, bijvoorbeeld adb-1234567890123456.7.azuredatabricks.net.
• <job-id> met de id van de taak, bijvoorbeeld 123.

In dit voorbeeld wordt een .netrc-bestand en jq gebruikt.

Antwoord

{
  "job_id": 1,
  "settings": {
    "name": "Nightly model training",
    "new_cluster": {
      "spark_version": "7.3.x-scala2.12",
      "node_type_id": "Standard_D3_v2",
      "num_workers": 10
    },
    "libraries": [
      {
        "jar": "dbfs:/my-jar.jar"
      },
      {
        "maven": {
          "coordinates": "org.jsoup:jsoup:1.7.2"
        }
      }
    ],
    "timeout_seconds": 100000000,
    "max_retries": 1,
    "schedule": {
      "quartz_cron_expression": "0 15 22 * * ?",
      "timezone_id": "America/Los_Angeles",
      "pause_status": "UNPAUSED"
    },
    "spark_jar_task": {
      "main_class_name": "com.databricks.ComputeModels"
    }
  },
  "created_time": 1457570074236
}

Aanvraagstructuur

Veldnaam	Soort	Beschrijving
job_id	INT64	De canonieke identificatie van de taak waarover informatie moet worden opgehaald. Dit veld is vereist.

Antwoordstructuur

Veldnaam	Soort	Beschrijving
job_id	INT64	De canonieke identificator voor deze taak.
creator_user_name	STRING	De gebruikersnaam van de maker. Dit veld wordt niet opgenomen in het antwoord als de gebruiker is verwijderd.
settings	JobSettings	Instellingen voor deze taak en alle uitvoeringen ervan. Deze instellingen kunnen worden bijgewerkt met behulp van de opnieuw instellen- of bijwerken- eindpunten.
created_time	INT64	De tijd waarop deze taak is aangemaakt in epoch-milliseconden (milliseconden sinds 1-1-1970 UTC).

opnieuw instellen

Eindpunt	HTTP-methode
2.0/jobs/reset	POST

Overschrijf alle instellingen voor een specifieke taak. Gebruik het -eindpunt bijwerken om taakinstellingen gedeeltelijk bij te werken.

Voorbeeld

Met deze voorbeeldaanvraag wordt taak 2 identiek aan taak 1 in het voorbeeld van het maken .

curl --netrc --request POST \
https://<databricks-instance>/api/2.0/jobs/reset \
--data @reset-job.json \
| jq .

reset-job.json:

{
  "job_id": 2,
  "new_settings": {
    "name": "Nightly model training",
    "new_cluster": {
      "spark_version": "7.3.x-scala2.12",
      "node_type_id": "Standard_D3_v2",
      "num_workers": 10
    },
    "libraries": [
      {
        "jar": "dbfs:/my-jar.jar"
      },
      {
        "maven": {
          "coordinates": "org.jsoup:jsoup:1.7.2"
        }
      }
    ],
    "timeout_seconds": 100000000,
    "max_retries": 1,
    "schedule": {
      "quartz_cron_expression": "0 15 22 * * ?",
      "timezone_id": "America/Los_Angeles",
      "pause_status": "UNPAUSED"
    },
    "spark_jar_task": {
      "main_class_name": "com.databricks.ComputeModels"
    }
  }
}

Vervangen:

• <databricks-instance> met de naam van het Azure Databricks-werkruimte-exemplaar, bijvoorbeeld adb-1234567890123456.7.azuredatabricks.net.
• De inhoud van reset-job.json met velden die geschikt zijn voor uw oplossing.

In dit voorbeeld wordt een .netrc-bestand en jq gebruikt.

Aanvraagstructuur

Veldnaam	Soort	Beschrijving
job_id	INT64	De canonieke identifier van de taak die moet worden gereset. Dit veld is vereist.
new_settings	JobSettings	De nieuwe instellingen van de taak. Deze instellingen vervangen de oude instellingen volledig. Wijzigingen in het veld JobSettings.timeout_seconds worden toegepast op actieve uitvoeringen. Wijzigingen in andere velden worden alleen toegepast op toekomstige uitvoeringen.

bijwerken

Eindpunt	HTTP-methode
2.0/jobs/update	POST

Specifieke instellingen van een bestaande taak toevoegen, wijzigen of verwijderen. Gebruik het Reset-eindpunt om alle taakinstellingen te overschrijven.

Voorbeeld

Met deze voorbeeldaanvraag worden bibliotheken verwijderd en worden instellingen voor e-mailmeldingen toegevoegd aan taak 1 die in het voorbeeld voor het maken is gedefinieerd.

curl --netrc --request POST \
https://<databricks-instance>/api/2.0/jobs/update \
--data @update-job.json \
| jq .

update-job.json:

{
  "job_id": 1,
  "new_settings": {
    "existing_cluster_id": "1201-my-cluster",
    "email_notifications": {
      "on_start": ["someone@example.com"],
      "on_success": [],
      "on_failure": []
    }
  },
  "fields_to_remove": ["libraries"]
}

Vervangen:

• <databricks-instance> met de naam van het Azure Databricks-werkruimte-exemplaar, bijvoorbeeld adb-1234567890123456.7.azuredatabricks.net.
• De inhoud van update-job.json met velden die geschikt zijn voor uw oplossing.

In dit voorbeeld wordt een .netrc-bestand en jq gebruikt.

Aanvraagstructuur

Veldnaam	Soort	Beschrijving
job_id	INT64	De canonieke identificatiecode van de taak die moet worden bijgewerkt. Dit veld is vereist.
new_settings	JobSettings	De nieuwe instellingen voor de taak. Velden op het hoogste niveau die zijn opgegeven in new_settings, met uitzondering van matrices, worden volledig vervangen. Matrices worden samengevoegd op basis van de respectieve sleutelvelden, zoals task_key of job_cluster_key en array-items met dezelfde sleutel worden volledig vervangen. Met uitzondering van het samenvoegen van arrays wordt het gedeeltelijk bijwerken van geneste velden niet ondersteund. Wijzigingen in het veld JobSettings.timeout_seconds worden toegepast op actieve uitvoeringen. Wijzigingen in andere velden worden alleen toegepast op toekomstige uitvoeringen.
fields_to_remove	Een matrix van STRING	Verwijder velden op het hoogste niveau in de taakinstellingen. Het verwijderen van geneste velden wordt niet ondersteund, met uitzondering van vermeldingen uit de tasks en job_clusters matrices. Het volgende is bijvoorbeeld een geldig argument voor dit veld: ["libraries", "schedule", "tasks/task_1", "job_clusters/Default"] Dit veld is optioneel.

Nu uitvoeren

Eindpunt	HTTP-methode
2.0/jobs/run-now	POST

Voer nu een taak uit en retourneer de run_id van de geactiveerde taak.

Voorbeeld

curl --netrc --request POST \
https://<databricks-instance>/api/2.0/jobs/run-now \
--data @run-job.json \
| jq .

run-job.json:

Een voorbeeldaanvraag voor een notebooktaak:

{
  "job_id": 1,
  "notebook_params": {
    "name": "john doe",
    "age": "35"
  }
}

Een voorbeeldaanvraag voor een JAR-taak:

{
  "job_id": 2,
  "jar_params": ["john doe", "35"]
}

Vervangen:

• <databricks-instance> met de naam van het Azure Databricks-werkruimte-exemplaar, bijvoorbeeld adb-1234567890123456.7.azuredatabricks.net.
• De inhoud van run-job.json met velden die geschikt zijn voor uw oplossing.

In dit voorbeeld wordt een .netrc-bestand en jq gebruikt.

Aanvraagstructuur

Veldnaam	Soort	Beschrijving
job_id	INT64
jar_params	Een matrix van STRING	Een lijst met parameters voor taken met JAR-taken, bijvoorbeeld "jar_params": ["john doe", "35"]. De parameters worden gebruikt om de hoofdfunctie van de hoofdklasse aan te roepen die is opgegeven in de Spark JAR-taak. Als deze niet is opgegeven bij run-now, wordt deze standaard ingesteld op een lege lijst. jar_params kan niet worden opgegeven in combinatie met notebook_params. De JSON-weergave van dit veld (d.w. {"jar_params":["john doe","35"]}) mag niet groter zijn dan 10.000 bytes.
notebook_params	Een kaart van ParamPair	Een toewijzing van sleutels naar waarden voor taken met een notebook-taak, bijvoorbeeld "notebook_params": {"name": "john doe", "age": "35"}. De kaart wordt doorgegeven aan het notebook en is toegankelijk via de dbutils.widgets.get functie. Als deze niet is opgegeven bij run-now, gebruikt de geactiveerde uitvoering de basisparameters van de taak. U kunt geen notebook_params opgeven in combinatie met jar_params. De JSON-weergave van dit veld (d.w {"notebook_params":{"name":"john doe","age":"35"}}) mag niet groter zijn dan 10.000 bytes.
python_params	Een matrix van STRING	Een lijst met parameters voor taken met Python-taken, bijvoorbeeld "python_params": ["john doe", "35"]. De parameters worden als opdrachtregelparameters doorgegeven aan het Python-bestand. Als dit is opgegeven bij run-now, worden de parameters die zijn opgegeven in de taakinstelling overschreven. De JSON-weergave van dit veld (d.w. {"python_params":["john doe","35"]}) mag niet groter zijn dan 10.000 bytes.
spark_submit_params	Een matrix van STRING	Een lijst met parameters voor taken met spark submit-taak, bijvoorbeeld "spark_submit_params": ["--class", "org.apache.spark.examples.SparkPi"]. De parameters worden doorgegeven aan spark-submit-script als opdrachtregelparameters. Als dit is opgegeven bij run-now, worden de parameters die zijn opgegeven in de taakinstelling overschreven. De JSON-weergave van dit veld mag niet groter zijn dan 10.000 bytes.
idempotency_token	STRING	Een optioneel token om de idempotentie van taakuitvoeraanvragen te waarborgen. Als er al een uitvoering met het opgegeven token bestaat, maakt de aanvraag geen nieuwe uitvoering, maar retourneert de id van de bestaande uitvoering. Als een uitvoering met het opgegeven token wordt verwijderd, wordt er een fout geretourneerd. Als u het idempotentietoken opgeeft, kunt u na een fout opnieuw proberen totdat de aanvraag is geslaagd. Azure Databricks garandeert dat precies één uitvoering wordt gestart met dat idempotentietoken. Dit token moet maximaal 64 tekens bevatten. Zie Hoe idempotentie voor taken te garanderen voor meer informatie.

Antwoordstructuur

Veldnaam	Soort	Beschrijving
run_id	INT64	De wereldwijd unieke ID van de recentelijk gestarte uitvoering.
number_in_job	INT64	Het volgnummer van deze uitvoering onder alle uitvoeringen van de taak.

Uitvoeringen verzenden

Eindpunt	HTTP-methode
2.0/jobs/runs/submit	POST

Verzend een eenmalige uitvoering. Met dit eindpunt kunt u een workload rechtstreeks verzenden zonder een taak te maken. Gebruik de jobs/runs/get API om de uitvoeringsstatus te controleren nadat de taak is verzonden.

Voorbeeld

Aanvraag

curl --netrc --request POST \
https://<databricks-instance>/api/2.0/jobs/runs/submit \
--data @submit-job.json \
| jq .

submit-job.json:

{
  "run_name": "my spark task",
  "new_cluster": {
    "spark_version": "7.3.x-scala2.12",
    "node_type_id": "Standard_D3_v2",
    "num_workers": 10
  },
  "libraries": [
    {
      "jar": "dbfs:/my-jar.jar"
    },
    {
      "maven": {
        "coordinates": "org.jsoup:jsoup:1.7.2"
      }
    }
  ],
  "spark_jar_task": {
    "main_class_name": "com.databricks.ComputeModels"
  }
}

Vervangen:

• <databricks-instance> met de naam van het Azure Databricks-werkruimte-exemplaar, bijvoorbeeld adb-1234567890123456.7.azuredatabricks.net.
• De inhoud van submit-job.json met velden die geschikt zijn voor uw oplossing.

In dit voorbeeld wordt een .netrc-bestand en jq gebruikt.

Antwoord

{
  "run_id": 123
}

Aanvraagstructuur

Veldnaam	Soort	Beschrijving
existing_cluster_id OF new_cluster	STRING OR NewCluster	Als existing_cluster_id aanwezig is, wordt de ID van een bestaand cluster gebruikt voor alle runs van deze taak. Wanneer u taken uitvoert op een bestaand cluster, moet u het cluster mogelijk handmatig opnieuw opstarten als het niet meer reageert. We raden u aan taken uit te voeren op nieuwe clusters voor een grotere betrouwbaarheid. Bij een nieuwe cluster, een beschrijving van een cluster dat voor elke run wordt gemaakt. Als u een PipelineTask opgeeft, kan dit veld leeg zijn.
notebook_task OF spark_jar_task spark_python_task OF spark_submit_task pipeline_task OF run_job_task	NotebookTask OF SparkJarTask OF SparkPythonTask OF SparkSubmitTask OF PipelineTask OF RunJobTask	Als notebook_taak aangeeft, betekent dit dat deze taak een notebook moet uitvoeren. Dit veld kan niet worden opgegeven in combinatie met spark_jar_task. Als er sprake is van een spark_jar_task, geeft dat aan dat deze taak een JAR moet uitvoeren. Als spark_python_task, geeft u aan dat deze taak een Python-bestand moet uitvoeren. Als spark_submit_task, geeft aan dat deze taak moet worden gestart door het spark submit-script. Als pipeline_task, geeft u aan dat deze taak een DLT-pijplijn moet uitvoeren. Als het gaat om run_job_task, geeft dit aan dat deze taak een andere taak moet uitvoeren.
run_name	STRING	Een optionele naam voor de run. De standaardwaarde is Untitled.
webhook_notifications	WebhookNotifications	Een optionele set systeembestemmingen om te waarschuwen wanneer uitvoeringen van deze taak beginnen, voltooien of mislukken.
notification_settings	Instellingen voor Jobmeldingen	Optionele meldingsinstellingen die worden gebruikt bij het verzenden van meldingen naar elk van de webhook_notifications voor deze run.
libraries	Een reeks van bibliotheek	Een optionele lijst met bibliotheken die moeten worden geïnstalleerd op het cluster waarmee de taak wordt uitgevoerd. De standaardwaarde is een lege lijst.
timeout_seconds	INT32	Er is een optionele time-out toegepast op elke uitvoering van deze taak. Het standaardgedrag is om geen time-out te hebben.
idempotency_token	STRING	Een optioneel token om de idempotentie van aanvragen voor taakuitvoering te garanderen. Als er al een uitvoering met het opgegeven token bestaat, maakt de aanvraag geen nieuwe uitvoering, maar retourneert de id van de bestaande uitvoering. Als een uitvoering met het opgegeven token wordt verwijderd, ontvang je een foutmelding. Als u het idempotentietoken opgeeft, kunt u na een fout opnieuw proberen totdat de aanvraag is geslaagd. Azure Databricks garandeert dat precies één uitvoering wordt gestart met dat idempotentietoken. Dit token moet maximaal 64 tekens bevatten. Zie Hoe idempotentie voor taken te garanderen voor meer informatie.

Antwoordstructuur

Veldnaam	Soort	Beschrijving
run_id	INT64	De canonieke identificatie voor de zojuist ingediende run.

Lijst van uitvoeringen

Eindpunt	HTTP-methode
2.0/jobs/runs/list	GET

Sorteer de runs in aflopende volgorde op starttijd.

Voorbeeld

Aanvraag

curl --netrc --request GET \
'https://<databricks-instance>/api/2.0/jobs/runs/list?job_id=<job-id>&active_only=<true-false>&offset=<offset>&limit=<limit>&run_type=<run-type>' \
| jq .

Of:

curl --netrc --get \
https://<databricks-instance>/api/2.0/jobs/runs/list \
--data 'job_id=<job-id>&active_only=<true-false>&offset=<offset>&limit=<limit>&run_type=<run-type>' \
| jq .

Vervangen:

• <databricks-instance> met de naam van het Azure Databricks-werkruimte-exemplaar, bijvoorbeeld adb-1234567890123456.7.azuredatabricks.net.
• <job-id> met de id van de taak, bijvoorbeeld 123.
• "<true-false> met true of false".
• <offset> met de offset waarde.
• <limit> met de limit waarde.
• <run-type> met de run_type waarde.

In dit voorbeeld wordt een .netrc-bestand en jq gebruikt.

Antwoord

{
  "runs": [
    {
      "job_id": 1,
      "run_id": 452,
      "number_in_job": 5,
      "state": {
        "life_cycle_state": "RUNNING",
        "state_message": "Performing action"
      },
      "task": {
        "notebook_task": {
          "notebook_path": "/Users/donald@duck.com/my-notebook"
        }
      },
      "cluster_spec": {
        "existing_cluster_id": "1201-my-cluster"
      },
      "cluster_instance": {
        "cluster_id": "1201-my-cluster",
        "spark_context_id": "1102398-spark-context-id"
      },
      "overriding_parameters": {
        "jar_params": ["param1", "param2"]
      },
      "start_time": 1457570074236,
      "end_time": 1457570075149,
      "setup_duration": 259754,
      "execution_duration": 3589020,
      "cleanup_duration": 31038,
      "run_duration": 3879812,
      "trigger": "PERIODIC"
    }
  ],
  "has_more": true
}

Aanvraagstructuur

Veldnaam	Soort	Beschrijving
active_only OF completed_only	BOOL OF BOOL	Als active_only is true, worden alleen actieve uitvoeringen opgenomen in de resultaten; anders worden zowel actieve als voltooide uitvoeringen vermeld. Een actieve uitvoering is een uitvoering in de PENDING, RUNNING, of TERMINATINGRunLifecycleState. Dit veld mag niet zijn true als completed_only true is. Als completed_only is true, worden alleen voltooide uitvoeringen opgenomen in de resultaten; anders worden zowel actieve als voltooide uitvoeringen vermeld. Dit veld kan niet zijn true wanneer active_only is true.
job_id	INT64	De taak waarvoor de runs opgesomd moeten worden. Als u dit weglaat, zal de Jobs-service uitvoeringen van alle jobs weergeven.
offset	INT32	De offset van de eerste run die moet worden teruggegeven, ten opzichte van de meest recente run.
limit	INT32	Het aantal runs dat moet worden teruggegeven. Deze waarde moet groter zijn dan 0 en kleiner dan 1000. De standaardwaarde is 20. Als een aanvraag een limiet van 0 opgeeft, gebruikt de service in plaats daarvan de maximumlimiet.
run_type	STRING	Het type runs dat moet worden teruggegeven. Zie Uitvoeren voor een beschrijving van uitvoeringstypen.

Antwoordstructuur

Veldnaam	Soort	Beschrijving
runs	Een reeks van Run	Een lijst met uitvoeringen, van meest recent begonnen tot minst recent.
has_more	BOOL	Indien waar, zijn extra uitvoeringen die overeenkomen met het opgegeven filter beschikbaar voor vermelding.

uitvoeringen verkrijgen

Eindpunt	HTTP-methode
2.0/jobs/runs/get	GET

Haal de metagegevens van een uitvoering op.

Voorbeeld

Aanvraag

curl --netrc --request GET \
'https://<databricks-instance>/api/2.0/jobs/runs/get?run_id=<run-id>' \
| jq .

Of:

curl --netrc --get \
https://<databricks-instance>/api/2.0/jobs/runs/get \
--data run_id=<run-id> \
| jq .

Vervangen:

• <databricks-instance> met de naam van het Azure Databricks-werkruimte-exemplaar, bijvoorbeeld adb-1234567890123456.7.azuredatabricks.net.
• <run-id> met de ID van de run, bijvoorbeeld 123.

In dit voorbeeld wordt een .netrc-bestand en jq gebruikt.

Antwoord

{
  "job_id": 1,
  "run_id": 452,
  "number_in_job": 5,
  "state": {
    "life_cycle_state": "RUNNING",
    "state_message": "Performing action"
  },
  "task": {
    "notebook_task": {
      "notebook_path": "/Users/someone@example.com/my-notebook"
    }
  },
  "cluster_spec": {
    "existing_cluster_id": "1201-my-cluster"
  },
  "cluster_instance": {
    "cluster_id": "1201-my-cluster",
    "spark_context_id": "1102398-spark-context-id"
  },
  "overriding_parameters": {
    "jar_params": ["param1", "param2"]
  },
  "start_time": 1457570074236,
  "end_time": 1457570075149,
  "setup_duration": 259754,
  "execution_duration": 3589020,
  "cleanup_duration": 31038,
  "run_duration": 3879812,
  "trigger": "PERIODIC"
}

Aanvraagstructuur

Veldnaam	Soort	Beschrijving
run_id	INT64	De canonieke id van de uitvoering waarvoor de metagegevens moeten worden opgehaald. Dit veld is vereist.

Antwoordstructuur

Veldnaam	Soort	Beschrijving
job_id	INT64	De canonieke identifier van de taak die deze run bevat.
run_id	INT64	De canonieke identificator van de run. Deze id is uniek voor alle uitvoeringen van alle taken.
number_in_job	INT64	Het volgnummer van deze uitvoering onder alle uitvoeringen van de taak. Deze waarde begint bij 1.
original_attempt_run_id	INT64	Als deze uitvoering een nieuwe poging is van een eerdere poging, bevat dit veld de run_id van de oorspronkelijke poging; anders is het hetzelfde als de run_id.
state	RunState	Het resultaat en de levenscyclusstatussen van de uitvoering.
schedule	CronSchedule	Het cron-schema dat deze uitvoering heeft geactiveerd, indien geactiveerd door de periodieke scheduler.
task	JobTask	De taak die wordt uitgevoerd door de run, indien van toepassing.
cluster_spec	ClusterSpec	Een momentopname van de clusterspecificatie van de taak toen deze uitvoersessie werd gemaakt.
cluster_instance	ClusterInstance	Het cluster dat voor deze uitvoering wordt gebruikt. Als de uitvoering is ingesteld om een nieuw cluster te gebruiken, wordt dit veld ingesteld zodra de jobservice een cluster heeft aangevraagd voor de uitvoering.
overriding_parameters	RunParameters	De parameters die worden gebruikt voor deze uitvoering.
start_time	INT64	Het tijdstip waarop deze run is gestart, uitgedrukt in epochmilliseconden (milliseconden sinds 1/1/1970 UTC). Dit is mogelijk niet het tijdstip waarop de taaktaak wordt uitgevoerd, bijvoorbeeld als de taak is gepland om te worden uitgevoerd op een nieuw cluster, dit is het tijdstip waarop de aanroep voor het maken van het cluster wordt uitgegeven.
end_time	INT64	Het tijdstip waarop deze run eindigde in epoch-milliseconden (milliseconden sinds 1/1/1970 UTC). Dit veld wordt ingesteld op 0 als de taak nog steeds wordt uitgevoerd.
setup_duration	INT64	De tijd in milliseconden die nodig was om het cluster in te stellen. Voor uitvoeringen die worden uitgevoerd op nieuwe clusters is dit de aanmaaktijd van het cluster, voor uitvoeringen die op bestaande clusters worden uitgevoerd, moet deze tijd erg kort zijn. De totale duur van de uitvoering is de som van de setup_duration, execution_duration, en de cleanup_duration. Het veld setup_duration is ingesteld op 0 voor uitvoeringen van multitasktaken. De totale duur van het tegelijkertijd uitvoeren van meerdere taken is de waarde van de run_duration veld.
execution_duration	INT64	De tijd in milliseconden die nodig was om de programma's in het JAR of het notebook uit te voeren totdat ze zijn voltooid, zijn mislukt, een time-out hebben bereikt, zijn geannuleerd of een onverwachte fout hebben ondervonden. De totale duur van de uitvoering is de som van de setup_duration, execution_duration en de cleanup_duration. Het veld execution_duration is ingesteld op 0 voor uitvoeringen van multitasktaken. De totale duur van een taakuitvoering met meerdere taken is de waarde van het run_duration veld.
cleanup_duration	INT64	De tijd in milliseconden die nodig was om het cluster te beëindigen en eventuele bijbehorende artefacten op te schonen. De totale duur van de uitvoering is de som van de setup_duration, execution_durationen de cleanup_duration. Het veld cleanup_duration is ingesteld op 0 voor uitvoeringen van multitasktaken. De totale duur van een taakuitvoering met meerdere taken is de waarde van het run_duration veld.
run_duration	INT64	De tijd in milliseconden die nodig was voor het voltooien van de taakuitvoering en alle reparaties. Dit veld is alleen ingesteld voor multitaskuitvoeringen en niet voor taakuitvoeringen. De duur van een taakuitvoering is de som van de setup_duration, execution_duration, en de cleanup_duration.
trigger	TriggerType	Het type trigger waarmee deze uitvoering is gestart.
creator_user_name	STRING	De gebruikersnaam van de maker. Dit veld wordt niet opgenomen in het antwoord als de gebruiker is verwijderd
run_page_url	STRING	De URL naar de detailpagina van de run.

Exportbewerkingen uitvoeren

Eindpunt	HTTP-methode
2.0/jobs/runs/export	GET

Exporteer en haal de job run taak op.

Voorbeeld

Aanvraag

curl --netrc --request GET \
'https://<databricks-instance>/api/2.0/jobs/runs/export?run_id=<run-id>' \
| jq .

Of:

curl --netrc --get \
https://<databricks-instance>/api/2.0/jobs/runs/export \
--data run_id=<run-id> \
| jq .

Vervangen:

• <databricks-instance> met de naam van het Azure Databricks-werkruimte-exemplaar, bijvoorbeeld adb-1234567890123456.7.azuredatabricks.net.
• <run-id> met de ID van de run, bijvoorbeeld 123.

In dit voorbeeld wordt een .netrc-bestand en jq gebruikt.

Antwoord

{
  "views": [
    {
      "content": "<!DOCTYPE html><html><head>Head</head><body>Body</body></html>",
      "name": "my-notebook",
      "type": "NOTEBOOK"
    }
  ]
}

Als u het HTML-notebook wilt extraheren uit het JSON-antwoord, downloadt en voert u dit Python-script uit.

Aanvraagstructuur

Veldnaam	Soort	Beschrijving
run_id	INT64	De canonieke identificator voor de run. Dit veld is vereist.
views_to_export	WeergavenOmTeExporteren	Welke weergaven wil je exporteren (CODE, DASHBOARDS of ALLE). Wordt standaard ingesteld op CODE.

Antwoordstructuur

Veldnaam	Soort	Beschrijving
views	Een matrix van ViewItem	De geëxporteerde inhoud in HTML-indeling (één voor elk weergave-item).

Uitvoeringen annuleren

Eindpunt	HTTP-methode
2.0/jobs/runs/cancel	POST

Een taakuitvoering annuleren. Omdat de uitvoering asynchroon wordt geannuleerd, kan de uitvoering nog steeds worden uitgevoerd wanneer deze aanvraag is voltooid. De uitvoering wordt binnenkort beëindigd. Als de uitvoering al in een terminal life_cycle_statestaat, is deze methode een no-op.

Dit eindpunt controleert of de parameter run_id geldig is en voor ongeldige parameters wordt HTTP-statuscode 400 geretourneerd.

Voorbeeld

curl --netrc --request POST \
https://<databricks-instance>/api/2.0/jobs/runs/cancel \
--data '{ "run_id": <run-id> }'

Vervangen:

• <databricks-instance> met de naam van het Azure Databricks-werkruimte-exemplaar, bijvoorbeeld adb-1234567890123456.7.azuredatabricks.net.
• <run-id> met de ID van de run, bijvoorbeeld 123.

In dit voorbeeld wordt een .netrc-bestand gebruikt.

Aanvraagstructuur

Veldnaam	Soort	Beschrijving
run_id	INT64	De canonieke identificatie van de run die moet worden geannuleerd. Dit veld is vereist.

Runs annuleren alles

Eindpunt	HTTP-methode
2.0/jobs/runs/cancel-all	POST

Alle actieve uitvoeringen van een taak annuleren. Omdat de uitvoering asynchroon wordt geannuleerd, voorkomt dat niet dat nieuwe uitvoeringen worden gestart.

Dit eindpunt controleert of de parameter job_id geldig is en voor ongeldige parameters wordt HTTP-statuscode 400 geretourneerd.

Voorbeeld

curl --netrc --request POST \
https://<databricks-instance>/api/2.0/jobs/runs/cancel-all \
--data '{ "job_id": <job-id> }'

Vervangen:

• <databricks-instance> met de naam van het Azure Databricks-werkruimte-exemplaar, bijvoorbeeld adb-1234567890123456.7.azuredatabricks.net.
• <job-id> met de id van de taak, bijvoorbeeld 123.

In dit voorbeeld wordt een .netrc-bestand gebruikt.

Aanvraagstructuur

Veldnaam	Soort	Beschrijving
job_id	INT64	De canonieke identificatie van de opdracht waarvoor alle runs geannuleerd moeten worden. Dit veld is vereist.

Uitvoeringen leveren uitvoer op

Eindpunt	HTTP-methode
2.0/jobs/runs/get-output	GET

Haal de uitvoer en metagegevens van één taakuitvoering op. Wanneer een notebooktaak een waarde retourneert via de aanroep dbutils.notebook.exit(), kunt u dit eindpunt gebruiken om die waarde op te halen. Azure Databricks beperkt deze API om de eerste 5 MB van de uitvoer te retourneren. Als u een groter resultaat wilt retourneren, kunt u taakresultaten opslaan in een cloudopslagservice.

Dit eindpunt controleert of de parameter run_id geldig is en voor ongeldige parameters wordt HTTP-statuscode 400 geretourneerd.

Sessies worden na 60 dagen automatisch verwijderd. Als u langer dan 60 dagen ernaar wilt verwijzen, moet u oude uitvoeringsresultaten opslaan voordat ze verlopen. Als u wilt exporteren met behulp van de gebruikersinterface, raadpleegt u de uitvoerresultaten van de exporttaak. Raadpleeg Runs exporteren om te exporteren met behulp van de Jobs API.

Voorbeeld

Aanvraag

curl --netrc --request GET \
'https://<databricks-instance>/api/2.0/jobs/runs/get-output?run_id=<run-id>' \
| jq .

Of:

curl --netrc --get \
https://<databricks-instance>/api/2.0/jobs/runs/get-output \
--data run_id=<run-id> \
| jq .

Vervangen:

• <databricks-instance> met de naam van het Azure Databricks-werkruimte-exemplaar, bijvoorbeeld adb-1234567890123456.7.azuredatabricks.net.
• <run-id> met de ID van de run, bijvoorbeeld 123.

In dit voorbeeld wordt een .netrc-bestand en jq gebruikt.

Antwoord

{
  "metadata": {
    "job_id": 1,
    "run_id": 452,
    "number_in_job": 5,
    "state": {
      "life_cycle_state": "TERMINATED",
      "result_state": "SUCCESS",
      "state_message": ""
    },
    "task": {
      "notebook_task": {
        "notebook_path": "/Users/someone@example.com/my-notebook"
      }
    },
    "cluster_spec": {
      "existing_cluster_id": "1201-my-cluster"
    },
    "cluster_instance": {
      "cluster_id": "1201-my-cluster",
      "spark_context_id": "1102398-spark-context-id"
    },
    "overriding_parameters": {
      "jar_params": ["param1", "param2"]
    },
    "start_time": 1457570074236,
    "setup_duration": 259754,
    "execution_duration": 3589020,
    "cleanup_duration": 31038,
    "run_duration": 3879812,
    "trigger": "PERIODIC"
  },
  "notebook_output": {
    "result": "the maybe truncated string passed to dbutils.notebook.exit()"
  }
}

Aanvraagstructuur

Veldnaam	Soort	Beschrijving
run_id	INT64	De canonieke identificator voor de run. Voor een baan met meerdere taken is dit de run_id uitvoering van een taak. Zie Runuitvoer bekijken. Dit veld is vereist.

Antwoordstructuur

Veldnaam	Soort	Beschrijving
notebook_output OF error	NotebookOutput OR STRING	Indien notebook_output, wordt de uitvoer van een notebooktaak weergegeven, indien beschikbaar. Een notebooktaak die wordt beëindigd (hetzij met succes, hetzij met een fout) zonder aanroep. dbutils.notebook.exit() wordt als een lege uitvoer beschouwd. Dit veld wordt ingesteld, maar de resultaatwaarde is leeg. Als er een fout optreedt, wordt een foutbericht weergegeven waarin wordt aangegeven waarom uitvoer niet beschikbaar is. Het bericht is ongestructureerd en de exacte indeling is onderhevig aan wijzigingen.
metadata	Rennen	Alle details van de uitvoering, behalve het resultaat.

Uitvoeringen verwijderen

Eindpunt	HTTP-methode
2.0/jobs/runs/delete	POST

Een niet-actieve run verwijderen. Geeft een foutmelding als de uitvoering actief is.

Voorbeeld

curl --netrc --request POST \
https://<databricks-instance>/api/2.0/jobs/runs/delete \
--data '{ "run_id": <run-id> }'

Vervangen:

• <databricks-instance> met de naam van het Azure Databricks-werkruimte-exemplaar, bijvoorbeeld adb-1234567890123456.7.azuredatabricks.net.
• <run-id> met de ID van de run, bijvoorbeeld 123.

In dit voorbeeld wordt een .netrc-bestand gebruikt.

Aanvraagstructuur

Veldnaam	Soort	Beschrijving
run_id	INT64	De canonieke id van de uitvoering waarvoor de metagegevens moeten worden opgehaald.

Gegevensstructuren

In deze sectie:

• ABFSSStorageInfo
• Automatisch schalen
• AzureAttributes
• AzureAvailability
• ClusterInstance
• ClusterLogConf
• ClusterSpec
• ClusterTag
• CronSchedule
• DbfsStorageInfo
• FileStorageInfo
• InitScriptInfo
• Functie
• Job E-mail Meldingen
• Vacaturemeldingsinstellingen
• JobSettings
• JobTask
• JobsHealthRule
• JobsHealthRules (Gezondheidsregels voor banen)
• Bibliotheek
• MavenLibrary
• NewCluster
• NotebookOutput
• NotebookTask
• ParamPair
• PipelineTask
• PythonPyPiLibrary
• RCranLibrary
• Rennen
• RunJobTask
• RunLifeCycleState
• RunParameters
• RunResultState
• RunState
• SparkConfPair
• SparkEnvPair
• SparkJarTask
• SparkPythonTask
• SparkSubmitTask
• TriggerType
• ViewItem
• ViewType
• WeergavenOmTeExporteren
• Webhook
• WebhookNotifications
• WorkspaceStorageInfo

ABFSSStorageInfo

Azure Data Lake Storage -opslaggegevens (ADLS).

Veldnaam	Soort	Beschrijving
destination	STRING	Bestandsbestemming. Voorbeeld: abfss://...

Automatisch schalen

Bereik dat het minimum- en maximumaantal clusterwerkers definieert.

Veldnaam	Soort	Beschrijving
min_workers	INT32	Het minimale aantal werknemers waarnaar het cluster kan omlaagschalen wanneer het ondergebruikt is. Het is ook het aanvankelijke aantal werknemers dat het cluster na de creatie heeft.
max_workers	INT32	Het maximum aantal werknemers waarna het cluster kan opschalen wanneer het overbelast is. max_workers moet strikt groter zijn dan min_workers.

AzureAttributes

Kenmerken die zijn ingesteld tijdens het maken van het cluster met betrekking tot Azure.

Veldnaam	Soort	Beschrijving
first_on_demand	INT32	De eerste first_on_demand knooppunten van het cluster worden op on-demand-instanties geplaatst. Deze waarde moet groter zijn dan 0, anders mislukt de validatie van het maken van clusters. Als deze waarde groter dan of gelijk aan de huidige clustergrootte is, worden alle knooppunten op on-demand-instances geplaatst. Als deze waarde kleiner is dan de huidige clustergrootte, worden first_on_demand knooppunten op on-demand-instanties geplaatst en de rest op beschikbaarheidsinstanties. Deze waarde heeft geen invloed op de clustergrootte en kan niet worden gedempt gedurende de levensduur van een cluster.
availability	AzureAvailability	Het beschikbaarheidstype dat wordt gebruikt voor alle volgende knooppunten voorbij de first_on_demand knooppunten.
spot_bid_max_price	DOUBLE	De maximale biedprijs die wordt gebruikt voor Azure Spot-instanties. U kunt dit instellen op groter dan of gelijk aan de huidige spotprijs. U kunt dit ook instellen op -1 (de standaardinstelling), waarmee wordt aangegeven dat het exemplaar niet kan worden verwijderd op basis van de prijs. De prijs voor het exemplaar is de huidige prijs voor spot-exemplaren of de prijs voor een standaardexemplaren. U kunt historische prijzen en verwijderingstarieven bekijken in Azure Portal.

AzureAvailability

Het gedrag van het Azure-instantiebeschikbaarheidstype.

Soort	Beschrijving
SPOT_AZURE	Gebruik spot-instances.
ON_DEMAND_AZURE	Gebruik on-demand instanties.
SPOT_WITH_FALLBACK_AZURE	Gebruik bij voorkeur spot-exemplaren, maar val terug op on-demand exemplaren als spot-exemplaren niet kunnen worden verkregen (bijvoorbeeld als de prijzen van Azure-spot te hoog of buiten het quotum vallen). Is niet van toepassing op de beschikbaarheid van de pool.

ClusterInstance

Id's voor het cluster en de Spark-context die door een uitvoering worden gebruikt. Deze twee waarden identificeren samen een uitvoeringscontext voor de hele tijd.

Veldnaam	Soort	Beschrijving
cluster_id	STRING	De canonieke identificator voor het cluster dat wordt gebruikt door een run. Dit veld is altijd beschikbaar voor uitvoeringen op bestaande clusters. Voor uitvoeringen op nieuwe clusters wordt deze beschikbaar zodra het cluster is gemaakt. Deze waarde kan worden gebruikt om logboeken weer te geven door naar /#setting/sparkui/$cluster_id/driver-logste bladeren. De logboeken blijven beschikbaar nadat de uitvoering is voltooid. Het antwoord bevat dit veld niet als de id nog niet beschikbaar is.
spark_context_id	STRING	De canonieke identificator voor de Spark-context die wordt gebruikt door een run. Dit veld wordt ingevuld zodra de uitvoering begint. Deze waarde kan worden gebruikt om de Spark-gebruikersinterface weer te geven door naar /#setting/sparkui/$cluster_id/$spark_context_idte bladeren. De Spark-gebruikersinterface blijft beschikbaar nadat de uitvoering is voltooid. Het antwoord bevat dit veld niet als de id nog niet beschikbaar is.

ClusterLogConf

Pad naar clusterlogbestand.

Veldnaam	Soort	Beschrijving
dbfs		DBFS-locatie van het clusterlogboek. De bestemming moet worden opgegeven. Bijvoorbeeld { "dbfs" : { "destination" : "dbfs:/home/cluster_log" } }

ClusterSpec

Veldnaam	Soort	Beschrijving
existing_cluster_id OF new_cluster	STRING OR NewCluster	Indien de existing_cluster_id aanwezig is, wordt het ID van een bestaand cluster gebruikt voor alle uitvoeringen van deze taak. Wanneer u taken uitvoert op een bestaand cluster, moet u het cluster mogelijk handmatig opnieuw opstarten als het niet meer reageert. We raden u aan taken uit te voeren op nieuwe clusters voor een grotere betrouwbaarheid. Bij een nieuwe cluster, een beschrijving van een cluster dat voor elke run wordt gemaakt. Als u een PipelineTask opgeeft, kan dit veld leeg zijn.
libraries	Een matrix van bibliotheek	Een optionele lijst met bibliotheken die moeten worden geïnstalleerd op het cluster waarmee de taak wordt uitgevoerd. De standaardwaarde is een lege lijst.

ClusterTag

Definitie van clustertag.

Soort	Beschrijving
STRING	De sleutel van de tag. De sleutel moet: Tussen 1 en 512 tekens lang zijn Bevat geen van de tekens <>%*&+?\\/ Niet beginnen met azure, microsoftof windows
STRING	De waarde van de tag. De lengte van de waarde moet kleiner zijn dan of gelijk zijn aan 256 UTF-8 tekens.

CronSchedule

Veldnaam	Soort	Beschrijving
quartz_cron_expression	STRING	Een Cron-expressie met behulp van kwartssyntaxis die het schema voor een taak beschrijft. Zie Cron-trigger voor meer informatie. Dit veld is vereist.
timezone_id	STRING	Een Java-tijdzone-id. De planning voor een opdracht wordt bepaald met betrekking tot deze tijdzone. Zie Java TimeZone- voor meer informatie. Dit veld is vereist.
pause_status	STRING	Geef aan of deze planning is onderbroken of niet. "GEPAUZEERD" of "NIET GEPAUZEERD".

DbfsStorageInfo

DBFS-opslaggegevens.

Veldnaam	Soort	Beschrijving
destination	STRING	DBFS-doel. Voorbeeld: dbfs:/my/path

FileStorageInfo

Bestandsopslaggegevens.

Veldnaam	Soort	Beschrijving
destination	STRING	Bestandsbestemming. Voorbeeld: file:/my/file.sh

InitScriptInfo

Pad naar een init-script.

Zie Een init-script gebruiken voor instructies over het gebruik van init-scripts met Databricks Container Services.

Veldnaam	Soort	Beschrijving
workspace OF dbfs (verouderd) OR abfss	WorkspaceStorageInfo DbfsStorageInfo (afgeschaft) ABFSSStorageInfo	Locatie van werkruimte van init-script. De bestemming moet worden opgegeven. Bijvoorbeeld: { "workspace" : { "destination" : "/Users/someone@domain.com/init_script.sh" } } (Verouderd) DBFS-locatie van het init-script. De bestemming moet worden opgegeven. Bijvoorbeeld: { "dbfs" : { "destination" : "dbfs:/home/init_script" } } Azure Data Lake Storage -locatie (ADLS) van init-script. De bestemming moet worden opgegeven. Bijvoorbeeld { "abfss": { "destination" : "abfss://..." } }

Baan

Veldnaam	Soort	Beschrijving
job_id	INT64	De canonieke identificator voor deze taak.
creator_user_name	STRING	De gebruikersnaam van de maker. Dit veld wordt niet opgenomen in het antwoord als de gebruiker al is verwijderd.
run_as	STRING	De gebruikersnaam waarmee de taak wordt uitgevoerd. run_as is gebaseerd op de huidige taakinstellingen en is ingesteld op de maker van de taak als taaktoegangsbeheer is uitgeschakeld of de is_owner machtiging als taaktoegangsbeheer is ingeschakeld.
settings	JobSettings	Instellingen voor deze taak en al zijn uitvoeringen. Deze instellingen kunnen worden bijgewerkt met behulp van de resetJob methode.
created_time	INT64	Het tijdstip waarop deze taak is aangemaakt in epoch milliseconden (milliseconden sinds 1-1-1970 UTC).

Job-e-mailmeldingen

Veldnaam	Soort	Beschrijving
on_start	Een matrix van STRING	Een lijst met e-mailadressen die moeten worden op de hoogte gebracht wanneer een run begint. Als de lijst niet is opgegeven bij het maken, opnieuw instellen of bijwerken van een taak, is de lijst leeg en worden er geen meldingen verzonden.
on_success	Een matrix van STRING	Een lijst met e-mailadressen die een melding ontvangen wanneer een taak succesvol is voltooid. Een run wordt succesvol geacht als deze eindigt met een TERMINATEDlife_cycle_state en een SUCCESSFULresult_state. Als de lijst niet is opgegeven bij het maken, opnieuw instellen of bijwerken van een taak, is de lijst leeg en worden er geen meldingen verzonden.
on_failure	Een matrix van STRING	Een lijst met e-mailadressen die moeten worden gewaarschuwd wanneer een proces niet succesvol is voltooid. Een run wordt als onsuccesvol beschouwd als hij eindigt met een INTERNAL_ERROR life_cycle_state of een SKIPPED, FAILEDof TIMED_OUT result_state. Als dit niet is opgegeven bij het maken, opnieuw instellen of bijwerken van de lijst, is de lijst leeg en worden er geen meldingen verzonden.
on_duration_warning_threshold_exceeded	Een matrix van STRING	Een lijst met e-mailadressen die moeten worden gewaarschuwd wanneer de duur van een run de drempel overschrijdt die is opgegeven voor de RUN_DURATION_SECONDS metriek in het health veld. Als er geen regel voor de RUN_DURATION_SECONDS metrische waarde is opgegeven in het health veld voor de taak, worden er geen meldingen verzonden.
no_alert_for_skipped_runs	BOOL	Indien waar, stuur dan geen e-mail naar geadresseerden die zijn opgegeven in on_failure als de uitvoering wordt overgeslagen.

Veldnaam	Soort	Beschrijving
on_start	Een matrix van webhook	Een optionele lijst met systeemlocaties die op de hoogte moeten worden gebracht wanneer een uitvoering begint. Als de lijst niet is opgegeven bij het maken, opnieuw instellen of bijwerken van een taak, is de lijst leeg en worden er geen meldingen verzonden. Er kunnen maximaal 3 bestemmingen worden opgegeven voor de on_start eigenschap.
on_success	Een matrix van webhook	Een optionele lijst met systeembestemmingen om te waarschuwen wanneer een run met succes voltooid is. Een uitvoering wordt beschouwd als voltooid als deze eindigt met een TERMINATEDlife_cycle_state en een SUCCESSFULresult_state. Als de lijst niet is opgegeven bij het maken, opnieuw instellen of bijwerken van een taak, is de lijst leeg en worden er geen meldingen verzonden. Er kunnen maximaal 3 bestemmingen worden opgegeven voor de on_success eigenschap.
on_failure	Een matrix van webhook	Een optionele lijst met systeembestemmingen die moeten worden gewaarschuwd wanneer een uitvoering niet succesvol is voltooid. Een run wordt als niet succesvol beschouwd als deze eindigt met een INTERNAL_ERROR life_cycle_state of een SKIPPED, FAILEDof TIMED_OUT result_state. Als dit niet is opgegeven bij het maken, opnieuw instellen of bijwerken van de lijst, is de lijst leeg en worden er geen meldingen verzonden. Er kunnen maximaal 3 bestemmingen worden opgegeven voor de on_failure eigenschap.
on_duration_warning_threshold_exceeded	Een matrix van webhook	Een optionele lijst met systeembestemmingen die moeten worden gewaarschuwd wanneer de duur van een uitvoering de drempelwaarde overschrijdt die is opgegeven voor de metriek RUN_DURATION_SECONDS in veld health. Er kunnen maximaal 3 bestemmingen worden opgegeven voor de on_duration_warning_threshold_exceeded eigenschap.

Jobnotificatie-instellingen

Veldnaam	Soort	Beschrijving
no_alert_for_skipped_runs	BOOL	Indien waar, verzendt u geen meldingen naar geadresseerden die zijn opgegeven in on_failure als de uitvoering wordt overgeslagen.
no_alert_for_canceled_runs	BOOL	Indien waar, verzendt u geen meldingen naar geadresseerden die zijn opgegeven in on_failure als de uitvoering is geannuleerd.
alert_on_last_attempt	BOOL	Indien waar, verzendt u geen meldingen naar geadresseerden die zijn opgegeven in on_start voor de nieuwe uitvoeringen en verzendt u geen meldingen naar geadresseerden die zijn opgegeven in on_failure tot de laatste poging van de uitvoering.

WerkInstellingen

Instellingen voor een taak. Deze instellingen kunnen worden bijgewerkt met behulp van de resetJob methode.

Veldnaam	Soort	Beschrijving
existing_cluster_id OF new_cluster	STRING OR NewCluster	Als de existing_cluster_id aanwezig is, wordt de ID van een bestaand cluster gebruikt voor alle runs van deze opdracht. Wanneer u taken uitvoert op een bestaand cluster, moet u het cluster mogelijk handmatig opnieuw opstarten als het niet meer reageert. We raden u aan taken uit te voeren op nieuwe clusters voor een grotere betrouwbaarheid. Bij een nieuwe cluster, een beschrijving van een cluster dat voor elke run wordt gemaakt. Als u een PipelineTask opgeeft, kan dit veld leeg zijn.
notebook_task OF spark_jar_task spark_python_task OF spark_submit_task pipeline_task OF run_job_task	NotebookTask OF SparkJarTask OF SparkPythonTask OF SparkSubmitTask OF PipelineTask OF RunJobTask	Als notebook_taak aangeeft, betekent dit dat deze taak een notebook moet uitvoeren. Dit veld kan niet worden opgegeven in combinatie met spark_jar_task. Als er sprake is van een spark_jar_task, geeft dat aan dat deze taak een JAR moet uitvoeren. Als spark_python_task, geeft u aan dat deze taak een Python-bestand moet uitvoeren. Wanneer spark_submit_task waar is, geeft dit aan dat deze taak moet worden gestart door het spark submit-script. Als pipeline_task, geeft u aan dat deze taak een DLT-pijplijn moet uitvoeren. Indien run_job_task, betekent dit dat deze taak een andere taak moet uitvoeren.
name	STRING	Een optionele naam voor de taak. De standaardwaarde is Untitled.
libraries	Een matrix van bibliotheek	Een optionele lijst met bibliotheken die moeten worden geïnstalleerd op het cluster waarmee de taak wordt uitgevoerd. De standaardwaarde is een lege lijst.
email_notifications	e-mailmeldingen van vacatures	Een optionele set e-mailadressen die worden gewaarschuwd wanneer de uitvoering van deze taak begint of is voltooid en wanneer deze taak wordt verwijderd. Het standaardgedrag is om geen e-mailberichten te verzenden.
webhook_notifications	WebhookNotifications	Een optionele set systeembestemmingen om te waarschuwen wanneer uitvoeringen van deze taak beginnen, voltooien of mislukken.
notification_settings	JobNotificationSettings	Optionele meldingsinstellingen die worden gebruikt bij het verzenden van meldingen naar elk van de email_notifications en webhook_notifications voor deze taak.
timeout_seconds	INT32	Er is een optionele time-out toegepast op elke uitvoering van deze taak. Het standaardgedrag is om geen time-out te hebben.
max_retries	INT32	Een optioneel maximum aantal keren om een mislukte uitvoering opnieuw uit te voeren. Een run wordt als onsuccesvol beschouwd als deze wordt voltooid met de FAILED result_state of INTERNAL_ERROR life_cycle_state. De waarde -1 betekent dat u het voor onbepaalde tijd opnieuw wilt proberen en de waarde 0 betekent dat u het nooit opnieuw wilt proberen. Het standaardgedrag is om het nooit opnieuw te proberen.
min_retry_interval_millis	INT32	Een optioneel minimaal interval in milliseconden tussen pogingen. Het standaardgedrag is dat mislukte uitvoeringen onmiddellijk opnieuw worden geprobeerd.
retry_on_timeout	BOOL	Een optioneel beleid om op te geven of een taak opnieuw moet worden uitgevoerd wanneer er een time-out optreedt. Het standaardgedrag is om het niet opnieuw te proberen bij time-out.
schedule	CronSchedule	Een optioneel periodiek schema voor deze taak. Het standaardgedrag is dat de taak alleen wordt uitgevoerd wanneer deze wordt geactiveerd door in de gebruikersinterface taken op Nu uitvoeren te klikken of een API-aanvraag naar te verzenden runNow.
max_concurrent_runs	INT32	Een optioneel maximaal toegestaan aantal gelijktijdige uitvoeringen van de taak. Stel deze waarde in als u meerdere uitvoeringen van dezelfde taak tegelijk wilt kunnen uitvoeren. Dit is bijvoorbeeld handig als u uw taak activeert volgens een frequent schema en opeenvolgende uitvoeringen wilt laten overlappen met elkaar, of als u meerdere uitvoeringen wilt activeren die verschillen per invoerparameters. Deze instelling beïnvloedt alleen nieuwe rondes. Stel dat de gelijktijdigheid van de taak 4 is en dat er 4 gelijktijdige actieve uitvoeringen zijn. Als u vervolgens de gelijktijdigheid instelt op 3, worden geen actieve uitvoeringen gedood. Vanaf dat moment worden echter nieuwe rondes overgeslagen, tenzij er minder dan 3 actieve rondes zijn. Deze waarde mag niet groter zijn dan 1000. Als u deze waarde instelt op 0, worden alle nieuwe uitvoeringen overgeslagen. Het standaardgedrag is om slechts 1 gelijktijdige uitvoering toe te staan.
health	JobsHealthRules (Gezondheidsregels voor banen)	Een optionele set gezondheidsregels die zijn gedefinieerd voor de taak.

Werktaak

Veldnaam	Soort	Beschrijving
notebook_task OF spark_jar_task spark_python_task OF spark_submit_task pipeline_task OF run_job_task	NotebookTask OF SparkJarTask OF SparkPythonTask OF SparkSubmitTask OF PipelineTask OF RunJobTask	Als notebook_taak aangeeft, betekent dit dat deze taak een notebook moet uitvoeren. Dit veld kan niet worden opgegeven in combinatie met spark_jar_task. Als er sprake is van een spark_jar_task, geeft dat aan dat deze taak een JAR moet uitvoeren. Als spark_python_task, geeft u aan dat deze taak een Python-bestand moet uitvoeren. In het geval van spark_submit_task, geeft u aan dat deze taak zou moeten worden gestart door het spark submit-script. Als pipeline_task, geeft u aan dat deze taak een DLT-pijplijn moet uitvoeren. Indien run_job_task, geeft dit aan dat deze taak een andere taak moet uitvoeren.

VacatureGezondheidsRegel

Veldnaam	Soort	Beschrijving
metric	STRING	Hiermee geeft u de gezondheidsmetriek op die wordt geëvalueerd voor een bepaalde gezondheidsregel. Geldige waarden zijn RUN_DURATION_SECONDS.
operator	STRING	Hiermee specificeert u de operator die wordt gebruikt om de gezondheidsmetriekswaarde te vergelijken tegen de gespecificeerde drempel. Geldige waarden zijn GREATER_THAN.
value	INT32	Hiermee geeft u de drempelwaarde op waaraan de gezondheidsmetriek moet voldoen om te voldoen aan de gezondheidsregel.

WerkGezondheidsRegels

Veldnaam	Soort	Beschrijving
rules	Een matrix van JobsHealthRule	Een optionele set gezondheidsregels die kunnen worden gedefinieerd voor een baan.

Bibliotheek

Veldnaam	Soort	Beschrijving
jar OF egg OF whl pypi OF maven OF cran	STRING OR STRING OR STRING OR PythonPyPiLibrary OR MavenLibrary OR RCranLibrary	Als het een jar is, de URI van het JAR-bestand dat geïnstalleerd moet worden. DBFS- en ADLS-URI's (abfssURI's) worden ondersteund. Bijvoorbeeld: { "jar": "dbfs:/mnt/databricks/library.jar" } of { "jar": "abfss://<container-path>/library.jar" }. Als ADLS wordt gebruikt, controleert u of het cluster leestoegang heeft tot de bibliotheek. Als ei, URI van het ei dat moet worden geïnstalleerd. DBFS- en ADLS-URI's worden ondersteund. Bijvoorbeeld: { "egg": "dbfs:/my/egg" } of { "egg": "abfss://<container-path>/egg" }. Als whl, de URI van de wheel of het gecomprimeerde wheels dat geïnstalleerd moet worden. DBFS- en ADLS-URI's worden ondersteund. Bijvoorbeeld: { "whl": "dbfs:/my/whl" } of { "whl": "abfss://<container-path>/whl" }. Als ADLS wordt gebruikt, controleert u of het cluster leestoegang heeft tot de bibliotheek. Ook moet de wheel bestandsnaam de juiste conventie gebruiken. Indien wheels gezipte bestanden moeten worden geïnstalleerd, moet het achtervoegsel van de bestandsnaam .wheelhouse.zip zijn. In het geval van pypi, specificatie van een PyPI-bibliotheek die moet worden geïnstalleerd. Het opgeven van het repo veld is optioneel en indien niet opgegeven, wordt de standaard pip-index gebruikt. Voorbeeld: { "package": "simplejson", "repo": "https://my-repo.com" } Bij gebruik van Maven, specificatie van een te installeren Maven-bibliotheek. Voorbeeld: { "coordinates": "org.jsoup:jsoup:1.7.2" } Indien cran, specificatie van een CRAN-bibliotheek die moet worden geïnstalleerd.

MavenLibrary

Veldnaam	Soort	Beschrijving
coordinates	STRING	Maven-coördinaten in Gradle-stijl. Voorbeeld: org.jsoup:jsoup:1.7.2. Dit veld is vereist.
repo	STRING	Maven-opslagplaats waaruit het Maven-pakket moet worden geïnstalleerd. Als u dit weglaat, worden zowel de Centrale Opslagplaats van Maven als spark-pakketten doorzocht.
exclusions	Een matrix van STRING	Lijst met afhankelijkheiden die moeten worden uitgesloten. Voorbeeld: ["slf4j:slf4j", "*:hadoop-client"]. Uitsluitingen voor Maven-afhankelijkheden: https://maven.apache.org/guides/introduction/introduction-to-optional-and-excludes-dependencies.html.

NewCluster

Veldnaam	Soort	Beschrijving
num_workers OF autoscale	INT32 OF AutoScale	Indien num_workers, aantal werkknooppunten dat deze cluster zou moeten hebben. Een cluster heeft één Spark-driver en num_workers executors voor een totaal van num_workers + 1 Spark-nodes. Opmerking: Wanneer je de eigenschappen van een cluster leest, weerspiegelt dit veld het gewenste aantal werknemers in plaats van het feitelijke aantal werknemers op dit moment. Als een cluster bijvoorbeeld wordt aangepast van 5 naar 10 werknemers, wordt dit veld onmiddellijk bijgewerkt om de doelgrootte van 10 werknemers weer te geven, terwijl de werknemers die in spark_info worden vermeld, geleidelijk van 5 tot 10 toenemen naarmate de nieuwe knooppunten worden toegevoegd. Als automatische schaalaanpassing is vereist, zijn parameters nodig om clusters automatisch omhoog en omlaag te schalen op basis van belasting.
spark_version	STRING	De Spark-versie van het cluster. Een lijst met beschikbare Spark-versies kan worden opgehaald met behulp van de GET 2.0/clusters/spark-versies aanroep. Dit veld is vereist.
spark_conf	SparkConfPair	Een object met een set optionele, door de gebruiker opgegeven Spark-configuratiesleutel-waardeparen. U kunt ook een reeks extra JVM-opties doorgeven aan het stuurprogramma en de uitvoerders via spark.driver.extraJavaOptions respectievelijk spark.executor.extraJavaOptions . Voorbeeld van Spark-confs: {"spark.speculation": true, "spark.streaming.ui.retainedBatches": 5} of {"spark.driver.extraJavaOptions": "-verbose:gc -XX:+PrintGCDetails"}
node_type_id	STRING	Dit veld codeert, via één waarde, de resources die beschikbaar zijn voor elk van de Spark-knooppunten in dit cluster. De Spark-knooppunten kunnen bijvoorbeeld worden ingericht en geoptimaliseerd voor geheugen- of rekenintensieve workloads. Een lijst met beschikbare knooppunttypen kan worden opgehaald met behulp van de GET 2.0/clusters/list-node-types aanroep. Dit veld, het instance_pool_id veld of een clusterbeleid dat een knooppunttype-id of exemplaargroep-id opgeeft, is vereist.
driver_node_type_id	STRING	Het knooppunttype van de Spark driver. Dit veld is optioneel; als het niet is ingesteld, wordt het type van het stuurknooppunt ingesteld op dezelfde waarde als node_type_id hierboven gedefinieerd.
custom_tags	ClusterTag	Een object met een set tags voor clusterbronnen. Databricks tagt alle clusterbronnen (zoals VM's) met deze tags naast default_tags. Opmerking: Tags worden niet ondersteund voor verouderde knooppunttypen, zoals geoptimaliseerd voor rekenkracht en geoptimaliseerd voor geheugen Databricks staat maximaal 45 aangepaste tags toe
cluster_log_conf	ClusterLogConf	De configuratie voor het leveren van Spark-logboeken aan een langetermijnopslagbestemming. Er kan slechts één doel worden opgegeven voor één cluster. Als de configuratie wordt opgegeven, worden de logbestanden elke 5 mins naar de bestemming bezorgd. Het doel van stuurprogrammalogboeken is <destination>/<cluster-id>/driver, terwijl de bestemming van uitvoerderslogboeken is <destination>/<cluster-id>/executor.
init_scripts	Een matrix van InitScriptInfo	De configuratie voor het opslaan van init-scripts. Er kan een willekeurig aantal scripts worden opgegeven. De scripts worden sequentieel uitgevoerd in de opgegeven volgorde. Als cluster_log_conf is opgegeven, worden init-scriptlogs verzonden naar <destination>/<cluster-id>/init_scripts.
spark_env_vars	SparkEnvPair	Een object met een set optionele, door de gebruiker opgegeven omgevingsvariabele sleutel-waardeparen. Sleutel-waardepaar in de vorm van (X,Y) worden geëxporteerd zoals ze zijn. export X='Y') tijdens het starten van de bestuurder en de werknemers. Als u een extra set SPARK_DAEMON_JAVA_OPTSwilt opgeven, raden we u aan deze toe te voegen aan $SPARK_DAEMON_JAVA_OPTS, zoals wordt weergegeven in het volgende voorbeeld. Dit zorgt ervoor dat ook alle standaard door Databricks beheerde omgevingsvariabelen worden opgenomen. Voorbeeld van Spark-omgevingsvariabelen: {"SPARK_WORKER_MEMORY": "28000m", "SPARK_LOCAL_DIRS": "/local_disk0"} of {"SPARK_DAEMON_JAVA_OPTS": "$SPARK_DAEMON_JAVA_OPTS -Dspark.shuffle.service.enabled=true"}
enable_elastic_disk	BOOL	Automatisch schalen van lokale opslag: wanneer deze functie is ingeschakeld, krijgt dit cluster dynamisch extra schijfruimte als de Spark workers weinig schijfruimte hebben. Raadpleeg Automatische schaalaanpassing van lokale opslag inschakelen voor meer informatie.
driver_instance_pool_id	STRING	De optionele ID van de instance pool om te gebruiken voor de driver node. U moet ook specificeren. Raadpleeg de Exemplaargroepen API voor meer informatie.
instance_pool_id	STRING	De optionele id van de instantiegroep die moet worden gebruikt voor clusterknooppunten. Als driver_instance_pool_id aanwezig is, instance_pool_id wordt alleen gebruikt voor worker nodes. Anders wordt deze zowel voor de drivernode als de werkknooppunten gebruikt. Raadpleeg de Exemplaargroepen API voor meer informatie.

NotebookOutput

Veldnaam	Soort	Beschrijving
result	STRING	De waarde die is doorgegeven aan dbutils.notebook.exit(). Azure Databricks beperkt deze API om de eerste 1 MB van de waarde te retourneren. Voor een groter resultaat kan uw taak de resultaten opslaan in een cloudopslagservice. Dit veld zal afwezig zijn als dbutils.notebook.exit() nooit is aangeroepen.
truncated	BOOLEAN	Of het resultaat wel of niet is ingekort.

NotebookTask

Alle uitvoercellen zijn onderworpen aan de grootte van 8 MB. Als de uitvoer van een cel een grotere grootte heeft, wordt de rest van de uitvoering geannuleerd en wordt de uitvoering gemarkeerd als mislukt. In dat geval ontbreekt mogelijk ook een deel van de inhoudsuitvoer van andere cellen.

Als u hulp nodig hebt bij het vinden van de cel die buiten de toegestane limiet valt, voert u het notebook uit op een algemeen bruikbare cluster en gebruikt u deze methode voor automatisch opslaan van notebooks.

Veldnaam	Soort	Beschrijving
notebook_path	STRING	Het absolute pad van het notebook dat moet worden uitgevoerd in de Azure Databricks-werkruimte. Dit pad moet beginnen met een slash. Dit veld is vereist.
revision_timestamp	LONG	De tijdstempel van de revisie van het notitieboek.
base_parameters	Een kaart van ParamPair	Basisparameters die moeten worden gebruikt voor elke uitvoering van deze taak. Als de uitvoering wordt gestart door een aanroep naar run-now met opgegeven parameters, worden de twee parametermaps samengevoegd. Als dezelfde sleutel is opgegeven in base_parameters en in run-now, wordt de waarde waaruit run-now wordt gebruikt. Gebruik Wat is een verwijzing naar dynamische waarden? om parameters in te stellen die informatie bevatten over taakuitvoeringen. Indien het notebook een parameter gebruikt die niet is opgegeven in de base_parameters-parameters van de taak of de run-now overschrijfparameters, wordt de standaardwaarde die in het notebook staat gebruikt. Haal deze parameters op in een notebook met behulp van dbutils.widgets.get.

ParamPair

Naamgebaseerde parameters voor taken met noteboekopdrachten.

Soort	Beschrijving
STRING	Parameternaam. Geef door aan dbutils.widgets.get om de waarde op te halen.
STRING	Parameterwaarde.

PipelineTask

Veldnaam	Soort	Beschrijving
pipeline_id	STRING	De volledige naam van de DLT-pijplijntaak die moet worden uitgevoerd.

PythonPyPiLibrary

Veldnaam	Soort	Beschrijving
package	STRING	De naam van het PyPI-pakket dat moet worden geïnstalleerd. Er wordt ook een optionele exacte versiespecificatie ondersteund. Voorbeelden: simplejson en simplejson==3.8.0. Dit veld is vereist.
repo	STRING	De opslagplaats waar het pakket kan worden gevonden. Als dit niet is opgegeven, wordt de standaard pip-index gebruikt.

RCranLibrary

Veldnaam	Soort	Beschrijving
package	STRING	De naam van het CRAN-pakket dat moet worden geïnstalleerd. Dit veld is vereist.
repo	STRING	De opslagplaats waar het pakket kan worden gevonden. Als dit niet is opgegeven, wordt de standaard CRAN-opslagplaats gebruikt.

Rennen

Alle gegevens over een run met uitzondering van de uitvoer. De uitvoer kan afzonderlijk worden opgehaald met de getRunOutput methode.

Veldnaam	Soort	Beschrijving
job_id	INT64	De canonieke identifier van de taak die deze run bevat.
run_id	INT64	De canonieke identificator van de run. Deze id is uniek voor alle uitvoeringen van alle taken.
creator_user_name	STRING	De gebruikersnaam van de maker. Dit veld wordt niet opgenomen in het antwoord als de gebruiker al is verwijderd.
number_in_job	INT64	Het volgnummer van deze uitvoering onder alle uitvoeringen van de taak. Deze waarde begint bij 1.
original_attempt_run_id	INT64	Als deze uitvoering een nieuwe poging is van een eerdere poging, bevat dit veld de run_id van de oorspronkelijke poging; anders is het hetzelfde als de run_id.
state	RunState	Het resultaat en de levenscyclusstatussen van de uitvoering.
schedule	CronSchedule	Het cron-schema dat deze uitvoering heeft geactiveerd, indien geactiveerd door de periodieke scheduler.
task	JobTask	De taak die wordt uitgevoerd door de run, indien van toepassing.
cluster_spec	ClusterSpec	Een momentopname van de clusterspecificatie van de taak op het moment dat deze run werd aangemaakt.
cluster_instance	ClusterInstance	Het cluster dat voor deze uitvoering wordt gebruikt. Als de uitvoering is ingesteld om een nieuw cluster te gebruiken, wordt dit veld ingesteld zodra de jobservice een cluster heeft aangevraagd voor de uitvoering.
overriding_parameters	RunParameters	De parameters die worden gebruikt voor deze uitvoering.
start_time	INT64	Het tijdstip waarop deze run is gestart, uitgedrukt in epoch-milliseconden (milliseconden sinds 1/1/1970 UTC). Dit is mogelijk niet het tijdstip waarop de taaktaak wordt uitgevoerd, bijvoorbeeld als de taak is gepland om te worden uitgevoerd op een nieuw cluster, dit is het tijdstip waarop de aanroep voor het maken van het cluster wordt uitgegeven.
setup_duration	INT64	De tijd die nodig was om het cluster in milliseconden in te stellen. Voor uitvoeringen die worden uitgevoerd op nieuwe clusters is dit de aanmaaktijd van het cluster, voor uitvoeringen die op bestaande clusters worden uitgevoerd, moet deze tijd erg kort zijn.
execution_duration	INT64	De tijd in milliseconden die nodig was om de programma's in het JAR of het notebook uit te voeren totdat ze zijn voltooid, zijn mislukt, een time-out hebben bereikt, zijn geannuleerd of een onverwachte fout hebben ondervonden.
cleanup_duration	INT64	De tijd in milliseconden die nodig was om het cluster te beëindigen en eventuele bijbehorende artefacten op te schonen. De totale duur van de run is de som van de setup_duration, de execution_duration en de cleanup_duration.
end_time	INT64	Het tijdstip waarop deze run eindigde in epoch-milliseconden (milliseconden sinds 1/1/1970 UTC). Dit veld wordt ingesteld op 0 als de taak nog steeds wordt uitgevoerd.
trigger	TriggerType	Het type trigger dat deze uitvoering heeft geactiveerd.
run_name	STRING	Een optionele naam voor de run. De standaardwaarde is Untitled. De maximale toegestane lengte is 4096 bytes in UTF-8-codering.
run_page_url	STRING	De URL naar de detailpagina van de run.
run_type	STRING	Het soort run. JOB_RUN : normale taakuitvoering. Een run aangemaakt met Nu uitvoeren. WORKFLOW_RUN - Werkstroom uitvoeren. Een run die is gemaakt met dbutils.notebook.run. SUBMIT_RUN - Run indienen. Een run aangemaakt met Nu uitvoeren.
attempt_number	INT32	Het volgnummer van deze runpoging voor een getriggerde taakrun. De eerste poging van een uitvoering heeft een pogingsnummer van 0. Als de eerste uitvoeringspoging mislukt en de taak een herhaalbeleid (max_retries> 0) heeft, worden volgende uitvoeringen gemaakt met het original_attempt_run_id van het oorspronkelijke poging-ID en een oplopend attempt_number. Uitvoeringen worden alleen opnieuw geprobeerd totdat ze slagen, en het maximum van attempt_number is hetzelfde als de max_retries waarde voor de taak.

RunJobTask

Veldnaam	Soort	Beschrijving
job_id	INT32	Unieke identificator van de taak die uitgevoerd moet worden. Dit veld is vereist.

RunLifeCycleState

De levenscyclusstatus van een run. Toegestane statusovergangen zijn:

• QUEUED ->PENDING
• PENDING- - - ->RUNNING>TERMINATING>TERMINATED
• PENDING ->SKIPPED
• PENDING ->INTERNAL_ERROR
• RUNNING ->INTERNAL_ERROR
• TERMINATING ->INTERNAL_ERROR

Staat	Beschrijving
QUEUED	De taak is gestart, maar staat in de wachtrij omdat deze een van de volgende limieten heeft bereikt: Het maximale aantal gelijktijdige actieve runs in de werkruimte. De maximale gelijktijdige Run Job taak wordt uitgevoerd in de werkruimte. De maximale gelijktijdige uitvoeringen van de taak. Voor de taak of de run moeten wachtrijen zijn ingeschakeld voordat deze status kan worden bereikt.
PENDING	De run is geactiveerd. Als het geconfigureerd maximumaantal gelijktijdige uitvoeringen van de taak al is bereikt, wordt onmiddellijk overgegaan naar de SKIPPED status zonder middelen voor te bereiden. Daarnaast zijn de voorbereiding van het cluster en de uitvoering in behandeling.
RUNNING	Deze taak wordt uitgevoerd.
TERMINATING	De taak van deze run is voltooid en de cluster- en uitvoeringscontext worden opgeschoond.
TERMINATED	De taak van deze uitvoering is voltooid en de cluster- en uitvoeringscontext zijn opgeschoond. Deze toestand is terminaal.
SKIPPED	Deze taakuitvoering is afgebroken omdat een eerdere uitvoering van dezelfde taak nog actief was. Deze toestand is terminaal.
INTERNAL_ERROR	Een uitzonderlijke toestand die aangeeft dat er een fout is opgetreden in de takenservice, zoals een netwerkuitval gedurende een lange periode. Als een taak op een nieuw cluster eindigt in de INTERNAL_ERROR status, beëindigt de Jobs-service het cluster zo snel mogelijk. Deze toestand is terminaal.

Uitvoeringsparameters

Parameters voor deze run. Er moet slechts één van jar_params of python_paramsnotebook_params worden opgegeven in de run-now aanvraag, afhankelijk van het type taaktaak. Taken met een Spark JAR-taak of een Python-taak nemen een lijst van positie-gebaseerde parameters, en taken met notebook-taken gebruiken een sleutel-waarde map.

Veldnaam	Soort	Beschrijving
jar_params	Een matrix van STRING	Een lijst met parameters voor taken met Spark JAR-taken, bijvoorbeeld "jar_params": ["john doe", "35"]. De parameters worden gebruikt om de hoofdfunctie van de hoofdklasse aan te roepen die is opgegeven in de Spark JAR-taak. Als deze niet is opgegeven bij run-now, wordt deze standaard ingesteld op een lege lijst. jar_params kan niet worden opgegeven in combinatie met notebook_params. De JSON-weergave van dit veld (d.w. {"jar_params":["john doe","35"]}) mag niet groter zijn dan 10.000 bytes. Gebruik Wat is een verwijzing naar dynamische waarden? om parameters in te stellen die informatie bevatten over taakuitvoeringen.
notebook_params	Een kaart van ParamPair	Een koppeling van sleutels naar waarden voor taken met een Notebook-opdracht, bijvoorbeeld "notebook_params": {"name": "john doe", "age": "35"}. De kaart wordt doorgegeven aan het notebook en is toegankelijk via de dbutils.widgets.get functie. Als deze niet is opgegeven bij run-now, gebruikt de geactiveerde uitvoering de basisparameters van de taak. notebook_params kan niet worden opgegeven in combinatie met jar_params. Gebruik Wat is een verwijzing naar dynamische waarden? om parameters in te stellen die informatie bevatten over taakuitvoeringen. De JSON-weergave van dit veld (d.w {"notebook_params":{"name":"john doe","age":"35"}}) mag niet groter zijn dan 10.000 bytes.
python_params	Een matrix van STRING	Een lijst met parameters voor taken met Python-taken, bijvoorbeeld "python_params": ["john doe", "35"]. De parameters worden als opdrachtregelparameters doorgegeven aan het Python-bestand. Als dit is opgegeven bij run-now, worden de parameters die zijn opgegeven in de taakinstelling overschreven. De JSON-weergave van dit veld (d.w. {"python_params":["john doe","35"]}) mag niet groter zijn dan 10.000 bytes. Gebruik Wat is een verwijzing naar dynamische waarden? om parameters in te stellen die informatie bevatten over taakuitvoeringen. Deze parameters accepteren alleen Latijnse tekens (ASCII-tekenset). Bij het gebruik van niet-ASCII-tekens zal er een fout optreden. Voorbeelden van ongeldige, niet-ASCII-tekens zijn Chinese, Japanse kanji's en emoji's.
spark_submit_params	Een matrix van STRING	Een lijst met parameters voor taken met spark submit-taak, bijvoorbeeld "spark_submit_params": ["--class", "org.apache.spark.examples.SparkPi"]. De parameters worden doorgegeven aan spark-submit-script als opdrachtregelparameters. Als dit is opgegeven bij run-now, worden de parameters die zijn opgegeven in de taakinstelling overschreven. De JSON-weergave van dit veld (d.w. {"python_params":["john doe","35"]}) mag niet groter zijn dan 10.000 bytes. Gebruik Wat is een verwijzing naar dynamische waarden? om parameters in te stellen die informatie bevatten over taakuitvoeringen. Deze parameters accepteren alleen Latijnse tekens (ASCII-tekenset). Als u niet-ASCII-tekens gebruikt, wordt een fout gegenereerd. Voorbeelden van ongeldige, niet-ASCII-tekens zijn Chinese, Japanse kanji's en emoji's.

UitvoerResultaatStatus

De resultaatstatus van de uitvoering.

• Als life_cycle_state = TERMINATED: als de uitvoering een taak had, is het resultaat gegarandeerd beschikbaar en geeft het de uitkomst van de taak aan.
• Als life_cycle_state, = , PENDING, RUNNING of SKIPPED van toepassing is, is de status van het resultaat niet beschikbaar.
• Als life_cycle_state = TERMINATING of lifecyclestate = INTERNAL_ERROR: de resultaatstatus is beschikbaar als de uitvoering een taak had en deze kon starten.

Zodra deze beschikbaar is, wordt de resultaatstatus nooit gewijzigd.

Staat	Beschrijving
SUCCESS	De taak is voltooid.
FAILED	De taak is voltooid met een fout.
TIMEDOUT	De run is gestopt nadat de time-out werd bereikt.
CANCELED	De uitvoering is geannuleerd op verzoek van de gebruiker.

RunState

Veldnaam	Soort	Beschrijving
life_cycle_state	RunLifeCycleState	Een beschrijving van de huidige locatie van een run in de levenscyclus van de run. Dit veld is altijd beschikbaar in het antwoord.
result_state	RunResultState	De resultaatstatus van een run. Als deze niet beschikbaar is, bevat het antwoord dit veld niet. Zie RunResultState voor meer informatie over de beschikbaarheid van result_state.
user_cancelled_or_timedout	BOOLEAN	Of een uitvoering handmatig is geannuleerd door een gebruiker of door de planner doordat er een time-out was voor de uitvoering.
state_message	STRING	Een beschrijvend bericht voor de huidige status. Dit veld is ongestructureerd en de exacte indeling is onderhevig aan wijzigingen.

SparkConfPair

Sleutel-waardeparen voor Spark-configuratie.

Soort	Beschrijving
STRING	De naam van een configuratie-eigenschap.
STRING	De waarde van de configuratie-eigenschap.

SparkEnvPair

Sleutel-waardeparen van Spark-omgevingsvariabelen.

Soort	Beschrijving
STRING	De naam van een omgevingsvariabele.
STRING	De waarde van de omgevingsvariabele.

SparkJarTask

Veldnaam	Soort	Beschrijving
jar_uri	STRING	Verouderd sinds april 2016. Geef in plaats daarvan een jar via het libraries veld op. Zie Maken voor een voorbeeld.
main_class_name	STRING	De volledige naam van de klasse die de hoofdmethode bevat die moet worden uitgevoerd. Deze klasse moet zijn opgenomen in een JAR die als bibliotheek wordt geleverd. De code moet worden gebruikt SparkContext.getOrCreate om een Spark-context te verkrijgen. Anders mislukken uitvoeringen van de taak.
parameters	Een matrix van STRING	Parameters doorgegeven aan de hoofdmethode. Gebruik Wat is een verwijzing naar dynamische waarden? om parameters in te stellen die informatie bevatten over taakuitvoeringen.

SparkPythonTask

Veldnaam	Soort	Beschrijving
python_file	STRING	De URI van het Python-bestand dat moet worden uitgevoerd. DBFS-paden worden ondersteund. Dit veld is vereist.
parameters	Een matrix van STRING	Opdrachtregelparameters doorgegeven aan het Python-bestand. Gebruik Wat is een verwijzing naar dynamische waarden? om parameters in te stellen die informatie bevatten over taakuitvoeringen.

SparkSubmitTask

Als de JAR bijvoorbeeld wordt geüpload naar DBFS, kunt u SparkPi uitvoeren door de volgende parameters in te stellen.

{
  "parameters": ["--class", "org.apache.spark.examples.SparkPi", "dbfs:/path/to/examples.jar", "10"]
}

Veldnaam	Soort	Beschrijving
parameters	Een matrix van STRING	Opdrachtregelparameters die zijn doorgegeven aan spark submit. Gebruik Wat is een verwijzing naar dynamische waarden? om parameters in te stellen die informatie bevatten over taakuitvoeringen.

Triggertype

Dit zijn de typen triggers die een taak kunnen activeren.

Soort	Beschrijving
PERIODIC	Schema's die periodiek uitvoeringen activeren, zoals een cron-planner.
ONE_TIME	Eenmalige triggers die slechts één keer worden uitgevoerd. Dit gebeurt doordat u één uitvoering op aanvraag hebt geactiveerd via de gebruikersinterface of de API.
RETRY	Geeft een uitvoering aan die wordt geactiveerd als een nieuwe poging van een eerder mislukte uitvoering. Dit gebeurt wanneer u aanvraagt om de taak opnieuw uit te voeren in geval van fouten.

Bekijk Item

De geëxporteerde inhoud heeft een HTML-indeling. Als de weergave die u wilt exporteren bijvoorbeeld dashboards is, wordt er één HTML-tekenreeks geretourneerd voor elk dashboard.

Veldnaam	Soort	Beschrijving
content	STRING	Inhoud van de weergave.
name	STRING	Naam van het weergave-item. In het geval van codeweergave, de naam van het notitieblok. Bij dashboardweergave: de naam van het dashboard.
type	ViewType	Type van het weergave-item.

ViewType

Soort	Beschrijving
NOTEBOOK	Item in notitieboekweergave.
DASHBOARD	Dashboardweergave onderdeel.

WeergavenOmTeExporteren

Keuze voor export: code, alle dashboards of alles.

Soort	Beschrijving
CODE	Codeweergave van het notitieboek.
DASHBOARDS	Alle dashboardweergaven van het notitieblok.
ALL	Alle weergaven van het notitieboek.

Webhook

Veldnaam	Soort	Beschrijving
id	STRING	Id die verwijst naar een doel voor systeemmeldingen. Dit veld is vereist.

Webhookmeldingen

Veldnaam	Soort	Beschrijving
on_start	Een matrix van webhook	Een optionele lijst met systeemlocaties die op de hoogte moeten worden gebracht wanneer een uitvoering begint. Als de lijst niet is opgegeven bij het maken, opnieuw instellen of bijwerken van een taak, is de lijst leeg en worden er geen meldingen verzonden. Er kunnen maximaal 3 bestemmingen worden opgegeven voor de on_start eigenschap.
on_success	Een matrix van webhook	Een optionele lijst met systeembestemmingen om te waarschuwen wanneer een run met succes voltooid is. Een uitvoering wordt als succesvol beschouwd als deze eindigt met een TERMINATEDlife_cycle_state en een SUCCESSFULresult_state. Als de lijst niet is opgegeven bij het maken, opnieuw instellen of bijwerken van een taak, is de lijst leeg en worden er geen meldingen verzonden. Er kunnen maximaal 3 bestemmingen worden opgegeven voor de on_success eigenschap.
on_failure	Een matrix van webhook	Een optionele lijst met systeembestemmingen die moeten worden gewaarschuwd wanneer een uitvoering niet succesvol is voltooid. Een run wordt als niet succesvol beschouwd als deze eindigt met een INTERNAL_ERROR life_cycle_state of een SKIPPED, FAILEDof TIMED_OUTresult_state. Als dit niet is opgegeven bij het maken, opnieuw instellen of bijwerken van de lijst, is de lijst leeg en worden er geen meldingen verzonden. Er kunnen maximaal 3 bestemmingen worden opgegeven voor de on_failure eigenschap.
on_duration_warning_threshold_exceeded	Een matrix van webhook	Een optionele lijst met systeembestemmingen die moeten worden gewaarschuwd wanneer de duur van een uitvoering de drempelwaarde overschrijdt die is opgegeven voor de metriek RUN_DURATION_SECONDS in veld health. Er kunnen maximaal 3 bestemmingen worden opgegeven voor de on_duration_warning_threshold_exceeded eigenschap.

WerkruimteOpslagInfo

Opslaggegevens voor werkruimten.

Veldnaam	Soort	Beschrijving
destination	STRING	Bestandsbestemming. Voorbeeld: /Users/someone@domain.com/init_script.sh