Megosztás a következőn keresztül:

Adatok és gépi tanulási folyamatok létrehozása és üzembe helyezése a Flyte használatával az Azure Kubernetes Service-ben (AKS)

  • Cikk

Ez a cikk bemutatja, hogyan használhatja a Flyte-et az Azure Kubernetes Service-ben (AKS). A Flyte egy nyílt forráskódú munkafolyamat-vezénylő, amely egyesíti a gépi tanulást, az adatelemzést és az adatelemzési vermet, így robusztus és megbízható alkalmazásokat hozhat létre. Ha a Flyte-t Kubernetes-natív munkafolyamat-automatizálási eszközként használja, a kísérletezésre és az üzleti érték biztosítására összpontosíthat anélkül, hogy növelte a hatókörét az infrastruktúrára és az erőforrás-kezelésre. Ne feledje, hogy a Flyte-et a Microsoft hivatalosan nem támogatja, ezért saját belátása szerint használja.

További információ: Bevezetés a Flyte használatába.

Fontos

A nyílt forráskódú szoftverek az AKS dokumentációjában és mintáiban szerepelnek. Az üzembe helyezhető szoftverek nem tartoznak az AKS szolgáltatásiszint-szerződéseibe, a korlátozott jótállásba és a Azure-támogatás. Mivel nyílt forráskódú technológiát használ az AKS mellett, tekintse meg a megfelelő közösségek és projektfenntartók által rendelkezésre álló támogatási lehetőségeket a terv kidolgozásához.

A Ray GitHub-adattár például több platformot ír le, amelyek a válaszidő, a cél és a támogatási szint függvényében változnak.

A Microsoft felelősséget vállal az AKS-en üzembe helyezhető nyílt forráskódú csomagok elkészítéséért. Ez a felelősség magában foglalja a buildelési, vizsgálati, aláírási, érvényesítési és gyorsjavítási folyamat teljes tulajdonjogát, valamint a tárolólemezképek bináris fájljainak vezérlését. További információ: Az AKS és az AKS biztonságirés-kezelésének támogatása.

Flyte használati esetek

A flyte számos felhasználási esetben használható, például:

  • Modelleket kínál az egyszerűsített nyereség- és veszteségszámításhoz.
  • Petabájtnyi adat feldolgozása az új területek 3D leképezésének hatékony elvégzéséhez.
  • Gyorsan visszaállíthatja a korábbi verziókat, és minimalizálhatja a folyamatok hibáinak hatását.

További információ: Core Flyte használati esetek.

Előfeltételek

  • Azure-előfizetés. Ha nem rendelkezik Azure-előfizetéssel, létrehozhat egy ingyenes fiókot.
    • Ha több előfizetéssel rendelkezik, a parancs használatával győződjön meg arról, hogy a megfelelőt választja az account set --subscription <subscription-id> ki.
  • A telepített és konfigurált Azure CLI. Ellenőrizze a verziót a az --version parancs használatával. Ha telepíteni vagy frissíteni szeretne, olvassa el az Azure CLI telepítését ismertető cikket.
  • Telepítette és frissítette a Helm CLI-t. Ellenőrizze a verziót a helm version parancs használatával. Ha telepítenie vagy frissítenie kell, olvassa el a Helm telepítése című témakört.
  • A parancssori kubectl felület telepítve és frissítve van. Telepítse helyileg a parancs vagy a az aks install-cli Kubectl telepítése paranccsal.
  • Helyi Docker-fejlesztési környezet. További információ: Docker lekérése.
  • flytekit és flytectl telepítve van. További információt a Flyte telepítésével kapcsolatban talál.

Feljegyzés

Ha az Azure Cloud Shellt használja, az Azure CLI, a Helm és a kubectl már telepítve van.

Környezeti változók beállítása

  • A cikk során használható környezeti változók beállítása. Cserélje le a helyőrző értékeket a saját értékeire.

    export RESOURCE_GROUP="<resource-group-name>"
export LOCATION="<location>"
export CLUSTER_NAME="<cluster-name>"
export DNS_NAME_PREFIX="<dns-name-prefix>"

AKS-fürt létrehozása

  1. Hozzon létre egy Azure-erőforráscsoportot az AKS-fürthöz a az group create paranccsal.

    az group create --name $RESOURCE_GROUP --location $LOCATION

  2. Hozzon létre egy AKS-fürtöt a az aks create , --enable-managed-identity, --enable-aadés --dns-name-prefix paraméterekkel rendelkező --enable-azure-rbacparanccsal.

    az aks create --resource-group $RESOURCE_GROUP --name $CLUSTER_NAME --enable-azure-rbac --enable-managed-identity --enable-aad --dns-name-prefix $DNS_NAME_PREFIX  --generate-ssh-keys

Csatlakozás az AKS-fürthöz

  • Konfigurálja kubectl az AKS-fürthöz való csatlakozást a az aks get-credentials paranccsal.

    az aks get-credentials --resource-group $RESOURCE_GROUP --name $CLUSTER_NAME

A Flyte Helm-adattár hozzáadása

  • Adja hozzá a Flyte Helm-adattárat a helm repo add paranccsal.

    helm repo add flyteorg https://flyteorg.github.io/flyte

Flyte Helm-diagramok keresése

  1. Keresse meg a Flyte Helm-diagramokat a helm search repo paranccsal.

    helm search repo flyteorg

    Az alábbi példakimenet néhány elérhető Flyte Helm-diagramot mutat be:

    NAME                    CHART VERSION   APP VERSION     DESCRIPTION
flyteorg/flyte          v1.12.0                         A Helm chart for Flyte Sandbox
flyteorg/flyte-binary   v1.12.0         1.16.0          Chart for basic single Flyte executable deployment
flyteorg/flyte-core     v1.12.0                         A Helm chart for Flyte core
flyteorg/flyte-deps     v1.12.0                         A Helm chart for Flyte dependencies
flyteorg/flyte-sandbox  0.1.0           1.16.1          A Helm chart for the Flyte local sandbox
flyteorg/flyteagent     v0.1.10                         A Helm chart for Flyte Agent

  2. Frissítse az adattárat a helm repo update paranccsal.

    helm repo update

Flyte-diagram üzembe helyezése az AKS-ben

Ebben a szakaszban üzembe helyezi a flyte-bináris Helm-diagramot, hogy megkezdhesse az adatok és a gépi tanulási folyamatok kiépítését és üzembe helyezését a Flyte-kel az AKS-en. A flyte-bináris diagram egy egyszerű flyte végrehajtható üzembe helyezés.

  1. Hozzon létre egy névteret a Flyte-telepítéshez a kubectl create namespace paranccsal.

    kubectl create namespace <namespace-name>

  2. Telepítse a Flyte Helm-diagramot a helm install paranccsal. Ebben a példában a diagramot flyte-binary használjuk.

    helm install flyte-binary flyteorg/flyte-core --namespace <namespace-name>

  3. Ellenőrizze, hogy a Flyte-példány fut-e a kubectl get services paranccsal.

    kubectl get services --namespace <namespace-name> --output wide

    Az alábbi sűrített példakimenet a Flyte üzembe helyezését mutatja be:

    NAME                            TYPE           CLUSTER-IP     EXTERNAL-IP     PORT(S)          AGE
flyteorg-flyte-binary-grpc      ClusterIP      xx.x.xx.xxx    <none>          81/TCP           1m
flyteorg-flyte-binary-http      ClusterIP      xx.x.xx.xxx    <none>          80/TCP           1m
flyteorg-flyte-binary-webhook   ClusterIP      xx.x.xx.xxx    <none>          80/TCP           1m

Következő lépések

Ebben a cikkben megtanulta, hogyan telepítheti a Flyte-et az AKS-en Helm-diagram használatával. A Flyte-projekt egy referencia-implementációt is tart fenn az AKS-hez , amely automatikusan konfigurálja az összes függőséget, és üzembe helyez egy éles üzemű Flyte-fürtöt.

Az adatok és a gépi tanulási folyamatok létrehozásának és üzembe helyezésének megkezdéséhez tekintse meg az alábbi cikkeket: