Külső modellek a Mozaik AI-modell szolgáltatásban

Ez a cikk a Mozaik AI-modellkiszolgáló külső modelljeit ismerteti, beleértve a támogatott modellszolgáltatókat és korlátozásokat.

Mik azok a külső modellek?

A külső modellek a Databricksen kívül üzemeltetett külső modellek. A Model Serving által támogatott külső modellek lehetővé teszik a különböző nagy nyelvi modellek (LLM) szolgáltatók, például az OpenAI és az antropikus használatának és felügyeletének egyszerűsítését egy szervezeten belül. A Mozaik AI-modell szolgáltatóként is használható egyéni modellek kiszolgálására, amelyek sebességkorlátokat kínálnak ezekre a végpontokra. Ennek a támogatásnak a részeként a Modellszolgáltatás egy magas szintű felületet kínál, amely leegyszerűsíti a szolgáltatásokkal való interakciót azáltal, hogy egységes végpontot biztosít az adott LLM-hez kapcsolódó kérések kezeléséhez.

Emellett a külső modellek Azure Databricks-támogatása központosított hitelesítő adatok kezelését is biztosítja. Az API-kulcsok biztonságos helyen való tárolásával a szervezetek növelhetik a biztonsági helyzetüket azáltal, hogy minimalizálják a rendszer bizalmas API-kulcsainak kitettségét. Emellett segít megelőzni ezeknek a kulcsoknak a kódban való felfedését, vagy azt, hogy a végfelhasználók biztonságosan kezeljék a kulcsokat.

Tekintse meg az oktatóanyagot: Külső modellvégpontok létrehozása OpenAI-modellek lekérdezéséhez részletes útmutatást nyújt a külső modellvégpontok létrehozásához és a végpontok által az MLflow Deployments SDK használatával kiszolgált támogatott modellek lekérdezéséhez. A kiszolgáló felhasználói felület és a REST API használatára vonatkozó útmutatásért tekintse meg az alábbi útmutatókat:

• Végpontokat kiszolgáló egyéni modell létrehozása
• Lekérdezés alapmodelljei

Követelmények

• A modellszolgáltató API-kulcs- vagy hitelesítési mezői.
• A Databricks-munkaterület a külső modellek által támogatott régiókban.

modellszolgáltatók

A Modellkiszolgáló külső modelljei számos modellszolgáltatót támogatnak. A szolgáltató képviseli a gépi tanulási modellek forrását, például az OpenAI-t, az antropikust stb. Minden szolgáltató rendelkezik a külső modell végpontkonfigurációjának external_modelmezőjébe ágyazott sajátos tulajdonságokkal és konfigurációkkal.

A következő szolgáltatók támogatottak:

• openai: Az OpenAI által kínált modellekhez, valamint az Azure OpenAI integrációkhoz és az Azure OpenAI-hez AAD-vel.
• antropikus: Az antropikus által kínált modellekhez.
• cohere: A Cohere által kínált modellekhez.
• amazon-bedrock: Az Amazon Bedrock által kínált modellekhez.
• google-cloud-vertex-ai: A modellekhez, amelyeket a Google Cloud Vertex AI kínál.
• databricks-model-service: A Mozaik AI-modellhez kompatibilis sémákkal rendelkező végpontok kiszolgálása. Lásd: Végpontkonfiguráció.
• egyéni: Az OpenAI API-kompatibilis, de a Databricks által közvetlenül nem támogatott egyéni proxyk mögötti alternatív szolgáltatók vagy modellek esetében.

Ha az itt nem szereplő szolgáltatóhoz szeretne támogatást kérni, próbálkozzon az egyéni szolgáltatói lehetőséggel, vagy forduljon a Databricks-fiók csapatához.

Támogatott modellek

A választott modell közvetlenül befolyásolja az API-hívásokból kapott válaszok eredményeit. Ezért válasszon egy olyan modellt, amely megfelel a használati eset követelményeinek. A beszélgetési válaszok létrehozásához például kiválaszthatja a csevegési modellt. Ezzel szemben a szövegbeágyazások létrehozásához kiválaszthatja a beágyazási modellt.

Lásd a támogatott modelleket.

Mozaik AI-modell-kiszolgáló végpontokon kiszolgált modellek használata

Mosaic AI modell kiszolgálási végpontok támogatottak szolgáltatóként a llm/v1/completions, llm/v1/chat, és llm/v1/embeddings végponttípusok esetében. Ezeknek a végpontoknak el kell fogadniuk a kötelezőként megjelölt szabványos lekérdezési paramétereket, míg más paraméterek figyelmen kívül hagyhatók attól függően, hogy a Mozaik AI-modellszolgáltatás végpontja támogatja-e őket.

Lásd POST /serving-endpoints/{name}/invocations a szabványos lekérdezési paraméterek API-referenciajában.

Ezeknek a végpontoknak a következő OpenAI formátumban kell válaszokat előállítaniuk.

Befejezési feladatok esetén:

{
"id": "123", # Not Required
"model": "test_databricks_model",
"choices": [
  {
    "text": "Hello World!",
    "index": 0,
    "logprobs": null, # Not Required
    "finish_reason": "length" # Not Required
  }
],
"usage": {
  "prompt_tokens": 8,
  "total_tokens": 8
  }
}

Csevegési feladatok esetén:

{
  "id": "123", # Not Required
  "model": "test_chat_model",
  "choices": [{
    "index": 0,
    "message": {
      "role": "assistant",
      "content": "\n\nHello there, how may I assist you today?",
    },
    "finish_reason": "stop"
  },
  {
    "index": 1,
    "message": {
      "role": "human",
      "content": "\n\nWhat is the weather in San Francisco?",
    },
    "finish_reason": "stop"
  }],
  "usage": {
    "prompt_tokens": 8,
    "total_tokens": 8
  }
}

Beágyazási feladatok esetén:

{
  "data": [
    {
      "embedding": [
        1.0023064255,
        -0.009327292,
        .... # (1536 floats total for ada-002)
        -0.0028842222,
      ],
      "index": 0
    },
    {
      "embedding": [
        1.0023064255,
        -0.009327292,
        .... #(1536 floats total for ada-002)
        -0.0028842222,
      ],
      "index": 0
    }
  ],
  "model": "test_embedding_model",
  "usage": {
    "prompt_tokens": 8,
    "total_tokens": 8
  }
}

Végpontkonfiguráció

Külső modellek kiszolgálásához és lekérdezéséhez konfigurálnia kell egy kiszolgálóvégpontot. Lásd: Végpontot kiszolgáló külső modell létrehozása

Végpontot kiszolgáló külső modell esetében a végpontkonfiguráció external_model szakaszában meg kell adnia a served_entities mezőt és annak paramétereit. Ha több külső modellt konfigurál egy kiszolgálóvégponton, meg kell adnia az traffic_config egyes külső modellek forgalomirányítási százalékos arányát.

A external_model mező határozza meg azt a modellt, amelyre a végpont továbbítja a kéréseket. A modell megadásakor kritikus fontosságú, hogy a szolgáltató támogatja a kért modellt. Például openai szolgáltatóként támogatja az olyan modelleket, mint a text-embedding-ada-002, más szolgáltatók azonban nem. Ha a modellt a szolgáltató nem támogatja, a Databricks HTTP 4xx-es hibát ad vissza a kérések adott modellhez való átirányításakor.

Az alábbi táblázat a external_model mezőparamétereket foglalja össze. A végpontkonfigurációs paraméterekről lásd POST /api/2.0/serving-endpoints.

Az alábbi példa egy külső modellvégpont API-val történő létrehozására create_endpoint() mutat be példát. Ebben a példában a rendszer a befejezési végpontnak küldött kérést továbbítja a claude-2 megadott modellnek anthropic.

import mlflow.deployments

client = mlflow.deployments.get_deploy_client("databricks")

client.create_endpoint(
    name="anthropic-completions-endpoint",
    config={
        "served_entities": [
            {
                "name": "test",
                "external_model": {
                    "name": "claude-2",
                    "provider": "anthropic",
                    "task": "llm/v1/completions",
                    "anthropic_config": {
                        "anthropic_api_key": "{{secrets/my_anthropic_secret_scope/anthropic_api_key}}"
                    }
                }
            }
        ]
    }
)

Végpont szolgáltatójának konfigurálása

Végpont létrehozásakor meg kell adnia a megadott modellszolgáltatóhoz szükséges konfigurációkat. Az alábbi szakaszok összefoglalják az egyes modellszolgáltatókhoz elérhető végpontkonfigurációs paramétereket.

OpenAI

Összetartani

Anthropic

Azure OpenAI

Az Azure OpenAI a közvetlen OpenAI szolgáltatáshoz képest eltérő funkciókkal rendelkezik. Áttekintésért tekintse meg az összehasonlító dokumentációt.

Ha az Azure OpenAI-t Microsoft Entra-azonosítóval használja, használja az alábbi paramétereket a végpontkonfigurációban. A Databricks a Microsoft Entra azonosító token alapértelmezett hatóköreként adja át https://cognitiveservices.azure.com/.

Az alábbi példa bemutatja, hogyan hozhat létre végpontot az Azure OpenAI-val:

client.create_endpoint(
    name="openai-chat-endpoint",
    config={
        "served_entities": [{
            "external_model": {
                "name": "gpt-3.5-turbo",
                "provider": "openai",
                "task": "llm/v1/chat",
                "openai_config": {
                    "openai_api_type": "azure",
                    "openai_api_key": "{{secrets/my_openai_secret_scope/openai_api_key}}",
                    "openai_api_base": "https://my-azure-openai-endpoint.openai.azure.com",
                    "openai_deployment_name": "my-gpt-35-turbo-deployment",
                    "openai_api_version": "2023-05-15"
                }
            }
        }]
    }
)

Google Cloud Vertex AI

Amazon Bedrock

Az Amazon Bedrock külső modellszolgáltatóként való használatához az ügyfeleknek meg kell győződni arról, hogy a Bedrock engedélyezve van a megadott AWS-régióban, és a megadott AWS-kulcspár megfelelő engedélyekkel rendelkezik a Bedrock-szolgáltatások használatához. További információ: AWS Identity and Access Management.

Az alábbi példa bemutatja, hogyan hozhat létre végpontot az Amazon Bedrock használatával hozzáférési kulcsok használatával.

client.create_endpoint(
    name="bedrock-anthropic-completions-endpoint",
    config={
        "served_entities": [
            {
                "external_model": {
                    "name": "claude-v2",
                    "provider": "amazon-bedrock",
                    "task": "llm/v1/completions",
                    "amazon_bedrock_config": {
                        "aws_region": "<YOUR_AWS_REGION>",
                        "aws_access_key_id": "{{secrets/my_amazon_bedrock_secret_scope/aws_access_key_id}}",
                        "aws_secret_access_key": "{{secrets/my_amazon_bedrock_secret_scope/aws_secret_access_key}}",
                        "bedrock_provider": "anthropic",
                    },
                }
            }
        ]
    },
)

Ha AWS-engedélyekkel kapcsolatos problémák merülnek fel, a Databricks azt ajánlja, hogy a hitelesítő adatokat közvetlenül a Amazon Bedrock APIellenőrizze.

AI21 Labs

Egyéni szolgáltató

Az alábbi példa bemutatja, hogyan hozhat létre végpontot egyéni szolgáltatóval bizományosi hitelesítéshasználatával.

client.create_endpoint(
    name="custom-provider-completions-endpoint",
    config={
        "served_entities": [
            {
                "external_model": {
                    "name": "custom-provider-model",
                    "provider": "custom",
                    "task": "llm/v1/chat",
                    "custom_provider_config": {
                        "custom_provider_url": "https://my-custom-provider.com",
                        "bearer_token_auth": {
                            "token": "{{secrets/my_custom_provider_secret_scope/custom_provider_token}}"
                        }
                    }
                }
            }
        ]
    },
)

Az alábbi példa bemutatja, hogyan hozhat létre végpontot egyedi szolgáltatóval a API-kulcshitelesítést használva:

client.create_endpoint(
    name="custom-provider-completions-endpoint",
    config={
        "served_entities": [
            {
                "external_model": {
                    "name": "custom-provider-model",
                    "provider": "custom",
                    "task": "llm/v1/chat",
                    "custom_provider_config": {
                        "custom_provider_url": "https://my-custom-provider.com",
                        "api_key_auth": {
                            "key": "X-API-KEY",
                            "value": "{{secrets/my_custom_provider_secret_scope/custom_provider_api_key}}"
                        }
                    }
                }
            }
        ]
    },
)

AI-átjáró konfigurálása egy végponton

A végpontot úgy is konfigurálhatja, hogy engedélyezze a Mozaik AI-átjáró funkcióit, például a sebességkorlátozást, a használatkövetést és a védőkorlátokat.

Lásd: AI átjáró konfigurálása a modellkiszolgáló végpontokon.

Külső modellvégpont lekérdezése

Miután létrehozott egy külső modellvégpontot, készen áll a felhasználóktól érkező forgalom fogadására.

Pontozási kéréseket küldhet a végpontnak az OpenAI-ügyfél, a REST API vagy az MLflow Deployments SDK használatával.

• Az POST /serving-endpoints/{name}/invocationspontozási kérelmek szabványos lekérdezési paramétereit tekintheti meg.
• Lekérdezés alapmodelljei

Az alábbi példa lekérdezi az claude-2 Anthropic által üzemeltetett befejezési modellt az OpenAI-ügyfél használatával. Az OpenAI-ügyfél használatához töltse ki a model mezőt a lekérdezni kívánt modellt futtató végpontot kiszolgáló modell nevével.

Ez a példa egy korábban létrehozott végpontot használ, anthropic-completions-endpointamely az antropikus modellszolgáltatótól származó külső modellek eléréséhez van konfigurálva. Tekintse meg, hogyan hozhat létre külső modellvégpontokat.

Lásd a támogatott modelleket a további lekérdezhető modellek és szolgáltatóik megtekintéséhez.

import os
import openai
from openai import OpenAI

client = OpenAI(
    api_key="dapi-your-databricks-token",
    base_url="https://example.staging.cloud.databricks.com/serving-endpoints"
)

completion = client.completions.create(
  model="anthropic-completions-endpoint",
  prompt="what is databricks",
  temperature=1.0
)
print(completion)

Várt kimeneti válaszformátum:

{
"id": "123", # Not Required
"model": "anthropic-completions-endpoint",
"choices": [
  {
    "text": "Hello World!",
    "index": 0,
    "logprobs": null, # Not Required
    "finish_reason": "length" # Not Required
  }
],
"usage": {
  "prompt_tokens": 8,
  "total_tokens": 8
  }
}

További lekérdezési paraméterek

A lekérdezés részeként átadhat minden további paramétert, amelyet a végpont szolgáltatója támogat.

Példa:

• logit_bias (az OpenAI és a Cohere támogatja).
• top_k (az Anthropic, Cohere támogatásával).
• frequency_penalty (az OpenAI és a Cohere támogatja).
• presence_penalty (az OpenAI és a Cohere támogatja).
• stream (támogatja: OpenAI, Anthropic, Cohere, Amazon Bedrock for Anthropic). Ez csak csevegési és befejezési kérelmek esetén érhető el.

• tools (OpenAI, Anthropic és az Amazon Bedrock for Anthropic támogatásával). Ez csak csevegési és befejezési kérelmek esetén érhető el. Ez a paraméter lehetővé teszi a külső funkciók integrálását, beleértve a Computer Use (bétaverzió) az Anthropic és az Amazon Bedrock Anthropic számára. Tekintse meg az Azure Databricks függvényhívását: .

A hálózati kapcsolat konfigurációi támogatják a külső modelleket

A külső modellek hálózati kapcsolati konfigurációinak (NCC-k) támogatása, beleértve az Azure private linket is, jelenleg privát előzetes verzióban érhető el. Az előzetes verzióban való részvételhez forduljon a Databricks-fiók csapatához.

Korlátozások

A választott külső modelltől függően előfordulhat, hogy a konfiguráció miatt az adatok feldolgozása azon a régión kívül történik, ahonnan az adatok származnak. Lásd: Modellmegjelenítési korlátok és régiók.

További erőforrások

• Oktatóanyag: Külső modellvégpontok létrehozása OpenAI-modellek lekérdezéséhez.
• Lekérdezésalapmodellek.