Model eksternal dalam Mosaic AI Model Serving

Artikel ini menjelaskan model eksternal dalam Mosaic AI Model Serving termasuk penyedia dan batasan model yang didukung.

Apa itu model eksternal?

Model eksternal adalah model pihak ketiga yang dihosting di luar Databricks. Didukung oleh Model Serving, model eksternal memungkinkan Anda menyederhanakan penggunaan dan manajemen berbagai penyedia model bahasa besar (LLM), seperti OpenAI dan Anthropic, dalam organisasi. Anda juga dapat menggunakan Mosaic AI Model Serving sebagai penyedia layanan model kustom, yang menawarkan batasan kuota untuk endpoint tersebut. Sebagai bagian dari dukungan ini, Model Serving menawarkan antarmuka tingkat tinggi yang menyederhanakan interaksi dengan layanan ini dengan menyediakan titik akhir terpadu untuk menangani permintaan terkait LLM tertentu.

Selain itu, dukungan Azure Databricks untuk model eksternal menyediakan manajemen kredensial terpusat. Dengan menyimpan kunci API di satu lokasi yang aman, organisasi dapat meningkatkan postur keamanan mereka dengan meminimalkan paparan kunci API sensitif di seluruh sistem. Ini juga membantu mencegah mengekspos kunci ini dalam kode atau mengharuskan pengguna akhir untuk mengelola kunci dengan aman.

Lihat Tutorial: Membuat titik akhir model eksternal untuk mengkueri model OpenAI untuk panduan langkah demi langkah tentang pembuatan titik akhir model eksternal dan mengkueri model yang didukung yang dilayani oleh titik akhir tersebut menggunakan SDK Penyebaran MLflow. Lihat panduan berikut untuk instruksi tentang cara menggunakan Antarmuka Pengguna layanan dan REST API:

• Membuat model kustom yang melayani titik akhir
• Model Dasar Kueri

Persyaratan

• Kolom kunci API atau autentikasi untuk penyedia model.
• Ruang kerja Databricks di wilayah yang mendukung model eksternal.

Penyedia Model

Model eksternal dalam Model Serving dirancang untuk mendukung berbagai penyedia model. Penyedia mewakili sumber model pembelajaran mesin, seperti OpenAI, Anthropic, dan sebagainya. Setiap penyedia memiliki karakteristik dan konfigurasi khusus yang dienkapsulasi dalam external_model bidang konfigurasi titik akhir model eksternal.

Penyedia berikut didukung:

• openai: Untuk model yang ditawarkan oleh OpenAI dan integrasi Azure untuk Azure OpenAI dan Azure OpenAI dengan AAD.
• Anthropic: Untuk model yang ditawarkan oleh Anthropic.
• cohere: Untuk model yang ditawarkan oleh Cohere.
• amazon-bedrock: Untuk model yang ditawarkan oleh Amazon Bedrock.
• google-cloud-vertex-ai: Untuk model yang ditawarkan oleh Google Cloud Vertex AI.
• databricks-model-serving: Untuk endpoint penyajian model Mosaic AI dengan skema yang kompatibel. Lihat Konfigurasi Titik Akhir.
• kustom : Untuk penyedia atau model alternatif di balik proksi kustom yang kompatibel dengan OpenAI API, tetapi tidak didukung langsung oleh Databricks.

Untuk meminta dukungan untuk penyedia yang tidak tercantum di sini, coba gunakan opsi penyedia kustom atau hubungi tim akun Databricks Anda.

Model yang didukung

Model yang Anda pilih secara langsung memengaruhi hasil respons yang Anda dapatkan dari panggilan API. Oleh karena itu, pilih model yang sesuai dengan persyaratan kasus penggunaan Anda. Misalnya, untuk menghasilkan respons percakapan, Anda dapat memilih model obrolan. Sebaliknya, untuk menghasilkan penyematan teks, Anda dapat memilih model penyematan.

Lihat Model yang Didukung.

Menggunakan model yang disajikan pada titik akhir Penyajian Model AI Mosaik

Titik akhir Penyajian Model AI Mosaic sebagai penyedia yang didukung untuk llm/v1/completions, llm/v1/chat, dan llm/v1/embeddings jenis titik akhir. Titik akhir ini harus menerima parameter kueri standar yang ditandai sebagaimana diperlukan, sementara parameter lain mungkin diabaikan tergantung pada apakah titik akhir Mosaic AI Model Serving mendukungnya atau tidak.

Lihat POST /serving-endpoints/{name}/invocations dalam referensi API untuk parameter kueri standar.

Titik akhir ini harus menghasilkan respons dalam format OpenAI berikut.

Untuk tugas penyelesaian:

{
"id": "123", # Not Required
"model": "test_databricks_model",
"choices": [
  {
    "text": "Hello World!",
    "index": 0,
    "logprobs": null, # Not Required
    "finish_reason": "length" # Not Required
  }
],
"usage": {
  "prompt_tokens": 8,
  "total_tokens": 8
  }
}

Untuk tugas obrolan:

{
  "id": "123", # Not Required
  "model": "test_chat_model",
  "choices": [{
    "index": 0,
    "message": {
      "role": "assistant",
      "content": "\n\nHello there, how may I assist you today?",
    },
    "finish_reason": "stop"
  },
  {
    "index": 1,
    "message": {
      "role": "human",
      "content": "\n\nWhat is the weather in San Francisco?",
    },
    "finish_reason": "stop"
  }],
  "usage": {
    "prompt_tokens": 8,
    "total_tokens": 8
  }
}

Untuk tugas penyematan:

{
  "data": [
    {
      "embedding": [
        1.0023064255,
        -0.009327292,
        .... # (1536 floats total for ada-002)
        -0.0028842222,
      ],
      "index": 0
    },
    {
      "embedding": [
        1.0023064255,
        -0.009327292,
        .... #(1536 floats total for ada-002)
        -0.0028842222,
      ],
      "index": 0
    }
  ],
  "model": "test_embedding_model",
  "usage": {
    "prompt_tokens": 8,
    "total_tokens": 8
  }
}

Konfigurasi titik akhir

Untuk melayani dan mengkueri model eksternal, Anda perlu mengonfigurasi titik akhir penyajian. Lihat Membuat model eksternal yang melayani titik akhir

Untuk model eksternal yang melayani titik akhir, Anda harus menyertakan bidang external_model dan parameternya di bagian served_entities konfigurasi titik akhir. Jika Anda mengonfigurasi beberapa model eksternal dalam titik akhir penyajian, Anda harus menyediakan traffic_config untuk menentukan persentase perutean lalu lintas untuk setiap model eksternal.

Bidang external_model menentukan model tempat titik akhir ini meneruskan permintaan. Saat menentukan model, sangat penting bahwa penyedia mendukung model yang Anda minta. Misalnya, openai sebagai penyedia mendukung model seperti text-embedding-ada-002, tetapi penyedia lain mungkin tidak. Jika model tidak didukung oleh penyedia, Databricks mengembalikan kesalahan HTTP 4xx saat mencoba merutekan permintaan ke model tersebut.

Tabel di bawah ini meringkas parameter bidang external_model. Lihat POST /api/2.0/serving-endpoints untuk parameter konfigurasi titik akhir.

Berikut ini adalah contoh pembuatan titik akhir model eksternal menggunakan create_endpoint() API. Dalam contoh ini, permintaan yang dikirim ke titik akhir penyelesaian diteruskan ke claude-2 model yang disediakan oleh anthropic.

import mlflow.deployments

client = mlflow.deployments.get_deploy_client("databricks")

client.create_endpoint(
    name="anthropic-completions-endpoint",
    config={
        "served_entities": [
            {
                "name": "test",
                "external_model": {
                    "name": "claude-2",
                    "provider": "anthropic",
                    "task": "llm/v1/completions",
                    "anthropic_config": {
                        "anthropic_api_key": "{{secrets/my_anthropic_secret_scope/anthropic_api_key}}"
                    }
                }
            }
        ]
    }
)

Mengonfigurasi penyedia untuk titik akhir

Saat membuat titik akhir, Anda harus menyediakan konfigurasi yang diperlukan untuk penyedia model yang ditentukan. Bagian berikut ini meringkas parameter konfigurasi titik akhir yang tersedia untuk setiap penyedia model.

OpenAI

Cohere

Antropis

Azure OpenAI

Azure OpenAI memiliki fitur yang berbeda dibandingkan dengan layanan OpenAI langsung. Untuk gambaran umum, silakan lihat dokumentasi perbandingan.

Jika Anda menggunakan Azure OpenAI dengan MICROSOFT Entra ID, gunakan parameter berikut dalam konfigurasi titik akhir Anda. Databricks meneruskan https://cognitiveservices.azure.com/ sebagai cakupan default untuk token Microsoft Entra ID.

Contoh berikut menunjukkan cara membuat titik akhir dengan Azure OpenAI:

client.create_endpoint(
    name="openai-chat-endpoint",
    config={
        "served_entities": [{
            "external_model": {
                "name": "gpt-3.5-turbo",
                "provider": "openai",
                "task": "llm/v1/chat",
                "openai_config": {
                    "openai_api_type": "azure",
                    "openai_api_key": "{{secrets/my_openai_secret_scope/openai_api_key}}",
                    "openai_api_base": "https://my-azure-openai-endpoint.openai.azure.com",
                    "openai_deployment_name": "my-gpt-35-turbo-deployment",
                    "openai_api_version": "2023-05-15"
                }
            }
        }]
    }
)

Google Cloud Vertex AI

Amazon Bedrock

Untuk menggunakan Amazon Bedrock sebagai penyedia model eksternal, pelanggan perlu memastikan Bedrock diaktifkan di wilayah AWS yang ditentukan, dan pasangan kunci AWS yang ditentukan memiliki izin yang sesuai untuk berinteraksi dengan layanan Bedrock. Untuk informasi selengkapnya, lihat AWS Identity and Access Management.

Contoh berikut menunjukkan cara membuat titik akhir dengan Amazon Bedrock menggunakan kunci akses.

client.create_endpoint(
    name="bedrock-anthropic-completions-endpoint",
    config={
        "served_entities": [
            {
                "external_model": {
                    "name": "claude-v2",
                    "provider": "amazon-bedrock",
                    "task": "llm/v1/completions",
                    "amazon_bedrock_config": {
                        "aws_region": "<YOUR_AWS_REGION>",
                        "aws_access_key_id": "{{secrets/my_amazon_bedrock_secret_scope/aws_access_key_id}}",
                        "aws_secret_access_key": "{{secrets/my_amazon_bedrock_secret_scope/aws_secret_access_key}}",
                        "bedrock_provider": "anthropic",
                    },
                }
            }
        ]
    },
)

Jika ada masalah izin AWS, Databricks menyarankan agar Anda memverifikasi kredensial langsung dengan API Amazon Bedrock .

AI21 Labs

Penyedia kustom

Contoh berikut menunjukkan cara membuat endpoint dengan penyedia kustom menggunakan autentikasi bearer :

client.create_endpoint(
    name="custom-provider-completions-endpoint",
    config={
        "served_entities": [
            {
                "external_model": {
                    "name": "custom-provider-model",
                    "provider": "custom",
                    "task": "llm/v1/chat",
                    "custom_provider_config": {
                        "custom_provider_url": "https://my-custom-provider.com",
                        "bearer_token_auth": {
                            "token": "{{secrets/my_custom_provider_secret_scope/custom_provider_token}}"
                        }
                    }
                }
            }
        ]
    },
)

Contoh berikut menunjukkan cara membuat titik akhir dengan penyedia kustom menggunakan autentikasi kunci API :

client.create_endpoint(
    name="custom-provider-completions-endpoint",
    config={
        "served_entities": [
            {
                "external_model": {
                    "name": "custom-provider-model",
                    "provider": "custom",
                    "task": "llm/v1/chat",
                    "custom_provider_config": {
                        "custom_provider_url": "https://my-custom-provider.com",
                        "api_key_auth": {
                            "key": "X-API-KEY",
                            "value": "{{secrets/my_custom_provider_secret_scope/custom_provider_api_key}}"
                        }
                    }
                }
            }
        ]
    },
)

Mengonfigurasi Gateway AI pada titik akhir

Anda juga dapat mengonfigurasi titik akhir untuk mengaktifkan fitur Gateway Mosaic AI, seperti pembatasan tarif, pelacakan penggunaan, dan pagar pembatas.

Lihat Mengonfigurasi Gateway AI pada model yang melayani titik akhir.

Mengkueri titik akhir model eksternal

Setelah Anda membuat titik akhir model eksternal, siap untuk menerima lalu lintas dari pengguna.

Anda dapat mengirim permintaan penilaian ke titik akhir menggunakan klien OpenAI, REST API, atau MLflow Deployments SDK.

• Lihat parameter kueri standar untuk permintaan penilaian di POST /serving-endpoints/{name}/invocations.
• menggunakan model dasar

Contoh berikut mengkueri claude-2 model penyelesaian yang dihosting oleh Anthropic menggunakan klien OpenAI. Untuk menggunakan klien OpenAI, isi model bidang dengan nama endpoint model yang meng-hosting model yang ingin Anda kueri.

Contoh ini menggunakan endpoint yang telah dibuat sebelumnya, anthropic-completions-endpoint, yang dikonfigurasi untuk mengakses model eksternal dari penyedia model Anthropic. Lihat cara membuat endpoint model eksternal.

Lihat Model yang didukung untuk model tambahan yang bisa Anda kueri dan penyedianya.

import os
import openai
from openai import OpenAI

client = OpenAI(
    api_key="dapi-your-databricks-token",
    base_url="https://example.staging.cloud.databricks.com/serving-endpoints"
)

completion = client.completions.create(
  model="anthropic-completions-endpoint",
  prompt="what is databricks",
  temperature=1.0
)
print(completion)

Format respons output yang diharapkan:

{
"id": "123", # Not Required
"model": "anthropic-completions-endpoint",
"choices": [
  {
    "text": "Hello World!",
    "index": 0,
    "logprobs": null, # Not Required
    "finish_reason": "length" # Not Required
  }
],
"usage": {
  "prompt_tokens": 8,
  "total_tokens": 8
  }
}

Parameter kueri tambahan

Anda dapat meneruskan parameter tambahan apa pun yang didukung oleh penyedia titik akhir sebagai bagian dari kueri Anda.

Contohnya:

• logit_bias (didukung oleh OpenAI, Cohere).
• top_k (didukung oleh Anthropic, Cohere).
• frequency_penalty (didukung oleh OpenAI, Cohere).
• presence_penalty (didukung oleh OpenAI, Cohere).
• stream (didukung oleh OpenAI, Anthropic, Cohere, Amazon Bedrock for Anthropic). Ini hanya tersedia untuk permintaan obrolan dan penyelesaian.

• tools (didukung oleh OpenAI, Anthropic, Amazon Bedrock for Anthropic). Ini hanya tersedia untuk permintaan obrolan dan penyelesaian tugas. Parameter ini memungkinkan integrasi fungsionalitas eksternal, termasuk Computer Use (beta) untuk Anthropic dan Amazon Bedrock for Anthropic. Lihat Pemanggilan Fungsi di Azure Databricks.

Dukungan konfigurasi konektivitas jaringan untuk model eksternal

Dukungan untuk konfigurasi konektivitas jaringan (NCC) untuk model eksternal, termasuk tautan privat Azure, saat ini dalam pratinjau Privat. Hubungi tim akun Databricks Anda untuk berpartisipasi dalam pratinjau.

Batasan

Bergantung pada model eksternal yang Anda pilih, konfigurasi Anda dapat menyebabkan data Anda diproses di luar wilayah tempat data Anda berasal. Lihat batas layanan model dan wilayah.

Sumber Daya Tambahan:

• Tutorial: Membuat titik akhir model eksternal untuk mengkueri model OpenAI.
• Kueri model dasar.