Mosaic AI Model Sunumu'nda harici modeller

Bu makalede, desteklenen model sağlayıcıları ve sınırlamaları dahil olmak üzere Mozaik Yapay Zeka Modeli Sunma'daki dış modeller açıklanmaktadır.

Dış modeller nedir?

Dış modeller, Databricks dışında barındırılan üçüncü taraf modellerdir. Model Sunma tarafından desteklenen dış modeller, bir kuruluş içinde OpenAI ve Antropik gibi çeşitli büyük dil modeli (LLM) sağlayıcılarının kullanımını ve yönetimini kolaylaştırmanızı sağlar. Bu uç noktalar için hız sınırları sunan özel modellere hizmet vermek için sağlayıcı olarak hizmet veren Mozaik AI Modeli'ni de kullanabilirsiniz. Bu desteğin bir parçası olarak Model Sunma, LLM ile ilgili belirli istekleri işlemek için birleşik bir uç nokta sağlayarak bu hizmetlerle etkileşimi basitleştiren üst düzey bir arabirim sunar.

Ayrıca, dış modeller için Azure Databricks desteği merkezi kimlik bilgileri yönetimi sağlar. Kuruluşlar, API anahtarlarını tek bir güvenli konumda depolayarak sistem genelinde hassas API anahtarlarının açığa çıkma durumunu en aza indirerek güvenlik duruşlarını geliştirebilir. Ayrıca bu anahtarların kod içinde açığa çıkmasını önlemeye veya son kullanıcıların anahtarları güvenli bir şekilde yönetmesini gerektirmeye yardımcı olur.

Bkz Öğretici: OpenAI modellerini sorgulamak için dış model uç noktaları oluşturma ve MLflow Dağıtımları SDK'sını kullanarak bu uç noktalar tarafından sunulan desteklenen modelleri sorgulama konusunda adım adım yönergeler. Sunum Kullanıcı Arabirimini ve REST API'yi kullanma yönergeleri için aşağıdaki kılavuzlara bakın:

• Uç noktaları sunan özel model oluşturma
• Temel modelleri sorgula

Gereksinimler

• Model sağlayıcısı için API anahtarı veya kimlik doğrulama alanları.
• Dış modellerin desteklendiği bölgelerde Databricks çalışma alanı.

Modeli sağlayıcıları

Model Sunma'daki dış modeller, çeşitli model sağlayıcılarını destekleyecek şekilde tasarlanmıştır. Sağlayıcı OpenAI, Antropik gibi makine öğrenmesi modellerinin kaynağını temsil eder. Her sağlayıcının, dış model uç noktası yapılandırmasının external_model alanı içinde kapsüllenmiş belirli özellikleri ve yapılandırmaları vardır.

Aşağıdaki sağlayıcılar desteklenir:

• openai: OpenAI tarafından sunulan modeller ve Azure OpenAI ile AAD'li Azure OpenAI için, Azure tümleştirmeleri.
• antropik: Antropik tarafından sunulan modeller için.
• cohere: Cohere tarafından sunulan modeller için.
• amazon-bedrock: Amazon Bedrock tarafından sunulan modeller için.
• google-cloud-vertex-ai: Google Cloud Vertex AI tarafından sunulan modeller için.
• databricks-model sunma: Uyumlu şemalarla uç noktaları sunan Mozaik AI Modeli için. Bkz Uç nokta yapılandırması.
• özel: Databricks tarafından doğrudan desteklenmeyen, ancak OpenAI API uyumlu özel proxy'lerin arkasındaki alternatif sağlayıcılar veya modeller için.

Burada listelenmeyen bir sağlayıcı için destek istemek için özel sağlayıcı seçeneğini kullanmayı deneyin veya Databricks hesap ekibinize ulaşın.

Desteklenen modeller

Seçtiğiniz model, API çağrılarından elde ettiğiniz yanıtların sonuçlarını doğrudan etkiler. Bu nedenle, kullanım örneği gereksinimlerinize uygun bir model seçin. Örneğin, konuşma yanıtları oluşturmak için bir sohbet modeli seçebilirsiniz. Buna karşılık, metin eklemeleri oluşturmak için bir ekleme modeli seçebilirsiniz.

Desteklenen modelleri görün .

Mozaik Yapay Zeka Modeli Sunma uç noktalarına sunulan modelleri kullanma

Mozaik AI Model Sunucusu uç noktaları, sağlayıcı olarakllm/v1/completions, llm/v1/chat ve llm/v1/embeddings uç nokta türleri için desteklenir. Bu uç noktaların gerekli olarak işaretlenmiş standart sorgu parametrelerini kabul etmesi gerekirken, Mozaik Yapay Zeka Modeli Sunma uç noktasının bunları destekleyip desteklemediğine bağlı olarak diğer parametreler yoksayılabilir.

Standart sorgu parametreleri için API referansında POST /serving-endpoints/{name}/invocations bakın.

Bu uç noktaların aşağıdaki OpenAI biçiminde yanıtlar üretmesi gerekir.

Tamamlama görevleri için:

{
"id": "123", # Not Required
"model": "test_databricks_model",
"choices": [
  {
    "text": "Hello World!",
    "index": 0,
    "logprobs": null, # Not Required
    "finish_reason": "length" # Not Required
  }
],
"usage": {
  "prompt_tokens": 8,
  "total_tokens": 8
  }
}

Sohbet görevleri için:

{
  "id": "123", # Not Required
  "model": "test_chat_model",
  "choices": [{
    "index": 0,
    "message": {
      "role": "assistant",
      "content": "\n\nHello there, how may I assist you today?",
    },
    "finish_reason": "stop"
  },
  {
    "index": 1,
    "message": {
      "role": "human",
      "content": "\n\nWhat is the weather in San Francisco?",
    },
    "finish_reason": "stop"
  }],
  "usage": {
    "prompt_tokens": 8,
    "total_tokens": 8
  }
}

Ekleme görevleri için:

{
  "data": [
    {
      "embedding": [
        1.0023064255,
        -0.009327292,
        .... # (1536 floats total for ada-002)
        -0.0028842222,
      ],
      "index": 0
    },
    {
      "embedding": [
        1.0023064255,
        -0.009327292,
        .... #(1536 floats total for ada-002)
        -0.0028842222,
      ],
      "index": 0
    }
  ],
  "model": "test_embedding_model",
  "usage": {
    "prompt_tokens": 8,
    "total_tokens": 8
  }
}

Uç nokta yapılandırması

Dış modelleri sunmak ve sorgulamak için bir sunum uç noktası yapılandırmanız gerekir. Bkz. Dış model sunma uç noktası oluştur

Dış model sunma uç noktası için, uç nokta yapılandırmasının external_model bölümüne served_entities alanını ve parametrelerini eklemeniz gerekir. Bir sunum uç noktasında birden çok dış model yapılandırdıysanız, her dış model için trafik yönlendirme yüzdesini tanımlamak için bir traffic_config sağlamanız gerekir.

alanı, external_model bu uç noktanın istekleri ilettiği modeli tanımlar. Model belirtirken sağlayıcının istediğiniz modeli desteklemesi kritik önem taşır. Örneğin, sağlayıcı olarak openaitext-embedding-ada-002gibi modelleri destekler, ancak diğer sağlayıcılar desteklemeyebilir. Model sağlayıcı tarafından desteklenmiyorsa Databricks, istekleri bu modele yönlendirmeye çalışırken http 4xx hatası döndürür.

Aşağıdaki tabloda external_model alanı parametreleri özetlenmiştir. POST /api/2.0/serving-endpoints için uç nokta yapılandırma parametrelerine bakın.

Aşağıda, API'yi kullanarak dış model uç noktası oluşturma örneği verilmiştir create_endpoint() . Bu örnekte, tamamlanma uç noktasına gönderilen bir istek, claude-2 tarafından sağlanan anthropic modeline iletilir.

import mlflow.deployments

client = mlflow.deployments.get_deploy_client("databricks")

client.create_endpoint(
    name="anthropic-completions-endpoint",
    config={
        "served_entities": [
            {
                "name": "test",
                "external_model": {
                    "name": "claude-2",
                    "provider": "anthropic",
                    "task": "llm/v1/completions",
                    "anthropic_config": {
                        "anthropic_api_key": "{{secrets/my_anthropic_secret_scope/anthropic_api_key}}"
                    }
                }
            }
        ]
    }
)

Uç nokta için sağlayıcıyı yapılandırma

Uç nokta oluşturduğunuzda, belirtilen model sağlayıcısı için gerekli yapılandırmaları sağlamanız gerekir. Aşağıdaki bölümlerde, her model sağlayıcısı için kullanılabilir uç nokta yapılandırma parametreleri özetlemektedir.

OpenAI

Uyum sağlamak

Anthropic

Azure OpenAI

Azure OpenAI, doğrudan OpenAI hizmetiyle karşılaştırıldığında farklı özelliklere sahiptir. Genel bakış için lütfen karşılaştırma belgelerine bakın.

Azure OpenAI'yi Microsoft Entra ID ile kullanıyorsanız uç nokta yapılandırmanızda aşağıdaki parametreleri kullanın. Databricks, Microsoft Entra ID belirtecinin varsayılan kapsamı olarak https://cognitiveservices.azure.com/ kullanır.

Aşağıdaki örnekte Azure OpenAI ile uç nokta oluşturma adımları gösterilmektedir:

client.create_endpoint(
    name="openai-chat-endpoint",
    config={
        "served_entities": [{
            "external_model": {
                "name": "gpt-3.5-turbo",
                "provider": "openai",
                "task": "llm/v1/chat",
                "openai_config": {
                    "openai_api_type": "azure",
                    "openai_api_key": "{{secrets/my_openai_secret_scope/openai_api_key}}",
                    "openai_api_base": "https://my-azure-openai-endpoint.openai.azure.com",
                    "openai_deployment_name": "my-gpt-35-turbo-deployment",
                    "openai_api_version": "2023-05-15"
                }
            }
        }]
    }
)

Google Cloud Vertex AI

Amazon Bedrock

Amazon Bedrock'ı dış model sağlayıcısı olarak kullanmak için müşterilerin belirtilen AWS bölgesinde Bedrock'un etkinleştirildiğinden ve belirtilen AWS anahtar çiftinin Bedrock hizmetleriyle etkileşime geçmek için uygun izinlere sahip olduğundan emin olması gerekir. Daha fazla bilgi için bkz . AWS Kimlik ve Erişim Yönetimi.

Aşağıdaki örnekte erişim anahtarlarını kullanarak Amazon Bedrock ile uç nokta oluşturma işlemleri gösterilmektedir.

client.create_endpoint(
    name="bedrock-anthropic-completions-endpoint",
    config={
        "served_entities": [
            {
                "external_model": {
                    "name": "claude-v2",
                    "provider": "amazon-bedrock",
                    "task": "llm/v1/completions",
                    "amazon_bedrock_config": {
                        "aws_region": "<YOUR_AWS_REGION>",
                        "aws_access_key_id": "{{secrets/my_amazon_bedrock_secret_scope/aws_access_key_id}}",
                        "aws_secret_access_key": "{{secrets/my_amazon_bedrock_secret_scope/aws_secret_access_key}}",
                        "bedrock_provider": "anthropic",
                    },
                }
            }
        ]
    },
)

AWS izin sorunları varsa Databricks, kimlik bilgilerini Amazon Bedrock APIile doğrudan doğrulamanızı önerir.

AI21 Labs

Özel sağlayıcı

Aşağıdaki örnekte, taşıyıcı kimlik doğrulamasıkullanarak özel bir sağlayıcıyla uç nokta oluşturma gösterilmektedir:

client.create_endpoint(
    name="custom-provider-completions-endpoint",
    config={
        "served_entities": [
            {
                "external_model": {
                    "name": "custom-provider-model",
                    "provider": "custom",
                    "task": "llm/v1/chat",
                    "custom_provider_config": {
                        "custom_provider_url": "https://my-custom-provider.com",
                        "bearer_token_auth": {
                            "token": "{{secrets/my_custom_provider_secret_scope/custom_provider_token}}"
                        }
                    }
                }
            }
        ]
    },
)

Aşağıdaki örnekte, API anahtarı kimlik doğrulamasıkullanarak özel bir sağlayıcıyla uç nokta oluşturma gösterilmektedir:

client.create_endpoint(
    name="custom-provider-completions-endpoint",
    config={
        "served_entities": [
            {
                "external_model": {
                    "name": "custom-provider-model",
                    "provider": "custom",
                    "task": "llm/v1/chat",
                    "custom_provider_config": {
                        "custom_provider_url": "https://my-custom-provider.com",
                        "api_key_auth": {
                            "key": "X-API-KEY",
                            "value": "{{secrets/my_custom_provider_secret_scope/custom_provider_api_key}}"
                        }
                    }
                }
            }
        ]
    },
)

Bir uç noktada AI Gateway'i yapılandırma

Uç noktanızı hız sınırlama, kullanım izleme ve korumalar gibi Mozaik AI Ağ Geçidi özelliklerini etkinleştirecek şekilde de yapılandırabilirsiniz.

Model sunum uç noktalarında yapay zeka ağ geçidini yapılandırmayı bakınız.

Dış model uç noktasını sorgulama

Bir dış model uç noktası oluşturduktan sonra, kullanıcılardan trafik almaya hazır olur.

OpenAI istemcisi, REST API veya MLflow Dağıtımları SDK'sını kullanarak uç noktaya puanlama istekleri gönderebilirsiniz.

• POST /serving-endpoints/{name}/invocationsbir puanlama isteği için standart sorgu parametrelerine bakın.
• Temel modelleri sorgula

Aşağıdaki örnek, OpenAI istemcisini claude-2 kullanarak Anthropic tarafından barındırılan tamamlanma modelini sorgular. OpenAI istemcisini kullanmak için, alanını sorgulamak istediğiniz modeli barındıran model sunum uç noktasının adıyla doldurun model .

Bu örnekte, anthropic-completions-endpointAntropik model sağlayıcısından dış modellere erişmek için yapılandırılmış, önceden oluşturulmuş bir uç nokta kullanılır. Dış model uç noktalarının nasıl oluşturulacağını öğrenin.

Ek modeller ve bu modellerin sağlayıcılarını sorgulamak için desteklenen modellere bakın.

import os
import openai
from openai import OpenAI

client = OpenAI(
    api_key="dapi-your-databricks-token",
    base_url="https://example.staging.cloud.databricks.com/serving-endpoints"
)

completion = client.completions.create(
  model="anthropic-completions-endpoint",
  prompt="what is databricks",
  temperature=1.0
)
print(completion)

Beklenen çıkış yanıtı biçimi:

{
"id": "123", # Not Required
"model": "anthropic-completions-endpoint",
"choices": [
  {
    "text": "Hello World!",
    "index": 0,
    "logprobs": null, # Not Required
    "finish_reason": "length" # Not Required
  }
],
"usage": {
  "prompt_tokens": 8,
  "total_tokens": 8
  }
}

Ek sorgu parametreleri

Sorgunuzun bir parçası olarak uç nokta sağlayıcısı tarafından desteklenen ek parametreleri geçirebilirsiniz.

Örneğin:

• logit_bias (OpenAI, Cohere tarafından desteklenir).
• top_k (Antropik, Cohere tarafından desteklenir).
• frequency_penalty (OpenAI, Cohere tarafından desteklenir).
• presence_penalty (OpenAI, Cohere tarafından desteklenir).
• stream (OpenAI, Antropik, Cohere, Amazon Bedrock for Anthropic tarafından desteklenir). Bu yalnızca sohbet ve tamamlama istekleri için kullanılabilir.

• tools (OpenAI, Anthropic, Amazon Bedrock tarafından desteklenmektedir). Bu yalnızca sohbet ve tamamlama istekleri için kullanılabilir. Bu parametre, Antropik için Bilgisayar Kullanımı (beta) ve Antropik için Amazon Bedrock dahil olmak üzere dış işlevlerin tümleştirilmesine olanak tanır. Azure Databricks'te İşlev çağrısına bakın.

Dış modeller için ağ bağlantısı yapılandırmaları desteği

Azure özel bağlantısı dahil olmak üzere dış modeller için Ağ bağlantısı yapılandırmaları (NCC) desteği şu anda Özel önizleme aşamasındadır. Önizlemeye katılmak için Databricks hesap ekibinize ulaşın.

Sınırlamalar

Seçtiğiniz dış modele bağlı olarak, yapılandırmanız verilerinizin verilerinizin kaynaklandığı bölgenin dışında işlenmesine neden olabilir. Bkz. Model Sunma sınırları ve bölgeleri.

Ek kaynaklar

• Öğretici: OpenAI modellerini sorgulamak için dış model uç noktaları oluşturma.
• Temel modelleri sorgula.