نماذج خارجية في خدمة نموذج الذكاء الاصطناعي الفسيفساء

توضح هذه المقالة النماذج الخارجية في الفسيفساء الذكاء الاصطناعي Model Serving بما في ذلك موفري النماذج المدعومين والقيود.

ما هي النماذج الخارجية؟

النماذج الخارجية هي نماذج تابعة لجهة خارجية مستضافة خارج Databricks. تدعم النماذج الخارجية خدمة النموذج، وتسمح لك بتبسيط استخدام وإدارة مختلف موفري نموذج اللغة الكبيرة (LLM)، مثل OpenAI و Anthropic، داخل المؤسسة. يمكنك أيضا استخدام موزاييك الذكاء الاصطناعي Model الذي يعمل كموفر لخدمة النماذج المخصصة، والتي توفر حدودا لمعدل نقاط النهاية هذه. كجزء من هذا الدعم، تقدم خدمة النموذج واجهة عالية المستوى تبسط التفاعل مع هذه الخدمات من خلال توفير نقطة نهاية موحدة للتعامل مع طلبات محددة متعلقة ب LLM.

بالإضافة إلى ذلك، يوفر دعم Azure Databricks للنماذج الخارجية إدارة مركزية لبيانات الاعتماد. من خلال تخزين مفاتيح واجهة برمجة التطبيقات في موقع آمن واحد، يمكن للمؤسسات تحسين وضعها الأمني عن طريق تقليل تعرض مفاتيح واجهة برمجة التطبيقات الحساسة في جميع أنحاء النظام. كما أنه يساعد على منع الكشف عن هذه المفاتيح داخل التعليمات البرمجية أو مطالبة المستخدمين النهائيين بإدارة المفاتيح بأمان.

راجع البرنامج التعليمي: إنشاء نقاط نهاية نموذج خارجي للاستعلام عن نماذج OpenAI للحصول على إرشادات خطوة بخطوة حول إنشاء نقطة نهاية النموذج الخارجي والاستعلام عن النماذج المدعومة التي تقدمها نقاط النهاية هذه باستخدام MLflow Deployments SDK. راجع الإرشادات التالية للحصول على إرشادات حول كيفية استخدام واجهة مستخدم العرض وواجهة برمجة تطبيقات REST:

• إنشاء نقاط نهاية خدمة نموذج مخصص
• نماذج الذكاء الاصطناعي التوليدية للاستعلام

المتطلبات

• مفتاح API أو حقول المصادقة لموفر النموذج.
• مساحة عمل Databricks في المناطق المدعومة من النماذج الخارجية.

موفرو النماذج

تم تصميم النماذج الخارجية في خدمة النموذج لدعم مجموعة متنوعة من موفري النماذج. يمثل الموفر مصدر نماذج التعلم الآلي، مثل OpenAI و Anthropic وما إلى ذلك. لكل موفر خصائصه وتكويناته المحددة التي يتم تغليفها داخل external_model حقل تكوين نقطة نهاية النموذج الخارجي.

يتم دعم الموفرين التاليين:

• openai: للنماذج التي يقدمها OpenAI وتكاملات Azure ل Azure OpenAI وAzure OpenAI مع AAD.
• anthropic: للنماذج التي تقدمها Anthropic.
• cohere: للنماذج التي تقدمها Cohere.
• amazon-bedrock: للنماذج التي تقدمها Amazon بيدروك.
• google-cloud-vertex-ai: للنماذج التي تقدمها Google Cloud Vertex الذكاء الاصطناعي.
• خدمة نموذج databricks: بالنسبة إلى الفسيفساء الذكاء الاصطناعي نقاط نهاية خدمة النموذج مع مخططات متوافقة. راجع تكوين نقطة النهاية.

لطلب الدعم لموفر غير مدرج هنا، تواصل مع فريق حساب Databricks.

النماذج المدعومة

يؤثر النموذج الذي تختاره مباشرة على نتائج الاستجابات التي تحصل عليها من استدعاءات واجهة برمجة التطبيقات. لذلك، اختر نموذجا يناسب متطلبات حالة الاستخدام الخاصة بك. على سبيل المثال، لإنشاء استجابات المحادثة، يمكنك اختيار نموذج دردشة. وعلى العكس من ذلك، لإنشاء تضمينات للنص، يمكنك اختيار نموذج تضمين.

يقدم الجدول أدناه قائمة غير شاملة بالنماذج المدعومة وأنواع نقاط النهاية المقابلة. يمكن استخدام اقترانات النموذج المذكورة أدناه كدليل مفيد عند تكوين نقطة نهاية لأي أنواع نماذج تم إصدارها حديثا عند توفرها مع موفر معين. يتحمل العملاء مسؤولية ضمان الامتثال لتراخيص النموذج المعمول بها.

** يدعم موفر النموذج نماذج الإكمال والدردشة الدقيقة. للاستعلام عن نموذج مضبوط، قم بتعبئة name حقل external model التكوين باسم النموذج الذي تم ضبطه بدقة.

يدعم موفر نموذج † نماذج الإكمال المخصصة.

استخدام النماذج المقدمة على نقاط نهاية خدمة النموذج الذكاء الاصطناعي الفسيفساء

يتم دعم الفسيفساء الذكاء الاصطناعي نقاط نهاية خدمة النموذج كموفر لأنواع llm/v1/completionsllm/v1/chatنقاط النهاية و وllm/v1/embeddings. يجب أن تقبل نقاط النهاية هذه معلمات الاستعلام القياسية التي تم وضع علامة عليها على أنها مطلوبة، بينما قد يتم تجاهل المعلمات الأخرى اعتمادا على ما إذا كانت نقطة نهاية موزاييك الذكاء الاصطناعي Model Serving تدعمها أم لا.

راجع POST /serving-endpoints/{name}/invocations في مرجع واجهة برمجة التطبيقات لمعلمات الاستعلام القياسية.

يجب أن تنتج نقاط النهاية هذه استجابات بتنسيق OpenAI التالي.

لمهام الإكمال:

{
"id": "123", # Not Required
"model": "test_databricks_model",
"choices": [
  {
    "text": "Hello World!",
    "index": 0,
    "logprobs": null, # Not Required
    "finish_reason": "length" # Not Required
  }
],
"usage": {
  "prompt_tokens": 8,
  "total_tokens": 8
  }
}

لمهام الدردشة:

{
  "id": "123", # Not Required
  "model": "test_chat_model",
  "choices": [{
    "index": 0,
    "message": {
      "role": "assistant",
      "content": "\n\nHello there, how may I assist you today?",
    },
    "finish_reason": "stop"
  },
  {
    "index": 1,
    "message": {
      "role": "human",
      "content": "\n\nWhat is the weather in San Francisco?",
    },
    "finish_reason": "stop"
  }],
  "usage": {
    "prompt_tokens": 8,
    "total_tokens": 8
  }
}

لتضمين المهام:

{
  "data": [
    {
      "embedding": [
        0.0023064255,
        -0.009327292,
        .... # (1536 floats total for ada-002)
        -0.0028842222,
      ],
      "index": 0
    },
    {
      "embedding": [
        0.0023064255,
        -0.009327292,
        .... #(1536 floats total for ada-002)
        -0.0028842222,
      ],
      "index": 0
    }
  ],
  "model": "test_embedding_model",
  "usage": {
    "prompt_tokens": 8,
    "total_tokens": 8
  }
}

تكوين نقطة النهاية

لخدمة النماذج الخارجية والاستعلام عنها، تحتاج إلى تكوين نقطة نهاية خدمة. راجع إنشاء نقطة نهاية لخدمة نموذج خارجي

بالنسبة لنقطة نهاية خدمة نموذج خارجي، يجب تضمين external_model الحقل ومعلماته في served_entities قسم تكوين نقطة النهاية. إذا قمت بتكوين نماذج خارجية متعددة في نقطة نهاية خدمة، يجب توفير traffic_config لتعريف نسبة توجيه نسبة استخدام الشبكة لكل نموذج خارجي.

external_model يعرف الحقل النموذج الذي تقوم نقطة النهاية هذه بإعادة توجيه الطلبات إليه. عند تحديد نموذج، من المهم أن يدعم الموفر النموذج الذي تطلبه. على سبيل المثال، openai كموفر يدعم نماذج مثل text-embedding-ada-002، ولكن قد لا يدعم الموفرون الآخرون. إذا لم يكن النموذج مدعوما من قبل الموفر، فإن Databricks ترجع خطأ HTTP 4xx عند محاولة توجيه الطلبات إلى هذا النموذج.

يلخص external_model الجدول أدناه معلمات الحقل. راجع POST /api/2.0/serving-endpoints لمعلمات تكوين نقطة النهاية.

فيما يلي مثال على إنشاء نقطة نهاية نموذج خارجي باستخدام create_endpoint() واجهة برمجة التطبيقات. في هذا المثال، تتم إعادة توجيه طلب تم إرساله إلى نقطة نهاية الإكمال إلى النموذج الذي claude-2 يوفره anthropic.

import mlflow.deployments

client = mlflow.deployments.get_deploy_client("databricks")

client.create_endpoint(
    name="anthropic-completions-endpoint",
    config={
        "served_entities": [
            {
                "name": "test",
                "external_model": {
                    "name": "claude-2",
                    "provider": "anthropic",
                    "task": "llm/v1/completions",
                    "anthropic_config": {
                        "anthropic_api_key": "{{secrets/my_anthropic_secret_scope/anthropic_api_key}}"
                    }
                }
            }
        ]
    }
)

تكوين الموفر لنقطة نهاية

عند إنشاء نقطة نهاية، يجب توفير التكوينات المطلوبة لموفر النموذج المحدد. تلخص الأقسام التالية معلمات تكوين نقطة النهاية المتوفرة لكل موفر نموذج.

OpenAI

قنينة

قطرات ضوئية

Azure OpenAI

يحتوي Azure OpenAI على ميزات مميزة مقارنة بخدمة OpenAI المباشرة. للحصول على نظرة عامة، يرجى الاطلاع على وثائق المقارنة.

إذا كنت تستخدم Azure OpenAI مع معرف Microsoft Entra، فاستخدم المعلمات التالية في تكوين نقطة النهاية.

يوضح المثال التالي كيفية إنشاء نقطة نهاية باستخدام Azure OpenAI:

client.create_endpoint(
    name="openai-chat-endpoint",
    config={
        "served_entities": [{
            "external_model": {
                "name": "gpt-3.5-turbo",
                "provider": "openai",
                "task": "llm/v1/chat",
                "openai_config": {
                    "openai_api_type": "azure",
                    "openai_api_key": "{{secrets/my_openai_secret_scope/openai_api_key}}",
                    "openai_api_base": "https://my-azure-openai-endpoint.openai.azure.com",
                    "openai_deployment_name": "my-gpt-35-turbo-deployment",
                    "openai_api_version": "2023-05-15"
                }
            }
        }]
    }
)

google Cloud Vertex الذكاء الاصطناعي

Amazon Bedrock

لاستخدام Amazon Bedrock كموفر نموذج خارجي، يحتاج العملاء إلى التأكد من تمكين Bedrock في منطقة AWS المحددة، وأن زوج مفاتيح AWS المحدد لديه الأذونات المناسبة للتفاعل مع خدمات Bedrock. لمزيد من المعلومات، راجع AWS Identity and Access Management.

يوضح المثال التالي كيفية إنشاء نقطة نهاية باستخدام Amazon Bedrock باستخدام مفاتيح الاختصار.

client.create_endpoint(
    name="bedrock-anthropic-completions-endpoint",
    config={
        "served_entities": [
            {
                "external_model": {
                    "name": "claude-v2",
                    "provider": "amazon-bedrock",
                    "task": "llm/v1/completions",
                    "amazon_bedrock_config": {
                        "aws_region": "<YOUR_AWS_REGION>",
                        "aws_access_key_id": "{{secrets/my_amazon_bedrock_secret_scope/aws_access_key_id}}",
                        "aws_secret_access_key": "{{secrets/my_amazon_bedrock_secret_scope/aws_secret_access_key}}",
                        "bedrock_provider": "anthropic",
                    },
                }
            }
        ]
    },
)

إذا كانت هناك مشكلات في أذونات AWS، توصي Databricks بالتحقق من بيانات الاعتماد مباشرة باستخدام واجهة برمجة تطبيقات Amazon Bedrock.

AI21 Labs

تكوين بوابة الذكاء الاصطناعي على نقطة نهاية

يمكنك أيضا تكوين نقطة النهاية لتمكين ميزات Gateway الذكاء الاصطناعي الفسيفساء، مثل تحديد المعدل وتعقب الاستخدام وعلامات الحماية.

راجع تكوين بوابة الذكاء الاصطناعي على نقاط نهاية خدمة النموذج.

الاستعلام عن نقطة نهاية نموذج خارجي

بعد إنشاء نقطة نهاية نموذج خارجي، تكون جاهزة لتلقي نسبة استخدام الشبكة من المستخدمين.

يمكنك إرسال طلبات تسجيل النقاط إلى نقطة النهاية باستخدام عميل OpenAI أو واجهة برمجة تطبيقات REST أو MLflow Deployments SDK.

• راجع معلمات الاستعلام القياسية لطلب تسجيل النقاط في POST /serving-endpoints/{name}/invocations.
• نماذج الذكاء الاصطناعي التوليدية للاستعلام

يستعلم المثال التالي عن claude-2 نموذج الإكمال الذي تستضيفه Anthropic باستخدام عميل OpenAI. لاستخدام عميل OpenAI، قم بتعبئة model الحقل باسم نقطة نهاية خدمة النموذج الذي يستضيف النموذج الذي تريد الاستعلام عليه.

يستخدم هذا المثال نقطة نهاية تم إنشاؤها مسبقا، anthropic-completions-endpoint، تم تكوينها للوصول إلى النماذج الخارجية من موفر نموذج Anthropic. تعرف على كيفية إنشاء نقاط نهاية نموذج خارجي.

راجع النماذج المدعومة للحصول على نماذج إضافية يمكنك الاستعلام عن موفريها.

import os
import openai
from openai import OpenAI

client = OpenAI(
    api_key="dapi-your-databricks-token",
    base_url="https://example.staging.cloud.databricks.com/serving-endpoints"
)

completion = client.completions.create(
  model="anthropic-completions-endpoint",
  prompt="what is databricks",
  temperature=1.0
)
print(completion)

تنسيق استجابة الإخراج المتوقع:

{
"id": "123", # Not Required
"model": "anthropic-completions-endpoint",
"choices": [
  {
    "text": "Hello World!",
    "index": 0,
    "logprobs": null, # Not Required
    "finish_reason": "length" # Not Required
  }
],
"usage": {
  "prompt_tokens": 8,
  "total_tokens": 8
  }
}

معلمات استعلام إضافية

يمكنك تمرير أي معلمات إضافية يدعمها موفر نقطة النهاية كجزء من الاستعلام الخاص بك.

على سبيل المثال:

• logit_bias (مدعوم من قبل OpenAI، Cohere).
• top_k (مدعوم من قبل Anthropic، Cohere).
• frequency_penalty (مدعوم من قبل OpenAI، Cohere).
• presence_penalty (مدعوم من قبل OpenAI، Cohere).
• stream (بدعم من OpenAI، Anthropic، Cohere، Amazon Bedrock for Anthropic). يتوفر هذا فقط لطلبات الدردشة والإكمال.

دعم تكوينات اتصال الشبكة للنماذج الخارجية

دعم تكوينات اتصال الشبكة (NCCs) للنماذج الخارجية، بما في ذلك ارتباط Azure الخاص، موجود حاليا في المعاينة الخاصة. تواصل مع فريق حساب Databricks للمشاركة في المعاينة.

القيود

اعتمادا على النموذج الخارجي الذي تختاره، قد يتسبب التكوين الخاص بك في معالجة بياناتك خارج المنطقة التي نشأت فيها بياناتك. راجع حدود ومناطق خدمة النموذج.

الموارد الإضافية

• البرنامج التعليمي: إنشاء نقاط نهاية نموذج خارجي للاستعلام عن نماذج OpenAI.
• نماذج الذكاء الاصطناعي التوليدية للاستعلام.