Modele rozumowania usługi Azure OpenAI

Modele usługi Azure OpenAI o-series zostały zaprojektowane w celu rozwiązywania problemów i rozwiązywania problemów z większą koncentracją uwagi i możliwościami. Modele te poświęcają więcej czasu na przetwarzanie i zrozumienie żądania użytkownika, co czyni je wyjątkowo silnymi w obszarach takich jak nauka, kodowanie i matematyka w porównaniu z poprzednimi iteracjami.

Kluczowe możliwości modeli serii o:

• Złożone generowanie kodu: możliwość generowania algorytmów i obsługi zaawansowanych zadań kodowania w celu obsługi deweloperów.
• Zaawansowane rozwiązywanie problemów: idealne rozwiązanie dla kompleksowych sesji burzy mózgów i rozwiązywanie wielowymiarowych wyzwań.
• Złożone porównanie dokumentów: idealne rozwiązanie do analizowania kontraktów, plików przypadków lub dokumentów prawnych w celu identyfikowania subtelnych różnic.
• Instrukcje następujące i zarządzanie przepływami pracy: Szczególnie skuteczne zarządzanie przepływami pracy wymagającymi krótszych kontekstów.

Dostępność

Aby uzyskać dostęp do o3-minisystemu , o1i o1-preview, wymagana jest rejestracja, a dostęp zostanie udzielony na podstawie kryteriów kwalifikowalności firmy Microsoft.

Klienci, którzy wcześniej zastosowali i otrzymali dostęp do o1 programu lub o1-preview, nie muszą ponownie stosować aplikacji, ponieważ są one automatycznie na liście oczekujących dla najnowszego modelu.

Żądanie dostępu: aplikacja modelu ograniczonego dostępu

Dostępność w regionach

Obsługa interfejsu API i funkcji

^* Modele rozumowania będą działać tylko z parametrem max_completion_tokens .

^**Najnowszy^* model serii o obsługuje komunikaty systemowe ułatwiające migrację. Gdy używasz komunikatu systemowego i o1 będzie on traktowany jako komunikat o3-mini dla deweloperów. Nie należy używać zarówno komunikatu dewelopera, jak i komunikatu systemowego w tym samym żądaniu interfejsu API.

Nieobsługiwany

Poniżej przedstawiono obecnie nieobsługiwane modele rozumowania:

• Równoległe wywoływanie narzędzi
• temperature, top_p, , presence_penalty, logprobsfrequency_penalty, , top_logprobs, , logit_biasmax_tokens

Użycie

Te modele nie obsługują obecnie tego samego zestawu parametrów co inne modele korzystające z interfejsu API uzupełniania czatów.

pip install openai --upgrade

from openai import AzureOpenAI
from azure.identity import DefaultAzureCredential, get_bearer_token_provider

token_provider = get_bearer_token_provider(
    DefaultAzureCredential(), "https://cognitiveservices.azure.com/.default"
)

client = AzureOpenAI(
  azure_endpoint = os.getenv("AZURE_OPENAI_ENDPOINT"), 
  azure_ad_token_provider=token_provider,
  api_version="2024-12-01-preview"
)

response = client.chat.completions.create(
    model="o1-new", # replace with the model deployment name of your o1-preview, or o1-mini model
    messages=[
        {"role": "user", "content": "What steps should I think about when writing my first Python API?"},
    ],
    max_completion_tokens = 5000

)

print(response.model_dump_json(indent=2))

pip install openai --upgrade

from openai import AzureOpenAI

client = AzureOpenAI(
  azure_endpoint = os.getenv("AZURE_OPENAI_ENDPOINT"), 
  api_key=os.getenv("AZURE_OPENAI_API_KEY"),  
  api_version="2024-12-01-preview"
)

response = client.chat.completions.create(
    model="o1-new", # replace with the model deployment name of your o1 deployment.
    messages=[
        {"role": "user", "content": "What steps should I think about when writing my first Python API?"},
    ],
    max_completion_tokens = 5000

)

print(response.model_dump_json(indent=2))

Wyjście:

{
  "id": "chatcmpl-AEj7pKFoiTqDPHuxOcirA9KIvf3yz",
  "choices": [
    {
      "finish_reason": "stop",
      "index": 0,
      "logprobs": null,
      "message": {
        "content": "Writing your first Python API is an exciting step in developing software that can communicate with other applications. An API (Application Programming Interface) allows different software systems to interact with each other, enabling data exchange and functionality sharing. Here are the steps you should consider when creating your first Python API...truncated for brevity.",
        "refusal": null,
        "role": "assistant",
        "function_call": null,
        "tool_calls": null
      },
      "content_filter_results": {
        "hate": {
          "filtered": false,
          "severity": "safe"
        },
        "protected_material_code": {
          "filtered": false,
          "detected": false
        },
        "protected_material_text": {
          "filtered": false,
          "detected": false
        },
        "self_harm": {
          "filtered": false,
          "severity": "safe"
        },
        "sexual": {
          "filtered": false,
          "severity": "safe"
        },
        "violence": {
          "filtered": false,
          "severity": "safe"
        }
      }
    }
  ],
  "created": 1728073417,
  "model": "o1-2024-12-17",
  "object": "chat.completion",
  "service_tier": null,
  "system_fingerprint": "fp_503a95a7d8",
  "usage": {
    "completion_tokens": 1843,
    "prompt_tokens": 20,
    "total_tokens": 1863,
    "completion_tokens_details": {
      "audio_tokens": null,
      "reasoning_tokens": 448
    },
    "prompt_tokens_details": {
      "audio_tokens": null,
      "cached_tokens": 0
    }
  },
  "prompt_filter_results": [
    {
      "prompt_index": 0,
      "content_filter_results": {
        "custom_blocklists": {
          "filtered": false
        },
        "hate": {
          "filtered": false,
          "severity": "safe"
        },
        "jailbreak": {
          "filtered": false,
          "detected": false
        },
        "self_harm": {
          "filtered": false,
          "severity": "safe"
        },
        "sexual": {
          "filtered": false,
          "severity": "safe"
        },
        "violence": {
          "filtered": false,
          "severity": "safe"
        }
      }
    }
  ]
}

Wysiłek rozumowania

Komunikaty dla deweloperów

Komunikaty programistyczne funkcjonalnie są takie same jak komunikaty "role": "developer" systemowe.

Dodanie komunikatu dla deweloperów do poprzedniego przykładu kodu wygląda następująco:

pip install openai --upgrade

from openai import AzureOpenAI
from azure.identity import DefaultAzureCredential, get_bearer_token_provider

token_provider = get_bearer_token_provider(
    DefaultAzureCredential(), "https://cognitiveservices.azure.com/.default"
)

client = AzureOpenAI(
  azure_endpoint = os.getenv("AZURE_OPENAI_ENDPOINT"), 
  azure_ad_token_provider=token_provider,
  api_version="2024-12-01-preview"
)

response = client.chat.completions.create(
    model="o1-new", # replace with the model deployment name of your o1-preview, or o1-mini model
    messages=[
        {"role": "developer","content": "You are a helpful assistant."}, # optional equivalent to a system message for reasoning models 
        {"role": "user", "content": "What steps should I think about when writing my first Python API?"},
    ],
    max_completion_tokens = 5000

)

print(response.model_dump_json(indent=2))

pip install openai --upgrade

from openai import AzureOpenAI

client = AzureOpenAI(
  azure_endpoint = os.getenv("AZURE_OPENAI_ENDPOINT"), 
  api_key=os.getenv("AZURE_OPENAI_API_KEY"),  
  api_version="2024-12-01-preview"
)

response = client.chat.completions.create(
    model="o1-new", # replace with the model deployment name of your o1 deployment.
    messages=[
        {"role": "developer","content": "You are a helpful assistant."}, # optional equivalent to a system message for reasoning models 
        {"role": "user", "content": "What steps should I think about when writing my first Python API?"},
    ],
    max_completion_tokens = 5000
)

print(response.model_dump_json(indent=2))

Dane wyjściowe języka Markdown

Domyślnie o3-mini modele i o1 nie będą próbować tworzyć danych wyjściowych zawierających formatowanie markdown. Typowy przypadek użycia, w którym to zachowanie jest niepożądane, jest to, że chcesz, aby model wyświetlał kod wyjściowy zawarty w bloku kodu markdown. Gdy model generuje dane wyjściowe bez formatowania markdown, utracisz funkcje, takie jak wyróżnianie składni i bloki kodu z możliwością kopiowania w interaktywnych środowiskach zabaw. Aby zastąpić to nowe domyślne zachowanie i zachęcić do dołączania języka Markdown w odpowiedziach modelu, dodaj ciąg Formatting re-enabled na początku komunikatu dla deweloperów.

Dodanie Formatting re-enabled do początku komunikatu dla deweloperów nie gwarantuje, że model będzie zawierać formatowanie markdown w odpowiedzi, zwiększa tylko prawdopodobieństwo. Znaleźliśmy z testów wewnętrznych, które Formatting re-enabled są mniej skuteczne w o1 modelu niż z o3-mini.

Aby poprawić wydajność Formatting re-enabled , można dodatkowo rozszerzyć początek komunikatu dewelopera, co często spowoduje wprowadzenie żądanych danych wyjściowych. Zamiast dodawać Formatting re-enabled do początku komunikatu dla deweloperów, możesz eksperymentować z dodawaniem bardziej opisowej instrukcji początkowej, takiej jak jedna z poniższych przykładów:

• Formatting re-enabled - please enclose code blocks with appropriate markdown tags.
• Formatting re-enabled - code output should be wrapped in markdown.

W zależności od oczekiwanych danych wyjściowych może być konieczne dalsze dostosowanie początkowego komunikatu dewelopera w celu kierowania konkretnego przypadku użycia.