OpenAI API szimulálása

Az OpenAI-hoz csatlakoztatott alkalmazások létrehozásakor gyakran csak az alkalmazás egy része használja az OpenAI API-t. Ha az alkalmazás azon részein dolgozik, amelyek nem igényelnek valós válaszokat az OpenAI API-ból, a dev proxyval szimulálhatja a válaszokat. A szimulált válaszok használatával elkerülheti a szükségtelen költségeket. A OpenAIMockResponsePlugin rendszer egy Ollama-on futó helyi nyelvi modellt használ az OpenAI API-ból érkező válaszok szimulálásához.

Mielőtt elkezdené

Az OpenAI API-válaszok Dev Proxyval való szimulálásához telepítenie kell az Ollama-t a gépére. Az Ollama telepítéséhez kövesse az Ollama dokumentációjában található utasításokat.

A Dev Proxy alapértelmezés szerint a phi-3 nyelvi modellt használja. Egy másik modell használatához frissítse a tulajdonságot model a Dev Proxy konfigurációs fájljában.

Dev Proxy konfigurálása OpenAI API-válaszok szimulálásához

Az OpenAI API-válaszok Dev Proxyval történő szimulálásához engedélyeznie kell a OpenAIMockResponsePlugin beállítást a devproxyrc.json fájlban.

{
  "$schema": "https://raw.githubusercontent.com/dotnet/dev-proxy/main/schemas/v0.24.0/rc.schema.json",
  "plugins": [
    {
      "name": "OpenAIMockResponsePlugin",
      "enabled": true,
      "pluginPath": "~appFolder/plugins/dev-proxy-plugins.dll"
    }
  ]
}

Ezután konfigurálja a Dev Proxyt az OpenAI API-ra irányuló kérések elfogására. Az OpenAI a https://api.openai.com/v1/chat/completions végpont használatát javasolja, amely lehetővé teszi, hogy kihasználhassa a legújabb modelleket és funkciókat.

{
  // [...] trimmed for brevity
  "urlsToWatch": [
    "https://api.openai.com/v1/chat/completions"
  ]
}

Végül konfigurálja a Dev Proxyt helyi nyelvi modell használatára.

{
  // [...] trimmed for brevity
  "languageModel": {
    "enabled": true
  }
}

A teljes konfigurációs fájl így néz ki.

{
  "$schema": "https://raw.githubusercontent.com/dotnet/dev-proxy/main/schemas/v0.24.0/rc.schema.json",
  "plugins": [
    {
      "name": "OpenAIMockResponsePlugin",
      "enabled": true,
      "pluginPath": "~appFolder/plugins/dev-proxy-plugins.dll"
    }
  ],
  "urlsToWatch": [
    "https://api.openai.com/v1/chat/completions"
  ],
  "languageModel": {
    "enabled": true
  }
}

OpenAI API-válaszok szimulálása

Indítsa el az Ollama-t a phi-3 nyelvi modellel. A parancssorban futtassa a parancsot ollama run phi3.

Ezután indítsa el a fejlesztői proxy szolgáltatást. Ha az előre beállított beállítást használja, futtassa a parancsot devproxy -c "~appFolder/presets/simulate-openai/simulate-openai.json. Ha az aktuális munkakönyvtárban tárolt egyéni konfigurációs fájlt devproxyrc.jsonhasznál, futtassa a fájlt devproxy. A fejlesztői proxy ellenőrzi, hogy hozzáfér-e az Ollama nyelvi modellhez, és megerősíti, hogy készen áll az OpenAI API-válaszok szimulálására.

 info    OpenAIMockResponsePlugin: Checking language model availability...
 info    Listening on 127.0.0.1:8000...

Hotkeys: issue (w)eb request, (r)ecord, (s)top recording, (c)lear screen
Press CTRL+C to stop Dev Proxy

Futtassa az alkalmazást, és küldjön kéréseket az OpenAI API-nak. A Dev Proxy elfogja a kéréseket, és a helyi nyelvi modell használatával szimulálja a válaszokat.

Következő lépés

További információ az OpenAIMockResponsePluginről.

Példák

Lásd még a kapcsolódó Dev Proxy-mintákat:

• OpenAI API szimulálása