Vytváření generativních AI aplikací pomocí DSPy na Azure Databricks
Tento článek popisuje DSPy a poskytuje ukázkové poznámkové bloky, které ukazují, jak používat DSPy v Azure Databricks k vytváření a optimalizaci generujících agentů AI.
Co je DSPy?
DSPy je architektura pro programové definování a optimalizaci generujících agentů AI. DSPy dokáže automatizovat navrhování podnětů a koordinovat vyladění LLM za účelem zlepšení výkonu.
DSPy se skládá z několika komponent, které zjednodušují vývoj agenta a zlepšují kvalitu agenta:
- moduly: V DSPy se jedná o komponenty, které zpracovávají konkrétní transformace textu, jako jsou odpovědi na otázky nebo shrnutí. Nahrazují tradiční ručně napsané výzvy a můžou se učit z příkladů, což jim umožňuje přizpůsobitelnost.
- Podpisy: Popis vstupu a výstupu modulu v přirozeném jazyce. Například "otázka –> odpověď" určuje, že modul by měl jako vstup přijmout otázku a vrátit odpověď.
- Kompilátor: Toto je optimalizační nástroj DSPy. Vylepšuje pracovní postupy LM úpravou modulů tak, aby splňovaly metriku výkonu, a to buď generováním lepších podnětů, nebo vyladěním modelů.
- Program (DSPy): Soubor modulů propojených do řetězce pro provádění složitých úloh. Programy DSPy jsou flexibilní a umožňují optimalizovat a přizpůsobovat je pomocí kompilátoru.
Vytvořte program DSPy pro klasifikaci textu
Následující poznámkový blok ukazuje, jak vytvořit program DSPy, který provádí klasifikaci textu. Tento příklad ukazuje, jak DSPy funguje, a komponenty, které používá.
Vytvořte poznámkový blok programu DSPy pro klasifikátor textů
Získej poznámkový blok
Vytvoření programu DSPy pro RAG
Tyto poznámkové bloky ukazují, jak vytvořit a optimalizovat základní program RAG pomocí DSPy. Tyto poznámkové bloky předpokládají, že používáte bezserverovou výpočetní kapacitu a instalují balíčky na úrovni jednotlivého notebooku, aby se zajistilo, že běží nezávisle na verzi Databricks Runtime.
Část 1: Příprava indexu vyhledávání dat a vektorů pro poznámkový blok programu RAG DSPy
Část 2: Vytvořte a optimalizujte program DSPy pro poznámkový sešit RAG
Získání poznámkového bloku
Migrace LangChain do DSPy
Tyto poznámkové bloky ukazují, jak migrovat kód modelu LangChain do DSPy a optimalizovat ho pro lepší výkon. Tyto poznámkové bloky předpokládají, že používáte bezserverové výpočty, a instalují balíčky na úrovni poznámkového bloku, aby zajistily, že budou fungovat nezávisle na verzi Databricks Runtime.
Migrace kódu modelu LangChain do poznámkového bloku DSPy
Optimalizujte migrovaný poznámkový blok modelu DSPy
Získejte poznámkový blok