Azure Databricks'te DSPy kullanarak üretken yapay zeka uygulamaları oluşturma
Bu makalede DSPy açıklanır ve oluşturucu yapay zeka aracıları oluşturmak ve iyileştirmek için Azure Databricks'te DSPy'nin nasıl kullanılacağını gösteren örnek not defterleri sağlanır.
DSPy nedir?
DSPy, üretken yapay zeka aracılarını program aracılığıyla tanımlamaya ve iyileştirmeye yönelik bir çerçevedir. DSPy, performansı geliştirmek için istem mühendisliğini otomatikleştirebilir ve LLM ince ayarlarını düzenleyebilir.
DSPy, aracı geliştirmeyi basitleştiren ve aracı kalitesini geliştiren çeşitli bileşenlerden oluşur:
- Modülleri: DSPy'de bunlar, soruları yanıtlama veya özetleme gibi belirli metin dönüşümlerini işleyen bileşenlerdir. Geleneksel el yazılarıyla yazılmış istemlerin yerini alır ve örneklerden bilgi edinerek bunları daha uyarlanabilir hale getirir.
- İmzalar: Modülün giriş ve çıkış davranışının doğal dilde açıklaması. Örneğin, "soru -> yanıt", modülün giriş olarak bir soru alıp yanıt döndürmesi gerektiğini belirtir.
- derleyici
: Bu DSPy'nin iyileştirme aracıdır. Daha iyi istemler oluşturarak veya modellerde ince ayar yaparak modülleri performans ölçümünü karşılayacak şekilde ayarlayarak LM işlem hatlarını geliştirir. - Programı (DSPy): Karmaşık görevleri gerçekleştirmek için işlem hattına bağlı modül kümesi. DSPy programları esnektir ve derleyiciyi kullanarak bunları iyileştirmenize ve uyarlamanıza olanak sağlar.
Metin sınıflandırıcı DSPy programı oluşturma
Aşağıdaki not defteri, metin sınıflandırması gerçekleştiren DSPy programının nasıl oluşturulacağını gösterir. Bu örnekte DSPy'nin nasıl çalıştığı ve kullandığı bileşenler gösterilmektedir.
DSPy programı için metin sınıflandırıcı not defteri oluşturma
RAG için DSPy programı oluşturma
Bu not defterleri, DSPy kullanarak temel bir RAG programı oluşturmayı ve iyileştirmeyi gösterir. Bu not defterleri sunucusuz işlem kullandığınızı varsayar ve Databricks Runtime sürümünden bağımsız olarak çalıştıklarından emin olmak için paketleri not defteri düzeyinde yükler.
Bölüm 1: RAG DSPy program not defteri için veri ve vektör arama dizini hazırlama
Bölüm 2: RAG not defteri için DSPy programı oluşturma ve iyileştirme
LangChain'i DSPy'ye geçirme
Bu not defterleri, LangChain model kodunu DSPy'ye geçirmeyi ve daha iyi performans için iyileştirmeyi gösterir. Bu not defterleri sunucusuz işlem kullandığınızı varsayar ve Databricks Runtime sürümünden bağımsız olarak çalıştıklarından emin olmak için paketleri not defteri düzeyinde yükler.