Visual Studio'ya yapay zeka katmak için makine öğrenimi iş akışlarını otomatikleştirme
Visual Studio'ya yapay zeka katmak için makine öğrenimi iş akışlarını otomatikleştirme
Microsoft geliştiricisi bölümündeki veri bilimcileri ve mühendislerin makine öğrenimi operasyonları (MLOps) uygulamalarıyla başarılı bir deneyi nasıl yüksek trafikli bir ürün özelliğine dönüştürdüğünü görün.
Karşılaşılan zorluklar: Prototipten büyük ölçekte üretime
Geliştirici verimliliğini artırmayı amaçlayan altı aylık yapay zeka ve makine öğrenimi deneylerinin ardından, Microsoft geliştiricisi bölümündeki uygulamalı veri bilimcilerinden oluşan küçük bir ekip, bir geliştiricinin kodlama yaparken çağırması muhtemel C# yöntemlerini aktif olarak tahmin eden bir modele ulaştı.
Bu başarılı makine öğrenimi prototipi, yapay zeka destekli bir kod tahmin özelliği olan Visual Studio IntelliCodeiçin temel oluşturacaktı; ancak Visual Studio kullanıcılarının gereksinimlerini karşılamak için sıkı kalite, kullanılabilirlik ve ölçeklendirme testlerinden geçmeden önce değil. Mühendislik ekibini bir makine öğrenimi platformu oluşturmaya ve bu süreci otomatikleştirmeye davet etmeleri gerekecekti. Ve her iki ekibin de DevOps ilkelerini uçtan uca makine öğrenimi yaşam döngüsüne genişleten bir MLOps kültürünü benimsemesi gerekecekti.
Uygulamalı bilim ve mühendislik ekipleri birlikte, model eğitim sürecini yinelemek ve uygulamalı bilim ekibinin prototip aşamasında manuel olarak yaptığı işlerin çoğunu otomatikleştirmek için bir makine öğrenimi işlem hattı oluşturdu. Bu işlem hattı, IntelliCode'un 6 programlama dilini ölçeklendirmesine ve desteklemesine, kapsamlı bir açık kaynaklı GitHub depolarından kod örnekleri kullanarak yeni modelleri düzenli olarak eğitmesine şans tanıdı.
Karşılaşılan zorluklar: Prototipten büyük ölçekte üretime
Karşılaşılan zorluklar: Bulut işletme modelini benimseme
"Her ay çok büyük veri setleri üzerinde yoğun hesaplama gerektiren çok sayıda model eğitimi yapacağımız açıktı; bu da otomatik, ölçeklenebilir, uçtan uca bir makine öğrenimi hattına olan ihtiyacı daha da belirgin hale getiriyordu."
Gearard Boland, Baş Yazılım Mühendisliği Müdürü, Veri ve Yapay Zeka ekibi
MLOps ile içgörülerden yararlanma
IntelliCode yaygınlaştıkça, ekipler daha da iyi bir kullanıcı deneyimi tasarlama fırsatı buldu: her müşterinin özel kodlama alışkanlıklarına göre ekip tamamlama modelleri oluşturmak. Bu makine öğrenimi modellerinin kişiselleştirilmesi, bir Visual Studio veya Visual Studio Code kullanıcısı talep ettiğinde modellerin otomatik olarak eğitilmesini ve yayınlanmasını gerektirecektir. Ekipler, mevcut işlem hattını kullanarak bu işlevleri uygun ölçekte gerçekleştirmek için Azure Machine Learning, Azure Data Factory, Azure Batch ve Azure Pipelinesgibi Azure hizmetlerini kullandı.
Karşılaşılan zorluklar: Bulut işletme modelini benimseme
"Özel modeller için destek eklediğimizde, eğitim hattımızın ölçeklenebilirliği ve güvenilirliği çok daha önemli hale geldi"
Gearard Boland, Baş Yazılım Mühendisliği Müdürü, Veri ve Yapay Zeka ekibi
İki farklı perspektifi bir araya getiriyoruz
Makine öğrenimi işlem hatlarını oluşturmak için ekiplerin ortak bir dil konuşabilmeleri, en iyi uygulamaları paylaşabilmeleri ve daha iyi işbirliği yapabilmeleri için ortak standartlar ve yönergeler tanımlamaları gerekiyordu. Ayrıca birbirlerinin projeye yaklaşımlarını da anlamak zorundaydılar. Veri bilimi ekibi model oluşturma konusunda hızlı bir şekilde deneysel olarak çalışırken, mühendislik ekibi IntelliCode'un Visual Studio kullanıcılarının üretim düzeyindeki özelliklere yönelik beklentilerini karşılamasını sağlamaya odaklandı.
Bugün, makine öğrenimi işlem hattının tamamı (eğitim, değerlendirme, paketleme ve dağıtım) otomatik olarak çalışıyor ve Visual Studio ve Visual Studio Code kullanıcılarından gelen aylık 9.000'den fazla model oluşturma talebine hizmet veriyor. Ekipler, diğer Microsoft ürünlerinde ek yapay zeka özellikleri oluşturmak ve müşterilere daha da zengin deneyimler sunmak için işlem hatlarını kullanmanın yollarını arıyor.
