Bu makalede, kredi başvuru sahiplerinin sınırlayıcılığını ve varsayılan olasılıklarını tahmin etmek için Azure Machine Learning kullanan bir mimari açıklanmaktadır. Modelin tahminleri, başvuranın mali davranışını temel alır. Model, başvuranları sınıflandırmak ve her başvuru sahibi için bir uygunluk puanı sağlamak için çok sayıda veri noktası kullanır.
Apache®, Spark ve alev logosu, Apache Software Foundation'ın Birleşik Devletler ve/veya diğer ülkelerdeki tescilli ticari markaları veya ticari markalarıdır. Bu işaretlerin kullanılması Apache Software Foundation tarafından onaylanmamaktadır.
Mimari
Bu mimarinin bir Visio dosyasını indirin.
Veri akışı
Aşağıdaki veri akışı önceki diyagrama karşılık gelir:
Depolama: Veriler yapılandırılmışsa Azure Synapse Analytics havuzu gibi bir veritabanında depolanır. Eski SQL veritabanları sisteme tümleştirilebilir. Yarı yapılandırılmış ve yapılandırılmamış veriler bir veri gölüne yüklenebilir.
Alım ve ön işleme: Azure Synapse Analytics işlem hatları ve ETL işleme, yerleşik bağlayıcılar aracılığıyla Azure'da veya üçüncü taraf kaynaklarda depolanan verilere bağlanabilir. Azure Synapse Analytics, SQL, Spark, Azure Veri Gezgini ve Power BI kullanan birden çok analiz yöntemini destekler. Veri işlem hatları için mevcut Azure Data Factory düzenlemesini de kullanabilirsiniz.
İşleme: Azure Machine Learning, makine öğrenmesi modellerini geliştirmek ve yönetmek için kullanılır.
İlk işleme: Bu aşamada ham veriler, makine öğrenmesi modelini eğitecek bir seçilmiş veri kümesi oluşturmak için işlenir. Tipik işlemler veri türü biçimlendirmesi, eksik değerlerin belirtilmesi, özellik mühendisliği, özellik seçimi ve boyutsallığın azaltılmasıdır.
Eğitim: Eğitim aşamasında Azure Machine Learning, kredi riski modelini eğitmek ve en iyi modeli seçmek için işlenen veri kümesini kullanır.
Model eğitimi: Klasik makine öğrenmesi ve derin öğrenme modelleri dahil olmak üzere çeşitli makine öğrenmesi modellerini kullanabilirsiniz. Model performansını iyileştirmek için hiper parametre ayarlamayı kullanabilirsiniz.
Model değerlendirmesi: Azure Machine Learning, eğitilen her modelin performansını değerlendirir, böylece dağıtım için en iyi modeli seçebilirsiniz.
Model kaydı: Azure Machine Learning'de en iyi performansı gösteren modeli kaydedersiniz. Bu adım modeli dağıtım için kullanılabilir hale getirir.
c. Sorumlu yapay zeka: Sorumlu yapay zeka, yapay zeka sistemlerini güvenli, güvenilir ve etik bir şekilde geliştirmeye, değerlendirmeye ve dağıtmaya yönelik bir yaklaşımdır. Bu model, bir kredi isteği için onay veya reddetme kararı çıkardığından, Sorumlu yapay zeka ilkelerini uygulamanız gerekir.
Eşitlik ölçümleri , haksız davranışın etkisini değerlendirir ve risk azaltma stratejilerini etkinleştirir. Hassas özellikler ve öznitelikler veri kümesinde ve verilerin kohortlarında (alt kümeler) tanımlanır. Daha fazla bilgi için bkz . Model performansı ve eşitliği.
Yorumlanabilirlik , bir makine öğrenmesi modelinin davranışını ne kadar iyi anlayabileceğinizi gösteren bir ölçüdür. Sorumlu yapay zekanın bu bileşeni, modelin tahminlerinin insan tarafından anlaşılabilen açıklamalarını oluşturur. Daha fazla bilgi için bkz . Model yorumlanabilirliği.
Gerçek zamanlı makine öğrenmesi dağıtımı: İsteğin onay için hemen gözden geçirilmesi gerektiğinde gerçek zamanlı model çıkarımı kullanmanız gerekir.
- Yönetilen makine öğrenmesi çevrimiçi uç noktası. Gerçek zamanlı puanlama için uygun bir işlem hedefi seçmeniz gerekir.
- Krediler için çevrimiçi istekler, başvuru formundan veya kredi başvurusundan alınan girişlere göre gerçek zamanlı puanlama kullanır.
- Model puanlama için kullanılan karar ve giriş kalıcı depolamada depolanır ve gelecekte başvurmak üzere alınabilir.
Batch makine öğrenmesi dağıtımı: Çevrimdışı kredi işleme için model düzenli aralıklarla tetiklenecek şekilde zamanlanır.
- Yönetilen toplu iş uç noktası. Toplu çıkarım zamanlanır ve sonuç veri kümesi oluşturulur. Kararlar, başvuranın kredi değeri temelindedir.
- Toplu işlemeden elde edilen puanlamanın sonuç kümesi veritabanında veya Azure Synapse Analytics veri ambarında kalıcıdır.
Başvuru sahibi etkinliğiyle ilgili verilerin arabirimi: Başvuranın verdiği ayrıntılar, iç kredi profili ve modelin kararı, uygun veri hizmetlerinde hazırlanıp depolanır. Bu ayrıntılar, gelecekte puanlama için karar altyapısında kullanıldığından belgelenir.
- Depolama: Kredi işlemenin tüm ayrıntıları kalıcı depolamada tutulur.
- Kullanıcı arabirimi: Onay veya reddetme kararı başvuru sahibine sunulur.
Raporlama: İşlenen ve onaylanan veya reddedilen uygulamaların sayısı hakkında gerçek zamanlı içgörüler yöneticilere ve liderlere sürekli olarak sunulur. Rapor örnekleri arasında onaylanan tutarların neredeyse gerçek zamanlı raporları, oluşturulan kredi portföyü ve model performansı sayılabilir.
Bileşenler
- Azure Blob Depolama yapılandırılmamış veriler için ölçeklenebilir nesne depolama alanı sağlar. İkili dosyalar, etkinlik günlükleri ve belirli bir biçime uymayan dosyalar gibi dosyaları depolamak için iyileştirilmiştir.
- Azure Data Lake Depolama, Azure'da uygun maliyetli veri gölleri oluşturmaya yönelik depolama temelidir. Hiyerarşik klasör yapısı ve gelişmiş performans, yönetim ve güvenlik ile blob depolama sağlar. Yüzlerce gigabit aktarım hızı sağlarken birden çok petabayt bilgi sağlar.
- Azure Synapse Analytics, SQL ve Spark teknolojilerinin en iyilerini ve Azure Synapse Veri Gezgini ve işlem hatları için birleşik bir kullanıcı deneyimini bir araya getiren bir analiz hizmetidir. Power BI, Azure Cosmos DB ve Azure Machine Learning ile tümleşir. Hizmet hem ayrılmış hem de sunucusuz kaynak modellerini ve bu modeller arasında geçiş yapabilmeyi destekler.
- Azure SQL Veritabanı, bulut için oluşturulmuş, her zaman güncel, tam olarak yönetilen bir ilişkisel veritabanıdır.
- Azure Machine Learning , makine öğrenmesi proje yaşam döngülerini yönetmeye yönelik bir bulut hizmetidir. Veri keşfi, model oluşturma ve yönetim ile dağıtım için tümleşik bir ortam sağlar ve makine öğrenmesine yönelik kod öncelikli ve düşük kodlu/kod içermeyen yaklaşımları destekler.
- Power BI , Azure kaynaklarıyla kolay tümleştirme sağlayan bir görselleştirme aracıdır.
- Azure Uygulaması Hizmeti, altyapıyı yönetmeden web uygulamaları, mobil arka uçlar ve RESTful API'leri oluşturmanıza ve barındırmanıza olanak tanır. Desteklenen diller .NET, .NET Core, Java, Ruby, Node.js, PHP ve Python'dır.
Alternatifler
Makine öğrenmesi modellerini ve analiz iş yüklerinigeliştirmek, dağıtmak ve yönetmek için Azure Databricks'i kullanabilirsiniz. Hizmet, model geliştirme için birleşik bir ortam sağlar.
Senaryo ayrıntıları
Finans sektöründeki kuruluşların, kredi isteyen kişilerin veya işletmelerin kredi riskini tahmin etmeleri gerekir. Bu model, kredi başvuru sahiplerinin sınırlayıcılığını ve varsayılan olasılıklarını değerlendirir.
Kredi riski tahmini, müşteri tabanının mali sorumluluk temelinde segmentlere göre nüfus davranışının ve sınıflandırmasının derin analizini içerir. Diğer değişkenler arasında pazar faktörleri ve sonuçlar üzerinde önemli bir etkiye sahip olan ekonomik koşullar yer alır.
Zorluklar. Giriş verileri, iç müşteri etkinlik sistemleri gibi farklı sistemlerden gelen milyarlarca kaydı temel alan on milyonlarca müşteri profili ve müşteri kredi davranışı ve harcama alışkanlıkları hakkındaki verileri içerir. Ekonomik koşullar ve ülkenin/bölgenin pazar analizi hakkındaki üçüncü taraf verileri, yüzlerce GB dosyasının yüklenmesini ve bakımını gerektiren aylık veya üç aylık anlık görüntülerden gelebilir. Başvuru sahibi veya yarı yapılandırılmış müşteri verileri satırları hakkında kredi bürosu bilgileri ve verilerin bütünlüğünü doğrulamak için bu veri kümeleri ile kalite denetimleri arasında çapraz birleşimler gereklidir.
Veriler genellikle kredi bürolarından gelen müşteri bilgilerinin ve pazar analizinin geniş sütunlu tablolarından oluşur. Müşteri etkinliği, yapılandırılmamış olabilecek dinamik düzene sahip kayıtlardan oluşur. Veriler, müşteri hizmetleri notlarından ve başvuru sahibi etkileşim formlarından serbest biçimli metin olarak da kullanılabilir.
Bu büyük hacimli verilerin işlenmesi ve sonuçların güncel olduğundan emin olunabilmesi için kolaylaştırılmış işleme gerekir. Düşük gecikme süreli bir depolama ve alma işlemine ihtiyacınız vardır. Veri altyapısının farklı veri kaynaklarını destekleyecek şekilde ölçeklenebilmesi ve veri çevresini yönetme ve güvenliğini sağlama olanağı sağlaması gerekir. Makine öğrenmesi platformunun, birçok popülasyon segmentinde eğitilen, test edilen ve doğrulanan birçok modelin karmaşık analizini desteklemesi gerekir.
Veri duyarlılığı ve gizlilik. Bu model için veri işleme, kişisel verileri ve demografik ayrıntıları içerir. Popülasyonların profil oluşturmasını önlemeniz gerekir. Tüm kişisel verilere doğrudan görünürlük kısıtlanmalıdır. Kişisel verilere örnek olarak hesap numaraları, kredi kartı ayrıntıları, sosyal güvenlik numaraları, adlar, adresler ve posta kodları verilebilir.
Kredi kartı ve banka hesap numaraları her zaman gizlenmelidir. Bazı veri öğelerinin maskelenmesi ve her zaman şifrelenmesi gerekir ve bu da temel alınan bilgilere erişim sağlamaz, ancak analiz için kullanılabilir.
Bekleyen, aktarımdaki ve güvenli kuşatmalar aracılığıyla işleme sırasında verilerin şifrelenmesi gerekir. Veri öğelerine erişim bir izleme çözümünde günlüğe kaydedilir. Üretim sisteminin model dağıtımlarını ve işlemlerini tetikleyen onaylara sahip uygun CI/CD işlem hatları ile ayarlanması gerekir. Günlüklerin ve iş akışının denetlenmesi, tüm uyumluluk gereksinimleri için verilerle etkileşimler sağlamalıdır.
İşleniyor. Bu model analiz, bağlamsallaştırma ve model eğitimi ve dağıtımı için yüksek hesaplama gücü gerektirir. Model puanlaması, kredi kararlarının herhangi bir ırk, cinsiyet, etnik veya coğrafi konum sapmasını içermediğinden emin olmak için rastgele örneklerle doğrulanır. Daha sonra başvurmak için karar modelinin belgelenmesi ve arşivlenmesi gerekir. Karar sonuçlarında yer alan her faktör depolanır.
Veri işleme yüksek CPU kullanımı gerektirir. Veritabanı ve JSON biçiminde yapılandırılmış verilerin SQL işlemesini, veri çerçevelerinin Spark işlemesini veya çeşitli belge biçimlerinde terabaytlar halindeki bilgiler üzerinde büyük veri analizini içerir. Veri ELT/ETL işleri, en son verilerin değerine bağlı olarak düzenli aralıklarla veya gerçek zamanlı olarak zamanlanır veya tetiklenir.
Uyumluluk ve mevzuat çerçevesi. Gönderilen uygulama, model puanlamada kullanılan özellikler ve modelin sonuç kümesi dahil olmak üzere kredi işlemenin her ayrıntısının belgelenmesi gerekir. Model eğitim bilgileri, eğitim için kullanılan veriler ve eğitim sonuçları, gelecekteki başvuru ve denetim ve uyumluluk istekleri için kaydedilmelidir.
Batch ile gerçek zamanlı puanlama karşılaştırması. Belirli görevler proaktiftir ve önceden onaylanan bakiye aktarımları gibi toplu işler olarak işlenebilir. Çevrimiçi kredi hattı artışları gibi bazı istekler için gerçek zamanlı onay gerekir.
Online kredi isteklerinin durumuna gerçek zamanlı erişim başvuru sahibi tarafından sağlanmalıdır. Kredi veren finans kuruluşu kredi modelinin performansını sürekli izler ve kredi onayı durumu, onaylanan kredi sayısı, verilen dolar tutarları ve yeni kredi kaynaklarının kalitesi gibi ölçümler hakkında içgörüye ihtiyaç duyar.
Sorumlu AI
Sorumlu yapay zeka panosu, Sorumlu yapay zekayı uygulamanıza yardımcı olabilecek birden çok araç için tek bir arabirim sağlar. Sorumlu Yapay Zeka Standardı altı ilkeyi temel alır:
Azure Machine Learning'de eşitlik ve kapsayıcılık. Sorumlu yapay zeka panosunun bu bileşeni, hizmet kalitesi ayırma ve zararlarından kaçınarak haksız davranışları değerlendirmenize yardımcı olur. Cinsiyet, yaş, etnik köken ve diğer özellikler açısından tanımlanan hassas gruplar arasında eşitliği değerlendirmek için bunu kullanabilirsiniz. Değerlendirme sırasında eşitlik, eşitlik ölçümleriyle ölçülmektedir. Eşlik kısıtlamalarını kullanan Fairlearn açık kaynak paketinde risk azaltma algoritmalarını uygulamanız gerekir.
Azure Machine Learning'de güvenilirlik ve güvenlik. Sorumlu yapay zekanın hata analizi bileşeni size yardımcı olabilir:
- Bir model için hatanın nasıl dağıtıldığı hakkında ayrıntılı bilgi edinin.
- Genel karşılaştırmadan daha yüksek hata oranına sahip veri kohortlarını belirleyin.
Azure Machine Learning'de saydamlık. Saydamlığın önemli bir parçası, özelliklerin makine öğrenmesi modelini nasıl etkilediğini anlamaktır.
- Model yorumlanabilirliği , modelin davranışını neyin etkilediğini anlamanıza yardımcı olur. Modelin tahminlerinin insan tarafından anlaşılabilen açıklamalarını oluşturur. Bu anlayış, modele güvenebileceğinizden emin olmanıza yardımcı olur ve hata ayıklamanıza ve geliştirmenize yardımcı olur. InterpretML , cam kutu modellerinin yapısını veya kara kutu derin sinir ağı modellerindeki özellikler arasındaki ilişkiyi anlamanıza yardımcı olabilir.
- Karşıt durum durumu , bir makine öğrenmesi modelini özellik değişikliklerine ve pertürbasyonlarına nasıl tepki verdiği konusunda anlamanıza ve hatalarını ayıklamanıza yardımcı olabilir.
Azure Machine Learning'de gizlilik ve güvenlik. Makine öğrenmesi yöneticilerinin modellerin dağıtımını geliştirmek ve yönetmek için güvenli bir yapılandırma oluşturması gerekir. Güvenlik ve idare özellikleri , kuruluşunuzun güvenlik ilkelerine uymanıza yardımcı olabilir. Diğer araçlar modellerinizi değerlendirmenize ve güvenliğini sağlamanıza yardımcı olabilir.
Azure Machine Learning'de sorumluluk. Makine öğrenmesi işlemleri (MLOps), yapay zeka iş akışlarının verimliliğini artıran DevOps ilkelerini ve uygulamalarını temel alır. Azure Machine Learning, MLOps özelliklerini uygulamanıza yardımcı olabilir:
- Modelleri kaydetme, paketleme ve dağıtma
- Modellerdeki değişikliklere yönelik bildirimler ve uyarılar alma
- Uçtan uca yaşam döngüsü için idare verilerini yakalama
- İşlem sorunları için uygulamaları izleme
Bu diyagramda Azure Machine Learning'in MLOps özellikleri gösterilmektedir:
Olası kullanım örnekleri
Bu çözümü aşağıdaki senaryolara uygulayabilirsiniz:
- Finans: Hedeflenen pazarlama kampanyaları için müşterilerin finansal analizini veya müşterilerin satışlar arası analizini alın.
- Sağlık: Hasta bilgilerini, tedavi tekliflerini önermek için giriş olarak kullanın.
- Konukseverlik: Oteller, uçuşlar, yolcu paketleri ve üyelikler için teklifler önermek için bir müşteri profili oluşturun.
Dikkat edilmesi gereken noktalar
Bu önemli noktalar, bir iş yükünün kalitesini artırmak için kullanabileceğiniz bir dizi yol gösteren ilke olan Azure İyi Tasarlanmış Çerçeve'nin yapı taşlarını uygular. Daha fazla bilgi için bkz . Microsoft Azure İyi Tasarlanmış Çerçeve.
Güvenlik
Güvenlik, kasıtlı saldırılara ve değerli verilerinizin ve sistemlerinizin kötüye kullanılmasına karşı güvence sağlar. Daha fazla bilgi için bkz . Güvenlik sütununa genel bakış.
Azure çözümleri derinlemesine savunma ve Sıfır Güven bir yaklaşım sağlar.
Bu mimaride aşağıdaki güvenlik özelliklerini uygulamayı göz önünde bulundurun:
- Ayrılmış Azure hizmetlerini sanal ağlara dağıtma
- Azure SQL Veritabanı güvenlik özellikleri
- Key Vault kullanarak veri fabrikasındaki kimlik bilgilerinin güvenliğini sağlama
- Azure Machine Learning için kurumsal güvenlik ve idare
- Synapse Analytics Çalışma Alanı için Azure güvenlik temeli
Maliyet iyileştirme
Maliyet iyileştirmesi gereksiz giderleri azaltmak ve operasyonel verimlilikleri iyileştirmektir. Daha fazla bilgi için bkz . Maliyet iyileştirme sütununa genel bakış.
Bu çözümü uygulama maliyetini tahmin etmek için Azure fiyatlandırma hesaplayıcısını kullanın.
Ayrıca şu kaynakları da göz önünde bulundurun:
- Azure Synapse Analytics maliyetlerini planlama ve yönetme
- Azure Machine Learning maliyetlerini planlama ve yönetme
Operasyonel mükemmellik
Operasyonel mükemmellik, bir uygulamayı dağıtan ve üretimde çalışır durumda tutan operasyon süreçlerini kapsar. Daha fazla bilgi için bkz . Operasyonel mükemmellik sütununa genel bakış.
Daha kolay yönetim ve bakım için makine öğrenmesi çözümlerinin ölçeklenebilir ve standartlaştırılmış olması gerekir. Yeniden eğitme döngüleri ve modellerin otomatik yeniden dağıtımları ile çözümünüzün sürekli çıkarımları desteklediğinden emin olun.
Daha fazla bilgi için bkz . Azure MLOps (v2) çözüm hızlandırıcısı.
Performans verimliliği
Performans verimliliği, kullanıcılar tarafından anlamlı bir şekilde yerleştirilen talepleri karşılamak amacıyla iş yükünüzü ölçeklendirme becerisidir. Daha fazla bilgi için bkz . Performans verimliliği sütununa genel bakış.
- Ölçeklenebilir çözümler tasarlama hakkında daha fazla bilgi için bkz . Performans verimliliği denetim listesi.
- Düzenlenen sektörler hakkında bilgi için bkz . Düzenlemeye tabi sektörlerde yapay zeka ve makine öğrenmesi girişimlerini ölçeklendirme.
- SQL, Spark veya sunucusuz SQL havuzlarıyla Azure Synapse Analytics ortamınızı yönetin.
Katkıda Bulunanlar
Bu makale Microsoft tarafından yönetilir. Başlangıçta aşağıdaki katkıda bulunanlar tarafından yazılmıştır.
Asıl yazar:
- Charitha Basani | Üst Düzey Bulut Çözümü Mimarı
Diğer katkıda bulunan:
- Mick Alberts | Teknik Yazar
Genel olmayan LinkedIn profillerini görmek için LinkedIn'de oturum açın.
Sonraki adımlar
- Azure Machine Learning için Azure güvenlik temeli
- Azure Synapse Analytics
- Makine öğrenmesi modellerini Azure'a dağıtma
- Sorumlu yapay zeka nedir?