Azure Data Factory: Görsel Araçlar genel önizlemede etkinleştirildi

Azure Data Factory (ADF) v2 genel önizlemesi, 25 Eylül 2017'de Microsoft Ignite'ta duyuruldu. ADF v2 ile, ADF uygulama modeline esneklik getirdik ve artık Python, .Net, Powershell, REST API'ler, ARM şablonları gibi çeşitli programlama arabirimlerinde döngü, dallanma, koşullu yapılar, isteğe bağlı yürütmeler ve esnek zamanlamayı kolaylaştıran denetim akışı yapılarını etkinleştirdik. Tutarlı olarak aldığımız müşteri geri bildirimlerinden biri de zengin, etkileşimli bir görsel yazma ve izleme deneyimini etkinleştirerek kullanıcıların herhangi bir uyuşmazlık yaşamadan veri tümleştirme işlem hatlarını oluşturmasına, yapılandırmasına, test etmesine, dağıtmasına ve izlemesine olanak tanımaktı. Geri bildirimlerinize kulak verdik; ADF v2 için görsel araçların kullanıma sunulduğunu duyurmaktan dolayı mutluyuz. ADF görsel araçlarının temel amacı tek bir kod satırı bile yazmaya gerek kalmadan işlem hatlarını hızla çalıştırmaya başlayarak ADF ile üretken çalışmanızı sağlamaktır. Kod içermeyen basit ve sezgisel bir arabirim kullanarak etkinlikleri işlem hattı tuvaline sürükleyip bırakabilir, test çalıştırmaları yapabilir, tekrar tekrar hata ayıklayabilir, işlem hattı çalıştırmalarınızı dağıtabilir ve izleyebilirsiniz. Bu sürümle birlikte, etkinleştirilen görsel yazma ve izleme özelliklerinin kullanımına yönelik rehberli turlar sağlıyoruz ve ayrıca bize değerli geri bildirimler verebilirsiniz.

ADF v2'ye yönelik görsel araçlarla, sezgisel deneyimler sağlayarak hem yeni hem de ileri düzey kullanıcıların üretkenliğini ve verimliliğini artırmayı amaçlıyoruz. Sağlanan v2 veri fabrikası dikey pencerenizde Yazar ve İzleyici kutucuğuna tıklayarak çalışmaya başlayabilirsiniz.

 

ADF v2'de yeni görsel araçlarla etkinleştirilen harika özelliklerden bazılarını gözden geçirin. Aşağıdaki kısa videoyu da izleyebilirsiniz.

 

Hızla Kullanmaya Başlayın

1. İlk ADF v2 işlem hattınızı oluşturun

2. Kopyalama sihirbazını kullanarak bir dizi veri kaynağından hızla Veri Kopyalayın

3. SSIS paketlerini lift-and-shift ile Azure'a taşımak için SSIS IR'yi yapılandırın

4. Kaynak denetimi, işbirliği ve sürüm oluşturma gibi işlemler için kod deposu (VSTS GIT) kurun.

Görsel Yazma

Denetim Akışı İşlem Hatları Yazma

İşlem hatları oluşturun, etkinlikleri sürükleyip bırakın, bunları başarı, başarısızlık, tamamlanma durumuna göre bağlayın.

Azure'da ve Şirket İçinde Barındırılan Tümleştirme çalışma zamanları oluşturun

Karma veri hareketi için şirket içinde barındırılan tümleştirme çalışma zamanı veya SSIS paketlerini lift-and-shift ile Azure'a taşımak için bir Azure-SSIS IR oluşturun. Veri depolarınıza veya işlemlerinize bağlı hizmet bağlantıları oluşturun.

Azure işlemleri üzerinde çalışan tüm denetim akışı etkinlikleri için destek

Denetim Akışı Etkinlikleri:

• HDInsight Hive, HDInsight Pig, HDInsight Map Reduce, HDI Streaming, HDI Spark, U-SQL, Saklı Yordam, Web, For Each, Meta Veri Edinme, Arama, İşlem Hattı Yürütme

Azure İşlemleri Desteği:

• HDI (isteğe bağlı, BYOC), ADLA, Azure Batch

Yinelemeli geliştirme ve hata ayıklama

İşlem hattında tetikleyici eklemeden ve isteğe bağlı veya planlı olarak çalıştırmadan önce Test Çalıştırmaları yapın.

İşlem hatlarını ve veri kümelerini parametreleştirin

İfadeleri, sistem değişkenlerini kullanarak parametreleştirin.

Zengin Doğrulama Desteği

Artık işlem hatlarınızda doğrulama yaparak eksik özellik yapılandırmalarını veya yanlış yapılandırmaları öğrenebilirsiniz. Doğrudan işlem hattı tuvalinde Doğrula düğmesine tıklayın. Bu, yan çekmecede doğrulama çıkışını oluşturur. Bundan sonra her girdiye tıklayarak doğrudan eksik doğrulamanın bulunduğu konuma gidebilirsiniz.

İşlem hatlarını tetikleyin

İsteğe bağlı olarak tetikleyin, işlem hatlarını planlı çalıştırın.

VSTS GIT kullanın

Kaynak denetimi, işbirliği ve sürüm oluşturma gibi işlemler için VSTS GIT.

Veri Kopyalama

Veri Depolama Alanları (65)

65 veri deposu için destek. Kullanıcıların yalnızca yapılandırma değerlerini sağlamasını gerektiren birinci sınıf desteğe sahip 18 depo. Kalan 47 depo JSON ile kullanılabilir.

Birinci sınıf desteğe sahip 18 depo:

• Azure Blob, Azure CosmosDB, MySQL için Azure Veritabanı, Azure Data Lake Store, Amazon Redshift, Amazon S3, Azure SQL DW, Azure SQL, Azure Tablosu, Dosya Sistemi, HDFS, MySQL, ODBC, Oracle, Salesforce, SAP HANA, SAP BW, SQL Server

JSON desteğine sahip 47 depo:

• Arama Dizini, Cassandra, HTTP dosyası, Mongo DB, OData, İlişkisel tablo, Dynamics 365, Dynamics CRM, Web tablosu, AWS Marketplace, PostgreSQL, Concur, Couchbase, Drill, Oracle Eloqua, Google Big Query, Greenplum, HBase, Hive, HubSpot, Apache Impala, Jira, Magento, MariaDB, Marketo, PayPal, Phoenix, Presto, QuickBooks, ServiceNow, Shopify, Spark, Square, Xero, Zoho, DB2, FTP, GE Historian, Informix, Microsoft Access, MongoDB, SAP Cloud for Customer

Bir dizi veri kaynağından hızla veri kopyalamak için kopyalama sihirbazını kullanın

Tanıdık ADF v1 kopyalama sihirbazı şimdi bir kerelik hızlı içeri aktarma yapmak için ADF v2'de kullanılabilir. Kopyalama Sihirbazı yazma tuvalinde kopyalama etkinlikleriyle işlem hatları oluşturur. Kopyalama etkinlikleri artık Spark, USQL, Saklı Yordam gibi diğer etkinlikleri başarı durumunda, hata durumunda, vb. çalıştıracak şekilde genişletilebilir ve eksiksiz bir denetim akışı işlem hattı oluşturur.

Rehberli tur

Sol alt kısımdaki Bilgi Simgesine tıklayın. Ardından Rehberli tur'a tıklayarak işlem hattı ve etkinlik çalıştırmalarınızı görsel olarak izlemeye yönelik adım adım yönergeleri alabilirsiniz.

Geri Bildirim

Bize çeşitli özellikler veya karşılaşmış olabileceğiniz sorunlarla ilgili geri bildirim sağlamak için Geri Bildirim simgesine tıklayın.

Veri fabrikasını seçin

Sol üst kısımdaki Veri Fabrikası simgesinin üzerine gelin. İzleyebileceğiniz Azure aboneliklerinin ve veri fabrikalarının listesini görmek için Ok simgesine tıklayın.

Görsel İzleme

Liste Görünümünde İzleme

Basit bir liste görünümü arabiriminde işlem hattı, etkinlik ve tetikleyici çalıştırmalarını izleyin. Tüm çalıştırmalar yerel tarayıcının saat diliminde görüntülenir. Saat dilimini değiştirebilirsiniz ve tüm tarih saat alanları seçilen saat dilimine uygun hale getirilir.

İşlem Hattı Çalıştırmalarını İzleme:

Data Factory v2 işlem hatlarınız için her işlem hattı çalıştırmasının gösterildiği liste görünümü.

Etkinlik Çalıştırmalarını İzleme:

Her işlem hattı çalıştırmasına karşılık gelen etkinlik çalıştırmalarının gösterildiği liste görünümü. Her işlem hattı çalıştırmasının etkinlik çalıştırmalarını görüntülemek için, Eylemler sütunun altındaki Etkinlik Çalıştırmaları simgesine tıklayın.

Önemli not: İşlem hattı ve etkinlik çalıştırmaları listesini yenilemek için en üstteki Yenile simgesine tıklamalısınız. Otomatik yenileme şu anda desteklenmiyor.

Tetikleyici Çalıştırmalarını İzleme:

Zengin sıralama ve filtreleme

İşlem hattı çalıştırmalarını Çalıştırma Başlangıcı'na göre azalan/artan düzende sıralayın ve işlem hattı çalıştırmalarına işlem hattı adı, çalıştırma başlangıcı ve çalıştırma durumuna göre filtre uygulayın.

Liste görünümüne sütunları ekleme/kaldırma

Liste görünümü üst bilgisine sağ tıklayın ve liste görünümünde gösterilmesini istediğiniz sütunları seçin.

Liste görünümünde sütun genişliklerini yeniden düzenleme

Liste görünümünde yalnızca sütun üst bilgisinin üzerinde bekleyerek sütun genişliklerini artırın ve azaltın.

Tümleştirme Çalışma Zamanlarını İzleme

Şirket İçinde Barındırılan, Azure, Azure-SSIS Tümleştirmesi çalışma zamanlarınızın durumunu izleyin.

İşlem hattı çalışma zamanlarını iptal etme/yeniden çalıştırma

İşlem hattı çalıştırmasını iptal edin veya önceden tanımlanmış parametrelerle yeniden çalıştırın.

Bu ADF v2 görsel araçlarının ilk genel sürümüdür. Kullanıma sunulan her öğeyi müşteri geri bildirimleri temelinde sürekli yeni özelliklerle yenilemeye çalışıyoruz. ADF v2 görsel araçları hakkında daha fazla bilgi edinin ve ayrıntılı kullanım adımlarını öğrenin.

Azure Data Factory kullanarak kolayca ve hızla işlem hatları oluşturmaya başlayın. Özellik istekleriniz varsa veya geri bildirim sağlamak istiyorsanız lütfen Azure Data Factory forumunu ziyaret edin.