Gezintiyi Atla

Azure Data Factory: Görsel Araçlar genel önizlemede etkinleştirildi

16 Ocak, 2018 tarihinde gönderildi

Senior Program Manager, Azure Data Factory

Azure Data Factory (ADF) v2 genel önizlemesi, 25 Eylül 2017'de Microsoft Ignite'ta duyuruldu. ADF v2 ile, ADF uygulama modeline esneklik getirdik ve artık Python, .Net, Powershell, REST API'ler, ARM şablonları gibi çeşitli programlama arabirimlerinde döngü, dallanma, koşullu yapılar, isteğe bağlı yürütmeler ve esnek zamanlamayı kolaylaştıran denetim akışı yapılarını etkinleştirdik. Tutarlı olarak aldığımız müşteri geri bildirimlerinden biri de zengin, etkileşimli bir görsel yazma ve izleme deneyimini etkinleştirerek kullanıcıların herhangi bir uyuşmazlık yaşamadan veri tümleştirme işlem hatlarını oluşturmasına, yapılandırmasına, test etmesine, dağıtmasına ve izlemesine olanak tanımaktı. Geri bildirimlerinize kulak verdik; ADF v2 için görsel araçların kullanıma sunulduğunu duyurmaktan dolayı mutluyuz. ADF görsel araçlarının temel amacı tek bir kod satırı bile yazmaya gerek kalmadan işlem hatlarını hızla çalıştırmaya başlayarak ADF ile üretken çalışmanızı sağlamaktır. Kod içermeyen basit ve sezgisel bir arabirim kullanarak etkinlikleri işlem hattı tuvaline sürükleyip bırakabilir, test çalıştırmaları yapabilir, tekrar tekrar hata ayıklayabilir, işlem hattı çalıştırmalarınızı dağıtabilir ve izleyebilirsiniz. Bu sürümle birlikte, etkinleştirilen görsel yazma ve izleme özelliklerinin kullanımına yönelik rehberli turlar sağlıyoruz ve ayrıca bize değerli geri bildirimler verebilirsiniz.

ADF v2'ye yönelik görsel araçlarla, sezgisel deneyimler sağlayarak hem yeni hem de ileri düzey kullanıcıların üretkenliğini ve verimliliğini artırmayı amaçlıyoruz. Sağlanan v2 veri fabrikası dikey pencerenizde Yazar ve İzleyici kutucuğuna tıklayarak çalışmaya başlayabilirsiniz.

resim

 

ADF v2'de yeni görsel araçlarla etkinleştirilen harika özelliklerden bazılarını gözden geçirin. Aşağıdaki kısa videoyu da izleyebilirsiniz.

 

Hızla Kullanmaya Başlayın

  1. İlk ADF v2 işlem hattınızı oluşturun

  2. Kopyalama sihirbazını kullanarak bir dizi veri kaynağından hızla Veri Kopyalayın

  3. SSIS paketlerini lift-and-shift ile Azure'a taşımak için SSIS IR'yi yapılandırın

  4. Kaynak denetimi, işbirliği ve sürüm oluşturma gibi işlemler için kod deposu (VSTS GIT) kurun.

clip_image001[3]

Görsel Yazma

Denetim Akışı İşlem Hatları Yazma

İşlem hatları oluşturun, etkinlikleri sürükleyip bırakın, bunları başarı, başarısızlık, tamamlanma durumuna göre bağlayın.

resim

Azure'da ve Şirket İçinde Barındırılan Tümleştirme çalışma zamanları oluşturun

Karma veri hareketi için şirket içinde barındırılan tümleştirme çalışma zamanı veya SSIS paketlerini lift-and-shift ile Azure'a taşımak için bir Azure-SSIS IR oluşturun. Veri depolarınıza veya işlemlerinize bağlı hizmet bağlantıları oluşturun.

clip_image001

Azure işlemleri üzerinde çalışan tüm denetim akışı etkinlikleri için destek

Denetim Akışı Etkinlikleri:

  • HDInsight Hive, HDInsight Pig, HDInsight Map Reduce, HDI Streaming, HDI Spark, U-SQL, Saklı Yordam, Web, For Each, Meta Veri Edinme, Arama, İşlem Hattı Yürütme

Azure İşlemleri Desteği:

  • HDI (isteğe bağlı, BYOC), ADLA, Azure Batch

Yinelemeli geliştirme ve hata ayıklama

İşlem hattında tetikleyici eklemeden ve isteğe bağlı veya planlı olarak çalıştırmadan önce Test Çalıştırmaları yapın.

resim

İşlem hatlarını ve veri kümelerini parametreleştirin

İfadeleri, sistem değişkenlerini kullanarak parametreleştirin.

resim

Zengin Doğrulama Desteği

Artık işlem hatlarınızda doğrulama yaparak eksik özellik yapılandırmalarını veya yanlış yapılandırmaları öğrenebilirsiniz. Doğrudan işlem hattı tuvalinde Doğrula düğmesine tıklayın. Bu, yan çekmecede doğrulama çıkışını oluşturur. Bundan sonra her girdiye tıklayarak doğrudan eksik doğrulamanın bulunduğu konuma gidebilirsiniz.

resim

İşlem hatlarını tetikleyin

İsteğe bağlı olarak tetikleyin, işlem hatlarını planlı çalıştırın.

resim

VSTS GIT kullanın

Kaynak denetimi, işbirliği ve sürüm oluşturma gibi işlemler için VSTS GIT.

resim

Veri Kopyalama

Veri Depolama Alanları (65)

65 veri deposu için destek. Kullanıcıların yalnızca yapılandırma değerlerini sağlamasını gerektiren birinci sınıf desteğe sahip 18 depo. Kalan 47 depo JSON ile kullanılabilir.

Birinci sınıf desteğe sahip 18 depo:

  • Azure Blob, Azure CosmosDB, MySQL için Azure Veritabanı, Azure Data Lake Store, Amazon Redshift, Amazon S3, Azure SQL DW, Azure SQL, Azure Tablosu, Dosya Sistemi, HDFS, MySQL, ODBC, Oracle, Salesforce, SAP HANA, SAP BW, SQL Server

JSON desteğine sahip 47 depo:

  • Arama Dizini, Cassandra, HTTP dosyası, Mongo DB, OData, İlişkisel tablo, Dynamics 365, Dynamics CRM, Web tablosu, AWS Marketplace, PostgreSQL, Concur, Couchbase, Drill, Oracle Eloqua, Google Big Query, Greenplum, HBase, Hive, HubSpot, Apache Impala, Jira, Magento, MariaDB, Marketo, PayPal, Phoenix, Presto, QuickBooks, ServiceNow, Shopify, Spark, Square, Xero, Zoho, DB2, FTP, GE Historian, Informix, Microsoft Access, MongoDB, SAP Cloud for Customer

resim

Bir dizi veri kaynağından hızla veri kopyalamak için kopyalama sihirbazını kullanın

Tanıdık ADF v1 kopyalama sihirbazı şimdi bir kerelik hızlı içeri aktarma yapmak için ADF v2'de kullanılabilir. Kopyalama Sihirbazı yazma tuvalinde kopyalama etkinlikleriyle işlem hatları oluşturur. Kopyalama etkinlikleri artık Spark, USQL, Saklı Yordam gibi diğer etkinlikleri başarı durumunda, hata durumunda, vb. çalıştıracak şekilde genişletilebilir ve eksiksiz bir denetim akışı işlem hattı oluşturur.

resim

 

Rehberli tur

Sol alt kısımdaki Bilgi Simgesine tıklayın. Ardından Rehberli tur'a tıklayarak işlem hattı ve etkinlik çalıştırmalarınızı görsel olarak izlemeye yönelik adım adım yönergeleri alabilirsiniz.

image_thumb55

Geri Bildirim

Bize çeşitli özellikler veya karşılaşmış olabileceğiniz sorunlarla ilgili geri bildirim sağlamak için Geri Bildirim simgesine tıklayın.

image_thumb56

Veri fabrikasını seçin

Sol üst kısımdaki Veri Fabrikası simgesinin üzerine gelin. İzleyebileceğiniz Azure aboneliklerinin ve veri fabrikalarının listesini görmek için Ok simgesine tıklayın.

image_thumb57

Görsel İzleme

Liste Görünümünde İzleme

Basit bir liste görünümü arabiriminde işlem hattı, etkinlik ve tetikleyici çalıştırmalarını izleyin. Tüm çalıştırmalar yerel tarayıcının saat diliminde görüntülenir. Saat dilimini değiştirebilirsiniz ve tüm tarih saat alanları seçilen saat dilimine uygun hale getirilir.

İşlem Hattı Çalıştırmalarını İzleme:

Data Factory v2 işlem hatlarınız için her işlem hattı çalıştırmasının gösterildiği liste görünümü.

image_thumb51

Etkinlik Çalıştırmalarını İzleme:

Her işlem hattı çalıştırmasına karşılık gelen etkinlik çalıştırmalarının gösterildiği liste görünümü. Her işlem hattı çalıştırmasının etkinlik çalıştırmalarını görüntülemek için, Eylemler sütunun altındaki Etkinlik Çalıştırmaları simgesine tıklayın.

image_thumb52

Önemli not: İşlem hattı ve etkinlik çalıştırmaları listesini yenilemek için en üstteki Yenile simgesine tıklamalısınız. Otomatik yenileme şu anda desteklenmiyor.

Tetikleyici Çalıştırmalarını İzleme:

resim

Zengin sıralama ve filtreleme

İşlem hattı çalıştırmalarını Çalıştırma Başlangıcı'na göre azalan/artan düzende sıralayın ve işlem hattı çalıştırmalarına işlem hattı adı, çalıştırma başlangıcı ve çalıştırma durumuna göre filtre uygulayın.

image_thumb53

Liste görünümüne sütunları ekleme/kaldırma

Liste görünümü üst bilgisine sağ tıklayın ve liste görünümünde gösterilmesini istediğiniz sütunları seçin.

image_thumb54

Liste görünümünde sütun genişliklerini yeniden düzenleme

Liste görünümünde yalnızca sütun üst bilgisinin üzerinde bekleyerek sütun genişliklerini artırın ve azaltın.

Tümleştirme Çalışma Zamanlarını İzleme

Şirket İçinde Barındırılan, Azure, Azure-SSIS Tümleştirmesi çalışma zamanlarınızın durumunu izleyin.

resim

İşlem hattı çalışma zamanlarını iptal etme/yeniden çalıştırma

İşlem hattı çalıştırmasını iptal edin veya önceden tanımlanmış parametrelerle yeniden çalıştırın.

clip_image001[1]

Bu ADF v2 görsel araçlarının ilk genel sürümüdür. Kullanıma sunulan her öğeyi müşteri geri bildirimleri temelinde sürekli yeni özelliklerle yenilemeye çalışıyoruz. ADF v2 görsel araçları hakkında daha fazla bilgi edinin ve ayrıntılı kullanım adımlarını öğrenin.

Azure Data Factory kullanarak kolayca ve hızla işlem hatları oluşturmaya başlayın. Özellik istekleriniz varsa veya geri bildirim sağlamak istiyorsanız lütfen Azure Data Factory forumunu ziyaret edin.