À mesure que les entreprises cherchent aujourd’hui à faire plus avec les données, profitez pleinement du cloud et du coffre à l’âge de l’IA, ils recherchent des services qui traitent les données à grande échelle, de manière fiable et efficace. Aujourd’hui, nous sommes heureux d’annoncer la prochaine préversion publique de HDInsight sur Azure Kubernetes Service (AKS), notre service Big Data open source natif cloud, entièrement réarchisé sur l’infrastructure Azure Kubernetes Service avec deux nouvelles charges de travail et de nombreuses améliorations sur la pile. La préversion publique sera disponible pour une utilisation le 10/10.

HDInsight sur AKS amplifiant les performances

HDInsight sur AKS inclut Apache Spark, Apache Flink et les charges de travail Trino sur une infrastructure Azure Kubernetes Service, ainsi que des fonctionnalités d’intégration approfondie avec les services d’analytique Azure populaires tels que Power BI, Azure Data Factory et Azure Monitor, tout en tirant parti des services managés Azure pour Prometheus et Grafana pour la supervision. HDInsight sur AKS est une solution d’analytique open source de bout en bout qui est facile à déployer et rentable à utiliser. 

HDInsight sur AKS aide les clients à tirer parti des logiciels open source pour leurs besoins d’analyse en : 

• Fourniture d’un ensemble organisé de charges de travail d’analytique open source telles qu’Apache Spark, Apache Flink et Trino. Ces charges de travail sont le logiciel open source de la meilleure classe pour l’ingénierie des données, le Machine Learning, le streaming et l’interrogation.
• Fournir une infrastructure managée, une sécurité et une surveillance afin que les équipes puissent passer leur temps à créer des applications innovantes sans avoir à vous soucier des autres composants de leur pile. Teams peut être sûr que HDInsight permet de sécuriser ses données. 
• Offre une flexibilité dont les équipes ont besoin pour étendre les fonctionnalités en tirant parti de l’écosystème riche et open source d’aujourd’hui pour les bibliothèques réutilisables et en personnalisant les applications par le biais d’actions de script.

Les clients qui sont profondément investis dans l’analytique open source peuvent utiliser HDInsight sur AKS pour réduire les coûts en configurant des systèmes d’analytique de bout en bout entièrement fonctionnels en quelques minutes, en tirant parti des intégrations prêtes à l’emploi, de la sécurité intégrée et de l’infrastructure fiable. Nos investissements dans les améliorations des performances et les fonctionnalités telles que la mise à l’échelle automatique permettent aux clients d’exécuter leurs charges de travail d’analyse à un coût optimal. HDInsight sur AKS est fourni avec une structure tarifaire très simple et cohérente par vcore par heure, quelle que soit la taille de la ressource ou de la région, ainsi que le coût des ressources approvisionnées.

Les développeurs aiment HDInsight pour la flexibilité qu’il offre pour étendre les fonctionnalités de base des charges de travail open source via des actions de script et la gestion des bibliothèques. HDInsight sur AKS offre une expérience de portail intuitive pour la gestion des bibliothèques et des ressources de supervision. Les développeurs ont la possibilité d’utiliser un kit de développement logiciel (SDK), des modèles Azure Resource Manager (ARM) ou l’expérience du portail en fonction de leurs préférences.

Rejoignez-nous pour une présentation approfondie de ce lancement dans notre prochain webinaire gratuit. 

Ouvrir, géré et flexible

HDInsight sur AKS couvre la gamme complète des besoins d’analytique d’entreprise couvrant la diffusion en continu, le traitement des requêtes, le traitement par lots et les travaux d’apprentissage automatique avec une visualisation unifiée. 

Charges de travail open source organisées

HDInsight sur AKS inclut des charges de travail choisies en fonction de leur utilisation dans des scénarios d’analyse classiques, l’adoption de la communauté, la stabilité, la sécurité et la prise en charge de l’écosystème. Cela garantit que les clients n’ont pas besoin de se défaire de la complexité du choix en raison de nombreuses offres avec des fonctionnalités qui se chevauchent et une interopérabilité incohérente.  

Chacune des charges de travail sur HDInsight sur AKS est la meilleure classe pour les scénarios d’analyse qu’elle prend en charge : 

• Apache Flink est l’infrastructure de traitement de flux distribué open source qui alimente le traitement de flux avec état et active des scénarios d’analytique en temps réel. 
• Trino est le moteur de requête fédéré qui est hautement performant et évolutif, qui traite des requêtes ad hoc sur une variété de sources de données, structurées et non structurées.  
• Apache Spark est le choix approuvé de millions de développeurs pour leurs besoins en ingénierie des données et machine learning. 

HDInsight sur AKS offre ces charges de travail populaires avec un modèle d’authentification commun, une prise en charge du meta store partagé et des intégrations prédéfinies qui facilitent le déploiement d’applications d’analytique.

Le service managé réduit la complexité

HDInsight sur AKS est un service managé dans l’infrastructure Azure Kubernetes Service. Avec un service managé, les clients ne sont pas chargés de la gestion de l’infrastructure et d’autres composants logiciels, notamment les systèmes d’exploitation, l’infrastructure AKS et les logiciels open source. Cela garantit que les entreprises peuvent bénéficier d’améliorations continues de la sécurité et des performances et fonctionnelles sans investir de précieuses heures de développement. 

La conteneurisation permet un déploiement, une mise à l’échelle et une gestion transparents des composants architecturaux clés. La résilience inhérente d’AKS permet aux pods d’être automatiquement replanifiés sur les nœuds nouvellement commandés en cas de défaillance. Cela signifie que les travaux peuvent s’exécuter avec des interruptions minimales aux contrats de niveau de service (SLA). 

Les clients qui combinent plusieurs charges de travail dans leur data lakehouse doivent gérer une variété d’expériences utilisateur, ce qui entraîne une courbe d’apprentissage abrupte. HDInsight sur AKS offre une expérience unifiée pour la gestion de leur lakehouse. L’approvisionnement, la gestion et la surveillance de toutes les charges de travail peuvent être effectuées dans un seul volet de verre. En outre, avec des services managés pour Prometheus et Grafana, les administrateurs peuvent surveiller l’intégrité du cluster, l’utilisation des ressources et les métriques de performances.  

Grâce aux fonctionnalités de mise à l’échelle automatique incluses dans HDInsight sur AKS, les ressources et, par conséquent, les coûts peuvent être optimisés en fonction des besoins d’utilisation. Pour les travaux avec des modèles de charge prévisibles, les équipes peuvent planifier la mise à l’échelle automatique des ressources en fonction d’un calendrier prédéfini. La mise hors service appropriée permet de définir des périodes d’attente pour que les travaux soient terminés avant d’accélérer les ressources, en équilibrant élégamment les coûts avec l’expérience. La mise à l’échelle automatique basée sur la charge peut augmenter et diminuer les ressources en fonction des modèles d’utilisation mesurés par l’utilisation du calcul et de la mémoire. 

HDInsight sur AKS marque un décalage des mécanismes de sécurité traditionnels comme Kerberos. Il adopte OAuth 2.0 comme framework de sécurité, fournissant une approche moderne et robuste pour protéger les données et les ressources. Dans HDInsight sur l’autorisation AKS, les contrôles d’accès sont basés sur des identités managées. Les clients peuvent également apporter leurs propres réseaux virtuels et les associer pendant la configuration du cluster, en augmentant la sécurité et en activant la conformité avec leurs stratégies d’entreprise. Les clusters sont isolés avec des espaces de noms pour protéger les données et les ressources au sein du locataire. HDInsight sur AKS permet également la gestion de l’accès au cluster à l’aide de rôles Azure Resource Manager (ARM). 

Les clients qui ont participé à la préversion privée aiment HDInsight sur AKS. 

Voici ce qu’un utilisateur avait à dire sur son expérience. 

« Avec HDInsight sur AKS, nous avons passé en toute transparence des contraintes de notre solution interne à une plateforme managée robuste. Ce changement essentiel signifie que nos ingénieurs sont désormais libres de canaliser leur expertise vers l’innovation métier de base, plutôt que d’être enchevêtrés dans la gestion de la plateforme. L’intégration harmonieuse de HDInsight avec d’autres produits Azure a élevé notre efficacité. La sécurité renforcée renforce l’intégrité et la fiabilité de nos données, tandis que l’extensibilité garantit que nous pouvons croître sans failles. En substance, HDInsight sur AKS fortifie notre stratégie de données, ce qui permet des opérations commerciales plus rationalisées et efficaces. 

Matheus Antunes, Architecte de données, XP Inc

Azure HDInsight sur les ressources AKS

• En savoir plus sur Azure Kubernetes Service (AKS)