System HPC i rozwiązania do dużych obliczeń

Azure Batch
Azure Storage Accounts
Azure Virtual Machines

Pomysły dotyczące rozwiązań

Ten artykuł jest pomysłem na rozwiązanie. Jeśli chcesz, abyśmy rozszerzyli zawartość o więcej informacji, takich jak potencjalne przypadki użycia, alternatywne usługi, zagadnienia dotyczące implementacji lub wskazówki dotyczące cen, daj nam znać, przekazując opinię w usłudze GitHub.

W tym artykule opisano aplikację natywną dla chmury korzystającą z usługi Azure Batch. Usługa Batch udostępnia alokację zasobów obliczeniowych i zarządzanie nimi, instalację aplikacji, skalowanie automatyczne zasobów i nie tylko.

Architektura

Architecture diagram that shows a cloud-native application that uses Azure Batch.

Pobierz plik programu Visio z tą architekturą.

Przepływ danych

  1. Przekaż pliki wejściowe i aplikacje na konto usługi Azure Storage.
  2. Utwórz pulę usługi Batch z węzłami obliczeniowymi, zadanie do uruchomienia obciążenia w puli i zadania podrzędne w ramach zadania.
  3. Usługa Batch pobiera pliki wejściowe i aplikacje.
  4. Usługa Batch monitoruje wykonywanie zadania.
  5. Usługa Batch przekazuje dane wyjściowe zadania.
  6. Pobierz pliki wyjściowe.

Elementy

Szczegóły scenariusza

Duże obciążenia obliczeniowe i obliczenia o wysokiej wydajności (HPC) są zwykle intensywnie obciążane obliczeniami i mogą być uruchamiane równolegle, wykorzystując skalę i elastyczność chmury. Obciążenia często są uruchamiane asynchronicznie za pomocą przetwarzania wsadowego przy użyciu zasobów obliczeniowych potrzebnych do uruchomienia pracy i harmonogramu zadań wymaganego do określenia tej pracy.

To rozwiązanie implementuje aplikację natywną dla chmury za pomocą usługi Azure Batch, która zapewnia alokację zasobów obliczeniowych i zarządzanie nimi, instalację aplikacji, skalowanie automatyczne zasobów i planowanie zadań jako usługę platformy. Usługa Batch oferuje również akceleratory obciążeń wyższego poziomu przeznaczone do równoległego uruchamiania języka R, trenowania sztucznej inteligencji i renderowania obciążeń.

To rozwiązanie jest oparte na usługach zarządzanych, w tym maszynach wirtualnych, magazynie i usłudze Batch. Te usługi platformy Azure działają w środowisku wysokiej dostępności, poprawionym i obsługiwanym, co pozwala skupić się na rozwiązaniu.

Potencjalne przypadki użycia

To rozwiązanie jest idealne dla branży finansów, mediów, rozrywki, energii i środowiska. Jest ona zoptymalizowana pod kątem następujących scenariuszy:

  • Symulacje ryzyka finansowego Monte Carlo (finanse i portfel)
  • Renderowanie obrazów
  • Transkodowanie multimediów
  • Przetwarzanie plików
  • Symulacje inżynieryjne lub naukowe (energia i środowisko)

Następne kroki

Poniższe linki zawierają dokumentację dotyczącą wdrażania produktów platformy Azure wymienionych w architekturze rozwiązania i zarządzania nimi: