Anfügen einer Azure KI Multi-Service-Ressource an ein Skillset in Azure KI Search

Artikel
01/12/2024

Wenn Sie in Azure KI Search eine optionale KI-Anreicherungspipeline konfigurieren, können Sie eine begrenzte Anzahl von Dokumenten kostenlos anreichern. Für umfangreichere und häufigere Workloads sollten Sie eine abrechenbare Azure KI Ressource für mehrere Dienste anfügen.

Eine Multi-Service-Ressource verweist auf eine Reihe von Azure AI-Diensten als Angebot und nicht auf einzelne Dienste, wobei der Zugriff über einen einzelnen API-Schlüssel gewährt wird. Dieser Schlüssel wird in einem Skillset angegeben und ermöglicht es Microsoft, Ihnen die Nutzung dieser Dienste in Rechnung zu stellen:

Azure KI Vision für die Bildanalyse und optische Zeichenerkennung (Optical Character Recognition, OCR)
Azure KI Language für Spracherkennung, Entitätserkennung, Stimmungsanalyse und Schlüsselbegriffserkennung
Azure AI Speech für Spracherkennung und Sprachsynthese
Azure KI Übersetzer für die maschinelle Textübersetzung

Tipp

Azure bietet Ihnen eine Infrastruktur zur Überwachung von Abrechnungen und Budgets. Weitere Informationen zum Überwachen von Azure KI Services finden Sie unter Planen und Verwalten von Kosten für Azure KI Services.

Festlegen des Ressourcenschlüssels

Sie können das Azure-Portal, die REST-API oder ein Azure SDK verwenden, um eine abrechenbare Ressource an ein Skillset anzufügen.

Wenn Sie die Eigenschaft nicht angeben, versucht Ihr Suchdienst, die kostenlosen Anreicherungen zu verwenden, die Ihrem Indexer täglich zur Verfügung stehen. Die Ausführung abrechenbarer Skills wird bei 20 Transaktionen pro Indexeraufruf beendet, und im Ausführungsverlauf des Indexers wird eine Timeoutmeldung angezeigt.

Melden Sie sich beim Azure-Portal an.
Erstellen Sie eine Azure KI Services-Ressource für mehrere Dienste in derselben Region wie Ihr Suchdienst.
Fügen Sie den Schlüssel einer Skillsetdefinition hinzu:
- Falls Sie den Datenimportassistenten verwenden, geben Sie den Schlüssel im zweiten Schritt, „KI-Anreicherungen hinzufügen“, ein.
- Wenn Sie einen Schlüssel zu einem neuen oder vorhandenen Skillset hinzufügen, stellen Sie den Schlüssel in der Registerkarte Azure AI Services bereit.

Erstellen Sie eine Azure KI Services-Ressource für mehrere Dienste in derselben Region wie Ihr Suchdienst.
Erstellen oder aktualisieren Sie ein Skillset, das Abschnitt cognitiveServices im Text der Skillset-Anfrage angibt:

PUT https://[servicename].search.windows.net/skillsets/[skillset name]?api-version=2020-06-30
api-key: [admin key]
Content-Type: application/json
{
    "name": "skillset name",
    "skills": 
    [
      {
        "@odata.type": "#Microsoft.Skills.Text.V3.EntityRecognitionSkill",
        "categories": [ "Organization" ],
        "defaultLanguageCode": "en",
        "inputs": [
          {
            "name": "text", "source": "/document/content"
          }
        ],
        "outputs": [
          {
            "name": "organizations", "targetName": "organizations"
          }
        ]
      }
    ],
    "cognitiveServices": {
        "@odata.type": "#Microsoft.Azure.Search.CognitiveServicesByKey",
        "description": "mycogsvcs",
        "key": "<your key goes here>"
    }
}

Der folgende gekürzte Codeausschnitt ist aus azure-search-dotnet-samples.

IConfigurationBuilder builder = new ConfigurationBuilder().AddJsonFile("appsettings.json");
IConfigurationRoot configuration = builder.Build();

string searchServiceUri = configuration["SearchServiceUri"];
string adminApiKey = configuration["SearchServiceAdminApiKey"];
string cognitiveServicesKey = configuration["CognitiveServicesKey"];

SearchIndexerClient indexerClient = new SearchIndexerClient(new Uri(searchServiceUri), new AzureKeyCredential(adminApiKey));

// Create the skills
Console.WriteLine("Creating the skills...");
OcrSkill ocrSkill = CreateOcrSkill();
MergeSkill mergeSkill = CreateMergeSkill();

// Create the skillset
Console.WriteLine("Creating or updating the skillset...");
List<SearchIndexerSkill> skills = new List<SearchIndexerSkill>();
skills.Add(ocrSkill);
skills.Add(mergeSkill);

SearchIndexerSkillset skillset = CreateOrUpdateDemoSkillSet(indexerClient, skills, cognitiveServicesKey);

Entfernen Sie den Schlüssel

Anreicherungen sind abrechnungsfähige Vorgänge. Wenn Sie Azure KI-Dienste nicht mehr aufrufen müssen, befolgen Sie diese Anweisungen, um den Schlüssel für mehrere Regionen zu entfernen und die Verwendung der externen Ressource zu verhindern. Ohne den Schlüssel wird das Skillset auf die Standardzuweisung von 20 kostenlosen Transaktionen pro Indexer pro Tag zurückgesetzt. Die Ausführung von abrechnenden Fertigkeiten stoppt bei 20 Transaktionen und eine Meldung „TimeOut“ wird im Indexerausführungsverlauf angezeigt, wenn die Zuordnung verwendet wird.

Azure portal
REST

Melden Sie sich beim Azure-Portal an, und öffnen Sie die Übersichtsseite des Suchdiensts.
Wählen Sie unter Skillsets das Skillset aus, das den Schlüssel enthält, den Sie entfernen möchten.
Scrollen Sie zum Ende der Datei.
Entfernen Sie den Schlüssel aus dem JSON-Code, und speichern Sie das Skillset.

Get Skillset, damit Sie die vollständige Definition haben.
Formulieren einer Skillset aktualisieren-Anforderung, die die JSON-Definition des Skillsets bereitstellt.

Entfernen Sie den Schlüssel im Body der Definition, und senden Sie dann die Anforderung:

PUT https://[servicename].search.windows.net/skillsets/[skillset name]?api-version=2020-06-30
api-key: [admin key]
Content-Type: application/json
{
    "name": "skillset name",
    "skills": 
    [
      {
        "@odata.type": "#Microsoft.Skills.Text.V3.EntityRecognitionSkill",
        "categories": [ "Organization" ],
        "defaultLanguageCode": "en",
        "inputs": [
          {
            "name": "text", "source": "/document/content"
          }
        ],
        "outputs": [
          {
            "name": "organizations", "targetName": "organizations"
          }
        ]
      }
    ],
    "cognitiveServices": {
        "@odata.type": "#Microsoft.Azure.Search.CognitiveServicesByKey",
        "description": "mycogsvcs",
        "key": ""
    }
}

Alternativ können Sie „cognitiveServices“ auf NULL festlegen:

"cognitiveServices": null,

Verwendung des Schlüssels

Die schlüsselbasierte Abrechnung gilt, wenn API-Aufrufe an Azure KI Services-Ressourcen 20 API-Aufrufe pro Indexer und Tag überschreiten.

Der Schlüssel wird für die Abrechnung, aber nicht für die Verbindungen von Anreicherungsvorgängen verwendet. Bei Verbindungen stellt ein Suchdienst eine Verbindung über das interne Netzwerk mit einer Azure AI-Dienstressource in derselben physischen Region bereit. Die meisten Regionen, die Azure KI Search anbieten, bieten auch andere Azure KI Services wie Sprache an. Wenn Sie in einer Region, die nicht über beide Dienste verfügt, KI-Anreicherung auszuführen versuchen, wird die folgende Meldung angezeigt: Der angegebene Schlüssel ist kein gültiger CognitiveServices-Schlüssel für die Region des Suchdiensts.

Derzeit erfordert die Abrechnung für integrierte Fertigkeiten eine öffentliche Verbindung von Azure KI Search zu einem anderen Azure KI Service. Durch Deaktivieren des öffentlichen Netzwerkzugriffs wird die Abrechnung unterbrochen. Wenn das Deaktivieren öffentlicher Netzwerke eine Anforderung ist, können Sie eine benutzerdefinierte Web-API-Fertigkeit konfigurieren, die mit einer Azure Function implementiert wird, die privaten Endpunkte unterstützt und die Azure KI Services-Ressource zum gleichen VNET hinzufügen. Auf diese Weise können Sie die Azure AI-Dienstressource direkt über die benutzerdefinierte Fertigkeit aufrufen, indem Sie private Endpunkte verwenden.

Hinweis

Einige integrierte Qualifikationen basieren auf nicht regionalen Azure KI Services (etwa die Fertigkeit „Textübersetzung“). Die Verwendung einer nicht regionalen Qualifikation bedeutet, dass Ihre Anforderung in einer anderen Region als der Azure KI Search-Region verarbeitet werden kann. Weitere Informationen zu nicht regionalen Diensten finden Sie auf der Seite für Azure KI Services-Produkte nach Region.

Wichtige Anforderungen in Sonderfällen

Die benutzerdefinierte Entitätssuche wird von Azure KI Search getaktet, nicht von Azure KI Services, aber es erfordert einen Azure KI Ressourcenschlüssel mit mehreren Diensten, um Transaktionen außerhalb von 20 pro Indexer pro Tag zu entsperren. Nur für diesen Skill entsperrt der Ressourcenschlüssel die Anzahl von Transaktionen, hat jedoch keinen Bezug zur Abrechnung.

Freigeben von Anreicherungen

Die KI-Anreicherung bietet eine geringe Menge an kostenloser Verarbeitung von abrechenbaren Anreicherungen, sodass Sie kurze Übungen durchführen können, ohne eine Azure KI Services-Ressource anfügen zu müssen. Anreicherungen sind für 20 Dokumente pro Tag und Indexer kostenlos. Sie können den Indexer zurücksetzen, um den Zähler zurückzusetzen und die Übung zu wiederholen.

Einige Anreicherungen sind immer kostenlos:

Hilfsprogrammskills, von denen Azure KI Services nicht aufgerufen wird (nämlich: Bedingter Skill sowie Skills für Dokumentextrahierung, Shaper, Textzusammenführung und Textaufteilung) sind nicht abrechenbar.
Die Textextraktion aus PDF-Dokumenten und anderen Anwendungsdateien ist nicht abrechenbar. Die Textextraktion, die während des Dokumentrisses auftritt, ist keine KI-Anreicherung, sondern tritt während der KI-Anreicherung auf und wird daher hier erwähnt.

Abrechenbare Anreicherungen

Während der KI-Anreicherung ruft Azure AI Search die Azure AI-Dienste-APIs für integrierte Fertigkeiten auf, die auf Azure AI Vision, Translator und Azure AI Language basieren.

Zu den abrechenbaren integrierten Skills, die Back-End-Aufrufe an Azure KI Services ausführen, gehören Entitätsverknüpfung, Entitätserkennung, Bildanalyse, Schlüsselbegriffserkennung, Sprachenerkennung, OCR, Erkennung personenbezogener Informationen, Stimmung und Textübersetzung.

Die Bildextraktion ist ein Azure KI Search-Vorgang, der ausgeführt wird, wenn Dokumente vor der Anreicherung entschlüsselt werden. Die Bildextraktion ist in allen Ebenen gebührenpflichtig, mit Ausnahme von 20 kostenlosen täglichen Extraktionen im Tarif „Free“. Die Kosten für die Bildextraktion gelten für Bilddateien in Blobs, eingebettete Bilder in anderen Dateien (PDF- und andere App-Dateien) und für mit Dokumentextraktion extrahierte Bilder. Die Preise für die Bildextraktion finden Sie auf der Preisseite von Azure KI Search.

Tipp

Um die Kosten für die Skillsetverarbeitung zu senken, aktivieren Sie die inkrementelle Anreicherung (Vorschau), um Anreicherungen zwischenzuspeichern und wiederzuverwenden, die von Änderungen an einem Skillset nicht betroffen sind. Die Zwischenspeicherung erfordert Azure Storage (siehe Preise, aber die kumulativen Kosten für die Ausführung von Skillsets sind niedriger, wenn vorhandene Anreicherungen wiederverwendet werden können, insbesondere für Skillsets, die Bildextraktion und -analyse verwenden).

Beispiel: Schätzen der Kosten

Zum Schätzen der Kosten für die Azure KI Search-Indizierung gehen Sie von einem durchschnittlichen Dokument aus, damit einige Zahlen zur Verfügung stehen. Beispielsweise kann Folgendes angenommen werden:

1.000 PDFs
Jeweils sechs Seiten
Ein Bild pro Seite (6.000 Bilder)
3.000 Zeichen pro Seite

Als Beispiel dient eine Pipeline, die Dokumententschlüsselung jeder PDF-Datei, Bild- und Textextraktion, optische Zeichenerkennung (OCR) von Bildern und die Erkennung von Entitäten für Organisationen umfasst.

Die in diesem Artikel angegebenen Preise sind hypothetisch. Sie dienen der Veranschaulichung des Schätzungsprozesses. Ihre Kosten können niedriger ausfallen. Informationen zum tatsächlichen Preis von Transaktionen finden Sie unter Azure KI Services-Preise.

Im Fall der Dokumententschlüsselung mit Text- und Bildinhalten ist die Textextraktion derzeit kostenlos. Bei 6.000 Bildern und einem angenommenen Preis von 1 € für jeweils 1.000 extrahierte Bilder belaufen sich die Kosten auf 6,00 € für diesen Schritt.
Für die optische Zeichenerkennung (OCR) von 6.000 Bildern in Englisch verwendet die kognitive Qualifikation „OCR“ den besten Algorithmus (DescribeText). Angenommen, jeweils 1.000 zu analysierende Bilder kosten 2,50 €, dann würden für diesen Schritt 15,00 € anfallen.
Für die Extraktion von Entitäten würden insgesamt 3 Textdatensätze pro Seite entstehen. Jeder Datensatz umfasst 1.000 Zeichen. Drei Textdatensätze pro Seite multipliziert mit 6.000 Seiten ergibt 18.000 Textdatensätze. Angenommen, die Kosten betragen 2,00 €/1.000 Textdatensätze, dann würde dieser Schritt 36,00 € kosten.

Insgesamt würden Sie also etwa 57,00 € zahlen, um 1.000 PDF-Dokumente dieser Art mit der beschriebenen Qualifikationsgruppe zu erfassen.

Share via