Azure AI Video Indexer

インデックスを作成するビデオの大規模なアーカイブが拡大し続けています。あなたは、Microsoft Video Indexer の評価を行ってきたので、スケールアップすることでその関係を次のレベルに引き上げることにしました。 一般に、スケーリングは難しいことではありませんが、そのようなプロセスに最初に直面したときは、最良の方法がわからない場合があります。"考慮する必要がある技術的な制約はあるのか?"、"スマートで効率的な方法はあるのかか?"、"プロセスで余分な費用がかからないようにすることはできるのか?" といった質問がわいてくる可能性があります。ここでは、Video Indexer を大規模に使用する方法の 6 つのベスト プラクティスを紹介します。   1.

Azure Media Service の Video Indexer で、高解像度のキーフレームをエクスポートできるようになりました。これまでは、元画像よりも解像度の低いキーフレームがエクスポートされていましたが、このたび高解像度のキーフレーム抽出機能が加わったことで、ユーザーは元画像と同じ画質の画像を得られるようになりました。さらに、マイクロソフトの Computer Vision サービスや Custom Vision サービスが提供する画像ベースの人工知能モデルを利用して、画像からさらなる洞察を引き出せるようにもなりました。これによって、トレーニング済みのモデルやカスタム モデルを使ったさまざまな機能が利用可能となります。Video Indexer で抽出したキーフレームを使うことで、例えば、収益化やブランド保護のためにロゴを発見したり、アクセシビリティを確保するためにシーンの説明文を追加したりできます。また、特定の車や場所など、自社に関係するものが画像に写っていないか探すこともできます。 それでは、今回の新機能で実現可能なユース ケースをいくつか見てみましょう。 キーフレームで画像の説明を自動取得 目の不自由なユーザーでも画像にアクセスしやすくなるよう、各カットに "キャプション" を付ける作業は、Computer Vision の画像説明モデルで自動化できます。このモデルは、画像に対する説明を何通りか提示し、それぞれの説明に対する信頼度も合わせて提供します。ユーザーは、高解像度の各キーフレームに対する説明を取得し、それらをつなぎ合わせることで、画像の説明を音声で行うオーディオ トラックを作成できます。 キーフレームによるロゴ検出 Video Indexer は、画像内の音声や視覚テキストからブランド (製品名や企業名) を検出できますが、ロゴからのブランド検出にはまだ対応していません。代わりに、ユーザーはキーフレームを Computer Vision のロゴベースのブランド検出モデルに適用して、画像内にロゴが登場していないか調べることができます。 ユーザーは、画像に映し出されるブランドをこのように確認し、管理することで、ブランドを保護することもできます。例えば、自社と直接競合する企業のロゴを画像に表示させたくない場合です。また、スポンサー契約やコンテキスト広告を通じて、画像に表示されるブランドから収益を得ることもできます。 さらに、キーフレームをこのモデルに適用した結果と、キーフレームのタイムスタンプとを見比べることにより、ロゴが画像にいつ表示され、どれだけの時間表示されるのかを調べることもできます。こうすることで、例えば画像制作者とスポンサー契約を結び、画像内に自社のロゴを一定時間表示してもらう旨を約束している場合などに、契約事項がきちんと守られているかを確認することができます。 Computer Vision のロゴ検出モデルは、はじめから数千種類のブランドを検出および認識できるようになっています。しかし、特定のユース ケースでしか登場しないロゴや、データベースにあらかじめ登録されていないロゴを検出したいときは、どうすればよいのでしょうか。そのような場合、ユーザーは Custom Vision を使って、カスタマイズしたオブジェクト検出器を構築することができます。自社に関係するロゴの画像をアップロードし、それに正確なラベルを付けることで、言わば独自のロゴ記録データベースのトレーニングを行えるのです。 Computer Vision

先日の IBC (International Broadcasters Conference) で発表されたように、Microsoft Video Indexer へ多言語の文字起こし機能が導入されます。この機能はプレビュー版として提供されており、すでにマイクロソフトのポータルから体験できるようになっています。IBC2019 で発表された強化点の詳細については、こちらをご覧ください。 グローバル化が進む中で、多言語ビデオはメディア資産として広く使われるようになっています。各国の代表が集まる首脳会議や経済フォーラム、スポーツ選手の記者会見などでは、それぞれの発言者が母国語を使って、自身のメッセージを伝えています。その種のビデオの膨大なアーカイブから、トランスクリプションを自動的に提供しなければならない場合、企業はそういったケース特有の課題に直面することとなります。自動トランスクリプション テクノロジのユーザーは、音声をテキストへ変換する前に、ビデオの言語を明示的に指定することを求められるのです。このマニュアル作業は、複数言語のコンテンツからトランスクリプションを作成していくうえで、スケーラビリティの障害となります。担当者が手作業で、音声セグメントに適切な言語をタグ付けしなければならないからです。 Microsoft Video Indexer は、多言語コンテンツで使われている音声言語を自動的に認識するという、独自の機能を提供しています。このソリューションを利用すれば、実施前のわずらわしい準備工程を手作業ですることなく、多言語コンテンツを容易に文字起こしできるようになります。これによって、大規模なビデオ アーカイブを所有しているユーザーは誰でも、時間と費用の両方を節約でき、さらにコンテンツの見つけられやすさやアクセシビリティに関するシナリオも実現できます。 Video Indexer の多言語音声文字起こし 多言語音声文字起こし機能は Video Indexer ポータルの一部として利用できます。現在、この機能は英語、フランス語、ドイツ語、およびスペイン語に対応しており、入力されるメディア資産で最大 3 種類の言語が使われている場合を想定しています。新しいメディア資産をアップロードする際、ユーザーは下図のように、[Auto-detect multi-language (多言語を自動検出)] というオプションを選択できます。 この機能は API (アプリケーション プログラミング インターフェイス) でもサポートされており、ユーザーはアップロード用 API において、言語として 'multi' を指定することができます。インデックス作成処理が完了すると、ビデオで使われている言語を含んだ JSON (JavaScript Object Notation) 形式のインデックスが生成されます。詳細については、マイクロソフトによるこちらのドキュメントを参照してください。 また、トランスクリプション

アニメーション キャラクターの認識、多言語の文字起こしなど、新機能の提供を開始 マイクロソフトのミッションは、地球上のすべての個人とすべての組織が、より多くのことを達成できるように支援することです。このミッションを実現している良い例がメディア業界です。現代は、これまでにないほど多くのコンテンツがさまざまな方法で制作、利用され、デバイスの種類も増加しています。国際放送機器展の IBC 2019 では、マイクロソフトが取り組みを進めてきた最新のイノベーションと、それによってメディアのワークフローをどのように変革できるかをご説明します。詳細はこの記事でもお伝えしますが、9 月 13 日～ 17 日にアムステルダムの RAI で開催される IBC 2009 にお越しいただければ、直接ご説明いたします。ホール 1 のブース C27 でマイクロソフトの製品チームがパートナー様と共にお待ちしています。 Video Indexer が新たにアニメーションと多言語コンテンツをサポート 昨年の IBC では、数々の受賞歴を誇る Azure Media Services Video Indexer (英語) の一般提供開始を発表しましたが、今年はさらに良いお知らせがあります。Video Indexer はメディア ファイルから音声、顔、感情、トピック、ブランドなどの情報やメタ データを自動的に抽出するサービスです。機械学習のエキスパートである必要はありません。マイクロソフトが新たに発表するのは、ご要望が特に多く、かつ差別化が図れる 2 つの機能 (アニメーション キャラクターの認識、多言語の音声の文字起こし) のプレビュー、Video Indexer で現在提供している既存のモデルの拡充などです。 アニメーション

Microsoft Azure Media Services Video Indexer (VI) enables the customization of language models by allowing customers to upload examples of sentences or words belonging to the vocabulary of their specific use case.

更新日 2019 年 4 月16 日:Video Indexer の新しい AI Editor が今年のイベントで AI/ML 部門において NAB Show Product of the Year Award を受賞したことを発表でき、たいへん嬉しく思います。権威あるこの賞では毎年、NAB に展示された "最も重要で見込みのある新しい製品およびテクノロジ" が表彰されます。 マイクロソフトのチームは、Azure Media Services の Video Indexer の一般提供のリリースで、2018 IABM for innovation in content management (コンテンツ管理におけるインベーション) 賞や権威ある Peter Wayne 賞など、数々の賞を受賞しました。その後、さまざまな新機能やモデルの構築に取り組み、大量のメディア コンテンツのアーカイブを持つすべての組織がコンテンツから分析情報を引き出し、それらの分析情報を利用して検索可能性を向上させ、新しいユーザー シナリオやアクセシビリティに対応し、新しい収益化手段を開拓できるようにすることに注力してきました。 マイクロソフトは

Want to train Video Indexer to recognize people relevant specifically to your account? We have great news for you!

Many different customers across industries want to have insights into the emotional moments that appear in different parts of their media content.

Media and entertainment industry conferences are by far some of my favorites. Creativity, disruption, opportunity, and technology – particularly cloud, edge, and AI – are everywhere. It’s been exciting to see those things come together at NAB 2018, SIGGRAPH, and now IBC Show 2018.

このたび、Video Indexer の一般提供が開始されました。これにより、Azure のお客様は、Video Indexer のすべてのメタデータ関連の機能を常に業務に利用できるようになります。しかし、Video Indexer に関する発表事項は、今回の一般提供だけではありません。2018 年 5 月に Video Indexer のパブリック プレビューをリリースして以来、Video Indexer チームは常にイノベーションを継続して豊富な新機能を追加し、Video Indexer の分析情報を充実させると共に、お客様のビデオやオーディオのニーズに対応してきました。 快適なエクスペリエンスとウィジェットの強化 Video Indexer ポータルの既存の [Insights] および [Timeline] ウィンドウでは、お客様がメディアのインサイトを簡単に確認して評価することができます。このエクスペリエンスは、埋め込み可能なウィジェットでも得られます。このウィジェットは、Video Indexer を任意のアプリケーションに統合する場合に便利な方法です。 今回、[Insights] および [Timeline] ウィンドウが刷新されました。これらの新しいウィンドウは、Video Indexer に表示されるインサイトの増加に対応するもので、各種フォーム ファクターに自動的に応答します。 新しい [Insights] ウィンドウには、既存のキーフレーム抽出機能の視覚化と、新しい感情検出のインサイトも追加されました。詳細については、次のセクションをご覧ください。 新しいモデルによって豊富なインサイトを提供 言うまでもなく、Video Indexer の中核を成すのは、クロスチャネル (オーディオ、音声、視覚情報) の豊富な機械学習モデルです。Video