JP7325668B2 - シーンアウェア映像対話 - Google Patents

Description

本発明は、一般に映像シーンアウェア認識に関し、より特定的には、映像対話システムにおいて映像のクエリに関連する応答を生成するための方法およびシステムに関する。

人間同士の日々のコミュニケーションは、周囲の物体および出来事についてのさまざまなモダリティの情報（ビジュアル情報およびオーディオ情報など）と密接に行われる。マシンがそれらの物体および出来事について人間と会話するためには、マルチモーダル推論が必要である。このようなマルチモーダル推論では、動的なオーディオビジュアルシーンの有効なモデルを生成する必要がある。マシンは、これらのモデルに基づいてそれらの物体および出来事について推論し、人間のクエリに対する応答を生成する。最近になって、このようなマルチモーダル推論問題がオーディオビジュアルシーンアウェア対話（ＡＶＳＤ）システムによって明確な形になってきた。ＡＶＳＤシステムのいくつかの適用例は、エンドツーエンド対話、視覚質問応答（ＶＱＡ）および映像キャプショニングを含む。ＡＶＳＤシステムは、人間とマシンとの間の会話をサポートするのに使用される。会話をサポートするために、ＡＶＳＤシステムは、マルチモダリティ（音声、映像、クエリおよびマルチターン対話履歴など）を一緒に使用してオーディオビジュアルシーンおよび以前の対話コンテキストをモデル化し、自由形式の自然言語で応答を生成することができる能力を必要とする。このようなＡＶＳＤタスクは、さまざまな情報（全てのモダリティに含まれる映像ダイナミクスなど）を取り込むことが難しいという理由から、難易度が高い。モダリティの中には補完的なものもあるが、互いに独立していたり、互いに対立していたりするものさえある。たとえば、自然言語および映像（または、音声）情報のようなモダリティがＡＶＳＤタスクに必要である。しかし、場合によっては、映像は、自然言語から独立している場合があり、および／または、自然言語情報と音声情報とは同様の情報を含んでいる場合がある。

一般に、ニューラルネットワークは、映像の符号化された時空間表現を介して映像ダイナミクスを取り込むように訓練される。しかし、このようなニューラルネットワークは、通常、人間行動認識のためだけに訓練され、対応する時空間表現には、映像内のシーンの理解に必要な、映像内の物体についての情報が無い。このような物体についての情報は、映像内のシーンにおける物体の動きまたは映像内のシーンにおける物体間の関係を含む。したがって、このようなシーンにおける物体に関連する情報は、重要であり、シーンを表現するのに必要である。さらに、映像のクエリに対する応答は、映像全体を処理することによって抽出される特徴に基づいて生成され得る。このような特徴は、映像内の行動を示すグローバルな特徴に相当する。しかし、未加工の形式の映像全体を処理および解析して、このようなグローバルな特徴を抽出して、応答を生成することは実際的でない。映像全体からいくつかの映像フレームをサンプリングして特徴を抽出する場合がある。しかし、このような特徴は、よりきめ細かな詳細をモデル化して映像内の物体および行動についてのより詳細な情報を学習することができない。詳細な情報が無いことにより、クエリに対する不正確な応答を生成することになり得る。

したがって、正確で自然な形式の言語でクエリに対する応答を生成するために映像の特徴を抽出する必要がある。より具体的には、ユーザからのクエリに対する応答を生成するために、映像内のシーン全体の表現を含む特徴を抽出する必要がある。

オーディオビジュアルシーンアウェア対話（ＡＶＳＤ）システムは、自然言語で会話を行って映像についてのクエリに対する回答を提供するという問題を解決するための視覚認識対話システムである。一般に、これらのクエリは、映像内で行われる行動に関連している。たとえば、ユーザは、映像に示されている人についてクエリを投げかけるかもしれない（たとえば、このクエリは、「映像の中の人は何をしていますか？」というものであり得る）。さらに、映像内のシーンは、時間レベル情報およびフレームレベル情報に関してさまざまである。映像の最初の１０個のフレームにおけるシーンが５秒後に変化する場合、ユーザは、前のクエリの応答を得た後に再びフォローアップクエリを投げかける必要があるだろう。このようなとき、ＡＶＳＤシステムは、後のクエリに関連する応答を生成する必要がある。

いくつかの実施形態の目的は、映像のクエリに対する応答を生成するためのシステムおよび方法を提供することである。さらにまたは代替的に、いくつかの実施形態の別の目的は、クエリに対する関連する応答を生成するのに最適な映像のシーンを表す特徴を抽出することである。クエリは、映像のシーン内の行動および物体について尋ね得る。さらにまたは代替的に、いくつかの実施形態の別の目的は、音声に関連付けられた映像およびこの映像についての以前の質問－回答を処理して、この映像についてのクエリに対する応答を自動的に生成することである。たとえば、クエリは、映像シーン内の本を持った男の子について尋ねる。別のクエリは、物体（その本など）について尋ねることができる。このような場合、このクエリに対する関連する回答は、その本について説明する応答である。いくつかの実施形態において、映像の特徴抽出のために、各映像フレームは、物体およびそれらの関係をシーンに取り込むように個々に表示され、映像フレームの集合体は、物体およびそれらの関係の時間的進化を表す。

その目的のために、いくつかの実施形態は、シーン理解に適合されたシーンの表現が、物体の特徴を、シーン、物体間の関係、ならびに、物体およびそれらの関係または行動の時間的進化に取り込んで、時空間推論を実行するという認識に基づく。物体およびそれらの関係の時間的進化は、映像の映像フレームの集合体またはシーケンスによって表される。いくつかの実施形態において、この時空間推論は、時空間シーングラフ表現（ＳＴＳＧＲ）に基づいて実行される。このＳＴＳＧＲは、物体および物体間の関係を表す。ＳＴＳＧＲは、物体表現をメモリに効率的に格納するための代替的なデータ構造も提供する。このような時空間特徴表現（すなわち、ＳＴＳＧＲ）を実現するために、いくつかの実施形態は、行動を映像に取り込むことに加えて、およびその代わりに、映像の各映像フレーム内の物体を検出して分類する。さらに、各映像フレーム内の物体は、映像フレーム内の他の物体と関係を有し得る。その目的のために、いくつかの実施形態は、分類された物体間の関係を求める。実施形態は、グラフニューラルネットワークのフレームワーク内のシーングラフを処理して、ニューラルメッセージパッシングによって時空間推論を実行し、このニューラルメッセージパッシングは、ＳＴＳＧＲにおける物体と関係との間の情報フロー（映像キャプション、映像対話履歴、音声など）を可能にする。また、同時に、実施形態は、推論されたグラフラベルを使用して、ＳＴＳＧＲにおけるクエリ、対話履歴、映像および音声間の情報フローを制御する。この推論されたグラフラベルは、予め訓練されたニューラルネットワーク（ノード分類のためのグラフベースのニューラルネットワークなど）によって計算された最も高い重みを有する、ラベル付けされたノードおよびラベル付けされたエッジに対応する。いくつかの実施形態は、さまざまなフレームレベルのシーングラフ表現がさまざまな数のノードを有するという認識に基づく。その目的のために、いくつかの実施形態は、グラフ平均値プーリングおよびグラフ最大値プーリングを採用してグラフ内推論を実行し、このグラフ内推論は、シーンの単一のグラフ内の分類された物体およびそれらの求められた関係のグラフ推論を実行することに対応する。グラフ内推論は、ＳＴＳＧＲにおける映像フレームのビジュアルシーングラフおよびセマンティックシーングラフに対応する特徴を表すフレームメモリまたはグラフメモリを生成するように実行される。

さらにまたは代替的に、いくつかの実施形態の別の目的は、分類された物体および分類された物体間の求められた関係を表す特徴を抽出することである。その目的のために、各映像フレームからの抽出された特徴は、シーングラフ表現として表現され、このシーングラフ表現は、物体をノードとして表現し、物体の関係をエッジとして表現する。さらに、映像の映像フレームのシーケンスに対応するシーングラフ表現のシーケンスが生成される。いくつかの実施形態は、シーングラフ表現のシーケンスを生成するために映像からのキー映像フレームが抽出されるという認識に基づく。これらのキーフレームは、いくつかのキーフレーム抽出方法（クラスタベースのキーフレーム抽出、視覚ベースのキーフレーム抽出、モーション解析ベースのキーフレーム抽出など）を使用して抽出可能である。いくつかの実施形態は、ＡＶＳＤアプリケーションのためのデータセット（たとえば、VisualGenomeデータセット）上で訓練されたモデルから抽出された特徴に基づいてキーフレームを抽出する。たとえば、サッカースポーツ映像におけるＡＶＳＤアプリケーションでは、キーフレームは、サッカー場にいる選手、選手のところにあるサッカーボールなどを含むデータセットから抽出された特徴に基づいて抽出される。いくつかの他の実施形態では、キーフレームは、映像の冗長な映像フレームを廃棄することによって抽出される。

その目的のために、映像について抽出された特徴は、ＡＶＳＤシステムによって受け付けられたクエリのタイプと整合されて、ＡＶＳＤ応答の精度を向上させる。いくつかの実施形態は、映像を処理して応答を生成するのにニューラルネットワークを使用する。いくつかの実施形態において、このような応答を生成するように訓練されたニューラルネットワークが利用される。これらのニューラルネットワークは、アテンションベースのネットワーク構造に対応する。アテンションベースのニューラルネットワークは、入力された情報のさまざまなモダリティについてアテンション係数を計算する。このアテンション係数は、クエリに関連する応答を準備する際に、クエリに関連する映像フレームに対して重みを提供する。その目的のために、いくつかの実施形態は、各映像フレームの各特徴ベクトルに時間特徴を追加する。特徴ベクトルは、当該特徴ベクトルを中心とする複数の特徴ベクトルの集約である。このように、各特徴ベクトルは、対応する映像フレーム内の物体およびそれらの関係についての特徴、ならびに、隣接する映像フレーム内の物体およびそれらの関係についての同様の特徴を表す。このように、ニューラルネットワークは、映像の映像フレームのシーケンスについて特徴ベクトルのシーケンスを生成する。特徴ベクトルのシーケンスは、時間的進化の特徴と集約される。その目的のために、各映像フレームの各特徴ベクトルに時間特徴が追加される。さらに、いくつかの実施形態は、各々の個々の特徴ベクトルから隣接する特徴ベクトルに情報を行き渡らせる。このようなニューラルネットワークの例としては、アテンションベースのデコーダ、トランスフォーマなどを有するエンコーダ／デコーダニューラルネットワークが挙げられる。時空間特徴と他のマルチモダリティ特徴とを整合させた後に、関連する応答を生成するために、映像の動的な特徴を表す特徴ベクトルが抽出される。

いくつかの実施形態は、ＡＶＳＤシステムの特定の目的に合わせて物体検出を調整することによってＡＶＳＤシステムのパフォーマンスをさらに向上させることができるという認識に基づく。たとえば、いくつかの実施形態において、物体検出は、特定の数の物体のみが検出されて分類されるのが一般的である。いくつかの実施形態において、物体は、物体分類子によって検出され、物体間の関係は、関係分類子によって求められる。一実現例において、物体分類子は、約２０００個の物体クラスを検出するように訓練されたニューラルネットワークである。したがって、物体分類子は、映像フレーム内の物体全体を検出することはない。たとえば、ある映像フレームでは、上位３６個の検出されたクラスが物体検出のために選択される。この実施形態は、ＡＶＳＤシステムの汎用アプリケーションにとって有利である。

その目的のために、物体分類子および関係分類子は、ニューラルネットワークベースの分類子のセットから選択される。選択された分類子は、映像コンテキストに関係なく、さまざまなタイプの映像に使用することができる。いくつかの他の実施形態では、物体分類子は、コンテキスト情報に基づいて選択される。たとえば、このコンテキスト情報は、映像のタイプを示すキャプションを含み得て、ＡＶＳＤシステムは、識別されたタイプの映像と一致する、または少なくとも識別されたタイプの映像に最も関連する物体分類子を選択する。さらにまたは代替的に、いくつかの実施形態において、ＡＶＳＤシステムは、そのコンテキストに基づいて映像のタイプを判断する。さらにまたは代替的に、いくつかの実施形態において、ＡＶＳＤシステムは、クエリのタイプに基づいて映像のタイプを判断する。たとえば、どのチームがこのサッカーの試合をしているかをクエリが尋ねると、ＡＶＳＤシステムは、映像がおそらくサッカーの試合についてのものであると判断する。

さらにまたは代替的に、いくつかの実施形態は、さまざまなアプリケーションに合わせてさまざまな物体検出を変化させる。たとえば、車両をナビゲーションすることに関連するクエリに回答するように構成された運転アプリケーションのための物体検出は、スポーツイベントおよび／または映画のために構成された物体検出とは異なっているであろう。スポーツイベントのカテゴリの中でさえ、さまざまな物体およびさまざまな関係を認識するようにさまざまな試合（サッカーまたはバドミントンなど）を構成する必要がある。その目的のために、さまざまな実施形態は、さまざまなタイプの物体を検出して分類するように構成されたさまざまな物体検出モジュールを使用する。さらに、いくつかの実施形態は、クエリおよび／または映像のタイプに基づいてさまざまな物体検出モジュールを選択するように構成される。

したがって、一実施形態は、マルチモーダルクエリに対する応答を生成するためのシーンアウェア対話システムを開示しており、上記シーンアウェア対話システムは、映像フレームのシーケンス、コンテキスト情報およびクエリを受信するように構成された入力インターフェイスと、少なくとも１つのニューラルネットワークを格納するように構成されたメモリとを含み、上記少なくとも１つのニューラルネットワークは、上記ニューラルネットワークに提供された入力された映像フレームのシーケンスおよび上記入力されたコンテキスト情報のうちの１つまたは組み合わせを解析することによって、上記入力されたクエリに対する応答を生成するように訓練されたビジュアルシーンアウェア対話ニューラルネットワークを備え、上記シーンアウェア対話システムはさらに、プロセッサを含み、上記プロセッサは、上記映像フレームのシーケンスの各映像フレーム内の物体を検出して分類するように構成され、上記映像フレームのシーケンス内の物体の関心領域を統合して、上記各映像フレーム内の上記分類された物体間の関係を求めるように構成され、上記映像フレームのシーケンスの少なくとも１つの映像フレームは、少なくとも２つの分類された物体を含み、上記２つの分類された物体間の上記関係は、上記映像フレーム内に限定されるフレーム内物体関係であり、上記プロセッサはさらに、上記各映像フレームについて、上記分類された物体および上記求められた関係を表す特徴を抽出して、特徴ベクトルのシーケンスを生成するように構成され、１つの映像フレームには１つの特徴ベクトルがあり、上記プロセッサはさらに、上記特徴ベクトルのシーケンス、上記入力されたクエリおよび上記入力されたコンテキスト情報を上記ニューラルネットワークに送信して、上記入力されたクエリに対する応答を生成するように構成され、上記シーンアウェア対話システムはさらに、上記入力されたクエリに対する上記応答を提供するための出力インターフェイスを含む。

別の実施形態は、マルチモーダルクエリに対する応答を生成するための方法を開示しており、上記方法は、映像フレームのシーケンス、コンテキスト情報およびクエリを受信するステップと、上記映像フレームのシーケンスの各映像フレーム内の物体を検出して分類するステップと、上記映像フレームのシーケンス内の物体の関心領域を統合して、上記各映像フレーム内の上記分類された物体間の関係を求めるステップとを含み、上記映像フレームのシーケンスの少なくとも１つの映像フレームは、少なくとも２つの分類された物体を含み、上記２つの分類された物体間の上記関係は、上記映像フレーム内に限定されるフレーム内物体関係であり、上記方法はさらに、上記各映像フレームについて、上記分類された物体および上記求められた関係を表す特徴を抽出して、特徴ベクトルのシーケンスを生成するステップを含み、１つの映像フレームには１つの特徴ベクトルがあり、上記方法はさらに、上記特徴ベクトルのシーケンス、上記入力されたクエリおよび上記入力されたコンテキスト情報を少なくとも１つのニューラルネットワークに送信するステップを含み、上記少なくとも１つのニューラルネットワークは、入力された映像フレームのシーケンスおよび上記入力されたコンテキスト情報のうちの１つまたは組み合わせを解析することによって、上記入力されたクエリに対する応答を生成するように訓練されたビジュアルシーンアウェア対話ニューラルネットワークを備え、上記方法はさらに、上記入力されたクエリに対する上記応答を出力インターフェイスを介して提供するステップを含む。

いくつかの実施形態に係る、クエリに対する応答を生成するためのオーディオビジュアルシーンアウェア対話（ＡＶＳＤ）システムの概要を示す図である。 いくつかの実施形態に係る、映像の映像フレームのシーケンスを示す図である。 いくつかの実施形態に係る、映像フレームのシーケンスのためのシーングラフ表現のシーケンスを示す図である。 いくつかの実施形態に係る、各フレームについて生成されたグラフアテンションネットワークおよび関係グラフネットワークを示す図である。 いくつかの実施形態に係る、シーングラフ表現のシーケンスのビジュアルグラフメモリのシーケンスを示す図である。 いくつかの実施形態に係る、クエリに対する応答を生成するためのセマンティック制御トランスフォーマの概略図である。 いくつかの実施形態に係る、クエリに対する応答を生成するためのＡＶＳＤシステムの原理の概要概略を示す図である。 １つの例示的な実施形態に係る、ＡＶＳＤシステムで実現されるデバイスを使用してクエリに対する応答を生成するための例示的なシナリオを示す図である。 いくつかの実施形態に係る、映像フレームのシーケンス、コンテキスト情報および入力されたクエリの情報を含むテーブルの概要を示す図である。 １つの例示的な実施形態に係る、入力されたクエリに対する応答を生成するための例示的なシナリオを示す図である。 別の例示的な実施形態に係る、入力されたクエリに対する応答を生成するための例示的なシナリオを示す図である。 別の例示的な実施形態に係る、入力されたクエリに対する応答を生成するための例示的なシナリオを示す図である。 いくつかの実施形態に係る、ＡＶＳＤシステムによってクエリに対する応答を生成するための方法フロー図である。 いくつかの実施形態に係る、図１のＡＶＳＤシステムの構成要素に対するアブレーション解析を示すテーブルの図である。 いくつかの実施形態に係る、ＡＶＳＤシステムと、対話システム技術チャレンジ７（ＤＳＴＣ７）におけるＡＶＳＤチャレンジのテストスプリットでのベースライン法との比較を示すテーブルの図である。 いくつかの実施形態に係る、ＡＶＳＤシステムと、ＤＳＴＣ８におけるＡＶＳＤチャレンジのテストスプリットでのベースラインとの比較を示す図である。 いくつかの実施形態に係る、クエリに対する応答を生成するためのＡＶＳＤシステムの原理の詳細な概要概略を示す図である。

以下の記載には、本開示を完全に理解できるように多数の具体的詳細が説明の目的で記載されている。しかし、このような具体的詳細がなくても本開示を実施できるということは当業者に明らかであろう。他の例では、本開示を曖昧にすることを回避するために、装置および方法はブロック図の形式でのみ示されている。

本明細書および特許請求の範囲で使用されている「たとえば」、「例として」および「など」という語、ならびに、「備える」、「有する」、「含む」という動詞およびそれらの他の動詞の形は、１つもしくは複数の構成要素または他のアイテムの列挙とともに使用された場合、各々がオープンエンドであるように解釈されるべきであり、これは、列挙が他のさらなる構成要素またはアイテムを排除するものとして考えられるべきでないことを意味している。「基づく」という語は、少なくとも部分的に基づくことを意味している。さらに、本明細書において利用される表現および用語は、説明を目的としており、限定的であるように考えられるべきではない、ということが理解されるべきである。本明細書において利用されるいかなる見出しも、便宜上のものであるに過ぎず、法的効果または限定的効果を有するものではない。
システムの概略

図１は、いくつかの実施形態に係る、クエリに対する応答を生成するためのオーディオビジュアルシーンアウェア対話（ＡＶＳＤ）システム１００の概要を示す図である。ＡＶＳＤシステム１００は、入力インターフェイス１０２と、プロセッサ１０４と、メモリ１０６と、ストレージデバイス１１４と、出力インターフェイス１１６とを含む。入力インターフェイス１０２は、映像の映像フレームのシーケンス、コンテキスト情報およびクエリを備える入力データ１２６を受信するように構成される。入力データ１２６は、マルチモーダル情報（音声、映像、テキストなど）に対応する。ＡＶＳＤシステム１００は、ネットワークインターフェイスコントローラ（ＮＩＣ）１２２を使用してネットワーク１２４を介して入力データ１２６を受信する。いくつかの場合には、映像は、ネットワーク１２４を介して受信されるライブストリーム映像であってもよい。いくつかの他の場合には、映像は、オフライン映像ストリームまたは記録された映像であってもよく、オフライン映像ストリームは、ストレージデバイス１１４に格納され得る。ストレージデバイス１１４は、コンテキスト情報も格納するように構成され、コンテキスト情報は、入力された映像についてのオーディオ情報およびテキスト情報（映像キャプション、映像質問応答対話の履歴など）のうちの１つまたは組み合わせを含む。

プロセッサ１０４は、映像フレームのシーケンスの各映像フレーム内の物体を検出して分類するように構成される。プロセッサ１０４はさらに、イメージフレームのシーケンスの各映像フレーム内の物体間の関係を求めて、特徴ベクトルのシーケンスを生成するために、各映像フレーム内の物体およびそれらの関係を表す特徴を抽出するように構成される。特徴ベクトルのシーケンスの各特徴ベクトルは、映像フレームのシーケンスの対応する映像フレームに対応する。プロセッサ１０４はさらに、特徴ベクトルのシーケンス、クエリおよびコンテキスト情報を、メモリ１０６に格納された１つまたは複数のニューラルネットワークに送信して、クエリに対する応答を生成するように構成され、クエリは、入力された映像フレームのシーケンス内の物体、物体間の関係および物体の時間的進化のうちの１つまたは組み合わせに関係している。１つまたは複数のニューラルネットワークは、１つまたは複数のニューラルネットワークが、モダリティの情報を処理するように構成されたマルチモーダルニューラルネットワークであるように、入力された映像フレームのシーケンスおよび入力されたコンテキスト情報のうちの１つまたは組み合わせを解析することによって、クエリに対する応答を生成するように訓練される。１つまたは複数の訓練されたニューラルネットワークは、オーディオビジュアルシーンアウェアニューラルネットワーク１０８と、特徴抽出ニューラルネットワーク１１０と、集約ニューラルネットワーク１１２とを含む。

たとえば、オーディオビジュアルシーンアウェアニューラルネットワーク１０８は、映像フレームのシーケンスの各映像フレーム内のシーンを表す特徴（たとえば、シーングラフ表現）を処理して応答を生成するように訓練される。オーディオビジュアルシーンアウェアニューラルネットワーク１０８の例としては、高速領域ベース畳み込みニューラルネットワーク（高速ＲＣＮＮ）および三次元（３Ｄ）畳み込みニューラルネットワーク（ＣＮＮ）のうちの１つまたは組み合わせが挙げられる。シーングラフ表現は、各映像フレーム内の物体および物体間の関係の特徴を含む各映像フレームの空間情報を提供する。プロセッサ１０４はさらに、この空間情報と各映像フレームの時間情報とを組み合わせて、時空間シーングラフ表現（ＳＴＳＧＲ）モデルを生成するように構成される。より具体的には、プロセッサ１０４は、統合された関心領域に基づいて映像フレームのシーケンスの各映像フレームについてＳＴＳＧＲモデルを生成する。さらに、１つまたは複数のニューラルネットワークは、クエリに対する関連する応答が生成されるように、各ＳＴＳＧＲモデルを利用して映像フレームのシーケンスの訓練ＳＴＳＧＲモデルに対して時空間学習を実行するように訓練される。時空間推論は、ビジュアル情報フローおよびセマンティック情報フローを映像内に取り込むため、各ＳＴＳＧＲモデルは、各々の対応する映像フレームを時空間ビジュアルグラフストリームおよびセマンティックグラフストリームとして表現する。これにより、映像についてのクエリに関連する応答を生成するための物体レベルのグラフ推論が可能になる。いくつかの実施形態において、１つまたは複数のニューラルネットワークは、物体レベルのグラフ推論を生成するためのマルチヘッドシャッフルトランスフォーマであり、これらのマルチヘッドシャッフルトランスフォーマは、特徴ベクトルのシーケンスのヘッドをシャッフルすることを可能にする。

いくつかの実施形態において、オーディオビジュアルシーンアウェアニューラルネットワーク１０８は、シーングラフ表現における各エッジについてアテンション係数を計算するアテンションベースのネットワークアーキテクチャに対応する。アテンション係数は、グラフ（ＳＴＳＧＲなど）の２つの結び付けられたノード間の重要度を決定する値を提供する。アテンション係数は、時空間推論のために顕著な特徴（分類された物体および関係など）に選択的に注目するのに利用される。

さらに、プロセッサ１０４は、特徴抽出ニューラルネットワーク１１０を利用することによって、生成されたシーングラフ表現から特徴ベクトルを抽出するように構成される。特徴抽出ニューラルネットワーク１２４は、生成されたシーングラフ表現から特徴ベクトルを抽出して、映像フレームのシーケンスのシーングラフ表現のシーケンスに対応する特徴ベクトルのシーケンスを生成する、予め訓練されたニューラルネットワークに対応する。さらに、プロセッサ１０４は、特徴ベクトルのシーケンスの各特徴ベクトルの値を特徴ベクトルのシーケンス内の隣接する特徴ベクトルの加重値で修正するように構成される。

特に、特徴抽出ニューラルネットワーク１１０は、フレームレベルのグラフ内推論を実行して特徴ベクトルを抽出する。本明細書における特徴ベクトルは、シーングラフ表現のシーケンスのビジュアルグラフメモリに対応する。

一実現例において、グラフ内推論は、シーングラフ表現のノードベースの特徴（すなわち、物体特徴）を集約して、シーングラフ表現のエッジベースの特徴（すなわち、関係特徴）を集約することによって実行される。さらに、グラフ内推論は、アテンションベースのニューラルネットワークを使用して、一対の結び付けられたノードの重み値（すなわち、セルフアテンション値）を計算する。この重み値は、対になった一方のノードの、他方のノードに対する重要度を示す。同様に、他の対になったノードの重みも、アテンションベースのニューラルネットワークを使用して求められる。さらに、全ての重み値に基づいて、シーングラフ表現における隣接するノード（すなわち、隣接する物体）の加重合計が計算される。プロセッサ１０４は、この加重合計に基づいて、各々の対応するシーングラフ表現における各ノードの特徴を更新する。

さらに、プロセッサ１０４は、この加重合計を関係ニューラルネットワークへの入力として提供する。一実現例において、関係ニューラルネットワークは、更新されたシーングラフ表現の２つの接続されたノード特徴から関係特徴を生成するための多層完全接続ネットワークに対応する。したがって、更新されたシーングラフ表現は、特徴ベクトルのシーケンスを提供するビジュアルグラフメモリにプールされる。特徴ベクトルのシーケンスは、入力データ１２６の空間表現および時間表現を表す。さらに、特徴ベクトルのシーケンスの各特徴ベクトルを求めるために、集約ニューラルネットワーク１１０は、特徴ベクトルを中心とする窓に適合する複数の特徴ベクトルの値を集約する。特徴ベクトルのシーケンスのこのような特徴ベクトルは、当該特徴ベクトルを中心とする窓に適合する複数の特徴ベクトルの値の加重組み合わせである。これにより、隣接する映像フレーム内の物体およびそれらの関係についての同様の特徴の集約が可能になる。プロセッサ１０４は、特徴ベクトルのシーケンスの各特徴ベクトルを利用して、クエリに対する応答を生成するように構成される。さらに、クエリに対する生成された応答は、出力インターフェイス１１６を介して出力デバイス１１８に提供される。出力デバイス１１８は、コンピュータ、ラップトップ、タブレット、ファブレットまたは任意のディスプレイデバイスを含むが、これらに限定されるものではない。いくつかの実現例では、出力デバイス１１８は、応答を提供するためのアプリケーションインターフェイスを含み得る。

いくつかの実施形態において、ＡＶＳＤシステム１００の効率を向上させるために、プロセッサ１０４は、映像フレームのシーケンスからキーフレームのセットを抽出するように構成され得る。キーフレームのセットは、映像の映像フレームのシーケンス内の人または物体の動きの移り変わりを表す映像フレームを含む。プロセッサ１０４は、ＡＶＳＤアプリケーションのための予め訓練されたモデル（たとえば、VisualGenome）に基づいてキーフレームのセットを抽出するように構成され得る。処理しなければならない映像フレームのシーケンスからの映像フレームの数が減少するので、キーフレームのセットの抽出は、プロセッサ１０４が映像フレーム（すなわち、キーフレームのセット）を効率的に処理して映像のクエリに対する応答を生成することを可能にする。したがって、キーフレームの利用は、効率的なＡＶＳＤシステム（すなわち、ＡＶＳＤシステム１００）を容易にして、映像についてのクエリに対する応答を生成する。

図２Ａは、いくつかの実施形態に係る、映像フレーム（映像２００Ａの映像フレーム２０２ａ、映像フレーム２０２ｂ、映像フレーム２０２ｃおよび映像フレーム２０２ｄなど）のシーケンスを示す図である。いくつかの実施形態において、映像２００ＡがＡＶＳＤシステム１００に提供されると、プロセッサ１０４は、映像フレーム２０２ａ～２０２ｄのシーケンスからキーフレームを検出する。いくつかの実施形態において、キーフレームは、シーケンスの全てのフレームである。いくつかの実施形態において、プロセッサ１０４は、データセット上で訓練されたモデルを使用してキーフレームを抽出する。さらにまたは代替的に、いくつかの実施形態は、等しい時間ストライドでキーフレームを選択する。さらにまたは代替的に、いくつかの実施形態は、時間アテンションモデルを介してキーフレームを選択する。さらにまたは代替的に、いくつかの他の実施形態では、プロセッサ１０４は、キーフレーム抽出技術（クラスタベースのキーフレーム抽出、視覚ベースのキーフレーム抽出、モーション解析ベースのキーフレーム抽出など）を使用してキーフレームを抽出する。映像２００Ａのキーフレームの抽出に基づいて、プロセッサ１０４は、映像２００Ａの映像フレームのシーケンス（すなわち、映像フレーム２０２ａ～２０２ｄのシーケンス）全体を処理する代わりに、キーフレームのみを処理することを求められる。これにより、ＡＶＳＤシステム１００の計算速度および効率が向上する。

いくつかの実施形態において、プロセッサ１０４はさらに、映像フレーム２０２ａ～２０２ｄのシーケンスの各映像フレーム内の物体を検出して分類する。オーディオビジュアルシーンアウェアニューラルネットワーク１０８は、物体検出技術（バウンディングボックス技術など）のための命令のセットを含み得る。プロセッサ１０４は、このような命令を実行して各映像フレーム内の物体を検出するように構成され得る。たとえば、映像フレーム２０２ａでは、検出された物体は、バウンディングボックス（バウンディングボックス２０４ａおよびバウンディングボックス２０４ｂなど）によって示される。検出された物体は、オーディオビジュアルシーンアウェアニューラルネットワーク１０８の物体分類子に基づいて分類される。物体分類子は、従来の物体分類技術に基づいて物体を分類するための命令のセットを含み得る。プロセッサ１０４は、各映像フレーム内の物体を分類するために、物体分類子の命令のセットを実行するように構成され得る。分類された物体は、ラベル付けされる（図２Ａには図示せず）。たとえば、バウンディングボックス２０４ａは、ポットとしてラベル付けされており、バウンディングボックス２０４ｂは、ストーブとしてラベル付けされている。同様に、映像フレーム２０２ｂ～２０２ｄのシーケンスの残りの映像フレーム内の物体が検出されて分類される。さらに、プロセッサ１０４は、分類された物体間の関係を求めて、各映像フレーム（すなわち、映像フレーム２０２ａ、映像フレーム２０２ｂ、映像フレーム２０２ｃおよび映像フレーム２０２ｄ）についてシーングラフ表現を生成する。これについては、図２Ｂの説明でさらに説明する。代替的に、上記のように、プロセッサ１０４は、オーディオビジュアルシーンアウェアニューラルネットワーク１０８の利用に基づいて映像２００Ａのキーフレームから物体を検出して分類してもよい。

図２Ｂは、いくつかの実施形態に係る、シーングラフ表現のシーケンス２００Ｂを示す図である。シーングラフ表現のシーケンス２００Ｂは、映像フレーム２０２ａ～２０２ｄのシーケンスについてのシーングラフ表現２０６ａ、シーングラフ表現２０６ｂ、シーングラフ表現２０６ｃ、シーングラフ表現２０６ｄを含む。さらに、シーングラフ表現２０６ａ～２０６ｄのシーケンスは、分類された物体および求められた関係の特徴２０８ａ、特徴２０８ｂ、特徴２０８ｃおよび特徴２０８ｄのシーケンスに対応する。プロセッサ１０４は、図１の説明に記載されているように、オーディオビジュアルシーンアウェアニューラルネットワーク１０８を利用してシーングラフ表現のシーケンスを生成するように構成される。シーングラフ表現２０６ａ～２０６ｄのシーケンスの各シーングラフ表現は、映像フレーム２０２ａ～２０２ｄのシーケンスの各映像フレーム内の分類された物体および物体間の関係を表す。シーングラフ表現２０６ａでは、各ノードは、分類された物体を表し、２つのノードを接続する各エッジは、分類された物体間の関係を表す。たとえば、シーングラフ表現２０６ａでは、主語ノード（たとえば、９冷凍庫）は、目的語ノード（たとえば、１３キャビネット）に向けられる。さらに、これらのノードを接続するエッジは、物体間の関係が指定されるような方向性エッジである。シーングラフ表現は、Ｇ＝｛（ｘ_ｉ，ｅ_ｉｊ，ｘ_ｊ）｜ｘ_ｉ，ｘ_ｊ∈Ｖ，ｅ_ｉｊ∈ε｝として表すことができ、式中、Ｖは、複数の個々の物体からなる頂点セットであり、εは、２つの物体を結び付ける関係からなるエッジセットであり、（ｘ_ｉ，ｅ_ｉｊ，ｘ_ｊ）は、主語ノードｘ_ｉおよび目的語ノードｘ_ｊが、有向の関係エッジｅ_ｉｊによって接続されることを示す。

いくつかの実施形態において、オーディオビジュアルシーンアウェアニューラルネットワーク１０８は、映像フレーム２０２ａ～２０２ｄのシーケンスの各映像フレーム内の物体のビジュアル特徴またはセマンティック特徴に基づいて物体の特徴を抽出するために分類子のセット（ニューラルネットワークベースの分類子のセットとしても知られている）を含む。分類子のセットは、物体分類子と、関係分類子とを含む。プロセッサ１０４は、入力された映像フレームのシーケンス、入力されたコンテキスト情報、入力されたクエリまたはそれらの組み合わせに基づいてニューラルネットワークベースの分類子のセットから物体分類子および関係分類子を選択するように構成される。たとえば、Ｉによって示される映像フレーム２０２ａ、Ｆ_Ｉによって示される物体特徴、Ｂ_Ｉによって示されるバウンディングボックス、およびＳ_Ｉによって示されるセマンティクスは、ニューラルネットワークベースの物体分類子（高速回帰型畳み込みニューラルネットワーク（Ｒ－ＣＮＮ）物体検出モデルなど）によって抽出することができる。
F_I,B_I,S_I=RCNN(I) （１）

同様に、プロセッサ１０４は、映像フレーム２０２ａ～２０２ｄのシーケンスの各映像フレーム内の分類された物体間の関係を求めるための関係分類子を選択する。関係分類子は、映像フレーム２０２ａ～２０２ｄのシーケンス内の分類された物体間の視覚的関係を認識する。さらに、関係分類子は、最も高い信頼度を有する固定された数の関係提案Ｎ_ｒを生成する。たとえば、Ｎ_ｒは、固定された数１００に設定される。いくつかの実現例において、各映像フレーム（すなわち、映像フレーム２０２ａ～２０２ｄの各々）における視覚的関係は、関係検出モデルを使用して求められ、この関係検出モデルは、識別機能もセマンティック類似性も保持されるベクトル空間に物体および関係を埋め込む。この関係検出モデルは、述語として示される１５０個の物体および５０個の関係を含む映像データセット上で訓練される。関係検出モデルが映像フレーム２０２ａ～２０２ｄに適用されると、主語Ｓ、述語Ｐおよび目的語Ｏのセット（すなわち、＜Ｓ，Ｐ，Ｏ＞）が各映像フレームの出力として得られる。一実施形態において、映像データセット上で訓練された関係検出モデルの関係述語が限定されて固定されるので、元の述語セマンティクスＰは廃棄される。したがって、関係提案は、物体の暗黙的な関係セマンティクスを学習するために使用される＜Ｓ，Ｏ＞対に基づく。ほとんどの場合、関係提案Ｎ_ｒは、言及されていない物体を全て含まなくてもよい。言及されていない物体は、グラフプルーニングを行うことによって除去される。

さらに、プロセッサ１０４は、映像フレーム２０２ａ～２０２ｄのシーケンス内の物体の関心領域を統合して、分類された物体のうちの２つの物体間の関係を求める。より具体的には、求められた＜Ｓ，Ｏ＞対について、ＳおよびＯのためのバウンディングボックス（たとえば、図２Ａのバウンディングボックス２０４ａおよび２０４ｂ）の合体ボックスが、新たなシーングラフにおいて追加ノードとして使用される述語関心領域であるとみなされる。主語バウンディングボックスおよび目的語バウンディングボックスよりも多くの情報をカバーする合体ボックスは、２つの物体の各々の間の高次インタラクションを取り込む。

したがって、プロセッサ１０４は、特徴抽出ニューラルネットワーク１１０を使用してビジュアル情報およびセマンティック情報の両方の情報の特徴を含む特徴２０８ａ～２０８ｄのシーケンスを抽出する。さらに、プロセッサ１０４は、シーングラフ表現２０６ａ～２０６ｄを使用して映像フレーム２０２ａ～２０２ｄのビジュアルメモリを抽出する。これについては、図２Ｃの説明でさらに説明する。

図２Ｃは、いくつかの実施形態に係る、シーングラフを形成する２０６ａ～２０６ｄを表すためのグラフアテンションネットワーク２１０および関係グラフネットワーク２１２を示す表現２００Ｃを示す図である。

いくつかの実施形態において、プロセッサ１０４は、分類された物体および求められた関係を集約して、映像フレーム２０２ａ～２０２ｄのシーケンスの各映像フレームについてビジュアルメモリを生成する。その目的のために、プロセッサ１０４は、メモリ１０６に格納されたグラフアテンションネットワーク２１０および関係グラフネットワーク２１２を利用する。グラフアテンションネットワーク２１０は、アテンション係数値を表すノード２１０ａを含む。シーングラフ表現２０６ａ～２０６ｄのシーケンスの各シーングラフ表現は、グラフアテンションネットワーク２１０および関係グラフネットワーク２１２を使用してグラフ内推論を実行することによって集約される。プロセッサ１０４は、ＡＶＳＤシステム１００の特徴抽出ニューラルネットワーク１１０を利用して、シーングラフ表現２０６ａ～２０６ｄに対してフレームレベルのグラフ内推論を実行して、映像フレーム２０２ａ～２０２ｄのシーケンスの各映像フレームについてビジュアルグラフメモリまたはセマンティックグラフメモリを抽出する。

ビジュアルグラフメモリは、シーングラフ表現２０６ａ～２０６ｄ内の各ノード（すなわち、物体）についてよりきめ細かな情報を表すより高いレベルの特徴を提供する。より高いレベルの特徴は、シーングラフ表現２０６ａ～２０６ｄのシーケンスの各シーングラフ表現内の各エッジについてのアテンション係数に基づいて抽出される。プロセッサ１０４は、グラフアテンションネットワーク２１０によってアテンション係数を求める。さらに、プロセッサ１０４は、アテンション係数に基づいてシーングラフ表現２０６ａ～２０６ｄのノード特徴を集約する。プロセッサ１０４は、関係グラフネットワーク２１２によってノード特徴に基づいて追加のエッジ特徴を計算する。さらに、プロセッサ１０４は、関係グラフネットワーク２１２ノード特徴が更新されるように追加のエッジ特徴を集約する。

式中、ε_ｉは、ノードｉを指し示すエッジのセットを示す。したがって、プロセッサ１０４は、グラフアテンションネットワーク２１０および関係グラフネットワーク２１２に基づいてシーングラフ表現２０６ａ～２０６ｄのシーケンス内のノード特徴を更新する。さらに、シーングラフ表現２０６ａ～２０６ｄの各ノードについてより高いレベルの特徴を得るために、更新されたグラフは、ビジュアルグラフメモリにプールされる。一実現例において、プロセッサ１０４は、グラフ平均値プーリング（ＧＡＰ）およびグラフ最大値プーリング（ＧＭＰ）に基づいてビジュアルグラフメモリのプーリングを実行するように構成される。ＧＡＰおよびＧＭＰは、メモリ１０６に格納される。プロセッサ１０４は、ＧＡＰおよびＧＭＰプーリングにアクセスして、特徴抽出ニューラルネットワーク１１０に提供して、ビジュアルグラフメモリを表す２つのグラフストリームを生成する。ビジュアルグラフメモリ（ビジュアルグラフメモリ２１４ａ、ビジュアルグラフメモリ２１４ｂ、ビジュアルグラフメモリ２１４ｃおよびビジュアルグラフメモリ２１４ｄなど）については、図２Ｄで説明する。

映像フレーム２０２ａ～２０２ｄのシーケンスの中心映像フレーム（たとえば、映像フレーム２０２ｂ）のビジュアルグラフメモリ（グラフメモリ２１６ｂなど）をスライドオーバーする窓２１６ａ～２１６ｃは、最終的なグラフメモリ２１８ａ，２１８ｂ，２１８ｃおよび２１８ｄのシーケンスを提供する。最終的なグラフメモリ２１８ａ～２１８ｄのシーケンスは、Ｖ＝｛ｖ_１，ｖ_２，...，ｖ_Ｌ｝として表すことができ、これは、映像フレーム２０２ａ～２０２ｄの空間情報も時間情報も集約する。最終的なグラフメモリ２１８ａ～２１８ｄは、セルフアテンションエンコーダおよびフィードフォワードネットワーク層２２０への入力として提供される。セルフアテンションエンコーダおよびフィードフォワードネットワーク層２２０は、特徴ベクトル２２０ａ，２２０ｂ，２２０ｃおよび２２０ｄとして表される特徴を抽出する。特徴ベクトル２２０ａ，２２０ｂ，２２０ｃおよび２２０ｄは、セマンティック制御トランスフォーマに送信されて、映像２００Ａのクエリに対する応答を生成する。セマンティック制御トランスフォーマは、コンテキスト情報を符号化する。これについては、図３でさらに説明する。

図３は、いくつかの実施形態に係る、クエリに対する応答を生成するためのセマンティック制御トランスフォーマ３００の概略図である。セマンティック制御トランスフォーマ３００は、マルチヘッドアテンション（ＭＨＡ）ネットワーク層の２つの層（ＭＨＡネットワーク層３０８ａおよびＭＨＡネットワーク層３０８ｂなど）を含む。いくつかの実施形態において、メモリ１０６は、セマンティック制御トランスフォーマを格納するように構成され得て、セマンティック制御トランスフォーマ３００は、特徴ベクトル２２０ａ，２２０ｂ，２２０ｃおよび２２０ｄのコンテキスト情報を符号化して、クエリに対する応答を生成するための命令のセットを含み得る。セマンティック制御トランスフォーマ３００を実行するために、プロセッサ１０４は、特徴ベクトル３０２、コンテキスト情報３０４およびクエリ３０６を入力として取得する。特徴ベクトル３０２は、特徴ベクトル２２０ａ～２２０ｄのシーケンスに対応し、（Ｖ×Ｄ）として表され、式中、Ｄは特徴次元である。コンテキスト情報３０４は、映像質問応答の履歴（Ｈ×Ｄ）に対応する。クエリ３０６は、（Ｑ×Ｄ）として表される映像２００Ａの質問に対応する。

特に、特徴ベクトル３０２、コンテキスト情報３０４およびクエリ３０６は、ＭＨＡネットワーク層３０８ａへの入力として提供される。ＭＨＡネットワーク層３０８ａは、コンテキスト情報３０４に基づいてテキスト情報を符号化し、対話モデルを学習して、クエリ３０６に対する応答を生成する。さらに、ＭＨＡネットワーク層３０８ａは、符号化された特徴ベクトル３１２、符号化されたコンテキスト情報３１４および符号化されたクエリ３１６を生成する。符号化された特徴ベクトル３１２、符号化されたコンテキスト情報３１４、符号化されたクエリ３１６、およびサブ回答３１０の特徴（Ａ×Ｄ）は、別のＭＨＡネットワーク層３０８ｂへの入力として提供されて、クエリ３０６に対する応答を生成する。この応答は、参考回答３１０、符号化された特徴ベクトル３１２、符号化されたコンテキスト情報３１４および符号化されたクエリ３１６のヘッドベクトルをそれぞれシャッフルすることによって生成された特徴ベクトル３１８ａ、特徴ベクトル３１８ｂ、特徴ベクトル３１８ｃおよび特徴ベクトル３１８ｄを含む。ヘッドベクトルのシャッフルは、隠れた特徴も抽出されるので、セマンティック制御トランスフォーマ３００のパフォーマンスを向上させる。図３に示されるように、応答は、反復的な態様で生成される。たとえば、回答は、一度に一単語生成され、それまでに生成された回答の一部は、符号化されて、入力として渡されて、参考回答３２４を形成するための次の単語を生成する。

特徴ベクトル３１８ａ～３１８ｄのヘッドベクトルは、フィードフォワードネットワーク（ＦＦＮ）モジュール３２０に送り込まれて後に連結される前にシャッフルされる。ＦＦＮモジュール３２０は、ＲｅＬＩ関数を間に介在させた２つの完全接続層を含む。連結は、コンテキスト情報３０４の特徴と特徴ベクトル３０２のビジュアル特徴とを融合して、特徴ベクトル３２２を抽出する。損失関数（Ｌ）３２６は、特徴ベクトル３２２の予測確率分布Ｐと参考回答の特徴３２４のグラウンドトークン分布Ｇとの間で実行される。一実施形態において、損失関数３２６は、カルバック・ライブラーダイバージェンスに基づく。

各反復において、セマンティック制御トランスフォーマ３００のコアテンショントランスフォーマを使用して、１つの単語が生成されて、応答のための次の単語が予測される。さらに、全ての次のトークン確率分布がバッチで収集されて、予測確率分布Ｐが得られる。同様に、グラウンドトークン分布Ｇは、グラウンドトゥルース回答またはクエリ３０６に対する応答から得られる。

したがって、セマンティック制御トランスフォーマ３００は、対話モデルを学習して、クエリ３０６に対する応答を生成する。

図４は、いくつかの実施形態に係る、ＡＶＳＤシステム１００の原理の概要概略を示す図である。ＡＶＳＤシステム１００は、入力された映像フレームのシーケンスおよびコンテキスト情報３０４を受信する。プロセッサ１０４は、映像フレーム２０２ａ～２０２ｄのシーケンスについてシーングラフ表現４０４を生成する。図２Ｂの説明で説明したように、シーングラフ表現４０４は、シーングラフ表現２０６ａ～２０６ｄに対応する。シーングラフ表現４０４は、フレーム内のシーンのセマンティック表現である。図２Ｃの説明で説明したように、シーングラフ表現４０４から、グラフ内推論３０６によってビジュアルグラフメモリ（たとえば、ビジュアルグラフメモリ２１４ａ～２１４ｄ）が生成される。プロセッサ１０４は、グラフ間情報集約４０８のためにビジュアルグラフメモリ２１４ａ～２１４ｄを利用して、最終的なグラフメモリ（すなわち、グラフメモリ２１８ａ～２１８ｄ）を生成する。最終的なグラフメモリ２１８ａ～２１８ｄは、セマンティック制御トランスフォーマ３００への入力として提供される。さらに、プロセッサ１０４は、セマンティック制御トランスフォーマ推論４１０を実行して、最終的なグラフメモリ２１８ａ～２１８ｄ、コンテキスト情報３０４および入力されたクエリ４１２を符号化して、出力応答４１４を生成するように構成される。いくつかの実施形態において、入力されたクエリ４１２は、セマンティック制御トランスフォーマ３００に提供されて、セマンティック制御トランスフォーマ推論４１０を実行する。

一般に、言語モデル化では、回答文の単語は語彙リポジトリから予測される。一実現例において、回答文の中の単語の次の単語の予測は、入力されたクエリ４１２に基づいて行われる。コンテキスト情報３０４は、ソース文（映像キャプション、対話履歴および参考回答３１０（すなわち、既に生成された回答））を含む。たとえば、対話履歴は、Ｈ＝｛Ｃ，（Ｑ_ｌ，Ａ_ｌ），...，（Ｑ_ｌ－１，Ａ_ｌ－１）｝であり、式中、Ｃは映像キャプションであり、Ｑ_ｌはクエリであり、Ａ_ｌ ^ｉｎは参考回答である。セマンティック制御トランスフォーマ推論４１０は、出力応答４１４のための語彙の中の単語の全てのトークンについて単語の次のトークンの確率分布を生成する。セマンティック制御トランスフォーマ推論４１０の推論プロセスは、連結されたビジュアルグラフメモリ２１４ａ～２１４ｄおよび最終的なグラフメモリ２１８ａから２１８ｄに基づいて制御される。

セマンティック制御トランスフォーマ推論４１０では、対話履歴（Ｈ）、映像キャプション（Ｃ）、クエリ（Ｑ_ｌ）および参考回答（Ａ_ｌ ^ｉｎ）を含む文ソースは、トークン化および単語位置埋め込み層を使用して埋め込まれる。たとえば、テキストソース（Ｈ，Ｃ，Ｑ_ｌ，Ａ_ｌ ^ｉｎ）は、ｅ_ｈ，ｅ_ｃ，ｅ_ｑ，ｅ_ａとしてトークン化される。一実現例において、テキストソースは、バイト対符号化（ＢＰＥ）によってトークン化される。トークン化されたテキストソースは、単語位置埋め込み層によって、文の長さ（Ｌ）および単語埋め込み次元（Ｗ）に対応するＬＷ次元ベクトルの表現に変換される。トークン化されたテキストソースの各単語は、位置埋め込み空間に符号化され、単語埋め込み層に追加される。同様に、ターゲット文も位置埋め込み空間に符号化される。セルフアテンションモジュールの入力におけるテキストソースの連続表現Ｓ∈Ｒ^Ｌ×Ｃは、線形変換を使用してキー（ｋ）、クエリ（ｑ）および値（ｖ）に変換される。セルフアテンションモジュールは、キーとクエリとの間のアテンション値を計算する。キーとクエリとの間のアテンション値は、テキストソースの中の各単語がセルフアテンションモジュールを使用して他の単語からの情報を集約することを可能にする。

さらに、次元２ｄ_ｈのビジュアルグラフメモリ（すなわち、ビジュアルグラフメモリ２１４ｃ～２１４ｄ）は、ｄ_ｈ次元特徴であるｅ_ｖに変換され、このｅ_ｖは、テキストソースのＬＷ次元と一致する。次に、トークン化された参考回答（すなわち、参考回答３１０）ｅ_ａは、セルフアテンションベースのマルチヘッドシャッフルトランスフォーマ（すなわち、ＭＨＡネットワーク層３０８ａ）を使用して符号化されて、符号化された隠れ表現（ｈ_ｅｎｃ）を生成する。
h_enc=FFN(Attention(W_qe_a,W_ke_a,W_ve_a)) （９）
式中、Ｗ_ｑ，Ｗ_ｋ，Ｗ_ｖは、それぞれクエリ（ｑ）、キー（ｋ）および値（ｖ）の重み行列である。ＦＦＮは、活性化関数（すなわち、正規化線形ユニット（ＲｅＬｕ））を介在させた２つの完全接続層を含むフィードフォワードネットワークモジュールである。符号化された隠れ表現は、特徴ベクトル３１８ａ～３１８ｄに対応する。

値（ｖ）を有する、キー（ｋ）とクエリ（ｑ）との間のアテンション係数は、以下のように定義されるアテンション関数に基づいて求められる。

入力されたクエリ４１２を符号化した後、マルチヘッドシャッフルトランスフォーマ（すなわち、ＭＨＡネットワーク層３０８ｂ）の同一のトランスフォーマ構造を用いて、他の単語の各々についてのコアテンションおよび視覚的埋め込みｅ_ｊ（ｊ∈｛ｈ，ｃ，ｑ，ｖ｝）が実行される。
h^′ _enc,j=FFN(Attention(W_qh_enc,W_ke_j,W_ve_j) （１１）
式中、ｈ^′ _{ｅｎｃ，ｊ}は、新たな符号化された特徴である。

文ソースの特徴とビジュアル特徴（すなわち、特徴ベクトル３１８ａ～３１８ｄ）とを連結することによって、特徴ベクトルｈ^＊ _{ｅｎｃ，ｊ}が抽出される。各文ソース特徴（すなわち、符号化されたコンテキスト情報３１４および符号化されたクエリ３１６）および各ビジュアル特徴（すなわち、符号化された特徴ベクトル３１２）における各ヘッドベクトルは、マルチヘッドシャッフルトランスフォーマ（すなわち、ＭＨＡネットワーク層３０８ｂ）によってシャッフルされる。マルチヘッドシャッフルは、符号化された特徴ベクトル３１２、符号化されたコンテキスト情報３１４および符号化されたクエリ３１６のヘッドベクトルが始めから終わりまで相互作用することを可能にし、これにより、セマンティック制御トランスフォーマ推論４１０のパフォーマンスが向上する。これらのヘッドベクトルは、後に連結されるＦＦＮモジュール３２０の２つの完全接続層に送り込まれる前にシャッフルされる。連結は、テキストソースの特徴とビジュアル特徴とを融合して、最終的な符号化された特徴ベクトルｈ^＊ _{ｅｎｃ，ｊ}を抽出する。特徴ベクトルｈ^＊ _{ｅｎｃ，ｊ}は、語彙の中のトークンにわたる次のトークン確率分布（ｐ_{ｖｏｃａｂ}）を予測するのに使用される。次のトークン確率分布（ｐ_{ｖｏｃａｂ}）は、ソフトマックス関数を有するＦＦＮを使用して予測される。
(p_vocab)=softmax(FFN(h^* _enc)) （１２）
テスト段階において、ｂ個のビームによるビーム検索が実行されて、回答文を生成する。各ステップにおいて、上位ｂ個の最も高い信頼度スコアを有するｂ個のトークンが選択される。回答は、文のトークンエンドである＜ｅｏｓ＞が生成されると、または、最大数のトークンに達すると完了する。したがって、プロセッサは、生成された回答に基づいて、出力応答４１４を入力されたクエリ４１２に出力する。

図５は、１つの例示的な実施形態に係る、ＡＶＳＤシステム１００で実現されるデバイス５１６を使用してクエリ５０６に対する応答５２０を生成するための例示的なシナリオ５００を示す図である。デバイス５１６は、テレビ、ラップトップ、コンピュータ、スマートフォン、または任意のディスプレイデバイスであり得る。いくつかの実施形態において、デバイス５１６には、ＡＶＳＤシステム１００が埋め込まれており、デバイス５１６は、ユーザ５０２からのクエリ５０６を処理してクエリ５０６に対する応答を生成するように構成される。このような場合、デバイス５１６におけるＡＶＳＤシステム１００は、マルチモーダル情報（映像の映像キャプション、映像の映像対話履歴および映像の音声のようなコンテキスト情報など）を符号化することによってクエリ５０６に関連する応答を生成する。図３で説明したように、マルチモーダル情報は、映像のビジュアル情報およびセマンティック情報に符号化される。ビジュアル情報およびシーン情報は、ＡＶＳＤシステム１００のプロセッサ１０４によって抽出され、これは図２Ａおよび図２Ｂで説明されている。

代替的な実施形態において、ＡＶＳＤシステム１００は、ネットワーク（ネットワーク１２４など）のオンライン接続リンクを介してデバイス５１６とリモート結合されてもよい。さらに、ユーザ５０２は、デバイス５１６と通信することができる電子デバイス５０４に関連付けられる。電子デバイス５０４は、通信リンク（ブルートゥース接続、赤外線接続、Ｗｉ－Ｆｉ接続など）を介してデバイス５１６と通信し得る。代替的な実施形態において、ＡＶＳＤシステム１００は、クラウドネットワーク（図５には図示せず）を介してデバイス５１６に結合されてもよい。

さらに、デバイス５１６は、１つまたは複数の構成要素（カメラ５０８、表示画面５１０、マイクロフォン５１２、スピーカ５１４など）を含み得る。カメラ５０８は、カメラ５０８の視野５１８内にいるユーザ５０２を取り込む。さらにまたは代替的に、カメラ５０８は、ユーザ５０２のジェスチャ（映像内の物体を指し示すハンドジェスチャなど）を取り込む。したがって、デバイス５１６は、これらのジェスチャとともにクエリ５０６をＡＶＳＤシステム１００に送信する。

たとえば、ユーザ５０２は、デバイス５１６の表示画面５１０上に表示されたスポーツの試合を見ており、ユーザ５０２は、そのスポーツの試合についてのクエリ５０６を電子デバイス５０４を介して提供する。クエリ５０６は、「何人のプレーヤがフィールドでプレイしていますか？」というものであり得る。ユーザ５０２は、そのスポーツの試合を指し示すハンドジェスチャとともにクエリ５０６を提供し得る。クエリ５０６は、電子デバイス５０４によって取り込まれて、ユーザ５０２が何について尋ねているかをシステム１００が判断することを可能にする。電子デバイス５０４は、クエリ５０６をデバイス５１６に送信する。代替的に、ユーザ５０２は、デバイス５１６のマイクロフォン５１２を介してクエリ５０６を提供してもよい。マイクロフォン５１２は、クエリ５０６を受信して、デバイス５１６におけるＡＶＳＤシステム１００に提供する。図２Ａ～図２Ｄ、図３および図４の説明で上記したように、ＡＶＳＤシステム１００は、スポーツの試合の映像、入力されたクエリ５０６、およびストレージデバイス１１４に格納されたスポーツの試合のコンテキスト情報を処理して、クエリ５０６に対する応答５２０を生成する。したがって、デバイス５１６は、生成された応答５２０をスピーカを介して出力し、応答５２０は、「１４人のプレーヤがフィールドでプレイしています」というものであり得る。したがって、ＡＶＳＤシステム１００で実現されるデバイス５１６は、ユーザ（たとえば、５０２）のクエリ（たとえば、５０６）に対する応答（たとえば、５２０）を容易にする。

図６は、いくつかの実施形態に係る、映像フレームのシーケンス、コンテキスト情報４０２および入力されたクエリ４１２の情報を含むテーブル６００の例示的な図である。テーブル６００は、列（映像６０２、映像キャプション６０４、対話履歴６０６、クエリ６０８、回答６１０および生成された回答６１２など）を含む。テーブル６００は、映像、コンテキスト情報およびクエリに対応する情報を示す行６１４および６１６を含む。映像６０２の列は、映像２００Ａの映像フレーム（たとえば、映像フレーム２０２ａ～２０２ｄ）のシーケンスを含む映像ファイルを示す。映像ファイルは、映像ファイルフォーマット（フラッシュ（．ｆｌｖまたは．ｓｗｆ）、．ｍｐ４、オーディオビデオインターリーブ（．ａｖｉ）など）で格納されることができる。映像キャプション６０４の列は、対応する映像ファイルの映像キャプションまたはサブタイトルの情報を示す。いくつかの実施形態において、キャプションは、映像全体の簡単な説明を生成する映像キャプショニングシステムからのものであり得る。対話履歴６０６の列は、映像質問応答対話の履歴を示す。いくつかの実現例において、テーブル６００は、ＡＶＳＤシステム１００のストレージデバイス１１４に格納される。たとえば、入力されたクエリ（入力されたクエリ４１２など）がＡＶＳＤシステム１００によって受信されると、入力されたクエリ４１２は、ストレージデバイス１４４のテーブル６００の中のクエリ６０８の列に格納される。さらに、ＡＶＳＤシステム１００のプロセッサ１０４は、映像６０２、映像キャプション６０４および対話履歴６０６の情報を使用して特徴ベクトルを抽出して、出力応答３１４を生成する。一実施形態において、出力応答３１４は、参考回答、ならびに、参考回答６１０および生成された回答６１２の列に対応する生成された回答文にそれぞれ基づいて生成される。別の実施形態は、回答を生成するのに参考回答を使用しない。参考回答は、訓練中にのみ使用される。

さらに、行６１４では、生成された回答６１２の列の下に、入力されたクエリに対する１つまたは複数の回答が生成される。生成された回答６１２における各々の生成された回答は、信頼度スコアに関連付けられる。最も高い信頼度スコアを有する生成された回答は、出力応答（たとえば、図３の説明で説明した出力応答３１４）として選択される。同様に、生成された回答６１２に対応する行６１６では、最も高い信頼度スコアを有する回答が出力応答として生成される。映像６０２の列の下の映像（すなわち、映像－１および映像－２）については、図７Ａおよび図７Ｂでさらに説明する。

図７Ａは、１つの例示的な実施形態に係る、映像についての入力されたクエリ７０４に対する応答７０６を生成するための例示的なシナリオ７００である。描写７００は、映像フレーム（まとめて映像フレーム７０２と称される）のシーケンスを有する映像（たとえば、図６の映像－１）を示す。この映像は、デバイス（デバイス５１６など）で再生される。たとえば、この映像は、物体（掃除機、衣服、テーブル、洗濯機など）を含む部屋の中にいる人を示している。クエリ７０４（「これはどのような部屋だと思いますか？」など）がＡＶＳＤシステム１００に提供されると、受信されたクエリ７０４に基づく応答７０８が生成される。

その目的のために、ＡＶＳＤシステム１００は、映像フレーム７０２を処理して、映像フレーム７０２からビジュアル情報およびセマンティック情報を抽出するプロセッサ１０４を含む。さらに、プロセッサ１０４は、ビジュアル情報およびセマンティック情報をコンテキスト情報（映像フレーム７０２の映像キャプション、映像対話履歴、および映像フレーム７０２の音声など）で符号化して、応答７０８を生成する。図６の説明で説明したように、応答７０８は、生成された回答６１２の中の最も高い信頼度スコアを有する生成された回答に基づいて生成される。たとえば、クエリ７０４に対する応答７０８は、「洗濯室のようです」であり得る。

図７Ｂは、別の例示的な実施形態に係る、映像についての入力されたクエリ７１４に対する応答７１６を示す例示的なシナリオ７１０である。ユーザ５０２は、デバイス５１６における映像を見ている。この映像は、映像フレーム（まとめて映像フレーム７１２と称される）のシーケンスを有する図６の映像－２に対応する。ユーザ５０２は、音声またはテキストフォーマットを介してクエリ７１４を提供する。デバイス５１６におけるＡＶＳＤシステム１００は、映像フレーム７１２を処理して映像フレーム７１２のビジュアル特徴およびセマンティック特徴を抽出するプロセッサ１０４を含む。ビジュアル特徴およびセマンティック特徴はさらに、マルチモーダル入力データ（すなわち、映像キャプション、映像対話および音声（または、コンテキスト情報））で符号化されて、クエリ７１４に対する関連する応答を生成する。この関連する応答（応答７１６など）は、クエリ７１４について生成される。応答７１６は、図６のテーブル６００に示されるように、最も高い信頼度スコアを有する生成された回答に対応する。

図７Ｃは、別の例示的な実施形態に係る、映像についての入力されたクエリ７２４に対する応答７２６を示す例示的なシナリオ７２０である。ユーザ５０２は、車両を運転しており、カメラ（たとえば、ダッシュボードカメラ）は、車両の正面の動的なシーン７１２の映像を取り込む。この実施形態では、ユーザ５０２は、車両を予め規定された目的地７３０にナビゲートするためのナビゲーションクエリ７２４を作成することができる。ユーザ５０２は、音声を介してクエリ７２４を提供する。別の実施形態では、クエリは、目的地７３０への予め計算されたナビゲーションルートから収集され得る。デバイス５１６におけるＡＶＳＤシステム１００は、映像フレーム７２２を処理して映像フレーム７２２のビジュアル特徴およびセマンティック特徴を抽出するプロセッサ１０４を含む。ビジュアル特徴およびセマンティック特徴はさらに、マルチモーダル入力データ（すなわち、映像対話および音声（または、コンテキスト情報（ＧＰＳ座標、深度マップなど）））で符号化されて、クエリ７２４に対する関連する応答を生成する。この関連する応答（応答７２６など）は、クエリ７２４について生成される。

この実施形態では、ＡＶＳＤシステム１００は、ナビゲーション命令を生成することに関連する物体およびそれらの関係を検出して分類するように構成された物体および関係分類子を使用することができる。たとえば、物体は、建物、自動車、歩行者、電柱、信号機、または運転者に関連するその他の物体を含み得る。関係の例としては、前方、後方、右側、左側などを含み得る。この実施形態では、ＡＶＳＤシステム１００は、目的地へのナビゲーションルートとともに分類された物体およびそれらの関係の説明を使用してナビゲーション命令を生成するように構成される。たとえば、ＡＶＳＤシステム１００は、ナビゲーション命令（「前方の自動車についていって、左前方の木の後で左折して下さい」など）を生成することができる。この例では、分類された物体は、自動車および木である。ナビゲーションされる車両とのそれらの関係は、自動車も木も車両の前方にあることを示す。目的地へのナビゲーションルートとのそれらの関係は、ナビゲーションルートを辿るために左折する必要があることを示す。

この実施形態は、車両の近傍における静的および動的な物体についてのリアルタイムのユニモーダルまたはマルチモーダル情報に基づいて、車両の運転者にルートガイダンスを提供する必要があるという認識に基づく。たとえば、いくつかの実施形態の目的は、「１００フィート行って２つ目の通りを右折してジョンソンストリートに入って下さい」のようなＧＰＳベースの命令に加えて、またはその代わりに、「茶色のれんが造りの建物の前で右折して下さい」または「白い自動車についていって下さい」のようなコンテキストベースの運転命令を提供することである。このようなコンテキストベースの運転命令は、車両の近傍におけるシーンのリアルタイム認識に基づいて生成され得る。その目的のために、本明細書では、コンテキストベースのナビゲーションは、さまざまな実施形態に係る対話システムを使用して実現可能なシーンアウェアナビゲーションと称される。

図８は、いくつかの実施形態に係る、ＡＶＳＤシステム１００によって入力されたクエリに対する応答を生成するための方法フロー図８００を示す図である。ブロック８０２において、システム１００は、映像フレームのシーケンス、コンテキスト情報およびクエリを受信する。映像フレームのシーケンスは、映像フレームのシーケンス（たとえば、図７Ａおよび図７Ｂの映像フレーム７０２または７１２のシーケンス）に対応する。コンテキスト情報は、図６で説明した映像キャプション６０４、対話履歴６０６および参考回答６０８を含む。クエリは、図７の入力されたクエリ７０４または７０６に対応する。ブロック８０４において、システム１００は、映像フレーム２０２ａ～２０２ｄのシーケンスの各映像フレーム内の物体を検出して分類する。ブロック８０６において、システム１００は、映像フレーム２０２ａ～２０２ｄのシーケンスの各映像フレーム内の分類された物体間の関係を求める。各映像フレームは、少なくとも２つの分類された物体を含み、これら２つの分類された物体間の関係は、この映像フレーム内に限定されるフレーム内物体関係である。

ブロック８０８において、システムは、各映像フレームについて、分類された物体および求められた関係を表す特徴を抽出して、特徴ベクトルのシーケンス（すなわち、図４の特徴ベクトル４１８ａ～４１８ｄのシーケンス）を生成する。映像フレーム２０２ａ～２０２ｄのシーケンスの各映像フレームは、テキストソースおよびビジュアルソースの情報または特徴を符号化する１つの特徴ベクトル（すなわち、特徴ｈ^＊ _ｅｎｃ）を有する。ブロック８１０において、システム１００は、特徴ベクトル４１８ａ～４１８ｄのシーケンス、入力されたクエリ４１２および入力されたコンテキスト情報をニューラルネットワーク（すなわち、セマンティック制御トランスフォーマ推論３１０）に送信して、入力されたクエリ４１２に対する応答（すなわち、出力応答３１４）を生成する。ブロック８１２において、システム１００は、入力されたクエリ４１２に対する応答３１４を出力インターフェイス（出力インターフェイス１１６など）を介して提供する。

図９は、いくつかの実施形態に係る、システム１００の構成要素に対するアブレーション解析を示すテーブル９００の図である。アブレーション解析は、トランスフォーマ構造におけるシャッフルの使用、グラフアテンションネットワークを使用するか関係グラフネットワークを使用するか、ユニオンバウンディングボックスのための関心領域（ＲＯＩ）再トリミングを行うか否か、ビジュアルグラフもセマンティックグラフも使用するか否か、時間情報集約を行うか否かなどに関して、ＡＶＳＤシステム１００の有効性を証明する。アブレーション解析は、従来の評価メトリクス（ＢＬＵＥ－１、ＢＬＵＥ－２、ＢＬＵＥ－３、ＢＬＵＥ－４、ＭＥＴＥＯＲ、ＲＯＵＧＥ ＬおよびＣＩＤＥｒなど）を使用して研究される。さまざまな構成要素は、ＡＶＳＤシステム１００のトランスフォーマ構造におけるシャッフル、グラフニューラルネットワークタイプ、ユニオンバウンディングボックス、セマンティックラベル、および時間情報集約に対応する。

図９に示されるように、テーブル９００は、アブレーション研究（フルモデル、シャッフルなし（ｗ／ｏ）、グラフアテンションネットワーク（ＧＡＴ）なし、関係グラフネットワーク（たとえば、ＥｄｇｅＣｏｎｖ）なし、ユニオンボックス特徴なし、セマンティックグラフなし、および時間情報なし、など）を示す。フルモデルは、トランスフォーマ構造におけるシャッフル、グラフアテンションネットワーク、関係グラフネットワーク、ユニオンバウンディングボックス、ビジュアルグラフおよびセマンティックグラフの両方のグラフ、ならびに時間情報集約を使用する。行９０２において、フルモデルは、全てのキー構成要素が使用される場合に高精度の値を有する。たとえば、グラフアテンションネットワークは、近傍のノードからの情報を集約するのに非常に有用であるのに対して、関係グラフネットワーク（すなわち、ＥｄｇｅＣｏｎｖ）は、グラフアテンションネットワークに基づいてわずかな改良を提供することができる。さらに、マルチヘッドトランスフォーマ構造（図３のＭＨＡネットワーク層３０８ａおよび３０８ｂ）におけるシャッフルの使用は、ＡＶＳＤシステム１００のパフォーマンスを向上させる。さらに、ユニオンバウンディングボックス、セマンティックラベルおよび時間情報集約は、応答を生成するための特徴ベクトル抽出のパフォーマンスを安定化させるのに寄与する。概して、これらの構成要素を採用することによって、フルモデルは、全てのアブレーションよりもパフォーマンスが優れる。

図１０Ａは、いくつかの実施形態に係る、ＡＶＳＤシステム１００と、対話システム技術チャレンジ７（ＤＳＴＣ７）におけるＡＶＳＤチャレンジのテストスプリットでのベースライン法との比較を示すテーブル１０００Ａである。テーブル１０００には、ＤＳＴＣ７テストスプリットでの定量的結果が示されている。これらの結果は、ＡＶＳＤシステム１００が音声特徴（ＶＧＧｉｓｈ音声特徴または三次元（３Ｄ）畳み込みニューラルネットワーク（ＣＮＮ）（インフレ－テッド３Ｄ ＣｏｎｖＮｅｔ（Ｉ３Ｄ）など）特徴など）なしでも他の方法よりも優れたパフォーマンスを実現することを証明している。

客観的なメトリクスを用いてＤＳＴＣ７におけるＡＶＳＤを評価することによって、ＡＶＳＤシステム１００のパフォーマンスと４つのベースライン法（ベースライン法、マルチモーダルアテンション法、単純法およびＭＴＮ法など）とを比較する。ベースライン法は、さまざまなモダリティについて特徴を抽出するＤＳＴＣチャレンジに基づく。さまざまなモダリティの抽出された特徴は、単純な連結または追加を使用して組み合わせられて、入力されたクエリに対する応答を生成する。マルチモーダルアテンション法は、応答生成のために顕著な特徴に選択的に注目するのにアテンションを利用するマルチモーダルアテンションを実行する。単純法は、応答生成のために画像特徴（ＶＧＧ特徴など）および因子グラフアテンションを追加する。ＭＴＮ法は、セルフアテンションおよびコアテンションを適用して、映像、音声およびマルチターン対話情報間の情報を集約する。さらに、パフォーマンスを向上させるために、回答自動符号化損失が適用された。

図１０Ｂは、いくつかの実施形態に係る、ＡＶＳＤシステム１００と、対話システム技術チャレンジ８（ＤＳＴＣ８）におけるＡＶＳＤチャレンジのテストスプリットでのベースライン法との比較を示すテーブル１０００Ｂの図である。テーブル１０００Ｂには、追加の人間による評価を有するＤＳＴＣ８テストスプリットでの定量的結果が示されている。これらの結果は、ＡＶＳＤシステム１００がシーングラフを利用して映像のビジュアル情報を表現することによって以前のベースラインを向上させることを示している。テーブル１０００Ｂに示されるように、ＡＶＳＤシステム１００は、人間による評価を単純法よりも３．４３３に向上させ、これは、相対的に１２％の増加である。
例示的な実施形態

図１１は、いくつかの実施形態に係る、ＡＶＳＤシステム１００の原理の概要概略１１００を示す図である。ＡＶＳＤシステム１００は、入力された映像フレーム１１０２ａ～１１０２ｃのシーケンスおよびコンテキスト情報１１３０，１１３２，１１３４を受信する。プロセッサ１０４は、映像フレーム１１０２ａ～１１０２ｃのシーケンスについてシーングラフ表現１１０４ａ～１１０４ｃを生成する。図２Ｂの説明で説明したように、シーングラフ表現１１０４ａ～１１０４ｃは、シーングラフ表現２０６ａ～２０６ｃに対応する。シーングラフ表現１１０４ａ～１１０４ｃは、フレーム内のシーンのセマンティック表現である。図２Ｃの説明で説明したように、シーングラフ表現１１０４ａ～１１０４ｃから、グラフ内推論３０６によって、ビジュアルグラフメモリ（たとえば、ビジュアルグラフメモリ１１０８ａ～１１０８ｃ）が生成される。

プロセッサ１０４は、ビジュアルグラフメモリ１１０８ａ～１１０８ｃをグラフ間情報集約１１１２に利用して、最終的なグラフメモリ（すなわち、グラフメモリ１１２８ａ～１１２８ｃ）を生成する。最終的なグラフメモリ１１２８ａ～１１２８ｃは、セマンティック制御トランスフォーマ１１２４への入力として提供される。さらに、プロセッサ１０４は、最終的なグラフメモリ１１２８ａ～１１２８ｃ、コンテキスト情報３０４および入力されたクエリ１１３４を符号化して出力応答１１４０を生成するようにセマンティック制御トランスフォーマ推論１１２４を実行するように構成される。いくつかの実施形態において、入力されたクエリ１１３４は、セマンティック制御トランスフォーマ３００に提供されて、セマンティック制御トランスフォーマ推論１１２４を実行する。セマンティック制御トランスフォーマ推論１１２４は、出力応答１１４０のための語彙の中の単語の全てのトークンについて単語の次のトークンの確率分布を生成する。セマンティック制御トランスフォーマ推論１１４０の推論プロセスは、連結されたビジュアルグラフメモリ２１４ａ～２１４ｄおよび最終的なグラフメモリ２１８ａ～２１８ｄに基づいて制御される。

以下の説明は、例示的な実施形態を提供しているに過ぎず、本開示の範囲、適用範囲または構成を限定するよう意図されたものではない。むしろ、例示的な実施形態の以下の説明は、１つまたは複数の例示的な実施形態を実現するための実施可能な程度の説明を当業者に提供するであろう。添付の特許請求の範囲に記載されている開示されている主題の精神および範囲から逸脱することなく要素の機能および配置の点でさまざまな変更がなされ得ると考えられる。

実施形態を十分に理解できるようにするために、以下の説明では具体的詳細が提供されている。しかし、これらの具体的詳細なしに実施形態を実施してもよいということが当業者によって理解される。たとえば、開示されている主題におけるシステム、プロセスおよび他の要素は、不必要な細部にわたって実施形態を曖昧にすることのないように、ブロック図の形式の構成要素として示されてもよい。他の例では、周知のプロセス、構造および技術は、実施形態を曖昧にすることを回避するために、不必要な詳細なしに示されてもよい。さらに、さまざまな図面における同様の参照番号および名称は、同様の要素を示す。

また、個々の実施形態は、フローチャート、フロー図、データフロー図、構造図またはブロック図として示されるプロセスとして説明されてもよい。フローチャートは、動作をシーケンシャルなプロセスとして記載し得るが、これらの動作の多くは、並行してまたは同時に実行することができる。また、動作の順序は、並べ替えられてもよい。プロセスは、その動作が完了すると終了され得るが、図面に記載されていないまたは図面に含まれていない追加のステップを有してもよい。さらに、いずれかの特定的に記載されているプロセスにおける全ての動作が全ての実施形態で行われるとは限らない。プロセスは、方法、関数、手順、サブルーチン、サブプログラムなどに対応し得る。プロセスが関数に対応する場合、関数の終了は、呼び出し関数またはメイン関数への関数の戻りに対応し得る。

さらに、開示されている主題の実施形態は、少なくとも一部が手動でまたは自動的に実現されてもよい。手動のまたは自動的な実現例は、マシン、ハードウェア、ソフトウェア、ファームウェア、ミドルウェア、マイクロコード、ハードウェア記述言語、またはそれらの任意の組み合わせを使用することによって実行されてもよく、または少なくとも支援されてもよい。ソフトウェア、ファームウェア、ミドルウェアまたはマイクロコードで実現される場合、必要なタスクを実行するためのプログラムコードまたはコードセグメントは、機械読取可能媒体に格納されてもよい。プロセッサが必要なタスクを実行してもよい。

本明細書に記載されているさまざまな方法またはプロセスは、さまざまなオペレーティングシステムまたはプラットフォームのうちのいずれか１つを利用する１つまたは複数のプロセッサで実行可能なソフトウェアとしてコード化されてもよい。さらに、このようなソフトウェアは、いくつかの好適なプログラミング言語および／またはプログラミングもしくはスクリプティングツールのうちのいずれかを使用して書かれてもよく、また、フレームワークまたは仮想マシンで実行される実行可能な機械語コードまたは中間コードとしてコンパイルされてもよい。一般に、プログラムモジュールの機能は、さまざまな実施形態で求められるように組み合わせられたり、分散されたりし得る。

本開示の実施形態は、方法として具体化されてもよく、その一例が提供されている。方法の一部として実行される動作は、任意の好適な方法で順序付けられてもよい。したがって、実施形態は、示されている順序とは異なる順序で動作が実行されるように構築されてもよく、たとえ例示的な実施形態においてシーケンシャルな動作として示されていたとしても、いくつかの動作を同時に実行することを含み得る。さらに、特許請求の範囲において順序を表す語（「第１の」、「第２の」など）を使用してクレーム要素を修飾することは、それ自体が、１つのクレーム要素の、別のクレーム要素に対する優先順位、順位または順序を暗示するものではなく、方法の動作が実行される時間的順序を暗示するものでもなく、特定の名前を有する１つのクレーム要素を同一の名前を有する（が、順序を表す語の使用のための）別の要素から区別して、クレーム要素同士を区別するためのラベルとして使用されているに過ぎない。

特定の好ましい実施形態を参照して本開示を説明してきたが、本開示の精神および範囲内でさまざまな他の適合および変形がなされ得るということが理解されるべきである。したがって、全てのこのような変更および変形を本開示の真の精神および範囲内に包含することは、添付の特許請求の範囲の局面である。

Claims (17)

1. シーンアウェア対話システムであって、
   映像フレームのシーケンス、コンテキスト情報およびクエリを受信するように構成された入力インターフェイスと、
   少なくとも１つのニューラルネットワークを格納するように構成されたメモリとを備え、前記少なくとも１つのニューラルネットワークは、前記ニューラルネットワークに提供された入力された映像フレームのシーケンスおよび前記入力されたコンテキスト情報のうちの１つまたは組み合わせを解析することによって、前記入力されたクエリに対する応答を生成するように訓練されたビジュアルシーンアウェア対話ニューラルネットワークを備え、前記シーンアウェア対話システムはさらに、
   プロセッサを備え、前記プロセッサは、
   前記映像フレームのシーケンスの各映像フレーム内の物体を検出して分類するように構成され、
   前記映像フレームのシーケンス内の物体の関心領域を統合して、前記各映像フレーム内の前記分類された物体間の関係を求めるように構成され、前記映像フレームのシーケンスの少なくとも１つの映像フレームは、少なくとも２つの分類された物体を含み、前記２つの分類された物体間の前記関係は、前記映像フレーム内に限定されるフレーム内物体関係であり、前記プロセッサはさらに、
   前記各映像フレームについて、前記分類された物体および前記求められた関係を表す特徴を抽出して、特徴ベクトルのシーケンスを生成するように構成され、１つの映像フレームには１つの特徴ベクトルがあり、前記プロセッサはさらに、
   前記特徴ベクトルのシーケンス、前記入力されたクエリおよび前記入力されたコンテキスト情報を前記ニューラルネットワークに送信して、前記入力されたクエリに対する応答を生成するように構成され、前記シーンアウェア対話システムはさらに、
   前記入力されたクエリに対する前記応答を提供するための出力インターフェイスを備える、シーンアウェア対話システム。
2. 前記入力されたクエリは、前記入力された映像フレームのシーケンス内の物体、前記物体間の関係および前記物体の時間的進化のうちの１つまたは組み合わせに関係しており、前記ニューラルネットワークが、モダリティの情報を処理するように構成されたマルチモーダルニューラルネットワークであるように、前記コンテキスト情報は、前記入力された映像についてのオーディオ情報およびテキスト情報のうちの１つまたは組み合わせを含み、
   前記プロセッサはさらに、前記特徴ベクトルのシーケンスの各特徴ベクトルの値を前記特徴ベクトルのシーケンス内の隣接する特徴ベクトルの加重値で修正するように構成される、請求項１に記載のシーンアウェア対話システム。
3. 前記各特徴ベクトルの前記値は、前記特徴ベクトルを中心とする窓に適合する複数の特徴ベクトルの値の加重組み合わせとして求められる、請求項２に記載のシーンアウェア対話システム。
4. 前記メモリに格納された前記少なくとも１つのニューラルネットワークは、前記入力されたクエリに対する前記応答を準備するように訓練されたオーディオビジュアルシーンアウェア対話（ＡＶＳＤ）ニューラルネットワークと、前記映像フレームのシーケンス内の前記物体および前記物体間の関係を前記特徴ベクトルのシーケンスを用いて表現するように訓練された特徴抽出ニューラルネットワークと、前記特徴ベクトルのシーケンスの各特徴ベクトルの前記値を、前記特徴ベクトルを中心とする窓に適合する複数の特徴ベクトルの値の加重組み合わせとして求めるように訓練された集約ニューラルネットワークとを含み、
   前記ＡＶＳＤニューラルネットワークは、アテンションベースのアーキテクチャに対応し、高速領域ベース畳み込みニューラルネットワーク（高速ＲＣＮＮ）および三次元（３Ｄ）畳み込みニューラルネットワーク（ＣＮＮ）のうちの１つまたは組み合わせを含む、請求項２に記載のシーンアウェア対話システム。
5. 前記メモリは、ニューラルネットワークベースの分類子のセットを格納しており、前記ニューラルネットワークベースの分類子のセットは、前記入力された映像フレームのシーケンス内の予め規定されたタイプの物体を検出して分類するように構成された物体分類子と、前記分類された物体間の関係を分類するための関係分類子とを備え、前記プロセッサは、ニューラルネットワークベースの分類子を選択し、前記選択されたニューラルネットワークベースの分類子を実行して、前記入力された映像フレームのシーケンスの各映像フレーム内の前記物体および前記分類された物体間の関係を検出して分類するように構成され、
   前記プロセッサはさらに、前記入力された映像フレームのシーケンス、前記入力されたコンテキスト情報、前記入力されたクエリまたはそれらの組み合わせに基づいて、前記ニューラルネットワークベースの分類子のセットから前記物体分類子および前記関係分類子を選択するように構成される、請求項１に記載のシーンアウェア対話システム。
6. 前記メモリは、車両を運転するためのナビゲーション命令を生成することに関連する物体およびそれらの関係を検出して分類するように構成された物体分類子および関係分類子を格納しており、前記プロセッサは、前記車両の目的地までのナビゲーションルートに関係する説明および物体の関係を使用してナビゲーション命令を生成するように構成される、請求項１に記載のシーンアウェア対話システム。
7. 前記プロセッサはさらに、統合された関心領域およびビジュアルメモリに基づいて前記映像フレームのシーケンスの各フレームについて時空間シーングラフ表現（ＳＴＳＧＲ）モデルを生成するように構成され、前記少なくとも１つのニューラルネットワークは、前記映像フレームのシーケンスの訓練ＳＴＳＧＲモデルに対して時空間関係学習を実行して、訓練クエリに対する応答を生成するように訓練され、
   各ＳＴＳＧＲモデルは、各々の対応する映像フレームを時空間ビジュアルグラフストリームおよびセマンティックグラフストリームとして表現し、前記少なくとも１つのニューラルネットワークは、物体レベルのグラフ推論を生成するためのマルチヘッドシャッフルトランスフォーマであり、前記マルチヘッドシャッフルトランスフォーマは、前記特徴ベクトルのシーケンスのヘッドをシャッフルすることを可能にする、請求項１に記載のシーンアウェア対話システム。
8. 前記プロセッサはさらに、前記分類された物体および前記求められた関係を集約して、前記映像フレームのシーケンスの各映像フレームについて前記ビジュアルメモリを生成するように構成される、請求項７に記載のシーンアウェア対話システム。
9. シーンアウェア対話方法であって、前記方法は、前記方法を実現する格納された命令と結合されたプロセッサを使用し、前記命令は、前記プロセッサによって実行されると、前記方法のステップを実行し、前記ステップは、
   映像フレームのシーケンス、コンテキスト情報およびクエリを受信するステップと、
   前記映像フレームのシーケンスの各映像フレーム内の物体を検出して分類するステップと、
   前記映像フレームのシーケンス内の物体の関心領域を統合して、前記各映像フレーム内の前記分類された物体間の関係を求めるステップとを備え、前記映像フレームのシーケンスの少なくとも１つの映像フレームは、少なくとも２つの分類された物体を含み、前記２つの分類された物体間の前記関係は、前記映像フレーム内に限定されるフレーム内物体関係であり、前記ステップはさらに、
   前記各映像フレームについて、前記分類された物体および前記求められた関係を表す特徴を抽出して、特徴ベクトルのシーケンスを生成するステップを備え、１つの映像フレームには１つの特徴ベクトルがあり、前記ステップはさらに、
   前記特徴ベクトルのシーケンス、前記受信されたクエリおよび前記受信されたコンテキスト情報を少なくとも１つのニューラルネットワークに送信するステップを備え、前記少なくとも１つのニューラルネットワークは、受信された映像フレームのシーケンスおよび前記受信されたコンテキスト情報のうちの１つまたは組み合わせを解析することによって、前記受信されたクエリに対する応答を生成するように訓練されたビジュアルシーンアウェア対話ニューラルネットワークを備え、前記ステップはさらに、
   前記受信されたクエリに対する前記応答を出力インターフェイスを介して提供するステップを備える、方法。
10. 前記受信されたクエリは、前記受信された映像フレームのシーケンス内の物体、前記物体間の関係および前記物体の時間的進化のうちの１つまたは組み合わせに関係しており、前記ニューラルネットワークが、さまざまなモダリティの情報を処理するように構成されたマルチモーダルニューラルネットワークであるように、前記コンテキスト情報は、前記受信された映像についてのオーディオ情報およびテキスト情報のうちの１つまたは組み合わせを含み、
    前記方法は、前記特徴ベクトルのシーケンスの各特徴ベクトルの値を前記特徴ベクトルのシーケンス内の隣接する特徴ベクトルの加重値で修正するステップをさらに備え、前記各特徴ベクトルの前記値は、前記特徴ベクトルを中心とする窓に適合する複数の特徴ベクトルの値の加重組み合わせとして求められ、
    前記少なくとも１つのニューラルネットワークは、前記受信されたクエリに対する前記応答を準備するように訓練されたオーディオビジュアルシーンアウェア対話（ＡＶＳＤ）ニューラルネットワークと、前記映像フレームのシーケンス内の前記物体および前記物体間の関係を前記特徴ベクトルのシーケンスを用いて表現するように訓練された特徴抽出ニューラルネットワークと、前記特徴ベクトルのシーケンスの各特徴ベクトルの値を、前記特徴ベクトルを中心とする前記窓に適合する複数の特徴ベクトルの値の加重組み合わせとして求めるように訓練された集約ニューラルネットワークとを含み、
    前記方法は、ニューラルネットワークベースの分類子のセットから物体分類子および関係分類子を選択して、前記受信された映像フレームのシーケンス内の予め規定されたタイプの物体を検出して分類するための前記選択された物体分類子と、前記分類された物体間の関係を分類するための前記関係分類子とを実行するステップをさらに備え、前記ニューラルネットワークベースの分類子の前記選択は、前記受信されたコンテキスト情報、前記受信された映像フレームのシーケンス、前記受信されたクエリまたはそれらの組み合わせに基づく、請求項９に記載の方法。
11. 前記映像フレームのシーケンスの各フレームについて時空間シーングラフ表現（ＳＴＳＧＲ）モデルを生成するステップをさらに備え、各ＳＴＳＧＲモデルは、各々の対応する映像フレームを時空間ビジュアルグラフストリームおよびセマンティックグラフストリームとして表現し、前記少なくとも１つのニューラルネットワークは、物体レベルのグラフ推論を生成するためのマルチヘッドシャッフルトランスフォーマであり、前記ニューラルネットワークは、前記映像フレームのシーケンスの訓練ＳＴＳＧＲモデルに対して時空間関係学習を実行して、訓練クエリに対する応答を生成するように訓練され、
    前記分類された物体および前記求められた関係を集約して、前記映像フレームのシーケンスの各映像フレームについてビジュアルメモリを生成するステップをさらに備える、請求項９に記載の方法。
12. シーンアウェア対話システムであって、
    映像フレームのシーケンス、コンテキスト情報およびクエリを受信するように構成された入力インターフェイスと、
    少なくとも１つのニューラルネットワークを格納するように構成されたメモリとを備え、前記少なくとも１つのニューラルネットワークは、前記ニューラルネットワークに提供された入力された映像フレームのシーケンスおよび前記入力されたコンテキスト情報のうちの１つまたは組み合わせを解析することによって、前記入力されたクエリに対する応答を生成するように訓練されたビジュアルシーンアウェア対話ニューラルネットワークを備え、前記入力されたクエリは、前記入力された映像フレームのシーケンス内の物体、前記物体間の関係および前記物体の時間的進化のうちの１つまたは組み合わせに関係しており、前記ニューラルネットワークが、モダリティの情報を処理するように構成されたマルチモーダルニューラルネットワークであるように、前記コンテキスト情報は、前記入力された映像についてのオーディオ情報およびテキスト情報のうちの１つまたは組み合わせを含み、前記シーンアウェア対話システムはさらに、
    プロセッサを備え、前記プロセッサは、
    前記映像フレームのシーケンスの各映像フレーム内の物体を検出して分類するように構成され、
    前記各映像フレーム内の前記分類された物体間の関係を求めるように構成され、前記映像フレームのシーケンスの少なくとも１つの映像フレームは、少なくとも２つの分類された物体を含み、前記２つの分類された物体間の前記関係は、前記映像フレーム内に限定されるフレーム内物体関係であり、前記プロセッサはさらに、
    前記各映像フレームについて、前記分類された物体および前記求められた関係を表す特徴を抽出して、特徴ベクトルのシーケンスを生成するように構成され、１つの映像フレームには１つの特徴ベクトルがあり、前記プロセッサはさらに、
    前記特徴ベクトルのシーケンスの各特徴ベクトルの値を前記特徴ベクトルのシーケンス内の隣接する特徴ベクトルの加重値で修正するように構成され、
    前記特徴ベクトルのシーケンス、前記入力されたクエリおよび前記入力されたコンテキスト情報を前記ニューラルネットワークに送信して、前記入力されたクエリに対する応答を生成するように構成され、前記シーンアウェア対話システムはさらに、
    前記入力されたクエリに対する前記応答を提供するための出力インターフェイスを備える、シーンアウェア対話システム。
13. シーンアウェア対話システムであって、
    映像フレームのシーケンス、コンテキスト情報およびクエリを受信するように構成された入力インターフェイスと、
    メモリとを備え、前記メモリは、
    少なくとも１つのニューラルネットワークを格納するように構成され、前記少なくとも１つのニューラルネットワークは、前記ニューラルネットワークに提供された入力された映像フレームのシーケンスおよび前記入力されたコンテキスト情報のうちの１つまたは組み合わせを解析することによって、前記入力されたクエリに対する応答を生成するように訓練されたビジュアルシーンアウェア対話ニューラルネットワークを備え、前記メモリはさらに、
    ニューラルネットワークベースの分類子のセットを格納するように構成され、前記ニューラルネットワークベースの分類子のセットは、前記入力された映像フレームのシーケンス内の予め規定されたタイプの物体を検出して分類するように構成された物体分類子と、前記分類された物体間の関係を分類するための関係分類子とを備え、前記シーンアウェア対話システムはさらに、
    プロセッサを備え、前記プロセッサは、
    前記入力された映像フレームのシーケンス、前記入力されたコンテキスト情報、前記入力されたクエリまたはそれらの組み合わせに基づいて、前記ニューラルネットワークベースの分類子のセットから前記物体分類子および前記関係分類子を選択するように構成され、
    前記選択された物体分類子および関係分類子を実行して、前記入力された映像フレームのシーケンスの各映像フレーム内の物体および前記分類された物体間の関係を検出して分類し、前記各映像フレーム内の前記分類された物体間の関係を求めるように構成され、前記映像フレームのシーケンスの少なくとも１つの映像フレームは、少なくとも２つの分類された物体を含み、前記２つの分類された物体間の前記関係は、前記映像フレーム内に限定されるフレーム内物体関係であり、前記プロセッサはさらに、
    前記各映像フレームについて、前記分類された物体および前記求められた関係を表す特徴を抽出して、特徴ベクトルのシーケンスを生成するように構成され、１つの映像フレームには１つの特徴ベクトルがあり、前記プロセッサはさらに、
    前記特徴ベクトルのシーケンス、前記入力されたクエリおよび前記入力されたコンテキスト情報を前記ニューラルネットワークに送信して、前記入力されたクエリに対する応答を生成するように構成され、前記シーンアウェア対話システムはさらに、
    前記入力されたクエリに対する前記応答を提供するための出力インターフェイスを備える、シーンアウェア対話システム。
14. シーンアウェア対話システムであって、
    映像フレームのシーケンス、コンテキスト情報およびクエリを受信するように構成された入力インターフェイスと、
    メモリとを備え、前記メモリは、
    少なくとも１つのニューラルネットワークを格納するように構成され、前記少なくとも１つのニューラルネットワークは、前記ニューラルネットワークに提供された入力された映像フレームのシーケンスおよび前記入力されたコンテキスト情報のうちの１つまたは組み合わせを解析することによって、前記入力されたクエリに対する応答を生成するように訓練されたビジュアルシーンアウェア対話ニューラルネットワークを備え、前記メモリはさらに、
    車両を運転するためのナビゲーション命令を生成することに関連する物体およびそれらの関係を検出して分類するように構成された物体分類子および関係分類子を格納するように構成され、前記シーンアウェア対話システムはさらに、
    プロセッサを備え、前記プロセッサは、
    前記映像フレームのシーケンスの各映像フレーム内の物体を検出して分類するように構成され、
    前記各映像フレーム内の前記分類された物体間の関係を求めるように構成され、前記映像フレームのシーケンスの少なくとも１つの映像フレームは、少なくとも２つの分類された物体を含み、前記２つの分類された物体間の前記関係は、前記映像フレーム内に限定されるフレーム内物体関係であり、前記プロセッサはさらに、
    前記各映像フレームについて、前記分類された物体および前記求められた関係を表す特徴を抽出して、特徴ベクトルのシーケンスを生成するように構成され、１つの映像フレームには１つの特徴ベクトルがあり、前記プロセッサはさらに、
    前記特徴ベクトルのシーケンス、前記入力されたクエリおよび前記入力されたコンテキスト情報を前記ニューラルネットワークに送信して、前記入力されたクエリに対する応答を生成するように構成され、前記シーンアウェア対話システムはさらに、
    前記入力されたクエリに対する前記応答を提供するための出力インターフェイスを備え、
    前記プロセッサはさらに、前記車両の目的地までのナビゲーションルートに関係する説明および物体の関係を使用してナビゲーション命令を生成するように構成される、シーンアウェア対話システム。
15. シーンアウェア対話システムであって、
    映像フレームのシーケンス、コンテキスト情報およびクエリを受信するように構成された入力インターフェイスと、
    少なくとも１つのニューラルネットワークを格納するように構成されたメモリとを備え、前記少なくとも１つのニューラルネットワークは、前記ニューラルネットワークに提供された入力された映像フレームのシーケンスおよび前記入力されたコンテキスト情報のうちの１つまたは組み合わせを解析することによって、前記入力されたクエリに対する応答を生成するように訓練され、前記シーンアウェア対話システムはさらに、
    プロセッサを備え、前記プロセッサは、
    前記映像フレームのシーケンスの各映像フレーム内の物体を検出して分類するように構成され、
    前記各映像フレーム内の前記分類された物体間の関係を求めるように構成され、前記映像フレームのシーケンスの少なくとも１つの映像フレームは、少なくとも２つの分類された物体を含み、前記２つの分類された物体間の前記関係は、前記映像フレーム内に限定されるフレーム内物体関係であり、前記プロセッサはさらに、
    前記各映像フレームについて、前記分類された物体および前記求められた関係を表す特徴を抽出して、特徴ベクトルのシーケンスを生成するように構成され、１つの映像フレームには１つの特徴ベクトルがあり、前記プロセッサはさらに、
    前記特徴ベクトルのシーケンス、前記入力されたクエリおよび前記入力されたコンテキスト情報を前記ニューラルネットワークに送信して、前記入力されたクエリに対する応答を生成するように構成され、前記シーンアウェア対話システムはさらに、
    前記入力されたクエリに対する前記応答を提供するための出力インターフェイスを備え、
    前記プロセッサはさらに、統合された関心領域およびビジュアルメモリに基づいて前記映像フレームのシーケンスの各フレームについて時空間シーングラフ表現（ＳＴＳＧＲ）モデルを生成するように構成され、前記少なくとも１つのニューラルネットワークは、前記映像フレームのシーケンスの訓練ＳＴＳＧＲモデルに対して時空間関係学習を実行して、訓練クエリに対する応答を生成するように訓練される、シーンアウェア対話システム。
16. シーンアウェア対話方法であって、前記方法は、前記方法を実現する格納された命令と結合されたプロセッサを使用し、前記命令は、前記プロセッサによって実行されると、前記方法のステップを実行し、前記ステップは、
    映像フレームのシーケンス、コンテキスト情報およびクエリを受信するステップを備え、前記受信されたクエリは、前記受信された映像フレームのシーケンス内の物体、前記受信された映像フレームのシーケンス内の前記物体間の関係および前記受信された映像フレームのシーケンス内の前記物体の時間的進化のうちの１つまたは組み合わせに関係しており、前記コンテキスト情報は、前記受信された映像についてのオーディオ情報およびテキスト情報のうちの１つまたは組み合わせを含み、前記ステップはさらに、
    前記映像フレームのシーケンスの各映像フレーム内の物体を検出して分類するステップと、
    前記各映像フレーム内の前記分類された物体間の関係を求めるステップとを備え、前記映像フレームのシーケンスの少なくとも１つの映像フレームは、少なくとも２つの分類された物体を含み、前記２つの分類された物体間の前記関係は、前記映像フレーム内に限定されるフレーム内物体関係であり、前記ステップはさらに、
    前記各映像フレームについて、前記分類された物体および前記求められた関係を表す特徴を抽出して、特徴ベクトルのシーケンスを生成するステップを備え、１つの映像フレームには１つの特徴ベクトルがあり、前記ステップはさらに、
    前記特徴ベクトルのシーケンスの各特徴ベクトルの値を前記特徴ベクトルのシーケンス内の隣接する特徴ベクトルの加重値で修正するステップを備え、前記各特徴ベクトルの前記値は、前記特徴ベクトルを中心とする窓に適合する複数の特徴ベクトルの値の加重組み合わせとして求められ、前記ステップはさらに、
    前記特徴ベクトルのシーケンス、前記受信されたクエリおよび前記受信されたコンテキスト情報を少なくとも１つのニューラルネットワークに送信するステップを備え、前記少なくとも１つのニューラルネットワークは、受信された映像フレームのシーケンスおよび前記受信されたコンテキスト情報のうちの１つまたは組み合わせを解析することによって、前記受信されたクエリに対する応答を生成するように訓練されたビジュアルシーンアウェア対話ニューラルネットワークを備え、前記少なくとも１つのニューラルネットワークは、さまざまなモダリティの情報を処理するように構成されたマルチモーダルニューラルネットワークであり、前記ステップはさらに、
    前記受信されたクエリに対する前記応答を出力インターフェイスを介して提供するステップを備える、方法。
17. シーンアウェア対話方法であって、前記方法は、前記方法を実現する格納された命令と結合されたプロセッサを使用し、前記命令は、前記プロセッサによって実行されると、前記方法のステップを実行し、前記ステップは、
    映像フレームのシーケンス、コンテキスト情報およびクエリを受信するステップと、
    前記映像フレームのシーケンスの各映像フレーム内の物体を検出して分類するステップと、
    前記各映像フレーム内の前記分類された物体間の関係を求めるステップとを備え、前記映像フレームのシーケンスの少なくとも１つの映像フレームは、少なくとも２つの分類された物体を含み、前記２つの分類された物体間の前記関係は、前記映像フレーム内に限定されるフレーム内物体関係であり、前記ステップはさらに、
    前記各映像フレームについて、前記分類された物体および前記求められた関係を表す特徴を抽出して、特徴ベクトルのシーケンスを生成するステップを備え、１つの映像フレームには１つの特徴ベクトルがあり、前記ステップはさらに、
    前記映像フレームのシーケンスの各フレームについて時空間シーングラフ表現（ＳＴＳＧＲ）モデルを生成するステップを備え、各ＳＴＳＧＲモデルは、各々の対応する映像フレームを時空間ビジュアルグラフストリームおよびセマンティックグラフストリームとして表現し、前記ステップはさらに、
    前記特徴ベクトルのシーケンス、前記受信されたクエリおよび前記受信されたコンテキスト情報を少なくとも１つのニューラルネットワークに送信するステップを備え、前記少なくとも１つのニューラルネットワークは、受信された映像フレームのシーケンスおよび前記受信されたコンテキスト情報のうちの１つまたは組み合わせを解析することによって、前記受信されたクエリに対する応答を生成するように訓練されたビジュアルシーンアウェア対話ニューラルネットワークを備え、前記少なくとも１つのニューラルネットワークは、物体レベルのグラフ推論を生成するためのマルチヘッドシャッフルトランスフォーマであり、前記ニューラルネットワークは、前記映像フレームのシーケンスの訓練ＳＴＳＧＲモデルに対して時空間関係学習を実行して、訓練クエリに対する応答を生成するように訓練され、前記ステップはさらに、
    前記受信されたクエリに対する前記応答を出力インターフェイスを介して提供するステップを備える、方法。

Images