JP7325668B2 - シーンアウェア映像対話 - Google Patents
シーンアウェア映像対話 Download PDFInfo
- Publication number
- JP7325668B2 JP7325668B2 JP2022566754A JP2022566754A JP7325668B2 JP 7325668 B2 JP7325668 B2 JP 7325668B2 JP 2022566754 A JP2022566754 A JP 2022566754A JP 2022566754 A JP2022566754 A JP 2022566754A JP 7325668 B2 JP7325668 B2 JP 7325668B2
- Authority
- JP
- Japan
- Prior art keywords
- sequence
- neural network
- video frames
- objects
- video
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N5/00—Computing arrangements using knowledge-based models
- G06N5/02—Knowledge representation; Symbolic representation
- G06N5/022—Knowledge engineering; Knowledge acquisition
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/90—Details of database functions independent of the retrieved data types
- G06F16/903—Querying
- G06F16/9035—Filtering based on additional data, e.g. user or group profiles
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/211—Selection of the most significant subset of features
- G06F18/2113—Selection of the most significant subset of features by ranking or filtering the set of features, e.g. using a measure of variance or of feature cross-correlation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/29—Graphical models, e.g. Bayesian networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/84—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using probabilistic graphical models from image or video features, e.g. Markov models or Bayesian networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/40—Scenes; Scene-specific elements in video content
- G06V20/41—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/048—Activation functions
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Evolutionary Computation (AREA)
- Software Systems (AREA)
- Artificial Intelligence (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Databases & Information Systems (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Multimedia (AREA)
- Computational Linguistics (AREA)
- Medical Informatics (AREA)
- Mathematical Physics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Molecular Biology (AREA)
- Probability & Statistics with Applications (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Biology (AREA)
- Image Analysis (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Description
システムの概略
FI,BI,SI=RCNN(I) (1)
式中、εiは、ノードiを指し示すエッジのセットを示す。したがって、プロセッサ104は、グラフアテンションネットワーク210および関係グラフネットワーク212に基づいてシーングラフ表現206a~206dのシーケンス内のノード特徴を更新する。さらに、シーングラフ表現206a~206dの各ノードについてより高いレベルの特徴を得るために、更新されたグラフは、ビジュアルグラフメモリにプールされる。一実現例において、プロセッサ104は、グラフ平均値プーリング(GAP)およびグラフ最大値プーリング(GMP)に基づいてビジュアルグラフメモリのプーリングを実行するように構成される。GAPおよびGMPは、メモリ106に格納される。プロセッサ104は、GAPおよびGMPプーリングにアクセスして、特徴抽出ニューラルネットワーク110に提供して、ビジュアルグラフメモリを表す2つのグラフストリームを生成する。ビジュアルグラフメモリ(ビジュアルグラフメモリ214a、ビジュアルグラフメモリ214b、ビジュアルグラフメモリ214cおよびビジュアルグラフメモリ214dなど)については、図2Dで説明する。
henc=FFN(Attention(Wqea,Wkea,Wvea)) (9)
式中、Wq,Wk,Wvは、それぞれクエリ(q)、キー(k)および値(v)の重み行列である。FFNは、活性化関数(すなわち、正規化線形ユニット(ReLu))を介在させた2つの完全接続層を含むフィードフォワードネットワークモジュールである。符号化された隠れ表現は、特徴ベクトル318a~318dに対応する。
h′ enc,j=FFN(Attention(Wqhenc,Wkej,Wvej) (11)
式中、h′ enc,jは、新たな符号化された特徴である。
(pvocab)=softmax(FFN(h* enc)) (12)
テスト段階において、b個のビームによるビーム検索が実行されて、回答文を生成する。各ステップにおいて、上位b個の最も高い信頼度スコアを有するb個のトークンが選択される。回答は、文のトークンエンドである<eos>が生成されると、または、最大数のトークンに達すると完了する。したがって、プロセッサは、生成された回答に基づいて、出力応答414を入力されたクエリ412に出力する。
例示的な実施形態
Claims (17)
- シーンアウェア対話システムであって、
映像フレームのシーケンス、コンテキスト情報およびクエリを受信するように構成された入力インターフェイスと、
少なくとも1つのニューラルネットワークを格納するように構成されたメモリとを備え、前記少なくとも1つのニューラルネットワークは、前記ニューラルネットワークに提供された入力された映像フレームのシーケンスおよび前記入力されたコンテキスト情報のうちの1つまたは組み合わせを解析することによって、前記入力されたクエリに対する応答を生成するように訓練されたビジュアルシーンアウェア対話ニューラルネットワークを備え、前記シーンアウェア対話システムはさらに、
プロセッサを備え、前記プロセッサは、
前記映像フレームのシーケンスの各映像フレーム内の物体を検出して分類するように構成され、
前記映像フレームのシーケンス内の物体の関心領域を統合して、前記各映像フレーム内の前記分類された物体間の関係を求めるように構成され、前記映像フレームのシーケンスの少なくとも1つの映像フレームは、少なくとも2つの分類された物体を含み、前記2つの分類された物体間の前記関係は、前記映像フレーム内に限定されるフレーム内物体関係であり、前記プロセッサはさらに、
前記各映像フレームについて、前記分類された物体および前記求められた関係を表す特徴を抽出して、特徴ベクトルのシーケンスを生成するように構成され、1つの映像フレームには1つの特徴ベクトルがあり、前記プロセッサはさらに、
前記特徴ベクトルのシーケンス、前記入力されたクエリおよび前記入力されたコンテキスト情報を前記ニューラルネットワークに送信して、前記入力されたクエリに対する応答を生成するように構成され、前記シーンアウェア対話システムはさらに、
前記入力されたクエリに対する前記応答を提供するための出力インターフェイスを備える、シーンアウェア対話システム。 - 前記入力されたクエリは、前記入力された映像フレームのシーケンス内の物体、前記物体間の関係および前記物体の時間的進化のうちの1つまたは組み合わせに関係しており、前記ニューラルネットワークが、モダリティの情報を処理するように構成されたマルチモーダルニューラルネットワークであるように、前記コンテキスト情報は、前記入力された映像についてのオーディオ情報およびテキスト情報のうちの1つまたは組み合わせを含み、
前記プロセッサはさらに、前記特徴ベクトルのシーケンスの各特徴ベクトルの値を前記特徴ベクトルのシーケンス内の隣接する特徴ベクトルの加重値で修正するように構成される、請求項1に記載のシーンアウェア対話システム。 - 前記各特徴ベクトルの前記値は、前記特徴ベクトルを中心とする窓に適合する複数の特徴ベクトルの値の加重組み合わせとして求められる、請求項2に記載のシーンアウェア対話システム。
- 前記メモリに格納された前記少なくとも1つのニューラルネットワークは、前記入力されたクエリに対する前記応答を準備するように訓練されたオーディオビジュアルシーンアウェア対話(AVSD)ニューラルネットワークと、前記映像フレームのシーケンス内の前記物体および前記物体間の関係を前記特徴ベクトルのシーケンスを用いて表現するように訓練された特徴抽出ニューラルネットワークと、前記特徴ベクトルのシーケンスの各特徴ベクトルの前記値を、前記特徴ベクトルを中心とする窓に適合する複数の特徴ベクトルの値の加重組み合わせとして求めるように訓練された集約ニューラルネットワークとを含み、
前記AVSDニューラルネットワークは、アテンションベースのアーキテクチャに対応し、高速領域ベース畳み込みニューラルネットワーク(高速RCNN)および三次元(3D)畳み込みニューラルネットワーク(CNN)のうちの1つまたは組み合わせを含む、請求項2に記載のシーンアウェア対話システム。 - 前記メモリは、ニューラルネットワークベースの分類子のセットを格納しており、前記ニューラルネットワークベースの分類子のセットは、前記入力された映像フレームのシーケンス内の予め規定されたタイプの物体を検出して分類するように構成された物体分類子と、前記分類された物体間の関係を分類するための関係分類子とを備え、前記プロセッサは、ニューラルネットワークベースの分類子を選択し、前記選択されたニューラルネットワークベースの分類子を実行して、前記入力された映像フレームのシーケンスの各映像フレーム内の前記物体および前記分類された物体間の関係を検出して分類するように構成され、
前記プロセッサはさらに、前記入力された映像フレームのシーケンス、前記入力されたコンテキスト情報、前記入力されたクエリまたはそれらの組み合わせに基づいて、前記ニューラルネットワークベースの分類子のセットから前記物体分類子および前記関係分類子を選択するように構成される、請求項1に記載のシーンアウェア対話システム。 - 前記メモリは、車両を運転するためのナビゲーション命令を生成することに関連する物体およびそれらの関係を検出して分類するように構成された物体分類子および関係分類子を格納しており、前記プロセッサは、前記車両の目的地までのナビゲーションルートに関係する説明および物体の関係を使用してナビゲーション命令を生成するように構成される、請求項1に記載のシーンアウェア対話システム。
- 前記プロセッサはさらに、統合された関心領域およびビジュアルメモリに基づいて前記映像フレームのシーケンスの各フレームについて時空間シーングラフ表現(STSGR)モデルを生成するように構成され、前記少なくとも1つのニューラルネットワークは、前記映像フレームのシーケンスの訓練STSGRモデルに対して時空間関係学習を実行して、訓練クエリに対する応答を生成するように訓練され、
各STSGRモデルは、各々の対応する映像フレームを時空間ビジュアルグラフストリームおよびセマンティックグラフストリームとして表現し、前記少なくとも1つのニューラルネットワークは、物体レベルのグラフ推論を生成するためのマルチヘッドシャッフルトランスフォーマであり、前記マルチヘッドシャッフルトランスフォーマは、前記特徴ベクトルのシーケンスのヘッドをシャッフルすることを可能にする、請求項1に記載のシーンアウェア対話システム。 - 前記プロセッサはさらに、前記分類された物体および前記求められた関係を集約して、前記映像フレームのシーケンスの各映像フレームについて前記ビジュアルメモリを生成するように構成される、請求項7に記載のシーンアウェア対話システム。
- シーンアウェア対話方法であって、前記方法は、前記方法を実現する格納された命令と結合されたプロセッサを使用し、前記命令は、前記プロセッサによって実行されると、前記方法のステップを実行し、前記ステップは、
映像フレームのシーケンス、コンテキスト情報およびクエリを受信するステップと、
前記映像フレームのシーケンスの各映像フレーム内の物体を検出して分類するステップと、
前記映像フレームのシーケンス内の物体の関心領域を統合して、前記各映像フレーム内の前記分類された物体間の関係を求めるステップとを備え、前記映像フレームのシーケンスの少なくとも1つの映像フレームは、少なくとも2つの分類された物体を含み、前記2つの分類された物体間の前記関係は、前記映像フレーム内に限定されるフレーム内物体関係であり、前記ステップはさらに、
前記各映像フレームについて、前記分類された物体および前記求められた関係を表す特徴を抽出して、特徴ベクトルのシーケンスを生成するステップを備え、1つの映像フレームには1つの特徴ベクトルがあり、前記ステップはさらに、
前記特徴ベクトルのシーケンス、前記受信されたクエリおよび前記受信されたコンテキスト情報を少なくとも1つのニューラルネットワークに送信するステップを備え、前記少なくとも1つのニューラルネットワークは、受信された映像フレームのシーケンスおよび前記受信されたコンテキスト情報のうちの1つまたは組み合わせを解析することによって、前記受信されたクエリに対する応答を生成するように訓練されたビジュアルシーンアウェア対話ニューラルネットワークを備え、前記ステップはさらに、
前記受信されたクエリに対する前記応答を出力インターフェイスを介して提供するステップを備える、方法。 - 前記受信されたクエリは、前記受信された映像フレームのシーケンス内の物体、前記物体間の関係および前記物体の時間的進化のうちの1つまたは組み合わせに関係しており、前記ニューラルネットワークが、さまざまなモダリティの情報を処理するように構成されたマルチモーダルニューラルネットワークであるように、前記コンテキスト情報は、前記受信された映像についてのオーディオ情報およびテキスト情報のうちの1つまたは組み合わせを含み、
前記方法は、前記特徴ベクトルのシーケンスの各特徴ベクトルの値を前記特徴ベクトルのシーケンス内の隣接する特徴ベクトルの加重値で修正するステップをさらに備え、前記各特徴ベクトルの前記値は、前記特徴ベクトルを中心とする窓に適合する複数の特徴ベクトルの値の加重組み合わせとして求められ、
前記少なくとも1つのニューラルネットワークは、前記受信されたクエリに対する前記応答を準備するように訓練されたオーディオビジュアルシーンアウェア対話(AVSD)ニューラルネットワークと、前記映像フレームのシーケンス内の前記物体および前記物体間の関係を前記特徴ベクトルのシーケンスを用いて表現するように訓練された特徴抽出ニューラルネットワークと、前記特徴ベクトルのシーケンスの各特徴ベクトルの値を、前記特徴ベクトルを中心とする前記窓に適合する複数の特徴ベクトルの値の加重組み合わせとして求めるように訓練された集約ニューラルネットワークとを含み、
前記方法は、ニューラルネットワークベースの分類子のセットから物体分類子および関係分類子を選択して、前記受信された映像フレームのシーケンス内の予め規定されたタイプの物体を検出して分類するための前記選択された物体分類子と、前記分類された物体間の関係を分類するための前記関係分類子とを実行するステップをさらに備え、前記ニューラルネットワークベースの分類子の前記選択は、前記受信されたコンテキスト情報、前記受信された映像フレームのシーケンス、前記受信されたクエリまたはそれらの組み合わせに基づく、請求項9に記載の方法。 - 前記映像フレームのシーケンスの各フレームについて時空間シーングラフ表現(STSGR)モデルを生成するステップをさらに備え、各STSGRモデルは、各々の対応する映像フレームを時空間ビジュアルグラフストリームおよびセマンティックグラフストリームとして表現し、前記少なくとも1つのニューラルネットワークは、物体レベルのグラフ推論を生成するためのマルチヘッドシャッフルトランスフォーマであり、前記ニューラルネットワークは、前記映像フレームのシーケンスの訓練STSGRモデルに対して時空間関係学習を実行して、訓練クエリに対する応答を生成するように訓練され、
前記分類された物体および前記求められた関係を集約して、前記映像フレームのシーケンスの各映像フレームについてビジュアルメモリを生成するステップをさらに備える、請求項9に記載の方法。 - シーンアウェア対話システムであって、
映像フレームのシーケンス、コンテキスト情報およびクエリを受信するように構成された入力インターフェイスと、
少なくとも1つのニューラルネットワークを格納するように構成されたメモリとを備え、前記少なくとも1つのニューラルネットワークは、前記ニューラルネットワークに提供された入力された映像フレームのシーケンスおよび前記入力されたコンテキスト情報のうちの1つまたは組み合わせを解析することによって、前記入力されたクエリに対する応答を生成するように訓練されたビジュアルシーンアウェア対話ニューラルネットワークを備え、前記入力されたクエリは、前記入力された映像フレームのシーケンス内の物体、前記物体間の関係および前記物体の時間的進化のうちの1つまたは組み合わせに関係しており、前記ニューラルネットワークが、モダリティの情報を処理するように構成されたマルチモーダルニューラルネットワークであるように、前記コンテキスト情報は、前記入力された映像についてのオーディオ情報およびテキスト情報のうちの1つまたは組み合わせを含み、前記シーンアウェア対話システムはさらに、
プロセッサを備え、前記プロセッサは、
前記映像フレームのシーケンスの各映像フレーム内の物体を検出して分類するように構成され、
前記各映像フレーム内の前記分類された物体間の関係を求めるように構成され、前記映像フレームのシーケンスの少なくとも1つの映像フレームは、少なくとも2つの分類された物体を含み、前記2つの分類された物体間の前記関係は、前記映像フレーム内に限定されるフレーム内物体関係であり、前記プロセッサはさらに、
前記各映像フレームについて、前記分類された物体および前記求められた関係を表す特徴を抽出して、特徴ベクトルのシーケンスを生成するように構成され、1つの映像フレームには1つの特徴ベクトルがあり、前記プロセッサはさらに、
前記特徴ベクトルのシーケンスの各特徴ベクトルの値を前記特徴ベクトルのシーケンス内の隣接する特徴ベクトルの加重値で修正するように構成され、
前記特徴ベクトルのシーケンス、前記入力されたクエリおよび前記入力されたコンテキスト情報を前記ニューラルネットワークに送信して、前記入力されたクエリに対する応答を生成するように構成され、前記シーンアウェア対話システムはさらに、
前記入力されたクエリに対する前記応答を提供するための出力インターフェイスを備える、シーンアウェア対話システム。 - シーンアウェア対話システムであって、
映像フレームのシーケンス、コンテキスト情報およびクエリを受信するように構成された入力インターフェイスと、
メモリとを備え、前記メモリは、
少なくとも1つのニューラルネットワークを格納するように構成され、前記少なくとも1つのニューラルネットワークは、前記ニューラルネットワークに提供された入力された映像フレームのシーケンスおよび前記入力されたコンテキスト情報のうちの1つまたは組み合わせを解析することによって、前記入力されたクエリに対する応答を生成するように訓練されたビジュアルシーンアウェア対話ニューラルネットワークを備え、前記メモリはさらに、
ニューラルネットワークベースの分類子のセットを格納するように構成され、前記ニューラルネットワークベースの分類子のセットは、前記入力された映像フレームのシーケンス内の予め規定されたタイプの物体を検出して分類するように構成された物体分類子と、前記分類された物体間の関係を分類するための関係分類子とを備え、前記シーンアウェア対話システムはさらに、
プロセッサを備え、前記プロセッサは、
前記入力された映像フレームのシーケンス、前記入力されたコンテキスト情報、前記入力されたクエリまたはそれらの組み合わせに基づいて、前記ニューラルネットワークベースの分類子のセットから前記物体分類子および前記関係分類子を選択するように構成され、
前記選択された物体分類子および関係分類子を実行して、前記入力された映像フレームのシーケンスの各映像フレーム内の物体および前記分類された物体間の関係を検出して分類し、前記各映像フレーム内の前記分類された物体間の関係を求めるように構成され、前記映像フレームのシーケンスの少なくとも1つの映像フレームは、少なくとも2つの分類された物体を含み、前記2つの分類された物体間の前記関係は、前記映像フレーム内に限定されるフレーム内物体関係であり、前記プロセッサはさらに、
前記各映像フレームについて、前記分類された物体および前記求められた関係を表す特徴を抽出して、特徴ベクトルのシーケンスを生成するように構成され、1つの映像フレームには1つの特徴ベクトルがあり、前記プロセッサはさらに、
前記特徴ベクトルのシーケンス、前記入力されたクエリおよび前記入力されたコンテキスト情報を前記ニューラルネットワークに送信して、前記入力されたクエリに対する応答を生成するように構成され、前記シーンアウェア対話システムはさらに、
前記入力されたクエリに対する前記応答を提供するための出力インターフェイスを備える、シーンアウェア対話システム。 - シーンアウェア対話システムであって、
映像フレームのシーケンス、コンテキスト情報およびクエリを受信するように構成された入力インターフェイスと、
メモリとを備え、前記メモリは、
少なくとも1つのニューラルネットワークを格納するように構成され、前記少なくとも1つのニューラルネットワークは、前記ニューラルネットワークに提供された入力された映像フレームのシーケンスおよび前記入力されたコンテキスト情報のうちの1つまたは組み合わせを解析することによって、前記入力されたクエリに対する応答を生成するように訓練されたビジュアルシーンアウェア対話ニューラルネットワークを備え、前記メモリはさらに、
車両を運転するためのナビゲーション命令を生成することに関連する物体およびそれらの関係を検出して分類するように構成された物体分類子および関係分類子を格納するように構成され、前記シーンアウェア対話システムはさらに、
プロセッサを備え、前記プロセッサは、
前記映像フレームのシーケンスの各映像フレーム内の物体を検出して分類するように構成され、
前記各映像フレーム内の前記分類された物体間の関係を求めるように構成され、前記映像フレームのシーケンスの少なくとも1つの映像フレームは、少なくとも2つの分類された物体を含み、前記2つの分類された物体間の前記関係は、前記映像フレーム内に限定されるフレーム内物体関係であり、前記プロセッサはさらに、
前記各映像フレームについて、前記分類された物体および前記求められた関係を表す特徴を抽出して、特徴ベクトルのシーケンスを生成するように構成され、1つの映像フレームには1つの特徴ベクトルがあり、前記プロセッサはさらに、
前記特徴ベクトルのシーケンス、前記入力されたクエリおよび前記入力されたコンテキスト情報を前記ニューラルネットワークに送信して、前記入力されたクエリに対する応答を生成するように構成され、前記シーンアウェア対話システムはさらに、
前記入力されたクエリに対する前記応答を提供するための出力インターフェイスを備え、
前記プロセッサはさらに、前記車両の目的地までのナビゲーションルートに関係する説明および物体の関係を使用してナビゲーション命令を生成するように構成される、シーンアウェア対話システム。 - シーンアウェア対話システムであって、
映像フレームのシーケンス、コンテキスト情報およびクエリを受信するように構成された入力インターフェイスと、
少なくとも1つのニューラルネットワークを格納するように構成されたメモリとを備え、前記少なくとも1つのニューラルネットワークは、前記ニューラルネットワークに提供された入力された映像フレームのシーケンスおよび前記入力されたコンテキスト情報のうちの1つまたは組み合わせを解析することによって、前記入力されたクエリに対する応答を生成するように訓練され、前記シーンアウェア対話システムはさらに、
プロセッサを備え、前記プロセッサは、
前記映像フレームのシーケンスの各映像フレーム内の物体を検出して分類するように構成され、
前記各映像フレーム内の前記分類された物体間の関係を求めるように構成され、前記映像フレームのシーケンスの少なくとも1つの映像フレームは、少なくとも2つの分類された物体を含み、前記2つの分類された物体間の前記関係は、前記映像フレーム内に限定されるフレーム内物体関係であり、前記プロセッサはさらに、
前記各映像フレームについて、前記分類された物体および前記求められた関係を表す特徴を抽出して、特徴ベクトルのシーケンスを生成するように構成され、1つの映像フレームには1つの特徴ベクトルがあり、前記プロセッサはさらに、
前記特徴ベクトルのシーケンス、前記入力されたクエリおよび前記入力されたコンテキスト情報を前記ニューラルネットワークに送信して、前記入力されたクエリに対する応答を生成するように構成され、前記シーンアウェア対話システムはさらに、
前記入力されたクエリに対する前記応答を提供するための出力インターフェイスを備え、
前記プロセッサはさらに、統合された関心領域およびビジュアルメモリに基づいて前記映像フレームのシーケンスの各フレームについて時空間シーングラフ表現(STSGR)モデルを生成するように構成され、前記少なくとも1つのニューラルネットワークは、前記映像フレームのシーケンスの訓練STSGRモデルに対して時空間関係学習を実行して、訓練クエリに対する応答を生成するように訓練される、シーンアウェア対話システム。 - シーンアウェア対話方法であって、前記方法は、前記方法を実現する格納された命令と結合されたプロセッサを使用し、前記命令は、前記プロセッサによって実行されると、前記方法のステップを実行し、前記ステップは、
映像フレームのシーケンス、コンテキスト情報およびクエリを受信するステップを備え、前記受信されたクエリは、前記受信された映像フレームのシーケンス内の物体、前記受信された映像フレームのシーケンス内の前記物体間の関係および前記受信された映像フレームのシーケンス内の前記物体の時間的進化のうちの1つまたは組み合わせに関係しており、前記コンテキスト情報は、前記受信された映像についてのオーディオ情報およびテキスト情報のうちの1つまたは組み合わせを含み、前記ステップはさらに、
前記映像フレームのシーケンスの各映像フレーム内の物体を検出して分類するステップと、
前記各映像フレーム内の前記分類された物体間の関係を求めるステップとを備え、前記映像フレームのシーケンスの少なくとも1つの映像フレームは、少なくとも2つの分類された物体を含み、前記2つの分類された物体間の前記関係は、前記映像フレーム内に限定されるフレーム内物体関係であり、前記ステップはさらに、
前記各映像フレームについて、前記分類された物体および前記求められた関係を表す特徴を抽出して、特徴ベクトルのシーケンスを生成するステップを備え、1つの映像フレームには1つの特徴ベクトルがあり、前記ステップはさらに、
前記特徴ベクトルのシーケンスの各特徴ベクトルの値を前記特徴ベクトルのシーケンス内の隣接する特徴ベクトルの加重値で修正するステップを備え、前記各特徴ベクトルの前記値は、前記特徴ベクトルを中心とする窓に適合する複数の特徴ベクトルの値の加重組み合わせとして求められ、前記ステップはさらに、
前記特徴ベクトルのシーケンス、前記受信されたクエリおよび前記受信されたコンテキスト情報を少なくとも1つのニューラルネットワークに送信するステップを備え、前記少なくとも1つのニューラルネットワークは、受信された映像フレームのシーケンスおよび前記受信されたコンテキスト情報のうちの1つまたは組み合わせを解析することによって、前記受信されたクエリに対する応答を生成するように訓練されたビジュアルシーンアウェア対話ニューラルネットワークを備え、前記少なくとも1つのニューラルネットワークは、さまざまなモダリティの情報を処理するように構成されたマルチモーダルニューラルネットワークであり、前記ステップはさらに、
前記受信されたクエリに対する前記応答を出力インターフェイスを介して提供するステップを備える、方法。 - シーンアウェア対話方法であって、前記方法は、前記方法を実現する格納された命令と結合されたプロセッサを使用し、前記命令は、前記プロセッサによって実行されると、前記方法のステップを実行し、前記ステップは、
映像フレームのシーケンス、コンテキスト情報およびクエリを受信するステップと、
前記映像フレームのシーケンスの各映像フレーム内の物体を検出して分類するステップと、
前記各映像フレーム内の前記分類された物体間の関係を求めるステップとを備え、前記映像フレームのシーケンスの少なくとも1つの映像フレームは、少なくとも2つの分類された物体を含み、前記2つの分類された物体間の前記関係は、前記映像フレーム内に限定されるフレーム内物体関係であり、前記ステップはさらに、
前記各映像フレームについて、前記分類された物体および前記求められた関係を表す特徴を抽出して、特徴ベクトルのシーケンスを生成するステップを備え、1つの映像フレームには1つの特徴ベクトルがあり、前記ステップはさらに、
前記映像フレームのシーケンスの各フレームについて時空間シーングラフ表現(STSGR)モデルを生成するステップを備え、各STSGRモデルは、各々の対応する映像フレームを時空間ビジュアルグラフストリームおよびセマンティックグラフストリームとして表現し、前記ステップはさらに、
前記特徴ベクトルのシーケンス、前記受信されたクエリおよび前記受信されたコンテキスト情報を少なくとも1つのニューラルネットワークに送信するステップを備え、前記少なくとも1つのニューラルネットワークは、受信された映像フレームのシーケンスおよび前記受信されたコンテキスト情報のうちの1つまたは組み合わせを解析することによって、前記受信されたクエリに対する応答を生成するように訓練されたビジュアルシーンアウェア対話ニューラルネットワークを備え、前記少なくとも1つのニューラルネットワークは、物体レベルのグラフ推論を生成するためのマルチヘッドシャッフルトランスフォーマであり、前記ニューラルネットワークは、前記映像フレームのシーケンスの訓練STSGRモデルに対して時空間関係学習を実行して、訓練クエリに対する応答を生成するように訓練され、前記ステップはさらに、
前記受信されたクエリに対する前記応答を出力インターフェイスを介して提供するステップを備える、方法。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US16/783,538 | 2020-02-06 | ||
US16/783,538 US11210523B2 (en) | 2020-02-06 | 2020-02-06 | Scene-aware video dialog |
PCT/JP2020/048060 WO2021157234A1 (en) | 2020-02-06 | 2020-12-15 | Scene-aware video dialog |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2023510430A JP2023510430A (ja) | 2023-03-13 |
JP7325668B2 true JP7325668B2 (ja) | 2023-08-14 |
Family
ID=74561963
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2022566754A Active JP7325668B2 (ja) | 2020-02-06 | 2020-12-15 | シーンアウェア映像対話 |
Country Status (5)
Country | Link |
---|---|
US (1) | US11210523B2 (ja) |
EP (1) | EP3928252B1 (ja) |
JP (1) | JP7325668B2 (ja) |
CN (1) | CN115039141A (ja) |
WO (1) | WO2021157234A1 (ja) |
Families Citing this family (19)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111782838B (zh) * | 2020-06-30 | 2024-04-05 | 北京百度网讯科技有限公司 | 图像问答方法、装置、计算机设备和介质 |
CN114494087A (zh) * | 2020-11-12 | 2022-05-13 | 安霸国际有限合伙企业 | 无监督的多尺度视差/光流融合 |
US11995111B2 (en) * | 2020-11-13 | 2024-05-28 | Tencent America LLC | Efficient and compact text matching system for sentence pairs |
US11769018B2 (en) * | 2020-11-24 | 2023-09-26 | Openstream Inc. | System and method for temporal attention behavioral analysis of multi-modal conversations in a question and answer system |
US20220198813A1 (en) * | 2020-12-17 | 2022-06-23 | Sri International | System and method for efficient visual navigation |
CN112541878A (zh) * | 2020-12-24 | 2021-03-23 | 北京百度网讯科技有限公司 | 建立图像增强模型与图像增强的方法、装置 |
US20230020834A1 (en) * | 2021-07-19 | 2023-01-19 | Mitsubishi Electric Research Laboratories, Inc. | Method and System for Scene-Aware Audio-Video Representation |
US20230027713A1 (en) * | 2021-07-21 | 2023-01-26 | International Business Machines Corporation | Neural-Symbolic Action Transformers for Video Question Answering |
US20230055636A1 (en) * | 2021-08-03 | 2023-02-23 | Baidu Usa Llc | Transformer-based temporal detection in video |
KR20230032317A (ko) * | 2021-08-30 | 2023-03-07 | 한국전자통신연구원 | 비디오 의미 구간 검출 방법 및 시스템 |
CN113868519B (zh) * | 2021-09-18 | 2023-11-14 | 北京百度网讯科技有限公司 | 信息搜索方法、装置、电子设备和存储介质 |
WO2023050295A1 (zh) * | 2021-09-30 | 2023-04-06 | 中远海运科技股份有限公司 | 一种基于多模态异质特征融合的视频密集事件描述方法 |
CN114168769B (zh) * | 2021-11-16 | 2024-02-02 | 西安理工大学 | 基于gat关系推理的视觉问答方法 |
WO2023106007A1 (en) * | 2021-12-10 | 2023-06-15 | Mitsubishi Electric Corporation | Scene-aware video encoder system and method |
CN114374571B (zh) * | 2021-12-29 | 2024-04-19 | 广州欢城文化传媒有限公司 | 基于虚拟地图的语聊房健康指数监控方法及装置 |
CN114863356B (zh) * | 2022-03-10 | 2023-02-03 | 西南交通大学 | 一种基于残差聚合图网络的群体活动识别方法及*** |
CN115131655B (zh) * | 2022-09-01 | 2022-11-22 | 浙江啄云智能科技有限公司 | 目标检测模型的训练方法、装置与目标检测方法 |
CN115908908B (zh) * | 2022-11-14 | 2023-09-15 | 北京卫星信息工程研究所 | 基于图注意力网络的遥感图像聚集型目标识别方法及装置 |
CN116206265B (zh) * | 2023-05-05 | 2023-07-18 | 昆明轨道交通四号线土建项目建设管理有限公司 | 用于轨道交通运营维护的防护报警装置及方法 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20160378861A1 (en) | 2012-09-28 | 2016-12-29 | Sri International | Real-time human-machine collaboration using big data driven augmented reality technologies |
US20170076222A1 (en) | 2015-09-14 | 2017-03-16 | International Business Machines Corporation | System and method to cognitively process and answer questions regarding content in images |
US20190019037A1 (en) | 2017-07-14 | 2019-01-17 | Nec Laboratories America, Inc. | Spatio-temporal interaction network for learning object interactions |
US20190370587A1 (en) | 2018-05-29 | 2019-12-05 | Sri International | Attention-based explanations for artificial intelligence behavior |
Family Cites Families (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2007026162A2 (en) * | 2005-09-01 | 2007-03-08 | Astragroup As (A Norwegian Company) | Post- recording data analysis and retrieval |
US20090077471A1 (en) * | 2007-07-27 | 2009-03-19 | Lahr Nils B | System and method for using a website containing video playlists as input to a download manager |
US11210836B2 (en) * | 2018-04-03 | 2021-12-28 | Sri International | Applying artificial intelligence to generate motion information |
-
2020
- 2020-02-06 US US16/783,538 patent/US11210523B2/en active Active
- 2020-12-15 CN CN202080095329.4A patent/CN115039141A/zh active Pending
- 2020-12-15 WO PCT/JP2020/048060 patent/WO2021157234A1/en unknown
- 2020-12-15 JP JP2022566754A patent/JP7325668B2/ja active Active
- 2020-12-15 EP EP20851347.3A patent/EP3928252B1/en active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20160378861A1 (en) | 2012-09-28 | 2016-12-29 | Sri International | Real-time human-machine collaboration using big data driven augmented reality technologies |
US20170076222A1 (en) | 2015-09-14 | 2017-03-16 | International Business Machines Corporation | System and method to cognitively process and answer questions regarding content in images |
US20190019037A1 (en) | 2017-07-14 | 2019-01-17 | Nec Laboratories America, Inc. | Spatio-temporal interaction network for learning object interactions |
US20190370587A1 (en) | 2018-05-29 | 2019-12-05 | Sri International | Attention-based explanations for artificial intelligence behavior |
Also Published As
Publication number | Publication date |
---|---|
WO2021157234A1 (en) | 2021-08-12 |
EP3928252A1 (en) | 2021-12-29 |
US20210248375A1 (en) | 2021-08-12 |
CN115039141A (zh) | 2022-09-09 |
US11210523B2 (en) | 2021-12-28 |
JP2023510430A (ja) | 2023-03-13 |
EP3928252B1 (en) | 2022-12-21 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7325668B2 (ja) | シーンアウェア映像対話 | |
Gao et al. | Hierarchical LSTMs with adaptive attention for visual captioning | |
US11430171B2 (en) | Explainable artificial intelligence | |
Jiang et al. | Skeleton aware multi-modal sign language recognition | |
KR102211939B1 (ko) | 질의 응답 장치 및 방법 | |
US20230049135A1 (en) | Deep learning-based video editing method, related device, and storage medium | |
CN102222431B (zh) | 用于翻译手语的计算机实现的方法 | |
KR20210031405A (ko) | 암시적 포즈 표현을 이용한 행동 인식 | |
Laraba et al. | Dance performance evaluation using hidden Markov models | |
KR20200054613A (ko) | 동영상 메타데이터 태깅 시스템 및 그 방법 | |
TW201117114A (en) | System, apparatus and method for message simulation | |
CN110874859A (zh) | 一种生成动画的方法和设备 | |
KR20180092778A (ko) | 실감정보 제공 장치, 영상분석 서버 및 실감정보 제공 방법 | |
Devo et al. | Deep reinforcement learning for instruction following visual navigation in 3D maze-like environments | |
CN113658254B (zh) | 一种处理多模态数据的方法及装置、机器人 | |
CA2741461C (en) | Automated cinematographic editing tool | |
Pavlakos et al. | Kinect-based multimodal gesture recognition using a two-pass fusion scheme | |
Song et al. | Hierarchical LSTMs with adaptive attention for visual captioning | |
CN116310975B (zh) | 一种基于一致片段选择的视听事件定位方法 | |
KR20200073967A (ko) | 인터랙티브 입력에 기반하여 이미지에서 목표 오브젝트를 결정하는 방법 및 장치 | |
KR20240013613A (ko) | 영상만으로 ai 휴먼 3차원 모션을 생성하는 방법 및 그 기록매체 | |
CN117156078B (zh) | 一种视频数据处理方法、装置、电子设备及存储介质 | |
Feng | Connecting perception with cognition for deep representations learning | |
US20230111356A1 (en) | Method and system for selecting marker for modifying a scene within an augmented reality based computing environment | |
CN118097490A (zh) | 任务处理方法、商品分类方法及电商直播的商品分类方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20220705 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20220705 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20230530 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20230616 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20230704 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20230801 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7325668 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |