JP6194483B2 - 映像受信装置、映像認識方法および付加情報表示システム - Google Patents

Description

本開示は、外部から入力される映像信号に関する付加情報を取得して映像信号に重畳する映像受信装置に関する。

特許文献１は、データ処理システムを開示する。このシステムでは、クライアント装置は、映像認識装置であるサーバ装置に、ネットワークを通して映像データを送信し、映像認識処理を依頼する。サーバ装置は、受信した映像データにもとづき映像認識を行い、映像認識の結果を、ネットワークを通してクライアント装置に送信する。

特開平１０−２１４２５８号公報

本開示は、外部から入力される映像信号に関する付加情報を取得し、取得した付加情報を映像信号へ重畳するのに有効な映像受信装置、映像認識方法、および付加情報表示システムを提供する。

本開示の映像受信装置は、通信ネットワークを介してデータの送受信を行えるように構成されており、入力部、映像抽出部、映像信号生成部、および制御部を備える。入力部は、外部に設置された映像送信装置から出力される立体映像の映像信号を入力するように構成されている。映像抽出部は、その映像信号から映像認識処理用の部分映像を抽出するように構成されている。映像信号生成部は、その部分映像から、その部分映像とは異なる単数または複数の方式の立体映像信号を生成するように構成されている。制御部は、その部分映像、および映像信号生成部で生成された単数または複数の立体映像信号の少なくとも１つからコンテンツ認識情報を生成し、通信ネットワークに接続された映像認識装置に、コンテンツ認識情報を送信して映像認識処理を依頼し、その映像認識処理の結果を映像認識装置から取得し、その映像認識処理の結果に基づく付加情報を、通信ネットワークに接続された付加情報配信装置から取得する制御を行うように構成されている。

本開示の映像認識方法は、通信ネットワークを介してデータの送受信を行えるように構成された映像受信装置における映像認識方法であって、外部から入力される立体映像の映像信号から映像認識処理用の部分映像を抽出するステップと、その部分映像から、その部分映像とは異なる単数または複数の方式の立体映像信号を生成するステップと、部分映像、および生成された単数または複数の立体映像信号の少なくとも１つからコンテンツ認識情報を生成するステップと、通信ネットワークに接続された映像認識装置に、コンテンツ認識情報を送信して映像認識処理を依頼し、映像認識処理の結果を映像認識装置から取得するステップと、映像認識処理の結果に基づく付加情報を、通信ネットワークに接続された付加情報配信装置から取得するステップと、を備える。

本開示の付加情報表示システムは、通信ネットワークを介して互いにデータの送受信を行えるように構成された、映像受信装置、映像認識装置、および付加情報配信装置、を備える。映像受信装置は、入力部、映像抽出部、映像信号生成部、および制御部を備える。入力部は、外部に設置された映像送信装置から出力される立体映像の映像信号を入力するように構成されている。映像抽出部は、その映像信号から映像認識用の部分映像を抽出するように構成されている。映像信号生成部は、その部分映像から、その部分映像とは異なる単数または複数の方式の立体映像信号を生成するように構成されている。制御部は、その部分映像、および映像信号生成部で生成された単数または複数の立体映像信号の少なくとも１つからコンテンツ認識情報を生成し、映像認識装置に通信ネットワークを介してコンテンツ認識情報を送信して映像認識処理を依頼し、その映像認識処理の結果を映像認識装置から通信ネットワークを介して取得し、付加情報配信装置からその映像認識処理の結果に基づく付加情報を通信ネットワークを介して取得する制御を行うように構成されている。映像認識装置は、通信ネットワークを介して受信したコンテンツ認識情報に関する映像認識処理を行い、その映像認識処理の結果を通信ネットワークを介して映像受信装置に送信するように構成されている。付加情報配信装置は、通信ネットワークを介して受信した映像認識処理の結果に対応する付加情報を通信ネットワークを介して映像受信装置に送信するように構成されている。

図１は、実施の形態１における付加情報表示システムの構成の一例を概略的に示す図である。 図２は、実施の形態１における映像認識装置の動作の一例を概略的に示す模式図である。 図３は、実施の形態１における映像認識装置および映像受信装置の構成の一例を概略的に示すブロック図である。 図４Ａは、３Ｄ映像信号の伝送方式の１つであるサイド・バイ・サイド方式を概略的に示す模式図である。 図４Ｂは、３Ｄ映像信号の伝送方式の１つであるライン・バイ・ライン方式を概略的に示す模式図である。 図４Ｃは、３Ｄ映像信号の伝送方式の１つであるトップ・アンド・ボトム方式を概略的に示す模式図である。 図４Ｄは、３Ｄ映像信号の伝送方式の１つであるフレームシーケンシャル方式を概略的に示す模式図である。 図５は、実施の形態１における映像受信装置で行う付加情報表示処理の動作を概略的に示すフローチャートである。 図６は、実施の形態１における映像受信装置で行うコンテンツ特定処理の動作を概略的に示すフローチャートである。 図７Ａは、映像送信装置の一例であるＳＴＢから映像受信装置に入力される３Ｄ映像信号の一例を概略的に示す模式図である。 図７Ｂは、実施の形態１における映像受信装置の映像抽出部が３Ｄ映像信号から抽出する部分映像の一例を概略的に示す模式図である。 図７Ｃは、実施の形態１における映像受信装置の立体信号生成部が部分映像から生成する３Ｄ映像信号の部分映像の一例を概略的に示す模式図である。 図７Ｄは、実施の形態１における映像受信装置の立体信号生成部が部分映像から生成する３Ｄ映像信号の部分映像の一例を概略的に示す模式図である。 図８は、実施の形態２における映像認識装置および映像受信装置の構成の一例を概略的に示すブロック図である。 図９Ａは、映像送信装置の一例であるＳＴＢから映像受信装置に入力される３Ｄ映像信号の一例を概略的に示す模式図である。 図９Ｂは、実施の形態２における映像受信装置の映像抽出部が３Ｄ映像信号から抽出する部分映像の一例を概略的に示す模式図である。 図９Ｃは、実施の形態２における映像受信装置の映像信号生成部が部分映像から生成する３Ｄ映像信号の部分映像の一例を概略的に示す模式図である。 図９Ｄは、実施の形態２における映像受信装置の映像信号生成部が部分映像から生成する３Ｄ映像信号の部分映像の一例を概略的に示す模式図である。 図９Ｅは、実施の形態２における映像受信装置の映像信号生成部が部分映像から生成する２Ｄ映像信号の部分映像の一例を概略的に示す模式図である。 図１０は、実施の形態３における映像認識装置および映像受信装置の構成の一例を概略的に示すブロック図である。 図１１は、実施の形態３における映像受信装置で行う局所認識情報生成処理の動作を概略的に示すフローチャートである。 図１２は、実施の形態３における映像受信装置の制御部が各部分映像に設定するマスク領域の一例を概略的に示す模式図である。 図１３は、他の実施の形態における映像認識装置および映像受信装置の構成の一例を概略的に示すブロック図である。

以下、適宜図面を参照しながら、実施の形態を詳細に説明する。但し、必要以上に詳細な説明は省略する場合がある。例えば、既によく知られた事項の詳細説明や実質的に同一の構成に対する重複説明を省略する場合がある。これは、以下の説明が不必要に冗長になるのを避け、当業者の理解を容易にするためである。

なお、添付図面および以下の説明は、当業者が本開示を十分に理解するために提供されるのであって、これらにより特許請求の範囲に記載の主題を限定することは意図されていない。

（実施の形態１）
以下、図１〜図７を用いて、実施の形態１を説明する。

［１−１．構成］
［１−１−１．システム構成の概略］
図１は、実施の形態１における付加情報表示システム１０の構成の一例を概略的に示す図である。付加情報表示システム１０は、放送局１２、映像送信装置であるＳＴＢ（Ｓｅｔ Ｔｏｐ Ｂｏｘ）１４、映像認識装置２０、付加情報配信装置３０、および映像受信装置４０を備える。付加情報表示システム１０は、映像認識装置２０が有する映像認識技術を利用して、映像受信装置４０が受信した映像がどのコンテンツのものかを特定し、そのコンテンツに関連する付加情報を、付加情報配信装置３０から取得して映像受信装置４０に表示する、ことができるように構成された通信システムである。

映像受信装置４０と、映像認識装置２０および付加情報配信装置３０とは、通信ネットワーク１６を介して互いに接続されている。

通信ネットワーク１６は、有線、または無線、あるいはその双方が混在して構成されている。通信ネットワーク１６は、例えばインターネットであるが、イントラネットや商業回線、あるいはその他の通信回線であってもよく、それらが混在していてもよい。

映像受信装置４０とＳＴＢ１４とは、通信インターフェースを介して互いに接続されている。通信インターフェースは、例えばＨＤＭＩ（登録商標）（Ｈｉｇｈ−Ｄｅｆｉｎｉｔｉｏｎ Ｍｕｌｔｉｍｅｄｉａ Ｉｎｔｅｒｆａｓｅ）であるが、ビデオケーブルであってもよく、あるいはＷｉ−Ｆｉ（登録商標）やＢｌｕｅｔｏｏｔｈ（登録商標）、無線ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）等の無線通信であってもよい。

放送局１２は、放送信号を送信（放送）するように構成された送信装置である。放送局１２は、番組本体とコマーシャルメッセージ（ＣＭ）とを含むテレビ番組を映像信号にして放送信号に重畳し放送する。番組本体とＣＭとは時間の経過に伴って互いに切り替わる。以下、番組本体やＣＭを「コンテンツ」と記す。すなわち、放送局１２は、時間の経過に伴って切り替わるコンテンツを放送する。なお、送信装置は何ら放送局１２に限定されるものではなく、時間の経過に伴って切り替わるコンテンツを送信または放送するものであればよい。

また、放送局１２は、放送するコンテンツに特有の特徴があるときに、そのコンテンツやそのコンテンツの映像信号の特徴を示す情報（以下、「特徴情報」と記す）を含む情報を、映像信号とともに放送または送信することがある。以下、特徴情報を含むその情報を「コンテンツ関連情報」と記す。特有の特徴があるコンテンツとは、例えば、立体映像（以下、「３Ｄ映像」とも記す。また、３Ｄ映像の映像信号を「３Ｄ映像信号」とも記す）のコンテンツや、字幕が重畳されている映像を含むコンテンツ、等である。３Ｄ映像に関するコンテンツ関連情報には、例えば３Ｄ映像信号の伝送方式（サイド・バイ・サイド方式、トップ・アンド・ボトム方式、ライン・バイ・ライン方式、フレームシーケンシャル方式、等）に関する特徴情報が含まれていることがある。また、字幕に関するコンテンツ関連情報には、例えば、字幕の有無、字幕の位置や大きさ、字幕の色、字体、等に関する特徴情報が含まれていることがある。また、放送信号の放送形式に関する特徴情報がコンテンツ関連情報に含まれていることもある。

本実施の形態では、放送局１２から３Ｄ映像のコンテンツが放送されるときの付加情報表示システム１０の動作について説明する。

ＳＴＢ１４は、放送局１２が放送する放送信号（３Ｄ映像信号を含む放送信号）を受信して映像信号（３Ｄ映像信号）を取り出すように構成された受信機（チューナ）である。ＳＴＢ１４は、例えば放送局１２がデジタルの映像信号を放送する場合、受信した映像信号をデコードする機能を備えていてもよい。ＳＴＢ１４は、放送局１２が放送する複数のチャンネルの中から、ユーザ（Ｕｓｅｒ）の指示にもとづき選局したチャンネルを受信し、そのチャンネルの映像信号を通信インターフェース（例えば、ＨＤＭＩ（登録商標））を介して、映像受信装置４０に出力する。また、ＳＴＢ１４は、放送局１２が映像信号とともにコンテンツ関連情報を送信するときには、そのコンテンツ関連情報を受信して映像受信装置４０に出力することもできる。なお、映像送信装置は何らＳＴＢ１４に限定されるものではなく、例えば録画機能と放送信号受信機能と映像信号出力機能とをあわせ持つ録画装置、等であってもよい。

なお、ＳＴＢ１４は、放送局１２が放送する３Ｄ映像信号を、他の方式の３Ｄ映像信号に変換してから映像受信装置４０に出力するように構成されていてもよい。例えば、ＳＴＢ１４は、放送局１２が、３Ｄ映像信号の伝送方式（以下、「３Ｄ映像方式」とも記す）の一例であるトップ・アンド・ボトム方式の３Ｄ映像信号を放送するとき、その３Ｄ映像信号を、３Ｄ映像方式の他の一例であるサイド・バイ・サイド方式の３Ｄ映像信号に変換してから映像受信装置４０に出力するように構成されていてもよい。

また、ＳＴＢ１４は、放送局１２から特有の特徴があるコンテンツが放送されるときに、その特徴を検知し、その特徴を示す特徴情報を含むコンテンツ関連情報を生成して映像受信装置４０に出力するように構成されていてもよい。例えば、放送局１２から３Ｄ映像のコンテンツが放送されるときに、３Ｄ映像信号の伝送方式を検出し、検出した結果（３Ｄ映像方式）を示す特徴情報を生成して映像受信装置４０に出力するように構成されていてもよい。あるいは、放送局１２から字幕が重畳された映像を含むコンテンツが放送されるときに、その字幕を検出し、検出した字幕の表示位置や表示サイズを示す特徴情報を生成して映像受信装置４０に出力するように構成されていてもよい。あるいは、ＳＴＢ１４が映像信号に字幕またはＯＳＤ（Ｏｎ Ｓｃｒｅｅｎ Ｄｉｓｐｌａｙ）を重畳するとき、その字幕またはＯＳＤの表示位置および表示サイズに関する特徴情報を生成して映像受信装置４０に出力するように構成されていてもよい。なお、本実施の形態では、ＳＴＢ１４等の映像送信装置が、放送局１２から放送される映像信号から特徴を検出して生成し出力するそれらの特徴情報も、コンテンツ関連情報の一部として扱う。

映像受信装置４０は、外部から入力される映像信号にもとづく映像を表示部５４に表示するように構成された映像受信デバイスであり、例えばテレビジョン受像機である。映像受信装置４０は、外部から３Ｄ映像信号が入力されると、その３Ｄ映像信号にもとづく３Ｄ映像を表示部５４に表示することも可能なように構成されている。映像受信装置４０は、通信ネットワーク１６に接続されており、通信ネットワーク１６を介して映像認識装置２０および付加情報配信装置３０とデータの送受信ができる。

本実施の形態における映像受信装置４０は、以下のことができるように構成されている。映像受信装置４０は、映像送信装置（例えば、ＳＴＢ１４）から通信インターフェースを介して入力される映像信号に関するコンテンツ特定処理（映像認識処理にもとづくコンテンツ特定処理）を映像認識装置２０を利用して行う。コンテンツ特定処理とは、その映像信号が表すコンテンツを特定する処理のことである。映像受信装置４０は、コンテンツ特定処理の結果として映像認識装置２０から送信されてくる解析情報を受信し、その解析情報にもとづき、そのコンテンツに関連する付加情報（例えば、広告情報）を付加情報配信装置３０から取得し、取得した付加情報をその映像信号に重畳して表示部５４に表示する。

具体的には、映像受信装置４０は、入力される映像信号から一部を周期的に切り出すことで部分映像を周期的に抽出し、その部分映像から生成したコンテンツ認識情報とコンテンツ特定処理（映像認識処理にもとづくコンテンツ特定処理）の要求（以下、「映像認識要求」とも記す）を、通信ネットワーク１６を介して映像認識装置２０に送信する。そして、映像受信装置４０は、そのコンテンツ認識情報に対するコンテンツ特定処理の結果（解析情報）を映像認識装置２０から通信ネットワーク１６を介して取得する。そして、取得したコンテンツ特定処理の結果（解析情報）に関連する付加情報を、付加情報配信装置３０から通信ネットワーク１６を介して取得する。そして、取得した付加情報にもとづく画像（図１には、「付加情報５１」として示す）を、表示部５４に表示中の映像に重畳して表示する。これらの詳細は後述する。

また、映像受信装置４０は、ＳＴＢ１４から出力されるコンテンツ関連情報を受け取ることもできる。このコンテンツ関連情報には、例えば、放送局１２から３Ｄ映像のコンテンツが放送されるときに、その３Ｄ映像信号の伝送方式を示す特徴情報が含まれていることがあり、また、放送局１２から放送されるコンテンツに字幕が重畳された映像が含まれているときに、字幕が重畳された領域の場所（座標）や大きさを表す特徴情報が含まれていることがある。また、ＳＴＢ１４が映像信号に字幕やＯＳＤを重畳するときに、その字幕やＯＳＤが重畳された領域の場所（座標）や大きさを表す特徴情報が含まれていることがある。

なお、本実施の形態および以降の実施の形態では、コンテンツ認識情報をフィンガープリントとする例を説明する。コンテンツ認識情報は、映像を認識するための情報であり、フィンガープリントは、部分映像や動画を構成する各画像のハッシュ値である。しかし、コンテンツ認識情報は映像認識処理に使用できる情報（データ）であればよく、何らフィンガープリント（ハッシュ値）に限定されない。

なお、本実施の形態では、付加情報を「コンテンツに関連する広告情報」とする例を説明するが、付加情報は何ら広告情報に限定されるものではなく、例えば観光情報、歴史情報、人物プロフィール情報、ＵＲＬ（Ｕｎｉｆｏｒｍ Ｒｅｓｏｕｒｃｅ Ｌｏｃａｔｏｒ）、公共公報情報、放送中の番組に関する情報、ツイッター（登録商標）等のソーシャル情報、等であってもよい。

映像認識装置２０は、通信ネットワーク１６に接続されたサーバ装置であり、映像認識処理にもとづくコンテンツ特定処理を行うＷｅｂサイトである。コンテンツ特定処理とは、上述したように、受信したフィンガープリントにもとづき映像認識処理を行い、その映像認識処理の結果にもとづきそのフィンガープリントが表すコンテンツを特定する処理のことである。そのために、映像認識装置２０は、放送局１２が放送するコンテンツに対する解析と、その解析の結果を利用した映像認識処理を行う。

映像認識装置２０の動作の一例を図２を用いて説明する。図２は、実施の形態１における映像認識装置２０の動作の一例を概略的に示す模式図である。なお、図２は信号や情報の流れを模式的に示したものであり、回路ブロックの構成を示したものではない。

映像認識装置２０は、放送局１２から放送される実質的に全てのコンテンツ８１を取得する。このコンテンツ８１には３Ｄ映像のコンテンツも含まれる。そして、取得したコンテンツ８１に対する解析を行い、各コンテンツの時間、容量、放送形式、内容、ジャンル、登場人物、タイムテーブル、等を調べ、解析情報８３を作成する。また、映像認識装置２０は、放送局１２から取得したコンテンツ８１の映像信号からフィンガープリント８４を作成する。映像認識装置２０は、放送局から放送される放送信号を受信してコンテンツ８１を取得してもよく、あるいは、専用の映像回線等を介して放送局１２から送信される映像信号を受信してコンテンツ８１を取得してもよい。また、この解析は、例えば、自動で行われてもよく、作業者が手作業で行ってもよい。この解析結果である解析情報８３およびフィンガープリント８４は、そのコンテンツ８１に関する情報とともに映像認識装置２０の記憶部２３に記憶される。

映像認識装置２０は、映像受信装置４０から送信されてくるフィンガープリント８２（ＳＴＢ１４から出力される映像信号９１の部分映像から生成されたフィンガープリント）を伴った映像認識要求を通信ネットワーク１６を介して受信すると、そのフィンガープリント８２を、映像認識装置２０があらかじめ生成し記憶部２３に記憶しておいたフィンガープリント８４と照合し（映像認識処理）、そのフィンガープリント８２に対応するコンテンツを特定する。こうして、映像認識装置２０は、映像受信装置４０から送信されてくるフィンガープリント８２が何のコンテンツの部分映像から作成されたものかを判断してそのコンテンツを特定するコンテンツ特定処理を行う。そして、特定したコンテンツに関する解析結果（解析情報８３）を記憶部２３から読み出し、読み出した解析情報８３をコンテンツ特定処理の結果として映像受信装置４０に通信ネットワーク１６を介して返信する。

このような手法による映像認識処理（映像認識処理にもとづくコンテンツ特定処理）を「ＡＣＲ（Ａｕｔｏｍａｔｉｃ Ｃｏｎｔｅｎｔ Ｒｅｃｏｇｎｉｔｉｏｎ）」とも呼称する。

図１に戻り、付加情報配信装置３０を説明する。

付加情報配信装置３０は、通信ネットワーク１６に接続されたサーバ装置であり、様々な商品の広告情報を保持して配信するＷｅｂサイト（広告配信サイト）である。付加情報配信装置３０は、映像受信装置４０から送信されてくるコンテンツ特定処理の結果（映像受信装置４０が映像認識装置２０から取得した、コンテンツ特定処理の結果にもとづく解析情報８３）を通信ネットワーク１６を介して受信すると、そのコンテンツ特定処理の結果（解析情報８３）に関連する付加情報を通信ネットワーク１６を介して映像受信装置４０に送信する。この付加情報は、例えば、コンテンツ特定処理により特定されたコンテンツに関連する広告情報である。

［１−１−２．映像認識装置および映像受信装置の構成］
図３は、実施の形態１における映像認識装置２０および映像受信装置４０の構成の一例を概略的に示すブロック図である。

なお、図３には、本実施の形態に示す動作に関連する主な回路ブロックを示しており、他の動作に関する機能や回路ブロックは省略している。これは、本実施の形態で説明する動作を分かりやすく示すためである。また、図３に示す各回路ブロックは、それぞれが独立した回路で構成されていてもよく、あるいは、図３に示す回路ブロックの１つまたは複数を実現するように作成されたプログラムをプロセッサーで実行する構成であってもよい。

映像認識装置２０は、ＨＴＴＰ（Ｈｙｐｅｒｔｅｘｔ Ｔｒａｎｓｆｅｒ Ｐｒｏｔｏｃｏｌ）送受信部２１、検索部２２、および記憶部２３、を備えるサーバ装置である。映像認識装置２０は、映像受信装置４０に、通信ネットワーク１６を介して映像認識処理にもとづくコンテンツ特定処理のサービスを提供するように構成されている。

ＨＴＴＰ送受信部２１は、通信用のインターフェースであり、例えば、イーサネット（登録商標）の規格に適合する通信アダプタである。ＨＴＴＰ送受信部２１は、通信ネットワーク１６を介して映像受信装置４０とデータの送受信を行うことができるように構成されている。

記憶部２３は、例えばＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）等で構成された記憶装置である。記憶部２３は、放送局１２から放送されるコンテンツのフィンガープリントと、そのコンテンツに対する解析結果の解析情報とを、そのコンテンツに対応付けて記憶するように構成されている。このフィンガープリントは、例えば、動画を構成する各画像のハッシュ値、等である。

記憶部２３は、例えば、放送局１２から放送される全チャンネル（例えば、３００チャンネル）について、放送からわずかな時間遅れ（例えば、１０秒）で、コンテンツ（例えば、番組本体やＣＭ）毎に、フィンガープリントと解析結果（解析情報）を対応付けて記憶する。この解析結果（解析情報）には、例えば、番組のタイトル、ＣＭのタイトル、番組のあらすじ、ＣＭのあらすじ、登場人物、映像に関連する場所、ＵＲＬ等が含まれていてもよい。

検索部２２は、映像受信装置４０から送信されてくるフィンガープリントを伴う映像認識要求をＨＴＴＰ送受信部２１を介して受信すると、そのフィンガープリントを用いた映像認識処理にもとづくコンテンツ特定処理を行い、その結果（解析情報）をＨＴＴＰ送受信部２１を介して映像受信装置４０に返信するように構成されている。

具体的には、検索部２２は、映像受信装置４０から送信されてくるフィンガープリントを伴う映像認識要求を、通信ネットワーク１６およびＨＴＴＰ送受信部２１を介して受信する。次に、受信したフィンガープリントを、記憶部２３に記憶されているフィンガープリントと照合し、受信したフィンガープリントに対応するフィンガープリントを検索する（映像認識処理）。そして、その検索の結果により特定されたフィンガープリントに対応するコンテンツを、受信したフィンガープリントに対応するコンテンツとする（コンテンツ特定処理）。このようにして、検索部２２は、受信したフィンガープリントに対応するコンテンツを特定する。そして、検索部２２は、特定したコンテンツに対応付けられた解析結果（解析情報）を記憶部２３から読み出し、読み出した解析結果（解析情報）を、コンテンツ特定処理の結果として、ＨＴＴＰ送受信部２１および通信ネットワーク１６を介して映像受信装置４０に返信する。

映像受信装置４０は、制御部４１、ＨＴＴＰ送受信部４２、操作信号受信部４３、映像出力部４４、表示部５４、映像抽出部４５、付加情報表示制御部４６、記憶部４７、映像入力部４８および映像信号生成部である立体信号生成部６６を備える。映像受信装置４０は、映像認識装置２０を利用した映像認識処理にもとづくコンテンツ特定処理を行い、そのコンテンツ特定処理の結果としての解析情報を映像認識装置２０から取得してその解析情報に関連する付加情報（例えば、広告情報）を付加情報配信装置３０から取得し、受信した映像信号による映像（コンテンツ）に、その付加情報（例えば、その映像に関連する広告情報）による画像を重畳して表示部５４に表示する、ように構成されている。

ＨＴＴＰ送受信部４２は、通信用のインターフェースであり、例えば、イーサネット（登録商標）の規格に適合する通信アダプタである。ＨＴＴＰ送受信部４２は、通信ネットワーク１６を介して映像認識装置２０とデータの送受信を行うことができるように構成されている。

操作信号受信部４３は、ユーザ操作を受け付けたリモートコントロール装置（以下、「リモコン」と略記する）等の操作部（図示せず）が発信する操作信号（映像受信装置４０に対する操作信号）を受信するように構成されている。操作信号受信部４３は、ジャイロセンサを有するリモコンが、そのリモコンに生じる物理的な変動にもとづき発信する信号を受信するように構成されていてもよい。

映像入力部４８は、受信回路およびデコーダであり、放送局が送信する放送信号を受信するように構成された受信部４９と、映像送信装置（例えば、ＳＴＢ１４）が出力する映像信号を入力するように構成された入力部６５とを有する。映像入力部４８が受け取る映像信号には、時間の経過に伴って切り替わるコンテンツ（番組本体とＣＭ、等）が含まれる。

受信部４９は、放送局１２が送信する放送信号をアンテナ（図示せず）等を介して受信するように構成されている。

入力部６５は、外部に設置された映像送信装置から出力されてくる映像信号を入力するように構成されたインターフェースである。入力部６５は、例えばＨＤＭＩ（登録商標）の規格に適合するように構成されており、映像送信装置からＨＤＭＩ（登録商標）を介して送信されてくる映像信号を受け取ることができる。また、入力部６５には３Ｄ映像信号の入力も可能である。この映像送信装置は、例えばＳＴＢ１４であるが、映像記録再生装置等であってもよい。また、入力部は、ビデオケーブルを介して送信されてくる映像信号や、無線通信で送信されてくる映像信号を受け取るように構成されていてもよい。

映像出力部４４は、表示部５４を制御する機能を有し、映像入力部４８から入力される映像信号にもとづき表示部５４を制御して、その映像信号にもとづく映像を表示部５４に表示するように構成されている。映像出力部４４は、制御部４１から付加情報が入力されたときは、表示部５４に表示中の映像に、付加情報にもとづく画像を重畳する。

表示部５４は、映像信号にもとづく映像を表示するように構成されたディスプレイであり、例えばＬＣＤ（Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ）である。しかし、本実施の形態は何らこの構成に限定されるものではなく、表示部５４は、ＰＤＰ（Ｐｌａｓｍａ Ｄｉｓｐｌａｙ Ｐａｎｅｌ）やＯＬＥＤ（Ｏｒｇａｎｉｃ Ｅｌｅｃｔｒｏ Ｌｕｍｉｎｅｓｃｅｎｃｅ Ｄｉｓｐｌａｙ）、等であってもよい。

付加情報表示制御部４６は、付加情報の表示制御を行うように構成されている。具体的には、付加情報表示制御部４６は、映像認識装置２０から取得したコンテンツ特定処理の結果にもとづき付加情報配信装置３０から取得した付加情報を、表示部５４に表示するか否か（映像信号に重畳するか否か）、または表示部５４に表示中の付加情報を継続表示するか非表示にするか、を判断し、その判断にもとづく指示を制御部４１に出力する。また、付加情報表示制御部４６は、取得した付加情報にもとづく画像（または、文字列）を、表示部５４に表示中の映像のどこに重畳するかを判断し、その判断にもとづく指示を制御部４１に出力する。

映像抽出部４５は、映像入力部４８から入力される映像信号から部分映像を抽出するように構成されている。映像抽出部４５は、映像入力部４８から入力される３Ｄ映像信号から部分映像を抽出することもできるように構成されている。映像抽出部４５は、映像信号から、あらかじめ定められた周期で、映像信号の一部である部分映像を所定時間分抽出するように構成されている。例えば、あらかじめ定められた周期が３秒であり所定時間が３秒間であれば、映像抽出部４５は、映像信号から、３秒毎に３秒間の部分映像を抽出する動作を繰り返す。すなわち、映像信号から３秒間の部分映像を３秒毎に隙間なく連続して抽出する動作を繰り返す。また、例えば、あらかじめ定められた周期が１５秒であり所定時間が３秒間であれば、映像抽出部４５は、映像信号から、１５秒毎に３秒間の部分映像を抽出する動作を繰り返す。すなわち、映像信号から３秒間の部分映像を１２秒の間隔をおいて抽出する動作を繰り返す。なお、映像信号から抽出する部分映像は秒単位での抽出に限定されるものではなく、例えば、映像フレームレートにおいて予め定められたフレーム数で部分映像を抽出してもよい。

本実施の形態では、映像抽出部４５が、映像入力部４８から入力される３Ｄ映像信号から部分映像を抽出する例を説明する。すなわち、以下の説明における部分映像は３Ｄ映像信号の部分映像である。

映像信号生成部である立体信号生成部６６は、映像認識処理に用いるために、映像抽出部４５で抽出された部分映像から、複数の方式の３Ｄ映像信号を生成する。立体信号生成部６６の詳細は後述する。

ここで、３Ｄ映像信号の主な伝送方式の概要を、図４Ａ〜４Ｄを用いて説明する。図４Ａは、３Ｄ映像信号の伝送方式の１つであるサイド・バイ・サイド方式を概略的に示す模式図である。図４Ｂは、３Ｄ映像信号の伝送方式の１つであるライン・バイ・ライン方式を概略的に示す模式図である。図４Ｃは、３Ｄ映像信号の伝送方式の１つであるトップ・アンド・ボトム方式を概略的に示す模式図である。図４Ｄは、３Ｄ映像信号の伝送方式の１つであるフレームシーケンシャル方式を概略的に示す模式図である。

一般的に、３Ｄ映像信号は、左眼用の映像信号５０Ｌと右眼用の映像信号５０Ｒとが交互に発生して構成され、１秒間に発生するフレームの数は、通常の映像（左眼用、右眼用の区別がない映像。以下、「２Ｄ映像」と記す）の２倍になる。これは、左眼用の１フレームと右眼用の１フレームとで３Ｄ映像の１フレームが構成されるためである。そのため、例えば２Ｄ映像信号が６０フレーム／秒のとき、３Ｄ映像信号は１２０フレーム／秒となる。しかし、放送局１２が放送する放送信号の仕様は２Ｄ映像信号にもとづき設定されているため、３Ｄ映像のコンテンツを放送するときには、放送局１２は、例えば１２０フレーム／秒の３Ｄ映像信号を６０フレーム／秒の映像信号に変換して放送しなければならない。

そのために、図４Ａに示すサイド・バイ・サイド方式では、左眼用の映像信号５０Ｌと右眼用の映像信号５０Ｒをそれぞれ水平方向に１／２に圧縮して左眼用の映像信号５０ＡＬと右眼用の映像信号５０ＡＲを生成する。そして、伝送用の映像信号５０１の、１フレームの左側に１／２に圧縮された左目用の映像信号５０ＡＬを配置し、１フレームの右側に１／２に圧縮された右目用の映像信号５０ＡＲを配置する。

図４Ｂに示すトップ・アンド・ボトム方式では、左眼用の映像信号５０Ｌと右眼用の映像信号５０Ｒをそれぞれ垂直方向に１／２に圧縮して左眼用の映像信号５０ＢＬと右眼用の映像信号５０ＢＲを生成する。そして、伝送用の映像信号５０２の、１フレームの上側に１／２に圧縮された左目用の映像信号５０ＢＬを配置し、１フレームの下側に１／２に圧縮された右目用の映像信号５０ＢＲを配置する。

図４Ｃに示すライン・バイ・ライン方式では、伝送用の映像信号５０３の１フレームに、左眼用の映像信号５０Ｌと右眼用の映像信号５０Ｒを交互に１ラインずつ配置する。すなわち、左眼用の映像信号５０Ｌから奇数番目（次のフレームでは偶数番目）のラインを抜き出して生成された映像信号５０ＣＬと、右眼用の映像信号５０Ｒから偶数番目（次のフレームでは奇数番目）のラインを抜き出して生成された映像信号５０ＣＲとを交互に１ラインずつ配置して１フレームの映像信号５０３を生成する。

これにより、例えば６０フレーム／秒の映像信号５０１、５０２、５０３では、６０フレーム／秒の左眼用のフレームと、６０フレーム／秒の右眼用のフレームを伝送することができる。

図４Ｄに示すフレームシーケンシャル方式では、左眼用の映像信号５０Ｌと右眼用の映像信号５０Ｒを交互に１フレームずつ配置して伝送用の映像信号５０４とする。これにより、例えば６０フレーム／秒の映像信号５０４で、３０フレーム／秒の左眼用の映像信号５０ＤＬと、３０フレーム／秒の右眼用の映像信号５０ＤＲを伝送することができる。

なお、映像信号５０１、５０２、５０３は、３Ｄ映像信号の伝送方式をわかりやすく示すために、３Ｄ映像信号を３Ｄ映像として表示するのではなく、２Ｄ映像と同様に、伝送された映像信号の状態（例えば、６０フレーム／秒）のまま表示部に表示したときの映像として模式的に示した図である。したがって、各３Ｄ映像信号が図示した状態で表示部５４に表示されるわけではない。

いずれの伝送方式であっても、受信された映像信号は３Ｄ映像の視聴に適した形式に変換されてディスプレイに表示されるので、視聴者は、例えば３Ｄ映像専用の眼鏡を使用することで、表示部５４に表示される３Ｄ映像を立体的な映像として見ることができる。

図３に戻り、映像受信装置４０の説明を続ける。

記憶部４７は、例えば不揮発性メモリ等で構成された記憶装置である。記憶部４７は、映像入力部４８で受信した電子番組表（Ｅｌｅｃｔｒｏｎｉｃ Ｐｒｏｇｒａｍ Ｇｕｉｄｅ：ＥＰＧ）等の番組メタ情報、ＨＴＴＰ送受信部４２を介して付加情報配信装置３０から取得した付加情報および付加情報の表示制御情報、等を記憶する。付加情報の表示制御情報とは、付加情報の表示を制御するための情報であり、例えば付加情報の表示期間を示す情報、等が含まれる。

制御部４１は、映像受信装置４０が備える各回路ブロックを制御するように構成されている。制御部４１は、例えば、プログラム（アプリケーションプログラム等）を記憶しているＲＯＭ等の不揮発性メモリ、そのプログラムを実行するＣＰＵ、および、ＣＰＵがプログラムを実行するときに一時的にデータやパラメータ等を記憶するＲＡＭ等の揮発性メモリ、等から構成される。

制御部４１が行う制御には、例えば次のようなものがある。制御部４１は、映像抽出部４５が映像信号から部分映像を所定の周期で抽出するように、映像抽出部４５を制御する。そして、映像抽出部４５が部分映像を抽出する度に、立体信号生成部６６が、その部分映像から複数の方式の３Ｄ映像信号を生成するように、立体信号生成部６６を制御する。また、制御部４１は、部分映像および立体信号生成部６６で生成された複数の方式の３Ｄ映像信号のそれぞれからフィンガープリントを生成（算出）する。そして、制御部４１は、生成したフィンガープリントにもとづくコンテンツ特定処理（映像認識処理にもとづくコンテンツ特定処理）を、映像認識装置２０を利用して行う。すなわち、制御部４１は、そのフィンガープリントを、映像認識要求とともに、ＨＴＴＰ送受信部４２および通信ネットワーク１６を介して映像認識装置２０に送信し、そのフィンガープリントに対するコンテンツ特定処理（映像認識処理にもとづくコンテンツ特定処理）を映像認識装置２０に依頼するように、各回路ブロックを制御する。このフィンガープリントは、例えば、部分映像を構成する各画像のハッシュ値であり、立体信号生成部６６で生成された３Ｄ映像を構成する各画像のハッシュ値である。そして、制御部４１は、そのフィンガープリントに対するコンテンツ特定処理の結果（解析情報）を通信ネットワーク１６およびＨＴＴＰ送受信部４２を介して映像認識装置２０から取得して記憶部４７に記憶し、そのコンテンツ特定処理の結果にもとづく付加情報を通信ネットワーク１６およびＨＴＴＰ送受信部４２を介して付加情報配信装置３０から取得するように、各回路ブロックを制御する。そして、取得した付加情報を記憶部４７に記憶するとともに映像出力部４４に出力し、表示部５４に表示中の映像に付加情報を重畳して表示するように、各回路ブロックを制御する。このとき、制御部４１は、付加情報表示制御部４６が「付加情報を非表示にする」と判断すれば、表示部５４に表示中の付加情報を非表示にするように、各回路ブロックを制御する。

なお、映像受信装置４０が映像認識装置２０に映像認識処理にもとづくコンテンツ特定処理を依頼するときには、映像受信装置４０がコンテンツ特定処理の依頼を表す信号（データ）を作成し、その信号を映像認識要求として映像認識装置２０に送信するように付加情報表示システム１０を構成してもよいが、例えば、そのような信号（データ）の送信は行わず、映像受信装置４０がフィンガープリントを映像認識装置２０に送信することで映像認識装置２０に映像認識処理にもとづくコンテンツ特定処理を依頼したことになるように映像受信装置４０と映像認識装置２０との間であらかじめ取り決めをしておいてもよい。

［１−２．動作］
以上のように構成された付加情報表示システム１０の動作の一例を、図５〜図７を用いて説明する。

上述したように、映像受信装置４０は、例えばＳＴＢ１４等の映像送信装置から出力される映像信号が入力されると、その映像信号に対するコンテンツ特定処理を映像認識装置２０を利用して行う。そして、そのコンテンツ特定処理の結果に関連する付加情報５１（例えば、広告情報）を付加情報配信装置３０から取得し、取得した付加情報５１を映像信号に重畳して表示部５４に表示する。また、映像受信装置４０は、取得した付加情報５１（例えば、広告情報）を、その付加情報５１とともに取得した付加情報の表示制御情報に応じて表示または非表示にする。

以下、この付加情報表示処理の概要を説明する。

［１−２−１．付加情報表示処理の動作］
図５は、実施の形態１における映像受信装置４０で行う付加情報表示処理の動作を概略的に示すフローチャートである。

映像受信装置４０の映像抽出部４５は、ＳＴＢ１４から出力され入力部６５に入力される映像信号から部分映像を抽出する（ステップＳ３１）。この映像信号は、放送局１２が放送し、ＳＴＢ１４で受信され、使用者が選択したチャンネルの映像信号であり、本実施の形態では３Ｄ映像信号である。

次に、映像受信装置４０は、以下のコンテンツ特定処理を行う（ステップＳ３２）。

映像受信装置４０の制御部４１は、映像抽出部４５が抽出した部分映像および立体信号生成部６６が部分映像から生成した３Ｄ映像信号にもとづき、フィンガープリントを生成する。生成されたフィンガープリントは、制御部４１の指示により、ＨＴＴＰ送受信部４２を介して映像認識装置２０へ送信される。映像認識装置２０は、そのフィンガープリントを用いた映像認識処理にもとづくコンテンツ特定処理を行い、特定したコンテンツに関連する解析情報（コンテンツ特定処理の結果）を通信ネットワーク１６を介して映像受信装置４０へ送信する。このとき、コンテンツ特定処理に失敗した場合には、例えば、映像認識装置２０は解析情報として「ＮＧ」や「０」等の特定の情報を映像受信装置４０へ送信するように動作してもよい。制御部４１は、映像認識装置２０から送信されてくる解析情報（コンテンツ特定処理の結果）を受信して記憶部４７に記憶するように各回路ブロックを制御する。これらのコンテンツ特定処理の詳細は後述する。

次に、映像受信装置４０は、解析情報にもとづき付加情報を取得する（ステップＳ３３）。映像受信装置４０の制御部４１は、映像認識装置２０から受信した解析情報を、ＨＴＴＰ送受信部４２および通信ネットワーク１６を介して付加情報配信装置３０に送信するように各回路ブロックを制御する。付加情報配信装置３０は、受信した解析情報に関連する付加情報を通信ネットワーク１６を通して映像受信装置４０に送信する。制御部４１は、付加情報配信装置３０から送信されてくる付加情報を受信して記憶部４７に記憶するように、各回路ブロックを制御する。

なお、映像認識装置２０から取得する解析情報にＵＲＬが含まれ、制御部４１は、そのＵＲＬを指定して付加情報配信装置３０にアクセスし、そのＵＲＬに関連する情報を、その解析情報に関連する付加情報として付加情報配信装置３０から取得する、ように各装置が構成されていてもよい。

制御部４１は、受信した付加情報を映像出力部４４に転送し、付加情報表示制御部４６からの指示にもとづき、この付加情報を表示部５４に表示中の映像に重畳して表示するように、各回路ブロックを制御する（ステップＳ３４）。付加情報表示制御部４６は、付加情報とともに取得した付加情報の表示制御情報等にもとづき、付加情報の表示位置、表示サイズ、表示時間等を判断し、その判断にもとづく指示を制御部４１に出す。

１つの部分映像について上述した一連の付加情報表示処理が終了したら、映像受信装置４０は、次の部分映像を抽出し上述と同様の付加情報表示処理を繰り返す。

次に、ステップＳ３２のコンテンツ特定処理について説明する。

［１−２−２．コンテンツ特定処理の動作］
図６は、実施の形態１における映像受信装置４０で行うコンテンツ特定処理の動作を概略的に示すフローチャートである。

映像受信装置４０の制御部４１は、ＳＴＢ１４から、３Ｄ映像信号の伝送方式に関する特徴情報（以下、「映像方式情報」とも記す）が映像受信装置４０に入力されているかどうかを判断する（ステップＳ４１）。この映像方式情報には、例えば、映像認識装置２０が放送局１２から取得する３Ｄ映像信号の方式に関する特徴情報が含まれている。映像方式情報には、ＳＴＢ１４から映像受信装置４０に入力される３Ｄ映像信号の方式に関する特徴情報が含まれていてもよい。

ステップＳ４１で、映像方式情報は入力されていない、と判断されたとき（Ｎｏ）、映像受信装置４０では３Ｄ映像信号生成処理が行われる（ステップＳ４２）。すなわち、制御部４１は、複数の３Ｄ映像方式で３Ｄ映像信号を生成するように立体信号生成部６６に指示する。その指示を受けた立体信号生成部６６は、映像抽出部４５が抽出した部分映像から、その部分映像とは異なる複数の３Ｄ映像方式の部分映像（互いに異なる方式の３Ｄ映像信号の部分映像）を生成する（３Ｄ映像信号生成処理）。これは以下の理由による。

ＳＴＢ１４は、放送局１２が放送する３Ｄ映像信号を、他の方式の３Ｄ映像信号に変換して映像受信装置４０に出力することがある。そのため、映像方式情報が無ければ、映像受信装置４０は、映像認識装置２０が放送局１２から取得する３Ｄ映像信号の方式を知ることができない。

例えば、ＳＴＢ１４から映像受信装置４０に入力される３Ｄ映像信号の方式と、映像認識装置２０が放送局１２から取得する３Ｄ映像信号の方式とが互いに異なると、図４Ａ〜４Ｄで説明したように、伝送される映像信号は互いに異なる波形になる。そのため、映像受信装置４０と映像認識装置２０とでは互いに異なるフィンガープリントが生成され、それらのフィンガープリントで行われる映像認識処理は失敗する可能性が高くなる。

そこで、本実施の形態では、映像認識装置２０が放送局１２から取得する３Ｄ映像信号の方式を映像受信装置４０が把握できない（映像受信装置４０が映像方式情報を取得できない）とき、映像受信装置４０の立体信号生成部６６は、制御部４１からの指示にもとづき動作して、映像抽出部４５で抽出された部分映像から、その部分映像とは異なる複数の３Ｄ映像方式の部分映像を生成する。

このとき、映像受信装置４０では、それら複数の３Ｄ映像方式の中に、映像認識装置２０が放送局１２から取得する３Ｄ映像信号の方式が含まれる可能性が高くなるように、立体信号生成部６６で生成する３Ｄ映像方式の種類を設定しておくことが望ましい。

立体信号生成部６６が生成する３Ｄ映像信号の部分映像の一例を図面を用いて説明する。

図７Ａは、映像送信装置の一例であるＳＴＢ１４から映像受信装置４０に入力される３Ｄ映像信号５０の一例を概略的に示す模式図である。図７Ｂは、実施の形態１における映像受信装置４０の映像抽出部４５が３Ｄ映像信号５０から抽出する部分映像４１０の一例を概略的に示す模式図である。図７Ｃは、実施の形態１における映像受信装置４０の立体信号生成部６６が部分映像４１０から生成する３Ｄ映像信号の部分映像４２０の一例を概略的に示す模式図である。図７Ｄは、実施の形態１における映像受信装置４０の立体信号生成部６６が部分映像４１０から生成する３Ｄ映像信号の部分映像４３０の一例を概略的に示す模式図である。

なお、３Ｄ映像信号は、例えば６０フレーム／秒の映像信号として伝送されたとしても、映像信号処理により、６０フレーム／秒の左眼用フレームと６０フレーム／秒の右眼用フレームとが交互に表示される１２０フレーム／秒の映像信号に変換されて表示部５４に表示される。しかし、図７Ａ〜７Ｄには、３Ｄ映像方式をわかりやすく図示するために、３Ｄ映像信号を３Ｄ映像として表示するのではなく、２Ｄ映像と同様に、伝送または抽出または生成された状態の映像信号（例えば、６０フレーム／秒）のまま表示部に表示したときの映像として模式的に示した図である。したがって、各３Ｄ映像信号が図示した状態で表示部５４に表示されるわけではない。

例えば、図７Ａに示すように、ＳＴＢ１４からサイド・バイ・サイド方式の３Ｄ映像信号５０が映像受信装置４０に入力されると、映像抽出部４５は、図７Ｂに示すように、この３Ｄ映像信号５０からサイド・バイ・サイド方式の部分映像４１０を抽出する。立体信号生成部６６は、圧縮・伸長処理やライン変更処理等の映像信号処理を施すことで、サイド・バイ・サイド方式の部分映像４１０から、図７Ｃに一例を示すトップ・アンド・ボトム方式の部分映像４２０や、図７Ｄに一例を示すライン・バイ・ライン方式の部分映像４３０、を生成する。

なお、図７Ａ〜７Ｄに示したものは本実施の形態における単なる一例に過ぎず、本実施の形態は何らこれらの動作に限定されるものではない。映像受信装置４０には、サイド・バイ・サイド方式以外の３Ｄ映像信号が入力されてもよく、立体信号生成部６６は、例えばフレームシーケンシャル方式等、上述以外の３Ｄ映像方式の部分映像を生成してもよい。

図６に戻りフローチャートを説明する。

次に、制御部４１はフィンガープリントを生成する（ステップＳ４３）。制御部４１は、映像抽出部４５が抽出した３Ｄ映像信号（例えば、サイド・バイ・サイド方式）の部分映像４１０からフィンガープリント４１１を生成し、立体信号生成部６６が生成した３Ｄ映像信号（例えば、トップ・アンド・ボトム方式）の部分映像４２０からフィンガープリント４２１を生成し、立体信号生成部６６が生成した３Ｄ映像信号（例えば、ライン・バイ・ライン方式）の部分映像４３０からフィンガープリント４３１を生成する。立体信号生成部６６が図示していない他の３Ｄ映像方式の部分映像を生成していれば、その部分映像からもフィンガープリントを生成する。

ステップＳ４１で、映像方式情報は入力されている、と判断されたとき（Ｙｅｓ）、制御部４１は、その映像方式情報にもとづきフィンガープリントを生成する（ステップＳ４３）。

例えば、映像方式情報にもとづき、映像認識装置２０が放送局１２から取得した３Ｄ映像信号の方式（例えば、サイド・バイ・サイド方式）と、ＳＴＢ１４から映像受信装置４０に入力されている３Ｄ映像信号の方式（例えば、サイド・バイ・サイド方式）とは互い同じである、と制御部４１で判断されたときは、制御部４１は、映像抽出部４５が抽出した部分映像（例えば、サイド・バイ・サイド方式の部分映像４１０）からフィンガープリント（例えば、フィンガープリント４１１）を生成する。このとき、立体信号生成部６６は、３Ｄ映像信号を生成する動作を休止していてもかまわない。

映像方式情報にもとづき、映像認識装置２０が放送局１２から取得した３Ｄ映像信号の方式と、ＳＴＢ１４から映像受信装置４０に入力されている３Ｄ映像信号の方式とは互い異なる、と制御部４１で判断されたときは、制御部４１は、映像認識装置２０が放送局１２から取得した３Ｄ映像信号の方式と同じ方式の３Ｄ映像信号を生成するように立体信号生成部６６に指示する。そして、その指示にもとづき、立体信号生成部６６は、映像抽出部４５が抽出した部分映像から、制御部４１が指示した３Ｄ映像方式と同じ方式の部分映像を生成して出力する。そして、制御部４１は、立体信号生成部６６から出力される３Ｄ映像信号の部分映像からフィンガープリントを生成する。このとき、制御部４１は、映像抽出部４５が抽出した部分映像からはフィンガープリントを生成しなくてもよい。

制御部４１が生成するフィンガープリントは、例えば部分映像を構成する各画像のハッシュ値であるが、本実施の形態は、コンテンツ認識情報を何らハッシュ値に限定するものではなく、他の情報であってもよい。

次に、制御部４１は、ステップＳ４３で生成された全てのフィンガープリントを映像認識装置２０に送信してコンテンツ特定処理（映像認識処理にもとづくコンテンツ特定処理）を要求するように各回路ブロックを制御する（ステップＳ４４）。

ステップＳ４４では、ステップＳ４１でＹｅｓの判定がなされたときは単数のフィンガープリントが、ステップＳ４１でＮｏの判定がなされたときは複数のフィンガープリント（例えば、フィンガープリント４１１、４２１、４３１）が、映像認識装置２０に送信される。

フィンガープリントを受信した映像認識装置２０は、それらのフィンガープリントと、放送局１２から配信された３Ｄ映像信号のコンテンツにもとづきあらかじめ生成して記憶部２３に記憶したフィンガープリントとを照合し、コンテンツ特定処理（映像認識処理にもとづくコンテンツ特定処理）を行う。

例えば、放送局１２から映像認識装置２０にサイド・バイ・サイド方式の３Ｄ映像のコンテンツが送信されると、映像認識装置２０ではサイド・バイ・サイド方式の３Ｄ映像にもとづくフィンガープリントが生成され記憶部２３に記憶される。

映像受信装置４０は、映像方式情報によりその３Ｄ映像方式が把握できれば、その３Ｄ映像方式（例えば、サイド・バイ・サイド方式）の３Ｄ映像にもとづくフィンガープリントを生成して映像認識装置２０に送信する。したがって、映像認識装置２０がコンテンツ特定処理に成功する可能性は高い。

映像受信装置４０は、映像方式情報が入力されない等の理由でその３Ｄ映像方式がわからないときは、上述したように、互いに異なる複数の３Ｄ映像方式の部分映像を生成し、各部分映像から生成した複数のフィンガープリントを映像認識装置２０に送信する。映像認識装置２０では、受信した複数のフィンガープリントのそれぞれでコンテンツ特定処理を行うので、それら複数のフィンガープリントの１つ（例えば、サイド・バイ・サイド方式の部分映像から生成されたフィンガープリント４１１）では、コンテンツ特定処理に成功する可能性は高い。

このように、本実施の形態では、たとえ放送局１２から映像認識装置２０に送信されるコンテンツの３Ｄ映像方式が映像受信装置４０でわからなくとも、映像受信装置４０は、映像認識装置２０を利用したコンテンツ特定処理を高い精度で行うことが可能である。

映像認識装置２０は、このようにして行ったコンテンツ特定処理によりコンテンツを特定し、そのコンテンツに対応する解析情報を記憶部２３から読み出して映像受信装置４０に返信する。映像認識装置２０の処理はここで終了する。

なお、映像認識装置２０は、全てのフィンガープリントについてコンテンツ特定処理に失敗したときは、失敗したことを示す情報（例えば、「０」や「ＮＧ」等）を映像受信装置４０に返信してもよい。

映像受信装置４０の制御部４１は、ステップＳ４４の結果として映像認識装置２０から通信ネットワーク１６を通して送信されてくる解析情報（コンテンツ特定処理の結果）を、ＨＴＴＰ送受信部４２を介して受信するように各回路ブロックを制御する（ステップＳ４５）。そして、制御部４１は、受信した解析情報を記憶部４７に記憶するように各回路ブロックを制御する（ステップＳ４６）。

その後、図５のステップＳ３３に移行する。

映像受信装置４０は、部分映像毎に、上述した一連のコンテンツ特定処理（映像認識処理にもとづくコンテンツ特定処理）を行い、そのコンテンツに関連する付加情報を取得して３Ｄ映像信号に重畳し、表示部５４にする。映像受信装置４０は、この一連の動作を繰り返し行う。

次に、ステップＳ３４の付加情報表示動作について説明する。

［１−２−３．付加情報表示の動作］
映像受信装置４０の制御部４１は、映像認識装置２０から取得して記憶部４７に記憶した解析情報をＨＴＴＰ送受信部４２から通信ネットワーク１６を通じて付加情報配信装置３０に送信し、この解析情報に関連する付加情報を付加情報配信装置３０から受信するように、各回路ブロックを制御する。

この解析情報には、例えば、部分映像に含まれている商品画像の商品に関するＵＲＬが含まれていてもよい。その場合、制御部４１は、そのＵＲＬを付加情報配信装置３０に送信し、付加情報配信装置３０は、そのＵＲＬに対応する付加情報を映像受信装置４０に返信する。この付加情報は、例えば、その商品に関連する広告情報であってもよい。また、付加情報配信装置３０は、その付加情報の表示制御情報を付加情報とともに映像受信装置４０に返信してもよい。

制御部４１は、受信した付加情報（例えば、広告情報）を映像出力部４４に転送し、付加情報表示制御部４６からの指示にもとづき、この付加情報を表示部５４に表示中の映像に重畳して表示するように、各回路ブロックを制御する。付加情報表示制御部４６から出されるこの指示は、付加情報表示制御部４６が、受信した表示制御情報にもとづき、付加情報の表示位置、表示サイズ、表示時間等を判断し、その判断にもとづくもの、であってもよい。これにより、受信した付加情報（例えば、広告情報）は、例えば付加情報表示制御部４６に指示される表示位置、表示サイズ、表示時間で、表示部５４に３Ｄ映像とともに表示される。

なお、制御部４１は、映像信号の状態を検知し、その検知結果にもとづき付加情報の表示を制御してもよい。例えば、映像信号に字幕やＯＳＤが重畳されていることを検知したときは、制御部４１は、字幕やＯＳＤが表示されている期間は付加情報を表示せず、字幕やＯＳＤが表示されないときに付加情報を表示するように、各回路ブロックを制御してもよい。

［１−３．効果等］
以上のように、本実施の形態において、映像受信装置４０は、通信ネットワーク１６を介してデータの送受信を行えるように構成されており、入力部６５、映像抽出部４５、映像信号生成部である立体信号生成部６６、および制御部４１、を備える。入力部６５は、外部に設置された映像送信装置（例えば、ＳＴＢ１４）から出力される３Ｄ映像信号を入力するように構成されている。映像抽出部４５は、その３Ｄ映像信号から映像認識処理用の部分映像を抽出するように構成されている。立体信号生成部６６は、その部分映像から、その部分映像とは異なる単数または複数の３Ｄ映像方式の部分映像を生成するように構成されている。制御部４１は、映像抽出部４５が抽出した部分映像、および立体信号生成部６６で生成された単数または複数の３Ｄ映像方式の部分映像の少なくとも１つからフィンガープリントを生成し、通信ネットワーク１６に接続された映像認識装置２０にフィンガープリントを送信して映像認識処理を依頼し、その映像認識処理の結果を映像認識装置２０から取得し、その映像認識処理の結果に基づく付加情報（例えば、広告情報）を通信ネットワーク１６に接続された付加情報配信装置３０から取得する制御を行うように構成されている。

例えば、ＳＴＢ１４等の映像送信装置では、放送局１２が放送する３Ｄ映像信号を、他の方式の３Ｄ映像信号に変換して映像受信装置４０に出力することがある。そのため、同じコンテンツであるにもかかわらず、映像受信装置４０が取得する３Ｄ映像信号の方式と、映像認識装置２０が取得する３Ｄ映像信号の方式とが互いに異なることがある。また、映像方式情報が入力されない等の理由により、映像受信装置４０は、映像認識装置２０が放送局１２から取得する３Ｄ映像信号の方式を知ることができないことがある。そのような場合、映像受信装置４０と映像認識装置２０とで、同じコンテンツであるにもかかわらず互いに異なるフィンガープリントが生成され、その結果、映像認識装置２０では、映像認識処理（映像認識処理にもとづくコンテンツ特定処理）に失敗する可能性がある。

しかし、本実施の形態における映像受信装置４０は、放送局１２から映像認識装置２０に送信されるコンテンツの３Ｄ映像方式がわからないときは、入力された３Ｄ映像信号から抽出された部分映像にもとづき、その部分映像とは異なる複数の３Ｄ映像方式の部分映像を生成し、それらの部分映像のそれぞれからフィンガープリントを生成して映像認識装置２０に送信する。このとき、映像受信装置４０では、立体信号生成部６６が生成する複数の３Ｄ映像方式の中に、放送局１２から映像認識装置２０に送信される３Ｄ映像信号の方式が含まれる可能性が高くなるように、立体信号生成部６６で生成する３Ｄ映像方式の種類を設定しておくことが望ましい。

これにより、映像受信装置４０は、たとえ放送局１２から映像認識装置２０に送信されるコンテンツの３Ｄ映像方式がわからなくとも、映像認識装置２０を利用して行う３Ｄ映像の映像認識処理（映像認識処理にもとづくコンテンツ特定処理）を精度良く行うことが可能になる。

そして、映像受信装置４０は、その映像認識処理の結果にもとづく付加情報を付加情報配信装置３０から取得して、その映像信号に重畳することができる。

また、映像受信装置４０は、映像信号に付加情報５１を重畳した映像を表示するように構成された表示部５４を備えていてもよい。

（実施の形態２）
以下、図８〜９Ｅを用いて、実施の形態２を説明する。

実施の形態１では、映像受信装置４０の映像信号生成部である立体信号生成部６６は、映像抽出部４５が抽出した部分映像から複数の方式の３Ｄ映像信号で部分映像を生成する例を説明した。しかし、本開示は、何らこの構成に限定されない。

例えば、映像信号生成部は、映像抽出部４５が抽出した部分映像から２Ｄ映像信号の部分映像を生成するように構成されてもよい。そこで、本実施の形態では、映像抽出部４５が抽出した部分映像から２Ｄ映像信号の部分映像を生成してコンテンツ特定処理を行うことも可能なように構成された映像受信装置を説明する。

［２−１．構成］
図８は、実施の形態２における映像認識装置２０および映像受信装置４００の構成の一例を概略的に示すブロック図である。

なお、図８には、本実施の形態に示す動作に関連する主な回路ブロックを示しており、他の動作に関する機能や回路ブロックは省略している。

なお、実施の形態２における映像受信装置４００は、実施の形態１で図３に示した映像受信装置４０と実質的に同じ構成であり、各回路ブロックは実施の形態１と実質的に同様の動作をする。ただし、実施の形態２では、映像信号生成部１６６における動作に、実施の形態１に示した映像信号生成部である立体信号生成部６６と異なる点がある。以下、実施の形態１と異なる点を説明し、実施の形態１と実質的に同様の動作は説明を省略する。

［２−２．動作］
映像抽出部４５は、実施の形態１に示したように、ＳＴＢ１４等の映像送信装置から出力され映像入力部４８に入力される３Ｄ映像信号から部分映像を抽出する。

ＳＴＢ１４は、放送局１２が放送する２Ｄ映像信号を、３Ｄ映像信号に変換して映像受信装置４００に出力することがある。そのため、映像方式情報が無ければ、映像受信装置４００は、映像認識装置２０が放送局１２から取得する映像信号が２Ｄ映像信号か３Ｄ映像信号かを知ることができない。

なお、この映像方式情報には、映像認識装置２０が放送局１２から取得する映像信号が２Ｄ映像信号か３Ｄ映像信号かを示す特徴情報が含まれているものとする。

そこで、本実施の形態では、映像認識装置２０が放送局１２から取得する映像信号の方式を映像受信装置４００が把握できない（映像受信装置４００が映像方式情報を取得できない）とき、映像受信装置４００の映像信号生成部１６６は、部分映像から、複数の方式の３Ｄ映像信号に加え、２Ｄ映像信号も生成するように動作する。

図９Ａは、映像送信装置の一例であるＳＴＢ１４から映像受信装置４００に入力される３Ｄ映像信号５０の一例を概略的に示す模式図である。図９Ｂは、実施の形態２における映像受信装置４００の映像抽出部４５が３Ｄ映像信号５０から抽出する部分映像４１０の一例を概略的に示す模式図である。図９Ｃは、実施の形態２における映像受信装置４００の映像信号生成部１６６が部分映像４１０から生成する３Ｄ映像信号の部分映像４２０の一例を概略的に示す模式図である。図９Ｄは、実施の形態２における映像受信装置４００の映像信号生成部１６６が部分映像４１０から生成する３Ｄ映像信号の部分映像４３０の一例を概略的に示す模式図である。図９Ｅは、実施の形態２における映像受信装置４００の映像信号生成部１６６が部分映像４１０から生成する２Ｄ映像信号の部分映像４５０の一例を概略的に示す模式図である。

なお、図９Ａ〜９Ｄに示す図は、図７Ａ〜７Ｄと同様に、３Ｄ映像方式をわかりやすく示すために、模式的に３Ｄ映像信号を示した図であり、各３Ｄ映像信号が図示した状態で表示部５４に表示されるわけではない。

例えば、図９Ａに示すように、ＳＴＢ１４からサイド・バイ・サイド方式の３Ｄ映像信号５０が映像受信装置４００に入力されると、映像抽出部４５は、図９Ｂに示すように、この３Ｄ映像信号５０からサイド・バイ・サイド方式の部分映像４１０を抽出する。映像信号生成部１６６は、実施の形態１に示した立体信号生成部６６と同様に、映像方式情報が無ければ、制御部４１の指示にもとづき、圧縮・伸長処理やライン変更処理等の映像信号処理を施すことで、サイド・バイ・サイド方式の部分映像４１０から、図９Ｃに一例を示すトップ・アンド・ボトム方式の部分映像４２０や、図９Ｄに一例を示すライン・バイ・ライン方式の部分映像４３０、を生成する。さらに、映像信号生成部１６６は、サイド・バイ・サイド方式の部分映像４１０から２Ｄ映像信号の部分映像４５０を生成する。

なお、図９Ａ〜９Ｅに示したものは単なる一動作例に過ぎず、本実施の形態は何らこれらの動作に限定されるものではない。映像受信装置４００には、サイド・バイ・サイド方式以外の３Ｄ映像信号が入力されてもよく、映像信号生成部１６６は、例えばフレームシーケンシャル方式等、上述以外の３Ｄ映像方式の部分映像を生成してもよい。

そして、制御部４１は、映像抽出部４５が抽出した３Ｄ映像信号（例えば、サイド・バイ・サイド方式）の部分映像４１０からフィンガープリント４１１を生成し、映像信号生成部１６６が生成した３Ｄ映像信号（例えば、トップ・アンド・ボトム方式）の部分映像４２０からフィンガープリント４２１を生成し、映像信号生成部１６６が生成した３Ｄ映像信号（例えば、ライン・バイ・ライン方式）の部分映像４３０からフィンガープリント４３１を生成する。さらに、映像信号生成部１６６が生成した２Ｄ映像信号の部分映像４５０からフィンガープリント４５１を生成する。映像信号生成部１６６が図示していない他の３Ｄ映像方式の部分映像を生成していれば、その部分映像からもフィンガープリントを生成する。

制御部４１が生成するフィンガープリントは、例えば部分映像を構成する各画像のハッシュ値であるが、本実施の形態は、コンテンツ認識情報を何らハッシュ値に限定するものではなく、他の情報であってもよい。

そして、制御部４１は、生成した全てのフィンガープリント（例えば、フィンガープリント４１１、４２１、４３１、４５１）を映像認識装置２０に送信してコンテンツ特定処理（映像認識処理にもとづくコンテンツ特定処理）を要求するように各回路ブロックを制御する。

以降の映像認識装置２０と映像受信装置４００の動作は、実施の形態１に示した映像認識装置２０および映像受信装置４０の動作と実質的に同じであるので、説明を省略する。また、映像認識装置２０が放送局１２から取得した映像信号の方式を映像方式情報にもとづき映像受信装置４００が把握できるときの映像受信装置４００の動作も、実施の形態１に示した映像受信装置４０の動作と実質的に同じであるので、説明を省略する。このとき、例えば、映像認識装置２０が放送局１２から取得した映像信号が２Ｄ映像信号であることが映像方式情報にもとづき映像受信装置４００で把握できたときは、映像受信装置４００の映像信号生成部１６６は、映像抽出部４５が抽出した３Ｄ映像信号の部分映像から、２Ｄ映像信号の部分映像だけを生成し、制御部４１はその２Ｄ映像信号の部分映像だけからフィンガープリントを生成するように動作してもよい。

［２−３．効果等］
以上のように、本実施の形態において、映像受信装置４００が有する映像信号生成部１６６は、実施の形態１に示した立体信号生成部６６が有する機能に加え、映像抽出部４５が抽出した３Ｄ映像信号の部分映像から２Ｄ映像信号の部分映像も生成するように構成され、制御部４１は、映像抽出部４５が抽出した部分映像、映像信号生成部１６６が生成した２Ｄ映像信号の部分映像および単数または複数の３Ｄ映像方式の部分映像、の少なくとも１つからフィンガープリントを生成するように構成されている。

例えば、ＳＴＢ１４等の映像送信装置では、放送局１２が放送する２Ｄ映像信号を３Ｄ映像信号に変換して映像受信装置４００に出力することがある。そのため、同じコンテンツであるにもかかわらず、映像受信装置４００には３Ｄ映像信号が入力され、一方で映像認識装置２０は２Ｄ映像信号を取得することがある。そのような場合、映像受信装置４０と映像認識装置２０とで、同じコンテンツであるにもかかわらず互いに異なるフィンガープリントが生成され、その結果、映像認識装置２０では、映像認識処理（映像認識処理にもとづくコンテンツ特定処理）に失敗する可能性がある。

しかし、本実施の形態における映像受信装置４００は、放送局１２から映像認識装置２０に送信されるコンテンツの映像方式がわからないとき、入力された３Ｄ映像信号から抽出された部分映像にもとづき、その部分映像とは異なる複数の３Ｄ映像方式の部分映像を生成するとともに２Ｄ映像信号の部分映像も生成し、それらの部分映像のそれぞれからフィンガープリントを生成して映像認識装置２０に送信する。これにより、映像受信装置４００は、たとえ放送局１２から映像認識装置２０に送信されるコンテンツの映像方式がわからなくとも、映像認識装置２０を利用して行う映像認識処理（映像認識処理にもとづくコンテンツ特定処理）を精度良く行うことが可能になる。

（実施の形態３）
以下、図１０〜図１２を用いて、実施の形態３を説明する。

実施の形態１、２では、映像受信装置４０（または映像受信装置４００）の制御部４１は、映像抽出部４５が抽出した部分映像および立体信号生成部６６（または映像信号生成部１６６）が生成した複数の部分映像のそれぞれからフィンガープリントを生成する例を説明した。例えば、実施の形態１では、制御部４１が、部分映像４１０、４２０、４３０のそれぞれからフィンガープリント４１１、４２１、４３１を生成する動作を、図７Ａ〜７Ｄを用いて説明した。しかし、本開示は、何らこの構成に限定されない。

例えば、制御部は、映像抽出部４５が抽出した部分映像および立体信号生成部６６（または映像信号生成部１６６）が生成した複数の部分映像のそれぞれから局所的なフィンガープリント（以下、「局所認識情報」と記す）を生成し、その局所認識情報を用いてコンテンツ特定処理を行うように構成されてもよい。そこで、本実施の形態では、局所認識情報を生成してコンテンツ特定処理を行うことも可能なように構成された映像受信装置を説明する。

［３−１．構成］
本実施の形態では、実施の形態１の映像受信装置４０をベースにして説明するが、本実施の形態は、実施の形態２の映像受信装置４００をベースにしたものであってもよい。すなわち、以下の説明では、実施の形態１を実施の形態２に、映像受信装置４０を映像受信装置４００に、立体信号生成部６６を映像信号生成部１６６に、それぞれ読み替えてもよい。

図１０は、実施の形態３における映像認識装置２０および映像受信装置４０１の構成の一例を概略的に示すブロック図である。

なお、図１０には、本実施の形態に示す動作に関連する主な回路ブロックを示しており、他の動作に関する機能や回路ブロックは省略している。

なお、実施の形態３における映像受信装置４０１は、実施の形態１で図３に示した映像受信装置４０と実質的に同じ構成であり、各回路ブロックは実施の形態１と実質的に同様の動作をする。ただし、実施の形態３では、制御部１４１における動作に、実施の形態１に示した制御部４１と異なる点がある。以下、実施の形態１と異なる点を説明し、実施の形態１と実質的に同様の動作は説明を省略する。

［３−２．動作］
図１１は、実施の形態３における映像受信装置４０１で行う局所認識情報生成処理の動作を概略的に示すフローチャートである。

なお、図１１に示すフローチャートは、実施の形態１において図６に示したコンテンツ特定処理のフローチャートのフィンガープリント生成処理（ステップＳ４３）に相当する動作を示したものである。実施の形態３における映像受信装置４０１の動作は、実施の形態１のステップＳ４３のフィンガープリント生成処理を図１１のフローチャートに示す局所認識情報生成処理に置き換えた以外は、実施の形態１の映像受信装置４０の動作と実質的に等しい。

映像認識装置２０が放送局１２から取得する映像信号の方式を映像受信装置４０１が把握できない（映像受信装置４０１が映像方式情報を取得できない）とき、映像受信装置４０１の制御部１４１は、映像抽出部４５が抽出した３Ｄ映像信号の部分映像、および立体信号生成部６６が生成した複数の部分映像のそれぞれに、マスク領域を設定する（ステップＳ９１）。

次に、制御部１４１は、ステップＳ９１で設定されたマスク領域（各部分映像のそれぞれに設定されたマスク領域）のそれぞれで局所認識情報を算出する（ステップＳ９２）。

制御部１４１が生成するフィンガープリントは、部分映像を構成する各画像のマスク領域でのハッシュ値である。しかし、本実施の形態は、局所認識情報を何らハッシュ値に限定するものではない。局所認識情報は、映像認識処理に使用できる情報（データ）であればよい。

そして、制御部１４１は、全ての部分映像に対して局所認識情報を生成したか否かを判断し（ステップＳ９３）、全ての部分映像に対して局所認識情報を生成するまで、ステップＳ９１、Ｓ９２を繰り返す。

ステップＳ９３において、映像抽出部４５が抽出した部分映像および立体信号生成部６６が生成した複数の部分映像の全てについて局所認識情報が生成されたと判断されたとき（Ｙｅｓ）は、制御部１４１は、局所認識情報生成処理を終了し、例えば実施の形態１で図６に示したステップＳ４４に移行して、局所認識情報を映像認識装置２０に送信するように各回路ブロックを制御する。

以降の映像認識装置２０と映像受信装置４０１の動作は、実施の形態１に示した映像認識装置２０および映像受信装置４０の動作と実質的に同じであるので、説明を省略する。また、映像認識装置２０が放送局１２から取得した映像信号の方式を３Ｄ方式情報にもとづき映像受信装置４０１が把握できるときの映像受信装置４０１の動作も、実施の形態１に示した映像受信装置４０の動作と実質的に同じであるので、説明を省略する。

次に、ステップＳ９１、Ｓ９２に示したマスク領域の設定動作および局所認識情報の生成動作の一例を、図面を用いて説明する。

図１２は、実施の形態３における映像受信装置４０１の制御部１４１が各部分映像に設定するマスク領域の一例を概略的に示す模式図である。

なお、図１２に示す図は、図７Ａ〜７Ｄと同様に、３Ｄ映像方式をわかりやすく示すために、模式的に３Ｄ映像信号を示した図である。また、以下の説明に用いる１フレームは、伝送時の映像信号（例えば、６０フレーム／秒）の１フレーム（例えば、１／６０秒の映像信号）であり、立体信号生成部６６が出力する映像信号（例えば、６０フレーム／秒）の１フレーム（例えば、１／６０秒の映像信号）のことであって、３Ｄ映像として表示部５４に表示されるとき（例えば、１２０フレーム／秒）の１フレームではない。

なお、ここでは、一例として、映像抽出部４５がサイド・バイ・サイド方式の３Ｄ映像信号から部分映像４１０を抽出し、立体信号生成部６６が、サイド・バイ・サイド方式の部分映像４１０から、トップ・アンド・ボトム方式の３Ｄ映像信号の部分映像４２０、ライン・バイ・ライン方式の３Ｄ映像信号の部分映像４３０、およびフレームシーケンシャル方式の３Ｄ映像信号の部分映像４４０、を生成するものとして、以下の説明を行う。

映像受信装置４０１の制御部１４１は、まず、サイド・バイ・サイド方式の部分映像４１０に対し、１フレーム（ＳＴＢ１４から伝送される映像信号、例えば６０フレーム／秒、の１フレーム）の映像信号の左上の約１／４画面に相当する領域に、マスク領域４１３を設定する。そして、制御部１４１は、部分映像４１０のマスク領域４１３の範囲でフィンガープリントを生成する。このフィンガープリントが局所認識情報４１２である。

このとき、制御部１４１が局所認識情報４１２の生成に要する演算量は、１画面に相当する領域でフィンガープリントを生成するときと比較して、低減される。

次に、制御部１４１は、トップ・アンド・ボトム方式の部分映像４２０に対し、１フレーム（立体信号生成部６６が生成する映像信号、例えば６０フレーム／秒、の１フレーム）の映像信号の左下の約１／４画面に相当する領域に、マスク領域４２３を設定する。そして、制御部１４１は、部分映像４２０のマスク領域４２３の範囲で局所認識情報４２２を生成する。

このとき制御部１４１が局所認識情報４２２の生成に要する演算量は、上述と同様に、１画面に相当する領域でフィンガープリントを生成するときと比較して、低減される。

次に、制御部１４１は、ライン・バイ・ライン方式の部分映像４３０に対し、１フレーム（立体信号生成部６６が生成する映像信号、例えば６０フレーム／秒、の１フレーム）の映像信号の右下の約１／４画面に相当する領域に、マスク領域４３３を設定する。そして、制御部１４１は、部分映像４３０のマスク領域４３３の範囲で局所認識情報４３２を生成する。

このとき制御部１４１が局所認識情報４３２の生成に要する演算量は、上述と同様に、１画面に相当する領域でフィンガープリントを生成するときと比較して、低減される。

次に、制御部１４１は、フレームシーケンシャル方式の部分映像４４０に対し、１フレーム（立体信号生成部６６が生成する映像信号、例えば６０フレーム／秒、の１フレーム）の映像信号の右上の約１／４画面に相当する領域に、マスク領域４４３を設定する。そして、制御部１４１は、部分映像４４０のマスク領域４４３の範囲で局所認識情報４４２を生成する。

このとき制御部１４１が局所認識情報４４２の生成に要する演算量は、上述と同様に、１画面に相当する領域でフィンガープリントを生成するときと比較して、低減される。

そして、生成された全ての局所認識情報（例えば、局所認識情報４１２、４２２、４３２、４４２）は映像認識装置２０に送信され、映像認識装置２０では、それらの局所認識情報にもとづくコンテンツ特定処理（映像認識処理にもとづくコンテンツ特定処理）がなされる。

このように、本実施の形態の制御部１４１は、各部分映像の互いに異なる領域、例えば１画面の左上、左下、右下、右上の各１／４画面の範囲、にマスク領域を設定し、そのマスク領域内でフィンガープリント（局所認識情報）を生成する。したがって、制御部１４１が各部分映像の局所認識情報生成に要する演算量は、１画面の領域でフィンガープリントを生成する場合と比較して、低減される。この点が、各部分映像の実質的に１画面の範囲でフィンガープリントを生成する実施の形態１、２と異なる。

なお、図１２に示したものは本実施の形態における単なる一例に過ぎず、本実施の形態は何らこれらの動作に限定されるものではない。映像受信装置４０１には、サイド・バイ・サイド方式以外の３Ｄ映像信号が入力されてもよく、立体信号生成部６６は、上述以外の３Ｄ映像方式の部分映像を生成してもよい。また、実施の形態２に示したように２Ｄ映像信号の部分映像が生成されてもよい。またマスク領域も何ら図１２に示した領域に限定されるものではなく、立体信号生成部６６（または映像信号生成装置１６６）で生成される部分映像の数、等に応じて適切に設定すればよい。あるいは、制御部１４１が字幕やＯＳＤ等を検出し、その検出結果に応じて適切にマスク領域を設定する構成であってもよい。あるいは、コンテンツ毎にマスク領域が変化してもかまわない。あるいは、ユーザが任意にマスク領域を設定できる構成であってもよい。

なお、映像受信装置４０１で設定されたマスク領域を示す情報を、局所認識情報とともに、あるいは事前に、映像受信装置４０１から映像認識装置２０に送信し、このマスク領域にもとづき映像認識装置２０が局所認識情報を生成するように構成されていてもよい。

なお、立体信号生成部６６は、映像抽出部４５が抽出した部分映像の３Ｄ映像方式とは異なる１つの３Ｄ映像方式の部分映像を生成する構成であってもよい。

［３−３．効果等］
以上のように、本実施の形態において、映像受信装置４０１が有する制御部１４１は、映像抽出部４５が抽出した３Ｄ映像信号の部分映像、および映像信号生成部である立体信号生成部６６が生成した単数または複数の３Ｄ映像方式の部分映像のそれぞれに対して互いに異なるマスク領域を設定し、各マスク領域のそれぞれで局所認識情報を生成する。

これにより、局所認識情報の生成に要する制御部１４１の演算量を、１画面に相当する映像信号からフィンガープリントを生成する構成と比較して、削減することができる。

本実施の形態の付加情報表示システムは、映像抽出部４５が抽出した部分映像、およびその部分映像から生成された複数の部分映像、のそれぞれでフィンガープリントを生成し、それら複数のフィンガープリントを映像認識装置２０に送信して１回のコンテンツ特定処理（映像認識処理にもとづくコンテンツ特定処理）を行うように構成されている。すなわち、本実施の形態の映像受信装置では、映像信号から部分映像を抽出する度に、コンテンツ特定処理に用いるフィンガープリントを複数の部分映像のそれぞれで生成しなければならない。したがって、１つのフィンガープリント（局所認識情報）の生成に要する時間を短縮することは、１回のコンテンツ特定処理（映像認識処理にもとづくコンテンツ特定処理）に要する時間を短縮するのに有用である。

（他の実施の形態）
以上のように、本出願において開示する技術の例示として、実施の形態１〜３を説明した。しかしながら、本開示における技術は、これに限定されず、変更、置き換え、付加、省略等を行った実施の形態にも適用できる。また、上記実施の形態１〜３で説明した各構成要素を組み合わせて、新たな実施の形態とすることも可能である。

そこで、以下、他の実施の形態を例示する。

実施の形態１〜３では、映像受信装置４０、４００、４０１は表示部５４を備えている構成を説明したが、本実施の形態における映像受信装置は何らこの構成に限定されるものではない。映像受信装置は表示部を備えていなくてもかまわない。

図１３は、他の実施の形態における映像受信装置１４０の構成の一例を概略的に示すブロック図である。図１３に示す映像受信装置１４０は、主に以下の点が、実施の形態１で図３に示した映像受信装置４０と異なる。映像受信装置１４０は、表示部５４を備えておらず、映像出力部１４４が、外部に設置された映像表示装置１５４に、有線または無線で、映像信号を出力するように構成されている。映像出力部１４４は、実施の形態１に示した映像出力部４４と同様に、制御部４１からの指示にもとづき、映像信号に付加情報を重畳する。

このような映像受信装置１４０の一例として、例えば、録画機能、放送信号受信機能、映像信号入力機能、および映像信号出力機能を備え、外部に設置された映像表示装置１５４に映像信号を送信するように構成された録画装置、等を挙げることができる。そのような録画装置には、例えばハードディスクレコーダや、ＤＶＤレコーダ、ＢＤレコーダ、等がある。

なお、図１３では、図３に示した映像受信装置４０を構成する構成要素と実質的に等しい動作をする構成要素には同じ符号を付与し、説明を省略する。また、図１３には、本実施の形態に示す動作に関連する主な回路ブロックを示し、他の動作に関する機能や回路ブロック（例えば、録画機能等）は省略している。

このような構成の映像受信装置１４０においても、実施の形態１に示した映像受信装置４０と同様の効果を得ることができる。

なお、図１３には実施の形態１の映像受信装置４０をベースにした映像受信装置１４０を示したが、図１３に示す構成（外部に映像表示装置１５４を設ける構成）は、実施の形態２の映像受信装置４００または実施の形態３の映像受信装置４０１に適用することもできる。

なお、本実施の形態における映像受信装置は、コンテンツ関連情報が映像送信装置から出力されないとき、コンテンツ関連情報の出力を要求する信号を出力するように映像送信装置へ指示する構成であってもよい。

なお、本実施の形態に示した各構成要素は、それぞれを独立した専用の回路で構成してもよく、あるいは、それらの１つまたは複数の動作を実現するように作成されたプログラムをプロセッサーで実行する構成であってもよい。また、このときのプログラムは、サーバ等からのダウンロードにより取得されてもよく、所定の記録媒体（例えば、ＣＤ−ＲＯＭ等の光ディスクや磁気ディスク、半導体メモリ等）を介して取得されてもよい。

また、本実施の形態に示したサーバにおける各動作は、単数のサーバで集中処理されてもよく、複数のサーバで分散処理されてもよい。

なお、実施の形態１〜３に示した具体的な数値は、単に実施の形態における一例を示したものに過ぎず、本開示はこれらの数値に何ら限定されるものではない。各数値は映像受信装置の仕様等にあわせて最適な値に設定することが望ましい。

本開示は、外部に設置された映像送信装置から入力される映像信号に関する付加情報を取得し、取得した付加情報を映像信号へ重畳することが可能な映像受信装置に適用可能である。具体的には、テレビジョン受像機、ハードディスクレコーダ、ＤＶＤレコーダ、ＢＤレコーダ、等に本開示は適用可能である。

１０ 付加情報表示システム
１２ 放送局
１４ ＳＴＢ
１６ 通信ネットワーク
２０ 映像認識装置
２１，４２ ＨＴＴＰ送受信部
２２ 検索部
２３，４７ 記憶部
３０ 付加情報配信装置
４０，１４０，４００，４０１ 映像受信装置
４１，１４１ 制御部
４３ 操作信号受信部
４４，１４４ 映像出力部
４５ 映像抽出部
４６ 付加情報表示制御部
４８ 映像入力部
４９ 受信部
５０Ｌ 左眼用の映像信号
５０Ｒ 右眼用の映像信号
５０ ３Ｄ映像信号
５１ 付加情報
５４ 表示部
６５ 入力部
６６ 立体信号生成部
８１ コンテンツ
８２，８４ フィンガープリント
８３ 解析情報
９１ 映像信号
１５４ 映像表示装置
１６６ 映像信号生成部
４１０，４２０，４３０，４４０，４５０ 部分映像
４１１，４２１，４３１，４５１ フィンガープリント
４１２，４２２，４３２，４４２ 局所認識情報
４１３，４２３，４３３，４４３ マスク領域
５０１，５０２，５０３，５０４ 映像信号

Claims (9)

1. 通信ネットワークを介してデータの送受信を行えるように構成された映像受信装置であって、
   立体映像の映像信号を入力するように構成された入力部と、
   前記映像信号から映像認識処理用の部分映像を抽出するように構成された映像抽出部と、
   前記部分映像から、前記部分映像とは異なる単数または複数の方式の立体映像信号を生成するように構成された映像信号生成部と、
   前記部分映像、および前記映像信号生成部で生成された単数または複数の前記立体映像信号の少なくとも１つからコンテンツ認識情報を生成し、前記通信ネットワークに接続された映像認識装置に前記コンテンツ認識情報を送信して映像認識処理を依頼し、前記映像認識処理の結果を前記映像認識装置から取得し、前記通信ネットワークに接続された付加情報配信装置から前記映像認識処理の結果に基づく付加情報を取得する制御を行うように構成された制御部と、を備えた、
   映像受信装置。
2. 前記映像信号に前記付加情報を重畳した映像を表示するように構成された表示部、をさらに備えた、
   請求項１に記載の映像受信装置。
3. 前記映像信号生成部は、前記部分映像から２Ｄ（２ Ｄｉｍｅｎｓｉｏｎａｌ）映像信号も生成するように構成され、
   前記制御部は、前記部分映像、前記２Ｄ映像信号、および単数または複数の前記立体映像信号の少なくとも１つから前記コンテンツ認識情報を生成するように構成された、
   請求項１に記載の映像受信装置。
4. 前記制御部は、前記部分映像、および単数または複数の前記立体映像信号のそれぞれに対して互いに異なる領域を設定し、前記領域のそれぞれで前記コンテンツ認識情報を生成するように構成された、
   請求項１に記載の映像受信装置。
5. 通信ネットワークを介してデータの送受信を行えるように構成された映像受信装置における映像認識方法であって、
   外部から入力される立体映像の映像信号から映像認識処理用の部分映像を抽出するステップと、
   前記部分映像から、前記部分映像とは異なる単数または複数の方式の立体映像信号を生成するステップと、
   前記部分映像、および生成された単数または複数の前記立体映像信号の少なくとも１つからコンテンツ認識情報を生成するステップと、
   前記通信ネットワークに接続された映像認識装置に、前記コンテンツ認識情報を送信して映像認識処理を依頼し、前記映像認識処理の結果を前記映像認識装置から取得するステップと、
   前記映像認識処理の結果に基づく付加情報を、前記通信ネットワークに接続された付加情報配信装置から取得するステップと、
   を備えた映像認識方法。
6. 前記映像信号に前記付加情報を重畳した映像を表示部に表示するステップをさらに備えた、
   請求項５に記載の映像認識方法。
7. 前記部分映像から２Ｄ映像信号を生成するステップをさらに備え、
   前記部分映像、前記２Ｄ映像信号、および単数または複数の前記立体映像信号の少なくとも１つから前記コンテンツ認識情報を生成する
   請求項５に記載の映像認識方法。
8. 前記部分映像、および単数または複数の前記立体映像信号のそれぞれに対して互いに異なる領域を設定するステップをさらに備え、
   前記領域のそれぞれで前記コンテンツ認識情報を生成する
   請求項５に記載の映像認識方法。
9. 通信ネットワークを介して互いにデータの送受信を行えるように構成された、映像受信装置、映像認識装置、および付加情報配信装置、を備えた付加情報表示システムであって、
   前記映像受信装置は、
   立体映像の映像信号を入力するように構成された入力部と、
   前記映像信号から映像認識処理用の部分映像を抽出するように構成された映像抽出部と、
   前記部分映像から、前記部分映像とは異なる単数または複数の方式の立体映像信号を生成するように構成された映像信号生成部と、
   前記部分映像、および前記映像信号生成部で生成された単数または複数の前記立体映像信号の少なくとも１つからコンテンツ認識情報を生成し、前記映像認識装置に前記通信ネットワークを介して前記コンテンツ認識情報を送信して映像認識処理を依頼し、前記映像認識処理の結果を前記映像認識装置から前記通信ネットワークを介して取得し、前記付加情報配信装置から前記映像認識処理の結果に基づく付加情報を前記通信ネットワークを介して取得する制御を行うように構成された制御部と、を備え
   前記映像認識装置は、
   前記通信ネットワークを介して受信した前記コンテンツ認識情報に関する映像認識処理を行い、前記映像認識処理の結果を前記通信ネットワークを介して前記映像受信装置に送信するように構成され、
   前記付加情報配信装置は、
   前記通信ネットワークを介して受信した前記映像認識処理の結果に対応する付加情報を前記通信ネットワークを介して前記映像受信装置に送信するように構成された、
   付加情報表示システム。

Images