JP5127972B1 - 電子機器、電子機器の制御方法 - Google Patents

Abstract

【課題】視聴者に対して視域を形成することができる立体映像処理装置及び立体映像処理方法を提供すること。
【解決手段】立体映像を表示するディスプレイの前方を含む領域を撮像する撮像モジュールと、撮像モジュールで撮像される映像から顔を検出する検出モジュールと、検出モジュールで検出された顔を、立体映像を立体として認識できる領域である視域の形成対象から除外するコントローラと、を備える。
【選択図】図１

Description

本発明の実施形態は、立体映像処理装置、立体映像処理方法に関する。

近年、立体映像を視聴可能な映像処理装置（以下、立体映像処理装置と記載する）が開発され、発売されている。この立体映像処理装置には、視差を有する複数枚の画像（多視点画像）の各画素を１つの画像（以下、合成画像と記載する）に離散的に配置し、この合成画像を構成する各画素からの光線の軌道をレンチキュラーレンズなどにより制御して、観察者に立体映像を知覚させるインテグラルイメージング方式（インテグラルフォトグラフィ方式とも呼ばれる）や、一枚の板にスリットを形成して映像の見え方を制限するパララックスバリア方式等がある。

インテグラルイメージング方式やパララックスバリア方式では、光線の軌道を制御することにより、映像を立体として認識できる領域（以下、視域と記載する）の位置を移動させることができる。このため、従来の映像処理装置では、カメラを備え、該カメラで撮像した画像から顔を検出し、該検出した顔の位置に視域が形成されるよう光線の軌道を制御することが提案されている（例えば、特許文献１参照）。

特開２０１１−５３２７７号公報

インテグラルイメージング方式やパララックスバリア方式等を採用した従来の立体映像処理装置では、検出した顔の位置に合わせて視域全体を前後左右に動かす程度の調整しかできず、検出した複数の顔の位置に合わせて個別に視域を形成することができない。このため、複数の顔を検出した場合、検出した全ての顔が視域内となるように、視域を形成できない虞がある。しかしながら、カメラで撮像した画像から顔を検出する従来の方法では、視聴者（以下、ユーザ）以外の顔、例えば、ポスターや壁の模様、動物の顔等を誤って検出することがある。この場合、本来視域を形成すべきユーザに対して視域が形成されずに、誤って検出したポスターや壁の模様、動物等に対して視域が形成されるという問題がある。また、検出した顔の人物が立体画像を視聴していない場合にも、ユーザに対して視域が形成されずに、立体画像を視聴していない人物に対して視域が形成される虞がある。
本実施形態は、視聴者に対して視域を形成することができる立体映像処理装置及び立体映像処理方法を提供することを目的とする。

実施形態に係る立体映像処理装置は、立体映像を表示するディスプレイの前方を含む領域を撮像する撮像モジュールと、撮像モジュールで撮像される映像から顔を検出する検出モジュールと、検出モジュールで検出された顔を、立体映像を立体として認識できる領域である視域の形成対象から除外するコントローラと、を備える。
を備える。

実施形態に係る立体映像処理装置の構成図。 実施形態に係る立体映像処理装置の視域を示す図。 表示画面に表示される画像の一例を示した図。 実施形態に係る立体映像処理装置の動作を示すフローチャート。 実施形態に係る立体映像処理装置の動作を示すフローチャート。

以下、図面を参照して、実施形態を詳細に説明する。
（実施形態）

（立体映像処理装置１００の構成）
図１は、実施形態に係る立体映像処理装置１００の構成図である。実施形態に係る立体映像処理装置１００は、チューナ１０１、チューナ１０２、チューナ１０３、ＰＳＫ（Phase Shift Keying）復調器１０４、ＯＦＤＭ（Orthogonal Frequency Division Multiplexing）復調器１０５、アナログ復調器１０６、信号処理部１０７、グラフィック処理部１０８、ＯＳＤ（On Screen Display）信号生成部１０９、音声処理部１１０、スピーカ１１１、映像処理部１１２、映像表示部１１３（ディスプレイ）、制御部１１４（コントローラ）、操作部１１５（操作受付モジュール）、受光部１１６（操作受付モジュール、）、端子１１７、通信Ｉ／Ｆ（Inter Face）１１８、カメラモジュール１１９（撮像モジュール、顔検出モジュール、位置算出モジュール）を備える。

初めに、立体映像処理装置１００の概要について説明する。
図２は、立体映像処理装置１００のディスプレイに表示される映像を立体として認識できる領域（以下、視域と記載する）を示した図である。なお、図２の破線Ｌは、カメラ１１９ａの撮像範囲の境界を表している。立体映像処理装置１００は、例えば、デジタルテレビであり、視差を有する複数枚の画像（多視点画像）の各画素を１つの画像（以下、合成画像と記載する）に離散的に配置し、この合成画像を構成する各画素からの光線の軌道をレンチキュラーレンズなどにより制御して観察者に立体映像を知覚させるインテグラルイメージング方式により、視聴者（以下、ユーザと記載する）に立体映像を提示する。

図２に示すように、立体映像処理装置１００では、複数の視域３０４ａ〜３０４ｅが形成される。インテグラルイメージング方式では、レンチキュラーレンズにより光線の軌道を制御することで、この視域３０４ａ〜３０４ｅの位置を、立体映像処理装置１００に対して前後左右に移動することができる。しかしながら、複数の視域３０４ａ〜３０４ｅの位置を独立して動かすことはできない。なお、図２では、視域の数が５つの場合を示したが、視域の数は５つに限られない。

このため、後述するカメラモジュール１１９において、ユーザ以外の顔（特定の顔）、例えば、ポスター等の顔写真、壁の模様、動物の顔などが誤って検出された場合、この誤って検出された顔の位置に合わせて視域が形成され、本来視域を形成すべきユーザに対して視域が形成されない虞が生じる。

そこで、この実施形態に係る立体映像処理装置１００は、後述のカメラモジュールで検出された顔を視域形成の対象から除外するか否かをユーザが設定できるように構成されている。また、一定時間（例えば、数時間）位置が変わらない顔についても、ポスター等の顔写真等を誤って検出した可能性が高いため視域形成の対象からの除外を推奨する。さらに、立体映像処理装置１００は、予め登録された動物等の顔の特徴を記憶しておき、検出された顔の特徴点を比較することでより詳細な顔認識を行い、比較結果が一定の閾値を超えた場合、視域形成の対象からの除外を推奨する。

（各構成の詳細）
チューナ１０１は、制御部１１４からの制御信号により、ＢＳ／ＣＳデジタル放送受信用のアンテナ１で受信した衛星デジタルテレビジョン放送から所望のチャンネルの放送信号を選局し、この選局した放送信号をＰＳＫ復調器１０４に出力する。ＰＳＫ復調器１０４は、制御部１１４からの制御信号により、チューナ１０１から入力される放送信号を復調して信号処理部１０７へ出力する。

チューナ１０２は、制御部１１４からの制御信号により、地上波放送受信用のアンテナ２で受信した地上デジタルテレビジョン放送信号から所望のチャンネルのデジタル放送信号を選局し、この選局したデジタル放送信号をＯＦＤＭ復調器１０５に出力する。ＯＦＤＭ復調器１０５は、制御部１１４からの制御信号により、チューナ１０２から入力されるデジタル放送信号を復調して信号処理部１０７へ出力する。

チューナ１０３は、制御部１１４からの制御信号により、地上波放送受信用のアンテナ２で受信した地上アナログテレビジョン放送信号から所望のチャンネルのアナログ放送信号を選局し、この選局したアナログ放送信号をアナログ復調器１０６に出力する。アナログ復調器１０６は、制御部１１４からの制御信号により、チューナ１０２から入力されるアナログ放送信号を復調して信号処理部１０７へ出力する。

信号処理部１０７は、ＰＳＫ復調器１０４、ＯＦＤＭ復調器１０５及びアナログ復調器１０６から入力される復調後の放送信号から、映像信号及び音声信号を生成する。信号処理部１０７は、映像信号をグラフィック処理部１０８に出力し、音声信号を音声処理部１１０に出力する。

ＯＳＤ信号生成部１０９は、制御部１１４からの制御信号に基づいてＯＳＤ信号を生成しグラフィック処理部１０８へ出力する。

グラフィック処理部１０８は、制御部１１４からの制御信号に基づいて、信号処理部１０７から出力される映像信号から２視差又は９視差に対応する複数枚の画像データ（多視点画像データ）を生成する。グラフィック処理部１０８は、生成した多視点画像の各画素を１つの画像に離散的に配置して２視差又は９視差を有する合成画像に変換する。また、グラフィック処理部１０８は、ＯＳＤ信号生成部１０９で生成されるＯＳＤ信号を映像処理部１１２へ出力する。

映像処理部１１２は、グラフィック処理部１０８で変換された合成画像を映像表示部１１３で表示可能なフォーマットに変換した後、映像表示部１１３に出力して立体映像表示させる。映像処理部１１２は、入力されるＯＳＤ信号を映像表示部１１３で表示可能なフォーマットに変換した後、映像表示部１１３に出力してＯＳＤ信号に対応する映像を表示させる。

映像表示部１１３は、各画素からの光線の軌道を制御するためのレンチキュラーレンズを備えたインテグラルイメージング方式の立体映像表示用のディスプレイである。

音声処理部１１０は、入力される音声信号をスピーカ１１１で再生可能なフォーマットに変換した後、スピーカ１１１に出力して音声再生させる。

操作部１１５には、立体映像処理装置１００を操作するための複数の操作キー（例えば、カーソルキー、決定キー、ＢＡＣＫ（戻る）キー、カラーキー（赤、緑、黄、青）等）が配列されている。ユーザが、上記操作キーを押し下げすることで、押し下げられた操作キーに対応する操作信号が制御部１１４へ出力される。

受光部１１６は、リモートコントローラ３（以下、リモコン３と記載する）から送信される赤外線信号を受信する。リモコン３には、立体映像処理装置１００を操作するための複数の操作キー（例えば、カーソルキー、決定キー、ＢＡＣＫ（戻る）キー、カラーキー（赤、緑、黄、青）等）が配列されている。ユーザが、上記操作キーを押し下げすることで、押し下げられた操作キーに対応した赤外線信号が発光される。受光部１１６は、リモコン３が発光した赤外線信号を受信する。受光部１１６は、受信した赤外線信号に対応する操作信号を制御部１１４へ出力する。

ユーザは、上記操作部１１５もしくはリモコン３を操作して、立体映像処理装置１００の種々の動作を行わせたり、立体映像処理装置１００の機能を設定することができる。例えば、ユーザは、立体映像処理装置１００の視差数、オートトラッキング、除外登録・解除、自動除外等を設定することができる。

（視差数の設定）
視差数の設定では、ユーザは、２視差又は９視差のいずれで立体映像を視聴するかを選択することができる。ユーザにより選択された視差数の設定は、後述する制御部１１４の不揮発性メモリ１１４ｃに記憶される。なお、上記視差数（２視差又は９視差）は、例示であり、他の視差数（例えば、４視差、６視差）であってもよい。

（オートトラッキングの設定）
オートトラッキングの設定では、ユーザは、オートトラッキングをＯＮするかＯＦＦするかを設定することができる。オートトラッキングの設定がＯＮの場合、カメラモジュール１１９で検出した顔（但し、後述の視域形成の対象から除外されている顔を除く）の位置に自動で視域（映像を立体として認識できる領域）が形成される。オートトラッキングの設定がＯＮの場合、所定の時間（例えば、数十秒〜数分）ごとにカメラモジュール１１９で顔が検出され、この検出した顔（但し、後述の視域形成の対象から除外されている顔を除く）の位置に視域が形成される。また、オートトラッキングの設定がＯＦＦの場合、ユーザが操作部１１５又はリモコン３を操作して、視域の形成を指示したときにカメラモジュール１１９で検出された顔（但し、後述の視域形成の対象から除外されている顔を除く）の位置に視域が形成される。

なお、視域の形成は、以下のようにして行う。例えば、視域を映像表示部１１３の前後方向に動かしたい場合は、表示画像とレンチキュラーレンズの開口部の隙間を広くしたり、狭くすることで、視域を映像表示部１１３の前後方向に移動させる。レンチキュラーレンズの開口部の隙間を広くすると、視域が映像表示部１１３の後方に移動する。また、レンチキュラーレンズの開口部の隙間を狭くすると、視域が映像表示部１１３の前方に移動する。

視域を映像表示部１１３の左右方向に動かしたい場合は、表示画像を左右にシフトさせることで、視域を映像表示部１１３の左右方向に移動させる。表示画像を左にシフトさせることで、視域が映像表示部１１３の左側に移動する。また、表示画像を右にシフトさせることで、視域が映像表示部１１３の右側に移動する。

（除外登録・解除の設定）
除外登録・解除の設定では、後述のカメラモジュール１１９で検出された顔を視域形成の対象から除外するか否かを設定することができる。除外対象として登録されると、オートトラッキングの設定がＯＮの場合やユーザが視域の形成を指示した時に、視域を形成する対象から除外される。また、登録した除外対象は、解除することが可能である。解除された場合は、視域形成の対象から除外されない。すなわち、視域の対象となる。この除外登録・解除の操作については、図３を参照して後述する。

（自動除外の設定）
自動除外の設定では、制御部１１４で除外推奨とされた顔を、視域形成の対象から自動で除外するか否かを設定することができる。自動除外の設定がＯＮの場合、後述の制御部１１４で除外推奨とされた顔が視域形成の対象から自動で除外される。除外推奨の顔を視域形成の対象から自動で除外した場合は、除外した旨がユーザに通知される。また、自動除外の設定がＯＦＦの場合、後述の制御部１１４で除外推奨とされた顔を視域形成の対象から除外するか否かがユーザに通知される。ユーザは、操作部１１５もしくはリモコン３を操作して、除外推奨とされた顔を視域形成の対象から除外するか否かを決定する。

端子１１７は、外部端末（例えば、ＵＳＢメモリ、ＤＶＤ記憶再生装置、インターネットサーバ、ＰＣ等）を接続するためのＵＳＢ端子、ＬＡＮ端子、ＨＤＭＩ端子、ｉＬＩＮＫ端子などである。

通信Ｉ／Ｆ１１８は、端子１１７に接続された上記外部端末との通信インターフェースであり、制御部１１４と上記外部端末との間で制御信号及びデータ等のフォーマットに変換を行う。

カメラモジュール１１９は、立体映像処理装置１００の正面下側もしくは正面上側に設けられる。カメラモジュール１１９は、カメラ１１９ａと、顔検出部１１９ｂ（顔検出モジュール）と、不揮発性メモリ１１９ｃと、位置算出部１１９ｄとを備える。カメラ１１９ａは、例えば、ＣＭＯＳ（Complementary Metal Oxide Semiconductor）イメージセンサやＣＣＤ（Charge Coupled Device Image Sensor）イメージセンサである。カメラ１１９ａは、立体映像処理装置１００の前方を含む領域を撮像する。

顔検出部１１９ｂは、カメラ１１９ａで撮像される映像から顔を検出する。顔検出部１１９ｂは、検出した顔に固有の番号（ＩＤ）を付与する。この顔検出には既知の手法を用いることができる。例えば、顔認識のアルゴリズムは、見た目の特徴を直接幾何学的に比較する方法と、画像を統計的に数値化してその数値をテンプレートと比較する方法との大別できるが、この実施形態では、どちらのアルゴリズムを用いて顔を検出してもよい。

位置算出部１１９ｄは、顔検出部１１９ｂで検出した顔の位置座標を算出する。このユーザの位置座標の算出には既知の手法を用いることができる。例えば、顔検出部１１９ｂで検出した顔の右目から左目の距離と、撮像した映像の中心から顔中心（右目と左目の中央）の座標とに基づいて顔を検出したユーザの位置座標を算出するようにしてもよい。

顔の右目から左目の距離からは、カメラ１１９ａからユーザまでの距離を算出できる。通常、人間の右目と左目との距離は６５ｍｍ程度であることから、右目と左目との距離がわかればカメラ１１９ａから検出した顔までの距離を算出することができる。また、撮像した映像における顔の位置と前記算出した距離から、検出した顔の上下及び左右方向（ｘ−ｙ平面）における位置がわかる。

また、位置算出部１１９ｄは、顔検出部１１９ｂで付与したＩＤと同じＩＤを算出した位置座標のデータに付与する。なお、位置座標は、３次元の座標データとして認識できればよく、一般的に知られている座標系（例えば、直交座標系、極座標系、球座標系）のいずれで表現してもよい。

顔が検出された場合、位置算出部１１９ｄで算出した位置座標を、顔検出部１１９ｂで付与したＩＤと共に出力する。なお、顔の検出及び検出した顔の位置座標の算出は、制御部１１４で行うようにしてもよい。

制御部１１４は、ＲＯＭ（Read Only Memory）１１４ａ、ＲＡＭ（Random Access Memory）１１４ｂ、不揮発性メモリ１１４ｃ、ＣＰＵ１１４ｄを備える。ＲＯＭ１１４ａには、ＣＰＵ１１４ｄが実行する制御プログラムが格納されている。ＲＡＭ１１４ｂは、ＣＰＵ１１４ｄは作業エリアとして機能する。不揮発性メモリ１１４ｃには、各種の設定情報（例えば、上述の視差数、トラッキング、除外登録・解除、自動除外等の設定）、視域情報や動物の顔の特徴等が格納されている。視域情報は、実空間における視域の分布を３次元の座標データとしたものである。視域情報は、２視差と９視差のそれぞれが不揮発性メモリ１１４ｃに記憶されている。

制御部１１４は、立体映像処理装置１００全体を制御する。具体的には、制御部１１４は、操作部１１５及び受光部１１６から入力される操作信号や不揮発性メモリ１１４ｃに記憶されている設定情報に基づいて立体映像処理装置１００全体の動作を制御する。以下、制御部１１４の代表的な機能について説明する。

（視差数の制御）
制御部１１４は、不揮発性メモリ１１４ｃに記憶されている視差数が２（視差）であれば、信号処理部１０７から出力される映像信号から２視差用の画像データを生成するようグラフィック処理部１０８へ指示する。制御部１１４は、不揮発性メモリ１１４ｃに記憶されている視差数が９（視差）であれば、信号処理部１０７から出力される映像信号から９視差用の画像データを生成するようグラフィック処理部１０８へ指示する。

（トラッキングの制御）
制御部１１４は、不揮発性メモリ１１４ｃに記憶されているオートトラッキングがＯＮの場合、所定の時間（例えば、数十秒〜数分）ごとに、カメラモジュール１１９で検出した顔（但し、視域形成の対象から除外されている顔を除く）の位置に視域が形成されるように映像表示部１１３の各画素からの光線の軌道を制御する。また、制御部１１４は、不揮発性メモリ１１４ｃに記憶されているオートトラッキングがＯＦＦの場合、ユーザが操作部１１５又はリモコン３を操作して、視域の形成を指示したときにカメラモジュール１１９で検出した顔（但し、視域形成の対象から除外されている顔を除く）の位置に視域が形成されるように映像表示部１１３の各画素からの光線の軌道を制御する。

制御部１１４は、視域形成の対象となる全ての顔が視域内に入るようにレンチキュラーレンズを制御する。しかしながら、視域形成の対象である顔が全て入りきらない場合は、制御部１１４は、視域内に入りきらない顔の数が最少となるようにレンチキュラーレンズを制御する。なお、制御部１１４は、視域内に入りきらない顔がある場合、その旨を映像表示部１１３に表示してユーザに通知する。

（除外推奨の検出）
制御部１１４は、カメラモジュール１１９で検出された顔から、視域形成の対象から除外したほうがよいと思われる顔を検出する。ここで、制御部１１４は、一定時間（例えば、数時間）位置が変わらない顔、及び予めに不揮発性メモリ１１４ｃに記憶されている動物の顔の特徴との比較結果から人間の顔でないと判定された顔を、視域形成の除外推奨として検出する。なお、時間は、制御部１１４が備えるタイマ１１４ｅを使用して計測する。

なお、制御部１１４により、除外推奨として検出された顔は、自動除外がＯＮ設定の場合、自動で視域形成の対象から除外される。また、自動除外がＯＦＦ設定の場合、視域形成の対象から除外するか否かがユーザに通知される。ユーザは、操作部１１５もしくはリモコン３を操作して、除外推奨とされた顔を視域形成の対象から除外するか否かを決定する。

（除外登録・解除画面の表示）
制御部１１４により、除外推奨が検出された場合、又は、ユーザにより操作部１１５又はリモコン３の青色のカラーキーが押下げされると、制御部１１４は、図３に示す画像を表示するＯＳＤ信号を生成するようＯＳＤ信号生成部１０９に指示する。ＯＳＤ信号生成部１０９で生成されたＯＳＤ信号は、映像表示部１１３で図３に示す画像として表示される。なお、この実施形態では、図３に示す画像の表示操作に青色のカラーキーを割り当てているが、他の操作キーを割り当てるようにしてもよい。また、メニュー画面を映像表示部１１３に表示し、このメニュー画面から除外登録・解除画面を選択した後、決定キーを押下げすることにより図３に示す画像を映像表示部１１３に表示するようにしてもよい。

図３は、映像表示部１１３に表示される画像図である。図３に示すように、映像表示部１１３には、表示枠３０１〜３０４が表示される。以下、各表示枠３０１〜３０４内に表示される画像について説明する。

（表示枠３０１）
表示枠３０１内には、除外登録の指示や、ユーザが映像を立体として認識できる領域、すなわち視域内で立体画像を視聴するために必要な事項が表示される。

（表示枠３０２）
表示枠３０２内には、カメラモジュール１１９のカメラ１１９ａで撮像される映像が表示される。ユーザは、表示枠３０２内に表示される映像により、顔の向きや位置、実際に顔が検出されているか否か等を確認することができる。検出された顔は、枠により囲まれる。枠の上部には、カメラモジュール１１９の顔検出部１１９ｂで付与されたＩＤ（この実施形態では、アルファベット）が表示される。

（除外登録・解除の設定）
ユーザは、操作部１１５又はリモコン３を操作して、検出された顔を視域形成の対象から除外するか否かを設定することができる。ユーザは、カーソルキーを操作して、表示枠３０２内に表示される映像から除外対象とする顔又は除外対象を解除する顔を選択する。ユーザが、カーソルキーを操作すると、表示枠３０２内において、現在選択されている顔を囲う枠が強調表示（例えば、枠が点滅して表示される、枠が太く表示される等）される。

ユーザは、除外対象とする顔又は除外対象を解除する顔を選択した後、決定キーを押し下げする。ユーザが、決定キーを押し下げするたびに、選択した顔の除外登録と除外登録の解除（以下、除外解除と記載）がサイクリックに変化する。つまり、設定が除外登録であれば、決定キーを押し下げにより、設定が除外解除へと変化する。また、設定が除外解除であれば、決定キーを押し下げにより、ステイタスが除外登録へと変化する。

表示枠３０２内に表示される枠は、そのステイタス（状態）によって色が変化する。
以下の表１に、表示枠３０２内に表示される枠の色とステイタスの関係を示す。

表示枠３０２内に表示される枠の色は、表１に示すように、該枠に囲まれた顔が、除外登録されているか否か、除外推奨となっているか否かにより変化する。枠が青色の場合、除外登録が解除されており、かつ、除外推奨でもない状態を表している。枠が黄色の場合、除外登録が解除されており、かつ、除外推奨である状態を表している。枠が赤色の場合、除外登録されている状態を表している。

例えば、図３に示す例では、枠「Ｃ」内の顔は、ポスター３０２ａに描かれた顔が誤って検出されている。この場合、一定時間顔の位置が変化しないため、制御部１１４により除外推奨として検出される。このため、ユーザが、枠「Ｃ」内の顔を除外登録していれば、枠「Ｃ」は赤色で表示され、除外登録が解除されていれば枠「Ｃ」は黄色で表示される。

なお、表１に示した各ステイタスへの色の割り当ては、一例であり、適宜変更することが可能である。また、ステイタスを色ではなく、枠の形状（例えば、丸、三角、四角等）で表すようにしてもよい。

また、顔が視域内であるか否か応じて枠の表示態様が異なって表示される。顔が視域内である場合、顔を囲む枠は実線で描画され、顔が視域外である場合、顔を囲む枠は破線で描画される。図３に示す例では、枠「Ａ」，「Ｂ」内の顔が視域内であり、枠「Ｃ」内の顔が視域外であることがわかる。

顔が視域外にある場合、いわゆる逆視やクロストーク等の発生により、ユーザは映像を立体として認識できないが、この実施形態では、顔が視域内であるか否かに応じて枠の表示態様が異なるため、ユーザは、自分の位置が視域内か視域外かを簡単に確認することができる。なお、図３に示す例では、顔を囲む枠の線の種類（実線、破線）を、顔の位置が視域内か否かに応じて異なるものとしているが、他の表示形態、例えば、枠の形状（四角、三角、円等）、色等を顔の位置が視域内か否かに応じて異なるものとしてもよい。このようにしても、ユーザは、自分の位置が視域内か視域外かを簡単に確認することができる。

なお、顔の位置が視域内であるか否かは、位置算出部１１９ｄで算出された顔の位置座標及び不揮発性メモリ１１４ｃに記憶されている視域情報に基づいて判定される。この際、制御部１１４は、視差数の設定が２視差か９視差かに応じて、参照する視域情報を変更する。すなわち、制御部１１４は、視差数の設定が２視差の場合、２視差用の視域情報を参照する。また、制御部１１４は、視差数の設定が９視差の場合、９視差用の視域情報を参照する。

表示枠３０３内には、現在の設定情報が表示される。具体的には、立体映像の視差数が２視差であるか９視差であるか、オートトラッキングがＯＮであるかＯＦＦであるか、及び、自動除外ＯＮであるかＯＦＦであるかが表示される。

表示枠３０４内には、映像を立体的に視聴可能な領域である視域３０４ａ〜３０４ｅ（斜線部）と、カメラモジュール１１９の位置算出部１１９ｄで算出した顔の位置情報（顔を表すアイコンと、該アイコンを囲む枠）及びＩＤ（アルファベット）が俯瞰図として表示される。表示枠３０４内に表示される俯瞰図は、不揮発性メモリ１１４ｃに記憶されている視域情報及び位置算出部１１９ｄで算出した顔の位置座標に基づいて表示される。

アイコンを囲む枠の色及び形状は、表示枠３０２内に表示される枠の色及び形状と連動しており、同一のＩＤを付与された枠は、表示枠３０２内と表示枠３０４内において同一の色と形状で表示される。例えば、表示枠３０２内の枠「Ａ」が赤色及び実線であれば、表示枠３０４内の枠「Ａ」も赤色及び実線で表示される。ユーザは、表示枠３０４内に表示される俯瞰図と位置情報を参照することで、自分の顔が検出されているか否か、検出されている場合、顔のステイタス及び視域内に位置するか否かを容易に理解することができる。なお、図３では、同一のユーザには、同一のアルファベットを表示するようにしているが、他の方法、例えば、枠の色や形状により同一のユーザを表すようにしてもよい。

なお、表示枠３０４内の破線Ｌは、カメラ１１９ａの撮像範囲の境界を表している。つまり、カメラ１１９ａで実際に撮像され、表示枠３０２内に表示される範囲は、破線Ｌｂよりも下側の範囲となる。このため、表示枠３０４内の破線Ｌよりも左上及び右上の範囲については、表示枠３０４内への表示を省略するようにしてもよい。

（視域情報の更新）
制御部１１４は、オートトラッキングやユーザの操作により視域が変更される度に新たな視域の位置（分布）を再計算し、不揮発性メモリ１１４ｃに記憶されている視域情報を更新する。

（立体映像処理装置１００の動作）
図４，図５は、立体映像処理装置１００の動作を示すフローチャートである。図４は、立体映像処理装置１００の除外登録・解除画面の表示動作を示すフローチャートである。図５は、立体映像処理装置１００の視域の形成動作を示すフローチャートである。以下、図４及び図５を参照して、立体映像処理装置１００の動作を説明する。

（除外登録・解除画面の表示動作）
図４を参照して、除外登録・解除画面の表示動作について説明する。図４（ａ）は、除外推奨が検出された場合の動作を示すフローチャートである。図４（ｂ）は、ユーザが操作部１１５又はリモコン３を操作した場合の動作を示すフローチャートである。

（除外推奨が検出された場合）
初めに、図４（ａ）を参照して、除外推奨が検出された場合の動作について説明する。
カメラモジュール１１９は、カメラ１１９ａにて立体映像処理装置１００前方を撮像する（ステップＳ１０１）。顔検出部１１９ｂは、カメラ１１９ａで撮像される映像に対して顔検出を行う（ステップＳ１０２）。顔を検出しなかった場合（ステップＳ１０２のＮｏ）、立体映像処理装置１００は、ステップＳ１０１の動作に戻る。

顔検出部１１９ｂで顔が検出された場合（ステップＳ１０２のＹｅｓ）、制御部１１４は、顔検出部１１９ｂで検出された顔が除外推奨の対象となるか否かを判定する（ステップＳ１０３）。制御部１１４は、一定時間（例えば、数時間）位置が変わらない顔や、予めに不揮発性メモリ１１４ｃに記憶されている動物の顔の特徴との比較結果から人間の顔でないと判定された顔を除外推奨として検出する。なお、制御部１１４は、タイマ１１４ｅを使用して時間を計測する。

除外推奨となる顔を検出した場合（ステップＳ１０３のＹｅｓ）、制御部１１４は、図３に示す除外登録・解除画面のＯＳＤ信号を生成して出力するように、ＯＳＤ信号生成部１０９に指示する。除外推奨となる顔を検出しなかった場合（ステップＳ１０３のＮｏ）、立体映像処理装置１００は、ステップＳ１０１の動作に戻る。

ＯＳＤ信号生成部１０９は、制御部１１４からの指示に基づいて、図３のＯＳＤ信号を生成し、グラフィック処理部１０８を介して映像処理部１１２へ出力する。映像処理部１１２は、ＯＳＤ信号生成部１０９からのＯＳＤ信号を映像表示部１１３で表示可能なフォーマットに変換して映像表示部１１３する。映像表示部１１３では、図３に示す画像が表示される（ステップＳ１０４）。

（ユーザ操作による場合）
次に、図４（ｂ）を参照して、ユーザ操作により除外登録・解除の画面の表示が指示された場合の動作について説明する。制御部１１４は、ユーザが図３に示す除外登録・解除の画面の表示を指示したか否かを判定する（ステップＳ２０１）。ユーザが除外登録・解除の画面の表示を指示したか否かは、操作部１１５又は受光部１１６からの操作信号で判定することができる。

除外登録・解除の画面の表示が指示された場合（ステップＳ２０１のＹｅｓ）、制御部１１４は、図３に示す除外登録・解除画面のＯＳＤ信号を生成して出力するように、ＯＳＤ信号生成部１０９に指示する。除外登録・解除の画面の表示が指示されない場合（ステップＳ２０１のＮｏ）、立体映像処理装置１００は、ステップＳ２０１の動作に戻る。

ＯＳＤ信号生成部１０９は、制御部１１４からの指示に基づいて、図３のＯＳＤ信号を生成し、グラフィック処理部１０８を介して映像処理部１１２へ出力する。映像処理部１１２は、ＯＳＤ信号生成部１０９からのＯＳＤ信号を映像表示部１１３で表示可能なフォーマットに変換して映像表示部１１３する。映像表示部１１３では、図３に示す画像が表示される（ステップＳ２０２）。

（視域の形成動作）
図５を参照して、視域の形成動作について説明する。
ユーザが、操作部１１５又はリモコン３を操作して視域の形成を指示した場合（ステップＳ３０１のＹｅｓ）、又は、オートトラッキングモードの設定がＯＮ（ステップＳ３０２のＹｅｓ）で、かつ、所定の時間間隔が経過している場合（ステップＳ３０３のＹｅｓ）、制御部１１４は、カメラモジュール１１９で検出された顔に除外対象として登録されているものがあるか否かを検出する（ステップＳ３０４）。

除外対象として登録されている顔がある場合（ステップＳ３０４のＹｅｓ）、制御部１１４は、除外対象として登録されている顔を視域形成の対象から除外する（ステップＳ３０５）。また、除外対象として登録されている顔が無い場合（ステップＳ３０４のＮｏ）、制御部１１４は、ステップＳ３０６の動作を実施する。

次に、制御部１１４は、カメラモジュール１１９で検出された顔から除外推奨に該当するものがあるか否かを検出する（ステップＳ３０６）。除外推奨に該当する顔がある場合（ステップＳ３０６のＹｅｓ）、制御部１１４は、自動除外の設定がＯＮとなっているか否かを確認する（ステップＳ３０７）。自動除外の設定がＯＮである場合（ステップＳ３０７のＹｅｓ）、制御部１１４は、除外推奨に該当する顔を視域形成の対象から除外する（ステップＳ３０８）。また、除外推奨に該当する顔がない場合（ステップＳ３０６のＮｏ）、制御部１１４は、ステップＳ３１１の動作を実施する。

制御部１１４は、除外推奨となった顔を視域形成の対象から除外した旨を通知する（ステップＳ３０９）。この通知は、例えば、カメラモジュール１１９で撮像される映像を、映像表示部１１３に表示し、視域形成の対象から除外した顔を強調表示（例えば、枠で囲む）することで通知する。

また、自動除外の設定がＯＦＦである場合（ステップＳ３０７のＮｏ）、制御部１１４は、ユーザにより、除外推奨とされた顔に視域形成の対象から除外された顔かあるか否かを判定する（ステップＳ３１０）。除外された顔がある場合（ステップＳ３１０のＹｅｓ）、制御部１１４は、ステップＳ３０８以降の動作（ステップＳ３０８の動作を含む）を実施する。また、除外された顔がない場合（ステップＳ３１０のＮｏ）、制御部１１４は、ステップＳ３１１の動作を実施する。

制御部１１４は、映像表示部１１３が備えるレンチキュラーレンズを制御し、カメラモジュール１１９で検出された顔（視域形成の対象から除外された顔を除く）の位置に視域を形成する（ステップＳ３１１）。なお、この視域の形成は、視域形成の対象となる全ての顔が視域内に入るようにレンチキュラーレンズが制御されるが、視域形成の対象である顔が全て入りきらない場合は、制御部１１４は、視域内に入りきらない顔の数が最少となるようにレンチキュラーレンズを制御する。なお、制御部１１４は、視域内に入りきらない顔がある場合、その旨を映像表示部１１３に表示してユーザに通知する。

以上のように、実施形態に係る立体映像処理装置１００では、除外推奨となる顔を検出した場合、又は、ユーザが操作部１１５又はリモコン３を操作して除外登録・解除画面の表示を指示した場合、図３に示す除外登録・解除画面が映像表示部１１３に表示される。ユーザは、図３の表示枠３０２内に表示された顔を確認しながら、検出された顔を視域形成の対象から除外するか否かを設定することができる。ユーザは、本来視域を形成すべきユーザに対して視域が形成されるように、誤って検出された顔、例えば、ポスターや壁の模様、動物の顔等を視域形成の対象から除外することができる。

また、一定時間（例えば、数時間）位置が変わらない顔や、予めに不揮発性メモリ１１４ｃに記憶されている動物の顔の特徴との比較結果から人間の顔でないと判定された顔が除外推奨として検出されるので、ユーザの利便性が向上する。さらに、自動除外をＯＮに設定している場合は、除外推奨として検出された顔を自動的に視域形成の対象から除外するので、ユーザの利便性が向上する。

さらに、聴位置確認画面の表示枠３０２内には、カメラモジュール１１９で撮像される映像が表示され、検出したユーザの顔が枠により囲まれる。また、この枠は、顔のステイタス応じて、表示態様（例えば、枠の形状（四角、三角、円等）、色、線の種類（実線、破線等））が異なるため、ユーザは、各顔のステイタスを容易に知ることができる。結果、ユーザの利便性が向上する。

視聴位置確認画面の表示枠３０３内には、現在の設定情報が表示される。このため、ユーザは、現在の設定状況を容易に知ることができる。

さらに、視聴位置確認画面の表示枠３０４内には、立体映像を立体的に視聴可能な領域である視域３０４ａ（斜線部）と、カメラモジュール１１９の位置算出部１１９ｄで算出したユーザの位置情報（アイコンと、該アイコンを囲む枠）が俯瞰図として表示される。各顔の位置情報には、付与されたＩＤが上部に表示される。また、顔のステイタス応じて、顔のアイコンを囲む枠の表示態様（例えば、枠の形状（四角、三角、円等）、色、線の種類（実線、破線等））が異なるため、ユーザは、各顔のステイタスを容易に知ることができる。結果、ユーザの利便性が向上する。

さらに、表示枠３０２内に表示される映像と表示枠３０４内に表示される俯瞰図では、同一の顔には、同一のＩＤが表示されるため、ユーザ、すなわち視聴者が複数人いる場合でも、自身がどの位置にいるかを容易に理解することができる。

（その他の実施形態）
なお、本発明は上記実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。例えば、上記実施形態では、立体映像処理装置１００としてデジタルテレビを例に説明したが、立体映像をユーザに提示する機器（例えば、ＰＣ（Personal computer）、携帯電話、タブレットＰＣ、ゲーム機器等）や立体映像を提示するディスプレイに映像信号を出力する信号処理装置（例えば、ＳＴＢ（Set Top Box））であれば本発明を適用することができる。

また、上記実施形態では、視域とユーザの位置との関係を俯瞰図としてユーザに提示しているが（図３参照）、視域とユーザの位置との位置関係が把握できれば俯瞰図でなくともよい。さらに、上記実施形態では、ユーザの顔を検出して、ユーザの位置情報を算出しているが、他の手法によりユーザを検出するようにしてもよい。この際は、例えば、ユーザの顔以外の部分（例えば、ユーザの肩や上半身等）を検出するようにしてもよい。

１，２…アンテナ、３…リモートコントローラ（リモコン）、１００…立体映像処理装置、１０１〜１０３…チューナ、１０４…ＰＳＫ復調器、１０５…ＯＦＤＭ復調器、１０６…アナログ復調器、１０７…信号処理部、１０８…グラフィック処理部、１０９…ＯＳＤ信号生成部、１１０…音声処理部、１１１…スピーカ、１１２…映像処理部、１１３…映像表示部（ディスプレイ）、１１４…制御部（コントローラ）、１１５…操作部（操作受付モジュール）、１１６…受光部（操作受付モジュール）、１１７…端子、１１８…通信Ｉ／Ｆ、１１９…カメラモジュール（撮像モジュール、顔検出モジュール、位置算出モジュール）。

Claims (12)

1. 立体映像を表示するディスプレイの前方を含む領域を撮像する撮像モジュールで撮像される映像から顔を検出する検出モジュールと、
   前記検出モジュールで検出された顔から、特定の顔を選択する選択操作を受け付ける操作受付モジュールと、
   前記操作受付モジュールで受け付けた選択操作で選択された顔を、前記立体映像を立体として認識できる領域である視域の形成対象から除外するコントローラと、
   を備える電子機器。
2. 前記コントローラは、
   前記視域を形成する対象から前記検出モジュールで検出された顔を除外する信号を受信すると、前記除外の対象となった顔を、前記視域を形成する対象から除外する請求項１に記載の電子機器。
3. 前記コントローラは、
   前記検出モジュールで検出された顔が特定の顔に該当する場合、該特定の顔に該当する顔を、前記視域を形成する対象から除外する請求項１に記載の電子機器。
4. 前記コントローラは、
   前記除外を解除する信号を受信すると、前記視域を形成する対象から除外された顔を、前記視域を形成する対象とする請求項１乃至請求項３のいずれか１項に記載の電子機器。
5. 前記特定の顔の特徴を記憶するメモリをさらに備え、
   前記コントローラは、
   前記検出モジュールで検出される顔の特徴と前記メモリに記憶された顔の特徴との比較に応じて、前記特定の顔に該当するか否かを判定する請求項２に記載の電子機器。
6. 前記コントローラは、
   前記検出モジュールで検出される顔の位置が所定時間変化しない顔を、前記特定の顔として前記視域を形成する対象から除外する請求項２に記載の電子機器。
7. 前記コントローラは、
   前記検出モジュールで検出される顔の位置が所定時間変化しない顔をユーザに通知する請求項１乃至請求項６のいずれか１項に記載の電子機器。
8. 前記コントローラは、
   前記顔を、前記視域を形成する対象から除外した場合、該除外した旨をユーザに通知する請求項１乃至請求項７のいずれか１項に記載の電子機器。
9. 前記検出モジュールで検出した顔の位置を算出する位置算出モジュールをさらに備え、
   前記コントローラは、
   前記視域の対象から除外したか否かに応じて、前記視域を示す第１の画像上に前記算出した顔の位置を示す位置情報を異なる表示形態で前記ディスプレイに表示するよう制御する請求項１乃至請求項８のいずれか１項に記載の電子機器。
10. 前記コントローラは、
    前記視域の対象から除外したか否かに応じて、前記撮像モジュールで撮像される映像を異なる表示形態で表示するよう制御する請求項１乃至請求項９のいずれか１項に記載の電子機器。
11. 立体映像を表示するディスプレイの前方を含む領域を撮像する撮像モジュールで撮像される映像から顔を検出する検出モジュールと、
    前記検出モジュールで検出された顔を、前記立体映像を立体として認識できる領域である視域の形成対象から除外するコントローラとを備え、
    前記コントローラは、
    前記視域の対象から除外したか否かに応じて、前記撮像モジュールで撮像される映像を異なる表示形態で表示するよう制御する電子機器。
12. 映像から顔を検出する検出モジュールと、前記顔の選択操作を受け付ける操作受付モジュールと、前記選択操作に応じて、前記顔を、立体映像を立体として認識できる領域である視域の形成対象から除外する除外するコントローラとを備えた電子機器の制御方法であって、
    前記検出モジュールが、立体映像を表示するディスプレイの前方を含む領域を撮像した映像から顔を検出し、
    前記操作受付モジュールが、前記検出された顔から、特定の顔を選択する選択操作を受け付け、
    前記コントローラが、前記選択操作で選択された顔を、前記視域の形成対象から除外する電子機器の制御方法。

Images