JP5500645B2 - 映像調整装置、テレビ受信装置及びプログラム - Google Patents

Description

本発明は、３Ｄ映像の調整技術に関し、より詳しくは、３Ｄ映像の飛び出し量、すなわち、３Ｄ映像の視聴者が認識する被写体の位置とＴＶ画面の位置との差を調整する技術に関する。

右目用及び左目用の映像を同時に、或いは、交互に表示し、偏向フィルムや液晶シャッターにより右目には右目用映像を、左目には左目用映像を提示することにより、視聴者に立体的な映像を知覚させる３Ｄ映画や３Ｄテレビ受信装置が実用化されている（例えば、非特許文献１、参照。）。

現在のところ、３Ｄテレビ受信装置用の３Ｄ映像は、それらを格納した光記録媒体により各家庭に配信されているが、将来的には、放送信号により、あるいは、インターネット経由により、光記録媒体を介在させること無く直接各家庭に配信される様になることが予想されている。

［ｏｎｌｉｎｅ］、パナソニック株式会社、［平成２２年０６月０２日検索］、インターネット＜ＵＲＬ：ｈｔｔｐ：ｐａｎａｓｏｎｉｃ.ｊｐ／ｖｉｅｒａ／ｐｒｏｄｕｃｔｓ／ｖｔ２／＞

映画用のコンテンツについては、映画公開から所定の期間が経過した後にＤＶＤ化して販売することが通常行われており、これは、３Ｄ映画用のコンテンツについても同じである。しかしながら、映画館と、家庭のテレビでは、そのスクリーン（ディスプレイ）の大きさやスクリーンまでの距離等が異なり、映画館では適正な映像であっても、家庭では飛び出し量が大きくなりすぎ、眼精疲労を引き起こす等の問題が生じる。

また、３Ｄテレビ受信装置にも、そのディスプレイ・サイズには様々なものがあり、かつ、３Ｄテレビ装置までの距離や、視聴方法も各家庭により異なるため、適正な飛び出し量も各家庭の環境や、視聴者の姿勢等に応じて異なることとなる。

したがって、本発明は、視聴環境に応じた適正な飛び出し量の３Ｄ映像に調整することで、或いは、視聴環境に基づき飛び出し量を所定値以下に抑制することで、視聴者の眼精疲労を防ぐ映像調整装置と、前記映像調整装置を有するテレビ受信装置と、前記映像調整装置としてコンピュータを機能させるプログラムを提供することを目的とする。

本発明における映像調整装置によれば、
右目用映像及び左目用映像と、各画素が示す被写体の最適視差角を示す最適視差角情報と、各画素についての奥行き情報とを含む信号を受信する受信手段と、前記奥行き情報に基づき右目用映像及び左目用映像の各画素の対応関係を判定する判定手段と、映像を表示するディスプレイのサイズ、前記ディスプレイから所与の位置までの距離及び瞳間隔に基づき、前記瞳間隔で前記所与の位置にいる視聴者が見る各被写体の視差角が前記最適視差角となる様に、右目用映像及び左目用映像の対応する画素の画素ズレ量を調整する処理手段と備えていることを特徴とする。

本発明における映像調整装置の他の実施形態によれば、
最大視差角を処理手段に通知する通知手段を備えており、処理手段は、最適視差角の最大値を前記最大視差角に制限することも好ましい。

さらに、本発明における映像調整装置の他の実施形態によれば、
視聴者を特定する手段を備えており、通知手段は、特定された視聴者に基づき最大視差角を判定して処理手段に通知することも好ましい。

さらに、本発明における映像調整装置の他の実施形態によれば、
通知手段は、視聴者の年齢に基づき最大視差角を判定することも好ましい。

さらに、本発明における映像調整装置の他の実施形態によれば、
視聴者の両目を結ぶ方向の水平方向に対する角度及び／又は視聴者の向きの映像を表示するディスプレイの法線方向に対する角度を判定する姿勢判定手段を備えており、処理手段は、前記水平方向に対する角度及び／又は法線方向に対する角度に応じて前記最大視差角又は最適視差角をより小さな値に変更することも好ましい。

さらに、本発明における映像調整装置の他の実施形態によれば、
視聴者が使用している液晶シャッター・メガネの動作が、右目用映像と左目用映像の表示期間に同期しているか否かを判定する同期判定手段を備えており、処理手段は、液晶シャッター・メガネが同期状態にない場合、右目用映像及び左目用映像の対応する画素の画素ズレ量を零に調整、或いは、前記最大視差角又は最適視差角をより小さな値に変更することも好ましい。

さらに、本発明における映像調整装置の他の実施形態によれば、
視聴者が複数いる場合、前記所与の位置は、前記ディスプレイに最も近い視聴者の位置であり、前記瞳間隔は、最も広い瞳間隔であることも好ましい。

さらに、本発明における映像調整装置の他の実施形態によれば、処理手段は、右目用映像の画素が、左目用映像の対応する画素より、ディスプレイの表示面に向かって右側にあり、かつ、対応する画素間の距離が視聴者の瞳間隔の最小値より大きい場合、画素間の距離が瞳間隔の最小値以下となる様に画素ズレ量を調整することも好ましい。

本発明におけるテレビ受信装置によれば、
上記映像調整装置を含むことを特徴とする。

本発明におけるプログラムによれば、
上記映像調整装置としてコンピュータを機能させることを特徴とする。

視聴者が見る各被写体の視差角を映像の製作者が設定した最適視差角に基づき調整することで、あるいは、最大視差角以下に抑制することで、視聴環境に係らず、目の負担とならない映像を視聴者に提供することができる。

本発明の第１実施形態による映像調整装置の構成図である。 本発明の第２実施形態による映像調整装置の構成図である。 本発明の第３実施形態による映像調整装置の構成図である。 本発明の第４実施形態による映像調整装置の構成図である。 視差角を説明する図である。

本発明を実施するための形態について、以下では図面を用いて詳細に説明する。

まず、本発明の説明に必要な用語「視差角」について、図５を用いて説明を行う。図５の符号１０はテレビ受信装置のディスプレイを上から見たものであり、符号２１は視聴者の左目であり、符号２２は視聴者の右目である。図５（ａ）に示す様に、視聴者がディスプレイ上の任意のある一点を見たときに、視聴者の右目及び左目の視線の方向がなす角度、つまり、図５（ａ）の角度γを基準輻輳角と呼ぶものとする。

図５（ｂ）及び（ｃ）において、符号３１は、左目用映像をディスプレイ１０に表示したときの、ある被写体の１点であり、符号３２は、前記左目用映像に対応する右目用映像をディスプレイ１０に表示したときの、当該被写体の符号３１が示す点に対応する点である。つまり、符号３１及び３２は、同じ被写体の同じ点を表している。図５（ｂ）及び（ｃ）において、視聴者は、符号２１及び３１を結ぶ線と、符号２２及び３２を結ぶ線との交点に、当該被写体の点が存在すると知覚することになる。つまり、図５（ｂ）は、被写体が画面から飛び出している場合の、図５（ｃ）は、被写体が画面より凹んだ位置にある場合の状態を示している。

視差角とは、図２の角度α−角度γや、角度β−角度γで定義される値である。つまり、視聴者が、それぞれの目で対応する映像の同じ被写体を見たときに、右目及び左目の視線のなす角度から、基準輻輳角を減じた値が視差角である。視差角は、被写体がディスプレイよりどれだけ前方の位置に知覚されるのか、あるいは、どれだけ奥まった位置に知覚されるのかを判定する指標であり、正の大きな値になるほど前方に位置し、負の小さな値になるほどディスプレイの後方に位置し、零付近の場合には、ほぼディスプレイと同じ位置にあることになる。

続いて、図１を用いて本発明による映像調整装置の第１実施形態の説明を行う。図１に示す様に、映像調整装置は、受信部１と、対応関係判定部２と、画像ズレ量認識部３と、映像処理部４と、測距部５と、瞳間隔保持部６とを備えている。

受信部１は３Ｄ映像用の信号を外部から受信する。なお、３Ｄ映像用の信号の発信源は、光記録媒体であっても、放送局であっても良い。ただし、本発明において、３Ｄ映像用信号には、右目用映像及び左目用映像に加えて、最適視差角情報と、各画素についての奥行き情報、つまり、デプスマップが含まれている。なお、最適視差角情報とは、一方の映像、つまり、右目用映像又は左目用映像の各画素が示す被写体の最適な視差角を、各画像について示す情報であり、例えば、映像の製作者が設定したものである。また、奥行き情報とは、各画素が表す被写体のディスプレイ（又は撮影したカメラ）からの距離を示したものであり、右目用映像と左目用映像のそれぞれに対して作成される。

対応関係判定部２は、奥行き情報に基づき右目用映像と左目用映像内の各画素の対応関係、つまり、被写体と、各被写体の同じ点を示す画素の組を判定して、その対応関係を出力し、画素ズレ量認識部３は、右目用映像と左目用映像の対応する画素の差を算出する。つまり、例えば、図５（ｂ）及び（ｃ）の符号３１と３２の画素の差を算出する。なお、図５（ｂ）の様に、右目用映像における位置が、左目用映像における対応する位置に対して、ディスプレイ１０に向かって左側にある場合には、ズレ量は正の値とし、図５（ｃ）の様に、向かって右側にある場合には、ズレ量は負の値とする。

映像処理部４は、３Ｄ対応のテレビ受信装置５０からディスプレイ・サイズの情報を取得しており、測距部５は、赤外線等の各種測距手段により、テレビ受信装置５０のディスプレイから視聴者までの距離を測定して、測定した距離を映像処理部４に出力する。なお、ディスプレイ・サイズについては、テレビ受信装置５０から取得するのではなく、視聴者が手動にて映像処理部４に設定する形態であっても良い。さらに、ディスプレイから視聴者までの距離についても、測距部５を設けるのではなく、あらかじめ、視聴者がテレビを視聴する通常の位置を手動にて映像処理部４に設定する形態であっても良い。また、瞳間隔保持部６は、視聴者があらかじめ設定した、当該視聴者の瞳間隔についての情報を保持している。

映像処理部４は、受信部１から受信する各画素の最適視差角と、視聴者までの距離と、瞳間隔保持部６から取得する当該視聴者の瞳間隔と、ディスプレイ・サイズに基づき、視聴者が見る各被写体の視差角が最適視差角となるための各画素の画素ズレ量を算出し、算出した画素ズレ量となる様に右目用映像と左目用映像の対応する画素を移動させる。このとき、右目用映像又は左目用映像の画素のみを移動させる形態であっても、両方の画素をほぼ同じ量だけ移動させる形態であっても良い。映像処理部４は、変更後の３Ｄ映像信号、つまり、変更後の右目用映像と左目用映像を含む信号をテレビ受信装置５０に出力する。なお、画素ズレ量の調整により元の画像では表示されていなかった領域が発生した場合、当該領域の画素値は、その周囲の画素値から補間処理により求める。

以上、各被写体が最適視差角になる様に、ディスプレイ・サイズと、視聴者までの距離と、当該視聴者の瞳間隔に基づき各被写体の画素ズレ量を調整することで、視聴する環境に係わらず、最適な視差角での映像を提供することができる。

なお、テレビ受信装置５０にて複数の者が視聴を行うのであれば、各人の識別子と、その瞳間隔を瞳間隔保持部６にあらかじめ設定しておき、例えば、現在、視聴している者の識別子を視聴者が入力することで、映像処理部４は現在の視聴者の瞳間隔を取得する。なお、複数の視聴者が存在する場合には、映像処理部４は、例えば、最も大きい瞳間隔と、最も近い位置にいる視聴者の距離に基づき視差角を判定する。つまり、最も大きい瞳間隔を持った視聴者が最も近い位置にいるものとして、この視聴者から見た各被写体の視差角が最適視差角となる様に画素ズレ量を調整する。

続いて、図２を用いて本発明による映像調整装置の第２実施形態の説明を行う。なお、第１実施形態と同じ構成要素には同じ参照番号を付与して説明は省略する。図２によると、映像調整装置は、さらに、最大視差角通知部７と、視聴者特定部８とを備えている。

視聴者特定部８には、テレビ受信装置５０を利用する視聴者の識別子が、その視聴者を識別するための情報に関連づけされて保存されている。視聴者を識別するための情報とは、顔認識技術を使用する場合には、その特徴を特定する情報であり、所持している携帯端末により識別する場合には、所持している携帯端末から近距離無線技術を使用して送信される個人を特定する情報である。視聴者特定部８は、顔認識技術や、形態端末からの信号等により現在の視聴者を特定して、特定した視聴者の識別子を瞳間隔保持部６及び最大視差角通知部７に出力し、瞳間隔保持部６は、通知された識別子に対応する視聴者の瞳間隔を映像処理部４１に出力する。

最大視差角通知部７は、年齢と最大視差角の対応関係と、視聴者があらかじめ設定した各視聴者の識別子とその年齢の対応関係を保持しており、視聴者特定部８から通知された識別子の視聴者の年齢に基づき、現在、テレビ受信装置５０を視聴している者、それぞれについて最大視差角を求め、その中で一番小さい値を映像処理部４１に通知する。

映像処理部４１には、受信部１からの最適視差角情報を使用する形態と、使用しない形態があり、まず使用する形態について説明する。

使用する形態において、映像処理部４１は、第１実施形態と同じく、最適視差角情報が示す各被写体の画素の最適視差角と、ディスプレイ・サイズと、視聴者までの距離と、視聴者の瞳間隔により、各被写体の画素ズレ量を最適視差角となる様に調整するが、最適視差角が最大視差角通知部７から通知された最大視差角を超えている場合、超えている被写体については最大視差角に抑制する。この形態において、最大視差角を超えて飛び出している被写体は、総て、最大視差角の位置に認識される様になる。なお、第１実施形態と同じく、複数の視聴者が存在する場合には、最も大きい瞳間隔を持った視聴者が最も近い位置にいるものとして各被写体の視差角を算出する。これは、以後の実施形態についても同じである。

使用しない形態において、映像処理部４１は、各被写体の画素ズレ量と、ディスプレイ・サイズと、視聴者までの距離と、視聴者の瞳間隔により、各被写体の視差角の時系列情報を求め、その最大値が最大視差角通知部７から通知された最大視差角となる様に、各被写体の画素ズレ量を等比で拡大又は修正する。つまり、例えば、与えられた３Ｄ映像の画素ズレ量の最大値が４０画素であり、通知された最大視差角以下とするためには画素ズレ量の最大値を２０画素にしなければならない場合において、被写体Ａのある瞬間の画素ズレ量が２０画素であり、その瞬間の被写体Ｂの画素ズレ量が１０画素であるものとすると、それぞれ、１０画素及び５画素の画素ズレ量に変更される。この形態においては、最も飛び出している被写体が、最大視差角の位置に認識され、さらに、被写体の前後関係は保存されることになる。しかしながら、各被写体の各時刻における映像調整後の視差角を決定するためには、まず、コンテンツの全時間に渡る各被写体の画素ズレ量の最大値を求める必要がある。なお、本形態においては最適視差角情報を受信信号に含める必要はない。

子供には、強い視差角の映像を見せることは好ましくなく、本実施形態においては、総ての視聴者が見る各被写体の視差角の最大値を、年齢等により求める最大値以下に抑制することで、子供が、強い視差角の映像を見ることを防ぎ、眼精疲労等の悪影響を防ぐことができる。

なお、本実施形態において、最大視差角通知部７は、各視聴者の識別子とその年齢の対応関係を保持しており、視聴者特定部８から通知された識別子の視聴者の年齢に基づき最大視差角を求めるものであった。しかしながら、最大視差角通知部７には、年齢を介することなく、各視聴者の識別子と、その最大視差角の対応関係を設定しておき、最大視差角通知部７は、視聴者特定部８から通知された識別子に基づき、現在、テレビ受信装置５０を視聴している者それぞれについて最大視差角を求め、その中で一番小さい値を映像処理部４１に通知する構成であっても良い。例えば、両眼の視力に著しい差がある者は立体映像が見づらく、よって、その様な視聴者が視聴している場合には、画素ズレ量を小さく、或いは、零にすることが好ましい。よって、最大視差角通知部７には、各視聴者の識別子と、各視聴者の年齢や、その他、身体的な要因に基づきあらかじめ定めた最大視差角を設定しておくことで、視聴者に応じて３Ｄ映像を調整することが可能になる。

続いて、図３を用いて本発明による映像調整装置の第３実施形態の説明を行う。なお、第１及び第２実施形態と同じ構成要素には同じ参照番号を付与して説明は省略する。図３によると、映像調整装置は、さらに、姿勢判定部９を備えている。

姿勢判定部９は、視聴者の両目を結ぶ方向の水平方向に対する角度及び／又は視聴者の向きのディスプレイの法線方向（ディスプレイに向かう方向を基準とする）に対する角度を判定して、映像調整部４２に通知する。映像調整部４２は、水平方向に対する角度及び／又は法線方向に対する角度が所定の角度未満にあるか否かを判定し、所定の角度未満である場合には、第１実施形態と同じく各被写体を最適視差角に調整するが、所定の角度未満にない場合には、最適視差角を前記角度に応じてより小さな値に変換し、変換後の最適視差角にて画素ズレ量を調整する。なお、このとき、水平方向に対する角度及び／又は法線方向に対する角度が大きくなる程、最適視差角を小さくなる様に調整することが好ましい。

なお、視聴者の向きとは、視聴者の顔の向きであり、水平方向に対する角度と法線方向に対する角度は、例えば、３Ｄ映像視聴用メガネの両端に反射板を設けておき、ディスプレイ面から光線を投影して反射波を捉えることにより判定する。また、液晶シャッター方式の場合には、メガネの同期信号受信窓がディスプレイ面から見えているか否かを画像認識することで判定することもできる。

なお、姿勢判定部９を図２の第２実施形態と組み合わせることもでき、この場合、水平方向に対する角度及び／又は法線方向に対する角度により、最大視差角をより小さな値に変更を行う。

以上、本実施形態においては、視差角を、視聴者の姿勢に応じて抑制することで、３Ｄ映像をディスプレイに正対せずに視聴する場合に生じる眼精疲労等の悪影響を防ぐことができる。

最後に、図４を用いて本発明による映像調整装置の第４実施形態の説明を行う。なお、第１〜第３実施形態と同じ構成要素には同じ参照番号を付与して説明は省略する。図４によると、映像調整装置は、さらに、同期判定部１５を備えている。

同期判定部１５は、視聴者が使用する液晶シャッター・メガネの左右それぞれの開閉期間が、テレビ受信装置５０における右目用映像及び左目用映像の表示期間と同期しているか否かを判定し、判定結果を映像処理部４３に通知する。映像処理部４３は、液晶シャッター・メガネが同期状態にある場合には、第１実施形態と同じく各被写体を最適視差角に調整するが、同期状態にない場合には、右目用映像及び左目用映像の対応する画素の画素ズレ量を零にするか、最適視差角を所定の割合でより小さな値に変換し、変換後の最適視差角にて画素ズレ量を調整する。

なお、同期判定部１５は、液晶シャッター・メガネから、同期信号の受信状態を無線信号等により通知してもらうことにより液晶シャッター・メガネが同期状態にあるか否かの判定を行う。また、ディスプレイ１０側から液晶シャッター・メガネの同期信号受信窓が見えているか否かにより同期状態の判定を行うこともできる。

なお、同期判定部１５を、図３の第３実施形態と組み合わせて使用することもでき、この場合、水平方向に対する角度及び／又は法線方向に対する角度と、液晶シャッター・メガネの同期状態のそれぞれにより最大視差角や最適視差角が制御される。

以上、本実施形態においては、液晶シャッター・メガネが同期していない場合の視聴者に対する不適切な映像の提示を防ぐことができる。

なお、上記総ての実施形態において、画素ズレ量が負の値であり、かつ、画素間の距離が視聴している者の瞳間隔の最小値より大きい場合、映像処理部４は、画素間の距離を前記最小値以下となる様に調整することが好ましい。具体的には、図５（ｃ）の様に被写体がディスプレイより奥まった位置にある場合において、符号３１と３２間の距離が、視聴者の中の最も小さな瞳間隔より大きい場合、符号３１と３２間の距離が前記最も小さな瞳間隔以下となる様に画素ズレ量を調整する。自然環境下において、図５（ｃ）の符号３１と３２間の距離が瞳間隔より大きくなることはなく、上記処理により目に対する悪影響を防ぐことができる。

また、上述した実施形態において、右目用映像と左目用映像の各画素の対応関係は、奥行き情報に基づき判定していたが、奥行き情報を用いるのではなくブロックマッチング等の手法により認識する形態であっても良く、この場合には奥行き情報を受信信号に含める必要はない。

なお、本発明による映像調整装置は、コンピュータを図１から４の各部として機能させるプログラムにより実現することができる。これらコンピュータプログラムは、コンピュータが読み取り可能な記憶媒体に記憶されて、又は、ネットワーク経由で配布が可能なものである。さらに、本発明は、ハードウェア及びソフトウェアの組合せによっても実現可能である。また、本発明による映像調整装置は、テレビ受信装置内に組み込むことが可能であり、本発明によるテレビ受信装置となる。

１ 受信部
２ 対応関係判定部
３ 画像ズレ量認識部
４、４１、４２、４３ 映像処理部
５ 測距部
６ 瞳間隔保持部
７ 最大視差角通知部
８ 視聴者特定部
９ 姿勢判定部
１０ ディスプレイ
１５ 同期判定部
２１ 左目
２２ 右目
３１ 左目用映像の被写体の一点
３２ 右目用映像の被写体の一点
５０ テレビ装置

Claims (10)

1. 右目用映像及び左目用映像と、各画素が示す被写体の最適視差角を示す最適視差角情報と、各画素についての奥行き情報とを含む信号を受信する受信手段と、
   前記奥行き情報に基づき右目用映像及び左目用映像の各画素の対応関係を判定する判定手段と、
   映像を表示するディスプレイのサイズ、前記ディスプレイから所与の位置までの距離及び瞳間隔に基づき、前記瞳間隔で前記所与の位置にいる視聴者が見る各被写体の視差角が前記最適視差角となる様に、右目用映像及び左目用映像の対応する画素の画素ズレ量を調整する処理手段と、
   を備えている映像調整装置。
2. 最大視差角を前記処理手段に通知する通知手段を備えており、
   前記処理手段は、前記最適視差角の最大値を前記最大視差角に制限する、
   請求項１に記載の映像調整装置。
3. 視聴者を特定する手段を備えており、
   前記通知手段は、特定された視聴者に基づき前記最大視差角を判定して前記処理手段に通知する、
   請求項２に記載の映像調整装置。
4. 前記通知手段は、視聴者の年齢に基づき前記最大視差角を判定する、
   請求項３に記載の映像調整装置。
5. 視聴者の両目を結ぶ方向の水平方向に対する角度及び／又は視聴者の向きの映像を表示するディスプレイの法線方向に対する角度を判定する姿勢判定手段を備えており、
   前記処理手段は、前記水平方向に対する角度及び／又は法線方向に対する角度に応じて前記最大視差角又は最適視差角をより小さな値に変更する、
   請求項１から４のいずれか１項に記載の映像調整装置。
6. 視聴者が使用している液晶シャッター・メガネの動作が、右目用映像と左目用映像の表示期間に同期しているか否かを判定する同期判定手段を備えており、
   前記処理手段は、液晶シャッター・メガネが同期状態にない場合、右目用映像及び左目用映像の対応する画素の画素ズレ量を零に調整、或いは、前記最大視差角又は最適視差角をより小さな値に変更する、
   請求項１から５のいずれか１項に記載の映像調整装置。
7. 視聴者が複数いる場合、
   前記所与の位置は、前記ディスプレイに最も近い視聴者の位置であり、
   前記瞳間隔は、最も広い瞳間隔である、
   請求項１から６のいずれか１項に記載の映像調整装置。
8. 前記処理手段は、右目用映像の画素が、左目用映像の対応する画素より、ディスプレイの表示面に向かって右側にあり、かつ、対応する画素間の距離が視聴者の瞳間隔の最小値より大きい場合、画素間の距離が瞳間隔の最小値以下となる様に画素ズレ量を調整する、
   請求項１から７のいずれか１項に記載の映像調整装置。
9. 請求項１から８のいずれか１項に記載の映像調整装置を含むテレビ受信装置。
10. 請求項１から８のいずれか１項に記載の映像調整装置としてコンピュータを機能させるプログラム。

Images