JP2012169822A - 画像処理方法及び画像処理装置 - Google Patents

Abstract

【課題】ユーザとディスプレイとの間の距離が変化しても臨場感が得られる画像処理方法及び画像処理装置を提供する。
【解決手段】ユーザが表示装置に顔を近づけたときには左目用画像及び右目用画像の水平方向の視差を大きくして３Ｄ画像を表示し、ユーザが表示装置から顔を離したときには左目用画像及び右目用画像の水平方向の視差を小さくして３Ｄ画像を表示する。
【選択図】図１

Description

本発明は、３Ｄ画像を処理する画像処理方法及び画像処理装置に関する。

近年、画像処理技術の向上に伴い、立体画像（以下、３Ｄ画像と表記）の記録や再生を行う画像処理装置が開発されている。
立体視では、左目用画像と右目用画像との間に視差を付けることでユーザに立体を認識させている。視差について図４（ａ）、（ｂ）を参照して説明する。

図４（ａ）、（ｂ）は、視差の説明図である。
ディスプレイ１に表示された物体３Ｒ、３Ｌをユーザが見ている場合で説明する。
ディスプレイ１に表示され、立体視用に表示角度が異なる同一の物体３Ｒ、３Ｌの画像について、左目用画像の物体３Ｌの横方向の座標をＸとし、右目用画像の物体３Ｒの横方向の座標をＸｒとする。
差分ΔＸ＝Ｘｒ−Ｘについて、差分ΔＸ＞０の場合は、ユーザの目２Ｌ、２Ｒには図４（ａ）のように物体４ａが奥（ディスプレイ１の裏側）にあるように見える。
これに対して、差分ΔＸ＜０の場合は、ユーザの目２Ｌ、２Ｒには図４（ｂ）のように物体４ｂが手前（ディスプレイ１の表側）にあるように見える。差分ΔＸの絶対値が大きいほど、ユーザにはより手前もしくは奥にあるように見えるが、差分ΔＸの絶対値が大きすぎる場合は、立体視できなくなる場合がある。

また、ユーザの位置によらず表示が一定となるため、例えば、ユーザがディスプレイ１の前で顔を近づけたり、遠ざけたりしても実際の立体物のように大きく見えたり小さく見えたりという見え方の変化がないため、臨場感には改善の余地がある。

３Ｄを対象とした画像処理装置に関連する技術としては、特許文献１、２が挙げられる。
特許文献１に記載の発明は、「立体ＴＶ装置」に関するものであり、具体的には「画像表示部の大きさのデータと、左右画像から両眼視差を計算しこれの最大値または最小値を計算する視差計算部と、観察者の視距離を測定する視距離測定部と、入力画像信号の同期周波数を検知し入力画像信号の種類を判別する解像度判別部と、表示画面の大きさと前記視差計算部の出力と観察者の視距離と前記解像度判別部の出力を用いて表示される画像の両眼視差の大きさを計算し、これが観察者の両眼融合範囲内に入るための視差変更量を算出する適正視差決定部と、前記適正視差決定部に応じて左右画像を水平に平行移動する視差制御部を有し、入力映像信号の同期周波数が変化しても表示される立体画像が観察者の両眼融合範囲内に入るように左右画像を制御する」ものである。
すなわち、特許文献１に記載の発明は、ディスプレイサイズから立体視できるように視差量を調整するものである。

特許文献２に記載の発明は、「表示装置」に関するものであり、具体的には「左眼用映像と右眼用映像の視差量の情報を含む映像信号を映像に変換して当該映像をスクリーンに表示する映像表示部と、前記映像表示部と前記スクリーンとの距離である投影距離を検出する投影距離検出部と、前記投影距離検出部によって検出された前記投影距離を用いて前記スクリーンに表示される前記映像の表示サイズを算出する表示サイズ算出部と、前記映像信号から前記視差量の情報を検出する視差量検出部と、前記スクリーンに表示される前記映像の表示サイズと前記視差量検出部で検出された視差量の情報とを使用して視差量を調整する視差量調整部とを備える」ものである。
すなわち、特許文献２に記載の発明は、投影スクリーンの大きさを検出して、左目用の画像と右目用の画像とを生成して視差のズレを解消するものである。

特許第２８４８２９１号公報 特開２０１０−９８４７９号公報

しかしながら、特許文献１、２に記載の発明は、そのままでは立体視ができない場合に可能となるように調整することを目的としているが、ユーザのディスプレイからの距離の関係については考慮されておらず（ユーザがディスプレイの前で顔を近づけたり、遠ざけたりしても実際の立体物のように大きく見えたり小さく見えたりという見え方の変化がない）、視差量を変更して、より臨場感を出すという効果はない。

そこで、本発明の目的は、ユーザとディスプレイとの間の距離が変化しても臨場感が得られる画像処理方法及び画像処理装置を提供することにある。

上記課題を解決するため、請求項１記載の発明は、ユーザが表示装置に顔を近づけたときには左目用画像及び右目用画像の水平方向の視差を大きくして３Ｄ画像を表示し、前記ユーザが前記表示装置から顔を離したときには前記左目用画像及び前記右目用画像の水平方向の視差を小さくして３Ｄ画像を表示することを特徴とする。

請求項２記載の発明は、請求項１記載の発明において、前記ユーザの顔の前記表示装置への接近離隔の前後でも前記視差を変化させることを特徴とする。

請求項３記載の発明は、左目用画像及び右目用画像内の同一物が左右の画像それぞれに写っている位置差分を検出する画像解析部と、前記位置差分から画像の視差量の変更可能な範囲を検出する立体視範囲検出部と、ユーザと表示装置との間の距離を検出するユーザ位置検出部と、前記ユーザの位置と前記視差量の変更可能な範囲から、現在のユーザの位置に対する視差量を決定する視差調整部と、決定した視差量に基づいて３Ｄ画像を表示する表示装置と、を備えたことを特徴とする。

請求項４記載の発明は、請求項３記載の発明において、前記視差調整部は、前記ユーザが表示装置に顔を近づけたときには左目用画像及び右目用画像の水平方向の視差を大きくし、前記ユーザが前記表示装置から顔を離したときには前記左目用画像及び前記右目用画像の水平方向の視差を小さくすることを特徴とする。

本発明によれば、ユーザとディスプレイとの間の距離が変化しても臨場感が得られる画像処理方法及び画像処理装置の提供を実現することができる。

本発明に係る画像処理方法の一実施の形態を示すフローチャートの一例である。 本発明に係る画像形成装置のブロック図の一例である。 ブロックマッチング法の説明図である。 （ａ）、（ｂ）は、視差の説明図である。

＜構 成＞
図２は、本発明に係る画像形成装置のブロック図の一例である。
図２に示す画像形成装置は、記憶部１０と、画像解析部１１と、立体視範囲検出部１２と、表示装置（以下、ディスプレイ）１３と、ユーザ位置検出部１４と、視差調整部１５と、画像表示部１６と、を有する。尚、本願明細書では画像処理についてのみ言及し、音声処理機能については省略する。

記憶部１０は、外部から入力した入力画像を一時的に記憶する回路であり、３Ｄ対応デジタルカメラや３Ｄ対応デジタルビデオカメラで撮影された静止画・動画や、ＤＶＤ、地上デジタルテレビジョン放送、衛星デジタルテレビジョン放送、インターネット放送等による３Ｄ画像データを記憶する機能を有する。
記憶部１０としては、例えば、ＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）で実現される。画像解析部１１、立体視範囲検出部１２、視差調整部１５、及び画像表示部１６からなる画像処理部１７は、例えば、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、及びＲＡＭ（Ｒａｎｄｏｍ Ａｃｅｓｓ Ｍｅｍｏｒｙ）で実現される。
表示装置１３は、３Ｄ画像を表示する機能を有し、例えば、液晶パネルで実現される。表示装置１３のサイズは特に限定されるものではなく、携帯端末から５０型以上のディスプレイにも適用できる。

画像解析部１１は、左目用の入力画像及び右目用の入力画像を記憶部１０から読み込んで、左目用の入力画像及び右目用の入力画像のそれぞれに写っている同一物の位置差分（視差）を検出する機能を有する。この検出方法には、例えば、特許第２８４８２９１号に開示されているようなブロックマッチング法が挙げられる。あるいは、顔認識技術により、それぞれの画像から同一人物の顔の領域を検出し、その領域の座標から位置差分を求めるといった方法も考えられる。

ここで、ブロックマッチング法について図３を用いて説明する。
図３は、ブロックマッチング法の説明図である。
図３において、上段には左目用の入力画像ＩＬが記載され、下段には右目用の入力画像ＩＲが記載されている。
左目用の入力画像ＩＬ及び右目用の入力画像ＩＲには立体視用に表示角度が異なる同一人物ＰＬ、ＰＲがある。
ここで、左目用の入力画像ＩＬにおいて、画像内のある領域（ここでは人物ＰＬの顔の位置とする）ブロックＢＬ１と、右目用の入力画像ＩＲにおける同一サイズのブロックＢＲ１、ＢＲ２、ＢＲ３、…（ＢＲｉとする）とを比較する。ＢＬ１とＢＲｉにおいて、対応する各ドットの輝度の差の絶対値の総和を求めることで、ＢＬ１とＢＲｉとの画像としての類似度が計算できる。そして、ＢＲ１、ＢＲ２、ＢＲ３、・・・の中でその総和が最も小さいブロックＢＲｊが、ＢＬ１に対応するブロックと判定され、このブロックＢＲｊとＢＬ１とのＸ方向の位置のズレが視差ΔＸとなる。
この視差ΔＸを、画像内の全部あるいは一部のブロックＢＬ１、ＢＬ２、ＢＬ３、・・・それぞれに対して求め、その中で最も小さいΔＸをΔＸｍｉｎとし、最も大きいΔＸをΔＸｍａｘとして求める。

立体視範囲検出部１２は、位置差分から画像の視差量の変更可能な範囲を検出する機能を有する。立体視可能な視差について、例えば、人間の両目間の距離が約６〜７ｃｍであるため、調整可能な範囲をディスプレイ上の実サイズで−６ｃｍ〜＋６ｃｍと置く。
この幅は、画像処理装置の図示しない操作部で設定変更できるように構成されていても良い。立体視範囲検出部１２は、この範囲内に収まるように画像をＸ方向（右方向もしくは−Ｘ方向である左方向）でどれだけずらせられるかを算出する機能を有する。
ディスプレイ上の１ｃｍ当たりのドット数をｄ［ｄｏｔ／ｃｍ］とし、左右の入力画像中の物体（この場合、人物）をずらす量をα［ｄｏｔ］と置くと、数式（１）、（２）を満たす範囲でαの値を設定できる。
−６ｄ≦ΔＸｍｉｎ＋α≦＋６ｄ …（１）
−６ｄ≦ΔＸｍａｘ＋α≦＋６ｄ …（２）
数式（１）、（２）より、数式（３）が得られる。
−６ｄ−ΔＸｍｉｎ≦α≦＋６ｄ−ΔＸｍａｘ …（３）

ユーザ位置検出部１４は、ユーザの位置（ディスプレイからの距離）を検出する機能を有する。
ユーザの位置の検出方法としては、例えば、ディスプレイの外枠に二つのカメラを設置してユーザを撮影し、二つのカメラ間の距離と、各カメラにユーザの顔が写った方向から三角測量の要領でユーザの顔（目の位置）までの距離を測定したり、ユーザが立体使用の眼鏡を装着している場合には赤外線ＬＥＤ（Ｌｉｇｈｔ Ｅｍｉｔｔｅｄ Ｄｉｏｄｅ：発光ダイオード）等で距離を測定したりする公知の方法が挙げられる。

視差調整部１５は、ユーザの位置と視差量の変更可能な範囲から、現在のユーザの位置に対して設定する視差量を決定する。数式（３）を満たす範囲で、ユーザが最も近づいたとき（例えば、１０ｃｍ以内）にαの値が最小（−６−ΔＸｍｉｎ）になり、ユーザが最も遠ざかったとき（例えば、５ｍ以上）にαの値が最大（６−ΔＸｍａｘ）になるようにする。その接近離隔の間は距離に応じてαの値が単調増加（このましくは１次関数的増加）になるようにαの値を設定するのが好ましい。

画像表示部１６は、図示しないＲＯＭに記憶されたプログラムに基づいて、視差調整部１５により決定された視差量で画像を表示する機能を有する。この方法としては、左目用の入力画像と右目用の入力画像をαの値だけずらして（片方だけをずらす他、それぞれの画像をα／２ずつ反対方向にずらしてもよい）表示することが考えられる。

＜動 作＞
次に画像処理装置の動作について図１を参照して説明する。
図１は、本発明に係る画像処理方法の一実施の形態を示すフローチャートの一例である。
動作の主体は、図示しないＣＰＵである。
動作が開始すると、画像解析部１１は、左目用の入力画像及び右目用の入力画像を読み込み、前述の段落「００１９」〜「００２０」のようにして、表示する画像の視差を調べる（ステップＳ１）。
次に立体視範囲検出部１２は、前述の段落００２１のようにして、画像が立体視可能な範囲を検出する（ステップＳ２）。
次にユーザ位置検出部１４は、前述の段落００２２のようにして、ユーザの位置を検出する（ステップＳ３）
次に視差調整部１５は、前述の段落００２３のようにして、ユーザの位置と立体視可能な範囲から視差量を計算する（ステップＳ４）。
次に画像表示部１６は、前述の段落００２４のようにして、計算した視差量で画像を表示する（ステップＳ５）
次にユーザ位置検出部１４は、再度ユーザの位置を検出する（ステップＳ６）
再度検出されたユーザの位置が変更されたか否かを判断し（ステップＳ７）、変更があったと判断した場合（ステップＳ７／Ｙｅｓ）、ステップＳ４に戻り、変更がなかったと判断した場合（ステップＳ７／Ｎｏ）、ステップＳ８に進む。
ステップＳ８で画像の表示が終了したか否かを判断し、画像の表示が終了していないと判断した場合（ステップＳ８／Ｎｏ）、ステップＳ６に戻り、画像の表示が終了したと判断した場合（ステップＳ８／Ｎｏ）、終了する。

尚、ユーザの顔のディスプレイへの接近離隔の前後でも視差を変化させることにより、立体視が可能である。

＜作用効果＞
以上において、本実施形態によれば、ユーザがディスプレイに顔を近づけたときには、左右の画像の位置ズレを大きくして表示することで視差量を大きくして、より手前に表示されるようにする。ユーザがディスプレイから顔を遠ざけたときには、左右の画像の位置ズレを小さくして表示することで視差量を小さくし、より奥に表示されるようにする。但し、これらの調整を、画像を立体視できる範囲内で行う。

それには、左右の画像それぞれに写っている同一物の位置差分を検出し、立体視できる範囲を算出し、ユーザのディスプレイからの距離を算出し、立体視可能な範囲内でユーザのディスプレイからの距離に応じた視差量に調整する。ユーザのディスプレイからの距離が変化したときに視差量を変更する。ユーザが最もディスプレイに近づいたとき（例えば、１０ｃｍに設定）に視差量が最も大きく、ユーザが最もディスプレイから遠ざかったとき（例えば、５ｍに設定）に視差量が最も小さくなるように、立体視可能な範囲内でユーザの位置に応じた視差量に調整する。これにより、ユーザとディスプレイとの間の距離が変化しても臨場感が得られる。

＜プログラム＞
以上で説明した本発明にかかる画像処理装置は、コンピュータで処理を実行させるプログラムによって実現されている。コンピュータとしては、例えばパーソナルコンピュータやワークステーションなどの汎用的なものが挙げられるが、本発明はこれに限定されるものではない。よって、一例として、プログラムにより本発明を実現する場合の説明を以下で行う。

例えば、画像処理装置のコンピュータに、
画像解析部が、左目用画像及び右目用画像内の同一物が左右の画像それぞれに写っている位置差分を検出する手順、
立体視範囲検出部が、前記位置差分から画像の視差量の変更可能な範囲を検出する手順、
ユーザ位置検出部が、ユーザと表示装置との間の距離を検出する手順、
視差調整部が、前記ユーザの位置と前記視差量の変更可能な範囲から、現在のユーザの位置に対する視差量を決定する手順、
画像表示部が、決定した視差量に基づいて３Ｄ画像を表示する手順、
を実行させるプログラム。
が挙げられる。

これにより、プログラムが実行可能なコンピュータ環境さえあれば、どこにおいても本発明にかかる装置を実現することができる。

＜記憶媒体＞
このようなプログラムは、コンピュータに読み取り可能な記憶媒体に記憶されていてもよい。
ここで、記憶媒体としては、例えば、ＣＤ−ＲＯＭ（Ｃｏｍｐａｃｔ Ｄｉｓｋ−ＲＯＭ）、フレキシブルディスク（ＦＤ）、ＣＤ−Ｒ（ＣＤ−Ｒｅｃｏｒｄａｂｌｅ）などのコンピュータで読み取り可能な記憶媒体、フラッシュメモリ、ＲＡＭ、ＲＯＭ、ＦｅＲＡＭ（強誘電体メモリ）等の半導体メモリやＨＤＤが挙げられる。

なお、上述した実施の形態は、本発明の好適な実施の形態の一例を示すものであり、本発明はそれに限定されることなく、その要旨を逸脱しない範囲内において、種々変形実施が可能である。

１０ 記憶部
１１ 画像解析部
１２ 立体視範囲検出部
１３ 表示装置（ディスプレイ）
１４ ユーザ位置検出部
１５ 視差調整部
１６ 画像表示部
１７ 画像処理部

Claims (4)

1. ユーザが表示装置に顔を近づけたときには左目用画像及び右目用画像の水平方向の視差を大きくして３Ｄ画像を表示し、前記ユーザが前記表示装置から顔を離したときには前記左目用画像及び前記右目用画像の水平方向の視差を小さくして３Ｄ画像を表示することを特徴とする画像処理方法。
2. 前記ユーザの顔の前記表示装置への接近離隔の前後でも前記視差を変化させることを特徴とする請求項１記載の画像処理方法。
3. 左目用画像及び右目用画像内の同一物が左右の画像それぞれに写っている位置差分を検出する画像解析部と、
   前記位置差分から画像の視差量の変更可能な範囲を検出する立体視範囲検出部と、
   ユーザと表示装置との間の距離を検出するユーザ位置検出部と、
   前記ユーザの位置と前記視差量の変更可能な範囲から、現在のユーザの位置に対する視差量を決定する視差調整部と、
   決定した視差量に基づいて３Ｄ画像を表示する表示装置と、
   を備えたことを特徴とする画像処理装置。
4. 前記視差調整部は、前記ユーザが表示装置に顔を近づけたときには左目用画像及び右目用画像の水平方向の視差を大きくし、前記ユーザが前記表示装置から顔を離したときには前記左目用画像及び前記右目用画像の水平方向の視差を小さくすることを特徴とする請求項３記載の画像処理装置。
   

Images