JPH10170227A - 表示装置 - Google Patents

Abstract

(57)【要約】 【課題】 被写体の尺度の基準となるメジャーをその被
写体の視差に応じた倍率、視差で立体表示して、被写体
の大きさを簡単に把握できるようにする。 【解決手段】 ステレオカメラ２００から出力された、
異なる視点から撮影された互いに視野の重なる複数の撮
像画像がステレオ画像合成部２００にて合成される立体
表示装置において、指示された被写体領域おける複数の
対応点を抽出する対応点抽出部１０４と、その対応点
（被写体）の複数の撮像画像間における視差に応じて、
被写体の尺度の基準となるメジャーの倍率および視差を
算出するメジャーパラメータ算出部１０６と、算出され
たメジャーの倍率および視差に基づいて複数のメジャー
画像を生成するメジャー画像生成部１０７と、生成され
たメジャー画像と複数の撮像画像とを合成する画像合成
部１０８，１０９と、を有する。ステレオ画像合成部２
００では、各画像合成部１０８，１０９の出力画像が合
成される。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、異なる視点から撮
影された互いに視野の重なる複数の撮像画像を基に画像
の表示がなされる表示装置に関し、特に表示された被写
体の大きさを計測可能な表示装置に関する。

【０００２】

【従来の技術】従来より、複数のカメラから視差を持っ
た一組の画像を得て、それぞれの画像を観察者の左右別
々の眼で観察させることにより立体映像を提供する表示
装置が知られている。このような立体表示技術を応用し
て、最近では、立体表示された被写体の大きさを測定で
きる装置が提案されている。例えば、被写体のおおよそ
の大きさを知ることを目的として、立体表示された被写
体画像中の２点をポインティングデバイスでユーザが指
示し、その指示された各点の、左右画像（視差を持った
一組のステレオ画像）間における視差から、三次元空間
中の位置を求めて、指示されたそれらの点の三次元空間
中の位置や２点間の距離を数値表示する表示装置が知ら
れている。

【０００３】

【発明が解決しようとする課題】しかしながら、上述し
た従来の表示装置においては、ユーザが被写体画像中で
指示した２点間の距離およびそれらの位置が測定される
のみで、例えば被写体の大きさを知りたい場合には、複
数回にわたって測定点を指示する必要があり、操作が面
倒であった。また、指示した２点間の距離は分かるもの
の、奥行きの異なる複数の被写体を同時に撮影した場合
には、各被写体は奥行きによって画像中での大きさが異
なるため、同時に複数の被写体の大きさを把握すること
は困難であった。

【０００４】本発明の目的は、上記問題点を解決するた
めに、被写体の尺度の基準となるメジャーを表示して、
表示された被写体の大きさを簡単に把握できるようにす
ることである。

【０００５】さらなる目的は、メジャーを立体表示し
て、奥行きの異なる複数の被写体についても大きさを簡
単に把握できるようにすることである。

【０００６】

【課題を解決するための手段】上記発明の目的を達成す
るため、第１の発明の表示装置は、被写体を撮影する少
なくとも１つの撮像手段を備え、異なる視点から撮影さ
れた互いに視野の重なる複数の撮像画像を合成して立体
画像の表示がなされる表示装置において、前記複数の撮
像画像間における被写体の視差に応じて、その被写体の
尺度の基準となるメジャーの倍率および視差を算出する
メジャーパラメータ算出手段と、前記メジャーパラメー
タ算出手段にて算出されたメジャーの倍率および視差に
基づいてメジャー画像を生成するメジャー画像生成手段
と、前記立体画像中に前記メジャー画像生成手段にて生
成されたメジャー画像を合成する画像合成手段と、を有
することを特徴とする。

【０００７】上記の場合、前記メジャー画像生成手段
は、前記メジャーパラメータ算出手段にて算出されたメ
ジャーの視差に応じて、前記複数の撮像画像に対応する
複数のメジャー画像を生成し、前記画像合成手段が、前
記複数の撮像画像と前記複数のメジャー画像とをそれぞ
れ合成するようにしてもよい。

【０００８】また、前記メジャー画像生成手段は、前記
メジャーパラメータ算出手段にて算出されたメジャーの
視差に応じて複数のメジャー画像を生成し、前記画像合
成手段が、前記複数の撮像画像を合成した画像に前記複
数のメジャー画像を合成した画像を合成するようにして
もよい。

【０００９】また、前記立体画像における被写体領域を
指定する被写体領域指定手段と、前記複数の撮像画像間
での、前記被写体領域指定手段により指示された被写体
領域おける複数の対応点を抽出する対応点抽出手段と、
をさらに備え、前記メジャー画像生成手段が、前記対応
点抽出手段にて抽出された複数の対応点の視差の平均を
基に、前記被写体領域の尺度の基準となるメジャーの倍
率および視差を算出するようにしてもよい。

【００１０】この場合、前記被写体領域指定手段は、カ
ーソル画像が記憶された記憶手段と、前記立体画像中に
おけるカーソルの移動を指示するための入力手段とを有
し、前記画像合成手段が、予め設定されたカーソルの初
期視差および初期位置に基づいて前記複数の撮像画像の
それぞれに対して前記カーソル画像を合成し、前記入力
手段によりカーソルの移動の指示があると、該指示に応
じたカーソルの視差および移動位置に基づいて前記撮像
画像とカーソル画像との合成を行うようにしてもよい。

【００１１】さらに、前記対応点抽出手段は、前記被写
体領域指定手段によって指示されたカーソル位置の近傍
領域おける複数の対応点を抽出するようにしてもよい。

【００１２】この場合、前記撮像手段を用いた前記複数
の撮像画像の撮影に関する撮像系の輻輳角、焦点距離、
基線長、画素間隔が記憶された記憶手段をさらに備え、
前記メジャーパラメータ算出手段が、前記記憶手段に記
憶された輻輳角、焦点距離、基線長、画素間隔に基づい
て、前記対応点抽出手段により抽出された複数の対応点
における奥行きを算出し、前記複数の撮像画像のいずれ
か１つの画像中のカーソル位置の、前記奥行きに対する
他の撮像画像中の位置を求めることにより被写体の視差
を得るようにしてもよい。

【００１３】また、上記表示装置において、前記複数の
撮像画像を撮影する撮像系は輻輳角および基線長が制御
可能で、設定された撮像系の輻輳角、焦点距離、基線
長、画素間隔を前記メジャーパラメータ算出手段に対し
て出力するように構成され、前記メジャーパラメータ算
出手段が、前記撮像系から出力された輻輳角、焦点距
離、基線長、画素間隔に基づいて、前記対応点抽出手段
によい抽出された複数の対応点における奥行きを算出
し、前記複数の撮像画像のいずれか１つの画像中のカー
ソル位置の、前記奥行きに対する他の撮像画像中の位置
を求めることにより被写体の視差を得るようにしてもよ
い。

【００１４】第２の発明の表示装置は、被写体を撮影す
る少なくとも１つの撮像手段を備え、異なる視点から撮
影された互いに視野の重なる複数の撮像画像のうちのい
ずれか１つに基づいて表示がなされる表示装置におい
て、前記複数の撮像画像間における被写体の視差に応じ
て、その被写体の尺度の基準となるメジャーの倍率およ
び視差を算出するメジャーパラメータ算出手段と、前記
メジャーパラメータ算出手段にて算出されたメジャーの
倍率および視差に基づいてメジャー画像を生成するメジ
ャー画像生成手段と、表示画像中に前記メジャー画像生
成手段にて生成されたメジャー画像を合成する画像合成
手段と、を有することを特徴とする。

【００１５】上述の第１および第２の発明の表示装置の
いずれにおいても、前記撮像手段を用いた前記複数の撮
像画像の撮影に関する撮像系の輻輳角と基線長および画
素間隔が記憶された記憶手段をさらに備え、前記メジャ
ーパラメータ算出手段が、前記記憶手段に記憶された輻
輳角、基線、画素間隔と前記被写体の視差とからメジャ
ーの倍率を算出するようにしてもよい。

【００１６】さらに、前記複数の撮像画像を、それぞれ
被写体が画像の中心になるように撮像されるものとし、
前記複数の撮像画像間での、画像中心部の被写体近傍領
域おける複数の対応点を抽出する対応点抽出手段、をさ
らに備え、前記メジャーパラメータ算出手段が、前記対
応点抽出手段にて抽出された複数の対応点の視差に応じ
て、前記被写体領域の尺度の基準となるメジャーの倍率
および視差を算出するようにしてもよい。

【００１７】さらに、前記複数の撮像画像を撮影する撮
像系の光軸が平行となるように設定され、該撮像系の基
線長および画素間隔が記憶された記憶手段をさらに備
え、前記メジャーパラメータ算出手段が、前記記憶手段
に記憶された基線長および画素間隔と前記被写体の視差
とからメジャーの倍率を算出するようにしてもよい。

【００１８】さらに、前記撮像手段を用いた前記複数の
撮像画像の撮影に関する撮像系の輻輳角、焦点距離、基
線長、画素間隔が記憶された記憶手段をさらに備え、前
記メジャーパラメータ算出手段が、前記記憶手段に記憶
された輻輳角、焦点距離、基線長、画素間隔に基づい
て、前記被写体の視差を算出するとともに該視差に基づ
くメジャーの倍率を算出するようにしてもよい。

【００１９】上記の通りの本発明によれば、被写体の尺
度の基準となるメジャーが被写体とともに立体表示され
る。この表示されるメジャーは、その倍率および視差が
被写体の視差に応じたものとなっているので、このメジ
ャーを用いて簡単に被写体の大きさを知ることができ
る。

【００２０】同時に撮影された奥行き方向の位置の異な
った被写体については、その大きさをユーザが立体視し
た際の左右視差量から推定することによって把握するこ
とができる。本発明では、被写体の視差に応じてメジャ
ーの倍率および視差が算出され、その算出された倍率、
視差を有するメジャーが表示されるので、その表示され
たメジャーに基づいて、奥行きの異なる複数の被写体に
ついても大きさを簡単に把握できる。

【００２１】また、本発明のうちカーソルにより指定さ
れた被写体領域（カーソル位置近傍の、被写体を含む領
域）における複数の対応点が抽出され、これら対応点の
視差の平均が被写体の視差として与えられるものにおい
ては、大きさを知りたい被写体をカーソルにより指定す
るだけで、その被写体の視差に応じた倍率、視差を有す
るメジャーが表示される。したがって、従来のように測
定点の入力を複数回にわたって行う必要はない。さらに
は、被写体領域における複数の対応点の視差の平均が被
写体の視差として与えられることから、メジャーの尺度
をより精度の高いものとすることが可能である。

【００２２】

【発明の実施の形態】次に、本発明の実施例について図
面を参照して説明する。

【００２３】（実施形態１）図１は、本発明の表示装置
の第１の実施形態を示すブロック図である。

【００２４】２００はステレオカメラで、左右２系統の
画像データを出力する。１０１、１０２は画像メモリ
で、ステレオカメラ２００の出力画像データの一部の領
域のデータを一時的に記憶する。１０３は被写体領域指
示部で、ポインティングデバイスを介して画像中に指示
された位置を出力するとともに、カーソル画像を生成し
てこれを出力する。

【００２５】１０４は対応点抽出部であり、画像メモリ
１０１，１０２にそれぞれ記憶された左右画像の対応点
を抽出してこれを出力する。１０５はカメラパラメータ
記憶部であり、ステレオカメラ２００に設定されるカメ
ラパラメータの値があらかじめ記憶されている。１０６
はメジャーパラメータ算出部であり、画像とともに表示
されるメジャー画像のパラメータ（被写体領域指示部１
０３で指示された被写体に関するメジャー画像を表示さ
せるためのパラメータで、奥行きを考慮した目盛りの大
きさや幅等）を算出する。１０７はメジャー画像生成部
であり、メジャーパラメータ算出部１０６で算出された
パラメータに従って表示すべきメジャー画像を生成し、
それを出力する。

【００２６】１０８、１０９は画像合成部であり、ステ
レオカメラ２００の出力画像と、メジャー画像生成部１
０７から出力されるメジャー画像と、被写体領域指示部
１０３から出力されるカーソル画像と、を合成した画像
を出力する。本形態では、このカーソル画像の合成は、
初期状態においては、予め設定されたカーソルの初期視
差および初期位置に基づいて各画像データのそれぞれに
対して行われ、カーソル位置の指示があると、該指示に
応じたカーソルの視差および移動位置に基づいて画像デ
ータｄ，ｅとの合成が行われるようになっている。

【００２７】１１０はステレオ画像合成部であり、２つ
の画像合成部１０８、１０９の出力画像からステレオ画
像を生成し、表示メモリ１１１に出力する。１１２は表
示制御部であり、表示メモリ１１１に格納された画像デ
ータに基づいて、三次元表示装置１１３に三次元画像を
表示させる。

【００２８】図２は、ステレオカメラ２００の具体的な
構成例を示すブロック図である。

【００２９】２０１、２０２は撮影レンズで、２つの視
点からのステレオ画像を撮影する。２０３、２０４は画
像を電気信号として取り込むＣＣＤ等のイメージセンサ
ーである。この２つの撮像系は、それぞれの撮像レンズ
の光軸が左右平行に配置されている。

【００３０】２０５、２０６はイメージセンサー２０
３、２０４の画像の取り込みを制御する画像取り込み制
御回路である。２０７、２０８は画像信号処理部で、イ
メージセンサー２０３、２０４からの電気信号を保持し
て画像信号を形成し、それを出力する。この画像信号の
出力の際、画像信号処理部２０７，２０８は利得を自動
的に制御して階調補正を行うようになっている。

【００３１】２０９、２１０はＡ／Ｄ変換器で、画像信
号処理部２０７、２０８の出力信号をアナログ・デジタ
ル変換し、デジタル画像データを出力する。２１１、２
１２は色信号処理回路であり、Ａ／Ｄ変換器２０９、２
１０の出力であるデジタル画像データから色信号を形成
し、デジタルのフルカラー画像データ（以下、画像デー
タと称する）をＲＧＢ２４ビットを１画素として１画面
分出力する。

【００３２】図３は、三次元表示装置１１３の概略を示
す構成図である。この三次元表示装置の構成は、本出願
人が特許願８−１４８６１１号にて開示した構成と同様
のものである。

【００３３】１３１は液晶表示素子で、表示制御部１１
２によって表示メモリ１１１に記憶された画像が表示さ
れる。１３２はバックライト、１３３はスリット、１３
４、１３５はレンチキュラーレンズであり、バックライ
ト１３２からの光がスリット１３３、レンチキュラーレ
ンズ１３４，１３５を通して液晶表示素子１３１を照明
するようになっている。

【００３４】液晶表示素子１３１では、適当な観察範囲
において、観察者は図３中Ｌ、Ｒで示した左画像、右画
像をそれぞれ左目、右目に分離して観察することがで
き、左右画像に視差がある場合には液晶表示素子１３１
で表示された画像を立体画像として認識することができ
る。

【００３５】次に、上述した表示装置の動作を具体的に
説明する。

【００３６】撮影者が不図示のカメラの電源スイッチを
入れると、投影レンズ２０１を通してイメージセンサー
２０３に結像された被写体（右視点からの画像）が取り
込まれ、画像信号処理２０７によって画像信号が生成さ
れる。生成された画像データは、Ａ／Ｄ変換器２０９で
アナログ・デジタル変換され、色信号処理回路２１１に
てそのデジタル画像データから色信号が形成されて右画
像データを得る。同様にして、投影レンズ２０２を通し
てイメージセンサー２０４に結像された被写体（左視点
からの画像）が取り込まれ、画像信号処理２０８、Ａ／
Ｄ変換器２１０、色信号処理回路２１２を介して左画像
データを得る。これら右・左画像データは、不図示の同
期信号発生回路から出力される同期信号により、同じタ
イミングで撮影された画像データとしてステレオカメラ
２００から出力される。

【００３７】ステレオカメラ２００から出力された右・
左画像データは画像合成部１０８、１０９に送られ、被
写体領域指示部１０３で指示された位置に生成したカー
ソル画像と合成された後、さらにステレオ画像合成部１
１０で三次元表示装置１１３に表示すべきステレオ画像
に変換される。この画像合成部１０８、１０９およびス
テレオ画像合成部１１０の処理の流れを図４に示す。図
中、ａ、ｂはステレオカメラ２００から出力された左画
像データ、右画像データで、ｃは被写体領域指示部１０
３に記憶されているカーソル画像で、ｄ、ｅは画像デー
タとカーソル画像を合成した画像である。

【００３８】画像合成部１０８では、ステレオカメラ２
００から出力された右画像データｅと被写体領域指示部
１０３に記憶されているカーソル画像ｃとが合成され、
合成画像ｅが形成される。画像合成部１０９では、ステ
レオカメラ２００から出力された左画像データａと被写
体領域指示部１０３に記憶されているカーソル画像ｃと
が合成され、合成画像ｄが形成される。

【００３９】ステレオ画像合成部１１０では、上記画像
合成部１０８，１０９で合成された合成画像ｄ，ｅが画
像中の水平１ラインごとに組み合わされて、三次元表示
装置１１３に表示すべきステレオ画像ｆ（以下、水平ス
トライプ画像と称する）が生成される。そして、この水
平ストライプ画像ｆが表示メモリ１１１に書き込まれ、
表示制御部１１２による表示制御によって、三次元表示
装置１１３に撮影被写体の画像とカーソルが立体表示さ
れる。

【００４０】ここで、ユーザが、三次元表示装置１１３
を見ながら、被写体領域指示部１０３のポイティングデ
バイスによりカーソルの移動を指示すると、カーソルは
その指示に応じて画像中を上下左右、立体視した際の奥
行き方向へと、三次元的に移動する。例えば、ユーザが
カーソルの奥行き方向の移動を指示した場合には、左右
画像中での水平方向の位置関係（視差）が変わり、これ
によりカーソルが表示画像中を奥行き方向に移動するこ
とになる。このようなカーソルの三次元的な移動は、例
えばカーソルを表示画像画面内で遠くに移動するよう指
示した場合には、カーソルの左右画像中での視差が少な
くなるようカーソル表示位置が被写体領域指示部１０３
で制御されることにより行われる。

【００４１】以上の動作により、ユーザはインタラクテ
ィブにカーソルを表示画像内で三次元的に自由に移動で
きる。

【００４２】次に、三次元表示装置１１３に表示された
被写体の大きさを測定する場合について説明する。

【００４３】三次元表示装置１１３に表示されている画
像内に、大きさの知りたい被写体がある場合、まず、ユ
ーザは不図示の測定ボタンを押す。本実施形態の表示装
置は、この測定ボタンが押されている間（測定ボタンの
信号がオンの間）、三次元表示装置１１３の表示画面に
メジャー画像が被写体画像とともに表示される。

【００４４】測定ボタンの信号がオンになると、ステレ
オカメラ２００からの出力画像データのうちの、被写体
領域指示部１０３のカーソルで指定された箇所（被写
体）の近傍領域（被写体を含む領域）に関する画像デー
タ（部分画像）が、画像メモリ１０１、１０２に記憶さ
れる。そして、対応点抽出部１０４にて、これら画像メ
モリ１０１、１０２に記憶された左右画像データの部分
画像の同一被写体部分が、複数の対応点（Ｎ点）として
抽出される。なお、被写体領域指示部１０３のカーソル
による指定が、左右画像の同一被写体部分が正確に指示
されていない場合には、この対応点抽出部１０４によっ
て、カーソル指定による被写体視差の誤差が補正され、
正確な視差が抽出される。この対応点抽出部１０４から
は、対応点データとして左右画像中の水平方向の画素位
置（ｘＬ_i，ｙＬ_i）と垂直方向の画素位置（ｘＲ_i，ｙ
Ｒ_i）が出力される。ただし、ｉ＝１，２，．．．，Ｎ
とする。

【００４５】メジャーパラメータ算出部１０６は、被写
体領域指示部１０３から出力されたカーソル位置データ
と対応点抽出部１０４から出力された対応点データとに
基づいて、三次元表示装置１１３に表示すべきメジャー
の目盛りと目盛り幅および左右画像中おけるその位置を
メジャーパラメータとして算出する。メジャー画像生成
部１０７では、このメジャーパラメータ算出部１０６に
て算出されたメジャーパラメータに基づいて、メジャー
画像が生成される。

【００４６】以下、このメジャーパラメータ算出部１０
６およびメジャー画像生成部１０７の処理を図５を参照
して具体的に説明する。

【００４７】メジャーパラメータ算出部１０６では、ま
ず、対応点抽出部１０４から出力された複数の対応点の
各座標（対応点データ）を基に視差の計算が行われる
（Ｓ１１）。ここでは、以下の式（１）を用いて被写体
の左右画像での平均視差ｄが計算される。

【００４８】 ｄ＝ＡＶＧ（ｘＬ_i−ｙＬ_i） ・・・（１） 但し、ＡＶＧは平均値を表す。

【００４９】被写体の左右画像での平均視差ｄが求めら
れると、続いて、その平均視差ｄとカメラパラメータ記
憶部１０５に予め記憶されているカメラパラメータ、す
なわち撮像レンズ２０１，２０２のレンズ中心（撮像レ
ンズの物体側の主点）の水平方向の間隔Ｂ（以下、基線
長と称する）およびイメージセンサー２０３、２０４の
画素間隔ｐ（但し、ここでは２つの撮像系は同一のもの
が用されている）とに基づいて、被写体の撮影倍率Ｍが
以下の式（２）により計算される（ステップＳ１２）。

【００５０】 Ｍ＝（ｄ×ｐ）÷Ｂ ・・・（２） そして、この求められた撮影倍率Ｍの値に応じて、メジ
ャーデータの中から最適なメジャーの目盛りが選択さ
れ、その目盛り幅の画像中での幅が求められる（ステッ
プＳ１３）。例えば、メジャー画像中での目盛りの幅を
Ｎ画素とすると、このメジャーを撮影倍率Ｍで撮影した
時の目盛りの幅はＮ／Ｍであるから、このＮ／Ｍに最も
近い目盛りが選択される。メジャーデータは、メジャー
パラメータ算出部１０６に予め用意されているもので、
例えばメジャーデータとして数種類の目盛りがテーブル
として用意されていて、この中から目盛りが選択され
る。また、メジャー画像中での目盛りの幅Ｎもメジャー
データとして記憶されており、目盛りのテーブルの中か
ら選択された、撮影倍率Ｍで撮影した時の目盛りの幅が
求められる。ここでは、目盛りのテーブルの中から選択
された撮影倍率Ｍで撮影した時の目盛りの幅をＷとする
と、撮影倍率Ｍで撮影した時の目盛りの幅がＷになるメ
ジャー画像中での目盛りの幅Ｎ’が、以下の式（３）に
より求められる。

【００５１】 Ｎ’＝Ｍ／Ｗ ・・・（３） そして、目盛りのテーブルの中から選択した撮影倍率Ｍ
で撮影した時の目盛りとその目盛りの幅Ｎ’がメジャー
画像生成部１０７に出力される。

【００５２】続いて、被写体領域指示部１０３で指示さ
れたカーソル位置と上述のステップＳ１１で計算された
視差ｄとから、メジャー画像の表示位置が決定される
（ステップＳ１４）。ここでは、まず右画像中の表示位
置をカーソル位置に対して所定の位置だけずらした位置
として求める。このとき、メジャー画像が画像内からは
み出すかどうかを判断し、はみ出す場合にはカーソル位
置に対するずらし量を調整してメジャー画像が画像から
はみ出さないようにする。そして、左画像中の表示位置
を右画像中の表示位置から視差ｄだけ水平方向にずらし
たものとして、このメジャー画像の右画像中の表示位置
と左画像中の表示位置とが決定される。この結果は、メ
ジャー画像生成部１０７へ出力される。

【００５３】メジャー画像生成部１０７では、あらかじ
め記憶されていたメジャー画像に上記ステップＳ１３で
求められたメジャーの目盛りおよび目盛り幅に応じて目
盛り線と数字を書き込む目盛りの付与処理が行われ（ス
テップＳ１５）、目盛り付きのメジャー画像データが２
つの画像合成部１０８、１０９へ出力される。さらに、
メジャーパラメータ算出部１０６からの出力であるメジ
ャー画像の右画像中の表示位置と左画像中の表示位置を
そのままそれぞれ画像合成部１０８、１０９に出力す
る。

【００５４】画像合成部１０８および１０９はステレオ
カメラ２００で撮影した左右画像とカーソル画像を合成
した場合と同様に、メジャー画像を合成する。図６
（ａ）にメジャー画像を合成した画像合成部１０９の出
力画像を、図６（ｂ）にメジャー画像を合成した画像合
成部１０８の出力画像を示す。以後、これらの画像はス
テレオ画像合成部１１０で水平ストライプ画像に合成さ
れ、表示メモリ１１１に書き込まれる。そして、表示制
御部１１２により、三次元表示装置１１３に立体表示さ
れる。

【００５５】以上の処理により、ユーザは立体表示され
た画像中の所望の被写体をカーソル指示するだけで、そ
の被写体に関するメジャーを表示することができ、被写
体の大きさをメジャーと比較することによりおおよそ知
ることができる。また、所望の被写体の大きさだけでな
く、同時に撮影された奥行き方向の位置の異なった被写
体の大きさについても、ユーザが立体視した際の左右視
差量から推定することによって把握することができる。
特に、大きさを正確に知りたい被写体に関しては、視
差、撮影倍率を合わせたメジャー画像を同時に表示する
ことができるので、正確に被写体の大きさを知ることが
できる。

【００５６】また、対応点抽出部１０４によって、カー
ソル指示による被写体視差の誤差が補正されるようにな
っているので、カーソル指示による位置の指定が確実に
行えなかった場合においても、その補正により被写体の
大きさを正確に把握することができる。

【００５７】本形態では、被写体領域指示部１０３によ
り、ユーザが三次元的に移動可能なカーソルで被写体領
域を指示できるようになっているが、被写体の大きさを
知りたい時には、画像中心部に常に被写体が撮影されて
いると仮定して、画像中心部の視差によって、メジャー
画像を合成出力するようにしてもよい。この場合、被写
体領域指示部１０３を廃して、被写体領域指示部１０３
の出力であるカーソル位置のかわりに、画像中心座標を
用いてメジャー画像合成の処理を行うようにすればよ
い。これにより、システム全体の構成が簡単になり、低
コストの装置が実現可能である。また、面倒なカーソル
操作を行う必要もなくなる。

【００５８】また、本形態では、ステレオカメラ２００
の２つの撮像系のそれぞれの撮影レンズの光軸が左右平
行に配置されているものを用いたが、光軸が所定の距離
において交差するよう輻輳を付けた構成にしてもよい。
この場合、メジャーパラメータ算出部１０６では上述の
ステップＳ１１の視差の計算を行う前に、対応点抽出部
１０４の出力である各対応点に対する奥行きの逆数の平
均値を以下の式により求めておく。

【００５９】

【数１】 但し、ｆは撮影レンズの焦点距離であり、ここでは２つ
の撮像系は同一の構成となっているので、各撮影レンズ
の焦点距離ｆは等しい。また、輻輳角は内向きに２θで
ある。

【００６０】そして、ステップＳ１１の視差の計算で
は、右画像中のカーソル位置の奥行きｚに対する左画像
中の位置を求めて、視差ｄが計算され、ステップＳ１２
の撮像倍率の計算では、撮影レンズの焦点距離ｆと奥行
きｚから撮影倍率Ｍが計算される。この場合、カメラパ
ラメータ記憶部１０５には基線長Ｂ、画素間隔ｐととも
に焦点距離ｆ、輻輳角２θに対するｃｏｓθ、ｓｉｎθ
をあらかじめ記憶しておく。

【００６１】また、ステレオカメラ２００の２つの撮像
系における撮影レンズの焦点距離、基線長、輻輳角を制
御可能にしてもよく、この場合には、ステレオカメラ２
００からメジャーパラメータ算出部１０６にカメラパラ
メータを出力するようにシステムを構成する。このよう
な構成をとることで、例えば、被写体距離が近い場合な
どには２つの撮像系が平行の状態よりも２つの撮像系の
視野の重なりあう領域が多くなるので、より立体視に適
した複眼撮像装置を構成できる。また、ステレオカメラ
２００の２つの撮像系における撮影レンズの焦点距離、
基線長、輻輳角の制御を常にユーザが指定した被写***
置で視差が０になるように行うこともできる。このよう
なカメラ制御を行った場合には、メジャー画像の視差も
０にすべきであり、従ってメジャーパラメータ算出部１
０６のステップＳ１４の処理は、カーソル位置のみを用
いてメジャー画像の表示位置を決定するようにすればよ
い。ここで、出力である左右の表示位置は同じ位置であ
る。

【００６２】また、本形態では、図６（ａ），（ｂ）に
示したように、画像中の水平方向と垂直方向のメジャー
を表示するようにしたが、図７（ａ），（ｂ）に示すよ
うに奥行き方向にもメジャーを表示してもよい。この場
合、表示画像は奥行き方向で視差が変化するので、左右
画像における奥行き方向のメジャーはその視差が徐叙に
手前になるほど大きくなるようにメジャー画像を生成す
る。従って、メジャー画像生成部１０７での処理は、あ
らかじめ画像データとして記憶されているメジャー画像
にメモリを付与するだけの処理ではなく、左右メジャー
画像を奥行きと視差に応じて生成するように構成する。
このため、メジャー画像生成部１０７では、メジャーの
形状データを幾何学的データとして記憶しておく必要が
ある。

【００６３】上記のような構成によれば、奥行き方向の
メジャーを表示することにより、被写体の奥行き方向の
大きさも把握することができる。また、奥行き方向のメ
ジャーの目盛りとしてカメラからの距離を表示するよう
にすれば、被写体のカメラからの距離も把握することが
できる。

【００６４】また本形態では、三次元表示装置１１３に
メジャー画像をスーパーインポーズするよう構成した
が、通常の二次元表示装置にステレオカメラ２００の出
力画像のうちの一方の画像とともにメジャー画像をスー
パーインポーズするようにしてもよい。この場合、立体
表示の場合と同様に、メジャー画像は被写体領域の視差
に応じて撮影倍率を求めてメジャーパラメータを算出す
るようにするが、左右表示位置データを出力する必要は
なく、メジャーパラメータ算出部１０６におけるステッ
プＳ１４の処理も必要なくなる。したがって、メジャー
画像の表示位置はカーソル位置に従うこととなり、画像
合成部１０９、ステレオ画像合成部１１０は不要とな
る。

【００６５】（実施形態２）図８は、本発明の第２実形
態の表示装置の構成を示すブロック図である。同図にお
いて、図１に示した構成とほぼ同等の機能を有するもの
には、同じ符号を付している。

【００６６】以下、本実施形態の表示装置の動作を説明
する。

【００６７】上述した第１の実施形態の場合と同様に、
撮影者が不図示のカメラの電源スイッチを入れると、２
つの画像データ（左右画像）がステレオカメラ２００か
ら出力される。そして、ステレオカメラ２００から出力
された画像データは、ステレオ画像合成部１１０にて画
像中の水平１ラインごとに組み合わされ、水平ストライ
プ画像が生成される。

【００６８】被写体領域指示部１０３では、指示された
奥行きに応じた視差を持つカーソル画像が水平ストライ
プ画像として生成され、画像合成部１０８にてステレオ
画像合成部１１０で生成された水平ストライプ画像と合
成され、三次元表示装置１１３に表示すべき画像を得
る。そして、この合成画像が表示メモリ１１１に書き込
まれ、表示制御部１１２により、三次元表示装置１１３
に撮影被写体の画像とカーソルが立体表示される。

【００６９】ここで、三次元表示装置１１３に表示され
ている画像内に大きさの知りたい被写体がある場合、ユ
ーザは不図示の測定ボタンを押す。本形態の表示装置
は、この測定ボタンが押されている間（測定ボタンの信
号がオンの間）、三次元表示装置１１３にメジャー画像
を撮影被写体画像とともに表示するよう動作する。

【００７０】測定ボタンの信号がオンになると、ステレ
オカメラ２００からの出力画像データの一部の領域、す
なわち被写体領域指示部１０３のカーソルで指定された
箇所（被写体）の近傍領域（被写体を含む領域）に関す
る画像データ（部分画像）が画像メモリ１０１、１０２
に記憶される。そして、対応点抽出部１０４において、
画像メモリ１０１、１０２に記億されている左右画像デ
ータの部分画像の同一被写体部分が複数の対応点的点と
して抽出される。

【００７１】続いて、メジャーパラメータ算出部１０６
は三次元表示装置１１３に表示すべきメジャーの目盛り
と目盛り幅、左右画像中でのそれぞれのメジャーの位置
をメジャーパラメータとして算出する。そして、メジャ
ー画像生成部１０７でメジャーパラメータに従って、メ
ジャー画像を生成する。

【００７２】以下、メジャーパラメータ算出部１０６、
メジャー画像生成部１０７の処理を図９を参照して説明
する。

【００７３】本形態では、メジャーパラメータ算出部１
０６において行われるステップＳ１１〜Ｓ１４の処理、
メジャー画像生成部１０７において行われるステップＳ
１５の処理までは、上述した第１実施形態の場合と同様
に行われるが、メジャー画像生成部１０７においてステ
ップＳ１５の処理でメジャー画像に目盛りが付与された
後に、ステップＳ１６の処理として、その目盛りの付与
されたメジャー画像を、左右表示位置の差分だけずらし
て画像中の水平１ラインごとに組み合わし、メジャー画
像を水平ストライプ画像として出力する処理が含まれ
る。

【００７４】そして、画像合成部１０８はステレオカメ
ラ２００で撮影した左右画像とカーソル画像を合成した
場合と同様に、メジャー画像をその出力された表示位置
に従って同時に合成し、表示メモリ１１１に書き込む。
そして、表示制御部１１２により、三次元表示装置１１
３に立体表示される。

【００７５】本形態では、ステレオカメラ２００で撮影
した画像の水平ストライプ画像とメジャー画像、カーソ
ル画像の水平ストライプ画像を合成するように構成した
ので画像合成部は１つあればよい。

【００７６】以上の説明では、各実施形態ともに２つの
撮像系を用いた構成となっているが、本発明はこれに限
定されるものではなく、異なる視点から撮影された互い
に視野の重なる複数の撮像画像を得られれば、撮像系は
１つであっても、複数であってもよい。

【００７７】

【発明の効果】本発明は以上説明したように構成されて
いるので、以下のような効果を奏する。

【００７８】被写体の立体映像に基準となるメジャーを
同じ視差量で同時に立体表示できるので、その表示され
たメジャーを用いて、立体表示された被写体の大きさを
簡単に把握できる。このメジャーの表示は、被写体の視
差、撮影倍率に合わせられていることから、正確に被写
体の大きさを知ることができる。

【００７９】加えて、被写体の視差に応じてメジャーの
倍率および視差が算出され、その算出された倍率、視差
を有するメジャーが表示されるので、その表示されたメ
ジャーに基づいて、奥行きの異なる複数の被写体につい
ても大きさを簡単に把握することができる。

【００８０】また、大きさを知りたい被写体を例えばカ
ーソルにより指定するだけで、その被写体の視差に応じ
た倍率、視差を有するメジャーが表示されるので、従来
のように測定点の入力を複数回にわたって行う必要がな
く、簡単な操作で被写体の大きさを知ることができる。

【００８１】さらに、カーソルによって指定された被写
体領域における複数の対応点が抽出され、これら対応点
の視差の平均が被写体の視差として与えられるので、被
写体の視差がより正確なものとなり、メジャーの尺度を
より精度の高いものとすることができ、メジャーの大き
さの測定精度をより高いものとすることができる。

【図面の簡単な説明】

【図１】本発明の第１の実施形態の表示装置の構成を示
すブロック図である。

【図２】ステレオカメラの構成の一例をを示すブロック
図である。

【図３】三次元表示装置の構成の一例を示す展開図であ
る。

【図４】ステレオ画像の合成処理を説明するための図で
ある。

【図５】本発明の第１の実施形態の表示装置において行
われるメジャー画像の生成処理を説明するための図であ
る。

【図６】（ａ）、（ｂ）はメジャー画像を合成したステ
レオ画像を示す図である。

【図７】（ａ）、（ｂ）は奥行き方向にもメジャーを表
示したステレオ画像を示す図である。

【図８】本発明の第２の実施形態の表示装置の構成を示
すブロック図である。

【図９】本発明の第２の実施形態の表示装置において行
われるメジャー画像の生成処理を説明するための図であ
る。

【符号の説明】

１０１，１０２ 画像メモリ １０３ 被写体領域指示部 １０４ 対応点抽出部 １０５ カメラパラメータ記憶部 １０６ メジャーパラメータ算出部 １０７ メジャー画像生成部 １０８，１０９ 画像合成部 １１０ ステレオ画像合成部 １１１ 表示メモリ １１２ 表示制御部 １１３ 三次元表示装置 １３１ 液晶表示素子 １３２ バックライト １３３ スリット １３４，１３５ レンチキュラーレンズ ２０１，２０２ 撮影レンズ ２０３，２０４ イメージセンサ（ＣＣＤ） ２０５，２０６ 取り込み制御部 ２０７，２０８ 画像信号処理部 ２０９，２１０ Ａ／Ｄ変換器 ２１１，２１２ 色信号処理部

Claims (13)

【特許請求の範囲】
1. 【請求項１】 被写体を撮影する少なくとも１つの撮像
   手段を備え、異なる視点から撮影された互いに視野の重
   なる複数の撮像画像を合成して立体画像の表示がなされ
   る表示装置において、 前記複数の撮像画像間における被写体の視差に応じて、
   その被写体の尺度の基準となるメジャーの倍率および視
   差を算出するメジャーパラメータ算出手段と、 前記メジャーパラメータ算出手段にて算出されたメジャ
   ーの倍率および視差に基づいてメジャー画像を生成する
   メジャー画像生成手段と、 前記立体画像中に前記メジャー画像生成手段にて生成さ
   れたメジャー画像を合成する画像合成手段と、を有する
   ことを特徴とする表示装置。
2. 【請求項２】 請求項１に記載の表示装置において、 前記メジャー画像生成手段は、前記メジャーパラメータ
   算出手段にて算出されたメジャーの視差に応じて、前記
   複数の撮像画像に対応する複数のメジャー画像を生成
   し、 前記画像合成手段は、前記複数の撮像画像と前記複数の
   メジャー画像とをそれぞれ合成することを特徴とする表
   示装置。
3. 【請求項３】 請求項１に記載の表示装置において、 前記メジャー画像生成手段は、前記メジャーパラメータ
   算出手段にて算出されたメジャーの視差に応じて複数の
   メジャー画像を生成し、 前記画像合成手段は、前記複数の撮像画像を合成した画
   像と前記複数のメジャー画像を合成した画像とを合成す
   ることを特徴とする表示装置。
4. 【請求項４】 請求項１に記載の表示装置において、 前記立体画像における被写体領域を指定する被写体領域
   指定手段と、 前記複数の撮像画像間での、前記被写体領域指定手段に
   より指示された被写体領域おける複数の対応点を抽出す
   る対応点抽出手段と、をさらに備え、 前記メジャー画像生成手段は、前記対応点抽出手段にて
   抽出された複数の対応点の視差の平均を基に、前記被写
   体領域の尺度の基準となるメジャーの倍率および視差を
   算出することを特徴とする表示装置。
5. 【請求項５】 請求項４に記載の表示装置において、 前記被写体領域指定手段は、カーソル画像が記憶された
   記憶手段と、前記立体画像中におけるカーソルの移動を
   指示するための入力手段とを有し、 前記画像合成手段は、予め設定されたカーソルの初期視
   差および初期位置に基づいて前記複数の撮像画像のそれ
   ぞれに対して前記カーソル画像を合成し、前記入力手段
   によりカーソルの移動の指示があると、該指示に応じた
   カーソルの視差および移動位置に基づいて前記撮像画像
   とカーソル画像との合成を行うことを特徴とする表示装
   置。
6. 【請求項６】 請求項５に記載の表示装置において、 前記対応点抽出手段は、前記被写体領域指定手段によっ
   て指示されたカーソル位置の近傍領域おける複数の対応
   点を抽出することを特徴とする表示装置。
7. 【請求項７】 請求項６に記載の表示装置において、 前記撮像手段を用いた前記複数の撮像画像の撮影に関す
   る撮像系の輻輳角、焦点距離、基線長、画素間隔が記憶
   された記憶手段をさらに備え、 前記メジャーパラメータ算出手段は、前記記憶手段に記
   憶された輻輳角、焦点距離、基線長、画素間隔に基づい
   て、前記対応点抽出手段により抽出された複数の対応点
   における奥行きを算出し、前記複数の撮像画像のいずれ
   か１つの画像中のカーソル位置の、前記奥行きに対する
   他の撮像画像中の位置を求めることにより被写体の視差
   を得ることを特徴とする表示装置。
8. 【請求項８】 請求項７に記載の表示装置において、 前記複数の撮像画像を撮影する撮像系は輻輳角および基
   線長が制御可能で、設定された撮像系の輻輳角、焦点距
   離、基線長、画素間隔を前記メジャーパラメータ算出手
   段に対して出力するように構成され、 前記メジャーパラメータ算出手段は、前記撮像系から出
   力された輻輳角、焦点距離、基線長、画素間隔に基づい
   て、前記対応点抽出手段によい抽出された複数の対応点
   における奥行きを算出し、前記複数の撮像画像のいずれ
   か１つの画像中のカーソル位置の、前記奥行きに対する
   他の撮像画像中の位置を求めることにより被写体の視差
   を得ることを特徴とする表示装置。
9. 【請求項９】 被写体を撮影する少なくとも１つの撮像
   手段を備え、異なる視点から撮影された互いに視野の重
   なる複数の撮像画像のうちのいずれか１つに基づいて表
   示がなされる表示装置において、 前記複数の撮像画像間における被写体の視差に応じて、
   その被写体の尺度の基準となるメジャーの倍率および視
   差を算出するメジャーパラメータ算出手段と、 前記メジャーパラメータ算出手段にて算出されたメジャ
   ーの倍率および視差に基づいてメジャー画像を生成する
   メジャー画像生成手段と、 表示画像中に前記メジャー画像生成手段にて生成された
   メジャー画像を合成する画像合成手段と、を有すること
   を特徴とする表示装置。
10. 【請求項１０】 請求項１または請求項９に記載の表示
    装置において、 前記撮像手段を用いた前記複数の撮像画像の撮影に関す
    る撮像系の輻輳角と基線長および画素間隔が記憶された
    記憶手段をさらに備え、 前記メジャーパラメータ算出手段は、前記記憶手段に記
    憶された輻輳角、基線、画素間隔と前記被写体の視差と
    からメジャーの倍率を算出することを特徴とする表示装
    置。
11. 【請求項１１】 請求項１または請求項９に記載の表示
    装置において、 前記複数の撮像画像を、それぞれ被写体が画像の中心に
    なるように撮像されるものとし、 前記複数の撮像画像間での、画像中心部の被写体近傍領
    域おける複数の対応点を抽出する対応点抽出手段、をさ
    らに備え、 前記メジャーパラメータ算出手段は、前記対応点抽出手
    段にて抽出された複数の対応点の視差に応じて、前記被
    写体領域の尺度の基準となるメジャーの倍率および視差
    を算出することを特徴とする表示装置。
12. 【請求項１２】 請求項１または請求項９に記載の表示
    装置において、 前記複数の撮像画像を撮影する撮像系の光軸が平行とな
    るように設定され、該撮像系の基線長および画素間隔が
    記憶された記憶手段をさらに備え、 前記メジャーパラメータ算出手段は、前記記憶手段に記
    憶された基線長および画素間隔と前記被写体の視差とか
    らメジャーの倍率を算出することを特徴とする表示装
    置。
13. 【請求項１３】 請求項１または請求項９に記載の表示
    装置において、 前記撮像手段を用いた前記複数の撮像画像の撮影に関す
    る撮像系の輻輳角、焦点距離、基線長、画素間隔が記憶
    された記憶手段をさらに備え、 前記メジャーパラメータ算出手段は、前記記憶手段に記
    憶された輻輳角、焦点距離、基線長、画素間隔に基づい
    て、前記被写体の視差を算出するとともに該視差に基づ
    くメジャーの倍率を算出することを特徴とする表示装
    置。