JP2001141422A

JP2001141422A - 画像撮像装置及び画像処理装置

Info

Publication number: JP2001141422A
Application number: JP32033699A
Authority: JP
Inventors: Shuji Ono; 修司小野
Original assignee: Fuji Photo Film Co Ltd
Current assignee: Fujifilm Holdings Corp
Priority date: 1999-11-10
Filing date: 1999-11-10
Publication date: 2001-05-25

Abstract

(57)【要約】【課題】広い視野にわたって被写体の奥行きに関する
情報を取得することのできる画像撮像装置及び画像処理
装置を提供する。【解決手段】２つの異なる視点位置から被写体を見た
場合に得られる被写体の視差画像を撮像する撮像部２０
と、視差画像における被写体の特定領域の像の大きさの
比を検出する大きさ比検出部３０６と、視差画像におけ
る被写体の特定領域の像の位置のずれを検出する位置ず
れ検出部３０４と、位置ずれ及び大きさ比に基づいて、
被写体の特定領域の奥行き値を算出する奥行き算出部３
０８とを備えた。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、被写体の奥行きに
関する情報を取得する画像撮像装置、画像処理装置、画
像処理方法、及び記録媒体に関する。特に本発明は、視
差画像に基づいて被写体の奥行きに関する情報を取得す
る画像撮像装置、画像処理装置、画像処理方法、及び記
録媒体に関する。

【０００２】

【従来の技術】被写体の位置情報を得るために、人間の
両眼立体視の機能を真似て、カメラを２台並べて、異な
る２つの視点から被写体を見た場合の視差画像を撮影
し、被写体の奥行き値を測定するステレオ撮影の技法が
古くからある。視点位置の違いから、被写体の像が視差
画像上で位置がずれることを検出し、像の位置ずれとカ
メラのレンズの焦点距離に基づいて、３角測量の原理に
よりカメラから被写体までの距離を測定する方法が採ら
れている。

【０００３】

【発明が解決しようとする課題】しかしながら、カメラ
を２台並べても、レンズの視野角の限界のため、視点の
移動方向に視差の死角領域が発生し、広い視野にわたる
被写体の奥行き情報を高い精度で得ることができないと
いう問題を生じていた。

【０００４】そこで本発明は、上記の課題を解決するた
めに、広い視野にわたって被写体の奥行きに関する情報
を取得することのできる画像撮像装置、画像処理装置、
画像処理方法、及び記録媒体を提供することを目的とす
る。この目的は特許請求の範囲における独立項に記載の
特徴の組み合わせにより達成される。また従属項は本発
明の更なる有利な具体例を規定する。

【０００５】

【課題を解決するための手段】上記課題を解決するため
に、本発明の第１の形態においては、被写体の奥行きに
関する情報を取得する画像撮像装置であって、２つの異
なる視点位置から被写体を見た場合に得られる被写体の
視差画像を撮像する撮像部と、視差画像における被写体
の特定領域の像の大きさの比を検出する大きさ比検出部
と、大きさ比に基づいて、被写体の特定領域の奥行き値
を算出する奥行き算出部とを備えたことを特徴とする。

【０００６】視差画像における被写体の特定領域の像の
位置のずれを検出する位置ずれ検出部をさらに備え、奥
行き算出部は、位置ずれ及び大きさ比に基づいて、被写
体の特定領域の奥行き値を算出してもよい。

【０００７】奥行き算出部は、被写体の特定領域毎に、
位置ずれ及び大きさ比を考慮する割合を変えて、被写体
の特定領域の奥行き値を算出してもよい。奥行き算出部
は、被写体の特定領域を２つの視点位置の中点から見た
場合の方位によって、位置ずれ及び大きさ比を考慮する
割合を変えて、被写体の特定領域の奥行き値を算出して
もよい。被写体の特定領域が、２つの視点位置を結ぶ直
線の方向に近づくにつれて、大きさ比を考慮する割合を
増やし、被写体の特定領域が、２つの視点位置の中点を
通り、２つの視点位置を結ぶ直線に垂直な平面に近づく
につれて、位置ずれを考慮する割合を増やして、被写体
の特定領域の奥行き値を算出してもよい。

【０００８】撮像部は、視野角の広い光学レンズを有
し、光学レンズを移動させる駆動部をさらに備え、撮像
部は、駆動部が光学レンズを移動させた位置を視点位置
として、被写体の視差画像を撮像してもよい。撮像部
は、視点位置の異なる２つの視野角の広い光学レンズを
有し、２つの光学レンズによって被写体の視差画像を撮
像してもよい。光学レンズは魚眼レンズであり、奥行き
算出部は、撮像部が魚眼レンズによって撮像する被写体
の全方位の領域について奥行き値を算出してもよい。撮
像部は、固体撮像素子を有し、光学レンズによって被写
体の視差画像を固体撮像素子に撮像してもよい。

【０００９】本発明の第２の形態においては、被写体の
奥行きに関する情報を取得する画像処理装置であって、
複数の異なる視点位置から被写体を見た場合に得られる
被写体の複数の視差画像を入力する入力部と、複数の視
差画像における被写体の特定領域の像の大きさの比を検
出する大きさ比検出部と、大きさ比に基づいて、被写体
の特定領域の奥行き値を算出する奥行き算出部とを備え
たことを特徴とする。

【００１０】奥行き算出部が算出した被写体の特定領域
の奥行き値に基づいて、入力部が入力する被写体の画像
の座標変換を行うことにより画像を変換する画像変換部
をさらに備えてもよい。入力部が入力する被写体の画像
が魚眼レンズによって被写体を撮像した全方位画像であ
る場合に、画像変換部は、座標変換によって、全方位画
像を透視投影画像に変換してもよい。画像変換部は、座
標変換によって、被写体の正投影画像を生成してもよ
い。

【００１１】本発明の第３の形態においては、被写体の
奥行きに関する情報を取得する画像処理方法であって、
複数の異なる視点位置から被写体を見た場合に得られる
被写体の複数の視差画像を入力し、複数の視差画像にお
ける被写体の特定領域の像の位置のずれ及び大きさの比
を検出し、被写体の特定領域毎に、位置ずれ及び大きさ
比を考慮する割合を変えて、被写体の特定領域の奥行き
値を算出することを特徴とする。

【００１２】本発明の第４の形態においては、被写体の
奥行きに関する情報を取得するコンピュータ用のプログ
ラムを格納した記録媒体であって、プログラムが、複数
の異なる視点位置から被写体を見た場合に得られる被写
体の複数の視差画像を入力させる入力モジュールと、複
数の視差画像における被写体の特定領域の像の位置のず
れを検出する位置ずれ検出モジュールと、複数の視差画
像における被写体の特定領域の像の大きさの比を検出す
る大きさ比検出モジュールと、被写体の特定領域毎に、
位置ずれ及び大きさ比を考慮する割合を変えて、被写体
の特定領域の奥行き値を算出する奥行き算出モジュール
とを備えたことを特徴とする。

【００１３】なお上記の発明の概要は、本発明の必要な
特徴の全てを列挙したものではなく、これらの特徴群の
サブコンビネーションも又発明となりうる。

【００１４】

【発明の実施の形態】以下、発明の実施の形態を通じて
本発明を説明するが、以下の実施形態は特許請求の範囲
にかかる発明を限定するものではなく、また、実施形態
の中で説明されている特徴の組み合わせの全てが発明の
解決手段に必須であるとは限らない。

【００１５】（実施形態１）本発明の第１の実施形態を
説明する。図１は、画像撮像装置の一例としてのデジタ
ルカメラ１０の構成図である。デジタルカメラ１０に
は、デジタルスチルカメラや静止画像を撮影できるデジ
タルビデオカメラ等が含まれる。デジタルカメラ１０
は、主に撮像ユニット２０、撮像制御ユニット４０、処
理ユニット６０、表示ユニット１００、および操作ユニ
ット１１０を含む。

【００１６】撮像ユニット２０は、撮影および結像に関
する機構部材および電気部材を含む。撮像ユニット２０
はまず、映像を取り込んで処理を施す撮影レンズ２２、
絞り２４、シャッタ２６、光学ＬＰＦ（ローパスフィル
タ）２８、固体撮像素子の一例であるＣＣＤ３０、およ
び撮像信号処理部３２を含む。撮影レンズ２２は、フォ
ーカスレンズやズームレンズ等からなる。この構成によ
り、被写体像がＣＣＤ３０の受光面上に結像する。結像
した被写体像の光量に応じ、ＣＣＤ３０の各センサエレ
メント（図示せず）に電荷が蓄積される（以下その電荷
を「蓄積電荷」という）。蓄積電荷は、リードゲートパ
ルスによってシフトレジスタ（図示せず）に読み出さ
れ、レジスタ転送パルスによって電圧信号として順次読
み出される。

【００１７】デジタルカメラ１０は一般に電子シャッタ
機能を有するので、シャッタ２６のような機械式シャッ
タは必須ではない。電子シャッタ機能を実現するため
に、ＣＣＤ３０にシャッタゲートを介してシャッタドレ
インが設けられる。シャッタゲートを駆動すると蓄積電
荷がシャッタドレインに掃き出される。シャッタゲート
の制御により、各センサエレメントに電荷を蓄積するた
めの時間、すなわちシャッタ速度が制御できる。

【００１８】ＣＣＤ３０から出力される電圧信号、すな
わちアナログ信号は撮像信号処理部３２でＲ、Ｇ、Ｂ成
分に色分解され、まずホワイトバランスが調整される。
つづいて撮像信号処理部３２はガンマ補正を行い、必要
なタイミングでＲ、Ｇ、Ｂ信号を順次Ａ／Ｄ変換し、そ
の結果得られたデジタルの画像データ（以下単に「デジ
タル画像データ」とよぶ）を処理ユニット６０へ出力す
る。

【００１９】撮像ユニット２０はさらに、ファインダ３
４とストロボ３６を有する。ファインダ３４には図示し
ないＬＣＤを内装してもよく、その場合、後述のメイン
ＣＰＵ６２等からの各種情報をファインダ３４内に表示
できる。ストロボ３６は、コンデンサ（図示せず）に蓄
えられたエネルギが放電管３６ａに供給されたときそれ
が発光することで機能する。

【００２０】撮像制御ユニット４０は、レンズ駆動部４
２、フォーカス駆動部４４、絞り駆動部４６、シャッタ
駆動部４８、それらを制御する撮像系ＣＰＵ５０、測距
センサ５２、および測光センサ５４をもつ。レンズ駆動
部４２などの駆動部は、それぞれステッピングモータ等
の駆動手段を有する。後述のレリーズスイッチ１１４の
押下に応じ、測距センサ５２は被写体までの距離を測定
し、測光センサ５４は被写体輝度を測定する。測定され
た距離のデータ（以下単に「測距データ」という）およ
び被写体輝度のデータ（以下単に「測光データ」とい
う）は撮像系ＣＰＵ５０へ送られる。撮像系ＣＰＵ５０
は、ユーザから指示されたズーム倍率等の撮影情報に基
づき、レンズ駆動部４２とフォーカス駆動部４４を制御
して撮影レンズ２２のズーム倍率とピントの調整を行
う。また撮像系ＣＰＵ５０は、視差画像を撮像するため
に、レンズ駆動部４２を制御して撮影レンズ２２の位置
を移動させる。

【００２１】撮像系ＣＰＵ５０は、１画像フレームのＲ
ＧＢのデジタル信号積算値、すなわちＡＥ情報に基づい
て絞り値とシャッタ速度を決定する。決定された値にし
たがい、絞り駆動部４６とシャッタ駆動部４８がそれぞ
れ絞り量の調整とシャッタ２６の開閉を行う。

【００２２】撮像系ＣＰＵ５０はまた、測光データに基
づいてストロボ３６の発光を制御し、同時に絞り２６の
絞り量を調整する。ユーザが映像の取込を指示したと
き、ＣＣＤ３０が電荷蓄積を開始し、測光データから計
算されたシャッタ時間の経過後、蓄積電荷が撮像信号処
理部３２へ出力される。

【００２３】処理ユニット６０は、デジタルカメラ１０
全体、とくに処理ユニット６０自身を制御するメインＣ
ＰＵ６２と、これによって制御されるメモリ制御部６
４、ＹＣ処理部７０、オプション装置制御部７４、圧縮
伸張処理部７８、通信Ｉ／Ｆ部８０を有する。メインＣ
ＰＵ６２は、シリアル通信などにより、撮像系ＣＰＵ５
０との間で必要な情報をやりとりする。メインＣＰＵ６
２の動作クロックは、クロック発生器８８から与えられ
る。クロック発生器８８は、撮像系ＣＰＵ５０、表示ユ
ニット１００に対してもそれぞれ異なる周波数のクロッ
クを提供する。

【００２４】メインＣＰＵ６２には、キャラクタ生成部
８４とタイマ８６が併設されている。タイマ８６は電池
でバックアップされ、つねに日時をカウントしている。
このカウント値から撮影日時に関する情報、その他の時
刻情報がメインＣＰＵ６２に与えられる。キャラクタ生
成部８４は、撮影日時、タイトル等の文字情報を発生
し、この文字情報が適宜撮影画像に合成される。

【００２５】メモリ制御部６４は、不揮発性メモリ６６
とメインメモリ６８を制御する。不揮発性メモリ６６
は、ＥＥＰＲＯＭ（電気的消去およびプログラム可能な
ＲＯＭ）やＦＬＡＳＨメモリなどで構成され、ユーザー
による設定情報や出荷時の調整値など、デジタルカメラ
１０の電源がオフの間も保持すべきデータが格納されて
いる。不揮発性メモリ６６には、場合によりメインＣＰ
Ｕ６２のブートプログラムやシステムプログラムなどが
格納されてもよい。一方、メインメモリ６８は一般にＤ
ＲＡＭのように比較的安価で容量の大きなメモリで構成
される。メインメモリ６８は、撮像ユニット２０から出
力されたデータを格納するフレームメモリとしての機
能、各種プログラムをロードするシステムメモリとして
の機能、その他ワークエリアとしての機能をもつ。不揮
発性メモリ６６とメインメモリ６８は、処理ユニット６
０内外の各部とメインバス８２を介してデータのやりと
りを行う。

【００２６】ＹＣ処理部７０は、デジタル画像データに
ＹＣ変換を施し、輝度信号Ｙと色差（クロマ）信号Ｂ−
Ｙ、Ｒ−Ｙを生成する。輝度信号と色差信号はメモリ制
御部６４によってメインメモリ６８に一旦格納される。
圧縮伸張処理部７８はメインメモリ６８から順次輝度信
号と色差信号を読み出して圧縮する。こうして圧縮され
たデータ（以下単に「圧縮データ」という）は、オプシ
ョン装置制御部７４を介してオプション装置７６の一種
であるメモリカードへ書き込まれる。

【００２７】処理ユニット６０はさらにエンコーダ７２
をもつ。エンコーダ７２は輝度信号と色差信号を入力
し、これらをビデオ信号（ＮＴＳＣやＰＡＬ信号）に変
換してビデオ出力端子９０から出力する。オプション装
置７６に記録されたデータからビデオ信号を生成する場
合、そのデータはまずオプション装置制御部７４を介し
て圧縮伸張処理部７８へ与えられる。つづいて、圧縮伸
張処理部７８で必要な伸張処理が施されたデータはエン
コーダ７２によってビデオ信号へ変換される。

【００２８】オプション装置制御部７４は、オプション
装置７６に認められる信号仕様およびメインバス８２の
バス仕様にしたがい、メインバス８２とオプション装置
７６の間で必要な信号の生成、論理変換、または電圧変
換などを行う。デジタルカメラ１０は、オプション装置
７６として前述のメモリカードのほかに、例えばＰＣＭ
ＣＩＡ準拠の標準的なＩ／Ｏカードをサポートしてもよ
い。その場合、オプション装置制御部７４は、ＰＣＭＣ
ＩＡ用バス制御ＬＳＩなどで構成してもよい。

【００２９】通信Ｉ／Ｆ部８０は、デジタルカメラ１０
がサポートする通信仕様、たとえばＵＳＢ、ＲＳ−２３
２Ｃ、イーサネット、Ｂｌｕｅｔｏｏｔｈ、ＩｒＤＡな
どの仕様に応じたプロトコル変換等の制御を行う。通信
Ｉ／Ｆ部８０は、必要に応じてドライバＩＣを含み、ネ
ットワークを含む外部機器とコネクタ９２を介して通信
する。そうした標準的な仕様のほかに、例えばプリン
タ、カラオケ機、ゲーム機等の外部機器との間で独自の
Ｉ／Ｆによるデータ授受を行う構成としてもよい。

【００３０】表示ユニット１００は、ＬＣＤモニタ１０
２とＬＣＤパネル１０４を有する。それらはＬＣＤドラ
イバであるモニタドライバ１０６、パネルドライバ１０
８によってそれぞれ制御される。ＬＣＤモニタ１０２
は、例えば２インチ程度の大きさでカメラ背面に設けら
れ、現在の撮影や再生のモード、撮影や再生のズーム倍
率、電池残量、日時、モード設定のための画面、被写体
画像などを表示する。ＬＣＤパネル１０４は例えば小さ
な白黒ＬＣＤでカメラ上面に設けられ、画質（ＦＩＮＥ
／ＮＯＲＭＡＬ／ＢＡＳＩＣなど）、ストロボ発光／発
光禁止、標準撮影可能枚数、画素数、電池容量などの情
報を簡易的に表示する。

【００３１】操作ユニット１１０は、ユーザーがデジタ
ルカメラ１０の動作やそのモードなどを設定または指示
するために必要な機構および電気部材を含む。パワース
イッチ１１２は、デジタルカメラ１０の電源のオンオフ
を決める。レリーズスイッチ１１４は、半押しと全押し
の二段階押し込み構造になっている。一例として、半押
しでＡＦおよびＡＥがロックし、全押しで撮影画像の取
込が行われ、必要な信号処理、データ圧縮等の後、メイ
ンメモリ６８、オプション装置７６等に記録される。操
作ユニット１１０はこれらのスイッチの他、回転式のモ
ードダイヤルや十字キーなどによる設定を受け付けても
よく、それらは図１において機能設定部１１６と総称さ
れている。操作ユニット１１０で指定できる動作または
機能の例として、「ファイルフォーマット」、「特殊効
果」、「印画」、「決定／保存」、「表示切換」等があ
る。ズームスイッチ１１８は、ズーム倍率を決める。

【００３２】以上の構成による主な動作は以下のとおり
である。まずデジタルカメラ１０のパワースイッチ１１
２がオンされ、カメラ各部に電力が供給される。メイン
ＣＰＵ６２は、機能設定部１１６の状態を読み込むこと
で、デジタルカメラ１０が撮影モードにあるか再生モー
ドにあるかを判断する。

【００３３】カメラが撮影モードにあるとき、メインＣ
ＰＵ６２はレリーズスイッチ１１４の半押し状態を監視
する。半押し状態が検出されたとき、メインＣＰＵ６２
は測光センサ５４および測距センサ５２からそれぞれ測
光データと測距データを得る。得られたデータに基づい
て撮像制御ユニット４０が動作し、撮影レンズ２２のピ
ント、絞りなどの調整が行われる。調整が完了すると、
ＬＣＤモニタ１０２に「スタンバイ」などの文字を表示
してユーザーにその旨を伝え、つづいてレリーズスイッ
チ１１４の全押し状態を監視する。レリーズスイッチ１
１４が全押しされると、所定のシャッタ時間をおいてシ
ャッタ２６が閉じられ、ＣＣＤ３０の蓄積電荷が撮像信
号処理部３２へ掃き出される。撮像信号処理部３２によ
る処理の結果生成されたデジタル画像データはメインバ
ス８２へ出力される。デジタル画像データは一旦メイン
メモリ６８へ格納され、この後ＹＣ処理部７０と圧縮伸
張処理部７８で処理を受け、オプション装置制御部７４
を経由してオプション装置７６へ記録される。記録され
た画像は、フリーズされた状態でしばらくＬＣＤモニタ
１０２に表示され、ユーザーは撮影画像を知ることがで
きる。以上で一連の撮影動作が完了する。

【００３４】一方、デジタルカメラ１０が再生モードの
場合、メインＣＰＵ６２は、メモリ制御部６４を介して
メインメモリ６８から最後に撮影した画像を読み出し、
これを表示ユニット１００のＬＣＤモニタ１０２へ表示
する。この状態でユーザーが機能設定部１１６にて「順
送り」、「逆送り」を指示すると、現在表示している画
像の前後に撮影された画像が読み出され、ＬＣＤモニタ
１０２へ表示される。

【００３５】本実施形態において、撮像ユニット２０
は、被写体の画像、特に被写体の視差画像を撮像する。
図２は、デジタルカメラ１０の撮像ユニット２０の撮影
レンズ２２及び固体撮像素子の一例であるＣＣＤ３０の
構成の一例である。図において撮像ユニット２０に含ま
れる他の構成要素は省略し、撮像ユニット２０の撮影レ
ンズ２２及びＣＣＤ３０の構成のみを示す。この例で
は、撮影レンズ２２とＣＣＤ３０が２つ設けられ、それ
ぞれの撮影レンズ２２が結像する被写体の像がＣＣＤ３
０に受光される。ＣＣＤ３０は２つ設ける必要はなく、
２つの撮影レンズ２２が結像する被写体の像を受光でき
る共通のＣＣＤ３０を１つ設けてもよい。

【００３６】撮影レンズ２２は、視野角の広い光学レン
ズであることが望ましく、広角レンズまたは魚眼レンズ
等であってもよい。魚眼レンズは視野角が１８０度に達
するように設計されており、広い視野の被写体を撮影す
る上で最も好ましい。

【００３７】本実施形態のＣＣＤ３０は、固体撮像素子
の一例である。固体撮像素子は、半導体化および集積化
された撮像素子で、構造上、半導体基板上に光電変換と
電荷の蓄積機能をもった画素群を二次元的に配列したも
のである。固体撮像素子は、撮影レンズ２２によって結
像された光を受光し、光電変換作用によって電荷を蓄積
する。蓄積された電荷像は一定の順序に走査され、電気
信号として読み出される。

【００３８】固体撮像素子は、基本的に、外部から入射
する光を受光して光電変換を行うための受光素子部を含
む半導体素子と、半導体素子を収納するパッケージと、
受光素子部への光の入射を可能にするため、パッケージ
の半導体素子と対向する位置に配置された透明保護部材
と、透明保護部材の外側表面あるいは内側において、透
明保護部材よりも高い遮光性を有する遮光部材から構成
されていることが好ましい。これにより、撮像される画
像の品質を向上させることができる。さらに透明保護部
はマイクロレンズの機能を持つことにより、結像される
画像の解像度を向上させてもよい。受光素子部と透明保
護部の間に、または、透明保護部の上または透明保護部
中にカラーフィルタを設け、カラーの画像を撮像できる
ようにしてもよい。

【００３９】本実施形態のＣＣＤ３０は、視差画像にお
ける視差を正確に検出できるように、解像度が十分に高
い電荷結合素子（ＣＣＤ）１次元イメージセンサ（リニ
アセンサ）又は２次元イメージセンサ（エリアセンサ）
イメージセンサであることが望ましい。固体撮像素子と
してＣＣＤ以外に、ＭＯＳイメージセンサ、ＣｄＳ−Ｓ
ｅ密着型イメージセンサ、ａ−Ｓｉ（アモルファスシリ
コン）密着型イメージセンサ、又はバイポーラ密着型イ
メージセンサのいずれかを用いてもよい。

【００４０】図３は、撮像ユニット２０の撮影レンズ２
２及びＣＣＤ３０の構成の他の例である。この例では、
撮影レンズ２２が１つ設けられ、レンズ駆動部４２が撮
影レンズ２２を移動させて、被写体を異なる視点から見
た場合の視差画像をＣＣＤ３０に撮像する。

【００４１】図４は、撮像ユニット２０の撮影レンズ２
２及びＣＣＤ３０の構成の他の例である。撮影レンズ２
２は本撮影用と視差撮影用に２つ設けられ、本撮影用の
撮影レンズ２２は、被写体の画像をＣＣＤ３０に撮像
し、視差撮影用の撮影レンズ２２は、被写体の視差画像
をＣＣＤ３０に撮像する。本撮影用の撮影レンズ２２
は、標準の光学レンズであってもよく、視野角の広い広
角レンズまたは魚眼レンズであってもよい。視差撮影用
の撮影レンズ２２は、視差画像を撮像するために、レン
ズ駆動部４２によって位置が移動する。本撮影用の撮影
レンズ２２が像を受光させるＣＣＤ３０と、視差撮影用
の撮影レンズ２２が像を受光させるＣＣＤ３０とで、Ｃ
ＣＤの解像度や感度が異なっていてもよい。

【００４２】本実施形態の処理ユニット６０は、撮像ユ
ニット２０が撮像した被写体の視差画像に基づいて、被
写体の奥行き情報を獲得する。図５は、処理ユニット６
０の機能ブロック図である。処理ユニット６０は、視差
画像記憶部３０２と、位置ずれ検出部３０４と、大きさ
比検出部３０６と、奥行き算出部３０８と、記録部３１
０とを有する。

【００４３】視差画像記憶部３０２は、撮像ユニット２
０が撮像した被写体の複数の視差画像を記憶する。位置
ずれ検出部３０４は、視差画像記憶部３０２が記憶する
複数の視差画像において、被写体の特定領域の像の位置
が視差によってずれる量を検出する。大きさ比検出部３
０６は、視差画像記憶部３０２が記憶する視差画像にお
いて、被写体の特定領域の像の大きさが視差によって変
化する比率を検出する。

【００４４】奥行き算出部３０８は、位置ずれ検出部３
０４が検出した位置ずれと、大きさ比検出部３０６が検
出した大きさ比とを用いて、被写体の特定領域の奥行き
値を算出する。

【００４５】位置ずれ検出部３０４、大きさ比検出部３
０６、及び奥行き算出部３０８によって、視差画像に撮
像された被写体の一部の領域または全部の領域につい
て、被写体の奥行き値が算出される。

【００４６】奥行き算出部３０８は算出した被写体の奥
行き情報を撮像制御ユニット４０へ入力し、撮像制御ユ
ニット４０は、被写体の奥行き情報に基づいて、フォー
カス駆動部４４、絞り駆動部４６及びシャッタ駆動部４
８を制御して、フォーカス、絞り、シャッター速度を調
整してもよい。

【００４７】記録部３１０は、奥行き算出部３０８が算
出した被写体の奥行き情報、及び視差画像記憶部３０２
が記憶する被写体の視差画像をオプション装置７６に記
録させる。

【００４８】処理ユニット６０の位置ずれ検出部３０
４、大きさ比検出部３０６、及び奥行き算出部３０８の
機能は一例として、図１のメインＣＰＵ６２と、メイン
メモリ６８や不揮発性メモリ６６に格納またはロードさ
れたプログラムとの連携によって実現することができ
る。メインＣＰＵ６２が内蔵メモリをもつ場合にはその
メモリに必要なプログラムを格納し、諸機能をファーム
ウエアとして実現してもよい。処理ユニット６０の視差
画像記憶部３０２が記憶すべき視差画像データは、メイ
ンメモリ６８または不揮発性メモリ６６に記憶させるこ
とができる。また視差画像データは圧縮伸張処理部７８
によって圧縮されてもよい。処理ユニット６０の記録部
３１０の機能は一例として、オプション装置制御部７４
によって実現することができる。また、ユーザの指示を
受け付ける操作ユニット１１０が被写体の画像の特定領
域を処理ユニット６０に指示し、奥行き算出部３０８
は、ユーザが指定する特定領域について奥行き値を算出
してもよい。デジタルカメラ１０において処理ユニット
６０の上述の機能を実現する設計には相当の自由度があ
る。

【００４９】次に、撮影レンズ２２の最も望ましい形態
である、視野角の広い光学レンズの一例としての魚眼レ
ンズのレンズ特性を説明する。図６は、魚眼レンズ３２
０が結像する被写体の点の入射角θと、全方位画像３２
２における被写体の点の像の位置との関係を説明する図
である。魚眼レンズ３２０の中心はｘｙ平面の原点の位
置にある。被写体の点の方位は、被写体の点から魚眼レ
ンズ３２０への入射光が魚眼レンズ３２０の光軸となす
入射角θで表される。入射角θは被写体の点の半画角で
ある。全方位画像３２２の中心はＸＹ平面の原点の位置
にある。被写体の点の全方位画像３２２上での位置を、
ＸＹ平面の原点からの距離ｒで表す。この距離ｒは像高
とも呼ばれる。魚眼レンズの焦点距離をｆとすると、被
写体の点の位置ｒと入射角θの間には、ｒ＝ｆ・θの関
係がある。

【００５０】このように、魚眼レンズは、視野角が１８
０度であり、被写体の全方位の画像を撮像面に結像する
ことができる。特に、被写体の点の位置ｒと入射角θの
間に成り立つレンズ特性を示す関係式がｒ＝ｆ・θとな
る魚眼レンズは「ｆθレンズ」と呼ばれ、広く用いられ
ている。撮影レンズ２２として、ｆθレンズの代わり
に、レンズ特性を示す関係式がｒ＝ｆ・ｓｉｎθとなる
「ｆｓｉｎθレンズ」と呼ばれる魚眼レンズを用いても
よい。また、一般に位置ｒが入射角θに対して単調に増
加し、被写体の全方位の領域の点が、有限の位置ｒに撮
像される魚眼レンズであればよく、必ずしもｆθレン
ズ、ｆｓｉｎθレンズの特性を示す魚眼レンズでなくて
もよい。魚眼レンズは視野角が１８０度に達するように
設計されており、広い視野の被写体を撮影する上で最も
好ましい。しかし、撮影レンズ２２は、視野角が十分に
広く、広い視野にわたって被写体を撮像することができ
る光学レンズであれば、必ずしも魚眼レンズである必要
はなく、視野角の広い広角レンズを用いてもよい。

【００５１】図７は、２つの魚眼レンズを用いて被写体
を見た場合の視差の説明図である。魚眼レンズ３２４及
び３２６は、それぞれ点Ｌ、Ｒの位置を視点位置とする
ように置かれている。点Ｌと点Ｒは距離２ｄだけ離れて
いる。線３２８及び３３０はそれぞれ魚眼レンズ３２４
及び３２６の光軸である。点Ｌ、Ｒの中点を点Ｏとす
る。被写体の奥行き値は、点Ｏからの距離によって定義
する。被写体の点Ａの奥行き値は、線分ＯＡの長さＺで
ある。また線分ＯＡが、点Ｏから引いた垂線３２９とな
す角をθとする。角θは点Ｏから点Ａを見た場合の点Ａ
の方位角（半画角）である。

【００５２】線分ＬＡが魚眼レンズ３２４の光軸３２８
となす角、すなわち点Ａの魚眼レンズ３２４への入射角
をθ１とし、線分ＲＡが魚眼レンズ３２６の光軸３３０
となす角、すなわち点Ａの魚眼レンズ３２６への入射角
をθ２とする。入射角θ１は視点Ｌから点Ａを見た場合
の点Ａの方位、入射角θ２は視点Ｒから点Ａを見た場合
の点Ａの方位である。視点が異なるために、点Ａの方位
に差θ１−θ２が生じる。これを視差角と呼ぶ。線分Ｌ
Ａと線分ＲＡのなす角をθＡとすると、θＡ＝θ１−θ
２であるから、便宜上、θＡを、点Ａを異なる視点Ｌ、
Ｒから見た場合の視差角と考えてもよい。

【００５３】魚眼レンズ３２２及び３２４がｆθレンズ
である場合、像高ｒと入射角θの間にｒ＝ｆ・θの関係
が成立するので、視点Ｌ、Ｒから点Ａを見た場合の像高
ｒ_Ｌ、ｒ_Ｒの差と、入射角θ１、θ２の差との間には、
次の比例関係

【００５４】ｒ_Ｌ−ｒ_Ｒ＝ｆ・（θ１−θ２）が成り立つ。

【００５５】したがって、魚眼レンズ３２４及び３２６
で写した視差画像において、点Ａの像高の差ｒ_Ｌ−ｒ_Ｒ
を検出すると、魚眼レンズの焦点距離ｆが既知である場
合、入射角の差θ１−θ２を計算することができ、視差
角θＡを算出できる。

【００５６】次に、視差角θＡと奥行き値Ｚ、方位角θ
の間に成り立つ関係式を導く。角ＬＡＯをθＬ、角ＲＡ
ＯをθＲとおく。３角形ＬＡＨ及び３角形ＲＡＨに注目
すると、

【００５７】ｔａｎ（θ＋θＬ）＝（Ｚ・ｓｉｎθ＋
ｄ）／（Ｚ・ｃｏｓθ）ｔａｎ（θ−θＲ）＝（Ｚ・ｓｉｎθ−ｄ）／（Ｚ・ｃ
ｏｓθ）が成り立つ。

【００５８】したがって、視差角θＡは、 θＡ＝θＬ＋θＲ＝ｔａｎ^−１（Ｚ・ｓｉｎθ＋ｄ）／（Ｚ・ｃｏｓθ） −ｔａｎ^−１（Ｚ・ｓｉｎθ−ｄ）／（Ｚ・ｃｏｓθ）（１）と書ける。

【００５９】図８は、視差角θＡの式（１）のグラフで
ある。視点間距離２ｄ、及び奥行き値Ｚをある値に固定
して、方位角θの値を変えて、視差角θＡの値をグラフ
にした。方位角θ＝０のとき、視差角θＡは最大であ
る。方位角θ＝π／２のとき、視差角θＡは０になる。

【００６０】図８のグラフから明らかなように、魚眼レ
ンズの並びの横方向に近い領域にある被写体に対して
は、視差角が非常に小さくなるため、視差画像上での像
の位置のずれは極めて小さくなる。図９は、被写体の視
差角の大きさの違いを説明する図である。点Ａ、Ｂのよ
うに、方位角θが０に近い領域にある被写体の点につい
ては視差角θＡ、θＢが十分に大きく、視差画像上での
像の位置のずれを検出することは容易である。点Ａより
も点Ｂの方が視差角が大きいから、位置ずれも大きい。
これは点Ｏからの距離が近い被写体ほど、視差画像上で
の像の位置ずれが大きいことを意味する。点Ｃ、Ｄのよ
うに、方位角θがπ／２に近い領域にある被写体の点に
ついては視差角θＣ、θＤは小さく、視差画像上での像
の位置のずれを検出することは困難になる。点Ｃよりも
点Ｄの方が視差角がさらに小さくなっており、点Ｏから
の距離が遠い被写体ほど、視差画像上での像の位置ずれ
が小さくなる。

【００６１】このように魚眼レンズの並びの横方向に
は、視差画像において位置のずれが小さくなる領域が存
在する。この領域を「死角」領域と呼ぶ。死角領域で
は、位置ずれによって、被写体の奥行き値を求めること
は困難であるため、別の方法を用いて奥行き値を求め
る。魚眼レンズの横方向では、視差画像において、被写
体のある部分領域の大きさが変化することを用いる。

【００６２】図１０は、異なる視点から被写体の領域を
見た場合の大きさの違いを説明する図である。被写体の
特定領域３３２は図の位置にあり、特定領域３３２上の
ある１点をＣとする。点Ｏから見た点Ｃの方位角をθと
する。魚眼レンズ３２４が撮像面３３４に特定領域３３
２を結像した像の大きさをＳ_Ｌとする。魚眼レンズ３２
６が撮像面３３６に特定領域３３２を結像した像の大き
さをＳ_Ｒとする。視点Ｌ、視点Ｒから特定領域３３２を
見た場合の見かけの角度をそれぞれθ_Ｌ、θ_Ｒとする。
また、点Ｏから点Ｃまでの距離をＺとし、点Ｌ、Ｒから
点Ｃまでの距離をそれぞれＺ_Ｌ、Ｚ_Ｒとする。

【００６３】異なる視点位置Ｌ、Ｒで特定領域３３２を
見た場合に、見かけの角度θ_Ｌ、θ _Ｒ、像の大きさ
Ｓ_Ｌ、Ｓ_Ｒには違いが生じる。ｆθレンズの特性から

【００６４】Ｓ_Ｌ＝ｆ・θ_Ｌ，Ｓ_Ｒ＝ｆ・θ_Ｒが成り立つ。したがって

【００６５】Ｓ_Ｌ／Ｓ_Ｒ＝θ_Ｌ／θ_Ｒ（２）であり、像の大きさの比Ｓ_Ｌ／Ｓ_Ｒは見かけの角度の比
θ_Ｌ／θ_Ｒに等しい。

【００６６】一方、被写体までの距離と、見かけの角度
との間には反比例の関係があり、距離が近いほど、見か
けの角度が大きくなる。したがって、距離の比Ｚ_Ｌ／Ｚ
_Ｒは見かけの角度の比θ_Ｌ／θ_Ｒの逆数に等しい。すな
わち

【００６７】Ｚ_Ｌ／Ｚ_Ｒ＝θ_Ｒ／θ_Ｌ（３）である。したがって（２）、（３）より、

【００６８】Ｓ_Ｌ／Ｓ_Ｒ＝Ｚ_Ｒ／Ｚ_Ｌ（４）が成り立ち、像の大きさの比Ｓ_Ｌ／Ｓ_Ｒは距離の比Ｚ_Ｌ
／Ｚ_Ｒの逆数である。これにより、視差画像における像
の大きさの比を検出すれば、距離の比を算出できる。

【００６９】次に距離比Ｚ_Ｌ／Ｚ_Ｒ、被写体の奥行き値
Ｚ、及び視点間距離２ｄの間に成り立つ関係式を導く。
図１１は、異なる視点から見た場合の被写体の点までの
距離の違いを説明する図である。点Ｃは図１０の被写体
の特定領域３３２の１点である。図１０と同じ記号を用
いて説明する。３角形ＣＲＨ及び３角形ＣＬＨに注目す
ると、

【００７０】Ｚ_Ｒ ^２＝（Ｚ・ｃｏｓθ）^２＋（Ｚ・ｓｉｎθ−ｄ）^２Ｚ_Ｌ ^２＝（Ｚ・ｃｏｓθ）^２＋（Ｚ・ｓｉｎθ＋ｄ）^２が成り立つ。これより、距離の比Ｚ_Ｌ／Ｚ_Ｒは

【００７１】（Ｚ_Ｌ／Ｚ_Ｒ）^２＝｛（Ｚ・ｃｏｓθ）^２＋（Ｚ・ｓｉｎθ＋ｄ）^２｝／｛（Ｚ・ｃｏｓθ）^２＋（Ｚ・ｓｉｎθ−ｄ）^２｝（５）と書ける。したがって、（４）、（５）により、像の大
きさ比を検出すると、被写体の方位角θ、視点間距離２
ｄから、被写体の奥行き値を算出することができる。

【００７２】図１２は、像の大きさ比Ｓ_Ｌ／Ｓ_Ｒのグラ
フである。式（４）、（５）により定まる大きさ比Ｓ_Ｌ
／Ｓ_Ｒの式において、ｄが５０ミリメートルであり、Ｚ
が１００、２００、４００、８００ミリメートルのいず
れかである場合に、方位角θの値を変えて、大きさ比Ｓ
_Ｌ／Ｓ_Ｒの変化をグラフにした。図から明らかなよう
に、方位角θ＝０の場合には、左右の魚眼レンズで見た
場合の大きさ比は１であり、視差画像において像の大き
さは同じである。方位角θ＝π／２の場合には、大きさ
比が１より小さくなり、視差画像において像の大きさに
違いが生じる。

【００７３】このように、魚眼レンズの並びの横方向で
は、視差画像において像の大きさが大きく異なるので、
大きさ比から奥行き値を容易に算出できる。一方、方位
角θが０に近い領域では、視差画像において像の大きさ
にほとんど違いがないため、大きさ比から奥行き値を求
めることは困難になる。

【００７４】像の位置のずれ及び像の大きさの比につい
て、以上述べたことより、方位角θが０に近い領域で
は、位置ずれの検出が容易であるが、大きさ比の検出が
困難である。一方、方位角θがπ／２に近い領域では、
大きさ比の検出が容易であるが、位置ずれの検出が困難
である。

【００７５】次に、位置ずれと大きさ比の関係を調べ
る。図１３は、位置ずれと大きさ比の関係を天球上で説
明した図である。天球は視野の無限遠方であり、図では
上半球のみ示す。魚眼レンズ３２４、３２６の視点Ｌ、
Ｒの中点Ｏを通り、直線ＬＲに垂直な平面を半円３５０
とする。また、視点Ｌ、Ｒを結ぶ直線と天球が交わる点
を点３５２及び３５４とする。

【００７６】天球において、被写体の点を中点Ｏから見
た場合の方位角θは、被写体の点と中点Ｏを結ぶ直線が
半円３５０となす角である。方位角θが０（ゼロ）とな
る領域では、位置ずれが最も強く現れ、大きさ比が完全
に消失する。この領域は半円３５０である。

【００７７】一方、中点Ｏから見た場合の方位角θがπ
／２すなわち直角である領域では、大きさ比が最も強く
現れ、位置ずれが完全に消失する。この領域は、点３５
２と視点Ｒを結ぶ線分、及び点３５４と視点Ｌを結ぶ線
分上の点である。

【００７８】位置ずれ及び大きさ比の値は、視点Ｌ、Ｒ
を結ぶ直線、すなわちｘ軸の周りで対称である。半円３
５０と平行な面で天球を切った場合の断面を考えると、
この断面は半円であり、半円の円周上の点は同一の位置
ずれ、大きさ比の値を持つ。したがって、位置ずれ及び
大きさ比の値は、ｘ軸を通る任意の平面で天球を切った
断面で、議論することができる。ｘ軸を通る平面の一例
として天球の地平面であるｘｙ平面を考える。

【００７９】図１４は、位置ずれと大きさ比の関係をｘ
ｙ平面で説明した図である。被写体の点Ａが方位角θの
方位にあるとして、３角形ＯＡＨをｘ軸の周りに回転し
てできる円錐を考える。このように、ある方位角θが決
められたとき、円錐の頂点を中点Ｏとし、円錐角がπ／
２−θである円錐が規定される。

【００８０】方位角θがπ／２に近い場合、円錐内の点
はｘ軸の近傍の領域にある。この円錐内の点について
は、大きさ比が強く現れ、位置ずれはほとんど消失す
る。一方、方位角θが０に近い場合、円錐角がπ／２で
あり、円錐内にはｙ軸近傍の点を除くほとんどの点を含
むようになる。円錐外にあるｙ軸近傍の点については、
位置ずれが強く現れ、大きさ比はほとんど消失する。

【００８１】このように、位置ずれと大きさ比の強弱
は、被写体の方位によって相互に補完し合う関係にあ
る。したがって、被写体の方位によって、位置ずれと大
きさ比のいずれかを用いて奥行き値を算出したり、位置
ずれから求めた奥行き値と大きさ比から求めた奥行き値
を適当な重み付けで合成して、奥行き値を算出すること
ができる。

【００８２】たとえば、被写体の領域の方位角θが０に
近いほど、位置ずれを考慮する割合を増やし、方位角が
π／２に近いほど、大きさ比を考慮する割合を増やすよ
うに、重み付けをする。また、所定の値の方位角θＭ、
θＮを決めて、θＭより大きい方位角θにある領域につ
いては、大きさ比によって奥行き値を求め、θＮより小
さい方位角θにある領域については、位置ずれによって
奥行き値を求めてもよい。θＭより小さく、θＮより大
きい方位角θにある領域については、位置ずれと大きさ
比を考慮する割合を適当に決めて、奥行き値を求めても
よい。

【００８３】また、他の方法として、視差画像に写され
た被写体の特定領域の奥行き値を求める際、その特定領
域の位置ずれと大きさ比の両方を検出して、検出精度が
高い方を奥行き値計算に用いてもよい。特に重なりのあ
る被写体を撮影した場合は、方位だけでなく、被写体の
奥行き分布によって、位置ずれと大きさ比のどちらの検
出精度が高くなるかが変わることがある。そのため、被
写体の方位だけ位置ずれと大きさ比の考慮の割合を決め
るのではなく、視差画像に写された被写体の領域毎に、
位置ずれと大きさ比のどちらを用いるか、あるいは位置
ずれと大きさ比を考慮する割合を決めることがより好ま
しい。

【００８４】視差角の式（１）、及び大きさ比Ｓ_Ｌ／Ｓ
_Ｒの式（４）、（５）を詳しく解析すると、位置ずれと
大きさ比の検出精度の比が一定となる被写体の領域は、
被写体の方位だけでは決まらず、被写体の奥行き値にも
依存することがわかる。したがって、より正確には、被
写体の方位が同じでも、被写体までの距離が違えば、位
置ずれと大きさ比の考慮の割合を変える必要が生じる。
このため、視差画像に写された被写体の特定領域の奥行
き値を求める際、その特定領域の位置ずれと大きさ比を
検出して、位置ずれと大きさ比の検出精度の高い方を優
先して用いて、特定領域の仮の奥行き値を算出する。そ
の後、特定領域の方位と仮の奥行き値に基づいて、位置
ずれと大きさ比の考慮の割合を決めて、奥行き値を再度
求め直すことがより好ましい。

【００８５】このように、位置ずれと大きさ比を用い
て、被写体の奥行き値を求める計算方法にはいくつもの
変形が考えられるが、いずれにしても位置ずれと大きさ
比を組み合わせて、被写体の領域毎の奥行き値を求める
ことに本質的な特徴がある。

【００８６】図１５は、被写体の奥行き値の算出処理の
フローチャートである。撮像ユニット２０が撮像した視
差画像を入力し（Ｓ１００）、視差画像に写された被写
体の特定領域を選択する（Ｓ１０２）。特定領域の選択
は、視差画像の領域を適当に分割し、自動的に分割され
た領域を順次選択してもよいし、ユーザが操作ユニット
１１０を用いて指定した被写体の領域を選択してもよ
い。位置ずれ検出部３０４は、被写体の特定領域の像の
位置のずれを検出する（Ｓ１０４）。大きさ比検出部３
０６は、被写体の特定領域の像の大きさ比を検出する
（Ｓ１０６）。奥行き算出部３０８は、位置ずれと大き
さ比を用いて、特定領域の奥行き値を算出する（Ｓ１０
８）。

【００８７】図１６は、奥行き値算出処理Ｓ１０８のフ
ローチャートである。視点間の中点から見た被写体の特
定領域の方位角θに基づいて、位置ずれと大きさ比を考
慮する割合γを決める（Ｓ２００）。方位角θが０に近
いほど、位置ずれを考慮する割合が大きく、方位角θが
π／２に近いほど、大きさ比を考慮する割合が大きい。
位置ずれに基づいて、式（１）を用いて特定領域の奥行
き値Ｚ１を算出する（Ｓ２０２）。大きさ比に基づい
て、式（４）、（５）を用いて特定領域の奥行き値Ｚ２
を算出する（Ｓ２０４）。位置ずれと大きさ比を考慮す
る割合γに基づいて、奥行き値Ｚ１及びＺ２を合成し
て、特定領域の奥行き値Ｚを算出する。奥行き値Ｚ１及
びＺ２を合成して奥行き値Ｚを算出する方法として、た
とえば、割合γでＺ１とＺ２の重み付け平均を計算して
Ｚとする。

【００８８】奥行き値算出処理Ｓ１０８には、いくつか
の変形が考えられる。図１７は、奥行き値算出処理Ｓ１
０８の変形例のフローチャートである。被写体の特定領
域の位置ずれと大きさ比の検出精度を比較して、位置ず
れと大きさ比を考慮する割合γを決める（Ｓ２０１）。
それ以降のＳ２０２、Ｓ２０４、Ｓ２０６の処理は図１
６と同じである。この変形例では、被写体の特定領域の
方位角θで割合γを決めるのではなく、特定領域の位置
ずれと大きさ比の検出精度の良い方の考慮の度合いを大
きくするように割合γを決める。

【００８９】図１８は、奥行き値算出処理Ｓ１０８の他
の変形例のフローチャートである。被写体の特定領域の
位置ずれと大きさ比の検出精度を比較し、どちらか精度
の良い方の値から、特定領域の仮の奥行き値Ｚ３を算出
する（Ｓ２１０）。特定領域の方位角θと仮の奥行き値
Ｚ３に基づいて、位置ずれと大きさ比を考慮する割合γ
を決める（Ｓ２１２）。それ以降のＳ２０２、Ｓ２０
４、Ｓ２０６の処理は図１６と同じである。この変形例
では、割合γを、方位角θと仮の奥行き値Ｚ３から決め
る点が異なる。

【００９０】図１９は、奥行き値算出処理Ｓ１０８の他
の変形例のフローチャートである。被写体の特定領域の
方位角θが所定の値θＭより大きいなら（Ｓ２２０）、
大きさ比に基づいて特定領域の奥行き値Ｚを計算し（Ｓ
２２２）、そうでないなら、Ｓ２２４に進む。特定領域
の方位角θがθＮより小さいなら（Ｓ２２４）、位置ず
れに基づいて特定領域の奥行き値Ｚを計算し（Ｓ２２
６）、そうでないなら、Ｓ２２８に進む。Ｓ２２８で
は、位置ずれと大きさ比を考慮する割合を決めて特定領
域の奥行き値Ｚを計算する。Ｓ２２８の処理は、図１
６、１７、１８のいずれかの処理を用いることができ
る。

【００９１】位置ずれと大きさ比の検出の精度や処理コ
ストは、撮像ユニット２０のＣＣＤ３０の解像度や画像
処理を行う処理ユニット６０のメインＣＰＵ６２、不揮
発性メモリ６６、メインメモリ６８、メインバス８２等
の処理性能等、ハードウエア性能に依存する面と、位置
や大きさを検出する画像処理手法のアルゴリズム性能
等、システムの機能構成に依存する面がある。そのた
め、一概に、位置ずれと大きさ比の考慮の割合を、式
（１）、（４）及び（５）から理論的に導出される検出
精度の割合だけで決めることはできない。

【００９２】さらに、視差画像における位置ずれと大き
さ比とでは、検出の容易さが異なる。位置ずれの場合
は、被写体のある大きさを持った特定領域を、複数の視
差画像に見つけ、その特定領域内のある１点、たとえば
中心や重心、あるいは特徴的な１点について、視差画像
間での位置のずれを検出する。一方、大きさ比の場合
は、被写体のある大きさを持った特定領域を、複数の視
差画像間で見つけ、その特定領域の大きさの変化を検出
する必要があり、１点の位置ずれを検出する場合より
も、画像処理上のコストが大きくなることがある。ま
た、位置ずれと大きさ比が検出された後の奥行き値の計
算においても、大きさ比を用いた計算の方が、一般に演
算処理のコストが大きい。そのため、位置ずれと大きさ
比の考慮の割合を決定する際、検出精度だけでなく、処
理コストも含めて決定することが好ましい。

【００９３】このように、位置ずれと大きさ比を用い
て、被写体の奥行き値を求める計算方法には、被写体の
領域の方位角、被写体の奥行きの推定値、位置ずれと大
きさ比の検出精度と処理コスト、ハードウエア性能やシ
ステムの機能構成等に基づいて、いくつものバリエーシ
ョンが考えられる。いずれにしても、本実施形態の画像
撮像装置によれば、位置ずれと大きさ比のいずれかの精
度が低くなる場合や、いずれかの処理コストが高くなる
場合に、他方によって補完することで、被写体の全方位
の領域の奥行き情報を高い精度で効率良く算出できる。

【００９４】以上述べたように、本実施形態の画像撮像
装置によれば、２つの視野角の広いレンズを用いて被写
体の視差画像を撮影し、被写体の像の位置のずれと大き
さの比を検出し、位置ずれと大きさ比を用いて被写体の
奥行き値を求めることができる。位置ずれの検出精度が
落ちる領域では大きさ比を用い、大きさ比の検出精度が
落ちる領域では位置ずれを用いることができるため、広
い視野にわたって被写体の奥行き情報を高い精度で算出
することができる。

【００９５】また、本実施形態の画像撮像装置は、監視
用カメラとして利用することもできる。従来の監視用カ
メラは、全方位の画像を得るために、カメラを駆動させ
なければならなかった。本実施形態の画像撮像装置を監
視カメラとして用いた場合、カメラを駆動させなくて
も、全方位の被写体を撮影し、奥行き情報を算出するこ
とができる。得られた奥行き情報から、人物等の主要被
写体を容易に抽出することができるため、銀行や小売店
に設置して、防犯に利用することができる。

【００９６】（実施形態２）本発明の第２の実施形態を
説明する。図２０は、画像処理装置の一例としての、写
真画像の現像や編集等を行うラボシステム２００の構成
図である。本実施形態のラボシステム２００は、入力部
２１０と、処理部２２０と、記録部２４０と、出力部２
５０とを有する。

【００９７】入力部２１０は、被写体の画像データを入
力する。画像データとして、被写体を異なる視点から見
た場合の視差画像を入力する。デジタルカメラ等で撮影
された対象物のデジタル画像を入力する場合、入力部２
１０には、半導体メモリカード等の着脱自在な記録媒体
から画像データを読み取るための読み取り装置が用いら
れる。また、フロッピーディスク、ＭＯ、ＣＤ−ＲＯＭ
等から画像データを読み取る場合は、入力部２１０とし
て、それぞれフロッピードライブ、ＭＯドライブ、ＣＤ
ドライブ等が用いられてもよい。

【００９８】処理部２２０は、入力部２１０が入力した
視差画像を記憶し、被写体の奥行き情報を算出する。処
理部２２０は算出した奥行き情報を視差画像とともに記
録部２４０に出力する。また処理部２２０は算出した奥
行き情報をもとに、被写体の画像を処理して、記録部２
４０と出力部２５０に出力してもよい。

【００９９】記録部２４０は、処理部２２０が出力した
奥行き情報または画像データを着脱自在な記録媒体に記
録する。記録媒体として、書き込み可能なＣＤ−ＲＯ
Ｍ、ＤＶＤ等の光記録媒体や、ＭＯ等の光磁気記録媒
体、フロッピーディスク等の磁気記録媒体等が用いられ
る。記録部２４０として、ＣＤ−Ｒドライブ、ＤＶＤド
ライブ、ＭＯドライブ、フロッピードライブ等が用いら
れる。また、記録部２４０は、フラッシュメモリ、メモ
リカード等の半導体メモリに奥行き情報または画像デー
タを記録してもよい。

【０１００】出力部２５０は、処理部２２０が出力した
被写体の処理された画像データを画像として出力する。
例えば画像を画面表示する場合、出力部２５０には画像
を表示するモニタが用いられる。また例えば画像を印刷
する場合、出力部２５０にはデジタルプリンタやレーザ
プリンタ等のプリンタが用いられる。

【０１０１】図２１は、処理部２２０の機能構成図であ
る。処理部２２０は、視差画像記憶部３０２と、位置ず
れ検出部３０４と、大きさ比検出部３０６と、奥行き算
出部３０８と、画像変換部３１２とを有する。

【０１０２】視差画像記憶部３０２は、入力部２１０が
入力した被写体の複数の視差画像のデータをＲＡＭ等の
半導体メモリまたはハードディスク等の磁気記録媒体に
記憶する。位置ずれ検出部３０４は、視差画像記憶部３
０２が記憶する複数の視差画像において、被写体の特定
領域の像の位置が視差によってずれる量を検出する。大
きさ比検出部３０６は、視差画像記憶部３０２が記憶す
る視差画像において、被写体の特定領域の像の大きさが
視差によって変化する比率を検出する。奥行き算出部３
０８は、位置ずれ検出部３０４が検出した位置ずれと大
きさ比検出部３０６が検出した大きさ比を用いて、被写
体の特定領域の奥行き値を算出する。

【０１０３】位置ずれ検出部３０４、大きさ比検出部３
０６、及び奥行き算出部３０８が、視差画像に撮像され
た被写体の一部の領域または全部の領域について、被写
体の奥行き情報を算出する処理については、第１の実施
形態と同じであるから、説明を省略する。

【０１０４】画像変換部３１２は、奥行き算出部３０８
が算出した被写体の奥行き情報に基づいて、被写体の画
像を処理する。画像変換部３１２は、被写体の奥行き情
報、視差画像、または処理された画像を記憶部２４０と
出力部２５０に出力する。

【０１０５】画像変換部３１２は、被写体の奥行き情報
に基づいて魚眼レンズで撮影された被写体の全方位画像
を透視投影画像に変形してもよい。図２２は、全方位画
像から透視投影画像への変換を説明する図である。魚眼
レンズで撮影された被写体の全方位画像３５６上の点ま
たは領域について、奥行き値が算出されているので、座
標変換を行うことにより、その点または領域を透視投影
画像３５８上に写像することができる。透視投影画像３
５８は、通常の標準レンズで被写体を撮影したときの画
像である。

【０１０６】画像変換部３１２は、被写体の奥行き情報
に基づいて、魚眼レンズで撮影された被写体の全方位画
像から、被写体の正面図、側面図、上面図等の正投影図
法の画像を生成してもよい。図２３は、魚眼レンズで撮
影された部屋の間取りの模式図である。魚眼レンズによ
り部屋の天井付近から部屋の全方位を撮影している。図
２４は、全方位画像を座標変換して得られた部屋の平面
図である。部屋の全方位の奥行き情報を利用することに
より、全方位画像はこのような平面図に変換することが
できる。図２５は、全方位画像を座標変換して得られた
部屋の側面図である。このように、画像変換部３１２
は、被写体の全方位の奥行き情報に基づいて、被写体の
全方位画像から、被写体の正面図、側面図、上面図等の
正投影画像を生成し、設計図等の作成に役立てることが
できる。このような画像変換処理は、建築や都市計画の
場面で広く使われる。

【０１０７】本実施形態の画像処理装置によれば、視野
角の広いレンズで撮影された被写体の視差画像を入力し
て、広い視野にわたる被写体の奥行き情報を算出するこ
とができる。また算出された奥行き情報に基づいて、画
像処理を行い、ＣＡＤ等の図面データを作成することが
できる。また、全方位の奥行き情報のある画像データ
は、ＣＧ（コンピュータグラフィックス）やシミュレー
ションに利用することができる。

【０１０８】（実施形態３）次に、本発明の第３の実施
形態を説明する。図２６は、画像処理装置の構成図であ
る。本実施形態の画像処理装置の基本的な構成及び動作
は、第２の実施形態の画像処理装置と同様である。本実
施形態では、画像処理装置の処理部２２０として、パー
ソナルコンピュータやワークステーション等の電子計算
機を用いる点が、第２の実施形態と異なる。

【０１０９】図２６を参照しながら、本実施形態の処理
部２２０のハードウエア構成を説明する。ＣＰＵ２３０
はＲＯＭ２３２及びＲＡＭ２３４に格納されたプログラ
ムに基づいて動作する。キーボード、マウス等の入力装
置２３１を介して利用者によりデータが入力される。ハ
ードディスク２３３は、画像等のデータ、及びＣＰＵ２
３０を動作させるプログラムを格納する。ＣＤ−ＲＯＭ
ドライブ２３５はＣＤ−ＲＯＭ２９０からデータ又はプ
ログラムを読み取り、ＲＡＭ２３４、ハードディスク２
３３及びＣＰＵ２３０の少なくともいずれかに提供す
る。

【０１１０】ＣＰＵ２３０が実行するプログラムの機能
構成は、第２の実施形態の画像処理装置の処理部２２０
の機能構成と同じであり、視差画像記憶モジュールと、
位置ずれ検出モジュールと、大きさ比検出モジュール
と、奥行き算出モジュールと、画像変換モジュールとを
有する。

【０１１１】視差画像記憶モジュール、位置ずれ検出モ
ジュール、大きさ比検出モジュール、奥行き算出モジュ
ール、及び画像変換モジュールが、ＣＰＵ２３０に行わ
せる処理は、それぞれ、第２の実施形態の画像処理装置
の処理部２２０における、視差画像記憶部３０２、位置
ずれ検出部３０４、大きさ比検出部３０６、奥行き算出
部３０８、及び画像変換部３１２の機能及び動作と同じ
であるから、説明を省略する。これらのプログラムは、
ＣＤ−ＲＯＭ２９０等の記録媒体に格納されて利用者に
提供される。記録媒体の一例としてのＣＤ−ＲＯＭ２９
０には、本出願で説明した画像処理装置の動作の一部又
は全ての機能を格納することができる。

【０１１２】上記のプログラムは記録媒体から直接ＲＡ
Ｍ２３４に読み出されてＣＰＵ２３０により実行されて
もよい。あるいは、上記のプログラムは記録媒体からハ
ードディスク２３３にインストールされ、ＲＡＭ２３４
に読み出されてＣＰＵ２３０により実行されてもよい。

【０１１３】記録媒体としては、ＣＤ−ＲＯＭ２９０の
他にも、ハードディスク、ＲＯＭやＲＡＭ等のメモリ、
ＤＶＤやＰＤ等の光学記録媒体、フロッピーディスクや
ミニディスク（ＭＤ）等の磁気記録媒体、ＭＯ等の光磁
気記録媒体、テープ状記録媒体、不揮発性の半導体メモ
リカード等を用いることができる。

【０１１４】上記のプログラムは、単一の記録媒体に格
納されてもよいし、複数の記録媒体に分割されて格納さ
れてもよい。また、上記プログラムは記録媒体に圧縮さ
れて格納されてもよい。圧縮されたプログラムは伸張さ
れ、ＲＡＭ２３４等の別の記録媒体に読み出され、実行
されてもよい。さらに、圧縮されたプログラムはＣＰＵ
２３０によって伸張され、ハードディスク２３３等にイ
ンストールされた後、ＲＡＭ２３４等の別の記録媒体に
読み出され、実行されてもよい。

【０１１５】さらに、記録媒体の一例としてのＣＤ−Ｒ
ＯＭ２９０は、通信ネットワークを介して、ホストコン
ピュータによって提供される上記のプログラムを格納し
てもよい。記録媒体に格納された上記のプログラムは、
ホストコンピュータのハードディスクに格納され、通信
ネットワークを介してホストコンピュータから当該コン
ピュータに送信され、ＲＡＭ２３４等の別の記録媒体に
読み出され、実行されてもよい。

【０１１６】上記のプログラムを格納した記録媒体は、
本出願の画像処理装置を製造するためにのみ使用される
ものであり、そのような記録媒体の業としての製造およ
び販売等が本出願に基づく特許権の侵害を構成すること
は明らかである。

【０１１７】（実施形態４）次に、本発明の第４の実施
形態を説明する。本実施形態の画像撮像装置の一例は、
カメラを内蔵したノート型コンピュータやカメラを内蔵
した携帯型電子端末等の電子機器等である。これらの場
合、ノート型コンピュータや携帯型電子端末の電子計算
機部分は主に図２６に示した処理部２２０として機能す
る。本実施形態の画像撮像装置は、第１の実施形態の画
像撮像装置の処理ユニット６０を、図２６に示した処理
部２２０のハードウエア構成に換えたものである。本実
施形態の画像撮像装置の基本的な構成及び動作は、第１
の実施形態の画像撮像装置と同様である。

【０１１８】本実施形態の処理部２２０のハードウエア
構成は、第３の実施形態の処理部２２０のハードウエア
構成と同じであるから説明を省略する。ＣＰＵ２３０が
実行するプログラムの機能構成は、第１の実施形態の画
像撮像装置の処理ユニット６０の機能構成と同じであ
り、視差画像記憶モジュールと、位置ずれ検出モジュー
ルと、大きさ比検出モジュールと、奥行き算出モジュー
ルと、記録モジュールとを有する。

【０１１９】視差画像記憶モジュール、位置ずれ検出モ
ジュール、大きさ比検出モジュール、奥行き算出モジュ
ール、及び画像変換モジュールが、ＣＰＵ２３０に行わ
せる処理は、それぞれ、第１の実施形態の画像撮像装置
の処理部２２０における、視差画像記憶部３０２、位置
ずれ検出部３０４、大きさ比検出部３０６、奥行き算出
部３０８、及び記録部３１０の機能及び動作と同じであ
るから、説明を省略する。これらのプログラムは、ＣＤ
−ＲＯＭ２９０等の記録媒体に格納されて利用者に提供
される。記録媒体の一例としてのＣＤ−ＲＯＭ２９０に
は、本出願で説明した画像撮像装置の動作の一部又は全
ての機能を格納することができる。

【０１２０】上記のプログラムを格納した記録媒体は、
本出願の画像撮像装置を製造するためにのみ使用される
ものであり、そのような記録媒体の業としての製造およ
び販売等が本出願に基づく特許権の侵害を構成すること
は明らかである。

【０１２１】次に、本実施形態の画像撮像装置の実験結
果を示す。図２７、２８、２９、３０及び３１に、本実
施形態の画像撮像装置によって、被写体の大きさ比を測
定した実験結果を示す。実験では、レンズ特性がｆθで
ある魚眼レンズを搭載したデジタルカメラを用い、デジ
タルカメラを移動することにより、左右の異なる２つの
視点から見た被写体を順次撮影した。被写体の人物には
撮影中極力動かないように指示した。図２７は、左の視
点から撮影した被写体の視差画像をディスプレイ上に表
示した中間調画像の写真である。図２８は、右の視点か
ら撮影した被写体の視差画像をディスプレイ上に表示し
た中間調画像の写真である。左右の魚眼レンズの焦点距
離ｆは８ｍｍであり、視点間距離２ｄは約２０ｃｍであ
る。撮影された視差画像は全方位画像である。

【０１２２】図２９は、被写体の全方位画像の中心付近
を拡大した画像をディスプレイ上に表示した中間調画像
の写真である。中心付近の領域では左右の視差画像で大
きさの違いはほとんどなく、大きさ比が１になる。

【０１２３】図３０は、被写体の全方位画像の周辺付近
を拡大した画像をディスプレイ上に表示した中間調画像
の写真である。視点の移動方向にある、全方位画像の周
辺領域では、人物像の大きさが左右の視差画像で大きく
異なることがわかる。

【０１２４】図３１は、被写体の全方位画像の周辺付近
を拡大した画像をディスプレイ上に表示した中間調画像
の写真である。同様に人物像の大きさの違いを検出でき
るが、大きさの違いは、図３０の人物像に比べて小さ
い。これは、図３１に写された人物は、図３０の人物よ
りも遠い位置にあるためである。このように、視点の移
動方向の領域では、大きさ比の違いから、被写体の奥行
き情報を得ることができる。

【０１２５】このように、本実験により、従来は難しい
とされていた大きさ比の検出がＣＣＤに撮像された視差
画像の比較によって可能であるという良好な結果を得
た。これにより、従来は困難であった「死角」領域での
奥行き値測定が可能であることが確かめられた。

【０１２６】以上述べたように、本発明の画像撮像装置
及び画像処理装置によれば、被写体の視差画像から、被
写体の像の位置のずれと大きさの比を検出し、位置ずれ
と大きさ比を用いて被写体の奥行き値を求めることがで
きる。位置ずれの検出精度が落ちる領域では大きさ比を
用い、大きさ比の検出精度が落ちる領域では位置ずれを
用いることができるため、広い視野にわたって被写体の
奥行き情報を高い精度で算出することができる。

【０１２７】以上、本発明を実施の形態を用いて説明し
たが、本発明の技術的範囲は上記実施の形態に記載の範
囲には限定されない。上記実施の形態に、多様な変更又
は改良を加えることができることが当業者に明らかであ
る。その様な変更又は改良を加えた形態も本発明の技術
的範囲に含まれ得ることが、特許請求の範囲の記載から
明らかである。

【０１２８】

【発明の効果】上記説明から明らかなように、本発明に
よれば広い視野にわたって被写体の奥行きに関する情報
を高い精度で取得することができる。

【図面の簡単な説明】

【図１】画像撮像装置の一例としてのデジタルカメラ
１０の構成図である。

【図２】撮像ユニット２０の撮影レンズ２２及びＣＣ
Ｄ３０の構成の一例である。

【図３】撮像ユニット２０の撮影レンズ２２及びＣＣ
Ｄ３０の構成の他の例である。

【図４】撮像ユニット２０の撮影レンズ２２及びＣＣ
Ｄ３０の構成の他の例である。

【図５】処理ユニット６０の機能ブロック図である。

【図６】魚眼レンズ３２０が結像する被写体の点の入
射角θと、全方位画像３２２における被写体の点の像の
位置との関係を説明する図である。

【図７】２つの魚眼レンズを用いて被写体を見た場合
の視差の説明図である。

【図８】視差角θＡの式（１）のグラフである。

【図９】被写体の視差角の大きさの違いを説明する図
である。

【図１０】異なる視点から被写体の領域を見た場合の
大きさの違いを説明する図である。

【図１１】異なる視点から見た場合の被写体の点まで
の距離の違いを説明する図である。

【図１２】像の大きさ比Ｓ_Ｌ／Ｓ_Ｒのグラフである。

【図１３】位置ずれと大きさ比の関係を天球上で説明
した図である。

【図１４】位置ずれと大きさ比の関係をｘｙ平面で説
明した図である。

【図１５】被写体の奥行き値の算出処理のフローチャ
ートである。

【図１６】奥行き値算出処理Ｓ１０８のフローチャー
トである。

【図１７】奥行き値算出処理Ｓ１０８の変形例のフロ
ーチャートである。

【図１８】奥行き値算出処理Ｓ１０８の他の変形例の
フローチャートである。

【図１９】奥行き値算出処理Ｓ１０８の他の変形例の
フローチャートである。

【図２０】画像処理装置の一例としての、写真画像の
現像や編集等を行うラボシステム２００の構成図であ
る。

【図２１】処理部２２０の機能構成図である。

【図２２】全方位画像から透視投影画像への変換を説
明する図である。

【図２３】魚眼レンズで撮影された部屋の間取りの模
式図である。

【図２４】全方位画像を座標変換して得られた部屋の
平面図である。

【図２５】全方位画像を座標変換して得られた部屋の
正投影画像である。

【図２６】画像処理装置の構成図である。

【図２７】左の視点から撮影した被写体の視差画像を
ディスプレイ上に表示した中間調画像の写真である。

【図２８】右の視点から撮影した被写体の視差画像を
ディスプレイ上に表示した中間調画像の写真である。

【図２９】被写体の全方位画像の中心付近を拡大した
画像をディスプレイ上に表示した中間調画像の写真であ
る。

【図３０】被写体の全方位画像の周辺付近を拡大した
画像をディスプレイ上に表示した中間調画像の写真であ
る。

【図３１】被写体の全方位画像の周辺付近を拡大した
画像をディスプレイ上に表示した中間調画像の写真であ
る。

【符号の説明】

１０デジタルカメラ２０撮像ユニッ
ト４０撮像制御ユニット６０処理ユニッ
ト１００表示ユニット１１０操作ユニッ
ト２００画像処理装置２１０入力部２２０処理部２４０記録部２５０出力部２９０記録媒体３０２視差画像記憶部３０４位置ずれ検
出部３０６大きさ比検出部３０８奥行き算出
部３１０記録部３１２画像変換部３２４、３２６魚眼レンズ

───────────────────────────────────────────────────── フロントページの続きＦターム(参考） 2F065 AA06 FF05 FF15 GG08 JJ03 JJ26 KK01 LL06 LL10 LL22 LL30 PP22 QQ03 QQ24 QQ26 QQ33 QQ38 SS02 SS13 UU05 UU07 2F112 AC06 BA03 CA02 CA12 CA20 DA05 DA22 FA03 FA07 FA21 5C022 AA00 AA13 AB68 AC42 AC69 5C061 AA29 AB02 AB04 AB06 AB08 AB21 AB24

Claims

【特許請求の範囲】

【請求項１】被写体の奥行きに関する情報を取得する
画像撮像装置であって、２つの異なる視点位置から前記被写体を見た場合に得ら
れる前記被写体の視差画像を撮像する撮像部と、前記視差画像における前記被写体の特定領域の像の大き
さの比を検出する大きさ比検出部と、前記大きさ比に基づいて、前記被写体の前記特定領域の
奥行き値を算出する奥行き算出部とを備えたことを特徴
とする画像撮像装置。
【請求項２】前記視差画像における前記被写体の前記
特定領域の像の位置のずれを検出する位置ずれ検出部を
さらに備え、前記奥行き算出部は、前記位置ずれ及び前
記大きさ比に基づいて、前記被写体の前記特定領域の奥
行き値を算出することを特徴とする請求項１に記載の画
像撮像装置。
【請求項３】前記奥行き算出部は、前記被写体の前記
特定領域毎に、前記位置ずれ及び前記大きさ比を考慮す
る割合を変えて、前記被写体の前記特定領域の前記奥行
き値を算出することを特徴とする請求項２に記載の画像
撮像装置。
【請求項４】前記奥行き算出部は、前記被写体の前記
特定領域を前記２つの視点位置の中点から見た場合の方
位によって、前記位置ずれ及び前記大きさ比を考慮する
割合を変えて、前記被写体の前記特定領域の前記奥行き
値を算出することを特徴とする請求項３に記載の画像撮
像装置。
【請求項５】前記奥行き算出部は、前記被写体の前記
特定領域が、前記２つの視点位置を結ぶ直線の方向に近
いほど、前記大きさ比を考慮する割合を増やし、前記被
写体の前記特定領域が、前記２つの視点位置の中点を通
り、前記２つの視点位置を結ぶ直線に垂直な平面に近い
ほど、前記位置ずれを考慮する割合を増やして、前記被
写体の前記特定領域の前記奥行き値を算出することを特
徴とする請求項４に記載の画像撮像装置。
【請求項６】前記撮像部は、視野角の広い光学レンズ
を有し、前記光学レンズを移動させる駆動部をさらに備
え、前記撮像部は、前記駆動部が前記光学レンズを移動
させた位置を前記視点位置として、前記被写体の前記視
差画像を撮像することを特徴とする請求項１に記載の画
像撮像装置。
【請求項７】前記撮像部は、視点位置の異なる２つの
視野角の広い光学レンズを有し、前記２つの光学レンズ
によって前記被写体の前記視差画像を撮像することを特
徴とする請求項１に記載の画像撮像装置。
【請求項８】前記光学レンズは魚眼レンズであり、前
記奥行き算出部は、前記撮像部が前記魚眼レンズによっ
て撮像する前記被写体の全方位の領域について前記奥行
き値を算出することを特徴とする請求項６または７に記
載の画像撮像装置。
【請求項９】前記撮像部は、固体撮像素子を有し、前
記光学レンズによって前記被写体の前記視差画像を前記
固体撮像素子に撮像することを特徴とする請求項６また
は７に記載の画像撮像装置。
【請求項１０】被写体の奥行きに関する情報を取得す
る画像処理装置であって、複数の異なる視点位置から前記被写体を見た場合に得ら
れる前記被写体の複数の視差画像を入力する入力部と、前記複数の視差画像における前記被写体の特定領域の像
の大きさの比を検出する大きさ比検出部と、前記大きさ比に基づいて、前記被写体の前記特定領域の
奥行き値を算出する奥行き算出部とを備えたことを特徴
とする画像処理装置。
【請求項１１】前記複数の視差画像における前記被写
体の前記特定領域の像の位置のずれを検出する位置ずれ
検出部をさらに備え、前記奥行き算出部は、前記位置ず
れ及び前記大きさ比に基づいて、前記被写体の前記特定
領域の奥行き値を算出することを特徴とする請求項１０
に記載の画像処理装置。
【請求項１２】前記奥行き算出部は、前記被写体の前
記特定領域毎に、前記位置ずれ及び前記大きさ比を考慮
する割合を変えて、前記被写体の前記特定領域の前記奥
行き値を算出することを特徴とする請求項１１に記載の
画像処理装置。
【請求項１３】前記奥行き算出部は、前記被写体の前
記特定領域を前記２つの視点位置の中点から見た場合の
方位によって、前記位置ずれ及び前記大きさ比を考慮す
る割合を変えて、前記被写体の前記特定領域の前記奥行
き値を算出することを特徴とする請求項１２に記載の画
像処理装置。
【請求項１４】前記被写体の前記特定領域が、前記２
つの視点位置を結ぶ直線の方向に近づくにつれて、前記
大きさ比を考慮する割合を増やし、前記被写体の前記特
定領域が、前記２つの視点位置の中点を通り、前記２つ
の視点位置を結ぶ直線に垂直な平面に近づくにつれて、
前記位置ずれを考慮する割合を増やして、前記被写体の
前記特定領域の前記奥行き値を算出することを特徴とす
る請求項１３に記載の画像処理装置。
【請求項１５】前記奥行き算出部が算出した前記被写
体の前記特定領域の前記奥行き値に基づいて、前記入力
部が入力する前記被写体の画像の座標変換を行うことに
より前記画像を変換する画像変換部をさらに備えたこと
を特徴とする請求項１０に記載の画像処理装置。
【請求項１６】前記入力部が入力する前記被写体の前
記画像が魚眼レンズによって前記被写体を撮像した全方
位画像である場合に、前記画像変換部は、前記座標変換
によって、前記全方位画像を透視投影画像に変換するこ
とを特徴とする請求項１５に記載の画像処理装置。
【請求項１７】前記画像変換部は、前記座標変換によ
って、前記被写体の正投影画像を生成することを特徴と
する請求項１５に記載の画像処理装置。
【請求項１８】被写体の奥行きに関する情報を取得す
る画像処理方法であって、複数の異なる視点位置から前記被写体を見た場合に得ら
れる前記被写体の複数の視差画像を入力し、前記複数の視差画像における前記被写体の特定領域の像
の位置のずれ及び大きさの比を検出し、前記被写体の前記特定領域毎に、前記位置ずれ及び前記
大きさ比を考慮する割合を変えて、前記被写体の前記特
定領域の奥行き値を算出することを特徴とする画像処理
方法。
【請求項１９】被写体の奥行きに関する情報を取得す
るコンピュータ用のプログラムを格納した記録媒体であ
って、前記プログラムが、複数の異なる視点位置から前記被写体を見た場合に得ら
れる前記被写体の複数の視差画像を入力させる入力モジ
ュールと、前記複数の視差画像における前記被写体の特定領域の像
の位置のずれを検出する位置ずれ検出モジュールと、前記複数の視差画像における前記被写体の前記特定領域
の像の大きさの比を検出する大きさ比検出モジュール
と、前記被写体の前記特定領域毎に、前記位置ずれ及び前記
大きさ比を考慮する割合を変えて、前記被写体の前記特
定領域の前記奥行き値を算出する奥行き算出モジュール
とを備えたことを特徴とする記録媒体。