JP2001004370A - 視差画像撮像装置、視差画像処理装置、視差画像撮像方法、及び視差画像処理方法 - Google Patents
視差画像撮像装置、視差画像処理装置、視差画像撮像方法、及び視差画像処理方法Info
- Publication number
- JP2001004370A JP2001004370A JP11176264A JP17626499A JP2001004370A JP 2001004370 A JP2001004370 A JP 2001004370A JP 11176264 A JP11176264 A JP 11176264A JP 17626499 A JP17626499 A JP 17626499A JP 2001004370 A JP2001004370 A JP 2001004370A
- Authority
- JP
- Japan
- Prior art keywords
- parallax
- image
- viewpoint
- subject
- unit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Landscapes
- Length Measuring Devices By Optical Means (AREA)
- Image Processing (AREA)
- Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
- Image Analysis (AREA)
Abstract
(57)【要約】
【課題】 複数の物体が重なって見える被写体の複数の
奥行き値を獲得することのできる視差画像撮像装置、視
差画像処理装置、視差画像撮像方法、及び視差画像処理
方法を提供する。 【解決手段】 被写体を見る視点を移動させた場合に得
られる複数の視差画像を順次撮像させる制御部39と、
制御部39により撮像された複数の視差画像の特定画素
が、視点の移動に従って複数の視差画像上で移動した軌
跡を表す視差ラインを検出する視差ライン検出部24
と、特定画素の視差ラインと交差する複数の交差視差ラ
インを抽出し、特定画素の視差ラインの傾き及び交差視
差ラインの傾きに基づいて、特定画素に撮像された被写
体の領域までの複数の距離を算出する距離成分算出部2
8とを備えた。
奥行き値を獲得することのできる視差画像撮像装置、視
差画像処理装置、視差画像撮像方法、及び視差画像処理
方法を提供する。 【解決手段】 被写体を見る視点を移動させた場合に得
られる複数の視差画像を順次撮像させる制御部39と、
制御部39により撮像された複数の視差画像の特定画素
が、視点の移動に従って複数の視差画像上で移動した軌
跡を表す視差ラインを検出する視差ライン検出部24
と、特定画素の視差ラインと交差する複数の交差視差ラ
インを抽出し、特定画素の視差ラインの傾き及び交差視
差ラインの傾きに基づいて、特定画素に撮像された被写
体の領域までの複数の距離を算出する距離成分算出部2
8とを備えた。
Description
【0001】
【発明の属する技術分野】本発明は、異なる視点から被
写体を見た場合に得られる複数の視差画像に基づいて、
被写体の奥行き値を獲得する視差画像撮像装置、視差画
像処理装置、視差画像撮像方法、及び視差画像処理方法
に関する。特に本発明は、複数の物体が重なって見える
被写体の複数の視差画像に基づいて、被写体の複数の奥
行き値を獲得する視差画像撮像装置、視差画像処理装
置、視差画像撮像方法、及び視差画像処理方法に関す
る。
写体を見た場合に得られる複数の視差画像に基づいて、
被写体の奥行き値を獲得する視差画像撮像装置、視差画
像処理装置、視差画像撮像方法、及び視差画像処理方法
に関する。特に本発明は、複数の物体が重なって見える
被写体の複数の視差画像に基づいて、被写体の複数の奥
行き値を獲得する視差画像撮像装置、視差画像処理装
置、視差画像撮像方法、及び視差画像処理方法に関す
る。
【0002】
【従来の技術】画像処理や画像認識の分野において、被
写体の奥行き方向の情報を抽出する手法として、異なる
視点から被写体を見た場合に得られる複数の視差画像を
用いて、視差画像間の視差を検出し、視差から被写体の
奥行き値を計算する方法が一般に取られている。
写体の奥行き方向の情報を抽出する手法として、異なる
視点から被写体を見た場合に得られる複数の視差画像を
用いて、視差画像間の視差を検出し、視差から被写体の
奥行き値を計算する方法が一般に取られている。
【0003】複数の視差画像間の視差を検出するために
は、ある視差画像に撮像された被写体の点が、他の視差
画像のどこに対応しているかを探し出す処理が必要であ
る。この処理は対応点決定(マッチング)処理と呼ばれ
る。対応点が決定されると、被写体の点が、複数の視差
画像上を移動した距離、すなわち視差量が得られる。視
差量が得られると、三角測量の原理より、被写体の点の
奥行き値を計算することができる。
は、ある視差画像に撮像された被写体の点が、他の視差
画像のどこに対応しているかを探し出す処理が必要であ
る。この処理は対応点決定(マッチング)処理と呼ばれ
る。対応点が決定されると、被写体の点が、複数の視差
画像上を移動した距離、すなわち視差量が得られる。視
差量が得られると、三角測量の原理より、被写体の点の
奥行き値を計算することができる。
【0004】また、対応点決定処理を必要としない、被
写体の奥行き測定手法として、ハフ変換処理によって、
複数の視差画像からある奥行きの部分のみの画像を抽出
する手法がある(特開平5−272942号公報)。
写体の奥行き測定手法として、ハフ変換処理によって、
複数の視差画像からある奥行きの部分のみの画像を抽出
する手法がある(特開平5−272942号公報)。
【0005】
【発明が解決しようとする課題】しかしながら、上記の
ような方法では、複数の撮像系で立体物を撮像した際、
一方の撮像系では撮像されているが他方の撮像系では撮
像されていない部分、すなわちオクルージョン部が生じ
る場合、このオクルージョン部においては対応点が抽出
できない。したがって、オクルージョン部では、視差を
検出することができず、オクルージョン部を含む被写体
の奥行き値を測定することができないという問題が生じ
ていた。
ような方法では、複数の撮像系で立体物を撮像した際、
一方の撮像系では撮像されているが他方の撮像系では撮
像されていない部分、すなわちオクルージョン部が生じ
る場合、このオクルージョン部においては対応点が抽出
できない。したがって、オクルージョン部では、視差を
検出することができず、オクルージョン部を含む被写体
の奥行き値を測定することができないという問題が生じ
ていた。
【0006】オクルージョン部が存在する場合、被写体
の形状を推定してオクルージョン部の補間処理を行う方
法(特開平6−265322号公報)や、オクルージョ
ン部や被写体の輪郭付近の視差を、周囲の前景や背景の
視差から推定する方法(特開平10−191396号公
報)がある。これらの方法は、視差画像から計算される
被写体の点の奥行き値は一つであるという前提で視差を
計算する。
の形状を推定してオクルージョン部の補間処理を行う方
法(特開平6−265322号公報)や、オクルージョ
ン部や被写体の輪郭付近の視差を、周囲の前景や背景の
視差から推定する方法(特開平10−191396号公
報)がある。これらの方法は、視差画像から計算される
被写体の点の奥行き値は一つであるという前提で視差を
計算する。
【0007】しかし、複数の物体が重なって見える被写
体の場合、被写体のある点の奥行き値は一つであると考
えるよりも、複数の値を持つと考える方が適切であるこ
とが多い。たとえば、木の枝の間を通して向こう側に物
体が見える場合、窓のブラインド越しに外の景色が見え
る場合、又は半透明のガラスを通して物体を透かして見
た場合に、重なり合った部分の被写体の領域は、前景と
背景の複数の奥行き値を同時に持つ。
体の場合、被写体のある点の奥行き値は一つであると考
えるよりも、複数の値を持つと考える方が適切であるこ
とが多い。たとえば、木の枝の間を通して向こう側に物
体が見える場合、窓のブラインド越しに外の景色が見え
る場合、又は半透明のガラスを通して物体を透かして見
た場合に、重なり合った部分の被写体の領域は、前景と
背景の複数の奥行き値を同時に持つ。
【0008】このような複数の物体が重なって見える被
写体の視差画像を撮像すると、オクルージョン部が多数
発生し、対応点の検出が著しく困難になる。このような
場合、被写体のある点の奥行き値がただ一つであるとい
う前提で、視差の推定処理を進めると、正しい視差を検
出できず、したがって被写体の正しい奥行き値が得られ
ないことが多い。
写体の視差画像を撮像すると、オクルージョン部が多数
発生し、対応点の検出が著しく困難になる。このような
場合、被写体のある点の奥行き値がただ一つであるとい
う前提で、視差の推定処理を進めると、正しい視差を検
出できず、したがって被写体の正しい奥行き値が得られ
ないことが多い。
【0009】そこで本発明は、上記の課題を解決するた
めに、複数の物体が重なって見える被写体を撮像する場
合、被写体の複数の奥行き値を正確に獲得することので
きる視差画像撮像装置、視差画像処理装置、視差画像撮
像方法、及び視差画像処理方法を提供することを目的と
する。この目的は特許請求の範囲における独立項に記載
の特徴の組み合わせにより達成される。また従属項は本
発明の更なる有利な具体例を規定する。
めに、複数の物体が重なって見える被写体を撮像する場
合、被写体の複数の奥行き値を正確に獲得することので
きる視差画像撮像装置、視差画像処理装置、視差画像撮
像方法、及び視差画像処理方法を提供することを目的と
する。この目的は特許請求の範囲における独立項に記載
の特徴の組み合わせにより達成される。また従属項は本
発明の更なる有利な具体例を規定する。
【0010】
【課題を解決するための手段】即ち、本発明の第1の形
態における視差画像撮像装置は、被写体の奥行きに関す
る情報を獲得する視差画像撮像装置であって、被写体を
見る視点を移動させた場合に得られる複数の視差画像を
順次撮像させる制御部と、制御部により撮像された複数
の視差画像の特定の画素が、視点の移動方向及び移動量
に従って、複数の視差画像上で移動した軌跡を表す視差
ラインを検出する視差ライン検出部と、特定の画素の視
差ラインと交差する複数の交差視差ラインを抽出し、特
定の画素の視差ラインの傾き及び複数の交差視差ライン
の傾きに基づいて、特定の画素に撮像された被写体の領
域までの複数の距離を算出する距離成分算出部とを備え
たことを特徴とする。
態における視差画像撮像装置は、被写体の奥行きに関す
る情報を獲得する視差画像撮像装置であって、被写体を
見る視点を移動させた場合に得られる複数の視差画像を
順次撮像させる制御部と、制御部により撮像された複数
の視差画像の特定の画素が、視点の移動方向及び移動量
に従って、複数の視差画像上で移動した軌跡を表す視差
ラインを検出する視差ライン検出部と、特定の画素の視
差ラインと交差する複数の交差視差ラインを抽出し、特
定の画素の視差ラインの傾き及び複数の交差視差ライン
の傾きに基づいて、特定の画素に撮像された被写体の領
域までの複数の距離を算出する距離成分算出部とを備え
たことを特徴とする。
【0011】被写体を結像する第1の光学結像部と、複
数の受光素子が配置され、第1の光学結像部により被写
体の複数の視差画像が撮像される第1の受光部と、第1
の光学結像部を移動させる駆動部とをさらに備え、制御
部が視点の移動方向及び移動量を指定し、駆動部は移動
方向及び移動量に基づいて第1の光学結像部を移動させ
てもよい。
数の受光素子が配置され、第1の光学結像部により被写
体の複数の視差画像が撮像される第1の受光部と、第1
の光学結像部を移動させる駆動部とをさらに備え、制御
部が視点の移動方向及び移動量を指定し、駆動部は移動
方向及び移動量に基づいて第1の光学結像部を移動させ
てもよい。
【0012】視差ライン検出部は、制御部が指定する視
点の移動方向と略同一の方向に、制御部が指定する視点
の移動量だけ、特定の画素の軌跡を追跡することによ
り、視差ラインを検出してもよい。
点の移動方向と略同一の方向に、制御部が指定する視点
の移動量だけ、特定の画素の軌跡を追跡することによ
り、視差ラインを検出してもよい。
【0013】視点の移動方向及び移動量を検出する視点
移動検出部をさらに備え、視差ライン検出部は、視点移
動検出部が検出した視点の移動方向と略同一の方向に、
視点移動検出部が検出した視点の移動量だけ、特定の画
素の軌跡を追跡することにより、視差ラインを検出して
もよい。
移動検出部をさらに備え、視差ライン検出部は、視点移
動検出部が検出した視点の移動方向と略同一の方向に、
視点移動検出部が検出した視点の移動量だけ、特定の画
素の軌跡を追跡することにより、視差ラインを検出して
もよい。
【0014】視点移動検出部が、方向センサー及び加速
度センサーの少なくとも一方を有し、視点の移動方向及
び移動量を、方向センサー及び加速度センサーの少なく
とも一方によって検出してもよい。
度センサーの少なくとも一方を有し、視点の移動方向及
び移動量を、方向センサー及び加速度センサーの少なく
とも一方によって検出してもよい。
【0015】視点移動検出部は、複数の視差画像の特定
の領域が、複数の視差画像上で移動した移動方向及び移
動量を検出することによって、視点の移動方向及び移動
量を検出してもよい。
の領域が、複数の視差画像上で移動した移動方向及び移
動量を検出することによって、視点の移動方向及び移動
量を検出してもよい。
【0016】被写体を結像する第2の光学結像部と、第
2の光学結像部により被写体の画像が撮像される第2の
受光部と、第1の受光部に撮像された複数の視差画像、
距離算出部が算出した複数の距離、及び第2の受光部に
撮像された被写体の画像を記録する記録部とをさらに備
え、制御部が、距離成分算出部が算出した複数の距離に
基づいて、第2の光学結像部のフォーカス、絞り、及び
第2の受光部の露光時間の少なくとも一つを制御しても
よい。
2の光学結像部により被写体の画像が撮像される第2の
受光部と、第1の受光部に撮像された複数の視差画像、
距離算出部が算出した複数の距離、及び第2の受光部に
撮像された被写体の画像を記録する記録部とをさらに備
え、制御部が、距離成分算出部が算出した複数の距離に
基づいて、第2の光学結像部のフォーカス、絞り、及び
第2の受光部の露光時間の少なくとも一つを制御しても
よい。
【0017】第1の光学結像部により被写体の画像が撮
像される第2の受光部と、第1の受光部に撮像された複
数の視差画像、距離算出部が算出した複数の距離、及び
第2の受光部に撮像された被写体の画像を記録する記録
部とをさらに備え、制御部が、距離成分算出部が算出し
た複数の距離に基づいて、第1の光学結像部のフォーカ
ス、絞り、及び第2の受光部の露光時間の少なくとも一
つを制御してもよい。
像される第2の受光部と、第1の受光部に撮像された複
数の視差画像、距離算出部が算出した複数の距離、及び
第2の受光部に撮像された被写体の画像を記録する記録
部とをさらに備え、制御部が、距離成分算出部が算出し
た複数の距離に基づいて、第1の光学結像部のフォーカ
ス、絞り、及び第2の受光部の露光時間の少なくとも一
つを制御してもよい。
【0018】本発明の第2の形態における視差画像処理
装置は、被写体の奥行きに関する情報を算出する視差画
像処理装置であって、被写体の画像及び被写体を見る視
点を移動させた場合に得られる複数の視差画像を入力す
る視差画像入力部と、複数の視差画像の特定の画素が、
視点の移動方向及び移動量に従って、複数の視差画像上
で移動した軌跡を表す視差ラインを検出する視差ライン
検出部と、特定の画素の視差ラインと交差する複数の交
差視差ラインを抽出し、特定の画素の視差ラインの傾き
及び複数の交差視差ラインの傾きに基づいて、特定の画
素に撮像された被写体の領域までの複数の距離を算出す
る距離成分算出部と、距離成分算出部が算出した複数の
距離に基づいて、被写体の画像を処理する画像処理部
と、画像処理部が作成して得られた画像を出力する画像
出力部とを備えたことを特徴とする。
装置は、被写体の奥行きに関する情報を算出する視差画
像処理装置であって、被写体の画像及び被写体を見る視
点を移動させた場合に得られる複数の視差画像を入力す
る視差画像入力部と、複数の視差画像の特定の画素が、
視点の移動方向及び移動量に従って、複数の視差画像上
で移動した軌跡を表す視差ラインを検出する視差ライン
検出部と、特定の画素の視差ラインと交差する複数の交
差視差ラインを抽出し、特定の画素の視差ラインの傾き
及び複数の交差視差ラインの傾きに基づいて、特定の画
素に撮像された被写体の領域までの複数の距離を算出す
る距離成分算出部と、距離成分算出部が算出した複数の
距離に基づいて、被写体の画像を処理する画像処理部
と、画像処理部が作成して得られた画像を出力する画像
出力部とを備えたことを特徴とする。
【0019】視点の移動方向及び移動量を検出する視点
移動検出部をさらに備え、視差ライン検出部は、視点移
動検出部が検出した視点の移動方向と略同一の方向に、
視点移動検出部が検出した視点の移動量だけ、特定の画
素の軌跡を追跡することにより、視差ラインを検出して
もよい。
移動検出部をさらに備え、視差ライン検出部は、視点移
動検出部が検出した視点の移動方向と略同一の方向に、
視点移動検出部が検出した視点の移動量だけ、特定の画
素の軌跡を追跡することにより、視差ラインを検出して
もよい。
【0020】視点移動検出部は、複数の視差画像の特定
の領域が、複数の視差画像上で移動した移動方向及び移
動量を検出することによって、視点の移動方向及び移動
量を検出してもよい。
の領域が、複数の視差画像上で移動した移動方向及び移
動量を検出することによって、視点の移動方向及び移動
量を検出してもよい。
【0021】本発明の第3の形態における記録媒体は、
被写体の奥行きに関する情報を算出するコンピュータ用
のプログラムを格納した記録媒体であって、プログラム
が、コンピュータに働きかけて、被写体の画像及び被写
体を見る視点を移動させた場合に得られる複数の視差画
像を入力させる視差画像入力モジュールと、コンピュー
タに働きかけて、被写体の画像及び複数の視差画像を記
憶させる視差画像記憶モジュールと、コンピュータに働
きかけて、複数の視差画像の特定の画素が、視点の移動
方向及び移動量に従って、複数の視差画像上で移動した
軌跡を表す視差ラインを検出させる視差ライン検出モジ
ュールと、コンピュータに働きかけて、特定の画素の視
差ラインと交差する複数の交差視差ラインを抽出し、特
定の画素の視差ラインの傾き及び複数の交差視差ライン
の傾きに基づいて、特定の画素に撮像された被写体の領
域までの複数の距離を算出させる距離成分算出モジュー
ルと、コンピュータに働きかけて、距離成分算出モジュ
ールが算出した複数の距離に基づいて、被写体の画像を
処理させる画像処理モジュールと、コンピュータに働き
かけて、画像処理モジュールが作成して得られた画像を
出力させる画像出力モジュールとを備えたことを特徴と
する。
被写体の奥行きに関する情報を算出するコンピュータ用
のプログラムを格納した記録媒体であって、プログラム
が、コンピュータに働きかけて、被写体の画像及び被写
体を見る視点を移動させた場合に得られる複数の視差画
像を入力させる視差画像入力モジュールと、コンピュー
タに働きかけて、被写体の画像及び複数の視差画像を記
憶させる視差画像記憶モジュールと、コンピュータに働
きかけて、複数の視差画像の特定の画素が、視点の移動
方向及び移動量に従って、複数の視差画像上で移動した
軌跡を表す視差ラインを検出させる視差ライン検出モジ
ュールと、コンピュータに働きかけて、特定の画素の視
差ラインと交差する複数の交差視差ラインを抽出し、特
定の画素の視差ラインの傾き及び複数の交差視差ライン
の傾きに基づいて、特定の画素に撮像された被写体の領
域までの複数の距離を算出させる距離成分算出モジュー
ルと、コンピュータに働きかけて、距離成分算出モジュ
ールが算出した複数の距離に基づいて、被写体の画像を
処理させる画像処理モジュールと、コンピュータに働き
かけて、画像処理モジュールが作成して得られた画像を
出力させる画像出力モジュールとを備えたことを特徴と
する。
【0022】プログラムが、コンピュータに働きかけ
て、視点の移動方向及び移動量を検出させる視点移動検
出モジュールをさらに備え、視差ライン検出モジュール
は、視点移動検出モジュールが検出した視点の移動方向
と略同一の方向に、視点移動検出モジュールが検出した
視点の移動量だけ、特定の画素の軌跡を追跡することに
より、視差ラインを検出してもよい。
て、視点の移動方向及び移動量を検出させる視点移動検
出モジュールをさらに備え、視差ライン検出モジュール
は、視点移動検出モジュールが検出した視点の移動方向
と略同一の方向に、視点移動検出モジュールが検出した
視点の移動量だけ、特定の画素の軌跡を追跡することに
より、視差ラインを検出してもよい。
【0023】視点移動検出モジュールは、複数の視差画
像の特定の領域が、複数の視差画像上で移動した移動方
向及び移動量を検出することによって、視点の移動方向
及び移動量を検出させてもよい。
像の特定の領域が、複数の視差画像上で移動した移動方
向及び移動量を検出することによって、視点の移動方向
及び移動量を検出させてもよい。
【0024】本発明の第3の形態における視差画像処理
方法は、被写体の奥行きに関する情報を算出する視差画
像処理方法であって、被写体の画像及び被写体を見る視
点を移動させた場合に得られる複数の視差画像を入力
し、複数の視差画像の特定の画素が、視点の移動方向及
び移動量に従って、複数の視差画像上で移動した軌跡を
表す視差ラインを検出し、特定の画素の視差ラインと交
差する複数の交差視差ラインを抽出し、特定の画素の視
差ラインの傾き及び複数の交差視差ラインの傾きに基づ
いて、特定の画素に撮像された被写体の領域までの複数
の距離を算出することを特徴とする。
方法は、被写体の奥行きに関する情報を算出する視差画
像処理方法であって、被写体の画像及び被写体を見る視
点を移動させた場合に得られる複数の視差画像を入力
し、複数の視差画像の特定の画素が、視点の移動方向及
び移動量に従って、複数の視差画像上で移動した軌跡を
表す視差ラインを検出し、特定の画素の視差ラインと交
差する複数の交差視差ラインを抽出し、特定の画素の視
差ラインの傾き及び複数の交差視差ラインの傾きに基づ
いて、特定の画素に撮像された被写体の領域までの複数
の距離を算出することを特徴とする。
【0025】本発明の第4の形態における視差画像処理
方法は、被写体の奥行きに関する情報を獲得する視差画
像撮像方法であって、被写体を見る視点を移動させた場
合に得られる複数の視差画像を撮像し、複数の視差画像
の特定の画素が、視点の移動方向及び移動量に従って、
複数の視差画像上で移動した軌跡を表す視差ラインを検
出し、特定の画素の視差ラインと交差する複数の交差視
差ラインを抽出し、特定の画素の視差ラインの傾き及び
複数の交差視差ラインの傾きに基づいて、特定の画素に
撮像された被写体の領域までの複数の距離を算出し、距
離算出部が算出した複数の距離に基づいて、被写体を撮
像するときの撮影条件を調整し、被写体を撮影条件で撮
像することを特徴とする。
方法は、被写体の奥行きに関する情報を獲得する視差画
像撮像方法であって、被写体を見る視点を移動させた場
合に得られる複数の視差画像を撮像し、複数の視差画像
の特定の画素が、視点の移動方向及び移動量に従って、
複数の視差画像上で移動した軌跡を表す視差ラインを検
出し、特定の画素の視差ラインと交差する複数の交差視
差ラインを抽出し、特定の画素の視差ラインの傾き及び
複数の交差視差ラインの傾きに基づいて、特定の画素に
撮像された被写体の領域までの複数の距離を算出し、距
離算出部が算出した複数の距離に基づいて、被写体を撮
像するときの撮影条件を調整し、被写体を撮影条件で撮
像することを特徴とする。
【0026】なお上記の発明の概要は、本発明の必要な
特徴の全てを列挙したものではなく、これらの特徴群の
サブコンビネーションも又発明となりうる。
特徴の全てを列挙したものではなく、これらの特徴群の
サブコンビネーションも又発明となりうる。
【0027】
【発明の実施の形態】以下、発明の実施の形態を通じて
本発明を説明するが、以下の実施形態は特許請求の範囲
にかかる発明を限定するものではなく、また、実施形態
の中で説明されている特徴の組み合わせの全てが発明の
解決手段に必須であるとは限らない。
本発明を説明するが、以下の実施形態は特許請求の範囲
にかかる発明を限定するものではなく、また、実施形態
の中で説明されている特徴の組み合わせの全てが発明の
解決手段に必須であるとは限らない。
【0028】(実施形態1)図1は、本発明の第1の実
施形態に係る視差画像撮像装置の一例としてのカメラの
構成図である。本実施形態のカメラは、光学結像部12
と、カラーフィルター19と、受光部20と、レンズ5
2と、絞り54と、シャッター56と、カラーフィルタ
ー58と、CCD(電荷結合素子)60と、マルチプレ
クサー32と、A/D変換部34と、メモリ36と、距
離計算部38と、制御部39と、記録部40と、駆動部
42とを有する。
施形態に係る視差画像撮像装置の一例としてのカメラの
構成図である。本実施形態のカメラは、光学結像部12
と、カラーフィルター19と、受光部20と、レンズ5
2と、絞り54と、シャッター56と、カラーフィルタ
ー58と、CCD(電荷結合素子)60と、マルチプレ
クサー32と、A/D変換部34と、メモリ36と、距
離計算部38と、制御部39と、記録部40と、駆動部
42とを有する。
【0029】レンズ52は被写体を結像し、絞り54は
絞り量を調整し、シャッター56は露光時間を調整す
る。カラーフィルター58はレンズ52を通して受光さ
れる光のRGB成分を分解する。CCD60はレンズ5
2によって結像された被写体の画像を受光して、電気信
号に変換し、マルチプレクサー32に出力する。
絞り量を調整し、シャッター56は露光時間を調整す
る。カラーフィルター58はレンズ52を通して受光さ
れる光のRGB成分を分解する。CCD60はレンズ5
2によって結像された被写体の画像を受光して、電気信
号に変換し、マルチプレクサー32に出力する。
【0030】光学結像部12は被写体の視差画像を結像
する。カラーフィルター19は光学結像部12を通して
受光される光のRGB成分を分解する。受光部20は光
学結像部12によって結像された被写体の画像を受光し
て、電気信号に変換し、マルチプレクサー32に出力す
る。
する。カラーフィルター19は光学結像部12を通して
受光される光のRGB成分を分解する。受光部20は光
学結像部12によって結像された被写体の画像を受光し
て、電気信号に変換し、マルチプレクサー32に出力す
る。
【0031】受光部20は、複数の受光素子がマトリッ
クス状に配置され、光学結像部により被写体が結像され
る。カラーフィルター19は受光部20の表面を覆い、
光のRGB成分を透過させ、受光部20の受光素子に受
光させる。受光部20の受光素子は、たとえばCCD
(電荷結合素子)のような光電変換素子であってもよ
く、受光部20は、複数のCCDが配列された光電変換
撮像体であってもよい。
クス状に配置され、光学結像部により被写体が結像され
る。カラーフィルター19は受光部20の表面を覆い、
光のRGB成分を透過させ、受光部20の受光素子に受
光させる。受光部20の受光素子は、たとえばCCD
(電荷結合素子)のような光電変換素子であってもよ
く、受光部20は、複数のCCDが配列された光電変換
撮像体であってもよい。
【0032】駆動部42は、制御部39によって指定さ
れた視点の移動方向及び移動量に基づいて、光学結像部
12を移動させる。これにより、光学結像部12は被写
体を異なる視点から見た場合に得られる視差画像を受光
部20に結像する。
れた視点の移動方向及び移動量に基づいて、光学結像部
12を移動させる。これにより、光学結像部12は被写
体を異なる視点から見た場合に得られる視差画像を受光
部20に結像する。
【0033】マルチプレクサー32は、受光部20また
はCCD60の出力信号のどちらかを選択し、A/D変
換部34に出力する。A/D変換部34は入力されたア
ナログ信号をデジタル信号に変換し、メモリ36に出力
する。メモリ36は入力されたデジタル信号を格納す
る。メモリ36は、レンズ52がCCD60に撮像した
被写体の画像、及び光学結像部12が撮像した被写体の
視差画像を記憶する。
はCCD60の出力信号のどちらかを選択し、A/D変
換部34に出力する。A/D変換部34は入力されたア
ナログ信号をデジタル信号に変換し、メモリ36に出力
する。メモリ36は入力されたデジタル信号を格納す
る。メモリ36は、レンズ52がCCD60に撮像した
被写体の画像、及び光学結像部12が撮像した被写体の
視差画像を記憶する。
【0034】距離計算部38はメモリ36から視差画像
を読み出し、視差画像に基づいて、視差画像の任意の画
素について、当該カメラからその画素に撮像された被写
体の領域までの距離を計算し、視差画像の全領域につい
て距離を格納した被写体の距離分布情報を出力する。特
に重なりのある複数の物体を撮像した場合や、半透明の
ガラスを通して被写体を撮像した場合には、距離計算部
38は、首位差画像の画像の特定の画素について、複数
の距離成分を計算する。
を読み出し、視差画像に基づいて、視差画像の任意の画
素について、当該カメラからその画素に撮像された被写
体の領域までの距離を計算し、視差画像の全領域につい
て距離を格納した被写体の距離分布情報を出力する。特
に重なりのある複数の物体を撮像した場合や、半透明の
ガラスを通して被写体を撮像した場合には、距離計算部
38は、首位差画像の画像の特定の画素について、複数
の距離成分を計算する。
【0035】制御部39は、所望の視差画像を撮像する
ために、視点の移動方向及び移動量を指定して、駆動部
42を制御する。制御部39はまた、メモリ36から読
み出した被写体の画像の色情報、明度、彩度、及び距離
計算部38が出力した被写体の距離分布情報に基づい
て、レンズ52のフォーカス、絞り54の絞り量及びシ
ャッター56の露光時間の少なくとも一つを制御する。
ために、視点の移動方向及び移動量を指定して、駆動部
42を制御する。制御部39はまた、メモリ36から読
み出した被写体の画像の色情報、明度、彩度、及び距離
計算部38が出力した被写体の距離分布情報に基づい
て、レンズ52のフォーカス、絞り54の絞り量及びシ
ャッター56の露光時間の少なくとも一つを制御する。
【0036】記録部40は、メモリ36から読み出した
被写体の画像及び距離計算部38が出力した被写体の距
離情報を記録する。記録部40はフロッピィディスクの
ような磁気記録媒体やフラッシュメモリのような不揮発
性メモリであってもよい。
被写体の画像及び距離計算部38が出力した被写体の距
離情報を記録する。記録部40はフロッピィディスクの
ような磁気記録媒体やフラッシュメモリのような不揮発
性メモリであってもよい。
【0037】本実施形態のカメラによれば、複数の物体
が重なって見える被写体を撮像する場合、被写体の複数
の奥行き値を獲得することができる。このため、被写体
の複数の奥行き値のいずれかに基づいて、カメラのフォ
ーカス、絞り、露光時間などの撮影条件を合わせて、被
写体を撮像することができる。たとえば、木の枝の間を
通して向こう側に物体が見える場合や、窓のブラインド
越しに外の景色が見える場合に、被写体を撮像すると
き、前景と背景の両方の奥行き値を獲得できる。このた
め、たとえば、前景又は背景のみにフォーカスを合わせ
たり、前景と背景の両方が鮮明に写るように被写界深度
を調整することができる。
が重なって見える被写体を撮像する場合、被写体の複数
の奥行き値を獲得することができる。このため、被写体
の複数の奥行き値のいずれかに基づいて、カメラのフォ
ーカス、絞り、露光時間などの撮影条件を合わせて、被
写体を撮像することができる。たとえば、木の枝の間を
通して向こう側に物体が見える場合や、窓のブラインド
越しに外の景色が見える場合に、被写体を撮像すると
き、前景と背景の両方の奥行き値を獲得できる。このた
め、たとえば、前景又は背景のみにフォーカスを合わせ
たり、前景と背景の両方が鮮明に写るように被写界深度
を調整することができる。
【0038】また、半透明のショーウインドウを通して
ショーウインドウ内にある物体を撮影する場合や、電車
や自動車などの車窓から外の風景を撮影する場合、ショ
ーウインドウのガラスの模様や、車窓のガラスに映り込
んだ撮影者の姿が同時にカメラに撮像される。このよう
な場合でも、本実施形態のカメラによれば、ガラスの向
こう側の物体とガラス上の物体の両方の奥行き値を獲得
できる。そのため、たとえば、ガラスの向こう側に見え
る物体や景色に合わせて、撮影条件を調整し、被写体を
撮像することができる。
ショーウインドウ内にある物体を撮影する場合や、電車
や自動車などの車窓から外の風景を撮影する場合、ショ
ーウインドウのガラスの模様や、車窓のガラスに映り込
んだ撮影者の姿が同時にカメラに撮像される。このよう
な場合でも、本実施形態のカメラによれば、ガラスの向
こう側の物体とガラス上の物体の両方の奥行き値を獲得
できる。そのため、たとえば、ガラスの向こう側に見え
る物体や景色に合わせて、撮影条件を調整し、被写体を
撮像することができる。
【0039】また、平面鏡に映された被写体を撮像する
場合、鏡に映された被写体であっても、鏡の反対側に被
写体の虚像があると想定して、被写体の奥行きを検出す
ることができる。したがって本実施形態のカメラは、平
面鏡に映された被写体の奥行き値を獲得するためにも用
いることができる。
場合、鏡に映された被写体であっても、鏡の反対側に被
写体の虚像があると想定して、被写体の奥行きを検出す
ることができる。したがって本実施形態のカメラは、平
面鏡に映された被写体の奥行き値を獲得するためにも用
いることができる。
【0040】また、本実施形態のカメラでは、被写体を
撮像する光学系と、視差画像を撮像する光学系を有する
が、実施形態はこれに限られない。レンズ52、カラー
フィルター58、CCD60に、それぞれ光学結像部1
2、カラーフィルター19、受光部20の機能を兼ねさ
せ、被写体を撮像する光学系と、視差画像を撮像する光
学系を共通にし、同一の光学系を用いて、被写体の撮像
と視差画像の撮像を行ってもよい。
撮像する光学系と、視差画像を撮像する光学系を有する
が、実施形態はこれに限られない。レンズ52、カラー
フィルター58、CCD60に、それぞれ光学結像部1
2、カラーフィルター19、受光部20の機能を兼ねさ
せ、被写体を撮像する光学系と、視差画像を撮像する光
学系を共通にし、同一の光学系を用いて、被写体の撮像
と視差画像の撮像を行ってもよい。
【0041】図2は、光学結像部12を移動させた場合
に撮像される視差画像の説明図である。図2において、
前景80及び背景90は、複数の物体が重なって見える
被写体の一例である。光学結像部12を移動面2に沿っ
て移動させた場合に、結像面4には、被写体の視差画像
が撮像される。
に撮像される視差画像の説明図である。図2において、
前景80及び背景90は、複数の物体が重なって見える
被写体の一例である。光学結像部12を移動面2に沿っ
て移動させた場合に、結像面4には、被写体の視差画像
が撮像される。
【0042】光学結像部12から結像面4までの距離
(焦点距離)をF、光学結像部12から前景80までの
距離をR0、光学結像部12から背景90までの距離を
R1とする。光学結像部12を12aの位置から12b
の位置へ移動させたときの移動距離(視点間隔)をLと
する。
(焦点距離)をF、光学結像部12から前景80までの
距離をR0、光学結像部12から背景90までの距離を
R1とする。光学結像部12を12aの位置から12b
の位置へ移動させたときの移動距離(視点間隔)をLと
する。
【0043】光学結像部12が移動面2の12aの位置
にあるとき、前景80の点81、83、85は、結像面
4のそれぞれ81a、83a、85aの位置に撮像され
る。また背景90の点91、93、95は、結像面4の
それぞれ91a、93a、95aの位置に撮像される。
にあるとき、前景80の点81、83、85は、結像面
4のそれぞれ81a、83a、85aの位置に撮像され
る。また背景90の点91、93、95は、結像面4の
それぞれ91a、93a、95aの位置に撮像される。
【0044】光学結像部12が移動面2の12bの位置
にあるとき、前景80の点81、83、85は、結像面
4のそれぞれ81b、83b、85bの位置に撮像され
る。また背景90の点91、95は、結像面4のそれぞ
れ91b、95bの位置に撮像される。しかし背景90
の領域93は、ちょうど前景80の陰に隠れ、前景80
の領域81の像81bと重なるため、結像面4には撮像
されない。
にあるとき、前景80の点81、83、85は、結像面
4のそれぞれ81b、83b、85bの位置に撮像され
る。また背景90の点91、95は、結像面4のそれぞ
れ91b、95bの位置に撮像される。しかし背景90
の領域93は、ちょうど前景80の陰に隠れ、前景80
の領域81の像81bと重なるため、結像面4には撮像
されない。
【0045】光学結像部12が12aの位置にあると
き、結像面4に撮像された視差画像を基準画像と呼び、
光学結像部12が12bの位置にあるとき、結像面に撮
像された視差画像を参照画像と呼ぶ。基準画像の特定の
位置にある画素を基準点とし、基準点に撮像された被写
体の同一の点が撮像されている参照画像の画素を参照点
と呼ぶ。基準画像における基準点の位置と、参照画像に
おける参照点の位置には一定のずれがある。このずれを
視差量と呼ぶ。視差量は基準画像のすべての画素に対し
て定義される。
き、結像面4に撮像された視差画像を基準画像と呼び、
光学結像部12が12bの位置にあるとき、結像面に撮
像された視差画像を参照画像と呼ぶ。基準画像の特定の
位置にある画素を基準点とし、基準点に撮像された被写
体の同一の点が撮像されている参照画像の画素を参照点
と呼ぶ。基準画像における基準点の位置と、参照画像に
おける参照点の位置には一定のずれがある。このずれを
視差量と呼ぶ。視差量は基準画像のすべての画素に対し
て定義される。
【0046】図3は、図2に示した光学結像部12を移
動面2に沿って移動しながら、前景80及び背景90を
撮像した場合に、前景80及び背景90の結像面におけ
る像が視差画像上で移動した軌跡を示すグラフである。
グラフの横軸は結像位置を示し、縦軸は光学結像部12
を移動させた距離(視点間隔)を示す。
動面2に沿って移動しながら、前景80及び背景90を
撮像した場合に、前景80及び背景90の結像面におけ
る像が視差画像上で移動した軌跡を示すグラフである。
グラフの横軸は結像位置を示し、縦軸は光学結像部12
を移動させた距離(視点間隔)を示す。
【0047】図3において、視点間隔Lだけ離れた視点
から撮像した基準画像及び参照画像を比較すると、背景
90の点95の像は95aから95bへ移動する。点9
5の像の移動した軌跡を表す線を視差ラインと呼ぶ。9
5aと95bの結像位置のずれ、すなわち視差量はd1
である。このとき、背景90の点95の距離R1は、視
点間隔L、焦点距離Fを用いて、式R1=F×L/d1
によって計算できる。ここでK1=L/d1とおくと、
K1は基準点95aについての視差ラインの傾きであ
り、R1=F×K1とかける。
から撮像した基準画像及び参照画像を比較すると、背景
90の点95の像は95aから95bへ移動する。点9
5の像の移動した軌跡を表す線を視差ラインと呼ぶ。9
5aと95bの結像位置のずれ、すなわち視差量はd1
である。このとき、背景90の点95の距離R1は、視
点間隔L、焦点距離Fを用いて、式R1=F×L/d1
によって計算できる。ここでK1=L/d1とおくと、
K1は基準点95aについての視差ラインの傾きであ
り、R1=F×K1とかける。
【0048】また前景80の点85の像は85aから8
5bへ移動する。85aと85bの結像位置のずれ、す
なわち視差量はd0である。このとき、前景80の点8
5の距離R0は、式R0=F×L/d0によって計算で
きる。視差ラインの傾きをK0=L/d0とおくと、R
0=F×K0とかける。
5bへ移動する。85aと85bの結像位置のずれ、す
なわち視差量はd0である。このとき、前景80の点8
5の距離R0は、式R0=F×L/d0によって計算で
きる。視差ラインの傾きをK0=L/d0とおくと、R
0=F×K0とかける。
【0049】一般に、基準画像のある画素を基準点とし
て、基準点に対する参照画像の対応点を探し出し、視差
ラインを抽出し、視差ラインの傾きKを求めれば、基準
点に撮像された被写体の点の距離Rは、式R=F×Kに
よって求めることができる。
て、基準点に対する参照画像の対応点を探し出し、視差
ラインを抽出し、視差ラインの傾きKを求めれば、基準
点に撮像された被写体の点の距離Rは、式R=F×Kに
よって求めることができる。
【0050】ここで、基準画像の前景80における点8
1の像81aを基準点とすると、参照画像における対応
する参照点は像81bであり、前述のように視差量d0
を検出することができる。しかし基準画像の背景90に
おける点93の像93aを基準点とすると、参照画像に
おける参照点は参照画像には存在せず(像81bと重な
る)、視差量を検出することができない。この場合、基
準点の81a、93aの両方に対して、参照点81bが
対応していると考えることもできる。このように前景と
背景の境界でオクルージョン部が発生する場合、視差量
として、参照点81bを基準点93aに対応させた時の
視差量d1と、参照点81bを基準点81aに対応させ
た時の視差量d0の二つが存在する。
1の像81aを基準点とすると、参照画像における対応
する参照点は像81bであり、前述のように視差量d0
を検出することができる。しかし基準画像の背景90に
おける点93の像93aを基準点とすると、参照画像に
おける参照点は参照画像には存在せず(像81bと重な
る)、視差量を検出することができない。この場合、基
準点の81a、93aの両方に対して、参照点81bが
対応していると考えることもできる。このように前景と
背景の境界でオクルージョン部が発生する場合、視差量
として、参照点81bを基準点93aに対応させた時の
視差量d1と、参照点81bを基準点81aに対応させ
た時の視差量d0の二つが存在する。
【0051】従来の視差量の算出方法では、このような
場合、どちらかの被写体の点の奥行き値はただ一つであ
るという前提で視差量を検出するため、どちらか一方の
視差量を選択しなければならなかった。そのため、たと
えば参照点81bを基準点93aに過って対応させた場
合、前景80の点81の視差量をd1と検出し、点81
の距離をR1と計算する。
場合、どちらかの被写体の点の奥行き値はただ一つであ
るという前提で視差量を検出するため、どちらか一方の
視差量を選択しなければならなかった。そのため、たと
えば参照点81bを基準点93aに過って対応させた場
合、前景80の点81の視差量をd1と検出し、点81
の距離をR1と計算する。
【0052】従来の視差量算出方法では、被写体の画像
に複数の奥行き値があっても、他の奥行き値を捨ててい
た。そのため、複数の物体が複雑に重なり合って見える
被写体の奥行きを獲得する際、画素の奥行き情報の多く
を破棄することになる。これは、被写体の画像の画像処
理をする際、被写体の奥行き情報が少なくなり、適正な
画像処理が困難になるという問題を生じさせる。
に複数の奥行き値があっても、他の奥行き値を捨ててい
た。そのため、複数の物体が複雑に重なり合って見える
被写体の奥行きを獲得する際、画素の奥行き情報の多く
を破棄することになる。これは、被写体の画像の画像処
理をする際、被写体の奥行き情報が少なくなり、適正な
画像処理が困難になるという問題を生じさせる。
【0053】そこで、本発明では、被写体のある領域に
ついて視差を求める場合に、被写体のその領域内の画素
について、傾きの異なる視差ラインが検出された時、被
写体のその領域は、複数の物体が重なり合っていると判
断し、その領域の画素については、複数の奥行き値を求
める。たとえば、図3において、点81には距離R0と
R1の両方の奥行き値が算出される。
ついて視差を求める場合に、被写体のその領域内の画素
について、傾きの異なる視差ラインが検出された時、被
写体のその領域は、複数の物体が重なり合っていると判
断し、その領域の画素については、複数の奥行き値を求
める。たとえば、図3において、点81には距離R0と
R1の両方の奥行き値が算出される。
【0054】このようにして、本実施形態のカメラによ
れば、複数の物体が複雑に重なって見える被写体を撮像
する場合でも、被写体の複数の奥行き値を求めることが
でき、被写体の奥行きに関する豊富な情報を獲得するこ
とができる。
れば、複数の物体が複雑に重なって見える被写体を撮像
する場合でも、被写体の複数の奥行き値を求めることが
でき、被写体の奥行きに関する豊富な情報を獲得するこ
とができる。
【0055】図4は、メモリ36及び距離計算部38の
構成図である。図4を用いて、本実施形態のメモリ36
及び距離計算部38が、複数の視差画像から被写体の距
離分布情報を作成する動作を説明する。図4では、マル
チプレクサー32とA/D変換部34を省略するが、実
際の動作では、受光部20に撮像された画像は、マルチ
プレクサー32を介してA/D変換部34に送られ、デ
ジタル信号に変換されてからメモリ36に格納される。
構成図である。図4を用いて、本実施形態のメモリ36
及び距離計算部38が、複数の視差画像から被写体の距
離分布情報を作成する動作を説明する。図4では、マル
チプレクサー32とA/D変換部34を省略するが、実
際の動作では、受光部20に撮像された画像は、マルチ
プレクサー32を介してA/D変換部34に送られ、デ
ジタル信号に変換されてからメモリ36に格納される。
【0056】図4において、メモリ36は、受光部20
に撮像された被写体の複数の視差画像37を格納する。
距離計算部38は、視差画像の各画素の視差ラインを検
出する視差ライン検出部24と、視差ライン検出部24
が検出した視差ラインから視差画像の各画素について距
離成分を算出する距離成分算出部28とを有する。
に撮像された被写体の複数の視差画像37を格納する。
距離計算部38は、視差画像の各画素の視差ラインを検
出する視差ライン検出部24と、視差ライン検出部24
が検出した視差ラインから視差画像の各画素について距
離成分を算出する距離成分算出部28とを有する。
【0057】以下、一例として、図4に示した被写体
A、B及びCの視差画像を撮像した場合について、メモ
リ36、視差ライン検出部24及び距離成分算出部28
の動作を説明する。
A、B及びCの視差画像を撮像した場合について、メモ
リ36、視差ライン検出部24及び距離成分算出部28
の動作を説明する。
【0058】光学結像部12から被写体A、B、Cまで
の距離はそれぞれR1、R2、R3である。被写体Cは
被写体Aの後部にあるが、被写体Aの隙間から一部を見
ることができる。メモリ36は、光学結像部12を移動
させた時に受光部20に撮像される被写体A、B及びC
の複数の視差画像37を格納する。
の距離はそれぞれR1、R2、R3である。被写体Cは
被写体Aの後部にあるが、被写体Aの隙間から一部を見
ることができる。メモリ36は、光学結像部12を移動
させた時に受光部20に撮像される被写体A、B及びC
の複数の視差画像37を格納する。
【0059】視差ライン検出部24は、メモリ36から
視差画像37を読み出し、視差画像37の一つを基準画
像とし、他の視差画像37を参照画像とする。被写体
A、B及びCが撮像されている基準画像のそれぞれの領
域について、ある画素を基準点とした場合、その基準点
に対応する参照画像中の参照点を検出する。参照点の検
出には、従来の対応点決定(マッチング)処理を用い
る。基準点と複数の参照点が検出されると、基準画像の
参照点が画像上で移動した軌跡を表す視差ラインを検出
することができる。
視差画像37を読み出し、視差画像37の一つを基準画
像とし、他の視差画像37を参照画像とする。被写体
A、B及びCが撮像されている基準画像のそれぞれの領
域について、ある画素を基準点とした場合、その基準点
に対応する参照画像中の参照点を検出する。参照点の検
出には、従来の対応点決定(マッチング)処理を用い
る。基準点と複数の参照点が検出されると、基準画像の
参照点が画像上で移動した軌跡を表す視差ラインを検出
することができる。
【0060】距離成分算出部28は、被写体A、B及び
Cが撮像されている基準画像のそれぞれの領域のすべて
の画素について、視差ライン検出部24が検出した視差
ラインの傾きを検出する。
Cが撮像されている基準画像のそれぞれの領域のすべて
の画素について、視差ライン検出部24が検出した視差
ラインの傾きを検出する。
【0061】被写体A、Bが重なって撮像されている基
準画像の領域では、傾きの異なる二つの視差ラインが存
在する。交差する視差ラインを有する基準画像の画素に
ついて、視差ラインの傾き成分として二つのK1、K2
が検出され、距離成分R1、R2が、式R1=F×K
1、R2=F×K2によって求められる。交差する視差
ラインを有しない基準画像の画素については、R1又は
R2のいずれか一つの距離成分だけが求められる。
準画像の領域では、傾きの異なる二つの視差ラインが存
在する。交差する視差ラインを有する基準画像の画素に
ついて、視差ラインの傾き成分として二つのK1、K2
が検出され、距離成分R1、R2が、式R1=F×K
1、R2=F×K2によって求められる。交差する視差
ラインを有しない基準画像の画素については、R1又は
R2のいずれか一つの距離成分だけが求められる。
【0062】被写体Cが撮像されている基準画像の領域
では、視差ラインの傾きとして、ただ一つの傾き成分K
3だけが検出され、距離成分R3が、式R3=F×K3
によって求められる。
では、視差ラインの傾きとして、ただ一つの傾き成分K
3だけが検出され、距離成分R3が、式R3=F×K3
によって求められる。
【0063】距離成分算出部28は、被写体A、B、C
が撮像されている基準画像のすべての画素に関する距離
成分を格納した距離分布情報30を出力する。
が撮像されている基準画像のすべての画素に関する距離
成分を格納した距離分布情報30を出力する。
【0064】このように距離計算部38は、一般に、複
数の物体が重なって見える被写体を撮像した場合、被写
体の奥行き値として、複数の距離成分を算出する。
数の物体が重なって見える被写体を撮像した場合、被写
体の奥行き値として、複数の距離成分を算出する。
【0065】上記では、基準点に対応する参照点を探す
対応点決定方法に基づいて、視差ラインを検出し、視差
ラインの傾き成分を抽出し、複数の距離成分を求めた
が、距離成分の検出方法はこの方法に限られない。たと
えば、画像をハフ変換処理することによって、視差ライ
ンの特定の傾き成分を抽出し、距離成分を算出してもよ
い。
対応点決定方法に基づいて、視差ラインを検出し、視差
ラインの傾き成分を抽出し、複数の距離成分を求めた
が、距離成分の検出方法はこの方法に限られない。たと
えば、画像をハフ変換処理することによって、視差ライ
ンの特定の傾き成分を抽出し、距離成分を算出してもよ
い。
【0066】図5は、複数の視差画像から被写体の距離
分布情報を求める処理のフローチャートである。
分布情報を求める処理のフローチャートである。
【0067】視差ライン検出部24は、S100からS
110までの処理を行う。複数の視差画像を入力し、い
ずれか一つの視差画像を基準画像、他の視差画像を参照
画像とする(S100)。基準画像の特定領域を選択し
(S102)、特定領域内の特定画素を基準点として選
択する(S104)。参照画像内に基準点に対応する参
照点を検出し(S106)、基準点と参照点を結ぶ視差
ラインを抽出する(S108)。特定領域内のすべての
画素について、視差ラインを抽出したかどうかを判定し
(S110)、そうでないなら、S104の処理に戻
り、他の特定画素を選択して、S106及びS108の
処理を繰り返す。特定領域内のすべての画素について、
視差ラインを抽出したなら、S112の処理に進む。
110までの処理を行う。複数の視差画像を入力し、い
ずれか一つの視差画像を基準画像、他の視差画像を参照
画像とする(S100)。基準画像の特定領域を選択し
(S102)、特定領域内の特定画素を基準点として選
択する(S104)。参照画像内に基準点に対応する参
照点を検出し(S106)、基準点と参照点を結ぶ視差
ラインを抽出する(S108)。特定領域内のすべての
画素について、視差ラインを抽出したかどうかを判定し
(S110)、そうでないなら、S104の処理に戻
り、他の特定画素を選択して、S106及びS108の
処理を繰り返す。特定領域内のすべての画素について、
視差ラインを抽出したなら、S112の処理に進む。
【0068】距離成分算出部28は、S112からS1
20までの処理を行う。特定領域内の特定画素の視差ラ
インを選択し(S112)、特定画素の視差ラインと交
差する他の視差ラインを検出する(S114)、特定画
素の視差ラインの傾きK1及び交差するすべての視差ラ
インの傾きK2、…、Knを検出し、特定画素の距離成
分R1、R2、…、Rnを式Ri=F×Ki(i=1,
…、n)によって算出する(S116)。ここでFは焦
点距離である。交差する視差ラインがない場合は、距離
成分はR1のみである。特定領域内のすべての画素につ
いて、距離成分を算出したかどうかを判定し(S11
8)、そうでないなら、S112の処理に戻り、他の特
定画素の視差ラインを選択して、S114及びS116
の処理を繰り返す。特定領域内のすべての画素につい
て、距離成分を算出したなら、基準画像の特定領域の距
離分布情報を出力する(S120)。
20までの処理を行う。特定領域内の特定画素の視差ラ
インを選択し(S112)、特定画素の視差ラインと交
差する他の視差ラインを検出する(S114)、特定画
素の視差ラインの傾きK1及び交差するすべての視差ラ
インの傾きK2、…、Knを検出し、特定画素の距離成
分R1、R2、…、Rnを式Ri=F×Ki(i=1,
…、n)によって算出する(S116)。ここでFは焦
点距離である。交差する視差ラインがない場合は、距離
成分はR1のみである。特定領域内のすべての画素につ
いて、距離成分を算出したかどうかを判定し(S11
8)、そうでないなら、S112の処理に戻り、他の特
定画素の視差ラインを選択して、S114及びS116
の処理を繰り返す。特定領域内のすべての画素につい
て、距離成分を算出したなら、基準画像の特定領域の距
離分布情報を出力する(S120)。
【0069】図6は、本実施形態の制御部39の動作を
示すフローチャートである。制御部39が視点の移動方
向及び移動量を指定し(S200)、駆動部42が光学
結像部12を指定された移動方向及び移動量に基づいて
移動させ、受光部20に視差画像を撮像させる(S20
2)。
示すフローチャートである。制御部39が視点の移動方
向及び移動量を指定し(S200)、駆動部42が光学
結像部12を指定された移動方向及び移動量に基づいて
移動させ、受光部20に視差画像を撮像させる(S20
2)。
【0070】制御部39がマルチプレクサー32を制御
して、受光部20に撮像された視差画像を順次メモリ3
6に格納させる(S204)。距離計算部38がメモリ
36から視差画像を読み取り、被写体の距離分布情報を
算出する(S206)。制御部39は、カメラの撮影モ
ードが前景優先であれば(S208)、被写体の距離分
布情報から最短距離成分を選択し(S210)、撮影モ
ードが背景優先であれば(S212)、被写体の距離分
布情報から最長距離成分を選択し(S214)、カメラ
の撮影モードがそれ以外であれば、被写体の距離分布情
報から最多距離成分を選択する(S216)。
して、受光部20に撮像された視差画像を順次メモリ3
6に格納させる(S204)。距離計算部38がメモリ
36から視差画像を読み取り、被写体の距離分布情報を
算出する(S206)。制御部39は、カメラの撮影モ
ードが前景優先であれば(S208)、被写体の距離分
布情報から最短距離成分を選択し(S210)、撮影モ
ードが背景優先であれば(S212)、被写体の距離分
布情報から最長距離成分を選択し(S214)、カメラ
の撮影モードがそれ以外であれば、被写体の距離分布情
報から最多距離成分を選択する(S216)。
【0071】制御部39は、選択された距離成分と、被
写体の画像の色分布、輝度分布、テクスチャ分布等の情
報に基づいて、レンズ52のフォーカス、絞り54の絞
り量、シャッター56の露光時間等の撮影条件を設定し
(S218)、被写体をCCD60に撮像させる(S2
20)。
写体の画像の色分布、輝度分布、テクスチャ分布等の情
報に基づいて、レンズ52のフォーカス、絞り54の絞
り量、シャッター56の露光時間等の撮影条件を設定し
(S218)、被写体をCCD60に撮像させる(S2
20)。
【0072】尚、上述のカメラの撮影モード及び距離分
布成分の選択は、カメラの撮影条件の一例を示すもので
あって、実施形態はこれに限られない。
布成分の選択は、カメラの撮影条件の一例を示すもので
あって、実施形態はこれに限られない。
【0073】(実施形態2)図7は、本発明の第2の実
施形態に係る視差画像処理装置の一例としてのカメラの
構成図である。本実施形態のカメラは、図1に示した第
1の実施形態のカメラと比べて、駆動部42が省かれ、
方向センサー44及び加速度センサー46を有する点だ
けが異なる。図1と同一の符号を付したものについて
は、第1の実施形態と同じであるから説明を省略する。
施形態に係る視差画像処理装置の一例としてのカメラの
構成図である。本実施形態のカメラは、図1に示した第
1の実施形態のカメラと比べて、駆動部42が省かれ、
方向センサー44及び加速度センサー46を有する点だ
けが異なる。図1と同一の符号を付したものについて
は、第1の実施形態と同じであるから説明を省略する。
【0074】本実施形態では、光学結像部12を駆動さ
せないが、当該カメラを移動させた場合に、方向センサ
ー44及び加速度センサー46がカメラの移動方向と移
動距離を測定することができる。
せないが、当該カメラを移動させた場合に、方向センサ
ー44及び加速度センサー46がカメラの移動方向と移
動距離を測定することができる。
【0075】本実施形態によれば、撮影者がカメラを手
動で移動させた場合、方向センサー44及び加速度セン
サー46の少なくとも一つが、カメラの移動方向と移動
距離を検出し、視差を算出することができる。
動で移動させた場合、方向センサー44及び加速度セン
サー46の少なくとも一つが、カメラの移動方向と移動
距離を検出し、視差を算出することができる。
【0076】(実施形態3)図8は、本発明の第3の実
施形態に係る視差画像処理装置の一例としてのデジタル
ラボシステムの構成図である。本実施形態のデジタルラ
ボシステムは、視差画像入力部70と、視差画像処理部
74と、画像処理部76と、画像出力部78とを有す
る。
施形態に係る視差画像処理装置の一例としてのデジタル
ラボシステムの構成図である。本実施形態のデジタルラ
ボシステムは、視差画像入力部70と、視差画像処理部
74と、画像処理部76と、画像出力部78とを有す
る。
【0077】視差画像処理部74は、メモリ36と、距
離計算部38を有し、これらは第1の実施形態のメモリ
36及び距離計算部38と同じ構成と動作であるから、
説明を省略する。視差画像処理部74はCPU、メモ
リ、記録媒体を有するコンピュータであってもよい。
離計算部38を有し、これらは第1の実施形態のメモリ
36及び距離計算部38と同じ構成と動作であるから、
説明を省略する。視差画像処理部74はCPU、メモ
リ、記録媒体を有するコンピュータであってもよい。
【0078】視差画像処理部74は、視点移動検出部を
さらに備えてもよく、視点移動検出部は、複数の視差画
像から視点の移動方向及び移動量を読みとる。視点の移
動方向及び移動量は予め視差画像に書き込まれていても
よい。また複数の視差画像に基づいて、画像処理によっ
て視点の移動方向を調べてもよい。たとえば、視差画像
の特定の領域が、視差画像上で移動した移動方向を検出
することにより、視点の移動方向を検出することができ
る。
さらに備えてもよく、視点移動検出部は、複数の視差画
像から視点の移動方向及び移動量を読みとる。視点の移
動方向及び移動量は予め視差画像に書き込まれていても
よい。また複数の視差画像に基づいて、画像処理によっ
て視点の移動方向を調べてもよい。たとえば、視差画像
の特定の領域が、視差画像上で移動した移動方向を検出
することにより、視点の移動方向を検出することができ
る。
【0079】視差画像入力部70は、被写体の画像及び
被写体の複数の視差画像を入力する。視差画像入力部7
0は写真又は感光フィルムを読みとりデジタル信号に置
き換えるスキャナ、CD−ROM、MO、DVDなどの
記録媒体から画像データを読みとる読み込み装置であっ
てもよい。
被写体の複数の視差画像を入力する。視差画像入力部7
0は写真又は感光フィルムを読みとりデジタル信号に置
き換えるスキャナ、CD−ROM、MO、DVDなどの
記録媒体から画像データを読みとる読み込み装置であっ
てもよい。
【0080】画像処理部76は、被写体の画像、及び距
離計算部38が出力した被写体の距離分布情報を用い
て、被写体の画像を処理する。
離計算部38が出力した被写体の距離分布情報を用い
て、被写体の画像を処理する。
【0081】画像出力部78は、画像処理部76が作成
して得られた画像を出力する。画像出力部78は、現像
機又はプリンタであってもよい。
して得られた画像を出力する。画像出力部78は、現像
機又はプリンタであってもよい。
【0082】本実施形態のデジタルラボシステムでは、
被写体の複数の視差画像を用いて、被写体の距離分布情
報を獲得する。被写体の奥行き情報を利用して、被写体
を撮像したネガフィルムや写真に対して、被写体の濃度
やコントラストを自動補正したり、主要被写体を抽出し
て、主要被写体の濃度やコントラストを部分補正するな
ど、より美しい被写体の画像を再構成することができ
る。
被写体の複数の視差画像を用いて、被写体の距離分布情
報を獲得する。被写体の奥行き情報を利用して、被写体
を撮像したネガフィルムや写真に対して、被写体の濃度
やコントラストを自動補正したり、主要被写体を抽出し
て、主要被写体の濃度やコントラストを部分補正するな
ど、より美しい被写体の画像を再構成することができ
る。
【0083】特に、複数の物体が重なって見える被写体
を撮像した場合、重なって見える被写体の領域について
は、複数の奥行き値を有するので、主要被写体と背景を
区別して、画像の色補正を行ったり、前景または背景だ
けの画像を切り出して再構成するなど、より高度な画像
処理が可能である。
を撮像した場合、重なって見える被写体の領域について
は、複数の奥行き値を有するので、主要被写体と背景を
区別して、画像の色補正を行ったり、前景または背景だ
けの画像を切り出して再構成するなど、より高度な画像
処理が可能である。
【0084】(実施形態4)図9は、本発明の第4の実
施形態に係るコンピュータ用のプログラムの機能構成図
である。図9において、コンピュータ180は、視差画
像入力モジュール184と、視差画像記憶モジュール1
86と、視差ライン検出モジュール188と、距離成分
算出モジュール190と、画像処理モジュール192
と、画像出力モジュール194とを有する。これらの機
能構成は、記録媒体182に格納されたプログラムによ
ってソフトウエアとして提供されてもよい。
施形態に係るコンピュータ用のプログラムの機能構成図
である。図9において、コンピュータ180は、視差画
像入力モジュール184と、視差画像記憶モジュール1
86と、視差ライン検出モジュール188と、距離成分
算出モジュール190と、画像処理モジュール192
と、画像出力モジュール194とを有する。これらの機
能構成は、記録媒体182に格納されたプログラムによ
ってソフトウエアとして提供されてもよい。
【0085】視差画像入力モジュール184は、被写体
の画像及び被写体を異なる視点から見た場合に得られる
複数の視差画像を入力する。視差画像入力モジュール1
84は、スキャナなどの画像読み取り装置や、CD−R
OMなどの記憶デバイスから画像を読み込んでもよい。
視差画像記憶モジュール186は、被写体の画像及び複
数の視差画像を記憶する。
の画像及び被写体を異なる視点から見た場合に得られる
複数の視差画像を入力する。視差画像入力モジュール1
84は、スキャナなどの画像読み取り装置や、CD−R
OMなどの記憶デバイスから画像を読み込んでもよい。
視差画像記憶モジュール186は、被写体の画像及び複
数の視差画像を記憶する。
【0086】視差ライン検出モジュール188は、複数
の視差画像の特定の画素が、視点の移動方向及び移動量
に従って、複数の視差画像上で移動した軌跡を表す視差
ラインを検出する。
の視差画像の特定の画素が、視点の移動方向及び移動量
に従って、複数の視差画像上で移動した軌跡を表す視差
ラインを検出する。
【0087】視差ライン検出モジュール188は、視点
移動検出モジュールをさらに備えてもよく、視点移動検
出モジュールは、複数の視差画像から視点の移動方向及
び移動量を読みとる。視点の移動方向及び移動量は予め
視差画像に書き込まれていてもよい。また複数の視差画
像に基づいて、画像処理によって視点の移動方向を調べ
てもよい。たとえば、視差画像の特定の領域が、視差画
像上で移動した移動方向を検出することにより、視点の
移動方向を検出することができる。
移動検出モジュールをさらに備えてもよく、視点移動検
出モジュールは、複数の視差画像から視点の移動方向及
び移動量を読みとる。視点の移動方向及び移動量は予め
視差画像に書き込まれていてもよい。また複数の視差画
像に基づいて、画像処理によって視点の移動方向を調べ
てもよい。たとえば、視差画像の特定の領域が、視差画
像上で移動した移動方向を検出することにより、視点の
移動方向を検出することができる。
【0088】距離成分算出モジュール190は、特定の
画素の視差ラインと交差する複数の交差視差ラインを抽
出し、特定の画素の視差ラインの傾き及び複数の交差視
差ラインの傾きに基づいて、特定の画素に撮像された被
写体の領域までの複数の距離を算出する。
画素の視差ラインと交差する複数の交差視差ラインを抽
出し、特定の画素の視差ラインの傾き及び複数の交差視
差ラインの傾きに基づいて、特定の画素に撮像された被
写体の領域までの複数の距離を算出する。
【0089】視差ラインの検出方法、距離分布の算出方
法は第1の実施形態と同じであるから説明を省略する。
法は第1の実施形態と同じであるから説明を省略する。
【0090】画像処理モジュール192は、距離成分算
出モジュール190が算出した距離分布情報を用いて、
被写体の画像に画像処理を施す。
出モジュール190が算出した距離分布情報を用いて、
被写体の画像に画像処理を施す。
【0091】画像出力モジュール194は、画像処理モ
ジュール192が作成した画像をコンピュータに接続さ
れたディスプレイに出力する。画像出力モジュール19
4は、画像処理モジュール192が作成した画像をプリ
ンタに出力してもよい。
ジュール192が作成した画像をコンピュータに接続さ
れたディスプレイに出力する。画像出力モジュール19
4は、画像処理モジュール192が作成した画像をプリ
ンタに出力してもよい。
【0092】本実施形態の記録媒体に格納されたプログ
ラムによれば、被写体の複数の視差画像から被写体の距
離分布情報を獲得できる。特に複数の物体が重なって見
える被写体を撮像した画像の場合、被写体の複数の奥行
き値を用いることができる。そのため、たとえば、被写
体の前景と背景を別々に切り出した被写体の分離画像
や、重なって見える物体を別々に切り出して作成した被
写体の立体フレームモデルなどを作成できる。
ラムによれば、被写体の複数の視差画像から被写体の距
離分布情報を獲得できる。特に複数の物体が重なって見
える被写体を撮像した画像の場合、被写体の複数の奥行
き値を用いることができる。そのため、たとえば、被写
体の前景と背景を別々に切り出した被写体の分離画像
や、重なって見える物体を別々に切り出して作成した被
写体の立体フレームモデルなどを作成できる。
【0093】以上、本発明を実施の形態を用いて説明し
たが、本発明の技術的範囲は上記実施の形態に記載の範
囲には限定されない。上記実施の形態に、多様な変更又
は改良を加えることができることが当業者に明らかであ
る。その様な変更又は改良を加えた形態も本発明の技術
的範囲に含まれ得ることが、特許請求の範囲の記載から
明らかである。
たが、本発明の技術的範囲は上記実施の形態に記載の範
囲には限定されない。上記実施の形態に、多様な変更又
は改良を加えることができることが当業者に明らかであ
る。その様な変更又は改良を加えた形態も本発明の技術
的範囲に含まれ得ることが、特許請求の範囲の記載から
明らかである。
【0094】
【発明の効果】上記説明から明らかなように、本発明に
よれば複数の物体が重なって見える被写体の視差画像か
ら、複数の物体の奥行き値を求めることができる。
よれば複数の物体が重なって見える被写体の視差画像か
ら、複数の物体の奥行き値を求めることができる。
【図面の簡単な説明】
【図1】 本発明の第1の実施形態のカメラの構成図
【図2】 光学結像部を移動させた場合に撮像される視
差画像の説明図
差画像の説明図
【図3】 被写体の像の視差画像上での軌跡を示すグラ
フ
フ
【図4】 メモリ及び距離計算部の構成図
【図5】 複数の視差画像から被写体の距離分布情報を
求める処理のフローチャート
求める処理のフローチャート
【図6】 制御部の動作を示すフローチャート
【図7】 本発明の第2の実施形態のカメラの構成図
【図8】 本発明の第3の実施形態のデジタルラボシス
テム
テム
【図9】 本発明の第4の実施形態のコンピュータ用の
プログラムの機能構成図
プログラムの機能構成図
12 光学結像部 19 カラーフィ
ルター 20 受光部 24 視差ライン
検出部 28 距離成分算出部 32 マルチプレ
クサー 34 A/D変換部 36 メモリ 38 距離計算部 39 制御部 40 記録部 42 駆動部 44 方向センサー 46 加速度セン
サー 52 レンズ 54 絞り 56 シャッター 58 カラーフィ
ルター 60 CCD
ルター 20 受光部 24 視差ライン
検出部 28 距離成分算出部 32 マルチプレ
クサー 34 A/D変換部 36 メモリ 38 距離計算部 39 制御部 40 記録部 42 駆動部 44 方向センサー 46 加速度セン
サー 52 レンズ 54 絞り 56 シャッター 58 カラーフィ
ルター 60 CCD
Claims (16)
- 【請求項1】 被写体の奥行きに関する情報を獲得する
視差画像撮像装置であって、 前記被写体を見る視点を移動させた場合に得られる複数
の視差画像を順次撮像させる制御部と、 前記制御部により撮像された前記複数の視差画像の特定
の画素が、前記視点の移動方向及び移動量に従って、前
記複数の視差画像上で移動した軌跡を表す視差ラインを
検出する視差ライン検出部と、 前記特定の画素の前記視差ラインと交差する複数の交差
視差ラインを抽出し、前記特定の画素の前記視差ライン
の傾き及び前記複数の交差視差ラインの傾きに基づい
て、前記特定の画素に撮像された前記被写体の領域まで
の複数の距離を算出する距離成分算出部とを備えたこと
を特徴とする視差画像撮像装置。 - 【請求項2】 前記被写体を結像する第1の光学結像部
と、複数の受光素子が配置され、前記第1の光学結像部
により前記被写体の前記複数の視差画像が撮像される第
1の受光部と、前記第1の光学結像部を移動させる駆動
部とをさらに備え、前記制御部が前記視点の前記移動方
向及び前記移動量を指定し、前記駆動部は前記移動方向
及び前記移動量に基づいて前記第1の光学結像部を移動
させることを特徴とする請求項1に記載の視差画像撮像
装置。 - 【請求項3】 前記視差ライン検出部は、前記制御部が
指定する前記視点の前記移動方向と略同一の方向に、前
記制御部が指定する前記視点の前記移動量だけ、前記特
定の画素の前記軌跡を追跡することにより、前記視差ラ
インを検出することを特徴とする請求項2に記載の視差
画像撮像装置。 - 【請求項4】 前記視点の前記移動方向及び前記移動量
を検出する視点移動検出部をさらに備え、前記視差ライ
ン検出部は、前記視点移動検出部が検出した前記視点の
前記移動方向と略同一の方向に、前記視点移動検出部が
検出した前記視点の前記移動量だけ、前記特定の画素の
前記軌跡を追跡することにより、前記視差ラインを検出
することを特徴とする請求項1に記載の視差画像撮像装
置。 - 【請求項5】 前記視点移動検出部が、方向センサー及
び加速度センサーの少なくとも一方を有し、前記視点の
前記移動方向及び前記移動量を、前記方向センサー及び
前記加速度センサーの少なくとも一方によって検出する
ことを特徴とする請求項4に記載の視差画像撮像装置。 - 【請求項6】 前記視点移動検出部は、前記複数の視差
画像の特定の領域が、前記複数の視差画像上で移動した
移動方向及び移動量を検出することによって、前記視点
の前記移動方向及び前記移動量を検出することを特徴と
する請求項4に記載の視差画像撮像装置。 - 【請求項7】 前記被写体を結像する第2の光学結像部
と、前記第2の光学結像部により前記被写体の画像が撮
像される第2の受光部と、前記第1の受光部に撮像され
た前記複数の視差画像、前記距離算出部が算出した前記
複数の距離、及び前記第2の受光部に撮像された前記被
写体の画像を記録する記録部とをさらに備え、前記制御
部が、前記距離成分算出部が算出した前記複数の距離に
基づいて、前記第2の光学結像部のフォーカス、絞り、
及び前記第2の受光部の露光時間の少なくとも一つを制
御することを特徴とする請求項2に記載の視差画像撮像
装置。 - 【請求項8】 前記第1の光学結像部により前記被写体
の画像が撮像される第2の受光部と、前記第1の受光部
に撮像された前記複数の視差画像、前記距離算出部が算
出した前記複数の距離、及び前記第2の受光部に撮像さ
れた前記被写体の画像を記録する記録部とをさらに備
え、前記制御部が、前記距離成分算出部が算出した前記
複数の距離に基づいて、前記第1の光学結像部のフォー
カス、絞り、及び前記第2の受光部の露光時間の少なく
とも一つを制御することを特徴とする請求項2に記載の
視差画像撮像装置。 - 【請求項9】 被写体の奥行きに関する情報を算出する
視差画像処理装置であって、 前記被写体の画像及び前記被写体を見る視点を移動させ
た場合に得られる複数の視差画像を入力する視差画像入
力部と、 前記複数の視差画像の特定の画素が、前記視点の移動方
向及び移動量に従って、前記複数の視差画像上で移動し
た軌跡を表す視差ラインを検出する視差ライン検出部
と、 前記特定の画素の前記視差ラインと交差する複数の交差
視差ラインを抽出し、前記特定の画素の前記視差ライン
の傾き及び前記複数の交差視差ラインの傾きに基づい
て、前記特定の画素に撮像された前記被写体の領域まで
の複数の距離を算出する距離成分算出部と、 前記距離成分算出部が算出した前記複数の距離に基づい
て、前記被写体の前記画像を処理する画像処理部と、 前記画像処理部が作成して得られた画像を出力する画像
出力部とを備えたことを特徴とする視差画像処理装置。 - 【請求項10】 前記視点の前記移動方向及び前記移動
量を検出する視点移動検出部をさらに備え、前記視差ラ
イン検出部は、前記視点移動検出部が検出した前記視点
の前記移動方向と略同一の方向に、前記視点移動検出部
が検出した前記視点の前記移動量だけ、前記特定の画素
の前記軌跡を追跡することにより、前記視差ラインを検
出することを特徴とする請求項9に記載の視差画像処理
装置。 - 【請求項11】 前記視点移動検出部は、前記複数の視
差画像の特定の領域が、前記複数の視差画像上で移動し
た移動方向及び移動量を検出することによって、前記視
点の前記移動方向及び前記移動量を検出することを特徴
とする請求項10に記載の視差画像処理装置。 - 【請求項12】 被写体の奥行きに関する情報を算出す
るコンピュータ用のプログラムを格納した記録媒体であ
って、前記プログラムが、 前記コンピュータに働きかけて、前記被写体の画像及び
前記被写体を見る視点を移動させた場合に得られる複数
の視差画像を入力させる視差画像入力モジュールと、 前記コンピュータに働きかけて、前記被写体の画像及び
前記複数の視差画像を記憶させる視差画像記憶モジュー
ルと、 前記コンピュータに働きかけて、前記複数の視差画像の
特定の画素が、前記視点の移動方向及び移動量に従っ
て、前記複数の視差画像上で移動した軌跡を表す視差ラ
インを検出させる視差ライン検出モジュールと、 前記コンピュータに働きかけて、前記特定の画素の前記
視差ラインと交差する複数の交差視差ラインを抽出し、
前記特定の画素の前記視差ラインの傾き及び前記複数の
交差視差ラインの傾きに基づいて、前記特定の画素に撮
像された前記被写体の領域までの複数の距離を算出させ
る距離成分算出モジュールと、 前記コンピュータに働きかけて、前記距離成分算出モジ
ュールが算出した前記複数の距離に基づいて、前記被写
体の前記画像を処理させる画像処理モジュールと、 前記コンピュータに働きかけて、前記画像処理モジュー
ルが作成して得られた画像を出力させる画像出力モジュ
ールとを備えたことを特徴とする記録媒体。 - 【請求項13】 前記プログラムが、前記コンピュータ
に働きかけて、前記視点の前記移動方向及び前記移動量
を検出させる視点移動検出モジュールをさらに備え、前
記視差ライン検出モジュールは、前記視点移動検出モジ
ュールが検出した前記視点の前記移動方向と略同一の方
向に、前記視点移動検出モジュールが検出した前記視点
の前記移動量だけ、前記特定の画素の前記軌跡を追跡す
ることにより、前記視差ラインを検出することを特徴と
する請求項12に記載の記録媒体。 - 【請求項14】 前記視点移動検出モジュールは、前記
複数の視差画像の特定の領域が、前記複数の視差画像上
で移動した移動方向及び移動量を検出することによっ
て、前記視点の前記移動方向及び前記移動量を検出させ
ることを特徴とする請求項13に記載の記録媒体。 - 【請求項15】 被写体の奥行きに関する情報を算出す
る視差画像処理方法であって、 前記被写体の画像及び前記被写体を見る視点を移動させ
た場合に得られる複数の視差画像を入力し、 前記複数の視差画像の特定の画素が、前記視点の移動方
向及び移動量に従って、前記複数の視差画像上で移動し
た軌跡を表す視差ラインを検出し、 前記特定の画素の前記視差ラインと交差する複数の交差
視差ラインを抽出し、 前記特定の画素の前記視差ラインの傾き及び前記複数の
交差視差ラインの傾きに基づいて、前記特定の画素に撮
像された前記被写体の領域までの複数の距離を算出する
ことを特徴とする視差画像処理方法。 - 【請求項16】 被写体の奥行きに関する情報を獲得す
る視差画像撮像方法であって、 前記被写体を見る視点を移動させた場合に得られる複数
の視差画像を撮像し、 前記複数の視差画像の特定の画素が、前記視点の移動方
向及び移動量に従って、前記複数の視差画像上で移動し
た軌跡を表す視差ラインを検出し、 前記特定の画素の前記視差ラインと交差する複数の交差
視差ラインを抽出し、 前記特定の画素の前記視差ラインの傾き及び前記複数の
交差視差ラインの傾きに基づいて、前記特定の画素に撮
像された前記被写体の領域までの複数の距離を算出し、 前記距離算出部が算出した前記複数の距離に基づいて、
前記被写体を撮像するときの撮影条件を調整し、 前記被写体を前記撮影条件で撮像することを特徴とする
視差画像撮像方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP11176264A JP2001004370A (ja) | 1999-06-23 | 1999-06-23 | 視差画像撮像装置、視差画像処理装置、視差画像撮像方法、及び視差画像処理方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP11176264A JP2001004370A (ja) | 1999-06-23 | 1999-06-23 | 視差画像撮像装置、視差画像処理装置、視差画像撮像方法、及び視差画像処理方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2001004370A true JP2001004370A (ja) | 2001-01-12 |
Family
ID=16010542
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP11176264A Pending JP2001004370A (ja) | 1999-06-23 | 1999-06-23 | 視差画像撮像装置、視差画像処理装置、視差画像撮像方法、及び視差画像処理方法 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2001004370A (ja) |
Cited By (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2004068073A1 (ja) * | 2003-01-30 | 2004-08-12 | Matsushita Electric Industrial Co., Ltd. | 測距光学装置、測距方法および測距情報表示装置 |
JP2012044380A (ja) * | 2010-08-18 | 2012-03-01 | Canon Inc | 撮像装置 |
JP2012195626A (ja) * | 2011-03-14 | 2012-10-11 | Dainippon Printing Co Ltd | 視差画像生成装置、視差画像生成方法、プログラム及び記憶媒体 |
JP2014216674A (ja) * | 2013-04-22 | 2014-11-17 | キヤノン株式会社 | 情報処理装置および情報処理方法 |
US9357205B2 (en) | 2010-05-31 | 2016-05-31 | Fujifilm Corporation | Stereoscopic image control apparatus to adjust parallax, and method and program for controlling operation of same |
WO2021245928A1 (ja) * | 2020-06-05 | 2021-12-09 | 日本電信電話株式会社 | 画像処理装置、画像処理方法、および画像処理プログラム |
-
1999
- 1999-06-23 JP JP11176264A patent/JP2001004370A/ja active Pending
Cited By (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2004068073A1 (ja) * | 2003-01-30 | 2004-08-12 | Matsushita Electric Industrial Co., Ltd. | 測距光学装置、測距方法および測距情報表示装置 |
US9357205B2 (en) | 2010-05-31 | 2016-05-31 | Fujifilm Corporation | Stereoscopic image control apparatus to adjust parallax, and method and program for controlling operation of same |
JP2012044380A (ja) * | 2010-08-18 | 2012-03-01 | Canon Inc | 撮像装置 |
JP2012195626A (ja) * | 2011-03-14 | 2012-10-11 | Dainippon Printing Co Ltd | 視差画像生成装置、視差画像生成方法、プログラム及び記憶媒体 |
JP2014216674A (ja) * | 2013-04-22 | 2014-11-17 | キヤノン株式会社 | 情報処理装置および情報処理方法 |
WO2021245928A1 (ja) * | 2020-06-05 | 2021-12-09 | 日本電信電話株式会社 | 画像処理装置、画像処理方法、および画像処理プログラム |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US6823080B2 (en) | Three-dimensional information processing apparatus and method | |
JP3869876B2 (ja) | 画像計測方法及び画像計測装置 | |
US8055016B2 (en) | Apparatus and method for normalizing face image used for detecting drowsy driving | |
US8538252B2 (en) | Camera | |
US8144974B2 (en) | Image processing apparatus, method, and program | |
US10984550B2 (en) | Image processing device, image processing method, recording medium storing image processing program and image pickup apparatus | |
JPH09181913A (ja) | カメラシステム | |
JP4813628B1 (ja) | 撮影装置及びその制御方法、並びに三次元情報測定装置 | |
JP4764959B1 (ja) | 撮影装置及びその制御方法 | |
JP3112485B2 (ja) | 立体電子スチルカメラ | |
JP3798161B2 (ja) | 眼底計測装置及び眼底計測プログラムを記録した記録媒体 | |
JP7288226B2 (ja) | 測距カメラ | |
JPH11266388A (ja) | デジタルカメラ及び撮影方法並びに記憶媒体 | |
JPH1021401A (ja) | 三次元情報処理装置 | |
JP2001174696A (ja) | カラー撮像装置 | |
JP4581512B2 (ja) | 3次元画像処理装置、光軸調整方法、光軸調整支援方法 | |
JP2001004370A (ja) | 視差画像撮像装置、視差画像処理装置、視差画像撮像方法、及び視差画像処理方法 | |
JPH09305796A (ja) | 画像情報処理装置 | |
JPH1023311A (ja) | 画像情報入力方法及び装置 | |
JP6381206B2 (ja) | 画像処理装置、その制御方法およびプログラム | |
JPH09289611A (ja) | デジタルカメラ | |
JP4085720B2 (ja) | デジタルカメラ | |
JP3943288B2 (ja) | 視差画像撮像装置、視差画像処理装置、及び視差画像処理方法 | |
JPH09231369A (ja) | 画像情報入力装置 | |
JP2001012912A (ja) | 視差画像撮像装置、視差画像処理装置、視差画像撮像方法、及び視差画像処理方法 |