JP2002058046A

JP2002058046A - 撮像システムおよび３次元カメラ

Info

Publication number: JP2002058046A
Application number: JP2000243858A
Authority: JP
Inventors: Satoru Hirose; 悟広瀬; Takayuki Hamaguchi; 敬行浜口
Original assignee: Minolta Co Ltd
Current assignee: Minolta Co Ltd
Priority date: 2000-08-11
Filing date: 2000-08-11
Publication date: 2002-02-22

Abstract

(57)【要約】【課題】輝度の範囲が広い被写体であっても、高精度な
３次元データを生成すること。【解決手段】複数の撮像手段と、設定された複数の異な
る各露出条件について複数の撮像手段がそれぞれ少なく
とも１回ずつの撮像を行うように制御する制御手段と、
複数回の撮像によって複数の撮像手段から得られる複数
組の画像データに基づいて、１つの３次元データを生成
する演算手段と、を有する。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、複数の撮像装置に
よって撮像して得られた画像データを用いて３次元デー
タを生成する撮像システムに関する。特に、被写体の輝
度差が大きい場合であっても、全体として精度の高い３
次元データを生成することのできる撮像システムおよび
３次元カメラに関する。

【０００２】

【従来の技術】従来より、３次元データを生成するため
に、ステレオ画像法、オプティカルフローなどの方法が
用いられる。

【０００３】ステレオ画像法は、２台のカメラを所定の
間隔を置いて設置し、各カメラから被写体を撮像して被
写体の画像をそれぞれ取得し、両画像の対応点を求める
ことによって３次元形状を計測し、３次元データを生成
する方法である。構成が簡単であることから、３次元デ
ータの生成のために広く用いられている。

【０００４】また、３台のカメラを用いて３つの視点か
らの画像を取得し、そのうちの１枚の画像を用いて対応
点の補正を行い、より精度の高い３次元データを生成す
る方法も知られている。

【０００５】

【発明が解決しようとする課題】ところで、被写体に
は、輝度の高い部分と輝度の低い部分とが混在する。例
えば、表面に凹凸のある被写体には、その被写体に当た
る光の角度によって、光を多く反射する輝度の高い部分
と光が当たらずに影になる輝度の低い部分とが生じる。
この場合の輝度差はかなり大きい。

【０００６】このような被写体を撮像して取得された画
像は、輝度の高い部分は白っぽく表示され、輝度の低い
部分は黒っぽく表示される。この場合に、輝度差がカメ
ラのダイナミックレンジを外れると、輝度の非常に高い
部分は飛んでしまい、輝度の非常に低い部分は真っ黒に
表示されてしまう。

【０００７】一方、マトリクス状にフォトセンサを配列
し、これらの各フォトセンサごとに１フィールド期間中
に少なくとも３回電荷を引き出して画像信号を得、各フ
ォトセンサごとに被写体の明暗に応じて画像信号のうち
最適な画像信号を選択することにより画像を生成する技
術が開示されている（特開平１０−９３８６９号）。こ
の方法により、従来に比べて大きな輝度差の被写体の画
像を得ることができる。しかし、この方法によると、フ
ォトセンサの制御が複雑であり、一般的であるとはいえ
ない。

【０００８】さて、３次元データを得るために、複数の
デジタルカメラ（撮像装置）を用い、被写体の画像を画
像データとして直接的に得て、これらの画像データを基
に３次元データを生成することが考えられる。この場合
に、被写体の輝度差が大きければ、生成された３次元デ
ータは、部分的に欠損しまたは被写体の形状とはかけ離
れたものとなる可能性がある。

【０００９】本発明は、このような問題を解決し、輝度
差の大きい被写体についても精度の高い３次元データを
取得することを目的とする。

【００１０】

【課題を解決するための手段】本発明に係る撮像システ
ムは、複数の撮像手段と、設定された複数の異なる各露
出条件について前記複数の撮像手段がそれぞれ少なくと
も１回ずつの撮像を行うように制御する制御手段と、複
数回の撮像によって前記複数の撮像手段から得られる複
数組の画像データを画像データに基づいて、１つの３次
元データを生成する演算手段と、を有してなる。

【００１１】１つの実施形態によれば、前記演算手段
は、１回の撮像によって前記複数の撮像手段から得られ
る複数の画像データを１組とする複数組の画像データに
基づいてそれぞれ３次元データを生成し、生成した複数
の３次元データを１つの３次元データに合成する。

【００１２】好ましくは、前記演算手段は前記生成した
複数の３次元データの信頼性をパラメータとして１つの
３次元データに合成する。他の実施形態によれば、前記
演算手段は、１つの撮像手段から得られた複数の画像デ
ータを１組とする各組の複数の画像データに基づいて１
つの画像データをそれぞれ生成し、生成した複数の画像
データに基づいて１つの３次元データを生成する。

【００１３】好ましくは、前記制御手段は、少なくとも
１つの撮像手段の撮像領域の全部または一部を複数の部
分領域に分割し、これらの各部分領域の輝度情報に基づ
いて露出条件を設定し、設定された複数の各露出条件に
ついて前記複数の撮像手段が１回ずつの撮像を行うよう
に制御する。

【００１４】本発明に係る３次元カメラは、複数の撮像
手段と、設定された複数の異なる各露出条件について前
記複数の撮像手段が１回ずつの撮像を行うように制御す
る制御手段と、前記複数の撮像手段より得られた画像デ
ータを送信する送信手段と、を有する。

【００１５】

【発明の実施の形態】以下に示す２つの実施形態は、対
象物である被写体Ｑの３次元データを生成する撮像シス
テム１を例として説明する。〔第一の実施形態〕図１は撮像システム１の全体の構成
の例を示すブロック図、図２は第一の実施形態における
撮像システム１の機能的構成を説明する図、図３は部分
画像データＤＴ２ｍを抽出する方法の例を説明する図、
図４は信頼性データＤＲを取得する方法の例を説明する
図である。

【００１６】図１に示すように、撮像システム１は、処
理装置１１、３台の撮像装置１２、入力装置１３、表示
装置１４、メモリカートリッジ１５、入出力インタフェ
ース１６などによって構成される。

【００１７】処理装置１１は、ＣＰＵ、ＲＡＭ、および
ＲＯＭなどによって構成され、ＲＡＭまたはＲＯＭに種
々のデータおよびプログラムが記憶され、これらのデー
タおよびプログラムに基づいてＣＰＵによって種々の装
置の制御およびデータの生成などが行われる。

【００１８】撮像装置１２は、撮像装置本体１２ａ、レ
ンズ、絞り、およびシャッタなどからなる結像光学系１
２ｂ、処理装置１１からの制御命令に従って、絞り、シ
ャッタ速度、および光電変換素子１２ｄの露光時間など
を制御する制御回路１２ｃ、結像光学系１２ｂで捉えら
れた画像を電気信号に変換する光電変換素子１２ｄ、お
よび、この電気信号をデジタルデータである２次元の画
像データＤＴ２に変換するＡ／Ｄコンバータ１２ｅなど
によって構成される。

【００１９】入力装置１３は、シャッタおよびその他幾
つかのボタンなどによって構成され、撮像の命令および
撮像システム１の種々の設定変更などに用いられる。表
示装置１４は、液晶ディスプレイなどによって構成さ
れ、撮像した被写体Ｑの画像およびその他種々の情報を
表示する。メモリカートリッジ１５は、電池によって記
憶内容を保持可能なＲＡＭであって、３次元データなど
を保存するための媒体である。入出力インタフェース１
６は、パソコンまたはその他種々の装置と接続し、デー
タの送受信を可能にするインタフェースである。例え
ば、ビデオ端子、ＲＳ−２３２Ｃ、またはＵＳＢなどが
用いられる。

【００２０】処理装置１１、撮像装置１２、および入力
装置１３などの各装置によって、図２に示すような機能
が実現される。図２において、撮像システム１は、画像
入力部２１、露出制御部２２、再構成演算部２３、信頼
性判定部２４、適性座標抽出部２５、画像合成部２６、
および再構成データメモリ２７などによって構成され
る。

【００２１】画像入力部２１は、露出値制御部２１１、
３つの撮像部２１２、３つの画像メモリ２１３などによ
って構成され、被写体Ｑについて異なる３視点から画像
データＤＴ２を取得する。

【００２２】露出値制御部２１１は、絞りまたは露出時
間などに関するデータである露出条件ＲＳＨを露出制御
部２２から取得し、係る露出条件ＲＳＨに合致するよう
な露光量を得るために、撮像部２１２を制御する。撮像
部２１２は、被写体Ｑを撮像して画像データＤＴ２を生
成する。生成された画像データＤＴ２は画像メモリ２１
３に保存される。以下、３つの撮像部２１２を区別し
て、撮像部２１２ａ、２１２ｂ、２１２ｃと呼称するこ
とがある。

【００２３】露出制御部２２は、露出ブロック抽出部２
２１、基準ブロック選択部２２２、露出値算出部２２
３、基準条件算出部２２４、露出しきい値判定部２２
５、および露出条件算出部２２６などによって構成さ
れ、露出条件ＲＳＨを算出する。

【００２４】露出ブロック抽出部２２１は、図３に示す
ように、画像データＤＴ２の全部または一部をフレーム
ＦＲＭを用いて分割し、部分画像データＤＴ２ｍを抽出
する。

【００２５】フレームＦＲＭは、画像データＤＴ２の全
部または一部を複数の部分画像データＤＴ２ｍに分割す
るためのものであり、各ブロックＢＬＣを示すアドレス
情報の集合である。すなわち、画像データＤＴ２の全部
または一部にフレームＦＲＭを合わせ、ブロックＢＬＣ
と一致する画像データＤＴ２の領域を部分画像データＤ
Ｔ２ｍとして抽出する。

【００２６】例えば、図３（ａ）に示すフレームＦＲＭ
１は、画像データＤＴ２をｘ軸方向およびｙ軸方向に等
分することによって画像データＤＴ２を分割し、部分画
像データＤＴ２ｍを抽出するためのフレームＦＲＭであ
る。画像データＤＴ２の中心付近に特徴がある場合は、
図３（ｂ）に示すように、画像データＤＴ２を中心付近
の部分とその周囲とに分割するフレームＦＲＭ２を用い
ればよい。

【００２７】また、画像データＤＴ２に対して被写体Ｑ
の占める領域の割合が小さい場合は、図３（ｃ）（ｄ）
に示すように、画像データＤＴ２の一部を分割するフレ
ームＦＲＭ３またはＦＲＭ４を用いればよい。被写体Ｑ
の輝度の変化が複雑である場合は、図３（ｅ）に示すよ
うに、画像データＤＴ２を細かく分割するフレームＦＲ
Ｍ５を用いればよい。その他、図３（ｆ）に示すよう
に、画像データＤＴ２または被写体Ｑの特徴に応じて、
六角形状のブロックＢＬＣを敷き詰めたハニカム状のフ
レームＦＲＭ６などを用いてもよい。なお、フレームＦ
ＲＭは任意の大きさまたは形状のブロックＢＬＣを複数
組み合わせることによって予め準備しておくことができ
る。

【００２８】図２に戻って、基準ブロック選択部２２２
は、露出ブロック抽出部２２１によって抽出された複数
の部分画像データＤＴ２ｍから基準部分画像データＤＴ
２ｎを選択する。または、画像データＤＴ２の領域全体
を基準部分画像データＤＴ２ｎとして選択する。基準部
分画像データＤＴ２ｎは、１回目の撮像の露出条件ＲＳ
Ｈを算出するための基準となる部分画像データＤＴ２ｍ
である。なお、図３（ｅ）に示すように、基準部分画像
データＤＴ２ｎを１つの基準部分画像データＤＴ２ｎよ
りも広くしてもよい。

【００２９】露出値算出部２２３は、基準部分画像デー
タＤＴ２ｎを含む各部分画像データＤＴ２ｍの輝度値な
どに関する情報である輝度情報を取得する。基準条件算
出部２２４は、露出値算出部２２３によって算出された
基準部分画像データＤＴ２ｎの輝度情報を基に、基準部
分画像データＤＴ２ｎを撮像するのに適した露出条件Ｒ
ＳＨである基準露出条件ＲＳＨ１を算出する。また、必
要に応じて、基準露出条件ＲＳＨ１による露出量よりも
適度に多いまたは少ない露出量の露出条件ＲＳＨを算出
する。

【００３０】露出しきい値判定部２２５は、部分画像デ
ータＤＴ２ｍの輝度値と基準部分画像データＤＴ２ｎの
輝度値との差を、しきい値と比較する。露出しきい値判
定部２２５による比較結果に基づいて、露出条件算出部
２２６は、基準露出条件ＲＳＨ１とは異なる露出条件Ｒ
ＳＨである補正露出条件ＲＳＨ２を算出する。

【００３１】例えば、基準部分画像データＤＴ２ｎの輝
度値と部分画像データＤＴ２ｍの輝度値とをそれぞれ、
γ１、γ２とし、しきい値α、βが与えられるとする
と、次の式（１）および式（２）による比較が行われ
る。

【００３２】γ１―γ２＞α ……（１） γ１―γ２＜β ……（２）ただし、α＞０、β＜０である。

【００３３】式（１）に当てはまる場合に、露出条件算
出部２２６は、基準露出条件ＲＳＨ１と比較して露光量
が多くなるように補正露出条件ＲＳＨ２を算出する。ま
た、式（２）に当てはまる場合に、基準露出条件ＲＳＨ
１と比較して露光量が少なくなるように補正露出条件Ｒ
ＳＨ２を算出する。いずれの式にも当てはまらない場合
には、その部分画像データＤＴ２ｍは、基準露出条件Ｒ
ＳＨ１に基づいて好適に撮像可能であると判断される。

【００３４】ただし、複数の補正露出条件ＲＳＨ２が算
出された場合、露光量が多くなるように算出された補正
露出条件ＲＳＨ２同士または露光量が少なくなるように
算出された補正露出条件ＲＳＨ２同士をそれぞれ比較
し、同一または近似する補正露出条件ＲＳＨ２のいずれ
かを削除するか、または各補正露出条件ＲＳＨ２の平均
を補正露出条件ＲＳＨ２として採用するなどして、補正
露出条件ＲＳＨ２の個数が必要最小限となるように最適
化する。

【００３５】補正露出条件ＲＳＨ２の算出には、１つの
画像入力部から得られた画像データＤＴ２を用いてもよ
いし、他の画像入力部から得られた画像データＤＴ２を
含めて複数の画像データＤＴ２を用いてもよい。

【００３６】基準露出条件ＲＳＨ１を予め高いまたは低
い露光量になるように設定してもよい。例えば、被写体
Ｑが髪の黒い人の頭部である場合は、輝度の低い部分が
存在することが予め分かる。そこで、基準露出条件ＲＳ
Ｈ１を低く設定し、式（２）にのみ当てはまる補正露出
条件ＲＳＨ２を算出する。これにより、補正露出条件Ｒ
ＳＨ２の個数を減らすことが可能となる。

【００３７】または、式（１）（２）による比較を行う
ことなく、基準露出条件ＲＳＨ１よりも所定の量だけ露
光量を多くしまたは少なくするなどして補正露出条件Ｒ
ＳＨ２を算出してもよい。これにより、式（１）（２）
による比較が不要となり、算出に要する時間を短縮する
ことができる。

【００３８】再構成演算部２３は、３次元データ生成部
２３１および信頼性演算部２３２などによって構成さ
れ、３次元の画像データである３次元データＤＴ３を生
成する。

【００３９】３次元データ生成部２３１は、３つの撮像
部２１２で撮像された３つの画像データＤＴ２のうち、
２つの画像データＤＴ２を用い、公知の方法によって互
いの対応点を探索して３次元データＤＴ３を生成する。
対応点を探索する方法として、相関法またはオプティカ
ルフローなどが用いられる。

【００４０】信頼性演算部２３２は、３次元データ生成
部２３１によって生成された３次元データＤＴ３の対応
点の信頼性に関するデータである信頼性データＤＲを生
成する。すなわち、３次元データ生成部２３１において
３次元データＤＴ３の計算に用いなかった１枚の画像デ
ータＤＴ２を用いることによって信頼性データＤＲが求
められる。

【００４１】例えば、撮像部２１２ａ、２１２ｂ、２１
２ｃによって、被写体Ｑを撮影して、図４に示すような
３枚の画像データＤＴ２ａ、ＤＴ２ｂ、ＤＴ２ｃを取得
する。各画像ＤＴ２ａ、ＤＴ２ｂ、ＤＴ２ｃについて、
それぞれの画像面（ｕn ，ｖn ）が示されている（ｎ＝
１，２，３）。３次元空間Ｍにある被写体Ｑ上の点Ｐ
が、各画像面上の点Ｐａ、Ｐｂ、Ｐｃに投影されてい
る。

【００４２】ここで、点Ｐａ、Ｐｂ、Ｐｃの対応が求め
られるとすると、これらの対応から、３次元空間Ｍ' を
再構成することができる。３次元空間Ｍ' において、点
Ｐａ、Ｐｂに対応する点Ｐ' が求められる。理想的に
は、この再構成された３次元空間Ｍ' 上の点Ｐ' を画像
面（ｕ3 ，ｖ3 ）に逆投影した点Ｐｃ' と、元の３次元
空間Ｍ上の点Ｐを画像面（ｕ3 ，ｖ3 ）上に投影した点
Ｐｃとは、一致するはずである。

【００４３】しかし、投影変換を正確に求めることは難
しく、また対応を正確に求めることも難しいため、通
常、これらは一致しない。そこで、これら点Ｐｃ' と点
Ｐｃとのずれを誤差とし、信頼性の指標として用いる。
例えば、点Ｐｃ' と点Ｐｃとの誤差を、ずれた画素の個
数で示す。点Ｐｃ' と点Ｐｃとが同じ画素上にあれば、
誤差は「０」である。１画素ずれていれば、誤差は
「１」である。２画素ずれていれば、誤差は「２」であ
る。このずれた画素数を信頼性データＤＲとして用いる
ことができる。

【００４４】信頼性データＤＲを判断する他の方法とし
て、例えば特開昭６１−１２５６８６号に示される方
法、他の公知の方法を用いることも可能である。図２に
戻って、信頼性判定部２４は、しきい値判定部２４１お
よび置換座標抽出部２４２などによって構成され、３次
元データＤＴ３の信頼性の低い部分を抽出する。

【００４５】しきい値判定部２４１は、信頼性データＤ
Ｒをパラメータとして、３次元データＤＴ３の信頼性を
判断する。置換座標抽出部２４２は、信頼性データＤＲ
がしきい値よりも大きい場合、つまり、３次元データＤ
Ｔ３の信頼性が基準よりも低い場合に、その信頼性デー
タＤＲに対応する３次元データＤＴ３の部分の３次元座
標を表す置換座標データＡＤ３を抽出する。

【００４６】適正座標抽出部２５は、３次元データＤＴ
３の置換座標データＡＤ３の部分に対応し、かつ、信頼
性のある画像データである適正画像データＤＴＴを他の
３次元データＤＴ３から抽出する。

【００４７】画像合成部２６は、３次元データメモリ２
６１、画像置換部２６２、および補間処理部２６３など
によって構成される。３次元データメモリ２６１には、
置換座標データＡＤ３、３次元データＤＴ３、および適
正画像データＤＴＴが記憶される。画像置換部２６２
は、３次元画像データＤＴ３のうち置換座標データＡＤ
３に対応する部分を適正画像データＤＴＴに置換し、３
次元合成データＤＴＧを生成する。補間処理部２６３
は、３次元合成データＤＴＧの置換座標データＡＤ３に
対応する部分と適正画像データＤＴＴとの境界の違和感
をなくすための補間処理を行い、３次元再構成データＤ
ＴＳを生成する。なお、画像の補間処理には公知の方法
を用いればよい。

【００４８】再構成データメモリ２７には３次元再構成
データＤＴＳなどが記憶される。次に、被写体Ｑの３次
元データの生成の手順について、フローチャートを参照
して説明する。

【００４９】図５は第一の実施形態における３次元デー
タの生成の流れを示すフローチャート、図６は露出条件
ＲＳＨの設定の処理の流れを示すフローチャート、図７
は３次元データ合成処理の流れを示すフローチャート、
図８は３次元合成データＤＴＧの生成の方法の例を説明
する図である。

【００５０】図５に示すように、まず、撮像を行うため
の露出条件ＲＳＨの設定を行う（＃１１）。これによ
り、少なくとも基本露出条件ＲＳＨ１が設定され、必要
に応じて１つまたは複数の補正露出条件ＲＳＨ２が設定
される。露出条件ＲＳＨの設定の方法については、後に
述べる。

【００５１】次に、露出条件ＲＳＨに基づいて被写体Ｑ
の撮像が行われる（＃１２）。被写体Ｑの撮像を行うに
は、まず、１つの露出条件ＲＳＨに基づいて、適当な絞
り、シャッタ速度、および光電変換素子１２ｄの露光時
間などを算出する。これらの値に基づいて３つの撮像部
２１２によって被写体Ｑの撮像が行われ、３つの画像デ
ータＤＴ２が生成される。

【００５２】次に、すべての露出条件ＲＳＨについて撮
像が終了したか否かを判別する（＃１３）。すべての露
出条件ＲＳＨについて撮像が終了していない場合は、残
りの露出条件ＲＳＨに基づいて撮像（＃１２）を繰り返
し行う。

【００５３】３次元データＤＴ３およびその信頼性デー
タＤＲを生成する（＃１４）。３次元データＤＴ３は、
撮像回ごとに１つずつ生成される。つまり、露出条件Ｒ
ＳＨの個数と生成する３次元データＤＴ３の個数とは等
しい。

【００５４】生成した複数の３次元データＤＴ３を基
に、３次元データの合成処理を行う（＃１５）。３次元
データの合成処理については後に述べる。ここで、露出
条件ＲＳＨの設定の方法について説明する。

【００５５】図６に示すように、まず、画像入力部２１
で撮像された被写体Ｑの画像データＤＴ２から、部分画
像データＤＴ２ｍを抽出する（＃２１）。このとき、抽
出した複数の部分画像データＤＴ２ｍの中から基準部分
画像データＤＴ２ｎが選択される。画像データＤＴ２の
領域全体を基準部分画像データＤＴ２ｎとしてもよい。

【００５６】基準部分画像データＤＴ２ｎの輝度情報を
取得し、取得した輝度情報を基に基準露出条件ＲＳＨ１
を算出する（＃２２）。部分画像データＤＴ２ｍの輝度
情報を取得し、部分画像データＤＴ２ｍの輝度情報と基
準部分画像データＤＴ２ｎの輝度情報との差を算出す
る。算出の結果、式（１）または式（２）を満たす場
合、つまり、部分画像データＤＴ２ｍが基準露出条件Ｒ
ＳＨ１では適正に撮像されないと判断される場合は、補
正露出条件ＲＳＨ２を算出する（＃２３）。式（１）ま
たは式（２）を満たす部分画像データＤＴ２ｍが複数あ
る場合、補正露出条件ＲＳＨ２の個数が最小となるよう
に、補正露出条件ＲＳＨ２を最適化する。

【００５７】したがって、式（１）（２）の両方を満た
さない場合は補正露出条件ＲＳＨ２は算出されず、いず
れかを満たす場合は１つまたは複数個の補正露出条件Ｒ
ＳＨ２が算出される。

【００５８】次に、図７および図８を参照して３次元デ
ータの合成処理について説明する。図８において、３次
元データＤＴ３αは１回目の撮像で得られた画像データ
ＤＴ２を基に生成された３次元データＤＴ３、３次元デ
ータＤＴ３βは２回目の撮像で得られた画像データＤＴ
２を基に生成された３次元データＤＴ３である。

【００５９】図７に示すように、図８（ａ）に示す３次
元データＤＴ３αの中から信頼性の低い部分を検出し、
置換座標データＡＤ３を抽出する（＃３１）。例えば、
輝度が高すぎまたは低すぎることなどによって、２枚の
画像データＤＴ２から対応点を適切に抽出することがで
きなかった部分が抽出される。

【００６０】３次元データＤＴ３βの信頼性の有無を判
断する。信頼性があると判断されかつ置換座標データＡ
Ｄ３に対応する部分を、図８（ｂ）（ｃ）に示すように
適正画像データＤＴＴとして抽出する（＃３２）。

【００６１】置換座標データＡＤ３に対応する３次元デ
ータＤＴ３αの部分を適正画像データＤＴＴに置換し、
３次元合成データＤＴＧを生成する（＃３３）。３次元
データＤＴ３αと適正画像データＤＴＴとの境界部分に
ついて補間処理を行い、図８（ｄ）に示す３次元再構成
データＤＴＳを生成する（＃３４）。

【００６２】ただし、境界を構成する３次元データ間の
輝度値に大差がある場合は、両者の材質に相違がありま
たは両者と撮像システム１との距離が異なることが考え
られる。このような場合は、不自然な補間処理を回避す
るために、ステップ＃３３までで一旦処理を停止し、補
間処理が必要か否かを判断し、補間処理が必要でなけれ
ばステップ＃３４を省略する。

【００６３】なお、３つ以上の３次元データＤＴ３を合
成する場合は、ステップ＃１５の処理を繰り返して行え
ばよい。上述のように、不適正な露出状態で撮像された
画像データＤＴ２を基に生成した３次元データは、部分
的に信頼性の低いものとなるが、複数の露出条件を与え
て複数の３次元データを生成し、信頼性の低い部分を信
頼性の高い部分に置換して合成することにより、被写体
の輝度範囲が広い場合でも、高精度な３次元データを取
得することができる。〔第二の実施形態〕図９は、第二の実施形態における撮
像システム１Ｂの機能的構成を説明する図である。

【００６４】第一の実施形態では、１回の撮像で複数の
撮像部から得られる複数の画像データを１組とする複数
組の画像データに基づいてそれぞれ３次元データを生成
し、生成した複数の３次元データを１つの３次元データ
に合成した。

【００６５】これに対して、第二の実施形態では、１つ
の撮像部から得られる複数の画像データを１組とする各
組の複数の画像データに基づいて１つの画像データをそ
れぞれ生成し、生成した複数の画像データに基づいて１
つの３次元データを生成する。

【００６６】撮像システム１Ｂは、処理装置１１、撮像
装置１２、および入力装置１３などによって構成され
る。これは第一の実施形態における撮像システム１と同
様である。処理装置１１などによって図９に示すような
機能が実現される。

【００６７】図９において、撮像システム１Ｂは、画像
入力部３１、露出制御部３２、信頼性判定部３３、適性
座標抽出部３４、画像データ合成部３５、再構成演算部
３６、および再構成データメモリ３７などによって構成
される。

【００６８】画像入力部３１は、露出値制御部３１１、
３つの撮像部３１２、３つの画像メモリ３１３などによ
って構成される。露出制御部３２は、露出ブロック抽出
部３２１、基準ブロック選択部３２２、露出値算出部３
２３、基準条件算出部３２４、露出しきい値判定部３２
５、および露出条件算出部３２６などによって構成され
る。これらは、それぞれ第一の実施形態における画像入
力部２１および露出制御部２２と同様の機能を有する。

【００６９】信頼性判定部３３は、しきい値判定部３３
１および置換座標抽出部３３２などにより構成され、画
像データＤＴ２の信頼性の低い部分を求める。しきい値
判定部３３１は、しきい値と比較することによって、画
像データＤＴ２を構成する画素の信頼性が低いか否かを
判定する。置換座標抽出部３３２は、画像データＤＴ２
のうち信頼性が低いと判断された部分の２次元座標であ
る置換座標データＡＤ２を抽出する。

【００７０】適正座標抽出部３４は、同一の撮像部３１
２によって得られた他の画像データＤＴ２から、画像デ
ータＤＴ２の置換座標データＡＤ２に対応し、信頼性の
ある適正画像データＤＴＱを抽出する。

【００７１】画像データ合成部３５は、２次元データメ
モリ３５１、画像置換部３５２、および補間処理部３５
３などによって構成される。２次元データメモリ３５１
には、置換座標データＡＤ２、画像データＤＴ２、およ
び適正画像データＤＴＱなどが記憶される。画像置換部
３５２は、置換座標データＡＤ２に対応する画像データ
ＤＴ２の部分を適正画像データＤＴＱに置換し、画像合
成データＤＴＦを生成する。補間処理部３５３は、画像
合成データＤＴＦの置換座標データＡＤ２に対応する部
分と適正画像データＤＴＱとの境界の違和感をなくすた
めの補間処理を行い、補間画像データＤＴＲを生成す
る。補間画像データＤＴＲは、１つの撮像部から得られ
た複数の画像データＤＴ２を基に１つ生成されるので、
本実施形態においては、３つの補間画像データＤＴＲが
生成される。画像の補間処理には公知の方法を含む種々
の方法が用いられる。

【００７２】再構成演算部３６は、画像データ合成部３
５によって生成された複数の補間画像データＤＴＲを基
に３次元データＤＴ３を生成する。３次元データの生成
は、第一の実施形態における３次元データ生成部２３１
による処理と同様の方法で行われる。

【００７３】再構成データメモリ３７には３次元データ
ＤＴ３などが記憶される。次に、撮像システム１Ｂによ
る被写体Ｑの３次元データの生成の手順について、フロ
ーチャートを参照して説明する。

【００７４】図１０は第二の実施形態における３次元デ
ータの生成の流れを示すフローチャート、図１１は画像
データ合成処理の流れを示すフローチャートである。図
１０において、ステップ＃５１ないしステップ＃５３
は、第一の実施形態のステップ＃１１ないしステップ＃
１３と同じである。

【００７５】画像データ合成処理を行う（＃５４）。図
１１に示すように、画像データ合成処理では、まず、１
回目の撮像によって得られた画像データＤＴ２のうち信
頼性の低い部分を置換座標データＡＤ２として抽出する
（＃６１）。係る抽出は、各撮像部３１２によって取得
されたそれぞれの画像データＤＴ２について行われる。

【００７６】次に、２回目以降の撮像によって得られた
画像データＤＴ２の信頼性の有無を判断する。そして、
信頼性があると判断され、かつ、置換座標データＡＤ２
に対応する部分を適正画像データＤＴＱとして抽出する
（＃６２）。

【００７７】１回目の撮像によって得られた画像データ
ＤＴ２の置換座標データＡＤ２に対応する部分を適正画
像データＤＴＱに置換し、３次元合成データＤＴＦを生
成する（＃６３）。

【００７８】補間処理部３５３によって、各画像合成デ
ータＤＴＦの置換座標データＡＤ２に対応する部分と適
正画像データＤＴＱとの境界の補間処理をそれぞれ行
い、補間画像データＤＴＲをそれぞれ生成する（＃６
４）。

【００７９】画像データ合成処理の後、３次元データＤ
Ｔ３を生成する（＃５５）。係る生成には、３つの補間
画像データＤＴＲを用いる。上述のように、第二の実施
形態では、各撮像部３１２で撮像された複数の画像デー
タＤＴ２を基に高精度な１つの補間画像データＤＴＲを
それぞれ生成し、これらの補間画像データＤＴＲを基に
３次元データＤＴ３を生成する。つまり、３次元データ
の生成処理を一度だけ行えばよいので、処理時間を短縮
することができ、かつ高精度な３次元データを得ること
ができる。

【００８０】なお、第一の実施形態および第二の実施形
態における撮像システム１、１Ｂの一部の機能および構
成を、カメラまたはパソコンなどの複数の機器に分割し
てもよい。

【００８１】図１２は、撮像装置１を３次元カメラ４１
とコンピュータ４２とによって構成した例を示す図であ
る。図１２において、３次元カメラ４１には、処理装置
１１ａ、複数台の撮像装置１２、シャッタボタン１３
ａ、メモリカートリッジ１５ａ、および入出力インタフ
ェース１６ａなどが設けられている。

【００８２】処理装置１１ａは、ＣＰＵ、ＲＡＭ、およ
びＲＯＭなどによって構成されるが、処理装置１１で用
いられるＣＰＵなどに比べて性能の低いものでもよい。
シャッタボタン１３ａは、レリーズを開始することを撮
像装置１２に伝達する入力装置である。メモリカートリ
ッジ１５ａおよび入出力インタフェース１６ａは、第一
の実施形態のメモリカートリッジ１５および入出力イン
タフェース１６と同様の機能を有する。

【００８３】３次元カメラ４１は、複数の異なる露出条
件ＲＳＪについて１回ずつ被写体Ｑを撮像するように制
御され、得られた画像データはコンピュータ４２に送信
される。

【００８４】コンピュータ４２として、パーソナルコン
ピュータまたはワークステーションなどが用いられる。
コンピュータ４２は、処理装置１１ｂ、入力装置１３
ｂ、表示装置１４、メモリカートリッジ１５ｂ、および
入出力インタフェース１６ｂなどを有する。３次元カメ
ラ４１によって得られた画像データをメモリカートリッ
ジ１５ｂまたは入出力インタフェース１６ｂを介して取
り込み、第一の実施形態または第二の実施形態と同様の
処理を行って３次元データＤＴ３を生成する。

【００８５】このように、３次元データの生成など負担
の大きい処理をコンピュータ４２で行うことにより、３
次元カメラ４１に必要な機能および構成を減らすことが
でき、３次元カメラ４１の携帯性を向上させることがで
きる。

【００８６】その他、撮像システム１、１Ｂの全体また
は各部の構成、処理内容、または処理順序などは、本発
明の趣旨に沿って適宜変更することができる。

【００８７】

【発明の効果】本発明によると、輝度差の大きい被写体
についても精度の高い３次元データを取得することがで
きる。

【００８８】請求項４の発明によると処理時間を短縮す
ることができる。

【図面の簡単な説明】

【図１】撮像システムの全体の構成の例を示すブロック
図である。

【図２】第一の実施形態における撮像システムの機能的
構成を説明する図である。

【図３】部分画像データを抽出する方法の例を説明する
図である。

【図４】信頼性データを取得する方法の例を説明する図
である。

【図５】第一の実施形態における３次元データの生成の
流れを示すフローチャートである。

【図６】露出条件の設定の処理の流れを示すフローチャ
ートである。

【図７】３次元データ合成処理の流れを示すフローチャ
ートである。

【図８】３次元合成データの生成の方法の例を説明する
図である。

【図９】第二の実施形態における撮像システムの機能的
構成を説明する図である。

【図１０】第二の実施形態における３次元データの生成
の流れを示すフローチャートである。

【図１１】画像データ合成処理の流れを示すフローチャ
ートである。

【図１２】撮像装置を３次元カメラとコンピュータとに
よって構成した例を示す図である。

【符号の説明】

１、１Ｂ撮像システム２１、３１画像入力部（撮像手段）２２、３２露出制御部（制御手段）２３、３６再構成演算部（演算手段）２４、３３信頼性判定部（演算手段）２６画像合成部（演算手段）３５画像データ合成部（演算手段）４１３次元カメラ１１ａ処理装置（撮像手段、制御手段、送信手段）１２撮像装置（撮像手段）１６ａ入出力インタフェース（送信手段）ＲＳＨ露出条件ＤＴ２画像データＤＴ２ｍ部分画像データＤＴ３３次元データＤＴＳ３次元再構成データＤＴＦ画像合成データ

フロントページの続き (51)Int.Cl.⁷ 識別記号ＦＩテーマコート゛(参考）Ｈ０４Ｎ 5/235 Ｇ０１Ｂ 11/24 ＫＦターム(参考） 2F065 AA04 FF04 FF05 JJ26 KK00 LL30 QQ03 QQ24 QQ31 SS13 UU05 5B057 BA02 CA08 CA12 CA16 CB08 CB13 CC03 CD14 CE08 CE09 CE11 CH11 DA07 DB03 DB09 5C022 AA13 AB01 AB61 AB68 AC69 5C061 AB04 AB08

Claims

【特許請求の範囲】

【請求項１】複数の撮像手段と、設定された複数の異なる各露出条件について前記複数の
撮像手段がそれぞれ少なくとも１回ずつの撮像を行うよ
うに制御する制御手段と、複数回の撮像によって前記複数の撮像手段から得られる
複数組の画像データに基づいて、１つの３次元データを
生成する演算手段と、を有してなることを特徴とする撮像システム。
【請求項２】前記演算手段は、１回の撮像によって前記
複数の撮像手段から得られる複数の画像データを１組と
する複数組の画像データに基づいてそれぞれ３次元デー
タを生成し、生成した複数の３次元データを１つの３次
元データに合成する請求項１記載の撮像システム。
【請求項３】前記演算手段は、前記生成した複数の３次
元データの信頼性をパラメータとして１つの３次元デー
タに合成する請求項２記載の撮像システム。
【請求項４】前記演算手段は、１つの撮像手段から得ら
れる複数の画像データを１組とする各組の複数の画像デ
ータに基づいて１つの画像データをそれぞれ生成し、生
成した複数の画像データに基づいて１つの３次元データ
を生成する請求項１記載の撮像システム。
【請求項５】前記制御手段は、少なくとも１つの撮像手
段の撮像領域の全部または一部を複数の部分領域に分割
し、分割された複数の各部分領域の輝度情報に基づいて
露出条件を設定し、設定された複数の各露出条件につい
て前記複数の撮像手段が１回ずつの撮像を行うように制
御する請求項１ないし請求項４のいずれかに記載の撮像
システム。
【請求項６】複数の撮像手段と、設定された複数の異なる各露出条件について前記複数の
撮像手段が１回ずつの撮像を行うように制御する制御手
段と、前記複数の撮像手段より得られた画像データを送信する
送信手段と、を有してなることを特徴とする３次元カメラ。
【請求項７】前記制御手段は、少なくとも１つの撮像手
段の撮像領域の全部または一部を複数の部分領域に分割
し、これらの各部分領域の輝度情報に基づいて露出条件
を設定し、設定された複数の各露出条件について前記複
数の撮像手段が１回ずつの撮像を行うように制御する請
求項６記載の３次元カメラ。