JP2001145128A

JP2001145128A - ３次元画像検出装置

Info

Publication number: JP2001145128A
Application number: JP32221899A
Authority: JP
Inventors: Kiyoshi Yamamoto; 山本　　清
Original assignee: Asahi Kogaku Kogyo Co Ltd
Current assignee: Pentax Corp
Priority date: 1999-11-12
Filing date: 1999-11-12
Publication date: 2001-05-25
Anticipated expiration: 2019-11-12
Also published as: JP4413343B2

Abstract

(57)【要約】【課題】被写体までの距離に対応する信号を画素毎に
画像データとして検出する３次元画像検出装置におい
て、検出された画像データの中から目的とする被写体の
データのみを抽出する。【解決手段】被写体に測距光を照射して、その反射光
をＣＣＤで受光し、その受光量から被写体までの距離情
報を画素毎に検出し、３次元画像として画像メモリに記
憶する（ステップ２０２）。この３次元画像の各画素に
微分マスクを施し、被写体の輪郭線が強調された微分処
理画像を得る（ステップ２０３）。輪郭線により分割さ
れた領域にラベリング処理を行い、各領域毎に平均距離
Ａ（ｉ）を算出する（ステップ２０６）。平均距離Ａ
（ｉ）が最も遠い領域ｉ_mと、平均距離がこの距離に近
い領域を背景として検出する（ステップ２０６〜２１
１）。背景以外の領域のデータのみを抽出してポリゴン
データを作成する（ステップ２１３以下）。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、光伝播時間測定法
を用いて被写体の３次元形状等を検出する３次元画像検
出装置に関する。

【０００２】

【従来の技術】従来、被写体までの距離を画素毎に検出
する３次元画像検出装置としては、「Measurement Scie
nce and Technology」（S. Christie 他、vol.6, p1301
-1308,1995 年）に記載されたものや、国際公開97/0111
1号公報に開示されたものなどが知られている。これら
の３次元画像検出装置では、パルス変調されたレーザ光
が被写体に照射され、その反射光が２次元ＣＣＤセンサ
によって受光され、電気信号に変換される。このとき２
次元ＣＣＤと組み合わされたメカニカルまたは液晶素子
等からなる電気工学的シャッタの１回のシャッタ動作に
より、被写体までの距離に相関する電気信号をＣＣＤの
各画素毎に検出することができる。この電気信号からＣ
ＣＤの各画素毎に対応する被写体までの距離が、画像情
報として検出される。

【０００３】

【発明が解決しようとする課題】しかし、検出された被
写体までの距離情報に対応する画像情報には、目的とす
る被写体以外の物体の画像情報も含まれる。したがっ
て、目的とする被写体に関する画像情報のみを得るに
は、検出された画像情報の中から目的とする被写体に対
応する画像情報のみを抽出する必要がある。

【０００４】本発明は、画素毎に検出され、被写体まで
の距離情報に対応する画像情報の中から目的とする被写
体に関する画像情報のみを抽出可能な３次元画像検出装
置を得ることを目的としている。

【０００５】

【課題を解決するための手段】本発明の３次元画像検出
装置は、各画素値が被写体までの距離情報に対応した３
次元画像を検出する３次元画像検出手段と、３次元画像
の一部の領域を選択するために、距離情報に基づいて３
次元画像を複数の領域に分割する画像領域分割手段と画
像領域分割手段により３次元画像を複数の領域に分割
し、分割された各領域の平均距離に対応する各領域の画
素値の平均値に基づいて、分割された領域の中から１つ
または複数の領域を選択する領域選択手段とを備えるこ
とを特徴としている。

【０００６】領域選択手段は好ましくは、領域のうち平
均距離が最も遠距離にある領域から所定の距離内にその
平均距離がある領域以外の領域を選択する。

【０００７】例えば３次元画像検出装置は、画像領域分
割手段により分割された各領域を表示するための画像表
示手段と、画像表示手段により表示された各領域の中か
ら１つまたは複数の領域を選択するための入力手段とを
備える。

【０００８】好ましくは、画像領域分割手段における３
次元画像の領域分割は、３次元画像を強調処理すること
により得られる画像データに基いて行われる。強調処理
は、例えば、３次元画像に微分マスクを施して行なわれ
る。このとき微分マスクは、例えば２次微分マスクであ
る。

【０００９】３次元画像の領域の分割は好ましくは、強
調処理により得られた画像の強調された画素の連結によ
り形成される連結成分に基づいて行われる。このときよ
り好ましくは、３次元画像の領域の分割は、前記連結成
分にラベリングすることにより行われる。

【００１０】３次元画像検出装置は好ましくは、距離情
報等を記録媒体に記録するためのデータ記録手段を備
え、領域選択手段により選択された領域の距離情報を記
録媒体に記録可能である。また３次元画像検出装置は、
より好ましくは、被写体の視覚情報である２次元画像を
検出するための２次元画像検出手段を備え、領域選択手
段により選択された領域に対応する２次元画像に関する
画像情報を記録媒体に記録可能である。

【００１１】

【発明の実施の形態】以下、本発明の実施の形態を図面
を参照して説明する。図１は、本発明の一実施形態であ
るカメラ型の画像検出装置の斜視図である。

【００１２】カメラ本体１０の前面において、撮影レン
ズ１１の左上にはファインダ窓１２が設けられ、右上に
はストロボ１３が設けられている。カメラ本体１０の上
面において、撮影レンズ１１の真上には、測距光である
レーザ光を照射する発光装置１４が配設されている。発
光装置１４の左側にはレリーズスイッチ１５、液晶表示
パネル１６が設けられ、右側にはモード切替ダイヤル１
７が設けられている。カメラ本体１０の側面には、ＩＣ
メモリカード等の記録媒体を挿入するためのカード挿入
口１９が形成され、また、ビデオ出力端子２０、インタ
ーフェースコネクタ２１が設けられている。

【００１３】図２は図１に示すカメラの回路構成を示す
ブロック図である。撮影レンズ１１の中には絞り２５が
設けられている。絞り２５の開度はアイリス駆動回路２
６によって調整される。撮影レンズ１１の焦点調節動作
およびズーミング動作はレンズ駆動回路２７によって制
御される。

【００１４】撮影レンズ１１の光軸上には撮像素子（Ｃ
ＣＤ）２８が配設されている。ＣＣＤ２８の撮像面に
は、撮影レンズ１１によって被写体像が形成され、これ
によりＣＣＤ２８において被写体像に対応した電荷が発
生する。ＣＣＤ２８における電荷の蓄積動作、電荷の読
出動作等の動作はＣＣＤ駆動回路３０によって制御され
る。ＣＣＤ２８から読み出された電荷信号すなわち画像
信号はアンプ３１において増幅され、Ａ／Ｄ変換器３２
においてアナログ信号からデジタル信号に変換される。
デジタルの画像信号は撮像信号処理回路３３においてガ
ンマ補正等の処理を施され、画像メモリ３４に一時的に
格納される。アイリス駆動回路２６、レンズ駆動回路２
７、ＣＣＤ駆動回路３０、撮像信号処理回路３３はシス
テムコントロール回路３５によって制御される。

【００１５】画像信号は画像メモリ３４から読み出さ
れ、ＬＣＤ駆動回路３６に供給される。ＬＣＤ駆動回路
３６は画像信号に応じて動作し、これにより画像表示Ｌ
ＣＤパネル３７には、画像信号に対応した画像が表示さ
れる。

【００１６】カメラをカメラ本体１０の外部に設けられ
たモニターＴＶ３９とケーブルで接続すれば、画像メモ
リ３４から読み出された画像信号はＴＶ信号エンコーダ
３８、ビデオ出力端子２０を介してモニターＴＶ３９に
伝送可能である。またシステムコントロール回路３５は
インターフェース回路４０に接続されており、インター
フェース回路４０はインターフェースコネクタ２１に接
続されている。したがってカメラをカメラ本体１０の外
部に設けられたコンピュータ４１とインターフェースケ
ーブルを介して接続すれば、画像メモリ３４から読み出
された画像信号をコンピュータに伝送可能である。ま
た、システムコントロール回路３５は、記録媒体制御回
路４２を介して画像記録装置４３に接続されている。し
たがって画像メモリ３４から読み出された画像信号は、
画像記録装置４３に装着されたＩＣメモリカード等の記
録媒体Ｍに記録可能である。

【００１７】発光装置１４は発光素子１４ａと照明レン
ズ１４ｂにより構成され、発光素子１４ａの発光動作は
発光素子制御回路４４によって制御される。発光素子１
４ａはレーザダイオード（ＬＤ）であり、照射されるレ
ーザ光は被写体の距離を検出するための測距光として用
いられる。このレーザ光は照明レンズ１４ｂを介して被
写体の全体に照射される。被写体で反射したレーザ光が
撮影レンズ１１に入射し、ＣＣＤ２８で検出されること
により被写体までの距離情報が検出される。

【００１８】システムコントロール回路３５には、レリ
ーズスイッチ１５、モード切替ダイヤル１７から成るス
イッチ群４５と、液晶表示パネル（表示素子）１６とが
接続されている。

【００１９】次に図３および図４を参照して、本実施形
態における距離測定の原理について説明する。なお図４
において横軸は時間ｔである。

【００２０】距離測定装置Ｂから出力された測距光は被
写体Ｓにおいて反射し、図示しないＣＣＤによって受光
される。測距光は所定のパルス幅Ｈを有するパルス状の
光であり、したがって被写体Ｓからの反射光も、同じパ
ルス幅Ｈを有するパルス状の光である。また反射光のパ
ルスの立ち上がりは、測距光のパルスの立ち上がりより
も時間δ・ｔ（δは遅延係数）だけ遅れる。測距光と反
射光は距離測定装置Ｂと被写体Ｓの間の２倍の距離ｒを
進んだことになるから、その距離ｒはｒ＝δ・ｔ・Ｃ／２・・・（１）により得られる。ただしＣは光速である。

【００２１】例えば測距光のパルスの立ち上がりから反
射光を検知可能な状態に定め、反射光のパルスが立ち下
がる前に検知不可能な状態に切換えるようにすると、す
なわち反射光検知期間Ｔを設けると、この反射光検知期
間Ｔにおける受光量Ａは距離ｒの関数である。すなわち
受光量Ａは、距離ｒが大きくなるほど（時間δ・ｔが大
きくなるほど）小さくなる。

【００２２】本実施形態では上述した原理を利用して、
ＣＣＤ２８に設けられ、２次元的に配列された複数のフ
ォトダイオードにおいてそれぞれ受光量Ａを検出するこ
とにより、カメラ本体１０から被写体Ｓの表面の各点ま
での距離をそれぞれ検出し、被写体Ｓの表面形状に関す
る距離情報を３次元画像データとして一括して入力して
いる。

【００２３】図５は、ＣＣＤ２８に設けられるフォトダ
イオード５１と垂直転送部５２の配置を示す図である。
図６は、ＣＣＤ２８を基板５３に垂直な平面で切断して
示す断面図である。このＣＣＤ２８は従来公知のインタ
ーライン型ＣＣＤであり、不要電荷の掃出しにＶＯＤ
（縦型オーバーフロードレイン）方式を用いたものであ
る。

【００２４】フォトダイオード５１と垂直転送部５２は
ｎ型基板５３の面に沿って形成されている。フォトダイ
オード５１は２次元的に格子状に配列され、垂直転送部
５２は所定の方向（図５において上下方向）に１列に並
ぶフォトダイオード５１に隣接して設けられている。垂
直転送部５２は、１つのフォトダイオード５１に対して
４つの垂直転送電極５２ａ，５２ｂ，５２ｃ，５２ｄを
有している。したがって垂直転送部５２では、４つのポ
テンシャルの井戸が形成可能であり、従来公知のよう
に、これらの井戸の深さを制御することによって、信号
電荷をＣＣＤ２８から出力することができる。なお、垂
直転送電極の数は目的に応じて自由に変更できる。

【００２５】基板５３の表面に形成されたｐ型井戸の中
にフォトダイオード５１が形成され、ｐ型井戸とｎ型基
板５３の間に印加される逆バイアス電圧によってｐ型井
戸が完全空乏化される。この状態において、入射光（被
写体からの反射光）の光量に応じた電荷がフォトダイオ
ード５１において蓄積される。基板電圧Ｖsub を所定値
以上に大きくすると、フォトダイオード５１に蓄積した
電荷は、基板５３側に掃出される。これに対し、転送ゲ
ート部５４に電荷転送信号（電圧信号）が印加されたと
き、フォトダイオード５１に蓄積した電荷は垂直転送部
５２に転送される。すなわち電荷掃出信号によって電荷
を基板５３側に掃出した後、フォトダイオード５１に蓄
積した信号電荷が、電荷転送信号によって垂直転送部５
２側に転送される。このような動作を繰り返すことによ
り、垂直転送部５２において信号電荷が積分され、いわ
ゆる電子シャッタ動作が実現される。

【００２６】図７は３次元画像検出動作におけるタイミ
ングチャートであり、図１、図２、図５〜図７を参照し
て本実施形態における３次元画像検出動作について説明
する。なお本実施形態の３次元画像検出動作では、図４
を参照して行なった距離測定の原理の説明とは異なり、
外光の影響による雑音を低減するために測距光のパルス
の立ち下がりから反射光を検知可能な状態に定め、反射
光のパルスが立ち下がった後に検知不可能な状態に切換
えるようにタイミングチャートを構成しているが原理的
には何ら異なるものではない。

【００２７】垂直同期信号（図示せず）の出力に同期し
て電荷掃出し信号（パルス信号）Ｓ１が出力され、これ
によりフォトダイオード５１に蓄積していた不要電荷が
基板５３の方向に掃出され、フォトダイオード５１にお
ける蓄積電荷量はゼロになる（符号Ｓ２）。電荷掃出し
信号Ｓ１の出力の開始の後、一定のパルス幅を有するパ
ルス状の測距光Ｓ３が出力される。測距光Ｓ３が出力さ
れる期間（パルス幅）は調整可能であり、図示例では、
電荷掃出し信号Ｓ１の出力と同時に測距光Ｓ３がオフす
るように調整されている。

【００２８】測距光Ｓ３は被写体において反射し、ＣＣ
Ｄ２８に入射する。すなわちＣＣＤ２８によって被写体
からの反射光Ｓ４が受光されるが、電荷掃出し信号Ｓ１
が出力されている間は、フォトダイオード５１において
電荷は蓄積されない（符号Ｓ２）。電荷掃出し信号Ｓ１
の出力が停止されると、フォトダイオード５１では、反
射光Ｓ４の受光によって電荷蓄積が開始され、反射光Ｓ
４と外光とに起因する信号電荷Ｓ５が発生する。反射光
Ｓ４が消滅すると（符号Ｓ６）フォトダイオード５１で
は、反射光に基く電荷蓄積は終了するが（符号Ｓ７）、
外光のみに起因する電荷蓄積が継続する（符号Ｓ８）。

【００２９】その後、電荷転送信号Ｓ９が出力される
と、フォトダイオード５１に蓄積された電荷が垂直転送
部５２に転送される。この電荷転送は、電荷転送信号の
出力の終了（符号Ｓ１０）によって完了する。すなわ
ち、外光が存在するためにフォトダイオード５１では電
荷蓄積が継続するが、電荷転送信号の出力が終了するま
でフォトダイオード５１に蓄積されていた信号電荷Ｓ１
１が垂直転送部５２へ転送される。電荷転送信号の出力
終了後に蓄積している電荷Ｓ１４は、そのままフォトダ
イオード５１に残留する。

【００３０】このように電荷掃出し信号Ｓ１の出力の終
了から電荷転送信号Ｓ９の出力が終了するまでの期間Ｔ
_U1の間、フォトダイオード５１には、被写体までの距離
に対応した信号電荷が蓄積される。そして、反射光Ｓ４
の受光終了（符号Ｓ６）までフォトダイオード５１に蓄
積している電荷が、被写体の距離情報と対応した信号電
荷Ｓ１２（斜線部）として垂直転送部５２へ転送され、
その他の信号電荷Ｓ１３は外光のみに起因するものであ
る。

【００３１】電荷転送信号Ｓ９の出力から一定時間が経
過した後、再び電荷掃出し信号Ｓ１が出力され、垂直転
送部５２への信号電荷の転送後にフォトダイオード５１
に蓄積された不要電荷が基板５３の方向へ掃出される。
すなわち、フォトダイオード５１において新たに信号電
荷の蓄積が開始する。そして、上述したのと同様に、電
荷蓄積期間Ｔ_U1が経過したとき、信号電荷は垂直転送部
５２へ転送される。

【００３２】このような信号電荷Ｓ１１の垂直転送部５
２への転送動作は、次の垂直同期信号が出力されるま
で、繰り返し実行される。これにより垂直転送部５２に
おいて、信号電荷Ｓ１１が積分され、１フィールドの期
間（２つの垂直同期信号によって挟まれる期間）に積分
された信号電荷Ｓ１１は、その期間被写体が静止してい
ると見做せれば、被写体までの距離情報に対応してい
る。なお信号電荷Ｓ１３は信号電荷Ｓ１２に比べ微小で
あるため信号電荷Ｓ１１は信号電荷Ｓ１２と等しいと見
なすことができる。

【００３３】以上説明した信号電荷Ｓ１１の検出動作は
１つのフォトダイオード５１に関するものであり、全て
のフォトダイオード５１においてこのような検出動作が
行なわれる。１フィールドの期間における検出動作の結
果、各フォトダイオード５１に隣接した垂直転送部５２
の各部位には、そのフォトダイオード５１によって検出
された距離情報が保持される。この距離情報は垂直転送
部５２における垂直転送動作および図示しない水平転送
部における水平転送動作によって３次元画像データとし
てＣＣＤ２８から出力される。

【００３４】次に図１、図２、図７及び３次元画像検出
動作のフローチャートである図８を参照して本実施形態
における３次元画像検出動作について説明する。なお３
次元画像検出動作は、後に説明するデータ抽出処理の中
でサブルーチンとして実行される。

【００３５】ステップ１０１では、垂直同期信号が出力
されるとともに測距光制御が開始される。すなわち発光
装置１４が駆動され、パルス状の測距光Ｓ３が断続的に
出力される。次いでステップ１０２が実行され、ＣＣＤ
２８による検知制御が開始される。すなわち図７を参照
して説明した３次元画像検出動作が開始され、電荷掃出
信号Ｓ１と電荷転送信号Ｓ９が交互に出力されて、距離
情報の信号電荷Ｓ１１が垂直転送部５２において積分さ
れる。

【００３６】ステップ１０３では、３次元画像検出動作
の開始から１フィールド期間が終了したか否か、すなわ
ち新たに垂直同期信号が出力されたか否かが判定され
る。１フィールド期間が終了するとステップ１０４へ進
み、垂直転送部５２において積分された距離情報の信号
電荷がＣＣＤ２８から出力される。この信号電荷はステ
ップ１０５において画像メモリ３４に一時的に記憶され
る。

【００３７】ステップ１０６では測距光制御がオフ状態
に切換えられ、発光装置１４の発光動作が停止する。ス
テップ１０７では、距離データの演算処理が行なわれ、
ステップ１０８において、演算された距離データが３次
元画像データとして画像メモリ３４に一時的に記憶され
る。これにより３次元画像検出動作のサブルーチンは終
了する。

【００３８】次に３次元画像検出動作のステップ１０７
において実行される演算処理の内容を図７を参照して説
明する。

【００３９】反射率Ｒの被写体が照明され、この被写体
が輝度Ｉの２次光源と見做されてＣＣＤに結像された場
合を想定する。このとき、電荷蓄積時間ｔの間にフォト
ダイオードに発生した電荷が積分されて得られる出力Ｓ
ｎは、Ｓｎ＝ｋ・Ｒ・Ｉ・ｔ・・・（２）で表される。ここでｋは比例定数で、撮影レンズのＦナ
ンバーや倍率等によって変化する。

【００４０】図７に示されるように電荷蓄積時間を
Ｔ_U1、測距光Ｓ３のパルス幅をＴ_S、距離情報の信号電
荷Ｓ１２のパルス幅をＴ_Dとし、１フィールド期間中の
その電荷蓄積時間がＮ回繰り返されるとすると、得られ
る出力ＳＭ₁₀は、ＳＭ₁₀＝Σｋ・Ｒ・Ｉ・Ｔ_D ＝ｋ・Ｎ・Ｒ・Ｉ・Ｔ_D ・・・（３）となる。なお、パルス幅Ｔ_DはＴ_D＝δ・ｔ＝２ｒ／Ｃ・・・（４）と表せる。このとき被写体までの距離ｒはｒ＝Ｃ・ＳＭ₁₀／（２・ｋ・Ｎ・Ｒ・Ｉ）・・・（５）で表せる。したがって比例定数ｋ、反射率Ｒ、輝度Ｉを
予め求めておけば距離ｒが求められる。

【００４１】次に図９〜図１３を参照して本実施形態に
おけるデータ抽出処理について説明する。図９は、本実
施形態において実行されるデータ抽出処理プログラム全
体の流れを表したフローチャートであり、上述の３次元
画像検出動作により検出され、画像メモリ３４に記憶さ
れた３次元画像データの中から、目的とする物体（被写
体）のデータのみを抽出し、これらのデータに基いて目
的物体の３次元的な表面形状を多数のポリゴンで近似的
に表したポリゴンデータを生成する。

【００４２】データ抽出処理のプログラムは、レリーズ
スイッチ１５が全押しされることにより始動される。ま
ず、ステップ２０１では、２次元画像の検出が行われ
る。すなわちＣＣＤ２８において通常のビデオ制御が行
われ、被写体の視覚情報に対応した画像データが検出さ
れ、２次元画像データとして画像メモリ３４に一時的に
記憶される。次に、ステップ２０２において上述の３次
元画像検出動作が行われ、被写体の距離情報に対応した
データが３次元画像情報として画像メモリ３４に一時的
に記憶される。

【００４３】図１０は、ステップ２０２において検出さ
れる３次元画像の１例を示したものであり、背景となる
平面に並行に矢印型の平板を配置し、この矢印型の平板
を正面から撮影したときに検出される３次元画像を２次
元的に表したものである。この３次元画像において、遠
方の被写体に対応する画素ほどその画素値は大きく、明
るい画像（領域Ｗａ）となり、近い被写体に対応する画
素ほど画素値が小さく暗い画素（領域Ｂａ）として示さ
れている。すなわち、矢印型の平板に対応する部分の画
素値は小さくその部分の画像は暗くなり、背景の平面に
対応する部分の画素値は大きくその部分の画像は明るく
なる。これは、３次元画像検出動作では、被写体までの
距離が増大するに従ってフォトダイオード５１に蓄積さ
れる電荷量が増大することに対応している。

【００４４】ステップ２０３では、画像メモリ３４に記
憶された３次元画像データ（画素値）が画像メモリ３４
上に複製された後、複製された３次元画像データに対し
て強調処理、すなわち空間微分が施される。通常背景と
なる被写体（物体）と目的となる被写体（物体）との間
では、カメラからの距離が大きく異なるため、３次元画
像データは目的とする被写体の輪郭線付近において大き
く変化する。したがって、３次元画像検出動作により検
出された３次元画像データに空間微分を施すことによ
り、撮影されたそれぞれの被写体（物体）の輪郭部が強
調された微分画像が得られる。なおこのとき３次元画像
データには２値化処理が同時に施されており、微分画像
は２値化画像である。

【００４５】図１１は、図１０に示される３次元画像の
内容を立体的なイメージで表現したものであり、矢印型
の平板の輪郭線部分で、３次元画像データが大きく変化
している様子が表されている。この３次元画像データに
空間微分を施すと、図１２のように被写体（矢印型の平
板）のエッジが強調され抽出される。強調されたエッジ
は撮影された物体の輪郭線に対応し１つの連結成分Ｃ１
を形成する。連結成分Ｃ１の内側と外側の領域もそれぞ
れ連結成分Ｃ２、Ｃ３をを形成する。なお図１２では、
輪郭線であるエッジ部分は便宜上黒線で描かれ、その他
の部分は白く描かれているが、画素値はエッジ部分で大
きく、その他の部分で小さい。また、ステップ２０３に
おいて３次元画像データに施される空間微分は例えば図
１３に示される従来公知の２次微分マスクによって行わ
れる。

【００４６】ステップ２０４では、ステップ２０３にお
いて得られた連結成分にラベリング操作を行ない、各領
域をそれぞれ異なる領域として認識する。ラベリングは
例えば、微分画像に逐次走査と並列型伝播を組み合せて
適用することにより行なうことができる。すなわち、画
像上をラスタ走査で順に走査し、ラベルが割り当てられ
ていない画素を見つけ、新しいラベルを割り当てる。次
にこの画素の８方向に隣接する画素のうち、同じ値の画
素値を保持する画素に同じラベルをつけ、更にそれらの
画素の８方向に隣接する同じ値の画素値を保持する画素
に対して同じラベルをつける。この処理を繰り返し実行
し、同じラベルを付けられる画素がなくなったときに、
１つの連結成分全体に同じラベルが割り当てられたこと
となる。その後、再びラスタ走査を続け、またラベルの
割り当てられていない画素を見つけると上述の処理と同
様の処理を繰り返し実行する。画像全体に対するラスタ
走査が終了すると全ての連結成分に対するラベリングが
終了する。これにより、各連結成分はそれぞれ異なる領
域として抽出され、３次元画像データは検出された３次
元画像中の各々の物体に対応してそれぞれの領域に分割
される。このとき分割された各領域には、ラベルとして
領域番号が付される。

【００４７】分割された領域がＮ個であるとき、ステッ
プ２０５では各領域ごとに距離情報に対応する画素値
（３次元画像データ）から各領域の平均距離が求められ
変数Ａ（ｉ）に代入される。ここでｉは、各領域に付さ
れた領域番号であり、ｉ＝１、２、・・・、Ｎである。
次にステップ２０６において、求められた各領域の平均
距離Ａ（ｉ）を比較することにより、最も遠距離にある
領域が求められる。すなわち平均距離Ａ（ｉ）が最大と
なる領域番号ｉ_mが求められる。

【００４８】ステップ２０７〜ステップ２１２では、背
景とみなす領域と目的物体（被写体）とみなす領域との
分離が、各領域ｉの平均距離Ａ（ｉ）と領域ｉ_mの平均
距離Ａ（ｉ_m）と差に基づいて行われる。すなわちステ
ップ２０７において、ｉが１に初期設定され、その後ス
テップ２０８でｉ＝ｉ_mであるか否かが判定される。ス
テップ２０８においてｉ≠ｉ_mと判定されると、ステッ
プ２０９において領域ｉ_mの平均距離Ａ（ｉ_m）と領域
ｉの平均距離Ａ（ｉ）との差Ａ（ｉ_m）−Ａ（ｉ）が、
所定値Ｌ_maxよりも小さいか否かが判定される。Ａ（ｉ
_m）−Ａ（ｉ）＜Ｌ_maxと判定されると、ステップ２１
０において、領域ｉを領域ｉ_mと同一とみなすフラッグ
が立てられる。一方、ステップ２０８においてｉ＝ｉ_m
であると判定されるか、ステップ２０９においてＡ（ｉ
_m）−Ａ（ｉ）＜Ｌ_maxでないと判定されると、処理は
ステップ２１１に直接移行する。ステップ２１１では、
ｉ＝Ｎであるか否かが判定され、ｉ≠Ｎと判定されると
ステップ２１２においてｉに１が加算され、ステップ２
０８に処理が戻る。ステップ２０８〜ステップ２１２の
処理はステップ２１１においてｉ＝Ｎと判定されるまで
繰り返し実行される。

【００４９】ステップ２１３では、領域ｉ_mと同一とみ
なすフラッグが立てられた領域、すなわち背景とみなさ
れた領域以外の領域の３次元画像データに対して演算処
理が施され、距離に対応したデータから座標データへ変
換される。またこのとき、フラッグが立てられ背景とみ
なされた領域に対応する２次元画像データの画素値が例
えば０（画面上では黒色に対応）に設定され、画像メモ
リ３４に一時的に記憶される。すなわち、ステップ２１
３において画像メモリ３４に記憶される２次元画像デー
タからは、背景に対応する画像情報が削除されている。

【００５０】ステップ２１４では、ステップ２１３にお
いて算出された座標データに基づいて、目的とする被写
体（物体）のポリゴンデータが生成される。このポリゴ
ンデータは、例えば座標データに変換される画素のうち
近接する３つの画素に対応する座標データを用いて１つ
のポリゴン（三角形）を構成し、これを座標データに変
換される全ての画素に対して各ポリゴンが重ならないよ
うに行なうことにより生成できる。

【００５１】ステップ２１５では、ステップ２１４で生
成されたポリゴンデータと、ステップ２１４において画
像メモリ３４に一時的に記憶された２次元画像データ
（背景に関する画像情報が削除された２次元画像デー
タ）が記録媒体Ｍに保存されて、このデータ抽出処理の
ルーチンは終了する。

【００５２】次にステップ２１３において実行される座
標データの演算処理について図１４〜図１７を参照して
説明する。

【００５３】図１４は、カメラの撮影光学系における焦
点Ｐ_fを座標原点に取ったカメラ座標系ｘｙｚとＣＣＤ
２８上の任意の点Ｐ（画素）と、それに対応する被写体
表面上の点Ｑとの関係を模式的に表している。ｙ軸は光
軸Ｌｐに一致しており、ｚ軸はＣＣＤ２８の垂直軸に並
行に取られ、その向きは上向きである。またｘ軸はＣＣ
Ｄ２８の水平軸に並行にとられている。点Ｐ_cはＣＣＤ
２８の受光面と光軸Ｌｐの交点であり、受光面の中心に
一致する。点ＱはＣＣＤ２８上の点Ｐの画素に対応する
被写体上の点であり、その座標は（ｘ_Q，ｙ_Q，ｚ_Q）
である。平面Πは点Ｑを含むＣＣＤ２８に平行な平面で
ある。点Ｑ_Cは光軸Ｌｐ（ｙ軸）と平面Πの交点であ
り、その座標は（０，ｙ_Q，０）である。

【００５４】図１５は、ＣＣＤ２８の受光面を正面から
見た図である。ＣＣＤ２８の水平、垂直方向の長さはそ
れぞれ２×Ｈ₀、２×Ｖ₀である。点ＰはＣＣＤ２８の
中心Ｐ_Cから左へＨ_P、上へＶ_Pの距離にある。点Ｐ_H
は、点ＰからＣＣＤ２８の水平軸Ｌ_Hへ下ろした垂線の
足である。また点Ｐ_Vは、点ＰからＣＣＤ２８の垂直軸
Ｌ_Vへ下ろした垂線の足である。

【００５５】図１６は、焦点Ｐ_fとＣＣＤ２８との関係
を焦点Ｐ_fとＣＣＤ２８の水平軸Ｌ _Hを含む平面上で表
したものであり、角Θ₀は水平画角、ｆは焦点距離であ
る。線分Ｐ_fＰ_Hが光軸Ｌｐとなす角をΘ_Pとすると、
角Θ_Pは、 Θ_P＝ｔａｎ^-1（Ｈ_p／ｆ）・・・（６）によって求められる。

【００５６】図１７は、焦点Ｐ_fとＣＣＤ２８との関係
を焦点Ｐ_fとＣＣＤ２８の垂直軸Ｌ _Vを含む平面上で表
したものであり、角θ₀は垂直画角である。線分Ｐ_fＰ
_Vが光軸Ｌｐとなす角をθ_Pとすると、角θ_Pは、 θ_P＝ｔａｎ^-1（Ｖ_p／ｆ）・・・（７）によって求められる。

【００５７】焦点Ｐ_fと点Ｐを結ぶ線分Ｐ_fＰの長さ
は、線分Ｐ_fＰ_Hと線分Ｐ_CＰ_Vの長さから、Ｐ_fＰ＝（Ｐ_fＰ_H ²＋Ｐ_CＰ_V ²）^1/2 ・・・（８）によって求められる。ここで、（８）式のＰ_fＰ_H、Ｐ_CＰ_Vは、Ｐ_CＰ_V＝Ｖ_P、Ｐ_fＰ_H＝ｆ／ｃｏｓΘ_P なので、Ｐ_fＰ＝（（ｆ／ｃｏｓΘ_P）²＋Ｖ_P ²）^1/2 ・・・（９）と表すことができる。

【００５８】線分Ｐ_fＱの長と、線分Ｐ_fＰの長さの比
Ｐ_fＰ／Ｐ_fＱをμとすると、点Ｑの座標成分ｘ_Q、ｙ
_Q、ｚ_Qは、ｘ_Q＝Ｈ_P／μ ・・・（１０）ｙ_Q＝Ｖ_P／μ ・・・（１１）ｚ_Q＝ｆ／μ ・・・（１２）で算出される。焦点距離ｆおよびＣＣＤ２８の任意の画
素に対応する点Ｐまでの距離Ｈ_P、Ｖ_Pは既知である。
また、線分Ｐ_fＱの長さは、焦点Ｐ_fから点Ｐに対応す
る被写体の点Ｑまでの距離であり、焦点距離ｆは既知な
ので、ステップ１０７の演算処理の結果である距離情報
に基づいて算出可能である。点Ｐは、ＣＣＤ２８の１つ
の画素を代表したものであり、上述の計算はＣＣＤ２８
の全ての画素に対して可能である。したがって、任意の
画素（点Ｐ）に対応する被写体（点Ｑ）のカメラを基準
とした座標（ｘ_Q，ｙ_Q，ｚ_Q）が算出可能である。

【００５９】以上のように本実施形態によれば、検出さ
れた３次元画像を個別の物体（被写体）に対応する領域
に分割することができ、分割された領域の平均距離を比
較することにより検出された３次元画像の中から目的と
する被写体に関する３次元画像データのみを抽出するこ
とができる。２次元画像データでは、被写体の色合等に
より、画像データを背景に対応する領域と目的とする被
写体に対応する領域とに分割することは困難な場合も多
いが、本実施形態のように距離情報に対応する３次元画
像データを用いると、背景に対応する領域と目的とする
被写体に対応する領域では、その距離が大きく異なるた
め目的とする被写体の輪郭部においてそのデータが大き
く変化し領域の検出が容易かつより確実に行なえる。

【００６０】なお、本実施形態では、被写体の輪郭線に
対応するエッジの抽出に、図１３で示された微分フィル
タを用いたが、他の微分フィルタであってもよい。ま
た、微分フィルタ以外に、フーリエ変換等を用いて３次
元画像データの空間周波数を解析し、低周波成分に対応
する３次元画像データをカットすることにより、エッジ
の抽出を行なってもよい。あるいは、隣接する画素間の
画素値を比較し、その差が所定の値以上の画素を検出す
ることによりエッジの抽出を行なってもよい。

【００６１】本実施形態では、領域の抽出に各領域の平
均距離を用いたが、各領域の画素値の平均は各領域の平
均距離に対応しているので、これを用いて領域の抽出を
行なってもよい。また、本実施形態では、領域の平均距
離を用いて領域の抽出を自動的に行なったが、オペレー
タがタッチパネル等の入力装置を用いて、手動で抽出す
る領域あるいは捨てる領域を選択してもよい。

【００６２】

【発明の効果】以上のように本発明によれば、画素毎に
検出され、被写体までの距離情報に対応する画像情報の
中から目的とする被写体に関する画像情報のみを抽出可
能な３次元画像検出装置を得ることができる。

【図面の簡単な説明】

【図１】本発明の一実施形態であるカメラ型の測距装置
の斜視図である。

【図２】図１に示すカメラの回路構成を示すブロック図
である。

【図３】測距光による距離測定の原理を説明するための
図である。

【図４】測距光、反射光、ゲートパルス、およびＣＣＤ
が受光する光量分布を示す図である。

【図５】ＣＣＤに設けられるフォトダイオードと垂直転
送部の配置を示す図である。

【図６】ＣＣＤを基板に垂直な平面で切断して示す断面
図である。

【図７】被写体までの距離に関するデータを検出する３
次元画像検出動作のタイミングチャートである。

【図８】３次元画像検出動作のフローチャートである。

【図９】データ抽出処理のフローチャートである。

【図１０】矢印型の平板を撮影したときに検出される３
次元画像を例示したものである。

【図１１】図１０の３次元画像を立体的なイメージで表
したものである。

【図１２】図１０の３次元画像に微分フィルタが施さ
れ、矢印型の平板の輪郭線が抽出された図である。

【図１３】微分フィルタの１例を示した図である。

【図１４】座標系ｘｙｚ、ＣＣＤ２８、ＣＣＤ２８の画
素とそれに対応する被写体上の点との関係を模式的に表
した図である。

【図１５】ＣＣＤ２８の正面図である。

【図１６】カメラの撮影光学系における焦点とＣＣＤ２
８との関係を示す水平断面図である。

【図１７】カメラの撮影光学系における焦点とＣＣＤ２
８との関係を示す垂直断面図である。

【符号の説明】

１０カメラ本体１４発光装置２８ＣＣＤ５１フォトダイオード

───────────────────────────────────────────────────── フロントページの続き (51)Int.Cl.⁷ 識別記号ＦＩテーマコート゛(参考）Ｈ０４Ｎ 7/18 Ｇ０６Ｆ 15/62 ４１５５Ｌ０９６ 15/70 ３３０ＺＦターム(参考） 2F065 AA04 AA12 AA53 BB05 DD11 EE05 FF12 FF32 FF33 FF42 GG06 GG12 HH04 JJ03 JJ18 JJ26 LL30 QQ05 QQ13 QQ21 QQ24 QQ32 QQ36 QQ37 QQ42 SS13 UU05 5B057 BA11 CE09 DA08 DA16 DB03 DB09 DC14 DC22 5C054 AA01 AA05 CA06 CC02 EA01 EA05 EA07 ED13 FA02 FC14 FC15 GA04 GB15 HA05 5C061 AB03 AB06 AB08 AB17 5J084 AD01 BA04 BA36 BB02 CA03 CA61 CA67 EA04 5L096 AA09 EA35 FA06 FA66 GA03 GA10 GA13 GA34

Claims

【特許請求の範囲】

【請求項１】各画素値が被写体までの距離情報に対応
した３次元画像を検出する３次元画像検出手段と、前記３次元画像の一部の領域を選択するために、前記距
離情報に基づいて前記３次元画像を複数の領域に分割す
る画像領域分割手段と前記画像領域分割手段により前記
３次元画像を複数の領域に分割し、分割された前記各領
域の平均距離に対応する前記各領域の画素値の平均値に
基づいて、分割された前記領域の中から１つまたは複数
の領域を選択する領域選択手段とを備えることを特徴と
する３次元画像検出装置。
【請求項２】前記領域選択手段が、前記領域のうち平
均距離が最も遠距離にある領域から所定の距離内にその
平均距離がある領域以外の領域を選択することを特徴と
する請求項１に記載の３次元画像検出装置。
【請求項３】前記画像領域分割手段により分割された
前記各領域を表示するための画像表示手段と、前記画像表示手段により表示された前記各領域の中から
１つまたは複数の領域を選択するための入力手段とを備
えたことを特徴とする請求項１に記載の３次元画像検出
装置。
【請求項４】前記画像領域分割手段における前記３次
元画像の領域分割が、前記３次元画像を強調処理するこ
とにより得られる画像データに基いて行われることを特
徴とする請求項１に記載の３次元画像検出装置。
【請求項５】前記強調処理が、前記３次元画像に微分
マスクを施して行なわれることを特徴とする請求項４に
記載の３次元画像検出装置。
【請求項６】前記微分マスクが２次微分マスクである
ことを特徴とする請求項５に記載の３次元画像検出装
置。
【請求項７】前記３次元画像の領域の分割が、前記強
調処理により得られた画像の強調された画素の連結によ
り形成される連結成分に基づいて行われることを特徴と
する請求項４に記載の３次元画像検出装置。
【請求項８】前記３次元画像の領域の分割が、前記連
結成分にラベリングすることにより行われることを特徴
とする請求項７に記載の３次元画像検出装置。
【請求項９】前記距離情報等を記録媒体に記録するた
めのデータ記録手段を備え、前記領域選択手段により選
択された領域の距離情報を前記記録媒体に記録可能であ
ることを特徴とする請求項１に記載の３次元画像検出装
置。
【請求項１０】前記被写体の視覚情報である２次元画
像を検出するための２次元画像検出手段を備え、前記領
域選択手段により選択された領域に対応する前記２次元
画像に関する画像情報を前記記録媒体に記録可能である
ことを特徴とする請求項９に記載の３次元画像検出装
置。