JP3954300B2 - 3次元画像検出装置 - Google Patents
3次元画像検出装置 Download PDFInfo
- Publication number
- JP3954300B2 JP3954300B2 JP2000358054A JP2000358054A JP3954300B2 JP 3954300 B2 JP3954300 B2 JP 3954300B2 JP 2000358054 A JP2000358054 A JP 2000358054A JP 2000358054 A JP2000358054 A JP 2000358054A JP 3954300 B2 JP3954300 B2 JP 3954300B2
- Authority
- JP
- Japan
- Prior art keywords
- distance
- light source
- subject
- light
- distance measuring
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
- Studio Devices (AREA)
- Optical Radar Systems And Details Thereof (AREA)
- Image Analysis (AREA)
- Length Measuring Devices By Optical Means (AREA)
- Stereoscopic And Panoramic Photography (AREA)
- Image Processing (AREA)
Description
【発明の属する技術分野】
本発明は、光伝播時間測定法を用いて被写体の3次元形状等を検出する3次元画像検出装置に関する。
【0002】
【従来の技術】
従来、被計測物体(被写体)の3次元形状を計測する能動方式の3次元画像検出装置として、例えば「Measurement Science and Technology」(S. Christie 他、vol.6, p1301-1308, 1995 年)に記載された3次元画像検出装置や、国際公開97/01111号公報に開示された3次元画像検出装置などが知られている。「Measurement Science and Technology」に記載された装置では、パルス変調されたレーザ光が被写体の全体に照射され、その反射光がイメージインテンシファイアが取付けられた2次元CCDセンサによって受光され、電気信号に変換される。イメージインテンシファイアはレーザ光のパルス発光に同期したゲートパルスによってシャッタ制御される。この構成によれば、遠い被写体からの反射光による受光量は近い被写体からの反射光による受光量に比べて小さいので、被写体の距離に応じた出力がCCDの各画素毎に得られる。一方、国際公開97/01111号公報に記載された装置では、パルス変調されたレーザ光等の光が被写体の全体に照射され、その反射光がメカニカル又は液晶素子等から成る電気光学的シャッタと組み合わされた2次元CCDセンサによって受光され、電気信号に変換される。そのシャッタは、測距光のパルスとは異なるタイミングで制御され、距離情報がCCDの各画素毎に得られる。
【0003】
【発明が解決しようとする課題】
これらの測距方法では、光源の位置とCCDとの位置とを略一致させ、測距光が光源から照射されてからCCDで受光されるまでの時間(光の伝播時間)が、CCDと被写体との間を光が往復する時間に略相当するとしてその距離が求められる。すなわち、測距光の発光とCCDでの露光期間とを制御することにより、被写体の3次元形状をCCDの受光面全体において一括して検出可能な上述のような3次元画像検出装置では、光源は被写体からの反射光を検知するCCDの近くに配置される必要がある。
【0004】
また、これらの測距方法では、被写体の3次元形状を一括して検出するため、被写体全体に測距光を照射する必要があり、測距光は拡散して被写体に照射される。したがって、3次元画像検出装置と被写体との距離が離れると、被写体に届く測距光の光量が著しく減少するため、光量不足となり距離測定が不可能になったり、距離測定の精度が低下するなどの問題がある。
【0005】
本発明は、被写体と3次元画像検出装置との距離が大きい場合にも、十分に大きい出力を得ることができる3次元画像検出装置を得ることを目的としている。
【0006】
【課題を解決するための手段】
本発明の3次元画像検出装置は、複数のビーム状の測距光を射出し撮像部から所定の位置に配置されたビーム光源と、拡散された測距光を照射し撮像部に対し任意の位置に配置可能な外部光源と、ビーム光源から被写体に複数のビーム状の測距光を射出しその反射光を撮像部で受光することにより、複数のビーム状の測距光がスポット状に照射された被写体の各点までの第1の距離を求めるスポット測距手段と、外部光源から被写体に拡散された測距光を照射し、その反射光を撮像部で受光することにより、外部光源から照射された測距光が被写体に反射され撮像部で受光されるまでに進んだ第2の距離を撮像部の画素毎に求める本測距手段と、第1の距離と第2の距離とに基づき外部光源の位置を算出する外部光源位置算出手段とを備えたことを特徴としている。
【0007】
3次元画像検出装置は、第2の距離と、各画素の撮像部における位置と、外部光源の位置とから、各画素に対応する被写体までの距離を画素毎に算出するための手段を備えることが好ましく、これにより、被写体の3次元形状を3次元画像検出装置内において直接算出することが可能となる。また、高い出力と、指向性の高いビーム状の測距光を得るために、ビーム光源はレーザであることが好ましい。更に、ビーム光源は3以上のビームを同時に射出可能であることが好ましい。これにより、外部光源の位置を算出するのに必要なビーム測距を短時間に行うことができる。
【0008】
また、本発明の3次元画像検出装置は、複数のビーム状の測距光を射出し、撮像部から所定の位置に配置されたビーム光源と、ビーム光源から被写体に複数のビーム状の測距光を射出し、その反射光を撮像部で受光することにより、複数のビーム状の測距光がスポット状に照射された被写体の各点までの第1の距離を求めるスポット測距手段と、撮像部に対し任意の位置に配置可能な外部光源から被写体に照射される拡散された測距光の被写体からの反射光を撮像部で受光することにより、外部光源から照射された測距光が被写体に反射され撮像部で受光されるまでに進んだ第2の距離を撮像部の画素毎に求めることができる本測距手段と、第1の距離と第2の距離とに基づき外部光源の位置を算出する外部光源位置算出手段とを備えたことを特徴としている。
【0009】
また、本発明の3次元画像検出装置は、光源の発光を制御するための制御信号を出力する光源制御手段と、受光量に応じた電荷を画素毎に蓄積可能な撮像部と、撮像部の駆動を制御する撮像部駆動制御手段と、光源制御手段からの制御信号に基づき発光が制御される光源からの光を被写体に照射し、その反射光を撮像部において受光することにより、被写体までの距離情報を画素毎に検出する距離情報検出手段と、光源制御手段の制御信号によりその発光が制御され、複数のビーム状の光を射出するビーム光源と、光源制御手段から出力される制御信号を外部光源へ出力するための外部出力手段と、制御信号を択一的にビーム光源又は外部出力手段に出力する選択切換手段とを備えたことを特徴としている。
【0010】
【発明の実施の形態】
以下、本発明の実施の形態を図面を参照して説明する。
図1は、本発明の第1の実施形態であるカメラ型の3次元画像検出装置の斜視図である。図1を参照して第1の実施形態において用いられるカメラ型の3次元画像検出装置について説明する。
【0011】
カメラ本体10の前面において、撮影レンズ11の左上にはファインダ窓(対物部)12が設けられ、右上にはストロボ13が設けられている。カメラ本体10の上面において、撮影レンズ11の真上には、測距のためのビーム状のレーザ光線を射出する内蔵ビーム光源装置(ビーム光源)14が配設されており、内蔵ビーム光源装置14には、例えば3つのレーザ14a、14b、14cが設けられている。内蔵ビーム光源装置14の左側にはレリーズスイッチ15及び液晶表示パネル16が設けられ、また右側にはモード切替ダイヤル17が設けられている。カメラ本体10の側面には、カメラ本体10に外付けされる外部光源装置(外部光源)45(図2参照)を接続するための外部光源接続コネクタ18、ICメモリカード等の記録媒体を挿入するためのカード挿入口19が形成され、またビデオ出力端子20、インターフェースコネクタ21が設けられている。
【0012】
図2は、図1に示すカメラの回路構成を示すブロック図である。
撮影レンズ11の中には絞り25が設けられている。絞り25の開度はアイリス駆動回路26によって調整される。撮影レンズ11の焦点調節動作及びズーミング動作はレンズ駆動回路27によって制御される。
【0013】
撮影レンズ11の光軸上にはCCD(撮像部)28が配設されている。CCD28の撮像面には、撮影レンズ11によって被写体像が形成され、被写体像に対応した電荷が発生する。CCD28における電荷の蓄積動作、電荷の読出動作等の動作は、システムコントロール回路35からCCD駆動回路30へ出力されるCCD駆動用のパルス信号によって制御される。CCD28から読み出された電荷信号、すなわち画像信号はそれぞれアンプ31において増幅され、A/D変換器32においてアナログ信号からデジタル信号に変換される。デジタルの画像信号は撮像信号処理回路33においてガンマ補正等の処理を施され、画像メモリ34に一時的に格納される。アイリス駆動回路26、レンズ駆動回路27及び撮像信号処理回路33はシステムコントロール回路35によって制御される。
【0014】
画像信号は画像メモリ34から読み出され、LCD駆動回路36に供給される。LCD駆動回路36は画像信号に応じて動作し、これにより画像表示LCDパネル37には、画像信号に対応した画像が表示される。
【0015】
また画像メモリ34から読み出された画像信号はTV信号エンコーダ38に送られ、ビデオ出力端子20を介して、カメラ本体10の外部に設けられたモニタ装置39に伝送可能である。システムコントロール回路35はインターフェース回路40に接続され、インターフェース回路40はインターフェースコネクタ21に接続されている。したがって画像メモリ34から読み出された画像信号は、インターフェースコネクタ21に接続されたコンピュータ41に伝送可能である。またシステムコントロール回路35は、記録媒体制御回路42を介して画像記録装置43に接続されている。したがって画像メモリ34から読み出された画像信号は、画像記録装置43に装着されたICメモリカード等の記録媒体Mに記録可能である。また記録媒体Mに一旦記録された画像信号は必要に応じて記録媒体Mから読み出され、システムコントロール回路35を介してLCDパネル37に表示することができる。
【0016】
システムコントロール回路35には、発光素子制御回路44が接続されている。発光装置14に設けられたレーザ14a、14b、14cは、例えばレーザダイオードであり、レーザ14a、14b、14cの発光動作は発光素子制御回路44によって制御される。レーザ14a、14b、14cはそれぞれ測距光であるビーム状のレーザ光線を照射するものであり、これらのレーザ光線は被写体上の異なる3つの位置にスポット状に照射される。被写体において反射した光は撮影レンズ11に入射し、CCD28において画像信号として検出される。後述するように、この画像信号からレーザ光線が照射された被写体上の3つの点(スポット)までの距離が計測される(以後スポット測距と呼ぶ)。なお、このスポット測距において、CCD28における転送動作のタイミング等の制御はシステムコントロール回路35とCCD駆動回路30によって行われる。
【0017】
発光素子制御回路44は、外部光源接続コネクタ18にも接続されており、発光素子制御回路44から出力される制御信号は、外部光源接続コネクタ18に接続されるケーブル(46)を介して外部光源装置45へ出力することができる。このとき、外部光源装置45での発光動作は、発光素子制御回路44からの制御信号に基づいて制御される。また、外部光源接続コネクタ18は、システムコントロール回路35へも接続されており、外部光源装置45はシステムコントロール回路35から制御可能である。外部光源装置45は被写体近くに配置され、被写体に向けて拡散された測距光を被写体全体に照射する。このとき、被写体で反射された光は、撮像レンズ11に入射し、CCD28において検知される。CCD28の各画素では、後述するように被写体までの距離に対応する信号電荷が蓄積され、被写体の3次元形状を表す3次元画像として検出される(以後本測距と呼ぶ)。なお、この本測距において、CCD28における転送動作のタイミング等の制御はシステムコントロール回路35とCCD駆動回路30によって行われる。
【0018】
システムコントロール回路35には、レリーズスイッチ15、モード切替ダイヤル17から成るスイッチ群47と、液晶表示パネル(表示素子)16とが接続されている。
【0019】
次に図3及び図4を参照して、CCDを用いた本実施形態における距離測定の基本的な原理について説明する。なお図4において横軸は時間tである。
【0020】
距離測定装置Bから出力された測距光は被写体Sにおいて反射し、図示しないCCDによって受光される。測距光は所定のパルス幅Hを有するパルス状の光であり、したがって被写体Sからの反射光も、同じパルス幅Hを有するパルス状の光である。また反射光のパルスの立ち上がりは、測距光のパルスの立ち上がりよりも時間δ・t(δは遅延係数)だけ遅れる。光源から射出された測距光が、被写体で反射され距離測定装置Bにおいて反射光として検出されるまでに進む距離R(ここでは距離測定装置Bと被写体Sとの往復の距離2r)は
R=2r=δ・t・C ・・・(1)
により得られる。ただしCは光速である。
【0021】
例えば測距光のパルスの立ち下がりから反射光を検知可能な状態に定め、反射光のパルスが立ち下がった後に検知不可能な状態に切り換えるように反射光検知期間Tを設ける。すなわち、反射光検知期間Tは、反射光の立ち上がりが、反射光検知期間Tが開始する前にCCDにおいて受光され、その立下りが反射光検知期間内にCCDにおいて受光されるように定められる。図4に示されるように、この反射光検知期間Tにおける受光量Aは距離rに相関する。すなわち受光量Aは、距離rが大きくなるほど(時間δ・tが大きくなるほど)大きくなるため、受光量Aから被写体までの距離が算定される。
【0022】
本実施形態におけるスポット測距及び本測距では、上述した原理を利用してCCD28に設けられ、2次元的に配列された複数のフォトダイオードにおいてそれぞれ受光量Aを検出することにより行われる。すなわち、各フォトダイオード(各画素)において検出された受光量Aに基づいて、カメラ本体10からCCD28の各フォトダイオードに対応する被写体S上の各点までの距離情報をフォトダイオード(画素)毎に画像信号(3次元画像)として検出する。本測距では、この画像信号から被写体Sの表面形状を表わす距離データがフォトダイオード(画素)毎に算出される。スポット測距ではレーザ14a、14b、14cにより測距光がスポット状に照射された被写体上の3つの点までの距離及び座標が算出される。
【0023】
図5は、CCD28に設けられるフォトダイオード51と垂直転送部52の配置を示す図である。図6は、CCD28を基板53に垂直な平面で切断して示す断面図である。このCCD28は従来公知のインターライン型CCDであり、不要電荷の掃出しにVOD(縦型オーバーフロードレイン)方式を用いたものである。
【0024】
フォトダイオード51と垂直転送部(信号電荷保持部)52はn型基板53の面に沿って形成されている。フォトダイオード51は2次元的に格子状に配列され、垂直転送部52は所定の方向(図5において上下方向)に1列に並ぶフォトダイオード51に隣接して設けられている。垂直転送部52は、1つのフォトダイオード51に対して4つの垂直転送電極52a、52b、52c、52dを有している。したがって垂直転送部52では、4つのポテンシャルの井戸が形成可能であり、従来公知のように、これらの井戸の深さを制御することによって、信号電荷をCCD28から出力することができる。なお、垂直転送電極の数は目的に応じて自由に変更できる。
【0025】
基板53の表面に形成されたp型井戸の中にフォトダイオード51が形成され、p型井戸とn型基板53の間に印加される逆バイアス電圧によってp型井戸が完全空乏化される。この状態において、入射光(被写体からの反射光)の光量に応じた電荷がフォトダイオード51において蓄積される。基板電圧Vsub を所定値以上に大きくすると、フォトダイオード51に蓄積した電荷は、基板53側に掃出される。これに対し、転送ゲート部54に電荷転送信号(電圧信号)が印加されたとき、フォトダイオード51に蓄積した電荷は垂直転送部52に転送される。すなわち電荷掃出し信号によって電荷を基板53側に掃出した後、フォトダイオード51に蓄積した信号電荷が、電荷転送信号によって垂直転送部52側に転送される。このような動作により、いわゆる電子シャッタ動作が実現される。
【0026】
しかし、被写体までの距離を図3、図4を参照して説明した原理により測定する場合には、極めて高速な電子シャッタ動作が要求されるため、1回のシャッタ動作では十分な信号出力を得られない。したがって、本実施形態の距離情報検出動作では、上述の電子シャッタ動作を繰り返し行うことにより、垂直転送部52において信号電荷を積分し、より大きな信号出力を得ている。
【0027】
図7は、垂直転送部52において信号電荷の積分を行う本実施形態の距離情報検出動作のタイミングチャートである。また、図8はこの距離情報検出動作のフローチャートである。図1、図2、図5〜図8を参照して本実施形態における距離情報検出動作について説明する。
【0028】
図7に示すように、垂直同期信号S1の出力に同期して一定のパルス幅TSを有するパルス状の測距光S3が出力される。測距光S3の出力から所定時間経過後、電荷掃出し信号(パルス信号)S2が出力され、これによりフォトダイオード51に蓄積していた不要電荷が基板53の方向に掃出される。電荷掃出し信号S2は、測距光S3の立下りに略同期してその出力を終了し、電荷掃出し信号S2の出力の終了によりフォトダイオード51における電荷蓄積が開始する。すなわち、フォトダイオード51における電荷蓄積動作は、測距光S3の立下りに略同期して開始される。一方、垂直同期信号S1の出力に同期して出力された測距光S3は、被写体において反射され、δ・t時間経過後CCD28において反射光S4として受光される。測距光S3の出力が終了してから一定時間が経過したとき、すなわち、電荷蓄積期間が開始してから一定時間が経過したとき、電荷転送信号(パルス信号)S5が出力され、これによりフォトダイオード51に蓄積された電荷が垂直転送部52に転送され、フォトダイオード51における電荷蓄積動作が終了する。なお、電荷転送信号S5は、反射光の立下りが電荷蓄積期間T内に検知されるように、電荷掃出し信号S2の出力から十分時間が経過した後に出力される。
【0029】
このように電荷掃出し信号S2の出力の終了から電荷転送信号S5の出力開始までの期間Tの間、フォトダイオード51には、被写体までの距離に対応した信号電荷が蓄積される。すなわち反射光S4は被写体までの距離に応じて測距光S3に比べてδ・t時間だけ遅れCCD28において受光され、フォトダイオード51では、反射光S4の一部のみが検知される。検知される光は、光が伝播するのにかかる時間(δ・t)に相関し、この光によって生じる信号電荷S6は被写体までの距離に対応している。この信号電荷S6は、電荷転送信号S5によって垂直転送部52に転送される。なお電荷蓄積期間Tは、測距光S3の立下りに同期して開始される必要はなく、計測される被写体の距離に応じてそのタイミングは調整される。
【0030】
電荷転送信号S5の出力から一定時間が経過した後、再び電荷掃出し信号S2が出力され、垂直転送部52への信号電荷の転送後にフォトダイオード51に蓄積された不要電荷が基板53の方向へ掃出される。すなわち、フォトダイオード51において新たに信号電荷の蓄積が開始する。そして、上述したのと同様に、電荷蓄積期間Tが経過したとき、信号電荷は垂直転送部52へ転送される。
【0031】
このような信号電荷S6の垂直転送部52への転送動作は、次の垂直同期信号S1が出力されるまで、繰り返し実行される。これにより垂直転送部52において、信号電荷S6が積分され、1フィールドの期間(2つの垂直同期信号S1によって挟まれる期間)に積分された信号電荷S6は、その期間被写体が静止していると見做せれば、被写体までの距離情報に対応している。
【0032】
以上説明した信号電荷S6の検出動作は1つのフォトダイオード51に関するものであり、全てのフォトダイオード51においてこのような検出動作が行なわれる。1フィールドの期間の検出動作の結果、各フォトダイオード51に隣接した垂直転送部52の各部位には、そのフォトダイオード51によって検出された距離情報が保持される。この距離情報は垂直転送部52における垂直転送動作および図示しない水平転送部における水平転送動作によってCCD28から出力される。
【0033】
これら距離情報検出手段における各動作は、図8のフローチャートに従って実行される。すなわち、ステップ101において垂直同期信号S1が出力されるとともに測距光制御が開始される。すなわち内蔵ビーム光源装置14又は外部光源装置45が駆動され、パルス状の測距光S3が断続的に出力される。次いでステップ102が実行され、CCD28による検知制御が開始される。すなわち図7を参照して説明した距離情報検出動作が開始され、電荷掃出し信号S2と電荷転送信号S5が交互に出力されて、距離情報の信号電荷S6が垂直転送部52において積分される。
【0034】
ステップ103では、距離情報検出動作の開始から1フィールド期間が終了したか否か、すなわち新たに垂直同期信号S1が出力されたか否かが判定される。1フィールド期間が終了するとステップ104へ進み、距離情報の信号電荷S6がCCD28から出力される。この信号電荷S6はステップ105において画像メモリ34に一時的に記憶される。ステップ106では測距光制御がオフ状態に切換えられ、内蔵ビーム光源装置14又は外部光源装置45の発光動作が停止され、この処理は終了する。
【0035】
本実施形態では、内蔵ビーム光源装置14を用いたスポット測距と外部光源45を用いた本測距とにより被写体の3次元形状が検出される。図9は、本実施形態のスポット測距及び本測距における被写体S、カメラ本体10、ケーブル46を介してカメラ本体10と接続される外部光源装置45の配置を模式的に示す図である。図9を参照して、本実施形態において実行される上記距離情報検出動作を用いた3次元形状の算出方法について説明する。
【0036】
点A1、A2、A3は、カメラ本体10に設けられたスポット用光源装置14のレーザ14a、14b、14cから射出されるレーザビームにより、スポット状に測距光が照射される被写体S上の点の位置を示している。距離a1、a2、a3はカメラ本体10から点A1、A2、A3までの距離(第1の距離)であり、距離b1、b2、b3は、外部光源装置45から測距光が拡散されて射出される射出部OSから点A1、A2、A3までの距離である。
【0037】
距離a1、a2、a3は、スポット測距により測定される。すなわち、スポット用光源装置14のレーザから図7のタイミングでパルス状のビーム光が測距光として射出され、点A1、A2、A3において反射された反射光がカメラ本体10のCCD28において、図7に示されるタイミングで検出されることにより距離a1、a2、a3が測定される。スポット測距では、測距光たるレーザビームは被写体S上の点A1、A2、A3のみに照射されるので、CCD28の画素(フォトダイオード51)のうち反射光を受光検知するのは、点A1、A2、A3に対応する画素のみである。したがって、これにより、点A1、A2、A3に対応する画素をその画素値から特定することができ、スポット測距では、点A1、A2、A3に対応する画素のみで距離の算出が行われる。なお、このとき算出される距離は、式(1)におけるr=R/2である。
【0038】
一方、距離b1、b2、b3は、本測距の検出結果及びスポット測距により求められる距離a1、a2、a3により算出される。すなわち、外部光源装置45から図7に示されたタイミングで被写体Sの全体に測距光が拡散されて照射され、被写体Sで反射された反射光がCCD28において、図7に示されるタイミングで検出される。このとき、点A1、A2、A3において反射された光は、距離(第2の距離)a1+b1、a2+b2、a3+b3を経てCCD28のフォトダイオード51で検出されるので、点A1、A2、A3に対応する画素で検出された信号電荷からは、それぞれ距離a1+b1、a2+b2、a3+b3が算出される。すなわち、式(1)における距離Rである。距離a1+b1、a2+b2、a3+b3から距離a1、a2、a3を減ずることにより、距離b1、b2、b3が求められる。なお、本測距では、測距光は被写体S全体に照射されるので、CCD28の略全画素において反射光が受光検知される。すなわち、本測距では、CCD28の全画素に対応する被写体S上の点までの距離に対応した信号電荷がそれぞれの画素で検出され、CCD28の各画素から被写体Sまでの距離(後述の距離bに対応)が、CCD28の全画素について算出される。
【0039】
カメラ本体10の撮像光学系において、その焦点とCCD28の各画素との間の位置関係は既知なので、ある画素においてその画素値から距離が算出されると、その画素に対応する被写体S上の点の座標値(例えばカメラの焦点を座標原点とする)が求められる。したがって、距離a1、a2、a3から点A1、A2、A3の座標(x1,y1,z1)、(x2,y2,z3)、(x3,y3,z3)が求められる。ここで、各点A1、A2、A3から外部光源装置45における測距光の射出部OSまでの距離は、それぞれb1、b2、b3なので、射出部OSの座標を(X,Y,Z)とすると、
(X−x1)2+(Y−y1)2+(Z−z1)2=b1 2 ・・・(2)
(X−x2)2+(Y−y2)2+(Z−z2)2=b2 2 ・・・(3)
(X−x3)2+(Y−Y3)2+(Z−Z3)2=b3 2 ・・・(4)
が成り立ち、式(2)〜(4)を解くことにより射出部OSの座標(X,Y,Z)が求められる。なお、式(2)〜(4)は2次の方程式なので、その解には正負の任意性があるが、これは外部光源装置45の実際の配置から特定される。
【0040】
次に、CCD28の各画素に対応する被写体S上の点のうち、点A1、A2、A3以外の点に対応する点の座標又は距離を求める方法について説明する。
例えば被写体S上の点A1、A2、A3以外の点Cの座標を(x,y,z)とし、カメラ本体10からの距離をa、外部光源装置45の射出部OSからの距離をbとすると、距離a、bは以下の式を解くことにより求められる。
(x−X)2+(y−Y)2+(z−Z)2=b2 ・・・(5)
x2+y2+z2=a2 ・・・(6)
a+b=d ・・・(7)
x/α=y/β=z/γ ・・・(8)
ここでdは、外部光源装置45から射出された測距光が、点Cで反射されCCD28で検出されるまでに進んだ距離(第2の距離)であり、上述した本測距において算出される。また、式(8)は座標原点(焦点)と点Bとを結ぶ直線の式であり、α、β、γは、点Bに対応する画素の位置によって一意的に決まり、既知の値である。すなわち、式(5)〜式(8)において未知変数はx、y、z、a、bの5つである。したがって、式(5)〜式(8)を解くことにより、上記未知変数x、y、z、a、bを求めることができる。以上により、CCD28の各画素に対応する被写体S上の各点までの距離aとその座標値とが算出され、被写体の3次元形状が取得される。
【0041】
図10は、本実施形態のカメラ型の3次元画像検出装置において実行されるプログラムのフローチャートであり、図11、図12はそれぞれ図10の中のスポット測距、本測距のサブルーチンのフローチャートである。図8〜図12を参照して本実施形態における3次元画像の検出動作について説明する。
【0042】
ステップ201においてレリーズスイッチ15が全押しされていることが確認されると、ステップ202において、内蔵ビーム光源装置14を用いたスポット測距が開始され、ステップ203において、外部光源装置45を用いた本測距が行われる。ステップ203における本測距が終了すると、ステップ204においてCCD28による通常の撮影動作(CCDビデオ制御)がオン状態に定められ、カラーの静止画が撮像される。その後ステップ205において、ステップ202のスポット測距及びステップ203の本測距により求められた被写体の3次元画像の画像データ、距離データ、及びステップ204において得られた被写体のカラー静止画像の画像データなどが記録媒体Mに記録され、このプログラムは終了する。
【0043】
ステップ202のスポット測距のサブルーチンでは、図11に示されるように、ステップ301で、測距用の光源として内蔵ビーム光源装置が設定される。すなわち、発光素子制御回路44(図2参照)から出力される信号が、レーザ14a、14b、14cへのみ出力されるように設定される。この設定は、システムコントロール回路35からの制御信号により発光素子制御回路44において行われる。ステップ302では、図8のフローチャートを参照して説明した距離情報検出動作がレーザ14a、14b、14cを光源として実行され、画像メモリ34に各画素の画素値が3次元画像の画像データとして一時的に記憶される。なお、このときレーザ14a、14b、14cは同時に測距光を射出する。
【0044】
ステップ303では、画像メモリ34に一時的に記憶された3次元画像の画像データがシステムコントロール回路35へ読み出され、CCD28の全画素の中から、3つのレーザ14a、14b、14cによりレーザビームがスポット状に照射される被写体上の3つの点(A1、A2、A3)に対応する画素が探索される。ステップ304では、ステップ303において探索され、レーザビームが照射されている3つの点に対応する画素の画素値に演算処理が施され、被写体までの距離a1、a2、a3が距離データとして算出される。その後、ステップ305において、ステップ303で特定された点A1、A2、A3に対応する画素の位置、及びにステップ304において算出された点A1、A2、A3までの距離に基づいて演算処理が行われ、各点A1、A2、A3に対応する座標値(x1,y1,z1)、(x2,y2,z2)、(x3,y3,z3)が、カメラの焦点を座標原点とした座標系において求められる。ステップ306では、ステップ304、ステップ305で求められた点A1、A2、A3までの距離とその座標値とが記録媒体Mに記録されこのスポット測距のサブルーチンは終了する。
【0045】
次に図12を参照してステップ203の本測距のサブルーチンについて説明する。ステップ401では、測距用の光源として外部光源装置が設定される。すなわち、発光素子制御回路44(図2参照)から出力される信号が、外部光源取付コネクタを介して接続された外部光源装置45のみへ出力されるように設定される。この設定は、ステップ301と同様に、システムコントロール回路35からの制御信号により発光素子制御回路44において行われる。ステップ402では、図8のフローチャートを参照して説明した距離情報検出動作が外部光源装置45を光源として実行され、画像メモリ34に各画素の画素値が3次元画像の画像データとして一時的に記憶される。
【0046】
ステップ403では、図11のステップ305において算出された点A1、A2、A3の座標値(x1,y1,z1)、(x2,y2,z2)、(x3,y3,z3)を用いた式(2)〜(4)により外部光源装置45の位置、すなわち、射出部OSの座標値(X,Y,Z)が求められる。ステップ404では、ステップ402において取得され、画像メモリ34に一時的に記憶された3次元画像の画像データがシステムコントロール回路35へ読み出され、各画素値に対し距離を求めるための演算処理が施される。すなわち、外部光源装置45から射出された測距光が、CCD28のフォトダイオード51で検出されるまでに進んだ距離d(=a+b)が画素毎に算出される。ステップ405では、距離d及びステップ403において求められた外部光源装置45の位置(X,Y,Z)等に基づいて、カメラ本体10から被写体Sまでの距離aが式(5)〜(8)を解くことによりCCD28の画素毎に距離データとして求められる。これらの距離データは、ステップ405において、画像メモリ35に一時的に記憶され、この本測距のサブルーチンは終了する。
【0047】
以上のように、本実施形態によれば、カメラ本体から分離された外部光源装置を任意の位置に配置して、CCDの画素毎に被写体までの距離を検出することができる。すなわち、外部光源装置はカメラ本体から分離されているので、被写体近くに配置することができ、これにより被写体とカメラとの距離が離れているときでも十分な光量の測距光を被写体に照射できるので、高い信号出力が得られS/N比が向上する。
【0048】
また、外部光源装置はカメラ本体とは独立しているためカメラ本体を小型化しつつ、大容量の光源を外部光源装置として用いることも可能となる。更に、カメラ本体には、内蔵ビーム光源装置が搭載されているので、外部光源装置の位置を簡単に特定することができる。
【0049】
本実施形態では、内蔵ビーム光源装置として3つのレーザを用いたが、1つのレーザから射出される光線を回折格子などで複数の光線に分岐させてもよく、このときには、内蔵ビーム光源装置14は1つのレーザと回折格子とから構成することができる。また、スポット測距において計測される被写体上の点の数は3点に限られるものではなく4点以上であってもよい。
【0050】
本実施形態において、外部光源装置は、カメラ本体とケーブルにより接続され、外部光源装置の発光のタイミングはこのケーブルを介して制御されていたが、無線、光通信等を介して制御してもよい。
【0051】
【発明の効果】
以上のように、本発明によれば、被写体と3次元画像検出装置との距離が大きい場合にも、十分に大きい出力を得ることができる3次元画像検出装置を得ることができる。
【図面の簡単な説明】
【図1】本発明における一実施形態であるカメラ型の3次元画像検出装置の斜視図である。
【図2】図1に示すカメラの回路構成を示すブロック図である。
【図3】測距光による距離測定の原理を説明するための図である。
【図4】測距光、反射光、ゲートパルス、及びCCDが受光する光量分布を示す図である。
【図5】CCDに設けられるフォトダイオードと垂直転送部の配置を示す図である。
【図6】CCDを基板に垂直な平面で切断して示す断面図である。
【図7】被写体までの距離に関するデータを検出する距離情報検出動作のタイミングチャートである。
【図8】本実施形態において実行される距離情報検出動作のサブルーチンのフローチャートである。
【図9】外部光源装置を用いた距離測定の原理を説明する図である。
【図10】本実施形態のカメラ型の3次元画像検出装置で実行されるプログラムのフローチャートである。
【図11】スポット測距で実行されるサブルーチンのフローチャートである。
【図12】本測距で実行されるサブルーチンのフローチャートである。
【符号の説明】
14 内蔵ビーム光源装置
14a、14b、14c レーザ
18 外部光源接続コネクタ
28 CCD
30 CCD駆動回路
35 システムコントロール回路
44 発光素子制御回路
45 外部光源装置
Claims (4)
- 複数のビーム状の測距光を射出し、撮像部から所定の位置に配置されたビーム光源と、
拡散された測距光を照射し、前記撮像部に対し任意の位置に配置可能な外部光源と、
前記ビーム光源から被写体に前記複数のビーム状の測距光を射出し、その反射光を前記撮像部で受光することにより、前記複数のビーム状の測距光がスポット状に照射された前記被写体の各点までの第1の距離を求めるスポット測距手段と、
前記外部光源から前記被写体に前記拡散された測距光を照射し、その反射光を前記撮像部で受光することにより、前記外部光源から照射された前記測距光が前記被写体に反射され前記撮像部で受光されるまでに進んだ第2の距離を前記撮像部の画素毎に求める本測距手段と、
前記第1の距離と、前記第2の距離とに基づき前記外部光源の位置を算出する外部光源位置算出手段と、
前記第2の距離と、前記各画素の前記撮像部における位置と、前記外部光源の位置とから、前記各画素に対応する被写体までの距離を前記画素毎に算出するための手段と
を備えることを特徴とする3次元画像検出装置。 - 前記ビーム光源がレーザであることを特徴とする請求項1に記載の3次元画像検出装置。
- 前記ビーム光源が3以上のビームを同時に射出可能であることを特徴とする請求項1に記載の3次元画像検出装置。
- 複数のビーム状の測距光を射出し、撮像部から所定の位置に配置されたビーム光源と、
前記ビーム光源から被写体に前記複数のビーム状の測距光を射出し、その反射光を前記撮像部で受光することにより、前記複数のビーム状の測距光がスポット状に照射された前記被写体の各点までの第1の距離を求めるスポット測距手段と、
前記撮像部に対し任意の位置に配置可能な外部光源から前記被写体に照射される拡散された測距光の前記被写体からの反射光を前記撮像部で受光することにより、前記外部光源から照射された前記測距光が前記被写体に反射され前記撮像部で受光されるまでに進んだ第2の距離を前記撮像部の画素毎に求めることができる本測距手段と、
前記第1の距離と、前記第2の距離とに基づき前記外部光源の位置を算出する外部光源位置算出手段と、
前記第2の距離と、前記各画素の前記撮像部における位置と、前記外部光源の位置とから、前記各画素に対応する被写体までの距離を前記画素毎に算出するための手段と
を備えることを特徴とする3次元画像検出装置。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2000358054A JP3954300B2 (ja) | 2000-11-24 | 2000-11-24 | 3次元画像検出装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2000358054A JP3954300B2 (ja) | 2000-11-24 | 2000-11-24 | 3次元画像検出装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2002165230A JP2002165230A (ja) | 2002-06-07 |
JP3954300B2 true JP3954300B2 (ja) | 2007-08-08 |
Family
ID=18830022
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2000358054A Expired - Fee Related JP3954300B2 (ja) | 2000-11-24 | 2000-11-24 | 3次元画像検出装置 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP3954300B2 (ja) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2017187471A (ja) | 2016-03-31 | 2017-10-12 | パナソニックIpマネジメント株式会社 | 撮像装置 |
JP2018031607A (ja) * | 2016-08-23 | 2018-03-01 | ソニーセミコンダクタソリューションズ株式会社 | 測距装置、電子装置、および、測距装置の制御方法 |
-
2000
- 2000-11-24 JP JP2000358054A patent/JP3954300B2/ja not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
JP2002165230A (ja) | 2002-06-07 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4530571B2 (ja) | 3次元画像検出装置 | |
JP4931288B2 (ja) | 画像検出装置と絞り装置 | |
US20130088620A1 (en) | Method of controlling a system including an image sensor and a light source | |
JP4010779B2 (ja) | 画像検出装置と絞り装置 | |
JP3574607B2 (ja) | 3次元画像入力装置 | |
JP3820087B2 (ja) | 3次元画像検出装置 | |
JP3986748B2 (ja) | 3次元画像検出装置 | |
JP4391643B2 (ja) | 3次元画像入力装置 | |
JP3574602B2 (ja) | 3次元画像入力装置 | |
JP4398562B2 (ja) | 3次元画像検出装置の焦点調節機構 | |
JP4105801B2 (ja) | 3次元画像入力装置 | |
JP4303354B2 (ja) | 3次元画像入力装置 | |
US6812964B1 (en) | Three-dimensional image capturing device | |
JP4369573B2 (ja) | 3次元画像検出装置 | |
JP4369575B2 (ja) | 3次元画像検出装置 | |
JP4315545B2 (ja) | 3次元画像検出システムと3次元画像検出装置 | |
JP3954300B2 (ja) | 3次元画像検出装置 | |
JP4369574B2 (ja) | 3次元画像検出装置 | |
JP4270658B2 (ja) | 3次元画像検出装置 | |
JP3892632B2 (ja) | 静止物体画像検出装置と静止物体画像検出方法 | |
JP4413343B2 (ja) | 3次元画像検出装置 | |
JP4428831B2 (ja) | 3次元画像検出装置 | |
JP4250281B2 (ja) | 3次元画像検出装置 | |
JP4346736B2 (ja) | 3次元画像検出装置 | |
US6982761B1 (en) | Device for capturing three-dimensional images with independently controllable groups of photoelectric conversion elements |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20050111 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20070129 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20070206 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20070326 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20070417 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20070426 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100511 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110511 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110511 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120511 Year of fee payment: 5 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120511 Year of fee payment: 5 |
|
S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313111 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120511 Year of fee payment: 5 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313111 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120511 Year of fee payment: 5 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
LAPS | Cancellation because of no payment of annual fees |