JP4428831B2 - 3次元画像検出装置 - Google Patents
3次元画像検出装置 Download PDFInfo
- Publication number
- JP4428831B2 JP4428831B2 JP2000228151A JP2000228151A JP4428831B2 JP 4428831 B2 JP4428831 B2 JP 4428831B2 JP 2000228151 A JP2000228151 A JP 2000228151A JP 2000228151 A JP2000228151 A JP 2000228151A JP 4428831 B2 JP4428831 B2 JP 4428831B2
- Authority
- JP
- Japan
- Prior art keywords
- light
- signal
- charge
- data
- pulse
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Length Measuring Devices By Optical Means (AREA)
- Measurement Of Optical Distance (AREA)
- Stereoscopic And Panoramic Photography (AREA)
- Automatic Focus Adjustment (AREA)
- Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
- Optical Radar Systems And Details Thereof (AREA)
- Focusing (AREA)
- Solid State Image Pick-Up Elements (AREA)
- Studio Devices (AREA)
- Optical Communication System (AREA)
Description
【発明の属する技術分野】
本発明は、光伝播時間測定法を用いて被写体の3次元形状等を検出する3次元画像検出装置に関する。
【0002】
【従来の技術】
3次元画像検出装置で被写体を撮像し、検出された距離データや画像データから被写体の3次元画像を得るには、高い画像処理能力と十分な記憶容量を備える必要がある。しかし、これに必要な回路や器機を備えると装置が大型化するため小型軽量化された3次元画像検出装置で3次元画像を得ることは難しい。したがって従来の3次元画像検出装置は、インターフェースケーブルによりコンピュータに接続され、検出されたデータは逐次ケーブルを介してコンピュータに送られコンピュータ上で処理されている。
【0003】
【発明が解決しようとする課題】
検出された距離データや画像データから被写体の3次元画像を構成するには、被写体を多方向から撮像しこれを合成しなければならない。しかし3次元画像検出装置とコンピュータがケーブルで接続されていると、3次元画像検出装置の可動範囲が制限され多方向からの撮像が困難である。また、オペレーターの移動や器機の操作にとっても障害となる。
【0004】
本発明は、ケーブルを介することなくデータをコンピュータへ転送できかつ通信効率のよい3次元画像検出装置を得ることを目的としている。
【0005】
【課題を解決するための手段】
本発明の3次元画像検出装置は、光を照射するための光源と、受光量に応じた電荷を蓄積可能な撮像素子と、光源を制御して被写体に測距光を照射させ、被写体からの反射光を撮像素子で受光し、反射光により蓄積した信号電荷に基づいて被写体までの距離を検出する距離情報検出手段と、光源を制御して通信光を照射させ、空間を伝送路とした光通信を行なう情報伝達手段とを備え、通信光の発光に同期させて撮像素子における信号電荷の蓄積を行ない、通信光を測距光として用いることにより通信光と測距光とが重畳して光源から照射されることを特徴としている。
【0006】
好ましくは距離情報検出手段において、測距光が所定の回数繰り返し照射され、繰り返し毎に信号電荷が撮像素子に蓄積される。
【0007】
情報伝達手段における通信光の発光は、好ましくは2値データの1と0の何れかに対応する。また好ましくは通信光は、パルス変調されたレーザ光である。通信光により送信されるデータ列は好ましくは、データ列をデータのビット数毎に区切るためのデータ区切信号を含む。
【0008】
3次元画像検出装置は好ましくは、撮像素子が受光量に応じて電荷が蓄積する複数の光電変換素子と光電変換素子に隣接して設けられた信号電荷保持部とからなる。このとき好ましくは撮像素子における信号電荷の蓄積は、光電変換素子に蓄積した電荷を掃出すための電荷掃出信号の立ち下がりにより開始し、光電変換素子に蓄積した電荷を信号電荷保持部へ転送するための電荷転送信号の立ち下がりにより終了する。またより好ましくは電荷転送信号は、電荷掃出信号の立ち下がりと同時に立ち上がる。
【0009】
例えば3次元画像検出装置における電荷転送信号は、周期的なパルス信号である基準電荷転送信号とデータ列のパルス信号の立ち下がりに同期して生成されるデータ同期パルス信号との論理積により生成される。また電荷掃出信号は、データ同期パルス信号と基準電荷転送信号から半周期位相が遅れた同一周期のパルス信号である基準電荷掃出信号との論理積により生成される。このときデータ同期パルス信号は基準掃出信号と同期し、そのパルス幅は基準電荷転送信号の1周期幅と相等しい。
【0010】
好ましくは信号電荷の蓄積は、通信光の立ち下がりに合わせてこ行われる。
【0011】
好ましくは、測距光が所定の回数繰り返し照射される期間である測距期間が、測距光と通信光が重畳されて照射されるデータ転送区間と、データ転送区間における測距光の照射回数が所定回数に満たない場合にその回数を補充するための測距光が照射される光量補正区間とを有する。
【0012】
【発明の実施の形態】
以下、本発明の実施の形態を図面を参照して説明する。
図1は、本発明の第1の実施形態であるカメラ型の3次元画像検出装置の斜視図である。
【0013】
カメラ本体10の前面において、撮影レンズ11の左上にはファインダ窓12が設けられ、右上にはストロボ13が設けられている。カメラ本体10の上面において、撮影レンズ11の真上には、測距光であるレーザ光を照射する測距用発光装置(光源)14が配設されている。測距用発光装置14の左側にはレリーズスイッチ15、液晶表示パネル16が設けられ、右側にはモード切替ダイヤル17とV/Dモード切替スイッチ18が設けられている。カメラ本体10の側面には、ICメモリカード等の記録媒体を挿入するためのカード挿入口19が形成され、またビデオ出力端子20が設けられている。
【0014】
図2は図1に示すカメラの回路構成を示すブロック図である。
撮影レンズ11の中には絞り25が設けられている。絞り25の開度はアイリス駆動回路26によって調整される。撮影レンズ11の焦点調節動作およびズーミング動作はレンズ駆動回路27によって制御される。
【0015】
撮影レンズ11の光軸上には撮像素子(CCD)28が配設されている。CCD28には、撮影レンズ11によって被写体像が形成され、被写体像に対応した電荷が発生する。CCD28における電荷の蓄積動作、電荷の読出動作等の動作はCCD駆動回路30によって制御される。CCD28から読み出された電荷信号すなわち画像信号はアンプ31において増幅され、A/D変換器32においてアナログ信号からデジタル信号に変換される。デジタルの画像信号は撮像信号処理回路33においてガンマ補正等の処理を施され、画像メモリ34に一時的に格納される。アイリス駆動回路26、レンズ駆動回路27、撮像信号処理回路33はシステムコントロール回路35によって制御される。またCCD駆動回路30は、V/D切替回路22から出力されるCCD駆動パルスにより制御される。
【0016】
画像信号は画像メモリ34から読み出され、LCD駆動回路36に供給される。LCD駆動回路36は画像信号に応じて動作し、これにより画像表示LCDパネル37には、画像信号に対応した画像が表示される。
【0017】
カメラをカメラ本体10の外部に設けられたモニタ装置とケーブルで接続すれば、画像メモリ34から読み出された画像信号はTV信号エンコーダ38、ビデオ出力端子20を介してモニタ装置に伝送可能である。またシステムコントロール回路35はインターフェース回路40に接続されており、インターフェース回路40はインターフェースコネクタ21に接続されている。したがってカメラをカメラ本体10の外部に設けられたコンピュータとインターフェースケーブルを介して接続すれば、画像メモリ34から読み出された画像信号をコンピュータに伝送可能である。また、システムコントロール回路35は、記録媒体制御回路42を介して画像記録装置43に接続されている。したがって画像メモリ34から読み出された画像信号は、画像記録装置43に装着されたICメモリカード等の記録媒体Mに記録可能である。
【0018】
発光装置14は発光素子14aと照明レンズ14bにより構成され、発光素子14aの発光動作は発光素子制御回路44によって制御される。また発光素子制御回路44は、ディレイ回路45からのパルス信号により制御される。このパルス信号は、データパルス出力回路29から出力されるデータパルス信号をディレイ回路45で遅延したものである。またデータパルス信号は、送信データが時系列のパルス信号として出力されたものである。
【0019】
発光素子14aはレーザダイオード(LD)であり、照射されるレーザ光は測距光と通信光を重畳したものである。このレーザ光は照明レンズ14bを介して被写体の全体および光通信のための受光器を含む領域に照射される。被写体において反射したレーザ光が撮影レンズ11に入射してCCD28で検出されることにより、被写体の距離情報が検出される。また照射されたレーザ光には通信光が重畳されているので、コンピュータに接続された受光器がこのレーザ光を受光検出することによりデータがコンピュータへ送信される。データパルス出力回路29からディレイ回路45へ出力されるデータパルス信号は、同時にCCD駆動パルス変換回路46およびカウント回路39にも出力される。
【0020】
DモードCCD駆動パルス発生回路23では、距離情報を検出する際に基準となる基準CCD駆動パルスが生成され、CCD駆動パルス変換回路46へ出力される。CCD駆動パルス変換回路46では、CCDにおける信号電荷の蓄積が、データパルス信号に基づく発光素子14aの発光動作に同期して行なわれるように、データパルス信号に基づいて基準CCD駆動パルスを変換する。変換されたCCD駆動パルスは、その後V/D切替回路22を経てCCD駆動回路30へ出力される。
【0021】
VモードCCD駆動パルス発生回路24では、通常のビデオ制御を行なう際のCCD駆動パルスが生成され、V/D切替回路22を経てCCD駆動回路30へ出力される。V/D切替回路22は、V/Dモード切替スイッチ18で設定されたモードに合わせて、VモードCCD駆動パルス発生回路24またはCCD駆動パルス変換回路46からのCCD駆動パルスをCCD駆動回路30へ出力する。V/D切替回路22、VモードCCD駆動パルス発生回路24およびDモードCCD駆動パルス発生回路23は、システムコントロール回路35により制御される。
【0022】
システムコントロール回路35には、レリーズスイッチ15、モード切替ダイヤル17、V/Dモード切替スイッチ18から成るスイッチ群45と、液晶表示パネル(表示素子)16とが接続されている。
【0023】
図3は、距離情報の検出と光通信とを行なうときの様子を模式的に表したものである。
【0024】
距離情報の検出は、発光装置14から被写体Sにレーザ光を照射し、被写体Sからの反射光を撮像レンズ11を介してCCD28(図2)で受光することにより行われる。一方コンピュータ50へのデータ送信は、発光装置14から照射されたレーザ光を照射領域U内に配置された受光器51で受光検出することにより行われる。受光器51で検出された光は、電気信号に変換され受信データとしてコンピュータ50に送られ所定の処理を施されてディスプレイ等(図示せず)に表示される。
【0025】
次に図4および図5を参照して、本実施形態における距離測定の原理について説明する。なお図5において横軸は時間tである。
【0026】
距離測定装置Bから出力された測距光は被写体Sにおいて反射し、図示しないCCDによって受光される。測距光は所定のパルス幅Hを有するパルス状の光であり、したがって被写体Sからの反射光も、同じパルス幅Hを有するパルス状の光である。また反射光のパルスの立ち上がりは、測距光のパルスの立ち上がりよりも時間δ・t(δは遅延係数)だけ遅れる。測距光と反射光は距離測定装置Bと被写体Sの間の2倍の距離rを進んだことになるから、その距離rは
r=δ・t・C/2 ・・・(1)
により得られる。ただしCは光速である。
【0027】
例えば測距光のパルスの立ち上がりから反射光を検知可能な状態に定め、反射光のパルスが立ち下がる前に検知不可能な状態に切換えるようにすると、すなわち反射光検知期間Tを設けると、この反射光検知期間Tにおける受光量Aは距離rの関数である。すなわち受光量Aは、距離rが大きくなるほど(時間δ・tが大きくなるほど)小さくなる。
【0028】
本実施形態では上述した原理を利用して、CCD28に設けられ、2次元的に配列された複数のフォトダイオード(撮像素子)においてそれぞれ受光量Aを検出することにより、カメラ本体10から被写体Sの表面の各点までの距離をそれぞれ検出し、被写体Sの表面形状に関する3次元画像のデータを一括して入力している。
【0029】
図6は、CCD28に設けられるフォトダイオード51と垂直転送部52の配置を示す図である。図7は、CCD28を基板53に垂直な平面で切断して示す断面図である。このCCD28は従来公知のインターライン型CCDであり、不要電荷の掃出しにVOD(縦型オーバーフロードレイン)方式を用いたものである。
【0030】
フォトダイオード51と垂直転送部52はn型基板53の面に沿って形成されている。フォトダイオード51は2次元的に格子状に配列され、垂直転送部52は所定の方向(図6において上下方向)に1列に並ぶフォトダイオード51に隣接して設けられている。垂直転送部52は、1つのフォトダイオード51に対して4つの垂直転送電極52a,52b,52c,52dを有している。したがって垂直転送部52では、4つのポテンシャルの井戸が形成可能であり、従来公知のように、これらの井戸の深さを制御することによって、信号電荷をCCD28から出力することができる。なお、垂直転送電極の数は目的に応じて自由に変更できる。
【0031】
基板53の表面に形成されたp型井戸の中にフォトダイオード51が形成され、p型井戸とn型基板53の間に印加される逆バイアス電圧によってp型井戸が完全空乏化される。この状態において、入射光(被写体からの反射光)の光量に応じた電荷がフォトダイオード51において蓄積される。基板電圧Vsub を所定値以上に大きくすると、フォトダイオード51に蓄積した電荷は、基板53側に掃出される。これに対し、転送ゲート部54に電荷転送信号(電圧信号)が印加されたとき、フォトダイオード51に蓄積した電荷は垂直転送部52に転送される。すなわち電荷掃出信号によって電荷を基板53側に掃出した後、フォトダイオード51に蓄積した信号電荷が、電荷転送信号によって垂直転送部52側に転送される。このような動作を繰り返すことにより、垂直転送部52において信号電荷が積分され、いわゆる電子シャッタ動作が実現される。
【0032】
図8は距離情報検出動作におけるタイミングチャートであり、図1、図2、図6〜図8を参照して本実施形態における距離情報検出動作について説明する。なお本実施形態の距離情報検出動作では、図5を参照して行なった距離測定の原理の説明とは異なり、外光の影響による雑音を低減するために測距光のパルスの立ち下がりから反射光を検知可能な状態に定め、反射光のパルスが立ち下がった後に検知不可能な状態に切換えるようにタイミングチャートを構成しているが原理的には何ら異なるものではない。
【0033】
垂直同期信号(図示せず)の出力に同期して電荷掃出信号(パルス信号)S1が出力され、これによりフォトダイオード51に蓄積していた不要電荷が基板53の方向に掃出され、フォトダイオード51における蓄積電荷量はゼロになる(符号S2)。電荷掃出信号S1の出力の開始の後、一定のパルス幅を有するパルス状の測距光S3が出力される。測距光S3が出力される期間TS (パルス幅)は調整可能であり、図示例では、電荷掃出信号S1の立ち下がりと略同時に測距光S3がオフするように調整されている。
【0034】
測距光S3は被写体において反射し、CCD28に入射する。すなわちCCD28によって被写体からの反射光S4が受光されるが、電荷掃出信号S1が出力されている間は、フォトダイオード51において電荷は蓄積されない(符号S2)。電荷掃出信号S1の出力が停止され、略同時に電荷転送信号S9が出力されると、フォトダイオード51では、反射光S4の受光による電荷蓄積および垂直転送部52への転送が開始される。これにより外光と反射光S4とに起因する信号電荷S5が、フォトダイオード51で発生蓄積されるとともに垂直転送部52へ転送される。反射光S4が消滅すると(符号S6)フォトダイオード51では、反射光に基く電荷蓄積は終了するが(符号S7)、外光のみに起因する電荷蓄積は継続し(符号S8)、蓄積された電荷は垂直転送部52へ転送される。
【0035】
フォトダイオード51から垂直転送部52への電荷転送は、電荷転送信号S9の出力の終了(符号S10)によって完了する。すなわち、外光が存在するためにフォトダイオード51では電荷蓄積が継続するが、電荷転送信号S9の出力が終了するまでにフォトダイオード51で蓄積された信号電荷S11が垂直転送部52へ転送される。電荷転送信号の出力終了後に蓄積している電荷S14は、そのままフォトダイオード51に残留する。
【0036】
このように電荷掃出信号S1の出力の終了から電荷転送信号S9の出力が終了するまでの期間TU1の間、フォトダイオード51には、被写体までの距離に対応した信号電荷が蓄積される。そして、反射光S4の受光終了(符号S6)までフォトダイオード51に蓄積している電荷が、被写体の距離情報とに対応した信号電荷S12(斜線部)として垂直転送部52へ転送され、その他の信号電荷S13は外光のみに起因するものである。
【0037】
電荷転送信号S9の出力から一定時間が経過した後、再び電荷掃出信号S1が出力され、垂直転送部52への信号電荷の転送後にフォトダイオード51に蓄積された不要電荷が基板53の方向へ掃出される。すなわち、フォトダイオード51において新たに信号電荷の蓄積が開始する。そして、上述したのと同様に電荷蓄積期間TU1の間、信号電荷は垂直転送部52へ転送される。
【0038】
このような信号電荷S11の垂直転送部52への転送動作は、次の垂直同期信号が出力されるまで、所定の回数繰り返し実行される。これにより垂直転送部52において信号電荷S11が積分され、1フィールドの期間(2つの垂直同期信号によって挟まれる期間)に積分された信号電荷S11は、その期間被写体が静止していると見做せれば、被写体までの距離情報に対応している。なお信号電荷S13は信号電荷S12に比べ微小であるため信号電荷S11は信号電荷S12と見なすことができる。
【0039】
以上説明した信号電荷S11の検出動作は1つのフォトダイオード51に関するものであり、全てのフォトダイオード51においてこのような検出動作が行なわれる。1フィールドの期間における検出動作の結果、各フォトダイオード51に隣接した垂直転送部52の各部位には、そのフォトダイオード51によって検出された距離情報が保持される。この距離情報は垂直転送部52における垂直転送動作および図示しない水平転送部における水平転送動作によってCCD28から出力され、3次元画像データとして、CCD28の外部に取り出される。
【0040】
次に距離情報検出動作のフローチャートである図9を参照して距離情報検出動作について説明する。
【0041】
ステップ101においてレリーズスイッチ15が全押しされていることが確認されるとステップ102が実行され、ビデオ(V)モードと距離測定(D)モードのいずれが選択されているかが判定される。これらのモード間における切替はV/Dモード切替スイッチ18を操作することによって行なわれる。
【0042】
Dモードが選択されているとき、ステップ103において後に説明する測距通信重畳処理が行なわれる。その後ステップ104において測距光制御が実行される。すなわち発光装置14が駆動され、パルス状の測距光S3が出力される。次いでステップ105が実行され、CCD28による検知制御が実行される。すなわち図8を参照して説明した距離情報検出動作が実行され、電荷掃出信号S1と電荷転送信号S9が交互に出力されて、距離情報の信号電荷S11が垂直転送部52において積分される。ステップ104、ステップ105で実行される発光素子14a及びCCD28の制御は、ステップ103で出力されたLD駆動パルス及びCCD駆動パルスにしたがって行われる。
【0043】
ステップ106では、距離情報検出動作の開始から1フィールド期間が終了したか否か、すなわち新たに垂直同期信号が出力されたか否かが判定される。1フィールド期間が終了していないときには、処理はステップ103へ戻り次の測距通信重畳処理が行われる。1フィールド期間が終了するとステップ107へ進み、垂直転送部52で積分された信号電荷S11がCCD28から出力される。この積分された信号電荷はステップ108において画像メモリ34に一時的に記憶される。ステップ109では測距光制御がオフ状態に切換えられ、発光装置14の発光動作が停止する。
【0044】
ステップ110では、距離データの演算処理が行なわれ、ステップ111において距離データが画像メモリ34に記憶されてこの検出動作は終了する。一方、ステップ102においてVモードが選択されていると判定されたとき、ステップ112において測距光制御がオフ状態に切換えられるとともに、ステップ113においてCCD28による通常の撮影動作(CCDビデオ制御)がオン状態に定められ、ステップ114で撮像された画像データが画像メモリ34に記憶されてこの検出動作は終了する。
【0045】
次にステップ110において実行される演算処理の内容を図8を参照して説明する。
反射率Rの被写体が照明され、この被写体が輝度Iの2次光源と見做されてCCDに結像された場合を想定する。このとき、電荷蓄積時間tの間にフォトダイオードに発生した電荷が積分されて得られる出力Snは、
Sn=k・R・I・t ・・・(2)
で表される。ここでkは比例定数で、撮影レンズのFナンバーや倍率等によって変化する。
【0046】
図8に示されるように電荷蓄積時間をTU1、測距光S3のパルス幅をTS 、距離情報の信号電荷S12のパルス幅をTD とし、1フィールド期間中のその電荷蓄積時間がN回繰り返されるとすると、得られる出力SM10は、
となる。なお、パルス幅TD は
と表せる。このとき被写体までの距離rは
r=C・SM10/(2・k・N・R・I) ・・・(5)
で表せる。したがって比例定数k、反射率R、輝度Iを予め求めておけば距離rが求められる。
【0047】
図10は、ステップ103において実行される測距通信重畳処理のフローチャートである。
【0048】
ステップ201において送信データの有無が確認される。送信データが存在する場合には、ステップ202でデータ(例えば8ビット分)がメモリ34から読み出され、データパルス出力回路29においてデータパルス信号に変換されディレイ回路45やカウント回路39、CCD駆動パルス変換回路46へ出力される。ステップ203では、データパルス信号がディレイ回路45において遅延され、発光素子14aを制御するためのLD駆動パルスとして発光素子制御回路44へ出力される。また、このときCCD駆動パルス変換回路46では、データパルス信号に基づく発光素子14aの発光動作に合わせて、フォトダイオード51での電荷蓄積が行なえるように、DモードCCD駆動パルス発生回路で生成されたCCD駆動パルスを変換する。これにより測距通信重畳処理は終了する。
【0049】
一方ステップ201において、送信データが存在しないと判定されると、ステップ204において、ダミーデータがシステムコントロール回路35で生成される。これは送信すべきデータが存在しない場合でも、発光素子14aからレーザ光を照射して距離情報の検出を行なうためである。すなわち、生成されたダミーデータは、送信情報としての意味はなく、距離情報の検出のための測距光を発光するタイミングを指示する信号としてのみ機能する。ダミーデータは、データパルス出力回路29へ出力されるとともにデータパルス信号に変換され、ディレイ回路45やカウント回路39、CCD駆動パルス変換回路46へ出力される。
【0050】
その後ステップ203では、ダミーデータのデータパルス信号がディレイ回路45において遅延され、発光素子14aを制御するためのLD駆動パルスとして発光素子制御回路44へ出力される。また、ダミーデータのデータパルス信号に基づく発光素子14aの発光動作に合わせてフォトダイオード51での電荷蓄積動作が行われるように、DモードCCD駆動パルス発生回路で生成されたCCD駆動パルスがCCD駆動パルス変換回路46で変換される。これにより測距通信重畳処理は終了する。
【0051】
次に図11、図12を参照して測距通信重畳処理について説明する。図11は、CCD駆動パルス変換回路46の回路構成をより詳しく示したブロック図であり、カメラ全体のブロック図(図2)のうち測距通信重畳処理に関係する部分だけが図示されている。また図12は、図11の回路から出力される各パルス信号、フォトダイオード51での蓄積期間、LDの発光パルスのシーケンスを示している。
【0052】
図12(a)は、データパルス出力回路29から出力されるデータパルス信号である。一対のパルスS21は、送信データをデータのビット数毎に区切るためのデータ区切信号である。すなわち、パルスS21の立上りから次のパルスS21の立上りまでの区間Td が1つのデータ区間となる。送信データは、例えば8ビットデータであり、このとき送信データは、8ビットのデータ毎にデータ区切信号S21によって区切られる。各データ区間における8ビットのデータパルスは、データ区間内の区間TP において出力される。区間TP は8つの基本区間からなり、各基本区間は8ビットデータの1ビットに対応する。ある基本区間において、パルスがオン状態であればその基本区間に対応するビットは1であり、オフ状態であれば0である。
【0053】
図12の各データ区間に付された8桁の2進数は、各データ区間で出力される8ビットの送信データを表している。これら8桁の2進数の各桁は、区間TP の基本区間と1対1に対応している。すなわち2進数の1桁目は区間TP の右から1番目の基本区間B1、2桁目は右から2番目の基本区間B2に対応している。各桁は順番に各基本区間に対応しており、8桁目は右から8番目(一番左)の基本区間B8に対応している。例えば左から2番目のデータ区間で出力される送信データは00101000であり、4桁目と6桁目のみが1なので、右から4つ目の基本区間と6つ目の基本区間のみパルスがオン状態となり、他の基本区間ではオフ状態となる。すなわちパルスS22は6桁目、パルスS23は4桁目の1を表している。また、 左から3番目のデータ区間の8桁の2進データは、11100001であり、上位3桁の数が連続して1なので、これに対応する左から3つの基本区間は全てパルスがオン状態となる。この場合上位3桁は3つのパルスが連続して1つのパルスS24となる。
【0054】
これらのデータパルス(図12(a))は、ディレイ回路45を介してLD駆動パルスとして発光素子駆動回路44へ送られる。図12(h)は、このときの発光素子(LD)14aの発光パルス(LD発光パルス)を表している。LD発光パルスは、データパルス(図12(a))がΔtだけ遅延されたものであり、発光素子14aは各データ区間の2進データに対応して発光する。
【0055】
また、発光パルスは測距光としても用いられるので、前述の基本区間の幅は測距光のパルス幅TS に相当する。本実施形態では、反射光の立ち下がりを利用して測距を行なうので、フォトダイオード51での蓄積期間は、LD発光パルスの立ち下がりに合わせて設けられなければならない。すなわち、CCD駆動パルス変換回路46は、DモードCCD駆動パルス発生回路23で生成される基準CCD駆動パルスを、図12(h)のLD発光パルスの立ち下がりに合わせて電荷蓄積を行うCCD駆動パルスに変換しなければならない。
【0056】
図12(c)、図12(e)に示される周期的なパルスは、DモードCCD駆動パルス発生回路23で生成される基準CCD駆動パルスである。図12(c)は電荷掃出動作の基準となる基準掃出パルスであり、図12(e)は電荷転送動作の基準となる基準転送パルスである。CCD駆動パルス変換回路46に入力されたデータパルス信号は、まずデータ同期パルス発生回路47でデータ同期パルス(図12(b))に変換されAND回路48、49へ出力される。AND回路49では、データ同期パルスとDモードCCD駆動パルス発生回路23から出力される基準掃出パルス(図12(c))との論理積(AND)がとられ、図12(d)で示されるパルスに変換される。このパルスは、掃出パルスとしてV/D切替回路22へ出力される。一方AND回路48では、データ同期パルスとDモードCCD駆動パルス発生回路23から出力される基準転送パルス(図12(e))との論理積(AND)がとられ、図12(f)に示されるパルスに変換され、転送パルスとしてV/D切替回路22へ出力される。
【0057】
図12(d)の掃出パルスと図12(f)の転送パルスは、CCD駆動パルスとしてV/D切替回路22を経てCCD駆動回路30へ出力されCCD28のフォトダイオード51における電荷の掃出動作と電荷の転送動作を制御する。図8を参照して説明したように、フォトダイオード51における電荷の蓄積は、電荷掃出信号(掃出パルス)S1が立ち下がったと略同時に立ち上がる電荷転送信号(転送パルス)S9がオン状態の期間(S9のパルス幅)TU1において行われるので、データパルスが図12(a)のようなパルスで表されるとき、基準掃出パルスと基準転送パルスは、図12(d)、図12(f)のように変換され、フォトダイオード51における電荷蓄積は図12(g)で示されるタイミングで行われる。これによりフォトダイオード51での電荷の蓄積動作は、常にLD発光パルス(図12(h))が立ち下がるタイミングに合わせて行われる。
【0058】
以上のように、発光素子14aの発光パルスは、送信データに対応するデータパルス信号に基づいて行われ、照射されたレーザ光は通信光としての役割を果たす。また同時に電荷蓄積動作が、発光パルスの立ち下がりに合わせて行なわれることにより照射されたレーザ光は測距光としての役割を果たし、通信光と測距光は重畳される。
【0059】
次に図11〜図14を参照して光量補正処理について説明する。
【0060】
図12(a)で示すように、送信されるデータパルスは各データ区間毎に異なるため、その発光パルスの立ち下がりの数も各データ区間毎に異なる。また測距のために行われる信号電荷の蓄積は、発光パルスの立ち下がりに合わせて行われるため、電荷蓄積の回数は各データ区間毎に異なる。例えば、図12(g)の各データ区間で行われる電荷蓄積の回数は、左から1番目のデータ区間では4回、2番目では2回、3番では2回である。したがって、距離情報検出動作で実行される電荷蓄積の総数(信号電荷の積分回数)が送信データにより異なるため、出力SM10(総蓄積電荷量)も異なり、距離の検出精度が劣化する。
【0061】
本実施形態では、距離情報検出動作で実行される信号電荷の積分回数を一定にし、出力SM10が送信データに依存しないように光量補正処理が行われる。図13は、光量補正処理を行うときに距離情報検出動作で実行される発光動作のシーケンスを示している。
【0062】
距離情報検出のための発光動作が行われる測距期間(1フィールド期間)には、データパルス信号にしたがって発光動作を行なうデータ転送区間と、測距期間における積分回数(蓄積総数)を一定にするための補正処理を行なう光量補正区間とが存在する。データパルス出力回路29から出力されたデータパルス信号のパルスの立ち下がり回数は、カウント回路39で計数されているので、データ転送区間の終了時には、データ転送区間における蓄積回数(積分回数)が計数されている。計数された蓄積回数から距離情報の検出に必要な残りの蓄積回数が求められ、光量補正区間において残りの回数分の発光と蓄積が行われる。例えば、距離情報検出動作で実行される信号電荷の積分回数が60万回のとき、データ転送区間における蓄積回数(積分回数)が30万回であれば、光量補正区間では30万回の発光および蓄積が実行される。また、データ転送区間における蓄積回数(積分回数)が40万回であれば、光量補正区間では20万回の発光および蓄積が実行される。なおデータ転送区間と光量補正区間との間には、光量補正処理へ処理を移すための切替期間が設けられている。
【0063】
次に、光量補正区間における発光パルスおよび蓄積期間のシーケンスについて説明する。図14は、光量補正区間において図11の回路から出力される各パルス信号、フォトダイオード51での蓄積期間、LDの発光パルスのシーケンスを示している。
【0064】
システムコントロール回路35では、カウント回路39で計数されたデータ転送区間の発光パルスの立ち下がり数(蓄積回数)から光量補正区間において必要な発光および蓄積の回数を算出し、算出された回数の発光および蓄積を行なうためのダミーデータを生成する。生成されたダミーデータは、データパルス出力回路29を介してデータパルス(図14(a))として出力される。ダミーデータのデータパルスは、図12を参照して説明した送信データのデータパルスと同様に、データ区切信号S21によって8ビット単位で区切られ、基本区間の幅等も同じである。またダミーデータは、ディレイ回路45やCCD駆動パルス変換回路46において、送信データのときと同様の処理を施され、発光素子制御回路44かやCCD駆動回路30へそれぞれLD駆動パルス、CCD駆動パルスとして出力される。すなわちダミーデータのデータパルスが図14(a)で表されるとき、掃出パルスと転送パルスはそれぞれ図14(d)、(f)のようになり、フォトダイオード51での電荷の蓄積動作は、図14(g)のタイミングで行われる。また発光素子14aの発光パルスは、図14(e)のようにダミーデータのデータパルスの出力からΔt遅延されている。
【0065】
データパルスの出力において各基本区間は隣接しているので、隣接する基本区間のパルスがオン状態のとき、隣接する基本区間で出力されるパルスは連続した1つのパルスとなってしまう。例えば、図12(a)のS24のように、上位3ビットに対応する基本区間はパルス幅が3×TS の1つのパルスとなる。また、前述したように、被写体の距離情報を検出するための信号電荷の蓄積は、LD発光パルスの立ち下がりを利用して行われる。したがって、データパルスが8ビットの場合、1つの光量補正区間において被写体までの距離情報を含む信号電荷を蓄積できる回数の上限は、データパルスが1ビットおきにオン状態のときでありその数は4回である。図12(a)は、距離情報検出動作における一定の積分回数に対して、蓄積回数が例えば10回足りない場合を例示している。左から1番目と2番目の光量補正区間では、上限の4回にわたって発光光源14aの発光およびフォトダイオード51での信号電荷の蓄積が行われ、3番目の光量補正区間では、残りの2回が行われている。
【0066】
次に図15を参照してコンピュータ50上で実行される光通信の受信動作について説明する。
【0067】
ステップ301で発光素子14aの発光パルス(図12(h))が受光器51で検出されると、ステップ302において発光装置14から送信されてくるデータパルス信号の検出が受光器51で開始される。ステップ302で一連のデータの受信が終了するとステップ303に処理が移る。受信されたデータが被写体の画像データや距離データであれば、ステップ303において画像処理等が施され、必要に応じてコンピュータ50に接続されたディスプレイ等に出力される。ステップ304では受信動作を終了するか否かが判定される。例えばコンピュータ50のキーボードなどのキーに割り当てられた終了ボタンが押されていると、この受信動作は終了する。また終了ボタンが押されなければステップ301に戻り再び受信待機状態となる。
【0068】
なお本実施形態において、フォトダイオード51での電荷の蓄積動作は、LD発光パルス(図12(h))が立ち下がるのと略同時に行われたが、蓄積動作はLD発光パルスの立ち下がりまたは立ち上がりと一定の位相差をもって同期してもよい。
【0069】
以上のように本実施形態によれば、1つの発光装置14を用いて光通信と距離検出が行なえ、かつ通信光と測距光が重畳されることにより、光通信と距離検出を同時に行なうことができる。
【0070】
【発明の効果】
以上のように本発明によれば、ケーブルを介することなくデータをコンピュータへ転送できかつ通信効率のよい3次元画像検出装置が得られる。
【図面の簡単な説明】
【図1】本発明の一実施形態であるカメラ型の3次元画像検出装置の斜視図である。
【図2】図1に示すカメラの回路構成を示すブロック図である。
【図3】距離情報検出動作と光通信によりデータを送信するときの様子を模式的に表した図である。
【図4】測距光による距離測定の原理を説明するための図である。
【図5】測距光、反射光、ゲートパルス、およびCCDが受光する光量分布を示す図である。
【図6】CCDに設けられるフォトダイオードと垂直転送部の配置を示す図である。
【図7】CCDを基板に垂直な平面で切断して示す断面図である。
【図8】被写体までの距離に関するデータを検出する距離情報検出動作のタイミングチャートである。
【図9】距離情報検出動作のフローチャートである。
【図10】測距通信重畳処理のフローチャートである。
【図11】測距通信重畳処理に係る回路の構成を示すブロック図である。
【図12】データ転送時のデータパルス、蓄積期間、LD発光パルス等のシーケンスを示す図である。
【図13】測距期間におけるデータ転送区間と光量補正区間との関係を模式的に表した図である。
【図14】光量補正時のデータパルス、蓄積期間、LD発光パルス等のシーケンスを示す図である。
【図15】コンピュータで実行される受信動作のフローチャートである。
【符号の説明】
14 発光装置
51 フォトダイオード
Claims (11)
- 光を照射するための光源と、
受光量に応じた電荷を蓄積可能な撮像素子と、
前記光源を制御して被写体に測距光を照射させ、前記被写体からの反射光を前記撮像素子で受光し、前記反射光により蓄積した信号電荷に基づいて前記被写体までの距離を検出する距離情報検出手段と、
前記光源を制御して通信光を照射させ、空間を伝送路とした光通信を行なう情報伝達手段とを備え、
前記通信光の発光に同期させて前記撮像素子における前記信号電荷の蓄積を行ない、前記通信光を測距光として用いることにより前記通信光と前記測距光とが重畳して前記光源から照射される
ことを特徴とする3次元画像検出装置。 - 前記距離情報検出手段において、前記測距光が所定の回数繰り返し照射され、繰り返し毎に信号電荷が前記撮像素子に蓄積されることを特徴とする請求項1に記載の3次元画像検出装置。
- 前記情報伝達手段において、前記通信光の発光が、2値データの1と0の何れかに対応することを特徴とする請求項1に記載の3次元画像検出装置。
- 前記通信光がパルス変調されたレーザ光であることを特徴とする請求項1に記載の3次元画像検出装置。
- 前記通信光により送信されるデータ列が、前記データ列をデータのビット数毎に区切るためのデータ区切信号を含むことを特徴とする請求項4に記載の3次元画像検出装置。
- 前記撮像素子が受光量に応じて電荷が蓄積する複数の光電変換素子と前記光電変換素子に隣接して設けられた信号電荷保持部とからなることを特徴とする請求項1に記載の3次元画像検出装置。
- 前記撮像素子における前記信号電荷の蓄積が、前記光電変換素子に蓄積した電荷を掃出すための電荷掃出信号の立ち下がりにより開始し、前記光電変換素子に蓄積した電荷を前記信号電荷保持部へ転送するための電荷転送信号の立ち下がりにより終了することを特徴とする請求項6に記載の3次元画像検出装置。
- 前記電荷転送信号が、前記電荷掃出信号の立ち下がりと同時に立ち上がることを特徴とする請求項7に記載の3次元画像検出装置。
- 前記電荷転送信号が、周期的なパルス信号である基準電荷転送信号と前記データ列のパルス信号の立ち下がりに同期して生成されるデータ同期パルス信号との論理積により生成され、
前記電荷掃出信号が、前記データ同期パルス信号と前記基準電荷転送信号から半周期位相が遅れた同一周期のパルス信号である基準電荷掃出信号との論理積により生成され、
前記データ同期パルス信号が前記基準掃出信号と同期し、そのパルス幅が前記基準電荷転送信号の1周期幅と相等しい
ことを特徴とする請求項8に記載の3次元画像検出装置。 - 前記信号電荷の蓄積が前記通信光の立ち下がりに合わせて行われることを特徴とする請求項1に記載の3次元画像検出装置。
- 前記測距光が前記所定の回数繰り返し照射される期間である測距期間が、前記測距光と前記通信光が重畳されて照射されるデータ転送区間と、前記データ転送区間における前記測距光の照射回数が前記所定回数に満たない場合にその回数を補充するために測距光が照射される光量補正区間とを有することを特徴とする請求項2に記載の3次元画像検出装置。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2000228151A JP4428831B2 (ja) | 1999-07-30 | 2000-07-28 | 3次元画像検出装置 |
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP21706199 | 1999-07-30 | ||
JP11-217061 | 1999-07-30 | ||
JP2000228151A JP4428831B2 (ja) | 1999-07-30 | 2000-07-28 | 3次元画像検出装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2001112026A JP2001112026A (ja) | 2001-04-20 |
JP4428831B2 true JP4428831B2 (ja) | 2010-03-10 |
Family
ID=26521790
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2000228151A Expired - Fee Related JP4428831B2 (ja) | 1999-07-30 | 2000-07-28 | 3次元画像検出装置 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP4428831B2 (ja) |
Families Citing this family (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CA2633377C (en) * | 2005-12-19 | 2016-05-10 | Institut National D'optique | Object-detecting lighting system and method |
KR100870821B1 (ko) * | 2007-06-29 | 2008-11-27 | 매그나칩 반도체 유한회사 | 후면 조사 이미지 센서 |
US9041775B2 (en) * | 2011-03-23 | 2015-05-26 | Mgestyk Technologies Inc. | Apparatus and system for interfacing with computers and other electronic devices through gestures by using depth sensing and methods of use |
EP2703836B1 (en) * | 2012-08-30 | 2015-06-24 | Softkinetic Sensors N.V. | TOF illuminating system and TOF camera and method for operating, with control means for driving electronic devices located in the scene |
-
2000
- 2000-07-28 JP JP2000228151A patent/JP4428831B2/ja not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
JP2001112026A (ja) | 2001-04-20 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4530571B2 (ja) | 3次元画像検出装置 | |
JP4010779B2 (ja) | 画像検出装置と絞り装置 | |
JP4391643B2 (ja) | 3次元画像入力装置 | |
JP3820087B2 (ja) | 3次元画像検出装置 | |
JP4105801B2 (ja) | 3次元画像入力装置 | |
JP4398562B2 (ja) | 3次元画像検出装置の焦点調節機構 | |
JP3574602B2 (ja) | 3次元画像入力装置 | |
JP4303354B2 (ja) | 3次元画像入力装置 | |
US6812964B1 (en) | Three-dimensional image capturing device | |
JP2001028762A (ja) | 電子カメラのホワイトバランス制御量算出装置 | |
JP4369573B2 (ja) | 3次元画像検出装置 | |
JP4428831B2 (ja) | 3次元画像検出装置 | |
JP4369574B2 (ja) | 3次元画像検出装置 | |
JP4369575B2 (ja) | 3次元画像検出装置 | |
JP2000341720A (ja) | 3次元画像入力装置および記録媒体 | |
JP4250281B2 (ja) | 3次元画像検出装置 | |
US6778219B1 (en) | Three-dimensional image capturing device | |
JP4391661B2 (ja) | 3次元画像検出装置 | |
JP3892632B2 (ja) | 静止物体画像検出装置と静止物体画像検出方法 | |
JP2000083260A (ja) | 3次元画像入力装置 | |
US6982761B1 (en) | Device for capturing three-dimensional images with independently controllable groups of photoelectric conversion elements | |
JP2001045520A (ja) | 3次元画像検出装置および光通信受信装置 | |
JP2000023014A (ja) | 画像入力装置 | |
JP4136195B2 (ja) | 3次元画像入力装置 | |
JP3954300B2 (ja) | 3次元画像検出装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20070607 |
|
A711 | Notification of change in applicant |
Free format text: JAPANESE INTERMEDIATE CODE: A712 Effective date: 20080425 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20091127 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20091201 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20091215 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121225 Year of fee payment: 3 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313111 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121225 Year of fee payment: 3 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20131225 Year of fee payment: 4 |
|
S533 | Written request for registration of change of name |
Free format text: JAPANESE INTERMEDIATE CODE: R313533 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
LAPS | Cancellation because of no payment of annual fees |