JP3915366B2 - 光センサおよび三次元形状計測装置 - Google Patents

光センサおよび三次元形状計測装置 Download PDF

Info

Publication number
JP3915366B2
JP3915366B2 JP2000071617A JP2000071617A JP3915366B2 JP 3915366 B2 JP3915366 B2 JP 3915366B2 JP 2000071617 A JP2000071617 A JP 2000071617A JP 2000071617 A JP2000071617 A JP 2000071617A JP 3915366 B2 JP3915366 B2 JP 3915366B2
Authority
JP
Japan
Prior art keywords
signal
unit
light
intensity
sampling
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2000071617A
Other languages
English (en)
Other versions
JP2001268445A (ja
Inventor
義紀 山口
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujifilm Business Innovation Corp
Original Assignee
Fuji Xerox Co Ltd
Fujifilm Business Innovation Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fuji Xerox Co Ltd, Fujifilm Business Innovation Corp filed Critical Fuji Xerox Co Ltd
Priority to JP2000071617A priority Critical patent/JP3915366B2/ja
Publication of JP2001268445A publication Critical patent/JP2001268445A/ja
Application granted granted Critical
Publication of JP3915366B2 publication Critical patent/JP3915366B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Landscapes

  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Optical Radar Systems And Details Thereof (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Measurement Of Optical Distance (AREA)
  • Solid State Image Pick-Up Elements (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)

Description

【0001】
【発明の属する技術分野】
本発明は、対象物体までの距離を計測する光センサおよび三次元形状計測装置に関し、特に、小型かつ安価で、対象物体までの距離を短時間かつ高精度に計測することが可能な光センサおよび三次元形状計測装置に関するものである。
【0002】
【従来の技術】
三次元形状を計測する方式として、パッシブ方式とアクティブ方式の2つが提案されている。パッシブ方式は、エネルギーを対象物体に放射することなしに形状を計測する方式であり、アクティブ方式は、何らかのエネルギーを対象物体に放射しその反射を検出することによって形状を計測する方式である。
【0003】
パッシブ方式において、対象物体までの複数点の距離を計測する方法の一つとしてステレオ法がある。このステレオ法は、2台のカメラをある間隔をおいて設置し、得られた2つの画像の視差から三角法により対象物体までの距離を計測する方式である。この方式は、画像として取り込むことができれば遠方までの距離を計測することができるという特長はあるが、模様のない滑らかな面を持った表面全体の三次元計測を行うことができないという重大な問題点が存在する。また、2台のカメラの光軸を一致させることが原理的にできないため、距離を測定できない領域(オクルージョン)が発生するという欠点があった。
【0004】
アクティブ法において、対象物体までの複数点の距離を計測する方法の一つとして光切断法がある。この光切断法は、スリット光をある角度で対象物体に照射し、それとは別の角度から撮像した画像から三角法により対象物体までの距離を計測する方式である。この方式は、比較的簡単な構成で実現できるという特長はあるが、スリット光を微少な角度単位で走査しなければならず、その度に画像を撮像するため、計測時間が長くなるという問題点がある。この問題点を解決するために光切断法を応用した方式に空間コード化法がある。この空間コード化法は、スリット光を何回も照射する替わりに、投影光のパターンをコード化することにより、少ない投影回数で距離を計測する方式であるが、水平方向のサンプル数をnとすると、log2n回(n=512ポイントとして9回)の撮像を行わなければならないため、測定時間が長くなるという問題点があった。また、投光器と撮像器の光軸を一致させることが原理的にできないため、距離を測定できない領域(オクルージョン)が発生するという欠点があった。
【0005】
アクティブ法において、1回の撮像で複数点の距離を計測できる方式の一つとして、強度変調された光を対象物体に照射し、その反射光の位相分布を計測する位相分布計測方式がある。
【0006】
従来の位相分布計測方式としては、例えば、文献1「SPIE Vol.2588,1995年,126 〜134 ページに記載された論文(An new active3D-Vision system based on rf-modulation interferometry light )」、および特許第2690673号および、SPIEVol.2748,1996年、47〜59ページ「The Emerging Versatility of a Scannless Range Imager」に示されるものがある。
【0007】
図8は、文献1に示された従来の三次元形状計測装置を示す。この三次元形状計測装置100は、光源101Aから集光レンズ102を介してポッケルズセルのような結晶を用いた平面変調器103に出射された光に強度変調を施す変調/復調信号発生器104と、強度変調された光105aを対象物体6に平面照射する投影レンズ106と、対象物体6で反射し結像レンズ107を介してポッケルズセルのような結晶を用いた平面復調器108に入射した反射光105bに強度復調を施す変調/復調信号発生器104と、強度復調を施された光信号を撮像するCCDカメラ109とを有する。このような構成において、光源101Aから発せられた光は、集光レンズ102により、平面変調器103に入射し、変調/復調信号発生器104の信号に基いて強度変調を施された後、その強度変調された光105aは、投影レンズ106によって対象物体6に平面照射される。対象物体6からの反射光105bは、結像レンズ107により平面復調器108に入射し、変調/復調信号発生器104の信号に基いて強度復調を施された後、CCDカメラ109上に結像する。CCDカメラ109で撮像された濃淡画像は、対象物体6までの距離に起因する位相情報を含んでいる。コンピュータ110でこの濃淡画像を処理することにより、1回の撮像で対象物体6の距離データを得ることができる。
【0008】
図9は、特許第2690673号公報に記載された従来の三次元形状計測装置を示す。図8との相違点は、光源として半導体レーザ101Bを用いていること、ポッケルズセルのような結晶を用いた変調器は用いずに半導体レーザ101Bで直接強度変調を行っていること、ポッケルズセルのような結晶を用いた復調器は用いずにイメージインテンシファイア111で復調を行っていることの3点である。変調/復調信号発生器104の信号に基いて強度変調を施された光は、半導体レーザ101Bから放射された後、投影レンズ106によって対象物体6に平面照射される。対象物体6からの反射光105bは、結像レンズ107によりイメージインテンシファイア111に結像される。変調/復調信号発生器104の信号を高圧ドライブ回路112により高圧信号に変換し、イメージインテンシファイア111のゲインコントローラ端子に入力することにより強度復調された反射光は、CCDカメラ109で撮像される。CCDカメラ109で撮像された濃淡画像は、対象物体6までの距離に起因する位相情報を含んでいる。コンピュータ110でこの濃淡画像を処理することにより、1回の撮像で対象物体6の距離データを得ることができる。
【0009】
【発明が解決しようとする課題】
しかし、図8に示す従来の三次元形状計測装置によると、平面変調器103、平面復調器108にポッケルズセルのような結晶を用いた変調器/復調器を用いているため、非常に高価な装置となってしまうという欠点があった。また、この結晶を用いた変調器/復調器は開口が約数ミリ程度と小さいため、光源101Aから放射された光および対象物体6で反射された光をこの開口に合わせて集光レンズ102、107を用いて集光しなければならず、装置が大型化してしまうという欠点があった。
【0010】
また、図9に示す従来の三次元形状計測装置によると、イメージインテンシファイア111を用いているため、非常に高価な装置となってしまうという欠点があった。また、このイメージインテンシファイア111を駆動するためには数百ボルトという高電圧信号を強度変調することが必要なため、駆動回路が複雑になるという欠点があった。また、このイメージインテンシファイア111はCCDカメラ109に比べて大きいため装置全体が大型化してしまうという欠点があった。
【0011】
一方、光を検出できるセンサにおいて、小型化を図るために代表的な2次元センサである2次元MOSイメージセンサや2次元CCDイメージセンサを用いることも考えられるが、これらのイメージセンサは、信号電荷を蓄積時間分だけ積分する機能しか有していないため、距離計測に必要な復調機能はなく、これらを3次元形状計測装置の光センサとして用いることはできない。
【0012】
従って、本発明の目的は、小型かつ安価で、対象物体までの距離を短時間かつ高精度に計測することが可能な光センサおよび三次元形状計測装置を提供することにある。
【0013】
【課題を解決するための手段】
本発明は、上記目的を実現するため、所定の周波数で強度変調された強度変調光を信号電流に光電変換する光電変換部と、前記強度変調光の複数の位相について前記信号電流をサンプリングするサンプリング部と、前記サンプリング部によってサンプリングされた前記信号電流に対応する信号電荷を前記位相毎に蓄積する蓄積部と、前記サンプリング部がサンプリングしていない期間に前記光電変換部および前記光電変換部の周辺に形成された寄生容量に蓄積された不要電荷を排出する排出部とを有して2次元状に配列された複数の信号発生手段と、前記複数の信号発生手段の前記蓄積部に蓄積された前記信号電荷を前記位相毎に読み出す読み出し手段とを備え、前記サンプリング部および前記排出部は、フォトゲートを用いて構成されたことを特徴とする光センサを提供する。
上記構成によれば、サンプリング部がサンプリングしていない期間に光電変換部および光電変換部の周辺に形成された寄生容量に蓄積された不要電荷を排出することにより、蓄積部には、サンプリング部によるサンプリングの期間に発生した信号電荷のみが蓄積され、正確な信号電荷が得られる。
【0014】
本発明は、上記目的を実現するため、所定の周波数で強度変調された強度変調光を物体に向けて出射する光出射手段と、前記物体からの反射光と前記強度変調光との合成光を受光して検出信号を出力する光センサと、記検出信号に基づいて前記物体までの距離を演算する演算手段とを有する三次元形状計測装置において、前記光センサは、前記強度変調光を信号電流に光電変換する光電変換部と、前記強度変調光の複数の位相について前記信号電流をサンプリングするサンプリング部と、前記サンプリング部によってサンプリングされた前記信号電流に対応する信号電荷を前記位相毎に蓄積する蓄積部と、前記サンプリング部がサンプリングしていない期間に前記光電変換部および前記光電変換部の周辺に形成された寄生容量に蓄積された不要電荷を排出する排出部とを有して2次元状に配列された複数の信号発生手段と、前記複数の信号発生手段の前記蓄積部に蓄積された前記信号電荷を前記位相毎に読み出す読み出し手段とを備え、前記サンプリング部および前記排出部は、フォトゲートを用いて構成され、前記演算手段は、前記複数の位相の前記信号電荷のうち最大値を示す前記信号電荷に基づいて前記強度変調光の最大振幅を演算することを特徴とする三次元形状計測装置を提供する。
【0015】
【発明の実施の形態】
図1は、本発明の第1の実施の形態に係る三次元形状計測装置を示す。この装置1は、変調信号を発生する変調信号発生器2と、変調信号発生器2からの変調信号に基づいてレーザ光からなる照明光4aを出射する半導体レーザ3と、半導体レーザ3からの照明光4aを対象物体6に向けて照射する投影レンズ5と、対象物体6で反射した物体光4bを光学フィルタ8を介して光センサ9上に結像させる結像レンズ7と、半導体レーザ3からの照明光4aの一部を透過させ、残りを参照光4cとして反射させ、光学フィルタ8を介して光センサ9上に導くハーフミラー10と、対象物体6と光学フィルタ8との間に配置された第1の液晶シャッタ11Aと、ハーフミラー10と光学フィルタ8との間に配置された第2の液晶シャッタ11Bと、光センサ9にパルス信号を出力するパルス発生部12と、光センサ9の出力信号の大小を比較する比較回路13と、比較回路13の比較結果に基づいて対象物体6の表面形状に関する距離データを2次元的に算出する距離演算部14と、CPU、ROM、RAM等を備え、この装置1の各部を制御するとともに、距離演算部14の演算結果を表示するコンピュータ15とを有する。
【0016】
半導体レーザ3は、変調信号発生器2からの変調信号に基づいて強度変調されたレーザ光からなる照明光4aを出射するとともに、変調信号発生器2からの定常信号に基づいて強度変調されていない定常光からなる照明光4aを出射するものである。この定常光は、強度変調された照明光4aの平均強度に一致した光強度を有する。
【0017】
第1および第2の液晶シャッタ11A、11Bは、例えば、画素毎に印加電圧を制御することにより透過率を0〜100%の範囲で制御できるようになっている。なお、シャッタ11A、11Bは、画素毎でなくても構わず、全画素同じ透過率でもよい。また、シャッタとしてメカニカルシャッタを用いて一括遮断してもよい。
【0018】
パルス発生部12は、電荷蓄積用フォトゲートを駆動する蓄積パルス信号Sc、および電荷排出用フォトゲートを駆動する排出パルス信号Sdを発生するとともに、電荷蓄積部に印可するパルスである電荷蓄積部印可パルスΦCH、電荷蓄積部に蓄積された信号電荷を外部に読み出す読み出すために機能するトランスファーゲートおよびアナログレジスタ(CCD)に印可するパルスであるトランスファーゲートパルスΦTG、垂直CCD印可パルスΦV1、ΦV2、ΦV3および水平CCD印可パルスΦH1、ΦH2、ΦH3を発生するものである。
【0019】
図2は、変調信号発生器2を示す。変調信号発生器2は、変調信号を出力する変調電流源20と、定常信号を出力する直流電流源21と、変調電流源20の出力信号と、直流電流源21の出力信号とを合成して半導体レーザ3に出力する電流信号ミキサ22とを備える。
【0020】
図3は、光センサ9を示す。この光センサ9は、2次元CCD(Charge Coupled Device )センサを基本構成としており、入射光をその光強度に応じた信号電流に光電変換する2次元状に配列された複数のフォトダイオード90と、各フォトダイオード90毎に設けられフォトダイオード90によって光電変換された信号電流をパルス発生部12からの所定の周期の蓄積パルス信号Scに従ってサンプリングする電荷蓄積用フォトゲート91と、サンプリングされた信号電流に対応する信号電荷を蓄積し、さらにパルス発生部12からの転送パルス信号ΦCHにより電荷転送機能も有する電荷蓄積部92と、パルス発生部12から発生され、蓄積パルス信号Scと逆相の排出パルス信号Sdに従ってフォトダイオード90およびフォトダイオード90の周辺に形成された寄生容量に蓄積された不要電荷を排出する電荷排出用フォトゲート93と、電荷排出用フォトゲート93から排出された不要電荷をグランドに排出するドレイン94と、電荷蓄積部92に蓄積された信号電荷をパルス発生部12からの転送パルス信号ΦTGにより垂直CCD96に転送するためのトランスファーゲート95と、トランスファーゲート95を介して転送された信号電荷を受け、さらにパルス発生部12からの3段の転送パルス信号ΦV1、ΦV2、ΦV3により水平CCD97に転送する垂直CCD96と、各垂直CCD96毎に設けられ、パルス発生部12からの3段の転送パルス信号ΦH1、ΦH2、ΦH3により外部にビデオ出力として出力するための水平CCD97とを備える。
【0021】
次に、図3〜図7を参照して第1の実施の形態に係る三次元形状計測装置1の動作を説明する。
【0022】
図10は既存のCCDイメージセンサの電荷発生から電荷転送を模式的に示し、同図に基づいてCCDにみられるMOS構造におけるゲートに電圧を印可することにより電荷が転送されるメカニズムを説明する。フォトゲート910が電荷蓄積を行うポテンシャルの高さを決めるゲートとなる。フォトダイオード900で光電変換されたフォトキャリア980はフォトゲート910下のポテンシャル井戸に蓄積される。トランスファーゲート950下のポテンシャルの高さがHighからLowになると、フォトゲート下の蓄積電荷がCCDレジスタ960に転送される。
【0023】
図4は、本発明のCCDイメージセンサを基本構成とした光センサの電荷発生から電荷転送を模式的に示したものである。CCDの電荷転送メカニズムを利用し、フォトダイオード90から発生した電荷を高周波サンプリングする。フォトダイオード90の隣に電荷蓄積用フォトゲート91を設け、この電荷蓄積用フォトゲート91とトランスファーゲート95の間に電荷蓄積部92を設ける。電荷蓄積用フォトゲート91とは別の場所にフォトダイオード90に隣接した電荷排出用フォトゲート93を設け、さらに電荷排出用フォトゲート93の先にドレイン94を設ける。電荷蓄積部92に接続されたトランスファーゲート95の先にCCDアナログレジスタ960を設ける。
【0024】
・電荷蓄積モード(図4(a ))
電荷排出用フォトゲート93(Sd)、電荷蓄積用フォトゲート91(Sc)、電荷蓄積部92(ΦCH)、トランスファーゲート95(ΦTG)のそれぞれのポテンシャルの高さをHigh、Middle、Low、Highに設定する。これらは先のパルス発生部12からのパルス信号Sd、Sc、ΦCH、ΦTGにより制御される。ここで印可パルス電圧とポテンシャルの高さは逆の関係になる。すなわち印可電圧がHighのときはポテンシャルの高さはLowとなる。フォトダイオード90で光電変換されたフォトキャリア98は電荷蓄積部92下のポテンシャル井戸に蓄積される。フォトキャリア98は信号電荷に相当する。
【0025】
・電荷排出モード(図4(b ))
電荷排出用フォトゲート93(Sd)、電荷蓄積用フォトゲート91(Sc)、電荷蓄積部92(ΦCH)、トランスファーゲート95(ΦTG)のそれぞれのポテンシャルの高さをLow、High、Low 、Highに設定する。これらは先のパルス発生部12からのパルス信号Sd、Sc、ΦCH、ΦTGにより制御される。フォトダイオード90で光電変換されたフォトキャリア98は電荷排出用フォトゲート93を経由して、ドレイン94に排出される。この際、電荷蓄積部92に蓄積されたフォトキャリア(信号電荷)は、ポテンシャルの壁に阻まれているためどこにも流出することなく一定値を保つことができる。
【0026】
・CCDレジスタ転送から外部出力モード( 図示せず)
電荷排出用フォトゲート93(Sd)、電荷蓄積用フォトゲート91(Sc)、電荷蓄積部92(ΦCH)、トランスファーゲート95(ΦTG)のそれぞれのポテンシャルの高さをLow、High、Middle、Low に設定する。これらは先のパルス発生部12からのパルス信号Sd、Sc、ΦCH、ΦTGにより制御される。電荷蓄積部92に蓄積された信号電荷はトランスファーゲート95を経由してCCDレジスタ960に転送される。CCDレジスタから外部への出力は既存のCCDイメージセンサに見られるように例えば3段の転送パルスΦ1、Φ1 、Φ1 により、ポテンシャルの高さを3つのレベルに制御したいわゆるバケツリレーにより行われる。
【0027】
図5は、強度変調光の波形プロファイルを示し、図6は、図5(b)に示す物体光4b、および図5(c)に示す参照光4cのサンプリングのタイミングを示し、図7は、物体光4bと参照光4cとの図5(d)に示す合成光のサンプリングのタイミングを示す。
【0028】
(1)定常光からなる物体光4bの検出
定常光からなる物体光4bを検出する。すなわち、コンピュータ15は、変調信号発生器2の電流信号ミキサ22を制御して直流電流源21からの直流信号のみを半導体レーザ3に出力させる。半導体レーザ3は、定常光からなる照明光4aを出射する。また、コンピュータ15は、第1および第2の液晶シャッタ11A、11Bへの制御信号により、第1の液晶シャッタ11Aを開状態にし、第2の液晶シャッタ11Bを閉状態にする。半導体レーザ3からの照明光4aは、その一部がハーフミラー10を透過し、投影レンズ5によって対象物体6に投影され、その対象物体6で反射した物体光4bは、結像レンズ7によって光学フィルタ8を介して光センサ9上に結像する。
【0029】
パルス発生部12により、先の電荷蓄積モードと電荷排出モードで示したタイミングでパルスを発生させ、これを繰り返す(図6)。対象物体6からの物体光4bは、フォトダイオード90によって信号電流に光電変換され、その信号電流は、電荷蓄積用フォトゲート91を介して電荷蓄積部92に信号電荷として所定の回数分蓄積される。
【0030】
電荷蓄積部92に蓄積された信号電荷は、先のCCDレジスタ転送から外部出力モードにて示した通りである。電荷蓄積部92に蓄積された信号電荷はトランスファーゲート95を経由して、まず図3に示す垂直CCD96に転送される。垂直CCD96から水平CCD97への転送は既存のCCDに見られるように3段の転送パルスΦV1、ΦV2、ΦV3により、ポテンシャルの高さを3つのレベルに制御したいわゆるバケツリレーにより行われる。水平CCD97から外部出力への転送の仕方も垂直CCD96の場合と同様である。出力信号は、図1の比較回路13を経由し距離演算部14にて1画素に相当するフォトダイオード90毎にメモリされる。これら画素毎にメモリされた出力信号の値は、図5(b)に示す物体光4bの振幅(Cn・aE)に対応し、その値をA11,A12,…とする。
【0031】
(2)定常光からなる参照光4cの検出
定常光からなる参照光4cを検出する。すなわち、コンピュータ15は、変調信号発生器2の電流信号ミキサ22を制御して直流電流源21からの直流信号のみを半導体レーザ3に出力させる。半導体レーザ3は、定常光からなる照明光4aを出射する。また、コンピュータ15は、第1および第2の液晶シャッタ11A,11Bへの制御信号により、第1の液晶シャッタ11Aを閉状態にし、第2の液晶シャッタ11Bを開状態にする。半導体レーザ3からの照明光4aは、その一部がハーフミラー10で反射し、光学フィルタ8を介して光センサ9上に照射される。参照光4cは、フォトダイオード90によって信号電流に光電変換され、その信号電流は、定常光からなる物体光4bを検出したのと同様にサンプリングされる。サンプリング回数(蓄積回数)は、物体光4bの検出時と同じである。距離演算部14において画素毎にメモリされた出力信号の値は、図5(c)に示す参照光4cの振幅(bE)に対応し、その値をB11,B12,…とする。なお、物体光4bおよび参照光4cの検出の際のいずれも、サンプリングのスタート時刻は特に指定は無い。またサンプリングの回数は、次の合成光の検出時のサンプリング回数と同じにする。
【0032】
(3)強度変調光からなる照明光4aおよび参照光4cの合成光の検出
強度変調光からなる照明光4aおよび参照光4cの合成光を検出する。すなわち、コンピュータ15は、変調信号発生器2の電流信号ミキサ22を制御して変調電流源20からの変調電流と直流電流源21からの直流電流を合成して半導体レーザ3に出力させる。半導体レーザ3は、図5(a)に示すような強度変調光からなる照明光4aを出射する。また、コンピュータ15は、第1および第2の液晶シャッタ11A,11Bへの制御信号により、第1および第2の液晶シャッタ11Aを開状態にする。半導体レーザ3からの照明光4aは、一部はハーフミラー10を透過し、残りはハーフミラー10で反射する。ハーフミラー10を透過した照明光4aは、対象物体6に投影され、その対象物体6で反射した図5(b)に示すような物体光4bは、結像レンズ7によって光学フィルタ8を介して光センサ9上に結像する。一方、ハーフミラー10で反射した図5(c)に示すような参照光4cは、光学フィルタ8を介して光センサ9上に投影される。従って、光センサ9上には、物体光4bと参照光4cからなる図5(d)に示すような合成光が入射する。
【0033】
図7は、物体光4bおよび参照光4cからなる合成光のサンプリングのタイミングを示す。パルス発生部12は、各フォトダイオード90の電荷蓄積用フォトゲート91および電荷排出用フォトゲート93に図7に示すタイミングで蓄積パルス信号Sc1(α1),Sd1(β1 ),…,Sc2(α2 ),Sd2(β2 ),…,Sck(αk),Sdk(βk ),…,Scn(αn ),Sdn(βn ),…を順次出力する。ここでは、サンプリングの位相αは、合成光の1周期の中に強度変調光の最大振幅に対応する位相が含まれるように略等間隔で複数設定している。その設定された位相をα1,α2 ,…,αk ,…,αn とし、その逆相である排出パルス信号Sd1〜Sdnの位相をβ1,β2 ,…,βk ,…,βn とする。
【0034】
まず、所定の回数の蓄積パルス信号Sc1(α1 )に基づいて電荷蓄積を行う。各フォトダイオード90に入射した合成光は、そのフォトダイオード90によって信号電流に光電変換され、その信号電流は、所定の回数の蓄積パルス信号Sc1(α1)に基づいて電荷蓄積部92に信号電荷として所定の回数分蓄積される。また、パルス発生部12は、各フォトダイオード90の電荷排出用フォトゲート93に排出パルス信号Sd1(β1)を出力してフォトダイオード90とその周辺の寄生容量に蓄積された不要電荷をドレイン94に排出する。電荷蓄積用フォトゲート91と電荷排出用フォトゲート93とは逆相で駆動されているので、電荷蓄積部92には、位相α1に対応する電荷のみが所定回数分蓄積される。
【0035】
電荷蓄積部92に蓄積された信号電荷は、既存のCCDイメージセンサと同様の方法で読み出される。読み出された出力信号は、図1の比較回路13にて1画素に相当するフォトダイオード90毎にメモリされる。これら画素毎にメモリされた出力信号の値をP1-11,P1-12,…とする。
【0036】
同様にして所定の回数の蓄積パルス信号Sc2(α2 )に基づいて電荷蓄積部92に信号電荷として所定の回数分蓄積する。電荷蓄積部92には、位相α2に対応する電荷のみが所定回数分蓄積される。電荷蓄積部92に蓄積された信号電荷は、前述したのと同様に出力信号として読み出される。読み出された出力信号は、図1の比較回路13にて画素毎にメモリされる。これら画素毎にメモリされた出力信号の値をP2-11,P2-12,…とする。
【0037】
比較回路13は、P1-11とP2-11、P1-12とP2-12というように、画素毎にその大小を比較し、大きいほうをPp-11,Pp-12,…とする。蓄積パルス信号Sck,…,Scnにより、この作業を同様の手順で繰り返し、最終的に得られたPp-11,Pp-12,…を距離演算部14にメモリする。
【0038】
(4)距離演算部14による演算
以下、この距離演算部14による演算について詳細に説明する。半導体レーザ3からの照明光4aの強度変調の角周波数をω、変調の最大値および最小値を2Eおよび0とすると、半導体レーザ3から出射される図6(a)に示すような照明光4aの光強度Ioは、次の式(1)のように表される。
o =E(sinωt+1) ・・・(1)
【0039】
対象物体6までの距離が0〜2.5mとすると、必要とされる変調周波数は30MHzとなる。ハーフミラー10の光透過率をa、対象物体6上のある点での反射係数をCnとすると、その点が光センサ9上に結像された地点nに入射する図6(b)に示すような物体光4bの強度は、次の式(2)のように表される。
n =Cn・aE{sin(ωt+φn )+1} ・・・(2)
ここで、φn は光センサ9上に入射する光の光源からの飛行距離に起因する位相遅れである。(半導体レーザ3〜対象物体6)+(対象物体6〜光センサ9)間の距離をLとすると、
φn =ωL/C
但し、Cは光速を表す。
【0040】
一方、ハーフミラー10の反射率をbとし、半導体レーザ3からハーフミラー10を経由して光センサ9までの光路長が変調波の波長と比較して十分に小さいとすると、光センサ9の地点n上での参照光4cは、次の式(3)のように表される。
n =bE(sinωt+1) ・・・(3)
【0041】
光センサ9上の地点n上での合成光の強度Pn は、物体光4bの光強度を求める式(2)と参照光4cの光強度を求める式(3)の加算により次の式(4)のように表される。
Figure 0003915366
ただし、
tanθ=Cn ・aEsinφn /(Cn ・aEcosφn +bE)
式(4)は、DC成分(Cna+b)E、および高周波成分
√{(Cn ・aE)2 +(bE)2 +2Cn ・abE2 cosφn
・sin(ωt+θ)
の和となる。Pn のピーク値をPp とするとPp は、
p =Cn ・aE+bE
+√{(Cn ・aE)2 +(bE)2 +2Cn ・abE2cosφn }・・・(5)
と表される。
【0042】
よって合成光のピーク値Pp と物体光4bの振幅Cn ・aE、参照光の振幅bEを検出することができれば、距離情報を持つ位相遅れφnを算出することができる。Cn ・aEおよびbEは参照光を強度変調せずに放射したときの値であるので、これらを求める際には強度変調を行わない。Ppを求める際には、物体光4bおよび参照光4cを強度変調させて合成光を形成し、合成波を所定の複数のタイミングによりサンプリングし、サンプリング結果が最大となるタイミングにおける値を検出する。
物体光4bの振幅に相当する信号(A11,A12,…)の中の1つの信号をAとし、参照光4cの振幅に相当する信号(B11,B12,…)および合成光のピーク信号(Pp-11,Pp-12,…)の中で信号Aに対応する画素(フォトダイオード)に相当する信号をBおよびPpとすると、式(5)は、
p =A+B+√(A2 +B2 +2ABcosφn ) ・・・(6)
と表されるため、Pp ,A,Bに距離演算部14にメモリされていた所定の値を代入し、距離演算部14においてφn を算出し、
φn =ωl/C (ただし、Cは光速)
に従って距離画像を取得する。これを全画素について行うことにより、全画素における距離画像が取得できる。
【0043】
上述した第1の実施の形態によれば、以下の効果が得られる。
(イ)サンプリング期間以外に発生した不要電荷を排出してサンプリング期間に発生した信号電荷にみを電荷蓄積部に蓄積するようにしたので、正確な信号電荷が得られ、また、強度変調光の同相について複数回蓄積した信号電荷を得ているので、S/N比が高くなり、物体6までの距離を高精度に計測することが可能となる。
(ロ)光を復調する手段として従来用いられてきた結晶による光強度復調器やイメージインテンシティファイア等の高価な手段を必要とせずに、光センサを小型かつ安価で高速動作が可能なCCDイメージセンサによって構成しているので、小型かつ安価で、物体6までの距離を短時間に計測することが可能となる。
(ハ)本センサ9は、フォトダイオード90に隣接した1つの電荷蓄積用フォトゲート91と電荷蓄積部92との間、および1つの電荷排出用フォトゲート93とドレイン94との間で電荷転送が行われるので、蓄積回路の時定数を非常に小さく抑えられることから、電荷蓄積用フォトゲート91および電荷排出用フォトゲート93を駆動するパルス信号は、1kHz〜100MHzと高周波側まで対応可能である。よって高速に計測することが可能となり、また蓄積回路のサンプリング周波数と信号読み出しの周波数を独立に制御することができるため、電荷蓄積部92に高速で蓄積した信号電荷を通常のビデオレート等のように低速で読み出すことができる。
(ニ)本センサ9は、通常の画像センサとしても用いることができる。先に示したタイミングにて動作させても構わないが、電荷蓄積用フォトゲート91、電荷蓄積部92、トランスファーゲート95、電荷排出用フォトゲート93のポテンシャルの高さをmiddle,Low, High, High にしておけば既存のCCDイメージセンサと同様な読み出しタイミングにより、輝度画像を取得できる。従って、1つの2次元CCDセンサで距離画像と輝度画像の両方を得ることができ、しかも二つの画像は画素が1対1に対応しているため、後の画像処理を容易に実行することができる。
【0044】
次に、本発明の第2の実施の形態を説明する。この第2の実施の形態は、第1の実施の形態とは、距離演算部14のみが異なり、他は第1の実施の形態と同様に構成されている。
式(5)を変形すると、次の式(7)のようになる。
p −(Cn ・aE+bE)
=√{(Cn ・aE)2 +(bE)2 +2Cn ・abE2cosφn }・・・(7)
左辺のPp −(Cn ・aE+bE)は、図5(d)からも分かるように、合成光の振幅成分である。よって、合成光のピーク値Ppの代わりに振幅成分を検出しても参照光4cと物体光4bの位相差φn が求まり、距離を算出できる。距離演算部14は、この式(7)に基づいて合成光の振幅成分を検出する。
【0045】
次に、この第2の実施の形態の距離演算部14の動作を説明する。まず、合成光の光強度の最大値(サンプリング結果の最大値)を第1の実施の形態における合成光のピーク値を求める手順と同じ手順で求める。それぞれの画素(フォトダイオード90)において、求められた最大値が距離演算部14内のメモリにストアされる。次に光強度の最小値(サンプリング結果の最小値)を最大値を求めたアルゴリズムと逆のアルゴリズムにより求める。すなわち、合成光を所定の複数のタイミングによりサンプリングし、サンプリング結果が最小となるタイミングにおける値を比較回路13にて抽出し、距離演算部14内の別のメモリにストアする。合成光の振幅成分は、これらの光強度の最大値から最小値を引いた値の1/2であるので、これに基づいて、距離演算部14にて各画素における振幅成分を算出する。以上により求めた合成光の振幅成分と、第1の実施の形態で求めた参照光4cおよび物体光4bの振幅に相当する成分を式(7)に代入し、位相差φnを距離演算部14にて算出する。この第2の実施の形態によっても、第1の実施の形態と同様の効果が得られる。
なお、参照光4cおよび物体光4bの振幅成分であるbEおよびCn ・aEを、それぞれのDC成分から求めるのではなく、照明光4aを強度変調させて、その際の参照光4cおよび物体光4bの振幅を上記に示した合成光の振幅成分を求めた手順[(最大値−最小値)/2]から求めてもよい。
【0046】
なお、本発明は、上記実施の形態に限定されず、種々に変形実施が可能である。例えば、上記実施の形態では、光源として半導体レーザを用いたが、原理的にコヒーレントな光を必要としないため一般的な光源、例えば、キセノンランプ、ストロボ等を用いることも可能である。
【0047】
【発明の効果】
以上述べたように、本発明によれば、サンプリングの期間以外に発生した不要電荷を排出してサンプリングの期間に発生した信号電荷のみを蓄積部に蓄積するようにしたので、正確な信号電荷が得られ、対象物体までの距離を高精度に計測することが可能となる。
また、信号発生手段を小型かつ安価で高速動作が可能なCCDイメージセンサによって構成することが可能であるので、小型かつ安価で、対象物体までの距離を短時間に計測することが可能となる。
【図面の簡単な説明】
【図1】本発明の第1の実施の形態に係る三次元形状計測装置の構成図である。
【図2】第1の実施の形態に係る変調信号発生器の構成図である。
【図3】第1の実施の形態に係る光センサの構成図である。
【図4】第1の実施の形態に係る光センサの電荷発生から電荷転送を模式的に示した図である。
【図5】第1の実施の形態における強度変調光の波形プロファイルである。
【図6】 第1の実施の形態における光センサのサンプリングのタイミングを示す図である。
【図7】第1の実施の形態における光センサのサンプリングのタイミングを示す図である。
【図8】従来の三次元形状計測装置の構成図である。
【図9】従来の三次元形状計測装置の構成図である。
【図10】CCDの電荷発生から電荷転送を模式的に示した図である。
【符号の説明】
1 三次元形状計測装置
2 変調信号発生器
4a 照明光
3 半導体レーザ
6 対象物体
5 投影レンズ
4b 物体光
8 光学フィルタ
9 光センサ
7 結像レンズ
4c 参照光
10 ハーフミラー
11A 第1の液晶シャッタ
11B 第2の液晶シャッタ
12 パルス発生回路
13 比較回路
14 距離演算部
15 コンピュータ
20 変調電流源
21 直流電流源
22 電流信号ミキサ
90 フォトダイオード
900 フォトダイオード
91 電荷蓄積用フォトゲート
910 フォトゲート
92 電荷蓄積部
93 電荷排出用フォトゲート
94 ドレイン
95 トランスファーゲート
950 トランスファーゲート
96 垂直CCD
960 CCDレジスタ
97 水平CCD
98 フォトキャリア

Claims (6)

  1. 所定の周波数で強度変調された強度変調光を信号電流に光電変換する光電変換部と、
    前記強度変調光の複数の位相について前記信号電流をサンプリングするサンプリング部と、
    前記サンプリング部によってサンプリングされた前記信号電流に対応する信号電荷を前記位相毎に蓄積する蓄積部と、
    前記サンプリング部がサンプリングしていない期間に前記光電変換部および前記光電変換部の周辺に形成された寄生容量に蓄積された不要電荷を排出する排出部とを有して2次元状に配列された複数の信号発生手段と、
    前記複数の信号発生手段の前記蓄積部に蓄積された前記信号電荷を前記位相毎に読み出す読み出し手段とを備え、
    前記サンプリング部および前記排出部は、フォトゲートを用いて構成されたことを特徴とする光センサ。
  2. 記サンプリング部は、前記強度変調光の前記複数の位相について前記信号電流をそれぞれ複数回サンプリングし、
    前記蓄積部は、前記複数回分の前記信号電荷を前記位相毎に蓄積し、
    前記読み出し手段は、前記複数回分の信号電荷を前記位相毎に読み出す構成であることを特徴とする請求項1に記載の光センサ。
  3. 前記サンプリング部は、前記強度変調光の最大振幅に対応する位相が前記複数の位相に含まれるように構成されたことを特徴とする請求項1又は2に記載の光センサ。
  4. 前記サンプリング部は、前記光電変換部の出力側に接続され、所定の周期の蓄積パルスで駆動される電荷蓄積用フォトゲートを備え、
    前記蓄積部は、前記電荷蓄積用フォトゲートに隣接され、前記光電変換部から前記電荷蓄積用フォトゲートを介して流入する前記信号電流に対応する前記信号電荷を蓄積し、
    前記排出部は、ドレインに接続され、前記蓄積パルスと逆相の排出パルスで駆動される電荷排出用フォトゲートを備えた構成であることを特徴とする請求項1に記載の光センサ。
  5. 所定の周波数で強度変調された強度変調光を物体に向けて出射する光出射手段と、前記物体からの反射光と前記強度変調光との合成光を受光して検出信号を出力する光センサと、
    前記検出信号に基づいて前記物体までの距離を演算する演算手段とを有する三次元形状計測装置において、
    前記光センサは、
    前記強度変調光を信号電流に光電変換する光電変換部と、
    前記強度変調光の複数の位相について前記信号電流をサンプリングするサンプリング部と、
    前記サンプリング部によってサンプリングされた前記信号電流に対応する信号電荷を前記位相毎に蓄積する蓄積部と、
    前記サンプリング部がサンプリングしていない期間に前記光電変換部および前記光電変換部の周辺に形成された寄生容量に蓄積された不要電荷を排出する排出部とを有して2次元状に配列された複数の信号発生手段と、
    前記複数の信号発生手段の前記蓄積部に蓄積された前記信号電荷を前記位相毎に読み出す読み出し手段とを備え、
    前記サンプリング部および前記排出部は、フォトゲートを用いて構成され
    前記演算手段は、前記複数の位相の前記信号電荷のうち最大値を示す前記信号電荷に基 づいて前記強度変調光の最大振幅を演算することを特徴とする三次元形状計測装置。
  6. 前記サンプリング部は、前記強度変調光の前記複数の位相について前記信号電流をそれぞれ複数回サンプリングし、
    前記蓄積部は、前記複数回分の前記信号電荷を前記位相毎に蓄積し、
    前記読み出し手段は、前記複数回分の信号電荷を前記位相毎に読み出ことを特徴とする請求項に記載の三次元形状計測装置。
JP2000071617A 2000-03-15 2000-03-15 光センサおよび三次元形状計測装置 Expired - Fee Related JP3915366B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2000071617A JP3915366B2 (ja) 2000-03-15 2000-03-15 光センサおよび三次元形状計測装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2000071617A JP3915366B2 (ja) 2000-03-15 2000-03-15 光センサおよび三次元形状計測装置

Publications (2)

Publication Number Publication Date
JP2001268445A JP2001268445A (ja) 2001-09-28
JP3915366B2 true JP3915366B2 (ja) 2007-05-16

Family

ID=18590171

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2000071617A Expired - Fee Related JP3915366B2 (ja) 2000-03-15 2000-03-15 光センサおよび三次元形状計測装置

Country Status (1)

Country Link
JP (1) JP3915366B2 (ja)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI221730B (en) 2002-07-15 2004-10-01 Matsushita Electric Works Ltd Light receiving device with controllable sensitivity and spatial information detecting apparatus using the same
JP4280822B2 (ja) * 2004-02-18 2009-06-17 国立大学法人静岡大学 光飛行時間型距離センサ
JP2006153772A (ja) * 2004-11-30 2006-06-15 Matsushita Electric Works Ltd 測量装置
US8289427B2 (en) 2006-11-30 2012-10-16 National University Corporation Shizuoka University Semiconductor range-finding element and solid-state imaging device
JP2012154719A (ja) * 2011-01-25 2012-08-16 Omron Corp 物体検出ユニット
JP5621650B2 (ja) * 2011-02-21 2014-11-12 オムロン株式会社 物体検出ユニット
CN103594480A (zh) * 2013-12-02 2014-02-19 中国电子科技集团公司第四十四研究所 具备信号电荷选择功能的ccd像元结构
JP6515999B2 (ja) 2015-03-30 2019-05-22 株式会社ニコン 撮像素子および撮像装置

Also Published As

Publication number Publication date
JP2001268445A (ja) 2001-09-28

Similar Documents

Publication Publication Date Title
JP3100639B2 (ja) 改良型3次元撮像装置
EP3365700B1 (en) System and method for determining a distance to an object
US7834985B2 (en) Surface profile measurement
US7016519B1 (en) Method and device for detecting three-dimensional information
US6587186B2 (en) CMOS-compatible three-dimensional image sensing using reduced peak energy
US9435891B2 (en) Time of flight camera with stripe illumination
JP4405154B2 (ja) イメージングシステムおよび物体の画像を取得する方法
CN111758047B (zh) 单芯片rgb-d相机
JP3906818B2 (ja) 受光素子の感度制御方法、強度変調光を用いた空間情報の検出装置
JP5665159B2 (ja) 距離画像センサ
US6741082B2 (en) Distance information obtaining apparatus and distance information obtaining method
JP2018531374A6 (ja) 物体までの距離を測定するためのシステムおよび方法
JP3695188B2 (ja) 形状計測装置および形状計測方法
US20110063437A1 (en) Distance estimating device, distance estimating method, program, integrated circuit, and camera
CN110325879A (zh) 用于压缩三维深度感测的***和方法
JP2002039716A (ja) 距離画像入力装置
JP4802891B2 (ja) 距離測定システム及び距離測定方法
KR101145132B1 (ko) 3차원 영상화 펄스 레이저 레이더 시스템 및 이 시스템에서의 자동 촛점 방법
JP3915366B2 (ja) 光センサおよび三次元形状計測装置
JP2001264014A (ja) 光センサおよび三次元形状計測装置
JP3711808B2 (ja) 形状計測装置および形状計測方法
JP2006153773A (ja) 距離画像センサ
JP3643210B2 (ja) 時間相関検出型イメージセンサおよび画像解析方法
JP4930742B2 (ja) 位置検出装置
JP3668466B2 (ja) 実時間レンジファインダ

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20040419

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20061024

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20061220

RD03 Notification of appointment of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7423

Effective date: 20061220

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20070116

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20070129

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110216

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120216

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130216

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130216

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140216

Year of fee payment: 7

LAPS Cancellation because of no payment of annual fees