JP3860412B2 - ３次元距離画像を撮影するための方法及び装置 - Google Patents

３次元距離画像を撮影するための方法及び装置 Download PDF

Info

Publication number
JP3860412B2
JP3860412B2 JP2000526831A JP2000526831A JP3860412B2 JP 3860412 B2 JP3860412 B2 JP 3860412B2 JP 2000526831 A JP2000526831 A JP 2000526831A JP 2000526831 A JP2000526831 A JP 2000526831A JP 3860412 B2 JP3860412 B2 JP 3860412B2
Authority
JP
Japan
Prior art keywords
sensor
light
pixel
time
integration
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Lifetime
Application number
JP2000526831A
Other languages
English (en)
Other versions
JP2002500367A (ja
Inventor
メンゲル ペーター
デーメンス ギュンター
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Siemens AG
Original Assignee
Siemens AG
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from DE19757595A external-priority patent/DE19757595C2/de
Priority claimed from DE19833207A external-priority patent/DE19833207A1/de
Application filed by Siemens AG filed Critical Siemens AG
Publication of JP2002500367A publication Critical patent/JP2002500367A/ja
Application granted granted Critical
Publication of JP3860412B2 publication Critical patent/JP3860412B2/ja
Anticipated expiration legal-status Critical
Expired - Lifetime legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60N—SEATS SPECIALLY ADAPTED FOR VEHICLES; VEHICLE PASSENGER ACCOMMODATION NOT OTHERWISE PROVIDED FOR
    • B60N2/00—Seats specially adapted for vehicles; Arrangement or mounting of seats in vehicles
    • B60N2/002—Seats provided with an occupancy detection means mounted therein or thereon
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R21/00—Arrangements or fittings on vehicles for protecting or preventing injuries to occupants or pedestrians in case of accidents or other traffic risks
    • B60R21/01—Electrical circuits for triggering passive safety arrangements, e.g. airbags, safety belt tighteners, in case of vehicle accidents or impending vehicle accidents
    • B60R21/015—Electrical circuits for triggering passive safety arrangements, e.g. airbags, safety belt tighteners, in case of vehicle accidents or impending vehicle accidents including means for detecting the presence or position of passengers, passenger seats or child seats, and the related safety parameters therefor, e.g. speed or timing of airbag inflation in relation to occupant position or seat belt use
    • B60R21/01512—Passenger detection systems
    • B60R21/0153—Passenger detection systems using field detection presence sensors
    • B60R21/01538—Passenger detection systems using field detection presence sensors for image processing, e.g. cameras or sensor arrays
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/04—Systems determining the presence of a target
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • G01S17/894—3D imaging with simultaneous measurement of time-of-flight at a 2D array of receiver pixels, e.g. time-of-flight cameras or flash lidar
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/4802—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00 using analysis of echo signal for target characterisation; Target signature; Target cross-section
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/483—Details of pulse systems
    • G01S7/486—Receivers
    • G01S7/487—Extracting wanted echo signals, e.g. pulse detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Remote Sensing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • General Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Electromagnetism (AREA)
  • Mechanical Engineering (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Transportation (AREA)
  • Optical Radar Systems And Details Thereof (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Description

【０００１】
本発明は空間的オブジェクトの３次元距離画像の撮影のための方法及び装置に関する。
【０００２】
３次元で撮影し処理するセンサシステムは、産業技術の実に様々な課題設定においてますます重要性を持ちつつある。例えばレーザレーダのような周知の光学的レーダシステムは、レーザパルス伝播時間測定の原理又はオブジェクト距離の導出のために変調されたレーザ光の位相差の測定に基づく。３次元画像供給システムの構成のためには、付加的な機械的スキャン装置が必要である。これは比較的高価な電子的及び機械的コストをもたらす。このコストはこのような３次元システムの使用を数少ない特別な適用に限定する。
【０００３】
ＣＣＤカメラ（電荷結合素子）を使用する方法が公知であり、この半導体カメラに対してはテレビジョン（ＴＶ）規準が使用される。従って、単に比較的長い読み出し時間しか実現されない。
【０００４】
本発明の課題は、３次元距離画像を撮影するための方法ならびに装置を提供して、コスト高な機械的装置なしで空間的オブジェクトに対する３次元距離画像を得るための迅速かつコスト的に有利な方法を提供することである。
【０００５】
上記課題は請求項１、２乃至は請求項２６の特徴部分記載の構成によって解決される。
【０００６】
本発明は次のような認識に基づいている。すなわち、画素分解能（ピクセル分解能）を有しかつランダムに読み出し可能であり、さらに積分時間を詳細に調整可能である光電センサを使用することによって、３次元距離画像のきわめて迅速な画像撮影が可能である、という認識に基づいている。このために、オブジェクトは１つ又は複数の非常に短い光パルスで照明され、次いで同じ長さの光パルスがこのオブジェクトから散乱されて戻ってくる。これらの散乱されて戻ってくる光パルスは相応の光学系を介して光電チップに導かれる。センサからの異なるオブジェクト点の異なる距離に基づいて、それぞれの箇所に対応する散乱されて戻ってくる光パルスはそれぞれ異なる時間でセンサに到達する。距離測定に対しては、時間測定窓がオープンされる。この時間測定窓の持続時間は予め設定可能な積分時間に相応する。積分時間は、送信される光パルスの長さ、すなわち反射される光パルスの長さより小さいか又は等しい。従って、積分時間の終了時点には散乱されて戻ってくる光パルスの統一的なカットがセンサにおいて行われることが保障される。画素素子毎に時間遅延して入射する光パルスは後の方でカットされる。この結果、光電センサのラスタにおける異なる電荷に基づいて、異なる伝播時間が異なる電荷差に変換されうる。この電荷差から３次元距離画像が計算される。
【０００７】
本発明はまた次のように構成される。すなわち、定められた長さを有する光パルスの代わりに、急勾配のエッジを有する光強度上昇だけを使用し、センサにおいて相応に撮影し評価するように構成される。これによって、測定結果は光パルスの下がりエッジの経過に依存しなくなる。他方で例えばセンサ素子の動作熱により発生される暗電流の影響ならびに周囲光（妨害光）の成分が精確に各画素毎に補償される。全体として３回の連続する測定によってまず最初に暗電流及び周囲光が検出され、その後で露光との関連においてオブジェクトにより反射されセンサで受信された光量がセンサ信号の形式で積分される。これが続いて比較的大きい積分時間で繰り返される。ここから、相応の補間によって各オブジェクト点毎に光の伝播時間がもとめられる。これは伝播時間、すなわちオブジェクトまでの距離を同時に精確に測定することにおいて比較的少ない光出力の使用をもたらす。
【０００８】
本発明の有利な実施形態では、非常に長い積分時間によって全ての光パルスをまず最初に記述した測定と同時に、又は、その後で時間シフトしてこれらの全ての光パルスの完全な長さで受信する。これは正規化に利用され、この結果、オブジェクトの反射特性における差異が識別され、補償される。
【０００９】
他の実施形態は従属請求項から得られる。
【００１０】
本発明の重要な利点は、例えば機械的なシャッタを省略できることである。極端に短い画像撮影時間が実現される。使用される光電センサは一般的にＣＭＯＳセンサと呼ばれ、これは半導体構成素子の技術的な名称でしかない。このようなセンサによって５０nsecから３０nsecまでの最小積分時間が実現される（ジッタはほぼ０.１％よりも小さい）。技術的な発展は積分時間においてさらに前進している。
【００１１】
次に概略図に基づいて実施例を記述する。
【００１２】
図１はＣＭＯＳセンサによる３次元距離画像の検出のための作動原理を示す。
【００１３】
図２は積分窓に対して相対的な２つの光パルスの時間的ずれの概略図を示し、これらの２つの光パルスの所属のオブジェクト点はＣＭＯＳセンサに対して異なる距離を有する。
【００１４】
図３はＣＭＯＳセンサによる３次元距離画像及び強度画像乃至はグレースケール値画像を同時に検出するためのセンサの概略図を示す。
【００１５】
図４は３次元ＣＭＯＳセンサによる車両内部空間監視を示す概略図を示す。
【００１６】
図５は積分ＣＭＯＳセンサによる距離測定を示し、送信側のレーザダイオードの信号及び受信側のセンサ信号が図示されている。
【００１７】
図６は積分ＣＭＯＳセンサによる距離測定を示し、図６ａではレーザダイオードの送信側の動作が及び図６ｂではこのセンサにおいて継続される積分により得られるセンサ信号が図示されている。
【００１８】
図７は送信側の照明と受信側のレーザパルスの検出との間の関係を時間的相関において示しており、図７に下方に示された測定信号は短い積分時間との関連において及び非常に長い積分時間との関連において図示されている。
【００１９】
図８はレーザパルスの送信側及び受信側の図示を時間的相関において示し、センサの照明制御に関連する２つの異なる短い積分時間が設けられている。
【００２０】
短時間露出において光電センサによる空間的オブジェクトの強度画像及び３次元距離画像を連続的又は同時的に検出乃至は生成するための方法を記述する。この方法は、３次元オブジェクトから散乱されて戻ってくる光パルスの伝播時間差を短い積分時間内のセンサにおける画素同期（ピクセル同期）検出において利用する。この場合、ＣＭＯＳセンサが使用される。このセンサは例えば１ｍＬｕｘの感光性を有する。さらに、このセンサは１０7までの高い強度ダイナミック特性を有し、個々の画素（ピクセル）へのランダムなアクセスならびに調整可能な積分時間（サンプル・アンド・ホールド）を有する。測定には、個々の画素の露出による電荷量Ｑ（ｔ）が使用される。
【００２１】
ＣＣＤカメラを使用する方法に比べて、例えば強度画像及び３次元画像のパラレルな検出ならびに明らかにＣＣＤカメラの読み出し時間を下回る短い画像撮影時間の実現のような特別な利点が得られる。さらに、このＣＭＯＳはコスト高な機械的シャッタを必要とせず、さらに短時間露出のために出力の高いレーザ光源を使用する必要もない。
【００２２】
この方法は、空間監視、例えば車両内部/車両外部監視、クレーン装置の自動化ならびにナビゲーションにおいてとりわけ人物及び運動経過の識別に適している。
【００２３】
基本的な動作構成を図１に基づいて説明する。まず最初に検出すべき空間的オブジェクトの照明に対して例えば短い光パルス＜１００nsが供給される。この照明は例えばパルス制御されるレーザダイオードによるレーザ光によって又は例えばパルス制御されるＬＥＤダイオードのような光源によって行われる。この方法は、照明の角度には依存しない。この照明を一般的な検出方向の中心部にどうしても行う必要はない。よって、例えば同軸的な照明及び検出においてもリング光を使用することが考えられる。図１に図示された装置は動作原理の概略的な説明のためだけに使用される。
【００２４】
第１の画像撮影ＡはＣＭＯＳセンサにおける短い積分時間ΔAに結びつけられている。三次元シーンのオブジェクト点Ｇから散乱されて戻ってくる長さΔL（＜１００nsec）の光パルス３はＣＭＯＳセンサの所属の画素９において調整された短い積分時間ΔA≦ΔL内に検出される。電子的なトリガパルスによってこの場合送信された光パルス２とこのＣＭＯＳセンサにおける積分時間窓のオープンとの間には固定的な時間関係が形成される。光の伝播時間のために、オブジェクト距離Ｒに応じて異なる時間的ずれ
τ＝２Ｒ/Ｖc （Ｖc＝光速）
が送信された光パルスとＣＭＯＳセンサにおいて検出される光パルスとの間に生じる。画素において積分時間ΔA内に測定される電荷ＱAはこれによってセンサとオブジェクト点Ｇとの間の距離Ｒに依存する。これについては図２を参照のこと。
【００２５】
ＱA ∝ Ｉ0*ＯR(ΔL−(２Ｒ/Ｖc−ｔD)) （１）
Ｉ0 送信された光パルスの強度、
ＯR オブジェクト点Ｇにおける表面反射係数、
ｔD 送信される光パルスとＣＭＯＳセンサにおける積分窓のスタートとの間のトリガ点時間遅延。
【００２６】
同一の表面反射係数ＯRを有する複数のオブジェクト点Ｇに対しては、これらの距離Ｒに依存して異なる電荷ＱAがＣＭＯＳセンサの所属の画素で測定される。これにより光パルスの小さい伝播時間差が電荷変化ＱAに変換され、この結果、積分された電荷はそのそれぞれの距離Ｒ(1,...)を有するそれぞれのオブジェクト点Ｇを代理する。これらはＣＭＯＳセンサにおいて非常に感度が良く、高いダイナミック特性によって検出されうる。通常は３次元シーンのオブジェクトは異なる表面反射を有する。
【００２７】
従って、距離画像の正規化のためにはさらに第２の画像撮影ＱBが実施される。この第２の画像撮影ＱBは３次元シーンのオブジェクトの表面反射にのみ依存する。
【００２８】
長い積分時間ΔBを有する第２の画像撮影Ｂの実施は、３次元シーンの表面反射の正規化に使用され、原理的には従来の強度画像又はグレースケール値画像が使用される。このために第２の画像撮影の際にはＣＭＯＳセンサにおいて照明光パルスの長さに比べて非常に大きい積分時間ΔBが調整される；ΔB≫ΔL、例えば１マイクロ秒。今や散乱されて戻ってくる全ての光パルス３はその伝播時間には無関係にその完全な大きさにおいてＣＭＯＳセンサにおいて検出される。画素において測定される電荷ＱBは
ＱB ∝ Ｉ0・ＯR・ΔL （２）
である。得られる画像は、照明強度Ｉ0、所属のオブジェクト点の表面反射係数ＯR、ならびに光パルス長ΔLにのみ依存する。
【００２９】
２次元距離画像ＱRの生成は、画像撮影ＡとＢ乃至はＱAとＱBの差及び正規化から計算によって行われる。
【００３０】
ＱR＝（ＱA−ＱB）/ＱB （３）
式（１）及び（２）からｔD＝０によって次式
ＱR ∝ −２Ｒ/(Ｖc*ΔL) （４）
が得られる。この値は読み出し及びデジタル化ならびに全ての画素に対する付加的なスケーリングの後で直接的に距離画像ＱRとして出力される。トリガ遅延時間ｔDが０に等しくない場合、距離画像ＱRの全ての点に一定のオフセット
ＲD＝ｔD/(Ｖc*ΔL) （５）
ただしここでＲDはｔDにおける距離値（電荷オフセット）、
が加算される。
【００３１】
強度画像及び３次元画像の同時撮影は強度値及び距離値の局所的に及び時間的にパラレルな検出の実施に関連している。このために、チップ・アーキテクチャ及びピクセル相対積分時間は次のように選択される。すなわち、ＣＭＯＳセンサ上の図３に相応する直接隣接するピクセルＡとピクセルＢとは３次元シーンの散乱されて戻ってくる光パルス３を短い積分時間ΔA≦ΔL(ピクセルＡ) 及びΔB≫ΔL(ピクセルＢ)で同時に検出するように選択される。チップ上に集積された電子回路によって直接的に割り当てられたピクセルＡ及びピクセルＢの２次元距離画像
ＱR＝（ＱA−ＱB）/ＱB （６）
が計算され、出力される。
【００３２】
図３は強度画像及び３次元距離画像のパラレルな検出のためのＣＭＯＳセンサ上の２つの可能な配置を概略的に示す。これに対して他の変形も可能である。強度画像及び３次元距離画像の同時検出はとりわけ移動する３次元シーンの分析において重要であり、例えば人物の身振り又はオブジェクト追跡の検出である。本発明の他の特別な特徴は、
・ 必要な場合には、周囲光に関する３次元距離画像の付加的な正規化を実施できる。このためにはまず最初に３次元シーン乃至はオブジェクトの照明なしで画素の電荷を短い積分時間及び長い積分時間で検出し、さらに照明によって測定された電荷ＱA及びＱBから引く。続いて距離画像ＱRの計算が行われる。
【００３３】
・ 複数の光パルスの信号の時間的平均化によって、散乱して戻ってくる光強度が小さい場合にノイズに対してこの方法の感度の向上が達成される。
【００３４】
・ 距離測定の測定不確定性はＣＭＯＳセンサの信号対ノイズ特性に依存する。これが予期される場合、０.１nsの間の伝播時間差がまだ検出されうる。ここから、測定不確実性は距離測定に対して３cmよりも小さいと推論される。
【００３５】
ここに記述される方法及び装置の基本的な使用は内部空間の監視、とりわけ体積測定評価方法に結びついた車両の内部空間の監視に関する。車両における光学的な内部空間監視の課題は、例えば人物、チャイルドシート、その他のオブジェクトのような座席占有状態の識別、人物の座席位置の検出及び盗難保護、すなわち、外部からの車両内部への不許可の侵入の検出である。人物及びその座席位置の識別はエアバック（スマート・エアバック）の段階的なトリガに対して安全性に関連して大いに意味があり、これは衝突事故において非常に確実にかつ短い測定時間で行われなければならない。本発明はこれらの要求を車両内部の３次元距離画像の迅速かつ確実な生成によって満たし、体積測定評価方法を使用する。この場合、立体角要素Ωにおける距離値Ｒから、オブジェクト１により占められる車両内部空間における実効体積成分が、空っぽの車両内部空間における距離値に対する差として測定される（これについては図４参照）。
【００３６】
この方法及び装置はさらに別の重要な利点を与える、すなわち、
・ 瞬時の座席占有状態の迅速な大局的な検出がオブジェクトなしの車両内部空間の３次元距離画像（３次元基準画像ＱRO）と人物又はその他のオブジェクトが座席にいる場合の瞬時に評価すべき３次元距離画像ＱRPとの差形成によって行われる。この場合、座席占有状態の実効体積ＶPには次式が成り立つ：
【００３７】
【数１】
Figure 0003860412
【００３８】
ただしここでＲ0は人物乃至はその他のオブジェクトなしの距離値であり、ＲPは人物乃至はその他のオブジェクトが座席にいる場合の距離値であり、ｄＦは微分面積である。
【００３９】
・ 車両への人物の乗車の前及び後の相対的な距離変化の計算から座席占有状態をアダプティブに検出することが実施される。回帰的又は確率的評価方法を適用することによって、差検出の確実性がさらに向上する。
【００４０】
・ 検出されるオブジェクトのサイズ検出及びオブジェクトの大局的な区別が体積比較クラス（Volumen- Vergleichsklassen）を介して可能である。
【００４１】
・ 占有された体積成分の空間的割り当てが可能である。
【００４２】
・ エアバックトリガの制御のために内部空間の占有された体積の空間的に最も外側の位置（Extrempositionen）（ｘ、ｙ、ｚ）が決定される。
【００４３】
・ 時間的に連続する画像撮影及び差形成における空間内の運動経過の体積測定的追跡。運動分析から人物及び身振りの識別。
【００４４】
この積分体積考察は、空間におけるオブジェクト及び位置の大局的な検出を可能にし、さらに例えばオブジェクト識別のために画像における輪郭、角、辺のような特徴の検出に頼る必要がない。評価時間は３次元画像撮影及び体積測定的評価に１０msかからない。
【００４５】
ここに記述した方法及び装置の適用分野としてはとりわけ車両内部空間が対象になる。この場合、例えば５０ns(ナノ秒)のＬＥＤ光パルスによる３次元画像撮影においてオブジェクトが露出される。ＣＭＯＳセンサにおける積分時間は画像撮影ＱAに対して５０nsに選択され、画像撮影ＱBに対して０.５μsに選択される。車両内部の検出すべきシーン・ダイナミック特性は２００：１であるべきである。距離値Ｒは測定不確実性＜１５cm（光パルスの相応する伝播時間差＝１ns）で１.５ｍ（伝播時間１０ns）までの測定領域において検出される。
【００４６】
これらの装置によってＣＭＯＳセンサにおいて（１０×２００＝）２０００：１の強度ダイナミック特性が必要となる。３次元距離画像ＱRのデジタル的検出はこれにより１２ビットＡ/Ｄ変換器によって保障される。５０×５０画素のセンサ局所分解能に対して、短い積分時間を有する画像撮影Ａ及び長い積分時間を有する画像撮影Ｂには最大１０4回の読み出し動作が必要不可欠である。この最大１０4回の読み出し動作は、例えば２ＭＨｚの読み出し周波数において最大５msの３次元距離画像の全画像撮影時間をもたらす。２５００個の距離値からの差体積の計算は例えば２００ＭＨｚのペンティアムのような高速プロセッサによってさらに５msで難なく実施可能である。
【００４７】
図４には車両内部空間における本発明の適用事例の概略図が図示されている。破線の矢印は人物の座っていない時の座席を表す。直線の矢印は人物の座っている時の座席を表す。大局的オブジェクト識別及び位置測定においては、被覆実効体積成分は人物の座っている時の車両における３次元距離データ及び人物の座っていない時の車両における３次元距離データから決定される。自動車座席の人物又はその他のオブジェクトの実効体積ＶPは式（７）によって計算される。
【００４８】
距離画像を撮影するためのこれまで記述してきた方法は差をもとめる方法に基づいており、伝播時間はＴ0＝ＵP/Ｕges*ΔAである。ただしここで、
Ｔ0＝光伝播時間、ΔA＝積分時間、Ｕges＝ΔBにおける測定信号マイナスΔBにおける暗電流成分、ＵP＝Ｕgesマイナス（ΔAにおける測定信号成分マイナスΔAにおける暗電流成分）である。
【００４９】
本発明のさらに別の重要な解決策は図８に図示されており、センサにおいて受信された測定信号を補間法によって評価する。この場合、光源からオブジェクトを介してセンサまでの光の伝播時間は、暗電流成分の曲線と交差する図８の測定信号の曲線の交点によって得られる。この光伝播時間には
Ｔ0＝２Ｒ/Ｖc
が成り立つ。これから距離値Ｒが得られる。
【００５０】
画像処理の無数の工業的適用事例において必要な３次元画像データ検出はとりわけ空間、例えば自動車内部空間の自動監視にとって必要不可欠である。距離画像/間隔画像の精度にあまりにも高度な要求が課せられるわけではない。ほぼ１０００画素を有する距離画像で大抵の場合には空間監視には十分である。通常の三角測量法はこの場合コストの理由からならびに大きな必要不可欠な測定ベースのために除外される。
【００５１】
図７に相応する照明形式も図８に相応する照明形式も３次元距離画像の迅速かつコスト的に有利な撮影を実現しうる。補間を介して評価に必要不可欠な光の伝播時間をセンサ４の各画素毎に得る方法は例として図８に図示されている。ここでは、定められた長さを有する光パルスの代わりに、急勾配のエッジを有する光強度上昇だけが評価される。センサで受信されるオブジェクトから反射されたレーザパルスは２つの異なる積分時間によってカットされる。これによって、一方で測定信号は光パルスの下がりエッジの経過には依存しなくなり、さらに他方で例えばセンサの動作熱により生じる暗電流及び周囲光の影響が各画素毎に精確に補償される。
【００５２】
図５は積分ＣＭＯＳ画像センサによる距離測定を示している。時間ｔ/センサ電圧Ｕの線図において、一方で送信側で照射するレーザダイオード乃至はこのレーザダイオードの矩形状に形成された光パルスが図示されている。その下には受信側で測定される測定信号が図示されている。座標系の原点から電圧Ｕdに向かう直線は実施された第１の測定であり、暗電流成分プラス未知の光成分を含んでいる。Ｕdは他の積分時間Ｔ1よりも大きい積分時間Ｔ2まで測定される。次いでオブジェクト１はレーザダイオードで照明され、この後まず最初に個々の画素において未知の光成分と共に暗電流だけが積分される。光伝播時間Ｔ0に基づいて付加的な光がオブジェクト点Ｇから散乱されて戻ってくる場合、測定信号は時点Ｔ0からそれぞれの画素の輝度に相応してより大きく上昇する。所定の積分時間Ｔ1の後で全ての画素に対して電圧Ｕ1が読み出され格納される。同一の過程が第１の暗電流測定から既知の積分時間Ｔ2で繰り返される。Ｔ1は例えば３０nsであり、Ｔ2は例えば６０nsである。測定信号が時間Ｔ1乃至はＴ2と交差する箇所において、もっともこれは受信された光パルスをカットすることによっても同じであるが、点Ｕ1乃至はＵ2が得られる。関係式ΔＵ＝Ｕ2−Ｕ1が成り立つ。光伝播時間Ｔ0は図５に示されている公式によって計算される。点Ｕ1及びＵ2を通る直線を延長すると、この直線は下の方へ向かって暗電流を示す直線にこの座標系の原点と電圧ＵDとの間で交差する。この交点において光伝播時間Ｔ0が読みとれる。Ｕ1及びＵ2乃至はΔＵに対する全ての値は同様に全ての画素に対して読み出され格納される。比較的大きい暗電流ＵDであっても、所定の積分時間Ｔ1及びＴ2に関連して各画素毎に格納された電圧ＵD、Ｕ1、Ｕ2及びΔＵから明確に及び精確に各画素毎に伝播時間Ｔ0が計算される。この場合、次式が成り立つ：
Ｔ0＝（Ｕ1・ΔＴ−ΔＵ・Ｔ1）/（ＵD・ΔＴ/Ｔ2−ΔＵ）
これは伝播時間の、つまりオブジェクトへの距離の精確な同時測定において比較的小さい光出力の使用をもたらす。
【００５３】
有利な実施形態では、コストの理由から大抵の場合クリティカルなレーザ出力の低減のために、上記の過程の複数回の繰り返しを連続して行う。Ｕ1、ＵD及びΔＵの得られる値はＣＭＯＳセンサの多重露出の最後に初めて読み出され、デジタル化される。これについては図６ａ及び６ｂを参照のこと。ＣＭＯＳセンサにおける多重露出に対するアナログ的な平均値形成は、後で行うデジタル的な平均化の際の比較的長い読み出し時間を回避する。測定値の信号/ノイズ比の最適化に関するオブジェクトのそれぞれの反射率に対するアダプティブな調整は、次のことによって実現される。すなわち、少ないテスト画像において、全体画像の特定の個数の画素において値ｎ（Ｕ1＋ΔＵ）の飽和が生じるまで露出の数を増大させることによって実現される。ただしここでｎ＝多重露出の数である。
【００５４】
上記のステップによって、暗電流及び周囲光があっても光伝播時間Ｔ0を精確に計算することは可能であることが可能になり、ＣＭＯＳセンサの信号読み出しを多重露出の後で初めて行い、次いでデジタル化が行われることが可能になり、さらに、オブジェクト反射率に相応してアダプティブな調整が行われることが可能になる。これらの手段によってこれまで必要不可欠であったレーザ出力をファクタ１０から２０までだけ下げることができ、乃至は、精度を高めることができる。
【００５５】
画像センサにおいて使用されるセンサ原理は例えばｎ+-ｐ型フォトダイオードに基づく積分法である。このフォトダイオードは電子的短時間積分器の構成部材であり、この電子的短時間積分器はさらにコンデンサ及び複数のトランジスタを有する。回路構成は次のように行われる。すなわち、例えばこのコンデンサのキャパシタンスがこのフォトダイオードに入射する光に依存して放電されるように行われる。これはいわゆるシャッタ・トランジスタを介して制御される。次いで例えばこのコンデンサに残っている電位が読み出される。同期化された照明を保障するために、この電子的短時間積分器のタイミング制御部は光源を制御するためのいわゆるストロボ信号を発生する。センサ４の各画素素子に対して、このような電子的短時間積分器（電子的シャッタ）が使用される。測定の終了時にコンデンサに残っている電位の代わりに、既に放電されてしまった電位を測定値として使用することもできる。
【００５６】
図６ａには複数の連続してスイッチングされる送信側の光パルスが図示されている。図６ｂには例として積分時間Ｔ1とそれぞれの電圧Ｕ1及び暗電流成分ＵDとの関係が図示されている。同じことはＴ2、Ｕ2及びＵDに対してもプロットできる。各露出乃至は多重露出に対して光伝播時間Ｔ0の値が得られる。
【００５７】
図７と図８を対比するとわかることだが、図８の補間法の方がより短い照明時間を有する。それぞれ真ん中に図示されている、図８の例えば３０ns及び６０nsのシャッタ時間及び図７の非常に長いレーザパルス時間と結びつくシャッタ時間６０nsがセンサにおける積分時間を決定することになる。図７において上方に送信側の照明とレーザパルスの受信側の入射との間の時間的な関係が図示されている。図５から８においてそれぞれ図示されている実施例はトリガ遅延時間を持たない。これは、受信側でセンサパルスの開始によって測定窓がオープンされることを意味する。これは、図７の図示においては、短時間シャッタ（６０ns）が受信されたレーザパルスを、それぞれオブジェクト点乃至は画素点に関して、時間ΔAでカットすることを意味する。このレーザパルスの持続時間は送信側でも受信側でもΔLである。明瞭なことは、様々な光伝播時間に基づいて、センサにおける電子的短時間積分器はそれぞれ電位を測定値として供給し、この伝播時間に依存して時点Ｔ0からΔAの終わりまで積分が行われることである。積分時間ΔBは図７の場合にはオブジェクト１における反射率の相違を補償するために使用される。この場合、暗電流及び未知の光成分がもとめられ、この暗電流及び未知の光成分が測定信号から相応に引かれる。
【００５８】
図８は図７に相応する図面を示しており、上方の線図は図７のそれと同一である。図８の真ん中には２つの短時間シャッタ時間が図示されている。これらは図７の場合と同じようにセンサ４に入射するレーザパルスをカットするために使用される。従って、比較的短い積分時間Ｔ1及び比較的長い積分時間Ｔ2が生じる。測定信号は図７及び８において暗電流及び未知の光成分を有する。従って、この測定信号はこの暗電流及び未知の光成分への光電流成分の加算から得られる。言い換えれば、光電流成分は、測定信号からこの暗電流及び未知の光成分を引くことによってもとめられる。光伝播時間Ｔ0は、到達する反射光パルスによって測定信号が暗電流成分及び未知の光成分のノーマルな経過から逸脱する時間軸上の箇所において得られる。というのも、光電流成分はもはやゼロではないからである。光伝播時間Ｔ0を得る評価は図５との関連において既に記述した。
【００５９】
レーザ出力の明瞭な低減のために、測定オブジェクトは連続的に部分的に照明される。照明と評価とは同時に行われる。従って、オブジェクト１は部分的に連続的に照明され、そしてその都度評価される。その都度複数の光源１０のうちの１つにオブジェクト１の所定の部分が割り当てられている。さらに光源１０の、例えばレーザの強度の上昇時間は明瞭に短縮され、例えば０.１nsに短縮される。
【００６０】
図９は概略的に３つの光源１０の配置を示し、これら３つの光源１０はオブジェクト１をそれぞれ所定の領域１１において照明する。センサ４はオブジェクト１の部分的な領域１１に相応する反射された光成分を受信し、この光成分を後続処理する。この構成は、例えばレーザを有する照明ユニットのレーザ出力の制限を可能にする。連続的な照明及び検出はコスト的に有利に実現可能であり、所定の規準によって予め設定された最大レーザ出力を問題なく下回る。さらに、これに伴って、レーザ強度の上昇時間も明らかに例えば０.１nsecに短縮される。
【図面の簡単な説明】
【図１】 図１はＣＭＯＳセンサによる３次元距離画像の検出のための作動原理を示す。
【図２】 図２は積分窓に対して相対的な２つの光パルスの時間的ずれの概略図を示し、これらの２つの光パルスの所属のオブジェクト点はＣＭＯＳセンサに対して異なる距離を有する。
【図３】 図３はＣＭＯＳセンサによる３次元距離画像及び強度画像乃至はグレースケール値画像を同時に検出するためのセンサの概略図を示す。
【図４】 図４は３次元ＣＭＯＳセンサによる車両内部空間監視を示す概略図を示す。
【図５】 図５は積分ＣＭＯＳセンサによる距離測定を示し、送信側のレーザダイオードの信号及び受信側のセンサ信号が図示されている。
【図６】 図６は積分ＣＭＯＳセンサによる距離測定を示し、図６ａではレーザダイオードの送信側の動作が及び図６ｂではこのセンサにおいて継続される積分により得られるセンサ信号が図示されている。
【図７】 図７は送信側の照明と受信側のレーザパルスの検出との間の関係を時間的相関において示しており、図７に下方に示された測定信号は短い積分時間との関連において及び非常に長い積分時間との関連において図示されている。
【図８】 図８はレーザパルスの送信側及び受信側の図示を時間的相関において示し、センサの照明制御に関連する２つの異なる短い積分時間が設けられている。
【図９】 図９は３つの光源の配置を概略的に示す。
【符号の説明】
１ オブジェクト
２ 光パルス
３ 反射された光パルス
４ 光電センサ
５ 照明装置
６ 光学系
７ 光学系
８ 電子的トリガ発生器
９ 画素素子
１０ 光源
１１ オブジェクトの所定の領域

Claims (29)

  1. 各画素素子（９）に存在する電子的短時間積分器を有する画素分解能光電センサ（４）を使用して空間的オブジェクトの３次元距離画像を撮影するための方法において、
    積分時間は調整可能であり、前記方法は次のステップから成る、すなわち、
    前記オブジェクト（１）は予め設定された持続時間ΔＬの少なくとも１つの光パルス（２）によって照明されるステップと、
    オブジェクト点（Ｇ）から散乱されて戻ってくる光パルス（３）は前記センサ（４）の所属の画素において予め設定された短い積分時間ΔＡ内に検出され、ただしここでΔＡ≦ΔＬであり、前記積分時間ΔＡの開始時点は散乱されて戻ってくる最初の光パルス（３）の到達の前であり、該散乱されて戻ってくる最初の光パルス（３）は最も近くにあるオブジェクト点（Ｇ）に相応するステップと、
    光パルスの異なる伝播時間に相応して結果的に得られる前記散乱されて戻ってくる光パルス（３）の測定された異なる強度から、距離値がもとめられるステップとから成る、各画素素子（９）に存在する電子的短時間積分器を有する画素分解能光電センサ（４）を使用して空間的オブジェクトの３次元距離画像を撮影するための方法。
  2. 各画素素子（９）に存在する電子的短時間積分器を有する画素分解能光電センサ（４）を使用して空間的オブジェクトの３次元距離画像を撮影するための方法において、
    積分時間は調整可能であり、前記方法は次のステップから成る、すなわち、
    暗電流及び周囲光を表すセンサ信号の測定及び積分はこの測定及び積分の開始から予め設定された積分時間Ｔ２まで行われるステップと、
    オブジェクト（１）の露出の開始は照明装置（５）によってセンサ（４）における前記センサ信号の測定及び積分の開始と同時であり、前記センサ（４）において受信される光の光強度上昇の内に積分時間Ｔ１まで積分が行われ、ただしここでＴ１はＴ２よりも小さい、ステップと、
    前記オブジェクト（１）の繰り返される露出は前記照明装置（５）によって前記センサ（４）におけるセンサ信号の測定及び積分の開始と同時に行われ、前記センサ（４）において受信される光の光強度上昇の内に積分時間Ｔ２まで積分が行われるステップと、
    時点Ｔ１及びＴ２には全ての画素に対してセンサ信号のそれぞれ積分された値が読み出され格納されるステップと、
    格納された値から各画素毎に前記照明装置（５）から前記オブジェクト（１）を介して前記センサ（４）までの光の伝播時間Ｔ０ならびに相応する距離値が計算されるステップとから成る、各画素素子（９）に存在する電子的短時間積分器を有する画素分解能光電センサ（４）を使用して空間的オブジェクトの３次元距離画像を撮影するための方法。
  3. 個々の方法ステップはセンサ信号を得るためにそれぞれ複数回繰り返され、これらから結果的に得られる信号は個々の画素毎に積分され、多重露出の後で初めて前記センサ信号の読み出し、格納及び評価が行われる、請求項１又は２記載の方法。
  4. 格納される値はデジタル化される、請求項１から３のうちの１項記載の方法。
  5. オブジェクト（１）のそれぞれの反射率に対するアダプティブな調整は次のことによって行われる、すなわち、
    全体画像の所定の数の画素において積分された強度値がＴ１及びＴ２において飽和に近づくまで、多重露出の数は増大されることによって行われる、請求項３又は４記載の方法。
  6. 全体画像の各画素毎にＴ１及びＴ２において個々の積分された強度値が飽和に近づくまで、多重露出の数又はレーザビームの強度は増大される、請求項５記載の方法。
  7. 積分されたセンサ信号はランダムな画素アクセスにおいて各画素毎に又は画素のセグメント毎に読み出され、１セグメントは光電センサの１行である、請求項５又は６記載の方法。
  8. 空間的オブジェクト（１）は該オブジェクトを部分的に照明する複数の光源（１０）によって照明され、これらの光源（１０）は連続的に活性化され、評価は相応にそれぞれの照明の際に行われる、請求項１から７のうちの１項記載の方法。
  9. 積分時間は画素毎に調整可能である、請求項１から８のうちの１項記載の方法。
  10. オブジェクト（１）の表面反射の同時的な又は後続の最適化のために、付加的に全ての散乱されて戻ってくる光パルス（３）が長い積分時間ΔＢ≫ΔＬによって完全に検出される、請求項１、３から９のうちの１項記載の方法。
  11. 積分時間ΔＡ;ΔＢの開始は、送信パルスに対するトリガパルス遅延に結びつけられている、請求項１、３から１０のうちの１項記載の方法。
  12. 積分時間ΔＡは１００nsよりも小さい、請求項１、３から１１のうちの１項記載の方法。
  13. 積分時間ΔＢはほぼ１μsである、請求項１、３から１２のうちの１項記載の方法。
  14. 光パルス長は１００nsよりも小さい、請求項１から１３のうちの１項記載の方法。
  15. ３次元画像及びグレースケール値画像の同時撮影のために、センサ（４）において行毎に異なる積分時間ΔＡ乃至はΔＢ又はＴ１乃至はＴ２が調整される、請求項１から１４のうちの１項記載の方法。
  16. ３次元画像及びグレースケール値画像の同時撮影のために、センサ（４）において画素毎に異なる積分時間ΔＡ乃至はΔＢ又はＴ１乃至はＴ２が交互に調整される、請求項１から１５のうちの１項記載の方法。
  17. オブジェクト（１）はレーザの光パルス又はパルス制御される発光ダイオードの光パルスによって照明される、請求項１から１６のうちの１項記載の方法。
  18. センサ（４）はランダムに読み出し可能である、請求項１から１７のうちの１項記載の方法。
  19. センサ（４）はＣＭＯＳセンサである、請求項１から１８のうちの１項記載の方法。
  20. センサ（４）から少なくとも１つの点までの距離が基準距離として既知である、請求項１から１９のうちの１項記載の方法。
  21. 車両における使用の際に、基準点はドアフレームに位置決めされている、請求項２０記載の方法。
  22. 静止オブジェクト及び/又は運動経過の識別が行われる、請求項１から２１のうちの１項記載の方法。
  23. 空間内又は車両内の対象物又は人物のようなオブジェクトを監視する、請求項２２記載の方法。
  24. 車両又はクレーン装置が監視される及び/又はナビゲーションシステムにおける一般的な位置測定が行われる、請求項２２記載の方法。
  25. 車両における座席占有状態及び/又は例えば人物の座席位置が識別される、請求項２２又は２３記載の方法。
  26. ３次元距離画像の撮影のための装置において、該装置は次のものを有する、すなわち、
    照明装置（５）を有し、該照明装置（５）は予め設定された持続時間Δ Ｌ の光パルス（２）を光学系（６）を介してオブジェクト（１）に送信し、
    前置接続された光学系（７）を有する光電センサ（４）を有し、該光電センサ（４）はオブジェクト点（Ｇ）から散乱されて戻ってくる光パルス（３）をセンサ（４）の所属の画素において検出し、前記センサ（４）は多数の画素素子（９）によって画素分解能を有して構成され、ランダムに読み出し可能であり、この結果、散乱されて戻ってくる光パルス（３）は予め設定された短い積分時間Δ Ａ 内に検出され、ただしここでΔ Ａ ≦Δ Ｌ であ り、
    前記照明装置（５）と前記センサ（４）との間の時間的調整のためのトリガ装置（８）を有し、前記積分時間Δ Ａ の開始時点は散乱されて戻ってくる最初の光パルス（３）の到達の前であり、該散乱されて戻ってくる最初の光パルス（３）は最も近くにあるオブジェクト点（Ｇ）に相応し、
    前記センサ（４）の前記画素素子（９）の相応の電荷から３次元画像を計算するための計算ユニットを有し、該計算ユニットは光パルスの異なる伝播時間に相応して結果的に得られる前記散乱されて戻ってくる光パルス（３）の測定された異なる強度から３次元距離画像の距離値をもとめる、３次元距離画像の撮影のための装置。
  27. センサ（４）の画素素子（９）において行毎に又は列毎に交互に短い積分時間ΔＡ乃至はＴ１及び長い積分時間ΔＢ乃至はＴ２が調整される、請求項２６記載の装置。
  28. センサ（４）の画素素子（９）において交互に短い及び長い積分時間ΔＡ乃至ΔＢ又はＴ１乃至はＴ２が調整される、請求項２６記載の装置。
  29. 計算ユニットはセンサ（４）に設けられている、請求項２６から２８のうちの１項記載の装置。
JP2000526831A 1997-12-23 1998-11-14 ３次元距離画像を撮影するための方法及び装置 Expired - Lifetime JP3860412B2 (ja)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
DE19757595A DE19757595C2 (de) 1997-12-23 1997-12-23 Verfahren und Vorrichtung zur Aufnahme eines dreidimensionalen Abstandsbildes
DE19833207A DE19833207A1 (de) 1998-07-23 1998-07-23 Verfahren und Vorrichtung zur Aufnahme eines dreidimensionalen Abstandsbildes
DE19757595.1 1998-07-23
DE19833207.6 1998-07-23
PCT/DE1998/003344 WO1999034235A1 (de) 1997-12-23 1998-11-14 Verfahren und vorrichtung zur aufnahme eines dreidimensionalen abstandsbildes

Publications (2)

Publication Number Publication Date
JP2002500367A JP2002500367A (ja) 2002-01-08
JP3860412B2 true JP3860412B2 (ja) 2006-12-20

Family

ID=26042787

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2000526831A Expired - Lifetime JP3860412B2 (ja) 1997-12-23 1998-11-14 ３次元距離画像を撮影するための方法及び装置

Country Status (6)

Country Link
US (1) US6373557B1 (ja)
EP (1) EP1040366B1 (ja)
JP (1) JP3860412B2 (ja)
KR (1) KR100508277B1 (ja)
DE (1) DE59809883D1 (ja)
WO (1) WO1999034235A1 (ja)

Families Citing this family (113)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8152198B2 (en) * 1992-05-05 2012-04-10 Automotive Technologies International, Inc. Vehicular occupant sensing techniques
JP4105801B2 (ja) * 1998-07-02 2008-06-25 ペンタックス株式会社 ３次元画像入力装置
DE19908215A1 (de) * 1999-02-25 2000-09-21 Siemens Ag Vorrichtung und Verfahren zum optischen Erfassen eines Objektes oder einer Person im Innenraum eines Fahrzeugs
US6323942B1 (en) * 1999-04-30 2001-11-27 Canesta, Inc. CMOS-compatible three-dimensional image sensor IC
US6822687B1 (en) * 1999-07-08 2004-11-23 Pentax Corporation Three-dimensional image capturing device and its laser emitting device
US6581961B1 (en) 1999-12-17 2003-06-24 Trw Vehicle Safety Systems Inc. Deactivation of second stage of air bag inflator
US6671771B2 (en) * 1999-12-21 2003-12-30 Intel Corporation Hash CAM having a reduced width comparison circuitry and its application
JP4810052B2 (ja) * 2000-06-15 2011-11-09 オートモーティブ システムズ ラボラトリー インコーポレーテッド 乗員センサ
US6810135B1 (en) 2000-06-29 2004-10-26 Trw Inc. Optimized human presence detection through elimination of background interference
DE10051505C2 (de) * 2000-10-17 2002-09-12 Astrium Gmbh Verfahren und Vorrichtung zum Erzeugen von 3D-Entfernungsbildern
WO2002041031A1 (de) * 2000-11-14 2002-05-23 Siemens Aktiengesellschaft Vorrichtung zur bilddatenverarbeitung und verfahren zur bilddatenverarbeitung
US6950135B2 (en) * 2001-01-24 2005-09-27 Hewlett-Packard Development Company, L.P. Method and apparatus for gathering three dimensional data with a digital imaging system
ATE336717T1 (de) * 2001-05-17 2006-09-15 Xenogen Corp Verfahren und vorrichtung zur feststellung von zieltiefe, helligkeit und grösse in einer körperregion
US7298415B2 (en) 2001-07-13 2007-11-20 Xenogen Corporation Structured light imaging apparatus
JP4488170B2 (ja) * 2001-08-06 2010-06-23 シーメンス アクチエンゲゼルシヤフト 三次元距離画像を記録するための方法及び装置
JP2003149717A (ja) * 2001-11-19 2003-05-21 Mitsubishi Heavy Ind Ltd 撮像方法及び撮像装置
DE10163534A1 (de) * 2001-12-21 2003-07-10 Siemens Ag Vorrichtung zur Überwachung von Raumbereichen
DE10213754A1 (de) * 2002-03-18 2003-12-04 Sick Ag Sensor-Maschinen-Interface und Verfahren zu dessen Betrieb
US7599731B2 (en) * 2002-07-16 2009-10-06 Xenogen Corporation Fluorescent light tomography
US7616985B2 (en) * 2002-07-16 2009-11-10 Xenogen Corporation Method and apparatus for 3-D imaging of internal light sources
DE10253437B4 (de) * 2002-11-12 2007-02-15 Iris-Gmbh Infrared & Intelligent Sensors Vorrichtung und Verfahren zum Erfassen einer Topografie in drei Dimensionen
DE50310881D1 (de) * 2003-03-25 2009-01-15 Thomson Licensing Erfassung elektromagnetischer strahlung
US7242460B2 (en) * 2003-04-18 2007-07-10 Sarnoff Corporation Method and apparatus for automatic registration and visualization of occluded targets using ladar data
JP2005067281A (ja) * 2003-08-20 2005-03-17 Toshiba Corp 距離検出装置、エアバッグ制御装置および距離検出方法
US7274815B1 (en) 2003-10-09 2007-09-25 Sandia Corporation Parallel phase-sensitive three-dimensional imaging camera
GB0324179D0 (en) * 2003-10-15 2003-11-19 Isis Innovation Device for scanning three-dimensional objects
DE10360174B4 (de) 2003-12-20 2007-03-08 Leuze Lumiflex Gmbh + Co. Kg Vorrichtung zur Überwachung eines Erfassungsbereichs an einem Arbeitsmittel
US7652241B2 (en) * 2004-01-09 2010-01-26 Aptina Imaging Corporation Image acquisition timing system and method
JP4161910B2 (ja) * 2004-01-28 2008-10-08 株式会社デンソー 距離画像データ生成装置及び生成方法，プログラム
US7236235B2 (en) * 2004-07-06 2007-06-26 Dimsdale Engineering, Llc System and method for determining range in 3D imaging systems
US7697748B2 (en) * 2004-07-06 2010-04-13 Dimsdale Engineering, Llc Method and apparatus for high resolution 3D imaging as a function of camera position, camera trajectory and range
KR100820261B1 (ko) * 2004-07-30 2008-04-08 마츠시다 덴코 가부시키가이샤 화상 처리 장치
JP4645177B2 (ja) * 2004-11-30 2011-03-09 パナソニック電工株式会社 計測装置
JP4466260B2 (ja) * 2004-07-30 2010-05-26 パナソニック電工株式会社 画像処理装置
DE102004038302A1 (de) * 2004-08-04 2006-03-16 Iris-Gmbh Infrared & Intelligent Sensors Expertensystem und mobiles Assistenzgerät
US7362419B2 (en) * 2004-09-17 2008-04-22 Matsushita Electric Works, Ltd. Range image sensor
FR2877279B1 (fr) * 2004-11-03 2008-06-27 Faurecia Sieges Automobile Systeme de detection de presence d'un occupant sur un siege de vehicule automobile, siege adapte a ce systeme et vehicule comportant un tel systeme
DE102005016556A1 (de) * 2005-04-11 2006-10-12 Sick Ag Verfahren zum Betrieb eines optoelektronischen Sensors
US8044996B2 (en) * 2005-05-11 2011-10-25 Xenogen Corporation Surface construction using combined photographic and structured light information
US7591583B2 (en) * 2005-05-18 2009-09-22 Federal-Mogul World Wide, Inc. Transient defect detection algorithm
KR100665321B1 (ko) * 2005-06-03 2007-01-09 주식회사 삼성산업 Ｓｐｃ가 피복된 강관의 구조
EP1748304A1 (en) * 2005-07-27 2007-01-31 IEE International Electronics & Engineering S.A.R.L. Method for operating a time-of-flight imager pixel
DE112005003698B4 (de) * 2005-09-15 2016-10-13 Volkswagen Aktiengesellschaft Erfassung optischer Strahlung
DE102005046950B3 (de) * 2005-09-30 2006-12-21 Siemens Ag Vorrichtung und Verfahren zur Aufnahme von Abstandsbildern
DE102005056265A1 (de) 2005-11-14 2007-05-16 Pilz Gmbh & Co Kg Vorrichtung und Verfahren zum Überwachen eines Raumbereichs, insbesondere zum Absichern eines Gefahrenbereichs einer automatisiert arbeitenden Anlage
DE102006016026A1 (de) 2006-04-05 2007-10-11 Sick Ag Distanzmessvorrichtung
DE102006029025A1 (de) 2006-06-14 2007-12-27 Iris-Gmbh Infrared & Intelligent Sensors Vorrichtung und Verfahren zur Abstandsbestimmung
US10335038B2 (en) 2006-08-24 2019-07-02 Xenogen Corporation Spectral unmixing for in-vivo imaging
US10775308B2 (en) * 2006-08-24 2020-09-15 Xenogen Corporation Apparatus and methods for determining optical tissue properties
JP5073273B2 (ja) * 2006-11-21 2012-11-14 スタンレー電気株式会社 遠近判定方法およびその装置
JP5266636B2 (ja) * 2006-12-12 2013-08-21 株式会社デンソー 光センサ、および距離検出装置
DE102007006566A1 (de) * 2007-02-09 2008-08-14 Siemens Ag Verfahren zur zentralen Überwachung sowie Anordnung zur Aufnahme, Auswertung und selektiven Anzeige von Bildern ruhender Personen
DE102007009244A1 (de) * 2007-02-22 2008-08-28 Sick Ag Verfahren zur Überprüfung der Funktionsweise und/oder Justierung einer optoelektronischen Sensoranordnung und optoelektronische Sensoranordnung
JP4831760B2 (ja) * 2007-03-29 2011-12-07 日本放送協会 ３次元情報検出方法及びその装置
US7745771B2 (en) * 2007-04-03 2010-06-29 Delphi Technologies, Inc. Synchronous imaging using segmented illumination
JP2009047475A (ja) * 2007-08-15 2009-03-05 Hamamatsu Photonics Kk 固体撮像素子
JP5171158B2 (ja) 2007-08-22 2013-03-27 浜松ホトニクス株式会社 固体撮像装置及び距離画像測定装置
DE102007046562A1 (de) 2007-09-28 2009-04-02 Siemens Ag Verfahren und Vorrichtung zum Bestimmen eines Abstands mittels eines optoelektronischen Bildsensors
KR101367281B1 (ko) * 2007-11-13 2014-02-25 삼성전자주식회사 깊이 영상 생성 방법 및 장치
GB0724064D0 (en) * 2007-12-10 2008-01-16 Selex Sensors & Airborne Sys Imaging system
DE102008006449A1 (de) * 2008-01-29 2009-07-30 Kaba Gallenschütz GmbH Verfahren und Vorrichtung zur Überwachung eines Raumvolumens
US7554652B1 (en) 2008-02-29 2009-06-30 Institut National D'optique Light-integrating rangefinding device and method
EP2260325B1 (en) 2008-02-29 2015-08-05 Leddartech Inc. Light-integrating rangefinding device and method
DE102008018718B4 (de) 2008-04-14 2010-02-25 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Optischer Abstandsmesser und Verfahren zur optischen Abstandsmessung
EP2311251B1 (en) * 2008-08-03 2020-01-01 Microsoft Technology Licensing, LLC Rolling shutter camera system and method
DE102008045387B4 (de) * 2008-09-02 2017-02-09 Carl Zeiss Ag Vorrichtung und Verfahren zum Vermessen einer Oberfläche
FR2940463B1 (fr) * 2008-12-23 2012-07-27 Thales Sa Systeme d'imagerie passive equipe d'un telemetre
JP5476190B2 (ja) 2010-03-31 2014-04-23 本田技研工業株式会社 固体撮像装置
JP5453230B2 (ja) * 2010-12-15 2014-03-26 本田技研工業株式会社 乗員検知装置
US20120154535A1 (en) * 2010-12-15 2012-06-21 Microsoft Corporation Capturing gated and ungated light in the same frame on the same photosurface
DE102011010102B4 (de) * 2011-02-01 2012-09-13 Diehl Bgt Defence Gmbh & Co. Kg Verfahren zum Messen einer Entfernung und Vorrichtung zur Durchführung des Verfahrens
US8620113B2 (en) * 2011-04-25 2013-12-31 Microsoft Corporation Laser diode modes
TWI575494B (zh) * 2011-08-19 2017-03-21 半導體能源研究所股份有限公司 半導體裝置的驅動方法
JP5781918B2 (ja) * 2011-12-28 2015-09-24 浜松ホトニクス株式会社 距離測定装置
US9723233B2 (en) 2012-04-18 2017-08-01 Brightway Vision Ltd. Controllable gated sensor
US10324033B2 (en) * 2012-07-20 2019-06-18 Samsung Electronics Co., Ltd. Image processing apparatus and method for correcting an error in depth
US9000350B1 (en) * 2012-09-11 2015-04-07 Rockwell Collins, Inc. Time-domain overlap imagery detecting system and method of using same
DE102013003515A1 (de) * 2013-03-04 2014-09-04 Jenoptik Robot Gmbh Verfahren und Vorrichtung zur Geschwindigkeitsmessung von Fahrzeugen mittels einer Lasereinrichtung
DE102013007961B4 (de) * 2013-05-10 2023-06-22 Audi Ag Optisches Messsystem für ein Fahrzeug
JP6435513B2 (ja) * 2013-06-26 2018-12-12 パナソニックＩｐマネジメント株式会社 測距撮像装置及びその測距方法、固体撮像素子
EP3015882B1 (en) 2013-06-27 2020-12-09 Panasonic Semiconductor Solutions Co., Ltd. Distance measuring device
DE102013108824A1 (de) * 2013-08-14 2015-02-19 Huf Hülsbeck & Fürst Gmbh & Co. Kg Sensoranordnung zur Erfassung von Bediengesten an Fahrzeugen
US9507015B2 (en) * 2013-10-07 2016-11-29 Avaya Inc. Device proximity detection
US10203399B2 (en) 2013-11-12 2019-02-12 Big Sky Financial Corporation Methods and apparatus for array based LiDAR systems with reduced interference
DE102013112553A1 (de) * 2013-11-14 2015-06-03 Odos Imaging Ltd. Beleuchtungsvorrichtung und Verfahren zum Beleuchten eines Objekts
EP4016981A3 (en) 2013-12-24 2022-09-21 Sony Depthsensing Solutions A time-of-flight camera system
US9360554B2 (en) 2014-04-11 2016-06-07 Facet Technology Corp. Methods and apparatus for object detection and identification in a multiple detector lidar array
DE102014013099B4 (de) 2014-09-03 2019-11-14 Basler Aktiengesellschaft Verfahren und Vorrichtung zur vereinfachten Erfassung eines Tiefenbildes
DE102014220322B4 (de) * 2014-10-07 2020-02-13 Conti Temic Microelectronic Gmbh Bilderfassungsvorrichtung und Verfahren zum Erfassen eines optischen Bildes
AT516044B1 (de) * 2014-10-09 2016-02-15 Trumpf Maschinen Austria Gmbh Biegewinkel-Messvorrichtung
DE102014117097B3 (de) 2014-11-21 2016-01-21 Odos Imaging Ltd. Abstandsmessvorrichtung und Verfahren zum Bestimmen eines Abstands
DE102014117705B3 (de) 2014-12-02 2016-02-18 Odos Imaging Ltd. Abstandsmessvorrichtung und Verfahren zum Bestimmen eines Abstands
DE102015201901B4 (de) * 2015-02-04 2021-07-22 Volkswagen Aktiengesellschaft Bestimmung einer Position eines fahrzeugfremden Objekts in einem Fahrzeug
US10036801B2 (en) 2015-03-05 2018-07-31 Big Sky Financial Corporation Methods and apparatus for increased precision and improved range in a multiple detector LiDAR array
CN107407728B (zh) * 2015-03-26 2020-05-22 富士胶片株式会社 距离图像获取装置以及距离图像获取方法
US9866816B2 (en) 2016-03-03 2018-01-09 4D Intellectual Properties, Llc Methods and apparatus for an active pulsed 4D camera for image acquisition and analysis
DE102016014851A1 (de) * 2016-12-14 2018-06-14 Alexander Zielbach Umrisspulsmodulationsmessung
DE102017106073B3 (de) 2017-03-21 2018-03-29 Elmos Semiconductor Aktiengesellschaft Verfahren zur Erfassung der Verzögerung zwischen einem Spannungspuls an einem Leuchtmittel und einem Shutter-an-Signal zur Verbesserung von Verfahren und Vorrichtungen zur Messung der Lichtlaufzeit
DE102017106078B3 (de) 2017-03-21 2018-07-26 Elmos Semiconductor Aktiengesellschaft Vorrichtung zur Signalverzögerung unter Benutzung eines MEMS Oszillators und deren Anwendung in einer TOF-Kamera
DE102017106071B3 (de) 2017-03-21 2018-03-29 Elmos Semiconductor Aktiengesellschaft Verfahren zur Erfassung der Verzögerung zwischen einem Lichtpuls und einem Shutter-an-Signal zur Verbesserung von Verfahren und Vorrichtungen zur Messung der Lichtlaufzeit
DE102017106072B3 (de) 2017-03-21 2018-03-29 Elmos Semiconductor Aktiengesellschaft Verfahren zur Erfassung der Verzögerung zwischen einem Strompuls an einem Leuchtmittel und einem Shutter-an-Signal zur Verbesserung von Verfahren und Vorrichtungen zur Messung der Lichtlaufzeit
DE102017106076B3 (de) 2017-03-21 2018-07-26 Elmos Semiconductor Aktiengesellschaft Vorrichtung zur Signalverzögerung unter Benutzung eines Referenzoszillators und deren Anwendung in einer TOF-Kamera
DE102017106077B3 (de) 2017-03-21 2018-07-26 Elmos Semiconductor Aktiengesellschaft Vorrichtung zur Signalverzögerung unter Benutzung eines Quarz-Oszillators und deren Anwendung in einer TOF-Kamera
DE102017207317B4 (de) * 2017-05-02 2022-03-03 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Vorrichtung zur Ermittlung eines Abstands zu einem Objekt sowie entsprechendes Verfahren
DE102017008666A1 (de) 2017-09-14 2018-03-01 Daimler Ag Verfahren zur Erfassung der Umgebungshelligkeit
US11092678B2 (en) * 2018-06-21 2021-08-17 Analog Devices, Inc. Measuring and removing the corruption of time-of-flight depth images due to internal scattering
EP3640590B1 (en) 2018-10-17 2021-12-01 Trimble Jena GmbH Surveying apparatus for surveying an object
EP3640677B1 (en) 2018-10-17 2023-08-02 Trimble Jena GmbH Tracker of a surveying apparatus for tracking a target
EP3696498A1 (en) 2019-02-15 2020-08-19 Trimble Jena GmbH Surveying instrument and method of calibrating a survey instrument
CN110509055B (zh) * 2019-09-04 2021-04-06 恩坦华汽车零部件（镇江）有限公司 一种汽车玻璃升降器微型直流电机齿轮壳装配方法
DE102020103597A1 (de) 2020-02-12 2021-08-12 Saf-Holland Gmbh Verfahren und System zum Ermitteln einer Ausrichtung eines Anhängers gegenüber einem Zugfahrzeug
DE102021100913A1 (de) 2020-03-10 2021-09-16 Elmos Semiconductor Se Pixel für ein bildgebendes Lichtlaufzeitmesssystem mit einer verbesserten Fertigungsausbeute
WO2021253308A1 (zh) * 2020-06-18 2021-12-23 深圳市汇顶科技股份有限公司 图像采集装置

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US3608547A (en) * 1967-07-29 1971-09-28 Olympus Optical Co Method for determining the distance of an object from an edoscope
DE3404396A1 (de) 1984-02-08 1985-08-14 Dornier Gmbh, 7990 Friedrichshafen Vorrichtung und verfahren zur aufnahme von entfernungsbildern
US5013917A (en) * 1988-07-07 1991-05-07 Kaman Aerospace Corporation Imaging lidar system using non-visible light
DE3839513A1 (de) 1988-11-23 1990-05-31 Messerschmitt Boelkow Blohm Bildsensor
US5056914A (en) 1990-07-12 1991-10-15 Ball Corporation Charge integration range detector
US5446529A (en) * 1992-03-23 1995-08-29 Advanced Scientific Concepts, Inc. 3D imaging underwater laser radar
US5793034A (en) * 1995-09-18 1998-08-11 Daedalus Enterprises, Inc. Target detection system utilizing multiple optical criteria

Also Published As

Publication number Publication date
KR100508277B1 (ko) 2005-08-17
EP1040366B1 (de) 2003-10-08
DE59809883D1 (de) 2003-11-13
EP1040366A1 (de) 2000-10-04
KR20010033549A (ko) 2001-04-25
WO1999034235A1 (de) 1999-07-08
JP2002500367A (ja) 2002-01-08
US6373557B1 (en) 2002-04-16

Similar Documents

Publication Publication Date Title
JP3860412B2 (ja) ３次元距離画像を撮影するための方法及び装置
EP3789792B1 (en) Method for subtracting background light from an exposure value of a pixel in an imaging array, and pixel for use in same
US7466359B2 (en) Image-pickup apparatus and method having distance measuring function
DE19757595C2 (de) Verfahren und Vorrichtung zur Aufnahme eines dreidimensionalen Abstandsbildes
EP2815251B1 (en) Time of flight camera with stripe illumination
US6535275B2 (en) High resolution 3-D imaging range finder
US7834985B2 (en) Surface profile measurement
EP2074603B1 (en) Sensor for presence detection
US7947939B2 (en) Detection of optical radiation using a photodiode structure
EP1167127A2 (en) Optimized human presence detection through elimination of background interference
EP2240798A1 (en) Adaptive neighborhood filtering (anf) system and method for 3d time of flight cameras
JP2018185179A (ja) 測距装置、監視装置、３次元計測装置、移動体、ロボット及び測距方法
Mengel et al. Fast range imaging by CMOS sensor array through multiple double short time integration (MDSI)
WO2019050024A1 (ja) 距離測定方法および距離測定装置
EP3543742B1 (en) A 3d imaging system and method of 3d imaging
CN113597534B (zh) 测距成像***、测距成像方法和程序
JP7147729B2 (ja) 移動量推定装置、移動量推定方法、移動量推定プログラム、及び移動量推定システム
JP2019158616A (ja) 測距システム、測距方法、車載装置、車両
CN114503543A (zh) 门控照相机、汽车、车辆用灯具、图像处理装置、图像处理方法
König Optimized distance measurement with 3D-CMOS image sensor and real-time processing of the 3D Data for applications in automotive and safety engineering
JPS6137563B2 (ja)

Legal Events

Date Code Title Description
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20041028

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20041105

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20050202

A602 Written permission of extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A602

Effective date: 20050209

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20060322

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20060612

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20060731

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20060823

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20060921

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100929

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100929

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110929

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110929

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120929

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130929

Year of fee payment: 7

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

EXPY Cancellation because of completion of term