JP3565749B2 - 車載カメラの撮像方向の検査方法およびその検査装置 - Google Patents
車載カメラの撮像方向の検査方法およびその検査装置 Download PDFInfo
- Publication number
- JP3565749B2 JP3565749B2 JP26956799A JP26956799A JP3565749B2 JP 3565749 B2 JP3565749 B2 JP 3565749B2 JP 26956799 A JP26956799 A JP 26956799A JP 26956799 A JP26956799 A JP 26956799A JP 3565749 B2 JP3565749 B2 JP 3565749B2
- Authority
- JP
- Japan
- Prior art keywords
- camera
- captured image
- inspection
- imaging direction
- pattern
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000007689 inspection Methods 0.000 title claims description 124
- 238000003384 imaging method Methods 0.000 title claims description 113
- 238000000034 method Methods 0.000 title claims description 79
- 238000012360 testing method Methods 0.000 claims description 46
- 238000006243 chemical reaction Methods 0.000 claims description 20
- 238000012545 processing Methods 0.000 claims description 11
- 238000010586 diagram Methods 0.000 description 17
- 238000012544 monitoring process Methods 0.000 description 11
- 230000005856 abnormality Effects 0.000 description 8
- 238000011156 evaluation Methods 0.000 description 8
- 238000012937 correction Methods 0.000 description 6
- 230000000875 corresponding effect Effects 0.000 description 5
- 238000006073 displacement reaction Methods 0.000 description 5
- 238000012806 monitoring device Methods 0.000 description 5
- PXFBZOLANLWPMH-UHFFFAOYSA-N 16-Epiaffinine Natural products C1C(C2=CC=CC=C2N2)=C2C(=O)CC2C(=CC)CN(C)C1C2CO PXFBZOLANLWPMH-UHFFFAOYSA-N 0.000 description 3
- 230000001133 acceleration Effects 0.000 description 3
- 230000002950 deficient Effects 0.000 description 3
- 238000001514 detection method Methods 0.000 description 3
- 230000009466 transformation Effects 0.000 description 3
- 230000002159 abnormal effect Effects 0.000 description 2
- 230000006399 behavior Effects 0.000 description 2
- 229910000838 Al alloy Inorganic materials 0.000 description 1
- 240000001973 Ficus microcarpa Species 0.000 description 1
- 238000001792 White test Methods 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000001276 controlling effect Effects 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 230000002596 correlated effect Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000003780 insertion Methods 0.000 description 1
- 230000037431 insertion Effects 0.000 description 1
- 238000003754 machining Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000001629 suppression Effects 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
- 238000011179 visual inspection Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S11/00—Systems for determining distance or velocity not using reflection or reradiation
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
- G01B11/00—Measuring arrangements characterised by the use of optical techniques
- G01B11/26—Measuring arrangements characterised by the use of optical techniques for measuring angles or tapers; for testing the alignment of axes
- G01B11/27—Measuring arrangements characterised by the use of optical techniques for measuring angles or tapers; for testing the alignment of axes for testing the alignment of axes
- G01B11/272—Measuring arrangements characterised by the use of optical techniques for measuring angles or tapers; for testing the alignment of axes for testing the alignment of axes using photoelectric detection means
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S11/00—Systems for determining distance or velocity not using reflection or reradiation
- G01S11/12—Systems for determining distance or velocity not using reflection or reradiation using electromagnetic waves other than radio waves
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/02—Control of position or course in two dimensions
- G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
- G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
- G05D1/0246—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means
- G05D1/0251—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means extracting 3D information from a plurality of images taken from different locations, e.g. stereo vision
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/204—Image signal generators using stereoscopic image cameras
- H04N13/239—Image signal generators using stereoscopic image cameras using two 2D image sensors having a relative position equal to or related to the interocular distance
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/204—Image signal generators using stereoscopic image cameras
- H04N13/246—Calibration of cameras
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/296—Synchronisation thereof; Control thereof
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
- H04N13/189—Recording image signals; Reproducing recorded image signals
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N2013/0074—Stereoscopic image analysis
- H04N2013/0081—Depth or disparity estimation from stereoscopic image signals
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N2013/0074—Stereoscopic image analysis
- H04N2013/0096—Synchronisation or controlling aspects
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Radar, Positioning & Navigation (AREA)
- Signal Processing (AREA)
- Remote Sensing (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Electromagnetism (AREA)
- Aviation & Aerospace Engineering (AREA)
- Automation & Control Theory (AREA)
- Traffic Control Systems (AREA)
- Length Measuring Devices By Optical Means (AREA)
- Measurement Of Optical Distance (AREA)
- Fittings On The Vehicle Exterior For Carrying Loads, And Devices For Holding Or Mounting Articles (AREA)
- Studio Devices (AREA)
Description
【発明の属する技術分野】
本発明は、自動車等の車輌に搭載されたカメラの撮像方向の検査方法、その検査システム、および取り付けプレートを用いた車載カメラの取り付け構造に関する。
【0002】
【従来の技術】
近年、単眼カメラやステレオカメラをプレビューセンサとして用いた車外監視装置が注目されている。この類の監視装置は、車体に取り付けられた車載カメラによって自車輌前方の景色を撮像し、この撮像画像に基づき画像認識技術(ステレオ方式では三角測量の原理も併用)を用いて自車輌前方の走行状況を認識する。そして、必要に応じて、ドライバーに注意を喚起したり、シフトダウンによる減速といった車輌挙動制御を行う。
【0003】
このような監視用のカメラを車体に取り付ける際には、その取り付け位置に関して高レベルの精度が要求される。なぜなら、カメラの取り付け位置にずれが生じると、それに起因してカメラの撮像方向がずれてしまうため、監視制御の信頼性の低下を招いてしまうからである。特に、車載カメラとしてステレオカメラを用いる場合、その撮像方向の精度に関しては極めて高いレベルが要求される。ステレオ方式では一対の撮像画像における視差から距離を算出しているため、撮像方向のずれは算出距離に直接影響してしまうからである。しかしながら、実際には、車体自体の歪みやカメラの取り付け精度上の限界から、個体毎に車載カメラの撮像方向にばらつきが生じる。そこで、この撮像方向がずれている場合、アフィン変換等の画像変換を撮像画像に施すことによって、このような撮像ずれを等価的に微調整する手法が採られている。
【0004】
【発明が解決しようとする課題】
しかしながら、このような画像変換によって微調整可能なレンジはあまり広くない。そのため、車載カメラの撮像方向が適正範囲(すなわちアフィン変換等により微調整可能な範囲)から大きくずれてしまっている場合、画像変換による調整は困難となる。そこで、カメラの取り付け完了後に行われる検査工程において、取り付けられたカメラの撮像方向が適正範囲内に収まっているか否かを検査する必要がある。この検査において、撮像方向が適正な範囲から外れてしまっていると判定されたサンプルについては、撮像方向が適正範囲に収まるように、カメラを取り付け直すなどの機械的な再調整を行う必要がある。そのため、このような検査の効率化・自動化を図ることができる検査手法の確立が強く望まれている。
【0005】
この発明はこのような事情に鑑みてなされたもので、その目的は、車載カメラの撮像方向を検査する際に、その良否判定を効率的に行うことができる検査手法を提供することである。
【0006】
また、この発明の別の目的は、撮像方向がずれていると判定された場合に、その再調整を行う上で有効な情報を作業者に提供することで、再調整の効率化を図ることである。
【0007】
【課題を解決するための手段】
かかる課題を解決するために、第1の発明は、車体に取り付けられたカメラにより撮像された撮像画像が表示装置に表示された撮像画像における基準パターンの位置と判定パターンの位置とを検査者が比較することにより、画像変換を撮像画像に施すことによる微調整可能な範囲にカメラの撮像方向が収まっているか否かを検査する検査方法において、車輌前方の予め規定された位置に配置されていると共に基準パターンが描かれたテストチャートを、カメラで撮像することによって撮像画像を得るステップと、撮像画像の所定の位置に判定パターンを設定するステップと、判定パターンが設定された撮像画像を表示装置に表示するステップとを有する車載カメラの撮像方向の検査方法を提供する。
【0008】
ここで、上記設定するステップは、画像変換による微調整が可能なずれの範囲を示すような判定パターンを設定するステップであることが望ましい。また、上記設定するステップは、水平方向に延在した二本の基準線と垂直方向に延在した二本の基準線とを有する前記判定パターンを、撮像画像に設定するステップであることが好ましい。
【0009】
また、第2の発明は、車体に取り付けられたカメラの撮像方向が、画像変換を撮像画像に施すことによる微調整可能な範囲に収まっているか否かを検査する検査方法において、車輌前方の予め規定された位置に配置されていると共に基準パターンが描かれたテストチャートを、カメラで撮影することによって撮像画像を得るステップと、撮像画像における基準パターンの位置を特定するステップと、当該特定された基準パターンの位置と、カメラの撮像方向に関する、画像変換による微調整が可能なずれの範囲を規定した適正範囲との関係に基づいて、カメラの撮像方向の良否判定を行うステップとを有する車載カメラの撮像方向の検査方法を提供する。
【0010】
ここで、上記特定するステップは、撮像画像中の所定の領域毎に、予め用意された所定の輝度特性パターンとの相関を評価するステップと、最も大きな相関を有すると判断された領域の位置を、基準パターンの位置として特定するステップとを含んでいてもよい。この輝度特性パターンは、撮像画像に映し出された基準パターンと同じ輝度特性を有している。
【0011】
また、基準パターンの位置を特定するステップは、撮像画像における所定の探索範囲内を探索することにより、輝度特性パターンとの相関を評価するステップを含むことが好ましい。この探索範囲の設定位置は、カメラが適切に取り付けらた状態で撮像画像に映し出される基準パターンの位置に基づいて設定される。また、探索範囲の面積は、カメラの取り付けずれに起因したカメラの撮像方向のずれを考慮して設定される。
【0012】
上述した第1および第2の発明において、基準パターンは、典型的には十字状のパターンまたは口字状のパターンであることが好ましい。
【0013】
また、第2の発明において、基準パターンが適正範囲から逸脱している場合、基準パターンの逸脱量に応じて、カメラの取り付け状態の現状を示した情報またはカメラの取り付け調整に関する情報を検査者に通知するステップをさらに設けてもよい。
【0014】
また、第2の発明は、交換可能な取り付け部材を介して車体に取り付けられており、取り付け部材の形状によってカメラの撮像方向が決定されるような車載カメラの撮像方向の検査方法にとして用いることが好ましい。この場合、上記通知するステップは、予め用意され、かつそれぞれか異なる形状を有する複数の取り付け部材から、基準パターンの逸脱量が最も小さくなるような形状を有する取り付け部材を選択し、当該選択された取り付け部材を検査者に通知するステップであることが好ましい。
【0015】
第3の発明は、画像変換を撮像画像に施すことによる微調整可能な範囲に車載カメラの撮像方向が収まっているか否かを検査する検査する検査装置において、車体に取り付けられ、かつ、車輌前方の状況を撮像することにより撮像画像を出力するカメラと、撮像画像にスーパーインポース処理を施すように指示された場合に、撮像画像の所定の位置に所定の判定パターンを重ね合わせる処理手段と、撮像画像を表示する表示手段とを有している。このカメラは、検査時において、車輌前方の予め規定された位置に配置され、かつ所定の基準パターンが描かれたテストチャートを撮像する。また、処理手段は、検査時において、撮像画像にスーパーインポーズ処理を施す。さらに、表示装置は、検査時において、撮像画像における基準パターンの位置と判定パターンの位置とを比較可能な状態で表示する。
【0016】
ここで、処理手段は、画像変換による微調整が可能なずれの範囲を示すような所定のパターンを重ね合わせるようにしてもよい。また、処理手段は、水平方向に延在した二本の基準線と垂直方向に延在した二本の基準線とを有する判定パターンを、撮像画像に重ね合わせるようにしてもよい。
【0017】
第4の発明は、車体に取り付けられたカメラの撮像方向が、画像変換を撮像画像に施すことによる微調整可能な範囲に収まっているか否かを検査するにおいて、車体に取り付けられ、かつ、車輌前方の状況を撮像することにより撮像画像を出力するカメラと、検査時に車輌前方の予め規定された位置に配置されていると共に所定の基準パターンが描かれたテストチャートを、カメラで撮像することによって得られた撮像画像に基づいて、カメラの撮像方向を検査する検査手段とを有する。ここで、検査手段は、撮像画像における基準パターンの位置を特定する。そして、当該特定された基準パターンの位置が、カメラの撮像方向に関する、画像変換による微調整が可能なずれの範囲を規定した適正範囲内にある場合、カメラの撮像方向が良好であると判定すると共に、基準パターンの位置が適正範囲から外れている場合、カメラの撮像方向が不良であると判定する。
【0018】
また、検査手段は、撮像画像中の所定の領域毎に、予め用意された所定の輝度特性パターンとの相関を評価すると共に、最も大きな相関を有すると判断された領域の位置を基準パターンの位置として特定することが好ましい。この輝度特性パターンは、撮像画像に映し出された基準パターンと同じ輝度特性を有している。
【0019】
また、検査手段は、撮像画像における所定の探索範囲内において、当該探索領域内に存在する領域毎に輝度特性パターンとの相関を評価してもよい。この探索範囲の設定位置は、カメラが適切に取り付けらた状態で撮像画像に映し出される基準パターンの位置に基づいて設定される。また、探索範囲の面積は、カメラの取り付けずれに起因したカメラの撮像方向のずれを考慮して設定される。
【0020】
さらに、第3または第4の発明において、基準パターンは、十字状のパターンまたは口字状のパターンであることが好ましい。
【0021】
また、第4の発明に関して、カメラが取り付け部材を介して車体に取り付けられている構造において、検査手段は、基準パターンの位置が適正範囲から外れている場合、適正範囲を基準とした基準パターンの逸脱量に応じて、カメラの取り付け調整に関する指示情報を出力するようにしてもよい。
【0022】
この取り付け部材は、カメラとは独立した交換可能な部材であり、取り付け部材の形状によってカメラの撮像方向が決定されるような部材を用いてもよい。この場合、検査手段は、それぞれか異なる形状を有する複数の交換用の取り付け部材から、基準パターンの逸脱量が最も小さくなるような形状を有する取り付け部材を選択し、当該選択された取り付け部材に関する指示情報を出力する。
【0023】
また、この取り付け部材は、車長方向断面がテーパー形状を有する板状部材であって、そのテーパー形状によって、カメラの撮像方向の垂直成分が決定されるような部材を用いてもよい。
【0024】
第5の発明は、車載センサの取り付け構造において、車輌前方の走行状況を撮像するセンサが組み付けられたセンサ組立体と、センサ組立体とは独立して形成された取り付け部材とを有し、センサ組立体は、取り付け部材を介在させた状態で車体に取り付けられており、かつ、取り付け部材の形状に基づいてセンサの監視方向が決定される車載センサの取り付け構造を提供する。
【0025】
第6の発明は、車載センサの取り付け構造において、取り付け部材と、取り付け部材を介在させた状態で車体に取り付けられており、かつ、車輌前方の走行状況を撮像するセンサが組み付けられたセンサ組立体とを有し、取り付け部材は、センサ組立体を取り外すことによって交換可能であり、かつ、取り付け部材の形状に基づいてセンサの監視方向が決定される車載センサの取り付け構造を提供する。
【0026】
第5または第6の発明において、取り付け部材は、板状部材であると共に板厚の状態によってセンサの監視方向が決定される構造であることが好ましい。
【0027】
また、この取り付け部材は、車長方向断面がテーパー形状を有しており、当該テーパー形状によってセンサの監視方向の垂直成分が決定されるような構造であることも望ましい。
【0028】
さらに、取り付け部材は、形状が異なる他の取り付け部材に交換することによって、センサの監視方向を調整可能とすることが好ましい。
【0029】
一方、センサが車体に取り付けられた状態において、取り付け部材とセンサ組立体との接合面が水平面と一致しないようにすることが好ましい。
【0030】
一方、第5または第6の発明において、センサ組立体を車体に固定する固定部材をさらに設ける。この場合、センサ組立体が車体に固定されている状態で、固定部材を取り外すことにより、取り付け部材がセンサ組立体とは独立した部材になるようにすることが好ましい。
【0031】
また、第5および第6の発明において、取り付け部材は、形状が僅かに相違した他の取り付け部材に交換可能である場合、それぞれの取り付け部材には、当該取り付け部材の形状の特徴を示した識別マークが付されていることが好ましい。この場合、識別マークが付される位置は、センサが車体に取り付けられた状態では、外観上確認できない位置であることが望ましい。
【0032】
なお、上述した第1から第4の発明におけるカメラは、ステレオカメラであることが好ましい。また、第1および第3の発明において、判定パターンが設定された撮像画像はナビゲーション装置が有するナビゲーションディスプレイに表示することが好ましい。
【0033】
【発明の実施の形態】
(第1の実施例)
図1は、車載カメラの一例としてステレオカメラ1を用いたステレオ式車外監視装置のブロック図である。車輌の前方の走行状態を撮像するステレオカメラ1は、所定の基線長で配置された一対のカメラ2a,2bで構成されている。ステレオカメラ1の車体への取り付けは、後述する撮像方向の検査方法と関連するので、以下、ステレオカメラ1の取り付け構造について、図17から図19を参照して概略的に説明する。図17はステレオカメラ1の正面図であり、図18は、ステレオカメラ1の取り付け構造の全体的な展開斜視図である。また、図19は、ステレオカメラ1の取り付け部分の要部を示した展開斜視図である。
【0034】
ステレオカメラ1のシャーシ31は、カメラ2a,2bの重量や走行時の加減速により変形しないように、高剛性のアルミ合金で形成されている。進行方向に向かって右側に位置したシャーシ31の端部には、メインカメラ2aが装着されている。このカメラ2a中に内蔵されたCCD等のイメージセンサからの出力信号によって基準画像が得られる。一方、シャーシ31の左側端部にはサブカメラ2bが装着されており、このカメラ2bからの出力信号によって比較画像が得られる。シャーシ31の中央部には、シャーシ31の上面と下面とを貫通する3つの取り付け孔(ボルト33の取り付け孔)が形成されている。また、ステレオカメラ1を車体(フロントレール41)に取り付ける際の位置決めを行うために、シャーシ31の中央部には2つのロケータピン32が形成されている。
【0035】
ステレオカメラ1(ここでは、カメラ2a,2bを組み付けたステレオカメラ組立体1)は、ルームミラー40の近傍において、取り付け部材としての取り付けプレート30を用いて、車体(本実施例ではフロントレール41)に装着されている。この装着状態において、ステレオカメラ組立体1とフロントレール41との間には、所定の板厚を有する取り付けプレート30が介在している。ステレオカメラ組立体1の取り付け作業においては、まず、シャーシ31に形成されたロケータピン32を取り付けプレート30の位置決め用貫通孔30aに挿入する。各貫通孔30aは、取り付けプレート30の上面に形成されたある高さを有するボス37上にそれぞれ形成されている。図示した識別マーク表示領域38(取り付けプレート30の上面で破線で囲われた領域)には、取り付けプレート30を特定するために識別マークが記されている。詳細については後述するが、この取り付けプレート30は、図15に示したように車長断面のテーパー形状が僅かに異なるプレートA〜Dと交換することができる。各プレートA〜D,STNDは外見上は非常に類似しているため、某かの識別マークがないと作業者がプレートを混同してしまうおそれがある。そこで、作業者が各プレート形状の特徴を容易に判別可能とするために、各プレートの形状に応じた識別マークが付されている。識別マークは、文字(図15の例でいえば「A」〜「D」,「STND」)、数字、記号、或いはドット数等をはじめとして、作業者等が判別可能な類のものであればどのようなものであっても構わない。また、取り付けプレート30の表面に識別マークを直接プリントする場合のほか、プレート30の押し出し形成等も含めて、その形成方法は問わない。
【0036】
この状態において、シャーシ31に形成された3つの取り付け孔31aの位置は取り付けプレート30に形成された3つの取り付け孔30bの位置と一致している。つぎに、ロケータピン32をフロントレール41に形成された孔に挿入し、この状態を維持しながら3本のボルト33a,33b,33cを貫通孔30b,31aに挿入して、ステレオカメラ1をフロントレール41に固定する。そして、スイッチコネクタ34をステレオカメラ組立体1に接続した後、ボルトで外装カバー35をフロントレール41に固定する。最後に、外装カバー35のボルト挿入部に目隠し板36をはめ込んで外装を整えて、一連の取り付け作業が完了する。ここでは、固定部材としてボルト33を例に説明しているが、その他にもネジ等を含めた周知の固定部材(取り外しが比較的容易なもの)を選択してもよい。このように取り外しが比較的容易なボルト33によりステレオカメラ組立体1がフロントレール41に固定されている。したがって、逆の手順、ステレオカメラ組立体1の取り外しの際には、ボルト33を取り外すだけで、取り付けプレート30をステレオカメラ組立体1とは独立な部材として取り扱うことができる。この点は、取り付けプレート30の交換作業時における大きなメリットとなる。
【0037】
なお、ステレオカメラ1が取り付けられた状態では、識別マーク表示領域38は、フロントレール41との接触面側となって隠れてしまう(つまり、外観上確認できないような位置に付される)。したがって、作業者が判別しやすいように識別マークをかなり大きく記したとしても、ステレオカメラ1を取り付けた状態では、それを外観上確認できないので、外観上の問題が生じることはない。
【0038】
ここで、取り付けプレート30は、ステレオカメラ組立体1(或いはシャーシ31)とは別個に形成された部材であり、ステレオカメラ組立体1を取り外した状態では、この組立体1とは独立して取り扱うことができる。上述したように、ステレオカメラ組立体1は、取り付けプレート30を挟み込んだ状態でフロントレール41に取り付けられる。このように、取り付けの際にカメラ本体とは別個の取り付け部材を用いる理由は、これを交換することでステレオカメラ1の撮像方向の粗調整を行うためである。この点が、カメラ組立体と一体化されたステーを車体に直接取り付けるといった従来の手法とは大きく異なるものである。ステレオカメラ1の撮像方向(すなわち図18に示したカメラ視線L,R)の垂直成分は、プレート30の車長方向断面形状によって規定される。すなわち、プレート30の板厚が徐々に変化している場合(すなわちテーパー形状である場合)、図15の取り付けプレートDとして示したように、後部(図15の左側)よりも前部(右側)の板厚が大きいほどステレオカメラ1は下向き(地面)を向く。逆に、前部よりも後部の板厚が大きなテーパー形状の取り付けプレート30を用いた場合、同図の取り付けプレートAとして示したように、後部の板厚が大きいほどステレオカメラ1は上向きとなる。
【0039】
上述したように、ステレオカメラ組立体1を取り外すことで、取り付けプレート30をこの組立体1とは別個に独立して取り扱うことができる。したがって、必要に応じて、形状が異なる他のプレートに交換すれば、ステレオカメラ1の撮像方向を調整することができる。例えば、ステレオカメラ1の取り付け工程では、ある形状を有する標準プレートを共通に使用して、ステレオカメラ組立体1を車体に取り付ける。そして、それに続く検査工程において、取り付けられたステレオカメラ1の撮像方向が大きくずれていると判定された場合、標準プレートを交換用プレートに取り替える。交換用プレートは複数用意されており、それぞれの形状は微妙に相違(例えば、テーパーがなす角度を微妙に相違)している。車体の歪み等や機械加工における精度に起因した撮像方向のばらつきは、適切な形状を有するプレートを使用することで、適正な範囲(画像変換による微調整が可能なずれの範囲)内に収めることができる。
【0040】
このようにして車体に取り付けられたステレオカメラ1から出力されたアナログ信号は、その後段における各種回路要素によって次のように処理される。カメラ2a,2bの同期が取れている状態において、各カメラ2a,2bから出力されたアナログ画像信号は、後段の回路の入力レンジに合致するように、アナログインターフェース3において調整される。このアナログインターフェース3中のゲインコントロールアンプ(GCA)は、一対のアナログ画像信号の明るさバランスを調整する。アナログインターフェース3において調整された各アナログ画像信号は、アナログコントローラ19とA/Dコンバータ4とに対して出力される。A/Dコンバータ4によってデジタル化された撮像画像は、補正回路5においてアフィン変換が施され、撮像画像の微調整が行われる。このような画像処理を経た基準画像データおよび比較画像データは画像データメモリ7に格納される。また、ステレオ演算回路6は、基準画像データと比較画像データとに基づいて、1フレーム(1画面)分の撮像画像に関する視差を算出する。視差は、周知のステレオマッチング手法を用いて、所定の画素ブロック毎に算出される。算出された1フレーム分の視差は、距離データとして距離データメモリ8に格納される。
【0041】
マイクロコンピュータ9(機能的に捉えた場合、その機能的ブロックである認識部10)は、道路形状(白線)や車輌前方の立体物(走行車)等を認識する。この認識は、画像データメモリ7中に記憶された画像データ、距離データメモリ8に格納された距離データ、ナビゲーションユニット16からのナビゲーション情報等に基づいて行われる。認識部10は、認識結果と自車輌の挙動状態とに基づき警報が必要と判定した場合、モニターやスピーカー等の警報装置11を作動させてドライバーに注意を促す。また、必要に応じて制御装置12を制御することにより、AT(自動変速機)のシフトダウンやエンジン出力の抑制、或いはブレーキの作動といった車輌制御を自動的に実行する。
【0042】
検査装置18は、製品の検査工程時においてのみ接続される外付けの装置である。マイクロコンピュータ9に検査装置18が接続され、検査装置18によって検査の開始が指示されると、マイクロコンピュータ9(機能的に捉えた場合、その機能的ブロックである検査部13)は予めプログラムされた検査ルーチンを実行する。そして、検査部13は、必要に応じてアナログコントローラ19に対して所定の指示信号を出力する。アナログコントローラ19は、検査者(検査者)の目視による検査を可能にするためにアナログ信号を処理する。すなわち、アナログコントローラ19中の選択部14は、検査部13からの指示に基づき、アナログインターフェース3から出力されたアナログ基準画像信号のみを選択して、スーパーインポーズ部15に対して出力する。スーパーインポーズ部15は、検査部13からの指示に基づきアナログ基準画像信号にスーパーインポーズ処理を施し、基準画像上に後述する判定基準線Lを重ね合わせる。このような処理が施されたアナログ信号に基づき、ナビゲーションユニット16が備えた画像表示装置(ナビゲーションディスプレイ)17に基準画像が表示される。検査者は、表示された撮像画像を目視によって評価することで、サンプルの撮像方向に関する良否判定を行う。
【0043】
図3は、第1の実施例にかかるステレオカメラの撮像方向の検査手順を示したフローチャートである。まず、検査者は、検査ルーチンの開始指示に先立ち、所定のパターンを有するテストチャートを車輌前方の所定位置に配置しておく。図7は、テストチャートの配置位置と検査対象である車輌との関係を示した図である。また、図8は、この検査で用いられるテストチャート21の一例を示した図である。白地のテストチャート21の表面には所定幅を有する黒線によって十字状のパターンが描かれており、十字の交点Cはテストチャート21の中央に位置している。このテストチャート21に描かれた十字交点C(基準パターン)は、検査サンプルの撮像方向に関する位置的基準を与えるものであり、目標なる撮像方向を示している。したがって、テストチャート21は予め設定された位置に正確に配置することが重要である。図7において、テストチャート21は、車長方向(Z軸)に関して車輌22の前輪の中心からZ1の距離で、車高方向(Y軸)に関して地面から十字交点CまでがY1の高さで、かつ、テストチャート21の平面が車幅方向(X軸)に対して平行になるように配置されている。メインカメラ2aの視線Rは、Z−Y平面においてZ軸と平行になるように設定されている。メインカメラ2aの撮像方向が正確に設定されているならば、基準パターンである十字交点Cは基準画像における所定位置に映し出される。
【0044】
検査者が検査装置18を操作して検査の開始を指示すると、マイクロコンピュータ9(すなわち検査部13)は、まずステップ1においてシステムの初期化を行った後、1フレーム分の基準画像をサンプリングする(ステップ2)。具体的には、まず、検査部13は選択部14に対して信号の取り込み指示を与える。この指示に基づき、選択部14はアナログ基準画像信号のみをスーパーインポーズ部15に対して出力する。ステレオカメラ1の撮像方向の検査は、メインカメラ2aから得られた基準画像のみに基づいて行われる。なお、ここで行おうとする検査は、ステレオカメラ1の撮像方向を比較的粗いレベルで評価するものであり、左右のカメラ2a,2bのカメラ視線L,Rの微妙なずれまでを評価するものではない。したがって、この検査で要求される検査精度に鑑みれば、基準画像のみで評価を行っても何ら問題はない。
【0045】
ステップ2に続くステップ3において、スーパーインポーズ部15は、1フレームのアナログ基準画像信号に対してスーパーインポーズ処理を施し、判定基準線Lを重ね合わせる。図9は、基準画像上に判定基準線Lを重ね合わせる処理を説明するための図である。この図に示したように、判定基準線Lは画像領域の所定位置に固定的に設定され、水平方向および垂直方向にそれぞれ2本ずつ延在している。水平方向に延在した判定基準線Lの重ね合わせは、一本の判定基準線Lの位置(j座標)に相当する一本の水平走査線を、判定基準線Lの輝度レベルに置き換えてしまえばよい。また、垂直方向に延在した判定基準線Lの重ね合わせは、それぞれの水平走査線上における判定基準線Lの位置(i座標)に相当した信号レベルを、判定基準線Lの輝度レベルに置き換えればよい。このようなスーパーインポーズ処理を行うことで、4本の判定基準線Lで囲まれた判定パターンCRが、基準画像領域の中央部分に設定される。この判定パターンCRは、検査サンプルの実際の撮像方向を示すものである。この判定パターンCRの大きさは、検査精度の要求レベルに応じて設定する。すなわち、カメラの撮像方向の良否判定を厳格に行いたいのであれば、判定パターンCRの面積を小さめに設定すればよい。
【0046】
続くステップ4において、スーパーインポーズ処理が施されたアナログ基準画像信号に基づき、ナビゲーションユニット16を構成する表示装置(ナビゲーションディスプレイ)17上には撮像画像が表示される。図10は、判定パターンCRが重ね合わされた基準画像の表示例である。検査者は目視によって、表示画像における十字交点C(基準パターン)の位置と4本の判定基準線Lで囲まれた判定パターンCRの位置との関係を確認することで、撮像方向の良否を判定する。すなわち、十字交点Cが判定パターンCR内に位置している場合は、検査サンプルの撮像方向が「良好」であると判定する。これに対して十字交点Cが判定パターンCRの範囲から外れている場合は、「不良」であると判定する。例えば、十字交点Cが判定パターンCRの右外側に存在するならば、ステレオカメラ1の撮像方向が左を向き過ぎていることを示している。また、十字交点Cが判定パターンCRの上外側に存在するならば、撮像方向が下を向き過ぎていることを示している。このようにして、検査者は検査サンプルの良否判定を行い、必要に応じてカメラの取り付け位置の再調整(後述する取り付けプレート30の交換を含む)を行うなどの措置を講じる。
【0047】
このように、本実施例における検査手法では、車輌前方の予め規定された位置に配置されたテストチャート21を撮像し、メインカメラ2aから得られた撮像画像をナビゲーションディスプレイ17に表示している。表示画像における十字交点C(基準パターン)は、目標となる撮像方向を示している。一方、判定基準線Lにより囲まれた判定パターンCRは、検査サンプルの実際の撮像方向を示しており、判定パターンCRの範囲は、この検査で適正と判定される範囲を示している。したがって、十字交点Cの位置と判定パターンCRの位置とを比較することで、検査サンプルの撮像方向の良否を判定することができる。
【0048】
これにより、検査者は表示画像を目視するだけで、検査サンプルの撮像方向の良否判定を効率的に行うことができる。また、撮像方向の適正範囲が表示されているため、検査者の個人差により検査結果にばらつきが生じるといった事態の発生を防ぐことができ、より客観的な検査を行うことができる。
【0049】
さらに、本実施例では、車輌に搭載されたナビゲーションユニット16が有する画像表示装置17に撮像画像を表示している。したがって、検査用に特別な表示装置を用意する必要がないため、作業スペースを確保できるため、検査効率を一層向上させることができる。
【0050】
なお、上述した実施例では、十字が描かれたテストチャートを用いた例について説明した。しかしながら、テストチャートはこれに限定されるものではなく、他のさまざまな輝度パターンを有するテストチャートを用いてもよい。
【0051】
一例として、図11は、テストチャートの輝度パターンの他の例を示した図である。白色のテストチャートの表面には所定幅を有する黒色の線によってある大きさの口字(矩形)が描かれている。図12は、この場合における、判定基準線Lが重ね合わされた基準画像の表示例である。検査者は、表示された撮像画像に映し出された長方形RT(適正範囲を規定)の位置と、4本の判定基準線Lで囲まれた判定パターンCRの位置とを比較することで、検査サンプルの良否判定を行う。すなわち、検査者は、口字の基準パターンRTの内側に判定パターンCRが存在する場合は検査サンプルが「良好」であると判断する。一方、基準パターンRTの範囲から判定パターンCRが外れている場合は「不良」であると判定する。なお、以下に述べる第2および第3の実施例では、図8に示した十字の基準パターンを有するテストチャートを用いた検査手法について説明しているが、図11に示した口字の基準パターン等を有するテストチャートを使用することも当然可能である。
【0052】
上記の説明は、判定基準線Lは水平方向および垂直方向にそれぞれ2本ずつ設定した場合について述べたものである。しかしながら、判定基準線Lは、水平/垂直方向にそれぞれ少なくとも1本あれば、ステレオカメラ1の撮像方向を検査することが可能となる。例えば、図10において、撮像方向のずれがまったく存在しない状態で十字の基準パターンと一致する位置に、水平/垂直の判定基準線Lを設定しておく。検査サンプルにおける表示画像において、垂直方向の判定基準線Lが十字の縦線と一致しないならば、水平方向の撮像ずれが生じていることになる。また、水平方向の判定基準線Lが十字の横線と一致しないならば、垂直方向の撮像ずれが生じていることになる。
【0053】
(第2の実施例)
図2は、第2の実施例にかかるステレオ式車外監視装置のブロック図である。本実施例における検査手法の特徴は、検査者の目視による検査(第1の実施例)に代えて、マイクロコンピュータ9において検査サンプルの撮像方向の良否を自動判定する点にある。したがって、図1におけるアナログコントローラ19と画像表示装置17とは、本実施例の内容を説明する上で直接関係しないため、図2においては省略している。なお、これらの装置17,19を用いた例については後述する。また、その他の構成要素については第1の実施例と同様であるから、図1と同じ符号を付することでここでの説明を省略する。
【0054】
図4は、第2の実施例にかかるステレオカメラの撮像方向の検査手順を示したフローチャートである。図8に示したテストチャート21が車輌前方における所定位置に配置された状態で(図7参照)、検査者は検査装置18から検査部13に対して検査ルーチンの開始を指示する。検査ルーチンの開始にともない、検査部13は、まず最初に、システムの初期化を行った後(ステップ11)、1フレーム分の基準画像をサンプリングする(ステップ12)。検査の対象となる画像データは、通常の監視制御と同様のデータ処理プロセスを経て、画像データメモリ7中にストアされたデジタル基準画像データである。
【0055】
つぎに、基準画像に設定された探索範囲R内に存在する評価ブロックEB毎に、マイクロコンピュータ9中のROMに予めストアされた輝度特性パターンBPとの相関が評価される(ステップ13)。図13は、輝度特性パターンBPを示した図である。輝度特性パターンBPは、水平方向が50画素で、垂直方向が30画素の矩形領域である。このパターンBPは、テストチャート21の十字交点部分(基準パターン)と同じ輝度特性を有している。輝度特性パターンBPにおける低輝度部分(十字の黒線に相当)の幅は、図7に示した位置に配置されたテストチャート21を撮像したときに、撮像画像に映し出された線幅と同一になるように設定されている。本実施例では、車輌22からテストチャート21までの距離Z1を考慮して、輝度特性パターンBPに低輝度部分の幅を10画素としている。
【0056】
図14は、基準画像領域における探索範囲Rを示した図である。探索範囲Rは、基準画像中に映し出された十字交点Cの理想的な位置(すなわち撮像ずれがまったくない場合における位置)を基準として設定されている。また、その面積は、ステレオカメラ1の取り付けずれに起因して生じ得る十字交点Cのずれの範囲よりもかなり広めに設定しておく。この探索範囲R内において二次元マッチングを行うことにより、輝度特性パターンBPの相関先、すなわち基準パターンである十字交点Cが映し出された位置が探索される。輝度特性パターンBPとの相関は、探索領域R内における50画素×30画素の領域(輝度特性ブロックBPと同一形状かつ同一面積)毎に評価される。この探索対象の単位となる領域を、以下、「評価ブロックEB」という。
【0057】
輝度特性パターンBPと評価ブロックEBとの間の相関は、例えば、数式1に示したシティブロック距離CBを算出することによって評価できる。同数式において、p1ijは輝度特性パターンBPのij番目の要素(輝度値)であり、p2ijは評価ブロックEBのij番目の要素(輝度値)である。シティブロック距離CBは、位置的に対応した輝度値p1ij,p2ij対の差(絶対値)の画素ブロック全体における総和であって、その差が小さいほど相関が大きいことを意味している。
【数1】
CB=Σ|p1ij−p2ij|
【0058】
そして、探索範囲Rの全域に渡って比較対象を水平/垂直方向に1画素ずつオフセットさせながら(二次元マッチング)、評価ブロックEB毎に一つのシティブロック距離CBを算出していく。
【0059】
ステップ13に続くステップ14において、輝度特性パターンBPの相関先である相関ブロックRLTが特定される。相関ブロックRLTは、シティブロック距離CBが最小となる(すなわち、最も大きな相関を有するとの評価結果を得た)評価ブロックEBである。
【0060】
そして、ステップ15において、相関ブロックRLTのシティブロック距離(最小シティブロック距離)CBminと所定の判定しきい値CBthとを比較することにより、相関結果の信頼性が判定される。例えば、探索範囲R内に十字交点Cが映し出されていないような状況においては、ステップ14において相関ブロックRLTが特定されても、そのシティブロック距離CBminは大きくなる。そこで、探索範囲R内に十字交点Cが映し出されているような状況では決して越えることのないしきい値CBthを適切に設定しておけば、相関結果の信頼を判定することができる。ステップ15において否定判定された場合、すなわち、最小シティブロック距離CBminが判定しきい値CBthよりも大きい場合は、相関結果の信頼性が低いものと判断してステップ23に進む。この場合、フェールフラグFAILが「1」(十字の一致検出失敗)にセットされる。十字交点Cの位置がわからなければ、撮像方向の目標(位置的な基準)を特定することができない。したがって、検査結果は「NG」となる(ステップ24)。検査装置18は、検査部13における検査結果を受けて、検査者に対して検査結果が「不良」である旨を通知する。そして、フェールフラグFAILが「1」にセットされていることから、それが一致検出の失敗(十字交点Cの検出失敗)に起因したものであることも併せて通知する。
【0061】
これに対して、ステップ15において肯定判定された場合は、相関結果は信頼できるものと判断して、ステップ16以降の手順に進む。まず、ステップ16において、基準画像における相関ブロックRLTの位置が特定される。相関ブロックRLTの位置はブロック左下の座標(i,J)によって示される。輝度特性パターンBPの相関先として特定された相関ブロックRLTの位置(I,J)は映し出された十字交点Cの位置に相当する。
【0062】
ステップ16に続くステップ17において、撮像方向の水平成分に関するずれが判定される。すなわち、相関ブロックRLTのi座標値Iが下限値Iminと上限値Imaxとで規定される適正範囲内に収まっている場合は、水平方向に関して、検査サンプルは「良好」であると判定される。この場合、ステップ18を経ることなく、直接ステップ19に進む。一方、i座標値Iがこの適正範囲から逸脱している場合は、水平方向における撮像異常であると判定される。この場合、ステップ18に進み、水平方向異常フラグNGHを「1」にセットした後、ステップ19に進む。なお、この異常フラグNGHは、初期的には「0」にセットされているため、撮像方向の水平成分が適正範囲内である場合は、「0」のままである。
【0063】
続くステップ19において、撮像方向の垂直成分に関するずれが判定される。すなわち、相関ブロックRLTのj座標値Jが下限値Jminと上限値Jmaxとで規定される適正範囲内に収まっている場合は、垂直方向に関して、検査サンプルは「良好」であると判定される。この場合、ステップ20を経ることなく、直接ステップ21に進む。一方、j座標値Jがこの適正範囲から逸脱している場合は、垂直方向における撮像異常であると判定される。この場合、ステップ20に進み、垂直方向異常フラグNGVを「1」にセットした後、ステップ21に進む。なお、この異常フラグNGVは、初期的には「0」にセットされているため、撮像方向の垂直成分が適正範囲内である場合は、「0」のままである。
【0064】
ステップ21において、水平方向異常フラグNGHと垂直方向異常フラグNGVとの双方が「0」であるか否かが判定される。フラグNGH,NGVがどちらも「0」である場合は、検査結果は「OK」となる(ステップ22)。この場合、検査装置18は、検査部13における検査結果を受けて、検査者に対して検査結果が「良好」である旨を通知する。
【0065】
これに対して、ステップ21において、いずれかのフラグNGH,NGVが「1」である場合は、検査結果は「NG」となる(ステップ24)。この場合、検査装置18は、検査部13における検査結果を受けて、検査者に対して検査結果が「不良」である旨を通知する。それとともに、水平方向異常フラグNGHが「1」にセットされている場合は、撮像方向が左右にずれ過ぎていることを併せて通知する。また、垂直方向異常フラグNGVが「1」にセットされている場合は、撮像方向が上下にずれ過ぎていることを併せて通知する。
【0066】
本実施例では、検査サンプルの撮像方向をマイクロコンピュータ9によって自動的に検査する。検査者は検査装置18からの通知によって検査サンプルの撮像方向の良否を知ることができる。したがって、第1の実施例のように、検査者が画像表示装置17上の撮像画像を目視によって検査する必要がないので、検査の一層の効率化を図ることができ、かつ検査結果の客観性を一層向上させることができる。
【0067】
なお、本実施例の変形例として、ナビゲーションディスプレイ17を検査結果(例えば、良好/不良)の表示用装置として用いてもよい(次に述べる第3の実施例についても同様)。この場合、第1の実施例と同様にアナログコントローラ19を用いて、検査部13で行われた検査結果をスーパーインポーズ部15で重ね合わせて表示すればよい。
【0068】
(第3の実施例)
図5は、第3の実施例にかかるステレオカメラの撮像方法の検査手順を示したフローチャートである。本実施例における検査手法の特徴は、撮像方向の垂直成分がずれている場合、ステップ20a(図4のステップ20と同様)の手順に続き、そのずれ量から図15に示した交換用プレートA〜Dのいずれか一つを選択している点である(ステップ20b)。そして、選択されたプレートを、調整指示情報として、検査装置18を介して検査者に通知している(ステップ24)。なお、図5に示した手順のうち第2の実施例と同様の手順については、図4と同一のステップ番号を付してここでの説明を省略する。また、本実施例における検査は、第2の実施例と同様に、図2に示したシステム構成を用いて行うことができる。
【0069】
図15は、取り付けプレート30として使用可能な複数のプレートの側面形状を示した図である。なお、側面形状を把握しやすくするために、テーパー形状が強調して図示されている。また、他のプレートA〜Dとの関係を把握しやすくするために標準プレートSTNDを均一な板厚として図示しているが、実際にはこのプレートSTNDもテーパー形状を有している。検査工程に先立つ取り付け工程では、取り付けプレート30として標準プレートSTNDが共通に使用されている。このような前提において、標準プレートSTNDの交換用プレートとして、4種類のプレートA〜Dが用意されている。すべてのプレートA〜Dの上面形状は同一形状(図19参照)であるが、側面のテーパー形状はプレート毎に微妙に異なっている。プレートBは、前部よりも後部の板厚の方が大くなるようなテーパー形状を有している。したがって、標準プレートSTNDをプレートBに交換することにより、ステレオカメラ1は従前よりも上向きになる(標準プレートSTNDを基準とした角度θbは例えば+1.0°)。
【0070】
また、プレートAは、プレートBよりもきついテーパー形状を有している。したがって、標準プレートSTNDをプレートAに交換することにより、ステレオカメラ1はプレートBを用いた場合よりもさらに上向きになる(例えばθa=+2.0°)。
【0071】
一方、プレートCは、プレートA,Bとは異なり、後部よりも前部の板厚の方が大くなるようなテーパー形状を有している。したがって、標準プレートSTNDをプレートCに交換することにより、ステレオカメラ1は従前よりも下向きになる(標準プレートSTNDを基準とした角度θcは例えば−1.0°)。
【0072】
さらに、プレートDは、プレートCよりもきついテーパー形状を有している。したがって、標準プレートSTNDをプレートDに交換することにより、ステレオカメラ1はプレートCを用いた場合よりもさらに下向きになる(例えばθa=−2.0°)。
【0073】
図6は、ステップ20bにおける取り付けプレート選択情報の生成手順を示したフローチャートである。また、図16は、相関ブロックRLTの垂直ずれ量J(以下単に「ずれ量J」という)と選択プレートA〜Dとの関係を示した図である。まず、ステップ31において、ずれ量Jが判定しきい値Jth1(>Jmax)よりも大きいか否かが判定される。ずれ量Jがこの値Jth1よりも大きくなってしまうのは、ステレオカメラ1がかなり下側を向いていることに起因している。したがって、この場合はステップ31における肯定判定からステップ35に進み、取り付けプレートの選択情報として、上向きへ大きな修正量を与えるプレートAが選択される。
【0074】
一方、ステップ31において否定判定された場合はステップ32に進み、ずれ量Jが判定しきい値Jth1から上限値Jmaxまでの範囲内であるか否かが判定される。ずれ量Jがこの範囲内であるということは、ステレオカメラ1が多少下側を向いていることを示している。したがって、この場合はステップ32における肯定判定からステップ36に進み、上向きへ小さな修正量を与えるプレートBが選択される。
【0075】
ステップ32において否定判定された場合はステップ33に進み、ずれ量Jが判定しきい値Jth2から下限値Jminまでの範囲内であるか否かが判定される。ずれ量Jがこの範囲内であるということは、ステレオカメラ1が多少上側を向いていることを示している。したがって、この場合はステップ33における肯定判定からステップ37に進み、下向きへ小さな修正量を与えるプレートCが選択される。一方、ステップ33において否定判定された場合はステップ34に進み、下向きへ大きな修正量を与えるプレートDが選択される。
【0076】
このように、本実施例では、ステレオカメラの撮像方向の検査をマイクロコンピュータ9によって自動的に行うことができるため、第2の実施例と同様に、検査の効率化を図ることができる。また、撮像方向の垂直成分が適正範囲から逸脱している場合、その逸脱している程度に応じて、予め用意された交換プレートA〜Dのいずれかが選択され、その選択情報が検査者に通知される。したがって、ステレオカメラの取り付け位置の再調整時において、作業者はこの選択情報を活用することにより、作業効率の大幅な向上を図ることができる。また、その逸脱量に基づいて、ステレオカメラの現在の取り付け状態に関する情報(例えば、取り付け位置のずれ量や撮像方向のずれ量等)を通知するようにしてもよい。この場合、再調整を行う作業者は、そのようなずれ量に応じて、選択チャート等を参照して適切なプレートを選択し、現在のプレートをその選択されたプレートに交換すればよい。
【0077】
また、上記の説明において、車長方向断面がテーパー形状を有する取り付けプレートによって、撮像方向の垂直成分を調整する手法について説明した。しかしながら、取り付けプレートの形状は、これに限定されるものではなく、例えば、車幅方向断面がテーパー形状であってもよい。この場合、形状が異なるプレートに変えることで、カメラの回転調整を行うことが可能とある。また、図19に示した車長方向前後に位置した3つのボス37の高さでテーパーを規定してもよい。本発明の特徴の一つは、カメラ本体とは独立して形成された取り付け部材を、形状が異なる他の部材に交換することで、カメラの撮像方向を調整可能とした点にある。したがって、その趣旨を逸脱しない範囲で様々なバリエーションが考えられるが、それらはいずれも本発明の適用範囲に含まれるものである。
【0078】
なお、上述した各実施例は、いずれもプレビューセンサとしてステレオカメラを用いた場合について説明した。しかしながら、本発明の適用範囲はステレオカメラに限定されるものではなく、単眼カメラについても適用することができることは当然である。また、特に、上述したようなステレオカメラの取り付け構造に関しては、カメラに限定されるものではなく、ミリ波やレーザ波等のように他の物理的現象を利用した車載用の監視センサの取り付け構造として広く適用することができる。
【0079】
なお、取り付け部材のテーパーの角度(上面と下面とがなすテーパー角))は、カメラが取り付けられた状態において、取り付けプレートとカメラとの接触面が水平面と一致しないような値とすることが好ましい。水平面に対して接触面が傾いていれば、走行時に生じる前後方向の加速に対して接触面において抗力が発生する。したがって、このような加速によるカメラの変位や経年的な位置ずれを抑制することができ、車外監視装置の信頼性を一層向上させることが可能となる。
【0080】
【発明の効果】
このように、本発明によれば、車載カメラの撮像方向の適否判定を容易に行うことができるため、検査工程の大幅な効率化を図ることができる。また、検査サンプルの撮像方向がずれていると判定された場合に、そのずれ量に関する情報(交換プレートの選択情報を含む)を作業者に提供することで、再調整工程の効率化を図ることである。
【図面の簡単な説明】
【図1】第1の実施例にかかるステレオ式車外監視装置のブロック図
【図2】第2および第3の実施例にかかるステレオ式車外監視装置のブロック図
【図3】第1の実施例にかかるステレオカメラの撮像方向の検査手順を示したフローチャート
【図4】第2の実施例にかかるステレオカメラの撮像方向の検査手順を示したフローチャート
【図5】第3の実施例にかかるステレオカメラの撮像方向の検査手順を示したフローチャート
【図6】取り付けプレート選択情報の生成手順を示したフローチャート
【図7】テストチャートの配置位置と車輌との関係図
【図8】テストチャートの一例を示した図
【図9】基準画像上に判定基準線を重ね合わせる処理の説明図
【図10】判定パターンが重ね合わされた基準画像の表示例
【図11】テストチャートの他の例を示した図
【図12】判定パターンが重ね合わされた基準画像の他の表示例
【図13】基準パターンを示した図
【図14】基準画像領域における探索範囲を示した図
【図15】プレートの側面形状を示した図
【図16】相関ブロックの水平方向ずれ量と選択プレートとの関係図
【図17】ステレオカメラの正面図
【図18】ステレオカメラの取り付け構造の全体的な展開斜視図
【図19】ステレオカメラの取り付け構造の要部を示した展開斜視図
【符号の説明】
1 ステレオカメラ(ステレオカメラ組立体)、
2a メインカメラ、 2b サブカメラ、
3 アナログインターフェース、 4 A/Dコンバータ、
5 補正回路、 6 ステレオ演算回路、
7 画像データメモリ、 8 距離データメモリ、
9 マイクロコンピュータ、 10 認識部、
11 警報装置、 12 制御装置、
13 検査部、 14 選択部、
15 スーパーインポーズ部、 16 ナビゲーションユニット、
17 画像表示装置(ナビゲーションディスプレイ)、
18 検査装置、 19 アナログコントローラ、
21 テストチャート、 22 車輌、
30 取り付けプレート、 31 シャーシ、
32 ロケータピン、 33 取り付けボルト、
34 スイッチコネクタ、 35 外装カバー、
36 目隠し板、 37 ボス、
38 識別マーク表示領域、 40 ルームミラー、
41 車体(フロントレール)
Claims (21)
- 車体に取り付けられたカメラにより撮像された撮像画像が表示装置に表示された撮像画像における基準パターンの位置と判定パターンの位置とを検査者が比較することにより、画像変換を撮像画像に施すことによる微調整可能な範囲にカメラの撮像方向が収まっているか否かを検査する検査方法において、
車輌前方の予め規定された位置に配置されていると共に前記基準パターンが描かれたテストチャートを、前記カメラで撮像することによって撮像画像を得るステップと、
撮像画像の所定の位置に、前記判定パターンを設定するステップと、
前記判定パターンが設定された撮像画像を、前記表示装置に表示するステップとを有し、
上記設定するステップは、画像変換による微調整が可能なずれの範囲を示すような前記判定パターンを設定するステップであることを特徴とする車載カメラの撮像方向の検査方法。 - 上記設定するステップは、水平方向に延在した二本の基準線と垂直方向に延在した二本の基準線とを有する前記判定パターンを、撮像画像に設定するステップであることを特徴とする請求項1に記載された車載カメラの撮像方向の検査方法。
- 上記表示するステップは、前記判定パターンが設定された撮像画像をナビゲーション装置が有するナビゲーションディスプレイに表示するステップであることを特徴とする請求項1に記載された車載カメラの撮像方向の検査方法。
- 車体に取り付けられたカメラの撮像方向が、画像変換を撮像画像に施すことによる微調整可能な範囲に収まっているか否かを検査する検査方法において、
車輌前方の予め規定された位置に配置されていると共に基準パターンが描かれたテストチャートを、前記カメラで撮影することによって撮像画像を得るステップと、
撮像画像における前記基準パターンの位置を特定するステップと、
当該特定された基準パターンの位置と、前記カメラの撮像方向に関する画像変換による微調整が可能なずれの範囲を規定した適正範囲との関係に基づいて、前記カメラの撮像方向の良否判定を行うステップと
を有することを特徴とする車載カメラの撮像方向の検査方法。 - 上記特定するステップは、
撮像画像中の所定の領域毎に、予め用意された所定の輝度特性パターンとの相関を評価するステップと、
最も大きな相関を有すると判断された前記領域の位置を、前記基準パターンの位置として特定するステップとを含み、
前記輝度特性パターンは、撮像画像に映し出された前記基準パターンと同じ輝度特性を有していることを特徴とする請求項4に記載された車載カメラの撮像方向の検査方法。 - 前記基準パターンの位置を特定するステップは、撮像画像における所定の探索範囲内を探索することにより、前記輝度特性パターンとの相関を評価するステップを含み、
前記探索範囲の設定位置は、前記カメラが適切に取り付けらた状態で撮像画像に映し出される前記基準パターンの位置に基づいて設定され、かつ、前記探索範囲の面積は、前記カメラの取り付けずれに起因した前記カメラの撮像方向のずれを考慮して設定されることを特徴とする請求項5に記載された車載カメラの撮像方向の検査方法。 - 前記基準パターンは、十字状のパターンまたは口字状のパターンであることを特徴とする請求項1から6のいずれかに記載された車載カメラの撮像方向の検査方法。
- 前記基準パターンが前記適正範囲から逸脱している場合、前記基準パターンの逸脱量に応じて、前記カメラの現在の取り付け状態に関する情報または前記カメラの取り付け調整に関する情報を検査者に通知するステップをさらに有することを特徴とする請求項4,5または6に記載された車載カメラの撮像方向の検査方法。
- 前記カメラは、交換可能な取り付け部材を介して車体に取り付けられており、前記取り付け部材の形状によって前記カメラの撮像方向が決定される車載カメラの撮像方向の検査方法において、
上記通知するステップは、予め用意され、かつそれぞれか異なる形状を有する複数の取り付け部材から、前記基準パターンの逸脱量が最も小さくなるような形状を有する取り付け部材を選択し、当該選択された取り付け部材を検査者に通知するステップであることを特徴とする請求項8に記載された車載カメラの撮像方向の検査方法。 - 前記カメラは、一対のカメラを有するステレオカメラであって、前記撮像画像は、一方のカメラによって撮像された画像であることを特徴とする請求項1から9のいずれかに記載された車載カメラの撮像方向の検査方法。
- 画像変換を撮像画像に施すことによる微調整可能な範囲に車載カメラの撮像方向が収まっているか否かを検査する検査装置において、
車体に取り付けられ、かつ、車輌前方の状況を撮像することにより撮像画像を出力するカメラと、
前記撮像画像にスーパーインポーズ処理を施すように指示された場合に、撮像画像の所定の位置に所定の判定パターンを重ね合わせる処理手段と、
撮像画像を表示する表示手段とを有し、
前記カメラは、検査時において、車輌前方の予め規定された位置に配置され、かつ所定の基準パターンが描かれたテストチャートを撮像し、
前記処理手段は、検査時において、撮像画像にスーパーインポーズ処理を施し、
前記表示装置は、検査時において、撮像画像における前記基準パターンの位置と前記判定パターンの位置とを比較可能な状態で表示し、
前記処理手段は、画像変換による微調整が可能なずれの範囲を示すような前記所定のパターンを重ね合わせることを特徴とする車載カメラの撮像方向の検査装置。 - 前記処理手段は、水平方向に延在した二本の基準線と垂直方向に延在した二本の基準線とを有する前記判定パターンを、撮像画像に重ね合わせることを特徴とする請求項11に記載された車載カメラの撮像方向の検査装置。
- 上記表示装置は、ナビゲーション装置が有するナビゲーションディスプレイであることを特徴とする請求項11に記載された車載カメラの撮像方向の検査装置。
- 車体に取り付けられたカメラの撮像方向が、画像変換を撮像画像に施すことによる微調整可能な範囲に収まっているか否かを検査する検査装置において、
車体に取り付けられ、かつ、車輌前方の状況を撮像することにより撮像画像を出力するカメラと、
検査時に車輌前方の予め規定された位置に配置されていると共に所定の基準パターンが描かれたテストチャートを、前記カメラで撮像することによって得られた撮像画像に基づいて、前記カメラの撮像方向を検査する検査手段とを有し、
前記検査手段は、撮像画像における前記基準パターンの位置を特定し、当該特定された基準パターンの位置が前記カメラの撮像方向に関する画像変換による微調整が可能なずれの範囲を規定した適正範囲内にある場合、前記カメラの撮像方向が良好であると判定すると共に、前記基準パターンの位置が前記適正範囲から外れている場合、前記カメラの撮像方向が不良であると判定することを特徴とする車載カメラの撮像方向の検査装置。 - 前記検査手段は、撮像画像中の所定の領域毎に、予め用意された所定の輝度特性パターンとの相関を評価すると共に、最も大きな相関を有すると判断された領域の位置を前記基準パターンの位置として特定し、
前記輝度特性パターンは、撮像画像に映し出された前記基準パターンと同じ輝度特性を有していることを特徴とする請求項14に記載された車載カメラの撮像方向の検査装置。 - 前記検査手段は、撮像画像における所定の探索範囲内において、当該探索領域内に存在する前記領域毎に前記輝度特性パターンとの相関を評価し、
前記探索範囲の設定位置は、前記カメラが適切に取り付けらた状態で撮像画像に映し出される前記基準パターンの位置に基づいて設定され、かつ、前記探索範囲の面積は、前記カメラの取り付けずれに起因した前記カメラの撮像方向のずれを考慮して設定されることを特徴とする請求項15に記載された車載カメラの撮像方向の検査装置。 - 前記基準パターンは、十字状のパターンまたは口字状のパターンであることを特徴とする請求項11から16のいずれかに記載された車載カメラの撮像方向の検査装置。
- 取り付け部材をさらに有し、
前記カメラは、前記取り付け部材を介して車体に取り付けられており、
前記検査手段は、前記基準パターンの位置が前記適正範囲から外れている場合、前記適正範囲を基準とした前記基準パターンの逸脱量に応じて、前記カメラの取り付け調整に関する指示情報を出力することを特徴とする請求項14,15また16に記載された車載カメラの撮像方向の検査装置。 - 前記取り付け部材は、前記カメラとは独立した交換可能な部材であって、前記取り付け部材の形状によって前記カメラの撮像方向が決定され、
前記検査手段は、それぞれか異なる形状を有する複数の交換用の取り付け部材から、前記基準パターンの逸脱量が最も小さくなるような形状を有する前記取り付け部材を選択し、当該選択された取り付け部材に関する指示情報を出力することを特徴とする請求項18に記載された車載カメラの撮像方向の検査装置。 - 前記取り付け部材は、車長方向断面がテーパー形状を有する板状部材であって、前記テーパー形状によって、前記カメラの撮像方向の垂直成分が決定されることを特徴とする請求項19に記載された車載カメラの撮像方向の検査装置。
- 前記カメラは、ステレオカメラであることを特徴とする請求項11から20のいずれかに記載された車載カメラの撮像方向の検査装置。
Priority Applications (7)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP26956799A JP3565749B2 (ja) | 1999-09-22 | 1999-09-22 | 車載カメラの撮像方向の検査方法およびその検査装置 |
EP00119593A EP1089054B1 (en) | 1999-09-22 | 2000-09-07 | Camera mounting and alignment arrangement |
EP20100151778 EP2184579B1 (en) | 1999-09-22 | 2000-09-07 | Structure for mounting an onboard sensor |
DE60045606T DE60045606D1 (de) | 1999-09-22 | 2000-09-07 | Ausrichtungs- und Befestigungsanordnung für eine Kamera |
US09/665,950 US7248287B1 (en) | 1999-09-22 | 2000-09-21 | Method for examining shooting direction of camera apparatus, device thereof and structure for installing sensor |
US11/773,191 US7800688B2 (en) | 1999-09-22 | 2007-07-03 | Method for examining shooting direction of camera apparatus, device thereof and structure for installing sensor |
US12/856,027 US8508657B2 (en) | 1999-09-22 | 2010-08-13 | Method for examining shooting direction of camera apparatus, device thereof and structure for installing sensor |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP26956799A JP3565749B2 (ja) | 1999-09-22 | 1999-09-22 | 車載カメラの撮像方向の検査方法およびその検査装置 |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2003190565A Division JP4265756B2 (ja) | 2003-07-02 | 2003-07-02 | 車載カメラの取り付け構造 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2001091984A JP2001091984A (ja) | 2001-04-06 |
JP3565749B2 true JP3565749B2 (ja) | 2004-09-15 |
Family
ID=17474171
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP26956799A Expired - Fee Related JP3565749B2 (ja) | 1999-09-22 | 1999-09-22 | 車載カメラの撮像方向の検査方法およびその検査装置 |
Country Status (4)
Country | Link |
---|---|
US (3) | US7248287B1 (ja) |
EP (2) | EP1089054B1 (ja) |
JP (1) | JP3565749B2 (ja) |
DE (1) | DE60045606D1 (ja) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9308862B2 (en) | 2006-03-27 | 2016-04-12 | Panasonic Intellectual Property Management Co., Ltd. | Drive assistance device |
US20220165065A1 (en) * | 2019-10-31 | 2022-05-26 | Aptiv Technologies Limited | Multi-Domain Neighborhood Embedding and Weighting of Sampled Data |
Families Citing this family (37)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7655894B2 (en) | 1996-03-25 | 2010-02-02 | Donnelly Corporation | Vehicular image sensing system |
JP3479006B2 (ja) * | 1999-09-22 | 2003-12-15 | 富士重工業株式会社 | 車載カメラの検査方法ならびに装置 |
JP2003037855A (ja) * | 2001-07-26 | 2003-02-07 | Clarion Co Ltd | 画像校正用データの計測装置及び計測方法 |
DE10218228A1 (de) * | 2002-04-24 | 2003-11-06 | Volkswagen Ag | Verfahren und Einrichtung zur Funktionskontrolle einer Videokamera in einem Fahrzeug |
WO2003093857A2 (en) | 2002-05-03 | 2003-11-13 | Donnelly Corporation | Object detection system for vehicle |
JP3902109B2 (ja) | 2002-10-02 | 2007-04-04 | 本田技研工業株式会社 | 赤外線カメラ特性確認治具 |
FR2858509B1 (fr) * | 2003-07-28 | 2005-10-14 | Citilog | Procede pour calibrer au moins deux cameras video l'une par rapport a l'autre pour prise de vues steroscopiques et dispositif permettant de mettre en oeuvre le procede |
US7119876B2 (en) | 2004-10-18 | 2006-10-10 | Asml Netherlands B.V. | Lithographic apparatus and device manufacturing method |
US20080001727A1 (en) * | 2004-11-15 | 2008-01-03 | Hitachi, Ltd. | Stereo Camera |
US7590263B2 (en) | 2004-11-30 | 2009-09-15 | Honda Motor Co., Ltd. | Vehicle vicinity monitoring apparatus |
JP4224449B2 (ja) | 2004-11-30 | 2009-02-12 | 本田技研工業株式会社 | 画像抽出装置 |
JP4032052B2 (ja) | 2004-11-30 | 2008-01-16 | 本田技研工業株式会社 | 位置検出装置及びその補正方法 |
US7599521B2 (en) | 2004-11-30 | 2009-10-06 | Honda Motor Co., Ltd. | Vehicle vicinity monitoring apparatus |
JP4461091B2 (ja) | 2004-11-30 | 2010-05-12 | 本田技研工業株式会社 | 位置検出装置及びその補正方法 |
JP4622637B2 (ja) * | 2005-04-04 | 2011-02-02 | トヨタ自動車株式会社 | 車載カメラ姿勢補正装置および車載カメラ姿勢補正方法 |
US7786898B2 (en) * | 2006-05-31 | 2010-08-31 | Mobileye Technologies Ltd. | Fusion of far infrared and visible images in enhanced obstacle detection in automotive applications |
KR100803422B1 (ko) | 2006-06-16 | 2008-02-14 | 현대자동차주식회사 | 차량의 차선이탈 경보장치 검사시스템 및 그 방법 |
JP5124147B2 (ja) * | 2007-02-01 | 2013-01-23 | 三洋電機株式会社 | カメラ校正装置及び方法並びに車両 |
JP5091902B2 (ja) * | 2009-03-31 | 2012-12-05 | アイシン精機株式会社 | 車載カメラの校正に用いられる校正指標と、当該校正指標を用いた車載カメラの校正方法と、システムと、当該システムのためのプログラム |
JP5471038B2 (ja) * | 2009-05-27 | 2014-04-16 | アイシン精機株式会社 | 校正目標検出装置と、校正目標を検出する校正目標検出方法と、校正目標検出装置のためのプログラム |
US9041807B2 (en) * | 2010-01-29 | 2015-05-26 | Fujitsu Ten Limited | Image processing device and image processing method |
KR101129326B1 (ko) * | 2010-06-16 | 2012-03-27 | 허성용 | 영상 촬영용 광축 정렬 장치 및 광축 정렬 방법 |
CN102829737B (zh) * | 2011-06-14 | 2015-05-20 | 致伸科技股份有限公司 | 判断影像撷取装置的镜头及感测元件是否互相平行的方法 |
US8395666B1 (en) * | 2011-09-04 | 2013-03-12 | Videoq, Inc. | Automated measurement of video quality parameters |
FR2979989B1 (fr) * | 2011-09-13 | 2016-01-08 | Fb Technology | Equipement mobile de controle des feux de balisage aeroportuaire |
TWI513105B (zh) | 2012-08-30 | 2015-12-11 | Ind Tech Res Inst | 雙頻耦合饋入天線、交叉極化天線以及使用該天線的可調式波束模組 |
US8780210B1 (en) * | 2013-02-01 | 2014-07-15 | Videoq, Inc. | Video quality analyzer |
JP2014167552A (ja) * | 2013-02-28 | 2014-09-11 | Ichikoh Ind Ltd | 車両用映像表示システム |
JP2014178494A (ja) * | 2013-03-14 | 2014-09-25 | Ricoh Co Ltd | 視差画像撮像装置 |
JP6337269B2 (ja) * | 2014-04-09 | 2018-06-06 | パナソニックIpマネジメント株式会社 | 車両評価装置 |
JP6260424B2 (ja) * | 2014-04-16 | 2018-01-17 | 株式会社デンソー | 車載カメラの取り付け誤差検出装置 |
CN111694374B (zh) * | 2016-03-01 | 2024-02-20 | 深圳市大疆创新科技有限公司 | 飞行控制方法、装置、控制终端、飞行***及处理器 |
JP2017158100A (ja) * | 2016-03-03 | 2017-09-07 | 富士ゼロックス株式会社 | 集積回路及び画像処理装置 |
DE102016208398B4 (de) * | 2016-05-17 | 2018-04-12 | Conti Temic Microelectronic Gmbh | Verfahren zur Kalibrierung einer Fahrzeugkamera |
DE102017219688A1 (de) * | 2017-11-06 | 2019-05-09 | Conti Temic Microelectronic Gmbh | Verfahren zur Kalibrierung einer Fahrzeugkamera |
EP3923106A1 (en) * | 2020-06-08 | 2021-12-15 | KNORR-BREMSE Systeme für Nutzfahrzeuge GmbH | Apparatus for validating a position or orientation of a sensor of an autonomous vehicle |
US11740078B2 (en) | 2020-07-21 | 2023-08-29 | Argo AI, LLC | Enhanced sensor alignment |
Family Cites Families (33)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPS6021675A (ja) * | 1983-07-18 | 1985-02-04 | Toyota Motor Corp | 計測機器におけるテレビカメラ位置ずれ自動補正方法及び装置 |
DD226985A1 (de) * | 1984-08-06 | 1985-09-04 | Univ Schiller Jena | Verfahren zur ermittlung der lage einer strichkreuzmarke |
US4846382A (en) * | 1988-01-13 | 1989-07-11 | Nancy E. Foultner | Dash mounting device |
US4863130A (en) * | 1989-01-13 | 1989-09-05 | Marks Jr Franklin J | Adjustable device for mounting an electronic imaging camera to a surface by vacuum |
US5175616A (en) * | 1989-08-04 | 1992-12-29 | Her Majesty The Queen In Right Of Canada, As Represented By The Minister Of National Defence Of Canada | Stereoscopic video-graphic coordinate specification system |
US5159436A (en) * | 1991-05-02 | 1992-10-27 | Cactus Computers, Inc. | Technique for detecting color misregistration and misconvergence in video color displays and cameras |
JP3487436B2 (ja) * | 1992-09-28 | 2004-01-19 | ソニー株式会社 | ビデオカメラシステム |
US5246193A (en) * | 1992-12-23 | 1993-09-21 | Faidley Warren E | Mobile camera mount |
US5670935A (en) * | 1993-02-26 | 1997-09-23 | Donnelly Corporation | Rearview vision system for vehicle including panoramic view |
JP2887039B2 (ja) * | 1993-03-26 | 1999-04-26 | 三菱電機株式会社 | 車両周辺監視装置 |
JP3287117B2 (ja) * | 1994-07-05 | 2002-05-27 | 株式会社日立製作所 | 撮像装置を用いた車両用の環境認識装置 |
JP3653783B2 (ja) * | 1995-04-03 | 2005-06-02 | スズキ株式会社 | 車載用画像処理装置及び画像表示システム |
US5768443A (en) * | 1995-12-19 | 1998-06-16 | Cognex Corporation | Method for coordinating multiple fields of view in multi-camera |
JPH09312860A (ja) * | 1996-05-23 | 1997-12-02 | Sony Corp | 画像検査装置 |
JP3147002B2 (ja) * | 1996-09-26 | 2001-03-19 | 富士電機株式会社 | 距離検出値の補正方法 |
JP3460472B2 (ja) * | 1996-10-01 | 2003-10-27 | 日産自動車株式会社 | 車両用カメラ |
US6067147A (en) * | 1997-01-09 | 2000-05-23 | Fuji Electric Co., Ltd. | Distance-measuring apparatus |
KR100576526B1 (ko) * | 1997-01-09 | 2007-07-09 | 후지 덴키 가부시끼가이샤 | 거리 측정 장치 |
AU6057998A (en) * | 1997-04-15 | 1998-10-22 | Rohm And Haas Company | Process to prepare chloroketones using oxazolines |
JP3612946B2 (ja) * | 1997-07-15 | 2005-01-26 | ミノルタ株式会社 | カラー表示装置の表示特性測定装置 |
US5935808A (en) * | 1997-07-29 | 1999-08-10 | Yissum Research And Development Company Of The Hebrew University Of Jerusalem | Carotenoid-producing bacterial species and process for production of carotenoids using same |
US5833101A (en) * | 1997-08-28 | 1998-11-10 | Watkins; D. Scott | Camera mount |
US6116485A (en) * | 1997-08-28 | 2000-09-12 | Watkins; D. Scott | Camera mount |
JPH1178717A (ja) * | 1997-09-13 | 1999-03-23 | Honda Motor Co Ltd | 車両搭載カメラ |
JPH1178716A (ja) * | 1997-09-16 | 1999-03-23 | Sony Corp | ビデオカメラ取り付け装置 |
JP3728900B2 (ja) * | 1997-10-17 | 2005-12-21 | ソニー株式会社 | キャリブレーション方法及び装置、並びにキャリブレーション用データ生成方法 |
JPH11178717A (ja) | 1997-12-11 | 1999-07-06 | Master Foods Ltd | 飲料供給装置 |
US6170955B1 (en) * | 1998-02-27 | 2001-01-09 | Iteris, Inc. | Vehicle mounted optical assembly |
JP4172554B2 (ja) * | 1998-03-12 | 2008-10-29 | 富士重工業株式会社 | ステレオカメラの調整装置 |
JP3284190B2 (ja) * | 1998-05-14 | 2002-05-20 | 富士重工業株式会社 | ステレオカメラの画像補正装置 |
US6231017B1 (en) * | 1999-02-16 | 2001-05-15 | D. Scott Watkins | Mount bar for video recording and display devices |
JP3479006B2 (ja) * | 1999-09-22 | 2003-12-15 | 富士重工業株式会社 | 車載カメラの検査方法ならびに装置 |
JP3877475B2 (ja) * | 1999-09-22 | 2007-02-07 | 富士重工業株式会社 | 車載カメラの取付構造 |
-
1999
- 1999-09-22 JP JP26956799A patent/JP3565749B2/ja not_active Expired - Fee Related
-
2000
- 2000-09-07 EP EP00119593A patent/EP1089054B1/en not_active Expired - Lifetime
- 2000-09-07 EP EP20100151778 patent/EP2184579B1/en not_active Expired - Lifetime
- 2000-09-07 DE DE60045606T patent/DE60045606D1/de not_active Expired - Lifetime
- 2000-09-21 US US09/665,950 patent/US7248287B1/en not_active Expired - Fee Related
-
2007
- 2007-07-03 US US11/773,191 patent/US7800688B2/en not_active Expired - Fee Related
-
2010
- 2010-08-13 US US12/856,027 patent/US8508657B2/en not_active Expired - Fee Related
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9308862B2 (en) | 2006-03-27 | 2016-04-12 | Panasonic Intellectual Property Management Co., Ltd. | Drive assistance device |
US20220165065A1 (en) * | 2019-10-31 | 2022-05-26 | Aptiv Technologies Limited | Multi-Domain Neighborhood Embedding and Weighting of Sampled Data |
US11693090B2 (en) * | 2019-10-31 | 2023-07-04 | Aptiv Technologies Limited | Multi-domain neighborhood embedding and weighting of sampled data |
Also Published As
Publication number | Publication date |
---|---|
US20100302370A1 (en) | 2010-12-02 |
US8508657B2 (en) | 2013-08-13 |
EP2184579A1 (en) | 2010-05-12 |
US20080036866A1 (en) | 2008-02-14 |
US7248287B1 (en) | 2007-07-24 |
US7800688B2 (en) | 2010-09-21 |
EP1089054A3 (en) | 2001-10-04 |
EP2184579B1 (en) | 2015-05-20 |
EP1089054A2 (en) | 2001-04-04 |
EP1089054B1 (en) | 2011-02-09 |
JP2001091984A (ja) | 2001-04-06 |
DE60045606D1 (de) | 2011-03-24 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP3565749B2 (ja) | 車載カメラの撮像方向の検査方法およびその検査装置 | |
JP3479006B2 (ja) | 車載カメラの検査方法ならびに装置 | |
JP3255360B2 (ja) | 距離データの検査方法およびその検査装置 | |
JP2008085710A (ja) | 運転支援システム | |
JP4265756B2 (ja) | 車載カメラの取り付け構造 | |
KR20190124452A (ko) | 용접비드 비전 검사 장치 및 용접 불량 검사방법 | |
JP6277468B2 (ja) | 車両前方電柱位置検査装置 | |
JPH09202180A (ja) | 車載カメラ装置 | |
JP2005016979A (ja) | 車載カメラ校正治具及び車載カメラ校正方法 | |
JP6088944B2 (ja) | 作業機械の周囲監視装置 | |
CN113504239A (zh) | 一种品质管控数据分析方法 | |
CN112954309A (zh) | 一种基于ar-hud增强现实在车载对目标跟踪效果的试验方法 | |
US20230249276A1 (en) | Method and apparatus for generating arc image-based welding quality inspection model using deep learning and arc image-based welding quality inspecting apparatus using the same | |
JP4248212B2 (ja) | ステレオ画像処理装置およびステレオ画像処理方法 | |
JP7331311B2 (ja) | 画像検査装置及び画像検査プログラム | |
KR20210120229A (ko) | 영상기반 지그 검사 시스템 및 그 방법 | |
JP2004069437A (ja) | テストチャート、ステレオカメラの位置ずれ検査装置および位置ずれ検査方法 | |
JPH06105212B2 (ja) | ヘツドライトの主光軸検査方法 | |
CN116916156B (zh) | 一种监视***分视野显示方法及*** | |
JPH08122062A (ja) | 車両周辺監視装置 | |
JP2020175828A (ja) | 誘導装置 | |
KR900004371B1 (ko) | 헤드라이트의 광축조정방법 및 장치 | |
CN118284784A (zh) | 错位测定***、焊接钢管的制造设备、摄像终端、摄像***、信息处理装置、错位测定方法、焊接钢管的制造方法以及焊接钢管的质量管理方法 | |
CN114708228A (zh) | 基于图像识别处理的焊缝检验装置 | |
JP2000175182A (ja) | 車載用監視カメラシステム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20040608 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20040608 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 3565749 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20080618 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090618 Year of fee payment: 5 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090618 Year of fee payment: 5 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100618 Year of fee payment: 6 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110618 Year of fee payment: 7 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110618 Year of fee payment: 7 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120618 Year of fee payment: 8 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120618 Year of fee payment: 8 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130618 Year of fee payment: 9 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
S531 | Written request for registration of change of domicile |
Free format text: JAPANESE INTERMEDIATE CODE: R313531 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
S533 | Written request for registration of change of name |
Free format text: JAPANESE INTERMEDIATE CODE: R313533 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
LAPS | Cancellation because of no payment of annual fees |