JP2007037011A - Image processing apparatus - Google Patents
Image processing apparatus Download PDFInfo
- Publication number
- JP2007037011A JP2007037011A JP2005221059A JP2005221059A JP2007037011A JP 2007037011 A JP2007037011 A JP 2007037011A JP 2005221059 A JP2005221059 A JP 2005221059A JP 2005221059 A JP2005221059 A JP 2005221059A JP 2007037011 A JP2007037011 A JP 2007037011A
- Authority
- JP
- Japan
- Prior art keywords
- points
- image
- point
- corresponding point
- feature
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Landscapes
- Image Processing (AREA)
- Closed-Circuit Television Systems (AREA)
- Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
- Image Analysis (AREA)
- Measurement Of Optical Distance (AREA)
Abstract
Description
本発明は、複数の撮像手段による複数の画像に基づいて対応点を算出し、算出した対応点に基づいて物体を検出するもので、撮像手段の異常を正確に判定することのできる物体検出装置に関する。 The present invention calculates corresponding points based on a plurality of images from a plurality of imaging means, detects an object based on the calculated corresponding points, and can detect an abnormality of the imaging means accurately. About.
複数の入力画像、即ち通常、ステレオ画像と呼ばれる一対の画像に基づいて、視差を利用して物体の位置を検出する画像処理装置が知られており、下記［特許文献１］にも開示がある。下記［特許文献１］に記載のものでは、ステレオカメラによって取得したステレオ画像上の小領域に注目して対応点（ステレオ画像の右画像と左画像とで同一部分を示す点）を探索したときの差分値Ｓと呼ばれる値の最小値が所定値以上の場合には、前記小領域をノイズ（上記公報中では雑音と呼ばれている）として除去し、除去したノイズの数量が所定量を超えたときに光学系（ステレオカメラ）の異常として警報信号が出力される。
しかし、［特許文献１］に記載のものでは、抽出した特徴点（入力画像中において画像処理上特徴となる点）の対応点を探索するとき、室内駐車場等では、画像に特徴部分が少なく、特徴点数が減少し、対応点の数も減少するため、異常でないのに異常と判定してしまうおそれがある。また、対応点数が少ない理由が、光学系の撮像機能（例えば、映像信号線の断線など）が原因か光軸のズレが原因か判別できない。従って、本発明の目的は、撮像手段の異常を正確に判定することが可能な物体検出装置を提供することにある。 However, in the one described in [Patent Document 1], when searching for corresponding points of the extracted feature points (points that are characteristic in image processing in the input image), there are few feature portions in the image in an indoor parking lot or the like. Since the number of feature points is reduced and the number of corresponding points is also reduced, there is a possibility that it is determined to be abnormal although it is not abnormal. Further, it cannot be determined whether the reason why the number of corresponding points is small is due to the imaging function of the optical system (for example, disconnection of the video signal line) or the optical axis shift. Accordingly, an object of the present invention is to provide an object detection apparatus capable of accurately determining an abnormality of an imaging unit.
請求項１に記載の画像処理装置は、複数の撮像手段による複数の画像に基づいて対応点を算出し、算出した対応点に基づいて物体を検出するもので、各画像の特徴点を抽出する特徴点抽出手段と、特徴点の数を計測する特徴点数計測手段と、特徴点の内、複数の画像に共通して存在する特徴点を対応点として検出する対応点検出手段と、対応点の数を計測する対応点数計測手段と、を備え、対応点検出手段は画像の所定領域のみ対応点を検索し、特徴点の点数に対する対応点の点数が所定基準未満である場合に、撮像手段の光軸が異常であると判定することを特徴としている。 The image processing apparatus according to claim 1 calculates corresponding points based on a plurality of images from a plurality of imaging units, detects an object based on the calculated corresponding points, and extracts feature points of each image. A feature point extracting unit; a feature point number measuring unit for measuring the number of feature points; a corresponding point detecting unit for detecting a feature point that is common to a plurality of images among the feature points as a corresponding point; Corresponding point number measuring means for measuring the number of points, the corresponding point detecting means searches for a corresponding point only in a predetermined area of the image, and when the number of corresponding points with respect to the number of feature points is less than a predetermined reference, It is characterized by determining that the optical axis is abnormal.
請求項２に記載の発明は、請求項１に記載の画像処理装置において、複数の撮像手段はその光軸が平行となるよう設置され、対応点検出手段は、上述した平行な方向の所定領域の長さが、平行な方向と直交する方向の長さよりも長いことを特徴としている。 According to a second aspect of the present invention, in the image processing apparatus according to the first aspect, the plurality of imaging units are installed so that the optical axes thereof are parallel, and the corresponding point detection unit is configured as the predetermined region in the parallel direction described above. Is longer than the length in the direction orthogonal to the parallel direction.
請求項３に記載の発明は、請求項２に記載の画像処理装置において、異常と判定した場合には、画像での垂直方向で、複数の撮像手段の光軸が正常な位置関係にないと判定することを特徴としている。 According to a third aspect of the present invention, in the image processing apparatus according to the second aspect, when it is determined that there is an abnormality, the optical axes of the plurality of imaging means are not in a normal positional relationship in the vertical direction in the image. It is characterized by judging.
請求項４に記載の画像処理装置は、複数の撮像手段による複数の画像に基づいて対応点を算出し、算出した対応点に基づいて物体を検出するもので、各画像の特徴点を抽出する特徴点抽出手段と、特徴点の内、複数の画像に共通して存在する特徴点を対応点として検出する対応点検出手段と、対応点の情報に基づいて、検出した対応点が異常対応点か否かを判定する異常対応点判定手段と、異常対応点の数を計測する異常対応点数計測手段と、特徴点の数を計測する特徴点数計測手段又は対応点の数を計測する対応点数計測手段と、を備え、特徴点数又は対応点数に対する異常対応点数が所定基準以上である場合に、撮像手段の光軸が異常であると判定することを特徴としている。 The image processing apparatus according to claim 4 calculates corresponding points based on a plurality of images by a plurality of imaging means, detects an object based on the calculated corresponding points, and extracts feature points of each image. Feature point extraction means, corresponding point detection means for detecting feature points that exist in common among a plurality of images as corresponding points, and the detected corresponding points based on the information on the corresponding points are abnormal corresponding points Abnormality corresponding point determining means for determining whether or not, abnormality corresponding point number measuring means for measuring the number of abnormality corresponding points, feature point number measuring means for measuring the number of feature points, or corresponding point number measurement for measuring the number of corresponding points And an optical axis of the imaging means is determined to be abnormal when the number of characteristic points or the number of abnormal corresponding points with respect to the number of corresponding points is equal to or greater than a predetermined reference.
請求項５に記載の発明は、請求項４に記載の画像処理装置において、異常対応点数計測手段は、視差の値がマイナスの値である対応点数の数を異常対応点数とすることを特徴としている。 According to a fifth aspect of the present invention, in the image processing apparatus according to the fourth aspect of the invention, the abnormality-corresponding point number measuring means sets the number of corresponding points having a negative parallax value as the abnormality-corresponding point number. Yes.
請求項６に記載の発明は、請求項５に記載の画像処理装置において、異常と判定した場合には、画像での水平方向で、複数の撮像手段の光軸が正常な位置関係にないと判定することを特徴としている。 According to a sixth aspect of the present invention, in the image processing apparatus according to the fifth aspect, when it is determined that there is an abnormality, the optical axes of the plurality of imaging means are not in a normal positional relationship in the horizontal direction in the image. It is characterized by judging.
請求項７に記載の発明は、請求項４に記載の画像処理装置において、検出した対応点の三次元座標系における高さを算出する高さ算出手段を備え、異常対応点数計測手段は、高さの値がマイナスの値を持つ対応点数の数を異常対応点数とすることを特徴としている。 According to a seventh aspect of the present invention, in the image processing apparatus according to the fourth aspect of the present invention, the image processing apparatus further comprises a height calculating means for calculating the height of the detected corresponding point in the three-dimensional coordinate system, The feature is that the number of corresponding points having a negative value is set as the number of abnormal corresponding points.
請求項８に記載の発明は、請求項７に記載の画像処理装置において、異常と判定した場合には、画像での垂直方向で、複数の撮像手段の光軸が正常な位置関係にないと判定することを特徴としている。 According to an eighth aspect of the present invention, in the image processing apparatus according to the seventh aspect, when it is determined that there is an abnormality, the optical axes of the plurality of imaging means are not in a normal positional relationship in the vertical direction in the image. It is characterized by judging.
請求項９に記載の発明は、請求項１〜８の何れか一項に記載の画像処理装置において、特徴点はエッジ点であることを特徴としている。エッジ点とは、画像の明度変化率が局所的に最大値となる（極大値となる）点（場所：位置）のことである。 According to a ninth aspect of the present invention, in the image processing apparatus according to any one of the first to eighth aspects, the feature point is an edge point. An edge point is a point (location: position) where the rate of change in brightness of an image is locally maximum (maximum value).
「特徴点を検出＝撮像手段の機能が正常（信号線断線などでは特徴点が検出できない）」、「対応点を検出＝カメラ光軸位置が正常」と考えると、特徴点が多い場合、即ち、撮像手段の機能が正常に機能していると判断できる場合のみ、撮像手段の光軸位置の状態を判別することになるため、請求項１に記載の画像処理装置によれば、撮像手段の光軸の位置ズレ（方向ズレ）を確実に検出することが可能となる。なお、所定領域についてのみ対応点を検出するため、光軸がずれていると、対応点が定まらない（複数の入力画像で対応する所定領域の位置自体がずれてしまうため）。 Considering that “feature point detection = normal function of imaging means (feature point cannot be detected due to broken signal line)” and “detection of corresponding point = normal camera optical axis position”, Since the state of the optical axis position of the imaging means is determined only when it can be determined that the function of the imaging means is functioning normally, the image processing apparatus according to claim 1, It is possible to reliably detect the positional deviation (direction deviation) of the optical axis. Since the corresponding point is detected only for the predetermined region, the corresponding point cannot be determined if the optical axis is shifted (because the position of the predetermined region corresponding to the plurality of input images is shifted).
ここで、複数の撮像手段を、その光軸が平行となるよう設置し、この平行な方向の所定領域の長さが、平行な方向と直交する方向の長さよりも長い所定領域を対応点検出手段が検索することが好ましい。平行な方向に視差が発生するため、平行な方向の探索範囲を長くして、理論上ずれることのない前記平行な方向と直交する方向の長さを短くした、長方形の探索範囲とする。また、ここで、水平方向のみ対応点を探索した際に異常であると判定される場合には、複数の撮像手段間が垂直方向に正常な位置関係にないと判定することで、複数の撮像手段の垂直方向の位置ズレを正確に検出することができる。 Here, a plurality of imaging means are installed so that their optical axes are parallel, and a predetermined area in which the length of the predetermined area in the parallel direction is longer than the length in the direction orthogonal to the parallel direction is detected as a corresponding point. Preferably the means searches. Since parallax occurs in the parallel direction, the search range in the parallel direction is lengthened, and a rectangular search range in which the length in the direction orthogonal to the parallel direction that is not deviated theoretically is shortened. Here, when it is determined that there is an abnormality when searching for corresponding points only in the horizontal direction, it is determined that there is no normal positional relationship between the plurality of imaging units in the vertical direction. It is possible to accurately detect the positional deviation of the means in the vertical direction.
また、請求項４に記載の画像処理装置によれば、「特徴点を検出＝撮像手段の機能が正常」、「対応点を検出＝カメラ光軸位置が正常」と考え、撮像手段の機能が正常に機能していると判断できる場合のみ、撮像手段の光軸位置の異常を判定することができる。ただし、対応点の検出には誤差が伴うため、ゼロよりも大きい所定基準以上とする。 Further, according to the image processing apparatus of claim 4, the function of the imaging means is considered as “detection of feature points = normal function of the imaging means” and “detection of corresponding points = normal camera optical axis position”. Only when it can be determined that the optical device is functioning normally, an abnormality in the optical axis position of the imaging means can be determined. However, since there is an error in detecting the corresponding points, the corresponding point is set to be equal to or greater than a predetermined reference greater than zero.
ここで、複数の撮像手段の光軸方向が交差するように方向ズレを起こしていた場合には、視差が通常はとり得ないマイナスの値となるため、マイナス視差を持つ対応点の割合によって撮像手段の異常を判定することができる。視差は、左右の画像の同じ位置にあるときゼロで、カメラの位置関係によって、あり得る視差の方向を正と決めている。このようにして視差の正負を決めているため、カメラ位置が正常であれば通常はマイナス視差は生じ得ない。また、複数の撮像手段の光軸方向が正常時よりも上方に向いてしまった場合には、対応点の三次元座標系（実空間）における高さが、マイナスの値をとる割合が増加する（撮像手段前方が平坦であれば、通常マイナスの値はとり得ない）。このため、高さの値がマイナスの値を持つ対応点の割合によって撮像手段の異常を判定することができる。高さは、所定のレベル（通常は、地表レベル）をゼロとし、その上方（地中でなく地上にあるということ）を正と決めている。このようにして高さの正負を決めているため、カメラ位置が正常であれば通常はマイナス高さは生じ得ない。 Here, when the direction deviation occurs so that the optical axis directions of a plurality of imaging means intersect, since the parallax becomes a negative value that cannot normally be taken, imaging is performed according to the ratio of corresponding points having negative parallax. An abnormality of the means can be determined. The parallax is zero when the left and right images are at the same position, and the possible parallax direction is determined to be positive according to the positional relationship of the cameras. Since the positive / negative of the parallax is determined in this way, minus parallax usually cannot occur if the camera position is normal. Further, when the optical axis direction of the plurality of imaging units is directed upward from the normal time, the ratio of the corresponding points in the three-dimensional coordinate system (real space) to take a negative value increases. (If the front of the image pickup means is flat, a negative value is usually not possible). For this reason, it is possible to determine the abnormality of the imaging means based on the ratio of corresponding points having a negative height value. The height is determined to be zero at a predetermined level (usually the ground level), and positive above that (that is, not on the ground but on the ground). Since the height is determined in this way, if the camera position is normal, a minus height cannot normally be generated.
以下、図面を参照しつつ本発明の画像処理装置の一実施形態について説明する。本実施形態の物体検出装置は、図１に示されるように、車両１に搭載されている。物体検出装置は、画像取得部（撮像手段）２Ｒ，２Ｌと、この取得した画像に各種フィルタをかけて処理する画像処理部３（特徴点抽出手段・特徴点計測手段・対応点検出手段・対応点計測手段・異常対応点判定手段・異常対応点計測手段）とを備えている。画像取得部は、横方向に一定間隔を設けて配設された一対のＣＣＤカメラ２Ｒ，２Ｌである。画像処理部は、ＣＣＤカメラで取得した一対の入力画像に基づいて各種演算を行うもので、ＣＰＵやＧＰＵ、ＲＯＭ・ＲＡＭなどを備えたＥＣＵ３である。 Hereinafter, an embodiment of an image processing apparatus of the present invention will be described with reference to the drawings. The object detection apparatus of this embodiment is mounted on a vehicle 1 as shown in FIG. The object detection apparatus includes an image acquisition unit (imaging unit) 2R and 2L and an image processing unit 3 (feature point extraction unit / feature point measurement unit / corresponding point detection unit / corresponding unit) that processes the acquired image by applying various filters. Point measuring means, abnormality corresponding point determining means, abnormality corresponding point measuring means). The image acquisition unit is a pair of CCD cameras 2R and 2L arranged at a constant interval in the horizontal direction. The image processing unit performs various calculations based on a pair of input images acquired by a CCD camera, and is an ECU 3 that includes a CPU, GPU, ROM / RAM, and the like.
一対のＣＣＤカメラ２Ｒ，２Ｌは、車両１の車室内のルームミラー前方に埋設されている。一対のＣＣＤカメラ２Ｒ，２Ｌは、同一の性能・仕様を持ったものであり、それらの設置間隔や焦点距離などは予めＥＣＵ３内のＲＯＭなどに記憶されている。一対のＣＣＤカメラ２Ｒ，２Ｌの光軸は、正常であれば、車両１が平坦路上に置かれたときに路面に平行に配設されている。また、一対のＣＣＤカメラ２Ｒ，２Ｌの光軸は、正常時には、互いに平行で、かつ、車両１の前後方向中心線に対しても平行である。 The pair of CCD cameras 2 </ b> R and 2 </ b> L are embedded in front of the room mirror in the vehicle 1. The pair of CCD cameras 2R and 2L have the same performance and specifications, and their installation interval, focal length, and the like are stored in advance in a ROM or the like in the ECU 3. If the optical axes of the pair of CCD cameras 2R and 2L are normal, they are arranged parallel to the road surface when the vehicle 1 is placed on a flat road. Further, the optical axes of the pair of CCD cameras 2R and 2L are parallel to each other in a normal state and also to the center line in the front-rear direction of the vehicle 1.
対象物の検出に際しては、まず、一対のカメラ２Ｒ，２Ｌによって前方画像を取得する。一対のカメラ２Ｒ，２Ｌは所定の間隔を置いて設置されているため、撮像された一対の画像は全く同じ画像とはならず、二つの画像間にはいわゆる肉眼での視差に相当するズレ（以下、このズレも視差と言う）が生じる。即ち、二つの画像上において同一のものを示す点（以下、この一対の点を対応点と呼ぶ）に関する視差は、カメラ２Ｒ，２Ｌからの方向及び距離に応じて異なる。そこで、画像上の位置（二次元座標軸上の座標：通常何れか一方の画像を基準とする）と視差とから、実際の三次元空間（これに対応する三次元座標軸）上の座標が算出可能となる。 When detecting an object, first, a front image is acquired by the pair of cameras 2R and 2L. Since the pair of cameras 2R and 2L are installed at a predetermined interval, the pair of captured images are not exactly the same image, and a shift corresponding to a so-called parallax with the naked eye (see FIG. Hereinafter, this deviation is also referred to as parallax). That is, the parallax regarding the points indicating the same in the two images (hereinafter, this pair of points is referred to as the corresponding points) differs depending on the direction and distance from the cameras 2R and 2L. Therefore, the coordinates in the actual three-dimensional space (the corresponding three-dimensional coordinate axis) can be calculated from the position on the image (coordinates on the two-dimensional coordinate axis: usually one of the images as a reference) and the parallax. It becomes.
入力された画像から、一対の対応点を探索することとなるが、この場合、入力画像中で特徴を持った点（特徴点）を用いて一対の対応点を探索する。本実施形態では、この特徴点としてエッジ点を用いる。エッジ点とは、画像の明度変化率が局所的に最大値となる（極大値となる）点（場所：位置）のことである。エッジ点は、画像処理の上で検出しやすく、対応点を探索する上で都合がよい。 A pair of corresponding points are searched from the input image. In this case, a pair of corresponding points is searched using a point (feature point) having a feature in the input image. In this embodiment, an edge point is used as this feature point. An edge point is a point (location: position) where the rate of change in brightness of an image is locally maximum (maximum value). Edge points are easy to detect in image processing, which is convenient for searching for corresponding points.
図２に、本実施形態の物体検出装置の異常判定制御のフローチャートを示す。以下、図２を参照しつつ、異常判定制御について説明する。まず、ＣＣＤカメラ２Ｒ，２Ｌを用いて、ステレオ画像を取得する（ステップ２００）。次いで、一対のステレオ画像からエッジ点（特徴点）を抽出すると共に各エッジ点ごとに対応点を探索し、各対応点ごとに視差を算出する（ステップ２０５）。なお、通常、画像内のエッジ点に対して対応点は５０％程度が探索される。しかし、ＣＣＤカメラ２Ｒ，２Ｌが正しくセッティングされていないと（光軸位置がずれていると）、対応点は算出されにくくなり、この割合は低下する。 FIG. 2 shows a flowchart of abnormality determination control of the object detection apparatus of the present embodiment. Hereinafter, the abnormality determination control will be described with reference to FIG. First, a stereo image is acquired using the CCD cameras 2R and 2L (step 200). Next, edge points (feature points) are extracted from the pair of stereo images, corresponding points are searched for each edge point, and parallax is calculated for each corresponding point (step 205). Normally, about 50% of the corresponding points are searched for the edge points in the image. However, if the CCD cameras 2R and 2L are not set correctly (the optical axis position is deviated), the corresponding points are difficult to calculate, and this ratio decreases.
本発明の様に２台のカメラ２Ｌ、２Ｒの光軸が平行となるよう設置した場合、光軸に異常がなければ、対応点は画像の垂直方向（＝Ｙ軸：前記平行な方向と直交する方向）でほぼ同じ値を、画像の水平方向（＝Ｘ軸：前記平行な方向と平行な方向）でズレ（視差）を持って検出される。よって、本実施例では、対応点を検索する所定領域の垂直方向の長さを、水平方向の長さよりも十分小さく設定している。具体的には、水平方向に長辺をもつ長方形が探索方向に設定される。このとき、２台のカメラ２Ｌ、２Ｒが垂直方向で正常な位置にないと、垂直方向で探索する領域が狭いため、対応点が検出されにくくなる。本発明ではこのことを利用して、並行に設置した複数台の撮像手段の対応点を検索する所定領域の垂直方向の長さを水平方向よりも小さく設定して十分な対応点が検出できない時には、２台のカメラ２Ｌ、２Ｒの光軸が画像の垂直方向で正常な位置関係にないと判断する。 When the optical axes of the two cameras 2L and 2R are set parallel to each other as in the present invention, the corresponding point is perpendicular to the image (= Y axis: orthogonal to the parallel direction) if there is no abnormality in the optical axis. In the horizontal direction of the image (= X axis: a direction parallel to the parallel direction) with a shift (parallax). Therefore, in this embodiment, the length in the vertical direction of the predetermined area for searching for the corresponding point is set sufficiently smaller than the length in the horizontal direction. Specifically, a rectangle having a long side in the horizontal direction is set as the search direction. At this time, if the two cameras 2L and 2R are not in a normal position in the vertical direction, the search area in the vertical direction is small, and corresponding points are difficult to detect. In the present invention, when this is utilized, the vertical length of a predetermined area for searching for corresponding points of a plurality of imaging units installed in parallel is set smaller than the horizontal direction and sufficient corresponding points cannot be detected. It is determined that the optical axes of the two cameras 2L and 2R are not in a normal positional relationship in the vertical direction of the image.
また、このとき、異常判定制御に関しては、対応点（エッジ点）の探索は、例えば、所定の探索領域（所定領域）についてのみ行う。仮に、一対のＣＣＤカメラ２Ｒ，２Ｌの水平方向の光軸が平行でないような場合、入力画像全体で対応点を探索すると、通常よりも視差が大きく（あるいは小さく）なっても対応点は探索できてしまう。そこで、対応点（エッジ点）を探索する領域を所定領域に制限する。なお、この所定領域は、入力画像に応じて、その位置や面積を変更してもよい。例えば、入力画像に応じて、エッジ点が多い範囲を狙って所定範囲を設定するなどしても良い。 At this time, for the abnormality determination control, the search for the corresponding point (edge point) is performed only for a predetermined search region (predetermined region), for example. If the horizontal optical axes of the pair of CCD cameras 2R and 2L are not parallel, searching for corresponding points in the entire input image can search for corresponding points even if the parallax is larger (or smaller) than usual. End up. Therefore, the area for searching for corresponding points (edge points) is limited to a predetermined area. Note that the position and area of the predetermined area may be changed according to the input image. For example, a predetermined range may be set aiming at a range with many edge points according to the input image.
視差の算出は以下のように行う。ステレオ座像の一方の画像を二値化処理し、第一対象物画像を抽出する。次に、他方の画像（グレースケール画像）に対して第一対象物画像に対応する画像（対応画像）を探索する所定領域（探索領域）を設定し、この第一対象画像と探索領域中の物体画像との相関演算を実行することにより、第一対象画像に対する対応画像を第二対象画像として抽出する。そして、一方の画像の第一対象画像の重心位置と、他方の画像の第二対象画像の重心位置との差から視差を画素数などで求める。 The parallax is calculated as follows. One image of the stereo sitting image is binarized and a first object image is extracted. Next, a predetermined area (search area) for searching for an image (corresponding image) corresponding to the first object image is set with respect to the other image (grayscale image). By performing a correlation operation with the object image, a corresponding image corresponding to the first target image is extracted as a second target image. Then, the parallax is determined by the number of pixels or the like from the difference between the centroid position of the first target image of one image and the centroid position of the second target image of the other image.
図３に、視差算出の図を示す。ここでは、右画像を基準として、左画像中に対応点を探索する場合を例に説明する。右画像中の注目している小領域と相関の高い（類似度の高い）小領域を、左画像の所定領域から探索する。まず、左画像において、右画像のテンプレート座標（Ｘ）を基準に右方向に（Ｘ−２からＸ＋１２８）を探索する。なお、ここでは、Ｙ座標方向は１ピクセル（座標Ｙ）分だけ探索している。このように探索することで、図３右側に示されるように、左画像中に対応点を探索でき、このときの図に示される視差が得られる。 FIG. 3 shows a diagram of parallax calculation. Here, a case where a corresponding point is searched for in the left image on the basis of the right image will be described as an example. A small region having a high correlation (high similarity) with a small region of interest in the right image is searched from a predetermined region of the left image. First, in the left image, a search is made in the right direction (X−2 to X + 128) with reference to the template coordinates (X) of the right image. Here, the Y coordinate direction is searched for only one pixel (coordinate Y). By searching in this way, as shown on the right side of FIG. 3, corresponding points can be searched for in the left image, and the parallax shown in the drawing at this time is obtained.
このとき、対応点が探索されたＸ座標がＸ−２又はＸ−１であれば、マイナス視差であるということになる。カメラ２Ｒ，２Ｌのズレを評価するため、マイナス視差も計算する。また、上述したように、右画像を基準にして左画像を探索する場合には、通常視差が発生する方向（右方向）に大きく探索範囲を設定した。これを、左画像を基準にして右画像を探索する場合は、探索範囲を（Ｘ＋２〜Ｘ−１２８）：左方向・Ｙ座標は１ピクセル分とすればよい。 At this time, if the X coordinate at which the corresponding point is searched is X-2 or X-1, it means negative parallax. In order to evaluate the deviation of the cameras 2R and 2L, minus parallax is also calculated. As described above, when searching for the left image with reference to the right image, the search range is set to be large in the direction (right direction) in which the normal parallax occurs. When searching for the right image with reference to the left image, the search range may be (X + 2 to X-128): left direction / Y coordinate may be one pixel.
上述した場合は、Ｙ座標方向１ピクセル分だけ探索範囲としたが、複数ピクセル分探索しても良い。例えば、探索範囲のＹ軸方向の幅を３ピクセルとする場合は、まず、右画像のテンプレート座標（Ｘ，Ｙ−１）を基準にして、左画像において（Ｘ−２〜Ｘ＋１２８）を探索し、次に、右画像のテンプレート座標（Ｘ，Ｙ）を基準にして、左画像において（Ｘ−２〜Ｘ＋１２８）を探索し、さらに、右画像のテンプレート座標（Ｘ，Ｙ＋１）を基準にして、左画像において（Ｘ−２〜Ｘ＋１２８）を探索すればよい。このとき、（Ｘ−２，Ｙ−１），（Ｘ＋１２８，Ｙ−１），（Ｘ−２，Ｙ＋１），（Ｘ＋１２８，Ｙ＋１）を頂点とする範囲が請求項にいう所定領域となる。 In the case described above, the search range is one pixel in the Y coordinate direction, but a search may be made for a plurality of pixels. For example, when the width of the search range in the Y-axis direction is 3 pixels, first, (X-2 to X + 128) is searched in the left image with reference to the template coordinates (X, Y-1) of the right image. Next, (X−2 to X + 128) is searched in the left image with reference to the template coordinates (X, Y) of the right image, and further, with reference to the template coordinates (X, Y + 1) of the right image, What is necessary is just to search (X-2 to X + 128) in the left image. At this time, a range having (X−2, Y−1), (X + 128, Y−1), (X−2, Y + 1), and (X + 128, Y + 1) as vertices is a predetermined region described in the claims.
ステップ２０５の後、エッジ点数を計測し、この値が所定の閾値０よりも小さいか否かを判断する（ステップ２０７）。ステップ２０７が肯定されるようであれば、ＣＣＤカメラ２Ｒ，２Ｌに異常が生じていると判定する（ステップ２２５）。ＣＣＤカメラ２Ｒ，２Ｌの信号線が断線しているような、カメラ機能自体に異常がある場合は、エッジ点自体の検出が行われにくくなって上述したエッジ点数は閾値０よりも小さくなるため、カメラ機能自体の異常を検出できる（なお、この処理は発明の本質ではなく、省略しても良い）。 After step 205, the number of edge points is measured, and it is determined whether or not this value is smaller than a predetermined threshold value 0 (step 207). If step 207 is positive, it is determined that an abnormality has occurred in the CCD cameras 2R and 2L (step 225). When there is an abnormality in the camera function itself, such as when the signal lines of the CCD cameras 2R and 2L are disconnected, it is difficult to detect the edge point itself, and the number of edge points described above is smaller than the threshold value 0. An abnormality of the camera function itself can be detected (this process is not the essence of the invention and may be omitted).
次に、ステップ２０７が否定されるようであれば、（対応点数／エッジ点数）…☆を算出し、この値が所定の第一の閾値１よりも小さいか否かを判定する（ステップ２１０）。ステップ２１０が肯定されるようであれば、ＣＣＤカメラ２Ｒ，２Ｌに異常が生じていると判定する（ステップ２２５）。一対のＣＣＤカメラ２Ｒ，２Ｌの光軸位置が上述したように正常な位置になく、対応点が検出されにくくなる。そこで、上述した☆の値は閾値１よりも小さくなるためＣＣＤカメラ２Ｒ，２Ｌの光軸の異常を検出できる。なお、対応点は画像内で（ほぼ）同一高さで探索されるため、ここでは、異常である場合は、左右のステレオ画像で上下（垂直方向）にズレがあると判定される。 Next, if step 207 is negative, (corresponding point number / edge point number)... Is calculated, and it is determined whether or not this value is smaller than a predetermined first threshold value 1 (step 210). . If step 210 is positive, it is determined that an abnormality has occurred in the CCD cameras 2R and 2L (step 225). As described above, the optical axis positions of the pair of CCD cameras 2R and 2L are not normal positions, and corresponding points are difficult to detect. Therefore, since the value of ☆ described above is smaller than the threshold value 1, it is possible to detect abnormality of the optical axes of the CCD cameras 2R and 2L. Since the corresponding points are searched for at (almost) the same height in the image, it is determined here that there is a deviation in the vertical (vertical direction) in the left and right stereo images if abnormal.
一方、ステップ２１０否定される場合は、次に、（マイナス視差の対応点／エッジ点数）を算出し、この値が所定の第二の閾値２以上であるか否かを判定する（ステップ２１５）。上述したように、通常は視差はマイナス値をとることはない。（ただし、実際はステレオマッチングの計算誤差などによって、視差が算出された全体の３％程度のマイナス視差が算出されることがあり、この程度は正常範囲である。）ステップ２１５が肯定されるようであれば、ＣＣＤカメラ２Ｒ，２Ｌに異常が生じていると判定する（ステップ２２５）。ステップ２１５が肯定されるような場合は、一対のＣＣＤカメラ２Ｒ，２Ｌの光軸が交差するようにずれている（水平方向で光軸が正常な位置にない）と判断できるため、異常を検出できる。 On the other hand, if step 210 is negative, then (corresponding point of minus parallax / number of edge points) is calculated, and it is determined whether this value is equal to or greater than a predetermined second threshold 2 (step 215). . As described above, normally, the parallax does not take a negative value. (However, in reality, a negative parallax of about 3% of the total parallax calculated may be calculated due to a stereo matching calculation error or the like, which is a normal range.) Step 215 seems to be affirmed. If there is, it is determined that an abnormality has occurred in the CCD cameras 2R and 2L (step 225). If step 215 is affirmed, it can be determined that the optical axes of the pair of CCD cameras 2R and 2L cross each other (the optical axis is not in a normal position in the horizontal direction), so an abnormality is detected. it can.
さらに、ステップ２１５否定される場合は、次に、（マイナス高さの対応点／エッジ点数）を算出し、この値が所定の第三の閾値３以上であるか否かを判定する（ステップ２２０）。上述したように、通常は対応点の三次元座標系（実空間）における高さはマイナス値をとることはない。（ただし、車両１前方が下り坂のような場合はマイナス高さが算出されることもあり得る、車両１の水平を測るセンサを搭載し、車両１が水平であるときのみステップ２２０を実行するようにしても良い。）ステップ２２０が肯定されるようであれば、ＣＣＤカメラ２Ｒ，２Ｌに異常が生じていると判定する（ステップ２２５）。ステップ２２０が肯定されるような場合は、一対のＣＣＤカメラ２Ｒ，２Ｌの光軸が上方を向いているようにずれている（垂直方向で光軸が正常な位置にない）と判断できるため、異常を検出できる。ステップ２２０が否定される場合は、異常はないと判定される（ステップ２３０）。なお、各閾値との比較の順番は実施例に限定されず、一部の比較を省略して例えば閾値１だけ、閾値２だけを用いた異常検出も良いし、順番を変更しても良い。 If step 215 is negative, next, (corresponding point of minus height / number of edge points) is calculated, and it is determined whether this value is equal to or greater than a predetermined third threshold 3 (step 220). ). As described above, normally, the height of the corresponding point in the three-dimensional coordinate system (real space) does not take a negative value. (However, if the front of the vehicle 1 is a downhill, a negative height may be calculated. A sensor for measuring the level of the vehicle 1 is mounted, and step 220 is executed only when the vehicle 1 is level. (If step 220 is affirmed, it is determined that an abnormality has occurred in the CCD cameras 2R and 2L (step 225)). When step 220 is affirmed, it can be determined that the optical axes of the pair of CCD cameras 2R and 2L are shifted so as to face upward (the optical axis is not in a normal position in the vertical direction). Anomalies can be detected. If step 220 is negative, it is determined that there is no abnormality (step 230). Note that the order of comparison with each threshold value is not limited to the embodiment, and some comparisons may be omitted, and for example, abnormality detection using only threshold value 1 and only threshold value 2 may be performed, or the order may be changed.
なお、本発明は上述した実施形態に限定されるものではない。例えば、上述した実施形態では物体検出装置を車両に搭載した例を説明したが、物体検出装置単独で使用しても良いし、ロボットなどに搭載しても良い。また、上述した実施形態では、ステップ２１５及びステップ２２０での割合の算出に際して、分母をエッジ点数としたが、対応点数としても同様の判定を行うことができる（当然閾値は変わる）。さらに、本発明からは外れるが、ステップ２１５及びステップ２２０において、エッジ点数や対応点数の対する割合を算出するのではなく、マイナス視差の対応点数が所定閾値以上であるか、あるいは、マイナス高さの対応点数が所定閾値以上であるかで判定を行うことも可能ではある。しかし、上述したように、エッジ点数や対応点数に対する割合として判定を行った方が判定精度が向上する。 In addition, this invention is not limited to embodiment mentioned above. For example, in the above-described embodiment, the example in which the object detection device is mounted on the vehicle has been described. However, the object detection device may be used alone, or may be mounted on a robot or the like. Further, in the above-described embodiment, when calculating the ratios in step 215 and step 220, the denominator is the number of edge points, but the same determination can be made for the number of corresponding points (the threshold value is naturally changed). Further, although not included in the present invention, in step 215 and step 220, the ratio of the number of edge points and the number of corresponding points is not calculated, but the number of corresponding points of the negative parallax is equal to or greater than a predetermined threshold value, or It is also possible to determine whether the number of corresponding points is equal to or greater than a predetermined threshold. However, as described above, the determination accuracy is improved by performing determination as a ratio to the number of edge points or the number of corresponding points.
なお、本実施例では、特徴点としてエッジ点を用いているが本発明はこれに限定されず、複数の画像の間で対応点を算出することの出来る特徴をもった点であればよい。たとえば、Ｓｏｂｅｌフィルタ、微分フィルタ、ガボールフィルタなど任意のフィルタを用いて特徴点を抽出しても良い。また本発明における点は画像におけるピクセルに限定されずに特徴を持つ領域を点としても良い。 In the present embodiment, edge points are used as feature points. However, the present invention is not limited to this, and any point having a feature capable of calculating corresponding points between a plurality of images may be used. For example, the feature points may be extracted using an arbitrary filter such as a Sobel filter, a differential filter, or a Gabor filter. In addition, the points in the present invention are not limited to pixels in an image, but may be regions having characteristics.
１…車両、２Ｒ，２Ｌ…ＣＣＤカメラ（撮像手段）、３…ＥＣＵ（特徴点抽出手段・特徴点計測手段・対応点検出手段・対応点計測手段・異常対応点判定手段・異常対応点計測手段）。
DESCRIPTION OF SYMBOLS 1 ... Vehicle, 2R, 2L ... CCD camera (imaging means), 3 ... ECU (feature point extracting means / feature point measuring means / corresponding point detecting means / corresponding point measuring means / abnormal corresponding point determining means / abnormal corresponding point measuring means) ).
Claims (9)
各画像の特徴点を抽出する特徴点抽出手段と、
特徴点の数を計測する特徴点数計測手段と、
特徴点の内、複数の画像に共通して存在する特徴点を対応点として検出する対応点検出手段と、
対応点の数を計測する対応点数計測手段と、を備え、
前記対応点検出手段は画像の所定領域のみ対応点を検索し、
特徴点の点数に対する対応点の点数が所定基準未満である場合に、前記撮像手段の光軸が異常であると判定することを特徴とする画像処理装置。 In an object detection device for calculating corresponding points based on a plurality of images by a plurality of imaging means and detecting an object based on the calculated corresponding points,
Feature point extraction means for extracting feature points of each image;
A feature point measuring means for measuring the number of feature points;
Corresponding point detection means for detecting, as corresponding points, feature points that exist in common among a plurality of images among the feature points;
And corresponding point number measuring means for measuring the number of corresponding points,
The corresponding point detection means searches for a corresponding point only in a predetermined area of the image,
An image processing apparatus that determines that the optical axis of the imaging means is abnormal when the number of corresponding points with respect to the number of feature points is less than a predetermined reference.
各画像の特徴点を抽出する特徴点抽出手段と、
特徴点の内、複数の画像に共通して存在する特徴点を対応点として検出する対応点検出手段と、
対応点の情報に基づいて、検出した対応点が異常対応点か否かを判定する異常対応点判定手段と、
異常対応点の数を計測する異常対応点数計測手段と、
特徴点の数を計測する特徴点数計測手段又は対応点の数を計測する対応点数計測手段と、を備え、
特徴点数又は対応点数に対する異常対応点数が所定基準以上である場合に、前記撮像手段の光軸が異常であると判定することを特徴とする画像処理装置。 In an object detection device for calculating corresponding points based on a plurality of images by a plurality of imaging means and detecting an object based on the calculated corresponding points,
Feature point extraction means for extracting feature points of each image;
Corresponding point detection means for detecting, as corresponding points, feature points that exist in common among a plurality of images among the feature points;
An abnormal corresponding point determination means for determining whether or not the detected corresponding point is an abnormal corresponding point based on the information of the corresponding point;
Anomaly corresponding point number measuring means for measuring the number of anomaly corresponding points;
A feature point measuring means for measuring the number of feature points or a corresponding point number measuring means for measuring the number of corresponding points;
An image processing apparatus that determines that the optical axis of the imaging means is abnormal when the number of characteristic points or the number of corresponding points corresponding to the number of corresponding points is equal to or greater than a predetermined reference.
前記異常対応点数計測手段は、高さの値がマイナスの値を持つ対応点数の数を異常対応点数とすることを特徴とする請求項４に記載の画像処理装置。 A height calculating means for calculating the height of the detected corresponding point in the three-dimensional coordinate system;
The image processing apparatus according to claim 4, wherein the abnormality corresponding point number measuring unit sets the number of corresponding points having a negative height value as the abnormality corresponding point number.
The image processing apparatus according to claim 1, wherein the feature point is an edge point.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2005221059A JP4556798B2 (en) | 2005-07-29 | 2005-07-29 | Image processing device |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2005221059A JP4556798B2 (en) | 2005-07-29 | 2005-07-29 | Image processing device |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2007037011A true JP2007037011A (en) | 2007-02-08 |
| JP4556798B2 JP4556798B2 (en) | 2010-10-06 |
Family
ID=37795666
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2005221059A Expired - Fee Related JP4556798B2 (en) | 2005-07-29 | 2005-07-29 | Image processing device |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP4556798B2 (en) |
Cited By (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2008196891A (en) * | 2007-02-09 | 2008-08-28 | Mitsubishi Precision Co Ltd | Multi-eye camera |
| JP2009015696A (en) * | 2007-07-06 | 2009-01-22 | Konica Minolta Holdings Inc | Information processing system |
| WO2009098743A1 (en) * | 2008-02-04 | 2009-08-13 | Honda Motor Co., Ltd. | Vehicle periphery monitoring device, vehicle, vehicle periphery monitoring program, and vehicle periphery monitoring method |
| WO2009119110A1 (en) * | 2008-03-27 | 2009-10-01 | パナソニック株式会社 | Blind spot display device |
| WO2011121818A1 (en) * | 2010-03-30 | 2011-10-06 | 富士フイルム株式会社 | Compound-eye imaging device, and disparity adjustment method and program therefor |
| CN104949619A (en) * | 2014-03-28 | 2015-09-30 | 富士重工业株式会社 | Stereo image processing device for vehicle |
| WO2015182068A1 (en) * | 2014-05-28 | 2015-12-03 | パナソニックＩｐマネジメント株式会社 | Information presentation device, stereo camera system, and information presentation method |
| WO2016013691A1 (en) * | 2015-10-15 | 2016-01-28 | 株式会社小松製作所 | Position measuring system and position measuring method |
| JP2016178655A (en) * | 2010-08-10 | 2016-10-06 | モノタイプ．イメージング．インコーポレイテッド | Graphics display in multi-view scene |
| US20170345184A1 (en) * | 2014-12-24 | 2017-11-30 | Panasonic Intellectual Property Management Co., Ltd. | Three-dimensional information restoration device, three-dimensional information restoration system, and three-dimensional information restoration method |
| JP2019066327A (en) * | 2017-09-29 | 2019-04-25 | 株式会社デンソー | Vehicle periphery monitoring device, and periphery monitoring method |
| JP2019113434A (en) * | 2017-12-25 | 2019-07-11 | ＩＴＤ Ｌａｂ株式会社 | Calibrator, calibration method, and calibration program |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH11108660A (en) * | 1997-10-03 | 1999-04-23 | Kansei Corp | Equipment for detecting distance |
| JP2001211466A (en) * | 2000-01-27 | 2001-08-03 | Toshiba Corp | Image processing system having self-diagnostic function |
| JP2003329439A (en) * | 2002-05-15 | 2003-11-19 | Honda Motor Co Ltd | Distance detecting device |
-
2005
- 2005-07-29 JP JP2005221059A patent/JP4556798B2/en not_active Expired - Fee Related
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH11108660A (en) * | 1997-10-03 | 1999-04-23 | Kansei Corp | Equipment for detecting distance |
| JP2001211466A (en) * | 2000-01-27 | 2001-08-03 | Toshiba Corp | Image processing system having self-diagnostic function |
| JP2003329439A (en) * | 2002-05-15 | 2003-11-19 | Honda Motor Co Ltd | Distance detecting device |
Cited By (32)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2008196891A (en) * | 2007-02-09 | 2008-08-28 | Mitsubishi Precision Co Ltd | Multi-eye camera |
| JP2009015696A (en) * | 2007-07-06 | 2009-01-22 | Konica Minolta Holdings Inc | Information processing system |
| US8077204B2 (en) | 2008-02-04 | 2011-12-13 | Honda Motor Co., Ltd. | Vehicle periphery monitoring device, vehicle, vehicle periphery monitoring program, and vehicle periphery monitoring method |
| WO2009098743A1 (en) * | 2008-02-04 | 2009-08-13 | Honda Motor Co., Ltd. | Vehicle periphery monitoring device, vehicle, vehicle periphery monitoring program, and vehicle periphery monitoring method |
| CN101933065A (en) * | 2008-02-04 | 2010-12-29 | 本田技研工业株式会社 | Vehicle periphery monitoring device, vehicle, vehicle periphery monitoring program and vehicle periphery monitoring method |
| WO2009119110A1 (en) * | 2008-03-27 | 2009-10-01 | パナソニック株式会社 | Blind spot display device |
| US8395490B2 (en) | 2008-03-27 | 2013-03-12 | Panasonic Corporation | Blind spot display apparatus |
| JP5208203B2 (en) * | 2008-03-27 | 2013-06-12 | パナソニック株式会社 | Blind spot display device |
| WO2011121818A1 (en) * | 2010-03-30 | 2011-10-06 | 富士フイルム株式会社 | Compound-eye imaging device, and disparity adjustment method and program therefor |
| JP5295426B2 (en) * | 2010-03-30 | 2013-09-18 | 富士フイルム株式会社 | Compound eye imaging apparatus, parallax adjustment method and program thereof |
| US9071759B2 (en) | 2010-03-30 | 2015-06-30 | Fujifilm Corporation | Compound-eye imaging device, and parallax adjusting method and program thereof |
| US10134150B2 (en) | 2010-08-10 | 2018-11-20 | Monotype Imaging Inc. | Displaying graphics in multi-view scenes |
| JP2016178655A (en) * | 2010-08-10 | 2016-10-06 | モノタイプ．イメージング．インコーポレイテッド | Graphics display in multi-view scene |
| US9378553B2 (en) | 2014-03-28 | 2016-06-28 | Fuji Jukogyo Kabushiki Kaisha | Stereo image processing device for vehicle |
| JP2015190921A (en) * | 2014-03-28 | 2015-11-02 | 富士重工業株式会社 | Vehicle stereo-image processing apparatus |
| CN104949619A (en) * | 2014-03-28 | 2015-09-30 | 富士重工业株式会社 | Stereo image processing device for vehicle |
| WO2015182068A1 (en) * | 2014-05-28 | 2015-12-03 | パナソニックＩｐマネジメント株式会社 | Information presentation device, stereo camera system, and information presentation method |
| US10083513B2 (en) | 2014-05-28 | 2018-09-25 | Panasonic Intellectual Property Management Co., Ltd. | Information presentation device, stereo camera system, and information presentation method |
| US20170345184A1 (en) * | 2014-12-24 | 2017-11-30 | Panasonic Intellectual Property Management Co., Ltd. | Three-dimensional information restoration device, three-dimensional information restoration system, and three-dimensional information restoration method |
| US10249058B2 (en) * | 2014-12-24 | 2019-04-02 | Panasonic Intellectual Property Management Co., Ltd. | Three-dimensional information restoration device, three-dimensional information restoration system, and three-dimensional information restoration method |
| CN105518228B (en) * | 2015-10-15 | 2018-06-01 | 株式会社小松制作所 | Position measurement system, work mechanism and position measuring method |
| KR101815269B1 (en) * | 2015-10-15 | 2018-01-04 | 가부시키가이샤 고마쓰 세이사쿠쇼 | Position measuring system and position measuring method |
| WO2016013691A1 (en) * | 2015-10-15 | 2016-01-28 | 株式会社小松製作所 | Position measuring system and position measuring method |
| JPWO2016013691A1 (en) * | 2015-10-15 | 2017-04-27 | 株式会社小松製作所 | Position measuring system, work machine, and position measuring method |
| DE112015000126B9 (en) * | 2015-10-15 | 2018-10-25 | Komatsu Ltd. | Position measuring system and position measuring method |
| JP6050525B2 (en) * | 2015-10-15 | 2016-12-21 | 株式会社小松製作所 | Position measuring system, work machine, and position measuring method |
| US10233615B2 (en) | 2015-10-15 | 2019-03-19 | Komatsu Ltd. | Position measurement system and position measurement method |
| CN105518228A (en) * | 2015-10-15 | 2016-04-20 | 株式会社小松制作所 | Position measuring system and position measuring method |
| JP2019066327A (en) * | 2017-09-29 | 2019-04-25 | 株式会社デンソー | Vehicle periphery monitoring device, and periphery monitoring method |
| JP7018285B2 (en) | 2017-09-29 | 2022-02-10 | 株式会社デンソー | Vehicle peripheral monitoring device and peripheral monitoring method |
| JP2019113434A (en) * | 2017-12-25 | 2019-07-11 | ＩＴＤ Ｌａｂ株式会社 | Calibrator, calibration method, and calibration program |
| JP7004971B2 (en) | 2017-12-25 | 2022-01-21 | ＩＴＤ Ｌａｂ株式会社 | Calibration equipment, calibration method and calibration program |
Also Published As
| Publication number | Publication date |
|---|---|
| JP4556798B2 (en) | 2010-10-06 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP4556798B2 (en) | Image processing device | |
| JP5404263B2 (en) | Parallax calculation method and parallax calculation device | |
| US7769227B2 (en) | Object detector | |
| JP6138861B2 (en) | Distance calculation device | |
| WO2013132951A1 (en) | Distance calculation device and distance calculation method | |
| US10650535B2 (en) | Measurement device and measurement method | |
| JP2006234492A (en) | Object recognition device | |
| US20060215881A1 (en) | Distance measurement apparatus, electronic device, distance measurement method, distance measurement control program and computer-readable recording medium | |
| US20210312159A1 (en) | Image processing device and image processing method | |
| JPH11351862A (en) | Foregoing vehicle detecting method and equipment | |
| JP2014009975A (en) | Stereo camera | |
| JP2010040031A (en) | Method and device for recognizing road direction | |
| JP2008151659A (en) | Object detector | |
| EP2911028B1 (en) | Distance measurement device and vehicle using same | |
| JP5786793B2 (en) | Vehicle detection device | |
| CN114830180A (en) | Automatic checking system for camera | |
| EP3605015A1 (en) | Stereo image processing device | |
| JP7269130B2 (en) | Image processing device | |
| JP7134780B2 (en) | stereo camera device | |
| JP7064400B2 (en) | Object detection device | |
| JP5579297B2 (en) | Parallax calculation method and parallax calculation device | |
| JP6719328B2 (en) | Exterior monitoring device | |
| EP2919191B1 (en) | Disparity value deriving device, equipment control system, movable apparatus, robot, and disparity value producing method | |
| JP2018116620A (en) | Image processing device, image processing system, and image processing method | |
| JP4100250B2 (en) | Obstacle detection device and obstacle detection method |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20080410 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20100621 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20100629 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20100712 |
|
| R151 | Written notification of patent or utility model registration |
Ref document number: 4556798 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130730 Year of fee payment: 3 |
|
| LAPS | Cancellation because of no payment of annual fees |