JP2016009330A - Three-dimensional object recognition device - Google Patents
Three-dimensional object recognition device Download PDFInfo
- Publication number
- JP2016009330A JP2016009330A JP2014129514A JP2014129514A JP2016009330A JP 2016009330 A JP2016009330 A JP 2016009330A JP 2014129514 A JP2014129514 A JP 2014129514A JP 2014129514 A JP2014129514 A JP 2014129514A JP 2016009330 A JP2016009330 A JP 2016009330A
- Authority
- JP
- Japan
- Prior art keywords
- dimensional object
- optical flow
- unit
- optical
- feature point
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Landscapes
- Traffic Control Systems (AREA)
- Image Analysis (AREA)
Abstract
Description
本発明は、撮像部により得られる画像における立体物の存否を判定する立体物認識装置に関する。 The present invention relates to a three-dimensional object recognition device that determines the presence or absence of a three-dimensional object in an image obtained by an imaging unit.
従来、車載カメラにより撮影して得られる画像から所定の特徴量を有する部分として抽出される特徴点のオプティカルフローに基づいて、物体を認識する装置が知られている(例えば、特許文献1参照)。 2. Description of the Related Art Conventionally, an apparatus that recognizes an object based on an optical flow of feature points extracted as a part having a predetermined feature amount from an image obtained by photographing with an in-vehicle camera is known (for example, see Patent Document 1). .
特許文献1の装置では、画像から、横方向に濃度勾配を有する部分として得られる縦エッジの横方向の移動速度、及び縦方向に濃度勾配を有する部分として得られる横エッジの縦方向の移動速度が、各エッジについてのオプティカルフローとして算出される。そして、横方向の移動速度が同一である縦エッジを含む部分が対象領域として設定される。 In the apparatus of Patent Document 1, the horizontal edge moving speed obtained as a part having a density gradient in the horizontal direction from the image, and the vertical moving speed of the horizontal edge obtained as a part having the density gradient in the vertical direction are disclosed. Is calculated as an optical flow for each edge. Then, a portion including a vertical edge having the same moving speed in the horizontal direction is set as the target region.
さらに、対象領域に含まれる横エッジの縦方向の移動速度と、その画像上の位置とに基づいて、その領域に含まれる物体が、車載カメラを搭載した車両に到達するまでの時間が算出される。このように、各エッジのオプティカルフローに基づいて物体が認識され、認識結果が、物体との衝突回避等のために役立てられる。 Furthermore, based on the moving speed in the vertical direction of the horizontal edge included in the target area and the position on the image, the time until the object included in the area reaches the vehicle equipped with the in-vehicle camera is calculated. The In this way, the object is recognized based on the optical flow of each edge, and the recognition result is used for avoiding a collision with the object.
しかしながら、上記特許文献1の装置によれば、縦方向及び横方向の2次元のオプティカルフローに基づいて物体を認識している。このため、車載カメラを搭載した自車両の前方を走行する他車両の速度が、自車両の速度に比べて小さい場合には、自車両の移動速度の影響により、他車両のオプティカルフローと、その背景のオプティカルフローとの差が顕著に表れ難い。 However, according to the apparatus of Patent Document 1, an object is recognized based on a two-dimensional optical flow in the vertical direction and the horizontal direction. For this reason, when the speed of the other vehicle traveling in front of the host vehicle equipped with the in-vehicle camera is smaller than the speed of the host vehicle, the optical flow of the other vehicle and its The difference from the optical flow of the background is hardly noticeable.
この場合、他車両とその背景のオプティカルフローを区別し難いので、他車両を確実に認識するのが困難となるおそれがある。そうすると、認識結果を、物体との衝突回避等のために役立てられなくなるおそれがある。 In this case, since it is difficult to distinguish the other vehicle from the optical flow of the background, it may be difficult to reliably recognize the other vehicle. If it does so, there exists a possibility that a recognition result may become useless for the collision avoidance etc. with an object.
本発明の目的は、かかる従来技術の課題に鑑み、立体物を、その背景に対する移動速度が小さい場合でも、背景から容易に区別して認識できる立体物認識装置を提供することにある。 An object of the present invention is to provide a three-dimensional object recognition apparatus that can easily recognize and recognize a three-dimensional object from the background even when the moving speed of the three-dimensional object is small.
本発明の立体物認識装置は、撮像部により得られる画像に基づいて該画像における立体物の存否判定の対象領域を抽出する対象領域抽出部と、前記対象領域内の所定の特徴点を抽出して各特徴点のオプティカルフローを算出するオプティカルフロー算出部と、前記オプティカルフロー算出部により算出されたオプティカルフローのうち、そのオプティカルフローに対応する特徴点の高さ若しくは該特徴点までの距離、又はこれらの両方が所定範囲内であるオプティカルフローの数をカウントするカウント部と、前記カウント部によりカウントされたオプティカルフローの数に基づいて、前記対象領域内に立体物が存在するか否かを判定する立体物判定部とを備えることを特徴とする。 The three-dimensional object recognition device of the present invention extracts a target area extracting unit that extracts a target area for determining the presence or absence of a three-dimensional object in an image based on an image obtained by an imaging unit, and a predetermined feature point in the target area. An optical flow calculation unit that calculates an optical flow of each feature point, and, among the optical flows calculated by the optical flow calculation unit, a height of a feature point corresponding to the optical flow or a distance to the feature point, or A counting unit that counts the number of optical flows both of which are within a predetermined range, and whether or not a three-dimensional object exists in the target region is determined based on the number of optical flows counted by the counting unit. And a three-dimensional object determination unit.
本発明によれば、対象領域内の特徴点のオプティカルフローのうち、その特徴点の高さ若しくは該特徴点までの距離、又はこれらの両方が所定範囲内であるオプティカルフローの数に基づいて、対象領域内に立体物が存在するか否かが判定される。したがって、立体物を、その背景に対する移動速度が小さい場合でも、簡易な処理で、比較的精度よく、背景から容易に区別して認識することができる。 According to the present invention, based on the number of optical flows in which the height of the feature point or the distance to the feature point among the optical flows of the feature points in the target region, or both of them are within a predetermined range, It is determined whether or not a three-dimensional object exists in the target area. Therefore, even when the moving speed with respect to the background is low, the three-dimensional object can be easily distinguished and recognized from the background with a relatively simple process.
本発明において、前記立体物判定部は、前記オプティカルフロー算出部により算出されたオプティカルフローの数に対する前記カウント部によりカウントされたオプティカルフローの数の割合が所定値以上の場合、前記対象領域内に立体物が存在する旨の判定を行ってもよい。これにより、より高い精度で、対象領域内に立体物が存在することを判定することができる。 In the present invention, when the ratio of the number of optical flows counted by the counting unit to the number of optical flows calculated by the optical flow calculation unit is equal to or greater than a predetermined value, the three-dimensional object determination unit is within the target region. You may determine that a solid thing exists. Thereby, it can be determined with higher accuracy that a three-dimensional object exists in the target region.
本発明において、前記立体物判定部は、前記オプティカルフロー算出部により算出されたオプティカルフローの数に対する前記カウント部によりカウントされたオプティカルフローの数の割合が所定値以下の場合、前記対象領域内に立体物が存在しない旨の判定を行ってもよい。これによれば、より高い精度で、対象領域内に立体物が存在しないことを判定することができる。 In the present invention, when the ratio of the number of optical flows counted by the counting unit to the number of optical flows calculated by the optical flow calculating unit is equal to or less than a predetermined value, the three-dimensional object determination unit is within the target region. You may determine that a solid object does not exist. According to this, it can be determined with higher accuracy that there is no three-dimensional object in the target region.
本発明において、前記カウント部によるカウントは、前記対象領域のうちの下端から上方の所定位置までの範囲を除いた領域を対象として行われてもよい。これによれば、より高い精度で対象領域内に立体物が存在するか否かを判定することができる。 In the present invention, the counting by the counting unit may be performed on an area excluding a range from a lower end to a predetermined position above the target area. According to this, it is possible to determine whether or not a three-dimensional object exists in the target region with higher accuracy.
本発明において、前記距離についての所定範囲は、前記対象領域までの距離を中心とする一定の範囲であってもよい。これによれば、対象領域内に比較的高い立体物が存在するか否かを良好に判定することができる。 In the present invention, the predetermined range for the distance may be a certain range centered on the distance to the target region. According to this, it is possible to satisfactorily determine whether or not there is a relatively high three-dimensional object in the target region.
本発明において、前記高さについての所定範囲は、認識したい前記立体物が取り得る高さの範囲であってもよい。これによれば、対象領域内に認識したい立体物に該当する蓋然性の高い立体物が存在するか否かを良好に判定することができる。 In the present invention, the predetermined range for the height may be a range of height that can be taken by the three-dimensional object to be recognized. According to this, it can be satisfactorily determined whether or not there is a highly probable three-dimensional object corresponding to the three-dimensional object to be recognized in the target region.
以下、図面を用いて本発明の実施形態を説明する。図1に示すように、実施形態の立体物認識装置1は、撮像部2と、撮像部2により得られる画像に基づいて、画像中の立体物を認識する認識処理部3とを備える。立体物認識装置1は、例えば、移動体としての車両に取り付けられ、車両の走行中に、車両に接近する立体物を、背景としての道路から区別して認識する。撮像部2は、例えば、少なくとも1つのカメラにより構成される。 Hereinafter, embodiments of the present invention will be described with reference to the drawings. As illustrated in FIG. 1, the three-dimensional object recognition device 1 according to the embodiment includes an imaging unit 2 and a recognition processing unit 3 that recognizes a three-dimensional object in an image based on an image obtained by the imaging unit 2. The three-dimensional object recognition device 1 is attached to a vehicle as a moving body, for example, and recognizes a three-dimensional object approaching the vehicle separately from a road as a background while the vehicle is traveling. The imaging unit 2 is configured by at least one camera, for example.
認識処理部3は、撮像部2による撮影結果としての画像情報を取得する画像取得部4と、その画像情報で構成される画像に基づいて、その画像における立体物の存否判定の対象領域を抽出する対象領域抽出部5と、対象領域内の所定の特徴点を抽出して各特徴点のオプティカルフローを算出するオプティカルフロー算出部6とを備える。 The recognition processing unit 3 extracts an image acquisition unit 4 that acquires image information as a result of imaging by the imaging unit 2 and a target region for determining the presence or absence of a three-dimensional object in the image based on the image configured by the image information. A target area extracting unit 5 that extracts a predetermined feature point in the target area and calculates an optical flow of each feature point.
画像取得部4は、例えば数十ミリ秒毎に撮像部2から1フレーム分の画像情報を取得して画像メモリに記憶する。対象領域抽出部5は、画像メモリに順次記憶されるフレーム毎の画像情報に基づき、その画像における対象領域を抽出する。対象領域は、例えば、エッジ等の特徴領域を抽出し、クラスタリングを行って得られる各クラスタに対応付けて設定される。 The image acquisition unit 4 acquires image information for one frame from the imaging unit 2 every tens of milliseconds, for example, and stores it in the image memory. The target area extraction unit 5 extracts a target area in the image based on the image information for each frame sequentially stored in the image memory. For example, the target region is set in association with each cluster obtained by extracting a feature region such as an edge and performing clustering.
対象領域内の所定の特徴点として、例えば、隣接するエッジの角部が抽出される。特徴点のオプティカルフローは、撮像部2により得られる連続する2つのフレームの画像に基づいて、その特徴点の速度ベクトルとして算出される。 As predetermined feature points in the target region, for example, corners of adjacent edges are extracted. The optical flow of a feature point is calculated as a velocity vector of the feature point based on two consecutive frames of images obtained by the imaging unit 2.
図2は、オプティカルフロー算出部6により算出されるオプティカルフロー(速度ベクトル)の一例を示す。図2においては、撮像部2がその撮影方向に向かって移動している場合に、撮影された道路を含む画像7において抽出された対象領域8と、対象領域8内の各特徴点について算出されたオプティカルフロー9が示されている。オプティカルフロー9の大きさは、その特徴点に対応する路面10上の位置が撮像部2に近いほど大きいことがわかる。 FIG. 2 shows an example of an optical flow (velocity vector) calculated by the optical flow calculation unit 6. In FIG. 2, when the imaging unit 2 is moving in the shooting direction, the calculation is performed for the target area 8 extracted in the image 7 including the shot road and each feature point in the target area 8. An optical flow 9 is shown. It can be seen that the size of the optical flow 9 increases as the position on the road surface 10 corresponding to the feature point is closer to the imaging unit 2.
したがって、図3のように、撮像部2の画角の範囲内に歩行者11が存在する場合、撮像部2から歩行者11の足元とその近傍の路面10までの距離は、さほど異なることがないので、歩行者11の足部12とその近傍の背景としての路面10のオプティカルフローの大きさに大きな差はない。 Therefore, as shown in FIG. 3, when the pedestrian 11 exists within the range of the angle of view of the imaging unit 2, the distance from the imaging unit 2 to the feet of the pedestrian 11 and the road surface 10 in the vicinity thereof may vary greatly. Therefore, there is no great difference in the size of the optical flow of the foot 12 of the pedestrian 11 and the road surface 10 as the background in the vicinity thereof.
一方、撮像部2の高さの半分程度の高さに歩行者の腰部13が位置するとすれば、撮像部2から腰部13までの距離は、腰部13の背景としての路面10までの距離の半分程度となる。この場合には、腰部13とその背景との距離の差に対応して、背景に対する腰部13のオプティカルフローの大きさの比率は大きくなる。 On the other hand, if the pedestrian's waist 13 is located at a height about half the height of the imaging unit 2, the distance from the imaging unit 2 to the waist 13 is half of the distance to the road surface 10 as the background of the waist 13. It will be about. In this case, the ratio of the size of the optical flow of the waist 13 to the background increases corresponding to the difference in the distance between the waist 13 and the background.
他方、撮像部2と歩行者の肩部14とがほぼ同じ高さに位置する場合には、肩部14の背景はほぼ無限遠の景色となるので、背景のオプティカルフローの大きさはゼロに近い。これに対し、肩部14のオプティカルフローはかなり大きい。したがって、この場合、背景に対する肩部14のオプティカルフローの大きさの比率はさらに大きくなる。このことは、オプティカルフローにより立体物を背景から区別する場合、立体物上の高い位置のオプティカルフローを用いた方が、より明確に区別できることを意味する。 On the other hand, when the imaging unit 2 and the shoulder 14 of the pedestrian are located at substantially the same height, the background of the shoulder 14 is a scene at infinity, so the size of the background optical flow is zero. close. On the other hand, the optical flow of the shoulder 14 is considerably large. Therefore, in this case, the ratio of the magnitude of the optical flow of the shoulder 14 to the background is further increased. This means that when the three-dimensional object is distinguished from the background by the optical flow, it is possible to distinguish more clearly by using the optical flow at a high position on the three-dimensional object.
また、図2を用いて上述したように、各特徴点のオプティカルフローの大きさは、その特徴点に対応する路面10上の位置が撮像部2に近いほど大きい。このことは、路面10上に存在する歩行者11のオプティカルフローについても当て嵌まる。このため、オプティカルフローの大きさから、その特徴点に対応する路面10上の位置までの距離が推定できる。 Further, as described above with reference to FIG. 2, the size of the optical flow of each feature point is larger as the position on the road surface 10 corresponding to the feature point is closer to the imaging unit 2. This is also true for the optical flow of the pedestrian 11 existing on the road surface 10. For this reason, the distance to the position on the road surface 10 corresponding to the feature point can be estimated from the size of the optical flow.
また、同じ大きさのオプティカルフローでも、対象領域8内で上に位置するオプティカルフローほど、その特徴点に対応する立体物上の位置は高い。したがって、オプティカルフローの大きさ及び対象領域8における位置に基づいて、そのオプティカルフローの特徴点に対応する立体物部分の位置及び高さを推定することができる。 In addition, even in an optical flow of the same size, the position on the three-dimensional object corresponding to the feature point is higher as the optical flow positioned higher in the target region 8. Therefore, based on the magnitude of the optical flow and the position in the target region 8, the position and height of the three-dimensional object portion corresponding to the feature point of the optical flow can be estimated.
本実施形態では、このような歩行者等の立体物とその背景のオプティカルフローの特質を利用して、立体物が、その背景から区別して認識される。かかる立体物の認識を行うために、認識処理部3は、さらに、オプティカルフロー算出部6により算出されたオプティカルフローのうちの所定のものの数をカウントするカウント部15と、このカウント数に基づいて、対象領域8内に立体物が存在するか否かを判定する立体物判定部16とを備える。 In the present embodiment, the three-dimensional object is recognized separately from the background by using such a three-dimensional object such as a pedestrian and the characteristics of the optical flow of the background. In order to recognize such a three-dimensional object, the recognition processing unit 3 further includes a count unit 15 that counts a predetermined number of optical flows calculated by the optical flow calculation unit 6, and based on the count number. And a three-dimensional object determination unit 16 that determines whether or not a three-dimensional object exists in the target area 8.
カウント部15は、上記の所定のオプティカルフローの数として、そのオプティカルフローの特徴点に対応する実空間上の部分について推定されるその部分の高さ若しくはその部分までの距離、又はこれらの両方が所定の範囲にあるオプティカルフローの数をカウントする。 The counting unit 15 determines the height of the portion estimated for the portion in the real space corresponding to the feature point of the optical flow, the distance to the portion, or both as the number of the predetermined optical flows. Count the number of optical flows in a given range.
所定の高さの範囲としては、所定の高さまでの範囲を除いたその上の範囲や、認識しようとしている立体物が取り得る高さの範囲が該当する。また、所定の距離の範囲としては、例えば、対象領域8までの距離を中心とする一定の範囲が該当する。 The range of the predetermined height corresponds to a range above that excluding the range up to the predetermined height and a range of the height that can be taken by the three-dimensional object to be recognized. Moreover, as the range of the predetermined distance, for example, a certain range centered on the distance to the target region 8 is applicable.
対象領域8までの距離は、例えば、それに含まれる特徴点までの平均距離として把握することができる。その距離は、例えば、対象領域8の1フレーム前の画像における大きさに対する現在のフレームの画像における大きさの拡大率が対象領域8までの距離と相関関係にあることを利用して算出することができる。 The distance to the target area 8 can be grasped as, for example, an average distance to the feature points included in the distance. The distance is calculated using, for example, the fact that the enlargement ratio of the size of the current frame image relative to the size of the image of the target region 8 one frame before is correlated with the distance to the target region 8. Can do.
また、例えば、立体物として図3のような歩行者を認識しようとする場合には、対象領域8の下端から半分程度の高さまでの範囲を除いた領域について、上記のオプティカルフローのカウントが行われる。上述のように、歩行者の位置が高い部分ほど、その背景とのオプティカルフローの大きさの比率が大きくなり、上述の高さや距離が所定値以上であることを把握し易いからである。 Further, for example, when a pedestrian as shown in FIG. 3 is to be recognized as a three-dimensional object, the above-described optical flow is counted for an area excluding the range from the lower end of the target area 8 to about half the height. Is called. As described above, the higher the position of the pedestrian, the larger the ratio of the optical flow size to the background, and it is easier to grasp that the above-described height and distance are greater than or equal to a predetermined value.
図4は、図3のように路面10上に歩行者が存在する場合の対象領域8内の各オプティカルフローに対応する特徴点までの距離及び高さの一例を示す。横軸は、実空間での基準位置からの距離であり、縦軸は、路面10からの高さである。マル印により歩行者11の各特徴点の距離及び高さが示されており、バツ印により路面10の各特徴点までの距離及び高さが示されている。各特徴点についての距離及び高さの値は、その対象領域8内での位置及び対応するオプティカルフローの値に基づいて算出された値である。 FIG. 4 shows an example of the distance and height to the feature point corresponding to each optical flow in the target area 8 when a pedestrian is present on the road surface 10 as shown in FIG. The horizontal axis is the distance from the reference position in real space, and the vertical axis is the height from the road surface 10. The distance and height of each feature point of the pedestrian 11 are indicated by a circle, and the distance and height to each feature point of the road surface 10 are indicated by a cross. The distance and height values for each feature point are values calculated based on the position in the target region 8 and the corresponding optical flow value.
歩行者11の特徴点は、ある距離の範囲Dw内に多く存在するのに対し、路面10の特徴点は、距離方向にばらついている。また、歩行者11の特徴点は、高さ方向にばらついているのに対し、路面10の特徴点は、高さh1より低い位置に多く存在する。 While many feature points of the pedestrian 11 exist within a certain distance range Dw, the feature points of the road surface 10 vary in the distance direction. The feature points of the pedestrian 11 vary in the height direction, whereas many feature points of the road surface 10 exist at positions lower than the height h1.
したがって、高さh1より位置が高い特徴点の平均距離Dmを算出し、Dmを中心とする所定の距離の範囲Dw内に位置する特徴点のオプティカルフローの数をカウントすることにより、そのカウント数に基づいて、対象領域8内に歩行者のような立体物が存在するかどうかを判定することができる。なお、平均距離Dmは、上述の対象領域8までの距離に対応する。 Therefore, by calculating the average distance Dm of the feature points whose positions are higher than the height h1, and counting the number of optical flows of the feature points located within a predetermined distance range Dw centered on Dm, the count number Based on the above, it is possible to determine whether or not a three-dimensional object such as a pedestrian exists in the target area 8. The average distance Dm corresponds to the distance to the target area 8 described above.
例えば、対象領域8内のオプティカルフローのカウントの対象とした領域における全オプティカルフロー数に対するカウント数の割合が所定値以上である場合には、対象領域8内に立体物が存在する旨の判定を行うことができる。 For example, when the ratio of the count number to the total number of optical flows in the area targeted for optical flow counting in the target area 8 is equal to or greater than a predetermined value, it is determined that a three-dimensional object exists in the target area 8. It can be carried out.
また、高さがh1からh2までの範囲のオプティカルフローの数をカウントすることにより、そのカウント数に基づいて、対象領域8内に歩行者のような立体物が存在するか否かが判定される。例えば、対象領域8内のオプティカルフローのカウントの対象とした領域における全オプティカルフロー数に対するカウント数の割合が所定値以上である場合には、対象領域8内に立体物が存在する旨の判定を行うことができる。 Further, by counting the number of optical flows having a height in the range from h1 to h2, it is determined whether or not there is a three-dimensional object such as a pedestrian in the target area 8 based on the counted number. The For example, when the ratio of the count number to the total number of optical flows in the area targeted for optical flow counting in the target area 8 is equal to or greater than a predetermined value, it is determined that a three-dimensional object exists in the target area 8. It can be carried out.
なお、オプティカルフローに対応する特徴点の高さ又は該特徴点までの距離のうちのいずれか一方が所定範囲内であるオプティカルフローの数をカウントし、そのカウント数に基づいて立体物の存在する旨の判定を行うようにしてもよい。ただし、上述のように、特徴点の高さ及び該特徴点までの距離の双方が所定範囲内であるオプティカルフローのカウント数に基づいて判定を行うことにより、より高精度な判定を行うことができる。 Note that the number of optical flows in which either the height of the feature point corresponding to the optical flow or the distance to the feature point is within a predetermined range is counted, and a three-dimensional object exists based on the count number. You may make it determine to this effect. However, as described above, more accurate determination can be performed by performing determination based on the number of optical flow counts in which both the height of the feature point and the distance to the feature point are within a predetermined range. it can.
図5は、認識処理部3における立体物認識処理を示すフローチャートである。認識処理部3は、この処理を開始すると、まず、ステップS1において、画像取得部4により得られた1フレームの画像に基づき、対象領域抽出部5により、該画像における立体物の存否判定の対象領域を抽出する。 FIG. 5 is a flowchart showing the three-dimensional object recognition process in the recognition processing unit 3. When the recognition processing unit 3 starts this processing, first, in step S1, based on the one-frame image obtained by the image acquisition unit 4, the target region extraction unit 5 uses the target to determine whether a solid object exists in the image. Extract regions.
次に、ステップS2において、オプティカルフロー算出部6により、抽出された対象領域8におけるエッジの角部等の各特徴点についてオプティカルフローを算出する。 Next, in step S <b> 2, the optical flow calculation unit 6 calculates an optical flow for each feature point such as a corner of an edge in the extracted target region 8.
次に、ステップS3において、カウント部15により、算出されたオプティカルフローのうち、そのオプティカルフローに対応する特徴点について算出される高さ若しくは該特徴点までの距離、又はこれらの両方が所定範囲内であるオプティカルフローの数をカウントする。 Next, in step S3, the height calculated for the feature point corresponding to the optical flow, the distance to the feature point, or both of them within the predetermined range by the counting unit 15 in the calculated optical flow. Count the number of optical flows that are.
このとき、カウントは、対象領域8のうちの下端から上方の所定位置までの範囲を除いた領域、例えば対象領域8の上半分の領域を対象として行ってもよい。また、距離についての所定範囲は、対象領域8までの距離を中心とする一定の範囲であってもよい。また、高さについての所定範囲は、認識したい立体物である歩行者が取り得る高さの範囲であってもよい。 At this time, the counting may be performed on an area excluding a range from the lower end to an upper predetermined position of the target area 8, for example, an upper half area of the target area 8. Further, the predetermined range for the distance may be a certain range centered on the distance to the target region 8. Moreover, the predetermined range about the height may be a range of height that can be taken by a pedestrian that is a three-dimensional object to be recognized.
次に、ステップS4において、立体物判定部16により、ステップS3でカウントしたオプティカルフローの数のステップS2で算出した全オプティカルフローの数に対する割合が所定値以上であるか否かを判定する。所定値以上でないと判定した場合には、そのままステップS6に進む。所定値以上であると判定した場合には、ステップS5において、対象領域8内に立体物が存在すると判定し、ステップS6に進む。 Next, in step S4, the three-dimensional object determination unit 16 determines whether the ratio of the number of optical flows counted in step S3 to the number of all optical flows calculated in step S2 is greater than or equal to a predetermined value. If it is determined that the value is not equal to or greater than the predetermined value, the process directly proceeds to step S6. If it is determined that the value is equal to or greater than the predetermined value, it is determined in step S5 that a three-dimensional object exists in the target area 8, and the process proceeds to step S6.
ステップS6では、ステップS1で抽出したすべての対象領域8についての処理が終了したかどうかを判定する。処理が終了していないと判定した場合には、ステップS2に戻り、次の対象領域8について、同様にステップS2〜S5の処理を繰り返す。処理が終了したと判定した場合には、図5の処理を終了する。 In step S6, it is determined whether or not the processing for all target areas 8 extracted in step S1 has been completed. If it is determined that the process has not ended, the process returns to step S2, and the processes of steps S2 to S5 are repeated in the same manner for the next target area 8. If it is determined that the process has been completed, the process in FIG. 5 is terminated.
図5の処理を終了すると、立体物が存在すると判定された対象領域8については、その立体物が歩行者であるどうかを検定するなどのさらに詳細な処理の対象に供することができる。 When the process of FIG. 5 is finished, the target region 8 determined to have a three-dimensional object can be used for a more detailed process target such as testing whether the three-dimensional object is a pedestrian.
以上説明したように、本実施形態によれば、対象領域8内の特徴点のオプティカルフローのうち、その特徴点の高さ若しくは該特徴点までの距離、又はこれらの両方が所定範囲内であるオプティカルフローの数に基づいて、対象領域8内に立体物が存在するか否かが判定される。したがって、簡易な処理で、比較的精度よく、立体物の認識を行うことができる。 As described above, according to the present embodiment, among the optical flows of the feature points in the target region 8, the height of the feature points, the distance to the feature points, or both are within a predetermined range. Based on the number of optical flows, it is determined whether or not a three-dimensional object exists in the target area 8. Therefore, it is possible to recognize a three-dimensional object with relatively high accuracy by a simple process.
その際、オプティカルフロー算出部6により算出されたオプティカルフローの数に対するカウント部によりカウントされたオプティカルフローの数の割合が所定値以上であるか否かにより、対象領域8内に立体物が存在するか否かを判定することができる。 At this time, there is a three-dimensional object in the target region 8 depending on whether the ratio of the number of optical flows counted by the counting unit to the number of optical flows calculated by the optical flow calculating unit 6 is equal to or greater than a predetermined value. It can be determined whether or not.
また、カウント部15によるカウントは、対象領域8のうちの下端から上方の所定位置までの範囲を除いた領域を対象として行われるので、より高い精度で対象領域8内に立体物が存在するか否かを判定することができる。 In addition, since the counting by the counting unit 15 is performed on an area excluding the range from the lower end to the upper predetermined position of the target area 8, is there a three-dimensional object in the target area 8 with higher accuracy? It can be determined whether or not.
また、カウント部15が、対象領域8までの距離を中心とする一定の範囲に位置する特徴領域のオプティカルフローをカウントする場合には、対象領域8内に比較的高い立体物が存在するか否かを良好に判定することができる。 Further, when the counting unit 15 counts the optical flow of the feature region located in a certain range centered on the distance to the target region 8, whether or not a relatively high three-dimensional object exists in the target region 8. Can be determined satisfactorily.
また、カウント部15が、認識したい立体物、例えば歩行者がとり得る高さの範囲に位置する特徴領域のオプティカルフローをカウントする場合には、対象領域8内に歩行者に該当する蓋然性の高い立体物が存在するか否かを良好に判定することができる。 Further, when the counting unit 15 counts an optical flow of a feature area located in a range of a three-dimensional object to be recognized, for example, a pedestrian can take, there is a high probability that the target area 8 corresponds to a pedestrian. It can be satisfactorily determined whether or not a three-dimensional object exists.
以上、本発明の実施形態について説明したが、本発明はこれに限定されない。例えば、カウント部15によるカウントは、図4を用いて説明した高さの範囲h1〜h2と、距離の範囲Dwとを組み合わせた範囲に存在するオプティカルフローを対象としてカウントするようにしてもよい。 As mentioned above, although embodiment of this invention was described, this invention is not limited to this. For example, the counting by the counting unit 15 may be performed for an optical flow existing in a range obtained by combining the height range h1 to h2 described with reference to FIG. 4 and the distance range Dw.
1…立体物認識装置、2…撮像部、7…画像、8…対象領域、5…対象領域抽出部、9…オプティカルフロー、6…オプティカルフロー算出部、15…カウント部、16…立体物判定部。 DESCRIPTION OF SYMBOLS 1 ... Three-dimensional object recognition apparatus, 2 ... Imaging part, 7 ... Image, 8 ... Target area, 5 ... Target area extraction part, 9 ... Optical flow, 6 ... Optical flow calculation part, 15 ... Count part, 16 ... Three-dimensional object determination Department.
Claims (6)
前記対象領域内の所定の特徴点を抽出して各特徴点のオプティカルフローを算出するオプティカルフロー算出部と、
前記オプティカルフロー算出部により算出されたオプティカルフローのうち、そのオプティカルフローに対応する特徴点の高さ若しくは該特徴点までの距離、又はこれらの両方が所定範囲内であるオプティカルフローの数をカウントするカウント部と、
前記カウント部によりカウントされたオプティカルフローの数に基づいて、前記対象領域内に立体物が存在するか否かを判定する立体物判定部とを備えることを特徴とする立体物認識装置。 A target area extracting unit that extracts a target area for determining the presence or absence of a three-dimensional object in the image based on an image obtained by the imaging unit;
An optical flow calculation unit for extracting a predetermined feature point in the target region and calculating an optical flow of each feature point;
Among the optical flows calculated by the optical flow calculation unit, the height of the feature point corresponding to the optical flow, the distance to the feature point, or the number of optical flows whose both are within a predetermined range is counted. A counting section;
A three-dimensional object recognition device comprising: a three-dimensional object determination unit that determines whether or not a three-dimensional object exists in the target region based on the number of optical flows counted by the counting unit.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2014129514A JP6329823B2 (en) | 2014-06-24 | 2014-06-24 | 3D object recognition device |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2014129514A JP6329823B2 (en) | 2014-06-24 | 2014-06-24 | 3D object recognition device |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2016009330A true JP2016009330A (en) | 2016-01-18 |
JP6329823B2 JP6329823B2 (en) | 2018-05-23 |
Family
ID=55226846
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2014129514A Expired - Fee Related JP6329823B2 (en) | 2014-06-24 | 2014-06-24 | 3D object recognition device |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6329823B2 (en) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2020180804A (en) * | 2019-04-23 | 2020-11-05 | カシオ計算機株式会社 | Information processing device, information processing method, and information processing program |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2003237407A (en) * | 2002-02-13 | 2003-08-27 | Toyota Central Res & Dev Lab Inc | Vehicle speed control device |
JP2010257138A (en) * | 2009-04-23 | 2010-11-11 | Toyota Motor Corp | Object detection device |
JP2013149177A (en) * | 2012-01-22 | 2013-08-01 | Suzuki Motor Corp | Optical flow processor |
-
2014
- 2014-06-24 JP JP2014129514A patent/JP6329823B2/en not_active Expired - Fee Related
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2003237407A (en) * | 2002-02-13 | 2003-08-27 | Toyota Central Res & Dev Lab Inc | Vehicle speed control device |
JP2010257138A (en) * | 2009-04-23 | 2010-11-11 | Toyota Motor Corp | Object detection device |
JP2013149177A (en) * | 2012-01-22 | 2013-08-01 | Suzuki Motor Corp | Optical flow processor |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2020180804A (en) * | 2019-04-23 | 2020-11-05 | カシオ計算機株式会社 | Information processing device, information processing method, and information processing program |
JP7334456B2 (en) | 2019-04-23 | 2023-08-29 | カシオ計算機株式会社 | Information processing device, information processing method and information processing program |
Also Published As
Publication number | Publication date |
---|---|
JP6329823B2 (en) | 2018-05-23 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6511283B2 (en) | Object detection device | |
CN107406071B (en) | Pedestrian's identification device and its method | |
US9547795B2 (en) | Image processing method for detecting objects using relative motion | |
CN106170828B (en) | External recognition device | |
US9704047B2 (en) | Moving object recognition apparatus | |
JP2012174117A (en) | Mobile object detection device | |
EP3545464A1 (en) | Information processing device, imaging device, equipment control system, mobile object, information processing method, and computer-readable recording medium | |
JP6230498B2 (en) | Object recognition device | |
CN104364796A (en) | Method and device for processing stereoscopic data | |
JP2014009975A (en) | Stereo camera | |
JP6547841B2 (en) | Image processing apparatus, object recognition apparatus, device control system, image processing method and program | |
JP2018025906A (en) | Image processing device, imaging device, mobile equipment control system, image processing method, and program | |
JP2016058085A (en) | Method and device for detecting shielding of object | |
JP6483360B2 (en) | Object recognition device | |
JP2012252501A (en) | Traveling path recognition device and traveling path recognition program | |
JP6329823B2 (en) | 3D object recognition device | |
JP2019096062A (en) | Object tracking device, object tracking method, and object tracking program | |
JP5587852B2 (en) | Image processing apparatus and image processing method | |
JP5345999B2 (en) | Lane mark recognition device | |
CN111301407B (en) | Dangerous vehicle determination method and device, electronic equipment and readable storage medium | |
WO2014054124A1 (en) | Road surface markings detection device and road surface markings detection method | |
US10019635B2 (en) | Vehicle-mounted recognition device | |
JP2017211791A (en) | Image processing device, imaging device, mobile body equipment control system, image processing method, and program | |
JP2018032074A (en) | Image processing apparatus, imaging device, movable body machine control system, image processing method, and program | |
JP6416654B2 (en) | White line detector |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20170410 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20180312 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20180403 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20180423 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6329823 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
LAPS | Cancellation because of no payment of annual fees |