JP7156120B2 - Object recognition device - Google Patents
Object recognition device Download PDFInfo
- Publication number
- JP7156120B2 JP7156120B2 JP2019055128A JP2019055128A JP7156120B2 JP 7156120 B2 JP7156120 B2 JP 7156120B2 JP 2019055128 A JP2019055128 A JP 2019055128A JP 2019055128 A JP2019055128 A JP 2019055128A JP 7156120 B2 JP7156120 B2 JP 7156120B2
- Authority
- JP
- Japan
- Prior art keywords
- recognition
- calculated
- calculation unit
- luminance
- unit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Landscapes
- Traffic Control Systems (AREA)
- Image Analysis (AREA)
Description
この明細書における開示は、画像から特定の物体を認識する物体認識装置に関する。 The disclosure in this specification relates to an object recognition device that recognizes a specific object from an image.
従来、撮像画像に含まれる被写体が何であるかを認識する認識技術として、輝度や色等の特徴量を用いた画像処理により被写体を認識する技術がある。具体的には、画像内の複数領域における輝度のヒストグラム（度数分布）の一種である勾配方向ヒストグラム（ＨＯＧ：Histograms of Oriented Gradients）を用いて物体検出を行う技術が提案されている。勾配方向ヒストグラムは、対象となる画像を複数の領域に分割し、この各領域について輝度の勾配強度および勾配方向を算出し、これらの輝度の勾配強度および勾配方向に基づいて作成される。 2. Description of the Related Art Conventionally, as a recognition technology for recognizing what a subject included in a captured image is, there is a technology for recognizing the subject by image processing using feature amounts such as brightness and color. Specifically, there has been proposed a technique of detecting an object using histograms of oriented gradients (HOG), which are a type of luminance histogram (frequency distribution) in multiple regions in an image. The oriented gradient histogram is created based on dividing the image of interest into multiple regions, calculating the intensity gradient strength and gradient direction for each region, and based on these intensity gradient strengths and gradient directions.
特許文献１に記載の技術では、画像における複数の領域について勾配方向ヒストグラムを算出する。加えて、物体の認識精度を向上するために、複数の勾配方向ヒストグラムの階級のうち、特定の２つの領域に係る勾配方向ヒストグラムの特定の階級の値の差分値を算出する。対象となる画像を分割した各領域について算出した勾配方向ヒストグラムと、この差分値に基づいて物体を認識している。 In the technique described in Patent Document 1, histograms of oriented gradients are calculated for a plurality of regions in an image. In addition, in order to improve the object recognition accuracy, among the classes of the plurality of oriented gradient histograms, the difference value between the values of the specific classes of the oriented gradient histograms of two specific regions is calculated. Objects are recognized based on gradient orientation histograms calculated for each region obtained by dividing the target image and on the difference values.
勾配方向ヒストグラムの勾配強度の度数は、画像サイズが大きいほど大きくなるので、画像サイズによって変わる値である。したがって単に差分値を算出すると画像サイズの影響を受けることになる。そこで特許文献１では、画像の縮小処理によって一律の画像サイズに縮小する前処理を行って、その後に差分値を算出している。したがって特許文献１に記載の技術では前処理が必要であり、処理負荷が高いという問題がある。 Since the frequency of the gradient intensity of the histogram of oriented gradients increases as the image size increases, it is a value that varies depending on the image size. Therefore, simply calculating the difference value is affected by the image size. Therefore, in Japanese Patent Application Laid-Open No. 2002-100000, preprocessing is performed to reduce the image size to a uniform size by image reduction processing, and then the difference value is calculated. Therefore, the technique described in Patent Literature 1 requires preprocessing, which poses a problem of high processing load.
そこで、開示される目的は前述の問題点を鑑みてなされたものであり、処理負荷を抑制しつつ、物体を認識することができる物体認識装置を提供することを目的とする。 SUMMARY OF THE INVENTION Accordingly, it is an object of the present disclosure to provide an object recognition apparatus capable of recognizing an object while suppressing the processing load.
本開示は前述の目的を達成するために以下の技術的手段を採用する。 The present disclosure employs the following technical means to achieve the aforementioned objects.
ここに開示された物体認識装置は、画像から特定の対象物体（１１０）を認識する物体認識装置（１０）であって、画像中において、対象物体が存在する可能性が高い認識対象領域（４１）を推定する領域推定部（３１）と、認識対象領域を複数領域に分割した分割領域（４２）のそれぞれにおいて、輝度の勾配強度および輝度の勾配方向を算出し、算出した輝度の勾配方向に対する輝度の勾配強度の度数分布を分割領域毎に算出する第１算出部（５１）と、
第１算出部で算出された複数の度数分布のうち、少なくとも２つの領域の度数分布の階級から２つの階級を選ぶ場合の全ての組み合わせで２つの階級の度数の比を算出する第２算出部（５２）と、第１算出部が算出した度数分布と第２算出部が算出した比とを用いて認識対象領域に対象物体が含まれるか否かを判断する対象認識部（３３）と、を含む物体認識装置である。
The object recognition device disclosed here is an object recognition device (10) that recognizes a specific target object (110) from an image, and is a recognition target region (41) in the image where the target object is likely to exist. ) and a divided region (42) obtained by dividing the recognition target region into a plurality of regions. a first calculation unit (51) for calculating the frequency distribution of luminance gradient strength for each divided region;
A second calculation unit that calculates the ratio of the frequencies of the two classes in all combinations when selecting two classes from the classes of the frequency distribution of at least two regions among the plurality of frequency distributions calculated by the first calculation unit. (52), and a target recognition unit (33) that determines whether or not the target object is included in the recognition target region using the frequency distribution calculated by the first calculation unit and the ratio calculated by the second calculation unit; is an object recognition device including
このような物体認識装置に従えば、第１算出部が算出した度数分布と第２算出部が算出した階級の度数の比とを用いて、認識対象領域に対象物体が含まれるか否かを対象認識部よって判断している。分割領域および認識対象領域における輝度の勾配方向の階級ごとの輝度の勾配強度は、認識対象領域に含まれている対象物体の特徴を表している。したがって、階級の度数の比も対象物体の有無を判断するパラメータとなる。よって、分割領域および認識対象領域における輝度の勾配方向の階級ごとの輝度の勾配強度だけでなく、階級の度数の比も用いることで対象物体の有無を精度よく判断することができる。 According to such an object recognition apparatus, it is determined whether or not the target object is included in the recognition target region using the frequency distribution calculated by the first calculation unit and the ratio of the class frequencies calculated by the second calculation unit. It is determined by the object recognition unit. The luminance gradient intensity for each class in the direction of the gradient of luminance in the divided areas and the recognition target area represents the feature of the target object included in the recognition target area. Therefore, the frequency ratio of the classes is also a parameter for determining the presence or absence of the target object. Therefore, it is possible to accurately determine the presence or absence of a target object by using not only the luminance gradient intensity for each class in the luminance gradient direction in the divided regions and the recognition target region, but also the frequency ratio of the classes.
また階級の度数の比は領域の画像サイズに依存しない。したがって画像サイズを一律に調整するために画像サイズを縮小する処理が不要となる。よって、画像サイズの調整に起因する処理負荷を抑制することができる。 Also, the frequency ratio of the classes does not depend on the image size of the region. Therefore, there is no need to reduce the image size in order to uniformly adjust the image size. Therefore, it is possible to suppress the processing load caused by adjusting the image size.
なお、前述の各手段の括弧内の符号は、後述する実施形態に記載の具体的手段との対応関係を示す一例である。 It should be noted that the symbols in parentheses of each of the means described above are examples showing the correspondence with specific means described in the embodiments described later.
（第１実施形態）
本開示の第１実施形態に関して、図１～図３を用いて説明する。図１は、本開示に係る物体認識装置１０を備える車載システム１００の概略的な構成の一例を示す図である。車載システム１００は、自車両に搭載されており、物体認識装置１０、カメラ１１および車両制御部１２を備えている。
(First embodiment)
A first embodiment of the present disclosure will be described with reference to FIGS. 1 to 3. FIG. FIG. 1 is a diagram showing an example of a schematic configuration of an in-
カメラ１１は、車室内などに設置されて、自車両の前方を撮像する。このカメラ１１は、単眼カメラであっても、ステレオカメラであってもよい。カメラ１１は、撮像した画像を通信ネットワーク１３に出力する。
The camera 11 is installed in a vehicle interior, etc., and images the front of the own vehicle. This camera 11 may be a monocular camera or a stereo camera. The camera 11 outputs captured images to the
物体認識装置１０は、カメラ１１および車両制御部１２のそれぞれと自車両内に構築されている通信ネットワーク１３を介して相互通信可能に接続されている。物体認識装置１０は、カメラ１１が撮像する画像に基づいて、自車両の周辺に存在する物体の種別、たとえば車両１１０である否かを特定するＥＣＵ（Electronic Control Unit：電子制御装置）である。物体認識装置１０は、構成要素として、入出力部２１、演算部２２および記憶部２３を備える。演算部２２は、入出力部２１および記憶部２３のそれぞれと相互通信可能に接続されている。
The
入出力部２１は、物体認識装置１０が通信ネットワーク１３に接続する他の装置と相互通信するためのインターフェースとして機能する回路モジュールである。入出力部２１は、たとえばカメラ１１から出力された画像データを取得して、演算部２２に提供する。また、演算部２２から入力されたデータを所定の外部デバイス、たとえば車両制御部１２に出力する。
The input/
記憶部２３は、物体の種別を識別するためのデータである検出辞書を記憶している記憶装置である。検出辞書については別途後述する。記憶部２３は、例えばハードディスクドライブやソリッドステートドライブ等といった書き換え可能であって且つ不揮発性の記憶媒体を用いて実現されている。記憶部２３は、演算部２２によってデータの読み出し及び書き込みが可能に構成されている。
The storage unit 23 is a storage device that stores a detection dictionary that is data for identifying types of objects. The detection dictionary will be described separately later. The storage unit 23 is implemented using a rewritable and non-volatile storage medium such as a hard disk drive or solid state drive. The storage unit 23 is configured so that data can be read and written by the
演算部２２は、種々の演算処理を実行する構成であって、コンピュータとして構成されている。演算部２２は、ＣＰＵ、ＲＡＭ、フラッシュメモリ、Ｉ／Ｏ、及びこれらの構成を接続するバスラインなどを備える。フラッシュメモリには、演算部２２が実行するプログラム等が格納されている。
The
なお、演算部２２は、ＣＰＵの代わりに、ＧＰＵやＭＰＵを用いて実現されていても良い。さらにＣＰＵやＧＰＵ、ＭＰＵを組合せて実現されていてもよい。また、演算部２２が実行するプログラムは、非遷移的実体的記録媒体（non- transitory tangible storage medium）に格納されていればよく、その具体的な格納媒体は、フラッシュメモリに限定されない。
Note that the
車両制御部１２は、物体認識装置１０での物体の認識結果に基づいて自車両の加減速制御および操舵制御を行うことにより、運転席の乗員よる運転操作の補助または代行を行うＥＣＵである。車両制御部１２は、物体認識装置１０の認識結果を利用する構成であれば運転操作の補助または代行する制御に限るものではなく、エンジン制御など他の制御も実施する。また物体認識装置１０の認識結果は、自動運転に限らず、多様なアプリケーションで利用することができる。
The
次に、演算部２２の具体的な物体認識処理に関して説明する。演算部２２は、ＣＰＵが物体認識プログラムを実行することによって物体認識処理を実行する。演算部２２は、物体認識処理を実行することで、図１に示す種々の機能ブロックに対応する機能を提供する。演算部２２は、機能ブロックとして領域推定部３１、特徴抽出部３２および対象認識部３３を備える。これらの種々の機能ブロックの一部又は全部は、ハードウェアとして実現されていても良い。
Next, the specific object recognition processing of the
領域推定部３１は、カメラ１１が撮像した画像中において、対象物体である他の車両１１０が存在する可能性が高い認識対象領域４１を推定する。領域推定部３１は、自車両の後方画像中または前方画像中において、他の車両１１０が存在するであろう矩形状の認識対象領域４１を特定する。領域推定部３１は、具体的には、他の車両１１０の後方形状がカメラ１１が撮像した画像中に存在する可能性が高い認識対象領域４１を推定する。領域推定部３１は、たとえばエッジ検出によって車両１１０の後方形状に類似する物体を検出し、図２に示すように、検出した物体を内包するように矩形状の認識対象領域４１を推定する。領域推定部３１は、推定した認識対象領域４１を特徴抽出部３２に出力する。
The
特徴抽出部３２は、認識対象領域４１から画像の特徴を抽出し、抽出した特徴を対象認識部３３に出力する。特徴抽出部３２は、機能ブロックとして第１算出部５１、第２算出部５２および第３算出部５３を備える。第１算出部５１は、領域推定部３１が特定した認識対象領域４１と、認識対象領域４１を複数領域に分割した分割領域４２のそれぞれにおいて、輝度の勾配強度および輝度の勾配方向を算出し、算出した輝度の勾配方向に対する勾配強度の度数分布を認識対象領域４１と分割領域４２のそれぞれにおいて算出する。分割領域４２は、図２に示すように、認識対象領域４１を縦に３つ、かつ横に３つに等分割した９分割の領域である。
The
輝度の勾配方向に対する勾配強度の度数分布は、輝度のヒストグラム（度数分布）の一種であり、勾配方向ヒストグラム（ＨＯＧ：Histograms of Oriented Gradients）と呼ばれる。したがって第１算出部５１は、対象領域におけるＨＯＧを算出する。ＨＯＧは、図３に示すように、認識対象領域４１および各分割領域４２について輝度の勾配強度および勾配方向を算出し、これらの輝度の勾配強度および勾配方向に基づいて作成される。
The frequency distribution of gradient strength in the direction of the gradient of luminance is a kind of histogram (frequency distribution) of luminance, and is called a histogram of oriented gradients (HOG). Therefore, the
次に、ＨＯＧの算出について具体的に説明する。カメラ１１によって撮像された画像は、マトリクス状に配置された複数の画素の集合体である。したがって認識対象領域４１および分割領域４２も同様に、マトリクス状に配置された複数の画素の集合体である。ここで輝度の勾配方向は、対象となる画素の輝度の勾配方向を示す値である。輝度の勾配強度は、対象となる画素の輝度の勾配強度を示す値である。
Next, calculation of HOG will be specifically described. An image captured by the camera 11 is an aggregate of a plurality of pixels arranged in a matrix. Therefore, the
たとえば特定の画素である第１画素について、輝度の勾配方向および勾配強度を算出する場合には、第１画素の水平方向（ｘ方向）および垂直方向（ｙ方向）に隣接する４つの画素を用いる。最初に、第１画素に隣接する４つの画素の輝度成分（Ｙ成分）が抽出される。たとえば第１画素の座標をＺ（ｘ，ｙ）とする場合に、第１画素の輝度成分をＰ（ｘ，ｙ）とする。そしてたとえば、第１画素の右隣の画素の輝度成分をＰ（ｘ＋１，ｙ）とし、第１画素の左隣の画素の輝度成分をＰ（ｘ－１，ｙ）とし、第１画素の上隣の画素の輝度成分をＰ（ｘ，ｙ＋１）とし、第１画素の下隣の画素の輝度成分をＰ（ｘ，ｙ－１）とする。この場合に、第１画素における輝度の勾配方向θ（ｘ，ｙ）は、式（１）を用いて算出される。また、第１画素における輝度の勾配強度Ｉ（ｘ，ｙ）は、式（２）を用いて算出される。 For example, when calculating the luminance gradient direction and gradient intensity for a first pixel, which is a specific pixel, four pixels adjacent to the first pixel in the horizontal direction (x direction) and the vertical direction (y direction) are used. . First, the luminance components (Y components) of four pixels adjacent to the first pixel are extracted. For example, when the coordinates of the first pixel are Z(x, y), the luminance component of the first pixel is P(x, y). For example, let P(x+1, y) be the luminance component of the pixel to the right of the first pixel, P(x−1, y) be the luminance component of the pixel to the left of the first pixel, and Let P(x, y+1) be the luminance component of the adjacent pixel, and let P(x, y−1) be the luminance component of the pixel below the first pixel. In this case, the luminance gradient direction θ(x, y) in the first pixel is calculated using Equation (1). Also, the luminance gradient intensity I(x, y) at the first pixel is calculated using Equation (2).
図３に示すように、分割領域４２に含まれる全ての画素について算出された輝度の勾配方向θ（ｘ，ｙ）および輝度の勾配強度Ｉ（ｘ，ｙ）に基づいて作成されるヒストグラムを示す。図３に示すヒストグラムがＨＯＧであり、横軸は輝度の勾配方向を示す軸であり、縦軸は輝度の勾配強度の頻度を示す軸である。
FIG. 3 shows a histogram created based on the luminance gradient direction θ(x, y) and the luminance gradient intensity I(x, y) calculated for all pixels included in the divided
この例では、輝度の勾配方向の範囲（０～１８０度までの区間）について、１区間の範囲を２２．５度として、８区間の角度領域を定義する。そして、算出された輝度の勾配方向θ（ｘ，ｙ）に対する輝度の勾配強度Ｉ（ｘ，ｙ）のヒストグラムを作成する。すなわち、算出された輝度の勾配方向θ（ｘ，ｙ）が８階級に量子化されたもの横軸とし、この量子化された輝度の勾配方向θ（ｘ，ｙ）に対する輝度の勾配強度Ｉ（ｘ，ｙ）の合計値が縦軸とするヒストグラム（度数分布）が算出される。したがって各階級の度数は、輝度の勾配強度Ｉ（ｘ，ｙ）の合計値となる。これにより、図３に示すヒストグラムが作成される。このように、分割領域４２についてヒストグラムを算出する場合には、例えば、分割領域４２における左上隅の第１画素から右下隅の最終の画素までのラスター順に演算が行われる。ＨＯＧを算出することによって、輝度勾配が強い区間を把握することができる。これにより、ＨＯＧの算出対象である分割領域４２のエッジ強度分布を容易に把握することができる。
In this example, for the range of luminance gradient direction (section from 0 to 180 degrees), angle regions of eight sections are defined with the range of one section set to 22.5 degrees. Then, a histogram of the luminance gradient intensity I(x, y) with respect to the calculated luminance gradient direction θ(x, y) is created. That is, the calculated luminance gradient direction θ(x, y) is quantized into eight classes, and the luminance gradient intensity I( A histogram (frequency distribution) is calculated with the total value of x, y) as the vertical axis. Therefore, the frequency of each class is the total value of the luminance gradient intensity I(x, y). As a result, the histogram shown in FIG. 3 is created. Thus, when calculating the histogram for the divided
このように算出されたＨＯＧは、認識対象領域４１の特徴量として用いられる。具体的には、認識対象領域４１と９個の分割領域４２でＨＯＧを算出するので、１０領域×８区間で８０個の勾配強度Ｉ（ｘ，ｙ）の合計値が抽出される。抽出された８０個の勾配強度Ｉ（ｘ，ｙ）の合計値が認識対象領域４１の特徴であるので、８０個の特徴（すなわち８０個の輝度の勾配強度）が認識対象領域４１から抽出される。
The HOG calculated in this way is used as the feature quantity of the
第２算出部５２は、第１算出部５１で算出された複数の領域のＨＯＧのうち、少なくとも２つの領域のＨＯＧの階級から２つの階級を選ぶ場合の全ての組み合わせで２つの階級の度数の比を算出する。第２算出部５２は、本実施形態では第１算出部５１で算出された全ての領域のＨＯＧから２つの階級を選ぶ場合の全ての組み合わせで２つの階級の度数の比を算出する。具体的には、第１算出部５１で８０個の輝度の勾配強度の合計値が算出されるが、この８０個から２つの階級の度数を選ぶ場合の組み合わせで、度数の比を算出する。第２算出部５２における特徴は、２つの階級の度数の比、すなわち２つの輝度の勾配強度の合計値の比である。度数の比を算出する組み合わせは、８０個から２つ選ぶ場合の数であり、この場合の数が第２算出部５２によって抽出される特徴数となる。よって特徴数は、８０Ｃ２で表せるので、第２算出部５２によって認識対象領域４１から３１６０個の特徴が抽出される。
The
第３算出部５３は、認識対象領域４１の縦と横の比および認識対象領域４１の領域面積を算出する。これによって２個の特徴が抽出される。認識対象領域４１の縦横比は、車両１１０の全体を検出できている場合と、車両１１０の荷台などの一部だけを検出している場合との識別に使う特徴として用いられる。また認識対象領域４１の領域面積は、対象領域の大きさで識別に使う特徴が切り替わるので、識別に用いる特徴を切り替えるために用いられる。
The
本実施形態では、特徴抽出部３２は、前述の特徴、すなわち８０個の勾配方向毎の勾配強度、勾配強度の比、認識対象領域４１の縦横比および領域面積を抽出しているがこのような特徴に限るものではない。たとえば、他の特徴として、正規化した勾配方向ヒストグラムを特徴として用いてもよい。正規化する方法として、たとえば各領域において、８方向の輝度の勾配強度の総合計で、各勾配方向における輝度を徐することで算出される。これによって８０個の特徴が抽出される。正規化することによって、認識対象領域４１の大きさに依らない共通した特徴を抽出することができる。なお、上記特徴を正規化しても、上記特徴の数は、画像の画素数よりは十分に少ない。したがって、上記特徴を正規化する場合の演算負荷は、画像サイズを縮小する場合の演算負荷よりも少なくなる。
In the present embodiment, the
対象認識部３３は、第１算出部５１が算出した度数分布、第２算出部５２が算出した階級の度数の比、および第３算出部５３が算出した縦横比および面積を用いて認識対象領域４１に対象物体が含まれるか否かを判断する判断処理を実施する。したがって対象認識部３３は、第１算出部５１が算出した８０個の特徴、第２算出部５２が算出した３１６０個の特徴、および第３算出部５３が算出した２個の特徴の合計である３２４２個の特徴を用いて認識対象領域４１に他の車両１１０の後方形状が含まれるか否かを判断する。そして対象認識部３３は、判断結果を他の装置、たとえば車両制御部１２に出力する。
The
対象認識部３３は、判断結果として、例えば、撮像画像における他の車両１１０の位置および大きさと、それが車両１１０であるか否かの度合いを表すスコアとが出力される。スコアについて具体的には、対象認識部３３は、記憶部２３に記憶されている検出辞書を用いてスコアを算出する。検出辞書は、判断処理を行うための判断情報である。
The
検出辞書の各値は、ランダムフォレストモデルなどの機械学習アルゴリズムにより学習されたものである。他の車両１１０の後方形状が含まれる画像および他の車両１１０の後方形状が含まれない画像を多数集めて車両１１０の後方形状の特有のパターンを学習することにより、判断処理に用いられる検出辞書を作成することができる。 Each value in the detection dictionary is learned by a machine learning algorithm such as a random forest model. A detection dictionary used for judgment processing is obtained by collecting a large number of images that include the rear shape of other vehicles 110 and images that do not include the rear shape of other vehicles 110 and learns the unique pattern of the rear shape of the vehicle 110. can be created.
ランダムフォレストモデルは、複数の決定木を含み、ランダムフォレストモデルを用いて車両らしさを示すスコアが算出される。スコアが高くなるほど、車両１１０である可能性が高くなる。決定木は、識別木とも称される。 A random forest model includes a plurality of decision trees, and a score indicating vehicle-likeness is calculated using the random forest model. The higher the score, the more likely it is the vehicle 110 . A decision tree is also called an identification tree.
検出辞書には、たとえば認識対象領域４１から抽出された特徴と、スコアと閾値とが互いに関連付けて記憶されている。たとえば、所定の特徴を用いて判断する場合、その特徴を判断するための固有の閾値が設定されている。
In the detection dictionary, for example, features extracted from the
各決定木では、特徴抽出部３２で抽出された特徴を順次用い、その特徴に対して検出辞書に記憶されている閾値とを比較し、比較した結果に基いてスコアを算出する。たとえば特徴の値が閾値よりも大きい場合は、車の可能性が高いとしてスコアを増加させ、閾値よりも大きくない場合は、車の可能性が低いとしてスコアを減少させる。
Each decision tree sequentially uses the features extracted by the
各決定木では、閾値の比較結果によって次に進む決定木が予め設定されており、最後の決定木まで閾値と比較する処理を繰り返す。そして各決定木において算出されたスコアは、最終的にスコアが計算される。そして最終決定したスコアと所定の閾値とを比較して、車両１１０であるか否かを判断する。 For each decision tree, the next decision tree is set in advance according to the threshold comparison result, and the process of comparing with the threshold is repeated until the last decision tree. The score calculated for each decision tree is finally calculated. Then, the finally determined score is compared with a predetermined threshold to determine whether the vehicle is the vehicle 110 or not.
以上説明したように本実施形態の物体認識装置１０に従えば、第１算出部５１が算出した度数分布と第２算出部５２が算出した階級の度数の比とを用いて、認識対象領域４１に対象物体が含まれるか否かを判断している。分割領域４２および認識対象領域４１における輝度の勾配方向の階級ごとの輝度の勾配強度は、認識対象領域４１に含まれている対象物体の特徴を表している。したがって、階級の度数の比も対象物体の有無を判断するパラメータとなる。よって、分割領域４２および認識対象領域４１における輝度の勾配方向の階級ごとの輝度の勾配強度だけでなく、階級の度数の比も用いることで対象物体の有無を精度よく判断することができる。
As described above, according to the
階級の度数の比は領域の画像サイズに依存しない。したがって画像サイズを一律に調整するために画像サイズを縮小する処理が不要となる。よって、画像サイズの調整に起因する処理負荷を抑制することができる。 The class frequency ratio does not depend on the image size of the region. Therefore, there is no need to reduce the image size in order to uniformly adjust the image size. Therefore, it is possible to suppress the processing load caused by adjusting the image size.
また本実施形態では、第２算出部５２は、第１算出部５１で算出された全ての領域の度数分布から２つの階級を選ぶ場合の全ての組み合わせで２つの階級の度数の比を算出する。これによって第２算出部５２で算出される特徴数が増加するので、より対象物体の有無を高精度に判断することができる。また特徴数は増加するが比を演算するだけなので、演算負荷は画像サイズを調整する処理に比べたら小さい。したがって処理の増加を抑制しつつ、特徴数を増加させることができる。
Further, in the present embodiment, the
さらに本実施形態では、領域推定部３１は、車両１１０の後方形状を映す画像中において、車両１１０が存在する矩形状の認識対象領域４１を特定している。分割領域４２は、矩形状の認識対象領域４１を縦に３つ、かつ横に３つに分割した９分割の領域である。これによって四隅の部分に車両１１０の後方形状の特徴である角部分が配置される可能性が高くなり、四隅を除く部分と検出される勾配方向ヒストグラムの差異が顕著になりやすくなる。
Furthermore, in the present embodiment, the
また本実施形態では、第３算出部５３が算出した縦横比をさらに用いて、認識対象領域４１に対象物体が含まれるか否かを判断している。認識対象領域４１の縦横比は、車両１１０の後方形状を表す特徴の１つである。認識対象領域４１が、たとえば横長の長方形状であると、車両１１０の後方形状でない可能性が高い。このような縦横比を用いることで、認識精度を向上することができる。
Further, in the present embodiment, the aspect ratio calculated by the
（その他の実施形態）
以上、本開示の好ましい実施形態について説明したが、本開示は前述した実施形態に何ら制限されることなく、本開示の主旨を逸脱しない範囲において種々変形して実施することが可能である。
(Other embodiments)
Although the preferred embodiments of the present disclosure have been described above, the present disclosure is not limited to the above-described embodiments, and various modifications can be made without departing from the gist of the present disclosure.
前述の実施形態の構成は、あくまで例示であって、本開示の範囲はこれらの記載の範囲に限定されるものではない。本開示の範囲は、特許請求の範囲の記載によって示され、さらに特許請求の範囲の記載と均等の意味及び範囲内での全ての変更を含むものである。 The configurations of the above-described embodiments are merely examples, and the scope of the present disclosure is not limited to the scope of these descriptions. The scope of the present disclosure is indicated by the description of the claims, and further includes all changes within the meaning and range of equivalents to the description of the claims.
前述の第１実施形態では、特定の対象物体は車両１１０であったが車両１１０に限るものではなく、他の物体、たとえば人物であってもよく、ガードレールおよび信号機などの道路上に固定されている物体であってもよい。また対象物体は、車両１１０の後方形状に限るものではなく、車両１１０の側方形状であってもよく、車両１１０の前方形状あってもよく、方向を限定しない構成であってもよい。 In the above-described first embodiment, the specific target object was the vehicle 110, but it is not limited to the vehicle 110, and may be other objects such as a person, fixed on the road such as guardrails and traffic lights. It may be an existing object. The target object is not limited to the rear shape of the vehicle 110, but may be the side shape of the vehicle 110, the front shape of the vehicle 110, or a configuration in which the direction is not limited.
前述の第１実施形態では、認識対象領域４１は９つに分割しているが、９つに限るものではなく、２つ以上に分割であればよい。たとえば４分割や１６分割であってもよい。
In the first embodiment described above, the
前述の第１実施形態では、全ての領域の度数分布から２つの階級を選ぶ場合の全ての組み合わせで２つの階級の度数の比を算出しているが、全ての領域に限るものではなく、少なくとも２つの領域あればよい。 In the above-described first embodiment, the ratio of the frequencies of the two classes is calculated in all combinations when selecting two classes from the frequency distribution of all regions, but not limited to all regions, at least Two regions are sufficient.
前述の第１実施形態では、第１算出部５１は、認識対象領域４１と、認識対象領域４１を複数領域に分割した分割領域４２のそれぞれにおいてＨＯＧを算出しているが、認識対象領域４１においてＨＯＧを算出せずに、分割領域４２だけＨＯＧを算出してもよい。
In the first embodiment described above, the
前述の第１実施形態では、機械学習アルゴリズムとして、ランダムフォレストを用いているがこのようなアルゴリズムに限るものではない。対象認識部３３は、例えば、アダブースト（AdaBoost）、ｋ近似法、ＳＶＭ（support vector machine）、等の他の機械学習アルゴリズムを採用することもできる。
In the first embodiment described above, a random forest is used as the machine learning algorithm, but the algorithm is not limited to this. The
前述の第１実施形態において、物体認識装置１０によって実現されていた機能は、前述のものとは異なるハードウェアおよびソフトウェア、またはこれらの組み合わせによって実現してもよい。物体認識装置１０は、たとえば他の制御装置と通信し、他の制御装置が処理の一部または全部を実行してもよい。物体認識装置１０が電子回路によって実現される場合、それは多数の論理回路を含むデジタル回路、またはアナログ回路によって実現することができる。
The functions realized by the
前述の第1実施形態では、勾配強度Ｉ（ｘ，ｙ）の合計値が縦軸となるヒストグラムを作成したが、強度の大小関係なく、すなわちＩ（ｘ，ｙ）＝１として、勾配方向θ（ｘ，ｙ）毎の単純な頻度を縦軸としたヒストグラムでもよい。これによって勾配強度を算出する演算負荷を軽減することができる。 In the first embodiment described above, a histogram was created in which the total value of the gradient strengths I(x, y) is the vertical axis. A histogram with a simple frequency for each (x, y) as the vertical axis may also be used. This makes it possible to reduce the computational load for calculating the gradient strength.
１０…物体認識装置 １１…カメラ １２…車両制御部 １３…通信ネットワーク
２１…入出力部 ２２…演算部 ２３…記憶部 ３１…領域推定部
３２…特徴抽出部 ３３…対象認識部 ４１…認識対象領域 ４２…分割領域
５１…第１算出部 ５２…第２算出部 ５３…第３算出部 １００…車載システム
１１０…車両（対象物体）
DESCRIPTION OF
Claims (4)
画像中において、前記対象物体が存在する可能性が高い認識対象領域（４１）を推定する領域推定部（３１）と、
前記認識対象領域を複数領域に分割した分割領域（４２）のそれぞれにおいて、輝度の勾配強度および輝度の勾配方向を算出し、算出した輝度の勾配方向に対する輝度の勾配強度の度数分布を前記分割領域毎に算出する第１算出部（５１）と、
前記第１算出部で算出された複数の度数分布のうち、少なくとも２つの領域の度数分布の階級から２つの階級を選ぶ場合の全ての組み合わせで２つの階級の度数の比を算出する第２算出部（５２）と、
前記第１算出部が算出した度数分布と前記第２算出部が算出した比とを用いて前記認識対象領域に前記対象物体が含まれるか否かを判断する対象認識部（３３）と、を含む物体認識装置。 An object recognition device (10) for recognizing a specific target object (110) from an image,
an area estimation unit (31) for estimating a recognition target area (41) in an image where the target object is likely to exist;
In each of divided regions (42) obtained by dividing the recognition target region into a plurality of regions, a gradient strength of luminance and a gradient direction of luminance are calculated, and a frequency distribution of the calculated gradient strength of luminance with respect to the gradient direction of luminance is applied to the divided regions. A first calculation unit (51) that calculates each
A second calculation that calculates the ratio of the frequencies of the two classes in all combinations when selecting two classes from the classes of the frequency distribution of at least two regions among the plurality of frequency distributions calculated by the first calculation unit. a part (52);
a target recognition unit (33) that determines whether or not the target object is included in the recognition target region using the frequency distribution calculated by the first calculation unit and the ratio calculated by the second calculation unit; object recognition device including;
前記領域推定部は、前記車両の後方画像中または前方画像中において、前記車両が存在する矩形状の前記認識対象領域を特定し、
前記分割領域は、前記認識対象領域を縦に３つ、かつ横に３つに分割した９分割の領域である請求項１または２に記載の物体認識装置。 the target object is a vehicle,
The region estimating unit identifies the rectangular recognition target region in which the vehicle exists in the rear image or the front image of the vehicle,
3. The object recognition apparatus according to claim 1, wherein the divided areas are nine divided areas obtained by dividing the recognition target area into three vertically and three horizontally.
前記対象認識部は、前記第３算出部が算出した縦横比をさらに用いて、前記認識対象領域に前記対象物体が含まれるか否かを判断する請求項３に記載の物体認識装置。 further comprising a third calculator (53) for calculating the vertical-to-horizontal ratio of the recognition target region;
4. The object recognition apparatus according to claim 3, wherein the object recognition unit further uses the aspect ratio calculated by the third calculation unit to determine whether the target object is included in the recognition target area.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2019055128A JP7156120B2 (en) | 2019-03-22 | 2019-03-22 | Object recognition device |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2019055128A JP7156120B2 (en) | 2019-03-22 | 2019-03-22 | Object recognition device |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2020155021A JP2020155021A (en) | 2020-09-24 |
| JP7156120B2 true JP7156120B2 (en) | 2022-10-19 |
Family
ID=72559367
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2019055128A Active JP7156120B2 (en) | 2019-03-22 | 2019-03-22 | Object recognition device |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP7156120B2 (en) |
Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2008293446A (en) | 2007-05-28 | 2008-12-04 | Chubu Electric Power Co Inc | Apparatus and program for identifying moving object |
| JP2011096081A (en) | 2009-10-30 | 2011-05-12 | Fujitsu Ltd | Image processing method, device and program |
| JP2012084140A (en) | 2010-09-30 | 2012-04-26 | Toshiba Corp | Video analysis method and system |
| JP2012138077A (en) | 2010-12-08 | 2012-07-19 | Ricoh Co Ltd | Vehicle identification device |
| JP2013131213A (en) | 2011-11-24 | 2013-07-04 | Toyota Central R&D Labs Inc | Object identification device, learning sample preparation device and program |
| JP2013161126A (en) | 2012-02-01 | 2013-08-19 | Honda Elesys Co Ltd | Image recognition device, image recognition method, and image recognition program |
| JP2014010544A (en) | 2012-06-28 | 2014-01-20 | Kyushu Institute Of Technology | System, method and program for image feature extraction and image processing |
| JP2016186702A (en) | 2015-03-27 | 2016-10-27 | 富士重工業株式会社 | Outside-vehicle environment recognition device |
-
2019
- 2019-03-22 JP JP2019055128A patent/JP7156120B2/en active Active
Patent Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2008293446A (en) | 2007-05-28 | 2008-12-04 | Chubu Electric Power Co Inc | Apparatus and program for identifying moving object |
| JP2011096081A (en) | 2009-10-30 | 2011-05-12 | Fujitsu Ltd | Image processing method, device and program |
| JP2012084140A (en) | 2010-09-30 | 2012-04-26 | Toshiba Corp | Video analysis method and system |
| JP2012138077A (en) | 2010-12-08 | 2012-07-19 | Ricoh Co Ltd | Vehicle identification device |
| JP2013131213A (en) | 2011-11-24 | 2013-07-04 | Toyota Central R&D Labs Inc | Object identification device, learning sample preparation device and program |
| JP2013161126A (en) | 2012-02-01 | 2013-08-19 | Honda Elesys Co Ltd | Image recognition device, image recognition method, and image recognition program |
| JP2014010544A (en) | 2012-06-28 | 2014-01-20 | Kyushu Institute Of Technology | System, method and program for image feature extraction and image processing |
| JP2016186702A (en) | 2015-03-27 | 2016-10-27 | 富士重工業株式会社 | Outside-vehicle environment recognition device |
Also Published As
| Publication number | Publication date |
|---|---|
| JP2020155021A (en) | 2020-09-24 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US8391555B2 (en) | Lane recognition apparatus for vehicle, vehicle thereof, and lane recognition program for vehicle | |
| WO2018040756A1 (en) | Vehicle body colour identification method and device | |
| US10043090B2 (en) | Information processing device, information processing method, computer-readable recording medium, and inspection system | |
| KR101848019B1 (en) | Method and Apparatus for Detecting Vehicle License Plate by Detecting Vehicle Area | |
| US11288833B2 (en) | Distance estimation apparatus and operating method thereof | |
| JP5950441B2 (en) | Image recognition apparatus, image recognition method, and image recognition program | |
| US11270133B2 (en) | Object detection device, object detection method, and computer-readable recording medium | |
| CN111178245A (en) | Lane line detection method, lane line detection device, computer device, and storage medium | |
| US9087263B2 (en) | Vision based pedestrian and cyclist detection method | |
| KR101483742B1 (en) | Lane Detection method for Advanced Vehicle | |
| CN107004137B (en) | System and method for object detection | |
| US11827151B2 (en) | Lateral image processing apparatus and method of mirrorless car | |
| CN112052782A (en) | Around-looking-based parking space identification method, device, equipment and storage medium | |
| US20110142345A1 (en) | Apparatus and method for recognizing image | |
| EP2256691B1 (en) | Image processing device for vehicle and image processing program | |
| JP2015103249A (en) | Device and method for detection of zebra crossing in image | |
| US20210090260A1 (en) | Deposit detection device and deposit detection method | |
| JP2020135616A (en) | Object detection device | |
| JP7156120B2 (en) | Object recognition device | |
| JP2013164643A (en) | Image recognition device, image recognition method, and image recognition program | |
| CN110321828B (en) | Front vehicle detection method based on binocular camera and vehicle bottom shadow | |
| US20200211194A1 (en) | Attached object detection apparatus | |
| JP7298426B2 (en) | object detector | |
| CN110287786B (en) | Vehicle information identification method and device based on artificial intelligence anti-interference | |
| JP7201211B2 (en) | Object detection method and object detection device |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20210716 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20220906 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20220919 |
|
| R151 | Written notification of patent or utility model registration |
Ref document number: 7156120 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |