JP2013030183A - Environment recognition device, and program - Google Patents
Environment recognition device, and program Download PDFInfo
- Publication number
- JP2013030183A JP2013030183A JP2012217196A JP2012217196A JP2013030183A JP 2013030183 A JP2013030183 A JP 2013030183A JP 2012217196 A JP2012217196 A JP 2012217196A JP 2012217196 A JP2012217196 A JP 2012217196A JP 2013030183 A JP2013030183 A JP 2013030183A
- Authority
- JP
- Japan
- Prior art keywords
- region
- image
- pixels
- distance information
- pixel
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Landscapes
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
Description
本発明は、環境認識装置及びプログラムに係り、特に車両周辺の環境を認識するための環境認識装置及びプログラムに関する。 The present invention relates to an environment recognition apparatus and program, and more particularly to an environment recognition apparatus and program for recognizing an environment around a vehicle.
従来より、撮像された画像データから物体を識別することで、例えば車両を運転するドライバの視覚を支援する様々な装置が提案されている。例えば、学習画像から部分画像を取り出し、クラスに分類してクラス毎に特徴量データを蓄積しておき、入力画像を分割した部分画像から特徴量を抽出して、蓄積されたクラス毎の特徴量データとの類似度を計算することにより、物体認識を行う物体認識装置が提案されている（例えば、特許文献１）。 2. Description of the Related Art Conventionally, various devices that support the vision of a driver driving a vehicle by identifying an object from captured image data have been proposed. For example, a partial image is extracted from a learning image, classified into classes, feature amount data is accumulated for each class, feature amounts are extracted from partial images obtained by dividing an input image, and accumulated feature amounts for each class An object recognition apparatus that performs object recognition by calculating the degree of similarity with data has been proposed (for example, Patent Document 1).
また、画像の小領域を切り出した部分画像同士の非類似度に相当する順序関係を定義し、この順序関係に基づいて各部分画像を任意の距離空間における点へと写像し、写像された点の集合に関してクラスタリングを行い、最も多くの点が属するクラスタに属する点を逆写像して得られる部分画像を背景領域であると判定する画像分割処理システムが提案されている（例えば、特許文献２）。 Also, an order relationship corresponding to the dissimilarity between partial images obtained by cutting out small regions of the image is defined, and each partial image is mapped to a point in an arbitrary metric space based on this order relationship, and the mapped points An image division processing system has been proposed in which a partial image obtained by performing clustering on a set of and reversely mapping points belonging to the cluster to which the most points belong is determined to be a background region (for example, Patent Document 2). .
しかしながら、走行している車両から撮像した画像のように奥行き方向の広がりがある場合には、画像内に近傍から無限遠まで距離の異なる位置に物体が存在しているため、同じ物体でも、近傍にある場合と遠方にある場合とでは見え方に違いが生じるが、従来の物体認識装置では、部分画像を一定のサイズで切り出しているため、この見え方の違いが特徴量に影響を与えて適切に環境を認識できない、という問題がある。 However, if there is a spread in the depth direction as in the image taken from the traveling vehicle, the object exists at a different distance from the vicinity to infinity in the image. However, in conventional object recognition devices, partial images are cut out at a certain size, so this difference in appearance affects the feature quantity. There is a problem that the environment cannot be recognized properly.
また、従来の画像分割処理システムは、背景か物体かを識別するものであり、複数かつ複雑な形状の物体で構成されている画像では、背景と物体とを区別するのは困難であり、また、背景か物体かの区別は何に注目するかによって変化するため別途定義しなければ適切に環境を認識できない、という問題がある。 In addition, the conventional image division processing system identifies whether the object is a background or an object. In an image composed of a plurality of objects having a complicated shape, it is difficult to distinguish the background from the object. The distinction between the background and the object changes depending on what is focused on, so there is a problem that the environment cannot be recognized properly unless it is defined separately.
本発明は、上述した問題を解決するために提案されたものであり、環境認識の精度を向上させることができる環境認識装置及びプログラムを提供することを目的とする。 The present invention has been proposed in order to solve the above-described problems, and an object thereof is to provide an environment recognition apparatus and program capable of improving the accuracy of environment recognition.
上記目的を達成するために、第１の発明の環境認識装置は、被写体を撮像することにより得られた画像を、同一色の画素又は同一明度の画素が同一分割領域に含まれるように、複数の分割領域に分割する領域分割手段と、前記画像の特徴点となる画素に対応する距離情報を算出する距離情報算出手段と、前記領域分割手段により分割された同一の分割領域に存在する複数の特徴点となる画素の距離情報に基づいて、分割領域毎に前記特徴点となる画素以外の画素の距離情報を補完して距離画像を生成する距離画像生成手段と、を含んで構成されている。 In order to achieve the above object, the environment recognition apparatus according to the first aspect of the present invention includes a plurality of images obtained by capturing an image of a subject so that pixels of the same color or pixels of the same brightness are included in the same divided region. Area dividing means for dividing the image into divided areas, distance information calculating means for calculating distance information corresponding to pixels that are feature points of the image, and a plurality of areas existing in the same divided area divided by the area dividing means Distance image generating means for generating distance images by complementing distance information of pixels other than the pixels serving as feature points for each divided region based on distance information of pixels serving as feature points. .
第１の発明の環境認識装置によれば、領域分割手段が、被写体を撮像することにより得られた画像を、同一色の画素又は同一明度の画素が同一分割領域に含まれるように、複数の分割領域に分割し、距離情報算出手段が、画像の特徴点となる画素に対応する距離情報を算出する。特徴点には、明度差の大きい物体の境界付近や形状に特徴があり安定して抽出できる画素を選択し、距離情報の算出には、周知の算出方法であるＳｆＭ（Ｓｔｒｕｃｔｕｒｅ ｆｒｏｍ Ｍｏｔｉｏｎ）やステレオ視を利用した算出方法を用いる。 According to the environment recognition device of the first aspect of the invention, the region dividing means includes a plurality of images obtained by capturing an image of a subject so that pixels of the same color or pixels of the same brightness are included in the same divided region. Dividing into divided regions, the distance information calculation means calculates distance information corresponding to the pixels that are the feature points of the image. For the feature point, a pixel that has a feature near the boundary or shape of an object having a large brightness difference and can be stably extracted is selected, and the distance information is calculated using a well-known calculation method such as SfM (Structure from Motion) or stereo. A calculation method using visual observation is used.
そして、距離画像生成手段が、領域分割手段により分割された同一の分割領域に存在する複数の特徴点となる画素の距離情報に基づいて、分割領域毎に特徴点となる画素以外の画素の距離情報を補完して距離画像を生成する。 Then, the distance image generation unit is configured to determine the distances of pixels other than the pixel serving as the feature point for each divided region based on the distance information of the pixels serving as the plurality of feature points existing in the same divided region divided by the region dividing unit. A distance image is generated by complementing the information.
このように、距離が不連続に変化する可能性の低い同一の分割領域内の特徴点となる画素の距離情報に基づいて、距離情報が算出されていない画素の距離情報を補完して距離画像を生成するため、比較的容易に、適切な距離情報を有する距離画像を生成することができる。 Thus, based on the distance information of the pixels that are feature points in the same divided region where the distance is unlikely to change discontinuously, the distance image of the pixels for which distance information has not been calculated is complemented. Therefore, a distance image having appropriate distance information can be generated relatively easily.
また、第１の発明の環境認識装置は、前記画像内の注目画素及び注目画素の周辺に存在する周辺画素を含む領域、または前記画像内の複数の画素からなる注目領域及び注目領域の周辺に存在する周辺画素を含む領域で表されるウインドウであって、前記距離画像生成手段により生成された距離画像から得られる前記注目画素又は前記注目領域に対応した距離情報に応じたサイズのウインドウを前記画像に設定すると共に、該ウインドウ内の画素から前記注目画素または前記注目領域の特徴量を抽出する特徴量抽出手段と、前記特徴量抽出手段により抽出された特徴量と、予め求めておいた対象物毎の特徴量とを比較することにより対象物を識別する識別手段と、を含んで構成されている。 In addition, the environment recognition device according to the first aspect of the present invention is a region including a pixel of interest in the image and a peripheral pixel existing around the pixel of interest, or a region of interest composed of a plurality of pixels in the image and the periphery of the region of interest. A window represented by a region including existing peripheral pixels, the window having a size corresponding to the target pixel obtained from the distance image generated by the distance image generation unit or the distance information corresponding to the target region; A feature amount extracting unit configured to extract the feature amount of the pixel of interest or the region of interest from the pixels in the window, the feature amount extracted by the feature amount extraction unit, and an object obtained in advance And identifying means for identifying the object by comparing the feature quantity for each object.
第１の発明の環境認識装置によれば、特徴量抽出手段が、画像内の注目画素及び注目画素の周辺に存在する周辺画素を含む領域、または画像内の複数の画素からなる注目領域及び注目領域の周辺に存在する周辺画素を含む領域で表されるウインドウであって、距離画像生成手段により生成された距離画像から得られる注目画素又は注目領域に対応した距離情報に応じたサイズのウインドウを画像に設定すると共に、ウインドウ内の画素から注目画素または注目領域の特徴量を抽出する。 According to the environment recognition device of the first invention, the feature amount extraction means includes a target pixel in the image and a region including a peripheral pixel existing around the target pixel, or a target region and a target composed of a plurality of pixels in the image. A window represented by an area including peripheral pixels existing around the area, and a window having a size corresponding to the target pixel obtained from the distance image generated by the distance image generation unit or the distance information corresponding to the target area. In addition to setting the image, the feature amount of the pixel of interest or the region of interest is extracted from the pixels in the window.
また、第１の発明の環境認識装置の前記特徴量抽出手段は、前記注目画素または前記注目領域の距離情報が示す距離が遠くなるほど前記ウインドウのサイズを小さくするようにすることができる。 Further, the feature amount extraction unit of the environment recognition apparatus according to the first aspect of the invention can reduce the size of the window as the distance indicated by the distance information of the pixel of interest or the region of interest increases.
このように、距離情報に応じて、特徴情報を抽出するためのウインドウのサイズを変更するため、画像の近傍に撮像されている場合と遠方に撮像されている場合とで生じる見え方の違いが、特徴量に影響を与えることを防止することができる。 As described above, since the size of the window for extracting the feature information is changed according to the distance information, there is a difference in appearance between the case where the image is captured in the vicinity of the image and the case where the image is captured in the distance. It is possible to prevent the feature amount from being affected.
また、第２の発明の環境認識装置は、被写体を撮像することにより得られた画像を、同一色の画素又は同一明度の画素が同一分割領域に含まれるように、複数の分割領域に分割する領域分割手段と、前記画像の特徴点となる画素に対応する距離情報を算出する距離情報算出手段と、前記領域分割手段により分割された同一の分割領域に存在する複数の特徴点となる画素の距離情報に基づいて、分割領域毎に前記特徴点となる画素以外の画素の距離情報を補完して距離画像を生成する距離画像生成手段と、前記画像内の注目画素及び注目画素の周辺に存在する周辺画素を含む領域、または前記画像内の複数の画素からなる注目領域及び注目領域の周辺に存在する周辺画素を含む領域で表されるウインドウを前記画像に設定すると共に、前記距離画像生成手段により生成された距離画像から得られる前記注目画素又は前記注目領域に対応した距離情報に応じて、設定したウインドウ内の解像度を変更し、該ウインドウ内の解像度が変更された画素から前記注目画素または前記注目領域の特徴量を抽出する特徴量抽出手段と、前記特徴量抽出手段により抽出された特徴量と、予め求めておいた対象物毎の特徴量とを比較することにより対象物を識別する識別手段と、を含んで構成されている。 The environment recognition apparatus according to the second aspect of the invention divides an image obtained by imaging a subject into a plurality of divided areas so that pixels of the same color or pixels of the same brightness are included in the same divided area. Region dividing means, distance information calculating means for calculating distance information corresponding to the pixels that are the feature points of the image, and a plurality of feature points that are present in the same divided area divided by the area dividing means. Distance image generating means for generating distance images by complementing distance information of pixels other than the pixels that become the feature points for each divided region based on the distance information, and the target pixel in the image and the periphery of the target pixel A window represented by a region including peripheral pixels to be processed, or a region of interest composed of a plurality of pixels in the image and a region including peripheral pixels existing around the region of interest, and the distance The resolution in the set window is changed according to the distance information corresponding to the target pixel or the target area obtained from the distance image generated by the image generation means, and the resolution in the window is changed from the pixel with the changed resolution. The feature amount extracting means for extracting the feature amount of the target pixel or the attention area, the feature amount extracted by the feature amount extraction means, and the feature amount for each target object obtained in advance are compared. And identification means for identifying.
このように、ウインドウのサイズを変えるのではなく、ウインドウ内の解像度を変えることによっても、上記のウインドウのサイズを変える場合と同様の効果を得られる。 In this way, the same effect as the case of changing the window size can be obtained by changing the resolution in the window instead of changing the size of the window.
また、第１及び第２の発明の環境認識装置の前記特徴量抽出手段は、紫外域から赤外域までの複数の異なる波長帯の光を用いて撮像された複数の画像に基づいて、前記注目画素または前記注目領域の特徴量を抽出することができる。波長帯の異なる光を用いて撮像された画像毎に特徴量を抽出することにより、物体の識別精度を向上させることができる。さらに、近赤外域の光は、物体の材質に応じて可視光とは異なった反射率を有するという特性を示すため、これを用いることにより、さらに物体の識別精度を向上させることができる。 The feature amount extraction means of the environment recognition device according to the first and second aspects of the invention is based on a plurality of images picked up using a plurality of different wavelength bands from an ultraviolet region to an infrared region. A feature amount of a pixel or the attention area can be extracted. By extracting the feature amount for each image captured using light having different wavelength bands, the object identification accuracy can be improved. Further, since near-infrared light has a characteristic that it has a reflectance different from that of visible light depending on the material of the object, the use of this light can further improve the object identification accuracy.
また、第１及び第２の発明の環境認識装置の前記領域分割手段は、前記識別手段による識別結果に基づいて、同じ対象物に対する分割領域が同じ分割領域となるように、再度、領域の分割を行うようにすることができる。また、前記距離画像生成手段は、前記識別手段により空領域と識別された領域の画素の距離情報が無限遠となるように、再度、距離画像の生成を行うようにすることができる。 In addition, the region dividing unit of the environment recognition device according to the first and second aspects of the present invention again divides the region so that the divided region for the same object becomes the same divided region based on the identification result by the identifying unit. Can be done. Further, the distance image generation means can generate the distance image again so that the distance information of the pixels in the area identified as the sky area by the identification means becomes infinity.
このように、識別結果を各手段にフィードバックさせることにより、より精度の高い識別結果を得ることができる。 In this way, by feeding back the identification result to each means, a more accurate identification result can be obtained.
また、第１及び第２の発明の環境認識装置の前記領域分割手段は、被写体を撮像することにより順次得られる画像を順次処理する場合において、先に得られた画像に対する前記識別手段による識別結果に基づいて、同じ対象物に対する分割領域が同じ分割領域となるように、領域の分割を修正することができる。 In the first and second aspects of the environment recognition apparatus, when the region dividing unit sequentially processes images sequentially obtained by imaging a subject, the identification result obtained by the identifying unit with respect to the previously obtained image is obtained. Based on the above, it is possible to correct the division of the regions so that the divided regions for the same object become the same divided region.
このように、時系列で処理を行う場合に、先に処理された画像の識別結果を利用することにより、より精度の高い識別結果を得ることができる。 As described above, when processing is performed in time series, it is possible to obtain a more accurate identification result by using the identification result of the previously processed image.
また、第３の発明の環境認識プログラムは、コンピュータを、被写体を撮像することにより得られた画像を、同一色の画素又は同一明度の画素が同一分割領域に含まれるように、複数の分割領域に分割する領域分割手段、前記画像の特徴点となる画素に対応する距離情報を算出する距離情報算出手段、前記領域分割手段により分割された同一の分割領域に存在する複数の特徴点となる画素の距離情報に基づいて、分割領域毎に前記特徴点となる画素以外の画素の距離情報を補完して距離画像を生成する距離画像生成手段、前記画像内の注目画素及び注目画素の周辺に存在する周辺画素を含む領域、または前記画像内の複数の画素からなる注目領域及び注目領域の周辺に存在する周辺画素を含む領域で表されるウインドウであって、前記距離画像生成手段により生成された距離画像から得られる前記注目画素又は前記注目領域に対応した距離情報に応じたサイズのウインドウを前記画像に設定すると共に、該ウインドウ内の画素から前記注目画素または前記注目領域の特徴量を抽出する特徴量抽出手段、及び前記特徴量抽出手段により抽出された特徴量と、予め求めておいた対象物毎の特徴量とを比較することにより対象物を識別する識別手段として機能させるためのプログラムである。 An environment recognition program according to a third aspect of the present invention is a computer program that includes an image obtained by capturing an image of a subject in a plurality of divided areas such that pixels of the same color or pixels of the same brightness are included in the same divided area. A region dividing unit that divides the image into distances, a distance information calculating unit that calculates distance information corresponding to a pixel that is a feature point of the image, and a plurality of feature points that exist in the same divided region divided by the region dividing unit Distance image generating means for generating a distance image by complementing distance information of pixels other than the pixel serving as the feature point for each divided region based on the distance information of the target pixel, and the target pixel in the image and the periphery of the target pixel A window represented by a region including peripheral pixels to be displayed, or a region of interest composed of a plurality of pixels in the image and a region including peripheral pixels existing around the region of interest. A window having a size corresponding to the distance information corresponding to the target pixel or the target area obtained from the distance image generated by the generation unit is set in the image, and the target pixel or the target area is selected from the pixels in the window. A feature quantity extracting means for extracting the feature quantity, and an identification means for identifying the target object by comparing the feature quantity extracted by the feature quantity extracting means with the feature quantity for each target object obtained in advance It is a program to make it function.
また、第４の発明の環境認識プログラムは、コンピュータを、被写体を撮像することにより得られた画像を、同一色の画素又は同一明度の画素が同一分割領域に含まれるように、複数の分割領域に分割する領域分割手段、前記画像の特徴点となる画素に対応する距離情報を算出する距離情報算出手段、前記領域分割手段により分割された同一の分割領域に存在する複数の特徴点となる画素の距離情報に基づいて、分割領域毎に前記特徴点となる画素以外の画素の距離情報を補完して距離画像を生成する距離画像生成手段、前記画像内の注目画素及び注目画素の周辺に存在する周辺画素を含む領域、または前記画像内の複数の画素からなる注目領域及び注目領域の周辺に存在する周辺画素を含む領域で表されるウインドウを前記画像に設定すると共に、前記距離画像生成手段により生成された距離画像から得られる前記注目画素又は前記注目領域に対応した距離情報に応じて、設定したウインドウ内の解像度を変更し、該ウインドウ内の解像度が変更された画素から前記注目画素または前記注目領域の特徴量を抽出する特徴量抽出手段、及び前記特徴量抽出手段により抽出された特徴量と、予め求めておいた対象物毎の特徴量とを比較することにより対象物を識別する識別手段として機能させるためのプログラムである。 An environment recognition program according to a fourth aspect of the present invention is a computer-readable recording medium in which an image obtained by imaging a subject is divided into a plurality of divided areas so that pixels of the same color or pixels of the same brightness are included in the same divided area. A region dividing unit that divides the image into distances, a distance information calculating unit that calculates distance information corresponding to a pixel that is a feature point of the image, and a plurality of feature points that exist in the same divided region divided by the region dividing unit Distance image generating means for generating a distance image by complementing distance information of pixels other than the pixel serving as the feature point for each divided region based on the distance information of the target pixel, and the target pixel in the image and the periphery of the target pixel A window represented by a region including peripheral pixels to be processed, or a region of interest composed of a plurality of pixels in the image and a region including peripheral pixels existing around the region of interest is set in the image In both cases, the resolution in the set window is changed according to the distance information corresponding to the pixel of interest or the region of interest obtained from the distance image generated by the distance image generation means, and the resolution in the window is changed. A feature amount extraction unit that extracts a feature amount of the target pixel or the region of interest from the detected pixels, and a feature amount extracted by the feature amount extraction unit and a feature amount for each target object obtained in advance This is a program for functioning as identification means for identifying an object.
本発明によれば、環境認識の精度を向上させることができる、という効果が得られる。 According to the present invention, it is possible to improve the environment recognition accuracy.
以下、図面を参照して、本発明の実施の形態について詳細に説明する。 Hereinafter, embodiments of the present invention will be described in detail with reference to the drawings.
（第１の実施の形態） (First embodiment)
図１に示すように、第１の実施の形態に係る環境認識装置１０は、認識対象領域を含む範囲を撮像する撮像装置１２と、撮像装置１２から出力される撮像画像に基づいて環境を認識する環境認識処理ルーチンを実行するコンピュータ１６と、コンピュータ１６での処理結果を表示するための表示装置１８とを備えている。 As illustrated in FIG. 1, the environment recognition device 10 according to the first embodiment recognizes an environment based on an imaging device 12 that captures a range including a recognition target region, and a captured image output from the imaging device 12. A computer 16 for executing an environment recognition processing routine, and a display device 18 for displaying a processing result in the computer 16.
撮像装置１２は、認識対象領域を含む範囲を撮像し、画像信号を生成する撮像部（図示省略）と、撮像部で生成されたアナログ信号である画像信号をデジタル信号に変換するＡ／Ｄ変換部（図示省略）と、Ａ／Ｄ変換された画像信号を一時的に格納するための画像メモリ（図示省略）とを備えている。 The imaging device 12 images an area including a recognition target area and generates an image signal (not shown), and A / D conversion that converts an image signal that is an analog signal generated by the imaging unit into a digital signal And an image memory (not shown) for temporarily storing the A / D converted image signal.
コンピュータ１６は、環境認識装置１０全体の制御を司るＣＰＵ、後述する環境認識処理ルーチンのプログラムを記憶した記憶媒体としてのＲＯＭ、ワークエリアとしてデータを一時格納するＲＡＭ、及びこれらを接続するバスを含んで構成されている。 The computer 16 includes a CPU that controls the environment recognition apparatus 10 as a whole, a ROM as a storage medium that stores a program for an environment recognition processing routine that will be described later, a RAM that temporarily stores data as a work area, and a bus that connects these. It consists of
このコンピュータ１６をハードウエアとソフトウエアとに基づいて定まる機能実現手段毎に分割した機能ブロックで説明すると、図１に示すように、撮像装置１２によって撮像された画像を複数の領域に分割する領域分割部２０と、画像の特徴点となる画素の距離情報を算出する距離情報算出部２２と、領域分割部２０及び距離情報算出部２２の算出結果に基づいて、特徴点となる画素以外の画素の距離情報を補完して距離画像を生成する距離画像生成部２４と、距離画像生成部２４で生成された距離画像の画素毎に特徴量を抽出する特徴量抽出部２６と、予め求めた環境認識の対象となる物体毎の特徴量を記憶した特徴量記憶部２８と、特徴量抽出部２６で抽出された特徴量及び特徴量記憶部２８に記憶された特徴量に基づいて物体を識別する物体識別部３０と、撮像装置１２によって撮像された撮像画像に、物体識別部３０による識別結果を重畳させて表示装置１８に表示するよう制御する表示制御部３２とを含んだ構成で表すことができる。 When the computer 16 is described in terms of functional blocks divided for each function realizing means determined based on hardware and software, as shown in FIG. 1, an area for dividing an image captured by the imaging device 12 into a plurality of areas Based on the calculation results of the dividing unit 20, the distance information calculating unit 22 that calculates the distance information of the pixels that are the feature points of the image, and the region dividing unit 20 and the distance information calculating unit 22, the pixels other than the pixels that are the feature points A distance image generation unit 24 that generates a distance image by complementing the distance information, a feature amount extraction unit 26 that extracts a feature amount for each pixel of the distance image generated by the distance image generation unit 24, and a previously determined environment An object is identified based on the feature quantity storage unit 28 that stores the feature quantity of each object to be recognized, the feature quantity extracted by the feature quantity extraction unit 26, and the feature quantity stored in the feature quantity storage unit 28. And a display control unit 32 for controlling the identification result of the object identification unit 30 to be superimposed on the captured image captured by the imaging device 12 and displayed on the display device 18. Can do.
領域分割部２０は、撮像した画像の各画素の色または明度を示す値とその画素に隣接する画素の色または明度を示す値との差分を算出して、画像内の色や明るさが急激に変化する場所を領域の境界として、画像を複数の領域に分割する。 The area dividing unit 20 calculates a difference between a value indicating the color or brightness of each pixel of the captured image and a value indicating the color or brightness of a pixel adjacent to the pixel, and the color or brightness in the image is rapidly increased. The image is divided into a plurality of regions, with the location that changes to the region boundary.
距離情報算出部２２は、ＳｆＭの手法を用いて、画像内の複数の特徴点について距離情報を算出する。ＳｆＭは、時系列に取得される画像において特徴点を追跡し、その移動量と撮像装置１２の動きとに基づいて距離情報を算出するものである。特徴点として、輝度値に特徴があり、時系列に取得される画像に対して対応の取りやすい点を抽出して距離情報を算出する。 The distance information calculation unit 22 calculates distance information for a plurality of feature points in the image using the SfM method. SfM tracks feature points in an image acquired in time series, and calculates distance information based on the amount of movement and the movement of the imaging device 12. As a feature point, a luminance value is characteristic, and a point that can be easily taken with respect to an image acquired in time series is extracted to calculate distance information.
距離画像生成部２４は、距離情報が算出されていない画素について、その画素と同一の分割領域内にある近傍の複数の特徴点を探索し、画素間隔に応じて重み付けを行い、複数の特徴点の有する距離情報に基づいて距離情報を補完して、距離画像を生成する。距離画像の所定箇所の画素のみが距離情報を有することとしてもよいが、ここでは、全画素が距離情報を有する場合について説明する。 The distance image generation unit 24 searches a plurality of neighboring feature points in the same divided region as the pixel for which the distance information has not been calculated, performs weighting according to the pixel interval, and sets the plurality of feature points. A distance image is generated by complementing the distance information based on the distance information of the. Only the pixels at a predetermined position of the distance image may have distance information, but here, a case where all the pixels have distance information will be described.
特徴量抽出部２６は、距離画像の画素毎に特徴量を抽出する。特徴量としては、高次局所自己相関特徴や色情報等の物体表面の質感、模様、及び色などを示す特徴量であるテクスチャ情報を抽出する。特徴量抽出部２６は、特徴量を抽出する際に設定するウインドウのサイズを、特徴量を抽出しようとしている画素（注目画素）の距離情報に応じて変更する。具体的には、注目画素の距離情報の示す距離が遠い場合には、ウインドウサイズを小さくし、距離が近くなるほどウインドウのサイズを大きくする。なお、特徴量の抽出は、複数の画素からなる小領域（注目領域）に対して行ってもよい。この場合、注目領域の距離情報としては、注目領域を構成する複数の画素の距離情報の平均や合計を利用するようにするとよい。 The feature amount extraction unit 26 extracts a feature amount for each pixel of the distance image. As the feature amount, texture information that is a feature amount indicating the texture, pattern, color, and the like of the object surface such as higher-order local autocorrelation features and color information is extracted. The feature quantity extraction unit 26 changes the size of the window set when extracting the feature quantity according to the distance information of the pixel (target pixel) from which the feature quantity is to be extracted. Specifically, when the distance indicated by the distance information of the target pixel is far, the window size is reduced, and the window size is increased as the distance is closer. Note that feature amount extraction may be performed on a small area (attention area) including a plurality of pixels. In this case, as the distance information of the attention area, an average or total of distance information of a plurality of pixels constituting the attention area may be used.
特徴量記憶部２８は、ハードディスクドライブ（ＨＤＤ）やＣＤ−ＲＯＭ等のように、内蔵または外付けの記憶手段であって、物体毎の特徴量を記憶できる媒体により構成されている。特徴量は、予め用意した所定枚数（例えば、１０００枚）の学習画像から所定の物体（ここでは、「路面」、「植物」、「建物」、「空」、及び「車線」とする。）を切り取り、物体毎に、後述する特徴量抽出処理ルーチンと同様の処理により抽出する。このようにして抽出された特徴量は、データベース形式で特徴量記憶部２８に記憶される。 The feature amount storage unit 28 is a built-in or external storage unit, such as a hard disk drive (HDD) or a CD-ROM, and is configured of a medium that can store a feature amount for each object. The feature amount is a predetermined object (here, “road surface”, “plant”, “building”, “sky”, and “lane”) from a predetermined number (for example, 1000) of learning images prepared in advance. Are extracted for each object by a process similar to a feature amount extraction process routine described later. The feature quantity extracted in this way is stored in the feature quantity storage unit 28 in a database format.
物体識別部３０は、特徴量抽出部２６で抽出された特徴量を、特徴量記憶部２８に記憶された物体毎の特徴量と照合して、画素毎にどの物体の特徴量と一致するかを識別する。一致する特徴量がない場合には、「その他」として識別する。ノイズ等の影響により分割領域内の他の画素と矛盾する識別結果となる画素が存在する場合もあるので、分割領域内の画素の識別結果の整合性をとって、分割領域毎に識別結果を算出する。 The object identification unit 30 collates the feature amount extracted by the feature amount extraction unit 26 with the feature amount for each object stored in the feature amount storage unit 28, and matches which feature amount of the object for each pixel. Identify. If there is no matching feature amount, it is identified as “other”. There may be pixels that have identification results that are inconsistent with other pixels in the divided area due to the influence of noise, etc., so the consistency of the identification results of the pixels in the divided area is taken, and the identification result is obtained for each divided area. calculate.
なお、コンピュータ１６を領域分割部２０、距離情報算出部２２、及び距離画像生成部２４で表される構成とすることにより、コンピュータ１６を距離画像生成装置として構成することができる。 Note that the computer 16 can be configured as a distance image generation device by configuring the computer 16 as a region dividing unit 20, a distance information calculation unit 22, and a distance image generation unit 24.
次に、図２を参照して、第１の実施の形態における環境認識の処理ルーチンについて説明する。 Next, an environment recognition processing routine in the first embodiment will be described with reference to FIG.
ステップ１００で、撮像装置１２で撮像された画像が、領域分割部２０及び距離情報算出部２２に入力される。ここでは、図３に示すような画像が入力されるものとする。次に、ステップ１０２で、領域分割部２０は、入力画像の各画素の明度情報に基づいて、同一の物体を示している可能性が高いと考えられる領域が同一の領域となるように、入力画像を複数の領域に分割する。図４に入力画像を領域分割した結果を示す。 In step 100, the image captured by the imaging device 12 is input to the area dividing unit 20 and the distance information calculating unit 22. Here, it is assumed that an image as shown in FIG. 3 is input. Next, in step 102, the region dividing unit 20 inputs the regions that are likely to indicate the same object based on the brightness information of each pixel of the input image so that the regions are likely to be the same region. Divide the image into multiple regions. FIG. 4 shows the result of dividing the input image into regions.
次に、ステップ１０４で、距離情報算出部２２は、ＳｆＭの手法により、特徴点の距離情報を算出する。図５に距離情報の算出結果の一例を示す。距離情報が算出された特徴点について、距離が近い特徴点は赤色の点、距離が遠い特徴点は青色の点（図５では、距離が近い点ほど淡い色の点、距離が遠いほど濃い色の点）となるように表されている。 Next, in step 104, the distance information calculation unit 22 calculates the distance information of the feature points by the SfM method. FIG. 5 shows an example of the calculation result of distance information. Of the feature points for which distance information has been calculated, feature points that are close to each other are red points, feature points that are far away are blue points (in FIG. 5, lighter points are closer to the distance, and darker colors are farther away. It is expressed to become.
次に、ステップ１０６で、後述する距離画像生成の処理を実行して距離画像を生成し、次に、ステップ１０８で、後述する特徴量抽出の処理を実行して画素毎の特徴量を抽出する。 Next, in step 106, a distance image generation process (to be described later) is executed to generate a distance image, and in step 108, a feature quantity extraction process (to be described later) is executed to extract a feature quantity for each pixel. .
次に、ステップ１１０で、物体識別部３０は、画素毎に抽出した特徴量を、特徴量記憶部２８に記憶してある物体毎の特徴量と照合し、画素毎に対応する物体を識別する。次に、ステップ１１２で、物体識別部３０は、同じ分割領域の画素の識別結果の中で最も多い識別結果をその領域の示す物体として識別し、環境を認識する。これにより得られた認識結果の一例を図６に示す。 Next, in step 110, the object identification unit 30 compares the feature amount extracted for each pixel with the feature amount for each object stored in the feature amount storage unit 28, and identifies the corresponding object for each pixel. . Next, in step 112, the object identification unit 30 recognizes the environment by identifying the most frequent identification result among the identification results of pixels in the same divided area as an object indicated by the area. An example of the recognition result thus obtained is shown in FIG.
次に、図７を参照して、上記環境認識の処理ルーチン（図２）のステップ１０６で実行される距離画像生成の処理ルーチンについて説明する。本処理は、距離画像生成部２４において実行される。 Next, the distance image generation processing routine executed in step 106 of the environment recognition processing routine (FIG. 2) will be described with reference to FIG. This process is executed in the distance image generation unit 24.
ステップ２００で、入力画像の全画素に付された通し番号を示すカウンタ値ｋ（ｋ＝１，２，・・・Ｍ）を初期値である１に設定し、次に、ステップ２０２で、画素Ｐ（ｋ）の距離情報が算出されているか否かを判断する。特徴点として距離情報が算出されている画素の場合には否定されてステップ２０４へ進み、カウンタ値ｋをインクリメントしてステップ２０２へ戻る。画素Ｐ（ｋ）が距離情報の算出されていない画素である場合には、ステップ２０６へ進み、画素Ｐ（ｋ）と同じ分割領域内にあり、かつ距離情報が算出されている画素を探索する。 In step 200, a counter value k (k = 1, 2,... M) indicating serial numbers assigned to all pixels of the input image is set to an initial value of 1, and then in step 202, the pixel P It is determined whether or not the distance information (k) has been calculated. In the case of a pixel for which distance information is calculated as a feature point, the result is negative and the process proceeds to step 204, the counter value k is incremented, and the process returns to step 202. If the pixel P (k) is a pixel for which distance information has not been calculated, the process proceeds to step 206 to search for a pixel that is in the same divided area as the pixel P (k) and for which distance information has been calculated. .
次に、ステップ２０８で、探索された画素のうち、画素Ｐ（ｋ）の近傍の画素を所定数選択し、これらの画素の距離情報、及び画素Ｐ（ｋ）と各画素との距離に応じた重み付けに基づいて画素Ｐ（ｋ）の距離情報を補完する。例えば、図８に示すように、画素Ｐ（ｋ）に対して３点の画素を選択した場合は、画素Ｐ（ｋ）との距離が最も小さい画素Ｐ（ａ）については重み付けを大きくし、画素Ｐ（ｋ）との距離が最も大きい画素Ｐ（ｂ）については重み付けを小さくし、画素Ｐ（ｋ）との距離が中程度の画素Ｐ（ｃ）については重み付けを中程度として、各画素の距離情報に重み付けを掛け合わせた値の平均値を画素Ｐ（ｋ）の距離情報とする。なお、図８は、距離情報算出結果の画面（図５）において、同一領域内に含まれる一部を拡大表示したものである。 Next, in step 208, a predetermined number of pixels in the vicinity of the pixel P (k) are selected from the searched pixels, and the distance information of these pixels and the distance between the pixel P (k) and each pixel are selected. The distance information of the pixel P (k) is complemented based on the weighting. For example, as shown in FIG. 8, when three pixels are selected for the pixel P (k), the weighting is increased for the pixel P (a) having the smallest distance from the pixel P (k). Each pixel P (b) having the longest distance to the pixel P (k) is reduced in weight, and the pixel P (c) having a medium distance from the pixel P (k) is set to have a medium weight. The average value of values obtained by multiplying the distance information by the weight is used as the distance information of the pixel P (k). FIG. 8 is an enlarged view of a portion included in the same area on the distance information calculation result screen (FIG. 5).
次に、ステップ２１０で、カウンタ値ｋの値が入力画像の全画素数Ｍと等しくなったか否かを判断することにより、全画素について処理を終了したか否かを判断する。全画素について処理が終了していない場合には、ステップ２０４で、カウンタ値ｋをインクリメントしてステップ２０２に戻り、全画素について処理が終了するまで繰り返す。全画素について処理が終了した場合には、本ルーチンを終了してリターンする。 Next, in step 210, it is determined whether or not the processing has been completed for all the pixels by determining whether or not the value of the counter value k is equal to the total number of pixels M of the input image. If the process has not been completed for all pixels, the counter value k is incremented in step 204 and the process returns to step 202, and the process is repeated until the process is completed for all pixels. When the process is completed for all pixels, this routine is terminated and the process returns.
次に、図９を参照して、上記環境認識の処理ルーチン（図２）のステップ１０８で実行される特徴量抽出の処理ルーチンについて説明する。特徴量は、画素毎に抽出してもよいし、複数の画素からなる小領域毎に抽出してもよいが、ここでは、画素毎に抽出する場合について説明する。本処理は、特徴量抽出部２６において実行される。 Next, the feature amount extraction processing routine executed in step 108 of the environment recognition processing routine (FIG. 2) will be described with reference to FIG. The feature amount may be extracted for each pixel, or may be extracted for each small region including a plurality of pixels. Here, a case where the feature amount is extracted for each pixel will be described. This process is executed by the feature amount extraction unit 26.
ステップ３００で、入力画像の全画素に付された通し番号を示すカウンタ値ｋ（ｋ＝１，２，・・・Ｍ）を初期値である１に設定し、次に、ステップ３０２で、画素Ｐ（ｋ）の距離情報を取得する。次に、ステップ３０４で、画素Ｐ（ｋ）を含む周辺画素に対して、取得した距離情報に応じたサイズのウインドウを設定する。例えば、画素Ｐ（ｋ）の距離情報が示す距離が遠い場合には、画素Ｐ（ｋ）を中心に３×３画素のウインドウを設定し、それよりも距離が近い場合には、９×９画素のウインドウを設定するなどして、ウインドウ内の画素が示す被写体の実際の面積に差が生じないようなサイズのウインドウを設定する。 In step 300, a counter value k (k = 1, 2,... M) indicating serial numbers assigned to all pixels of the input image is set to an initial value 1, and then in step 302, the pixel P The distance information of (k) is acquired. Next, in step 304, a window having a size corresponding to the acquired distance information is set for peripheral pixels including the pixel P (k). For example, when the distance indicated by the distance information of the pixel P (k) is far, a window of 3 × 3 pixels is set around the pixel P (k), and when the distance is closer than that, 9 × 9 By setting a window of pixels, a window having a size that does not cause a difference in the actual area of the subject indicated by the pixels in the window is set.
次に、ステップ３０６で、設定したウインドウ内の画素を用いて画素Ｐ（ｋ）の特徴量を抽出し、次に、ステップ３１０で、カウンタ値ｋの値が入力画像の全画素数Ｍと等しくなったか否かを判断することにより、全画素について処理を終了したか否かを判断する。全画素について処理が終了していない場合には、ステップ３０８で、カウンタ値ｋをインクリメントしてステップ３０２に戻り、全画素について処理が終了するまで繰り返す。全画素について処理が終了した場合には、本ルーチンを終了してリターンする。 Next, in step 306, the feature amount of the pixel P (k) is extracted using the pixels in the set window. Next, in step 310, the value of the counter value k is equal to the total number of pixels M of the input image. It is determined whether or not the processing has been completed for all the pixels by determining whether or not it has become. If the processing has not been completed for all the pixels, the counter value k is incremented in step 308 and the process returns to step 302, and is repeated until the processing is completed for all the pixels. When the process is completed for all pixels, this routine is terminated and the process returns.
以上説明したように、第１の実施の形態における環境認識装置１０では、同一物体である可能性が高い分割領域内に存在する特徴点の距離情報に基づいて、距離情報が算出されていない画素の距離情報を補完するため、比較的容易かつ適切な距離情報を有する距離画像を生成することができる。この適切な距離情報に基づいて各画素の特徴量を抽出するための範囲（ウインドウサイズ）を設定しているため、距離の差による影響を受けにくい状態で特徴量を抽出することができる。この特徴量に基づいて物体を識別して環境を認識するため、環境認識の精度を向上させることができる。 As described above, in the environment recognition apparatus 10 according to the first embodiment, pixels for which distance information is not calculated based on distance information of feature points that exist in divided regions that are likely to be the same object. Therefore, it is possible to generate a distance image having relatively easy and appropriate distance information. Since a range (window size) for extracting the feature amount of each pixel is set based on the appropriate distance information, the feature amount can be extracted in a state that is not easily affected by the difference in distance. Since the environment is recognized by identifying the object based on the feature amount, the accuracy of environment recognition can be improved.
（第２の実施の形態） (Second Embodiment)
第２の実施の形態では、第１の実施の形態の構成に加え、入力画像の中で路面に該当する領域を推定する路面推定部を備えた環境認識装置について説明する。なお、第２の実施の形態の環境認識装置の構成において、上記第１の実施の形態の環境認識装置１０の構成と同一の構成、及び同一の処理については同一の符号を付し、その説明を省略する。 In the second embodiment, an environment recognition apparatus including a road surface estimation unit that estimates a region corresponding to a road surface in an input image in addition to the configuration of the first embodiment will be described. In the configuration of the environment recognition device according to the second embodiment, the same components and the same processes as those of the environment recognition device 10 according to the first embodiment are denoted by the same reference numerals, and the description thereof is omitted. Is omitted.
第２の実施の形態の環境認識装置４１０は、コンピュータ４１６を備えており、このコンピュータ１６をハードウエアとソフトウエアとに基づいて定まる機能実現手段毎に分割した機能ブロックで説明すると、図１０に示すように、領域分割部２０、距離情報算出部２２、入力画像の中で路面に該当する領域を推定する路面推定部４３４、距離画像生成部２４、特徴量抽出部２６、特徴量記憶部２８、物体識別部３０、及び表示制御部３２を含んだ構成で表すことができる。 The environment recognition apparatus 410 according to the second embodiment includes a computer 416. This function block is divided into function realizing means determined based on hardware and software. As shown, a region dividing unit 20, a distance information calculating unit 22, a road surface estimating unit 434 that estimates a region corresponding to a road surface in the input image, a distance image generating unit 24, a feature amount extracting unit 26, and a feature amount storing unit 28. , The object identification unit 30 and the display control unit 32.
路面推定部４３４は、領域分割部２０により複数に分割された分割領域のうち、入力画像における位置や画素の色などから判断して、路面領域を推定する。例えば、入力画像を２つの対角線で４分割した場合の下方領域に最も高い割合で含まれている分割領域を路面と推定したり、分割領域内の画素の大多数の画素の色が予め定めた路面の色と同一の場合に、その分割領域を路面と推定したりすることができる。なお、距離情報算出部２２により算出した特徴点の距離情報を路面の推定に用いてもよい。 The road surface estimation unit 434 estimates the road surface region by judging from the position in the input image, the color of the pixel, etc., among the divided regions divided by the region dividing unit 20. For example, when the input image is divided into four by two diagonal lines, the divided area that is included in the lower area at the highest rate is estimated as the road surface, or the color of the majority of the pixels in the divided area is predetermined. If the color of the road surface is the same, the divided area can be estimated as a road surface. Note that the distance information of the feature points calculated by the distance information calculation unit 22 may be used for estimation of the road surface.
距離画像生成部２４は、距離情報が算出されていない画素の距離情報を補完する際、路面推定部４３４の推定結果を利用する。路面は略水平面であり、図１１に示すように、画像中の横方法に並ぶ画素間では距離は略同一であるため、路面領域と推定された領域では、横方向の画素の距離情報が同一または略同一となるように距離情報を補完する。一方、路面以外の構造物は垂直面で構成されるため、画像中の縦方向に並ぶ画素間では距離は略同一であるため、路面領域と推定された領域以外の領域では、縦方向の画素の距離情報が同一または略同一となるように距離情報を補完する。 The distance image generation unit 24 uses the estimation result of the road surface estimation unit 434 when complementing the distance information of pixels for which distance information has not been calculated. The road surface is a substantially horizontal plane, and as shown in FIG. 11, the distance between the pixels arranged in the horizontal method in the image is substantially the same. Therefore, the distance information of the pixels in the horizontal direction is the same in the region estimated as the road surface region. Alternatively, the distance information is supplemented so as to be substantially the same. On the other hand, since the structures other than the road surface are configured by the vertical surface, the distance between the pixels arranged in the vertical direction in the image is substantially the same. Therefore, in the region other than the region estimated as the road surface region, the vertical pixels The distance information is supplemented so that the distance information is the same or substantially the same.
より詳細には、横並びの画素の距離情報においては、画像の中央（視点）から画像の左端または右端に向かうに従って、距離が微小距離ずつ徐々に増加するように距離情報を補完し、縦並びの画素の距離情報においては、画像の中央（視点）から画像の上端または下端に向かうに従って、距離が微小距離ずつ徐々に増加するように距離情報を補完するようにするとよい。 More specifically, in the distance information of horizontally arranged pixels, the distance information is complemented so that the distance gradually increases by a minute distance from the center (viewpoint) of the image toward the left end or the right end of the image. In the pixel distance information, the distance information may be complemented so that the distance gradually increases by a minute distance from the center (viewpoint) of the image toward the upper end or lower end of the image.
次に、図１２を参照して、第２の実施の形態の環境認識の処理ルーチン（図２）のステップ１０６で実行される距離画像生成の処理ルーチンについて説明する。 Next, a distance image generation processing routine executed in step 106 of the environment recognition processing routine (FIG. 2) according to the second embodiment will be described with reference to FIG.
ステップ５００で、路面推定部４３４は、分割領域の入力画像中の位置と分割領域内の画素の色から路面に該当する分割領域を推定し、次に、ステップ２００で、カウンタ値ｋを初期値である１に設定し、次に、ステップ２０２で、画素Ｐ（ｋ）の距離情報が算出されているか否かを判断し、次に、ステップ２０６で、画素Ｐ（ｋ）と同じ分割領域内にあり、かつ距離情報が算出されている画素を探索する。 In step 500, the road surface estimation unit 434 estimates a divided region corresponding to the road surface from the position of the divided region in the input image and the color of the pixel in the divided region. Next, in step 200, the counter value k is set as an initial value. Then, in step 202, it is determined whether or not the distance information of the pixel P (k) has been calculated. Next, in step 206, within the same divided area as the pixel P (k). And a pixel for which distance information is calculated is searched.
次に、ステップ５０２で、画素Ｐ（ｋ）が路面と推定されている分割領域に含まれる画素か否かを判断する。路面領域の場合には、ステップ５０４へ進み、探索された画素のうち、画素Ｐ（ｋ）の近傍の画素で、画素Ｐ（ｋ）と横並びの画素を優先的に所定数選択し、これらの画素と距離が略同一となるように重み付け（横方向の拘束条件）をして距離情報を補完する。路面以外の領域の場合には、ステップ５０６へ進み、縦方向の拘束条件に基づいてステップ５０４と同様の処理により、距離情報を補完する。 Next, in step 502, it is determined whether or not the pixel P (k) is a pixel included in the divided area estimated as the road surface. In the case of the road surface area, the process proceeds to step 504, and among the searched pixels, a predetermined number of pixels arranged side by side with the pixel P (k) are preferentially selected from the pixels near the pixel P (k). The distance information is complemented by weighting (horizontal constraint condition) so that the distance from the pixel is substantially the same. In the case of an area other than the road surface, the process proceeds to step 506, and the distance information is complemented by the same processing as in step 504 based on the vertical constraint condition.
次に、ステップ２１０で、全画素について処理を終了したか否かを判断し、全画素について処理が終了していない場合には、ステップ２０４で、カウンタ値ｋをインクリメントしてステップ２０２に戻り、全画素について処理が終了するまで繰り返す。全画素について処理が終了した場合には、本ルーチンを終了してリターンする。 Next, in step 210, it is determined whether or not the process has been completed for all pixels. If the process has not been completed for all pixels, the counter value k is incremented in step 204 and the process returns to step 202. Repeat until all pixels have been processed. When the process is completed for all pixels, this routine is terminated and the process returns.
以上説明したように、第２の実施の形態における環境認識装置４１０では、路面推定部４３４による路面領域の推定を行い、路面と推定された領域では横方向、路面以外の領域では縦方向の画素の距離情報を同一または略同一となるように距離情報を補完して、より適切な距離画像を生成することができるため、さらに環境認識の精度を向上させることができる。 As described above, in the environment recognition apparatus 410 according to the second embodiment, the road surface estimation unit 434 estimates the road surface area, and in the area estimated as the road surface, the horizontal direction pixel, and in the area other than the road surface, the vertical direction pixel. Since the distance information can be complemented so that the distance information is the same or substantially the same and a more appropriate distance image can be generated, the accuracy of environment recognition can be further improved.
（第３の実施の形態） (Third embodiment)
第３の実施の形態では、物体識別部３０による識別結果を領域分割部２０にフィードバックする場合について説明する。なお、第３の実施の形態の環境認識装置の構成において、上記第１の実施の形態の環境認識装置１０の構成と同一の構成、及び同一の処理については同一の符号を付し、その説明を省略する。 In the third embodiment, a case will be described in which the identification result by the object identification unit 30 is fed back to the region division unit 20. In the configuration of the environment recognition device according to the third embodiment, the same configuration and the same processing as those of the environment recognition device 10 according to the first embodiment are denoted by the same reference numerals, and the description thereof is omitted. Is omitted.
第３の実施の形態の環境認識装置６１０は、コンピュータ６１６を備えており、このコンピュータ６１６をハードウエアとソフトウエアとに基づいて定まる機能実現手段毎に分割した機能ブロックで説明すると、図１３に示すように、領域分割部２０、距離情報算出部２２、距離画像生成部２４、特徴量抽出部２６、特徴量記憶部２８、物体識別部３０、及び表示制御部３２を含んだ構成で表すことができる。 The environment recognition apparatus 610 according to the third embodiment includes a computer 616. The functional block obtained by dividing the computer 616 for each function realization means determined based on hardware and software is shown in FIG. As shown, the area dividing unit 20, the distance information calculating unit 22, the distance image generating unit 24, the feature amount extracting unit 26, the feature amount storing unit 28, the object identifying unit 30, and the display control unit 32 are used. Can do.
次に、図１４を参照して、第３の実施の形態における環境認識の処理ルーチンについて説明する。ステップ１００〜ステップ１１２で、第１の実施の形態と同様の処理により分割領域毎に物体を識別する。 Next, an environment recognition processing routine according to the third embodiment will be described with reference to FIG. In step 100 to step 112, an object is identified for each divided region by the same processing as in the first embodiment.
次に、ステップ７００で、識別結果を領域分割部２０へフィードバックすることにより行う識別結果の修正を所定回数行ったか否かを判断する。所定回数行っていない場合は、ステップ７０２へ進んで、領域分割部２０は、ステップ１１２の処理によって算出された識別結果に基づいて、再度領域の分割を行う。ここでの領域分割は、隣接する分割領域の識別結果が同一物体であると判断されている場合に、分割領域を統合するようにするとよい。 Next, in step 700, it is determined whether or not the identification result has been corrected a predetermined number of times by feeding back the identification result to the area dividing unit 20. If the predetermined number of times has not been performed, the process proceeds to step 702, where the area dividing unit 20 divides the area again based on the identification result calculated by the process of step 112. In this area division, the divided areas may be integrated when it is determined that the identification results of the adjacent divided areas are the same object.
また、ステップ１１２の処理で、分割領域内の画素毎の識別結果を統合する際、所定の割合以上を占める識別結果がない場合には、その分割領域については識別結果の統合を行わず、そのまま識別結果を領域分割部２０へフィードバックし、ステップ７０２において、該当分割領域を更に詳細な領域となるように分割するようにしてもよい。 Further, when integrating the identification results for each pixel in the divided area in the process of step 112, if there is no identification result occupying a predetermined ratio or more, the identification results are not integrated for the divided area. The identification result may be fed back to the area dividing unit 20, and in step 702, the corresponding divided area may be divided into more detailed areas.
次に、ステップ７０４で、識別結果が「空」である分割領域の画素の距離情報を無限遠に統一する。 Next, in step 704, the distance information of the pixels in the divided area whose identification result is “sky” is unified to infinity.
次に、ステップ７０６で、距離画像生成の処理を実行する。ここでは、距離情報の補完に路面領域の情報を利用する図１１に示す距離画像生成処理を実行する。この際、ステップ５００において、識別結果が「路面」である領域を路面と推定することにより、第２の実施の形態における路面推定部４３４を設けない構成でも、第２の実施の形態と同様の処理を行うことができる。 Next, in step 706, a distance image generation process is executed. In this case, the distance image generation process shown in FIG. 11 that uses road surface area information to complement the distance information is executed. At this time, in step 500, the region where the identification result is “road surface” is estimated as the road surface, so that the configuration in which the road surface estimation unit 434 in the second embodiment is not provided is the same as that in the second embodiment. Processing can be performed.
次に、ステップ７０８で、特徴量抽出の処理を実行する。ここでは、図１５に示すように、ステップ８００で、前回算出された距離情報と新たに算出された距離情報とを比較して、距離情報が修正された画素についてのみ、ステップ３０４及びステップ３０６の処理により特徴量を抽出するようにするとよい。 Next, in step 708, feature amount extraction processing is executed. Here, as shown in FIG. 15, in step 800, the distance information calculated last time is compared with the newly calculated distance information, and only the pixels whose distance information is corrected are processed in steps 304 and 306. It is preferable to extract the feature amount by processing.
なお、上記の実施の形態では、識別結果を領域分割部２０にフィードバックして処理する中で、路面領域を再度推定する処理を実行する場合や、「空」領域の画素の距離情報を無限遠とする処理を実行する場合について説明したが、路面推定部４３４や距離情報算出部２２へ直接識別結果をフィードバックするようにしてもよい。 In the above embodiment, when the identification result is fed back to the area dividing unit 20 and processed, the process of estimating the road surface area again is executed, or the distance information of the pixels in the “sky” area is set to infinity. However, the identification result may be directly fed back to the road surface estimation unit 434 and the distance information calculation unit 22.
また、上記の実施の形態では、１つの画像に対する処理の中で識別結果をフィードバックする場合について説明したが、順次入力される次の画像の処理に対して、フィードバックと同様の処理により識別結果を利用するようにしてもよい。 In the above embodiment, the case where the identification result is fed back in the processing for one image has been described. However, the identification result is obtained by the same processing as the feedback for the processing of the next image that is sequentially input. You may make it utilize.
以上説明したように、第３の実施の形態における環境認識装置６１０では、算出された識別結果をフィードバックして再度物体の識別を行うため、より適切に物体の識別を行うことができ、環境認識の精度を向上させることができる。 As described above, since the environment recognition apparatus 610 according to the third embodiment feeds back the calculated identification result and identifies the object again, the object recognition can be performed more appropriately. Accuracy can be improved.
なお、上記第１〜第３の実施の形態では、距離情報の算出方法として、ＳｆＭの手法を用いる場合について説明したが、ステレオ視の手法を用いる場合や、タイムオブフライト方式の距離画像センサを用いる場合などのように距離情報を算出できる場合であれば特に限定されない。 In the first to third embodiments, the case where the SfM method is used as the distance information calculation method has been described. However, when a stereo vision method is used, a time-of-flight distance image sensor is used. If distance information can be calculated like the case where it uses, it will not specifically limit.
また、上記第１〜第３の実施の形態では、識別対象の物体を「路面」、「植物」、「建物」、「空」、及び「車線」（これら以外を「その他」）として環境認識する場合について説明したが、その他にも「人」、「車両」等を対象物としてもよいし、これらの中から選択した数個を対象物としてもよい。 In the first to third embodiments, the recognition target object is “road surface”, “plant”, “building”, “sky”, and “lane” (other than these are “others”). However, in addition to this, “person”, “vehicle”, and the like may be used as objects, or several selected from these may be used as objects.
また、上記第１〜第３の実施の形態では、識別結果を表示装置に表示する場合について説明したが、識別結果を歩行者検出装置や車両検出装置など別の検出装置の入力情報として利用するようにしてもよい。例えば、歩行者検出装置において、上記識別結果が入手された場合、歩行者の探索範囲は「その他」と識別されている領域のみに限定することができる。なぜなら、他の領域は「路面」、「植物」、「建物」、「空」、及び「車線」のいずれかに識別されており、それらの中に歩行者が存在することはないからである。このように利用すると、探索範囲が限定されるため、歩行者検出装置における計算コストの削減や誤検出率の低減などの面で非常に効果的となる。 Moreover, although the said 1st-3rd embodiment demonstrated the case where an identification result was displayed on a display apparatus, an identification result is utilized as input information of another detection apparatuses, such as a pedestrian detection apparatus and a vehicle detection apparatus. You may do it. For example, in the pedestrian detection device, when the identification result is obtained, the search range of the pedestrian can be limited to only the region identified as “others”. This is because other areas are identified as "road surface", "plant", "building", "sky", and "lane", and there are no pedestrians in them. . When used in this manner, the search range is limited, which is very effective in terms of reducing the calculation cost and the false detection rate in the pedestrian detection device.
また、上記第１〜第３の実施の形態では、特徴量を抽出する際に設定するウインドウのサイズを注目画素の距離情報に応じて変更する場合について説明したが、ウインドウのサイズは同じ設定とし、距離情報に応じてウインドウ内の解像度を変更するようにしてもよい。例えば、注目画素の距離情報の示す距離が近い場合は、画素値を平均化するなどして、ウインドウ内の解像度が低くなるように変更する。また距離が遠い場合は、画素分割を行うなどして、解像度が高くなるように変更する。 In the first to third embodiments, the case where the size of the window set when extracting the feature amount is changed according to the distance information of the target pixel has been described. However, the window size is set to the same setting. The resolution in the window may be changed according to the distance information. For example, when the distance indicated by the distance information of the pixel of interest is short, the pixel value is averaged to change the resolution in the window to be low. When the distance is long, the resolution is changed so as to increase the resolution by dividing the pixel.
また、上記第１〜第３の実施の形態では、１枚の入力画像に対して処理を行う場合について説明したが、異なる波長帯の光による撮像を行うための複数の撮像装置、またはフィルタを用いて１度に複数の波長帯の光による撮像が可能な１台の撮像装置を用いて、複数の画像を入力し、複数の画像から抽出された特徴量を総合的に判断して物体を識別するようにしてもよい。例えば、近赤外域の光を用いて撮像された画像、及び可視光域の複数の異なる波長帯の光を用いて撮像された複数の画像を１度に入力画像とすることができる。 In the first to third embodiments, the case where processing is performed on one input image has been described. However, a plurality of imaging devices or filters for performing imaging using light in different wavelength bands are provided. Using a single imaging device capable of imaging with light of a plurality of wavelength bands at a time, a plurality of images are input, and feature quantities extracted from the plurality of images are comprehensively determined to determine the object. You may make it identify. For example, an image captured using light in the near infrared region and a plurality of images captured using light in a plurality of different wavelength bands in the visible light region can be used as an input image at a time.
１０、４１０、６１０ 環境認識装置
２０ 領域分割部
２２ 距離情報算出部
２４ 距離画像生成部
２６ 特徴量抽出部
２８ 特徴量記憶部
３０ 物体識別部
４３４ 路面推定部
10, 410, 610 Environment recognition device 20 Region division unit 22 Distance information calculation unit 24 Distance image generation unit 26 Feature amount extraction unit 28 Feature amount storage unit 30 Object identification unit 434 Road surface estimation unit
Claims (9)
前記画像の特徴点となる画素に対応する距離情報を算出する距離情報算出手段と、
前記領域分割手段により分割された同一の分割領域に存在する複数の特徴点となる画素の距離情報に基づいて、分割領域毎に前記特徴点となる画素以外の画素の距離情報を補完して距離画像を生成する距離画像生成手段と、
前記画像内の注目画素及び注目画素の周辺に存在する周辺画素を含む領域、または前記画像内の複数の画素からなる注目領域及び注目領域の周辺に存在する周辺画素を含む領域で表されるウインドウであって、前記距離画像生成手段により生成された距離画像から得られる前記注目画素又は前記注目領域に対応した距離情報に応じたサイズのウインドウを前記画像に設定すると共に、該ウインドウ内の画素から前記注目画素または前記注目領域の特徴量を抽出する特徴量抽出手段と、
前記特徴量抽出手段により抽出された特徴量と、予め求めておいた対象物毎の特徴量とを比較することにより対象物を識別する識別手段と、
を含む環境認識装置。 Area dividing means for dividing an image obtained by imaging a subject into a plurality of divided areas so that pixels of the same color or pixels of the same brightness are included in the same divided area;
Distance information calculating means for calculating distance information corresponding to a pixel that is a feature point of the image;
Based on distance information of pixels that are a plurality of feature points existing in the same divided region divided by the region dividing means, distance information is obtained by complementing distance information of pixels other than the pixels that become the feature points for each divided region. A distance image generating means for generating an image;
A window represented by a target pixel in the image and a region including a peripheral pixel existing around the target pixel, or a region including a target pixel composed of a plurality of pixels in the image and a peripheral pixel existing around the target region. A window of a size corresponding to the distance information corresponding to the pixel of interest or the region of interest obtained from the distance image generated by the distance image generation means is set in the image, and from the pixels in the window Feature amount extraction means for extracting the feature amount of the target pixel or the target region;
An identification means for identifying the object by comparing the feature quantity extracted by the feature quantity extraction means with the feature quantity for each object obtained in advance;
An environment recognition device.
前記画像の特徴点となる画素に対応する距離情報を算出する距離情報算出手段と、
前記領域分割手段により分割された同一の分割領域に存在する複数の特徴点となる画素の距離情報に基づいて、分割領域毎に前記特徴点となる画素以外の画素の距離情報を補完して距離画像を生成する距離画像生成手段と、
前記画像内の注目画素及び注目画素の周辺に存在する周辺画素を含む領域、または前記画像内の複数の画素からなる注目領域及び注目領域の周辺に存在する周辺画素を含む領域で表されるウインドウを前記画像に設定すると共に、前記距離画像生成手段により生成された距離画像から得られる前記注目画素又は前記注目領域に対応した距離情報に応じて、設定したウインドウ内の解像度を変更し、該ウインドウ内の解像度が変更された画素から前記注目画素または前記注目領域の特徴量を抽出する特徴量抽出手段と、
前記特徴量抽出手段により抽出された特徴量と、予め求めておいた対象物毎の特徴量とを比較することにより対象物を識別する識別手段と、
を含む環境認識装置。 Area dividing means for dividing an image obtained by imaging a subject into a plurality of divided areas so that pixels of the same color or pixels of the same brightness are included in the same divided area;
Distance information calculating means for calculating distance information corresponding to a pixel that is a feature point of the image;
Based on distance information of pixels that are a plurality of feature points existing in the same divided region divided by the region dividing means, distance information is obtained by complementing distance information of pixels other than the pixels that become the feature points for each divided region. A distance image generating means for generating an image;
A window represented by a target pixel in the image and a region including a peripheral pixel existing around the target pixel, or a region including a target pixel composed of a plurality of pixels in the image and a peripheral pixel existing around the target region. Is set in the image, and the resolution in the set window is changed according to distance information corresponding to the pixel of interest or the region of interest obtained from the distance image generated by the distance image generation unit, and the window A feature amount extraction means for extracting a feature amount of the target pixel or the target region from pixels whose resolution has been changed,
An identification means for identifying the object by comparing the feature quantity extracted by the feature quantity extraction means with the feature quantity for each object obtained in advance;
An environment recognition device.
被写体を撮像することにより得られた画像を、同一色の画素又は同一明度の画素が同一分割領域に含まれるように、複数の分割領域に分割する領域分割手段、
前記画像の特徴点となる画素に対応する距離情報を算出する距離情報算出手段、
前記領域分割手段により分割された同一の分割領域に存在する複数の特徴点となる画素の距離情報に基づいて、分割領域毎に前記特徴点となる画素以外の画素の距離情報を補完して距離画像を生成する距離画像生成手段、
前記画像内の注目画素及び注目画素の周辺に存在する周辺画素を含む領域、または前記画像内の複数の画素からなる注目領域及び注目領域の周辺に存在する周辺画素を含む領域で表されるウインドウであって、前記距離画像生成手段により生成された距離画像から得られる前記注目画素又は前記注目領域に対応した距離情報に応じたサイズのウインドウを前記画像に設定すると共に、該ウインドウ内の画素から前記注目画素または前記注目領域の特徴量を抽出する特徴量抽出手段、及び
前記特徴量抽出手段により抽出された特徴量と、予め求めておいた対象物毎の特徴量とを比較することにより対象物を識別する識別手段
として機能させるための環境認識プログラム。 Computer
Area dividing means for dividing an image obtained by imaging a subject into a plurality of divided areas so that pixels of the same color or pixels of the same brightness are included in the same divided area;
Distance information calculating means for calculating distance information corresponding to a pixel to be a feature point of the image;
Based on distance information of pixels that are a plurality of feature points existing in the same divided region divided by the region dividing means, distance information is obtained by complementing distance information of pixels other than the pixels that become the feature points for each divided region. Distance image generation means for generating an image,
A window represented by a target pixel in the image and a region including a peripheral pixel existing around the target pixel, or a region including a target pixel composed of a plurality of pixels in the image and a peripheral pixel existing around the target region. A window of a size corresponding to the distance information corresponding to the pixel of interest or the region of interest obtained from the distance image generated by the distance image generation means is set in the image, and from the pixels in the window A feature amount extracting unit that extracts a feature amount of the pixel of interest or the region of interest; and a feature amount extracted by the feature amount extraction unit and a target amount obtained by comparing the feature amount of each target obtained in advance An environment recognition program that functions as an identification means for identifying objects.
被写体を撮像することにより得られた画像を、同一色の画素又は同一明度の画素が同一分割領域に含まれるように、複数の分割領域に分割する領域分割手段、
前記画像の特徴点となる画素に対応する距離情報を算出する距離情報算出手段、
前記領域分割手段により分割された同一の分割領域に存在する複数の特徴点となる画素の距離情報に基づいて、分割領域毎に前記特徴点となる画素以外の画素の距離情報を補完して距離画像を生成する距離画像生成手段、
前記画像内の注目画素及び注目画素の周辺に存在する周辺画素を含む領域、または前記画像内の複数の画素からなる注目領域及び注目領域の周辺に存在する周辺画素を含む領域で表されるウインドウを前記画像に設定すると共に、前記距離画像生成手段により生成された距離画像から得られる前記注目画素又は前記注目領域に対応した距離情報に応じて、設定したウインドウ内の解像度を変更し、該ウインドウ内の解像度が変更された画素から前記注目画素または前記注目領域の特徴量を抽出する特徴量抽出手段、及び
前記特徴量抽出手段により抽出された特徴量と、予め求めておいた対象物毎の特徴量とを比較することにより対象物を識別する識別手段
として機能させるための環境認識プログラム。 Computer
Area dividing means for dividing an image obtained by imaging a subject into a plurality of divided areas so that pixels of the same color or pixels of the same brightness are included in the same divided area;
Distance information calculating means for calculating distance information corresponding to a pixel to be a feature point of the image;
Based on distance information of pixels that are a plurality of feature points existing in the same divided region divided by the region dividing means, distance information is obtained by complementing distance information of pixels other than the pixels that become the feature points for each divided region. Distance image generation means for generating an image,
A window represented by a target pixel in the image and a region including a peripheral pixel existing around the target pixel, or a region including a target pixel composed of a plurality of pixels in the image and a peripheral pixel existing around the target region. Is set in the image, and the resolution in the set window is changed according to distance information corresponding to the pixel of interest or the region of interest obtained from the distance image generated by the distance image generation unit, and the window A feature amount extracting unit that extracts a feature amount of the target pixel or the region of interest from pixels whose resolution has been changed, a feature amount extracted by the feature amount extraction unit, and a predetermined amount for each target object An environment recognition program for functioning as an identification means for identifying an object by comparing with feature quantities.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2012217196A JP2013030183A (en) | 2012-09-28 | 2012-09-28 | Environment recognition device, and program |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2012217196A JP2013030183A (en) | 2012-09-28 | 2012-09-28 | Environment recognition device, and program |
Related Parent Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2007337845A Division JP5151472B2 (en) | 2007-12-27 | 2007-12-27 | Distance image generation device, environment recognition device, and program |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2013030183A true JP2013030183A (en) | 2013-02-07 |
Family
ID=47787101
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2012217196A Pending JP2013030183A (en) | 2012-09-28 | 2012-09-28 | Environment recognition device, and program |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2013030183A (en) |
Cited By (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPS5990718A (en) * | 1982-11-15 | 1984-05-25 | Mitsubishi Electric Corp | Control device for intake valve of engine |
| KR20140110586A (en) * | 2013-03-08 | 2014-09-17 | 삼성전자주식회사 | Image matching apparatus, image matching system and image matching mehod |
| JP2014222429A (en) * | 2013-05-14 | 2014-11-27 | 株式会社リコー | Image processor, distance measuring device, mobile object apparatus control system, mobile object, and program for image processing |
| WO2015163028A1 (en) * | 2014-04-25 | 2015-10-29 | 日立建機株式会社 | Road surface estimation device and road surface estimation system for mine work-vehicle |
| JP2016151955A (en) * | 2015-02-18 | 2016-08-22 | キヤノン株式会社 | Image processing apparatus, imaging device, distance measuring device, and image processing method |
| WO2017158964A1 (en) * | 2016-03-18 | 2017-09-21 | 株式会社リコー | Image processing device, moving body equipment control system, image processing program, and image processing method |
| JP2018088132A (en) * | 2016-11-29 | 2018-06-07 | マツダ株式会社 | Sensitivity evaluation system |
| JP2018088151A (en) * | 2016-11-29 | 2018-06-07 | 株式会社Ｓｏｋｅｎ | Boundary line estimating apparatus |
| WO2019009110A1 (en) | 2017-07-05 | 2019-01-10 | クラリオン株式会社 | Exterior recognition device for vehicles |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPS62212787A (en) * | 1986-03-14 | 1987-09-18 | Hitachi Ltd | Range finer |
| JP2002077707A (en) * | 2000-08-30 | 2002-03-15 | Minolta Co Ltd | Image pickup device and image pickup method |
| WO2007029454A1 (en) * | 2005-09-07 | 2007-03-15 | Pioneer Corporation | Scene analysis device and method |
| JP2007232652A (en) * | 2006-03-02 | 2007-09-13 | Fujitsu Ltd | Device and method for determining road surface condition |
| JP2007280088A (en) * | 2006-04-07 | 2007-10-25 | Konica Minolta Holdings Inc | Specific object detection device, specific object detection method, and specific object detection program |
-
2012
- 2012-09-28 JP JP2012217196A patent/JP2013030183A/en active Pending
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPS62212787A (en) * | 1986-03-14 | 1987-09-18 | Hitachi Ltd | Range finer |
| JP2002077707A (en) * | 2000-08-30 | 2002-03-15 | Minolta Co Ltd | Image pickup device and image pickup method |
| WO2007029454A1 (en) * | 2005-09-07 | 2007-03-15 | Pioneer Corporation | Scene analysis device and method |
| JP2007232652A (en) * | 2006-03-02 | 2007-09-13 | Fujitsu Ltd | Device and method for determining road surface condition |
| JP2007280088A (en) * | 2006-04-07 | 2007-10-25 | Konica Minolta Holdings Inc | Specific object detection device, specific object detection method, and specific object detection program |
Cited By (15)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPS5990718A (en) * | 1982-11-15 | 1984-05-25 | Mitsubishi Electric Corp | Control device for intake valve of engine |
| KR101988384B1 (en) * | 2013-03-08 | 2019-06-12 | 삼성전자주식회사 | Image matching apparatus, image matching system and image matching mehod |
| KR20140110586A (en) * | 2013-03-08 | 2014-09-17 | 삼성전자주식회사 | Image matching apparatus, image matching system and image matching mehod |
| JP2014222429A (en) * | 2013-05-14 | 2014-11-27 | 株式会社リコー | Image processor, distance measuring device, mobile object apparatus control system, mobile object, and program for image processing |
| WO2015163028A1 (en) * | 2014-04-25 | 2015-10-29 | 日立建機株式会社 | Road surface estimation device and road surface estimation system for mine work-vehicle |
| JP2016151955A (en) * | 2015-02-18 | 2016-08-22 | キヤノン株式会社 | Image processing apparatus, imaging device, distance measuring device, and image processing method |
| WO2017158964A1 (en) * | 2016-03-18 | 2017-09-21 | 株式会社リコー | Image processing device, moving body equipment control system, image processing program, and image processing method |
| US10810749B2 (en) | 2016-03-18 | 2020-10-20 | Ricoh Company, Ltd. | Image processing apparatus, moving body device control system, computer-readable medium, and image processing method |
| JPWO2017158964A1 (en) * | 2016-03-18 | 2018-09-13 | 株式会社リコー | Image processing apparatus, mobile device control system, image processing program, and image processing method |
| JP2018088132A (en) * | 2016-11-29 | 2018-06-07 | マツダ株式会社 | Sensitivity evaluation system |
| JP2018088151A (en) * | 2016-11-29 | 2018-06-07 | 株式会社Ｓｏｋｅｎ | Boundary line estimating apparatus |
| WO2019009110A1 (en) | 2017-07-05 | 2019-01-10 | クラリオン株式会社 | Exterior recognition device for vehicles |
| CN110832568A (en) * | 2017-07-05 | 2020-02-21 | 歌乐株式会社 | Vehicle environment recognition device |
| US10867403B2 (en) | 2017-07-05 | 2020-12-15 | Clarion Co., Ltd. | Vehicle external recognition apparatus |
| CN110832568B (en) * | 2017-07-05 | 2022-03-25 | 歌乐株式会社 | Vehicle environment recognition device |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP5151472B2 (en) | Distance image generation device, environment recognition device, and program | |
| JP2013030183A (en) | Environment recognition device, and program | |
| US11789545B2 (en) | Information processing device and method, program and recording medium for identifying a gesture of a person from captured image data | |
| JP6088792B2 (en) | Image detection apparatus, control program, and image detection method | |
| JP6233345B2 (en) | Road surface gradient detector | |
| JP5127182B2 (en) | Object detection device | |
| US9025875B2 (en) | People counting device, people counting method and people counting program | |
| KR101636370B1 (en) | Image processing apparatus and method | |
| EP2980755B1 (en) | Method for partitioning area, and inspection device | |
| CN104915943B (en) | Method and apparatus for determining main parallax value in disparity map | |
| KR20130028610A (en) | Apparatus and method for providing real-time lane detection, recording medium thereof | |
| JP2011165170A (en) | Object detection device and program | |
| JP2006127024A (en) | Region segmentation method and device, image recognition processing device, program and recording medium | |
| JP6754717B2 (en) | Object candidate area estimation device, object candidate area estimation method, and object candidate area estimation program | |
| US9607398B2 (en) | Image processing apparatus and method of controlling the same | |
| JP5020920B2 (en) | Pedestrian detection device and program | |
| KR101407070B1 (en) | Method of extracting feature for human detection and apparatus for performing the same | |
| JP2005346287A (en) | Image recognizing method and apparatus | |
| JP6116916B2 (en) | Image detection apparatus, control program, and image detection method | |
| JP2010257252A (en) | Image recognition device | |
| JP5047115B2 (en) | Moving object tracking device | |
| JP2020035334A (en) | Image processing apparatus | |
| JP2006190188A (en) | Region dividing method | |
| JP4879229B2 (en) | Pedestrian detection device and program |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20130628 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20130709 |
|
| A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20140107 |