JP2017167608A - Object recognition device, object recognition method, and object recognition program - Google Patents

Abstract

PROBLEM TO BE SOLVED: To provide an object recognition device for quickly detecting a pedestrian around a vehicle, an object recognition method, and an object recognition program.SOLUTION: An object recognition device 20 includes an image acquisition part 21 which acquires an image obtained by photographing the travel direction of an own-vehicle and a recognition processing part 22 which recognizes a subject photographed in the image acquired by using a recognition dictionary with respect to the acquired image. The recognition processing part 22 detects another vehicle by using a vehicle recognition dictionary with respect to the acquired image, sets a priority recognition area to the vicinity of the detected another vehicle, and recognizes the pedestrian by using a pedestrian recognition dictionary with respect to the priority recognition area.SELECTED DRAWING: Figure 1

Description

本発明は物体認識装置、物体認識方法及び物体認識プログラムに関する。   The present invention relates to an object recognition apparatus, an object recognition method, and an object recognition program.

車両に搭載したカメラの画像に基づいて車両周辺の状況を認識し、運転者に警告を通知する安全支援装置が普及している。そのような安全支援装置は、カメラが撮影した画像に対して複数の認識辞書を用い、自車両周辺の他車両や歩行者などを、それらがどのような形態であっても認識するようにしている。
例えば、特許文献１には、移動体検出装置において、歩行者の上半身、横半身をそれぞれパターン化した上半身認識辞書、横半身認識辞書を用いて、車両に隠れた歩行者を検出することが記載されている。 2. Description of the Related Art Safety support devices that recognize a situation around a vehicle based on an image of a camera mounted on the vehicle and notify a driver of a warning have become widespread. Such a safety support device uses a plurality of recognition dictionaries for images taken by a camera so as to recognize other vehicles and pedestrians in the vicinity of the own vehicle, regardless of their form. Yes.
For example, Patent Document 1 describes that in a moving body detection device, a pedestrian hidden in a vehicle is detected using an upper body recognition dictionary and a horizontal body recognition dictionary in which a pedestrian's upper body and lateral body are respectively patterned. Has been.

特開２０１４−１３５０３９号公報JP, 2014-135039, A

しかしながら、背景技術に係る移動体検出装置では、画像から特徴点を抽出し、そのオプティカルフローに基づいて特徴点をグループ化し、識別領域を設定するといった時間のかかる処理をしており、駐車車両の背後から飛び出してくるような歩行者を迅速に検出することができていなかった。
本発明は、このような問題を解決するためになされたものであり、他車両の周辺にいる歩行者を迅速に検出することができる物体認識装置、物体認識方法及び物体認識プログラムを提供することを目的とする。 However, in the moving body detection device according to the background art, feature points are extracted from an image, feature points are grouped based on the optical flow, and an identification region is set, which takes time-consuming processing. Pedestrians jumping out from behind could not be detected quickly.
The present invention has been made to solve such a problem, and provides an object recognition device, an object recognition method, and an object recognition program capable of quickly detecting a pedestrian in the vicinity of another vehicle. With the goal.

そこで、本発明は、自車両の進行方向を撮影した画像を取得する画像取得部と、取得した画像に対して、認識辞書を用いて取得した画像に撮影されている被写体を認識する認識処理部とを備え、認識処理部は、取得した画像に対して車両認識辞書を用いて他車両を検出し、検出した他車両の近傍に優先認識領域を設定し、優先認識領域に対して歩行者認識辞書を用いて歩行者を認識する物体認識装置を提供する。   Accordingly, the present invention provides an image acquisition unit that acquires an image obtained by capturing the traveling direction of the host vehicle, and a recognition processing unit that recognizes a subject captured in an image acquired using a recognition dictionary for the acquired image. And the recognition processing unit detects another vehicle using the vehicle recognition dictionary for the acquired image, sets a priority recognition area in the vicinity of the detected other vehicle, and recognizes the pedestrian for the priority recognition area. An object recognition apparatus for recognizing a pedestrian using a dictionary is provided.

また、本発明は、自車両の進行方向を撮影した画像を取得する画像取得ステップと、取得した画像に対して、認識辞書を用いて取得した画像に撮影されている被写体を認識する認識処理ステップとを有し、認識処理ステップでは、取得した画像に対して車両認識辞書を用いて他車両を検出し、検出した他車両の近傍に優先認識領域を設定し、優先認識領域に対して歩行者認識辞書を用いて歩行者を認識する物体認識方法を提供する。   The present invention also provides an image acquisition step for acquiring an image obtained by capturing the traveling direction of the host vehicle, and a recognition processing step for recognizing a subject captured in the image acquired using the recognition dictionary for the acquired image. In the recognition processing step, another vehicle is detected from the acquired image using a vehicle recognition dictionary, a priority recognition area is set in the vicinity of the detected other vehicle, and a pedestrian is compared with the priority recognition area. An object recognition method for recognizing a pedestrian using a recognition dictionary is provided.

本発明により、他車両の周辺にいる歩行者を迅速に検出する物体認識装置、物体認識方法及び物体認識プログラムを提供することができる。   According to the present invention, it is possible to provide an object recognition device, an object recognition method, and an object recognition program for quickly detecting a pedestrian in the vicinity of another vehicle.

実施の形態１に係る物体認識システム１の概略構成を示すブロック図である。1 is a block diagram showing a schematic configuration of an object recognition system 1 according to Embodiment 1. FIG. 実施の形態１に係る認識方法の処理手順を示すフローチャートである。3 is a flowchart showing a processing procedure of a recognition method according to the first embodiment. 実施の形態１に係る認識対象画像の例を示す図である。6 is a diagram illustrating an example of a recognition target image according to Embodiment 1. FIG. 実施の形態１に係る優先認識領域を示す図である。5 is a diagram illustrating a priority recognition area according to Embodiment 1. FIG. 実施の形態２に係る物体認識方法の処理手順を示すフローチャートである。6 is a flowchart illustrating a processing procedure of an object recognition method according to the second embodiment. 実施の形態２に係る停止車両の判定処理を説明するための図である。FIG. 10 is a diagram for explaining stop vehicle determination processing according to Embodiment 2; 実施の形態３に係る物体認識方法の処理手順を示すフローチャートである。10 is a flowchart illustrating a processing procedure of an object recognition method according to Embodiment 3. 実施の形態３に係る遠方端部及び優先認識領域を示す図である。It is a figure which shows the far end part and priority recognition area which concern on Embodiment 3. FIG. 実施の形態３に係る警告エリアを説明するための図である。It is a figure for demonstrating the warning area which concerns on Embodiment 3. FIG. 実施の形態４に係る物体認識方法の処理手順を示すフローチャートである。14 is a flowchart illustrating a processing procedure of an object recognition method according to the fourth embodiment. 実施の形態５に係る物体認識方法の処理手順を示すフローチャートである。10 is a flowchart illustrating a processing procedure of an object recognition method according to a fifth embodiment. 実施の形態５に係る優先認識領域を示す図である。It is a figure which shows the priority recognition area | region which concerns on Embodiment 5. FIG. 実施の形態５に係る優先認識領域を示す別の図である。FIG. 10 is another diagram showing a priority recognition area according to the fifth embodiment.

以下、図面を参照して各実施の形態に係る物体認識システム及び物体認識方法について説明する。
なお、本明細書の「画像」には、静止画像及び動画像が含まれる。 Hereinafter, an object recognition system and an object recognition method according to each embodiment will be described with reference to the drawings.
The “image” in this specification includes a still image and a moving image.

（実施の形態１）
本実施の形態１に係る物体認識システム又は物体認識方法は、自車両の進行方向を撮影した画像から他車両を検出し、当該他車両の近傍に優先認識領域を設定して歩行者を検出するもので、他車両の周辺にいる歩行者を迅速に検出できるものである。 (Embodiment 1)
The object recognition system or the object recognition method according to the first embodiment detects another vehicle from an image obtained by photographing the traveling direction of the host vehicle, sets a priority recognition area in the vicinity of the other vehicle, and detects a pedestrian. Therefore, it is possible to quickly detect pedestrians around other vehicles.

まず、本実施の形態１に係る物体認識システムの構成について説明する。
図１は、本実施の形態１に係る物体認識システム１の概略構成を示すブロック図である。
物体認識システム１は、主に車両で利用されるシステムであり、前方カメラ１０、物体認識装置２０、辞書データ記憶装置３０、表示装置４０などを備える。 First, the configuration of the object recognition system according to the first embodiment will be described.
FIG. 1 is a block diagram showing a schematic configuration of an object recognition system 1 according to the first embodiment.
The object recognition system 1 is a system mainly used in a vehicle, and includes a front camera 10, an object recognition device 20, a dictionary data storage device 30, a display device 40, and the like.

前方カメラ１０は、自車両の進行方向の画像を撮像し、当該画像を物体認識装置２０に入力する。前方カメラ１０は、単眼カメラでもステレオカメラでも良く、後述するように対象とする被写体との距離を算出するときの算出方法により、どちらかを選択して設置する。また、前方カメラ１０は、可視光の画像を撮影するカメラであるが、赤外光を検出可能なカメラであっても良いし、可視光の画像を撮影するカメラと赤外光を検出可能なカメラとの組み合わせであっても良い。   The front camera 10 captures an image in the traveling direction of the host vehicle and inputs the image to the object recognition device 20. The front camera 10 may be a monocular camera or a stereo camera, and is selected and installed according to a calculation method used when calculating the distance to the target subject as described later. Further, the front camera 10 is a camera that captures a visible light image, but may be a camera that can detect infrared light, or a camera that captures a visible light image and infrared light. A combination with a camera may also be used.

物体認識装置２０は、前方カメラ１０が撮像した画像を用いて、他車両及び歩行者を認識し、必要に応じて、警告信号を表示装置４０などに出力する。物体認識装置２０は、例えば、前方カメラ１０が撮像した画像のフレーム毎又は数フレーム毎に他車両及び歩行者を認識する。このために、物体認識装置２０は、画像取得部２１、認識処理部２２、表示制御部２３などを有する。   The object recognition device 20 recognizes another vehicle and a pedestrian using the image captured by the front camera 10, and outputs a warning signal to the display device 40 or the like as necessary. For example, the object recognition device 20 recognizes other vehicles and pedestrians for each frame or every several frames of the image captured by the front camera 10. For this purpose, the object recognition device 20 includes an image acquisition unit 21, a recognition processing unit 22, a display control unit 23, and the like.

画像取得部２１は、前方カメラ１０が撮像した画像を入力し、各種の画像処理を施して、認識処理部２２に出力する。
認識処理部２２は、入力した画像に対して、辞書データ記憶装置３０に記憶した車両認識辞書、歩行者認識辞書を用いて、他車両、歩行者を認識し、必要に応じて運転者に警告するように、表示制御部２３に信号を出力する。
表示制御部２３は、表示装置４０で警告画像を表示したり、警告音声を出力したりするための制御を行う。 The image acquisition unit 21 receives an image captured by the front camera 10, performs various image processing, and outputs the processed image to the recognition processing unit 22.
The recognition processing unit 22 recognizes other vehicles and pedestrians using the vehicle recognition dictionary and pedestrian recognition dictionary stored in the dictionary data storage device 30 for the input image, and warns the driver as necessary. Thus, a signal is output to the display control unit 23.
The display control unit 23 performs control for displaying a warning image or outputting a warning sound on the display device 40.

辞書データ記憶装置３０は、車両認識辞書、歩行者認識辞書などを記憶する。歩行者認識辞書には、全身認識辞書、上半身認識辞書、横半身認識辞書などが含まれる。
全身認識辞書は、歩行者の全身画像を機械学習して作成したものである。また、上半身認識辞書、横半身認識辞書は、障害物の存在によって歩行者の下半身又は横半身が隠れている画像、すなわち、オクルージョンのある画像を機械学習して作成したものである。なお、上半身認識辞書、横半身認識辞書などは、障害物有歩行者認識辞書として１つの辞書にまとめても良い。 The dictionary data storage device 30 stores a vehicle recognition dictionary, a pedestrian recognition dictionary, and the like. The pedestrian recognition dictionary includes a whole body recognition dictionary, an upper body recognition dictionary, a horizontal body recognition dictionary, and the like.
The whole body recognition dictionary is created by machine learning of pedestrian whole body images. The upper body recognition dictionary and the horizontal body recognition dictionary are created by machine learning of an image in which the pedestrian's lower body or lateral body is hidden by the presence of an obstacle, that is, an image with occlusion. The upper body recognition dictionary, the horizontal body recognition dictionary, and the like may be combined into a single dictionary as an obstacle-existing pedestrian recognition dictionary.

また、物体認識システム１は、辞書データ記憶装置３０を備えていなくても良い。このとき、辞書データ記憶装置３０は、物体認識システム１が利用可能な通信インターフェースを用いて接続される外部サーバであっても良い。この場合に、辞書データ記憶装置３０を、辞書データ参照装置として構成することもできる。
表示装置４０は、運転者に対して、自車両の進行方向に他車両、歩行者などが存在する旨の警告を画像又は音声で通知する。 Further, the object recognition system 1 may not include the dictionary data storage device 30. At this time, the dictionary data storage device 30 may be an external server connected using a communication interface that the object recognition system 1 can use. In this case, the dictionary data storage device 30 can also be configured as a dictionary data reference device.
The display device 40 notifies the driver of a warning that there is another vehicle, a pedestrian, or the like in the traveling direction of the host vehicle with an image or sound.

なお、物体認識装置２０が実現する各構成要素は、例えば、コンピュータである物体認識装置２０が備える演算装置（図示せず）の制御によって、プログラムを実行することによって実現できる。より具体的には、物体認識装置２０は、記憶部（図示せず）に格納したプログラムを主記憶装置（図示せず）にロードし、演算装置の制御によってプログラムを実行して実現する。   In addition, each component which the object recognition apparatus 20 implement | achieves is realizable by executing a program by control of the arithmetic unit (not shown) with which the object recognition apparatus 20 which is a computer is provided, for example. More specifically, the object recognition device 20 is realized by loading a program stored in a storage unit (not shown) into a main storage device (not shown) and executing the program under the control of the arithmetic unit.

また、各構成要素は、プログラムによるソフトウェアで実現することに限ることなく、ハードウェア、ファームウェア及びソフトウェアのうちのいずれかの組み合わせなどにより実現しても良い。   Each component is not limited to being realized by software by a program, and may be realized by any combination of hardware, firmware, and software.

上述したプログラムは、様々なタイプの非一時的なコンピュータ可読媒体（non-transitory computer readable medium）を用いて格納され、物体認識装置２０に供給することができる。非一時的なコンピュータ可読媒体は、様々なタイプの実体のある記録媒体（tangible storage medium）を含む。   The above-described program can be stored using various types of non-transitory computer readable media and supplied to the object recognition apparatus 20. Non-transitory computer readable media include various types of tangible storage media.

非一時的なコンピュータ可読媒体の例は、磁気記録媒体（例えば、フレキシブルディスク、磁気テープ、ハードディスクドライブ）、光磁気記録媒体（例えば、光磁気ディスク）、ＣＤ−ＲＯＭ（Read Only Memory）、ＣＤ−Ｒ、ＣＤ−Ｒ／Ｗ、半導体メモリ（例えば、マスクＲＯＭ、ＰＲＯＭ（Programmable ROM）、ＥＰＲＯＭ（Erasable PROM）、フラッシュＲＯＭ、ＲＡＭ（random access memory））を含む。   Examples of non-transitory computer-readable media include magnetic recording media (for example, flexible disks, magnetic tapes, hard disk drives), magneto-optical recording media (for example, magneto-optical disks), CD-ROMs (Read Only Memory), CD-ROMs. R, CD-R / W, semiconductor memory (for example, mask ROM, PROM (Programmable ROM), EPROM (Erasable PROM), flash ROM, RAM (random access memory)).

また、プログラムは、様々なタイプの一時的なコンピュータ可読媒体（transitory computer readable medium）によって物体認識装置２０に供給されても良い。一時的なコンピュータ可読媒体の例は、電気信号、光信号及び電磁波を含む。一時的なコンピュータ可読媒体は、電線及び光ファイバなどの有線通信路、又は、無線通信路を介して、プログラムを物体認識装置２０に供給できる。   Further, the program may be supplied to the object recognition device 20 by various types of temporary computer readable media. Examples of transitory computer readable media include electrical signals, optical signals and electromagnetic waves. The temporary computer readable medium can supply the program to the object recognition apparatus 20 via a wired communication path such as an electric wire and an optical fiber, or a wireless communication path.

次に、本実施の形態１に係る物体認識システム１の動作、すなわち、物体認識方法について説明する。
図２は、本実施の形態１に係る認識方法の処理手順を示すフローチャートである。
物体認識システム１が動作を開始すると、前方カメラ１０が自車両の進行方向の画像を撮像し、画像取得部２１が当該画像を認識対象画像として取得する（ステップＳ１０）。 Next, the operation of the object recognition system 1 according to the first embodiment, that is, the object recognition method will be described.
FIG. 2 is a flowchart showing a processing procedure of the recognition method according to the first embodiment.
When the object recognition system 1 starts operation, the front camera 10 captures an image in the traveling direction of the host vehicle, and the image acquisition unit 21 acquires the image as a recognition target image (step S10).

図３は、本実施の形態１に係る認識対象画像の例を示す図である。また、図３以降に示す認識対象画像の例は、自車両が左車線を走行しているときにその進行方向を撮像したものである。
画像には、自車両の走行車線の前方左側に駐車又は停車している、すなわち、停止している他車両Ａ、反対車線を走行している他車両Ｂ、道路左側の建造物やその先の並木などが写っている。また、他車両Ａの背後には、道路を横断しかけている歩行者が写っている。 FIG. 3 is a diagram illustrating an example of a recognition target image according to the first embodiment. The examples of recognition target images shown in FIG. 3 and subsequent figures are images of the traveling direction when the host vehicle is traveling in the left lane.
The image shows the other vehicle A parked or parked on the left side in front of the traveling lane of the host vehicle, that is, the other vehicle A that is stopped, the other vehicle B that is traveling in the opposite lane, the building on the left side of the road There are rows of trees. In addition, behind the other vehicle A, a pedestrian crossing the road is shown.

次に、認識処理部２２が認識対象画像に対して、辞書データ記憶装置３０に記憶した車両認識辞書を用いて、他車両の認識を行う（ステップＳ２０）。このとき、認識処理部２２は、認識対象画像の全域において他車両を認識しても良いし、認識対象画像の上下の領域を除いた中央の領域のみにおいて他車両を認識しても良い。ここでは、認識処理部２２は、図３に示した画像の他車両Ａ、Ｂを検出する。   Next, the recognition processing unit 22 recognizes another vehicle on the recognition target image using the vehicle recognition dictionary stored in the dictionary data storage device 30 (step S20). At this time, the recognition processing unit 22 may recognize other vehicles in the entire area of the recognition target image, or may recognize other vehicles only in the central area excluding the upper and lower areas of the recognition target image. Here, the recognition process part 22 detects the other vehicles A and B of the image shown in FIG.

次に、認識処理部２２は、ステップＳ２０で他車両を検出したか判定する（ステップＳ３０）。
認識処理部２２が他車両を検出したとき（ステップＳ３０のＹｅｓ）は、検出した他車両の近傍（周囲）に、歩行者を認識するときに、認識対象画像の他の領域よりも優先して認識するための優先認識領域を設定する（ステップＳ４０）。ここで、優先認識領域を設定する他車両の近傍とは、他車両の周辺にいる、又は、他車両に隠れているような歩行者を認識するための、必要十分な大きさの範囲を指す。 Next, the recognition process part 22 determines whether the other vehicle was detected by step S20 (step S30).
When the recognition processing unit 22 detects another vehicle (Yes in step S30), when recognizing a pedestrian in the vicinity (surrounding) of the detected other vehicle, it has priority over other regions of the recognition target image. A priority recognition area for recognition is set (step S40). Here, the vicinity of the other vehicle for which the priority recognition area is set refers to a range of a necessary and sufficient size for recognizing a pedestrian who is in the vicinity of the other vehicle or hidden behind the other vehicle. .

図４は、本実施の形態１に係る優先認識領域を示す図である。
認識処理部２２は、検出した他車両Ａ、Ｂを囲む領域を優先認識領域として設定する。本実施の形態１に係る物体認識方法では、認識処理部２２は、他車両が走行中であっても、停止中であっても、当該他車両の近傍に優先認識領域を設定する。 FIG. 4 is a diagram showing a priority recognition area according to the first embodiment.
The recognition processing unit 22 sets a region surrounding the detected other vehicles A and B as a priority recognition region. In the object recognition method according to the first embodiment, the recognition processing unit 22 sets a priority recognition area in the vicinity of the other vehicle regardless of whether the other vehicle is running or is stopped.

次に、認識処理部２２は設定した優先認識領域に対して、辞書データ記憶装置３０に記憶した歩行者認識辞書を用いて、歩行者を認識する（ステップＳ５０）。これにより、認識対象画像の全域に対して認識するときに比べて、他車両Ａの周辺にいる歩行者を、より迅速に認識することができる。もちろん、認識処理部２２は、優先認識領域に対して歩行者を認識した後に、他の領域に対しても歩行者を認識しても良い。ここでは、認識処理部２２は、図４に示した他車両Ａの背後から道路を横断しかけている歩行者を、より迅速に検出することができる。   Next, the recognition process part 22 recognizes a pedestrian using the pedestrian recognition dictionary memorize | stored in the dictionary data storage device 30 with respect to the set priority recognition area | region (step S50). Thereby, the pedestrian in the periphery of the other vehicle A can be recognized more rapidly than when recognizing the whole area of the recognition target image. Of course, the recognition processing unit 22 may recognize a pedestrian in other areas after recognizing the pedestrian in the priority recognition area. Here, the recognition processing unit 22 can more quickly detect a pedestrian crossing the road from behind the other vehicle A shown in FIG.

次に、認識処理部２２はステップＳ５０で歩行者を検出したかを判定する（ステップＳ６０）。
認識処理部２２が歩行者を検出したとき（ステップＳ６０のＹｅｓ）は、表示制御部２３が表示部４０を介して、運転者に優先認識領域で歩行者を検出したことを通知する（ステップＳ７０）。 Next, the recognition process part 22 determines whether the pedestrian was detected by step S50 (step S60).
When the recognition processing unit 22 detects a pedestrian (Yes in step S60), the display control unit 23 notifies the driver that a pedestrian has been detected in the priority recognition area via the display unit 40 (step S70). ).

そして、物体認識装置２０は、物体認識方法を終了するか判定し（ステップＳ８０）、終了すると判定したとき（ステップＳ８０のＹｅｓ）は、処理を終了する。
なお、認識処理部２２が他車両を検出しなかったとき（ステップＳ３０のＮｏ）、歩行者を検出しなかったとき（ステップＳ６０のＮｏ）、又は、物体認識装置２０が物体認識方法を終了しないと判定したとき（ステップＳ８０のＮｏ）は、ステップＳ１０（又は、ステップＳ２０）に戻る。 Then, the object recognition device 20 determines whether or not to end the object recognition method (step S80), and when it is determined to end (Yes in step S80), the process ends.
In addition, when the recognition process part 22 does not detect another vehicle (No of step S30), when a pedestrian is not detected (No of step S60), or the object recognition apparatus 20 does not complete | finish an object recognition method. Is determined (No in step S80), the process returns to step S10 (or step S20).

以上、説明したように、本実施の形態１に係る物体認識装置２０は、自車両の進行方向を撮影した画像を取得する画像取得部２１と、取得した画像に対して、認識辞書を用いて取得した画像に撮影されている被写体を認識する認識処理部２２とを備え、認識処理部２２は、取得した画像に対して車両認識辞書を用いて他車両Ａ、Ｂを検出し、検出した他車両Ａ、Ｂの近傍に優先認識領域を設定し、優先認識領域に対して歩行者認識辞書を用いて歩行者を認識するものである。
このような構成により、他車両の周辺にいる歩行者を迅速に検出することができる。 As described above, the object recognition device 20 according to the first embodiment uses the recognition dictionary for the acquired image and the image acquisition unit 21 that acquires an image obtained by capturing the traveling direction of the host vehicle. A recognition processing unit 22 that recognizes a subject photographed in the acquired image, and the recognition processing unit 22 detects other vehicles A and B using the vehicle recognition dictionary for the acquired image, A priority recognition area is set in the vicinity of the vehicles A and B, and a pedestrian is recognized for the priority recognition area using a pedestrian recognition dictionary.
With such a configuration, a pedestrian in the vicinity of another vehicle can be quickly detected.

また、本実施の形態１に係る物体認識方法は、自車両の進行方向を撮影した画像を取得する画像取得ステップＳ１０と、取得した画像に対して、認識辞書を用いて取得した画像に撮影されている被写体を認識する認識処理ステップＳ２０〜Ｓ６０とを有し、認識処理ステップＳ２０〜Ｓ６０では、取得した画像に対して車両認識辞書を用いて他車両Ａ、Ｂを検出し（ステップＳ２０、３０）、検出した他車両Ａ、Ｂの近傍に優先認識領域を設定し（ステップＳ４０）、優先認識領域に対して歩行者認識辞書を用いて歩行者を認識する（ステップＳ５０、６０）ものである。   Further, in the object recognition method according to the first embodiment, an image acquisition step S10 for acquiring an image obtained by capturing the traveling direction of the host vehicle, and an image acquired using a recognition dictionary with respect to the acquired image are captured. Recognition processing steps S20 to S60 for recognizing a subject, and in recognition processing steps S20 to S60, other vehicles A and B are detected from the acquired image using a vehicle recognition dictionary (steps S20 and S30). ), A priority recognition area is set in the vicinity of the detected other vehicles A and B (step S40), and a pedestrian is recognized for the priority recognition area using a pedestrian recognition dictionary (steps S50 and 60). .

また、本実施の形態１に係る物体認識プログラムは、コンピュータに、自車両の進行方向を撮影した画像を取得する画像取得手順（ステップＳ１０）と、取得した画像に対して、認識辞書を用いて取得した画像に撮影されている被写体を認識する認識処理手順（ステップＳ２０〜Ｓ６０）とを実行させるためのプログラムであって、認識処理手順（ステップＳ２０〜Ｓ６０）では、取得した画像に対して車両認識辞書を用いて他車両Ａ、Ｂを検出し（ステップＳ２０、３０）、検出した他車両Ａ、Ｂの近傍に優先認識領域を設定し（ステップＳ４０）、優先認識領域に対して歩行者認識辞書を用いて歩行者を認識する（ステップＳ５０、６０）ものである。   Further, the object recognition program according to the first embodiment uses a recognition dictionary for an image acquisition procedure (step S10) for acquiring an image obtained by capturing the traveling direction of the host vehicle in the computer and the acquired image. This is a program for executing a recognition processing procedure (steps S20 to S60) for recognizing a subject photographed in an acquired image. In the recognition processing procedure (steps S20 to S60), a vehicle is applied to the acquired image. Other vehicles A and B are detected using the recognition dictionary (steps S20 and 30), a priority recognition area is set in the vicinity of the detected other vehicles A and B (step S40), and pedestrian recognition is performed for the priority recognition area. A pedestrian is recognized using a dictionary (steps S50 and S60).

（実施の形態２）
実施の形態１に係る物体認識システム又は物体認識方法では、検出した他車両が停止中であっても、走行中であっても、その近傍に優先認識領域を設定したが、走行中の車両よりも駐車中の車両などの停止している車両の方が、その周辺から歩行者が飛び出してくることが多いと考えられることから、本実施の形態２に係る物体認識システム又は物体認識方法では、検出した他車両が停止中であったときに、その近傍に優先認識領域を設定するものである。
なお、本実施の形態２に係る物体認識システムは、実施の形態１に係るものと同様で良く、ここでは、その図示及び説明を省略する。 (Embodiment 2)
In the object recognition system or the object recognition method according to the first embodiment, the priority recognition area is set near the detected other vehicle even when the other vehicle is stopped or traveling. In the object recognition system or the object recognition method according to the second embodiment, it is considered that a pedestrian often jumps out from the periphery of a stopped vehicle such as a parked vehicle. When the detected other vehicle is stopped, a priority recognition area is set in the vicinity thereof.
The object recognition system according to the second embodiment may be the same as that according to the first embodiment, and illustration and description thereof are omitted here.

本実施の形態２に係る物体認識システム１の動作、すなわち、物体認識方法について説明する。
図５は、本実施の形態２に係る物体認識方法の処理手順を示すフローチャートである。
ステップＳ１０〜Ｓ３０及びステップＳ５０〜Ｓ８０の処理は実施の形態１に係るものと同様で良く、ここでは、その説明を省略する。 An operation of the object recognition system 1 according to the second embodiment, that is, an object recognition method will be described.
FIG. 5 is a flowchart showing a processing procedure of the object recognition method according to the second embodiment.
The processes in steps S10 to S30 and steps S50 to S80 may be the same as those in the first embodiment, and the description thereof is omitted here.

認識処理部２２は、ステップＳ２０で他車両を検出したとき（ステップＳ３０のＹｅｓ）に、当該他車両が停止車両であるか判定する（ステップＳ３１）。なお、停止車両には、路側などに停止している車両に加えて、信号や渋滞などで一時的に停止している車両も含まれる。
ここで、停止車両の判定処理について説明する。
認識処理部２２は、画像下端から画像中の注目画素までの画素数と、自車両から注目画素における被写体までの実際の距離とを対応付けた距離テーブルをあらかじめ保持している。この距離テーブルは、例えば、カメラの取り付け位置や角度などによりキャリブレーションを行って用意する。 The recognition process part 22 determines whether the said other vehicle is a stop vehicle, when another vehicle is detected by step S20 (Yes of step S30) (step S31). The stopped vehicle includes a vehicle temporarily stopped due to a signal or traffic jam in addition to a vehicle stopped on the roadside or the like.
Here, the determination process of the stopped vehicle will be described.
The recognition processing unit 22 holds in advance a distance table in which the number of pixels from the lower end of the image to the target pixel in the image is associated with the actual distance from the host vehicle to the subject at the target pixel. This distance table is prepared by performing calibration according to the mounting position and angle of the camera, for example.

そして、認識処理部２２は、検出した他車両の画像上の位置と、距離テーブルとから、当該画像撮像時の自車両から当該他車両までの距離を算出する。
また、認識処理部２２は、ＣＡＮ（Control Area Network）情報や位置情報の履歴から自車両の走行スピードを取得する。
そして、認識処理部２２は、複数フレームについて自車両から当該他車両までの距離を算出し、複数フレームの間の距離の変化が自車両の走行距離に相当するものであるとき、当該他車両を停止車両であると判定する。 And the recognition process part 22 calculates the distance from the own vehicle at the time of the said image capture to the said other vehicle from the position on the image of the detected other vehicle, and a distance table.
Moreover, the recognition process part 22 acquires the traveling speed of the own vehicle from the history of CAN (Control Area Network) information and position information.
Then, the recognition processing unit 22 calculates the distance from the own vehicle to the other vehicle for a plurality of frames, and when the change in the distance between the plurality of frames corresponds to the travel distance of the own vehicle, It is determined that the vehicle is a stopped vehicle.

図６は、本実施の形態２に係る停止車両の判定処理を説明するための図である。
認識処理部２２は、画像撮像時の自車両から他車両Ａまでの距離を、時刻ｔにおいて１００ｍであり、時刻ｔ＋０．５ｓにおいて９３ｍであると算出する。また、ＣＡＮ情報が示す自車両の速度は５０ｋｍ／ｈであり、自車両が１秒間に進む距離は約１４ｍであると算出する。 FIG. 6 is a diagram for explaining a determination process for a stopped vehicle according to the second embodiment.
The recognition processing unit 22 calculates the distance from the host vehicle to the other vehicle A at the time of image capturing as 100 m at time t and 93 m at time t + 0.5s. Further, the speed of the host vehicle indicated by the CAN information is 50 km / h, and the distance that the host vehicle travels in one second is calculated to be about 14 m.

このとき、認識処理部２２は、時刻ｔ〜時刻ｔ＋０．５ｓの０．５秒間における距離の変化７ｍが、自車両の０．５秒間の走行距離に相当することから、他車両Ａを停止車両であると判断する。
そして、認識処理部２２は、検出した他車両が停止車両であるとき（ステップＳ３１のＹｅｓ）は、当該停止車両の近傍に優先認識領域を設定し（ステップＳ４０）、歩行者を認識する（ステップＳ５０）。また、検出した他車両が停止車両でなかったとき（ステップＳ３１のＮｏ）はステップＳ１０（又は、ステップＳ２０）に戻る。 At this time, the recognition processing unit 22 stops the other vehicle A because the change 7m in the distance from 0.5 to 0.5 seconds from time t to time t + 0.5 s corresponds to the travel distance of 0.5 seconds of the own vehicle. It is judged that.
Then, when the detected other vehicle is a stopped vehicle (Yes in Step S31), the recognition processing unit 22 sets a priority recognition area in the vicinity of the stopped vehicle (Step S40) and recognizes a pedestrian (Step S40). S50). When the detected other vehicle is not a stopped vehicle (No in step S31), the process returns to step S10 (or step S20).

以上、説明したように、本実施の形態２に係る物体認識装置２０は、認識処理部２２が、優先認識領域を設定するときに、検出した他車両Ａ、Ｂが停止車両であるか否かを判定し、停止車両であると判定した他車両Ａの近傍に優先認識領域を設定することも可能である。
このような構成により、停止中の他車両の周辺にいる歩行者をより迅速に検出することができる。 As described above, in the object recognition device 20 according to the second embodiment, whether or not the detected other vehicles A and B are stop vehicles when the recognition processing unit 22 sets the priority recognition area. It is also possible to set a priority recognition area in the vicinity of the other vehicle A determined to be a stopped vehicle.
With such a configuration, a pedestrian in the vicinity of another vehicle that is stopped can be detected more quickly.

（実施の形態３）
実施の形態１、２に係る物体認識システム又は物体認識方法では、検出した他車両の近傍に優先認識領域を設定したが、一般に、他車両の手前の歩行者よりも他車両の背後の歩行者の方が運転者には見難いことから、本実施の形態３に係る物体認識システム又は物体認識方法では、検出した他車両の遠方端部、すなわち、他車両の背後に近い側に優先認識領域を設定するものである。
なお、本実施の形態３に係る物体認識システムも、実施の形態１に係るものと同様で良く、ここでは、その図示及び説明を省略する。 (Embodiment 3)
In the object recognition system or the object recognition method according to the first and second embodiments, the priority recognition area is set in the vicinity of the detected other vehicle, but in general, the pedestrian behind the other vehicle rather than the pedestrian in front of the other vehicle. Therefore, in the object recognition system or the object recognition method according to the third embodiment, the priority recognition area is located at the far end of the detected other vehicle, that is, near the back of the other vehicle. Is set.
The object recognition system according to the third embodiment may be the same as that according to the first embodiment, and illustration and description thereof are omitted here.

本実施の形態３に係る物体認識システム１の動作、すなわち、物体認識方法について説明する。
図７は、本実施の形態３に係る物体認識方法の処理手順を示すフローチャートである。
ステップＳ１０〜Ｓ３０及びステップＳ６０〜Ｓ８０の処理は実施の形態１に係るものと同様で良く、ここでは、その説明を省略する。 An operation of the object recognition system 1 according to the third embodiment, that is, an object recognition method will be described.
FIG. 7 is a flowchart showing a processing procedure of the object recognition method according to the third embodiment.
The processes in steps S10 to S30 and steps S60 to S80 may be the same as those in the first embodiment, and the description thereof is omitted here.

認識処理部２２はステップＳ２０で他車両を検出したとき（ステップＳ３０のＹｅｓ）に、当該他車両の遠方端部を特定する（ステップＳ３２）。
ここで、他車両の遠方端部の特定処理について説明する。
前方カメラ１０が単眼カメラの場合には、ＳｆＭ（Structure from Motion）法を用いる。認識処理部２２は、他車両を検出した後の複数の画像から、当該他車両に係る複数の特徴点の動きをトラッキングし、当該他車両の３次元形状を抽出し、自車両から遠い方の端部を求めることができる。 When the recognition processing unit 22 detects another vehicle in step S20 (Yes in step S30), the recognition processing unit 22 identifies the far end of the other vehicle (step S32).
Here, the process for identifying the far end of the other vehicle will be described.
When the front camera 10 is a monocular camera, the SfM (Structure from Motion) method is used. The recognition processing unit 22 tracks the movement of a plurality of feature points related to the other vehicle from a plurality of images after detecting the other vehicle, extracts a three-dimensional shape of the other vehicle, and extracts the one far from the own vehicle. The edge can be determined.

また、前方カメラ１０がステレオカメラの場合には、その画像の奥行き情報を用いる。認識処理部２２は、１回の撮像による奥行き情報からの当該他車両の３次元形状を抽出し、自車両から遠い方の端部を求めることができる。
次に、認識処理部２２は、検出した他車両の特定した遠方端部に優先認識領域を設定する（ステップＳ４０）。
図８は、本実施の形態３に係る遠方端部及び優先認識領域を示す図である。
認識処理部２２は、検出した他車両Ａ、Ｂの遠方端部、すなわち、自車両の走行車線の他車両Ａの前方右側と、反対車線の他車両Ｂの後方右側とにそれぞれ優先認識領域を設定する。 When the front camera 10 is a stereo camera, the depth information of the image is used. The recognition processing unit 22 can extract the three-dimensional shape of the other vehicle from the depth information obtained by one imaging, and obtain an end portion far from the host vehicle.
Next, the recognition process part 22 sets a priority recognition area | region to the far end part which the detected other vehicle specified (step S40).
FIG. 8 is a diagram showing the far end and the priority recognition area according to the third embodiment.
The recognition processing unit 22 sets priority recognition areas at the far end portions of the detected other vehicles A and B, that is, the front right side of the other vehicle A of the traveling lane of the own vehicle and the rear right side of the other vehicle B of the opposite lane. Set.

次に、認識処理部２２は、警告エリアを拡大する（ステップＳ４１）。
図９は、本実施の形態３に係る警告エリアを説明するための図である。
認識処理部２２は、自車両と物体との衝突を未然に防ぐために、通常の走行状態では、その進行方向に通常警告エリアを設定し、衝突の可能性がある物体（他車両、歩行者など）が通常警告エリアに入ったときに、運転者に警告を通知するようにしている。通常警告エリアの範囲は、自車両の速度、天候（路面の状況）などに基づいて算出する。 Next, the recognition processing unit 22 expands the warning area (step S41).
FIG. 9 is a diagram for explaining a warning area according to the third embodiment.
In order to prevent a collision between the host vehicle and an object, the recognition processing unit 22 sets a normal warning area in the traveling direction in a normal driving state, and an object (another vehicle, a pedestrian, or the like) that may cause a collision. ) Is usually notified to the driver when entering the warning area. The range of the normal warning area is calculated based on the speed of the host vehicle, weather (road surface conditions), and the like.

そして、認識処理部２２は、他車両の遠方端部を検出したとき、他車両が停止車両であったときなど、物体との衝突の可能性が高い状態に入った所定のタイミングで、警告エリアを通常警告エリアから拡大警告エリアにまで拡大する。拡大警告エリアの範囲は、例えば、他車両の遠方端部にまで拡大される。
また、認識処理部２２は、警告エリアを拡大するときに、検出した他車両の端部が危険エリアであるとして、運転者に警告しても良い。
そして、認識処理部２２は、歩行者を認識して（ステップＳ５０）、以降の処理を進める。 Then, the recognition processing unit 22 detects a warning area at a predetermined timing when a collision with an object is highly likely, such as when the far end of the other vehicle is detected or when the other vehicle is a stopped vehicle. Is expanded from the normal warning area to the enlarged warning area. For example, the range of the expansion warning area is expanded to the far end of another vehicle.
The recognition processing unit 22 may warn the driver that the detected end of the other vehicle is a dangerous area when expanding the warning area.
And the recognition process part 22 recognizes a pedestrian (step S50), and advances a subsequent process.

以上、説明したように、本実施の形態３に係る物体認識装置２０は、認識処理部２２が、優先認識領域を設定するときに、検出した他車両Ａ、Ｂの遠方端部を特定し、特定した遠方端部の近傍に優先認識領域を設定することも可能である。
このような構成により、他車両の背後にいる歩行者をより迅速に検出することができる。 As described above, in the object recognition device 20 according to the third embodiment, when the recognition processing unit 22 sets the priority recognition area, the far end portions of the detected other vehicles A and B are specified, It is also possible to set a priority recognition area in the vicinity of the specified far end.
With such a configuration, a pedestrian behind another vehicle can be detected more quickly.

（実施の形態４）
実施の形態２に係る物体認識システム又は物体認識方法は、検出した他車両が停止車両であったときに、その近傍に優先認識領域を設定するものであったが、本実施の形態４に係る物体認識システム又は物体認識方法は、自車両の走行車線の道路端に停止している他車両の近傍に優先認識領域を設定するものである。
なお、本実施の形態４に係る物体認識システムも、実施の形態１に係るものと同様で良く、ここでは、その図示及び説明を省略する。 (Embodiment 4)
In the object recognition system or the object recognition method according to the second embodiment, when the detected other vehicle is a stopped vehicle, a priority recognition area is set in the vicinity thereof. In the object recognition system or the object recognition method, a priority recognition area is set in the vicinity of another vehicle that is stopped at the road edge of the traveling lane of the host vehicle.
The object recognition system according to the fourth embodiment may be the same as that according to the first embodiment, and the illustration and description thereof are omitted here.

本実施の形態４に係る物体認識システム１の動作、すなわち、物体認識方法について説明する。
図１０は、本実施の形態４に係る物体認識方法の処理手順を示すフローチャートである。
ステップＳ１０〜Ｓ３０及びステップＳ５０〜Ｓ８０の処理は実施の形態１に係るものと同様で良く、ここでは、その説明を省略する。 An operation of the object recognition system 1 according to the fourth embodiment, that is, an object recognition method will be described.
FIG. 10 is a flowchart showing a processing procedure of the object recognition method according to the fourth embodiment.
The processes in steps S10 to S30 and steps S50 to S80 may be the same as those in the first embodiment, and the description thereof is omitted here.

認識処理部２２は、ステップＳ２０で他車両を検出したとき（ステップＳ３０のＹｅｓ）に、当該他車両が自車両の走行車線に停止している他車両であるか判定する（ステップＳ３３）。具体的には、認識処理部２２は自車両の走行車線を、画像認識による白線検出、車線検出などにより特定し、特定した走行車線と検出した他車両との位置関係を検出して、走行車線の路側で停止している他車両を停止車両とする。   When the recognition processing unit 22 detects another vehicle in Step S20 (Yes in Step S30), the recognition processing unit 22 determines whether the other vehicle is another vehicle that is stopped in the traveling lane of the own vehicle (Step S33). Specifically, the recognition processing unit 22 specifies the travel lane of the host vehicle by white line detection or lane detection by image recognition, detects the positional relationship between the identified travel lane and the detected other vehicle, and the travel lane. The other vehicle that is stopped on the road side is the stopped vehicle.

そして、認識処理部２２は、検出した他車両が走行車線の路側で停止している車両であるとき（ステップＳ３３のＹｅｓ）は、当該他車両の近傍に優先認識領域を設定し（ステップＳ４０）、歩行者を認識する（ステップＳ５０）。また、検出した他車両が走行車線の路側で停止している車両でなかったとき（ステップＳ３３のＮｏ）はステップＳ１０（又は、ステップＳ２０）に戻る。   And the recognition process part 22 sets a priority recognition area | region in the vicinity of the said other vehicle, when the detected other vehicle is a vehicle which has stopped on the road side of a driving lane (step S33) (step S40). A pedestrian is recognized (step S50). When the detected other vehicle is not a vehicle stopped on the road side of the travel lane (No in step S33), the process returns to step S10 (or step S20).

以上、説明したように、本実施の形態４に係る物体認識装置２０は、認識処理部２２は、優先認識領域を設定するときに、自車両の走行車線を検出し走行車線と検出した他車両Ａ、Ｂとの位置関係を検出し、検出した他車両Ａが、走行車線の路側に位置しているときに、検出した他車両Ａの近傍に優先認識領域を設定することも可能である。
このような構成により、停止中の他車両の周辺にいる歩行者をより迅速に検出することができる。 As described above, in the object recognition device 20 according to the fourth embodiment, the recognition processing unit 22 detects the traveling lane of the own vehicle and detects the traveling lane when setting the priority recognition area. It is also possible to detect the positional relationship with A and B, and to set a priority recognition area in the vicinity of the detected other vehicle A when the detected other vehicle A is located on the road side of the traveling lane.
With such a configuration, a pedestrian in the vicinity of another vehicle that is stopped can be detected more quickly.

（実施の形態５）
実施の形態１〜４に係る物体認識システム又は物体認識方法では、検出した他車両の近傍又は遠方端部のいずれかに優先認識領域を設定したが、走行状況などに対応して、より迅速に歩行者を検出するために、本実施の形態５に係る物体認識システム又は物体認識方法では、自車両と検出した他車両との距離に応じて、検出した他車両の近傍又は遠方端部のいずれかに優先認識領域を設定するものである。
なお、本実施の形態５に係る物体認識システムも、実施の形態１に係るものと同様で良く、ここでは、その図示及び説明を省略する。 (Embodiment 5)
In the object recognition system or the object recognition method according to the first to fourth embodiments, the priority recognition area is set in either the vicinity of the detected other vehicle or the far end, but more quickly in response to the driving situation or the like. In order to detect a pedestrian, in the object recognition system or the object recognition method according to the fifth embodiment, either the vicinity of the detected other vehicle or the far end is detected depending on the distance between the own vehicle and the detected other vehicle. A priority recognition area is set.
The object recognition system according to the fifth embodiment may be the same as that according to the first embodiment, and illustration and description thereof are omitted here.

本実施の形態５に係る物体認識システム１の動作、すなわち、物体認識方法について説明する。
図１１は、本実施の形態５に係る物体認識方法の処理手順を示すフローチャートである。
ステップＳ１０〜Ｓ３０及びステップＳ５０〜Ｓ８０の処理は実施の形態１に係るものと同様で良く、ここでは、その図示及び説明を省略する。 An operation of the object recognition system 1 according to the fifth embodiment, that is, an object recognition method will be described.
FIG. 11 is a flowchart showing a processing procedure of the object recognition method according to the fifth embodiment.
The processes of steps S10 to S30 and steps S50 to S80 may be the same as those according to the first embodiment, and illustration and description thereof are omitted here.

認識処理部２２は、ステップＳ２０で他車両を検出したとき（ステップＳ３０のＹｅｓ）に、当該他車両との距離がα以上であるか判定する（ステップＳ４２）。
検出した他車両との距離がα以上であるとき（ステップＳ４２のＹｅｓ）、すなわち、検出した他車両との距離が十分に離れているときは、ステップＳ１０（又は、ステップＳ２０）に戻る。 The recognition process part 22 determines whether the distance with the said other vehicle is more than (alpha), when another vehicle is detected by step S20 (Yes of step S30) (step S42).
When the detected distance to the other vehicle is greater than or equal to α (Yes in step S42), that is, when the detected distance from the other vehicle is sufficiently large, the process returns to step S10 (or step S20).

検出した他車両との距離がα以上でないとき（ステップＳ４２のＮｏ）は、認識処理部２２は、当該他車両との距離がβ以上、α未満であるか判定する（ステップＳ４３）。
検出した他車両との距離がβ以上、α未満であるとき（ステップＳ４３のＹｅｓ）、すなわち、検出した他車両との距離がある程度離れているときは、認識処理部２２は、当該他車両の近傍に優先認識領域を設定する（ステップＳ４４）。 When the detected distance to the other vehicle is not equal to or greater than α (No in step S42), the recognition processing unit 22 determines whether the distance to the other vehicle is equal to or greater than β and less than α (step S43).
When the detected distance to the other vehicle is not less than β and less than α (Yes in step S43), that is, when the detected distance from the other vehicle is some distance away, the recognition processing unit 22 A priority recognition area is set in the vicinity (step S44).

図１２は、本実施の形態５に係る優先認識領域を示す図である。
検出した他車両Ａ、Ｂとの距離が、例えば、２０ｍ以上、５０ｍ未満であり、自車両と他車両Ａ、Ｂとがある程度離れているので、認識処理部２２は、検出した他車両Ａ、Ｂの近傍に優先認識領域を設定している。
また、検出した他車両との距離がβ以上、α未満でないとき（ステップＳ４３のＮｏ）、すなわち、検出した他車両との距離がβ未満で、当該他車両と接近しているときは、認識処理部２２は、当該他車両の遠方端部に優先認識領域を設定する（ステップＳ４５）。 FIG. 12 is a diagram showing a priority recognition area according to the fifth embodiment.
Since the distance between the detected other vehicles A and B is, for example, 20 m or more and less than 50 m, and the own vehicle and the other vehicles A and B are separated to some extent, the recognition processing unit 22 detects the detected other vehicle A, A priority recognition area is set in the vicinity of B.
When the detected distance to the other vehicle is not less than β and less than α (No in step S43), that is, when the detected distance to the other vehicle is less than β and is approaching the other vehicle, recognition is performed. The processing unit 22 sets a priority recognition area at the far end of the other vehicle (step S45).

図１３は、本実施の形態５に係る優先認識領域を示す別の図である。
検出した他車両Ａ、Ｂとの距離が、例えば、２０ｍ未満であり、自車両と他車両Ａ、Ｂとが接近しているので、認識処理部２２は、検出した他車両Ａ、Ｂの遠方端部に優先認識領域を設定している。
そして、認識処理部２２は、設定した優先認識領域に対して、歩行者認識辞書を用いて、歩行者を認識する（ステップＳ５０）。 FIG. 13 is another diagram showing a priority recognition area according to the fifth embodiment.
Since the distance between the detected other vehicles A and B is, for example, less than 20 m and the own vehicle and the other vehicles A and B are approaching, the recognition processing unit 22 is far away from the detected other vehicles A and B. A priority recognition area is set at the end.
And the recognition process part 22 recognizes a pedestrian using a pedestrian recognition dictionary with respect to the set priority recognition area | region (step S50).

以上、説明したように、本実施の形態５に係る物体認識装置２０は、認識処理部２２は、優先認識領域を設定するときに、検出した他車両Ａ、Ｂまでの距離を算出し、算出した距離に応じて、他車両Ａ、Ｂの近傍又は他車両Ａ、Ｂの遠方端部に優先認識領域を設定することも可能である。
このような構成により、走行状況などに対応して、他車両の周辺又は背後にいる歩行者をより迅速に検出することができる。 As described above, in the object recognition device 20 according to the fifth embodiment, the recognition processing unit 22 calculates the distance to the detected other vehicles A and B when setting the priority recognition area. Depending on the distance, the priority recognition area can be set in the vicinity of the other vehicles A and B or the far end of the other vehicles A and B.
With such a configuration, it is possible to more quickly detect pedestrians around or behind other vehicles in accordance with driving conditions and the like.

なお、各実施の形態に係る物体認識システム又は物体認識方法については、いろいろな修正や変更が可能である。
例えば、物体認識システム１の構成は、上記に限られるものではなく、複数の装置、例えば、物体認識装置２０及び辞書データ記憶装置３０を一体化して、辞書データ記憶部を備えた物体認識装置としても良い。また、物体認識システム１の全ての構成を一体化して、前方カメラ、辞書データ記憶部、表示部を備えた物体認識装置としても良い。もちろん、車両認識装置、歩行者認識装置として構成しても良い。
また、車両における利用も、車両に一部又は全部が搭載されている形態に加えて、可搬可能又は後付け可能に車両に搭載されている形態があっても良い。 Various modifications and changes can be made to the object recognition system or the object recognition method according to each embodiment.
For example, the configuration of the object recognition system 1 is not limited to the above, and as an object recognition device including a plurality of devices, for example, the object recognition device 20 and the dictionary data storage device 30 and having a dictionary data storage unit. Also good. Further, all the components of the object recognition system 1 may be integrated to form an object recognition device including a front camera, a dictionary data storage unit, and a display unit. Of course, you may comprise as a vehicle recognition apparatus and a pedestrian recognition apparatus.
Moreover, the use in a vehicle may have the form mounted in the vehicle so that it can be carried or retrofitted in addition to the form in which part or all is mounted in the vehicle.

また、各実施の形態に係る物体認識システム１又は物体認識方法では、車両、歩行者などの画像を機械学習して作成した辞書を用いた画像認識を行うようにしたが、例えば、車両、歩行者などのテンプレートを用いたパターンマッチングなどの別の画像認識を行うようにしても良い。   In the object recognition system 1 or the object recognition method according to each embodiment, image recognition is performed using a dictionary created by machine learning of images of vehicles, pedestrians, etc. Another image recognition such as pattern matching using a template such as a person may be performed.

また、各実施の形態について、前方カメラ１０が可視光カメラであり、画像取得部２１は認識対象画像として可視光画像を取得することを前提に説明してきたが、前方カメラ１０は赤外カメラであっても良く、この場合に、車両認識辞書及び歩行者認識辞書には、赤外画像用の認識辞書を用いれば良い。
認識処理部２２は、赤外画像に対して赤外画像用の車両認識辞書を用いて他車両を検出し、他車両を検出したときに、優先認識領域に対して赤外画像用の歩行者認識辞書を用いて歩行者を認識する。
このような形態とした場合に、夜間など可視光の光量が少ない場合であっても、本発明を適用することができ、同様の効果を得ることができる。 In each embodiment, the front camera 10 is a visible light camera and the image acquisition unit 21 has been described on the assumption that a visible light image is acquired as a recognition target image. However, the front camera 10 is an infrared camera. In this case, an infrared image recognition dictionary may be used as the vehicle recognition dictionary and the pedestrian recognition dictionary.
The recognition processing unit 22 detects the other vehicle using the infrared image vehicle recognition dictionary for the infrared image, and when detecting the other vehicle, the infrared image pedestrian for the priority recognition area. Recognize pedestrians using a recognition dictionary.
In such a form, the present invention can be applied even when the amount of visible light is small, such as at night, and the same effect can be obtained.

また、前方カメラ１０は、可視光に加えて赤外光も撮像可能なカメラであっても良い。この場合に、画像取得部２１は、取得した画像に対して演算によるフィルタリングを行い、可視光画像及び赤外画像を抽出する。
認識処理部２２は、可視光画像に対して車両認識辞書を用いて他車両を検出し、他車両を検出したときに、同一画像から抽出した赤外画像に対して、赤外画像用の歩行者認識辞書を用いて歩行者を認識する。 The front camera 10 may be a camera that can capture infrared light in addition to visible light. In this case, the image acquisition unit 21 performs filtering by calculation on the acquired image, and extracts a visible light image and an infrared image.
The recognition processing unit 22 detects another vehicle using a vehicle recognition dictionary for the visible light image, and when detecting the other vehicle, the recognition processing unit 22 walks for the infrared image with respect to the infrared image extracted from the same image. A pedestrian is recognized using a person recognition dictionary.

また、前方カメラ１０を、可視光カメラと赤外カメラとで構成しても良い。この場合に、画像取得部２１は、可視光画像及び赤外画像を取得する。
認識処理部２２は、可視光画像に対して車両認識辞書を用いて他車両を検出し、他車両を検出したときに、他車両が検出された可視光画像と同時又はほぼ同時に取得した赤外画像に対して、赤外画像用の歩行者認識辞書を用いて歩行者を認識する。 Moreover, you may comprise the front camera 10 with a visible light camera and an infrared camera. In this case, the image acquisition unit 21 acquires a visible light image and an infrared image.
The recognition processing unit 22 detects another vehicle using a vehicle recognition dictionary for the visible light image, and when the other vehicle is detected, the infrared light acquired at the same time or substantially simultaneously with the visible light image from which the other vehicle is detected. A pedestrian is recognized with respect to an image using the pedestrian recognition dictionary for infrared images.

歩行者からは放熱があるため、赤外画像を用いることで、より適切に歩行者を認識することができる。例えば、設定した優先認識領域に、人物に類似する又は人物を模した他の物体がある場合であっても、当該他の物体と歩行者とを区別することができる。   Since there is heat dissipation from the pedestrian, the pedestrian can be recognized more appropriately by using the infrared image. For example, even if there is another object similar to or imitating a person in the set priority recognition area, the other object and the pedestrian can be distinguished.

１ 物体認識システム
１０ 前方カメラ
２０ 物体認識装置
２１ 画像取得部
２２ 認識処理部
２３ 表示制御部
３０ 辞書データ記憶装置
４０ 表示装置 DESCRIPTION OF SYMBOLS 1 Object recognition system 10 Front camera 20 Object recognition apparatus 21 Image acquisition part 22 Recognition processing part 23 Display control part 30 Dictionary data storage device 40 Display apparatus

Claims (7)

自車両の進行方向を撮影した画像を取得する画像取得部と、
前記取得した画像に対して、認識辞書を用いて前記取得した画像に撮影されている被写体を認識する認識処理部とを備え、
前記認識処理部は、
前記取得した画像に対して車両認識辞書を用いて他車両を検出し、
前記検出した他車両の近傍に優先認識領域を設定し、前記優先認識領域に対して歩行者認識辞書を用いて歩行者を認識する
物体認識装置。 An image acquisition unit that acquires an image of the traveling direction of the host vehicle;
A recognition processing unit that recognizes a subject photographed in the acquired image using a recognition dictionary for the acquired image;
The recognition processing unit
Detect other vehicles using a vehicle recognition dictionary for the acquired image,
An object recognition device that sets a priority recognition area in the vicinity of the detected other vehicle and recognizes a pedestrian using the pedestrian recognition dictionary for the priority recognition area. 前記認識処理部は、前記優先認識領域を設定するときに、
前記検出した他車両が停止車両であるか否かを判定し、
停止車両であると判定した他車両の近傍に優先認識領域を設定する
請求項１記載の物体認識装置。 When the recognition processing unit sets the priority recognition area,
Determine whether the detected other vehicle is a stopped vehicle,
The object recognition apparatus according to claim 1, wherein a priority recognition area is set in the vicinity of another vehicle determined to be a stopped vehicle. 前記認識処理部は、前記優先認識領域を設定するときに、
前記検出した他車両の遠方端部を特定し、
前記特定した遠方端部の近傍に優先認識領域を設定する
請求項１又は請求項２記載の物体認識装置。 When the recognition processing unit sets the priority recognition area,
Identify the far end of the detected other vehicle,
The object recognition apparatus according to claim 1, wherein a priority recognition area is set in the vicinity of the specified far end. 前記認識処理部は、前記優先認識領域を設定するときに、
前記自車両の走行車線を検出し、
前記走行車線と前記検出した他車両との位置関係を検出し、
前記検出した他車両が、前記走行車線の路側に位置しているときに、前記検出した他車両の近傍に優先認識領域を設定する、
請求項１乃至請求項３のいずれか１項記載の物体認識装置。 When the recognition processing unit sets the priority recognition area,
Detecting the driving lane of the vehicle,
Detecting a positional relationship between the travel lane and the detected other vehicle;
When the detected other vehicle is located on the road side of the travel lane, a priority recognition area is set in the vicinity of the detected other vehicle.
The object recognition apparatus according to any one of claims 1 to 3. 前記認識処理部は、前記優先認識領域を設定するときに、
前記検出した他車両までの距離を算出し、
前記算出した距離に応じて、前記他車両の近傍又は前記他車両の遠方端部に優先認識領域を設定する、
請求項１乃至請求項４のいずれか１項記載の物体認識装置。 When the recognition processing unit sets the priority recognition area,
Calculate the distance to the detected other vehicle,
In accordance with the calculated distance, a priority recognition area is set in the vicinity of the other vehicle or the far end of the other vehicle.
The object recognition apparatus of any one of Claim 1 thru | or 4. 自車両の進行方向を撮影した画像を取得する画像取得ステップと、
前記取得した画像に対して、認識辞書を用いて前記取得した画像に撮影されている被写体を認識する認識処理ステップとを有し、
前記認識処理ステップでは、
前記取得した画像に対して車両認識辞書を用いて他車両を検出し、
前記検出した他車両の近傍に優先認識領域を設定し、前記優先認識領域に対して歩行者認識辞書を用いて歩行者を認識する
物体認識方法。 An image acquisition step of acquiring an image of the traveling direction of the host vehicle;
A recognition processing step for recognizing a subject photographed in the acquired image using a recognition dictionary for the acquired image;
In the recognition processing step,
Detect other vehicles using a vehicle recognition dictionary for the acquired image,
An object recognition method that sets a priority recognition area in the vicinity of the detected other vehicle and recognizes a pedestrian using the pedestrian recognition dictionary for the priority recognition area. コンピュータに、
自車両の進行方向を撮影した画像を取得する画像取得手順と、
前記取得した画像に対して、認識辞書を用いて前記取得した画像に撮影されている被写体を認識する認識処理手順とを実行させるためのプログラムであって、
前記認識処理手順では、
前記取得した画像に対して車両認識辞書を用いて他車両を検出し、
前記検出した他車両の近傍に優先認識領域を設定し、前記優先認識領域に対して歩行者認識辞書を用いて歩行者を認識する
物体認識プログラム。 On the computer,
An image acquisition procedure for acquiring an image of the traveling direction of the host vehicle;
A recognition processing procedure for recognizing a subject photographed in the acquired image using a recognition dictionary with respect to the acquired image,
In the recognition processing procedure,
Detect other vehicles using a vehicle recognition dictionary for the acquired image,
An object recognition program for setting a priority recognition area in the vicinity of the detected other vehicle and recognizing a pedestrian using a pedestrian recognition dictionary for the priority recognition area.

Images