JP2013008315A - Pedestrian recognition device - Google Patents

Pedestrian recognition device Download PDF

Info

Publication number
JP2013008315A
JP2013008315A JP2011142079A JP2011142079A JP2013008315A JP 2013008315 A JP2013008315 A JP 2013008315A JP 2011142079 A JP2011142079 A JP 2011142079A JP 2011142079 A JP2011142079 A JP 2011142079A JP 2013008315 A JP2013008315 A JP 2013008315A
Authority
JP
Japan
Prior art keywords
pedestrian
recognition
recognition device
time
pedestrian recognition
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2011142079A
Other languages
Japanese (ja)
Inventor
Masahiro Ogawa
雅弘 小川
Toshiki Kanemichi
敏樹 金道
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toyota Motor Corp
Original Assignee
Toyota Motor Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toyota Motor Corp filed Critical Toyota Motor Corp
Priority to JP2011142079A priority Critical patent/JP2013008315A/en
Publication of JP2013008315A publication Critical patent/JP2013008315A/en
Pending legal-status Critical Current

Links

Images

Landscapes

  • Image Analysis (AREA)
  • Image Processing (AREA)
  • Traffic Control Systems (AREA)

Abstract

PROBLEM TO BE SOLVED: To provide a pedestrian recognition device capable of achieving improvement in determination accuracy of a recognition condition and reduction of calculation time.SOLUTION: The pedestrian recognition device recognizes traffic environment around an own vehicle on the basis of time series environmental data, selects a learned identifier or a template for pedestrian recognition used for pedestrian recognition on the basis of data on the recognized traffic environment, and recognizes a pedestrian on the basis of the time series environmental data and the selected learned identifier or template for pedestrian recognition.

Description

本発明は歩行者認識装置に関する。   The present invention relates to a pedestrian recognition device.

特許文献１には、ナビゲーション装置からＶＩＣＳ受信装置の出力を用いて自車両周辺の環境を判定し、当該判定の結果を用いて環境に対応する基準パターンを選択し、当該選択した基準パターンから歩行者を認識する歩行者認識装置が開示されている。   In Patent Document 1, the environment around the host vehicle is determined using the output of the VICS receiver from the navigation device, the reference pattern corresponding to the environment is selected using the result of the determination, and walking from the selected reference pattern is performed. A pedestrian recognition device for recognizing a person is disclosed.

特開２００７−３２９７６２号公報JP 2007-329762 A

しかしながら、各時刻における周辺環境に基づいて基準パターンを選択しているので、基準パターンの選択精度に改善の余地があるという問題点があった。   However, since the reference pattern is selected based on the surrounding environment at each time, there is a problem that there is room for improvement in the selection accuracy of the reference pattern.

本発明は、上記の事情に鑑みてなされたものであって、認識条件の決定精度の向上と共に、計算時間の短縮を実現することができる歩行者認識装置を提供することを目的とする。   The present invention has been made in view of the above circumstances, and an object of the present invention is to provide a pedestrian recognition device capable of improving the determination accuracy of recognition conditions and reducing the calculation time.

本発明は、検出された歩行者情報および歩行者認識のために用意された認識条件に基づいて歩行者を認識する歩行者認識装置であって、検出された周辺環境に関する時系列の環境データに基づいて、前記歩行者認識で用いる前記認識条件を決定すること、を特徴とする。なお、前記時系列の前記環境データに基づいて周辺の交通環境を認識し、当該認識した当該交通環境に関するデータに基づいて、前記歩行者認識で用いる前記認識条件を決定するという構成としても良い。また、前記時系列の前記環境データおよび前記決定した前記認識条件に基づいて、前記歩行者を認識するという構成としても良い。また、前記決定した前記認識条件および前記歩行者認識で得られた認識結果に基づいて、前記歩行者の飛び出しを判定するという構成としても良い。また、前記時系列の前記環境データに基づいて歩行者信号の変化を検出し、前記歩行者信号が青点滅になったという変化が検出された場合には、当該青点滅の際に起こり易い歩行者飛び出し姿勢を検出し易い前記認識条件を決定するという構成としても良い。また、前記時系列の前記環境データに基づいて対向車列の変化を検出し、前記対向車列が途切れたという変化が検出された場合には、当該途切れの際に起こり易い歩行者飛び出し姿勢を検出し易い前記認識条件を決定するという構成としても良い。   The present invention relates to a pedestrian recognition device that recognizes a pedestrian based on detected pedestrian information and recognition conditions prepared for pedestrian recognition, and includes time-series environmental data related to the detected surrounding environment. Based on the above, the recognition condition used in the pedestrian recognition is determined. In addition, it is good also as a structure which recognizes the surrounding traffic environment based on the said environment data of the said time series, and determines the said recognition conditions used by the said pedestrian recognition based on the recognized data regarding the said traffic environment. Moreover, it is good also as a structure which recognizes the said pedestrian based on the said environmental data of the said time series, and the said determined recognition conditions. Moreover, it is good also as a structure of judging the popping-out of the said pedestrian based on the determined said recognition conditions and the recognition result obtained by the said pedestrian recognition. Further, when a change in the pedestrian signal is detected based on the environmental data in the time series, and a change in which the pedestrian signal has blinked blue is detected, walking that is likely to occur at the time of the blue blinking. A configuration may be adopted in which the recognition condition that makes it easy to detect the person jumping out posture is determined. Further, when a change in the oncoming vehicle train is detected based on the time-series environmental data and a change in which the oncoming vehicle has been interrupted is detected, a pedestrian jumping posture that is likely to occur at the time of the interruption is detected. The recognition condition that is easy to detect may be determined.

本発明は、検出された周辺環境に関する時系列の環境データに基づいて、歩行者認識で用いる認識条件を決定するので、認識条件の決定精度の向上と共に、計算時間の短縮を実現することができるという効果を奏する。   Since the present invention determines the recognition conditions used for pedestrian recognition based on the time-series environmental data regarding the detected surrounding environment, it is possible to improve the determination accuracy of the recognition conditions and reduce the calculation time. There is an effect.

図１は、第１実施形態にかかる歩行者認識装置の構成の一例を示すブロック図である。FIG. 1 is a block diagram illustrating an example of the configuration of the pedestrian recognition device according to the first embodiment. 図２は、第１実施形態にかかる歩行者認識装置で実行される歩行者認識動作の一例を示すフローチャートである。FIG. 2 is a flowchart illustrating an example of a pedestrian recognition operation executed by the pedestrian recognition apparatus according to the first embodiment. 図３は、第２実施形態にかかる歩行者認識装置の構成の一例を示すブロック図である。FIG. 3 is a block diagram illustrating an example of a configuration of the pedestrian recognition device according to the second embodiment. 図４は、第２実施形態にかかる歩行者認識装置で実行される歩行者認識動作の一例を示すフローチャートである。FIG. 4 is a flowchart illustrating an example of a pedestrian recognition operation executed by the pedestrian recognition apparatus according to the second embodiment. 図５は、第３実施形態にかかる歩行者飛出認識装置の構成の一例を示すブロック図である。FIG. 5 is a block diagram illustrating an example of a configuration of a pedestrian jumping recognition apparatus according to the third embodiment. 図６は、第３実施形態にかかる歩行者飛出認識装置で実行される歩行者飛出認識動作の一例を示すフローチャートである。FIG. 6 is a flowchart showing an example of a pedestrian jumping recognition operation executed by the pedestrian jumping recognition apparatus according to the third embodiment. 図７は、起こり易い歩行者飛び出し姿勢の一例を示す図である。FIG. 7 is a diagram illustrating an example of a pedestrian jumping posture that is likely to occur. 図８は、起こり易い歩行者飛び出し姿勢の一例を示す図である。FIG. 8 is a diagram illustrating an example of a pedestrian jumping posture that is likely to occur. 図９は、起こり易い歩行者飛び出し姿勢の一例を示す図である。FIG. 9 is a diagram illustrating an example of a pedestrian jumping posture that is likely to occur. 図１０は、起こり易い歩行者飛び出し姿勢の一例を示す図である。FIG. 10 is a diagram illustrating an example of a pedestrian jumping posture that is likely to occur.

以下に、本発明にかかる歩行者認識装置の実施形態および当該歩行者認識装置を包含する歩行者飛出認識装置の実施形態を図面に基づいて詳細に説明する。なお、これらの実施形態により本発明が限定されるものではない。   EMBODIMENT OF THE INVENTION Below, embodiment of the pedestrian recognition apparatus concerning this invention and embodiment of the pedestrian jumping recognition apparatus containing the said pedestrian recognition apparatus are described in detail based on drawing. Note that the present invention is not limited to these embodiments.

〔第１実施形態〕
第１実施形態にかかる歩行者認識装置の構成および当該歩行者認識装置で実行される動作について、図１および図２を参照して詳細に説明する。 [First Embodiment]
The configuration of the pedestrian recognition device according to the first embodiment and the operation executed by the pedestrian recognition device will be described in detail with reference to FIGS. 1 and 2.

図１は、第１実施形態にかかる歩行者認識装置の構成の一例を示すブロック図である。歩行者認識装置１は、例えば汎用のパーソナルコンピュータなどを用いて構成されたものであり、車両に搭載されているカメラ３、測距センサ４、ライトスイッチ５、ワイパースイッチ６、照度センサ７、外部通信装置８、ＧＰＳ受信装置９、および地図データ記憶装置１０と通信可能に接続されている。   FIG. 1 is a block diagram illustrating an example of the configuration of the pedestrian recognition device according to the first embodiment. The pedestrian recognition device 1 is configured using, for example, a general-purpose personal computer, and includes a camera 3, a distance sensor 4, a light switch 5, a wiper switch 6, an illuminance sensor 7, and an external device mounted on the vehicle. The communication device 8, the GPS receiving device 9, and the map data storage device 10 are communicably connected.

カメラ３は、自車両周辺を撮影し、自車両周辺が写し出されている画像データを生成する機器である。測距センサ４は、自車両周辺の障害物（例えば歩行者など）との距離を測り、当該距離に関する測距データを生成するセンサである。ライトスイッチ５は、車両に搭載されているランプの灯火状態を運転者に変更させるためのスイッチである。ワイパースイッチ６は、ワイパーの動作状態を運転者に変更させるためのスイッチである。照度センサ７は、自車両周辺の照度を測り、当該照度に関する照度データを生成するセンサである。外部通信装置８は、自車両外部との通信を行う装置である。ＧＰＳ受信装置９は、ＧＰＳ（Ｇｌｏｂａｌ Ｐｏｓｉｔｉｏｎｉｎｇ Ｓｙｓｔｅｍ）衛星から発信された電波を受信し、自車両の位置（具体的には、緯度、経度、または高度など）を測り、当該位置に関する位置データ（ＧＰＳデータ）を生成する装置である。地図データ記憶装置１０は、地図データが記憶されている装置である。   The camera 3 is a device that captures the periphery of the host vehicle and generates image data in which the periphery of the host vehicle is projected. The distance measuring sensor 4 is a sensor that measures a distance from an obstacle (for example, a pedestrian) around the host vehicle and generates distance measurement data related to the distance. The light switch 5 is a switch for causing the driver to change the lighting state of a lamp mounted on the vehicle. The wiper switch 6 is a switch for causing the driver to change the operation state of the wiper. The illuminance sensor 7 is a sensor that measures the illuminance around the host vehicle and generates illuminance data related to the illuminance. The external communication device 8 is a device that communicates with the outside of the host vehicle. The GPS receiver 9 receives a radio wave transmitted from a GPS (Global Positioning System) satellite, measures the position of the host vehicle (specifically, latitude, longitude, altitude, etc.), and position data (GPS Data). The map data storage device 10 is a device that stores map data.

歩行者認識装置１は、制御部１２および記憶部１４を備えている。制御部１２は、歩行者認識装置１を統括的に制御するためのものであり、例えばＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）などである。記憶部１４は、データを記憶するためのものであり、例えば、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、またはハードディスクなどである。   The pedestrian recognition device 1 includes a control unit 12 and a storage unit 14. The control unit 12 is for comprehensively controlling the pedestrian recognition device 1 and is, for example, a CPU (Central Processing Unit). The storage unit 14 is for storing data, and is, for example, a RAM (Random Access Memory), a ROM (Read Only Memory), or a hard disk.

記憶部１４は、環境データ記憶部１４ａおよび選択対象記憶部１４ｂを備えている。環境データ記憶部１４ａは、自車両周辺の環境に関する環境データ（具体的には、画像データ、測距データ、ライトスイッチ５の設定状態に関するライトデータ、ワイパースイッチ６の設定状態に関するワイパーデータ、照度データ、位置データ、または自車両周辺の地図データなど）を時系列で格納するためのものである。選択対象記憶部１４ｂには、変化する様々な交通環境において起こり易い歩行者姿勢（例えば、前傾、上体の向き、脚の前後方向への開き、または脚の左右方向への開き等）を検出し易い学習済み識別器群または歩行者認識用テンプレート（画像）群が格納されている。   The storage unit 14 includes an environment data storage unit 14a and a selection target storage unit 14b. The environmental data storage unit 14a includes environmental data relating to the environment around the host vehicle (specifically, image data, distance measurement data, light data relating to the setting state of the light switch 5, wiper data relating to the setting state of the wiper switch 6, and illuminance data). , Position data, or map data around the vehicle) in time series. In the selection target storage unit 14b, pedestrian postures that are likely to occur in various changing traffic environments (for example, forward leaning, upper body orientation, leg opening in the front-rear direction, or leg opening in the left-right direction, etc.) are stored. A learned classifier group or a pedestrian recognition template (image) group that is easy to detect is stored.

制御部１２は、保存部１２ａ、環境認識部１２ｂ、選択部１２ｃ、および歩行者認識部１２ｄを備えている。保存部１２ａは、予め入力された環境データを、環境データ記憶部１４ａに時系列で保存する。環境認識部１２ｂは、環境データ記憶部１４ａに保存されている時系列の環境データに基づいて、自車両周辺の交通環境（例えば、自車両周辺の障害物の位置変化、または自車両が走行している道路の形状など）の認識を行う。選択部１２ｃは、環境認識部１２ｂでの認識結果に基づいて、選択対象記憶部１４ｂに格納されている学習済み識別器群または歩行者認識用テンプレート群の中から、歩行者認識で用いる学習済み識別器または歩行者認識用テンプレートを選択する。歩行者認識部１２ｄは、環境データ記憶部１４ａに保存されている時系列の環境データ、および選択部１２ｃで選択された学習済み識別器または歩行者認識用テンプレートに基づいて、自車両周辺の歩行者の認識を行う。   The control unit 12 includes a storage unit 12a, an environment recognition unit 12b, a selection unit 12c, and a pedestrian recognition unit 12d. The storage unit 12a stores environment data input in advance in the environment data storage unit 14a in time series. The environment recognizing unit 12b is based on the time-series environmental data stored in the environment data storage unit 14a, for example, the traffic environment around the host vehicle (for example, the position change of an obstacle around the host vehicle or the host vehicle traveling). The shape of the road that is on the road. Based on the recognition result in the environment recognizing unit 12b, the selecting unit 12c has already been used for pedestrian recognition from the learned classifier group or pedestrian recognition template group stored in the selection target storage unit 14b. Select a classifier or pedestrian recognition template. The pedestrian recognition unit 12d walks around the host vehicle based on the time-series environmental data stored in the environment data storage unit 14a and the learned classifier or pedestrian recognition template selected by the selection unit 12c. Recognition.

図２は、歩行者認識装置１で実行される動作の一例を示すフローチャートである。まず、保存部１２ａは、予め入力された環境データを、環境データ記憶部１４ａに時系列で保存する（ステップＳＡ１）。   FIG. 2 is a flowchart illustrating an example of an operation executed by the pedestrian recognition device 1. First, the storage unit 12a stores environment data input in advance in the environment data storage unit 14a in time series (step SA1).

つぎに、環境認識部１２ｂは、環境データ記憶部１４ａに保存されている時系列の環境データに基づいて、自車両周辺の交通環境を認識する（ステップＳＡ２）。例えば、環境認識部１２ｂは、時系列の測距データから、認識前の歩行者の位置変化を認識する。また、例えば、環境認識部１２ｂは、測距データおよび画像データを地図データとマッチングさせることで、自車両が走行している道路の形状を認識する。また、例えば、環境認識部１２ｂは、時系列の画像データから、歩行者信号の青から赤への色変化を検出することで、歩行者信号が青から赤に変わりかけている状況を認識する。なお、環境認識部１２ｂは、歩行者信号の色変化を検出する際、位置データおよび地図データから画像データの探索範囲（歩行者信号が写し出されている可能性が高い範囲）を絞り込み、当該絞り込まれた探索範囲から色変化を検出してもよい。これにより、歩行者信号の認識性能を上げることができる。   Next, the environment recognition unit 12b recognizes the traffic environment around the host vehicle based on the time-series environment data stored in the environment data storage unit 14a (step SA2). For example, the environment recognition unit 12b recognizes the position change of the pedestrian before recognition from the time-series distance measurement data. Further, for example, the environment recognition unit 12b recognizes the shape of the road on which the host vehicle is traveling by matching the distance measurement data and the image data with the map data. In addition, for example, the environment recognition unit 12b recognizes a situation where the pedestrian signal is changing from blue to red by detecting a color change from blue to red of the pedestrian signal from time-series image data. . In addition, when detecting the color change of the pedestrian signal, the environment recognizing unit 12b narrows down the search range of the image data (the range in which the pedestrian signal is highly likely to be projected) from the position data and the map data. A color change may be detected from the obtained search range. Thereby, the recognition performance of a pedestrian signal can be raised.

つぎに、選択部１２ｃは、ステップＳＡ２で認識された交通環境に関するデータに基づいて、選択対象記憶部１４ｂに記憶されている学習済み識別器群または歩行者認識用テンプレート群の中から、歩行者認識で用いる学習済み識別器または歩行者認識用テンプレートを選択する（ステップＳＡ３）。例えば、選択部１２ｃは、交通環境に関するデータが、歩行者信号が青から赤に変わりかけているという状況に関するものである場合には、当該変わりかけの際に起こり易い歩行者姿勢である前傾姿勢を検出し易い学習済み識別器または歩行者認識用テンプレートを選択する。   Next, the selection unit 12c selects a pedestrian from the learned classifier group or the pedestrian recognition template group stored in the selection target storage unit 14b based on the data related to the traffic environment recognized in step SA2. A learned classifier or a pedestrian recognition template used for recognition is selected (step SA3). For example, if the data related to the traffic environment relates to a situation where the pedestrian signal is changing from blue to red, the selection unit 12c is inclined forward that is a pedestrian posture that is likely to occur at the time of the change. A learned classifier or a pedestrian recognition template that easily detects a posture is selected.

つぎに、歩行者認識部１２ｄは、ステップＳＡ３で選択された学習済み識別器または歩行者認識用テンプレート、および環境データ記憶部１４ａに保存されている時系列の環境データに基づいて、自車両周辺の歩行者の認識を行う（ステップＳＡ４）。例えば、歩行者認識部１２ｄは、歩行者認識用テンプレートに写し出されている歩行者像（或る姿勢を取っている歩行者を模した像）と類似する像が時系列の画像データに写し出されているかを判定し、写し出されていると判定された場合には自車両周辺に歩行者が存在すると認識する。また、例えば、歩行者認識部１２ｄは、時系列の画像データから特徴ベクトル（特徴量）を抽出し、抽出された特徴ベクトルを学習済み識別器で形成される識別面で識別することで画像データに歩行者像が写し出されているかを判定し、写し出されていると判定された場合には自車両周辺に歩行者が存在すると認識する。なお、歩行者認識部１２ｄは、時系列の画像データ上において、歩行者像が位置する可能性が高い範囲を位置データに基づいて絞り込み、当該絞り込まれた範囲を対象として歩行者像が写し出されているかを判定してもよい。これにより、歩行者の誤検出等を少なくすることができる。   Next, the pedestrian recognition unit 12d uses the learned classifier or the pedestrian recognition template selected in step SA3 and the time-series environmental data stored in the environmental data storage unit 14a to determine the vicinity of the host vehicle. Is recognized (step SA4). For example, in the pedestrian recognition unit 12d, an image similar to a pedestrian image (image imitating a pedestrian taking a certain posture) projected on the pedestrian recognition template is projected on time-series image data. If it is determined that the pedestrian has been copied, it is recognized that there is a pedestrian around the host vehicle. Further, for example, the pedestrian recognition unit 12d extracts feature vectors (features) from time-series image data, and identifies the extracted feature vectors on an identification plane formed by a learned discriminator. It is determined whether or not a pedestrian image is projected, and if it is determined that the pedestrian is projected, it is recognized that there is a pedestrian around the host vehicle. Note that the pedestrian recognition unit 12d narrows down the range where the pedestrian image is highly likely to be located on the time-series image data based on the position data, and the pedestrian image is projected for the narrowed range. It may be determined whether or not. Thereby, the false detection of a pedestrian, etc. can be decreased.

〔第２実施形態〕
第２実施形態にかかる歩行者認識装置の構成および当該歩行者認識装置で実行される動作について、図３および図４を参照して詳細に説明する。なお、第１実施形態で説明した内容と重複するものについては省略する場合がある。 [Second Embodiment]
The configuration of the pedestrian recognition device according to the second embodiment and the operation executed by the pedestrian recognition device will be described in detail with reference to FIGS. 3 and 4. In addition, what overlaps with the content described in the first embodiment may be omitted.

図３は、第２実施形態にかかる歩行者認識装置の構成の一例を示すブロック図である。第２実施形態にかかる歩行者認識装置１の構成は、制御部１２に保存部１２ａが備えられていない点および記憶部１４に環境データ記憶部１４ａが備えられていない点を除けば、第１実施形態にかかる歩行者認識装置１の構成と同じである。   FIG. 3 is a block diagram illustrating an example of a configuration of the pedestrian recognition device according to the second embodiment. The configuration of the pedestrian recognition device 1 according to the second embodiment is the same as that of the first embodiment except that the storage unit 12a is not provided in the control unit 12 and the environmental data storage unit 14a is not provided in the storage unit 14. It is the same as the structure of the pedestrian recognition apparatus 1 concerning embodiment.

環境認識部１２ｂは、測距データを含む予め入力された環境データに基づいて、自車両周辺の交通環境の認識を行う。歩行者認識部１２ｄは、測距データを含む予め入力された環境データおよび選択部１２ｃで選択された学習済み識別器または歩行者認識用テンプレートに基づいて、自車両周辺の歩行者の認識を行う。   The environment recognition unit 12b recognizes the traffic environment around the host vehicle based on previously input environment data including distance measurement data. The pedestrian recognizing unit 12d recognizes pedestrians around the host vehicle based on pre-input environmental data including distance measurement data and the learned classifier or pedestrian recognition template selected by the selecting unit 12c. .

図４は、第２実施形態にかかる歩行者認識装置で実行される動作の一例を示すフローチャートである。まず、環境認識部１２ｂは、測距データを含む予め入力された環境データに基づいて、自車両周辺の交通環境を認識する（ステップＳＢ１）。例えば、環境認識部１２ｂは、測距データおよび画像データを地図データとマッチングさせることで、自車両が走行している道路の形状を認識する。   FIG. 4 is a flowchart illustrating an example of an operation executed by the pedestrian recognition apparatus according to the second embodiment. First, the environment recognizing unit 12b recognizes the traffic environment around the host vehicle based on previously input environment data including distance measurement data (step SB1). For example, the environment recognition unit 12b recognizes the shape of the road on which the host vehicle is traveling by matching distance measurement data and image data with map data.

つぎに、選択部１２ｃは、ステップＳＢ１で認識された交通環境に関するデータに基づいて、選択対象記憶部１４ｂに記憶されている学習済み識別器群または歩行者認識用テンプレート群の中から、歩行者認識で用いる学習済み識別器または歩行者認識用テンプレートを選択する（ステップＳＢ２）。例えば、選択部１２ｃは、交通環境に関するデータが、自車両が走行している道路の形状に関するものであって、当該道路の形状が壁で先が見えない曲がり角である場合には、身体が半分隠れた歩行者に関する歩行者姿勢を検出し易い学習済み識別器または歩行者認識用テンプレートを選択する。また、例えば、選択部１２ｃは、交通環境に関するデータが、自車両が走行している道路の形状に関するものであって、当該道路の形状が細い道路である場合には、背中を向けて横断歩道まで横断する歩行者に関する歩行者姿勢を検出し易い学習済み識別器または歩行者認識用テンプレートを選択する。また、例えば、選択部１２ｃは、交通環境に関するデータが、自車両が走行している道路の形状に関するものであって、当該道路の形状が交差点である場合には、横断姿勢の歩行者に関する歩行者姿勢を検出し易い学習済み識別器または歩行者認識用テンプレートを選択する。   Next, the selection unit 12c selects a pedestrian from the learned classifier group or the pedestrian recognition template group stored in the selection target storage unit 14b based on the data related to the traffic environment recognized in step SB1. A learned classifier or pedestrian recognition template to be used for recognition is selected (step SB2). For example, if the data related to the traffic environment relates to the shape of the road on which the vehicle is traveling, and the shape of the road is a corner that cannot be seen by a wall, the selection unit 12c is half the body. A learned classifier or a pedestrian recognition template that can easily detect a pedestrian posture related to a hidden pedestrian is selected. Further, for example, when the data related to the traffic environment relates to the shape of the road on which the vehicle is traveling and the shape of the road is a narrow road, the selection unit 12c turns to a pedestrian crossing. A learned classifier or a pedestrian recognition template that can easily detect a pedestrian posture related to a pedestrian crossing the road is selected. In addition, for example, when the data related to the traffic environment relates to the shape of the road on which the vehicle is traveling and the shape of the road is an intersection, the selection unit 12c walks about a pedestrian in a crossing posture. A learned classifier or a pedestrian recognition template that can easily detect a pedestrian posture is selected.

つぎに、歩行者認識部１２ｄは、ステップＳＢ２で選択された学習済み識別器または歩行者認識用テンプレート、および測距データを含む予め入力された環境データに基づいて、自車両周辺の歩行者の認識を行う（ステップＳＢ３）。   Next, the pedestrian recognizing unit 12d uses the learned classifier or the pedestrian recognition template selected in step SB2 and the preliminarily input environmental data including the distance measurement data, to determine the pedestrians around the vehicle. Recognition is performed (step SB3).

〔第３実施形態〕
第３実施形態にかかる歩行者飛出認識装置の構成および当該歩行者飛出認識装置で実行される動作について、図５から図１０を参照して詳細に説明する。なお、第１実施形態または第２実施形態で説明した内容と重複するものについては省略する場合がある。 [Third Embodiment]
The configuration of the pedestrian jumping recognition apparatus according to the third embodiment and the operation executed by the pedestrian jumping recognition apparatus will be described in detail with reference to FIGS. In addition, what overlaps with the content described in the first embodiment or the second embodiment may be omitted.

図５は、第３実施形態にかかる歩行者飛出認識装置の構成の一例を示すブロック図である。符号は第１実施形態で用いられたものと異なっているが、第３実施形態にかかる歩行者飛出認識装置２の構成は、第１実施形態にかかる歩行者認識装置１の構成を包含したものとなっている。具体的には、第３実施形態にかかる歩行者飛出認識装置２に備えられている保存部２２ａから歩行者認識部２２ｄ、環境データ記憶部２４ａ、および選択対象記憶部２４ｂの機能は、第１実施形態にかかる歩行者認識装置１に備えられている保存部１２ａから歩行者認識部１２ｄ、環境データ記憶部１４ａ、および選択対象記憶部１４ｂの機能と同じである。   FIG. 5 is a block diagram illustrating an example of a configuration of a pedestrian jumping recognition apparatus according to the third embodiment. Although the code | symbol differs from what was used in 1st Embodiment, the structure of the pedestrian jumping recognition apparatus 2 concerning 3rd Embodiment included the structure of the pedestrian recognition apparatus 1 concerning 1st Embodiment. It has become a thing. Specifically, the functions of the storage unit 22a to the pedestrian recognition unit 22d, the environmental data storage unit 24a, and the selection target storage unit 24b included in the pedestrian jumping recognition device 2 according to the third embodiment are as follows. The functions of the storage unit 12a to the pedestrian recognition unit 12d, the environment data storage unit 14a, and the selection target storage unit 14b included in the pedestrian recognition device 1 according to the embodiment are the same.

判定部２２ｅは、選択部２２ｃで選択された学習済み識別器または歩行者認識用テンプレート、および歩行者認識部２２ｄでの認識結果に基づいて、歩行者飛び出しの判定を行う。   The determination unit 22e determines pedestrian pop-out based on the learned classifier or pedestrian recognition template selected by the selection unit 22c and the recognition result by the pedestrian recognition unit 22d.

図６は、第３実施形態にかかる歩行者飛出認識装置で実行される動作の一例を示すフローチャートである。まず、保存部２２ａは、予め入力された環境データを、環境データ記憶部２４ａに時系列で保存する（ステップＳＣ１）。   FIG. 6 is a flowchart illustrating an example of an operation executed by the pedestrian jumping recognition apparatus according to the third embodiment. First, the storage unit 22a stores environment data input in advance in the environment data storage unit 24a in time series (step SC1).

つぎに、環境認識部２２ｂは、環境データ記憶部２４ａに保存されている時系列の環境データに基づいて、自車両周辺の交通環境を認識する（ステップＳＣ２）。例えば、環境認識部２２ｂは、時系列の画像データに基づいて歩行者信号の変化を検出する。また、例えば、環境認識部２２ｂは、時系列の画像データに基づいて対向車列の変化を検出する。   Next, the environment recognition unit 22b recognizes the traffic environment around the host vehicle based on the time-series environment data stored in the environment data storage unit 24a (step SC2). For example, the environment recognition unit 22b detects a change in the pedestrian signal based on time-series image data. Further, for example, the environment recognition unit 22b detects a change in the oncoming vehicle train based on time-series image data.

つぎに、選択部２２ｃは、ステップＳＣ２で認識された交通環境に関するデータに基づいて、選択対象記憶部２４ｂに記憶されている学習済み識別器群または歩行者認識用テンプレート群の中から、歩行者認識で用いる（歩行者飛び出し姿勢を判定する）学習済み識別器または歩行者認識用テンプレートを選択する（ステップＳＣ３）。例えば、ステップＳＣ２で歩行者信号が青点滅になったという変化が検出された場合には、選択部２２ｃは、当該青点滅の際に起こり易い例えば図７から図１０に示すような歩行者飛び出し姿勢を検出し易い学習済み識別器または歩行者認識用テンプレートを選択する。また、例えば、ステップＳＣ２で対向車列が途切れたという変化が検出された場合には、選択部２２ｃは、当該途切れの際に起こり易い例えば図７から図１０に示すような歩行者飛び出し姿勢を検出し易い学習済み識別器または歩行者認識用テンプレートを選択する。   Next, the selection unit 22c selects a pedestrian from the learned classifier group or the pedestrian recognition template group stored in the selection target storage unit 24b based on the data regarding the traffic environment recognized in step SC2. A learned classifier or pedestrian recognition template used for recognition (determining the pedestrian jumping posture) is selected (step SC3). For example, when a change that the pedestrian signal is blinking blue is detected in step SC2, the selection unit 22c is likely to occur at the time of the blinking blue, for example, as shown in FIGS. A learned classifier or a pedestrian recognition template that easily detects a posture is selected. Also, for example, when a change that the oncoming train is interrupted is detected in step SC2, the selection unit 22c takes a pedestrian jumping posture as shown in FIGS. A learned classifier or pedestrian recognition template that is easy to detect is selected.

つぎに、歩行者認識部２２ｄは、ステップＳＣ３で選択された学習済み識別器または歩行者認識用テンプレート、および環境データ記憶部２４ａに保存されている時系列の環境データに基づいて、自車両周辺の歩行者の認識を行う（ステップＳＣ４）。   Next, the pedestrian recognition unit 22d uses the learned classifier or pedestrian recognition template selected in step SC3 and the time-series environmental data stored in the environmental data storage unit 24a to Is recognized (step SC4).

つぎに、判定部２２ｅは、ステップＳＣ３で選択された学習済み識別器または歩行者認識用テンプレート、およびステップＳＣ４で認識された歩行者に関するデータ（画像データ）に基づいて、歩行者飛び出しの判定を行う（ステップＳＣ５）。例えば、ステップＳＣ３で、歩行者信号が青点滅の際に起こり易い歩行者飛び出し姿勢を検出し易い学習済み識別器または歩行者認識用テンプレートが選択された場合には、判定部２２ｅは、自車両左折時の歩行者飛び出しを判定することになるので、自車両左折時の歩行者巻き込みを防止することができる。また、例えば、ステップＳＣ３で、対向車列が途切れた際に起こり易い歩行者飛び出し姿勢を検出し易い学習済み識別器または歩行者認識用テンプレートが選択された場合には、判定部２２ｅは、対向車列の途切れからの歩行者飛び出しを判定することになるので、当該途切れからの歩行者飛び出しを素早く認識することができる。   Next, the determination unit 22e determines the pedestrian jump based on the learned classifier or the pedestrian recognition template selected in step SC3 and the data (image data) regarding the pedestrian recognized in step SC4. Perform (step SC5). For example, in step SC3, when a learned classifier or a pedestrian recognition template that easily detects a pedestrian jumping posture that easily occurs when the pedestrian signal blinks blue is selected, the determination unit 22e Since pedestrian jumping at the time of left turn is determined, it is possible to prevent pedestrian entrainment at the time of turning left of the vehicle. For example, when a learned classifier or a pedestrian recognition template that easily detects a pedestrian jumping posture that is likely to occur when the oncoming train is interrupted is selected in step SC3, the determination unit 22e Since the pedestrian jumping from the interruption of the train is determined, the pedestrian jumping from the interruption can be quickly recognized.

〔実施形態のまとめ〕
以上、上述した実施形態によれば、歩行者の認識方法を、周囲の環境の時系列変化に応じて変えることにより、歩行者認識の精度を向上させる。具体的には、検出された周辺環境に関する時系列の環境データに基づいて、歩行者認識で用いる認識条件（例えば、歩行者形状に基づいて動作予測を行う場合に用いられる識別器もしくはテンプレート、または脚開度Ｗ／身長Ｈに基づいて動作予測を行う場合における当該Ｗ／Ｈの閾値（特開２００７−２６４７７８号公報参照）など）を決定する。より具体的には、時系列の環境データに基づいて、照合する識別器もしくはテンプレートの候補の絞り込み、または脚開度Ｗ／身長Ｈの閾値の決定などを行う。これにより、認識条件の決定精度または選択精度を向上できると共に、計算時間を短縮することができる。 [Summary of Embodiment]
As mentioned above, according to embodiment mentioned above, the precision of pedestrian recognition is improved by changing the recognition method of a pedestrian according to the time-sequential change of the surrounding environment. Specifically, based on the time-series environmental data regarding the detected surrounding environment, recognition conditions used in pedestrian recognition (for example, a discriminator or template used when performing motion prediction based on the pedestrian shape, or The threshold value of W / H when performing motion prediction based on the leg opening W / height H (see Japanese Patent Application Laid-Open No. 2007-264778) is determined. More specifically, based on time-series environmental data, narrowing down of discriminators or template candidates to be collated or determination of leg opening W / height H threshold values are performed. Thereby, the determination accuracy or selection accuracy of the recognition condition can be improved and the calculation time can be shortened.

また、上述した実施形態によれば、時系列の環境データに基づいて周辺の交通環境を認識し、当該認識した当該交通環境に関するデータに基づいて、歩行者認識で用いる認識条件を決定するので、交通環境に適した認識条件を決定または選択することができる。また、上述した実施形態によれば、時系列の環境データおよび決定した認識条件に基づいて、歩行者を認識するので、歩行者の認識精度も向上できる。また、上述した実施形態によれば、決定した認識条件および歩行者認識で得られた認識結果に基づいて、歩行者の飛び出しを判定するので、歩行者飛び出しの判定精度も向上できる。また、上述した実施形態によれば、時系列の環境データに基づいて歩行者信号の変化を検出し、歩行者信号が青点滅になったという変化が検出された場合には、当該青点滅の際に起こり易い歩行者飛び出し姿勢を検出し易い認識条件を決定するので、歩行者信号が青点滅という交通環境に適した認識条件を決定または選択することができる。また、上述した実施形態によれば、時系列の環境データに基づいて対向車列の変化を検出し、対向車列が途切れたという変化が検出された場合には、当該途切れの際に起こり易い歩行者飛び出し姿勢を検出し易い認識条件を決定するので、対向車列が途切れたという交通環境に適した認識条件を決定または選択することができる。   In addition, according to the above-described embodiment, the surrounding traffic environment is recognized based on time-series environmental data, and the recognition conditions used for pedestrian recognition are determined based on the recognized data related to the traffic environment. Recognition conditions suitable for the traffic environment can be determined or selected. Further, according to the above-described embodiment, since the pedestrian is recognized based on the time-series environmental data and the determined recognition condition, the recognition accuracy of the pedestrian can be improved. Moreover, according to embodiment mentioned above, since the pedestrian jump is determined based on the determined recognition condition and the recognition result obtained by the pedestrian recognition, the determination accuracy of the pedestrian jump can be improved. In addition, according to the above-described embodiment, when a change in the pedestrian signal is detected based on time-series environmental data and a change in which the pedestrian signal has blinked blue is detected, Since the recognition condition that makes it easy to detect the pedestrian jumping posture that easily occurs is determined, it is possible to determine or select the recognition condition suitable for the traffic environment in which the pedestrian signal blinks blue. Further, according to the above-described embodiment, when a change in the oncoming vehicle train is detected based on the time-series environmental data and a change in which the oncoming vehicle is interrupted is detected, the change is likely to occur at the time of the interruption. Since the recognition condition for easily detecting the pedestrian jumping posture is determined, it is possible to determine or select the recognition condition suitable for the traffic environment in which the oncoming vehicle is interrupted.

以上のように、本発明にかかる歩行者認識装置は、自動車製造産業において有用であり、特に、車両周辺の歩行者の認識に適している。   As described above, the pedestrian recognition device according to the present invention is useful in the automobile manufacturing industry, and is particularly suitable for recognition of pedestrians around the vehicle.

１ 歩行者認識装置
１２ 制御部
１２ａ 保存部
１２ｂ 環境認識部
１２ｃ 選択部
１２ｄ 歩行者認識部
１４ 記憶部
１４ａ 環境データ記憶部
１４ｂ 選択対象記憶部 1 Pedestrian recognition device 12 Control unit
12a storage unit
12b Environment Recognition Department
12c selection part
12d Pedestrian recognition unit 14 Storage unit
14a Environmental data storage
14b Selection target storage unit

Claims (6)

検出された歩行者情報および歩行者認識のために用意された認識条件に基づいて歩行者を認識する歩行者認識装置であって、
検出された周辺環境に関する時系列の環境データに基づいて、前記歩行者認識で用いる前記認識条件を決定すること、
を特徴とする歩行者認識装置。 A pedestrian recognition device for recognizing a pedestrian based on detected pedestrian information and recognition conditions prepared for pedestrian recognition,
Determining the recognition conditions to be used in the pedestrian recognition based on time-series environmental data relating to the detected surrounding environment;
Pedestrian recognition device characterized by this. 請求項１に記載の歩行者認識装置において、
前記時系列の前記環境データに基づいて周辺の交通環境を認識し、当該認識した当該交通環境に関するデータに基づいて、前記歩行者認識で用いる前記認識条件を決定すること、
を特徴とする歩行者認識装置。 In the pedestrian recognition device according to claim 1,
Recognizing the surrounding traffic environment based on the time-series environmental data, and determining the recognition conditions used in the pedestrian recognition based on the recognized data related to the traffic environment;
Pedestrian recognition device characterized by this. 請求項１に記載の歩行者認識装置において、
前記時系列の前記環境データおよび前記決定した前記認識条件に基づいて、前記歩行者を認識すること、
を特徴とする歩行者認識装置。 In the pedestrian recognition device according to claim 1,
Recognizing the pedestrian based on the environmental data of the time series and the determined recognition condition;
Pedestrian recognition device characterized by this. 請求項１に記載の歩行者認識装置において、
前記決定した前記認識条件および前記歩行者認識で得られた認識結果に基づいて、前記歩行者の飛び出しを判定すること、
を特徴とする歩行者認識装置。 In the pedestrian recognition device according to claim 1,
Determining the jump of the pedestrian based on the recognition condition determined and the recognition result obtained by the pedestrian recognition;
Pedestrian recognition device characterized by this. 請求項４に記載の歩行者認識装置において、
前記時系列の前記環境データに基づいて歩行者信号の変化を検出し、前記歩行者信号が青点滅になったという変化が検出された場合には、当該青点滅の際に起こり易い歩行者飛び出し姿勢を検出し易い前記認識条件を決定すること、
を特徴とする歩行者認識装置。 In the pedestrian recognition device according to claim 4,
When a change in the pedestrian signal is detected based on the time-series environmental data and a change is detected that the pedestrian signal has blinked blue, a pedestrian jump that is likely to occur at the time of the blue blinking is detected. Determining the recognition condition that facilitates detecting the posture;
Pedestrian recognition device characterized by this. 請求項４に記載の歩行者認識装置において、
前記時系列の前記環境データに基づいて対向車列の変化を検出し、前記対向車列が途切れたという変化が検出された場合には、当該途切れの際に起こり易い歩行者飛び出し姿勢を検出し易い前記認識条件を決定すること、
を特徴とする歩行者認識装置。 In the pedestrian recognition device according to claim 4,
A change in the oncoming vehicle train is detected based on the time-series environmental data, and when a change in the oncoming vehicle is interrupted is detected, a pedestrian jumping posture that is likely to occur at the time of the interruption is detected. Easy to determine the recognition conditions;
Pedestrian recognition device characterized by this.
JP2011142079A 2011-06-27 2011-06-27 Pedestrian recognition device Pending JP2013008315A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2011142079A JP2013008315A (en) 2011-06-27 2011-06-27 Pedestrian recognition device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2011142079A JP2013008315A (en) 2011-06-27 2011-06-27 Pedestrian recognition device

Publications (1)

Publication Number Publication Date
JP2013008315A true JP2013008315A (en) 2013-01-10

Family

ID=47675588

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2011142079A Pending JP2013008315A (en) 2011-06-27 2011-06-27 Pedestrian recognition device

Country Status (1)

Country Link
JP (1) JP2013008315A (en)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104008518A (en) * 2013-02-22 2014-08-27 株式会社电装 Object detection apparatus
CN104050620A (en) * 2013-03-13 2014-09-17 株式会社电装 Object detection apparatus
JP2014215877A (en) * 2013-04-26 2014-11-17 株式会社デンソー Object detection device
CN109584632A (en) * 2018-12-14 2019-04-05 深圳壹账通智能科技有限公司 Road conditions method for early warning, device, computer equipment and storage medium
JP2020201745A (en) * 2019-06-11 2020-12-17 Kddi株式会社 Object identification device, method, and system

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007128460A (en) * 2005-11-07 2007-05-24 Sumitomo Electric Ind Ltd Collision determination system, collision determination method, computer program, and determination device
JP2009122859A (en) * 2007-11-13 2009-06-04 Toyota Motor Corp Object detector
JP2009237897A (en) * 2008-03-27 2009-10-15 Daihatsu Motor Co Ltd Image recognition device
JP2010102437A (en) * 2008-10-22 2010-05-06 Toyota Central R&D Labs Inc Pedestrian run-out prediction device and program

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007128460A (en) * 2005-11-07 2007-05-24 Sumitomo Electric Ind Ltd Collision determination system, collision determination method, computer program, and determination device
JP2009122859A (en) * 2007-11-13 2009-06-04 Toyota Motor Corp Object detector
JP2009237897A (en) * 2008-03-27 2009-10-15 Daihatsu Motor Co Ltd Image recognition device
JP2010102437A (en) * 2008-10-22 2010-05-06 Toyota Central R&D Labs Inc Pedestrian run-out prediction device and program

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104008518A (en) * 2013-02-22 2014-08-27 株式会社电装 Object detection apparatus
JP2014164426A (en) * 2013-02-22 2014-09-08 Denso Corp Object detector
US9367749B2 (en) 2013-02-22 2016-06-14 Denso Corporation Object detection apparatus
CN104008518B (en) * 2013-02-22 2018-03-30 株式会社电装 Body detection device
CN104050620A (en) * 2013-03-13 2014-09-17 株式会社电装 Object detection apparatus
JP2014178736A (en) * 2013-03-13 2014-09-25 Denso Corp Object detection device
CN104050620B (en) * 2013-03-13 2018-02-13 株式会社电装 Body detection device
JP2014215877A (en) * 2013-04-26 2014-11-17 株式会社デンソー Object detection device
CN109584632A (en) * 2018-12-14 2019-04-05 深圳壹账通智能科技有限公司 Road conditions method for early warning, device, computer equipment and storage medium
JP2020201745A (en) * 2019-06-11 2020-12-17 Kddi株式会社 Object identification device, method, and system
JP7025372B2 (en) 2019-06-11 2022-02-24 Kddi株式会社 Object identification device, method and system

Similar Documents

Publication Publication Date Title
CN110462543B (en) Simulation-based method for evaluating perception requirements of autonomous vehicles
JP4985142B2 (en) Image recognition apparatus and image recognition processing method of image recognition apparatus
JP5429380B2 (en) Driving assistance device
WO2013042205A1 (en) Pedestrian action prediction device and pedestrian action prediction method
CN110390240B (en) Lane post-processing in an autonomous vehicle
JP5760696B2 (en) Image recognition device
JP2022542246A (en) Emergency vehicle detection
US11861754B2 (en) Vehicle terminal device, service server, method, computer program, computer readable recording medium for providing driving related guidance service
US9779312B2 (en) Environment recognition system
JP2013008315A (en) Pedestrian recognition device
JPWO2013042206A1 (en) Object change detection device and object change detection method
JPWO2018230492A1 (en) Information processing apparatus, information processing method, and program
JP2009237898A (en) Image recognition device
KR20150113589A (en) Electronic apparatus and control method thereof
US20200175286A1 (en) Processing Sensor Information for Object Detection
JP6411933B2 (en) Vehicle state determination device
Ortiz et al. Vehicle telematics via exteroceptive sensors: A survey
KR20120063657A (en) Apparatus for protecting children pedestrian and method for protecting protecting children of the same
US20220092981A1 (en) Systems and methods for controlling vehicle traffic
KR20160081190A (en) Method and recording medium for pedestrian recognition using camera
Sung et al. Real-time traffic light recognition on mobile devices with geometry-based filtering
JP2012118683A (en) Pedestrian recognition device
JP2010092353A (en) Image processing apparatus and image processing method
JP2010072947A (en) Obstacle detection device
JP2012256241A (en) Course evaluation device and course evaluation method

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20130619

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20140416

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20140422

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20140930