WO2022044394A1 - オブジェクト認識制御装置、およびオブジェクト認識方法 - Google Patents

オブジェクト認識制御装置、およびオブジェクト認識方法 Download PDF

Info

Publication number
WO2022044394A1
WO2022044394A1 PCT/JP2021/009664 JP2021009664W WO2022044394A1 WO 2022044394 A1 WO2022044394 A1 WO 2022044394A1 JP 2021009664 W JP2021009664 W JP 2021009664W WO 2022044394 A1 WO2022044394 A1 WO 2022044394A1
Authority
WO
WIPO (PCT)
Prior art keywords
vehicle
traveling speed
processing unit
acquisition unit
video data
Prior art date
Application number
PCT/JP2021/009664
Other languages
English (en)
French (fr)
Inventor
康利 酒井
啓太 林
紘史 谷山
Original Assignee
株式会社Ｊｖｃケンウッド
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社Ｊｖｃケンウッド filed Critical 株式会社Ｊｖｃケンウッド
Priority to JP2021559927A priority Critical patent/JPWO2022044394A1/ja
Priority to CN202180017647.3A priority patent/CN115210790A/zh
Publication of WO2022044394A1 publication Critical patent/WO2022044394A1/ja
Priority to US18/108,682 priority patent/US20230196789A1/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/01—Detecting movement of traffic to be counted or controlled
    • G08G1/0104—Measuring and analyzing of parameters relative to traffic conditions
    • G08G1/0125—Traffic data processing
    • G08G1/0133—Traffic data processing for classifying traffic situation

Definitions

  • the person recognition in the captured image is determined to be a person when the score indicating humanity is equal to or higher than a predetermined threshold value as a result of the recognition process using the person recognition process.
  • the object recognition device 1 includes an image pickup unit 11, a dictionary data storage unit 12, a display unit 13, a CAN (Controller Area Network) interface unit 14, and a control unit (object recognition control device) 20. And.
  • the object recognition device 1 may be a portable device that can be used in the vehicle, in addition to the device mounted on the vehicle. Further, the object recognition device 1 may be implemented as a function of a device having a safe driving support function, a navigation device, a drive recorder, etc., which are installed in advance in the vehicle.
  • the dictionary data storage unit 12 stores dictionary data for recognizing various objects from video data.
  • the dictionary data storage unit 12 stores, for example, recognition dictionary data capable of machine learning various images taken by a person and collating that the object included in the image data is a person.
  • the dictionary data storage unit 12 can machine-learn various images of a bicycle on which a person is riding, and can verify that the object included in the image data is the bicycle on which the person is riding.
  • the dictionary data storage unit 12 machine-learns various images taken by, for example, automobiles and motorcycles, and stores recognition dictionary data capable of collating that the objects included in the image data are automobiles and motorcycles. You may be doing it.
  • the dictionary data storage unit 12 is realized by, for example, a storage device such as a semiconductor memory element such as a RAM (Random Access Memory) or a flash memory (Flash Memory).
  • the video data acquisition unit 21 acquires the video data taken by the imaging unit 11.
  • the video data acquisition unit 21 acquires, for example, the video data output by the imaging unit 11 that captures the front of the vehicle.
  • the recognition processing unit 22 changes the threshold value of the score for determining that the recognized object is a person according to the traveling speed of the vehicle.
  • the recognition processing unit 22 lowers the threshold value of the score for determining that the person is a person, for example, when the traveling speed of the vehicle is equal to or higher than a predetermined speed. For example, when the traveling speed of the vehicle is 60 km / h or more, the recognition processing unit 22 determines that the recognized object is a person when the score is 0.7 or more.
  • FIG. 2 is a flowchart showing an example of the flow of the recognition process of the specific object according to the first embodiment.
  • the traveling speed information acquisition unit 24A may determine the travelable speed of the road on which the vehicle is traveling based on the road sign recognized by the recognition processing unit 22A from the video data acquired by the video data acquisition unit 21.
  • the road sign to be judged includes a sign for regulating the travelable speed depending on the weather and the like. Further, the traveling speed information acquisition unit 24A may acquire information on the traveling speed of the road on which the vehicle is traveling from an external server or the like by using a communication function (not shown).
  • the control unit 20A determines whether or not the vehicle is traveling on a road that can travel at a predetermined speed or higher (step S22). Specifically, the traveling speed information acquisition unit 24 determines whether or not the road currently traveling is a road that can travel at a predetermined speed or higher based on the current position information and the map information. If it is determined that the road cannot travel at a predetermined speed or higher (step S22; No), the process proceeds to step S23. If it is determined that the road can travel at a predetermined speed or higher (step S22; Yes), the process proceeds to step S24.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Automation & Control Theory (AREA)
  • Human Computer Interaction (AREA)
  • Transportation (AREA)
  • Mechanical Engineering (AREA)
  • Traffic Control Systems (AREA)

Abstract

オブジェクト認識制御装置は、車両の周辺を撮影するカメラが撮影した映像データを取得する映像データ取得部（２１）と、車両の走行速度に関する情報を取得する走行速度情報取得部（２４）と、映像データ取得部（２１）が取得した映像データに対して、特定オブジェクトらしさを示すスコアが所定閾値以上である場合、特定オブジェクトとして認識する認識処理部（２２）と、認識処理部（２２）が認識した特定オブジェクトの情報を車両の運転者に提示する提示処理部（２３）と、を備える。認識処理部（２３）は、走行速度情報取得部（２４）が取得した走行速度に関する情報に基づき、所定閾値を変化させる。

Description

オブジェクト認識制御装置、およびオブジェクト認識方法
　本開示は、オブジェクト認識制御装置、およびオブジェクト認識方法に関する。
　撮影画像における人物認識は、人物認識処理を用いた認識処理の結果、人間らしさを示すスコアが所定の閾値以上である場合に、人物であると判定している。
　例えば、特許文献１には、撮影画像に対して認識辞書を用いて歩行者らしさを示すスコアが高いことで対象物が歩行者であることを判断する技術が開示されている。
特開２０１６－１５０２９号公報
　車両の走行速度が速くなると、撮影画像の１フレームごとの人物等のエッジが明確でなくなることもあり、認識率が低下してしまい、人物等の存在を認識できない可能性がある。また、走行速度が速いため、人物等の特定オブジェクトを認識できなかった場合に危険が生じる可能性もある。さらに、車両の運転者が人物等に対する注意が疎かになる可能性もある。
　本開示は、特定オブジェクトを適切に認識することができるオブジェクト認識制御装置、およびオブジェクト認識方法を提供することを目的とする。
　本開示の一態様に係るオブジェクト認識制御装置は、車両の周辺を撮影するカメラが撮影した映像データを取得する映像データ取得部と、前記車両の走行速度に関する情報を取得する走行速度情報取得部と、前記映像データ取得部が取得した映像データに対して、特定オブジェクトらしさを示すスコアが所定閾値以上である場合、前記特定オブジェクトとして認識する認識処理部と、前記認識処理部が認識した前記特定オブジェクトの情報を前記車両の運転者に提示する提示処理部と、を備え、前記認識処理部は、前記走行速度情報取得部が取得した走行速度に関する情報に基づき、前記所定閾値を変化させる。
　本開示の一態様に係るオブジェクト認識制御装置が実行するオブジェクト認識方法は、車両の周辺を撮影するカメラが撮影した映像データを取得する映像データ取得ステップと、前記車両の走行速度に関する情報を取得する走行速度情報取得ステップと、前記映像データ取得ステップで取得した映像データに対して、特定オブジェクトらしさを示すスコアが所定閾値以上である場合、前記特定オブジェクトとして認識する認識処理ステップと、前記認識処理ステップで認識した前記特定オブジェクトの情報を前記車両の運転者に提示する提示処理ステップと、を含み、前記認識処理ステップにおいては、前記走行速度情報取得ステップで取得した走行速度に関する情報に基づき、前記所定閾値を変化させる。
　本開示によれば、特定オブジェクトを適切に認識することができる。
図１は、第一実施形態に係るオブジェクト認識装置の構成例を示すブロック図である。 図２は、第一実施形態に係るオブジェクト認識処理の流れの一例を示すフローチャートである。 図３は、第二実施形態に係るオブジェクト認識装置の構成例を示すブロック図である。 図４は、第二実施形態に係るオブジェクト認識処理の流れの一例を示すフローチャートである。 図５は、第二実施形態の変形例に係るオブジェクト認識処理の流れの一例を示すフローチャートである。 図６は、第三実施形態に係るオブジェクト認識処理の流れの一例を示すフローチャートである。
　以下、添付図面を参照して、本開示に係る実施形態を詳細に説明する。なお、この実施形態により本開示が限定されるものではなく、また、実施形態が複数ある場合には、各実施形態を組み合わせて構成するものも含む。また、以下の実施形態において、同一の部位には同一の符号を付することにより重複する説明を省略する。
　［第一実施形態］
　図１を用いて、第一実施形態に係るオブジェクト認識装置について説明する。図１は、第一実施形態に係るオブジェクト認識装置の構成例を示すブロック図である。
　図１に示すように、オブジェクト認識装置１は、撮像部１１と、辞書データ記憶部１２と、表示部１３と、ＣＡＮ（Controller　Area　Network）インターフェース部１４と、制御部（オブジェクト認識制御装置）２０と、を備える。オブジェクト認識装置１は、車両に載置されているものに加えて、可搬型で車両において利用可能な装置であってもよい。また、オブジェクト認識装置１は、車両にあらかじめ設置されている安全運転支援機能を有する装置やナビゲーション装置、ドライブレコーダ等の機能として実装されてもよい。
　撮像部１１は、車両に搭載され、車両の前方を撮影するように配置されている。撮像部１１は、例えば、可視光カメラまたは遠赤外線カメラで構成される。撮像部１１は、例えば、可視光カメラおよび遠赤外線カメラの組み合わせで構成されてもよい。撮像部１１は、撮影した映像データを映像データ取得部２１に出力する。
　辞書データ記憶部１２は、映像データから各種のオブジェクトを認識するための辞書データを記憶している。辞書データ記憶部１２は、例えば、人物が撮影された様々な映像を機械学習させ、映像データに含まれるオブジェクトが人物であることを照合可能な認識辞書データを記憶している。辞書データ記憶部１２は、例えば、人物が乗車している自転車が撮影された様々な映像を機械学習させ、映像データに含まれるオブジェクトが、人物が乗車している自転車であることを照合可能な認識辞書データを記憶している。辞書データ記憶部１２は、例えば、自動車および自動二輪車などが撮影された様々な映像を機械学習させ、映像データに含まれるオブジェクトが自動車および自動二輪車などであることを照合可能な認識辞書データを記憶していてもよい。辞書データ記憶部１２は、例えば、ＲＡＭ（Random　Access　Memory）、フラッシュメモリ（Flash　Memory）等の半導体メモリ素子等の記憶装置によって実現される。
　表示部１３は、各種の情報を表示する。表示部１３は、特定オブジェクトが認識された場合に、特定オブジェクトの情報を表示することで、車両の運転者などに通知する。表示部１３は、例えば、液晶ディスプレイ（ＬＣＤ：Liquid　Crystal　Display）または有機ＥＬ（Electro-Luminescence）ディスプレイなどを含むディスプレイである。
　ＣＡＮインターフェース部１４は、ＣＡＮを介して各種の車両情報を取得するインターフェースである。車両情報には、車両の状態に関する状態情報が含まれる。状態情報は、例えば、車両の走行速度、および車両の加速度に関する情報などを含む。車両情報には、車両の運転操作に関する運転操作情報が含まれてもよい。運転操作情報は、例えば、ステアリング操作、ブレーキ操作、およびアクセル操作などの操作情報を含む。
　制御部２０は、オブジェクト認識装置１の各部の動作を制御する。制御部２０は、例えば、ＣＰＵ（Central　Processing　Unit）やＭＰＵ（Micro　Processing　Unit）等によって、図示しない記憶部に記憶されたプログラムがＲＡＭ等を作業領域として実行されることにより実現される。このため、制御部２０は、オブジェクト認識装置１によるオブジェクト認識方法を実行させる。また、制御部２０は、本開示にかかるプログラムを動作させるコンピュータである。制御部２０は、例えば、ＡＳＩＣ（Application　Specific　Integrated　Circuit）やＦＰＧＡ（Field　Programmable　Gate　Array）等の集積回路により実現されてもよい。制御部２０は、ハードウェアと、ソフトウェアとの組み合わせで実現されてもよい。
　制御部２０は、映像データ取得部２１と、認識処理部２２と、提示処理部２３と、走行速度情報取得部２４と、を備える。図１では、映像データ取得部２１と、認識処理部２２と、提示処理部２３と、走行速度情報取得部２４とは、バスＢＳを介して接続しているように示している。
　映像データ取得部２１は、撮像部１１が撮影した映像データを取得する。映像データ取得部２１は、例えば、撮像部１１が出力した、車両の前方を撮影した映像データを取得する。
　認識処理部２２は、映像データ取得部２１が取得した映像データに対して物体認識処理を行う。認識処理部２２は、例えば、辞書データ記憶部１２に記憶された辞書データを用いて、各種の物体認識処理を行い、映像データに含まれるオブジェクトを認識する。
　認識処理部２２は、人物を検出するための辞書データを用いて、映像データに対して人物認識処理を行って、映像データに含まれる人物を認識する。認識処理部２２は、人物が乗車している自転車を検出するための辞書データを用いて、映像データに含まれる人物が乗車している自転車を認識する本実施形態では、認識処理部２２は、映像データに含まれる人物および人物が乗車している自転車を、特定オブジェクトとして認識する。
　認識処理部２２は、例えば、映像データ取得部２１が取得した映像データに対して物体認識処理を行った結果、特定オブジェクトらしさを示すスコアが所定閾値以上である場合に、映像データに含まれるオブジェクトを特定オブジェクトとして認識する。
　認識処理部２２は、人物認識処理により人物らしさを示すスコアを算出し、算出したスコアに値に基づいて、人物を認識する。人物らしさを示すスコアの最大値は、例えば、１．０である。認識処理部２２は、例えば、通常時には、スコアが０．９以上である場合に、認識したオブジェクトを特定オブジェクトである人物であると判断する。
　認識処理部２２は、車両の走行速度に応じて、認識したオブジェクトが人物であると判定するスコアの閾値を変化させる。認識処理部２２は、例えば、車両の走行速度が所定速度以上である場合に、人物であると判定するスコアの閾値を下げる。認識処理部２２は、例えば、車両の走行速度が６０ｋｍ／ｈ以上であるときは、スコアが０．７以上である場合に、認識したオブジェクトを人物であると判断する。
　認識処理部２２は、車両の走行速度に応じて、認識したオブジェクトが人物であると判定するスコアの閾値を段階的に変更してもよい。認識処理部２２は、例えば、車両の走行速度が６０ｋｍ／ｈ以上７０ｋｍ／ｈ未満であるときは、スコアが０．７以上である場合に、認識したオブジェクトを人物であると判断してもよい。認識処理部２２は、例えば、車両の走行速度が７０ｋｍ／ｈ以上８０ｋｍ／ｈ未満であるときは、スコアが０．６以上である場合に、認識したオブジェクトを人物であると判断してもよい。認識処理部２２は、例えば、車両の走行速度が８０ｋｍ／ｈ以上９０ｋｍ／ｈ未満であるときは、スコアが０．５以上である場合に、認識したオブジェクトを人物であると判断してもよい。
　認識処理部２２は、車両の走行速度に応じて、認識したオブジェクトが人物であると判定するスコアの閾値を線形的に変更してもよい。認識処理部２２は、例えば、車両の走行速度が６０ｋｍ／ｈになりスコアを０．７に変更したのち、車両の走行速度が上がるにつれてスコアを線形的に下げてもよい。
　本実施形態において、認識処理部２２が特定オブジェクトであると判断するスコアの値は、例示であり、これに限定されるものではない。認識処理部２２が特定オブジェクトであると判断するスコアの値は、設計に応じて任意に変更し得る。
　本実施形態では、認識処理部２２は、特定オブジェクトとして人物および人物が乗車している自転車を認識するが、認識処理部２２が認識する特定オブジェクトは、これらに限られない。認識処理部２２は、例えば、映像データに含まれる自動車および自動二輪車などを特定オブジェクトとして検出してもよい。
　提示処理部２３は、認識処理部２２により特定された特定オブジェクトの情報を運転者などに提示する。提示処理部２３は、表示部１３による表示または図示しない音声出力部から出力される音声を用いて、特定オブジェクトの情報を運転者に提示する。このため、提示処理部２３は、表示部１３による表示で特定オブジェクトの情報を運転者に提示する場合は、表示制御部として機能する。提示処理部２３は、特定オブジェクトの情報を表示部１３に表示させる場合、映像データ取得部２１が取得した映像データを表示部１３に表示させ、特定オブジェクトを認識した場合、認識された特定オブジェクトを囲むような枠線を表示することで、特定オブジェクトを運転者に認識させる。
　走行速度情報取得部２４は、車両の走行速度に関する情報を取得する。走行速度情報取得部２４は、例えば、ＣＡＮインターフェース部１４を介して、ＣＡＮから車両の走行速度に関する情報を取得する。
［特定オブジェクト認識処理］
　図２を用いて、第一実施形態に係る特定オブジェクトの認識処理について説明する。図２は、第一実施形態に係る特定オブジェクトの認識処理の流れの一例を示すフローチャートである。
　図２の処理の開始に伴い、制御部２０は、撮影、人物処理認識を開始する（ステップＳ１１）。具体的には、制御部２０は、撮像部１１による撮影を開始させ、認識処理部２２は、映像データ取得部２１が取得した映像データに対して、認識処理を開始する。そして、ステップＳ１２に進む。図２の処理の開始は、任意の条件で開始される。例えば、オブジェクト認識装置１を搭載している車両のエンジンが始動するなど車両が利用可能になった場合や、ユーザの操作によってオブジェクト認識装置１の動作が開始されたときなどである。また、ステップＳ１１の処理は、車両が走行していることを条件として実行されてもよい。
　ステップＳ１１による処理が開始されるとともに、制御部２０は、車両の走行速度が所定速度以上であるか否かを判定する（ステップＳ１２）。具体的には、認識処理部２２は、走行速度情報取得部２４が取得した車両の走行速度に関する情報に基づいて、車両の走行速度が所定速度以上であるか否かを判定する。走行速度が所定速度以上でないと判定された場合（ステップＳ１２；Ｎｏ）、ステップＳ１３に進む。走行速度が所定速度以上であると判定された場合（ステップＳ１２；Ｙｅｓ）、ステップＳ１４に進む。
　ステップＳ１２でＮｏと判定された場合、制御部２０は、人物であると判断するスコアの閾値を第一閾値として人物を判断する（ステップＳ１３）。具体例としては、認識処理部２２は、人物らしさを示すスコアが０．９以上である場合に、物体が人物であると判断する。そして、ステップＳ１５に進む。
　ステップＳ１２でＹｅｓと判定された場合、制御部２０は、人物であると判断するスコアの閾値を第一閾値よりも小さい第二閾値として人物を判断する（ステップＳ１４）。具体例としては、認識処理部２２は、人物らしさを示すスコアが０．７以上である場合に、物体が人物であると判断する。そして、ステップＳ１５に進む。
　制御部２０は、人物を検出したか否かを判定する（ステップＳ１５）。具体的には、認識処理部２２は、ステップＳ１３またはステップＳ１４のスコアで人物が認識されたか否かを判定する。人物が検出されたと判定された場合（ステップＳ１５；Ｙｅｓ）、ステップＳ１６に進む。人物が検出されないと判定された場合（ステップＳ１５；Ｎｏ）、ステップＳ１７に進む。
　ステップＳ１５でＹｅｓと判定された場合、制御部２０は、検出された人物の周囲に枠線を表示する（ステップＳ１６）。具体的には、提示処理部２３は、運転者などが検出された人物を把握できるように、検出された人物の周囲に枠線を表示する。そして、ステップＳ１７に進む。
　制御部２０は、特定オブジェクト認識処理を終了するか否かを判定する（ステップＳ１７）。制御部２０は、例えば、特定オブジェクト認識処理を終了する操作を受け付けたり、オブジェクト認識装置１の電源をオフにする操作を受け付けたりした場合に、特定オブジェクト認識処理を終了すると判定する。特定オブジェクト認識処理を終了すると判定された場合（ステップＳ１７；Ｙｅｓ）、図２の処理を終了する。特定オブジェクト認識処理を終了しないと判定された場合（ステップＳ１７；Ｎｏ）、ステップＳ１１に進む。
　第一実施形態は、車両の走行速度に基づいて、人物または人物が乗車している自転車らしさを示すスコアの閾値を変更して映像データに含まれる人物または人物が乗車している自転車等の特定オブジェクトを検出する。これにより、第一実施形態は、車両の走行速度が所定速度よりも速い場合であっても、映像データに含まれる人物または人物が乗車している自転車を適切に検出することができる。
　また、第一実施形態は、車両の走行速度が速い速度である場合に、特定オブジェクトらしさを示すスコアを低くして認識処理を行うため、物体の陰に一部が隠れた特定オブジェクトのように通常のスコアでは特定オブジェクトとして認識されない場合であっても、特定オブジェクトとして認識する。このため、車両の運転者は、より適切に特定オブジェクトの存在を知ることができる。
　走行速度が所定速度よりも速い速度である場合においては、車両の運転者の下が狭くなる傾向にある。第一実施形態は、車両の走行速度が速い速度である場合に、特定オブジェクトらしさを示すスコアを低くして認識処理を行う。このため、通常のスコアでは特定オブジェクトとして認識されない物体も含めて、認識結果として提示し、車両の運転者に、より安全性を重んじた運転を行わせることができる。
　［第一実施形態の変形例］
　次に、第一実施形態の変形例について説明する。第一実施形態では、図２のステップＳ１２で、制御部２０は、車両の走行速度が所定速度以上であるか否かを判定するが、本開示はこれに限られない。例えば、ステップＳ１２では、制御部２０は、車両の走行速度が所定速度以上である時間が所定時間以上継続したか否かを判定してもよい。所定時間は、例えば、６０秒であるが、これに限定されない。
　したがって、認識処理部２２は、走行速度情報取得部２４が取得した走行速度が所定速度よりも速い速度である状態が所定時間以上継続している場合に、人物であると判断するスコアの閾値を第一閾値よりも小さい第二閾値として人物を判断する。走行速度が所定速度よりも速い速度である状態が所定時間以上継続している場合とは、走行速度が一時的に所定速度よりも速い速度となった場合ではなく、所定速度よりも速い速度での走行が継続している場合である。このような状態においては、車両の運転者の視野が狭くなる傾向にあるため、通常のスコアでは特定オブジェクトとして認識されない物体も含めて、認識結果として提示し、車両の運転者に、より安全性を重んじた運転を行わせることができる。
　［第二実施形態］
　図３を用いて、第二実施形態に係るオブジェクト認識装置について説明する。図３は、第二実施形態に係るオブジェクト認識装置の構成例を示すブロック図である。
　図３に示すように、オブジェクト認識装置１Ａは、ＣＡＮインターフェース部１４を備えておらず、ＧＮＳＳ（Global　Navigation　Satellite　System）受信部１５と、地図情報記憶部１６とを備える点で、図１に示すオブジェクト認識装置１と異なる。また、オブジェクト認識装置１Ａは、制御部２０Ａが位置情報取得部２５と、地図情報取得部２６とを備える点で、図１に示すオブジェクト認識装置１と異なる。
　ＧＮＳＳ受信部１５は、図示しないＧＮＳＳ衛星からＧＮＳＳ信号を受信する。ＧＮＳＳ受信部１５は、ＧＮＳＳ受信回路およびＧＮＳＳ受信装置などで実現される。ＧＮＳＳ受信部１５は、受信したＧＮＳＳ信号を位置情報取得部２５に出力する。
　地図情報記憶部１６は、各種の地図情報を記憶している。地図情報記憶部１６は、例えば、ＲＡＭ、フラッシュメモリなどの半導体メモリ素子、または、ハードディスクなどの記憶装置、さらには、図示しない通信機能によって接続される外部のサーバによって実現される。
　位置情報取得部２５は、ＧＮＳＳ受信部１５からＧＮＳＳ信号を取得する。位置情報取得部２５は、例えば、ＧＮＳＳ受信部１５から取得したＧＮＳＳ信号に基づいて、車両の現在位置情報を周知の方法で算出する。
　地図情報取得部２６は、地図情報記憶部１６から地図情報を取得する。地図情報取得部２６は、例えば、位置情報取得部２５によって算出された現在位置情報に対応する地図情報を地図情報記憶部１６から取得する。
　認識処理部２２Ａは、車両が走行している道路の走行可能速度に応じて、認識したオブジェクトが人物であると判定するスコアの閾値を変更する。認識処理部２２Ａは、例えば、走行可能速度が所定速度以上である場合に、人物であると判定するスコアの閾値を下げる。認識処理部２２Ａは、例えば、走行可能速度が６０ｋｍ／ｈ以上であるときは、スコアが０．７以上である場合に、認識したオブジェクトを人物であると判断する。
　走行速度情報取得部２４Ａは、位置情報取得部２５が算出した現在位置情報と、地図情報取得部２６が取得した地図情報に基づいて、車両が走行している道路の走行可能速度を判定する。走行速度情報取得部２４Ａは、例えば、車両が走行している道路が自動車専用道路および高速道路などの６０ｋｍ／ｈ以上で走行可能な道路であるか否かを判定する。
　走行速度情報取得部２４Ａは、映像データ取得部２１が取得した映像データから認識処理部２２Ａが認識した道路標識に基づいて、車両が走行している道路の走行可能速度を判断してもよい。判断対象の道路標識は、天候等によって走行可能速度を規制するための標識も含む。また、走行速度情報取得部２４Ａは、図示しない通信機能を用いて外部サーバ等から、車両が走行している道路の走行可能速度の情報を取得してもよい。
［特定オブジェクト認識処理］
　図４を用いて、第二実施形態に係る特定オブジェクトの認識処理について説明する。図４は、第二実施形態に係る特定オブジェクトの認識処理の流れの一例を示すフローチャートである。
　図４に示すステップＳ２１、およびステップＳ２３からステップＳ２７の処理は、それぞれ、図２に示すステップＳ１１、およびステップＳ１３からステップＳ１７の処理と同一なので、説明を省略する。
　制御部２０Ａは、車両が所定速度以上で走行可能な道路を走行中であるか否かを判定する（ステップＳ２２）。具体的には、走行速度情報取得部２４は、現在位置情報と、地図情報とに基づいて現在走行している道路が所定速度以上で走行可能な道路であるか否かを判定する。所定速度以上で走行可能な道路でないと判定された場合（ステップＳ２２；Ｎｏ）、ステップＳ２３に進む。所定速度以上で走行可能な道路であると判定された場合（ステップＳ２２；Ｙｅｓ）、ステップＳ２４に進む。
　第二実施形態は、車両が走行している道路の走行可能速度に基づいて、人物らしさを示すスコアの閾値を変更して映像データに含まれる人物または人物が乗車している自転車を検出する。これにより、第二実施形態は、車両が走行している道路の走行可能速度が所定速度よりも速い場合であっても、映像データに含まれる人物または人物が乗車している自転車を適切に検出することができる。
　また、第二実施形態は、車両が走行している道路の走行可能速度が所定速度以上である場合に、特定オブジェクトらしさを示すスコアを低くして認識処理を行うため、物体の陰に一部が隠れた特定オブジェクトのように通常のスコアでは特定オブジェクトとして認識されない場合であっても、特定オブジェクトとして認識する。このため、車両の運転者は、より適切に特定オブジェクトの存在を知ることができる。
　さらに、第二実施形態は、車両が走行している道路の走行可能速度が所定速度以上である場合に、特定オブジェクトらしさを示すスコアを低くして認識処理を行うため、特定オブジェクトではない物体を特定オブジェクトとして判断する誤認識が増加する。しかし、誤認識であっても、特定オブジェクトが存在することとして提示されるため、車両の運転者に、より安全性を重んじた運転を行わせることができる。
　［第二実施形態の変形例］
　次に、図５を用いて、第二実施形態の変形例について説明する。図５は、第二実施形態の変形例に係るオブジェクト認識処理の流れの一例を示すフローチャートである。第二実施形態の変形例に係るオブジェクト認識装置の構成は、図３に示すオブジェクト認識装置１Ａと同一なので、説明を省略する。
　ステップＳ３１の処理は、図４に示すステップＳ２１の処理と同一なので、説明を省略する。
　ステップＳ３１の後、制御部２０Ａは、車両が所定速度以上で走行可能な道路を走行開始したか否かを判定する（ステップＳ３２）。具体的には、走行速度情報取得部２４は、現在位置情報と、地図情報とに基づいて所定速度以上で走行可能な道路での走行を開始したか否かを判定する。所定速度以上で走行可能な道路を走行開始したと判定されない場合（ステップＳ３２；Ｎｏ）、ステップＳ３４に進む。所定速度以上で走行可能な道路を走行開始したと判定された場合（ステップＳ３２；Ｙｅｓ）、ステップＳ３３に進む。
　ステップＳ３２でＹｅｓと判定された場合、制御部２０Ａは、所定速度以上で走行可能な道路を所定時間以上走行予定であるか否かを判定する（ステップＳ３３）。制御部２０Ａは、例えば、国道や高速道路の走行を開始したとき、目的地までのルートが設定されており、その道路の走行予定が所定距離以上ある場合に、所定速度以上で走行可能な道路を所定時間以上走行予定であると判定する。制御部２０Ａは、その道路の走行予定が処理距離以上ある場合に加えて、走行予定の道路における渋滞がない場合を判定の条件に加えてもよい。所定距離以上で走行可能な道路を所定時間以上走行予定であると判定されなかった場合（ステップＳ３３；Ｎｏ）、ステップＳ３４に進む。所定距離以上で走行可能な道路を所定時間以上走行予定であると判定された場合（ステップＳ３３；Ｙｅｓ）、ステップＳ３５に進む。
　ステップＳ３４からステップＳ３８の処理は、それぞれ、ステップＳ２３からステップＳ２７の処理と同一なので、説明を省略する。
　第二実施形態の変形例は、所定速度以上で走行可能な道路を所定時間以上走行予定である、人物らしさを示すスコアの閾値を低くして映像データに含まれる人物または人物が乗車している自転車等の特定オブジェクトを検出する。このような状態においては、走行を開始した道路において、所定速度以上での走行によって車両の運転者の視野が狭くなることが想定されるため、通常のスコアでは特定オブジェクトとして認識されない物体も含めて、認識結果として提示し、車両の運転者に、より安全性を重んじた運転を行わせることができる。
　［第三実施形態］
　次に、図６を用いて、第三実施形態について説明する。図６は、第三実施形態に係るオブジェクト認識処理の流れの一例を示すフローチャートである。第三実施形態に係るオブジェクト認識装置の構成は、図１に示すオブジェクト認識装置１と同一なので、説明を省略する。
　ステップＳ４１の処理は、図２に示すステップＳ１１の処理と同一なので、説明を省略する。
　ステップＳ４１の後、制御部２０は、車両が加速状態にあるか否かを判定する（ステップＳ４２）。具体的には、走行速度情報取得部２４は、速度情報の時間遷移、または図示しない加速度センサによる進行方向への加速度検出結果に基づいて、車両が加速状態にあるか否かを判定する。例えば、走行速度情報取得部２４は、加速開始から例えば５秒以上加速状態が継続した場合に、加速状態にあると判定する。また、走行速度情報取得部２４は、所定速度以上（例えば、６０ｋｍ／ｈ以上）で走行している状態から例えば５秒以上加速状態が継続した場合に、加速状態にあると判定する。車両が加速状態にあると判定されなかった場合（ステップＳ４２；Ｎｏ）、ステップＳ４３に進む。車両が加速所帯にあると判定された場合（ステップＳ４２；Ｙｅｓ）、ステップＳ４４に進む。
　ステップＳ４３からステップＳ４４の処理は、図２に示すステップＳ１３からステップＳ１７の処理と同一なので、説明を省略する。
　第三実施形態は、車両が加速度状態である場合に、人物または人物が乗車している自転車等の特定オブジェクトらしさを示すスコアの閾値を低くして映像データに含まれる人物または人物が乗車している自転車を検出する。これにより、第三実施形態は、車両が加速状態である場合に、車両の運転者の視野が狭くなる傾向にあるため、通常のスコアでは特定オブジェクトとして認識されない物体も含めて、認識結果として提示し、車両の運転者に、より安全性を重んじた運転を行わせることができる。
　以上、本開示の実施形態を説明したが、これら実施形態の内容により本開示が限定されるものではない。実施形態においては、人物または人物が乗車している自転車を認識する例として説明したが、認識する対象は実施形態の内容に限定されず、様々な対象物の認識に適用可能である。また、前述した構成要素には、当業者が容易に想定できるもの、実質的に同一のもの、いわゆる均等の範囲のものが含まれる。さらに、前述した構成要素は適宜組み合わせることが可能である。さらに、前述した実施形態の要旨を逸脱しない範囲で構成要素の種々の省略、置換又は変更を行うことができる。
　本実施形態のオブジェクト認識制御装置、およびオブジェクト認識方法は、例えば、ドレイブレコーダなどに利用することができる。
　１，１Ａ　オブジェクト認識装置
　１１　撮像部
　１２　辞書データ記憶部
　１３　表示部
　１４　ＣＡＮインターフェース部
　１５　ＧＮＳＳ受信部
　１６　地図情報記憶部
　２０，２０Ａ　制御部
　２１　映像データ取得部
　２２，２２Ａ　認識処理部
　２３　提示処理部
　２４，２４Ａ　走行速度情報取得部
　２５　位置情報取得部
　２６　地図情報取得部

Claims (8)

  1. 　車両の周辺を撮影するカメラが撮影した映像データを取得する映像データ取得部と、
    　前記車両の走行速度に関する情報を取得する走行速度情報取得部と、
    　前記映像データ取得部が取得した映像データに対して、特定オブジェクトらしさを示すスコアが所定閾値以上である場合、前記特定オブジェクトとして認識する認識処理部と、
    　前記認識処理部が認識した前記特定オブジェクトの情報を前記車両の運転者に提示する提示処理部と、
    　を備え、
    　前記認識処理部は、前記走行速度情報取得部が取得した走行速度に関する情報に基づき、前記所定閾値を変化させる、
    　オブジェクト認識制御装置。
  2. 　前記走行速度情報取得部は、前記車両の走行速度に関する情報として、前記車両の走行速度情報を取得し、
    　前記認識処理部は、前記走行速度情報取得部が取得した走行速度が所定速度よりも速い速度である場合、前記所定閾値を低くする、
    　請求項１に記載のオブジェクト認識制御装置。
  3. 　前記認識処理部は、前記走行速度情報取得部が取得した走行速度が所定速度よりも速い速度である状態が所定時間以上継続している場合、前記所定閾値を低くする、
    　請求項２に記載のオブジェクト認識制御装置。
  4. 　前記走行速度情報取得部は、前記車両の走行速度に関する情報として、前記車両の現在位置情報および地図情報に基づき、前記車両が走行している道路の走行可能速度情報を取得し、
    　前記認識処理部は、前記走行速度情報取得部が取得した走行可能速度情報が所定速度以上の走行可能速度である場合、前記所定閾値を低くする、
    　請求項１に記載のオブジェクト認識制御装置。
  5. 　前記認識処理部は、前記走行速度情報取得部が取得した走行可能速度が所定速度以上の走行可能速度である道路を所定距離以上走行予定である場合、前記所定閾値を低くする、
    　請求項４に記載のオブジェクト認識制御装置。
  6. 　前記走行速度情報取得部は、前記車両の走行速度に関する情報として、前記車両の走行速度の変化情報を取得し、
    　前記認識処理部は、前記走行速度情報取得部が取得した走行速度の変化が加速状態にあることを示している場合、前記所定閾値を低くする、
    　請求項１に記載のオブジェクト認識制御装置。
  7. 　前記映像データ取得部は、前記車両の前方を撮影するカメラが撮影した映像データを取得し、
    　前記認識処理部は、前記特定オブジェクトとして人物または人物が乗車している自転車を認識する、
    　請求項１から６のいずれか１項に記載のオブジェクト認識制御装置。
  8. 　車両の周辺を撮影するカメラが撮影した映像データを取得する映像データ取得ステップと、
    　前記車両の走行速度に関する情報を取得する走行速度情報取得ステップと、
    　前記映像データ取得ステップで取得した映像データに対して、特定オブジェクトらしさを示すスコアが所定閾値以上である場合、前記特定オブジェクトとして認識する認識処理ステップと、
    　前記認識処理ステップで認識した前記特定オブジェクトの情報を前記車両の運転者に提示する提示処理ステップと、
    　を含み、
    　前記認識処理ステップにおいては、前記走行速度情報取得ステップで取得した走行速度に関する情報に基づき、前記所定閾値を変化させる、
    　オブジェクト認識制御装置が実行するオブジェクト認識方法。
PCT/JP2021/009664 2020-08-28 2021-03-10 オブジェクト認識制御装置、およびオブジェクト認識方法 WO2022044394A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2021559927A JPWO2022044394A1 (ja) 2020-08-28 2021-03-10
CN202180017647.3A CN115210790A (zh) 2020-08-28 2021-03-10 目标识别控制装置以及目标识别方法
US18/108,682 US20230196789A1 (en) 2020-08-28 2023-02-13 Object recognition control device

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2020-145071 2020-08-28
JP2020145071 2020-08-28

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US18/108,682 Continuation US20230196789A1 (en) 2020-08-28 2023-02-13 Object recognition control device

Publications (1)

Publication Number Publication Date
WO2022044394A1 true WO2022044394A1 (ja) 2022-03-03

Family

ID=80355035

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2021/009664 WO2022044394A1 (ja) 2020-08-28 2021-03-10 オブジェクト認識制御装置、およびオブジェクト認識方法

Country Status (4)

Country Link
US (1) US20230196789A1 (ja)
JP (1) JPWO2022044394A1 (ja)
CN (1) CN115210790A (ja)
WO (1) WO2022044394A1 (ja)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015035704A (ja) * 2013-08-08 2015-02-19 株式会社東芝 検出装置、検出方法および検出プログラム
JP2016166767A (ja) * 2015-03-09 2016-09-15 三菱電機株式会社 ソナーセンサシステム用感度変更装置

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102009055269B4 (de) * 2009-12-23 2012-12-06 Robert Bosch Gmbh Verfahren zur Bestimmung der Relativbewegung mittels einer HDR-Kamera
JP5503728B2 (ja) * 2010-03-01 2014-05-28 本田技研工業株式会社 車両の周辺監視装置
CN104658249A (zh) * 2013-11-22 2015-05-27 上海宝康电子控制工程有限公司 基于帧差和光流实现车辆快速检测的方法
JP2015155878A (ja) * 2014-02-21 2015-08-27 株式会社デンソー 車両用障害物検出装置

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015035704A (ja) * 2013-08-08 2015-02-19 株式会社東芝 検出装置、検出方法および検出プログラム
JP2016166767A (ja) * 2015-03-09 2016-09-15 三菱電機株式会社 ソナーセンサシステム用感度変更装置

Also Published As

Publication number Publication date
JPWO2022044394A1 (ja) 2022-03-03
US20230196789A1 (en) 2023-06-22
CN115210790A (zh) 2022-10-18

Similar Documents

Publication Publication Date Title
KR102610743B1 (ko) 차량의 차로 변경 제어 장치, 그를 포함한 시스템 및 그 방법
WO2016067574A1 (ja) 表示制御装置及び表示制御プログラム
JP6447958B2 (ja) 標識認識表示装置
JP2005182306A (ja) 車両用表示装置
JP6652090B2 (ja) 運転モード切替制御装置、システム、方法、およびプログラム
US11189048B2 (en) Information processing system, storing medium storing program, and information processing device controlling method for performing image processing on target region
JP2014120111A (ja) 走行支援システム、走行支援方法及びコンピュータプログラム
JP2014120114A (ja) 走行支援システム、走行支援方法及びコンピュータプログラム
JP6136238B2 (ja) 走行支援システム、走行支援方法及びコンピュータプログラム
JP2018151903A (ja) 虚像表示装置及びコンピュータプログラム
JP2014120113A (ja) 走行支援システム、走行支援方法及びコンピュータプログラム
WO2022044394A1 (ja) オブジェクト認識制御装置、およびオブジェクト認識方法
JP6536893B2 (ja) 標識認識表示装置
JP6288204B1 (ja) 車両用制限速度検出装置
US11594201B2 (en) Vehicle, display method, and program
WO2018229566A1 (ja) 車間距離警告システムのための処理ユニット及び処理方法、車間距離警告システム、及び、モータサイクル
US20160332566A1 (en) Regulation speed display apparatus of vehicle
JP2019074862A (ja) 推奨運転出力装置、推奨運転出力システム、及び推奨運転出力方法
JP2022042284A (ja) オブジェクト認識制御装置、およびオブジェクト認識方法
JP6136237B2 (ja) 走行支援システム、走行支援方法及びコンピュータプログラム
JP2022140026A (ja) 画像処理装置、画像処理方法およびプログラム
KR102416767B1 (ko) 자동차의 조건부 제한속도 표시 시스템
WO2022044396A1 (ja) オブジェクト認識制御装置、およびオブジェクト認識方法
JP2021146804A (ja) 情報処理装置、車両及び情報処理方法
JP2022042283A (ja) オブジェクト認識制御装置、およびオブジェクト認識方法

Legal Events

Date Code Title Description
ENP Entry into the national phase

Ref document number: 2021559927

Country of ref document: JP

Kind code of ref document: A

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 21860826

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 21860826

Country of ref document: EP

Kind code of ref document: A1