JP2020027380A - 認識処理装置、認識処理方法及び認識処理プログラム - Google Patents

認識処理装置、認識処理方法及び認識処理プログラム Download PDF

Info

Publication number
JP2020027380A
JP2020027380A JP2018150967A JP2018150967A JP2020027380A JP 2020027380 A JP2020027380 A JP 2020027380A JP 2018150967 A JP2018150967 A JP 2018150967A JP 2018150967 A JP2018150967 A JP 2018150967A JP 2020027380 A JP2020027380 A JP 2020027380A
Authority
JP
Japan
Prior art keywords
vehicle
person
detection unit
recognition processing
heat
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2018150967A
Other languages
English (en)
Other versions
JP7056458B2 (ja
Inventor
卓也 小倉
Takuya Ogura
卓也 小倉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
JVCKenwood Corp
Original Assignee
JVCKenwood Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by JVCKenwood Corp filed Critical JVCKenwood Corp
Priority to JP2018150967A priority Critical patent/JP7056458B2/ja
Priority to PCT/JP2019/009896 priority patent/WO2020031413A1/ja
Priority to EP19846815.9A priority patent/EP3836074A4/en
Priority to CN201980004902.3A priority patent/CN111183430B/zh
Publication of JP2020027380A publication Critical patent/JP2020027380A/ja
Priority to US16/886,603 priority patent/US11465629B2/en
Application granted granted Critical
Publication of JP7056458B2 publication Critical patent/JP7056458B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/02—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
    • B60W40/04—Traffic conditions
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R21/00—Arrangements or fittings on vehicles for protecting or preventing injuries to occupants or pedestrians in case of accidents or other traffic risks
    • B60R21/01—Electrical circuits for triggering passive safety arrangements, e.g. airbags, safety belt tighteners, in case of vehicle accidents or impending vehicle accidents
    • B60R21/013—Electrical circuits for triggering passive safety arrangements, e.g. airbags, safety belt tighteners, in case of vehicle accidents or impending vehicle accidents including means for detecting collisions, impending collisions or roll-over
    • B60R21/0134—Electrical circuits for triggering passive safety arrangements, e.g. airbags, safety belt tighteners, in case of vehicle accidents or impending vehicle accidents including means for detecting collisions, impending collisions or roll-over responsive to imminent contact with an obstacle, e.g. using radar systems
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W60/00—Drive control systems specially adapted for autonomous road vehicles
    • B60W60/001—Planning or execution of driving tasks
    • B60W60/0015—Planning or execution of driving tasks specially adapted for safety
    • B60W60/0017—Planning or execution of driving tasks specially adapted for safety of other traffic participants
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G06V10/12—Details of acquisition arrangements; Constructional details thereof
    • G06V10/14—Optical characteristics of the device performing the acquisition or on the illumination arrangements
    • G06V10/143—Sensing or illuminating at different wavelengths
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G08G1/166—Anti-collision systems for active traffic, e.g. moving vehicles, pedestrians, bikes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R21/00—Arrangements or fittings on vehicles for protecting or preventing injuries to occupants or pedestrians in case of accidents or other traffic risks
    • B60R2021/003—Arrangements or fittings on vehicles for protecting or preventing injuries to occupants or pedestrians in case of accidents or other traffic risks characterised by occupant or pedestian
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40—Photo, light or radio wave sensitive means, e.g. infrared sensors
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40—Photo, light or radio wave sensitive means, e.g. infrared sensors
    • B60W2420/403—Image sensing, e.g. optical camera
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2554/00—Input parameters relating to objects
    • B60W2554/40—Dynamic objects, e.g. animals, windblown objects
    • B60W2554/402—Type
    • B60W2554/4029—Pedestrians

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Mechanical Engineering (AREA)
  • Automation & Control Theory (AREA)
  • Transportation (AREA)
  • Human Computer Interaction (AREA)
  • Mathematical Physics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Traffic Control Systems (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

【課題】検出した他車両から人物が降車する可能性を見極めて、迅速に当該人物を検出することができる認識処理装置、認識処理方法及び認識処理プログラムを提供する。【解決手段】認識処理装置１０は、遠赤外線カメラ２０が自車両の周囲を撮影した第１撮影データを取得する映像取得部１１と、自車両の周囲で駐停車している他車両を検出する他車両検出部１２と、第１撮影データの他車両に対応する領域の熱分布から、他車両の動作に基づく放熱を検出する熱検出部１３と、放熱を検出したときに、他車両近傍に対して優先的に人物認識を実行して人物を検出する人物検出部１４とを備える。【選択図】図１

Description

本発明は、認識処理装置、認識処理方法及び認識処理プログラムに関する。
自車両の周囲を撮影した映像から他車両、人物等を検出し、運転者に通知する技術が知られている。例えば、特許文献１には、駐停車車両の背後などから飛び出す可能性のある歩行者を迅速に検出する技術が開示されている。
特開２０１７−１６７６０８号公報
自車両の進行方向に駐停車している（特に、路上に駐停車している）他車両の多くは、一時的な停止である停車をしていることが多く、停車した他車両から人が降りてくる可能性がある。しかしながら、特許文献１記載の技術では、検出した他車両から人物が降車する可能性を見極めて、迅速に当該人物を検出することが困難であった。
本発明は、このような問題を解決するためになされたものであり、検出した他車両から人物が降車する可能性を見極めて、迅速に当該人物を検出することができる認識処理装置、認識処理方法及び認識処理プログラムを提供することを目的とする。
本発明は、遠赤外線カメラが自車両の周囲を撮影した第１撮影データを取得する映像取得部と、自車両の周囲で駐停車している他車両を検出する他車両検出部と、第１撮影データの当該他車両に対応する領域の熱分布から、当該他車両の動作に基づく放熱を検出する熱検出部と、当該放熱を検出したときに、当該他車両近傍に対して優先的に人物認識を実行して人物を検出する人物検出部とを備える認識処理装置を提供する。
また、本発明は、遠赤外線カメラが自車両の周囲を撮影した第１撮影データを取得するステップと、自車両の周囲で駐停車している他車両を検出するステップと、第１撮影データの当該他車両に対応する領域の熱分布から、当該他車両の動作に基づく放熱を検出するステップと、当該放熱を検出したときに、当該他車両近傍に対して優先的に人物認識を実行して人物を検出するステップとを有する認識処理方法を提供する。
また、本発明は、コンピュータに、遠赤外線カメラが自車両の周囲を撮影した第１撮影データを取得する手順と、自車両の周囲で駐停車している他車両を検出する手順と、第１撮影データの当該他車両に対応する領域の熱分布から、当該他車両の動作に基づく放熱を検出する手順と、当該放熱を検出したときに、当該他車両近傍に対して優先的に人物認識を実行して人物を検出する手順とを実行させるための認識処理プログラムを提供する。
本発明により、検出した他車両から人物が降車する可能性を見極めて、迅速に当該人物を検出する認識処理装置、認識処理方法及び認識処理プログラムを提供することができる。
実施の形態に係る認識システム１の概略構成を示すブロック図である。 実施の形態に係る認識処理方法の処理手順を示すフローチャートである。 実施の形態に係る遠赤外線画像の熱分布を説明するための図である。 実施の形態に係る遠赤外線画像の熱分布を説明するための図である。
以下、図面を参照して本実施の形態に係る認識処理装置及び認識処理方法について説明する。
まずは、本実施の形態に係る認識処理装置を備えた認識システムの構成について説明する。
図１は、本実施の形態に係る認識システム１の概略構成を示すブロック図である。
認識システム１は、車両において用いられるシステムであり、認識処理装置１０、遠赤外線カメラ２０、可視光カメラ３０、辞書データ記憶装置４０、表示装置５０などを備える。
認識処理装置（制御装置）１０は、遠赤外線カメラ２０又は可視光カメラ３０が撮影した映像から認識システム１を搭載した自車両の周辺で駐停車している他車両を検出し、当該他車両の動作に基づく放熱（発熱）を検出する。なお、車両の動作に基づく放熱とは、例えば、車両前部のボンネットやフロントグリルからの放熱、車両後部の排気筒（排気口）からの放熱、タイヤ及びその周辺からの放熱などを指す。また、夜間であれば、ヘッドライト、テールランプからの放熱も含まれる。
また、認識処理装置１０は、動作に基づく放熱をしている他車両の近傍において人物を検出し、必要に応じて映像又は音声により自車両の運転者に通知をする。また、認識処理装置１０は、認識システム１全体の動作の制御を行う。
遠赤外線カメラ２０、可視光カメラ３０は、例えば、自車両のフロントグリル又はその周辺部分に設けられ、自車両の周囲、特に、自車両の進行方向の遠赤外線映像（第１撮影データ）、可視光映像（第２撮影データ）を撮影して認識処理装置１０に出力する。
なお、本実施の形態に係る認識システム１では、遠赤外線映像、可視光映像の両方を用いて他車両及び人物を検出するときは、事前にキャリブレーションなどによりこれらの映像における被写***置の対応関係を明確にしておくことが望ましい。
また、本実施の形態に係る認識システム１では、遠赤外線カメラ２０、可視光カメラ３０の２台のカメラを用いる代わりに、遠赤外線カメラ及び可視光カメラの機能を兼ね備えた１台のカメラを用いて、赤外線映像及び可視光映像をそれぞれ撮影するようにしても良いし、可視領域及び遠赤外領域を含む映像を撮影することができる１台のカメラを用いて、撮影後に当該映像から可視光映像及び遠赤外線映像を分離するようにしても良い。
辞書データ記憶装置４０は、車両検出辞書（車両認識辞書）、人物検出辞書（人物認識辞書）、乗降者検出辞書（乗降者認識辞書）などの様々な検出辞書を記憶する。これらの辞書は車両、歩行者などの人物、車両の乗降者が写った映像（画像）などを機械学習して作成したもので、認識処理装置１０が、遠赤外線映像又は可視光映像から他車両、歩行者、他車両の乗降者を検出するときに用いられる。
例えば、乗降者検出辞書は、人物が車両から降りるときのシートに座っている状態から車両の外に立つ状態までの姿勢変化の映像及び人物が車両に乗るときの車両の外に立っている状態からシートに座る状態までの姿勢変化の映像を当該車両の前方又は後方から撮影し、それらの映像を機械学習して作成したものである。
表示装置５０は、認識処理装置１０の制御に従い、映像を表示して自車両の運転者に通知する。
なお、認識処理装置１０は、上記動作を行うために、映像取得部１１、他車両検出部１２、熱検出部１３、人物検出部１４、通知制御部１５、表示制御部１６、バスライン１７などを備える。
映像取得部１１は、遠赤外線カメラ２０、可視光カメラ３０から遠赤外線映像、可視光映像を入力し、これらの映像に各種の画像処理を施す。
他車両検出部１２は、辞書データ記憶装置４０から読み出した車両検出辞書を用いて、遠赤外線映像又は可視光映像から自車両周辺の他車両を検出する。
熱検出部１３は、自車両周辺で駐停車している他車両の遠赤外線映像、すなわち、熱画像における熱分布から、当該他車両の動作に基づく放熱を検出する。
人物検出部１４は、自車両周辺で駐停車している他車両から動作に基づく放熱を検出したときに、人物検出辞書又は乗降者検出辞書を用いて、遠赤外線映像又は可視光映像の当該他車両近傍領域から、当該他車両から降車した人物、降車しようとしている人物又は当該他車両に乗車しようとしている人物を検出する。他車両近傍領域とは、例えば、当該他車両の周囲２〜３ｍまでに対応する領域である。この領域の大きさはもちろん変更可能である。
また、人物検出部１４は、自車両周辺の駐停車している他車両から動作に基づく放熱を検出しなかったときに、人物検出辞書を用いて、遠赤外線映像又は可視光映像のフレーム全体又はその一部から歩行者などの人物を検出する。
通知制御部１５は、検出した人物に関する情報を音声により自車両の運転者に通知するための制御を行う。音声は認識処理装置１０から出力されても良いし、表示装置５０など認識システム１内外の装置から出力されても良い。
表示制御部１６は、検出した人物に関する情報を映像又は画像により自車両の運転者に通知するための制御を行う。当該映像等は表示装置５０に表示される。
なお、認識処理装置１０の一部の構成については、通信手段を介して接続される認識システム１外の装置など（図示せず）を代用しても良い。例えば、他車両検出部１２、人物検出部１４については、通信手段を介して接続される認識システム１外の認識サーバを代用しても良い。
また、認識処理装置１０が実現する各構成要素は、例えば、コンピュータである認識処理装置１０が備える演算装置（図示せず）の制御によって、プログラムを実行することによって実現できる。より具体的には、認識処理装置１０は、記憶部（図示せず）に格納したプログラムを主記憶装置（図示せず）にロードし、演算装置の制御によってプログラムを実行して実現する。
また、各構成要素は、プログラムによるソフトウェアで実現することに限ることなく、ハードウェア、ファームウェア及びソフトウェアのうちのいずれかの組み合わせなどにより実現しても良い。
上述したプログラムは、様々なタイプの非一時的なコンピュータ可読媒体（non-transitory computer readable medium）を用いて格納され、認識処理装置１０に供給することができる。非一時的なコンピュータ可読媒体は、様々なタイプの実体のある記録媒体（tangible storage medium）を含む。
非一時的なコンピュータ可読媒体の例は、磁気記録媒体（例えば、フレキシブルディスク、磁気テープ、ハードディスクドライブ）、光磁気記録媒体（例えば、光磁気ディスク）、ＣＤ−ＲＯＭ（Read Only Memory）、ＣＤ−Ｒ、ＣＤ−Ｒ／Ｗ、半導体メモリ（例えば、マスクＲＯＭ、ＰＲＯＭ（Programmable ROM）、ＥＰＲＯＭ（Erasable PROM）、フラッシュＲＯＭ、ＲＡＭ（random access memory））を含む。
また、プログラムは、様々なタイプの一時的なコンピュータ可読媒体（transitory computer readable medium）によって認識処理装置１０に供給されても良い。一時的なコンピュータ可読媒体の例は、電気信号、光信号及び電磁波を含む。一時的なコンピュータ可読媒体は、電線及び光ファイバなどの有線通信路、又は、無線通信路を介して、プログラムを認識処理装置１０に供給できる。
次に、本実施の形態に係る認識システム１の動作、すなわち、認識処理方法について説明する。
図２は、本実施の形態に係る認識処理方法の処理手順を示すフローチャートである。
認識システム１が動作を開始すると、遠赤外線カメラ２０、可視光カメラ３０が自車両の進行方向、例えば、自車両の前方の遠赤外線映像、可視光映像を撮影し、映像取得部１１がこれらの映像を取得する（ステップＳ１０）。なお、遠赤外線映像、可視光映像の撮影は、自車両が走行しているとき、駐停車しているときのいずれにおいても可能である。
次に、他車両検出部１２が、車両検出辞書を用いて遠赤外線映像又は可視光映像から他車両を検出する（ステップＳ２０）。他車両の検出には通常の画像認識処理を用いれば良い。
そして、他車両を検出したかを判定し（ステップＳ３０）、他車両を検出したとき（ステップＳ３０のＹｅｓ）には、当該他車両が駐停車しているかを判定する（ステップＳ４０）。
他車両が駐停車しているかを判定するときは、具体的には、当該他車両が停止しているか、また、当該他車両の位置、状態がどのようになっているかを判定基準とする。
例えば、検出した他車両とその周囲の物体（路面、建造物など）との位置関係が一定であるときは、当該他車両は停止していると判定する。
また、停止している他車両が、自車両の走行車線よりも左側にあるとき、車道外側線を跨いでいるとき、ハザードランプを点灯しているとき、ブレーキランプが点灯していないときに、当該他車両は駐停車していると判定する。
なお、検出した他車両が対向車である場合、特に、車道中央線がないような道路環境における対向車についても、同様に判定をすることができる。
検出した他車両が駐停車していると判定したとき（ステップＳ４０のＹｅｓ）は、熱検出部１３が遠赤外線画像の当該他車両の領域の熱分布に基づいて、当該他車両からの放熱を検出する（ステップＳ５０）。
図３、４は、本実施の形態に係る遠赤外線画像の熱分布を説明するための図である。図３、４では、図面を分りやすくするために、輝度の高い領域、すなわち、温度の高い領域にハッチングを付している。
図３は、他車両２００が自車両と同じ方向を向いているときの図であり、排気筒（排気口）、タイヤなどの部分が当該他車両の動作に基づく放熱により温度が高くなっている。図４は、他車両３００が自車両と逆方向を向いているときの図である。ボンネット、フロントグリル、タイヤなどの部分が同様に温度が高くなっている。なお、夜間であれば、テールランプ、ヘッドライトなどの部分の温度が高くなっていることもある。
次に、当該他車両が動作に基づく放熱をしているか判定する（ステップＳ６０）。ここでは、図３、４でハッチングを付した部分がその周辺部分や路面の温度などよりも所定値以上温度が高い、例えば、５℃以上温度が高ければ動作に基づく放熱をしていると判定する。言い換えると、他車両において、動作することで発熱する箇所が他の部分に比べて相対的に温度が高い場合に、動作に基づく放熱をしていると判定する。
そして、当該他車両が動作に基づく放熱をしていると判定したとき（ステップＳ６０のＹｅｓ）は、人物検出部１４が遠赤外線映像又は可視光映像の当該他車両の近傍領域を優先的に検出対象領域にして、辞書データ記憶装置４０から読み出した人物検出辞書又は乗降者検出辞書を用いて、当該他車両の乗降者を検出する（ステップＳ７０）。乗降者の検出にも通常の画像認識処理を用いれば良い。乗降者検出辞書を用いれば、乗降者をより精度良く検出することができる。
また、乗降者は歩行者よりも姿勢の変化が大きいので、複数フレームの人物の姿勢の変化に基づいて乗降者を検出しても良い。検出した人物の画像における高さに基づいて、当該人物を乗降者又は歩行者と判別しても良い。
また、人物検出部１４は、当該他車両の近傍領域を優先的に検出対象領域にして、当該他車両の乗降者を検出した後に（又は、検出しなかった後に）、遠赤外線映像又は可視光映像のフレーム全体又はその一部を検出対象領域にして、歩行者などを検出しても良い。
また、当該他車両が動作に基づく放熱をしていないと判定したとき（ステップＳ６０のＮｏ）は、人物検出部１４が遠赤外線映像又は可視光映像のフレーム全体又はその一部を検出対象領域にして、辞書データ記憶装置４０から読み出した人物検出辞書を用いて、歩行者などを検出する（ステップＳ８０）。歩行者の検出にも通常の画像認識処理を用いれば良い。ステップＳ８０では、映像（画像）において、人間の存在する可能性がある範囲を、例えば、エッジ検出処理などによって特定しても良い。
次に、ステップＳ７０又はステップＳ８０において、他車両の乗降者、歩行者などを検出したかを判定する（ステップＳ９０）。
乗降者、歩行者などを検出したと判定したとき（ステップＳ９０のＹｅｓ）は、通知制御部１５が音声などにより、自車両の運転者に乗降者などを検出したことを通知し、又は、表示制御部１６が表示装置５０に乗降者などを検出した旨を表示する（ステップＳ１００）。
そして、認識処理方法を終了するかを判定し（ステップＳ１１０）、終了すると判定したとき（ステップＳ１１０のＹｅｓ）は処理を終了し、終了しないと判定したとき（ステップＳ１１０のＮｏ）は、例えば、次の映像を取得する（ステップＳ１０）ようにする。
なお、他車両検出部１２が他車両を検出しなかったとき（ステップＳ３０のＮｏ）、検出した他車両が駐停車していないと判定したとき（ステップＳ４０のＮｏ）も、人物検出部１４が遠赤外線映像又は可視光映像の各フレームの全体又は一部を検出対象領域にして歩行者などを検出する（ステップＳ８０）。
また、乗降者、歩行者などを検出しないと判定したとき（ステップＳ９０のＮｏ）は、認識処理方法を終了するかを判定する（ステップＳ１１０）。
このように、本実施の形態に係る認識システム１又は認識処理方法は、映像から検出した他車両からの放熱の有無に基づいて、当該他車両から人物が降車する可能性を見極めて、迅速に当該人物を検出することができる。
なお、本実施の形態に係る認識システム１又は認識方法では、いろいろな追加、修正又は変更が可能である。
上述したように、他車両検出部１２及び人物検出部１４はそれぞれ遠赤外線映像及び可視光映像を用いて他車両及び人物（乗降者、歩行者など）を検出することができるが、遠赤外線映像又は可視光映像の一方だけを用いて他車両及び人物を検出することもできる。例えば、遠赤外線映像を用いて他車両を検出し、可視光映像を用いて人物を検出するようなこともできる。
また、他車両検出部１２及び人物検出部１４は遠赤外線映像だけを用いて他車両及び人物を検出することもできる。このときは、可視光映像は不要となり、更には、可視光カメラ３０も不要となる。すなわち、認識システム１は、可視光カメラ３０を備えないような構成であっても良い。
また、検出した他車両が動作に基づく放熱をしているかを判定するとき（ステップＳ６０）に、他車両のどの部分が放熱しているかに応じて、その後の人物検出部１４の処理（ステップＳ７０、ステップＳ８０）を選択しても良い。
例えば、排気筒付近で放熱しているときは、エンジンが動作中であるか、エンジン停止後に時間が経過していないとして、乗降者の検出（ステップ７０）を優先して行い、排気筒付近で放熱していないときは、エンジン停止から時間が経過しているとして歩行者の検出（ステップＳ８０）を行っても良い。
また、排気筒付近、タイヤ付近でともに放熱しているときは、エンジンが動作中であるか、エンジン停止から時間が経過しておらず、更に、走行停止から時間が経過していないとして、乗降者の検出（ステップ７０）を優先して行い、排気筒付近で放熱しているが、タイヤ付近で放熱していないときは、エンジンが動作中であるか、エンジン停止から時間が経過しておらず、しかしながら、走行停止から時間が経過しているとして歩行者の検出（ステップＳ８０）を行っても良い。
また、タイヤ付近で放熱しているときは、走行停止から時間が経過していないとして、乗降者の検出（ステップ７０）を優先して行い、タイヤ付近で放熱していないときは、走行停止から時間が経過しているとして歩行者の検出（ステップＳ８０）を行っても良い。
また、検出した他車両が動作に基づく放熱をしているか判定する（ステップＳ６０）ときに、排気筒、タイヤなどの部分と、周辺部分、路面の温度などとの比較に基づいて判定する代わりに、排気筒、タイヤなどの部分の検出温度に基づいて判定しても良い。例えば、排気筒の検出温度が所定値（例えば、４０℃）以上であるときに、検出した他車両が動作に基づく放熱をしていると判定しても良い。
また、検出した他車両が動作に基づく放熱をしているか判定する（ステップＳ６０）ときに、当該他車両の温度が高い部分の範囲に基づいて判定しても良い。
また、認識システム１の構成は、上記に限られるものではなく、複数の装置、例えば、認識処理装置１０及び辞書データ記憶装置４０を一体化して、辞書データ記憶部を備えた認識処理装置としても良い。また、認識システム１の全ての構成を一体化して、遠赤外線カメラ、可視光カメラ、辞書データ記憶部、表示部を備えた認識処理装置としても良い。
また、自車両における利用も、自車両に一部又は全部が搭載されている形態に加えて運搬可能又は後付け可能に自車両に搭載されている形態であっても良い。
また、他車両検出部１２、人物検出部１４は、車両、人物などの画像を機械学習して作成した辞書を用いる画像認識に代えて、又は、機械学習して作成した辞書を用いる画像認識に加えて、例えば、他車両、人物などのテンプレートを用いたパターンマッチングなどの別の画像認識を行うようにしても良い。
以上、説明したように、本実施の形態に係る認識処理装置１０は、遠赤外線カメラ２０が自車両の周囲を撮影した第１撮影データを取得する映像取得部１１と、自車両の周囲で駐停車している他車両を検出する他車両検出部１２と、第１撮影データの当該他車両に対応する領域の熱分布から、他車両の動作に基づく放熱を検出する熱検出部１３と、当該放熱を検出したときに、他車両近傍に対して優先的に人物認識を実行して人物を検出する人物検出部１４とを備えるものである。
また、本実施の形態に係る認識処理装置１０は、他車両検出部１２が第１撮影データから他車両を検出し、人物検出部１４が第１撮影データから人物を検出することも可能である。
また、本実施の形態に係る認識処理装置１０は、映像取得部１１は可視光カメラ３０が自車両の周囲を撮影した第２撮影データを更に取得し、他車両検出部１２が第１撮影データから他車両を検出し、人物検出部１４が第２撮影データから人物を検出することも可能である。
また、本実施の形態に係る認識処理装置１０は、映像取得部１１は可視光カメラ３０が自車両の周囲を撮影した第２撮影データを更に取得し、他車両検出部１２が第２撮影データから他車両を検出し、人物検出部１４が第１撮影データから人物を検出することも可能である。
また、本実施の形態に係る認識処理装置１０は、映像取得部１１は可視光カメラ３０が自車両の周囲を撮影した第２撮影データを更に取得し、他車両検出部１２が第２撮影データから他車両を検出し、人物検出部１４が第２撮影データから人物を検出することも可能である。
また、本実施の形態に係る認識処理装置１０は、人物検出部１４は、熱検出部１３が当該放熱を検出したときに、他車両近傍の範囲に対し、乗降者認識辞書を用いた人物認識を優先的に実行して人物を検出することも可能である。
また、本実施の形態に係る認識処理装置１０は、熱検出部１３が、第１撮影データの他車両に対応する領域の熱分布の範囲から、当該他車両の動作に基づく放熱を検出することも可能である。
また、本実施の形態に係る認識処理装置１０は、人物検出部１４が人物を検出したときに、自車両の運転者に人物を検出したことを通知する通知制御部１５を更に備えることも可能である。
また、本実施の形態に係る認識処理方法は、遠赤外線カメラ２０が自車両の周囲を撮影した第１撮影データを取得するステップＳ１０と、自車両の周囲で駐停車している他車両を検出するステップＳ２０と、第１撮影データの当該他車両に対応する領域の熱分布から、他車両の動作に基づく放熱を検出するステップＳ５０と、放熱を検出したときに、他車両近傍に対して優先的に人物認識を実行して人物を検出するステップＳ７０とを有するものである。
１ 認識システム
１０ 認識処理装置（制御装置）
１１ 映像取得部
１２ 他車両検出部
１３ 熱検出部
１４ 人物検出部
１５ 通知制御部
１６ 表示制御部
２０ 遠赤外線カメラ
３０ 可視光カメラ
４０ 辞書データ記憶装置
５０ 表示装置
２００、３００ 他車両

Claims (10)

  1. 遠赤外線カメラが自車両の周囲を撮影した第１撮影データを取得する映像取得部と、
    自車両の周囲で駐停車している他車両を検出する他車両検出部と、
    前記第１撮影データの前記他車両に対応する領域の熱分布から、前記他車両の動作に基づく放熱を検出する熱検出部と、
    前記放熱を検出したときに、前記他車両近傍に対して優先的に人物認識を実行して人物を検出する人物検出部と
    を備える認識処理装置。
  2. 前記他車両検出部は、前記第１撮影データから前記他車両を検出し、
    前記人物検出部は、前記第１撮影データから前記人物を検出する
    請求項１記載の認識処理装置。
  3. 前記映像取得部は、可視光カメラが自車両の周囲を撮影した第２撮影データを更に取得し、
    前記他車両検出部は、前記第１撮影データから前記他車両を検出し、
    前記人物検出部は、前記第２撮影データから前記人物を検出する
    請求項１記載の認識処理装置。
  4. 前記映像取得部は、可視光カメラが自車両の周囲を撮影した第２撮影データを更に取得し、
    前記他車両検出部は、前記第２撮影データから前記他車両を検出し、
    前記人物検出部は、前記第１撮影データから前記人物を検出する
    請求項１記載の認識処理装置。
  5. 前記映像取得部は、可視光カメラが自車両の周囲を撮影した第２撮影データを更に取得し、
    前記他車両検出部は、前記第２撮影データから前記他車両を検出し、
    前記人物検出部は、前記第２撮影データから前記人物を検出する
    請求項１記載の認識処理装置。
  6. 前記人物検出部は、前記放熱を検出したときに、前記他車両近傍の範囲に対し、乗降者認識辞書を用いた人物認識を優先的に実行して人物を検出する、
    請求項１乃至請求項５のいずれか１項記載の認識処理装置。
  7. 前記熱検出部は、前記第１撮影データの前記他車両の動作によって発熱する領域の熱分布から、前記他車両の動作に基づく放熱を検出する、
    請求項１乃至請求項６のいずれか１項記載の認識処理装置。
  8. 前記人物検出部が前記人物を検出したときに、自車両の運転者に前記人物を検出したことを通知する通知制御部を更に備える
    請求項１乃至請求項７のいずれか１項記載の認識処理装置。
  9. 遠赤外線カメラが自車両の周囲を撮影した第１撮影データを取得するステップと、
    自車両の周囲で駐停車している他車両を検出するステップと、
    前記第１撮影データの前記他車両に対応する領域の熱分布から、前記他車両の動作に基づく放熱を検出するステップと、
    前記放熱を検出したときに、前記他車両近傍に対して優先的に人物認識を実行して人物を検出するステップと
    を有する認識処理方法。
  10. コンピュータに、
    遠赤外線カメラが自車両の周囲を撮影した第１撮影データを取得する手順と、
    自車両の周囲で駐停車している他車両を検出する手順と、
    前記第１撮影データの前記他車両に対応する領域の熱分布から、前記他車両の動作に基づく放熱を検出する手順と、
    前記放熱を検出したときに、前記他車両近傍に対して優先的に人物認識を実行して人物を検出する手順と
    を実行させるための認識処理プログラム。
JP2018150967A 2018-08-10 2018-08-10 認識処理装置、認識処理方法及び認識処理プログラム Active JP7056458B2 (ja)

Priority Applications (5)

Application Number Priority Date Filing Date Title
JP2018150967A JP7056458B2 (ja) 2018-08-10 2018-08-10 認識処理装置、認識処理方法及び認識処理プログラム
PCT/JP2019/009896 WO2020031413A1 (ja) 2018-08-10 2019-03-12 認識処理装置、認識処理方法及び認識処理プログラム
EP19846815.9A EP3836074A4 (en) 2018-08-10 2019-03-12 RECOGNITION PROCESSING DEVICE, RECOGNITION PROCESSING AND RECOGNITION PROCESSING PROGRAM
CN201980004902.3A CN111183430B (zh) 2018-08-10 2019-03-12 识别处理装置、识别处理方法以及记录介质
US16/886,603 US11465629B2 (en) 2018-08-10 2020-05-28 Recognition processing apparatus, recognition processing method, and recognition processing program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2018150967A JP7056458B2 (ja) 2018-08-10 2018-08-10 認識処理装置、認識処理方法及び認識処理プログラム

Publications (2)

Publication Number Publication Date
JP2020027380A true JP2020027380A (ja) 2020-02-20
JP7056458B2 JP7056458B2 (ja) 2022-04-19

Family

ID=69414656

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018150967A Active JP7056458B2 (ja) 2018-08-10 2018-08-10 認識処理装置、認識処理方法及び認識処理プログラム

Country Status (5)

Country Link
US (1) US11465629B2 (ja)
EP (1) EP3836074A4 (ja)
JP (1) JP7056458B2 (ja)
CN (1) CN111183430B (ja)
WO (1) WO2020031413A1 (ja)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021172092A1 (ja) * 2020-02-27 2021-09-02 ソニーグループ株式会社 情報処理装置、情報処理方法、及びプログラム
JP2021163401A (ja) * 2020-04-03 2021-10-11 戸田建設株式会社 人物検知システム、人物検知プログラム、学習済みモデル生成プログラム及び学習済みモデル
WO2022195970A1 (ja) 2021-03-19 2022-09-22 株式会社Ｊｖｃケンウッド 警告装置及び警告方法
WO2023095397A1 (ja) * 2021-11-25 2023-06-01 株式会社Ｊｖｃケンウッド 運転支援装置、運転支援方法

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20200342623A1 (en) * 2019-04-23 2020-10-29 Apple Inc. Systems and methods for resolving hidden features in a field of view
KR102363348B1 (ko) * 2021-12-07 2022-02-15 주식회사 두루스코이브이 스토퍼형 충전장치 및 그 장치의 구동방법

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006350699A (ja) * 2005-06-16 2006-12-28 Nissan Motor Co Ltd 画像処理装置及び方法
JP2007241898A (ja) * 2006-03-10 2007-09-20 Honda Motor Co Ltd 停止車両分別検出装置および車両の周辺監視装置
JP2017167608A (ja) * 2016-03-14 2017-09-21 株式会社Ｊｖｃケンウッド 物体認識装置、物体認識方法及び物体認識プログラム
WO2017158983A1 (ja) * 2016-03-18 2017-09-21 株式会社Ｊｖｃケンウッド 物体認識装置、物体認識方法及び物体認識プログラム

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4793638B2 (ja) * 2006-03-27 2011-10-12 マツダ株式会社 車両用歩行者検出装置
US8478480B2 (en) * 2006-10-27 2013-07-02 International Electronic Machines Corp. Vehicle evaluation using infrared data
JP2009033718A (ja) * 2007-06-28 2009-02-12 Olympus Imaging Corp 電子カメラ
EP2588847B1 (en) * 2010-06-29 2016-07-13 Hager Environmental and Atmospheric Technologies, LLC Device and method for quantification of gases in plumes by remote sensing
US8509982B2 (en) * 2010-10-05 2013-08-13 Google Inc. Zone driving
JP5529910B2 (ja) * 2012-03-12 2014-06-25 本田技研工業株式会社 車両周辺監視装置
US9604639B2 (en) * 2015-08-28 2017-03-28 Delphi Technologies, Inc. Pedestrian-intent-detection for automated vehicles
US10152649B2 (en) * 2015-12-01 2018-12-11 Mobileye Vision Technologies Ltd. Detecting visual information corresponding to an animal
CN105551178A (zh) * 2015-12-14 2016-05-04 国网山东省电力公司青岛供电公司 一种电网智能监控告警方法及装置
CN105862556A (zh) * 2016-05-30 2016-08-17 江苏智途科技股份有限公司 智能车载道路信息采集装置以及采集道路信息的方法
KR101967305B1 (ko) * 2016-10-14 2019-05-15 주식회사 만도 차량의 보행자 인식 방법 및 차량의 보행자 인식 시스템
KR101996419B1 (ko) * 2016-12-30 2019-07-04 현대자동차주식회사 센서 융합 기반 보행자 탐지 및 보행자 충돌 방지 장치 및 방법
JP2018150967A (ja) 2017-03-10 2018-09-27 倉敷紡績株式会社 管継手

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006350699A (ja) * 2005-06-16 2006-12-28 Nissan Motor Co Ltd 画像処理装置及び方法
JP2007241898A (ja) * 2006-03-10 2007-09-20 Honda Motor Co Ltd 停止車両分別検出装置および車両の周辺監視装置
JP2017167608A (ja) * 2016-03-14 2017-09-21 株式会社Ｊｖｃケンウッド 物体認識装置、物体認識方法及び物体認識プログラム
WO2017158983A1 (ja) * 2016-03-18 2017-09-21 株式会社Ｊｖｃケンウッド 物体認識装置、物体認識方法及び物体認識プログラム

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021172092A1 (ja) * 2020-02-27 2021-09-02 ソニーグループ株式会社 情報処理装置、情報処理方法、及びプログラム
JP2021163401A (ja) * 2020-04-03 2021-10-11 戸田建設株式会社 人物検知システム、人物検知プログラム、学習済みモデル生成プログラム及び学習済みモデル
JP7280852B2 (ja) 2020-04-03 2023-05-24 戸田建設株式会社 人物検知システム、人物検知プログラム、学習済みモデル生成プログラム及び学習済みモデル
WO2022195970A1 (ja) 2021-03-19 2022-09-22 株式会社Ｊｖｃケンウッド 警告装置及び警告方法
WO2023095397A1 (ja) * 2021-11-25 2023-06-01 株式会社Ｊｖｃケンウッド 運転支援装置、運転支援方法

Also Published As

Publication number Publication date
US11465629B2 (en) 2022-10-11
JP7056458B2 (ja) 2022-04-19
US20200290623A1 (en) 2020-09-17
CN111183430A (zh) 2020-05-19
CN111183430B (zh) 2023-10-27
WO2020031413A1 (ja) 2020-02-13
EP3836074A4 (en) 2021-09-15
EP3836074A1 (en) 2021-06-16

Similar Documents

Publication Publication Date Title
WO2020031413A1 (ja) 認識処理装置、認識処理方法及び認識処理プログラム
WO2016147584A1 (ja) 車両監視装置、車両監視方法、及び、車両監視プログラム
JP2008009654A (ja) 車輌用表示装置
US20180335633A1 (en) Viewing direction detector and viewing direction detection system
US10247551B2 (en) Vehicle image processing device for environment recognition
JP5955357B2 (ja) 照射制御装置
JP2006341713A (ja) ヘッドライト照射方向変更システム、及びヘッドライト照射方向変更方法
JP7426607B2 (ja) 映像表示システム、映像表示方法、及び、車両
JP2019028959A (ja) 画像登録装置、画像登録システムおよび画像登録方法
JP2004328240A (ja) 周辺画像表示装置
JP6329438B2 (ja) 車外環境認識装置
JP2013114536A (ja) 安全支援装置、及び、安全支援方法
WO2022190166A1 (ja) 画像処理装置、画像処理方法、及び、画像処理プログラム
JP2016076912A (ja) 撮影画像表示装置、撮影画像表示方法および撮影画像表示プログラム
KR101762726B1 (ko) Avm 시스템에서의 탑뷰 영상 생성 방법 및 그 avm 시스템
JP6322723B2 (ja) 撮像装置および車両
WO2020129517A1 (ja) 画像処理装置
JP2017163345A (ja) 車両用表示制御装置、車両用表示システム、車両用表示制御方法およびプログラム
WO2022195970A1 (ja) 警告装置及び警告方法
JP6523694B2 (ja) 車外環境認識装置
JP2007245970A (ja) 車両用照明装置
JP2015070280A (ja) 画像処理装置、カメラシステム、および画像処理方法
WO2023095397A1 (ja) 運転支援装置、運転支援方法
JP2016170575A (ja) 車両監視装置、車両監視方法、及び、車両監視プログラム
JP2012171387A (ja) 車両用表示装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20201225

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20211214

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220124

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20220308

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20220321

R150 Certificate of patent or registration of utility model

Ref document number: 7056458

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150