JP7262044B2 - 異常検出システム、移動体、異常検出方法、及びプログラム - Google Patents

異常検出システム、移動体、異常検出方法、及びプログラム Download PDF

Info

Publication number
JP7262044B2
JP7262044B2 JP2019023709A JP2019023709A JP7262044B2 JP 7262044 B2 JP7262044 B2 JP 7262044B2 JP 2019023709 A JP2019023709 A JP 2019023709A JP 2019023709 A JP2019023709 A JP 2019023709A JP 7262044 B2 JP7262044 B2 JP 7262044B2
Authority
JP
Japan
Prior art keywords
pixel
image
unit
pixel value
determination
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2019023709A
Other languages
English (en)
Other versions
JP2020136732A (ja
Inventor
真幸 福山
雅美 木岡
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Intellectual Property Management Co Ltd
Original Assignee
Panasonic Intellectual Property Management Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Panasonic Intellectual Property Management Co Ltd filed Critical Panasonic Intellectual Property Management Co Ltd
Priority to JP2019023709A priority Critical patent/JP7262044B2/ja
Publication of JP2020136732A publication Critical patent/JP2020136732A/ja
Application granted granted Critical
Publication of JP7262044B2 publication Critical patent/JP7262044B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Image Analysis (AREA)
  • Studio Devices (AREA)
  • Traffic Control Systems (AREA)

Description

本開示は、異常検出システム、移動体、異常検出方法、及びプログラムに関する。より詳細には、本開示は、撮像部から入力される画像データの異常を検出する異常検出システム、移動体、異常検出方法、及びプログラムに関する。
特許文献1は、カメラ(撮像部)と、カメラからの画像の濃度を認識する画像認識部と、画像認識部の認識結果に基づいて露出値を制御する露出値制御部と、画像認識部で演算処理された画像データを画像として表示するモニタとを有する画像処理装置を開示する。露出値制御部は、露出値を自動制御している露出値自動制御期間中に、露出値を最大露出値とする最大露出値期間、及び最小露出値とする最小露出値期間を挿入する。画像認識部は、露出値自動制御期間中に撮像された画像において所定の異常状態が検出された後に、当該異常状態が最小露出値期間又は最大露出値期間に撮像された画像においても検出された場合、当該異常状態がカメラの異常に起因するものと判定する。
特開2005-143083号公報
特許文献1の画像処理装置では、画像に発生した異常状態がカメラの異常に起因するものか否かを判定するために、露出値自動制御期間中にカメラの露出値を最大露出値及び最小露出値にそれぞれ調整する必要があった。
本開示の目的は、撮像部を調整することなく、画像の異常を検出可能な異常検出システム、移動体、異常検出方法、及びプログラムを提供することにある。
本開示の一態様の異常検出システムは、受付部と、判断部と、決定部と、を備える。前記受付部は、撮像部で撮影された画像の画像データを受け付ける。前記判断部は、注目画素の画素値に関する判断条件に基づいて、少なくとも前記注目画素の前記画素値が異常であるか否かを判断する。前記注目画素は、前記画像を構成する複数の画素のうち、少なくとも光源が存在する範囲の画素である。前記決定部は、周囲環境に関する環境情報に基づいて前記判断条件を決定する。前記注目画素は、前記画像から抽出された、前記光源が存在する範囲の部分画像を構成する画素を含む。前記部分画像は、前記光源による照明範囲を更に含む。前記判断条件は、前記注目画素の前記画素値が基準値以下であるという条件を含む。前記判断部は、前記注目画素の前記画素値が前記基準値以下の場合に前記注目画素の前記画素値が異常であると判断する。前記環境情報は、周囲の照度に関する情報を含む。前記決定部は、前記周囲の照度に関する情報に基づいて前記基準値を変更する。
本開示の一態様の移動体は、移動する移動体本体と、前記移動体本体に搭載される前記異常検出システムと、を備える。
本開示の一態様の異常検出方法は、受付処理と、判断処理と、決定処理と、を含む。前記受付処理では、撮像部で撮影された画像の画像データを受け付ける。前記判断処理では、注目画素の画素値に関する判断条件に基づいて、少なくとも前記注目画素の前記画素値が異常であるか否かを判断する。前記注目画素は、前記画像を構成する複数の画素のうち、少なくとも光源が存在する範囲の画素である。前記決定処理では、周囲環境に関する環境情報に基づいて前記判断条件を決定する。前記注目画素は、前記画像から抽出された、前記光源が存在する範囲の部分画像を構成する画素を含む。前記部分画像は、前記光源による照明範囲を更に含む。前記判断条件は、前記注目画素の前記画素値が基準値以下であるという条件を含む。前記判断処理は、前記注目画素の前記画素値が前記基準値以下の場合に前記注目画素の前記画素値が異常であると判断する。前記環境情報は、周囲の照度に関する情報を含む。前記決定処理は、前記周囲の照度に関する情報に基づいて前記基準値を変更する。
本開示の一態様のプログラムは、コンピュータシステムに、受付処理と、判断処理と、決定処理と、を実行させるためのプログラムである。前記受付処理では、撮像部で撮影された画像の画像データを受け付ける。前記判断処理では、注目画素の画素値に関する判断条件に基づいて、少なくとも前記注目画素の前記画素値が異常であるか否かを判断する。前記注目画素は、前記画像を構成する複数の画素のうち、少なくとも光源が存在する範囲の画素である。前記決定処理では、周囲環境に関する環境情報に基づいて前記判断条件を決定する。前記注目画素は、前記画像から抽出された、前記光源が存在する範囲の部分画像を構成する画素を含む。前記部分画像は、前記光源による照明範囲を更に含む。前記判断条件は、前記注目画素の前記画素値が基準値以下であるという条件を含む。前記判断処理は、前記注目画素の前記画素値が前記基準値以下の場合に前記注目画素の前記画素値が異常であると判断する。前記環境情報は、周囲の照度に関する情報を含む。前記決定処理は、前記周囲の照度に関する情報に基づいて前記基準値を変更する。
本開示によれば、撮像部を調整することなく、画像の異常を検出可能な異常検出システム、移動体、異常検出方法、及びプログラムを提供することができる。
図1は、本開示の一実施形態の異常検出システムを含む全体システムのブロック図である。 図2は、同上の異常検出システムを搭載した移動体の概略的な説明図である。 図3は、同上の異常検出システムが受け付ける前方カメラの画像の説明図である。 図4は、同上の異常検出システムが受け付ける後方カメラの画像の説明図である。 図5は、同上の異常検出システムの動作を説明するフローチャートである。
以下に説明する実施形態は、本開示の種々の実施形態の一つに過ぎない。本開示の実施形態は、下記実施形態に限定されることはなく、この実施形態以外も含み得る。また、下記の実施形態は、本開示に係る技術的思想を逸脱しない範囲であれば、設計等に応じて種々の変更が可能である。
(実施形態)
(1)概要
本実施形態の異常検出システム1は、図1に示すように、受付部11と、判断部12とを備える。
受付部11は、撮像部31で撮影された画像の画像データを受け付ける。
判断部12は、注目画素の画素値に関する判断条件に基づいて、少なくとも注目画素の画素値が異常であるか否かを判断する。注目画素は、画像を構成する複数の画素のうち、少なくとも光源41が存在する範囲の画素である。
以下では、本実施形態の異常検出システム1が、自動車のような移動体100(図2参照)に搭載され、移動体100の撮像部31(前方カメラ311及び後方カメラ312)で撮影される画像の画像データが異常であるか否かを判断する場合を例に説明を行う。
ここで、撮像部31及び撮像部31の画像データを異常検出システム1に出力するための回路(例えば、撮像部31の画像データについてノイズ除去等の前処理を行う前処理部32、及び撮像部31から異常検出システム1までの伝送路90等)が正常に動作している場合、注目画素の画素値は光源41の明るさに応じて画素値が変化する。例えば、光源41が点灯しているにもかかわらず、注目画素の画素値が光源41の明るさに応じた画素値よりも低い場合、撮像部31又は撮像部31の画像データを異常検出システム1に出力するための回路(例えば前処理部32又は伝送路90等)で異常が発生している可能性がある。したがって、判断部12は、少なくとも光源41が存在する範囲の注目画素の画素値に関する判断条件に基づいて、少なくとも注目画素の画素値が異常であるか否かを判断することができる。また、判断部12は、注目画素の画素値に基づいて異常の有無を判断しているので、特許文献1の画像処理装置のように、撮像部31を調整することなく、撮像部31で撮影された画像の異常を検出可能な異常検出システム1を提供することができる。また、撮像部31で撮影された画像を表示装置51に表示する場合、特許文献1のように撮像部の露出値を最大露出値又は最小露出値とする期間を設けていないので、表示装置51の表示がちらついたり、ユーザの視認性が低下したりする可能性を低減できる。
(2)詳細
本実施形態の異常検出システム1を含めた全体システムについて図1を参照して説明する。本実施形態の異常検出システム1は、自動車のような移動体100(図2参照)に用いられる。すなわち、本実施形態の移動体100は、移動する移動体本体101と、移動体本体101に搭載される異常検出システム1と、を備える。
(2.1)構成
本実施形態に係る異常検出システム1を含む全体システムについて図1~図5を参照して説明する。
移動体100の移動体本体101には、異常検出システム1と、カメラシステム30と、照明システム40と、表示システム50と、センサ60と、ECU(Electronic Control Unit)70とが搭載されている。異常検出システム1と、照明システム40と、センサ60と、ECU70とは、移動体100に設けられたCAN(Controller Area Network)80を介して通信を行う。また、カメラシステム30は、例えば、LVDS(Low voltage differential signaling)、又はMIPI(Mobile Industry Processor Interface)等の規格に準拠した伝送路90を介して画像データを表示システム50に送信する。異常検出システム1は、カメラシステム30から伝送路90を介して送信される画像データを受け付ける。以下、各部の構成について説明する。
(2.1.1)異常検出システム
異常検出システム1は、処理部10と、通信部21と、通知部22と、記憶部23と、を備える。
処理部10は、例えば、コンピュータシステムを含んでいる。コンピュータシステムは、ハードウェアとしてのプロセッサ及びメモリを主構成とする。コンピュータシステムのメモリに記録されたプログラムをプロセッサが実行することによって、異常検出システム1の機能(例えば、受付部11、判断部12、決定部13、不点灯検知部14、及び抽出部15等の機能)が実現される。プログラムは、コンピュータシステムのメモリ又は記憶部23に予め記録されている。なお、プログラムは、電気通信回線を通じて提供されてもよいし、コンピュータシステムで読み取り可能なメモリカード、光学ディスク、ハードディスクドライブ等の非一時的記録媒体に記録されて提供されてもよい。
受付部11は、撮像部31で撮影された画像の画像データを、カメラシステム30から通信部21を介して、定期的に受け付ける。本実施形態では、撮像部31は、移動体100の前方を撮影する前方カメラ311と、移動体100の後方を撮影する後方カメラ312とを含む(図2参照)。受付部11は、前方カメラ311及び後方カメラ312でそれぞれ撮影された画像の画像データを、通信部21を介して、定期的に受け付ける。なお、受付部11は、撮像部31の画像データを、撮像部31のフレームレート(例えば、60[fps])ごとに受け取ってもよいし、不定期の時間間隔で受け取ってもよい。
抽出部15は、受付部11が受け付けた画像から、光源41が存在する範囲を含む部分画像と、光源41による照明範囲を含む部分画像とを抽出する。移動体100には撮像部31として前方カメラ311と後方カメラ312とが設けられているので、抽出部15は、前方カメラ311の画像G1(図3参照)、及び、後方カメラ312の画像G2(図4参照)からそれぞれ部分画像を抽出する。
図3は前方カメラ311の画像G1の一例である。前方カメラ311の画像G1において、光源41である前照灯411が映る範囲及び前照灯411による照明範囲が映る範囲はそれぞれ既知である。したがって、抽出部15は、画像G1から、左右の前照灯411が存在する範囲を含む部分画像G11,G12と、前照灯411による照明範囲を含む部分画像G13とを抽出することができる。
また、図4は後方カメラ312の画像G2の一例である。後方カメラ312の画像G2において、光源41であるブレーキランプ414が映る範囲、及び、光源41であるバックライト412(図2参照)による照明範囲が映る範囲はそれぞれ既知である。したがって、抽出部15は、画像G2から、左右のブレーキランプ414が存在する範囲を含む部分画像G21,G22と、バックライト412による照明範囲を含む部分画像G23とを抽出することができる。すなわち、本実施形態では、部分画像G11,G12,G21,G22は、光源41(前照灯411及びブレーキランプ414)が存在する範囲を少なくとも含む。換言すれば、注目画素は、画像G1から抽出された、光源41(前照灯411及びブレーキランプ414)が存在する範囲の部分画像を構成する画素を含む。また、本実施形態では、部分画像G13,G23は、光源41(前照灯411及びバックライト412)による照明範囲を更に含んでいる。
判断部12は、抽出部15が抽出した部分画像G11~G13、G21~G23をそれぞれ構成する複数の画素を注目画素とする。ここで、注目画素は、光源41が存在する範囲の部分画像G11,G12,G21,G22を構成する画素と、光源41による照明範囲の部分画像G13,G23を構成する画素とを含む。そして、判断部12は、複数の部分画像をそれぞれ構成する複数の注目画素の各々について、注目画素の画素値に関する判断条件に基づいて、少なくとも注目画素の画素値が異常であるか否かを判断する。
ここで、判断条件は、注目画素の画素値が基準値(暗領域の第1閾値)以下であるという条件を含む。画素値が明るさを表す値である場合、基準値は、夜間又はトンネル内を走行中に、光源41が点灯している状態での注目画素の画素値よりも低く(暗く)、かつ、光源41が消灯している状態での注目画素の画素値よりも高い(明るい)値に設定されている。判断部12は、夜間又はトンネル内を走行中等の周囲が暗い環境下で、光源41が点灯している状態でも注目画素の画素値が基準値以下になっていると、注目画素の画素値が異常であると判断する。なお、画素値が画素の色調を表す値である場合、基準値は光源41の発光色に対応した所定の範囲に設定されていればよい。例えば光源41がブレーキランプ414(図2参照)のような赤色の光源である場合、判断部12は、注目画素の画素値が、赤色の発光色に対応した所定の範囲(基準値)から外れると、注目画素の画素値が異常であると判断すればよい。
ここで、判断部12は、判断条件に基づいて、複数の注目画素の各々について画素値が異常であるか否かを判断しており、複数の注目画素の各々について画素値が異常であるか否かを個別に判断できる。なお、部分画像は、受付部11が受け付ける画像において、光源41が存在する範囲を少なくとも含んでいれば、光源41が存在しない範囲を含んでいてもよい。
決定部13は、周囲環境に関する環境情報に基づいて、判断条件を決定する。周囲環境は撮像部31の周囲の環境である。本実施形態では撮像部31が移動体100に搭載されているので、環境情報は、撮像部31を搭載する移動体100に関する第1情報と、移動体100の周囲の環境に関する第2情報とを含む。第1情報は、例えば移動体100に設けられた光源41の点灯/消灯に関する情報を含む。第2情報(環境情報)は、周囲の照度(本実施形態では移動体100の周囲の照度)に関する情報を含む。移動体100の周囲の照度は、例えば移動体100に設けられたセンサ60によって測定される。
決定部13は、移動体100に関する第1情報をECU70から通信部21を介して取得し、移動体100の周囲の環境に関する第2情報をセンサ60から通信部21を介して取得する。
決定部13は、ECU70から取得した第1情報に基づいて判断条件を決定しており、例えば、点灯中の光源41が存在する範囲を含む部分画像を構成する注目画素の画素値に基づいて画像値が異常であるか否かを判断するように判断条件を決定する。決定部13は、ECU70から前照灯411が点灯していることを示す第1情報を取得すると、前照灯411が存在する範囲の部分画像G11,G12を構成する注目画素の画素値に基づいて画素値が異常であるか否かを判断するように判断条件を決定する。すなわち、決定部13は、部分画像G11,G12を構成する注目画素の画素値が基準値以下であれば、黒潰れの異常であると判断するように判断条件を決定する。なお、決定部13は、前照灯411による照明範囲を含む部分画像G13を構成する注目画素の画素値に基づいて、画素値が異常であるか否かを判断するように判断条件を決定してもよい。
また、決定部13は、ECU70からブレーキが作動したことを示す第1情報を取得すると、ブレーキランプ414が存在する範囲の部分画像G21,G22とバックライト412の照明範囲を含む部分画像G23とを構成する注目画素の画素値に基づいて画素値が異常であるか否かを判断するように判断条件を決定する。すなわち、決定部13は、部分画像G21,G22,G23を構成する注目画素の画素値が基準値以下であれば、黒潰れの異常であると判断するように判断条件を決定する。なお、決定部13は、ECU70からブレーキが作動したことを示す第1情報を取得した場合に、部分画像G21,G22を構成する注目画素の画素値が赤色の発光色に対応した所定の範囲から外れると、注目画素の画素値が異常であると判断するように判断条件を決定してもよい。なお、決定部13は、バックライト412による照明範囲を含む部分画像G23を構成する注目画素の画素値に基づいて、画素値が異常であるか否かを判断するように判断条件を決定してもよい。
また、決定部13は、ECU70から取得した第2情報に基づいて判断条件を決定しており、例えば、夜間又はトンネル内を走行中で周囲が暗い場合と明るい場合とで、画素値の判断に用いる基準値を変更してもよい。すなわち、決定部13は、周囲の照度が明るいほど、画素値の判断に用いる基準値を高めに設定すればよい。
不点灯検知部14は、受付部11が受け付ける画像に基づいて、移動体100に設けられた光源41を点灯させた状態で、故障等で光源41が点灯していないことを検知する。不点灯検知部14は、例えばECU70から通信部21を介して光源41(例えば前照灯411又はブレーキランプ414等)が点灯しているか否かを示す状態情報を取得する。また、不点灯検知部14は、受付部11が受け付ける画像において、光源41が存在する範囲の部分画像、又は、光源41の照明範囲を含む部分画像を構成する注目画素の画素値に基づいて、光源41が点灯しているか消灯しているかを判断する。そして、不点灯検知部14は、ECU70から取得した状態情報では光源41が点灯中であるのに、受付部11が受け付けた画像をもとに光源41が点灯していないと判断すると、光源41又は照明制御部42が異常である不点灯状態が発生したと検知する。また、不点灯検知部14は、光源41が存在する範囲の部分画像、又は光源41の照明範囲を含む部分画像を構成する注目画素の画素値に基づいて、夜間又はトンネル内を走行中に光源41が点灯していないこと(無灯火状態)を検知することができる。不点灯検知部14は、不点灯状態又は無灯火状態を検知すると、例えば通信部21を介してECU70に不点灯状態又は無灯火状態の検知信号を送信したり、後述する通知部22に不点灯状態又は無灯火状態の通知処理を行わせたりする。無灯火状態は、夜間又はトンネル内等、周囲が所定の明るさよりも暗く、光源41を点灯させる必要がある状況において、ユーザ200が光源41を点灯させる操作をし忘れているために、光源41が点灯していない状態である。
通信部21は、CAN80を介してECU70等とデータ通信を行うための通信インタフェースを有する。また、通信部21は、伝送路90を介してカメラシステム30等と通信を行うための通信インタフェースを更に有している。
通知部22は、例えば、ブザー又はスピーカ等の音を出力する出力装置を有する。処理部10の判断部12が注目画素の画素値が異常であると判断すると、処理部10は、注目画素の画素値が異常であることを通知する通知信号を通知部22に出力する。通知部22は、処理部10から通知信号が入力されると、注目画素の画素値が異常であることを通知するための通知音又は音声メッセージを出力装置から出力させる。なお、通知部22は、例えば表示ランプ等を点灯又は点滅させることによって、注目画素の画素値が異常であることを通知してもよい。また、通知部22は、表示システム50の表示装置51に、注目画素の画素値が異常であることを示す文字又は記号等を表示させてもよい。すなわち、通知部22は、音と、表示ランプ等の光と、表示装置51等を用いた表示との少なくとも1つの態様で異常を通知すればよい。
また、不点灯検知部14が光源41又は照明制御部42の異常を検知すると、通知部22は、光源41又は照明制御部42の異常を通知するための通知音又は音声メッセージを出力装置から出力させる。また、不点灯検知部14が光源41の無灯火状態を検知すると、通知部22は、無灯火状態であることを通知するための通知音又は音声メッセージを出力装置から出力させる。なお、通知部22は、例えば表示ランプ等を点灯又は点滅させることによって、光源41又は照明制御部42の異常、あるいは無灯火状態を通知してもよい。なお、通知部22は、表示システム50の表示装置51に、光源41又は照明制御部42の異常、あるいは無灯火状態を通知する文字又は記号等を表示させてもよい。
記憶部23は、ROM(Read Only Memory)、RAM(Random Access Memory)、又はEEPROM(Electrically Erasable Programmable Read Only Memory)等から選択されるデバイスで構成される。記憶部23は、例えば、受付部11がカメラシステム30から受け付けた画像の画像データを記憶する。
なお、異常検出システム1が、決定部13、不点灯検知部14及び通知部22を有することは必須ではなく、決定部13、不点灯検知部14及び通知部22は適宜省略が可能である。
(2.1.2)カメラシステム
カメラシステム30は、移動体100に搭載される撮像部31と、撮像部31が撮影した画像の画像データを前処理する前処理部32とを備える。
撮像部31は、移動体本体101の前方を撮影する前方カメラ311と、移動体本体101の後方を撮影する後方カメラ312とを含む(図2参照)。撮像部31(前方カメラ311及び後方カメラ312)は、例えばCMOS(Complementary Metal Oxide Semiconductor)イメージセンサのようなイメージセンサを有する。撮像部31(前方カメラ311及び後方カメラ312)は所定のフレームレートで撮影対象を撮影し、画像の画像データを前処理部32に出力する。前方カメラ311は、移動体本体101において人が乗る室内空間102の前側部分に配置され、移動体本体101の前面ガラスを通して移動体本体101の前方を撮影する。図3は前方カメラ311が撮影した画像G1の一例であり、前方カメラ311の画像G1には移動体本体101の前部に設けられた前照灯411が映っている。後方カメラ312は、移動体本体101の後部に配置され、移動体本体101の後部のガラスを通して、移動体本体101の後方を撮影する。図4は後方カメラ312が撮影した画像G2の一例である。後方カメラ312は、移動体本体101のすぐ後ろに人等の物体が存在するか否かを確認できるように、広角レンズを用いて移動体本体101の後方を撮影する。したがって、後方カメラ312の画像G2には、移動体本体101の後部(例えばブレーキランプ414等)が映っている。
前処理部32は、撮像部31の画像データを前処理する画像処理用のプロセッサを含む。前処理部32は、撮像部31から入力される画像データを前処理し、前処理後の画像データをLVDS又はMIPI等の伝送路90を介して異常検出システム1及び表示システム50に出力する。
なお、撮像部31はCMOSイメージセンサのようなイメージセンサを有するものに限らず、CCD(Charge Coupled Device)イメージセンサ等のイメージセンサを有するものでもよい。
また、撮像部31は前方カメラ311及び後方カメラ312を含んでいるが、室内空間102を撮影するカメラを更に含んでもよい。また、撮像部31が複数のカメラを含むことは必須ではなく、撮像部31は1つのカメラのみを含むものでもよい。
また、カメラシステム30が前処理部32を備えることは必須ではなく、前処理部32は適宜省略が可能である。この場合、カメラシステム30の撮像部31が、伝送路90を介して、異常検出システム1及び表示システム50に画像データを出力すればよい。なお、本実施形態では、画像データのデータ量が大きいため、カメラシステム30は、専用の伝送路90を介して異常検出システム1及び表示システム50に画像データを出力しているが、専用の伝送路90を介して画像データを出力することは必須ではない。
(2.1.3)照明システム
照明システム40は、光源41と、照明制御部42と、を備える。
光源41は、移動体100の移動体本体101に設けられている。光源41は、図2に示すように、移動体100の前方を照明する前照灯411と、後進時に移動体100の後方を照明するバックライト412と、方向指示器413と、ブレーキランプ414とを含む。なお、光源41は車幅灯又は尾灯等を含んでもよい。移動体100には複数の光源41が設けられている。異常検出システム1は、複数の光源41のうち少なくとも1つの光源が存在する範囲、又は、少なくとも1つの光源41による照明範囲の注目画素の画素値に基づいて、注目画素の画素値が異常であるか否かを判断すればよい。
ECU70は、例えば移動体100に乗っているユーザ200(例えば運転者)の操作に応じて、光源41の点灯及び消灯を制御する照明制御信号をCAN80を介して照明制御部42に出力する。照明制御部42は、ECU70からCAN80を介して入力される照明制御信号に応じて、光源41の点灯及び消灯を制御する。
(2.1.4)表示システム
表示システム50は、表示装置51と、表示制御部52とを備える。
表示装置51は、例えば液晶ディスプレイ、有機EL(Electro Luminescence)ディスプレイ等の薄型の表示デバイスを有する。表示装置51は、例えば、移動体100のダッシュボード103等、移動体100を運転するユーザ200が見やすい場所に取り付けられている。
表示制御部52は、表示装置51の表示内容を制御する。
表示制御部52は、例えば、カメラシステム30から伝送路90を介して入力された画像データに基づいて、撮像部31が撮影した画像を表示装置51に表示させる。表示制御部52は、例えばユーザ200の切替操作又はECU70からの制御信号に応じて、前方カメラ311の画像データ又は後方カメラ312の画像データに基づく画像を表示装置51に表示させる。
なお、表示制御部52は、例えば移動体100に設けられたナビゲーションシステムから入力されるナビゲーション画面を表示装置51に表示してもよい。ナビゲーション画面は、例えばユーザ200が設定した目的地までの経路を案内するための画面である。
(2.1.5)センサ
センサ60は、移動体100に設けられた各種のセンサである。センサ60は、移動体100の周囲環境に関する環境情報、具体的には移動体100の周囲の環境に関する第2情報を検出する。センサ60は、例えば、環境情報(第2情報)として周囲の照度を検知する照度センサ、環境情報(第2情報)として周囲の温度を検知する温度センサ、環境情報(第2情報)として降雨状況を検知する降雨センサ等を含む。また、センサ60は、移動体100の周辺の物体を検知するための超音波センサ、ドップラーレーダ等を含んでもよい。センサ60はCAN80を介してECU70又は異常検出システム1に検知結果を出力する。
(2.1.6)ECU
ECU70は、例えば、コンピュータシステムを含んでいる。コンピュータシステムは、ハードウェアとしてのプロセッサ及びメモリを主構成とする。コンピュータシステムのメモリに記録されたプログラムをプロセッサが実行することによって、ECU70の機能が実現される。プログラムは、コンピュータシステムのメモリに予め記録されている。なお、プログラムは、電気通信回線を通じて提供されてもよいし、コンピュータシステムで読み取り可能なメモリカード、光学ディスク、ハードディスクドライブ等の非一時的記録媒体に記録されて提供されてもよい。
ECU70は、移動体100の全体的な制御を行う。ECU70は、例えば、ユーザ200の運転操作に応じて、移動体100の運転に関わる駆動システム、制動システム、及び操舵システムの動作を制御する。駆動システムは、原動機(エンジン又は電動モータ等)によって駆動輪を回転させることで移動体100を前進又は後進させる。操舵システムは操舵輪の向きを変えることによって、移動体100の進行方向を所定の方向に変化させる。制動システムは、移動体100の前輪又は後輪の少なくとも一方に制動力を加える。
また、ECU70は、カメラシステム30から入力される撮像部31の画像をもとに、移動体100の周囲に存在する障害物(例えば人、他の移動体、又は建物等)を検出し、障害物との衝突を回避するために移動体100を制御する機能を有している。すなわち、撮像部31の画像は、移動体100の制御に関する処理に用いられる。
(2.2)動作
本実施形態の異常検出システム1の動作を図5のフローチャート等に基づいて説明する。以下では、異常検出システム1の判断部12が、カメラシステム30から入力される前方カメラ311の画像データに異常があるか否かを判断する場合の動作について説明する。なお、異常検出システム1の判断部12が、後方カメラ312の画像データに異常があるか否かを判断する場合の動作は、前方カメラ311の画像データに異常があるか否かを判断する場合の動作と同様であるので、その説明は省略する。
カメラシステム30の前方カメラ311は所定のフレームレートごとに撮影対象を撮影し、撮影した画像の画像データを前処理部32に出力する。前処理部32は、前方カメラ311から画像データが入力されると、画像データに前処理(例えばノイズ除去等の処理)を施し、前処理後の画像データを伝送路90を介して異常検出システム1及び表示システム50に出力する。
カメラシステム30の前処理部32が伝送路90を介して表示システム50に画像データを送信すると、表示システム50の表示制御部52は、カメラシステム30から送信された画像データに基づく画像を表示装置51に表示させる。
また、カメラシステム30の前処理部32が伝送路90を介して異常検出システム1に画像データを送信すると、異常検出システム1の受付部11が、カメラシステム30から送信された画像データを通信部21を介して受け付ける受付処理を行う(S11)。受付部11は、カメラシステム30から画像データを受け付けると、受け付けた画像データを記憶部23に記憶させる。
受付部11がカメラシステム30から前方カメラ311の画像の画像データを受け付けると、抽出部15が、前方カメラ311の画像G1から部分画像G11,G12,G13を抽出する抽出処理を行う(S12)。
抽出処理が終了すると、判断部12が、部分画像G11,G12,G13をそれぞれ構成する注目画素の各々について、注目画素の画素値が異常であるか否かを判断する判断処理を行う。判断部12は、注目画素の画素値と基準値とを比較する(S13)。
ここで、注目画素の画素値が基準値以下であれば(S13:Yes)、判断部12は、注目画素の画素値が異常であると判断し、通知部22に異常を通知する通知処理を行わせる(S14)。通知部22は、例えば、受付部11が受け付けた画像データが異常であることを通知する通知音又は音声メッセージをスピーカ等から出力させることによって、画像データが異常であることを通知する。なお、通知部22は、表示ランプを点灯又は点滅させたり、表示装置51に異常を通知する文字又は記号を表示させたりすることで、画像データが異常であることを通知してもよい。これにより、前方カメラ311、前処理部32及び伝送路90等の異常によって受付部11が受け付ける画像データが異常になると、通知部22が画像データの異常を通知するので、ユーザ200は、表示装置51に表示される画像の異常を把握できる。例えば、夜間又はトンネル走行中のように移動体100の周囲が暗い場合に、表示装置51の画面の一部又は全体が黒色になるような異常(所謂、黒潰れ)が発生した場合、ユーザ200は、周囲が暗いために表示装置51の画面が黒色になっていると誤解する可能性がある。すなわち、ユーザ200は、画像データの異常によって表示装置51の画面が異常になっていることに気付きにくいという問題がある。本実施形態では、判断部12が注目画素の画素値が異常であると判断すると、通知部22が異常を通知する通知処理を行っているので、ユーザ200は、画像データの異常によって表示装置51の画面が黒色になっていることを把握できる。
一方、ステップS13の判断において、判断部12は、注目画素の画素値が基準値を超えると(S13:No)、前方カメラ311及び前方カメラ311の画像データを異常検出システム1に出力するための回路(例えば前処理部32及び伝送路90等)の動作を正常と判断し、ステップS15の処理に移行する。
ステップS15では、判断部12は、注目画素に含まれる複数の画素のうち、判断処理を行っていない他の画素があるか否かを判断する。ここで、判断処理を行っていない他の画素があれば(S15:Yes)、判断部12は、ステップS13に戻って異常の有無を判断する処理を継続する。判断処理を行っていない他の画素がなければ(S15:No)、判断部12は、異常の有無を判断する処理を終了する。
異常検出システム1の処理部10は、撮像部31が撮影した画像の画像データを受付部11が受け付けるたびに、ステップS12からステップS15までの処理を実行しており、受付部11が受け付けた画像の画像データに異常があるか否かを判断することができる。
(3)変形例
上記実施形態は、本開示の様々な実施形態の一つに過ぎない。上記実施形態は、本開示の目的を達成できれば、設計等に応じて種々の変更が可能である。また、異常検出システム1と同様の機能は、異常検出方法、コンピュータプログラム、又はプログラムを記録した非一時的な記録媒体等で具現化されてもよい。一態様に係る異常検出方法は、受付処理と、判断処理とを含む。受付処理では、撮像部31で撮影された画像の画像データを受け付ける。判断処理では、注目画素の画素値に関する判断条件に基づいて、少なくとも注目画素の画素値が異常であるか否かを判断する。注目画素は、画像を構成する複数の画素のうち、少なくとも光源41が存在する範囲の画素である。一態様に係る(コンピュータ)プログラムは、コンピュータシステムに、受付処理と、判断処理と、を実行させるためのプログラムである。
以下、上記の実施形態の変形例を列挙する。以下に説明する変形例は、適宜組み合わせて適用可能である。なお、以下では、上記実施形態を「基本例」と呼ぶこともある。
本開示における異常検出システム1は、コンピュータシステムを含んでいる。コンピュータシステムは、ハードウェアとしてのプロセッサ及びメモリを主構成とする。コンピュータシステムのメモリに記録されたプログラムをプロセッサが実行することによって、本開示における異常検出システム1としての機能が実現される。プログラムは、コンピュータシステムのメモリに予め記録されてもよく、電気通信回線を通じて提供されてもよく、コンピュータシステムで読み取り可能なメモリカード、光学ディスク、ハードディスクドライブ等の非一時的記録媒体に記録されて提供されてもよい。コンピュータシステムのプロセッサは、半導体集積回路(IC)又は大規模集積回路(LSI)を含む1ないし複数の電子回路で構成される。ここでいうIC又はLSI等の集積回路は、集積の度合いによって呼び方が異なっており、システムLSI、VLSI(Very Large Scale Integration)、又はULSI(Ultra Large Scale Integration)と呼ばれる集積回路を含む。さらに、LSIの製造後にプログラムされる、FPGA(Field-Programmable Gate Array)、又はLSI内部の接合関係の再構成若しくはLSI内部の回路区画の再構成が可能な論理デバイスについても、プロセッサとして採用することができる。複数の電子回路は、1つのチップに集約されていてもよいし、複数のチップに分散して設けられていてもよい。複数のチップは、1つの装置に集約されていてもよいし、複数の装置に分散して設けられていてもよい。ここでいうコンピュータシステムは、1以上のプロセッサ及び1以上のメモリを有するマイクロコントローラを含む。したがって、マイクロコントローラについても、半導体集積回路又は大規模集積回路を含む1ないし複数の電子回路で構成される。
また、異常検出システム1における複数の機能が、1つの筐体内に集約されていることは異常検出システム1に必須の構成ではなく、異常検出システム1の構成要素は、複数の筐体に分散して設けられていてもよい。さらに、異常検出システム1の少なくとも一部の機能、例えば、判断部12、決定部13、不点灯検知部14、及び抽出部15等の一部の機能がクラウド(クラウドコンピューティング)等によって実現されてもよい。
(3.1)変形例1
変形例1の異常検出システム1は、判断部12が、上記の判断条件に基づいて、複数の注目画素を含む画素群について、画素群の画素値が異常であるか否かを判断する点で、上記の基本例と相違する。なお、異常検出システム1を含む全体システムの構成は上記の基本例と同様であるので、その説明は省略する。
判断部12は、抽出部15によって部分画像が抽出されると、抽出部15が抽出した部分画像を構成する複数の画素を注目画素とし、複数の注目画素を含む画素群の単位で、画素群の画素値が異常であるか否かを判断する。例えば、判断部12は、前照灯411の点灯時に、前照灯411が存在する範囲を含む部分画像を構成する複数の注目画素の画素群について、当該画素群を構成する複数の注目画素の画素値の総和を求める。そして、判断部12は、複数の注目画素の画素値の総和が所定の基準値を超えていれば、画素群の画素値は正常であると判断する。また、判断部12は、複数の注目画素の画素値の総和が所定の基準値以下であれば、画素群の画素値が異常であると判断する。
このように、変形例1では、判断部12は、複数の画素の集まりである画素群の単位で、画素群を構成する複数の注目画素の画素値に基づいて、画素群を構成する複数の注目画素の画素値が異常であるか否かを判断する。これにより、画素群を構成する複数の注目画素の画素値が平均化されるので、ノイズ等による誤判断が発生しにくくなるという利点がある。
(3.2)変形例2
変形例2の異常検出システム1は、判断部12の判断条件が、注目画素の画素値が基準値以下になる状態が、所定期間に所定回数以上発生するという条件を含む点で基本例と相違する。なお、異常検出システム1を含む全体システムの構成は上記の基本例と同様であるので、その説明は省略する。
判断部12は、抽出部15によって部分画像が抽出されると、部分画像を構成する複数の注目画素の各々について、注目画素の画素値と基準値とを比較する。そして、注目画素の画素値が基準値以下になる状態が、所定期間(例えば、受付部11が数フレーム分(例えば5フレーム分)の画像を受け付ける期間)に所定回数(例えば3回)以上発生すると、判断部12は、注目画素の画素値が異常であると判断する。これにより、注目画素の画素値の変化量が1回基準値以下になっただけでは、判断部12は注目画素の画素値が異常であると判断しないので、単発的な画素値の変化を異常と誤判断する可能性を低減できる。
なお、上記の所定期間及び所定回数は、撮像部31が設置される移動体100の種類と使用時間帯との少なくとも一方に応じて変更されてもよい。また、撮像部31が建物等に設置される固定カメラの場合、上記の第1所定期間及び所定回数は、撮像部31の設置場所と時間帯との少なくとも一方に応じて変更されてもよい。
(3.3)その他の変形例
上記の基本例において、判断部12は、光源41が点灯している状態で、光源41の照明範囲を含む部分画像において、画素値が所定のしきい値よりも明るくなる領域の形状に基づいて、注目画素の画素値が異常か否かを判断してもよい。光源41の点灯時には、光源41の照明範囲において、光源41の光が照射される範囲の画素値が所定のしきい値よりも明るくなるため、画素値が所定のしきい値よりも明るい範囲の形状は所定の配光パターンとなる。したがって、判断部12は、光源41の点灯時に、光源41の照明範囲において画素値がしきい値よりも明るくなる領域の形状が所定の配光パターンに一致しなければ、注目画素の画素値が異常であると判断することができる。
また、基本例では、移動体100が自家用の自動車であったが、移動体100はタクシー又はバス等の運送用の車両でもよい。異常検出システム1は、移動体100において、客を乗せる室内空間を撮影する撮像部の画像データが異常であるか否かを検出してもよい。また、移動体100は、例えば、鉄道車両、船舶、航空機等の自動車以外の移動体でもよい。
また、基本例では、異常検出システム1は、移動体100に搭載された撮像部31で撮影される画像の画像データが異常であるか否かを判断しているが、監視カメラ等の固定カメラで撮影される画像の画像データが異常であるか否かを判断するものでもよい。
上記の基本例において、画素値等の2値の比較において、「より明るく」としているところは「同じか又はより明るく」であってもよいし、「より暗く」としているところは「同じか又はより暗く」であってもよい。つまり、2値の比較において、2値が等しい場合を含むか否かは、基準値等の設定次第で任意に変更できるので、「より明るく」か「同じか又はより明るく」かに技術上の差異はないし、「より暗く」か「同じか又はより暗く」かに技術上の差異はない。また、2値の比較において、「以下」としているところは、「より小さい(暗い)」でもよい。
(まとめ)
以上説明したように、第1の態様に係る異常検出システム(1)は、受付部(11)と、判断部(12)と、を備える。受付部(11)は、撮像部(31)で撮影された画像の画像データを受け付ける。判断部(12)は、注目画素の画素値に関する判断条件に基づいて、少なくとも注目画素の画素値が異常であるか否かを判断する。注目画素は、画像を構成する複数の画素のうち、少なくとも光源(41)が存在する範囲の画素である。
この態様によれば、判断部(12)は、光源(41)の明るさに応じて画素値が変化する注目画素の画素値に基づいて異常の有無を判断しており、受付部(11)が受け付ける画像データ自体は変更されていない。したがって、撮像部(31)を調整することなく、画像の異常を検出可能な異常検出システム(1)を提供できる。
第2の態様に係る異常検出システム(1)では、第1の態様において、判断条件は、注目画素の画素値が基準値以下であるという条件を含む。
この態様によれば、判断部(12)は、少なくとも光源(41)が存在する範囲を含む部分画像を構成する注目画素の画素値が基準値以下となることから、注目画素の画素値が異常であるか否かを判断できる。
第3の態様に係る異常検出システム(1)では、第1の態様において、判断条件は、注目画素の画素値が基準値以下になる状態が、所定期間に所定回数以上発生するという条件を含む。
この態様によれば、判断部(12)は、少なくとも光源(41)が存在する範囲を含む部分画像を構成する注目画素の画素値が基準値以下になる状態が、所定期間に所定回数以上発生することから、注目画素の画素値が異常であるか否かを判断できる。
第4の態様に係る異常検出システム(1)では、第1~3のいずれかの態様において、注目画素は部分画像を構成する画素を含む。部分画像は、画像から抽出された画像であり、光源が存在する範囲の画像である。
この態様によれば、判断部(12)は、部分画像を構成する複数の画素の一部である注目画素について、画素値が異常であるか否かを判断できる。
第5の態様に係る異常検出システム(1)では、第4の態様において、部分画像は、光源(41)による照明範囲を更に含む。
この態様によれば、判断部(12)は、光源(41)によって照明される照明範囲の明るさに応じた画素値となる注目画素の画素値に基づいて異常の有無を判断することができる。
第6の態様に係る異常検出システム(1)は、第1~第5のいずれかの態様において、周囲環境に関する環境情報に基づいて判断条件を決定する決定部(13)を更に備える。
この態様によれば、判断部(12)は、環境情報に基づいて決定部(13)が決定した判断条件に基づいて注目画素の画素値が異常であるか否かを判断することができる。
第7の態様に係る異常検出システム(1)では、第6の態様において、環境情報は、周囲の照度に関する情報を含む。
この態様によれば、決定部(13)は、周囲の照度に関する情報に基づいて判断条件を決定できる。
第8の態様に係る異常検出システム(1)では、第1~第7のいずれかの態様において、判断部(12)は、判断条件に基づいて、部分画像を構成する複数の注目画素の各々について画素値が異常であるか否かを判断する。
この態様によれば、判断部(12)は、部分画像を構成する複数の注目画素の各々について画素値が異常であるか否かを判断することができる。
第9の態様に係る異常検出システム(1)では、第1~第7のいずれかの態様において、判断部(12)は、判断条件に基づいて、部分画像を構成する複数の注目画素を含む画素群について、画素群の画素値が異常であるか否かを判断する。
この態様によれば、判断部(12)は、複数の注目画素を含む画素群の単位で画素値が異常であるか否かを判断することができる。
第10の態様に係る異常検出システム(1)では、第1~第9のいずれかの態様において、撮像部(31)が、移動体(100)に搭載される。
この態様によれば、判断部(12)は、移動体(100)に搭載される撮像部(31)から受付部(11)が受け付ける画像データの画素値が異常であるか否かを判断することができる。
第11の態様に係る異常検出システム(1)では、第10の態様において、撮像部(31)の画像は、移動体(100)の制御に関わる処理に用いられる。
この態様によれば、判断部(12)は、移動体(100)の制御に関わる処理に用いられる画像の画素値が異常であるか否かを判断することができる。
第12の態様に係る移動体(100)は、移動する移動体本体(101)と、移動体本体(101)に搭載される第10又は第11の態様に係る異常検出システム(1)と、を備える。
この態様によれば、移動体(100)に搭載される撮像部(31)から受付部(11)が受け付ける画像データの画素値が異常であるか否かを判断することができる移動体(100)を提供できる。
第13の態様に係る異常検出方法は、受付処理と、判断処理とを含む。受付処理では、撮像部(31)で撮影された画像の画像データを受け付ける。判断処理では、注目画素の画素値に関する判断条件に基づいて、少なくとも注目画素の画素値が異常であるか否かを判断する。注目画素は、画像を構成する複数の画素のうち、少なくとも光源(41)が存在する範囲の画素である。
この態様によれば、判断処理では、光源(41)の明るさに応じて画素値が変化する注目画素の画素値に基づいて異常の有無を判断しており、受付処理で受け付ける画像データ自体は変更されていない。したがって、撮像部(31)を調整することなく、画像の異常を検出可能な異常検出方法を提供できる。
第14の態様に係るプログラムは、コンピュータシステムに、受付処理と、判断処理と、を実行させるためのプログラムである。受付処理では、撮像部(31)で撮影された画像の画像データを受け付ける。判断処理では、注目画素の画素値に関する判断条件に基づいて、少なくとも注目画素の画素値が異常であるか否かを判断する。注目画素は、画像を構成する複数の画素のうち、少なくとも光源(41)が存在する範囲の画素である。
この態様によれば、判断処理では、光源(41)の明るさに応じに応じて画素値が変化する注目画素の画素値に基づいて異常の有無を判断しており、受付処理で受け付ける画像データ自体は変更されていない。したがって、撮像部(31)を調整することなく、画像の異常を検出可能な異常検出方法を提供できる。
第15の態様に係る異常検出システム(1)は、第1~第11のいずれかの態様において、注目画素の画素値に基づいて、光源(41)の不点灯状態と無灯火状態との少なくとも一方を検知する不点灯検知部(14)を更に備える。不点灯状態は、光源(41)及び光源(41)を点灯させる照明制御部(42)の少なくとも一方の異常によって光源(41)が点灯していない状態である。無灯火状態は、夜間又は暗所において光源(41)を点灯させていない状態である。
この態様によれば、光源(41)の不点灯を検出することができる。
上記態様に限らず、上記の実施形態に係る異常検出システム(1)の種々の構成(変形例を含む)は、異常検出方法、(コンピュータ)プログラム、又はプログラムを記録した非一時的記録媒体等で具現化可能である。
第2~第11、及び第15の態様に係る構成については、異常検出システム(1)に必須の構成ではなく、適宜省略可能である。
1 異常検出システム
11 受付部
12 判断部
13 決定部
31 撮像部
41 光源
100 移動体
101 移動体本体

Claims (9)

  1. 撮像部で撮影された画像の画像データを受け付ける受付部と、
    前記画像を構成する複数の画素のうち、少なくとも光源が存在する範囲の注目画素の画素値に関する判断条件に基づいて、少なくとも前記注目画素の前記画素値が異常であるか否かを判断する判断部と
    周囲環境に関する環境情報に基づいて前記判断条件を決定する決定部と、を備え、
    前記注目画素は、前記画像から抽出された、前記光源が存在する範囲の部分画像を構成する画素を含み、
    前記部分画像は、前記光源による照明範囲を更に含み、
    前記判断条件は、前記注目画素の前記画素値が基準値以下であるという条件を含み、
    前記判断部は、前記注目画素の前記画素値が前記基準値以下の場合に前記注目画素の前記画素値が異常であると判断し、
    前記環境情報は、周囲の照度に関する情報を含み、
    前記決定部は、前記周囲の照度に関する情報に基づいて前記基準値を変更する、
    異常検出システム。
  2. 前記判断条件は、前記注目画素の前記画素値が前記基準値以下になる状態が、所定期間に所定回数以上発生するという条件を含む、
    請求項1に記載の異常検出システム。
  3. 前記判断部は、前記判断条件に基づいて、複数の前記注目画素の各々について前記画素値が異常であるか否かを判断する、
    請求項1又は2に記載の異常検出システム。
  4. 前記判断部は、前記判断条件に基づいて、複数の前記注目画素を含む画素群について、前記画素群の前記画素値が異常であるか否かを判断する、
    請求項1~3のいずれか1項に記載の異常検出システム。
  5. 前記撮像部が、移動体に搭載される、
    請求項1~4のいずれか1項に記載の異常検出システム。
  6. 前記撮像部の前記画像は、前記移動体の制御に関わる処理に用いられる、
    請求項5に記載の異常検出システム。
  7. 移動する移動体本体と、
    前記移動体本体に搭載される請求項5又は6に記載の前記異常検出システムと、を備える、
    移動体。
  8. 撮像部で撮影された画像の画像データを受け付ける受付処理と、
    前記画像を構成する複数の画素のうち、少なくとも光源が存在する範囲の注目画素の画素値に関する判断条件に基づいて、少なくとも前記注目画素の前記画素値が異常であるか否かを判断する判断処理と、
    周囲環境に関する環境情報に基づいて前記判断条件を決定する決定処理と、を含み、
    前記注目画素は、前記画像から抽出された、前記光源が存在する範囲の部分画像を構成する画素を含み、
    前記部分画像は、前記光源による照明範囲を更に含み、
    前記判断条件は、前記注目画素の前記画素値が基準値以下であるという条件を含み、
    前記判断処理は、前記注目画素の前記画素値が前記基準値以下の場合に前記注目画素の前記画素値が異常であると判断し、
    前記環境情報は、周囲の照度に関する情報を含み、
    前記決定処理は、前記周囲の照度に関する情報に基づいて前記基準値を変更する、
    異常検出方法。
  9. コンピュータシステムに、
    撮像部で撮影された画像の画像データを受け付ける受付処理と、
    前記画像を構成する複数の画素のうち、少なくとも光源が存在する範囲の注目画素の画素値に関する判断条件に基づいて、少なくとも前記注目画素の前記画素値が異常であるか否かを判断する判断処理と、
    周囲環境に関する環境情報に基づいて前記判断条件を決定する決定処理と、を実行させるためのプログラムであって、
    前記注目画素は、前記画像から抽出された、前記光源が存在する範囲の部分画像を構成する画素を含み、
    前記部分画像は、前記光源による照明範囲を更に含み、
    前記判断条件は、前記注目画素の前記画素値が基準値以下であるという条件を含み、
    前記判断処理は、前記注目画素の前記画素値が前記基準値以下の場合に前記注目画素の前記画素値が異常であると判断し、
    前記環境情報は、周囲の照度に関する情報を含み、
    前記決定処理は、前記周囲の照度に関する情報に基づいて前記基準値を変更する、
    プログラム。
JP2019023709A 2019-02-13 2019-02-13 異常検出システム、移動体、異常検出方法、及びプログラム Active JP7262044B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2019023709A JP7262044B2 (ja) 2019-02-13 2019-02-13 異常検出システム、移動体、異常検出方法、及びプログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2019023709A JP7262044B2 (ja) 2019-02-13 2019-02-13 異常検出システム、移動体、異常検出方法、及びプログラム

Publications (2)

Publication Number Publication Date
JP2020136732A JP2020136732A (ja) 2020-08-31
JP7262044B2 true JP7262044B2 (ja) 2023-04-21

Family

ID=72279106

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019023709A Active JP7262044B2 (ja) 2019-02-13 2019-02-13 異常検出システム、移動体、異常検出方法、及びプログラム

Country Status (1)

Country Link
JP (1) JP7262044B2 (ja)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005143083A (ja) 2003-10-15 2005-06-02 Fujitsu Ten Ltd 画像処理装置、運転支援装置および運転支援システム
JP2010140171A (ja) 2008-12-10 2010-06-24 Toyota Motor Corp 前照灯システム、故障検出方法
JP2017022671A (ja) 2015-07-15 2017-01-26 ソニー株式会社 撮像装置および撮像方法、並びにプログラム

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005143083A (ja) 2003-10-15 2005-06-02 Fujitsu Ten Ltd 画像処理装置、運転支援装置および運転支援システム
JP2010140171A (ja) 2008-12-10 2010-06-24 Toyota Motor Corp 前照灯システム、故障検出方法
JP2017022671A (ja) 2015-07-15 2017-01-26 ソニー株式会社 撮像装置および撮像方法、並びにプログラム

Also Published As

Publication number Publication date
JP2020136732A (ja) 2020-08-31

Similar Documents

Publication Publication Date Title
JP5437855B2 (ja) 障害物検知装置およびそれを備えた障害物検知システム、並びに障害物検知方法
JP4496964B2 (ja) 車両用トンネル検出装置および車両用ライト制御装置
JP4738778B2 (ja) 画像処理装置、運転支援装置および運転支援システム
US20180334099A1 (en) Vehicle environment imaging systems and methods
WO2015118806A1 (ja) 画像解析装置、および画像解析方法
US20130088598A1 (en) Obstacle detection system and method, and obstacle detection apparatus
JP2006298362A (ja) 暗い領域に到達したことを早期に検出する方法
JP4927647B2 (ja) 車両周辺監視装置
US20150085118A1 (en) Method and camera assembly for detecting raindrops on a windscreen of a vehicle
JP7262043B2 (ja) 異常検出システム、移動体、異常検出方法、及びプログラム
JP7262044B2 (ja) 異常検出システム、移動体、異常検出方法、及びプログラム
US10735667B1 (en) Vehicle surroundings monitoring apparatus
JP6642280B2 (ja) 画像表示システム
CN109987025A (zh) 用于夜晚环境的车辆驾驶辅助***及方法
CN111216636A (zh) 行驶控制装置、控制方法以及存储程序的存储介质
EP3484144B1 (en) Captured image display system, electronic mirror system, and captured image display method
JP2012118929A (ja) 外部環境判定装置及び外部環境判定プログラム
JP2008171097A (ja) 車両用認識装置
JP2007253781A (ja) 車載表示システム
CN110942044A (zh) 远光灯违规检测方法、装置、电子设备及存储介质
US20230394844A1 (en) System for avoiding accidents caused by wild animals crossing at dusk and at night
JP6844575B2 (ja) 車載システム及び表示装置
JP2018182540A (ja) 表示制御装置、表示制御方法及びカメラモニタリングシステム
CN115398883B (zh) 红外线拍摄装置以及红外线拍摄***
JP2007245970A (ja) 車両用照明装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20211115

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20220825

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220913

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20221114

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230307

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230331

R151 Written notification of patent or utility model registration

Ref document number: 7262044

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313113

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

SZ03 Written request for cancellation of trust registration

Free format text: JAPANESE INTERMEDIATE CODE: R313Z03