JP6264173B2 - 撮像方向の正常性判定方法、撮像装置取り付け状態評価プログラムおよび撮像装置取り付け状態評価装置 - Google Patents

撮像方向の正常性判定方法、撮像装置取り付け状態評価プログラムおよび撮像装置取り付け状態評価装置 Download PDF

Info

Publication number
JP6264173B2
JP6264173B2 JP2014086682A JP2014086682A JP6264173B2 JP 6264173 B2 JP6264173 B2 JP 6264173B2 JP 2014086682 A JP2014086682 A JP 2014086682A JP 2014086682 A JP2014086682 A JP 2014086682A JP 6264173 B2 JP6264173 B2 JP 6264173B2
Authority
JP
Japan
Prior art keywords
imaging device
image data
attachment state
difference amount
imaging
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2014086682A
Other languages
English (en)
Other versions
JP2015207879A (ja
Inventor
幸三 馬場
幸三 馬場
橋口 典男
典男 橋口
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujitsu Ltd
Original Assignee
Fujitsu Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujitsu Ltd filed Critical Fujitsu Ltd
Priority to JP2014086682A priority Critical patent/JP6264173B2/ja
Priority to US14/672,565 priority patent/US10026178B2/en
Publication of JP2015207879A publication Critical patent/JP2015207879A/ja
Application granted granted Critical
Publication of JP6264173B2 publication Critical patent/JP6264173B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras
    • G06T7/73Determining position or orientation of objects or cameras using feature-based methods
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80Camera processing pipelines; Components thereof
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/95Computational photography systems, e.g. light-field imaging systems
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10016Video; Image sequence
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20068Projection on vertical or horizontal image axis
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20212Image combination
    • G06T2207/20224Image subtraction
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30244Camera pose
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30248Vehicle exterior or interior

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Computing Systems (AREA)
  • Studio Devices (AREA)
  • Image Processing (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Traffic Control Systems (AREA)
  • Image Analysis (AREA)

Description

本発明は、撮像方向の正常性判定方法等に関する。
運転中に横断者に接触しそうになる等、ヒヤリハット、すなわち、運転者がヒヤリとしたりハッとしたりするような事象の発生しやすい位置の情報を運転者に知らせることが出来れば、事故の発生を防止することが出来る。このため、ドライブレコーダに記録された画像データを解析することで、ヒヤリハットの検出を行う従来技術が存在する。
特開平8−285534号公報 特開2004−239613号公報 特開2008−123036号公報
例えば、従来技術は、解析対象となる画像データが、車両に正常に設置された撮像装置により撮像された画像データであることが前提となっている。このため、正常に設置されていない撮像装置によって撮像された画像データに対して解析を行うと、有効な解析結果を得られないことがある。
1つの側面では、撮像装置の撮像方向の正常性を評価することができる撮像方向の正常性判定方法、撮像装置取り付け状態評価プログラムおよび撮像装置取り付け状態評価装置を提供することを目的とする。
第1の案では、コンピュータが下記の処理を実行する。コンピュータは、車両に搭載される撮像装置から撮像画像を順次取得する。コンピュータは、取得した撮像画像間で変化が検出される部分と変化が検出されない部分の出現パターンが所定のパターンに該当するか否かに応じて、前記撮像装置の撮像方向の正常性を判定する。
本発明の1実施態様によれば、撮像装置の撮像方向の正常性を評価することができるという効果を奏する。
図1は、本実施例に係る画像処理装置の構成を示す機能ブロック図である。 図2は、ドラレコ情報のデータ構造の一例を示す図である。 図3は、直線走行中にカメラに撮像された画像データを取得する処理を示すフローチャートである。 図4は、差分画像を加算する処理を示すフローチャートである。 図5は、平均差分画像の横投影値を算出する処理を示すフローチャートである。 図6は、評価部の処理を補足説明するための図(1)である。 図7は、評価部の処理を補足説明するための図(2)である。 図8は、本実施例に係る画像処理装置の処理手順を示すフローチャートである。 図9は、撮像装置取り付け状態評価プログラムを実行するコンピュータの一例を示す図である。
以下に、本願の開示する撮像方向の正常性判定方法、撮像装置取り付け状態評価プログラムおよび撮像装置取り付け状態評価装置の実施例を図面に基づいて詳細に説明する。なお、この実施例によりこの発明が限定されるものではない。
図1は、本実施例に係る画像処理装置の構成を示す機能ブロック図である。画像処理装置は、撮像装置取り付け状態評価装置の一例である。図1に示すように、この画像処理装置100は、通信部110と、入力部120と、表示部130と、記憶部140と、制御部150とを有する。
通信部110は、ネットワークを介して他の装置とデータ通信を実行する処理部である。例えば、通信部110は、通信装置等に対応する。
入力部120は、各種のデータを画像処理装置100に入力する入力装置である。例えば、入力部120は、キーボードやマウス、タッチパネル等に対応する。表示部130は、制御部150から出力されるデータを表示する表示装置である。例えば、表示部130は、液晶ディスプレイやタッチパネル等に対応する。
記憶部140は、ドラレコ情報141を記憶する記憶部である。記憶部140は、例えば、RAM(Random Access Memory)、ROM(Read Only Memory)、フラッシュメモリ(Flash Memory)などの半導体メモリ素子などの記憶装置に対応する。
ドラレコ情報141は、ドライブレコーダによって記録された各種のデータを含む。図2は、ドラレコ情報のデータ構造の一例を示す図である。図2に示すように、このドラレコ情報141は、フレーム番号、日時、速度、加速度、位置座標、画像を対応付けて保持する。
フレーム番号は、フレームを一意に識別する番号である。日時は、該当するフレームが撮像された日時である。速度は、該当するフレームを撮像した時点における、ドライブレコーダを搭載した車両の速度である。加速度は、該当するフレームを撮像した時点における、ドライブレコーダを搭載した車両の加速度である。位置座標は、該当するフレームが撮像された時点の、ドライブレコーダを搭載した車両の位置座標である。また、画像は、該当するフレームの画像データである。
制御部150は、取得部151と、算出部152と、評価部153とを有する。制御部150は、例えば、ASIC(Application Specific Integrated Circuit)や、FPGA(Field Programmable Gate Array)などの集積装置に対応する。また、制御部150は、例えば、CPU(Central Processing Unit)やMPU(Micro Processing Unit)等の電子回路に対応する。
取得部151は、ドラレコ情報をドライブレコーダ等から取得する処理部である。取得部151は、ドライブレコーダ等から取得したドラレコ情報を、ドラレコ情報141として記憶部140に登録する。なお、取得部151は、カメラ等の撮像装置から画像データを順次取得し、取得した画像データをドラレコ情報141に順次登録してもよい。
算出部152は、ドラレコ情報141を基にして、隣接するフレームの差分画像を平均した平均差分画像を生成する処理部である。算出部152は、算出した平均差分画像の情報を、評価部153に出力する。
算出部152は、車両の直線走行中にカメラに撮像された画像データを取得する処理、差分画像を加算する処理、平均差分画像を生成する処理を実行する。
算出部152が、車両の直線走行中にカメラに撮像された画像データを取得する処理の一例について説明する。算出部152は、ドラレコ情報141にアクセスし、速度が第1閾値以上で、かつ、加速度が第2閾値未満となるフレームの画像データを特定し、特定した画像データを取得する。算出部152が特定したフレームの画像データが、直線走行中にカメラに撮像された画像データとなる。
図3は、直線走行中にカメラに撮像された画像データを取得する処理を示すフローチャートである。図3に示すように、算出部152は、iの値を0に設定する(ステップS10)。算出部152は、フレーム番号[i]の速度、加速度を取得する(ステップS11)。
算出部152は、速度≧第1閾値、かつ、加速度<第2閾値の場合に、フレーム番号[i]の画像データをデータAに追加する(ステップS12)。算出部152は、i<最大フレーム番号であるか否かを判定する(ステップS13)。算出部152は、i<最大フレーム番号でない場合には(ステップS13,No)、直線走行中にカメラに撮像された画像データを取得する処理を終了する。
一方、算出部152は、i<最大フレーム番号である場合には(ステップS13,Yes)、iの値に1を加算した値によって、iの値を更新し(ステップS14)、ステップS11に移行する。
算出部152が、差分画像を加算する処理の一例について説明する。算出部152は、図3で説明した処理によって、データAに格納された前後の画像データの差分を算出することで差分画像を算出し、各差分画像を加算する。
図4は、差分画像を加算する処理を示すフローチャートである。図4に示すように、算出部152は、jの値を0に設定し、countの値を0に設定し、IMG_SUMの値を0に設定する(ステップS20)。
算出部152は、データA[j]のフレーム番号と、データA[j+1]のフレーム番号から1を減算した値とが等しいか否かを判定する(ステップS21)。算出部152は、データA[j]のフレーム番号と、データA[j+1]のフレーム番号から1を減算した値とが等しくない場合には(ステップS21,No)、ステップS25に移行する。
一方、算出部152は、データA[j]のフレーム番号と、データA[j+1]のフレーム番号から1を減算した値とが等しい場合には(ステップS21,Yes)、ステップS22に移行する。
算出部152は、データA[j]のフレーム番号の画像データ(IMG1)と、データA[j+1]のフレーム番号の画像データ(IMG2)とを取得する(ステップS22)。
算出部152は、IMG1とIMG2との差分値の絶対値「abs(IMG1−IMG2)」を、差分画像の合計値「IMG_SUM」に加算することで、差分画像の合計値「IMG_SUM」を更新する(ステップS23)。
算出部152は、countの値に1を加算した値によって、countの値を更新する(ステップS24)。算出部152は、j<データAのデータ数であるか否かを判定する(ステップS25)。算出部152は、i<データAのデータ数でない場合には(ステップS25,No)、差分画像を加算する処理を終了する。
算出部152は、i<データAのデータ数である場合には(ステップS25,Yes)、jの値に1を加算した値によって、jの値を更新し(ステップS26)、ステップS21に移行する。
算出部152が、平均差分画像を生成する処理の一例について説明する。算出部152は、図4で説明した差分画像の合計値「IMG_SUM」を、データAの数「count」で除算することで、平均差分画像を生成する。データAの数は、差分画像の数に対応するものである。例えば、算出部152は、平均差分画像「IMG_AVE」を式(1)によって算出することで、平均差分画像を生成する。
IMG_AVE=IMG_SUM/count・・・(1)
評価部153は、平均差分画像の横投影値を算出し、横投影値の分布に基づいて、カメラの取り付け状態を評価する処理部である。評価部153は、判定部および評価部に対応する。
評価部153が、平均差分画像の横投影値を算出する処理について説明する。評価部153は、平均差分画像の各y座標のピクセルの位置について、x方向に輝度の積算を行うことで、横投影値を算出する。
図5は、平均差分画像の横投影値を算出する処理を示すフローチャートである。図5に示すように、評価部153は、kの値を0に設定する(ステップS30)。「k」は、平均差分画像のy座標のピクセルの位置を示すものであり、0〜H−1まで変化する。「H」は、平均差分画像の高さを示すものである。
評価部153は、「Hist[k]=IMG_AVE(0,k)+IMG_AVE(1,k)+・・・+IMG_AVE(W−1,k)」を計算する(ステップS31)。ここで、Hist[k]は、平均差分画像のy座標「k」において、x軸方向に平均差分画像の輝度加算を行った結果を示すものである。また、「W」は、平均差分画像の横幅を示すものである。
評価部153は、k<Hであるか否かを判定する(ステップS32)。評価部153は、k<Hとなる場合には(ステップS32,Yes)、kの値に1を加算した値によって、kの値を更新し(ステップS33)、ステップS31に移行する。
一方、評価部153は、k<Hとならない場合には(ステップS32,No)、平均差分画像の横投影値を算出する処理を終了する。
評価部153が、図5に示した処理を実行することで、平均差分画像の横投影値が算出される。
評価部153が、横投影値を基にして、カメラの取り付け状態を評価する処理について説明する。評価部153は、第1評価処理と第2評価処理とを実行する。
評価部153が実行する第1評価処理について説明する。評価部153は、y座標毎の横投影値を平均し、この横投影値の平均値が第3閾値未満であるか否かを判定する。評価部153は、横投影値の平均値が第3閾値未満である場合には、カメラの取り付け状態が異常であると判定し、判定結果を出力する。
例えば、評価部153は、式(2)の条件を満たす場合に、カメラの取り付け状態が異常であると判定する。
Average(Hist[0],Hist[1],・・・,Hist[H−1])<第3閾値・・・(2)
横投影値の平均値が第3閾値未満である場合には、カメラによって撮像された各画像データが変化していないことを示し、カメラの取り付け位置が異常である可能性が高い。
図6は、評価部の処理を補足説明するための図(1)である。図6において、10aは、あるフレーム番号の画像データである。10bは、画像データ10aを含む複数の画像データから算出される平均差分画像である。11は、平均差分画像10bを基に算出される横投影値を示すものである。例えば、図6に示すように、平均差分画像10bの縦軸をy軸とし、横軸をx軸とする。評価部153は、各y座標のピクセルの位置について、x軸方向に輝度加算を行うことで、横投影値11を算出する。評価部153は、この横投影値11の平均値が、第3閾値未満の場合には、カメラの取り付け状態が異常であると判定する。
なお、評価部153は、横投影値11の平均値を算出する場合に、Hist[0]からHist[H−1]までの値の平均値を算出していたが、これに限定されるものではない。例えば、評価部153は、中央付近の横投影値の平均値を算出し、第3閾値と比較してもよい。このように、横投影値の平均値を求める領域を限定することで、計算量を削減することが出来る。
評価部153が実行する第2評価処理について説明する。評価部153は、横投影値の下部の値と横投影値の上部の値とを比較する。評価部153は、横投影値の下部の値よりも横投影値の上部の値の方が大きい場合には、カメラの取り付け状態が異常であると判定し、判定結果を出力する。
例えば、評価部153は、式(3)および式(4)の条件を満たす場合に、カメラの取り付け状態が異常であると判定する。式(3)、(4)の「N」は、「H/2」よりも小さい数とする。例えば、Average(Hist[0],・・・,Hist[N])は、横投影値の下部の値の平均値である。Average(Hist[H−1−N],・・・,Hist[H−1])は、横投影値の上部の値の平均値である。
Average(Hist[0],・・・,Hist[N])<第4閾値・・・(3)
Average(Hist[0],・・・,Hist[N])+第5閾値<Average(Hist[H−1−N],・・・,Hist[H−1])・・・(4)
式(3)および式(4)の条件を満たす場合には、カメラによって撮影された画面データの上部で変化が大きく、下部で変化が小さいことを意味し、正常に取り付けられたカメラによって撮影された画像データと特徴が逆となる。正常に取り付けられたカメラによって撮影された画像データでは、他の車両等が含まれる下部の画面データの方の変化が大きくなるため、横投影値は、上部よりも下部のほうが、値が大きくなる。
図7は、評価部の処理を補足説明するための図(2)である。図7において、20aは、あるフレーム番号の画像データである。20bは、画像データ20aを含む複数の画像データから算出される平均差分画像である。21は、平均差分画像20bを基に算出される横投影値を示すものである。例えば、図7に示すように、平均差分画像20bの縦軸をy軸とし、横軸をx軸とする。評価部153は、各y座標のピクセルの位置について、x軸方向に輝度加算を行うことで、横投影値21を算出する。
また、図7において、横投影値の下部を21aとし、横投影値の上部を21bとする。例えば、評価部153は、横投影値の下部21aと、横投影値の上部21bとの関係が、式(3)および式(4)の条件を満たす場合に、カメラの取り付け状態が異常であると判定する。
次に、本実施例に係る画像処理装置100の処理手順について説明する。図8は、本実施例に係る画像処理装置の処理手順を示すフローチャートである。図8に示すように、この画像処理装置100は、速度が第1閾値以上、かつ、加速度が第2閾値未満の画像データを取得する(ステップS101)。
画像処理装置100の算出部152は、隣接するフレーム番号の画像データの差分を算出することで、差分画像を生成する(ステップS102)。算出部152は、複数の差分画像の平均を算出することで、平均差分画像を生成する(ステップS103)。
画像処理装置100の評価部153は、各y座標のピクセルの位置について、平均差分画像の輝度をx方向に加算することで、横投影値を算出する(ステップS104)。評価部153は、横投影値の平均値が第3閾値未満であるか否かを判定する(ステップS105)。
評価部153は、横投影値の平均値が第3閾値未満である場合には(ステップS105,Yes)、取り付け異常であると判定する(ステップS106)。
一方、評価部153は、横投影値の平均値が第3閾値未満でない場合には(ステップS105,No)、上部の横投影値が、下部の横投影値よりも大きいか否かを判定する(ステップS107)。評価部153は、上部の横投影値が、下部の横投影値よりも大きい場合には(ステップS107,Yes)、ステップS106に移行する。
一方、評価部153は、上部の横投影値が、下部の横投影値よりも大きくない場合には(ステップS107,No)、取り付け異常でないと判定する(ステップS108)。
次に、本実施例に係る画像処理装置100の効果について説明する。画像処理装置100は、各画像データ間で変化が検出される部分と変化が検出されない部分の出現パターンが所定のパターンに該当するか否かに応じて、カメラの撮像方向の正常性を判定する。このため、カメラの撮像方向が正常であるか否かを正確に判定することができる。
画像処理装置100は、各y座標のピクセルの位置について平均差分画像の輝度をx方向に積算することで、横投影値を算出し、この横投影値の分布に基づいて、カメラの取り付け状態を評価する。このため、カメラの撮像方向が正常であるか否かを正確に判定することができる。
画像処理装置100は、端側の領域における、横投影値の分布に基づき、カメラの取り付け状態を評価する。このため、積算値を評価する領域を絞り込むことにより、計算対象を削減でき、処理負荷を軽減することができる。また、横投影値の中央付近の分布は端側の領域と比較して、カメラが正確に取り付けられているか否かによらず、変動する。このため、端側の部分を利用することで、より正確に、カメラの撮像方向が適切であるか否かを判定できる。
画像処理装置100は、中央付近の横投影値の平均値を算出し、第3閾値と比較してカメラの撮像方向の正常性を評価する場合には、横投影値の平均値を求める領域を限定でき、計算量を削減することが出来る。
ところで、上記実施例に示した例では、ドライブレコーダからドラレコ情報141を取得し、このドラレコ情報141を解析することで、カメラの取り付け状態を評価していたがこれに限定されるものではない。例えば、画像処理装置100を、ドライブレコーダに組み込み、リアルタイムに画像データをカメラから取得し、カメラの撮像方向の正常性を判定し、判定結果をドライバーに通知してもよい。
また、本実施例では、第1閾値〜第5閾値を用いて処理を説明したが、利用者は、第1閾値〜第5閾値の値を適宜変更してもよい。
次に、上記実施例に示した画像処理装置100と同様の機能を実現する撮像装置取り付け状態評価プログラムを実行するコンピュータの一例について説明する。図9は、撮像装置取り付け状態評価プログラムを実行するコンピュータの一例を示す図である。
図9に示すように、コンピュータ200は、各種演算処理を実行するCPU201と、ユーザからのデータの入力を受け付ける入力装置202と、ディスプレイ203とを有する。また、コンピュータ200は、記憶媒体からプログラム等を読取る読み取り装置204と、ネットワークを介して他のコンピュータとの間でデータの授受を行うインターフェース装置205とを有する。また、コンピュータ200は、各種情報を一時記憶するRAM206と、ハードディスク装置207とを有する。そして、各装置201〜207は、バス208に接続される。
ハードディスク装置207は、取得プログラム207a、算出プログラム207b、評価プログラム207cを有する。CPU201は、取得プログラム207a、算出プログラム207b、評価プログラム207cを読み出してRAM206に展開する。取得プログラム207aは、取得プロセス206aとして機能する。算出プログラム207bは、算出プロセス206bとして機能する。評価プログラム207cは、評価プロセス206cとして機能する。
例えば、取得プロセス206aは、取得部151に対応する。算出プロセス206bは、算出部152に対応する。評価プロセス206cは、評価部153に対応する。
なお、取得プログラム207a、算出プログラム207b、評価プログラム207cについては、必ずしも最初からハードディスク装置207に記憶させておかなくても良い。例えば、コンピュータ200に挿入されるフレキシブルディスク(FD)、CD−ROM、DVDディスク、光磁気ディスク、ICカードなどの「可搬用の物理媒体」に各プログラムを記憶させておく。そして、コンピュータ200が取得プログラム207a、算出プログラム207b、評価プログラム207cを読み出して実行するようにしてもよい。
以上の各実施例を含む実施形態に関し、さらに以下の付記を開示する。
(付記1)コンピュータが実行する撮像方向の正常性判定方法であって、
車両に搭載される撮像装置から撮像画像を順次取得し、
取得した撮像画像間で変化が検出される部分と変化が検出されない部分の出現パターンが所定のパターンに該当するか否かに応じて、前記撮像装置の撮像方向の正常性を判定する
処理を実行することを特徴とする撮像方向の正常性判定方法。
(付記2)コンピュータに、
車両に取り付けられる撮像装置から基準方向が定義された複数フレームの画像データを取得し、
前記画像データの前記基準方向における領域毎に、前記画像データのフレーム間の差分量に関する指標を算出し、
前記差分量に関する指標の前記基準方向における分布に基づき、前記撮像装置の取り付け状態を評価する
処理を実行させることを特徴とする撮像装置取り付け状態評価プログラム。
(付記3)前記差分量に関する指標は、前記画像データのフレーム間の輝度の差分量であって、前記基準方向の各ピクセルの位置について、前記基準方向に交差する方向に配列された複数ピクセルの輝度の積算値の分布を作成し、前記輝度の積算値の分布に基づき、前記撮像装置の取り付け状態を評価する、ことを特徴とする付記2に記載の撮像装置取り付け状態評価プログラム。
(付記4)前記画像データの領域の内、前記基準方向に交差する方向の端側の領域における、前記差分量に関する指標の分布に基づき、前記撮像装置の取り付け状態を評価する、ことを特徴とする付記2又は3に記載の撮像装置取り付け状態評価プログラム。
(付記5)前記画像データの領域の内、前記基準方向に交差する方向の中途部の領域における、前記差分量に関する指標の分布に基づき、前記撮像装置の取り付け状態を評価する、ことを特徴とする付記2又は3に記載の撮像装置取り付け状態評価プログラム。
(付記6)車両に搭載される撮像装置から撮像画像を順次取得する取得部と、
取得した撮像画像間で変化が検出される部分と変化が検出されない部分の出現パターンが所定のパターンに該当するか否かに応じて、前記撮像装置の撮像方向の正常性を判定する判定部と
を有することを特徴とする撮像装置取り付け状態評価装置。
(付記7)車両に取り付けられる撮像装置から基準方向が定義された複数フレームの画像データを取得する取得部と、
前記画像データの前記基準方向における領域毎に、前記画像データのフレーム間の差分量に関する指標を算出する算出部と、
前記差分量に関する指標の前記基準方向における分布に基づき、前記撮像装置の取り付け状態を評価する評価部と
を有することを特徴とする撮像装置取り付け状態評価装置。
(付記8)前記差分量に関する指標は、前記画像データのフレーム間の輝度の差分量であって、前記評価部は、前記基準方向の各ピクセルの位置について、前記基準方向に交差する方向に配列された複数ピクセルの輝度の積算値の分布を作成し、前記輝度の積算値の分布に基づき、前記撮像装置の取り付け状態を評価する、ことを特徴とする付記7に記載の撮像装置取り付け状態評価装置。
(付記9)前記評価部は、前記画像データの領域の内、前記基準方向に交差する方向の端側の領域における、前記差分量に関する指標の分布に基づき、前記撮像装置の取り付け状態を評価する、ことを特徴とする付記7又は8に記載の撮像装置取り付け状態評価装置。
(付記10)前記評価部は、前記画像データの領域の内、前記基準方向に交差する方向の中途部の領域における、前記差分量に関する指標の分布に基づき、前記撮像装置の取り付け状態を評価する、ことを特徴とする付記7又は8に記載の撮像装置取り付け状態評価装置。
100 画像処理装置
140 記憶部
141 ドラレコ情報
150 制御部
151 取得部
152 算出部
153 評価部

Claims (7)

  1. コンピュータが実行する撮像方向の正常性判定方法であって、
    車両に搭載される撮像装置から撮像画像を順次取得し、
    取得した撮像画像間で変化が検出される部分と変化が検出されない部分を特定し、変化が検出される部分が、変化が検出されない部分の上方に位置する出現パターンである場合に、前記撮像装置の撮像方向が異常であると判定する
    処理を実行することを特徴とする撮像方向の正常性判定方法。
  2. コンピュータに、
    車両に取り付けられる撮像装置から基準方向が定義された複数フレームの画像データを取得し、
    前記画像データの前記基準方向における領域毎に、前記画像データのフレーム間の差分量に関する指標を算出し、
    前記差分量に関する指標の前記基準方向における分布に基づき、上部の差分量が下部の差分量よりも大きい場合に、前記撮像装置の取り付け状態が異常であり、前記上部の差分量が前記下部の差分量よりも小さい場合に、前記撮像装置の取り付け状態が正常であると評価する
    処理を実行させることを特徴とする撮像装置取り付け状態評価プログラム。
  3. 前記差分量に関する指標は、前記画像データのフレーム間の輝度の差分量であって、前記基準方向の各ピクセルの位置について、前記基準方向に交差する方向に配列された複数ピクセルの輝度の積算値の分布を作成し、前記輝度の積算値の分布に基づき、前記撮像装置の取り付け状態を評価する、ことを特徴とする請求項2に記載の撮像装置取り付け状態評価プログラム。
  4. 前記画像データの領域の内、前記基準方向に交差する方向に配列された複数ピクセルの輝度の積算値の分布を作成し、前記基準方向の端側の領域における、前記差分量に関する指標の分布に基づき、前記撮像装置の取り付け状態を評価する、ことを特徴とする請求項2又は3に記載の撮像装置取り付け状態評価プログラム。
  5. 前記画像データの領域の内、前記基準方向に交差する方向に配列された複数ピクセルの輝度の積算値の分布を作成し、前記基準方向の中途部の領域における、前記差分量に関する指標の分布に基づき、前記撮像装置の取り付け状態を評価する、ことを特徴とする請求項2又は3に記載の撮像装置取り付け状態評価プログラム。
  6. 車両に搭載される撮像装置から撮像画像を順次取得する取得部と、
    取得した撮像画像間で変化が検出される部分と変化が検出されない部分を特定し、変化が検出される部分が、変化が検出されない部分の上方に位置する出現パターンである場合に、前記撮像装置の撮像方向が異常であると判定する判定部と
    を有することを特徴とする撮像装置取り付け状態評価装置。
  7. 車両に取り付けられる撮像装置から基準方向が定義された複数フレームの画像データを取得する取得部と、
    前記画像データの前記基準方向における領域毎に、前記画像データのフレーム間の差分量に関する指標を算出する算出部と、
    前記差分量に関する指標の前記基準方向における分布に基づき、上部の差分量が下部の差分量よりも大きい場合に、前記撮像装置の取り付け状態が異常であり、前記上部の差分量が前記下部の差分量よりも小さい場合に、前記撮像装置の取り付け状態が正常であると評価する評価部と
    を有することを特徴とする撮像装置取り付け状態評価装置。
JP2014086682A 2014-04-18 2014-04-18 撮像方向の正常性判定方法、撮像装置取り付け状態評価プログラムおよび撮像装置取り付け状態評価装置 Active JP6264173B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2014086682A JP6264173B2 (ja) 2014-04-18 2014-04-18 撮像方向の正常性判定方法、撮像装置取り付け状態評価プログラムおよび撮像装置取り付け状態評価装置
US14/672,565 US10026178B2 (en) 2014-04-18 2015-03-30 Method of determining normality of imaging direction, and evaluation device of evaluating attachment state of imaging device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2014086682A JP6264173B2 (ja) 2014-04-18 2014-04-18 撮像方向の正常性判定方法、撮像装置取り付け状態評価プログラムおよび撮像装置取り付け状態評価装置

Publications (2)

Publication Number Publication Date
JP2015207879A JP2015207879A (ja) 2015-11-19
JP6264173B2 true JP6264173B2 (ja) 2018-01-24

Family

ID=54322440

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2014086682A Active JP6264173B2 (ja) 2014-04-18 2014-04-18 撮像方向の正常性判定方法、撮像装置取り付け状態評価プログラムおよび撮像装置取り付け状態評価装置

Country Status (2)

Country Link
US (1) US10026178B2 (ja)
JP (1) JP6264173B2 (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6299373B2 (ja) 2014-04-18 2018-03-28 富士通株式会社 撮像方向の正常性の判定方法、撮像方向の正常性の判定プログラムおよび撮像方向の正常性の判定装置
JP6299371B2 (ja) 2014-04-18 2018-03-28 富士通株式会社 撮像方向の傾き検出方法、撮像方向の傾き検出プログラムおよび撮像方向の傾き検出装置

Family Cites Families (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08285534A (ja) 1995-04-12 1996-11-01 Suzuki Motor Corp 車載用画像処理装置
US6963661B1 (en) 1999-09-09 2005-11-08 Kabushiki Kaisha Toshiba Obstacle detection system and method therefor
CN1160210C (zh) 1999-09-20 2004-08-04 松下电器产业株式会社 驾驶提醒装置
JP3901573B2 (ja) * 2002-04-25 2007-04-04 富士通テン株式会社 画像認識システムにおける異常の診断装置
JP4191499B2 (ja) 2003-02-03 2008-12-03 パイオニア株式会社 車載装置
US8045760B2 (en) * 2003-02-21 2011-10-25 Gentex Corporation Automatic vehicle exterior light control systems
EP1779295A4 (en) 2004-07-26 2012-07-04 Automotive Systems Lab SYSTEM FOR PROTECTING USERS OF THE ROAD IN A DANGER SITUATION
JP4222411B2 (ja) 2006-11-08 2009-02-12 日本電気株式会社 消失点検出システム、消失点検出方法および消失点検出用プログラム
JP4886850B2 (ja) 2007-06-28 2012-02-29 パナソニック株式会社 画像処理装置、画像処理方法、プログラム
US20100054542A1 (en) * 2008-09-03 2010-03-04 Texas Instruments Incorporated Processing video frames with the same content but with luminance variations across frames
JP5208790B2 (ja) * 2009-02-04 2013-06-12 アイシン精機株式会社 画像処理装置、画像処理方法ならびにプログラム
US8687070B2 (en) 2009-12-22 2014-04-01 Apple Inc. Image capture device having tilt and/or perspective correction
US8542919B2 (en) * 2010-06-22 2013-09-24 SK Hynix Inc. Method and system for correcting lens shading
KR101362324B1 (ko) 2012-06-05 2014-02-24 현대모비스 주식회사 차선 이탈 경보 시스템 및 방법
CN104584093B (zh) * 2012-08-30 2018-02-23 富士通株式会社 图像处理装置以及图像处理方法
WO2014033936A1 (ja) * 2012-08-31 2014-03-06 富士通株式会社 画像処理装置、画像処理方法および画像処理プログラム
WO2014045344A1 (ja) 2012-09-18 2014-03-27 トヨタ自動車株式会社 車載カメラのfoe設定装置及びfoe設定方法
JP6299371B2 (ja) 2014-04-18 2018-03-28 富士通株式会社 撮像方向の傾き検出方法、撮像方向の傾き検出プログラムおよび撮像方向の傾き検出装置
JP6299373B2 (ja) 2014-04-18 2018-03-28 富士通株式会社 撮像方向の正常性の判定方法、撮像方向の正常性の判定プログラムおよび撮像方向の正常性の判定装置

Also Published As

Publication number Publication date
US10026178B2 (en) 2018-07-17
JP2015207879A (ja) 2015-11-19
US20150302588A1 (en) 2015-10-22

Similar Documents

Publication Publication Date Title
JP6443559B2 (ja) 車両用表示装置及び車両用表示方法
JP5943084B2 (ja) 画像処理装置、画像処理方法および画像処理プログラム
JP6299373B2 (ja) 撮像方向の正常性の判定方法、撮像方向の正常性の判定プログラムおよび撮像方向の正常性の判定装置
JP4364275B2 (ja) 画像処理方法、画像処理装置及びコンピュータプログラム
US8600112B2 (en) Crosswalk detection device, crosswalk detection method and recording medium
WO2012169119A1 (ja) 物体検出枠表示装置及び物体検出枠表示方法
JP5991647B2 (ja) 車両用周辺監視制御装置
KR102606931B1 (ko) 정적 오염 감지 및 보정
JP2018181333A5 (ja)
US20150187051A1 (en) Method and apparatus for estimating image noise
JP4962304B2 (ja) 歩行者検出装置
JP6264173B2 (ja) 撮像方向の正常性判定方法、撮像装置取り付け状態評価プログラムおよび撮像装置取り付け状態評価装置
JP6299371B2 (ja) 撮像方向の傾き検出方法、撮像方向の傾き検出プログラムおよび撮像方向の傾き検出装置
JP5006479B1 (ja) 動き画像領域判定装置またはその方法
JP2013058848A (ja) 立体画像処理装置、立体画像処理方法、及びプログラム
JP5983749B2 (ja) 画像処理装置、画像処理方法および画像処理プログラム
KR20120018457A (ko) 영상 기반 터치강도 측정방법, 장치, 이를 위한 기록매체 및 이를 포함하는 모바일 기기
JP2006170961A (ja) 画像処理装置、および方法
JP5754214B2 (ja) 画像処理装置および画像処理プログラム
US10242460B2 (en) Imaging apparatus, car, and variation detection method
JP2011053732A (ja) 画像処理装置
JP3969151B2 (ja) 画像表示装置、画像処理方法、プログラム及び情報記憶媒体
JP6236906B2 (ja) 評価装置、評価方法および評価プログラム
JP2011053731A (ja) 画像処理装置
JP2024032396A (ja) 情報処理装置、情報処理方法およびプログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20170110

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20170907

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20170912

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20171109

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20171121

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20171204

R150 Certificate of patent or registration of utility model

Ref document number: 6264173

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150