JP2004287605A - Determining device, situation determining system, method and program - Google Patents
Determining device, situation determining system, method and program Download PDFInfo
- Publication number
- JP2004287605A JP2004287605A JP2003076362A JP2003076362A JP2004287605A JP 2004287605 A JP2004287605 A JP 2004287605A JP 2003076362 A JP2003076362 A JP 2003076362A JP 2003076362 A JP2003076362 A JP 2003076362A JP 2004287605 A JP2004287605 A JP 2004287605A
- Authority
- JP
- Japan
- Prior art keywords
- area
- determination
- moving image
- analysis
- movable object
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Traffic Control Systems (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
- Closed-Circuit Television Systems (AREA)
Abstract
Description
【0001】
【発明の属する技術分野】
この発明は、撮影画像から特定の状況になったか否か等の判定を行う判定装置、状況判定システム、判定方法およびプログラムに関する。
【0002】
【従来の技術】
従来より、撮影画像を分析することで、自動的に何らかの状況判断を行う技術が用いられている。例えば、落石、侵入物体、火災や車などの監視対象を撮影し、その撮影画像を分析することで、異常発生等の判定を行う装置がある(例えば、特許文献1参照)。
【0003】
そして、このような判定機能を利用した技術として、交差点の様子を撮影し、その撮影画像を交通監視センタ等に送信し、その画像の分析の結果撮影画像中に物体(=車)が進入した場合に警告を発するといったシステムも提案されている。かかるシステムでは、車などが交差点に進入することが交差点における交通事故等の発生の前提となるため、このような状況となったことを撮影画像に基づいて自動的に判別してセンタ員などに注意を促すことができる。
【0004】
【特許文献1】
特開2002−74370号公報
【0005】
【発明が解決しようとする課題】
しかしながら、上記のように交差点の様子を撮影した画像範囲内に車が進入することは多々あり、車が通過するたびにそれを検知して警報等を発していたのでは事故等の発生の可能性がほとんどないにもかかわらず、無駄な警報が多発してしまうといった問題が生じる。すなわち、この技術では、正確な状況判定ができないため、わずかでも事故発生等特定の状況発生の可能性がある場合(車が進入した場合)に警報等を発生させて、当該状況発生を逃すことがないようにしているのである。
【0006】
このように状況判定が正確にできない場合であっても、上記のようにすることで特定状況の発生検知を逃す可能性は低減できるものの、ほとんどその状況の発生する確率がないにもかかわらず、警報発生等がなされてしまう。このため、警報が意味をなさなくなるおそれがあり、特に上記の適用ケースにおいて交通量の多い交差点を監視対象として撮影する場合には常時警報が鳴ってしまうおそれがある。
【0007】
この発明は上記に鑑みてなされたもので、撮影画像に基づく状況判定をより正確に行うことができる判定装置、状況判定システム、判定方法およびプログラムを得ることを目的とする。
【0008】
【課題を解決するための手段】
上記目的を達成するため、請求項1にかかる発明は、動画像を撮影する撮影手段によって撮影された異なる2以上の領域の動画像データを取得する動画像取得手段と、前記動画像取得手段によって取得された異なる2以上の領域の動画像データの各々について、予め前記領域ごとに設定されている画像の内容分析処理を行う分析手段と、前記分析手段によって分析された前記領域ごとの分析結果と、予め前記領域ごとに設定されている判定用結果とが一致するか否かを判定する判定手段とを具備することを特徴とする判定装置である。
【0009】
請求項1にかかる発明によれば、撮影された異なる2つ以上の領域の動画像データが取得され、その各々について予め設定された画像の内容分析処理が行われる。そして、各々の領域についての分析処理結果と、予め各領域について設定された判定用結果とが一致するか否かによって判定が行われる。このように複数の異なる領域内で起こっている事象を考慮した判定を行うことができ、より正確な状況判定が可能となる。
【0010】
また、請求項2にかかる発明は、請求項1にかかる発明の構成において、前記判定手段による判定結果が一致するものである場合に、予め決められた機能を実行する機能実行手段をさらに具備することを特徴とする。
【0011】
請求項2にかかる発明によれば、撮影された画像のうちの複数の領域の画像についての分析結果が、予め設定されている判定用結果と一致した場合に、予め決められた機能が実現される。したがって、各領域の分析結果と判定結果が一致するような状況となったときに行うべき機能を実現するようにすれば、より正確に特定の状況判定がなされ、かつその状況に応じた機能を実現することができる。
【0012】
また、請求項3にかかる発明は、請求項1または2にかかる発明の構成において、前記動画像取得手段が取得すべき2以上の前記領域の範囲を特定するための領域特定情報を記憶する領域特定情報記憶手段と、前記領域ごとに設定される分析処理の内容を記憶する分析処理内容記憶手段と、前記領域ごとに設定される前記判定用結果を記憶する判定用記憶手段と、ユーザの指示にしたがって、前記領域特定情報、前記分析処理内容記憶手段または前記判定用記憶手段に記憶させるべき分析処理内容、判定用結果または両者を設定する設定手段とをさらに具備することを特徴とする。
【0013】
請求項3にかかる発明によれば、ユーザの指示にしたがって、領域特定情報記憶手段、分析処理内容記憶手段または判定用記憶手段に記憶させる設定内容を指定することができる。したがって、ユーザが、判定のために分析すべき2つ以上の画像領域の指定、各領域の画像について行わすべき分析処理、または判定用の結果を指定することができ、どのような環境においてどのような状況を判定するかに応じて適宜設定内容を決めることができる。
【0014】
また、請求項4にかかる発明は、予め決められた範囲の動画像を撮影する撮影手段と、前記撮影手段によって撮影された動画像に基づいて状況を判定する判定装置とを備えた状況判定システムであって、前記判定装置は、前記撮影手段によって撮影された異なる2以上の領域の動画像データを取得する動画像取得手段と、前記動画像取得手段によって取得された異なる2以上の領域の動画像データの各々について、予め前記領域ごとに設定されている画像の内容分析処理を行う分析手段と、前記分析手段によって分析された前記領域ごとの分析結果と、予め前記領域ごとに設定されている判定用結果とが一致するか否かを判定する判定手段とを有することを特徴とする状況判定システムである。
【0015】
請求項4にかかる発明によれば、撮影手段によって撮影された異なる2つ以上の領域の動画像データが取得され、その各々について予め設定された画像の内容分析処理が行われる。そして、各々の領域についての分析処理結果と、予め各領域について設定された判定用結果とが一致するか否かによって判定が行われる。
このように複数の異なる領域内で起こっている事象を考慮した判定を行うことができ、より正確な状況判定が可能となる。
【0016】
また、請求項5にかかる発明は、請求項4にかかる発明の構成において、前記撮影手段は、互いに交差または合流する可動体が移動する複数の経路における当該交差または合流する位置よりも予め決められた距離だけ移動方向の上流側の領域を含む範囲を撮影するように配置されており、前記動画像取得手段は、各々の前記上流側の領域の動画像データを取得することを特徴とする。
【0017】
請求項5にかかる発明によれば、交差または合流する各々の経路の交差または合流前の上流側の領域の撮影画像を取得し、各々について分析処理を行ってその分析結果と判定用結果が一致するか否かの判定を行うことができる。したがって、交差または合流点の上流側の領域の事象に基づいた判定を行うことができ、交差または合流点における可動体の衝突等の発生可能性が高い状況をより正確に判定することができる。
【0018】
また、請求項6にかかる発明は、請求項4にかかる発明の構成において、前記撮影手段は、交差点における右折車待機領域と、当該右折車が走行する車線の対向車線上の領域であって、当該右折車待機領域の近傍にある第1の対向車線領域と、当該第1の対向車線領域よりも前記右折車待機領域から離れた位置にある第2の対向車線領域とを含む範囲を撮影するように配置されており、前記動画像取得手段は、前記右折車待機領域、前記第1の対向車線領域および前記第2の対向車線領域の動画像データを取得することを特徴とする。
【0019】
請求項6にかかる発明によれば、交差点における右折車待機領域と、これの対向車線の領域であって、右折車待機領域の近傍にある第1の対向車線領域と、離れた位置にある第2の対向車線領域との撮影画像を取得し、各々について分析処理を行ってその分析結果と判定用結果が一致するか否かの判定を行うことができ、交差点における右折しようとする車等と対向車等との衝突発生可能性が高い状況をより正確に判定することができる。
【0020】
また、請求項7にかかる発明は、請求項6にかかる発明の構成において、前記分析手段は、前記右折車待機領域の画像について可動物体が映っているか否かおよび映っている場合にはその移動方向を分析し、前記第1の対向車線領域の画像に映っていた可動物体が映らなくなったか否かを分析し、前記第2の対向車線領域の画像に可動物体が映っているか否かを分析し、前記判定手段は、前記右折車待機領域の画像について可動物体が映っており、かつその可動物体が右折方向に移動しており、また前記第1の対向車線領域の画像に映っていた可動物体が映らなくなり、さらに前記第2の対向車線領域の画像に可動物体が映っていることを含む判定結果と、前記分析手段による分析結果が一致するか否かを判定することを特徴とする。
【0021】
請求項7にかかる発明によれば、各領域の画像についての分析結果が、交差点における右折車待機領域の画像について可動物体が映っており、かつその可動物体が右折方向に移動しており、また前記第1の対向車線領域の画像に映っていた可動物体が映らなくなり、さらに前記第2の対向車線領域の画像に可動物体が映っているといった交差点における右折車と対向車との衝突可能性が高いケースを条件として判定がなされるので、これらの条件を満たさない、つまり衝突等の可能性があまり高くない場合には特定状況の判定はなされないこととなり、衝突等の可能性が高い状況になったか否かをより正確に判定することができる。
【0022】
また、請求項8にかかる発明は、請求項4にかかる発明の構成において、前記撮影手段は、交差点において交差する少なくとも2つの道路における当該交差点よりも予め決められた距離だけ手前にある交差点前領域を含む範囲を撮影するように配置されており、前記動画像取得手段は、少なくとも2つの前記交差点前領域の動画像データを取得することを特徴とする。
【0023】
請求項8にかかる発明によれば、交差点において交差する各々道路の交差点よりも手前側の領域の撮影画像を取得し、各々について分析処理を行ってその分析結果と判定用結果が一致するか否かの判定を行うことができる。したがって、交差点の手前側の各々の領域で生じている事象に基づいた判定を行うことができ、交差点における車等の衝突の発生可能性が高い状況であるか否かをより正確に判定することができる。
【0024】
また、請求項9にかかる発明は、請求項8にかかる発明の構成において、前記分析手段は、少なくとも2つの前記交差点前領域の画像について可動物体が映っているか否かを分析し、前記判定手段は、少なくとも2つの前記交差点前領域の画像に可動物体が映っていることを含む前記判定用結果と、前記分析手段による分析結果が一致するか否かを判定することを特徴とする。
【0025】
請求項9にかかる発明によれば、交差点前領域の画像についての分析結果が、可動物体が映っているという交差点における衝突の発生の前提となる条件を状況判定のための条件としているので、このような条件を満たさない衝突可能性の低いケースにおいて衝突可能性が高いといった誤った判定をしてしまうことを低減できる。
【0026】
また、請求項10にかかる発明は、請求項4にかかる発明の構成において、前記撮影手段は、合流する2つの道路におけるその合流点よりも予め決められた距離だけ手前の合流前領域を含む範囲を撮影するよう配置されており、前記動画像取得手段は、2つの道路における前記合流前領域の動画像データを取得することを特徴とする。
【0027】
請求項10にかかる発明によれば、合流する各々道路の合流点よりも手前側の領域の撮影画像を取得し、各々について分析処理を行ってその分析結果と判定用結果が一致するか否かの判定を行うことができる。したがって、合流点の手前側の各々の領域で生じている事象に基づいた判定を行うことができ、合流点における車等の衝突の発生可能性が高い状況であるか否かをより正確に判定することができる。
【0028】
また、請求項11にかかる発明は、請求項10にかかる発明の構成において、前記分析手段は、各前記合流前領域の画像に基づいて当該領域内に可動物体が存在しているかを分析し、前記判定手段は、各前記合流前領域の画像に可動物体が映っていることを含む前記判定用結果と、前記分析手段による分析結果が一致するか否かを判定することを特徴とする。
【0029】
請求項11にかかる発明によれば、合流点手前領域の画像についての分析結果が、可動物体が映っているという合流点における衝突の発生の前提となる条件を状況判定のための条件としているので、このような条件を満たさない衝突可能性の低いケースにおいて衝突可能性が高いといった誤った判定をしてしまうことを低減できる。
【0030】
また、請求項12にかかる発明は、請求項4にかかる発明の構成において、前記撮影手段は、ゲレンデにおけるリフト降り場から滑走路へ合流する合流領域と、当該合流領域よりも予め決められた距離だけ上方側の滑走路の上方領域とを含む範囲を撮影するように配置されており、前記動画像取得手段は、前記合流領域および前記上方領域の動画像データを取得することを特徴とする。
【0031】
請求項12にかかる発明によれば、ゲレンデにおける滑走路とリフト降り場からの経路の合流領域と、滑走路におけるこの合流領域よりも上方側の上方領域との撮影画像を取得し、各々について分析処理を行ってその分析結果と判定用結果が一致するか否かの判定を行うことができる。したがって、合流点の上方側の滑走路で生じている事象と、合流領域で生じている事象に基づいた判定を行うことができ、合流点におけるスキーヤー等の衝突の発生可能性が高い状況であるか否かをより正確に判定することができる。
【0032】
また、請求項13にかかる発明は、請求項12にかかる発明の構成において、前記分析手段は、前記合流領域の画像中において可動物体が占める割合を分析し、前記上方領域の画像に可動物体が映っているか否かを分析し、前記判定手段は、前記合流領域の画像中において可動物体が占める割合が予め設定された値以上であること、前記情報領域の画像に可動物体が映っていることを含む前記判定用結果と、前記分析手段による分析結果が一致するか否かを判定することを特徴とする。
【0033】
請求項13にかかる発明によれば、滑走路における合流点の上方側の領域の画像に可動物体(スキーヤーらしき)が映っていることと、合流点の領域の画像に占める可動物体の割合が設定値以上である(複数のスキーヤーがいると思われる)ことといったように合流点におけるスキーヤー等の衝突の発生の可能性が高いと考えられる条件を状況判定のための条件としているので、このような条件を満たさない衝突可能性の低いケースにおいて衝突可能性が高いといった誤った判定をしてしまうことを低減できる。
【0034】
また、請求項14にかかる発明は、動画像を撮影手段によって撮影された異なる2以上の領域の動画像データを取得する動画像取得ステップと、前記動画像取得ステップによって取得された異なる2以上の領域の動画像データの各々について、予め前記領域ごとに設定された画像の内容分析処理を行う分析ステップと、前記分析ステップによって分析された前記領域ごとの分析結果と、予め前記領域ごとに設定されている判定用結果とが一致するか否かを判定する判定ステップとを具備することを特徴とする判定方法である。
【0035】
請求項14にかかる発明によれば、撮影された異なる2つ以上の領域の動画像データが取得され、その各々について予め設定された画像の内容分析処理が行われる。そして、各々の領域についての分析処理結果と、予め各領域について設定された判定用結果とが一致するか否かによって判定が行われる。このように複数の異なる領域内で起こっている事象を考慮した判定を行うことができ、より正確な状況判定が可能となる。
【0036】
また、請求項15にかかる発明は、コンピュータを、動画像を撮影手段によって撮影された異なる2以上の領域の動画像データを取得する動画像取得手段、前記動画像取得手段によって取得された異なる2以上の領域の動画像データの各々について、予め前記領域ごとに設定された画像の内容分析処理を行う分析手段、前記分析手段によって分析された前記領域ごとの分析結果と、予め前記領域ごとに設定されている判定用結果とが一致するか否かを判定する判定手段として機能させるためのプログラムである。
【0037】
請求項15にかかるプログラムをコンピュータに実行させることで、コンピュータを請求項1にかかる発明と同様の構成を有する装置として機能させることができる。
【0038】
【発明の実施の形態】
以下に添付図面を参照して、この発明にかかる判定装置、状況判定システム、判定方法およびプログラムの好適な実施の形態を詳細に説明する。
【0039】
A.実施形態
図1は、本発明の一実施形態にかかる状況判定システムの全体構成を示す図である。同図に示すように、この状況判定システム100は、公衆網または専用回線などのネットワーク101を介して接続されるビデオカメラ110と、PC(Personal Computer)120とを備える。
【0040】
図示のようにビデオカメラ110は、右折用の車が走行する右折用車線10のある交差点1とその近傍を撮影できる位置に固定配置されており、交差点1およびその近傍を含む範囲の様子を撮影する。
【0041】
ここで、ビデオカメラ110の撮影範囲には、図中左側から右側に走行する車の右折用車線10を含む右折車待機領域20と、これと対向する車線(図中右から左に進行する車等が走行する車線(図の下側の車線))であって、当該右折車待機領域20の近傍にある近対向車線領域30と、当該近対向車線領域30よりも右折車待機領域20から離れた位置にある離対向車線領域40とが含まれるよう、その固定位置、撮影方向およびズームなどが調整され、調整後は位置、方向、ズームなどは固定される。つまり、ビデオカメラ110は、上記のような3つの領域を含む固定された範囲を撮影し続けるのである。
【0042】
ビデオカメラ110は、以上のような3つの領域を含む交差点1近傍範囲を撮影した動画像データをリアルタイムでネットワーク101を介してPC120に送信する。
【0043】
PC120は、ルータやモデム等の通信インターフェースを有しており、ネットワーク101を介してビデオカメラ110からリアルタイム送信される動画像データを受信して取り込む。すなわち、ビデオカメラ110によって撮影された一定時間t(例えば1/30秒)ごとのフレーム画像が順次PC120に取り込まれる。
【0044】
また、PC120はハードディスクドライブなどの外部記憶装置を有しており、当該外部記憶装置に、ビデオカメラ110によって撮影されてリアルタイムで供給される動画像データを分析等することで、交差点1において事故が発生する確率があると思われる状況になっているか否かを判定する処理を実現するためのプログラムが格納されている。
【0045】
PC120のCPUはかかるプログラムを読み出して実行することで、上記のような判定処理方法を実現する判定装置として機能するようになっており、その機能構成を図2に示す。
【0046】
同図に示すように、PC120は、領域別動画像取得部121と、領域座標テーブル(領域特定情報記憶手段)122と、画像データ保持部123と、分析処理部124と、分析処理テーブル(分析処理内容記憶手段)125と、判定処理部126と、判定用テーブル(判定用記憶手段)127と、警報発生部128とを備える。
【0047】
領域別動画像取得部121は、領域座標テーブル122を参照し、ビデオカメラ110から供給される動画像データ(順次供給される各フレーム画像)のうち、3つの特定の領域内の画像のみを切り出す。領域別動画像取得部121は、切り出した3つの領域画像にこれら各領域を識別するための領域IDを付して画像データ保持部123に出力する。
【0048】
領域座標テーブル122には、領域別動画像取得部121によって切り出すべき3つの領域の範囲を特定するための座標情報が格納されている。本実施形態では、長方形または正方形状の領域の範囲を特定するためにこれらの対角座標の情報が格納されているが、領域を特定できる情報であれば他の情報であってもよい。
【0049】
図示の例では、「ID01」は上述した右折車待機領域20を、「ID02」近対向車線領域30を、「ID03」は離対向車線領域40を識別するためのIDとして用いられている。そして、上述した交差点1における各3つの領域が範囲として特定されて切り出されるように各IDに対応する座標情報が設定されている。
【0050】
画像データ保持部123は、識別IDが付与された上記3つの領域の画像を保持する。ここで、画像データ保持部123は、動画像データを構成する一定時間tごとのフレーム画像から切り出された各領域の画像を複数フレーム分保持する。つまり、現時点Tで供給されたフレーム画像から切り出した各領域の画像のみならず、1つ前のフレーム画像(T−tの時点で供給されたフレーム画像)、その前のフレーム画像など、過去一定期間(例えば0.5秒間)分のフレーム画像から切り出された各領域の画像についても保持する。
【0051】
分析処理部124は、画像データ保持部123に保持されている3つの右折車待機領域20、近対向車線領域30および離対向車線領域40の画像(1つ前の画像を含む)の各々について、各々領域に対して予め設定された画像の内容に関する分析処理を行う。
【0052】
本実施形態では、分析処理部124は、分析対象領域内に可動物体が存在するか否かを分析する物体有無検出処理部124aと、分析対象領域内を可動物体が通過したか否かを検出する通過検出処理部124bと、分析対象領域内にある可動物体の移動方向を検出する移動方向検出処理部124cとを有しており、各領域の画像について予め決められた1または複数の上記処理部による分析処理が行われる。
【0053】
分析処理テーブル125には、各領域IDごとに、そのIDによって識別される領域の画像に対して行うべき分析処理内容を示すデータが設定されており、分析処理部124はこの分析処理テーブル125の設定にしたがって上記3つの処理部の1または複数を選択し、選択した処理部による処理を各領域の画像に対して行う。
【0054】
本実施形態では、分析処理テーブル125には次のような設定がなされている。「ID01」によって識別される右折車待機領域20の画像については、物体有無検出処理部124aによる処理および移動方向検出処理部124cによる処理を行うように設定されている。「ID02」によって識別される近対向車線領域30については、通過検出処理部124bによる処理を行うように設定されている。「ID03」によって識別される離対向車線領域40については、物体有無検出処理部124aによる処理を行うように設定されている。
【0055】
次に、上記3つの処理部による分析処理内容について説明する。まず、物体有無検出処理部124aは、対象領域の画像に基づいて対象領域内に可動物体が存在するか否か、つまり可動物体が対象領域内に映っているか否かを検出する。より具体的には、対象領域内に車などの可動物体が存在していない時の画像(2値化画像)を保持しておき(朝、昼、夕方、夜など時刻ごとに用意しておく)、この画像と画像データ保持部123に保持されている領域の画像(2値化画像)を比較し、両者の相違具合に応じて領域内の可動物体の有無を検出する。例えば、相違する部分がある一定領域以上存在すれば可動物体ありと判別するようにすればよい。
【0056】
本実施形態では、物体有無検出処理は、右折車待機領域20および離対向車線領域40の画像に対して行われ、現時点Tのフレーム画像から切り出されたこれらの領域内に自動車やオートバイなどの可動物体が存在するか否かを検出する。
【0057】
なお、上記のように可動物体が存在していない時の画像と比較することで、可動物体の有無を検出するようにしてもよいし、1つ前の画像を利用し、1つ前の画像と比較することで移動する物体の有無を検出し、移動物体が検出されたか否かによって物体の有無を検出するようにしてもよい。
【0058】
また、単に可動物体の有無を検出するのではなく、領域の画像から可動物体のサイズ(例えばその物体が占める面積)や形状等を検出し、予め用意した自動車やオートバイであろうと思われるサイズの最小値よりも検出サイズが大きい場合に自動車やオートバイが存在する、もしくは自動車らしき形状である場合に自動車が存在するといったように自動車やオートバイらしき物体が存在することを検出するようにしてもよい。このように可動物体の有無の検出方法は任意であり、種々の方法を用いることができるが、自動車らしき物体の有無を検出できる処理であることが好ましい。なお、夜間において交差点1近傍の照明等がない、または少ない場合には、ビデオカメラ110として赤外線カメラ等を利用することが好ましく、かかる場合には物体有無検出用の比較画像も赤外線カメラで撮影したものを用いればよい。
【0059】
通過検出処理部124bは、対象領域内を可動物体が通過したか否かを検出する処理部であり、例えば次のようにして可動物体の通過の有無を検出する。対象領域内に車などの可動物体が存在していない時の画像(2値化画像)を保持しておき、この画像と画像データ保持部123に保持されている過去(例えば、0.5秒前)の領域の画像(2値化画像)を比較し、領域内の可動物体の有無を検出する。なお、この際、上記のように可動物体のサイズや形状の範囲を特定して自動車やオートバイらしき物体に絞って存在の有無を検出するようにしてもよい。
【0060】
過去の画像内に可動物体が検出されない場合には通過はなしとする一方で、可動物体が検出された場合には現時点Tで供給された対象領域の画像内に可動物体があるか否かを検出する。この際、可動物体が検出されなかった場合には、過去(0.5秒前)に存在していた可動物体が存在しなくなったわけであるから、通過があったと判別する。本実施形態では、かかる通過検出処理は、近対向車線領域30の画像に対して行われるようになっており、当該領域内を自動車やオートバイなどの可動物体が通過したか否かを検出する。
【0061】
なお、このような手法に限らず、過去一定期間(例えば0.5秒間)分のすべてのフレームから取り出した領域画像を分析し、移動する物体を特定して通過の有無をより正確に検出するようにしてもよく、通過の有無の検出手法は任意である。
【0062】
移動方向検出処理部124cは、対象領域内の物体の移動方向を検出する処理を行うものであり、例えば次のようにして可動物体の移動方向を検出する。画像データ保持部123に保持されている現時点Tの対象領域画像と、その1つ前(T−t)のフレーム画像から切り出した対象領域画像とを比較し、各々の画像にある物体の重心移動ベクトルを計算することで、移動方向を検出する。本実施形態では、右折車待機領域20の画像に対して当該移動方向検出処理が行われるようになっているが、この検出は領域内に映っている右折車待機領域にある自動車らしき可動物体が右折する方向に移動しているか否かを検出する。したがって、図3に示すような領域が、右折車待機領域20である場合には、自動車らしき可動物体21が右折しようとすると思われる方向である図の下側(斜め下側も含む)に移動したか否かを検出する。
【0063】
なお、このように1つ前のフレームから切り出した画像と、現時点との画像とを比較することで移動方向を検出するようにしてもよいが、3つ以上のフレームから切り出した画像に基づいて移動方向を検出するようにしてもよく、その検出方法は任意である。
【0064】
図2に示す分析処理部124では、3つの領域の画像が新たに画像データ保持部123に保持される毎(つまり、時間t毎)に、各領域の画像に対して上記のような予め決められた処理が行われるようになっており、分析処理部124は各々の領域の画像に対して行った処理の結果を判定処理部126に出力する。
【0065】
判定処理部126は、判定用テーブル127を参照し、分析処理部124から供給される各領域画像に対して行われた処理の結果(分析内容)に基づいて警報を発すべき状況にあるか否かの判定を行う。
【0066】
判定用テーブル127には、警報を発すべき状況と判定するための各領域画像ごとの処理結果が格納されている。図示のように、「ID01」で識別される右折車待機領域20の画像については、物体有無の検出結果が「物体あり」、かつ移動方向検出結果が「右折方向への移動あり」といった処理結果が格納されている。また、「ID02」で識別される近対向車線領域30の画像については、通過有無の検出結果が「通過あり」といった処理結果が格納されている。また、「ID03」で識別される離対向車線領域40の画像については、物体有無の検出結果が「物体であり」という処理結果が格納されている。
【0067】
すなわち、判定処理部126は、分析処理部124による各領域の画像に対する処理の結果が、判定用テーブル127に格納されている各領域の画像ごとの処理結果と一致するか否かを判定し、すべてが一致した場合に警報を発すべき状況であると判定してその旨を警報発生部128に出力する。
【0068】
警報発生部128は、アラーム音発生装置などを備えており、判定処理部126から警報発すべき状況である旨の通知を受け取った場合、アラーム音発生装置を駆動してアラーム音を発し、当該PC12の管理者に対して警報を発するといった機能を実現する。
【0069】
以上説明したようにPC120は、交差点を撮影した画像のうち上記3つの領域の画像に着目し、各画像内に映っている事象が予め決められた事象となったか否かを判別し、すべての領域内に映っている画像が予め決められた事象となった場合に特定の状況であると判定して警報を発するのである。
【0070】
より具体的に説明すると、本実施形態では、交差点において以下のような条件が整った時に異常発生として警報が発せられる。
▲1▼右折車待機領域20に右折車が存在し(物体あり)、かつその右折車が右折方向に移動しようとしている
▲2▼近対向車線領域30を上記右折車の対向車が通過した
▲3▼離対向車線領域40に対向車(オートバイを含む)が存在する
【0071】
この3つの条件を満たす状態を交差点の平面図で模式的に例示すると、図4に示すようになる。同図に示すように、右折車用の待機場所にいる自動車Aが、対向車である自動車Bが通過したので右折しようとしている。その時に、その対向車である自動車Bの後方にオートバイCが交差点に向かって走行しているといったケースである。
【0072】
このようなケースにおいては、自動車Aの運転手は、自動車Bが通過したので右折しようとしているので、自動車Bの背後に隠れていた、つまる自動車Aの運転手にとって死角となっている領域40内にあるオートバイCの存在に気づいていない可能性が高いと思われる一方で、現実にその背後にいたオートバイCが交差点に向かって走行しているので、右折しようとする自動車AとオートバイCが交差点において衝突等する可能性がある。
【0073】
本実施形態における判定装置として機能するPC120は、3つの特定の領域の画像に着目し、その画像に映し出される事象がどのようなものであるかを分析して判定に用いることで、上記のような事故発生可能性の高いケースとなった場合に異常発生ありといった判定をなすことができ、警報を発することができる。
【0074】
一方、単に自動車Bが交差点を通過しただけで、右折車待機領域20に自動車Aが存在しない場合、自動車Aが存在する場合であっても自動車Bの通過後も停止したままである場合、自動車Aが右折しようとした場合であっても自動車Bの背後にオートバイCが存在しない場合には、衝突事故などが発生する可能性は著しく低いが、本実施形態ではこのようなケースについては異常発生とは判定しない。
【0075】
したがって、衝突事故が発生する可能性が高い状況となったことのみをより正確に判定して警報を発することができ、交差点を自動車が通過したり、右折待機車がいる場合であっても衝突事故が起こる可能性が低い場合にはそれを異常と判定して警報等を発してしまうことを低減できる。
【0076】
なお、警報発生部128は、上記のようにアラーム音を発生させる機能を実現させるものに限らず、他の機能を実現するものであってもよく、例えばネットワーク101を介して交差点1近傍における右折車待機領域20にいる自動車Aの運転手が見える設置した発光部等の発光駆動指示を送信するものであってもよい。このようにすれば、警報を発すべき状況にあることを右折車待機領域20にある自動車Aの運転手に知らせることができ、右折を中止させてオートバイCとの衝突事故を未然に防止するといったことも可能となる。
【0077】
B.変形例
なお、本発明は、上述した実施形態に限定されるものではなく、以下に例示するような種々の変形が可能である。
【0078】
(変形例1)
上述した実施形態では、上記3つの領域の画像に映っている事象を分析し、上記▲1▼〜▲3▼の条件を満たした場合に異常ありと判定するようになっていたが、着目する領域、条件は上記実施形態で提示したものに限らず、交差点において事故が起こりうる可能性が高い他の状況を把握するために必要な領域の画像に着目し、各領域内で生じている事象の条件を設定するようにしてもよい。
【0079】
例えば、上記3つの領域の各々に自動車やオードバイらしき可動物体が存在するといった単純な条件を設定し、事故発生可能性がやや低い場合でも異常発生として判定するようにしてもよいし、上記実施形態における3つの条件に加え、離対向車線領域40内に存在する可動物体(オートバイC等)の移動速度を複数フレーム分の画像を用いることで検出し、移動速度が予め決められた条件の合致する場合(例えば40km/h以上など)にのみ異常発生と判定するようにしてもよい。
【0080】
また、上記の3つの領域の組み合わせ以外にも、右折車待機領域20および近対向車線領域30に加え、右折車が右折後に通過する横断歩道の領域の画像を取得して分析し、上記▲1▼、▲2▼の条件を満たすとともに当該横断歩道領域内に歩行者がいる場合には異常発生可能性ありと判定して警報等を発するようにしてもよい。
【0081】
(変形例2)
また、上述した実施形態では、交差点における上記3つの領域を含む画像を撮影するための1台のビデオカメラ110を用いていたが、撮影手段としては1台のビデオカメラに限らず、上記3つの領域を含む画像を撮影できればく、複数台のビデオカメラを用いるようにしてもよい。
【0082】
(変形例3)
また、上述した実施形態では、交差点における上記3つの領域の画像を取得分析して所定の条件を満たすか否かを判別するようにしていたが、領域や条件等は上記実施形態のものに限定されず、判定対象などに応じて取得分析する画像の領域や、領域内の事象の条件などを適宜設定するようにすればよい。
【0083】
例えば、図5に示すように、交差点の衝突事故等の発生可能性が高いか否かを判定する状況判定システムとして本発明を適用することができる。同図に示すように、この状況判定システム200は、2つのビデオカメラ210、211と、これらと有線もしくは無線通信手段を介して接続されるPC220とを備えている。
【0084】
ビデオカメラ210は、図5の上下方向に沿った道路201の特定の領域を含む範囲を撮影するよう固定配置されており、ビデオカメラ211は、図5の左右方向に沿った道路202の特定の領域を含む範囲を撮影するように固定配置されている。
【0085】
より具体的には、ビデオカメラ210は、道路201と道路202が交差する交差点203よりも一定距離D1だけ図の上方側の地点、上方から下方に進行する車等にとっては交差点203の距離D1だけ手前側の地点を中心とした領域250を含む範囲を撮影する。また、ビデオカメラ211は、道路202における交差点203よりも一定距離D2だけ図の右側の地点、右側から左側に進行する車等にとっては交差点203の距離D2だけ手前側の地点を中心とした領域260を含む範囲を撮影する。
【0086】
ビデオカメラ210、211は、以上のような領域を含む範囲を撮影した動画像データをリアルタイムで有線または無線通信手段を介してPC220に送信する。
【0087】
PC220は、上記実施形態におけるPC120とほぼ同様の構成であり(図2参照)、領域座標テーブル122に設定される内容と、分析処理部124によって行われる処理および分析処理テーブル125の設定内容と、判定用テーブル127の設定内容とが相違しており、以下相違点について説明する。
【0088】
まず、領域座標テーブル122には、ビデオカメラ210から順次供給されるフレーム画像から切り出す領域を特定するための座標情報が設定されており、設定される座標情報は上記領域250と一致するものであり、これにより領域別動画像取得部121によって上記領域250の画像がフレーム画像から切り出されるような情報である。
【0089】
また、領域座標テーブル122には、ビデオカメラ211から順次供給されるフレーム画像から切り出す領域を特定するための座標情報が設定されており、設定される座標情報は上記領域260と一致するものであり、これにより領域別動画像取得部121によって上記領域260の画像がフレーム画像から切り出される。
【0090】
この変形例における分析処理テーブル125の設定内容にしたがった分析処理部124では、領域250の画像に対しては可動物体が存在するか否かの検出(実施形態の物体有無検出処理部124aと同じ処理)と、存在する場合にはその可動物体の移動速度と移動方向(移動方向検出処理部124cと同じ)を検出する。移動速度の検出処理方法としては、例えば1つ前のフレーム画像から切り出した領域250の画像と、現時点の領域250の画像との間で可動物体の移動量を求め、かかる画像上の移動量とフレーム間の時間tとに基づいて移動速度を求める手法を用いることができる。
【0091】
また、この変形例における分析処理部124は、領域260の画像に対しても領域250と同様に、物体の有無検出処理、移動速度検出処理および移動方向検出処理を行う。
【0092】
そして、判定用テーブル127の設定内容を参照して判定を行う判定処理部126は、以下の条件が満たされた場合に異常発生の可能性が高いとしてその旨を警報発生部128に通知する。
▲1▼領域250および領域260の各々に可動物体がある
▲2▼両領域内の可動物体の移動速度が一定速度(例えば20km/h)以上である
▲3▼領域250内の可動物体が図5の上から下側に移動し、かつ領域260内の可動物体が図5の左側から右側に移動している
▲4▼領域250内の可動物体の移動速度V1(km/h)と、領域260内の可動物体の移動速度V2(km/h)とした場合、両者が次のような関係にある
V1=V2×D1/D2±10
【0093】
すなわち、領域250,260に映った自動車等の可動物体が、交差点203に向けて移動しており、両者の速度関係から両者が交差点203で衝突しそうな場合に異常発生可能性が高いと判定されるのである。
【0094】
例えば、距離D1が30m、距離D2を15mであった場合、領域250内にいる自動車Aが60km/hで走行し、領域260内にいる自動車Bが30km/hで走行していた場合(V1=V2×D1/D2を満たす場合)、そのまま走行すると両自動車は交差点203にほぼ同時に進入し、衝突するおそれが高い。
このように上記の4つの条件を満たす場合、交差点203において衝突事故が発生する可能性が高く、PC220が上記のような判定を行うことで衝突事故等の発生可能性が高い状況になったことをより正確に判定することができる。
【0095】
なお、可動物体の速度が20km/h以下のように低速である場合には、両者は交差点203前で停止するか、交差点203に近づいた時点で交差点203に進入している他の車に存在に気づいてブレーキ等をかける可能性が十分考えられるので、条件▲2▼を満たすことを要求しているが、人や自転車と自動車やオートバイとの衝突可能性が高い状況であるか否かを判定する場合には、この条件を除くようにしてもよい。また、上記式における「±10」は、両者の速度差が10km/hの範囲内であれば、その後の速度変動によって衝突する可能性が十分にあるので幅を持たせたものであり、値は10km/hに限定されるものではなく、距離D1、D2や道路の状況などから適宜決定すればよい。
【0096】
また、領域250内に存在する自動車の運転手にとって領域260内に存在する自動車が見えず、また領域260内に存在する自動車の運転手にとって領域250内に存在する自動車が見えないといった両領域内に存在する者にとって互いに死角となる領域である場合、衝突の可能性は見晴らしのよい交差点と比較して高くなると考えられる。したがって、領域250、260として互いに死角となるような範囲に設定することで、より衝突等の可能性が高い状況になったことを判定できる。
【0097】
以上のように交差点203における衝突事故の発生可能性が高いと考えられる状況になったことをより正確に判定し、例えば交差点203に設置した発光部等を発光させるといった警報を発することで、交差点203へ進入しようとする自動車等の運転手に注意を促すことができ、衝突事故の発生を未然に防止することができる。
【0098】
なお、当該変形例のようなケースにおいて、上記の4つの条件以外にも、自動車Aと自動車Bが衝突するおそれが高い状況に応じた条件を加えてもよいし、逆に条件をゆるくする、例えば条件▲1▼のみを要求するようにして衝突可能性がそれほど高くない場合であっても可能性ありと判定するように構成してもよく、ユーザが必要とする用途や可能性の程度にあわせて各条件等を設定すればよい。
【0099】
(変形例4)
また、上記実施形態および変形例3以外にも、図6に示すように、複数の道路が合流する地点で衝突事故等が発生する可能性が高い状況であるか否かを判定する状況判定システムとして本発明を適用することができる。同図に示すように、この状況判定システム300は、2つのビデオカメラ310、311と、これらと有線もしくは無線通信手段を介して接続されるPC320とを備えている。
【0100】
ビデオカメラ311は、図6の上下方向に沿った本線道路301(進行方向は図の下から上方向)の特定の領域を含む範囲を撮影するよう固定配置されており、ビデオカメラ310は、本線道路301に合流する道路302の特定の領域を含む範囲を撮影するように固定配置されている。
【0101】
より具体的には、ビデオカメラ310は、道路301と道路302が合流する合流地点Gよりも一定距離D3だけ手前側の地点を中心とした領域350を含む範囲を撮影する。また、ビデオカメラ311は、合流地点Gよりも一定距離D4だけ手前側の地点を中心とした領域360を含む範囲を撮影する。
【0102】
ビデオカメラ310、311は、以上のような領域を含む範囲を撮影した動画像データをリアルタイムで有線または無線通信手段を介してPC320に送信する。
【0103】
PC320は、上記実施形態におけるPC120とほぼ同様の構成であり(図2参照)、領域座標テーブル122に設定される内容と、分析処理部124によって行われる処理および分析処理テーブル125の設定内容と、判定用テーブル127の設定内容とが相違しており、以下相違点について説明する。
【0104】
この変形例における領域座標テーブル122の設定内容にしたがった領域別動画像取得部121は、ビデオカメラ310によって撮影されたフレーム画像から上記領域350の画像を切り出し、ビデオカメラ311によって撮影されたフレーム画像から上記領域360の画像を切り出す。
【0105】
この変形例における分析処理テーブル125の設定内容にしたがった分析処理部124では、領域350の画像に対しては可動物体が存在するか否かの検出(実施形態の物体有無検出処理部124aと同じ処理)と、存在する場合にはその可動物体の移動速度を検出する。また、この変形例における分析処理部124は、領域360の画像に対しても領域350と同様に、物体の有無検出処理および移動速度検出処理を行う。
【0106】
そして、判定用テーブル127の設定内容を参照して判定を行う判定処理部126は、以下の条件が満たされた場合に異常発生の可能性が高いとしてその旨を警報発生部128に通知する。
▲1▼領域350および領域360の各々に可動物体がある
▲2▼領域350内の可動物体の移動速度V3(km/h)と、領域360内の可動物体の移動速度V4(km/h)とした場合、両者が次のような関係にある
V3=V4×D3/D4±10
【0107】
すなわち、領域350,360に映った自動車等の可動物体が、その速度関係から両者が合流地点Gで衝突しそうな場合に異常発生可能性が高いと判定されるのである。
【0108】
例えば、距離D3が80m、距離D4を100mであった場合、領域350内にいる自動車Aが80km/hで走行し、領域360内にいる自動車Bが100km/hで走行していた場合(V3=V4×D3/D4を満たす場合)、そのまま走行すると両自動車は合流地点Gにほぼ同時に進入し、衝突するおそれが高い。このように上記の2つの条件を満たす場合、合流地点Gにおいて衝突事故が発生する可能性が高く、PC320が上記のような判定を行うことで衝突事故等の発生可能性が高い状況になったことをより正確に判定することができる。
【0109】
また、領域350内に存在する自動車の運転手にとって領域360内に存在する自動車が見えず、また領域360内に存在する自動車の運転手にとって領域350内に存在する自動車が見えないといった両領域内に存在する者にとって互いに死角となる領域である場合、衝突の可能性は見晴らしのよい合流地点と比較して高くなると考えられる。したがって、領域350、360として互いに死角となるような範囲に設定することで、より衝突等の可能性が高い状況になったことを判定できる。
【0110】
以上のように合流地点Gにおける衝突事故等の発生可能性が高いと考えられる状況になったことをより正確に判定し、例えば合流地点G近傍に設置した発光部等を発光させるといった警報を発することで、合流地点Gへ進入しようとする自動車等の運転手に注意を促すことができ、衝突事故の発生を未然に防止することができる。
【0111】
なお、当該変形例のようなケースにおいて、上記の2つの条件以外にさらに条件を加えてもよいし、逆に条件をゆるくする、例えば条件▲1▼のみを要求するように構成してもよく、ユーザが必要とする用途や可能性の程度にあわせて各条件等を設定すればよい。
【0112】
(変形例5)
また、上記実施形態および変形例3、4以外にも、図7に示すように、スキーのゲレンデにおいて、上方から滑走してくるスキーヤーと、リフト降り場にいるスキーヤーとが衝突等する可能性が高い状況であるか否かを判定するシステムとして本発明を適用することができる。同図に示すように、この状況判定システム400は、2つのビデオカメラ410、411と、これらと有線もしくは無線通信手段を介して接続されるPC420とを備えている。
【0113】
ビデオカメラ410は、リフト降り場430と山の上から下側への滑走路431との合流地点GG近傍の領域450を含む範囲を撮影するよう固定配置されており、ビデオカメラ411は滑走路431におけるその合流地点GGよりも上方側の領域460を含む範囲を撮影するよう固定配置されている。
【0114】
ビデオカメラ410、411は、以上のような領域を含む範囲を撮影した動画像データをリアルタイムで有線または無線通信手段を介してPC420に送信する。
【0115】
PC420は、上記実施形態におけるPC120とほぼ同様の構成であり(図2参照)、領域座標テーブル122に設定される内容と、分析処理部124によって行われる処理および分析処理テーブル125の設定内容と、判定用テーブル127の設定内容とが相違しており、以下相違点について説明する。
【0116】
この変形例における領域座標テーブル122の設定内容にしたがった領域別動画像取得部121は、ビデオカメラ410によって撮影されたフレーム画像から上記領域450の画像を切り出し、ビデオカメラ411によって撮影されたフレーム画像から上記領域460の画像を切り出す。
【0117】
この変形例における分析処理テーブル125の設定内容にしたがった分析処理部124では、領域450の画像に対してはその領域内における可動物体(スキーヤー)が占める割合を検出する。例えば、スキーヤーの全くいない状態で同じ領域を撮影した画像と、領域別動画像取得部121が切り出した領域の画像とを比較し、差のある部分を可動物体の占める部分として領域全体におけるその部分の占める割合を求めることにより検出する。このようなゲレンデにおいてはスキーヤー以外の可動物体はほとんど存在せず、上記のような可動物体が占める割合が大きい場合には、リフト降り場430から滑走路431への合流地点GG近傍の領域により多くのスキーヤーが存在していると考えられ、可動物体の占める割合が小さい場合にはスキーヤーの数が少ないと考えられる。
【0118】
また、この変形例における分析処理部124は、領域460の画像に対しては、物体の有無検出処理および移動速度検出処理を行う。
【0119】
そして、判定用テーブル127の設定内容を参照して判定を行う判定処理部126は、以下の条件が満たされた場合に異常発生の可能性が高いとしてその旨を警報発生部128に通知する。
▲1▼領域450内の可動物体の占める割合が所定値以上である
▲2▼領域460内に可動物体が存在する
▲3▼領域460内の可動物体の移動速度が一定速度(20km/h)以上である
【0120】
すなわち、領域450内における可動物体の占める割合が大きく、つまりその領域内にいるスキーヤーの数が比較的多く、かつ領域460内に一定速度以上で滑走する可動物体であるスキーヤーがいる場合に衝突等の発生可能性が高いと判定されるのである。
【0121】
以上のように合流地点GGにおける衝突事故等の発生可能性が高いと考えられる状況になったことをより正確に判定し、例えば合流地点GG近傍に設置した発光部等を発光させたり、アラーム音を発生させるといった警報を発することで、合流地点GGへ上方から滑走しようとするスキーヤーに注意を促すことができるとともに、合流地点GG近傍にいるスキーヤー達にも上方から滑走するスキーヤーがいることを伝えることができ、衝突事故の発生を未然に防止することができる。
【0122】
なお、当該変形例のようなケースにおいて、上記の3つの条件以外にさらに条件を加えてもよいし、逆に条件をゆるくする、例えば条件▲1▼および▲2▼のみを要求するように構成してもよく、ユーザが必要とする用途や可能性の程度にあわせて各条件等を設定すればよい。
【0123】
(変形例6)
なお、上記のような道路が交差する交差点、道路が合流する合流点、スキーの滑走路等が合流する地点などに限らず、移動する物体等を案内する複数の経路が合流または交差する状況がある場合において各々の経路に沿って進行する物体の衝突等の可能性が高くなる状況を判定するシステムとして本発明を適用することができる。このようなシステムにおいては、各々経路の合流点または交差点の上流側に置ける領域の画像を取得し、これらの領域内に合流点または交差点に向かう移動物体が存在するか否か、移動速度等を分析し、これらの分析結果が合流点または交差点近傍で衝突するおそれが高い結果と一致する場合には衝突可能性が高いといった判定を行うようにすればよい。
【0124】
(変形例7)
また、上述した実施形態や各変形例等において、図8に示すように、領域座標テーブル122、分析処理テーブル125および判定用テーブル127の設定内容をユーザが任意に設定できるような構成としてもよい。同図に示すように、この構成は、図2に示す構成に加え、設定内容をユーザが入力するためのキーボードやマウス等を有する入力手段500と、これらのテーブルに入力手段500を介して入力されたユーザの指示内容にしたがった座標情報、分析処理内容、判定用の処理結果を設定する設定手段510を備えている。
【0125】
かかる構成の下、ユーザがキーボード等を操作指示することで入力手段500を介して設定内容を入力すれば、その内容が設定手段510によって領域座標テーブル122、分析処理テーブル125または判定用テーブル127に設定されるので、判定に用いる領域や条件をユーザが任意に設定することができ、種々の用途にあわせて容易に設定内容を変更できる。
【0126】
(変形例8)
また、上述した実施形態や各変形例においては、ビデオカメラなどの撮影手段によって撮影された動画像から複数の領域を切り出し、各々の領域画像について分析を行って分析結果から何らかの状況判定を行う判定処理を、PC120等が外部記憶装置に格納されたプログラムにしたがった処理を行うことで実現するようにしていたが、上記のような処理をコンピュータに実行させるためのプログラムをインターネット等の通信回線を介してユーザに提供するようにしてもよいし、当該プログラムをCD−ROM(Compact Disc−Read Only Memory)などのコンピュータ読み取り可能な記録媒体に記録してユーザに提供するようにしてもよい。また、上記のような処理を専用のハードウェア回路によって実現する判定装置として構成し、当該判定装置をユーザに提供等するようにしてもよい。
【0127】
【発明の効果】
以上説明したように、請求項1にかかる発明によれば、複数の異なる領域内で起こっている事象を考慮した判定を行うことができ、より正確な状況判定が可能となるという効果を奏する。
【0128】
また、請求項2にかかる発明によれば、より正確に特定の状況判定がなされ、かつその状況に応じた機能を実現することができるという効果を奏する。
【0129】
また、請求項3にかかる発明によれば、ユーザが、判定のために分析すべき2つ以上の画像領域の指定、各領域の画像について行わすべき分析処理、または判定用の結果を指定することができ、どのような環境においてどのような状況を判定するかに応じて適宜設定内容を決めることができるという効果を奏する。
【0130】
また、請求項4にかかる発明によれば、複数の異なる領域内で起こっている事象を考慮した判定を行うことができ、より正確な状況判定が可能となるという効果を奏する。
【0131】
また、請求項5にかかる発明によれば、交差または合流点の上流側の領域の事象に基づいた判定を行うことができ、交差または合流点における可動体の衝突等の発生可能性が高い状況をより正確に判定することができるという効果を奏する。
【0132】
また、請求項6にかかる発明によれば、交差点における右折しようとする車等と対向車等との衝突発生可能性が高い状況をより正確に判定することができるという効果を奏する。
【0133】
また、請求項7にかかる発明によれば、交差点において衝突等の発生可能性が高い状況になったか否かをより正確に判定することができるという効果を奏する。
【0134】
また、請求項8にかかる発明によれば、交差点の手前側の各々の領域で生じている事象に基づいた判定を行うことができ、交差点における車等の衝突の発生可能性が高い状況であるか否かをより正確に判定することができるという効果を奏する。
【0135】
また、請求項9にかかる発明によれば、交差点において衝突等の可能性の低いケースにおいて衝突可能性が高いといった誤った判定をしてしまうことを低減できるという効果を奏する。
【0136】
また、請求項10にかかる発明によれば、合流点の手前側の各々の領域で生じている事象に基づいた判定を行うことができ、合流点における車等の衝突の発生可能性が高い状況であるか否かをより正確に判定することができるという効果を奏する。
【0137】
また、請求項11にかかる発明によれば、合流点において衝突等の可能性の低いケースにおいて衝突可能性が高いといった誤った判定をしてしまうことを低減できるという効果を奏する。
【0138】
また、請求項12にかかる発明によれば、ゲレンデの滑走路におけるリフト降り場からの走路との合流点の上方側で生じている事象と、合流領域で生じている事象に基づいた判定を行うことができ、合流点におけるスキーヤー等の衝突の発生可能性が高い状況であるか否かをより正確に判定することができるという効果を奏する。
【0139】
また、請求項13にかかる発明によれば、合流点におけるスキーヤー等の衝突の発生の可能性が高いと考えられる条件を状況判定のための条件としているので、このような条件を満たさない衝突可能性の低いケースにおいて衝突可能性が高いといった誤った判定をしてしまうことを低減できるという効果を奏する。
【0140】
また、請求項14にかかる発明によれば、複数の異なる領域内で起こっている事象を考慮した判定を行うことができ、より正確な状況判定が可能となるという効果を奏する。
【0141】
また、請求項15にかかるプログラムをコンピュータに実行させることで、コンピュータを請求項1にかかる発明と同様の構成を有する装置として機能させることができ、請求項1にかかる発明と同様の効果を奏する。
【図面の簡単な説明】
【図1】本発明の一実施形態にかかる状況判定システムの全体構成を示す図である。
【図2】前記状況判定システムの構成要素であるPCの機能構成を示すブロック図である。
【図3】交差点の状況を判定する前記状況判定システムにおいて、状況判定に用いられる領域の画像の一例を示す図である。
【図4】前記状況判定システムの状況判定対象である交差点の様子を示す図である。
【図5】前記状況判定システムの変形例の全体構成を示す図である。
【図6】前記状況判定システムの他の変形例の全体構成を示す図である。
【図7】前記状況判定システムのその他の変形例の全体構成を示す図である。
【図8】前記状況判定システムの構成要素であるPCの変形例の機能構成を示すブロック図である。
【符号の説明】
10 右折用車線
20 右折車待機領域
30 近対向車線領域
40 離対向車線領域
100 状況判定システム
101 ネットワーク
110 ビデオカメラ
121 領域別動画像取得部
122 領域座標テーブル
123 画像データ保持部
124 分析処理部
124a 物体有無検出処理部
124b 通過検出処理部
124c 移動方向検出処理部
125 分析処理テーブル
126 判定処理部
127 判定用テーブル
128 警報発生部
200 状況判定システム
210 ビデオカメラ
211 ビデオカメラ
300 状況判定システム
310 ビデオカメラ
311 ビデオカメラ
400 状況判定システム
410 ビデオカメラ
411 ビデオカメラ
500 入力手段
510 設定手段[0001]
TECHNICAL FIELD OF THE INVENTION
The present invention relates to a determination device, a status determination system, a determination method, and a program for determining whether or not a specific situation has been reached from a captured image.
[0002]
[Prior art]
2. Description of the Related Art Conventionally, a technique of automatically performing some kind of situation determination by analyzing a captured image has been used. For example, there is a device that captures a monitoring target such as a falling rock, an intruding object, a fire or a car, and analyzes the captured image to determine whether an abnormality has occurred (for example, see Patent Document 1).
[0003]
As a technique using such a determination function, an image of an intersection is photographed, the photographed image is transmitted to a traffic monitoring center or the like, and as a result of analyzing the image, an object (= vehicle) enters the photographed image. A system that issues a warning in such a case has also been proposed. In such a system, a car or the like entering the intersection is a prerequisite for the occurrence of a traffic accident or the like at the intersection. Therefore, such a situation is automatically determined based on the photographed image and the center staff etc. You can call attention.
[0004]
[Patent Document 1]
JP-A-2002-74370
[0005]
[Problems to be solved by the invention]
However, there are many cases where a car enters the image area where the intersection was photographed as described above, and if the car detects it and issues an alarm etc. every time it passes, an accident etc. may occur There is a problem that useless alarms occur frequently despite the fact that there is almost no possibility. In other words, since this technique cannot accurately determine the situation, if there is a possibility that a particular situation such as an accident may occur (when a car enters), an alarm or the like is issued to miss the situation. There is no such thing.
[0006]
Even when the situation determination cannot be accurately performed in this way, although the possibility of missing the occurrence detection of the specific situation can be reduced by performing the above, although there is almost no probability that the situation will occur, An alarm is issued. For this reason, there is a possibility that the alarm may not be meaningful, and especially in the above-mentioned application case, when an intersection with a large traffic volume is photographed as a monitoring target, the alarm may always sound.
[0007]
The present invention has been made in view of the above, and an object of the present invention is to provide a determination device, a status determination system, a determination method, and a program that can more accurately perform a status determination based on a captured image.
[0008]
[Means for Solving the Problems]
In order to achieve the above object, the invention according to claim 1 includes a moving image acquiring unit that acquires moving image data of two or more different regions photographed by a photographing unit that photographs a moving image; For each of the acquired moving image data of two or more different regions, an analysis unit that performs a content analysis process of an image set in advance for each region, and an analysis result for each region analyzed by the analysis unit. A determination unit configured to determine whether a determination result set in advance for each of the regions matches the determination result.
[0009]
According to the first aspect of the present invention, moving image data of two or more different photographed areas is obtained, and a content analysis process of a preset image is performed for each of them. The determination is made based on whether or not the analysis processing result for each area matches the determination result set in advance for each area. As described above, the determination can be performed in consideration of the events occurring in a plurality of different areas, and more accurate situation determination can be performed.
[0010]
The invention according to a second aspect is the configuration according to the first aspect of the present invention, further comprising a function execution unit that executes a predetermined function when the determination results by the determination unit match. It is characterized by the following.
[0011]
According to the second aspect of the present invention, a predetermined function is realized when an analysis result of an image of a plurality of regions in a captured image matches a predetermined determination result. You. Therefore, if the function to be performed when the analysis result of each area matches the determination result is realized, a specific situation determination can be made more accurately, and the function according to the situation can be performed. Can be realized.
[0012]
According to a third aspect of the present invention, in the configuration according to the first or second aspect, an area for storing area specifying information for specifying a range of two or more areas to be obtained by the moving image obtaining means. Specific information storage means, analysis processing content storage means for storing the content of the analysis processing set for each area, determination storage means for storing the determination result set for each area, and a user instruction And setting means for setting the analysis processing content to be stored in the analysis processing content storage means or the determination storage means, the determination result, or both.
[0013]
According to the invention according to claim 3, it is possible to specify the setting content to be stored in the area specifying information storage means, the analysis processing content storage means, or the determination storage means according to the user's instruction. Therefore, the user can specify two or more image regions to be analyzed for determination, specify an analysis process to be performed on the image of each region, or specify a result for determination. The setting content can be appropriately determined depending on whether such a situation is determined.
[0014]
According to a fourth aspect of the present invention, there is provided a situation judging system comprising: a photographing means for photographing a moving image in a predetermined range; and a judging device for judging a situation based on the moving image photographed by the photographing means. Wherein the determination device comprises: a moving image acquiring unit that acquires moving image data of two or more different regions photographed by the photographing unit; and a moving image of two or more different regions acquired by the moving image acquiring unit. For each of the image data, an analysis unit that performs a content analysis process of an image set in advance for each of the regions, an analysis result for each region analyzed by the analysis unit, and a setting in advance for each of the regions A determination unit configured to determine whether the determination result matches the determination result.
[0015]
According to the fourth aspect of the present invention, moving image data of two or more different areas photographed by the photographing means is obtained, and a predetermined image content analysis process is performed for each of them. The determination is made based on whether or not the analysis processing result for each area matches the determination result set in advance for each area.
As described above, the determination can be performed in consideration of the events occurring in a plurality of different areas, and more accurate situation determination can be performed.
[0016]
According to a fifth aspect of the present invention, in the configuration of the fourth aspect of the present invention, the photographing means is determined in advance on a plurality of paths along which the movable bodies intersecting or merging with each other move or intersect. Are arranged so as to capture a range including an area on the upstream side in the movement direction by the distance, and the moving image acquisition unit acquires moving image data of each of the upstream areas.
[0017]
According to the fifth aspect of the present invention, a captured image of the upstream region before intersection or merging of the respective paths that intersect or merge is acquired, analysis processing is performed on each of them, and the analysis result matches the judgment result. It can be determined whether or not to do so. Therefore, it is possible to make a determination based on an event in an area on the upstream side of the intersection or the junction, and it is possible to more accurately determine a situation in which there is a high possibility of collision of the movable body at the intersection or the junction.
[0018]
According to a sixth aspect of the present invention, in the configuration of the fourth aspect of the present invention, the photographing unit includes a right turn vehicle waiting area at an intersection and an area on an opposite lane to a lane in which the right turn vehicle runs, An image is captured of a range including a first oncoming lane area near the right turn lane waiting area and a second oncoming lane area further away from the right turn lane waiting area than the first oncoming lane area. And the moving image acquiring means acquires moving image data of the right-turning vehicle waiting area, the first oncoming lane area, and the second oncoming lane area.
[0019]
According to the invention according to claim 6, the right turn vehicle standby area at the intersection and the area of the opposite lane thereof, which is the first oncoming lane area near the right turn vehicle standby area, are located at a distance from the first opposite lane area. 2 to obtain an image of the oncoming lane area, perform analysis processing on each of them, determine whether or not the analysis result matches the determination result. It is possible to more accurately determine a situation where the possibility of collision with an oncoming vehicle or the like is high.
[0020]
According to a seventh aspect of the present invention, in the configuration according to the sixth aspect, the analyzing means determines whether or not a movable object is shown in the image of the right turn vehicle waiting area and, if so, moves the movable object. Analyzing the direction, analyzing whether or not the movable object reflected in the image of the first oncoming lane area is not reflected, and analyzing whether or not the movable object is reflected on the image of the second oncoming lane area. The determination means may include a movable object reflected in the image of the right turn vehicle waiting area, the movable object moving in the right turn direction, and a movable object reflected in the image of the first oncoming lane area. It is characterized in that it is determined whether or not the result of the analysis by the analysis means coincides with the result of the determination that the object disappears and that the movable object is reflected in the image of the second oncoming lane area.
[0021]
According to the invention according to claim 7, the analysis result of the image of each area shows that the movable object is reflected in the image of the right turn vehicle waiting area at the intersection, and the movable object is moving in the right turn direction; The possibility of a collision between a right-turning vehicle and an oncoming vehicle at an intersection where the movable object shown in the image of the first oncoming lane region is no longer shown and the movable object is shown in the image of the second oncoming lane region is reduced. Since the judgment is made on the condition of a high case, if these conditions are not satisfied, that is, if the possibility of collision etc. is not so high, the judgment of the specific situation will not be made and the situation where the possibility of collision etc. is high It can be more accurately determined whether or not it has become.
[0022]
According to an eighth aspect of the present invention, in the configuration of the fourth aspect of the present invention, the photographing means includes a pre-intersection area at a predetermined distance before the intersection on at least two roads intersecting at the intersection. , And the moving image acquiring means acquires moving image data of at least two areas before the intersection.
[0023]
According to the invention according to claim 8, a photographed image of a region on the near side of the intersection of each road intersecting at the intersection is obtained, and an analysis process is performed on each of the images to determine whether the analysis result matches the determination result. Can be determined. Therefore, it is possible to make a determination based on an event that has occurred in each area on the near side of the intersection, and to more accurately determine whether or not there is a high possibility of collision of a car or the like at the intersection. Can be.
[0024]
According to a ninth aspect of the present invention, in the configuration according to the eighth aspect, the analysis unit analyzes whether or not a movable object is present in at least two images of the area before the intersection, and Is characterized in that it is determined whether or not the determination result including the fact that a movable object is reflected in at least two images of the area before the intersection and the analysis result by the analysis unit match.
[0025]
According to the ninth aspect of the present invention, since the analysis result of the image of the area before the intersection presupposes the occurrence of a collision at the intersection where a movable object is shown as the condition for the situation determination, It is possible to reduce erroneous determination that the possibility of collision is high in the case of low possibility of collision that does not satisfy such conditions.
[0026]
According to a tenth aspect of the present invention, in the configuration of the fourth aspect of the present invention, the photographing means includes a pre-merging area that is a predetermined distance before the merging point on the two merging roads. , And the moving image acquiring means acquires moving image data of the pre-merging area on two roads.
[0027]
According to the tenth aspect of the present invention, a captured image of a region on the near side of the merging point of each of the merging roads is acquired, an analysis process is performed on each of them, and whether or not the analysis result and the determination result match. Can be determined. Therefore, it is possible to make a determination based on an event occurring in each area on the front side of the junction, and to more accurately determine whether or not there is a high possibility of collision of a vehicle or the like at the junction. can do.
[0028]
Also, in the invention according to claim 11, in the configuration of the invention according to
[0029]
According to the eleventh aspect of the present invention, since the analysis result of the image in the area before the confluence point assumes that the condition premised on the occurrence of the collision at the confluence point where the movable object is reflected is the condition for the situation determination. In addition, it is possible to reduce erroneous determination that the possibility of collision is high in the case of low possibility of collision that does not satisfy such conditions.
[0030]
According to a twelfth aspect of the present invention, in the configuration of the fourth aspect, the photographing means includes: a merging area where the ski slope joins the runway from a lift landing; and a predetermined distance from the merging area. The moving image acquisition unit acquires the moving image data of the merging region and the upper region.
[0031]
According to the twelfth aspect of the present invention, the captured images of the merge area of the runway and the path from the lift landing on the slope and the upper area of the runway above the merge area are acquired and analyzed. By performing the processing, it is possible to determine whether or not the analysis result matches the determination result. Therefore, it is possible to make a determination based on the event occurring on the runway above the junction and the event occurring in the junction area, and there is a high possibility of collision of a skier or the like at the junction. Can be determined more accurately.
[0032]
According to a thirteenth aspect of the present invention, in the configuration according to the twelfth aspect, the analysis unit analyzes a ratio occupied by a movable object in the image of the merging region, and the moving object is included in the image of the upper region. Analyzing whether or not the image is reflected, the determination unit determines that the ratio of the movable object in the image of the merge area is equal to or greater than a preset value, and that the movable object is reflected in the image of the information area. It is characterized in that it is determined whether or not the determination result including the above and the analysis result by the analysis means match.
[0033]
According to the thirteenth aspect, the movable object (like a skier) is reflected in the image of the region on the runway above the junction, and the ratio of the movable object in the image of the region of the junction is set. Since conditions that are considered to be likely to cause a collision of a skier or the like at a confluence, such as being equal to or more than a value (presumably there are a plurality of skiers), are set as conditions for the situation determination, It is possible to reduce erroneous determination that the possibility of collision is high in the case of low possibility of collision that does not satisfy the condition.
[0034]
The invention according to claim 14 is a moving image acquiring step of acquiring moving image data of two or more different regions photographed by a photographing means, and two or more different moving image data acquired by the moving image acquiring step. For each of the moving image data of the region, an analysis step of performing a content analysis process of an image set in advance for each of the regions, an analysis result for each region analyzed by the analysis step, and a preset for each of the regions. A determining step of determining whether or not the determination result matches the determination result.
[0035]
According to the fourteenth aspect of the present invention, moving image data of two or more different photographed areas is obtained, and a content analysis process of a preset image is performed for each of them. The determination is made based on whether or not the analysis processing result for each area matches the determination result set in advance for each area. As described above, the determination can be performed in consideration of the events occurring in a plurality of different areas, and more accurate situation determination can be performed.
[0036]
According to a fifteenth aspect of the present invention, there is provided a computer, comprising: a moving image acquiring unit that acquires moving image data of two or more different areas photographed by a photographing unit; For each of the moving image data of the above-mentioned regions, an analysis unit that performs a content analysis process of an image set in advance for each region, an analysis result for each region analyzed by the analysis unit, and a setting for each region in advance This is a program for functioning as determination means for determining whether or not the determined result matches.
[0037]
By causing a computer to execute the program according to claim 15, the computer can function as an apparatus having a configuration similar to that of the invention according to claim 1.
[0038]
BEST MODE FOR CARRYING OUT THE INVENTION
Hereinafter, preferred embodiments of a determination device, a situation determination system, a determination method, and a program according to the present invention will be described in detail with reference to the accompanying drawings.
[0039]
A. Embodiment
FIG. 1 is a diagram illustrating an overall configuration of a situation determination system according to an embodiment of the present invention. As shown in FIG. 1, the situation determination system 100 includes a video camera 110 connected via a
[0040]
As shown in the figure, the video camera 110 is fixedly arranged at a position where the intersection 1 having the
[0041]
Here, the shooting range of the video camera 110 includes a right-turning
[0042]
The video camera 110 transmits, to the
[0043]
The
[0044]
Further, the
[0045]
The CPU of the
[0046]
As shown in the figure, the
[0047]
The region-specific moving
[0048]
The area coordinate table 122 stores coordinate information for specifying a range of three areas to be cut out by the area-specific moving
[0049]
In the illustrated example, “ID01” is used as an ID for identifying the above-described right turn
[0050]
The image
[0051]
The
[0052]
In the present embodiment, the
[0053]
In the analysis processing table 125, data indicating the analysis processing content to be performed on the image of the area identified by the ID is set for each area ID. One or more of the three processing units are selected according to the settings, and the processing by the selected processing unit is performed on the image of each area.
[0054]
In the present embodiment, the following settings are made in the analysis processing table 125. For the image of the right turn
[0055]
Next, the contents of the analysis processing by the three processing units will be described. First, the object presence / absence
[0056]
In the present embodiment, the object presence / absence detection processing is performed on the images of the right-turning
[0057]
The presence or absence of the movable object may be detected by comparing the image with the image when the movable object does not exist as described above. The presence / absence of a moving object may be detected by comparing with, and the presence / absence of the object may be detected based on whether or not a moving object has been detected.
[0058]
In addition, instead of simply detecting the presence or absence of a movable object, the size (for example, the area occupied by the object) and the shape of the movable object are detected from the image of the area, and the size of a car or motorcycle prepared in advance is considered to be possible. The presence of an object such as an automobile or a motorcycle may be detected such that an automobile or a motorcycle exists when the detection size is larger than the minimum value, or an automobile exists when the shape is an automobile. As described above, the method of detecting the presence or absence of a movable object is arbitrary, and various methods can be used. However, it is preferable that the process be capable of detecting the presence or absence of an object like a car. In addition, when there is no or little illumination near the intersection 1 at night, it is preferable to use an infrared camera or the like as the video camera 110. In such a case, a comparative image for detecting the presence or absence of an object is also taken by the infrared camera. What should be used.
[0059]
The passage
[0060]
If no moving object is detected in the past image, no passage is made, while if a moving object is detected, it is detected whether or not there is a moving object in the image of the target area supplied at the current time T. I do. At this time, if a movable object is not detected, it means that a movable object that has existed in the past (0.5 seconds before) no longer exists, and thus it is determined that a passage has occurred. In the present embodiment, such passage detection processing is performed on the image of the near-oncoming
[0061]
The method is not limited to such a method, and the region images extracted from all the frames for the past fixed period (for example, 0.5 seconds) are analyzed, the moving object is specified, and the presence or absence of the passage is detected more accurately. The method of detecting the presence or absence of passage may be arbitrary.
[0062]
The moving direction detection processing unit 124c performs a process of detecting the moving direction of the object in the target area, and detects the moving direction of the movable object as follows, for example. The target area image at the current time T stored in the image
[0063]
Note that the moving direction may be detected by comparing the image cut out from the immediately preceding frame with the image at the present time, but based on the images cut out from three or more frames. The moving direction may be detected, and the detection method is arbitrary.
[0064]
In the
[0065]
The
[0066]
The determination table 127 stores a processing result for each area image for determining that a situation in which a warning should be issued. As shown in the figure, with respect to the image of the right turn
[0067]
That is, the
[0068]
The
[0069]
As described above, the
[0070]
More specifically, in the present embodiment, when the following conditions are satisfied at an intersection, an alarm is issued as an abnormality occurrence.
{Circle around (1)} A right-turn vehicle is present in the right-turn vehicle waiting area 20 (there is an object), and the right-turn vehicle is about to move in the right-turn direction.
(2) The oncoming vehicle of the right-turning vehicle has passed the near oncoming
(3) Oncoming vehicles (including motorcycles) exist in the separated oncoming
[0071]
FIG. 4 is a schematic illustration of a state satisfying these three conditions in a plan view of an intersection. As shown in the figure, a car A at a waiting place for a right-turn car is about to turn right because an oncoming car B has passed. At that time, there is a case where the motorcycle C is traveling toward the intersection behind the oncoming vehicle B.
[0072]
In such a case, since the driver of the car A is about to make a right turn because the car B has passed, the
[0073]
The
[0074]
On the other hand, when the car B merely passes through the intersection and the car A does not exist in the right turn
[0075]
Therefore, it is possible to more accurately determine only a situation in which a collision accident is highly likely to occur and to issue an alarm, and even if a car passes an intersection or a right-turn standby vehicle is present, a collision occurs. When the possibility of an accident is low, it is possible to reduce occurrence of an alarm or the like by determining that the abnormality is abnormal.
[0076]
The
[0077]
B. Modified example
Note that the present invention is not limited to the above-described embodiment, and various modifications as exemplified below are possible.
[0078]
(Modification 1)
In the above-described embodiment, the events appearing in the images of the three regions are analyzed, and when the above conditions (1) to (3) are satisfied, it is determined that there is an abnormality. The areas and conditions are not limited to those presented in the above embodiment, and attention is paid to the images of the areas necessary to grasp other situations where an accident is likely to occur at the intersection, and the events occurring in each area May be set.
[0079]
For example, a simple condition that an automobile or a movable object like an automobile exists in each of the three areas may be set, and even if the possibility of an accident is slightly low, it may be determined that an abnormality has occurred. In addition to the above three conditions, the moving speed of the movable object (motorcycle C or the like) existing in the separated oncoming
[0080]
In addition to the combination of the above three areas, in addition to the right turn
[0081]
(Modification 2)
Further, in the above-described embodiment, one video camera 110 for capturing an image including the three regions at the intersection is used. However, the capturing means is not limited to one video camera, and the three video cameras are used. As long as an image including an area can be photographed, a plurality of video cameras may be used.
[0082]
(Modification 3)
In the above-described embodiment, the images of the three regions at the intersection are acquired and analyzed to determine whether or not a predetermined condition is satisfied. However, the regions and conditions are limited to those of the above-described embodiment. Instead, a region of an image to be acquired and analyzed, a condition of an event in the region, and the like may be appropriately set according to a determination target or the like.
[0083]
For example, as shown in FIG. 5, the present invention can be applied to a situation determination system that determines whether the possibility of an intersection collision accident or the like is high. As shown in the figure, the
[0084]
The
[0085]
More specifically, the
[0086]
The
[0087]
The
[0088]
First, in the area coordinate table 122, coordinate information for specifying an area to be cut out from a frame image sequentially supplied from the
[0089]
In the area coordinate table 122, coordinate information for specifying an area to be cut out from a frame image sequentially supplied from the
[0090]
The
[0091]
In addition, the
[0092]
Then, when the following conditions are satisfied, the
(1) There is a movable object in each of the
(2) The moving speed of the movable object in both areas is equal to or higher than a constant speed (for example, 20 km / h).
(3) The movable object in the
{Circle around (4)} Assuming that the moving speed V1 (km / h) of the movable object in the
V1 = V2 × D1 / D2 ± 10
[0093]
That is, when a movable object such as a car reflected in the
[0094]
For example, when the distance D1 is 30 m and the distance D2 is 15 m, the car A in the
Thus, when the above four conditions are satisfied, a collision accident is highly likely to occur at the
[0095]
When the speed of the movable object is low, such as 20 km / h or less, both stop before the
[0096]
In addition, in both regions, the driver of the vehicle existing in the
[0097]
As described above, it is more accurately determined that a situation in which the possibility of a collision accident at the
[0098]
In addition, in a case such as the modified example, in addition to the above four conditions, a condition according to a situation where there is a high possibility that the vehicle A and the vehicle B collide may be added, or conversely, the condition may be relaxed. For example, it may be configured to request only the condition (1) and determine that the possibility is high even if the possibility of collision is not so high. What is necessary is just to set each condition etc. together.
[0099]
(Modification 4)
In addition to the above-described embodiment and Modified Example 3, as shown in FIG. 6, a situation determination system that determines whether a collision accident or the like is likely to occur at a point where a plurality of roads merge. The present invention can be applied as As shown in the figure, the
[0100]
The
[0101]
More specifically, the
[0102]
The
[0103]
The
[0104]
The region-specific moving
[0105]
The
[0106]
Then, when the following conditions are satisfied, the
(1) There is a movable object in each of the
{Circle around (2)} Assuming that the moving speed V3 (km / h) of the movable object in the
V3 = V4 × D3 / D4 ± 10
[0107]
That is, it is determined that the possibility of occurrence of abnormality is high when a movable object such as a car reflected in the
[0108]
For example, when the distance D3 is 80 m and the distance D4 is 100 m, the car A in the
[0109]
In addition, in both regions, the driver of the vehicle present in the
[0110]
As described above, it is more accurately determined that a situation in which a collision accident or the like is likely to occur at the junction G is more accurately determined, and an alarm is issued, for example, to emit light from a light emitting unit installed near the junction G. Thus, a driver of a car or the like trying to enter the junction G can be alerted, and a collision accident can be prevented from occurring.
[0111]
In addition, in the case of the modified example, a condition may be further added in addition to the above two conditions, or the condition may be relaxed, for example, only the condition (1) may be required. Each condition or the like may be set according to the use or the degree of possibility required by the user.
[0112]
(Modification 5)
In addition to the above-described embodiment and Modifications 3 and 4, as shown in FIG. 7, on a ski slope, there is a possibility that a skier sliding from above and a skier at a lift landing may collide. The present invention can be applied as a system for determining whether or not the situation is high. As shown in the figure, the
[0113]
The
[0114]
The
[0115]
The
[0116]
The region-specific moving
[0117]
The
[0118]
In addition, the
[0119]
Then, when the following conditions are satisfied, the
(1) The ratio of the movable object in the
(2) A movable object exists in the
(3) The moving speed of the movable object in the
[0120]
That is, when the ratio of the movable object in the
[0121]
As described above, it is more accurately determined that a situation in which a collision accident or the like is likely to occur at the junction GG is more accurately determined. For example, a light emitting unit or the like installed near the junction GG emits light or an alarm sound A warning such as generating a warning can be given to skiers who are going to glide from above to the confluence point GG, and the skiers near the confluence point GG are informed that there are skiers who are glide from above. This can prevent a collision accident from occurring.
[0122]
In the case of the modified example, a condition may be further added in addition to the above three conditions, or the condition may be relaxed, for example, only the conditions (1) and (2) are required. The conditions may be set according to the use and the degree of possibility required by the user.
[0123]
(Modification 6)
It should be noted that not only intersections where roads intersect, junctions where roads merge, points where ski runways merge, and the like, but also situations where a plurality of routes that guide moving objects and the like merge or intersect. In some cases, the present invention can be applied to a system that determines a situation in which the possibility of collision of an object traveling along each route becomes high. In such a system, an image of a region located on the upstream side of the junction or intersection of each route is acquired, and whether or not a moving object heading for the junction or intersection exists in these regions, the moving speed, etc. The analysis may be performed, and when these analysis results coincide with the result that the possibility of collision near the junction or the intersection is high, it may be determined that the possibility of collision is high.
[0124]
(Modification 7)
Further, in the above-described embodiment, each modification, and the like, as shown in FIG. 8, a configuration may be adopted in which the user can arbitrarily set the setting contents of the area coordinate table 122, the analysis processing table 125, and the determination table 127. . As shown in the drawing, this configuration is different from the configuration shown in FIG. 2 in that input means 500 having a keyboard, a mouse, and the like for the user to input the setting contents, and input to these tables via the input means 500 are provided. Setting means 510 for setting coordinate information, analysis processing contents, and processing results for determination according to the contents of the user's instruction.
[0125]
In such a configuration, when the user inputs setting contents via the input means 500 by operating the keyboard or the like, the contents are stored in the area coordinate table 122, the analysis processing table 125, or the determination table 127 by the setting means 510. Since the setting is made, the user can arbitrarily set the area and condition used for the judgment, and the setting contents can be easily changed according to various uses.
[0126]
(Modification 8)
Further, in the above-described embodiment and each of the modifications, a plurality of regions are cut out from a moving image photographed by a photographing means such as a video camera, and analysis is performed on each region image, and some situation determination is performed based on the analysis result. The processing is realized by the
[0127]
【The invention's effect】
As described above, according to the first aspect of the present invention, it is possible to make a determination in consideration of an event occurring in a plurality of different areas, and it is possible to perform more accurate situation determination.
[0128]
Further, according to the second aspect of the present invention, it is possible to determine a specific situation more accurately and to realize a function according to the situation.
[0129]
According to the third aspect of the present invention, the user specifies two or more image regions to be analyzed for determination, specifies an analysis process to be performed on an image of each region, or specifies a determination result. Thus, there is an effect that the setting contents can be appropriately determined according to what environment and what situation is determined.
[0130]
Further, according to the invention according to claim 4, it is possible to make a determination in consideration of an event occurring in a plurality of different areas, and it is possible to perform more accurate situation determination.
[0131]
Further, according to the invention according to claim 5, it is possible to make a determination based on an event in an area on the upstream side of the intersection or the junction, and there is a high possibility that a collision of the movable body at the intersection or the junction occurs. Is more accurately determined.
[0132]
Further, according to the invention according to claim 6, there is an effect that it is possible to more accurately determine a situation in which there is a high possibility of occurrence of a collision between a car or the like that is going to turn right at an intersection and an oncoming car or the like.
[0133]
Further, according to the invention according to claim 7, there is an effect that it is possible to more accurately determine whether or not a situation in which the possibility of collision or the like has occurred at an intersection is high.
[0134]
Further, according to the invention according to claim 8, it is possible to make a determination based on an event occurring in each area on the near side of the intersection, and there is a high possibility that a collision of a car or the like at the intersection occurs. This has the effect that it can be determined more accurately.
[0135]
Further, according to the ninth aspect of the present invention, it is possible to reduce an erroneous determination that the possibility of collision is high in a case where the possibility of collision at an intersection is low.
[0136]
According to the tenth aspect of the present invention, it is possible to make a determination based on an event occurring in each area on the front side of the junction, and there is a high possibility that a collision of a vehicle or the like at the junction occurs. This is advantageous in that it can be determined more accurately.
[0137]
Further, according to the invention according to claim 11, it is possible to reduce an erroneous determination that the possibility of collision is high in a case where the possibility of collision or the like is low at the junction.
[0138]
According to the twelfth aspect of the present invention, a determination is made based on an event occurring above a junction with a runway from a lift landing on a runway on a slope and an event occurring in a junction area. Therefore, it is possible to more accurately determine whether or not the situation where the possibility of collision of a skier or the like at the junction is high is high.
[0139]
According to the thirteenth aspect of the present invention, a condition that is considered to have a high possibility of collision of a skier or the like at the junction is used as a condition for determining a situation. It is possible to reduce an erroneous determination that the possibility of collision is high in the case of low probability.
[0140]
According to the invention of claim 14, it is possible to make a determination in consideration of an event occurring in a plurality of different regions, and it is possible to perform more accurate situation determination.
[0141]
By causing a computer to execute the program according to claim 15, the computer can function as a device having a configuration similar to that of the invention according to claim 1, and achieve the same effects as the invention according to claim 1. .
[Brief description of the drawings]
FIG. 1 is a diagram showing an overall configuration of a situation determination system according to an embodiment of the present invention.
FIG. 2 is a block diagram showing a functional configuration of a PC which is a component of the situation determination system.
FIG. 3 is a diagram illustrating an example of an image of an area used for situation determination in the situation determination system that determines the situation of an intersection.
FIG. 4 is a diagram showing a state of an intersection which is a situation determination target of the situation determination system.
FIG. 5 is a diagram showing an overall configuration of a modification of the situation determination system.
FIG. 6 is a diagram showing an overall configuration of another modification of the situation determination system.
FIG. 7 is a diagram showing an overall configuration of another modification of the situation determination system.
FIG. 8 is a block diagram showing a functional configuration of a modified example of a PC which is a component of the situation determination system.
[Explanation of symbols]
10 Right turn lane
20 Right turn waiting area
30 Near oncoming lane area
40 Separate oncoming lane area
100 Situation judgment system
101 Network
110 video camera
121 Moving Image Acquisition Unit by Region
122 area coordinate table
123 image data holding unit
124 Analysis processing unit
124a Object presence / absence detection processing unit
124b Passage detection processing unit
124c moving direction detection processing unit
125 Analysis processing table
126 judgment processing unit
127 Judgment table
128 alarm generator
200 Situation judgment system
210 Video Camera
211 Video Camera
300 Situation judgment system
310 video camera
311 Video Camera
400 Situation judgment system
410 Video Camera
411 Video Camera
500 input means
510 Setting means
Claims (15)
前記動画像取得手段によって取得された異なる2以上の領域の動画像データの各々について、予め前記領域ごとに設定されている画像の内容分析処理を行う分析手段と、
前記分析手段によって分析された前記領域ごとの分析結果と、予め前記領域ごとに設定されている判定用結果とが一致するか否かを判定する判定手段とを具備することを特徴とする判定装置。Moving image acquiring means for acquiring moving image data of two or more different regions photographed by the photographing means for photographing a moving image;
Analysis means for performing, for each of the moving image data of the two or more different areas acquired by the moving image acquisition means, a content analysis process of an image set in advance for each area;
A determination device for determining whether an analysis result for each of the regions analyzed by the analysis unit matches a determination result set in advance for each of the regions, .
前記領域ごとに設定される分析処理の内容を記憶する分析処理内容記憶手段と、
前記領域ごとに設定される前記判定用結果を記憶する判定用記憶手段と、
ユーザの指示にしたがって、前記領域特定情報、前記分析処理内容記憶手段または前記判定用記憶手段に記憶させるべき分析処理内容、判定用結果または両者を設定する設定手段とをさらに具備することを特徴とする請求項1または2に記載の判定装置。Area specifying information storing means for storing area specifying information for specifying a range of two or more areas to be obtained by the moving image obtaining means;
Analysis processing content storage means for storing the content of the analysis processing set for each area,
Determination storage means for storing the determination result set for each area,
According to a user's instruction, the apparatus further comprises setting means for setting the area specifying information, the analysis processing content to be stored in the analysis processing content storage means or the determination storage means, the determination result, or both. The determination device according to claim 1 or 2, which performs the determination.
前記判定装置は、前記撮影手段によって撮影された異なる2以上の領域の動画像データを取得する動画像取得手段と、
前記動画像取得手段によって取得された異なる2以上の領域の動画像データの各々について、予め前記領域ごとに設定されている画像の内容分析処理を行う分析手段と、
前記分析手段によって分析された前記領域ごとの分析結果と、予め前記領域ごとに設定されている判定用結果とが一致するか否かを判定する判定手段とを有することを特徴とする状況判定システム。A situation determination system including a photographing unit that photographs a moving image in a predetermined range, and a determination device that determines a situation based on the moving image photographed by the photographing unit,
The determination device is a moving image acquisition unit that acquires moving image data of two or more different regions photographed by the photographing unit,
Analysis means for performing, for each of the moving image data of the two or more different areas acquired by the moving image acquisition means, a content analysis process of an image set in advance for each area;
A situation determination system comprising: a determination unit configured to determine whether an analysis result for each region analyzed by the analysis unit matches a determination result set in advance for each region. .
前記動画像取得手段は、各々の前記上流側の領域の動画像データを取得することを特徴とする請求項4に記載の状況判定システム。The photographing means is arranged so as to photograph a range including a region on the upstream side in the moving direction by a predetermined distance from a position at which the movable bodies crossing or merging with each other move on a plurality of paths that move. And
The system according to claim 4, wherein the moving image acquiring unit acquires moving image data of each of the upstream regions.
前記動画像取得手段は、前記右折車待機領域、前記第1の対向車線領域および前記第2の対向車線領域の動画像データを取得することを特徴とする請求項4に記載の状況判定システム。The photographing means includes: a right-turning vehicle waiting area at an intersection; a first oncoming lane area in the vicinity of the right-turning vehicle waiting area, the area being on the opposite lane of the lane in which the right-turning vehicle travels; Is arranged so as to photograph a range including a second oncoming lane area located at a position farther from the right turn vehicle waiting area than the oncoming lane area,
5. The system according to claim 4, wherein the moving image acquisition unit acquires moving image data of the right-turning vehicle waiting area, the first oncoming lane area, and the second oncoming lane area. 6.
前記判定手段は、前記右折車待機領域の画像について可動物体が映っており、かつその可動物体が右折方向に移動しており、また前記第1の対向車線領域の画像に映っていた可動物体が映らなくなり、さらに前記第2の対向車線領域の画像に可動物体が映っていることを含む判定結果と、前記分析手段による分析結果が一致するか否かを判定することを特徴とする請求項6に記載の状況判定システム。The analysis means analyzes whether or not a movable object is shown in the image of the right turn vehicle waiting area and, if so, the moving direction of the movable object, and analyzes the movable object shown in the image of the first oncoming lane area. Is analyzed to determine whether or not the moving object is reflected in the image of the second oncoming lane area,
The determining means includes a movable object reflected in the image of the right-turning vehicle waiting area, the movable object moving in the right-turn direction, and a movable object reflected in the image of the first oncoming lane area. 7. The method according to claim 6, further comprising: determining whether or not the determination result including that the movable object is reflected in the image of the second oncoming lane area and the analysis result by the analysis unit match. The situation determination system according to 1.
前記動画像取得手段は、少なくとも2つの前記交差点前領域の動画像データを取得することを特徴とする請求項4に記載の状況判定システム。The photographing means is arranged to photograph a range including an area before the intersection that is a predetermined distance before the intersection on at least two roads that intersect at the intersection,
5. The system according to claim 4, wherein the moving image acquiring unit acquires moving image data of at least two areas before the intersection. 6.
前記判定手段は、少なくとも2つの前記交差点前領域の画像に可動物体が映っていることを含む前記判定用結果と、前記分析手段による分析結果が一致するか否かを判定することを特徴とする請求項8に記載の状況判定システム。The analyzing means analyzes whether or not a movable object is reflected in at least two images of the area before the intersection,
The determination unit determines whether the determination result including that a movable object is reflected in at least two images of the area before the intersection and the analysis result by the analysis unit match. The situation determination system according to claim 8.
前記動画像取得手段は、2つの道路における前記合流前領域の動画像データを取得することを特徴とする請求項4に記載の状況判定システム。The photographing means is arranged so as to photograph a range including a pre-merging area in front of the merging point of the two merging roads by a predetermined distance from the merging point,
5. The system according to claim 4, wherein the moving image acquiring unit acquires moving image data of the pre-merging area on two roads. 6.
前記判定手段は、各前記合流前領域の画像に可動物体が映っていることを含む前記判定用結果と、前記分析手段による分析結果が一致するか否かを判定することを特徴とする請求項10に記載の状況判定システム。The analysis means analyzes whether a movable object is present in the area based on the image of each pre-merging area,
The method according to claim 1, wherein the determining unit determines whether a result of the determination including that a movable object is reflected in an image of each of the pre-merging regions matches an analysis result by the analyzing unit. The situation determination system according to claim 10.
前記動画像取得手段は、前記合流領域および前記上方領域の動画像データを取得することを特徴とする請求項4に記載の状況判定システム。The photographing means is arranged so as to photograph a range including a merging area where the ski slope meets the runway from the lift landing area and an upper area of the runway above the merging area by a predetermined distance. And
The system according to claim 4, wherein the moving image acquiring unit acquires moving image data of the merging area and the upper area.
前記判定手段は、前記合流領域の画像中において可動物体が占める割合が予め設定された値以上であること、前記情報領域の画像に可動物体が映っていることを含む前記判定用結果と、前記分析手段による分析結果が一致するか否かを判定することを特徴とする請求項12に記載の状況判定システム。The analysis means analyzes a ratio occupied by a movable object in the image of the merge area, and analyzes whether or not a movable object is reflected in the image of the upper area,
The determination unit is that the ratio of the movable object in the image of the confluence area is equal to or greater than a predetermined value, the determination result including that the movable object is reflected in the image of the information area, 13. The situation determination system according to claim 12, wherein it is determined whether or not the analysis results by the analysis unit match.
前記動画像取得ステップによって取得された異なる2以上の領域の動画像データの各々について、予め前記領域ごとに設定された画像の内容分析処理を行う分析ステップと、
前記分析ステップによって分析された前記領域ごとの分析結果と、予め前記領域ごとに設定されている判定用結果とが一致するか否かを判定する判定ステップとを具備することを特徴とする判定方法。A moving image acquiring step of acquiring moving image data of two or more different areas photographed by the photographing means,
For each of the moving image data of two or more different regions acquired by the moving image acquiring step, an analyzing step of performing a content analysis process of an image set in advance for each region,
A determining step of determining whether an analysis result for each area analyzed in the analysis step matches a determination result set in advance for each area. .
動画像を撮影手段によって撮影された異なる2以上の領域の動画像データを取得する動画像取得手段、
前記動画像取得手段によって取得された異なる2以上の領域の動画像データの各々について、予め前記領域ごとに設定された画像の内容分析処理を行う分析手段、
前記分析手段によって分析された前記領域ごとの分析結果と、予め前記領域ごとに設定されている判定用結果とが一致するか否かを判定する判定手段として機能させるためのプログラム。Computer
Moving image acquiring means for acquiring moving image data of two or more different areas photographed by the photographing means,
Analysis means for performing, for each of the moving image data of two or more different areas acquired by the moving image acquisition means, a content analysis process of an image set in advance for each of the areas;
A program for functioning as determination means for determining whether or not the analysis result for each area analyzed by the analysis means matches a determination result set for each area in advance.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2003076362A JP2004287605A (en) | 2003-03-19 | 2003-03-19 | Determining device, situation determining system, method and program |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2003076362A JP2004287605A (en) | 2003-03-19 | 2003-03-19 | Determining device, situation determining system, method and program |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2004287605A true JP2004287605A (en) | 2004-10-14 |
Family
ID=33291443
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2003076362A Pending JP2004287605A (en) | 2003-03-19 | 2003-03-19 | Determining device, situation determining system, method and program |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2004287605A (en) |
Cited By (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2007164565A (en) * | 2005-12-15 | 2007-06-28 | Sumitomo Electric Ind Ltd | System and device of vehicle sensing for traffic-actuated control |
JP2008217813A (en) * | 2008-04-08 | 2008-09-18 | Sumitomo Electric Ind Ltd | Collision information providing device and method |
JP2009110153A (en) * | 2007-10-29 | 2009-05-21 | Toshiba Corp | Traffic information providing system, and traffic information providing method |
JP2012153285A (en) * | 2011-01-27 | 2012-08-16 | Fujitsu Ten Ltd | Object detecting device, and object detecting method |
JP2015215905A (en) * | 2015-06-03 | 2015-12-03 | 株式会社ニコン | Information management device, data analysis device, server, information management system and program |
CN111882906A (en) * | 2020-07-31 | 2020-11-03 | 北京航迹科技有限公司 | Method, apparatus, device and medium for determining parking position of vehicle |
-
2003
- 2003-03-19 JP JP2003076362A patent/JP2004287605A/en active Pending
Cited By (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2007164565A (en) * | 2005-12-15 | 2007-06-28 | Sumitomo Electric Ind Ltd | System and device of vehicle sensing for traffic-actuated control |
JP2009110153A (en) * | 2007-10-29 | 2009-05-21 | Toshiba Corp | Traffic information providing system, and traffic information providing method |
JP2008217813A (en) * | 2008-04-08 | 2008-09-18 | Sumitomo Electric Ind Ltd | Collision information providing device and method |
JP2012153285A (en) * | 2011-01-27 | 2012-08-16 | Fujitsu Ten Ltd | Object detecting device, and object detecting method |
JP2015215905A (en) * | 2015-06-03 | 2015-12-03 | 株式会社ニコン | Information management device, data analysis device, server, information management system and program |
CN111882906A (en) * | 2020-07-31 | 2020-11-03 | 北京航迹科技有限公司 | Method, apparatus, device and medium for determining parking position of vehicle |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10977938B2 (en) | Signal control apparatus and signal having the same | |
EP1030188B1 (en) | Situation awareness system | |
US9104939B2 (en) | Emergency rescue vehicle video based violation enforcement method and system | |
CN111369831A (en) | Road driving danger early warning method, device and equipment | |
US11914041B2 (en) | Detection device and detection system | |
JP7119365B2 (en) | Driving behavior data generator, driving behavior database | |
CN108883725A (en) | A kind of driving vehicle warning system and method | |
WO2016070193A1 (en) | Systems, apparatus, and methods for improving safety related to movable/moving objects | |
US20180240336A1 (en) | Multi-stream based traffic enforcement for complex scenarios | |
CN105390027B (en) | A kind of road safety monitoring and early warning device and method | |
JP2008547071A (en) | Method and image evaluation unit for scene analysis | |
JP2012038089A (en) | Information management device, data analysis device, signal, server, information management system, and program | |
CN113808418B (en) | Road condition information display system, method, vehicle, computer device and storage medium | |
CN109544936A (en) | Motor vehicle zebra stripes based on radar video camera do not give precedence to pedestrian's early warning capturing system | |
CN111178286A (en) | Attitude trajectory prediction method and device and electronic equipment | |
WO2021162205A1 (en) | Method, apparatus, server, and computer program for collision accident prevention | |
KR101210615B1 (en) | Regulation system of u-turn violation vehicle | |
JP7176098B2 (en) | Detect and respond to matrices for autonomous vehicles | |
KR102456869B1 (en) | System for smart managing traffic | |
KR102270625B1 (en) | Method and system for processing an enter of vehicle one way using learning of ai | |
Malinovskiy et al. | Model‐free video detection and tracking of pedestrians and bicyclists | |
JP2004287605A (en) | Determining device, situation determining system, method and program | |
JP2019207655A (en) | Detection device and detection system | |
KR102345798B1 (en) | Intersection signal violation recognition and image storage device | |
WO2021166525A1 (en) | Transportation risk-reducing recording medium, information processing device, and method |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20050914 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20051011 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20051202 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20060117 |