JP6998726B2 - 監視装置、監視システム、監視方法及び監視プログラム - Google Patents

Description

本発明は、監視装置、監視システム、監視方法及び監視プログラムに関する。

従来、自動車にカメラを搭載して、外部を監視する技術が提案されている（例えば、特許文献１）。

特許第４１６１２２５号公報

ところで、上述の技術は、運転者が自動車に乗っているときには有効である。しかし、自動車の駐車中において、運転者が自動車から離れた場所にいるときに、自動車に危害を加えられることを防止することができない。

本発明はかかる問題の解決を試みたものであり、運転者が自動車から離れた場所にいるときに、自動車の外部の状況に応じた通知をすることができる監視装置、監視システム、監視方法及び監視プログラムを提供することを目的とする。

第一の発明は、自動車の外部を監視する監視装置であって、物体の画像データを取得する画像データ取得手段と、前記画像データに含まれる前記物体のうち、監視対象を認識する物体認識手段と、前記物体認識手段が前記監視対象を認識した場合、外部に通知するための通知条件を満たすか否かを判断する通知条件判断手段と、前記通知条件を満たすことを所定の通知態様によって外部に通知する通知手段と、前記監視対象が前記自動車に接近する速度の変化を認識する速度変化認識手段と、を有し、前記通知条件は、前記速度が速くなったことである監視装置である。

第一の発明の構成によれば、監視装置は、画像データ取得手段によって画像データを取得し、物体認識手段によって、画像データに含まれる物体のうち、監視対象を認識することができる。そして、通知条件判断手段によって通知条件を満たすか否かを判断し、通知手段によって外部に通知することができる。これにより、運転者が自動車から離れた場所にいるときに、自動車の外部の状況に応じた通知をすることができる。

第二の発明は、第一の発明の構成において、前記物体認識手段は、深層学習（ディープラーニング）によって生成されたデータを参照する無人監視装置である。

第三の発明は、第一の発明または第二の発明のいずれかの構成において、前記監視対象と前記自動車との間の距離を推定する距離推定手段を有し、前記通知条件は、前記監視対象が前記自動車から所定の距離以内に位置することである、監視装置である。

第四の発明は、第三の発明の構成において、前記監視対象と前記自動車との間の距離に基づいて、外部に通知する通知態様を決定する通知態様決定手段を有する、監視装置である。

第五の発明は、第一の発明または第二の発明の構成において、前記監視対象が前記自動車に接近しているか否かを判断する接近判断手段を有し、前記通知条件は、前記監視対象が前記自動車に接近していることである、監視装置である。

第七の発明は、第一の発明または第二の発明の構成において、前記通知手段によって前記通知条件を満たすことを所定の通知態様によって外部に通知した場合に、前記自動車の位置を示す位置情報を取得し、前記自動車を追跡する追跡手段を有する、監視装置である。

第八の発明は、自動車の外部を監視する監視システムであって、撮影手段が撮影した物体の画像データを取得する画像データ取得手段と、前記画像データに含まれる前記物体のうち、監視対象を認識する物体認識手段と、前記物体認識手段が前記監視対象を認識した場合、外部に通知するための通知条件を満たすか否かを判断する通知条件判断手段と、前記通知条件を満たすことを所定の通知態様によって外部に通知する通知手段と、前記監視対象が前記自動車に接近する速度の変化を認識する速度変化認識手段と、を有し、前記通知条件は、前記速度が速くなったことである監視システムである。

第九の発明は、自動車の外部を監視する監視装置が、物体の画像データを取得する画像データ取得ステップと、前記画像データに含まれる前記物体のうち、監視対象を認識する物体認識ステップと、前記物体認識ステップにおいて前記監視対象を認識した場合、外部に通知するための通知条件を満たすか否かを判断する通知条件判断ステップと、前記通知条件を満たすことを所定の通知態様によって外部に通知する通知ステップと、前記監視対象が前記自動車に接近する速度の変化を認識する速度変化認識ステップと、を有し、前記通知条件は、前記速度が速くなったことである監視方法ある。

第十の発明は、自動車の外部を監視する監視装置を管理する制御装置を、物体の画像データを取得する画像データ取得手段、前記画像データに含まれる前記物体のうち、監視対象を認識する物体認識手段、前記物体認識手段が前記監視対象を認識した場合、外部に通知するための通知条件を満たすか否かを判断する通知条件判断手段、及び、前記通知条件を満たすことを所定の通知態様によって外部に通知する通知手段、前記監視対象が前記自動車に接近する速度の変化を認識する速度変化認識手段、として機能させ、前記通知条件は、前記速度が速くなったことである監視プログラムである。

以上のように、本発明によれば、運転者が自動車から離れた場所にいるときに、自動車の外部の状況に応じた通知をすることができる。

本発明の実施形態の概略を示す図である。 撮影装置の機能ブロックを示す概略図である。 監視装置の機能ブロックを示す概略図である。 画像認識用特徴データを説明するための概念図である。 通知条件を説明するための図である。 通知条件を説明するための図である。 通知態様データを示す概念図である。 追跡プログラムを説明するための図である。 監視装置等の動作を示すフローチャートである。

本発明の実施形態を、図面を参照して説明する。なお、当業者が適宜実施できる構成については説明を省略し、本発明の基本的な構成についてのみ説明する。

図１に示すように、監視装置１００は、自動車３００を離れた運転者３５０のコートのポケットに格納されている。監視装置１００は、例えば、携帯電話機（スマートフォンを含む）である。運転者３５０は、自動車３００を道路Ｒ１の路肩の駐車スペースに駐車し、婦人３５２と共に食事に出かけるところである。自動車３００のフロントガラスの内側上部近傍には、撮影装置１０が配置されている。撮影装置１０を構成するカメラ（図示せず）は撮影手段の一例である。撮影装置１０は、例えば、ドライブレコーダーである。

監視装置１００は、運転者３５０が自動車３００を離れているときに、撮影装置１０が撮影した画像の画像データを撮影装置１０から取得（受信）するようになっている。

監視装置１００は、画像認識により、撮影装置１０から受信した画像データ中に、監視対象が含まれている場合に、その監視対象を認識する。監視対象は、例えば、所定の服装の人間であり、人間３６０及び３６２が該当する。人間３６０及び３６２は、それぞれ、赤色のジャケット３６０ａ及び３６２ａを着用している。監視装置１００は、画像データ中に監視対象を認識し、さらに、通知条件を満たす場合に、通知条件が成立したことを音や振動で運転者３５０に通知するようになっている。さらに、監視装置１００は、所定条件を満たす場合に、撮影装置１０に対して、撮影装置１０の位置を示す位置情報を要求するようになっている。撮影装置１０の位置は自動車３００の位置でもある。これにより、自動車３００が運転者３５０以外の者に移動させられた場合に、監視装置１００が撮影装置１０から位置情報を受信することにより、自動車３００を追跡することができる。

図２に示すように、撮影装置１０は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）５０、記憶部５２、無線通信部５４、ＧＰＳ（Ｇｌｏｂａｌ Ｐｏｓｉｔｉｏｎｉｎｇ Ｓｙｓｔｅｍ）部５６、画像処理部６０、及び、電源部７０を有する。

撮影装置１０は、画像処理部６０によって撮影装置１０の中心的な構成であるカメラ（図示せず）を作動させて、外部の画像を取得することができる。

撮影装置１０は、無線通信部５４によって画像データを監視装置１００へ送信することができる。

撮影装置１０は、ＧＰＳ部５６によって、撮影装置１０自体の位置を測定することができる。ＧＰＳ部５６は、基本的に、４つ以上のＧＰＳ衛星（航法衛星）からの電波を受信して撮影装置１０の位置を計測する。

電源部７０は、自動車３００の電源と接続し、自動車３００から電力の供給を受けるようになっている。

記憶部５２には、ドライブレコーダーとしての一般的なプログラムのほか、停車時撮影プログラム、画像データ送信プログラム、位置情報送信プログラムが格納されている。ＣＰＵ５０と停車時撮影プログラムは停車時撮影手段の一例である。ＣＰＵ５０と画像データ送信プログラムは画像送信手段の一例である。ＣＰＵ５０と位置情報送信プログラムは位置情報送信手段の一例である。

撮影装置１０は、停車時撮影プログラムによって、自動車３００の停車中に外部を撮影する。撮影装置１０は、自動車３００の走行中には継続的に外部を撮影しているが、自動車３００が停車した場合であっても、使用者である運転者３５０によって、撮影装置１０のカメラのスイッチが切られるなど、撮影中断の処理がなされない限り、外部の撮影を継続するようになっている。

撮影装置１０は、画像データ送信プログラムによって、停車中に撮影した画像の画像データを継続的に監視装置１００へ送信するようになっている。

撮影装置１０は、位置情報送信プログラムによって、所定条件を満たした場合に、撮影装置１０の位置を継続的に監視装置１００へ送信するようになっている。所定条件は、監視装置１００から位置情報の送信要求を受信したことである。

図３に示すように、監視装置１００は、ＣＰＵ１５０、記憶部１５２、無線通信部１５４、ＧＰＳ部１５６、及び、電源部１７０を有する。

監視装置１００は、無線通信部１５４によって撮影装置１０から画像データを受信することができる。また、撮影装置１０に対して、位置情報の送信要求を送信し、位置情報を受信することができる。

監視装置１００は、ＧＰＳ部１５６によって、監視装置１００自体の位置を測定することができる。

電源部１７０は、充電可能な可充電電池であり、監視装置１００の各部へ電力を供給するようになっている。

記憶部１５２には、携帯電話機としての一般的なプログラムのほか、画像データ取得プログラム、物体認識プログラム、距離推定プログラム、接近判断プログラム、速度変化認識プログラム、通知条件判断プログラム、通知態様決定プログラム、通知プログラム、及び、追跡プログラムが格納されている。ＣＰＵ１５０と画像データ取得プログラムは画像データ取得手段の一例である。ＣＰＵ１５０と物体認識プログラムは物体認識手段の一例である。ＣＰＵ１５０と距離推定プログラムは距離推定手段の一例である。ＣＰＵ１５０と接近判断プログラムは接近判断手段の一例である。ＣＰＵ１５０と速度変化認識プログラムは速度変化認識手段の一例である。ＣＰＵ１５０と通知条件判断プログラムは通知条件判断手段の一例である。ＣＰＵ１５０と通知態様決定プログラムは通知態様決定手段の一例である。ＣＰＵ１５０と通知プログラムは通知手段の一例である。ＣＰＵ１５０と追跡プログラムは追跡手段の一例である。

監視装置１００は、画像データ取得プログラムによって、撮影装置１０から画像データを取得する。

監視装置１００は、物体認識プログラムによって、画像データに含まれる物体を認識し、監視対象を認識する。本実施形態において、監視対象は、赤色のジャケットを着ている男の人間であるとする。

監視装置１００は、物体認識プログラムによって、深層学習（ディープラーニング）によって生成された特徴データを参照する。ここで、深層学習とは、多層構造のニューラルネットワークの機械学習であり、画像認識の分野が有力な活用分野の一つである。

監視装置１００は、カテゴリーごとの多数の画像認識用特徴データ（以下、「特徴情報」とも呼ぶ。）に基づいて、撮影装置１０から取得した画像データに含まれる物体の特徴を識別して、物体のカテゴリーを認識できるようになっている。特徴情報は、記憶部１５２に格納しておいてもよいし、外部の記憶装置に記憶しておいて、監視装置１００が外部の記憶装置にアクセスできるようにしておいてもよい。このカテゴリーの認識を一般物体認識と呼ぶ。図４の画像認識用特徴データの概念図に示すように、カテゴリーは、例えば、「人間」、「犬」、「猫」等である。各カテゴリーは、細分化されており、「人間」のカテゴリーの中に、「男」、「女」等のサブカテゴリー１があり、サブカテゴリー１の「男」の中に、「ジャケット」、「パンツ」などのサブカテゴリー２があり、サブカテゴリー２の「ジャケット」の中に、「赤色」「青色」等のサブカテゴリー３がある。記憶部１５２には、上述のカテゴリーごとに、多数の特徴データが格納されている。監視装置１００は、例えば、「人間」の多数の画像例に基づいて取得した「人間」の特徴情報を参照することができるようになっている。

一般物体認識においては、画像データについて、例えば、輪郭や個々の構成の方向といった特徴を多数抽出し、ディープラーニングで取得した各カテゴリーの特徴と対比して、相関性（相関度）を判断する。相関度が高いほど、取得した画像中の物体が特定のカテゴリーに属する可能性が高い。例えば、相関度が０の場合には、特定のカテゴリーに属する可能性（以下、「カテゴリー共通確率」と呼ぶ。）は０として、相関度が最大値を示すときに、カテゴリー共通確率が１００％であると定義する。監視装置１００は、カテゴリー共通確率が所定の基準値である、例えば、９５％以上であるときに、取得した画像中の物体のカテゴリーが、特定のカテゴリーに属すると判断する。

取得した画像中に赤色のジャケットを着ている男の人間が含まれる場合、監視装置１００は、上述の一般物体認識によって、特徴データを参照し、「人間」であり、「男」であり、「ジャケット」を着ており、ジャケットが「赤色」であると認識し、画像中の物体が監視対象であると認識する。

監視装置１００は、距離推定プログラムによって、監視対象と自動車３００との間の距離を推定する。撮影装置１０の画素数は例えば、３００万画素である。撮影装置１０の画素数と監視装置１００の画素数は必ずしも同数である必要はないが、本実施形態においては、監視装置１００の画総数は撮影装置１０の画総数と同一であるとする。

図５（ａ）に示すように、監視対象は画像データにおいて、その大きさに応じて、所定の画素数を占める。監視対象が占める画素数が多いほど、自動車３００との距離は近い。監視装置１００は、例えば、１ｍ（メートル）の高さの棒が５００ｍ離れた位置にあるときの高さ方向の画素数、２００メートル離れた位置にあるときの画素数、１００メートル離れた位置にあるときの画素数、５０メール離れた位置にあるときの画素数、１０メートル離れた位置にあるときの画素数というような基本基準値を有している。また、カテゴリーごとに、例えば、「男」の「人間」であれば、平均身長が１７０ｃｍ（センチメートル）であるというカテゴリー基準値を有している。監視装置１００は、基本基準値とカテゴリー基準値を参照して、実際の監視対象が占める画素数に基づいて、監視対象と自動車３００との間の距離を推定するようになっている。例えば、「男」の「人間」であれば、平均身長が１７０ｃｍとしたから、所定の距離における高さ方向における画素数は、１ｍの高さに基づく基本基準値Ａの１．７倍の画素数（Ａ×１．７）として計算する。なお、本実施形態において、推定した距離は正確であることを要せず、簡潔な構成が望ましいから、画像中の画素数に基づいて距離を推定するという構成となっている。

監視装置１００は、接近判断プログラムによって、監視対象が自動車３００に接近しているか否かを判断する。例えば、図６に示すように、時刻ｔ１における監視対象が占める画素数（図６（ａ）参照）よりも、時刻ｔ１から時間Δtだけ経過した時刻ｔ２における監視対象が占める画素数（図６（ｂ）参照）が多い場合に、監視装置１００は、監視対象が自動車３００に接近していると判断する。

監視装置１００は、速度変化認識プログラムによって、監視対象が自動車３００に接近する速度の変化を認識する。監視装置１００は、例えば、時刻ｔ１から時間Δtだけ経過した時刻ｔ２との間において監視対象が占める画素数の増加δＢ１が、その後の時間帯である、時刻ｔ２から時間Δtだけ経過した時刻ｔ３との間において監視対象が占める画素数の増加δＢ２よりも小さかった場合（δＢ１＜δＢ２）には、監視対象が速度を速くしていると判断する。

監視装置１００は、通知条件判断プログラムによって、監視装置１００の使用者である運転者３５０に通知条件の成立を通知するか否かを判断する。通知条件は、例えば、図５（ａ）に示すように、監視対象を１名、画像データ中に認識した場合、図５（ｂ）に示すように、監視対象を２名、画像データ中に認識した場合、あるいは、図６（ａ）及び（ｂ）に示すように、監視対象が自動車３００に接近している場合、あるいは、監視対象が速度を速めて自動車３００に接近している場合である。通知条件は、監視装置１００の使用者である運転者３５０が、予め選択し、設定しておくことができるようになっている。

監視装置１００は、通知態様決定プログラムによって、監視対象と自動車３００との間の距離に基づいて、外部（運転者３５０）に通知する通知態様を決定する。監視装置１００は、図７に示すように、通知態様データを参照し、監視対象と自動車３００との距離に応じて通知態様を決定する。通知態様データは、記憶部１５２に格納されている。距離２００ｍ～５００ｍの場合の通知態様Ａは、例えば、比較的小さな音（あるいは周波数の低い振動や低い音）であり、距離１００ｍ～２００ｍの通知態様Ｂは、通体態様Ａよりも大きな音（あるいは周波数が大きい振動、あるいは周波数が高い音）であるというように、自動車３００と監視対象との距離が短くなるほど、大きな音（あるいは周波数が高い振動、周波数が高い音）になるように、規定されている。

監視装置１００は、通知プログラムによって、通知態様決定プログラムで決定した通知態様で、外部（運転者３５０）に通知する。

監視装置１００は、通知条件の成立を外部（運転者３５０）に通知すると、追跡プログラムによって、撮影装置１０から位置情報を取得し、自動車３００の位置を追跡する。すなわち、監視装置１００は、通知条件の成立を外部に通知すると、撮影装置１０に位置情報の送信要求を送信し、撮影装置１０から継続的に位置情報を受信する。なお、監視装置１００は、外部への通知の後、常に追跡を実施するのではなく、所定条件が成立した場合に実施してもよい。所定条件は、例えば、運転者３５０によって、監視装置１００に追跡開始の指示が入力されたことである。監視装置１００は、撮影装置１０から位置情報を受信すると、図８に示すように、撮影装置１０の位置（自動車３００の位置）を表示画面１００ａ上に表示する。図８の例では、表示画面１００ａにおいて、撮影装置１０の最初の位置Ｐ１から経路Ｒ１を通過し、現在位置Ｐ２に到達したことが示されている。すなわち、監視装置１００は、通知条件が成立すると、撮影装置１０の位置（自動車３００の位置）を追跡することができるから、自動者３００が盗難にあっても、追跡することが可能である。

以下、監視装置１００及び撮影装置１０の動作例を図９のフローチャートで説明する。撮影装置１０は画像を取得し（ステップＳＴ１）、画像データを送信すると（ステップＳＴ２）、監視装置１００はその画像データを受信する（ステップＳＴ３）。監視装置１００は、画像認識を行い（ステップＳＴ４）、通知条件を満たすか否かを判断し（ステップＳＴ５）、通知条件を満たす場合には、通知態様を決定し（ステップＳＴ６）、通知する（ステップＳＴ７）。続いて、所定条件（追跡条件）を満たすか否かを判断し（ステップＳＴ８）、追跡条件を満たす場合には、撮影装置１０に位置情報を要求し（ステップＳＴ９）、撮影装置１０から位置情報を受信し（ステップＳＴ１０）、撮影装置１０（自動車３００）を追跡する（ステップＳＴ１１）。

上述の実施形態においては、撮影装置１０は画像を取得し、監視装置１００が撮影装置１０から画像データを受信して画像認識以後の処理を実施するものとして説明したが、運転者３５０への通知以外の処理を撮影装置１０に実施させるようにしてもよい。この場合、撮影装置１０は、通知条件が成立したことを示す情報を監視装置１００へ送信し、監視装置１００が外部へ通知する構成となり、撮影装置１０と監視装置１００が一体となって監視装置、あるいは、監視システムを構成する。あるいは、運転者３５０への通知以外の処理の一部を撮影装置１０に実施させるようにしてもよい。この場合においても、撮影装置１０と監視装置１００が一体となって監視装置、あるいは、監視システムを構成する。また、撮影装置１０は、撮影できる装置であれば、ドライブレコーダーに限らず、携帯電話機やスマートフォンであってもよい。

なお、本発明の監視装置、監視システム、監視方法及び監視プログラムは、上記実施形態に限らず、本発明の要旨を逸脱しない範囲内において種々変更を加えることができる。

１０ 撮影装置
１００ 監視装置
３００ 自動車
３５２ 運転者
３６０，３６２ 監視対象

Claims (9)

1. 自動車の外部を監視する監視装置であって、
   物体の画像データを取得する画像データ取得手段と、
   前記画像データに含まれる前記物体のうち、監視対象を認識する物体認識手段と、
   前記物体認識手段が前記監視対象を認識した場合、外部に通知するための通知条件を満たすか否かを判断する通知条件判断手段と、
   前記通知条件を満たすことを所定の通知態様によって外部に通知する通知手段と、
   前記監視対象が前記自動車に接近する速度の変化を認識する速度変化認識手段と、
   を有し、
   前記通知条件は、前記速度が速くなったことである監視装置。
2. 前記物体認識手段は、深層学習（ディープラーニング）によって生成されたデータを参照する請求項１に記載の監視装置。
3. 前記監視対象と前記自動車との間の距離を推定する距離推定手段を有し、
   前記通知条件は、前記監視対象が前記自動車から所定の距離以内に位置することである、
   請求項１または請求項２に記載の監視装置。
4. 前記監視対象と前記自動車との間の距離に基づいて、外部に通知する通知態様を決定する通知態様決定手段を有する、
   請求項３に記載の監視装置。
5. 前記監視対象が前記自動車に接近しているか否かを判断する接近判断手段を有し、
   前記通知条件は、前記監視対象が前記自動車に接近していることである、
   請求項１または２に記載の監視装置。
6. 前記通知手段によって前記通知条件を満たすことを所定の通知態様によって外部に通知した場合に、前記自動車の位置を示す位置情報を取得し、前記自動車を追跡する追跡手段を有する、
   請求項１または請求項２に記載の監視装置。
7. 自動車の外部を監視する監視システムであって、
   撮影手段が撮影した物体の画像データを取得する画像データ取得手段と、
   前記画像データに含まれる前記物体のうち、監視対象を認識する物体認識手段と、
   前記物体認識手段が前記監視対象を認識した場合、外部に通知するための通知条件を満たすか否かを判断する通知条件判断手段と、
   前記通知条件を満たすことを所定の通知態様によって外部に通知する通知手段と、
   前記監視対象が前記自動車に接近する速度の変化を認識する速度変化認識手段と、
   を有し、
   前記通知条件は、前記速度が速くなったことである監視システム。
8. 自動車の外部を監視する監視装置が、
   物体の画像データを取得する画像データ取得ステップと、
   前記画像データに含まれる前記物体のうち、監視対象を認識する物体認識ステップと、
   前記物体認識ステップにおいて前記監視対象を認識した場合、外部に通知するための通知条件を満たすか否かを判断する通知条件判断ステップと、
   前記通知条件を満たすことを所定の通知態様によって外部に通知する通知ステップと、
   前記監視対象が前記自動車に接近する速度の変化を認識する速度変化認識ステップと、
   を有し、
   前記通知条件は、前記速度が速くなったことである監視方法。
9. 自動車の外部を監視する監視装置を管理する制御装置を、
   物体の画像データを取得する画像データ取得手段、
   前記画像データに含まれる前記物体のうち、監視対象を認識する物体認識手段、
   前記物体認識手段が前記監視対象を認識した場合、外部に通知するための通知条件を満たすか否かを判断する通知条件判断手段、及び、
   前記通知条件を満たすことを所定の通知態様によって外部に通知する通知手段、
   前記監視対象が前記自動車に接近する速度の変化を認識する速度変化認識手段、
   として機能させ、
   前記通知条件は、前記速度が速くなったことである監視プログラム。

Images