JP6784047B2 - 監視装置、処理方法、プログラム - Google Patents

Description

本発明は、監視装置、処理方法、プログラムに関する。

複数のカメラなどの撮影装置を備えた監視装置では、それら複数の撮影装置のうちの１つまたは複数の撮影する映像に異常が発生する可能性が有る。例えば監視装置では、それら複数の撮影装置のうちの何れかにより生成された撮影画像の乱れや、撮影装置の故障により撮影画像の取得できないなどの異常が発生する。これら複数の撮影装置を備えた監視装置の代表例としては自動運転車両などが考えられる。当該自動運転車両では複数の撮影装置を有しており、それら撮影装置から取得した撮影画像に基づいて自動動運の制御を行う場合がある。

特許文献１には画像認識装置の信頼性向上の手段として、画像認識処理が不可能な画像が入力された場合には、画像認識装置などが故障であることを検出する装置が公開されている。
また特許文献２には複数のカメラが車両に設置されており、１つのカメラの異常が発生した場合に他のカメラによって取得した画像を合成して、異常の発生したカメラの画像に重複する部分を得る技術が開示されている。

特開２０００−２０７５６３号公報 特開２０１５−１９２７１号公報

ところで上述のような複数の撮影装置を備えた監視装置においてはより精度高く監視制御を解析できることが好ましい。

そこでこの発明は、上述の課題を解決する監視装置、処理方法、プログラムを提供することを目的としている。

本発明の第１の態様によれば、監視装置は、複数の撮影装置のうち異常の発生した異常撮影装置を特定する異常撮影装置特定部と、前記異常撮影装置の撮影領域を撮影できる代替撮影装置を特定する代替撮影装置特定部と、前記代替撮影装置の撮影領域を制御する撮影装置制御部と、前記代替撮影装置の出力した撮影画像を用いて前記異常の発生した撮影装置が撮影する撮影領域の代替撮影画像を生成する撮影画像生成部と、を備え、前記撮影画像生成部は、前記代替撮影画像の生成に伴う遅延に基づいて、その代替撮影画像と、前記異常撮影装置を除く他の撮影装置から出力された前記遅延の時間分前に撮影された各撮影画像とを、前記代替撮影画像と前記各撮影画像とを用いて認識対象を認識する映像処理部へ出力する。

また本発明の第２の態様によれば、処理方法は、監視装置が、複数の撮影装置のうち異常の発生した異常撮影装置を特定し、前記異常撮影装置の撮影領域を撮影できる代替撮影装置を特定し、前記代替撮影装置の撮影領域を制御し、前記代替撮影装置の出力した撮影画像を用いて前記異常の発生した撮影装置が撮影する撮影領域の代替撮影画像を生成し、前記代替撮影画像の生成に伴う遅延に基づいて、その代替撮影画像と、前記異常撮影装置を除く他の撮影装置から出力された前記遅延の時間分前に撮影された各撮影画像とを、前記代替撮影画像と前記各撮影画像とを用いて認識対象を認識する映像処理部へ出力する。

また本発明の第３の態様によれば、プログラムは、監視装置のコンピュータを、複数の撮影装置のうち異常の発生した異常撮影装置を特定する異常撮影装置特定手段、前記異常撮影装置の撮影領域を撮影できる代替撮影装置を特定する代替撮影装置特定手段、前記代替撮影装置の撮影領域を制御する撮影装置制御手段、前記代替撮影装置の出力した撮影画像を用いて前記異常の発生した撮影装置が撮影する撮影領域の代替撮影画像を生成し、前記代替撮影画像の生成に伴う遅延に基づいて、その代替撮影画像と、前記異常撮影装置を除く他の撮影装置から出力された前記遅延の時間分前に撮影された各撮影画像とを、前記代替撮影画像と前記各撮影画像とを用いて認識対象を認識する映像処理手段へ出力する撮影画像生成手段、として機能させる。

本発明によれば、監視装置は、複数の撮影装置のうち異常の発生した異常撮影装置を特定し、その異常撮影装置の撮影領域を撮影できる代替撮影装置を特定する。そして監視装置は、代替撮影装置の撮影領域を、通常時の撮影領域から、異常撮影装置の撮影領域まで範囲を広げるように制御して、代替撮影画像を生成する。
よって通常時は撮影領域が狭い範囲となるため高解像度の撮影画像によって監視できるため通常時は精度高く監視できると共に、異常時には代替撮影装置によって異常撮影装置の撮影領域までカバーした撮影画像を生成することができる。

本発明の一実施形態による自動運転システムの構成を示すブロック図である。 本発明の一実施形態によるカメラの取り付け方向と各カメラの撮影領域を示す第一の図である。 本発明の一実施形態による監視装置の機能ブロック図である。 本発明の一実施形態による監視装置の処理フローを示す図である。 本発明の一実施形態によるカメラの取り付け方向と各カメラの撮影領域を示す第二の図である。 本発明の一実施形態によるカメラの取り付け方向と各カメラの撮影領域を示す第三の図である。 本発明の一実施形態によるカメラの取り付け方向と各カメラの撮影領域を示す第四の図である。 本発明の一実施形態による認識精度の変化を説明する図である。

以下、本発明の一実施形態による監視装置を図面を参照して説明する。
図１は同実施形態による監視装置を備えた自動運転システムの構成を示すブロック図である。
この図において、符号１は監視装置である。監視装置１は、例えば自装置で記憶するプログラムを実行することにより、異常監視部１１と、撮影画像生成部１２の機能を備える。または監視装置１はデジタル回路により異常監視部１１や撮影画像生成部１２を機能が構成された装置であってよい。

監視装置１は複数のカメラの撮影した動画像を構成する撮影画像を、各カメラに対応する画像入力部を介して取得する。本実施形態においては、監視装置１は、カメラ２１，２２，２３，２４，２５，２６の６つの各カメラの撮影した動画像を、各カメラに対応した画像入力部を介して取得する。カメラ２１，２２，２３，２４，２５，２６にはそれぞれ、各カメラに対応する画像入力部３１，３２，３３，３４，３５，３６が接続されている。また監視装置１は画像入力部３１，３２，３３，３４，３５，３６と接続されている。画像入力部３１〜３６はそれぞれ監視装置１から画角制御の信号を入力する。画像入力部３１〜３６は対応して接続されるカメラが異常の場合には故障通知を撮影装置１へ出力する。各カメラによって撮影した動画像の情報（画像信号）は、画像入力部３１，３２，３３，３４，３５，３６から直接、対応する映像処理部４１，４２，４３，４４，４５，４６へそれぞれ出力されてよい。
以降の説明においてカメラ２１〜２６を総称してカメラ２と称する。また画像入力部３１〜３６を総称して画像入力部３と称する。また映像処理部４１〜４６を総称して映像処理部４と称する。
映像処理部４に撮影画像が入力する信号線には、映像処理部４よりも画像入力部３または監視装置１側に切り替えスイッチ５１〜５６がそれぞれ設けられている。これら切り替えスイッチ５１〜５６は異常監視部１１によってその切り替えが制御される。切り替えスイッチ５１〜５６が画像入力部３側に切り替えられると、映像処理部４は画像入力部３から出力された撮影画像を入力する。他方、切り替えスイッチ５１〜５６が監視装置１側に切り替えられると、映像処理部４は撮影画像生成部１２から出力された撮影画像を入力する。切り替えスイッチ５１〜５６を総称して切り替えスイッチ５と称す。

図２はカメラの取り付け方向と各カメラの撮影領域を示す第一の図である。
本実施形態において移動体は自動車であってよい。移動体は自動車以外のものであってもよい。例えばカメラ２はそれぞれ図２で示すように、車両の周囲に左右方向６０度の角度の間隔を隔てて設けられている。各カメラ２はそれぞれ通常時には左右方向６０度の角度の領域（画角）を撮影する。それらカメラ２のうち異常と判定されたカメラが存在する場合には、監視装置１は、その異常カメラの両脇の代替カメラの撮影領域を異常カメラの撮影領域まで画角を広げて撮影できるよう制御する。例えば、監視装置１は代替カメラの撮影領域である画角６０度に、異常カメラの画角６０度を加えた、１２０度の画角の撮影領域を撮影できるよう代替カメラを制御する。図２においては第一のカメラ２１が撮影領域ａを撮影する。また第二のカメラ２２が撮影領域ｂを撮影する。また第三のカメラ２３が撮影領域ｃを撮影する。また第四のカメラ２４が撮影領域ｄを撮影する。また第五のカメラ２５が撮影領域ｅを撮影する。また第六のカメラ２６が撮影領域ｆを撮影する。

図３は監視装置の機能ブロック図である。
上述したように監視装置１は、異常監視部１１、撮影画像生成部１２を備える。また図３でえ示すように異常監視部１１は異常カメラ特定部１１１（異常撮影装置特定部）、代替カメラ特定部１１２（代替撮影装置特定部）、カメラ制御部１１３（撮影装置制御部）、監視制御部１１４、認識精度管理部１１５、移動態様管理部１１６を備える。
異常カメラ特定部１１１は、監視装置１に接続される複数のカメラのうち異常の発生した異常カメラを特定する。
代替カメラ特定部１１２は、異常カメラの撮影領域を撮影できる代替カメラを特定する。
カメラ制御部１１３は、代替カメラの撮影領域を制御する。
監視制御部１１４は、カメラ２や画像入力部３に異常が発生していない状況においてはそれら異常の無いカメラ２や画像入力部３から出力された撮影画像を用いて監視制御を行う。監視制御部１１４は、異常カメラが特定された状況においては異常カメラを除く代替カメラとそれ以外のカメラから出力された各撮影画像と、代替撮影画像とを用いて監視制御を行う。
認識精度管理部１１５は、代替撮影画像に基づいて自動車などの移動体に設置された複数のカメラ２のうちの異常カメラの撮影領域における認識精度を示す情報を自動運転の制御装置（ＥＣＵ）などへ出力する。
移動態様管理部１１６は、代替撮影画像に基づいて移動体の移動態様を示す情報を自動運転の制御装置（ＥＣＵ）などへ出力する。

図４は監視装置の処理フローを示す図である。
次に監視装置１の処理フローについて順を追って説明する。
カメラ２はそれぞれ画像入力部３へ撮影画像を出力する。画像入力部３はそれぞれ映像処理部４と監視装置１それぞれにカメラ２から取得した撮影画像を同時に出力している。
カメラ２又は画像入力部３が故障すると、異常カメラ特定部１１１は例えば画像入力部３から故障通知を取得して、その故障を検出する（ステップＳ４１）。異常カメラ特定部１１１は、例えば第一の画像入力部３１から画像信号が取得できない場合には第一のカメラ２１又は第一の画像入力部３１が異常であると判定する。または異常カメラ特定部１１１は、カメラ２１から画像信号を取得できないか画像入力部３１から故障通知信号を受信して、その信号に基づいてカメラ２１を異常と判定してもよい。または異常カメラ特定部１１１は、第一の画像入力部３１から入力した画像信号を解析して第一のカメラ２１又は第一の画像入力部３１が異常であると判定してもよい。またはそれ以外の方法で異常なカメラ２や画像入力部３を特定してもよい。異常カメラ特定部１１１は特定したカメラ２または画像入力部３の組み合わせで示される識別番号を特定し、代替カメラ特定部１１２へ通知する。

図５はカメラの取り付け方向と各カメラの撮影領域を示す第二の図である。
図５では第一のカメラ２１または画像入力部３１の異常により監視装置１が、第一のカメラ２１の撮影する撮影領域ａの撮影画像を取得できない状況を示している。

代替カメラ特定部１１２は異常となるカメラ２または画像入力部３の識別番号を入力すると、その識別番号に基づいて代替カメラの識別番号を特定する。なお代替カメラ特定部１１２は、カメラ２の識別番号に、その識別番号が示すカメラ２の両脇に位置する２つの代替カメラの識別番号を対応付けてメモリ等に保持した代替カメラ情報テーブル等を記憶してよい。代替カメラ特定部１１２は、例えば、異常カメラ特定部１１１から入力した識別番号と、代替カメラ情報テーブルに記録されている情報とを比較して、２つの代替カメラの識別番号を特定する（ステップＳ４２）。代替カメラ特定部１１２は代替カメラの識別番号をカメラ制御部１１３へ出力する。

カメラ制御部１１３は２つの代替カメラの識別番号を取得する。カメラ制御部１１３は取得した識別番号の２つの代替カメラの通信先アドレス等を検出して、その通信先アドレスに対して画角拡大と異常カメラの識別番号を含む制御信号を出力する。今、第一のカメラ２１または画像入力部３１が異常であると判定しているとする。その場合、カメラ制御部１１３は第一のカメラ２１の両脇に車載されている第二のカメラ２２と第六のカメラ２６を代替カメラとして検出し、それら代替カメラである第二のカメラ２２、第六のカメラ２６に対して画角拡大と異常カメラ２１の識別番号を含む制御信号を出力する（ステップＳ４３）。なお当該制御信号は代替カメラに対応する画像入力部３を介してそれら代替カメラに出力してよい。またカメラ制御部１１３は異常カメラの識別番号と、代替カメラの識別番号とを含む合成指示信号を撮影画像生成部１２へ出力する。カメラ制御部１１３は映像処理部４へ切替信号を出力する。映像処理部４は切り替えスイッチ５を監視装置１側に切り替える。以降、映像処理部４は、監視装置１を介して撮影画像を取得する。

第二のカメラ２２は制御信号を受信する。すると第二のカメラ２２は制御信号から異常カメラの識別番号を取得する。各カメラには予め隣接するカメラの識別番号に応じた画角の拡大方向の情報や、画角の制御プログラムが記録されてよい。第二のカメラ２２は異常カメラである第一のカメラ２１の識別番号を取得すると、第一のカメラ２１の撮影領域まで画角を拡大する。第二のカメラ２２は、第二のカメラ２２の元々の撮影領域と、第一のカメラ２１の撮影領域とを含む拡大撮影画像を画像入力部３２に出力する。第二のカメラ２２が出力する拡大撮影画像を第二拡大撮影画像と呼ぶこととする。画像入力部３２は第二拡大撮影画像を撮影画像生成部１２と映像処理部４２へそれぞれ出力する。

また第六のカメラ２６もカメラ制御部１１３から制御信号を受信する。第二のカメラ２２と同様に、第六のカメラ２６は第一のカメラ２１の制御領域まで画角を拡大する。第六のカメラ２６は、第六のカメラ２６の元々の撮影領域と、第一のカメラ２１の撮影領域とを含む拡大撮影画像を画像入力部３６に出力する。第六のカメラ２６が出力する拡大撮影画像を第六拡大撮影画像と呼ぶこととする。画像入力部３６は第六拡大撮影画像を撮影画像生成部１２と映像処理部４６へそれぞれ出力する。

図６はカメラの取り付け方向と各カメラの撮影領域を示す第三の図である。
図６で示すように、第二拡大撮影画像は、撮影領域ａと撮影領域ｂを含む撮影領域の画像である。また第六拡大撮影画像は、撮影領域ａと撮影領域ｆとを含む撮影領域の画像である。

撮影画像生成部１２は合成指示信号を異常監視部１１のカメラ制御部１１３から受信する。撮影画像生成部１２は合成指示信号から異常カメラの識別番号と、代替カメラの識別番号とを読み取る。撮影画像生成部１２は、代替カメラである第二のカメラ２２と第六のカメラ２６から取得した撮影画像を特定する（ステップＳ４４）。第二のカメラ２２から取得した撮影画像は第二拡大撮影画像である。第六のカメラ２６から取得した撮影画像は第六拡大撮影画像である。

撮影画像生成部１２は第二のカメラ２２から取得した第二拡大撮影画像において、異常カメラである第一のカメラ２１の撮影領域の範囲を特定する。つまり、撮影画像生成部１２は第二拡大撮影画像の中央から左側半分の範囲（図６中の撮影領域ａ）を、異常と判定された第一のカメラ２１の撮影領域と特定する。撮影画像生成部１２は第二拡大撮影画像の中央から左半分の範囲のさらに右側半分の第一合成範囲を特定する。この第一合成範囲は、異常と判定された第一のカメラ２１の撮影範囲の第二のカメラ２２側である右側３０度の画角の撮影範囲である（図６中の撮影領域ａ１）。

撮影画像生成部１２はさらに、第六のカメラから取得した第六拡大撮影画像において、異常カメラである第一のカメラ２１の撮影領域の範囲を特定する。つまり、撮影画像生成部１２は第六拡大撮影画像の中央から右側半分の範囲（図６中の撮影領域ａ）を、異常と判定された第一のカメラ２１の撮影領域と特定する。撮影画像生成部１２は第六拡大撮影画像の中央から右半分の範囲のさらに左側半分の第二合成範囲を特定する。この第二合成範囲は、異常と判定された第一のカメラ２１の撮影範囲の第六のカメラ２６側である左側３０度の画角の撮影範囲である（図６中の撮影領域ａ２）。

撮影画像生成部１２は第二拡大撮影画像中の第一合成範囲の左端と、第六拡大撮影画像中の第二合成範囲の右端とを合わせることで、第一のカメラ２１の撮影領域を示す代替の第一の撮影画像を生成する（ステップＳ４５）。

図７はカメラの取り付け方向と各カメラの撮影領域を示す第四の図である。
この図が示すように撮影画像生成部１２は第二拡大撮影画像における撮影領域ａ１を示す画像と、第六拡大撮影画像における撮影領域ａ２とを合わせた代替の第一の撮影画像を生成する。

撮影画像生成部１２は代替の第一の撮影画像を生成するために第二拡大撮影画像と第六拡大撮影画像の取得時刻ｔから時間Ｔを要したものとする。
撮影画像生成部１２は代替の第一の撮影画像を生成すると、当該代替の第一の撮影画像と他のカメラによる撮影画像を映像処理部４１へ出力する（ステップＳ４６）。
ここで、撮影画像生成部１２は第二拡大撮影画像中の第二カメラ２２の撮影領域である右半分を抽出し第二の撮影画像を生成し、時刻ｔから時間Ｔの時間遅らせて映像処理部４２へ出力する。
撮影画像生成部１２は第六拡大撮影画像中の第六カメラ２６の撮影領域である左半分を抽出し第六の撮影画像を生成し、時刻ｔから時間Ｔの時間遅らせて映像処理部４６へ出力する。
撮影画像生成部１２は、画像入力部３３から取得した第三の撮影画像は、異常カメラまたは代替カメラから出力された撮影画像ではない為、時刻ｔから時間Ｔの時間遅らせて、そのまま画像入力部３３に対応する映像処理部４３へ出力する。
撮影画像生成部１２は、画像入力部３４から取得した第四の撮影画像は、異常カメラまたは代替カメラから出力された撮影画像ではない為、時刻ｔから時間Ｔの時間遅らせて、そのまま画像入力部３４に対応する映像処理部４４へ出力する。
撮影画像生成部１２は、画像入力部３５から取得した第五の撮影画像は、異常カメラまたは代替カメラから出力された撮影画像ではない為、時刻ｔから時間Ｔの時間遅らせて、そのまま画像入力部３５に対応する映像処理部４５へ出力する。
このように第二の撮影画像〜第六の撮影画像の出力タイミングを時刻ｔから時間Ｔの時間遅らせて出力するため、それら撮影画像と代替の第一の撮影画像との同期タイミングを合わせることができる。

上述の処理によって撮影画像生成部１２が出力した代替の第一の撮影画像、第二の撮影画像、第六の撮影画像は、それぞれ第二のカメラ２２または第六のカメラ２６が撮影領域を拡大して撮影した画像である。したがって、通常時の撮影画像と比べてその解像度が低い画像となっている。したがって自動運転の制御にそれら画像を用いる場合には、自動運転の制御装置は、それら画像は、解像度が低く認識精度が通常時よりも低下したものとして扱う必要がある。よって認識精度管理部１１５は、代替の第一の撮影画像と、代替カメラである第二のカメラ２２および第六のカメラ２６で撮影された画像の一部である第二の撮影画像、第六の撮影画像の新たな認識精度を示す情報を算出して出力する（ステップＳ４７）。新たな認識精度を示す情報の算出処理の詳細は以下で説明する。

また同様に代替の第一の撮影画像、第二の撮影画像、第六の撮影画像は通常時の撮影画像と比べてその解像度が低い画像であるため移動体の移動速度を制限する必要がある。移動態様管理部１１６は、代替の第一の撮影画像、第二の撮影画像、第六の撮影画像を用いて移動制御するための新たな移動態様（速度）を示す情報を算出して出力する（ステップＳ４８）。新たな移動態様（速度）を示す情報の算出処理の詳細は以下で説明する。

そして認識精度管理部１１５は算出した認識精度を示す情報を、自動運転の制御装置へ出力する。認識精度を示す情報には、撮影画像の番号やその撮影画像を撮影したカメラの番号などが付与されてよい。
また移動態様管理部１１６は算出した移動態様（速度など）を示す情報を、自動運転の制御装置へ出力する。移動態様を示す情報には、撮影画像の番号やその撮影画像を撮影したカメラの番号などが付与されてよい。

上述の処理によれば、監視装置１は、複数の撮影装置のうち異常の発生した異常カメラを特定し、その異常カメラの撮影領域を撮影できる代替カメラを特定する。そして監視装置１は、代替カメラの撮影領域を、通常時の撮影領域から、異常カメラの撮影領域まで範囲を広げるように制御して、代替の撮影画像を生成する。
よって通常時は撮影領域が狭い範囲となるため異常時よりも高解像度の撮影画像によって監視できるため通常時は精度高く監視できると共に、異常時には代替カメラによって異常カメラの撮影領域までカバーした撮影画像を生成することができる。

また上述の処理によれば監視装置１が撮影画像の取得が出来ない場合や画像自体の異常が発生した場合にその代替の撮影画像の画質に応じた移動体の認識精度や移動態様を示す情報を自動運転の制御装置に出力する。したがって、異常時の画質低下に応じた移動体の自動運転の制御を行うことができる。

次に認識精度管理部の処理について説明する。
異常カメラが特定された場合、認識精度管理部１１５は、移動体に設置された複数のカメラのうちの異常カメラの撮影領域における認識精度を示す情報を代替カメラによって生成した代替の撮影画像に基づいて特定して出力する。具体的には認識精度管理部１１５は画角の拡大率ｎに基づいて、認識精度がｎ分の１になったことを示す情報を出力してよい。

また次に移動態様管理部の処理について説明する。
移動態様管理部１１６は、画角を広げたことにより、同一物体が画像に撮影された時の画素数が一定になる距離の悪化分、他の制御装置が故障処理により受ける影響を通知する。例えば認識精度管理部１１５は、画角をn倍にした場合であれば1/nの距離や、その距離の変化や正常なカメラによる撮影画像を遅延させる時間により他の制御装置が故障処理により受ける影響を通知する。

正常時に第一のカメラ２１が５０ｍ先にある標識Ａを１００ピクセルのサイズで撮影できる解像度があるとする。また映像処理部４は標識Ａが１００ピクセル以上で撮影されている場合に、その標識Ａに記載されている情報を認識可能とする。標識Ａの認識が標識Ａの通過２秒前にされていない制御をおこなうのであれば、自動車が９０ｋｍ／ｈ(２５ｍ／ｓｅｃ)の速度で走行する場合が対応可能な最高速度となる(実際には画像認識等にかかる遅延分を含めて計算をするがここでは除外)。

監視装置１のが異常カメラの特定時に代替カメラの画角を６０度から１２０度に広げた画角制御を行った場合、制御対象のカメラから等距離にある撮影範囲の幅（円弧）は、画角制御の前後で弧)は２分の１になる。よって監視装置１が代替カメラの画角を拡大制御した後は、撮影対象が撮影画像で表される画素数は通常時の画素数の概ね半分となる。したがって代替カメラを用いて生成された代替の撮影画像において標識Ａが１００ピクセルの画像で表されるのは、代替カメラを搭載した自動車が標識Ａの２５ｍ手前に到達した場合となる。この場合、標識Ａ通過の２秒前に標識Ａの情報を映像処理部４等の他の処理部や装置で認識したいのであれば、代替の撮影画像の生成に必要な時間（例えば０．１秒）などを考慮して、以下速度まで低下させれば、他の処理部や装置が正常に動作を継続することが計算される。したがって移動態様管理部１１６は下記算出式で算出した異常時最高速度を他の処理部や装置に通知する。

異常時最高速度
＝異常前の速度÷（ｎ＋代替の撮影画像の生成時間）
＝２５÷（２＋０．１）＝１１．９０（ｍ／ｓｅｃ）≒４２．８５ｋｍ／ｈ

以上の処理により、自動車の最高速度制限は９０ｋｍ／ｈから４２．５８ｋｍ／ｈに制限されるが異常カメラが発生したとしても自動運転などの制御を継続することが可能となる。

図８は認識精度の変化を説明する図である。
第一のカメラ２１や画像入力部３１に異常が発生した場合には、図８で示すように第二の第二の撮影画像、第六の撮影画像、第一の代替撮影画像に対応する撮影領域ａ、ｂ、ｆの認識精度が変化する。この場合、図８で示すように、正常時の物体認識距離が、異常時の物体認識距離へと変化する。

上述の例では、自動車に搭載される各カメラの撮影画像は隣接するカメラの画像と重ならないように空間を等分して、それら当分された各撮影領域を撮影する場合について説明した。しかしながら、各カメラの撮影範囲は予め重なるようにしてもよい。また各カメラは等分ではない範囲を撮影するよう自動車に搭載されてもよく、この場合、隣接カメラが故障した場合に、画角の変更の制御が可能なように各カメラが設計されていればよい。

また上述の例では、異常カメラがない正常時において、映像処理部４の対象物の認識性能に余剰性能が無かったが、余剰性能があるように構成してもよい。その場合、異常時最高速度の計算の際に余剰分を考慮して最高速度を算出してもよい。

また上述の例では、異常時に生成した代替の撮影画像の生成時間だけ、他の正常なカメラから取得した撮影画像の映像処理部４への出力を遅延させて全ての画像を同期する機能が異常監視部１１に設けられていることについて説明した。しかしながら、代替の撮影画像の生成時間に基づく正常なカメラによる撮影画像の遅延を異常監視部から画像入力部３や映像処理部４に通知してもよい。この場合、画像入力部３正常なカメラ２の撮影画像の出力を遅らせたり、映像処理部４が撮影画像の他処理部や他装置への出力をその時間分遅らせるようにしてもよい。

上述の監視装置は内部に、コンピュータシステムを有してよい。そして、上述した各処理の過程は、プログラムの形式でコンピュータ読み取り可能な記録媒体に記憶されており、このプログラムをコンピュータが読み出して実行することによって、上記処理が行われてよい。ここでコンピュータ読み取り可能な記録媒体とは、磁気ディスク、光磁気ディスク、ＣＤ−ＲＯＭ、ＤＶＤ−ＲＯＭ、半導体メモリ等をいう。また、このコンピュータプログラムを通信回線によってコンピュータに配信し、この配信を受けたコンピュータが当該プログラムを実行するようにしても良い。

また、上記プログラムは、前述した機能の一部を実現するためのものであっても良い。さらに、前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるもの、いわゆる差分ファイル（差分プログラム）であっても良い。

１・・・監視装置
２，２１〜２６・・・カメラ
３，３１〜３６・・・画像入力部
４，４１〜４６・・・映像処理部
５，５１〜５６・・・切り替えスイッチ
１１・・・異常監視部
１２・・・撮影画像生成部
１１１・・・異常カメラ特定部
１１２・・・代替カメラ特定部
１１３・・・カメラ制御部
１１４・・・監視制御部
１１５・・・認識精度管理部
１１６・・・移動態様管理部

Claims (6)

1. 複数の撮影装置のうち異常の発生した異常撮影装置を特定する異常撮影装置特定部と、
   前記異常撮影装置の撮影領域を撮影できる代替撮影装置を特定する代替撮影装置特定部と、
   前記代替撮影装置の撮影領域を制御する撮影装置制御部と、
   前記代替撮影装置の出力した撮影画像を用いて前記異常の発生した撮影装置が撮影する撮影領域の代替撮影画像を生成する撮影画像生成部と、
   を備え、
   前記撮影画像生成部は、前記代替撮影画像の生成に伴う遅延に基づいて、その代替撮影画像と、前記異常撮影装置を除く他の撮影装置から出力された前記遅延の時間分前に撮影された各撮影画像とを、前記代替撮影画像と前記各撮影画像とを用いて認識対象を認識する映像処理部へ出力する
   監視装置。
2. 前記撮影画像生成部は、前記異常撮影装置が特定されない状況においてはそれら異常の無い前記複数の撮影装置から出力された撮影画像を出力し、前記異常撮影装置が特定された状況においては前記異常撮影装置を除く前記代替撮影装置とそれ以外の撮影装置から出力された各撮影画像と、前記代替撮影画像とを前記映像処理部へ出力する
   を備える請求項１に記載の監視装置。
3. 移動体に搭載されており、
   前記撮影装置制御部は、前記代替撮影装置の撮影領域を拡大制御し、
   前記拡大制御に基づいて生成された前記代替撮影画像に基づいて前記移動体に設置された前記複数の撮影装置のうちの前記異常撮影装置の撮影領域における認識精度を示す情報を自動運転の制御装置へ出力する認識精度管理部と、
   を備える請求項１または請求項２に記載の監視装置。
4. 移動体に搭載されており、
   前記代替撮影画像に基づいて前記移動体の移動態様を示す情報を自動運転の制御装置へ出力する移動態様管理部と、
   を備える請求項１から請求項３の何れか一項に記載の監視装置。
5. 監視装置が、
   複数の撮影装置のうち異常の発生した異常撮影装置を特定し、
   前記異常撮影装置の撮影領域を撮影できる代替撮影装置を特定し、
   前記代替撮影装置の撮影領域を制御し、
   前記代替撮影装置の出力した撮影画像を用いて前記異常の発生した撮影装置が撮影する撮影領域の代替撮影画像を生成し、
   前記代替撮影画像の生成に伴う遅延に基づいて、その代替撮影画像と、前記異常撮影装置を除く他の撮影装置から出力された前記遅延の時間分前に撮影された各撮影画像とを、前記代替撮影画像と前記各撮影画像とを用いて認識対象を認識する映像処理部へ出力する
   処理方法。
6. 監視装置のコンピュータを、
   複数の撮影装置のうち異常の発生した異常撮影装置を特定する異常撮影装置特定手段、
   前記異常撮影装置の撮影領域を撮影できる代替撮影装置を特定する代替撮影装置特定手段、
   前記代替撮影装置の撮影領域を制御する撮影装置制御手段、
   前記代替撮影装置の出力した撮影画像を用いて前記異常の発生した撮影装置が撮影する撮影領域の代替撮影画像を生成し、前記代替撮影画像の生成に伴う遅延に基づいて、その代替撮影画像と、前記異常撮影装置を除く他の撮影装置から出力された前記遅延の時間分前に撮影された各撮影画像とを、前記代替撮影画像と前記各撮影画像とを用いて認識対象を認識する映像処理手段へ出力する撮影画像生成手段、
   として機能させるプログラム。

Images