JP5648746B2 - 車両用監視装置、車両用監視システム、端末装置及び車両の監視方法 - Google Patents

車両用監視装置、車両用監視システム、端末装置及び車両の監視方法 Download PDF

Info

Publication number
JP5648746B2
JP5648746B2 JP2013523880A JP2013523880A JP5648746B2 JP 5648746 B2 JP5648746 B2 JP 5648746B2 JP 2013523880 A JP2013523880 A JP 2013523880A JP 2013523880 A JP2013523880 A JP 2013523880A JP 5648746 B2 JP5648746 B2 JP 5648746B2
Authority
JP
Japan
Prior art keywords
monitoring
image
vehicle
projection
mapping information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2013523880A
Other languages
English (en)
Other versions
JPWO2013008623A1 (ja
Inventor
照久 高野
照久 高野
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nissan Motor Co Ltd
Original Assignee
Nissan Motor Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nissan Motor Co Ltd filed Critical Nissan Motor Co Ltd
Priority to JP2013523880A priority Critical patent/JP5648746B2/ja
Application granted granted Critical
Publication of JP5648746B2 publication Critical patent/JP5648746B2/ja
Publication of JPWO2013008623A1 publication Critical patent/JPWO2013008623A1/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B13/00—Burglar, theft or intruder alarms
    • G08B13/18—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
    • G08B13/189—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
    • G08B13/194—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
    • G08B13/196—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
    • G08B13/19663—Surveillance related processing done local to the camera
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R25/00—Fittings or systems for preventing or indicating unauthorised use or theft of vehicles
    • B60R25/10—Fittings or systems for preventing or indicating unauthorised use or theft of vehicles actuating a signalling device
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R25/00—Fittings or systems for preventing or indicating unauthorised use or theft of vehicles
    • B60R25/30—Detection related to theft or to other events relevant to anti-theft systems
    • B60R25/305—Detection related to theft or to other events relevant to anti-theft systems using a camera
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B13/00—Burglar, theft or intruder alarms
    • G08B13/18—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
    • G08B13/189—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
    • G08B13/194—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
    • G08B13/196—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
    • G08B13/19602—Image analysis to detect motion of the intruder, e.g. by frame subtraction
    • G08B13/19608—Tracking movement of a target, e.g. by detecting an object predefined as a target, using target direction and or velocity to predict its new position
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B13/00—Burglar, theft or intruder alarms
    • G08B13/18—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
    • G08B13/189—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
    • G08B13/194—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
    • G08B13/196—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
    • G08B13/19654—Details concerning communication with a camera
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B13/00—Burglar, theft or intruder alarms
    • G08B13/18—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
    • G08B13/189—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
    • G08B13/194—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
    • G08B13/196—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
    • G08B13/19639—Details of the system layout
    • G08B13/19647—Systems specially adapted for intrusion detection in or around a vehicle

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Mechanical Engineering (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Image Analysis (AREA)

Description

本発明は、車両に設置されたカメラを利用して、車両の周囲を監視する車両用監視装置、車両用監視システム、端末装置及び車両の監視方法に関する。
本出願は、２０１１年７月１２日に出願された日本国特許出願の特願２０１１―１５３７２５、及び２０１１年７月１２日に出願された日本国特許出願の特願２０１１―１５３７３５に基づく優先権を主張するものであり、文献の参照による組み込みが認められる指定国については、上記の出願に記載された内容を参照により本出願に組み込み、本出願の記載の一部とする。
この種の装置に関し、ドアの接触センサなどが検知した外部からの刺激を検知した場合には、カメラに周囲を撮像させ、その画像情報を外部の携帯電話等に転送する防犯装置が知られている（特許文献１）。
特開２００６−１０７２７９号公報
しかしながら、車両に設置された複数のカメラの撮像画像を動画として送信した場合に、受信側の装置の機能によっては複数の動画を同時に再生することができず、取得した撮像画像の一部が有効に利用されないという問題がある。
本発明が解決しようとする課題は、複数の撮像画像に基づいて生成されつつも、受信する端末装置側の備える機能にかかわらず、端末装置側で動画として同時に再生可能な監視画像を生成することである。
本発明は、複数のカメラで撮像された撮像画像をカメラの設置の順序に従って配置した一枚の監視画像と、この監視画像を柱体の投影モデルの側面に設定された投影面に投影するためのマッピング情報とを外部の端末装置へ送信することにより、上記課題を解決する。
本発明によれば、送信された監視画像を受信した外部の端末装置が、マッピング情報に基づいて、柱体の側面に設定された投影面に、複数の撮像画像がカメラの設置順序で配置された一枚の監視画像を一連（ひとつながり）に投影することができるので、各端末装置の備える機能にかかわらず、撮像方向の異なる複数の撮像画像から生成された監視画像を動画として再生することができる。この結果、複数のカメラにより得た各撮像画像の情報を無駄にすることなく、ユーザの監視用の画像として有効に利用することができる。
本発明に係る第１実施形態の監視装置を含む車両監視システムの構成図である。 カメラの設置例を示す図である。 カメラの配置例を示す他の図である。 フロントカメラの撮像画像の一例を示す図である。 右サイドカメラの撮像画像の一例を示す図である。 リアカメラの撮像画像の一例を示す図である。 左サイドカメラの撮像画像の一例を示す図である。 複数の撮像画像に基づいて生成された監視画像の一の例を示す図である。 監視画像の歪み補正処理を説明するための図である。 本実施形態の投影モデルの一例を示す模式図である。 図１０に示す投影モデルのｘｙ面に沿う断面模式図である。 端末装置のディスプレイに示される表示画像の一例を示す第１図である。 端末装置のディスプレイに示される表示画像の一例を示す第２図である。 端末装置のディスプレイに示される表示画像の一例を示す第３図である。 端末装置のディスプレイに示される表示画像の一例を示す第４図である。 端末装置のディスプレイに示される表示画像の一例を示す第５図である。 端末装置のディスプレイに示される表示画像の一例を示す第６図である。 端末装置のディスプレイに示される表示画像の一例を示す第７図である。 端末装置のディスプレイに示される表示画像の一例を示す第８図である。 車両用監視装置の制御手順を示すフローチャートである。 本発明に係る第２実施形態の監視装置を含む車両監視システムの構成図である。 カメラ及びセンサの設置例を示す図である。 図８に対応する図であって、各カメラの撮像画像に基づいて生成された他の監視画像の例を示す図である。 監視対象物体を正視する表示画像の一例を示す図である。 図２１に示す表示画像の回転処理を説明するための図である。 本発明に係る第２実施形態の車両用監視装置の制御手順を示すフローチャートである。
＜第１実施形態＞
以下、本発明の第１実施形態を図面に基づいて説明する。本実施形態では、本発明に係る車両用監視装置を、車両を監視するための監視装置１００、この監視装置を備える車両監視システム１０００に適用した場合を例にして説明する。なお、本発明に係る車両用監視装置の監視対象は車両に限定されず、二輪車、船、重機、フォークリフト等の移動体を監視することもできる。
図１は、本実施形態に係る監視装置１００を含む車両監視システム１０００のブロック構成図である。図１に示すように、本実施形態の車両監視システム１０００は、車両に設置された４つのカメラ１ａ〜１ｄ（以下、カメラ１と総称することもある）を備えている。
図２は、カメラ１ａ〜１ｄを車両Ｖに取り付ける場合の配置例を示す図である。カメラ１ａ〜１ｄはＣＣＤ（Charge Coupled Devices）等の撮像素子を用いて構成され、車両Ｖの外部の異なる位置に各々設置され、車両周囲の４方向の画像をそれぞれ撮影する。例えば、図２に示すように、フロントグリル部分などの車両Ｖの前方の所定位置に設置されたカメラ１ａは、車両Ｖの前方のエリアＳＰ１内及びその前方の空間に存在する物体又は路面の画像（フロントビュー画像）を撮影する。左サイドミラー部分などの車両Ｖの左側方の所定位置に設置されたカメラ１ｄは、車両Ｖの左側方のエリアＳＰ２内及びその周囲の空間に存在する物体又は路面の画像（左サイドビュー画像）を撮影する。リアフィニッシャー部分やルーフスポイラー部分などの車両Ｖのリア（後方）部分の所定位置に設置されたカメラ１ｃは、車両Ｖの後方のエリアＳＰ３内及びその後方の空間に存在する物体又は路面の画像（リアビュー画像）を撮影する。右サイドミラー部分などの車両Ｖの右側方の所定位置に設置されたカメラ１ｂは、車両Ｖの右側方のエリアＳＰ４内及びその周囲の空間に存在する物体又は路面の画像（右サイドビュー画像）を撮影する。制御装置１０は、カメラ１ａ〜１ｄによって撮像された撮像画像をそれぞれ取得する。
図３は、各カメラ１ａ〜１ｄの配置を車両Ｖの上空から見た図である。図３に示すように、エリアＳＰ１を撮像するカメラ１ａ、エリアＳＰ４を撮像するカメラ１ｂ、エリアＳＰ３を撮像するカメラ１ｃ、エリアＳＰ２を撮像するカメラ１ｄ、は、車両Ｖのボディの外周ＶＥに沿って右回り（時計回り）又は左回り（反時計回り）に沿って設置されている。つまり、図３に矢印Ｃで示す右回り（時計回り）に車両Ｖのボディの外周ＶＥに沿って見ると、カメラ１ａの右隣りにカメラ１ｂが設置され、カメラ１ｂの右隣りにカメラ１ｃが設置され、カメラ１ｃの右隣りにカメラ１ｄが設置され、カメラ１ｄの右隣りにカメラ１ａが設置されている。図３に示す矢印Ｃの方向とは反対に（反時計回り）に車両Ｖのボディの外周ＶＥに沿って見ると、カメラ１ａの左隣りにカメラ１ｄが設置され、カメラ１ｄの左隣りにカメラ１ｃが設置され、カメラ１ｃの左隣りにカメラ１ｂが設置され、カメラ１ｂの左隣りにカメラ１ａが設置されている。
図４は、フロントカメラ１ａがエリアＳＰ１を撮像した撮像画像ＧＳＰ１の一例を示し、図５は、右サイドカメラ１ｂがエリアＳＰ４を撮像した撮像画像ＧＳＰ４の一例を示し、図６は、リアカメラ１ｃがエリアＳＰ３を撮像した撮像画像ＧＳＰ３の一例を示し、図７は、左サイドカメラ１ｄがエリアＳＰ２を撮像した撮像画像ＧＳＰ２の一例を示す図である。ちなみに、各撮像画像の画像サイズは、４８０ピクセル(縦)×６４０ピクセル(横)である。撮像画像のサイズは特に限定されないが、一般的な端末装置が動画再生可能なサイズとすることができる。
なお、カメラ１の配置数及び配置位置は、車両Ｖの大きさ、形状、検出領域の設定手法等に応じて適宜に決定することができる。上述した複数のカメラ１は、それぞれのアドレス(配置)に応じた識別子が付されており、制御装置１０は、各識別子に基づいて各カメラ１のそれぞれを識別することができる。また、制御装置１０は、識別子を付することにより、特定のカメラ１に起動命令その他の命令を送出することができる。
また、本実施形態の車両監視システム１０００は、さらに、監視装置１００と、車両コントローラ２００と、通信装置４００と、外部の端末装置８００と、を有する。この車両監視システム１０００は、車両コントローラ２００と情報の授受が可能なイグニッションスイッチ３００を備えることができる。これらの各装置はＣＡＮ（Controller Area Network）その他の車載ＬＡＮによって接続され、相互に情報の授受を行うことができる。
本実施形態の車両監視システム１０００において、監視装置１００は、通信装置４００を介して携帯電話、スマートフォンその他の通信装置８１０を備える外部の端末装置８００（コンピュータ）と相互に通信が可能である。本実施形態の外部の端末装置８００は、通信装置８１０と、画像処理装置８２０と、ディスプレイ８３０とを備え、通信装置８１０が車載の監視装置１００側から監視画像を取得し、画像処理装置８２０が表示に必要な画像処理を実行し、ディスプレイ８３０が監視画像を表示する。外部の端末装置８００を所持するユーザは、監視装置１００から送出された車両の監視画像を、外部の端末装置８００を用いて確認することができる。
また、図１に示すように、本実施形態に係る監視装置１００の制御装置１０は、複数の監視画像に基づいて生成された監視画像を生成するとともに、この監視画像を柱体の投影モデルの側面に設定された投影面に投影するためのマッピング情報を監視画像に対応づけ、監視画像とマッピング情報とを外部の端末装置８００に送出するプログラムが格納されたＲＯＭ（Read Only Memory）１２と、このＲＯＭ１２に格納されたプログラムを実行することで、監視装置１００として機能する動作回路としてのＣＰＵ（Central Processing Unit）１１と、アクセス可能な記憶装置として機能するＲＡＭ（Random Access Memory）１３と、を備えている。
本実施形態に係る監視装置１００の制御装置１０は、監視画像生成機能と、マッピング情報付加機能と、及び送信機能とを実現するためのソフトウェアと、上述したハードウェアの協働により各機能を実行することができる。本実施形態では、制御装置１０が各制御命令を送出する態様を例にして説明するが、本実施形態の制御装置１０は、車両コントローラ２００を介してカメラ１、通信装置４００を制御することも可能である。
以下、本発明の本実施形態に係る監視装置１００が実現する、監視画像生成機能、マッピング情報付加機能、及び送信機能の各機能について説明する。
まず、監視画像生成機能について説明する。本実施形態の監視装置１００の制御装置１０は、各カメラ１の撮像画像をそれぞれ取得し、車両Ｖのボディの外周に沿って右回り又は左回りの方向に沿って設置されたカメラ１の撮像画像が、このカメラ１の設置の順序に従って配置された、一枚の監視画像を生成する。
先述したように、本実施形態において、カメラ１は車両Ｖのボディの外周ＶＥに沿って右回り（時計回り）にカメラ１ａ、１ｂ、１ｃ、１ｄの順に設置されているので、制御装置１０は、このカメラ１の設置の順序（カメラ１ａ、１ｂ、１ｃ、１ｄ）に従って、各カメラ１が撮像した複数の撮像画像が一体となるように横方向に接続し、一枚の監視画像を生成する。本実施形態の監視画像において、各撮像画像は車両Ｖの載置面(路面)が下辺となるように配置され、各撮像画像は路面に対して高さ方向（垂直方向）の辺で接続されている。
図８は監視画像Ｋの一例を示す図である。図８に示すように、本実施形態の監視画像Ｋは、図面左側から図面右側へ向かう方向Ｐに沿って、フロントカメラ１ａがエリアＳＰ１を撮像した撮像画像ＧＳＰ１、右サイドカメラ１ｂがエリアＳＰ４を撮像した撮像画像ＧＳＰ４、リアカメラ１ｃがエリアＳＰ３を撮像した撮像画像ＧＳＰ３、及び左サイドカメラ１ｄがエリアＳＰ２を撮像した撮像画像ＧＳＰ２が、左から右へ向かって横方向にＧＳＰ１、ＧＳＰ４、ＧＳＰ３、ＧＳＰ２の順序で並べて配置され、これら４つの撮像画像が一連に（ひとつながりに）されている。つまり、監視画像Ｋは、横に一列に並べられた撮像画像ＧＳＰ１、撮像画像ＧＳＰ４、撮像画像ＧＳＰ３、撮像画像ＧＳＰ２を含んでいる。
このように生成された監視画像Ｋを、路面(車両の載置面)に対応する画像を下にして左端から右側へ順番に示すことにより、車両Ｖの周囲を時計回りに見回したときに見える映像をユーザに示すことができる。
本実施形態の監視装置１００の制御装置１０は、一つの監視画像Ｋを生成する際には、各カメラ１の撮像タイミングが略同時である各撮像画像を用いることができる。これにより、監視画像Ｋに含まれる情報を同期させることができるので、所定タイミングにおける車両周囲の状況を正確に表現することができる。ちなみに、同じ監視画像Ｋに含まれる車両前方の撮像画像ＧＳＰ１と車両右側方の撮像画像ＧＳＰ４との撮像タイミングが異なる場合には、監視画像Ｋを再生したときに、異なる撮像タイミングの画像が同時に再生されるため、これを見るユーザに違和感を与えるが、本実施形態の監視装置１００は、略同時に撮像された撮像画像を用いて監視画像Ｋを生成するので、このような違和感を与えることが無い。
本実施形態の制御装置１０は、カメラの撮像タイミングが略同時である各撮像画像から生成した監視画像Ｋを経時的に記憶し、所定の単位時間あたりに複数の監視画像Ｋが含まれる動画の監視画像Ｋを生成することができる。撮像タイミングが同時の撮像画像に基づいて動画の監視画像Ｋを生成することにより、車両周囲の状況の変化を正確に表現することができる。
ところで、各撮像領域の撮像画像をそれぞれ経時的に記憶し、各撮像領域ごとに生成した動画の監視画像Ｋを端末装置へ送信した場合には、端末装置の機能によっては、複数の動画を同時に再生できない場合がある。このような従来の端末装置においては、複数の動画を同時に再生表示することができないため、各動画を再生する際には画面を切り替えて動画を一つずつ再生しなければならない。つまり、従来の端末装置では、複数方向の映像（動画）を同時に見ることができず、車両周囲の全体を一画面で監視することができないという不都合がある。
これに対し、本実施形態の制御装置１０は、複数の撮像画像から一つの監視画像Ｋを生成するので、端末装置８００の機能にかかわらず、異なる撮像方向の撮像画像を同時に動画再生することができる。つまり、監視画像Ｋを連続して再生（動画再生）することにより、監視画像Ｋに含まれる４枚の撮像画像を同時に連続して再生（動画再生）し、方向の異なる領域の状態変化を一画面で監視することができる。
また、本実施形態の監視装置１００の制御装置１０は、監視画像Ｋの画素数が各カメラ１の撮像画像の画素数と略同一になるように画像のデータ量を圧縮して監視画像Ｋを生成することができる。図４〜図７に示す角撮像画像のサイズは４８０×６４０ピクセルである。本実施形態では、図８に示すように、本実施形態の制御装置１０は、監視画像Ｋのサイズが１２８０×２４０ピクセルとなるように、圧縮処理を行う。これにより、監視画像Ｋのサイズ（１２８０×２４０ピクセル）が、各撮像画像のサイズ（４８０×６４０ピクセル）と等しくなるので、監視画像Ｋを受信した端末装置８００側の機能にかかわらず、画像処理及び画像再生を実行させることができる。
さらに、本実施形態の監視装置１００の制御装置１０は、配置された各撮像画像の境界を示す線図形を、監視画像Ｋに付することができる。図８に示す監視画像Ｋを例にすると、制御装置１０は、配置された各撮像画像の境界を示す線図形として、各撮像画像の間に矩形の仕切り画像Ｂｂ，Ｂｃ，Ｂｄ，Ｂａを監視画像Ｋに付することができる。
このように、撮像画像の境界に仕切り画像を配置することにより、一体の監視画像Ｋを構成するが撮像方向が異なる各監視画像Ｋをそれぞれ独立に認識させることができる。つまり、仕切り画像は各撮像画像の額縁として機能する。また、各撮像画像の境界付近は画像の歪みが大きいので、撮像画像の境界に仕切り画像を配置することにより、歪みの大きい領域の画像を隠すことや、歪みが大きいことを示唆することができる。
本実施形態の監視装置１００の制御装置１０は、後述する投影モデルの側面に設定された投影面に撮像画像を投影させた場合の歪みを補正してから、監視画像Ｋを生成することができる。撮像画像の周辺領域は画像の歪みが生じやすく、カメラ１が広角カメラである場合には特に撮像画像の歪みが大きくなる傾向がある。このため、本実施形態では、画像の歪みを補正するために予め定義された画像変換アルゴリズムと補正量とを用いて、撮像画像の歪みを補正する。
特に限定されないが、制御装置１０は、図９に示すように、端末装置８００において監視画像Ｋを投影させる投影モデルと同じ投影モデルの情報をＲＯＭ１２から読み出し、この投影モデルの投影面に撮像画像を投影し、投影面において生じた歪みを予め補正することができる。なお、画像変換アルゴリズムと補正量はカメラ１の特性、投影モデルの形状に応じて適宜定義することができ、出願時に知られた手法を利用することができる。
このように、投影モデルの投影面に関し画像Ｋを投影した場合の歪みを予め補正しておくことにより、歪みの少ない見易い監視画像Ｋを提供することができる。また、歪みを予め補正しておくことにより、並べて配置された各撮像画像同士の位置ズレを低減させることができる。
次に、本実施形態の監視装置１００のマッピング情報付加機能について説明する。本実施形態の監視装置１００において、制御装置１０は、車両Ｖの載置面を底面とする柱体の投影モデルＭの側面に設定された投影面に生成された監視画像Ｋを投影するためのマッピング情報を、監視画像Ｋに対応づけることができる。
図１０は本実施形態の投影モデルＭの一例を示す図、図１１は図１０に示す投影モデルＭのｘｙ面に沿う断面模式である。
同図に示すように、本実施形態の投影モデルＭは、底面が八角形で、鉛直方向（図中ｚ軸方向）に沿って高さを有する立体の八角柱体である。投影モデルＭの形状は、底面の境界に沿って隣接する側面を有する柱体であれば特に限定されず、円柱体、三角柱体、四角柱体、六角柱体などの角柱体、円柱体、又は底面が多角形で側面が三角形の反角柱体とすることもできる。
また、同図に示すように、本実施形態の投影モデルＭの底面は車両Ｖの載置面と平行である。また、投影モデルＭの側面の内側面には、投影モデルＭの底面上に載置された車両Ｖの周囲の映像を映し出す投影面Ｓａ，Ｓｂ，Ｓｃ，Ｓｄ（以下、投影面Ｓと総称することもある）が設定されている。投影面Ｓは、投影面Ｓａの一部と投影面Ｓｂの一部、投影面Ｓｂの一部と投影面Ｓｃの一部、投影面Ｓｃの一部と投影面Ｓｄの一部、投影面Ｓｄの一部と投影面Ｓａの一部により構成することもできる。監視画像Ｋは、車両Ｖを取り囲む投影モデルＭの上方の視点Ｒ（Ｒ１〜Ｒ８、以下、視点Ｒと総称することもある）から車両Ｖを見下ろした映像として投影面Ｓに投影される。
本実施形態の監視装置１００の制御装置１０は、右端又は左端に配置された撮像画像の基準座標を、マッピング情報として監視画像Ｋに対応づけることができる。図８に示す監視画像Ｋを例にすると、制御装置１０は、投影モデルＭに投影される際の、監視画像Ｋの始端位置又は終端位置を示すマッピング情報（基準座標）として、右端に配置された撮像画像ＧＳＰ１の左上頂点の座標Ａ（ｘ、ｙ）を監視画像Ｋに付することができる。同様に、監視装置１０は、監視画像Ｋの始端位置又は終端位置を示すマッピング情報として、左端に配置された撮像画像ＧＳＰ２の右上頂点の座標Ｂ（ｘ、ｙ）を監視画像Ｋに付することができる。始端位置又は終端位置を示す撮像画像の基準座標は特に限定されず、左端に配置された監視画像Ｋの左下頂点、又は右端に配置された監視画像Ｋの右下頂点とすることもできる。なお、マッピング情報は、監視画像Ｋの画像データの各画素に付してもよいし、監視画像Ｋとは別のファイルとして管理することもできる。
このように、監視画像Ｋの始端位置又は終端位置を示す情報、つまり投影処理において基準とする基準座標をマッピング情報として監視画像Ｋに対応づけることにより、監視画像Ｋを受信した端末装置８００が、ユーザに最初及び／又は投影処理時における基準位置を認識することができるので、カメラ１の配置順に並べられた監視画像Ｋを、投影モデルＭの側面の投影面Ｓに順次に投影することができる。カメラ１ａの撮像方向に位置する投影面Ｓａに車両前方の撮像画像ＧＳＰ１を投影し、カメラ１ｂの撮像方向に位置する投影面Ｓｂに車両右側方の撮像画像ＧＳＰ４を投影し、カメラ１ｃの撮像方向に位置する投影面Ｓｃに車両後方の撮像画像ＧＳＰ３を投影し、カメラ１ｄの撮像方向に位置する投影面Ｓｄに車両左側方の撮像画像ＧＳＰ２を投影することができる。
これにより、投影モデルＭに投影された監視画像Ｋは、あたかも車両Ｖの周囲を見回したときに見える映像を示すことができる。つまり、カメラ１の設置順序に応じて横一列に配置された撮像画像を含む監視画像Ｋは、投影モデルＭの柱体において、同じく横に並ぶ側面に投影されるので、柱体の投影モデルＭの投影面Ｓに投影された監視画像Ｋに、車両Ｖの周囲の映像をその位置関係を維持したまま再現することができる。
また、本実施形態の制御装置１０は、監視画像Ｋの各座標値と投影モデルＭの各投影面Ｓの座標値との対応関係をマッピング情報として記憶し、監視画像Ｋに付することができるが、端末装置８００側に予め記憶させておくこともできる。
なお、同図に示す視点Ｒ、投影面Ｓの位置は例示であり、任意に設定することができる。特に、視点Ｒは、ユーザの操作によって変更可能である。視点Ｒと監視画像Ｋの投影位置との関係は予め定義されており、視点Ｒの位置が変更された場合には所定の座標変換をすることにより、新たに設定された視点Ｒから見た監視画像Ｋを投影面Ｓ（Ｓａ〜Ｓｄ）に投影することができる。この視点変換処理には、出願時に知られている手法を用いることができる。
本実施形態の制御装置１０は、所定タイミングで撮像された撮像画像に基づいて監視画像Ｋを生成し、この監視画像Ｋにマッピング情報、基準座標、境界を示す線図形（仕切り画像）の情報を対応づけて撮像タイミングに従って経時的に記憶する。特に限定されないが、制御装置１０は、所定の単位時間あたりに複数の監視画像Ｋを含む一つの動画ファイルとして監視画像Ｋを記憶してもよいし、ストリーミング方式で転送・再生が可能な形態で監視画像Ｋを記憶してもよい。
本実施形態の制御装置１０の通信機能について説明する。制御装置１０は、生成された監視画像Ｋを含む情報を、公衆通信網として利用可能な通信回線９００を用いて外部の端末装置８００へ送信することができる。
以下、監視画像Ｋを受信し、監視画像Ｋを表示する端末装置８００について説明する。
端末装置８００は、上述した監視装置１００の外部に配置され、監視装置１００と通信を行う通信装置８１０と、取得した画像を表示用の画像に変換する画像処理装置８２０と、変換された表示用の監視画像Ｋを表示するディスプレイ８３０とを備える。
通信装置８１０は、監視装置１００が送出した監視画像Ｋとこの監視画像Ｋに対応づけられたマッピング情報を受信する。この監視画像Ｋは、車両Ｖのボディの異なる位置に設置された複数のカメラ１の撮像画像が、車両Ｖのボディの外周に沿って右回り又は左回りの方向に沿って設置されたカメラ１の設置順序（車両Ｖのボディの外周に沿う右回り又は左回りの順序）に従って配置されたものである。また、この監視画像Ｋには、監視画像Ｋを柱体の投影モデルＭの投影面Ｓに投影させるためのマッピング情報が対応づけられている。通信装置８１０は取得した監視画像Ｋ及びマッピング情報を画像処理装置８２０へ送出する。
画像処理装置８２０は、予め記憶している投影モデルＭを読み出し、マッピング情報に基づいて、図１０及び図１１に示す車両Ｖの載置面を底面とする柱体の投影モデルＭの側面に設定された投影面Ｓａ〜Ｓｄに監視画像Ｋを投影させた表示画像を生成する。具体的には、マッピング情報に従い、受信した監視画像Ｋの各画素を、投影面Ｓａ〜Ｓｄの各画素に投影する（マッピングする）。
画像処理装置８２０は、監視画像Ｋを投影モデルＭに投影する際に、監視画像Ｋと共に受信した基準座標に基づいて、監視画像Ｋの開始点(監視画像Ｋの右端又は左端)を認識し、この開始点が予め投影モデルＭ上に定義された開始点(投影面Ｓの右端又は左端)と合致するように投影処理を行う。
また、画像処理装置８２０は、監視画像Ｋを投影モデルＭに投影する際に、各撮像画像の境界を示す線図形(仕切り画像)を投影モデルＭ上に配置する。仕切り画像は、予め投影モデルＭに付しておくこともでき、投影処理後に監視画像Ｋに付すこともできる。
ディスプレイ８３０は、投影モデルＭの投影面Ｓに投影した監視画像Ｋを表示する。図１２〜図１９は、監視画像Ｋの表示画像の例を示す。
図１２には、図１０，１１に示す視点Ｒ１から見た投影面Ｓｄ、Ｓａ、Ｓｂに投影された監視画像Ｋを示す。投影モデルＭの底面には各視点Ｒ〜見た車両Ｖの画像が貼り付けられている。また、投影面Ｓｄ、Ｓａ、Ｓｂの間にある画像が表示されていない部分は「境界を示す線図形（仕切り画像）」である。
同様に、図１３には視点Ｒ２から見た監視画像Ｋを示し、図１４には視点Ｒ３から見た監視画像Ｋを示し、図１５には視点Ｒ４から見た監視画像Ｋを示し、図１６には視点Ｒ５から見た監視画像Ｋを示し、図１７には視点Ｒ６から見た監視画像Ｋを示し、図１８には視点Ｒ７から見た監視画像Ｋを示し、図１９には視点Ｒ８から見た監視画像Ｋを示す。
このように、本実施形態の端末装置８００は、車両Ｖのボディに設置されたカメラ１の設置順序に応じて各カメラ１の撮像画像をｘ軸方向又はｙ軸方向に沿って（横に）配置した監視画像Ｋを、その配置順に従って柱体の投影モデルＭの側面に沿って(横に)マッピングするので、投影モデルＭに示された監視画像Ｋは、車両Ｖの周囲を時計回りに見回したときに見える映像を示すことができる。
特に図１２〜図１９に示すように、投影モデルＭの底面に車両Ｖの画像を示すことにより、車両Ｖの向きと各撮像画像との位置関係が分かり易くすることができる。つまり車両Ｖのフロントグリルに対向する投影面Ｓには、車両Ｖのフロントグリルに設けられたカメラ１ａの撮像画像ＧＳＰ１を投影し、車両Ｖの右サイドミラーに対向する投影面Ｓには、車両Ｖの右サイドミラーに設けられたカメラ１ｄの撮像画像ＧＳＰ４を投影し、車両Ｖのリア部に対向する投影面Ｓには、車両Ｖのリア部に設けられたカメラ１ｃの撮像画像ＧＳＰ３を投影し、車両Ｖの左サイドミラーに対向する投影面Ｓには、車両Ｖの左サイドミラーに設けられたカメラ１ｂの撮像画像ＧＳＰ２を投影することができる。このように、図１２〜図１９に示すように、本実施形態によれば、車両Ｖの周囲の映像がその位置関係を保ったまま投影された監視画像Ｋを提示することができるので、ユーザは車両のどこで何が起きているかを容易に把握することができる。
ちなみに、図１２〜図１９は静止画であるため、実際の表示画像の再生状態を示すことができないが、本実施形態の端末装置８００においては、ディスプレイ８３０の表示画面中の各投影面Ｓに示される画像はそれぞれ動画である。つまり、車両Ｖのフロントグリルに対向する投影面Ｓには、車両前方の撮像領域ＳＰ１の動画映像が映し出され、車両Ｖの右サイドミラーに対向する投影面Ｓには、車両右側方の撮像領域ＳＰ４の動画映像が映し出され、車両Ｖのリア部に対向する投影面Ｓには、車両後方の撮像領域ＳＰ３の動画映像が映し出され、車両Ｖの左サイドミラーに対向する投影面Ｓには、車両左側方の撮像領域ＳＰ２の動画映像が映し出されている。つまり、図１２〜図１９に示す各投影面Ｓには、異なるカメラ１により撮像された撮像画像に基づく複数の動画の監視画像Ｋを同時に再生することができる。
なお、ディスプレイ８３０は、タッチパネル式の入力情報の受付が可能な装置であり、ユーザが視点を自在に設定・変更することができる。視点位置と投影面Ｓとの対応関係は上述の画像処理装置８２０又はディスプレイ８３０において予め定義されているので、この対応関係に基づいて、変更後の視点に応じた監視画像Ｋをディスプレイ８３０に表示することができる。
以下、本発明の本実施形態の車両監視システム１０００の処理手順を説明する。図２０は、本実施形態に係る車両監視システム１０００の制御手順を示すフローチャートである。
ステップ１０において、本実施形態の監視装置１００の制御装置１０は、監視開始タイミングであるか否かを判断する。特に限定されないが、本実施形態の監視装置１００は、イグニッションスイッチ３００に入力されたエンジンのオフ信号が入力され、通信機能を有する車両Ｖの電子キーが車両Ｖの近傍に存在しない場合（電子キーを携帯するユーザが車両Ｖから離れている場合）や、ユーザの外部の端末装置８００から監視画像Ｋの要求指令を受け付けた場合に監視処理を開始することができる。
ステップ２０において、本実施形態の監視装置１００は、車両Ｖに設置された複数のカメラ１に撮像を開始させる。そして、ステップ３０において、監視装置１００は、各カメラにより撮像された撮像画像をそれぞれ取得する。
ステップ４０において、本実施形態の監視装置１００は、車両Ｖのボディの外周に沿って右回り又は左回りの方向に沿って設置されたカメラ１の複数の撮像画像を、このカメラ１の設置の順序に従う配置となるように合成し、一枚の監視画像Ｋを生成する。
ステップ５０において、本実施形態の監視装置１００は、使用する投影モデルＭを選択する。投影モデルＭの選択は、ユーザによって予め特定されてもよいし、車種ごとに予め特定しておいてもよい。
ステップ６０において、本実施形態の監視装置１００は、各撮像画像の歪みを補正する。本実施形態のカメラ１が広角カメラである場合には、撮像画像の中心から離れるにつれて（外縁近傍において）画像の歪みが大きくなるため、監視装置１００は、所定の画像変換処理を行うことにより、各撮像画像の歪みを補正することができる。本実施形態では、監視画像Ｋを投影モデルＭに投影した状態における歪みを補正するため、一度投影処理を行ってから歪み補正処理を行うことができる。歪み補正の手法は出願時に知られている手法を適宜に利用することができる。
ステップ７０において、本実施形態の監視装置１００は、監視画像Ｋの画素数が各カメラ１の撮像画像の画素数と略同一になるように画像のデータ量を圧縮する。
ステップ８０において、本実施形態の監視装置１００は、監視画像Ｋの右端又は左端に配置された撮像画像の基準座標をマッピング情報として監視画像Ｋに付する。これにより、監視画像Ｋと投影モデルＭとの位置関係を対応づけることができる。
続くステップ９０において、本実施形態の監視装置１００は、監視画像Ｋに配置された各撮像画像の境界を示す線図形(仕切り画像)を、監視画像Ｋに付する。
続くステップ１００において、監視装置１００は、上述した処理により得られた、マッピング情報が対応づけられた監視画像Ｋを含む情報を外部の端末装置８００へ送信する。そして、ステップ１１０において監視処理の終了が判断されるまで、ステップ２０以降の処理が繰り返される。
外部の端末装置８００の通信装置８１０は、ステップ３１において、監視装置１００から送出された監視画像Ｋを、マッピング情報とともに受信する。
次に、ステップ３２において、画像処理装置８２０は、マッピング情報に従い、監視画像Ｋを投影モデルＭの投影面Ｓに投影する。投影モデルＭの底面には、予め車両Ｖの映像を付しておくことができる。
そして、ステップ３３においてディスプレイ８３０は、投影モデルＭに投影された監視画像Ｋを含む情報を表示する。
なお、本実施形態では、監視装置１００が車両Ｖに配置された場合を例にして説明したが、本発明の本実施形態に係る車両Ｖの監視方法を各装置において実行させることができる。また、本発明の本実施形態に係る車両Ｖの監視方法を、カメラ１、通信装置４００を制御可能なクライアント（コンピュータ・制御装置）と情報の授受が可能なサーバ（コンピュータ・制御装置）において処理の一部又は全部実行することもできる。サーバは、クライアントと離隔した場所に配置することができる。
サーバは以下の指令を実行して、本発明に係る本実施形態の車両の監視方法を実行することができる。この指令の内容は、車両Ｖのボディの異なる位置に設置され、車両Ｖの周囲を撮像する複数のカメラ１の撮像画像をそれぞれ取得するステップと、車両Ｖのボディの外周に沿って右回り又は左回りの方向に設置されたカメラ１の撮像画像に基づいて、このカメラ１の設置の順序に従って配置された一枚の監視画像Ｋを生成するステップと、生成された監視画像Ｋを車両Ｖの載置面を底面とする柱体の投影モデルＭの側面に設定された投影面Ｓに投影させるマッピング情報を監視画像Ｋに付加するステップと、監視画像Ｋとマッピング情報とを外部の端末装置８００へ送信するステップと、を含む。処理の具体的な内容は、本実施形態の監視装置１００、車両監視システム１０００と共通するのでこれらの説明を援用する。
また、上述の監視方法を実行させるサーバは、監視画像Ｋの投影処理を行い、投影モデルＭに監視画像Ｋを投影した表示用の画像を生成することができる。
この場合において、サーバは以下の指令を実行して、本発明に係る本実施形態の車両の監視方法を実行することができる。指令の内容は、車両Ｖのボディの異なる位置に設置され、車両Ｖの周囲を撮像する複数のカメラ１の撮像画像をそれぞれ取得するステップと、車両Ｖのボディの外周に右回り又は左回りの方向に沿って設置されたカメラ１の撮像画像に基づいて、このカメラ１の設置の順序に従って配置された一枚の監視画像Ｋを生成するステップと、生成された監視画像Ｋを車両Ｖの載置面を底面とする柱体の投影モデルＭの投影面Ｓに投影させるマッピング情報を監視画像Ｋに付加するステップと、マッピング情報に基づいて、車両Ｖの載置面を底面とする柱体の投影モデルＭの側面に設定された投影面Ｓに監視画像Ｋを投影させた表示画像を生成するステップと、を含む。サーバは、生成した表示画像を閲覧可能なように記憶し、端末装置８００からのアクセスがあった場合に、表示画像の閲覧を許可し、端末装置８００のディスプレイ８３０に表示画像を表示させることができる。また、サーバは、端末装置８００からの要求に応じて、表示画像のダウンロードを許可し、又は表示画像を端末装置８００へ送信して端末装置８００のディスプレイ８３０に表示させてもよい。なお、処理の具体的な内容は、本実施形態の監視装置１００、車両監視システム１０００と共通するのでこれらの説明を援用する。
さらに、端末装置８００に以下の指令を実行させて、端末装置８００の動作を制御し、本発明に係る本実施形態の車両の監視方法を実行することができる。指令の内容は、車両Ｖのボディの異なる位置に設置された複数のカメラ１の撮像画像が、車両Ｖのボディの外周に右回り又は左回りの方向に沿って設置されたカメラ１の設置順序に従って連続して配置された監視画像Ｋと、車両Ｖの載置面を底面とする柱体の投影モデルＭの投影面Ｓに投影させるためのマッピング情報とを、通信回線を介して受信させるステップ、取得させた監視画像Ｋをマッピング情報に基づいて、車両Ｖの載置面を底面とする柱体の投影モデルＭの投影面Ｓに、この監視画像Ｋを投影して表示画像を生成させるステップと、を含む。なお、処理の具体的な内容は、本実施形態の端末装置８００と共通するのでこれらの説明を援用する。
以上のとおり構成され、動作する本発明の実施形態に係る監視装置１００、車両監視システム１０００、及び端末装置８００は、以下の効果を奏する。
本実施形態に係る監視装置１００によれば、複数のカメラ１ａ〜１ｄで撮像された撮像画像をカメラ１ａ〜１ｄの設置の順序に従って配置した一枚の監視画像Ｋと、この監視画像Ｋを柱体の投影モデルＭの側面に設定された投影面Ｓに投影するためのマッピング情報とを外部の端末装置８００へ送信するので、複数の撮像画像がカメラの設置順序で配置された一連（ひとつながり）の監視画像Ｋを柱体の側面に設定された投影面Ｓに投影することができる、このため、各端末装置の備える機能にかかわらず、撮像方向の異なる複数の撮像画像から生成された監視画像Ｋを動画として再生することができる。この結果、複数のカメラにより得た各撮像画像の情報を無駄にすることなく、ユーザの監視用の画像として有効に利用することができる。
本実施形態に係る監視装置１００によれば、各カメラ１の撮像タイミングが略同時である各撮像画像から動画態様の監視画像Ｋを生成するので、監視画像Ｋに含まれる各撮像画像の情報を同期させることができる。このため、所定タイミングにおける車両周囲の状況を複数の撮像画像に基づく動画により正確に表現することができる。
本実施形態に係る監視装置１００によれば、監視画像Ｋの画素数が各カメラ１の撮像画像の画素数と略同一になるように画像のデータ量を圧縮して監視画像Ｋを生成するので、監視画像Ｋを受信した端末装置８００側の機能にかかわらず、画像処理及び画像再生を実行させることができる。
本実施形態に係る監視装置１００によれば、監視画像Ｋの右端又は左端に配置された撮像画像の基準座標を、監視画像Ｋに付するので、監視画像Ｋを受信した端末装置８００が、監視画像Ｋと投影モデルＭとの対応位置関係を認識することができる。
本実施形態に係る監視装置１００によれば、配置された各撮像画像の境界を示す線図形の仕切り画像Ｂｂ，Ｂｃ，Ｂｄ，Ｂａを、監視画像Ｋに付するので、一体の監視画像Ｋを構成するが撮像方向が異なる各監視画像Ｋをそれぞれ独立に認識させることができる。また、各撮像画像の境界付近は画像の歪みが大きいので、撮像画像の境界に仕切り画像を配置することにより、歪みの大きい領域の画像を隠すことや、歪みが大きいことを示唆することができる。
本実施形態に係る監視装置１００によれば、投影モデルＭの側面に設定された投影面Ｓに撮像画像を投影させた場合の歪みを補正してから、監視画像Ｋを生成するので、歪みの少ない見易い監視画像Ｋを提供することができる。また、歪みを予め補正しておくことにより、並べて配置された各撮像画像同士の位置ズレを低減させることができる。この結果、ひとつづきにされた複数の各撮像画像を、ユーザに一つの監視画像Ｋとして認識させることができる。
本実施形態における車両Ｖの監視方法を使用した場合においても、監視装置１００、監視システム１００及び端末装置８００と同様の作用を奏し、同様の効果を得ることができる。
なお、以上説明したすべての実施形態は、本発明の理解を容易にするために記載されたものであって、本発明を限定するために記載されたものではない。したがって、上記の実施形態に開示された各要素は、本発明の技術的範囲に属する全ての設計変更や均等物をも含む趣旨である。
本明細書では、本発明に係る車両用監視装置の一態様として監視装置１００及び車両監視システム１０００を例にして説明するが、本発明はこれに限定されるものではない。
また、本明細書では、本発明に係る車両用監視装置の一態様として、ＣＰＵ１１、ＲＯＭ１２、ＲＡＭ１３を含む制御装置１０を備える監視装置１００を一例として説明するが、これに限定されるものではない。
また、本明細書では、カメラと、監視画像生成手段と、マッピング情報付加手段と、送信手段とを有する本発明に係る車両用監視装置の一態様として、カメラ１と、監視画像生成機能、マッピング情報付加機能、送信機能を実現する制御装置１０を備える監視装置１００を説明するが、これに限定されるものではない。
本明細書では、通信手段と、画像処理手段と、表示手段とを備える端末装置の一態様として、通信装置８１０と、画像処理装置８２０と、ディスプレイ８３０とを備える端末装置８００を説明するが、これに限定されるものではない。
本明細書では、本発明に係る車両監視システムの一態様として、本願発明に係る監視装置１００と、車両コントローラ２００と、通信装置４００と、外部の端末装置８００とを備えた車両監視システム１０００を例にして説明するが、本発明はこれに限定されるものではない。
＜第２実施形態＞
以下、本発明の第２実施形態に係る車両監視システム１０００について説明する。
先述したように、この種の装置に関し、ドアの接触センサなどが検出した外部からの刺激を検出した場合には、カメラに周囲を撮像させ、その画像情報を外部の携帯電話等に転送する防犯装置が知られているが、車両に設置された複数のカメラの撮像画像を外部の端末装置に送信した場合に、受信側の端末装置で複数の撮像画像を同時に再生すると、どの撮像画像に注目すればよいかが分からずに、監視対象物体を確認するのに時間がかかるという問題がある。
本発明の第２実施形態においては、複数の撮像画像に基づいて生成されつつも、どの撮像画像に注目すべきかが分かりやすい監視画像を生成することを課題とする。
本発明の第２実施形態に係る車両監視システム１０００は、複数のカメラで撮像された撮像画像をカメラの設置の順序に従って配置し、車両の周囲において検出された監対象物体の存在位置の情報を付した監視画像と、この監視画像を柱体の投影モデルの側面に設定された投影面に投影するためのマッピング情報とを外部の端末装置へ送信することにより、上記課題を解決する。
本発明の第２実施形態に係る車両監視システム１０００は、送信された監視画像を受信した外部の端末装置が、マッピング情報に基づいて、柱体の側面に設定された投影面に複数の撮像画像がカメラの設置順序で配置された一枚の監視画像を一連（ひとつながり）に投影するとともに、監視画像に付された監視対象物体の存在位置の情報に基づいて監視対象物体の像を投影面の任意の位置に投影することができるので、注目すべき監視対象物体が分かりやすい監視画像を表示することができる。この結果、監視対象物体の像にユーザの注意を向けさせることができるため、監視対象物体を確認する時間を短縮することができ、車両の遠隔監視の利便性を向上させることができる。
第２実施形態の車両監視システム１０００は、車両の周囲の監視対象物体の存在位置を検出する近接センサを備える点、この近接センサにより車両の周囲において検出された監対象物体の存在位置の情報が対応づけられた監視画像を生成する点、監視対象物体の存在位置とマッピング情報とが対応づけられた監視画像を端末装置８００に送信する点を特徴とし、基本的な構成及び動作は第１実施形態の車両監視システム１０００の構成及び動作と共通する。本実施形態では、重複した説明を避けるため、第１実施形態に係る説明を援用し、重複する説明は省略する。
図２１は、本実施形態に係る監視装置１００を含む車両監視システム１０００のブロック構成図である。図２１に示すように、本実施形態の車両監視システム１０００は、車両に設置された４つのカメラ１ａ〜１ｄ（以下、カメラ１と総称することもある）と、近接センサ２ａ〜２ｄと、以上検出センサ３と、を備えている。
図２２に例示するように、カメラ１ａ〜１ｄは車両Ｖに取り付けられる。カメラ１ａ〜１ｄは、図２に示す第１実施形態のカメラ１ａ〜１ｄと同様の位置に配置され、第１実施形態と同様に、図３に示す各エリアを撮像する。フロントカメラ１ａはエリアＳＰ１を撮像し、撮像画像ＧＳＰ１（例えば図４）を得る。右サイドカメラ１ｂはエリアＳＰ４を撮像し、撮像画像ＧＳＰ４（例えば図５）を得る。リアカメラ１ｃはエリアＳＰ３を撮像し、撮像画像ＧＳＰ３（例えば図６）を得る。左サイドカメラ１ｄはエリアＳＰ２を撮像し撮像画像ＧＳＰ２（例えば図７）を得る。各撮像画像の画像サイズは、４８０ピクセル(縦)×６４０ピクセル(横)である。撮像画像のサイズは特に限定されないが、一般的な端末装置が動画再生可能なサイズとすることができる。
なお、カメラ１の配置数及び配置位置は、車両Ｖの大きさ、形状、検出領域の設定手法等に応じて適宜に決定することができる。上述した複数のカメラ１は、それぞれのアドレス(配置)に応じた識別子が付されており、制御装置１０は、各識別子に基づいて各カメラ１のそれぞれを識別することができる。また、制御装置１０は、識別子を付することにより、特定のカメラ１に起動命令その他の命令を送出することができる。
また、図２２に示すように、カメラ１ａ〜１ｄの近傍には、監視対象物体を検出する近接センサ２ａ〜２ｄが設けられている。近接センサ２ａ〜２ｄは、超音波センサ、赤外線センサ、静電センサなどである。近接センサ２ａ〜２ｄは、車両Ｖ周囲の所定領域に物体が存在するか否か、又は車両周囲の物体が車両Ｖに接近しているか又は離隔しているか、及び近接センサ２ａ〜２ｄの設置位置に基づいて検出した物体の存在方向を検出することができる。これらの近接センサ２ａ〜２ｄは、物体に関する検出結果を監視装置１００へ送出する。
さらに、図２１に示すように、本実施形態の車両監視システム１０００は、監視対象物体を検出する車両のドアの接触センサ、傾斜センサ、侵入センサその他の車両の異常検出センサ３を備える。ドアの接触センサは移動物体がドアに接触したことにより監視対象物体の存在を検出することができ、傾斜センサは車両に所定値以上の傾きが生じたことにより監視対象物体の存在を検出することができ、侵入センサはドアのこじ開けや窓が割られるなどの車両への侵入のトリガが生じたことにより監視対象物体の存在を検出することができる。ちなみに、接触センサは人間が触れたドアを特定することにより、監視対象物体の存在位置（存在方向）を検出することができ、傾斜センサは車両の傾き方向により監視対象物体の存在位置（存在方向）を検出することができ、侵入センサは、異常が生じたガラスやドアの位置により監視対象物体の存在位置（存在方向）を検出することができる。異常検出センサ３は、上述の接触センサ、傾斜センサ、侵入センサに限定されず、車両に外力を与える蓋然性のある監視対象物体の存在及び存在位置を検出する機能を有するものであれば適用することができる。異常検出センサ３は、近接センサ２ａ〜２ｄに代えて、又は近接センサ２ａ〜２ｄとともに車両に設けてもよい。
図２１に示すように、本実施形態の車両監視システム１０００は、さらに、監視装置１００と、車両コントローラ２００と、通信装置４００と、外部の端末装置８００と、を有する。この車両監視システム１０００は、車両コントローラ２００と情報の授受が可能なイグニッションスイッチ３００を備える。これらの各装置はＣＡＮ（Controller Area Network）その他の車載ＬＡＮによって接続され、相互に情報の授受を行うことができる。
本実施形態の車両監視システム１０００において、監視装置１００は、通信装置４００を介して携帯電話、スマートフォンその他の通信装置８１０を備える外部の端末装置８００（コンピュータ）と相互に通信が可能である。本実施形態の外部の端末装置８００は、通信装置８１０と、画像処理装置８２０と、ディスプレイ８３０とを備え、通信装置８１０が車載の監視装置１００側から監視画像を取得し、画像処理装置８２０が監視画像の表示に必要な画像処理を実行し、ディスプレイ８３０が監視画像を表示する。外部の端末装置８００を所持するユーザは、監視装置１００から送出された車両の監視画像を、外部の端末装置８００を用いて確認することができる。
また、図２１に示すように、本実施形態に係る監視装置１００の制御装置１０は、複数の監視画像に基づいて生成され、監視対象物体の存在位置が対応づけられた監視画像を生成するとともに、この監視画像を柱体の投影モデルの側面に設定された投影面に投影するためのマッピング情報を監視画像に対応づけ、監視画像とマッピング情報とを外部の端末装置８００に送出するプログラムが格納されたＲＯＭ（Read Only Memory）１２と、このＲＯＭ１２に格納されたプログラムを実行することで、監視装置１００として機能する動作回路としてのＣＰＵ（Central Processing Unit）１１と、アクセス可能な記憶装置として機能するＲＡＭ（Random Access Memory）１３と、を備えている。
本実施形態に係る監視装置１００の制御装置１０は、監視物体検出機能と、監視画像生成機能と、マッピング情報付加機能と、送信機能とを実現するためのソフトウェアと、上述したハードウェアの協働により各機能を実行することができる。本実施形態では、制御装置１０が各制御命令を送出する態様を例にして説明するが、本実施形態の制御装置１０は、車両コントローラ２００を介してカメラ１、通信装置４００を制御することも可能である。
以下、本発明の本実施形態に係る監視装置１００が実現する、監視物体検出機能、監視画像生成機能、マッピング情報付加機能、及び送信機能の各機能について説明する。
まず、監視物体検出機能について説明する。本実施形態に係る監視装置１００の制御装置１０は、車両Ｖの周囲において監視対象物体の存在位置を検出する。本実施形態における監視対象物体とは、特に限定されないが、例えば人間のように、高さがあり且つ移動可能な物体である。
特に限定されないが、本実施形態に係る監視装置１００の制御装置１０は、カメラ１による撮像画像に基づいて監視対象物体の存在位置（距離を含む）を検出することができ、近接センサ２の検出結果に基づいて監視対象物体の存在位置（距離を含む）を検出することができ、異常検出センサ３の検出結果に基づいて監視対象物体の存在位置（距離を含む）を検出することができる。
具体的に、本実施形態に係る監視装置１００の制御装置１０は、画像処理コントロールユニット（Image Processing Control Unit: IPCU）を備える。制御装置１０は、画像処理コントロールユニットを用いて、各カメラ１の撮像画像を解析し、撮像画像のデータから物体に対応する画像を抽出し、物体が立体物であるか否か、さらに抽出した画像の移動量に基づいて検出した物体が移動物体であるか否かを判断することができる。たとえば、制御装置１０は、先述した画像処理コントロールユニットを用い、カメラ１の撮像画像から所定の高さ以上の物体に対応する画像が検出され、その画像の位置が経時的に変化する場合には、移動立体物である監視対象物体が検出されたと判断することができる。移動立体物である監視対象物体を検出するための画像処理の手法は、出願時において知られた手法を適宜に用いることができる。
また、近接センサ２ａ〜２ｄから取得した検出結果に基づいて、移動立体物の存在を検出し、その移動立体物の位置の変化から車両に接近する監視対象物体を検出することができる。
さらに、異常検出センサ３から取得した検出結果に基づいて、車両に外力を及ぼす監視対象物体の存在及びその存在位置を検出することができる。
制御装置１０は、車両Ｖの周囲に複数の監視対象物体が検出された場合には、車両Ｖに最も接近した監視対象物体の存在位置を検出結果とすることができる。監視対象物体の存在位置の情報は、次に説明する監視画像の生成処理において用いられる。
続いて、監視画像生成機能について説明する。本実施形態の監視装置１００の制御装置１０は、各カメラ１の撮像画像をそれぞれ取得し、車両Ｖのボディの外周に沿って右回り又は左回りの方向に沿って設置されたカメラ１の撮像画像が、このカメラ１の設置の順序に従って配置され、検出された監視対象物体の存在位置の情報が対応づけられた一枚の監視画像を生成する。
先述したように、本実施形態において、カメラ１は車両Ｖのボディの外周ＶＥに沿って右回り（時計回り）にカメラ１ａ、１ｂ、１ｃ、１ｄの順に設置されているので、制御装置１０は、このカメラ１の設置の順序（カメラ１ａ、１ｂ、１ｃ、１ｄ）に従って、各カメラ１が撮像した複数の撮像画像が一体となるように横方向に接続し、一枚の監視画像を生成する。本実施形態の監視画像において、各撮像画像は車両Ｖの載置面(路面)が下辺となるように配置され、各撮像画像は路面に対して高さ方向（垂直方向）の辺で接続されている。
本実施形態においても、第１実施形態において図８に示す監視画像Ｋを生成することができる。監視画像Ｋは、図面左側から図面右側へ向かう方向Ｐに沿って、フロントカメラ１ａがエリアＳＰ１を撮像した撮像画像ＧＳＰ１、右サイドカメラ１ｂがエリアＳＰ４を撮像した撮像画像ＧＳＰ４、リアカメラ１ｃがエリアＳＰ３を撮像した撮像画像ＧＳＰ３、及び左サイドカメラ１ｄがエリアＳＰ２を撮像した撮像画像ＧＳＰ２が、左から右へ向かって横方向にＧＳＰ１、ＧＳＰ４、ＧＳＰ３、ＧＳＰ２の順序で並べて配置され、これら４つの撮像画像が一連に（ひとつながりに）されている。監視画像Ｋは、横に一列に並べられた撮像画像ＧＳＰ１、撮像画像ＧＳＰ４、撮像画像ＧＳＰ３、撮像画像ＧＳＰ２を含んでいる。
このように生成された監視画像Ｋを、路面(車両の載置面)に対応する画像を下にして左端から右側へ順番に示すことにより、車両Ｖの周囲を時計回りに見回したときに見える映像をユーザに示すことができる。
本実施形態の監視装置１００の制御装置１０は、一つの監視画像Ｋを生成する際には、各カメラ１の撮像タイミングが略同時である各撮像画像を用いることができる。これにより、監視画像Ｋに含まれる情報を同期させることができるので、所定タイミングにおける車両周囲の状況を正確に表現することができる。ちなみに、同じ監視画像Ｋに含まれる車両前方の撮像画像ＧＳＰ１と車両右側方の撮像画像ＧＳＰ４との撮像タイミングが異なる場合には、監視画像Ｋを再生したときに、異なる撮像タイミングの画像が同時に再生されるため、これを見るユーザに違和感を与えるが、本実施形態の監視装置１００は、略同時に撮像された撮像画像を用いて監視画像Ｋを生成するので、このような違和感を与えることが無い。
本実施形態の制御装置１０は、カメラの撮像タイミングが略同時である各撮像画像から生成した監視画像Ｋを経時的に記憶し、所定の単位時間あたりに複数の監視画像Ｋが含まれる動画の監視画像Ｋを生成することができる。撮像タイミングが同時の撮像画像に基づいて動画の監視画像Ｋを生成することにより、車両周囲の状況の変化を正確に表現することができる。
ところで、各撮像領域の撮像画像を経時的に記憶し、各撮像領域ごとに生成した動画の監視画像Ｋを端末装置へ送信した場合には、端末装置の機能によっては、複数の動画を同時に再生できない場合がある。このような従来の端末装置においては、複数の動画を同時に再生表示することができないため、各動画を再生する際には画面を切り替えて動画を一つずつ再生しなければならない。つまり、従来の端末装置では、複数方向の映像（動画）を同時に見ることができず、車両周囲の全体を一画面で監視することができないという不都合がある。
これに対し、本実施形態の制御装置１０は、複数の撮像画像から一つの監視画像Ｋを生成するので、端末装置８００の機能にかかわらず、異なる撮像方向の撮像画像を同時に動画再生することができる。つまり、監視画像Ｋを連続して再生（動画再生）することにより、監視画像Ｋに含まれる４枚の撮像画像を同時に連続して再生（動画再生）し、方向の異なる領域の状態変化を一画面で監視することができる。
また、本実施形態の監視装置１００の制御装置１０は、監視画像Ｋの画素数が各カメラ１の撮像画像の画素数と略同一になるように画像のデータ量を圧縮して監視画像Ｋを生成することができる。図４〜図７に示す角撮像画像のサイズは４８０×６４０ピクセルである。図８に示すように、本実施形態の制御装置１０は、監視画像Ｋのサイズが１２８０×２４０ピクセルとなるように、圧縮処理を行う。これにより、監視画像Ｋのサイズ（１２８０×２４０ピクセル）が、各撮像画像のサイズ（４８０×６４０ピクセル）と等しくなるので、監視画像Ｋを受信した端末装置８００側の機能にかかわらず、画像処理及び画像再生を実行させることができる。
さらに、本実施形態の監視装置１００の制御装置１０は、監視対象物体の存在位置を示す情報（座標値、又は座標上の領域値）を監視画像Ｋに付することができる。なお、車両Ｖの周囲に複数の監視対象物体が検出された場合には、車両Ｖに最も接近した監視対象物体の存在位置を監視画像Ｋに付することができる。
このように、監視対象物体の存在位置を監視画像Ｋに付することにより、外部の端末装置８００で表示する際に、監視対象物体の存在位置の情報に基づいて監視対象物体を正視する視点から見た監視画像Ｋを投影するので、監視画像Ｋに含まれる複数の撮像画像のうち、どの撮像画像に注目すべきかが分かりやすい監視画像Ｋを表示することができる。この結果、監視対象物体の像を含む撮像画像にユーザの注意を向けさせることができるため、監視対象物体を確認する時間を短縮することができ、車両の遠隔監視の利便性を向上させることができる。
加えて、本実施形態の監視装置１００の制御装置１０は、監視対象物体が検出された場合には、監視対象物体の像を中心とした所定領域の撮像画像のみが配置された監視画像Ｋを生成することができる。
具体的に、図２３に示すように、左サイドミラー部分に設置されたカメラ１ｄの撮像画像ＧＳＰ２と、フロントグリル部分に設置されたカメラ１ａの撮像画像ＧＳＰ１と、右サイドミラー部に設置されたカメラ１ｂの撮像画像ＧＳＰ４と、リア（後方）部分に設置されたカメラ１ｃの撮像画像ＧＳＰ３が得られた場合に、本実施形態の制御装置１０は、監視対象物体に対応する画像上の位置Ｐの存在位置を基準点Ｐ０とし、この基準点Ｐ０を中心として、左右に９０度（全体で１８０度）の視野に対応する監視領域の画像を監視画像Ｋ４とし、この監視画像Ｋ４のみを配置した監視画像Ｋを生成することができる。ちなみに、図２３は、第１実施形態において説明した図８に対応する図である。
このように、監視対象物体を中心に配置して、監視対象物体が検出されなかった監視が不要な画像を削除することにより、監視対象物体の動きが把握しやすい監視画像Ｋ４を生成することができる。しかも、監視画像Ｋとして送出するデータ量を低減させることができる。この結果、監視画像Ｋを外部端末装置８００へ送出する際の通信データ量の総量を低減させて、監視システム稼働時の通信コストを低減させることができる。
また、本実施形態の監視装置１００の制御装置１０は、図８に示す第１実施形態の監視画像Ｋと同様に、配置された各撮像画像の境界を示す線図形を、監視画像Ｋに付することができる。図８に示す監視画像Ｋを例にすると、制御装置１０は、配置された各撮像画像の境界を示す線図形として、各撮像画像の間に矩形の仕切り画像Ｂｂ，Ｂｃ，Ｂｄ，Ｂａを監視画像Ｋに付することができる。このように、撮像画像の境界に仕切り画像を配置することにより、一体の監視画像Ｋを構成するが撮像方向が異なる各監視画像Ｋをそれぞれ独立に認識させることができる。つまり、仕切り画像は各撮像画像の額縁として機能する。また、各撮像画像の境界付近は画像の歪みが大きいので、撮像画像の境界に仕切り画像を配置することにより、歪みの大きい領域の画像を隠すことや、歪みが大きいことを示唆することができる。
本実施形態の監視装置１００の制御装置１０は、後述する投影モデルの側面に設定された投影面に撮像画像を投影させた場合の歪みを補正してから、監視画像Ｋを生成することができる。撮像画像の周辺領域は画像の歪みが生じやすく、カメラ１が広角カメラである場合には特に撮像画像の歪みが大きくなる傾向がある。このため、本実施形態では、画像の歪みを補正するために予め定義された画像変換アルゴリズムと補正量とを用いて、撮像画像の歪みを補正する。
特に限定されないが、制御装置１０は、図９に示す第１実施形態と同様に、端末装置８００において監視画像Ｋを投影させる投影モデルと同じ投影モデルの情報をＲＯＭ１２から読み出し、この投影モデルの投影面に撮像画像を投影し、投影面において生じた歪みを予め補正することができる。なお、画像変換アルゴリズムと補正量はカメラ１の特性、投影モデルの形状に応じて適宜定義することができ、出願時に知られた手法を利用することができる。
このように、投影モデルの投影面に関し画像Ｋを投影した場合の歪みを予め補正しておくことにより、歪みの少ない見易い監視画像Ｋを提供することができる。また、歪みを予め補正しておくことにより、並べて配置された各撮像画像同士の位置ズレを低減させることができる。
次に、本実施形態の監視装置１００のマッピング情報付加機能について説明する。本実施形態の監視装置１００において、制御装置１０は、車両Ｖの載置面を底面とする柱体の投影モデルＭの側面に設定された投影面に、生成された監視画像Ｋを投影するためのマッピング情報を監視画像Ｋに付加することができる。
本実施形態においても、第１実施形態において図１０、図１１に示す投影モデルＭを用いることができる。図１０は投影モデルＭの斜視図、図１１は投影モデルＭのｘｙ面に沿う断面模式図である。本実施形態において用いる投影モデルＭは、第１実施形態における投影モデルＭと共通するので、その説明を援用する。
これにより、投影モデルＭに投影された監視画像Ｋは、車両Ｖの周囲を見回したときに見える映像を示すことができる。つまり、カメラ１の設置順序に応じて横一列に配置された撮像画像を含む監視画像Ｋは、投影モデルＭの柱体において、同じく横に並ぶ側面に投影されるので、柱体の投影モデルＭの投影面Ｓに投影された監視画像Ｋに、車両Ｖの周囲の映像をその位置関係を維持したまま再現することができる。
また、本実施形態の制御装置１０は、監視画像Ｋの各座標値と投影モデルＭの各投影面Ｓの座標値との対応関係をマッピング情報として記憶し、監視画像Ｋに付することができる。本実施形態の制御装置１０は、近接センサ２ａ〜２ｄにより検出された監視対象物体の存在位置の情報と、マッピング情報（監視画像Ｋの各座標値と投影モデルＭの各投影面Ｓの座標値との対応関係）とを対応づけて監視画像Ｋに付することができる。監視画像Ｋの各座標値と投影モデルＭの各投影面Ｓの座標値との対応関係であるマッピング情報は、端末装置８００側に予め記憶させておくこともできる。
なお、同図に示す視点Ｒ、投影面Ｓの位置は例示であり、任意に設定することができる。特に、視点Ｒは、ユーザの操作によって変更可能である。視点Ｒと監視画像Ｋの投影位置との関係は予め定義されており、視点Ｒの位置が変更された場合には所定の座標変換をすることにより、新たに設定された視点Ｒから見た監視画像Ｋを投影面Ｓ（Ｓａ〜Ｓｄ）に投影することができる。この視点変換処理には、出願時に知られている手法を用いることができる。
さらに、本実施形態の監視装置１００の制御装置１０は、検出された監視対象物体の存在位置の情報とマッピング情報とを対応づけることにより、車両Ｖの載置面を底面とする柱体の投影モデルＭの側面に設定された投影面Ｓに、検出された監視対象物体の像を正視する監視視点を設定し、この監視視点から見た監視画像Ｋを投影面Ｓに投影するマッピング情報を監視画像Ｋに付加することができる。
ここで、本実施形態における検出された監視対象物体の像を正視する監視視点とは、監視対象物体を正面から見ることのできる視点である。図１１に示す投影モデルＭを例にすれば、車両前方の領域ＳＰ１に監視対象物体が存在する場合には監視視点はＲ１であり、車両右側方の領域ＳＰ４に監視対象物体が存在する場合には監視視点はＲ３であり、車両後方の領域ＳＰ３に監視対象物体が存在する場合には監視視点はＲ５であり、車両左側方の領域ＳＰ２に監視対象物体が存在する場合には監視視点はＲ７である。同様に、車両右斜め前方の領域ＳＰ１とＳＰ４との重複領域に監視対象物体が存在する場合には監視視点はＲ２であり、車両右斜め後方の領域ＳＰ４とＳＰ３との重複領域に監視対象物体が存在する場合には監視視点はＲ４であり、車両左斜め後方の領域ＳＰ３とＳＰ２との重複領域に監視対象物体が存在する場合には監視視点はＲ６であり、車両左斜め前方の領域ＳＰ２とＳＰ１との重複領域に監視対象物体が存在する場合には監視視点はＲ８である。
特に、検出された監視対象物体の存在位置の情報が対応づけられた監視画像Ｋを、監視対象物体の像を正視する監視視点から見た監視画像Ｋを投影面Ｓに投影するためのマッピング情報が監視画像Ｋに付された場合には、端末装置８００が、監視対象物体の像を正視する監視視点から見た監視画像Ｋを投影面Ｓに投影することができる。
具体的に、本実施形態のマッピング情報には、監視対象物体の像を正視する監視視点の座標と、監視対象物体が含まれる撮像画像（監視画像Ｋ）の始端位置又は終端位置を示す情報、つまり投影処理において基準とする基準座標とを含ませることができる。これにより、監視画像Ｋを受信した端末装置８００が、監視視点から正視される撮像画像を投影モデルＭに投影する際の基準位置を認識することができるので、監視対象物体を正視する監視画像Ｋをディスプレイ８３０に表示することができる。
また、マッピング情報には監視対象物体の像の位置が対応づけられているので、監視対象物体の像が投影面Ｓ又はディスプレイ８３０の任意の位置、たとえば表示画面の中央に表示されるように、監視画像Ｋを投影モデルＭに投影することができる。投影位置のシフト手法は特に限定されないが、撮像画像の中心等の基準点から監視対象物体の像の偏位量を算出し、監視画像Ｋの基準座標に基づく投影位置から算出された偏位量に応じて投影位置をシフトすればよい。これにより、監視対象物体の像を投影モデルＭの中央又はディスプレイ８３０の中央に表示させることができる。投影モデルＭの中央又はディスプレイ８３０の中央に表示させた監視対象物体の像はユーザの注意を惹くため、監視対象物体の位置を分かり易く示すことができる。
また、図１１に示す投影モデルＭを例にすれば、本実施形態のマッピング情報に従う投影処理が行われることにより、車両Ｖの右斜め前方に監視対象物体が存在する場合には、視点Ｒ２から正視される正視投影面Ｓａ及びＳｂに投影された監視画像Ｋが端末装置８００のディスプレイ８３０の略中央に表示され、車両Ｖの右斜め後方に監視対象物体が存在する場合には、視点Ｒ４から正視される正視投影面Ｓｂ及びＳｃに投影された監視画像Ｋが端末装置８００のディスプレイ８３０の略中央に表示され、車両Ｖの左斜め後方に監視対象物体が存在する場合には、視点Ｒ６から正視される正視投影面Ｓｃ及びＳｄに投影された監視画像Ｋが端末装置８００のディスプレイ８３０の略中央に表示され、車両Ｖの左斜め前方に監視対象物体が存在する場合には、視点Ｒ８から正視される正視投影面Ｓｄ及びＳａに投影された監視画像Ｋが端末装置８００のディスプレイ８３０の略中央に表示される。同様に、上記各正視投影面Ｓには、監視対象物体の像が含まれている。
本実施形態の制御装置１０は、所定タイミングで撮像された撮像画像に基づいて監視画像Ｋを生成し、この監視画像Ｋにマッピング情報、基準座標、境界を示す線図形（仕切り画像）の情報を対応づけて撮像タイミングに従って経時的に記憶する。特に限定されないが、制御装置１０は、所定の単位時間あたりに複数の監視画像Ｋを含む一つの動画ファイルとして監視画像Ｋを記憶してもよいし、ストリーミング方式で転送・再生が可能な形態で監視画像Ｋを記憶してもよい。
続いて、本実施形態の制御装置１０の通信機能について説明する。制御装置１０は、生成された監視画像Ｋを含む情報を、公衆通信網として利用可能な通信回線９００を用いて外部の端末装置８００へ送信することができる。
以下、監視画像Ｋを受信し、監視画像Ｋを表示する端末装置８００について説明する。
端末装置８００は、上述した監視装置１００の外部に配置され、監視装置１００と通信を行う通信装置８１０と、取得した画像を表示用の画像に変換する画像処理装置８２０と、変換された表示用の監視画像Ｋを表示するディスプレイ８３０とを備える。
通信装置８１０は、監視装置１００が送出した監視対象物体の存在位置が付された監視画像Ｋと、この監視画像Ｋに対応づけられたマッピング情報を受信する。この監視画像Ｋは、車両Ｖのボディの異なる位置に設置された複数のカメラ１の撮像画像が、車両Ｖのボディの外周に沿って右回り又は左回りの方向に沿って設置されたカメラ１の設置順序（車両Ｖのボディの外周に沿う右回り又は左回りの順序）に従って配置されたものである。この監視画像Ｋには、監視対象物体の存在位置の情報が付されている。また、この監視画像Ｋには、監視画像Ｋを柱体の投影モデルＭの投影面Ｓに投影させるためのマッピング情報が対応づけられている。通信装置８１０は取得した監視画像Ｋ及びマッピング情報を画像処理装置８２０へ送出する。
画像処理装置８２０は、予め記憶している投影モデルＭを読み出し、マッピング情報に基づいて、図１０及び図１１に示す車両Ｖの載置面を底面とする柱体の投影モデルＭの側面に設定された投影面Ｓａ〜Ｓｄに監視画像Ｋを投影させた表示画像を生成する。具体的には、監視画像Ｋと共に受信した基準座標に基づいて、監視画像Ｋの開始点(監視画像Ｋの右端又は左端)を認識し、この開始点が予め投影モデルＭ上に定義された開始点(投影面Ｓの右端又は左端)と合致させ、マッピング情報に従い監視画像Ｋの各画素を投影面Ｓａ〜Ｓｄの各画素に投影する（マッピングする）。
そして、画像処理装置８２０は、監視画像Ｋを投影モデルＭに投影する際に、柱体の投影モデルの側面に設定された投影面Ｓに、検出された監視対象物体の像を正視する監視視点から見た監視画像Ｋを投影させた表示画像を生成する。具体的に、画像処理装置８２０は、監視画像Ｋを投影モデルＭに投影する際に、監視画像Ｋと共に受信した監視対象物体の存在位置の情報（座標）に基づいて監視対象物体の像を正視する視点を選択し、監視対象物体が正視された表示画像を生成する。
上記手法に限定されず、画像処理装置８２０は、マッピング情報に基づくマッピング処理の後に、監視対象物体の像がディスプレイ８３０の左右に偏って表示される場合には、監視対象物体の像がディスプレイ８３０の略中央に表示されるように、柱体の投影モデルＭに投影された監視画像Ｋを回転させることができる。これにより、正視された監視対象物体の像を含む表示画像を表示することができる。
なお、監視対象物体を正視する画像が投影される投影面Ｓが初期画面の中央に位置するように投影モデルＭを回転させる処理は、監視画像Ｋを投影モデルＭに投影させる前に行ってもよいし、監視画像Ｋを投影モデルＭに投影させた後に行ってもよい。
また、画像処理装置８２０は、監視画像Ｋを投影モデルＭに投影する際に、各撮像画像の境界を示す線図形(仕切り画像)を投影モデルＭ上に配置する。仕切り画像は、予め投影モデルＭに付しておくこともでき、投影処理後に監視画像Ｋに付すこともできる。
本実施形態における監視画像Ｋの表示画像の例は、第１実施形態と共通するので、第１実施形態において説明した図１２〜図１９を援用する。
図１２には、図１０，図１１に示す視点Ｒ１から見た投影面Ｓｄ、Ｓａ、Ｓｂに投影された監視画像Ｋを示す。投影モデルＭの底面には各視点Ｒから見た車両Ｖの画像が貼り付けられている。また、投影面Ｓｄ、Ｓａ、Ｓｂの間にある画像が表示されていない部分は「境界を示す線図形（仕切り画像）」である。同様に、図１３には視点Ｒ２から見た監視画像Ｋを示し、図１４には視点Ｒ３から見た監視画像Ｋを示し、図１５には視点Ｒ４から見た監視画像Ｋを示し、図１６には視点Ｒ５から見た監視画像Ｋを示し、図１７には視点Ｒ６から見た監視画像Ｋを示し、図１８には視点Ｒ７から見た監視画像Ｋを示し、図１９には視点Ｒ８から見た監視画像Ｋを示す。
図１２〜１９に示すように、監視対象物体は車両Ｖの左前方（図３の示す領域ＳＰ１とＳＰ２の重複領域）に存在し、監視対象物体の像はカメラ１ａの撮像画像ＧＳＰ１（図４参照）と、カメラ１ｄの撮像画像ＧＳＰ２（図７参照）とに含まれている。
このため、本実施形態の画像処理装置８２０は、監視対象物体の像を正視する監視視点から見た監視画像Ｋの表示画像を生成する。具体的に、図２４は、本実施形態の端末装置８００が、マッピング情報に基づいて、車両Ｖの載置面を底面とする柱体の投影モデルＭの側面に設定された投影面Ｓに、検出された監視対象物体の像を正視する監視視点Ｒ８から見た監視画像Ｋを投影させた表示画像を示す。図２４において監視対象物体の像を破線で囲って示す。同図に示す表示画像は、視点Ｒ８から見た正視投影面Ｓａ及びＳｂへ投影された監視対象物体の像を含む。図２４に示す表示画像では、監視対象物体の像が正面視されるとともに、ディスプレイ８３０の中央に表示されている。なお、監視対象物体の像が正視投影されている例としては、図１２に示す表示画像があるが、監視対象物体の像をディスプレイ８３０の中央に表示する場合には、図２４に示す表示画像が適している。
本実施形態の端末装置８００は、車両Ｖのボディに設置されたカメラ１の設置順序に応じて各カメラ１の撮像画像をｘ軸方向又はｙ軸方向に沿って（横に）配置した監視画像Ｋを、その配置順に従って柱体の投影モデルＭの側面に沿って(横に)マッピングするので、投影モデルＭに示された監視画像Ｋは、車両Ｖの周囲を時計回りに見回したときに見える映像を示すことができる。
特に図１２〜図１９に示すように、投影モデルＭの底面に車両Ｖの画像を示すことにより、車両Ｖの向きと各撮像画像との位置関係が分かり易くすることができる。つまり車両Ｖのフロントグリルに対向する投影面Ｓには、車両Ｖのフロントグリルに設けられたカメラ１ａの撮像画像ＧＳＰ１を投影し、車両Ｖの右サイドミラーに対向する投影面Ｓには、車両Ｖの右サイドミラーに設けられたカメラ１ｄの撮像画像ＧＳＰ４を投影し、車両Ｖのリア部に対向する投影面Ｓには、車両Ｖのリア部に設けられたカメラ１ｃの撮像画像ＧＳＰ３を投影し、車両Ｖの左サイドミラーに対向する投影面Ｓには、車両Ｖの左サイドミラーに設けられたカメラ１ｂの撮像画像ＧＳＰ２を投影することができる。このように、本実施形態によれば、車両Ｖの周囲の映像がその位置関係を保ったまま投影された監視画像Ｋを提示することができるので、ユーザは車両のどこで何が起きているかを容易に把握することができる。
さらに、本実施形態の画像処理装置８２０は、監視対象物体の像を正視する監視視点から見た監視画像Ｋの表示画像を表示した後に、監視視点を投影モデルＭの側面に沿って所定範囲に渡って移動させて、各監視視点から見た表示画像を生成することができる。具体的に、画像処理装置８２０は、図２５に示す表示画像を生成した後に、同図中のＺ軸を回転軸として視点を図１１のＲ８から時計回りに、Ｒ１，Ｒ２，Ｒ３，Ｒ４…Ｒ７と遷移させ、各視点から見た各監視画像Ｋの表示画像を生成することができる。
このように、監視対象物体の正視画像を表示した後に、車両の周囲を、視点を変えて巡視する表示画像により、車両Ｖの状態を正確に把握することができる。
最後に、端末装置８００のディスプレイ８３０について説明する。本実施形態のディスプレイ８３０は、画像処理装置８２０により生成された表示画像を表示する。
本実施形態のディスプレイ８３０は、タッチパネル式の入力情報の受付が可能な装置であり、ユーザが視点を自在に設定・変更することができる。視点位置と投影面Ｓとの対応関係は上述の画像処理装置８２０又はディスプレイ８３０において予め定義されているので、この対応関係に基づいて、変更後の視点に応じた監視画像Ｋをディスプレイ８３０に表示することができる。
ちなみに、図１２〜図１９，２４，２５は静止画であるため、実際の表示画像の再生状態を示すことができないが、本実施形態の端末装置８００においては、ディスプレイ８３０の表示画面中の各投影面Ｓに示される画像はそれぞれ動画である。つまり、車両Ｖのフロントグリルに対向する投影面Ｓには、車両前方の撮像領域ＳＰ１の動画映像が映し出され、車両Ｖの右サイドミラーに対向する投影面Ｓには、車両右側方の撮像領域ＳＰ４の動画映像が映し出され、車両Ｖのリア部に対向する投影面Ｓには、車両後方の撮像領域ＳＰ３の動画映像が映し出され、車両Ｖの左サイドミラーに対向する投影面Ｓには、車両左側方の撮像領域ＳＰ２の動画映像が映し出されている。つまり、図１２〜図１９，２４，２５に示す各投影面Ｓには、異なるカメラ１により撮像された撮像画像に基づく複数の動画の監視画像Ｋを同時に再生することができる。
以下、本発明の本実施形態の車両監視システム１０００の処理手順を説明する。図２６は、本実施形態に係る車両監視システム１０００の制御手順を示すフローチャートである。
図２６に示すステップ１０〜ステップ９０までの処理は、図２０に示す第１実施形態のステップ１０〜ステップ９０までの処理と共通するので、その説明を援用する。
次に、ステップ１１０へ進み、監視装置１００は監視対象物体が検出された場合にはステップ１３０へ進み、監視対象物体が検出されなかった場合にはステップ１２０へ進む。ステップ１２０においては、制御装置１０は開始点などの基準座標を、監視画像Ｋを付加してステップ１６０又はステップ１７０へ進む。
他方、監視対象物体が検出された場合において、さらにステップ１３０で監視対象物体が複数検出されたか否かを判断する。複数の監視対象物体が検出された場合にはステップ１４０で最も車両Ｖに近接した監視対象物体の位置を算出し、ステップ１５０へ進む。また、ステップ１３０において単一の監視対象物体が検出された場合にもステップ１５０へ進む。ステップ１５０においては、監視装置１００は、最も車両Ｖに近接した監視対象物体の位置又は単一の監視対象物体の位置を、監視画像Ｋに付加する。そしてステップ１６０へ進む。
ステップ１６０において、監視装置１００は、監視対象物体の像を中心とした所定領域の撮像画像のみを切り出す。この監視対象物体の像を中心とした所定領域のみで監視画像Ｋを生成することができる（図２３参照）。この処理を行うことなく、ステップ１７０へ進むこともできる。
ステップ１６０において、監視装置１００は、マッピング情報が付された監視画像Ｋ、監視対象物体の存在位置を外部の端末装置８００へ送信する。
続くステップ１７０において、監視装置１００は、上述した処理により得られた、マッピング情報が対応づけられた監視画像Ｋを含む情報を外部の端末装置８００へ送信する。そして、ステップ１８０において監視処理の終了が判断されるまで、ステップ２０以降の処理が繰り返される。
外部の端末装置８００の通信装置８１０は、ステップ３１において、監視装置１００から送出された監視画像Ｋを、マッピング情報及び監視対象物体の存在位置とともに受信する。
次に、ステップ３２において、画像処理装置８２０は、マッピング情報に従い、監視画像Ｋを投影モデルＭの投影面Ｓに投影する。投影モデルＭの底面には、予め車両Ｖの映像を付しておくことができる。
画像処理装置８２０は、マッピング情報に基づいて、車両Ｖの載置面を底面とする柱体の投影モデルＭの側面に設定された投影面Ｓに、検出された監視対象物体の像を正視する監視視点Ｒから見た監視画像Ｋを投影させた表示画像を生成することができる。さらに、画像処理装置８２０は、監視視点Ｒを投影モデルＭの側面に沿って所定範囲に渡って移動（Ｒ１〜Ｒ８）させて、各監視視点Ｒから見た表示画像を生成する。
そして、ステップ３３においてディスプレイ８３０は、投影モデルＭに投影され、監視対象物体の像を正視する監視視点Ｒから見た監視画像Ｋの表示画像を表示し、その後に、監視視点Ｒを移動させて各監視視点Ｒから見た監視画像Ｋの表示画像を表示する。
なお、本実施形態では、監視装置１００が車両Ｖに配置された場合を例にして説明したが、本発明の本実施形態に係る車両Ｖの監視方法を各装置において実行させることができる。また、本発明の本実施形態に係る車両Ｖの監視方法を、カメラ１、通信装置４００を制御可能なクライアント（コンピュータ・制御装置）と情報の授受が可能なサーバ（コンピュータ・制御装置）において処理の一部又は全部実行することもできる。サーバは、クライアントと離隔した場所に配置することができる。
サーバは以下の指令を実行して、本発明に係る本実施形態の車両の監視方法を実行することができる。この指令の内容は、車両Ｖのボディの異なる位置に設置され、車両Ｖの周囲を撮像する複数のカメラ１の撮像画像と、車両Ｖの周囲において検出された監視対象物体の存在位置とをそれぞれ取得するステップと、車両Ｖのボディの外周に沿って右回り又は左回りの方向に設置されたカメラ１の撮像画像に基づいて、このカメラ１の設置の順序に従って配置され、検出された監視対象物体の存在位置の情報が付された一枚の監視画像Ｋを生成するステップと、生成された監視画像Ｋを車両Ｖの載置面を底面とする柱体の投影モデルＭの側面に設定された投影面Ｓに投影させるためのマッピング情報を監視画像Ｋに付加するステップと、監視対象物体の存在位置とマッピング情報とが対応づけられた監視画像Ｋを外部の端末装置８００へ送信するステップと、を含む。処理の具体的な内容は、本実施形態の監視装置１００、車両監視システム１０００と共通するのでこれらの説明を援用する。
また、監視方法を実行させるサーバは、監視画像Ｋの投影処理を行い、投影モデルＭに監視画像Ｋを投影した表示用の画像を生成することができる。
この場合において、サーバは以下の指令を実行して、本発明に係る本実施形態の車両の監視方法を実行することができる。指令の内容は、車両Ｖのボディの異なる位置に設置され、車両Ｖの周囲を撮像する複数のカメラ１の撮像画像と、車両Ｖの周囲において検出された監視対象物体の存在位置とをそれぞれ取得するステップと、車両Ｖのボディの外周に右回り又は左回りの方向に沿って設置されたカメラ１の撮像画像がこのカメラ１の設置の順序に従って配置され、検出された監視対象物体の存在位置の情報が付された一枚の監視画像Ｋを生成するステップと、車両Ｖの載置面を底面とする柱体の投影モデルＭの側面に設定された投影面Ｓに、検出された監視対象物体の像を正視する監視視点から見た監視画像Ｋを投影するためのマッピング情報を監視画像Ｋに付加するステップと、マッピング情報に基づいて、車両Ｖの載置面を底面とする柱体の投影モデルＭの側面に設定された投影面Ｓに、監視対象物体の像を正視する監視視点から見た監視画像Ｋを投影させた表示画像を生成するステップと、を含む。サーバは、生成した表示画像を閲覧可能なように記憶し、端末装置８００からのアクセスがあった場合に、表示画像の閲覧を許可し、端末装置８００のディスプレイ８３０に表示画像を表示させることができる。また、サーバは、端末装置８００からの要求に応じて、表示画像のダウンロードを許可し、又は表示画像を端末装置８００へ送信して端末装置８００のディスプレイ８３０に表示させてもよい。なお、処理の具体的な内容は、本実施形態の監視装置１００、車両監視システム１０００と共通するのでこれらの説明を援用する。
さらに、端末装置８００に以下の指令を実行させて、端末装置８００の動作を制御し、本発明に係る本実施形態の車両の監視方法を実行することができる。指令の内容は、車両Ｖのボディの異なる位置に設置された複数のカメラ１の撮像画像が、車両Ｖのボディの外周に右回り又は左回りの方向に沿って設置されたカメラ１の設置順序に従って連続して配置され、検出された監視対象物体の存在位置の情報が付された一枚の監視画像Ｋと、この監視画像Ｋを車両Ｖの載置面を底面とする柱体の投影モデルＭの側面に設定された投影面Ｓに投影させるためのマッピング情報とを、通信回線を介して受信するステップと、取得した監視画像Ｋを、この取得したマッピング情報に基づいて、車両Ｖの載置面を底面とする柱体の投影モデルＭの側面に設定された投影面Ｓに、監視対象物体の像を正視する監視視点から見た監視画像Ｋを投影させた表示画像を生成するステップと、生成された表示画像をディスプレイ８３０に表示するステップとを含む。なお、処理の具体的な内容は、本実施形態の端末装置８００と共通するのでこれらの説明を援用する。
以上のとおり構成され、動作する本発明の実施形態に係る監視装置１００、車両監視システム１０００、及び端末装置８００は、以下の効果を奏する。
本実施形態に係る監視装置１００は、複数のカメラ１で撮像された撮像画像をカメラ１の設置の順序に従って配置し、車両Ｖの周囲において検出された監対象物体の存在位置を付した監視画像Ｋと、この監視画像Ｋを柱体の投影モデルＭの側面に設定された投影面Ｓに投影するためのマッピング情報とを外部の端末装置８００へ送信する。これにより、送信された監視画像Ｋを受信した外部の端末装置８００が、マッピング情報に基づいて、柱体の側面に設定された投影面Ｓに複数の撮像画像がカメラの設置順序で配置された一枚の監視画像Ｋを一連（ひとつながり）に投影するとともに、監視画像に付された監視対象物体の存在位置の情報に基づいて監視対象物体の像を投影面の任意の位置に投影することができるので、注目すべき監視対象物体が分かりやすい監視画像を表示することができる。この結果、監視対象物体の像にユーザの注意を向けさせることができるため、監視対象物体を確認する時間を短縮することができ、車両の遠隔監視の利便性を向上させることができる。
特に、検出された監視対象物体の存在位置の情報が対応づけられた監視画像Ｋを、監視対象物体の像を正視する監視視点から見た監視画像Ｋを投影面Ｓに投影するためのマッピング情報が監視画像Ｋに付された場合には、端末装置８００が、監視対象物体の像を正視する監視視点から見た監視画像Ｋを投影面Ｓに投影することができる。
このように、本実施形態によれば、複数の撮像画像のうち、どの撮像画像に注目すべきかが分かりやすい監視画像Ｋを表示することができる。
この結果、監視対象物体の像にユーザの注意を向けさせることができるため、監視対象物体を確認する時間を短縮することができ、車両の遠隔監視の利便性を向上させることができる。
本実施形態に係る監視装置１００は、車両Ｖの周囲に複数の監視対象物体が検出された場合には、車両Ｖに最も接近した監視対象物体の存在位置を監視画像Ｋに付するので、複数の監視対象物体のうち最も注意すべき監視対象物体の像にユーザの注意を向けさせることができる。このため、監視対象物体を確認する時間を短縮することができ、車両の遠隔監視の利便性を向上させることができる。
本実施形態に係る監視装置１００は、検出された監視対象物体の像を中心とした所定領域の撮像画像のみが配置された監視画像Ｋを生成するので、監視対象物体の像が含まれ、ユーザに注意を喚起すべき撮像画像のみを端末装置８００へ送信するので、送信データ量を低減させることができる。この結果、監視システム稼働時の通信コストを低減させることができる。
本実施形態に係る監視装置１００は、投影モデルＭの側面に設定された投影面Ｓに撮像画像を投影させた場合の歪みを補正してから、監視画像Ｋを生成するので、歪みの少ない見易い監視画像Ｋを提供することができる。また、歪みを予め補正しておくことにより、並べて配置された各撮像画像同士の位置ズレを低減させることができる。
本実施形態に係る監視装置１００は、検出された監視対象物体の像を正視する監視視点から見た監視画像Ｋを、投影モデルＭの投影面Ｓに投影するためのマッピング情報を監視画像Ｋに付加するので、端末装置８００は、マッピング情報に従えば、監視対象物体を正視した監視画像Ｋを表示することができるので、端末装置８００側の処理負荷を低減させることができる。
本実施形態における車両Ｖの監視方法を使用した場合においても、監視装置１００、監視システム１００及び端末装置８００と同様の作用を奏し、同様の効果を得ることができる。
なお、以上説明したすべての実施形態は、本発明の理解を容易にするために記載されたものであって、本発明を限定するために記載されたものではない。したがって、上記の実施形態に開示された各要素は、本発明の技術的範囲に属する全ての設計変更や均等物をも含む趣旨である。
本明細書では、本発明に係る車両用監視装置の一態様として監視装置１００及び車両監視システム１０００を例にして説明するが、本発明はこれに限定されるものではない。
また、本明細書では、本発明に係る車両用監視装置の一態様として、ＣＰＵ１１、ＲＯＭ１２、ＲＡＭ１３を含む制御装置１０を備える監視装置１００を一例として説明するが、これに限定されるものではない。
また、本明細書では、カメラと、監視物体検出手段と、監視画像生成手段と、マッピング情報付加手段と、送信手段とを有する本発明に係る車両用監視装置の一態様として、カメラ１と、監視物体検出機能、監視画像生成機能、マッピング情報付加機能、送信機能を実現する制御装置１０を備える監視装置１００を説明するが、これに限定されるものではない。
本明細書では、通信手段と、画像処理手段と、表示手段とを備える端末装置の一態様として、通信装置８１０と、画像処理装置８２０と、ディスプレイ８３０とを備える端末装置８００を説明するが、これに限定されるものではない。
本明細書では、本発明に係る車両監視システムの一態様として、本願発明に係る監視装置１００と、車両コントローラ２００と、通信装置４００と、外部の端末装置８００とを備えた車両監視システム１０００を例にして説明するが、本発明はこれに限定されるものではない。
１０００…車両監視システム
１ａ〜１ｄ…カメラ
２ａ〜２ｄ…近接センサ
３…異常検出センサ
１００…監視装置
Ｖ…車両
１０…制御装置
１１…ＣＰＵ
１２…ＲＯＭ
１３…ＲＡＭ
Ｍ…投影モデル
Ｓ，Ｓａ，Ｓｂ、Ｓｃ、Ｓｄ…投影面
Ｒ１〜Ｒ８…視点
２００…車両コントローラ
３００…イグニッションスイッチ
４００…通信装置
８００…端末装置
８１０…通信装置
８２０…画像処理装置
８３０…ディスプレイ
９００…通信回線

Claims (21)

  1. 車両のボディの異なる位置に設置され、前記車両の周囲を撮像する複数のカメラと、
    前記各カメラの撮像画像を取得し、前記車両のボディの外周に右回り又は左回りの方向に沿って設置された前記カメラの撮像画像が、当該カメラの設置の順序に従って配置された一枚の監視画像を生成する監視画像生成手段と、
    前記車両の載置面を底面とする柱体の投影モデルの側面に設定された投影面に前記監視画像を投影するためのマッピング情報を、前記監視画像に対応づけるマッピング情報付加手段と、
    前記監視画像と前記マッピング情報とを外部の端末装置へ送信する送信手段と、を備えることを特徴とする車両用監視装置。
  2. 請求項１に記載の車両用監視装置において、
    前記マッピング情報付加手段は、前記監視画像の右端又は左端に配置された前記撮像画像の基準座標を、前記監視画像にマッピング情報として付することを特徴とする車両用監視装置。
  3. 請求項１に記載の車両用監視装置において、
    前記車両の周囲において監視対象物体の存在位置を検出する監視物体検出手段をさらに備え、
    前記監視画像生成手段は、前記各カメラの撮像画像を取得し、前記車両のボディの外周に右回り又は左回りの方向に沿って設置された前記カメラの撮像画像が当該カメラの設置の順序に従って配置され、前記検出された監視対象物体の存在位置の情報が対応づけられた一枚の監視画像を生成し、
    マッピング情報付加手段は、前記車両の載置面を底面とする柱体の投影モデルの側面に設定された投影面に前記監視画像を投影するためのマッピング情報を、前記監視画像に対応づけ、
    前記送信手段は、前記監視対象物体の存在位置と前記マッピング情報とが対応づけられた監視画像を外部の端末装置へ送信する、ことを特徴とする車両用監視装置。
  4. 請求項３に記載の車両用監視装置において、
    前記マッピング情報付加手段は、前記車両の載置面を底面とする柱体の投影モデルの側面に設定された投影面に、前記検出された監視対象物体の像を正視する監視視点から見た前記監視画像を投影するためのマッピング情報を監視画像に付加することを特徴とする車両用監視装置。
  5. 請求項３又は４に記載の車両用監視装置において、
    前記監視画像生成手段は、前記監視物体検出手段が前記車両の周囲に複数の監視対象物体を検出した場合には、前記車両に最も接近した監視対象物体の存在位置を前記監視画像に対応づけることを特徴とする車両用監視装置。
  6. 請求項３〜５の何れか一項に記載の車両用監視装置において、
    前記監視画像生成手段は、前記監視物体検出手段により前記監視対象物体が検出された場合には、前記監視対象物体の像を中心とした所定領域の撮像画像のみが配置された監視画像を生成することを特徴とする車両用監視装置。
  7. 請求項１〜６の何れか一項に記載の車両用監視装置において、
    前記監視画像生成手段は、前記各カメラの撮像タイミングが略同時である各撮像画像から生成した監視画像を経時的に記憶し、所定の単位時間あたりに前記複数の監視画像が含まれる動画の監視画像を生成することを特徴とする車両用監視装置。
  8. 請求項１〜７の何れか一項に記載の車両用監視装置において、
    前記監視画像生成手段は、前記監視画像の画素数が前記各カメラの撮像画像の画素数と略同一になるように画像のデータ量を圧縮して前記監視画像を生成することを特徴とする車両用監視装置。
  9. 請求項１〜８の何れか一項に記載の車両用監視装置において、
    前記監視画像生成手段は、前記配置された前記各撮像画像の境界を示す線図形を、前記監視画像に付することを特徴とする車両用監視装置。
  10. 請求項１〜９の何れか一項に記載の車両用監視装置において、
    前記監視画像生成手段は、前記投影モデルの側面に設定された投影面に撮像画像を投影させた場合の歪みを補正してから、前記監視画像を生成することを特徴とする車両用監視装置。
  11. 請求項１〜１０の何れか一項に記載の車両用監視装置と、
    前記車両用監視装置と相互に情報の授受が可能な端末装置とを備え、
    前記端末装置は、
    前記車両用監視装置と通信を行い、前記監視画像とマッピング情報とを取得する通信手段と、
    前記監視画像を前記マッピング情報に基づいて前記車両の載置面を底面とする柱体の投影モデルの側面に設定された投影面に前記監視画像を投影させた表示画像を生成する画像処理手段と、
    前記生成された表示画像を表示する表示手段と、を有することを特徴とする車両用監視システム。
  12. 請求項３、又は請求項３に従属する請求項４〜１０の何れか一項に記載の車両用監視装置と、
    前記車両用監視装置と相互に情報の授受が可能な端末装置とを備え、
    前記端末装置は、
    前記車両用監視装置と通信を行い、監視対象物体の存在位置の情報が付された監視画像と前記マッピング情報を取得する通信手段と、
    前記マッピング情報に基づいて、前記車両の載置面を底面とする柱体の投影モデルの側面に設定された投影面に、前記監視対象物体の像を正視する監視視点から見た前記監視画像を投影させた表示画像を生成する画像処理手段と、
    前記生成された表示画像を表示する表示手段と、を有することを特徴とする車両用監視システム。
  13. 車両のボディの異なる位置に設置された複数のカメラの撮像画像が、前記車両のボディの外周に設置された前記カメラの右回り又は左回りの方向に沿う設置順序に従って配置された監視画像と、前記車両の載置面を底面とする柱体の投影モデルの側面に設定された投影面に投影させるためのマッピング情報とを取得する通信手段と、
    前記取得した監視画像を、前記取得したマッピング情報に基づいて、前記車両の載置面を底面とする柱体の投影モデルの側面に設定された投影面に投影させた表示画像を生成する画像処理手段と、
    前記生成された表示画像を表示する表示手段と、を有することを特徴とする車両監視用の端末装置。
  14. 車両のボディの異なる位置に設置された複数のカメラの撮像画像が、前記車両のボディの外周に設置された前記カメラの右回り又は左回りの方向に沿う設置順序に従って配置され、前記車両側で検出された監視対象物体の存在位置の情報が付された監視画像と、前記車両の載置面を底面とする柱体の投影モデルの側面に設定された投影面に投影させるためのマッピング情報とを取得する通信手段と、
    前記マッピング情報に基づいて、前記車両の載置面を底面とする柱体の投影モデルの側面に設定された投影面に、前記検出された監視対象物体の像を正視する監視視点から見た前記監視画像を投影させた表示画像を生成する画像処理手段と、
    前記生成された表示画像を表示する表示手段と、を有することを特徴とする車両監視用の端末装置。
  15. 前記画像処理手段は、前記監視視点を前記投影モデルの側面に沿って所定範囲に渡って移動させて、前記各監視視点から見た表示画像を生成し、
    前記表示手段は、前記生成された表示画像を順次に表示させることを特徴とする請求項１４に記載の車両監視用の端末装置。
  16. 車両のボディの異なる位置に設置され、前記車両の周囲を撮像する複数のカメラの撮像画像をそれぞれ取得し、
    前記車両のボディの外周に右回り又は左回りの方向に沿って設置された前記カメラの撮像画像に基づいて、当該カメラの設置の順序に従って前記撮像画像を配置した一枚の監視画像を生成し、
    前記生成された監視画像を前記車両の載置面を底面とする柱体の投影モデルの側面に設定された投影面に投影させるマッピング情報を、監視画像に付加し、
    前記監視画像と当該監視画像に対応づけられた前記マッピング情報とを外部の端末装置へ送信する、ことを特徴とする車両の監視方法。
  17. 車両のボディの異なる位置に設置され、前記車両の周囲を撮像する複数のカメラの撮像画像と、前記車両の周囲において検出された監視対象物体の存在位置とをそれぞれ取得し、
    前記車両のボディの外周に右回り又は左回りの方向に沿って設置された前記カメラの撮像画像が当該カメラの設置の順序に従って配置され、前記検出された監視対象物体の存在位置の情報が付された一枚の監視画像を生成し、
    前記生成された監視画像を、前記車両の載置面を底面とする柱体の投影モデルの側面に設定された投影面に投影するためのマッピング情報を前記監視画像に付加し、
    前記監視対象物体の存在位置と前記マッピング情報とが対応づけられた監視画像を外部の端末装置へ送信する、ことを特徴とする車両の監視方法。
  18. 車両のボディの異なる位置に設置され、前記車両の周囲を撮像する複数のカメラの撮像画像をそれぞれ取得し、
    前記車両のボディの外周に右回り又は左回りの方向に沿って設置された前記カメラの撮像画像に基づいて、当該カメラの設置の順序に従って配置された一枚の監視画像を生成し、
    前記生成された監視画像を前記車両の載置面を底面とする柱体の投影モデルの側面に設定された投影面に投影させるマッピング情報を、監視画像に付加し、
    前記マッピング情報に基づいて、前記車両の載置面を底面とする柱体の投影モデルの側面に設定された投影面に前記監視画像を投影させた表示画像を生成する、ことを特徴とする車両の監視方法。
  19. 車両のボディの異なる位置に設置され、前記車両の周囲を撮像する複数のカメラの撮像画像と、前記車両の周囲において検出された監視対象物体の存在位置とをそれぞれ取得し、
    前記車両のボディの外周に右回り又は左回りの方向に沿って設置された前記カメラの撮像画像が当該カメラの設置の順序に従って配置され、前記検出された監視対象物体の存在位置の情報が付された一枚の監視画像を生成し、
    前記車両の載置面を底面とする柱体の投影モデルの側面に設定された投影面に、前記検出された監視対象物体の像を正視する監視視点から見た前記監視画像を投影するためのマッピング情報を監視画像に付加し、
    前記マッピング情報に基づいて、前記車両の載置面を底面とする柱体の投影モデルの側面に設定された投影面に、前記監視対象物体の像を正視する監視視点から見た前記監視画像を投影させた表示画像を生成する、ことを特徴とする車両の監視方法。
  20. 車両のボディの異なる位置に設置された複数のカメラの撮像画像が、前記車両のボディの外周に右回り又は左回りの方向に沿って設置された前記カメラの設置順序に従って連続して配置した監視画像と、当該監視画像を前記車両の載置面を底面とする柱体の投影モデルの側面に設定された投影面に投影させるためのマッピング情報とを、通信回線を介して受信し、
    前記受信した監視画像を、前記受信した当該マッピング情報に基づいて、前記車両の載置面を底面とする柱体の投影モデルの側面に設定された投影面に前記監視画像を投影させた表示画像を生成し、
    前記生成された表示画像をディスプレイに表示する車両の監視方法。
  21. 車両のボディの異なる位置に設置された複数のカメラの撮像画像が、前記車両のボディの外周に右回り又は左回りの方向に沿って設置された前記カメラの設置順序に従って連続して配置され、検出された監視対象物体の存在位置の情報が付された一枚の監視画像と、当該監視画像を前記車両の載置面を底面とする柱体の投影モデルの側面に設定された投影面に投影させるためのマッピング情報とを、通信回線を介して受信し、
    前記監視画像を、前記マッピング情報に基づいて、前記車両の載置面を底面とする柱体の投影モデルの側面に設定された投影面に、前記監視対象物体の像を正視する監視視点から見た前記監視画像を投影させた表示画像を生成し、
    前記生成された表示画像をディスプレイに表示する車両の監視方法。
JP2013523880A 2011-07-12 2012-06-27 車両用監視装置、車両用監視システム、端末装置及び車両の監視方法 Active JP5648746B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2013523880A JP5648746B2 (ja) 2011-07-12 2012-06-27 車両用監視装置、車両用監視システム、端末装置及び車両の監視方法

Applications Claiming Priority (6)

Application Number Priority Date Filing Date Title
JP2011153735 2011-07-12
JP2011153735 2011-07-12
JP2011153725 2011-07-12
JP2011153725 2011-07-12
JP2013523880A JP5648746B2 (ja) 2011-07-12 2012-06-27 車両用監視装置、車両用監視システム、端末装置及び車両の監視方法
PCT/JP2012/066367 WO2013008623A1 (ja) 2011-07-12 2012-06-27 車両用監視装置、車両用監視システム、端末装置及び車両の監視方法

Publications (2)

Publication Number Publication Date
JP5648746B2 true JP5648746B2 (ja) 2015-01-07
JPWO2013008623A1 JPWO2013008623A1 (ja) 2015-02-23

Family

ID=47505920

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2013523880A Active JP5648746B2 (ja) 2011-07-12 2012-06-27 車両用監視装置、車両用監視システム、端末装置及び車両の監視方法

Country Status (5)

Country Link
US (1) US20150109446A1 (ja)
EP (1) EP2733937A4 (ja)
JP (1) JP5648746B2 (ja)
CN (1) CN103650485A (ja)
WO (1) WO2013008623A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2019028920A (ja) * 2017-08-03 2019-02-21 アイシン精機株式会社 表示制御装置

Families Citing this family (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2860963B1 (en) * 2012-06-11 2019-05-22 Sony Interactive Entertainment Inc. Image generation device, and image generation method
US10168871B2 (en) * 2013-09-16 2019-01-01 Rovi Guides, Inc. Methods and systems for presenting direction-specific media assets
WO2015104860A1 (ja) * 2014-01-10 2015-07-16 アイシン精機株式会社 画像表示制御装置および画像表示システム
EP3160138B1 (en) * 2014-06-20 2021-03-17 Clarion Co., Ltd. Image synthesis system, image synthesis device therefor, and image synthesis method
CN105141927A (zh) * 2015-09-22 2015-12-09 浙江吉利汽车研究院有限公司 一种车载图像监控装置
ES2615164B1 (es) * 2015-11-05 2018-03-28 Ontech Security Sl Sistema y método de seguridad para vehículos
KR102597435B1 (ko) * 2016-04-20 2023-11-03 엘지이노텍 주식회사 영상 취득 장치 및 그 방법
EP3549116B1 (en) * 2016-11-29 2021-05-05 Lumileds LLC Vehicle surveillance
JP7092688B2 (ja) * 2017-02-17 2022-06-28 住友重機械工業株式会社 作業機械用周辺監視システム
JP6819514B2 (ja) * 2017-08-28 2021-01-27 トヨタ自動車株式会社 画像処理装置及び撮像装置
FR3078224B1 (fr) * 2018-02-16 2020-02-07 Renault S.A.S Methode de surveillance d’un environnement de vehicule automobile en stationnement comprenant une camera asynchrone
US10589677B1 (en) * 2018-10-11 2020-03-17 GM Global Technology Operations LLC System and method to exhibit information after a pedestrian crash incident
DE102019110871A1 (de) * 2019-04-26 2020-10-29 Mekra Lang Gmbh & Co. Kg Sichtsystem für ein Fahrzeug
KR20210030523A (ko) * 2019-09-09 2021-03-18 현대자동차주식회사 차량 및 그 제어 방법
CN113099170B (zh) * 2020-01-09 2023-05-12 博泰车联网科技(上海)股份有限公司 用于信息处理的方法、设备和计算机存储介质
CN112788330A (zh) * 2020-12-25 2021-05-11 深圳市元征科技股份有限公司 诊断视频生成方法、装置、终端设备及存储介质
CN113002531B (zh) * 2021-02-08 2022-09-30 深圳市海沃德科技有限公司 车辆全景环视方法、***、设备和计算机可读存储介质
JP2022172709A (ja) * 2021-05-06 2022-11-17 トヨタ自動車株式会社 車載ドライブレコーダシステム
US12028603B2 (en) 2021-09-24 2024-07-02 Canon Kabushiki Kaisha Image processing system, image processing method, storage medium, image pickup apparatus, and optical unit
JP7434476B2 (ja) * 2021-09-24 2024-02-20 キヤノン株式会社 画像処理システム、画像処理方法、撮像装置、光学系、およびコンピュータプログラム
JP7476151B2 (ja) * 2021-09-24 2024-04-30 キヤノン株式会社 画像処理システム、画像処理方法、およびコンピュータプログラム

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1115250B1 (en) * 1998-07-31 2012-06-06 Panasonic Corporation Method and apparatus for displaying image
EP1303140A4 (en) * 2000-07-19 2007-01-17 Matsushita Electric Ind Co Ltd MONITORING SYSTEM
JP4860835B2 (ja) * 2001-06-11 2012-01-25 クラリオン株式会社 パノラマ画像表示方法及びパノラマ画像表示装置
JP2003085695A (ja) * 2001-09-13 2003-03-20 Radias:Kk 車両管理システム
JP2003317177A (ja) * 2002-04-25 2003-11-07 Aisin Aw Co Ltd 車両監視装置、車両監視システム及び車両監視方法
JP2006107279A (ja) 2004-10-07 2006-04-20 Matsushita Electric Ind Co Ltd 防犯装置および遠隔監視システム
US8094182B2 (en) * 2006-11-16 2012-01-10 Imove, Inc. Distributed video sensor panoramic imaging system
EP2285109B1 (en) * 2008-05-29 2018-11-28 Fujitsu Limited Vehicle image processor, and vehicle image processing system
JP5182042B2 (ja) * 2008-11-28 2013-04-10 富士通株式会社 画像処理装置、画像処理方法及びコンピュータプログラム
US8502860B2 (en) * 2009-09-29 2013-08-06 Toyota Motor Engineering & Manufacturing North America (Tema) Electronic control system, electronic control unit and associated methodology of adapting 3D panoramic views of vehicle surroundings by predicting driver intent
JP5640433B2 (ja) * 2010-04-07 2014-12-17 日産自動車株式会社 画像情報提供装置および画像情報提供方法

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2019028920A (ja) * 2017-08-03 2019-02-21 アイシン精機株式会社 表示制御装置
JP7039879B2 (ja) 2017-08-03 2022-03-23 株式会社アイシン 表示制御装置
US11383642B2 (en) 2017-08-03 2022-07-12 Aisin Corporation Display control apparatus

Also Published As

Publication number Publication date
EP2733937A1 (en) 2014-05-21
WO2013008623A1 (ja) 2013-01-17
US20150109446A1 (en) 2015-04-23
EP2733937A4 (en) 2015-05-20
JPWO2013008623A1 (ja) 2015-02-23
CN103650485A (zh) 2014-03-19

Similar Documents

Publication Publication Date Title
JP5648746B2 (ja) 車両用監視装置、車両用監視システム、端末装置及び車両の監視方法
JP5561433B2 (ja) 車両用監視装置及び車両の監視方法
US10857974B2 (en) Image display device, image display system, image display method and program
JP5092459B2 (ja) 遠隔指示システム及び遠隔指示システム用のプログラム
WO2007055336A1 (ja) 画像処理装置、画像処理方法、そのプログラム及びそのプログラムを記録した記録媒体と撮像装置
JP5716389B2 (ja) 車両用表示装置
JP6380787B2 (ja) 撮像装置、カメラ、表示装置、撮像方法、表示方法、及びプログラム
JP6260174B2 (ja) 監視画像提示システム
WO2013099488A1 (ja) 監視システム
US9185362B2 (en) Method of controlling network camera
JP6720966B2 (ja) 情報処理装置、情報処理方法、およびプログラム
WO2021079636A1 (ja) 表示制御装置、表示制御方法及び記録媒体
US20200342833A1 (en) Head mounted display system and scene scanning method thereof
JP2013009065A (ja) 車両用監視装置及び車両の監視方法
JP6563694B2 (ja) 画像処理装置、画像処理システム、画像合成装置、画像処理方法及びプログラム
WO2013161345A1 (ja) 監視システム及び監視方法
JP5796638B2 (ja) 監視システム
US11610343B2 (en) Video display control apparatus, method, and non-transitory computer readable medium
JPWO2013094405A1 (ja) 監視システム
JP5726779B2 (ja) 映像視聴システム及び映像視聴システムの制御方法
KR101193129B1 (ko) 다자 동시 제어를 허용하는 실시간 원격 360도 전방향 영상 감시 시스템
JP2020022065A (ja) 配信装置、カメラ装置、配信システム、配信方法及び配信プログラム
JP2019139697A (ja) 表示装置、映像表示システム、及び映像表示方法
JP6725734B2 (ja) 画像表示装置、画像表示システム、画像表示方法、及び、プログラム
JP5812105B2 (ja) 監視システム

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20140917

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20141014

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20141027

R151 Written notification of patent or utility model registration

Ref document number: 5648746

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151