JP5648746B2 - 車両用監視装置、車両用監視システム、端末装置及び車両の監視方法 - Google Patents
車両用監視装置、車両用監視システム、端末装置及び車両の監視方法 Download PDFInfo
- Publication number
- JP5648746B2 JP5648746B2 JP2013523880A JP2013523880A JP5648746B2 JP 5648746 B2 JP5648746 B2 JP 5648746B2 JP 2013523880 A JP2013523880 A JP 2013523880A JP 2013523880 A JP2013523880 A JP 2013523880A JP 5648746 B2 JP5648746 B2 JP 5648746B2
- Authority
- JP
- Japan
- Prior art keywords
- monitoring
- image
- vehicle
- projection
- mapping information
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000012544 monitoring process Methods 0.000 title claims description 742
- 238000012806 monitoring device Methods 0.000 title claims description 80
- 238000000034 method Methods 0.000 title claims description 65
- 238000013507 mapping Methods 0.000 claims description 107
- 238000012545 processing Methods 0.000 claims description 63
- 238000004891 communication Methods 0.000 claims description 47
- 238000003384 imaging method Methods 0.000 claims description 42
- 238000009434 installation Methods 0.000 claims description 37
- 238000001514 detection method Methods 0.000 claims description 23
- 230000005540 biological transmission Effects 0.000 claims description 11
- 230000001419 dependent effect Effects 0.000 claims 1
- 230000006870 function Effects 0.000 description 51
- 230000008569 process Effects 0.000 description 23
- 238000005192 partition Methods 0.000 description 19
- 102100022887 GTP-binding nuclear protein Ran Human genes 0.000 description 16
- 101000774835 Heteractis crispa PI-stichotoxin-Hcr2o Proteins 0.000 description 16
- 101000620756 Homo sapiens GTP-binding nuclear protein Ran Proteins 0.000 description 16
- 230000000875 corresponding effect Effects 0.000 description 15
- 101100448445 Caenorhabditis elegans gsp-4 gene Proteins 0.000 description 14
- 101100393821 Saccharomyces cerevisiae (strain ATCC 204508 / S288c) GSP2 gene Proteins 0.000 description 14
- 101100448444 Caenorhabditis elegans gsp-3 gene Proteins 0.000 description 12
- 238000010586 diagram Methods 0.000 description 11
- 238000006243 chemical reaction Methods 0.000 description 9
- 230000005856 abnormality Effects 0.000 description 8
- 238000012937 correction Methods 0.000 description 7
- 230000000694 effects Effects 0.000 description 6
- 230000008859 change Effects 0.000 description 5
- 239000007787 solid Substances 0.000 description 3
- 230000001360 synchronised effect Effects 0.000 description 3
- 230000004913 activation Effects 0.000 description 2
- 238000007906 compression Methods 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 239000000284 extract Substances 0.000 description 2
- 230000002093 peripheral effect Effects 0.000 description 2
- 230000004044 response Effects 0.000 description 2
- 238000013459 approach Methods 0.000 description 1
- 230000002596 correlated effect Effects 0.000 description 1
- 239000011521 glass Substances 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G08—SIGNALLING
- G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
- G08B13/00—Burglar, theft or intruder alarms
- G08B13/18—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
- G08B13/189—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
- G08B13/194—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
- G08B13/196—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
- G08B13/19663—Surveillance related processing done local to the camera
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R25/00—Fittings or systems for preventing or indicating unauthorised use or theft of vehicles
- B60R25/10—Fittings or systems for preventing or indicating unauthorised use or theft of vehicles actuating a signalling device
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R25/00—Fittings or systems for preventing or indicating unauthorised use or theft of vehicles
- B60R25/30—Detection related to theft or to other events relevant to anti-theft systems
- B60R25/305—Detection related to theft or to other events relevant to anti-theft systems using a camera
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
-
- G—PHYSICS
- G08—SIGNALLING
- G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
- G08B13/00—Burglar, theft or intruder alarms
- G08B13/18—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
- G08B13/189—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
- G08B13/194—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
- G08B13/196—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
- G08B13/19602—Image analysis to detect motion of the intruder, e.g. by frame subtraction
- G08B13/19608—Tracking movement of a target, e.g. by detecting an object predefined as a target, using target direction and or velocity to predict its new position
-
- G—PHYSICS
- G08—SIGNALLING
- G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
- G08B13/00—Burglar, theft or intruder alarms
- G08B13/18—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
- G08B13/189—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
- G08B13/194—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
- G08B13/196—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
- G08B13/19654—Details concerning communication with a camera
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
- H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
-
- G—PHYSICS
- G08—SIGNALLING
- G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
- G08B13/00—Burglar, theft or intruder alarms
- G08B13/18—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
- G08B13/189—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
- G08B13/194—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
- G08B13/196—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
- G08B13/19639—Details of the system layout
- G08B13/19647—Systems specially adapted for intrusion detection in or around a vehicle
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Mechanical Engineering (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Closed-Circuit Television Systems (AREA)
- Image Analysis (AREA)
Description
本発明は、車両に設置されたカメラを利用して、車両の周囲を監視する車両用監視装置、車両用監視システム、端末装置及び車両の監視方法に関する。
本出願は、2011年7月12日に出願された日本国特許出願の特願2011―153725、及び2011年7月12日に出願された日本国特許出願の特願2011―153735に基づく優先権を主張するものであり、文献の参照による組み込みが認められる指定国については、上記の出願に記載された内容を参照により本出願に組み込み、本出願の記載の一部とする。
本出願は、2011年7月12日に出願された日本国特許出願の特願2011―153725、及び2011年7月12日に出願された日本国特許出願の特願2011―153735に基づく優先権を主張するものであり、文献の参照による組み込みが認められる指定国については、上記の出願に記載された内容を参照により本出願に組み込み、本出願の記載の一部とする。
この種の装置に関し、ドアの接触センサなどが検知した外部からの刺激を検知した場合には、カメラに周囲を撮像させ、その画像情報を外部の携帯電話等に転送する防犯装置が知られている(特許文献1)。
しかしながら、車両に設置された複数のカメラの撮像画像を動画として送信した場合に、受信側の装置の機能によっては複数の動画を同時に再生することができず、取得した撮像画像の一部が有効に利用されないという問題がある。
本発明が解決しようとする課題は、複数の撮像画像に基づいて生成されつつも、受信する端末装置側の備える機能にかかわらず、端末装置側で動画として同時に再生可能な監視画像を生成することである。
本発明は、複数のカメラで撮像された撮像画像をカメラの設置の順序に従って配置した一枚の監視画像と、この監視画像を柱体の投影モデルの側面に設定された投影面に投影するためのマッピング情報とを外部の端末装置へ送信することにより、上記課題を解決する。
本発明によれば、送信された監視画像を受信した外部の端末装置が、マッピング情報に基づいて、柱体の側面に設定された投影面に、複数の撮像画像がカメラの設置順序で配置された一枚の監視画像を一連(ひとつながり)に投影することができるので、各端末装置の備える機能にかかわらず、撮像方向の異なる複数の撮像画像から生成された監視画像を動画として再生することができる。この結果、複数のカメラにより得た各撮像画像の情報を無駄にすることなく、ユーザの監視用の画像として有効に利用することができる。
<第1実施形態>
以下、本発明の第1実施形態を図面に基づいて説明する。本実施形態では、本発明に係る車両用監視装置を、車両を監視するための監視装置100、この監視装置を備える車両監視システム1000に適用した場合を例にして説明する。なお、本発明に係る車両用監視装置の監視対象は車両に限定されず、二輪車、船、重機、フォークリフト等の移動体を監視することもできる。
以下、本発明の第1実施形態を図面に基づいて説明する。本実施形態では、本発明に係る車両用監視装置を、車両を監視するための監視装置100、この監視装置を備える車両監視システム1000に適用した場合を例にして説明する。なお、本発明に係る車両用監視装置の監視対象は車両に限定されず、二輪車、船、重機、フォークリフト等の移動体を監視することもできる。
図1は、本実施形態に係る監視装置100を含む車両監視システム1000のブロック構成図である。図1に示すように、本実施形態の車両監視システム1000は、車両に設置された4つのカメラ1a〜1d(以下、カメラ1と総称することもある)を備えている。
図2は、カメラ1a〜1dを車両Vに取り付ける場合の配置例を示す図である。カメラ1a〜1dはCCD(Charge Coupled Devices)等の撮像素子を用いて構成され、車両Vの外部の異なる位置に各々設置され、車両周囲の4方向の画像をそれぞれ撮影する。例えば、図2に示すように、フロントグリル部分などの車両Vの前方の所定位置に設置されたカメラ1aは、車両Vの前方のエリアSP1内及びその前方の空間に存在する物体又は路面の画像(フロントビュー画像)を撮影する。左サイドミラー部分などの車両Vの左側方の所定位置に設置されたカメラ1dは、車両Vの左側方のエリアSP2内及びその周囲の空間に存在する物体又は路面の画像(左サイドビュー画像)を撮影する。リアフィニッシャー部分やルーフスポイラー部分などの車両Vのリア(後方)部分の所定位置に設置されたカメラ1cは、車両Vの後方のエリアSP3内及びその後方の空間に存在する物体又は路面の画像(リアビュー画像)を撮影する。右サイドミラー部分などの車両Vの右側方の所定位置に設置されたカメラ1bは、車両Vの右側方のエリアSP4内及びその周囲の空間に存在する物体又は路面の画像(右サイドビュー画像)を撮影する。制御装置10は、カメラ1a〜1dによって撮像された撮像画像をそれぞれ取得する。
図3は、各カメラ1a〜1dの配置を車両Vの上空から見た図である。図3に示すように、エリアSP1を撮像するカメラ1a、エリアSP4を撮像するカメラ1b、エリアSP3を撮像するカメラ1c、エリアSP2を撮像するカメラ1d、は、車両Vのボディの外周VEに沿って右回り(時計回り)又は左回り(反時計回り)に沿って設置されている。つまり、図3に矢印Cで示す右回り(時計回り)に車両Vのボディの外周VEに沿って見ると、カメラ1aの右隣りにカメラ1bが設置され、カメラ1bの右隣りにカメラ1cが設置され、カメラ1cの右隣りにカメラ1dが設置され、カメラ1dの右隣りにカメラ1aが設置されている。図3に示す矢印Cの方向とは反対に(反時計回り)に車両Vのボディの外周VEに沿って見ると、カメラ1aの左隣りにカメラ1dが設置され、カメラ1dの左隣りにカメラ1cが設置され、カメラ1cの左隣りにカメラ1bが設置され、カメラ1bの左隣りにカメラ1aが設置されている。
図4は、フロントカメラ1aがエリアSP1を撮像した撮像画像GSP1の一例を示し、図5は、右サイドカメラ1bがエリアSP4を撮像した撮像画像GSP4の一例を示し、図6は、リアカメラ1cがエリアSP3を撮像した撮像画像GSP3の一例を示し、図7は、左サイドカメラ1dがエリアSP2を撮像した撮像画像GSP2の一例を示す図である。ちなみに、各撮像画像の画像サイズは、480ピクセル(縦)×640ピクセル(横)である。撮像画像のサイズは特に限定されないが、一般的な端末装置が動画再生可能なサイズとすることができる。
なお、カメラ1の配置数及び配置位置は、車両Vの大きさ、形状、検出領域の設定手法等に応じて適宜に決定することができる。上述した複数のカメラ1は、それぞれのアドレス(配置)に応じた識別子が付されており、制御装置10は、各識別子に基づいて各カメラ1のそれぞれを識別することができる。また、制御装置10は、識別子を付することにより、特定のカメラ1に起動命令その他の命令を送出することができる。
また、本実施形態の車両監視システム1000は、さらに、監視装置100と、車両コントローラ200と、通信装置400と、外部の端末装置800と、を有する。この車両監視システム1000は、車両コントローラ200と情報の授受が可能なイグニッションスイッチ300を備えることができる。これらの各装置はCAN(Controller Area Network)その他の車載LANによって接続され、相互に情報の授受を行うことができる。
本実施形態の車両監視システム1000において、監視装置100は、通信装置400を介して携帯電話、スマートフォンその他の通信装置810を備える外部の端末装置800(コンピュータ)と相互に通信が可能である。本実施形態の外部の端末装置800は、通信装置810と、画像処理装置820と、ディスプレイ830とを備え、通信装置810が車載の監視装置100側から監視画像を取得し、画像処理装置820が表示に必要な画像処理を実行し、ディスプレイ830が監視画像を表示する。外部の端末装置800を所持するユーザは、監視装置100から送出された車両の監視画像を、外部の端末装置800を用いて確認することができる。
また、図1に示すように、本実施形態に係る監視装置100の制御装置10は、複数の監視画像に基づいて生成された監視画像を生成するとともに、この監視画像を柱体の投影モデルの側面に設定された投影面に投影するためのマッピング情報を監視画像に対応づけ、監視画像とマッピング情報とを外部の端末装置800に送出するプログラムが格納されたROM(Read Only Memory)12と、このROM12に格納されたプログラムを実行することで、監視装置100として機能する動作回路としてのCPU(Central Processing Unit)11と、アクセス可能な記憶装置として機能するRAM(Random Access Memory)13と、を備えている。
本実施形態に係る監視装置100の制御装置10は、監視画像生成機能と、マッピング情報付加機能と、及び送信機能とを実現するためのソフトウェアと、上述したハードウェアの協働により各機能を実行することができる。本実施形態では、制御装置10が各制御命令を送出する態様を例にして説明するが、本実施形態の制御装置10は、車両コントローラ200を介してカメラ1、通信装置400を制御することも可能である。
以下、本発明の本実施形態に係る監視装置100が実現する、監視画像生成機能、マッピング情報付加機能、及び送信機能の各機能について説明する。
まず、監視画像生成機能について説明する。本実施形態の監視装置100の制御装置10は、各カメラ1の撮像画像をそれぞれ取得し、車両Vのボディの外周に沿って右回り又は左回りの方向に沿って設置されたカメラ1の撮像画像が、このカメラ1の設置の順序に従って配置された、一枚の監視画像を生成する。
先述したように、本実施形態において、カメラ1は車両Vのボディの外周VEに沿って右回り(時計回り)にカメラ1a、1b、1c、1dの順に設置されているので、制御装置10は、このカメラ1の設置の順序(カメラ1a、1b、1c、1d)に従って、各カメラ1が撮像した複数の撮像画像が一体となるように横方向に接続し、一枚の監視画像を生成する。本実施形態の監視画像において、各撮像画像は車両Vの載置面(路面)が下辺となるように配置され、各撮像画像は路面に対して高さ方向(垂直方向)の辺で接続されている。
図8は監視画像Kの一例を示す図である。図8に示すように、本実施形態の監視画像Kは、図面左側から図面右側へ向かう方向Pに沿って、フロントカメラ1aがエリアSP1を撮像した撮像画像GSP1、右サイドカメラ1bがエリアSP4を撮像した撮像画像GSP4、リアカメラ1cがエリアSP3を撮像した撮像画像GSP3、及び左サイドカメラ1dがエリアSP2を撮像した撮像画像GSP2が、左から右へ向かって横方向にGSP1、GSP4、GSP3、GSP2の順序で並べて配置され、これら4つの撮像画像が一連に(ひとつながりに)されている。つまり、監視画像Kは、横に一列に並べられた撮像画像GSP1、撮像画像GSP4、撮像画像GSP3、撮像画像GSP2を含んでいる。
このように生成された監視画像Kを、路面(車両の載置面)に対応する画像を下にして左端から右側へ順番に示すことにより、車両Vの周囲を時計回りに見回したときに見える映像をユーザに示すことができる。
本実施形態の監視装置100の制御装置10は、一つの監視画像Kを生成する際には、各カメラ1の撮像タイミングが略同時である各撮像画像を用いることができる。これにより、監視画像Kに含まれる情報を同期させることができるので、所定タイミングにおける車両周囲の状況を正確に表現することができる。ちなみに、同じ監視画像Kに含まれる車両前方の撮像画像GSP1と車両右側方の撮像画像GSP4との撮像タイミングが異なる場合には、監視画像Kを再生したときに、異なる撮像タイミングの画像が同時に再生されるため、これを見るユーザに違和感を与えるが、本実施形態の監視装置100は、略同時に撮像された撮像画像を用いて監視画像Kを生成するので、このような違和感を与えることが無い。
本実施形態の制御装置10は、カメラの撮像タイミングが略同時である各撮像画像から生成した監視画像Kを経時的に記憶し、所定の単位時間あたりに複数の監視画像Kが含まれる動画の監視画像Kを生成することができる。撮像タイミングが同時の撮像画像に基づいて動画の監視画像Kを生成することにより、車両周囲の状況の変化を正確に表現することができる。
ところで、各撮像領域の撮像画像をそれぞれ経時的に記憶し、各撮像領域ごとに生成した動画の監視画像Kを端末装置へ送信した場合には、端末装置の機能によっては、複数の動画を同時に再生できない場合がある。このような従来の端末装置においては、複数の動画を同時に再生表示することができないため、各動画を再生する際には画面を切り替えて動画を一つずつ再生しなければならない。つまり、従来の端末装置では、複数方向の映像(動画)を同時に見ることができず、車両周囲の全体を一画面で監視することができないという不都合がある。
これに対し、本実施形態の制御装置10は、複数の撮像画像から一つの監視画像Kを生成するので、端末装置800の機能にかかわらず、異なる撮像方向の撮像画像を同時に動画再生することができる。つまり、監視画像Kを連続して再生(動画再生)することにより、監視画像Kに含まれる4枚の撮像画像を同時に連続して再生(動画再生)し、方向の異なる領域の状態変化を一画面で監視することができる。
また、本実施形態の監視装置100の制御装置10は、監視画像Kの画素数が各カメラ1の撮像画像の画素数と略同一になるように画像のデータ量を圧縮して監視画像Kを生成することができる。図4〜図7に示す角撮像画像のサイズは480×640ピクセルである。本実施形態では、図8に示すように、本実施形態の制御装置10は、監視画像Kのサイズが1280×240ピクセルとなるように、圧縮処理を行う。これにより、監視画像Kのサイズ(1280×240ピクセル)が、各撮像画像のサイズ(480×640ピクセル)と等しくなるので、監視画像Kを受信した端末装置800側の機能にかかわらず、画像処理及び画像再生を実行させることができる。
さらに、本実施形態の監視装置100の制御装置10は、配置された各撮像画像の境界を示す線図形を、監視画像Kに付することができる。図8に示す監視画像Kを例にすると、制御装置10は、配置された各撮像画像の境界を示す線図形として、各撮像画像の間に矩形の仕切り画像Bb,Bc,Bd,Baを監視画像Kに付することができる。
このように、撮像画像の境界に仕切り画像を配置することにより、一体の監視画像Kを構成するが撮像方向が異なる各監視画像Kをそれぞれ独立に認識させることができる。つまり、仕切り画像は各撮像画像の額縁として機能する。また、各撮像画像の境界付近は画像の歪みが大きいので、撮像画像の境界に仕切り画像を配置することにより、歪みの大きい領域の画像を隠すことや、歪みが大きいことを示唆することができる。
本実施形態の監視装置100の制御装置10は、後述する投影モデルの側面に設定された投影面に撮像画像を投影させた場合の歪みを補正してから、監視画像Kを生成することができる。撮像画像の周辺領域は画像の歪みが生じやすく、カメラ1が広角カメラである場合には特に撮像画像の歪みが大きくなる傾向がある。このため、本実施形態では、画像の歪みを補正するために予め定義された画像変換アルゴリズムと補正量とを用いて、撮像画像の歪みを補正する。
特に限定されないが、制御装置10は、図9に示すように、端末装置800において監視画像Kを投影させる投影モデルと同じ投影モデルの情報をROM12から読み出し、この投影モデルの投影面に撮像画像を投影し、投影面において生じた歪みを予め補正することができる。なお、画像変換アルゴリズムと補正量はカメラ1の特性、投影モデルの形状に応じて適宜定義することができ、出願時に知られた手法を利用することができる。
このように、投影モデルの投影面に関し画像Kを投影した場合の歪みを予め補正しておくことにより、歪みの少ない見易い監視画像Kを提供することができる。また、歪みを予め補正しておくことにより、並べて配置された各撮像画像同士の位置ズレを低減させることができる。
次に、本実施形態の監視装置100のマッピング情報付加機能について説明する。本実施形態の監視装置100において、制御装置10は、車両Vの載置面を底面とする柱体の投影モデルMの側面に設定された投影面に生成された監視画像Kを投影するためのマッピング情報を、監視画像Kに対応づけることができる。
図10は本実施形態の投影モデルMの一例を示す図、図11は図10に示す投影モデルMのxy面に沿う断面模式である。
同図に示すように、本実施形態の投影モデルMは、底面が八角形で、鉛直方向(図中z軸方向)に沿って高さを有する立体の八角柱体である。投影モデルMの形状は、底面の境界に沿って隣接する側面を有する柱体であれば特に限定されず、円柱体、三角柱体、四角柱体、六角柱体などの角柱体、円柱体、又は底面が多角形で側面が三角形の反角柱体とすることもできる。
また、同図に示すように、本実施形態の投影モデルMの底面は車両Vの載置面と平行である。また、投影モデルMの側面の内側面には、投影モデルMの底面上に載置された車両Vの周囲の映像を映し出す投影面Sa,Sb,Sc,Sd(以下、投影面Sと総称することもある)が設定されている。投影面Sは、投影面Saの一部と投影面Sbの一部、投影面Sbの一部と投影面Scの一部、投影面Scの一部と投影面Sdの一部、投影面Sdの一部と投影面Saの一部により構成することもできる。監視画像Kは、車両Vを取り囲む投影モデルMの上方の視点R(R1〜R8、以下、視点Rと総称することもある)から車両Vを見下ろした映像として投影面Sに投影される。
本実施形態の監視装置100の制御装置10は、右端又は左端に配置された撮像画像の基準座標を、マッピング情報として監視画像Kに対応づけることができる。図8に示す監視画像Kを例にすると、制御装置10は、投影モデルMに投影される際の、監視画像Kの始端位置又は終端位置を示すマッピング情報(基準座標)として、右端に配置された撮像画像GSP1の左上頂点の座標A(x、y)を監視画像Kに付することができる。同様に、監視装置10は、監視画像Kの始端位置又は終端位置を示すマッピング情報として、左端に配置された撮像画像GSP2の右上頂点の座標B(x、y)を監視画像Kに付することができる。始端位置又は終端位置を示す撮像画像の基準座標は特に限定されず、左端に配置された監視画像Kの左下頂点、又は右端に配置された監視画像Kの右下頂点とすることもできる。なお、マッピング情報は、監視画像Kの画像データの各画素に付してもよいし、監視画像Kとは別のファイルとして管理することもできる。
このように、監視画像Kの始端位置又は終端位置を示す情報、つまり投影処理において基準とする基準座標をマッピング情報として監視画像Kに対応づけることにより、監視画像Kを受信した端末装置800が、ユーザに最初及び/又は投影処理時における基準位置を認識することができるので、カメラ1の配置順に並べられた監視画像Kを、投影モデルMの側面の投影面Sに順次に投影することができる。カメラ1aの撮像方向に位置する投影面Saに車両前方の撮像画像GSP1を投影し、カメラ1bの撮像方向に位置する投影面Sbに車両右側方の撮像画像GSP4を投影し、カメラ1cの撮像方向に位置する投影面Scに車両後方の撮像画像GSP3を投影し、カメラ1dの撮像方向に位置する投影面Sdに車両左側方の撮像画像GSP2を投影することができる。
これにより、投影モデルMに投影された監視画像Kは、あたかも車両Vの周囲を見回したときに見える映像を示すことができる。つまり、カメラ1の設置順序に応じて横一列に配置された撮像画像を含む監視画像Kは、投影モデルMの柱体において、同じく横に並ぶ側面に投影されるので、柱体の投影モデルMの投影面Sに投影された監視画像Kに、車両Vの周囲の映像をその位置関係を維持したまま再現することができる。
また、本実施形態の制御装置10は、監視画像Kの各座標値と投影モデルMの各投影面Sの座標値との対応関係をマッピング情報として記憶し、監視画像Kに付することができるが、端末装置800側に予め記憶させておくこともできる。
なお、同図に示す視点R、投影面Sの位置は例示であり、任意に設定することができる。特に、視点Rは、ユーザの操作によって変更可能である。視点Rと監視画像Kの投影位置との関係は予め定義されており、視点Rの位置が変更された場合には所定の座標変換をすることにより、新たに設定された視点Rから見た監視画像Kを投影面S(Sa〜Sd)に投影することができる。この視点変換処理には、出願時に知られている手法を用いることができる。
本実施形態の制御装置10は、所定タイミングで撮像された撮像画像に基づいて監視画像Kを生成し、この監視画像Kにマッピング情報、基準座標、境界を示す線図形(仕切り画像)の情報を対応づけて撮像タイミングに従って経時的に記憶する。特に限定されないが、制御装置10は、所定の単位時間あたりに複数の監視画像Kを含む一つの動画ファイルとして監視画像Kを記憶してもよいし、ストリーミング方式で転送・再生が可能な形態で監視画像Kを記憶してもよい。
本実施形態の制御装置10の通信機能について説明する。制御装置10は、生成された監視画像Kを含む情報を、公衆通信網として利用可能な通信回線900を用いて外部の端末装置800へ送信することができる。
以下、監視画像Kを受信し、監視画像Kを表示する端末装置800について説明する。
端末装置800は、上述した監視装置100の外部に配置され、監視装置100と通信を行う通信装置810と、取得した画像を表示用の画像に変換する画像処理装置820と、変換された表示用の監視画像Kを表示するディスプレイ830とを備える。
通信装置810は、監視装置100が送出した監視画像Kとこの監視画像Kに対応づけられたマッピング情報を受信する。この監視画像Kは、車両Vのボディの異なる位置に設置された複数のカメラ1の撮像画像が、車両Vのボディの外周に沿って右回り又は左回りの方向に沿って設置されたカメラ1の設置順序(車両Vのボディの外周に沿う右回り又は左回りの順序)に従って配置されたものである。また、この監視画像Kには、監視画像Kを柱体の投影モデルMの投影面Sに投影させるためのマッピング情報が対応づけられている。通信装置810は取得した監視画像K及びマッピング情報を画像処理装置820へ送出する。
画像処理装置820は、予め記憶している投影モデルMを読み出し、マッピング情報に基づいて、図10及び図11に示す車両Vの載置面を底面とする柱体の投影モデルMの側面に設定された投影面Sa〜Sdに監視画像Kを投影させた表示画像を生成する。具体的には、マッピング情報に従い、受信した監視画像Kの各画素を、投影面Sa〜Sdの各画素に投影する(マッピングする)。
画像処理装置820は、監視画像Kを投影モデルMに投影する際に、監視画像Kと共に受信した基準座標に基づいて、監視画像Kの開始点(監視画像Kの右端又は左端)を認識し、この開始点が予め投影モデルM上に定義された開始点(投影面Sの右端又は左端)と合致するように投影処理を行う。
また、画像処理装置820は、監視画像Kを投影モデルMに投影する際に、各撮像画像の境界を示す線図形(仕切り画像)を投影モデルM上に配置する。仕切り画像は、予め投影モデルMに付しておくこともでき、投影処理後に監視画像Kに付すこともできる。
ディスプレイ830は、投影モデルMの投影面Sに投影した監視画像Kを表示する。図12〜図19は、監視画像Kの表示画像の例を示す。
図12には、図10,11に示す視点R1から見た投影面Sd、Sa、Sbに投影された監視画像Kを示す。投影モデルMの底面には各視点R〜見た車両Vの画像が貼り付けられている。また、投影面Sd、Sa、Sbの間にある画像が表示されていない部分は「境界を示す線図形(仕切り画像)」である。
同様に、図13には視点R2から見た監視画像Kを示し、図14には視点R3から見た監視画像Kを示し、図15には視点R4から見た監視画像Kを示し、図16には視点R5から見た監視画像Kを示し、図17には視点R6から見た監視画像Kを示し、図18には視点R7から見た監視画像Kを示し、図19には視点R8から見た監視画像Kを示す。
このように、本実施形態の端末装置800は、車両Vのボディに設置されたカメラ1の設置順序に応じて各カメラ1の撮像画像をx軸方向又はy軸方向に沿って(横に)配置した監視画像Kを、その配置順に従って柱体の投影モデルMの側面に沿って(横に)マッピングするので、投影モデルMに示された監視画像Kは、車両Vの周囲を時計回りに見回したときに見える映像を示すことができる。
特に図12〜図19に示すように、投影モデルMの底面に車両Vの画像を示すことにより、車両Vの向きと各撮像画像との位置関係が分かり易くすることができる。つまり車両Vのフロントグリルに対向する投影面Sには、車両Vのフロントグリルに設けられたカメラ1aの撮像画像GSP1を投影し、車両Vの右サイドミラーに対向する投影面Sには、車両Vの右サイドミラーに設けられたカメラ1dの撮像画像GSP4を投影し、車両Vのリア部に対向する投影面Sには、車両Vのリア部に設けられたカメラ1cの撮像画像GSP3を投影し、車両Vの左サイドミラーに対向する投影面Sには、車両Vの左サイドミラーに設けられたカメラ1bの撮像画像GSP2を投影することができる。このように、図12〜図19に示すように、本実施形態によれば、車両Vの周囲の映像がその位置関係を保ったまま投影された監視画像Kを提示することができるので、ユーザは車両のどこで何が起きているかを容易に把握することができる。
ちなみに、図12〜図19は静止画であるため、実際の表示画像の再生状態を示すことができないが、本実施形態の端末装置800においては、ディスプレイ830の表示画面中の各投影面Sに示される画像はそれぞれ動画である。つまり、車両Vのフロントグリルに対向する投影面Sには、車両前方の撮像領域SP1の動画映像が映し出され、車両Vの右サイドミラーに対向する投影面Sには、車両右側方の撮像領域SP4の動画映像が映し出され、車両Vのリア部に対向する投影面Sには、車両後方の撮像領域SP3の動画映像が映し出され、車両Vの左サイドミラーに対向する投影面Sには、車両左側方の撮像領域SP2の動画映像が映し出されている。つまり、図12〜図19に示す各投影面Sには、異なるカメラ1により撮像された撮像画像に基づく複数の動画の監視画像Kを同時に再生することができる。
なお、ディスプレイ830は、タッチパネル式の入力情報の受付が可能な装置であり、ユーザが視点を自在に設定・変更することができる。視点位置と投影面Sとの対応関係は上述の画像処理装置820又はディスプレイ830において予め定義されているので、この対応関係に基づいて、変更後の視点に応じた監視画像Kをディスプレイ830に表示することができる。
以下、本発明の本実施形態の車両監視システム1000の処理手順を説明する。図20は、本実施形態に係る車両監視システム1000の制御手順を示すフローチャートである。
ステップ10において、本実施形態の監視装置100の制御装置10は、監視開始タイミングであるか否かを判断する。特に限定されないが、本実施形態の監視装置100は、イグニッションスイッチ300に入力されたエンジンのオフ信号が入力され、通信機能を有する車両Vの電子キーが車両Vの近傍に存在しない場合(電子キーを携帯するユーザが車両Vから離れている場合)や、ユーザの外部の端末装置800から監視画像Kの要求指令を受け付けた場合に監視処理を開始することができる。
ステップ20において、本実施形態の監視装置100は、車両Vに設置された複数のカメラ1に撮像を開始させる。そして、ステップ30において、監視装置100は、各カメラにより撮像された撮像画像をそれぞれ取得する。
ステップ40において、本実施形態の監視装置100は、車両Vのボディの外周に沿って右回り又は左回りの方向に沿って設置されたカメラ1の複数の撮像画像を、このカメラ1の設置の順序に従う配置となるように合成し、一枚の監視画像Kを生成する。
ステップ50において、本実施形態の監視装置100は、使用する投影モデルMを選択する。投影モデルMの選択は、ユーザによって予め特定されてもよいし、車種ごとに予め特定しておいてもよい。
ステップ60において、本実施形態の監視装置100は、各撮像画像の歪みを補正する。本実施形態のカメラ1が広角カメラである場合には、撮像画像の中心から離れるにつれて(外縁近傍において)画像の歪みが大きくなるため、監視装置100は、所定の画像変換処理を行うことにより、各撮像画像の歪みを補正することができる。本実施形態では、監視画像Kを投影モデルMに投影した状態における歪みを補正するため、一度投影処理を行ってから歪み補正処理を行うことができる。歪み補正の手法は出願時に知られている手法を適宜に利用することができる。
ステップ70において、本実施形態の監視装置100は、監視画像Kの画素数が各カメラ1の撮像画像の画素数と略同一になるように画像のデータ量を圧縮する。
ステップ80において、本実施形態の監視装置100は、監視画像Kの右端又は左端に配置された撮像画像の基準座標をマッピング情報として監視画像Kに付する。これにより、監視画像Kと投影モデルMとの位置関係を対応づけることができる。
続くステップ90において、本実施形態の監視装置100は、監視画像Kに配置された各撮像画像の境界を示す線図形(仕切り画像)を、監視画像Kに付する。
続くステップ100において、監視装置100は、上述した処理により得られた、マッピング情報が対応づけられた監視画像Kを含む情報を外部の端末装置800へ送信する。そして、ステップ110において監視処理の終了が判断されるまで、ステップ20以降の処理が繰り返される。
外部の端末装置800の通信装置810は、ステップ31において、監視装置100から送出された監視画像Kを、マッピング情報とともに受信する。
次に、ステップ32において、画像処理装置820は、マッピング情報に従い、監視画像Kを投影モデルMの投影面Sに投影する。投影モデルMの底面には、予め車両Vの映像を付しておくことができる。
そして、ステップ33においてディスプレイ830は、投影モデルMに投影された監視画像Kを含む情報を表示する。
なお、本実施形態では、監視装置100が車両Vに配置された場合を例にして説明したが、本発明の本実施形態に係る車両Vの監視方法を各装置において実行させることができる。また、本発明の本実施形態に係る車両Vの監視方法を、カメラ1、通信装置400を制御可能なクライアント(コンピュータ・制御装置)と情報の授受が可能なサーバ(コンピュータ・制御装置)において処理の一部又は全部実行することもできる。サーバは、クライアントと離隔した場所に配置することができる。
サーバは以下の指令を実行して、本発明に係る本実施形態の車両の監視方法を実行することができる。この指令の内容は、車両Vのボディの異なる位置に設置され、車両Vの周囲を撮像する複数のカメラ1の撮像画像をそれぞれ取得するステップと、車両Vのボディの外周に沿って右回り又は左回りの方向に設置されたカメラ1の撮像画像に基づいて、このカメラ1の設置の順序に従って配置された一枚の監視画像Kを生成するステップと、生成された監視画像Kを車両Vの載置面を底面とする柱体の投影モデルMの側面に設定された投影面Sに投影させるマッピング情報を監視画像Kに付加するステップと、監視画像Kとマッピング情報とを外部の端末装置800へ送信するステップと、を含む。処理の具体的な内容は、本実施形態の監視装置100、車両監視システム1000と共通するのでこれらの説明を援用する。
また、上述の監視方法を実行させるサーバは、監視画像Kの投影処理を行い、投影モデルMに監視画像Kを投影した表示用の画像を生成することができる。
この場合において、サーバは以下の指令を実行して、本発明に係る本実施形態の車両の監視方法を実行することができる。指令の内容は、車両Vのボディの異なる位置に設置され、車両Vの周囲を撮像する複数のカメラ1の撮像画像をそれぞれ取得するステップと、車両Vのボディの外周に右回り又は左回りの方向に沿って設置されたカメラ1の撮像画像に基づいて、このカメラ1の設置の順序に従って配置された一枚の監視画像Kを生成するステップと、生成された監視画像Kを車両Vの載置面を底面とする柱体の投影モデルMの投影面Sに投影させるマッピング情報を監視画像Kに付加するステップと、マッピング情報に基づいて、車両Vの載置面を底面とする柱体の投影モデルMの側面に設定された投影面Sに監視画像Kを投影させた表示画像を生成するステップと、を含む。サーバは、生成した表示画像を閲覧可能なように記憶し、端末装置800からのアクセスがあった場合に、表示画像の閲覧を許可し、端末装置800のディスプレイ830に表示画像を表示させることができる。また、サーバは、端末装置800からの要求に応じて、表示画像のダウンロードを許可し、又は表示画像を端末装置800へ送信して端末装置800のディスプレイ830に表示させてもよい。なお、処理の具体的な内容は、本実施形態の監視装置100、車両監視システム1000と共通するのでこれらの説明を援用する。
さらに、端末装置800に以下の指令を実行させて、端末装置800の動作を制御し、本発明に係る本実施形態の車両の監視方法を実行することができる。指令の内容は、車両Vのボディの異なる位置に設置された複数のカメラ1の撮像画像が、車両Vのボディの外周に右回り又は左回りの方向に沿って設置されたカメラ1の設置順序に従って連続して配置された監視画像Kと、車両Vの載置面を底面とする柱体の投影モデルMの投影面Sに投影させるためのマッピング情報とを、通信回線を介して受信させるステップ、取得させた監視画像Kをマッピング情報に基づいて、車両Vの載置面を底面とする柱体の投影モデルMの投影面Sに、この監視画像Kを投影して表示画像を生成させるステップと、を含む。なお、処理の具体的な内容は、本実施形態の端末装置800と共通するのでこれらの説明を援用する。
以上のとおり構成され、動作する本発明の実施形態に係る監視装置100、車両監視システム1000、及び端末装置800は、以下の効果を奏する。
本実施形態に係る監視装置100によれば、複数のカメラ1a〜1dで撮像された撮像画像をカメラ1a〜1dの設置の順序に従って配置した一枚の監視画像Kと、この監視画像Kを柱体の投影モデルMの側面に設定された投影面Sに投影するためのマッピング情報とを外部の端末装置800へ送信するので、複数の撮像画像がカメラの設置順序で配置された一連(ひとつながり)の監視画像Kを柱体の側面に設定された投影面Sに投影することができる、このため、各端末装置の備える機能にかかわらず、撮像方向の異なる複数の撮像画像から生成された監視画像Kを動画として再生することができる。この結果、複数のカメラにより得た各撮像画像の情報を無駄にすることなく、ユーザの監視用の画像として有効に利用することができる。
本実施形態に係る監視装置100によれば、各カメラ1の撮像タイミングが略同時である各撮像画像から動画態様の監視画像Kを生成するので、監視画像Kに含まれる各撮像画像の情報を同期させることができる。このため、所定タイミングにおける車両周囲の状況を複数の撮像画像に基づく動画により正確に表現することができる。
本実施形態に係る監視装置100によれば、監視画像Kの画素数が各カメラ1の撮像画像の画素数と略同一になるように画像のデータ量を圧縮して監視画像Kを生成するので、監視画像Kを受信した端末装置800側の機能にかかわらず、画像処理及び画像再生を実行させることができる。
本実施形態に係る監視装置100によれば、監視画像Kの右端又は左端に配置された撮像画像の基準座標を、監視画像Kに付するので、監視画像Kを受信した端末装置800が、監視画像Kと投影モデルMとの対応位置関係を認識することができる。
本実施形態に係る監視装置100によれば、配置された各撮像画像の境界を示す線図形の仕切り画像Bb,Bc,Bd,Baを、監視画像Kに付するので、一体の監視画像Kを構成するが撮像方向が異なる各監視画像Kをそれぞれ独立に認識させることができる。また、各撮像画像の境界付近は画像の歪みが大きいので、撮像画像の境界に仕切り画像を配置することにより、歪みの大きい領域の画像を隠すことや、歪みが大きいことを示唆することができる。
本実施形態に係る監視装置100によれば、投影モデルMの側面に設定された投影面Sに撮像画像を投影させた場合の歪みを補正してから、監視画像Kを生成するので、歪みの少ない見易い監視画像Kを提供することができる。また、歪みを予め補正しておくことにより、並べて配置された各撮像画像同士の位置ズレを低減させることができる。この結果、ひとつづきにされた複数の各撮像画像を、ユーザに一つの監視画像Kとして認識させることができる。
本実施形態における車両Vの監視方法を使用した場合においても、監視装置100、監視システム100及び端末装置800と同様の作用を奏し、同様の効果を得ることができる。
なお、以上説明したすべての実施形態は、本発明の理解を容易にするために記載されたものであって、本発明を限定するために記載されたものではない。したがって、上記の実施形態に開示された各要素は、本発明の技術的範囲に属する全ての設計変更や均等物をも含む趣旨である。
本明細書では、本発明に係る車両用監視装置の一態様として監視装置100及び車両監視システム1000を例にして説明するが、本発明はこれに限定されるものではない。
また、本明細書では、本発明に係る車両用監視装置の一態様として、CPU11、ROM12、RAM13を含む制御装置10を備える監視装置100を一例として説明するが、これに限定されるものではない。
また、本明細書では、カメラと、監視画像生成手段と、マッピング情報付加手段と、送信手段とを有する本発明に係る車両用監視装置の一態様として、カメラ1と、監視画像生成機能、マッピング情報付加機能、送信機能を実現する制御装置10を備える監視装置100を説明するが、これに限定されるものではない。
本明細書では、通信手段と、画像処理手段と、表示手段とを備える端末装置の一態様として、通信装置810と、画像処理装置820と、ディスプレイ830とを備える端末装置800を説明するが、これに限定されるものではない。
本明細書では、本発明に係る車両監視システムの一態様として、本願発明に係る監視装置100と、車両コントローラ200と、通信装置400と、外部の端末装置800とを備えた車両監視システム1000を例にして説明するが、本発明はこれに限定されるものではない。
<第2実施形態>
以下、本発明の第2実施形態に係る車両監視システム1000について説明する。
以下、本発明の第2実施形態に係る車両監視システム1000について説明する。
先述したように、この種の装置に関し、ドアの接触センサなどが検出した外部からの刺激を検出した場合には、カメラに周囲を撮像させ、その画像情報を外部の携帯電話等に転送する防犯装置が知られているが、車両に設置された複数のカメラの撮像画像を外部の端末装置に送信した場合に、受信側の端末装置で複数の撮像画像を同時に再生すると、どの撮像画像に注目すればよいかが分からずに、監視対象物体を確認するのに時間がかかるという問題がある。
本発明の第2実施形態においては、複数の撮像画像に基づいて生成されつつも、どの撮像画像に注目すべきかが分かりやすい監視画像を生成することを課題とする。
本発明の第2実施形態に係る車両監視システム1000は、複数のカメラで撮像された撮像画像をカメラの設置の順序に従って配置し、車両の周囲において検出された監対象物体の存在位置の情報を付した監視画像と、この監視画像を柱体の投影モデルの側面に設定された投影面に投影するためのマッピング情報とを外部の端末装置へ送信することにより、上記課題を解決する。
本発明の第2実施形態に係る車両監視システム1000は、送信された監視画像を受信した外部の端末装置が、マッピング情報に基づいて、柱体の側面に設定された投影面に複数の撮像画像がカメラの設置順序で配置された一枚の監視画像を一連(ひとつながり)に投影するとともに、監視画像に付された監視対象物体の存在位置の情報に基づいて監視対象物体の像を投影面の任意の位置に投影することができるので、注目すべき監視対象物体が分かりやすい監視画像を表示することができる。この結果、監視対象物体の像にユーザの注意を向けさせることができるため、監視対象物体を確認する時間を短縮することができ、車両の遠隔監視の利便性を向上させることができる。
第2実施形態の車両監視システム1000は、車両の周囲の監視対象物体の存在位置を検出する近接センサを備える点、この近接センサにより車両の周囲において検出された監対象物体の存在位置の情報が対応づけられた監視画像を生成する点、監視対象物体の存在位置とマッピング情報とが対応づけられた監視画像を端末装置800に送信する点を特徴とし、基本的な構成及び動作は第1実施形態の車両監視システム1000の構成及び動作と共通する。本実施形態では、重複した説明を避けるため、第1実施形態に係る説明を援用し、重複する説明は省略する。
図21は、本実施形態に係る監視装置100を含む車両監視システム1000のブロック構成図である。図21に示すように、本実施形態の車両監視システム1000は、車両に設置された4つのカメラ1a〜1d(以下、カメラ1と総称することもある)と、近接センサ2a〜2dと、以上検出センサ3と、を備えている。
図22に例示するように、カメラ1a〜1dは車両Vに取り付けられる。カメラ1a〜1dは、図2に示す第1実施形態のカメラ1a〜1dと同様の位置に配置され、第1実施形態と同様に、図3に示す各エリアを撮像する。フロントカメラ1aはエリアSP1を撮像し、撮像画像GSP1(例えば図4)を得る。右サイドカメラ1bはエリアSP4を撮像し、撮像画像GSP4(例えば図5)を得る。リアカメラ1cはエリアSP3を撮像し、撮像画像GSP3(例えば図6)を得る。左サイドカメラ1dはエリアSP2を撮像し撮像画像GSP2(例えば図7)を得る。各撮像画像の画像サイズは、480ピクセル(縦)×640ピクセル(横)である。撮像画像のサイズは特に限定されないが、一般的な端末装置が動画再生可能なサイズとすることができる。
なお、カメラ1の配置数及び配置位置は、車両Vの大きさ、形状、検出領域の設定手法等に応じて適宜に決定することができる。上述した複数のカメラ1は、それぞれのアドレス(配置)に応じた識別子が付されており、制御装置10は、各識別子に基づいて各カメラ1のそれぞれを識別することができる。また、制御装置10は、識別子を付することにより、特定のカメラ1に起動命令その他の命令を送出することができる。
また、図22に示すように、カメラ1a〜1dの近傍には、監視対象物体を検出する近接センサ2a〜2dが設けられている。近接センサ2a〜2dは、超音波センサ、赤外線センサ、静電センサなどである。近接センサ2a〜2dは、車両V周囲の所定領域に物体が存在するか否か、又は車両周囲の物体が車両Vに接近しているか又は離隔しているか、及び近接センサ2a〜2dの設置位置に基づいて検出した物体の存在方向を検出することができる。これらの近接センサ2a〜2dは、物体に関する検出結果を監視装置100へ送出する。
さらに、図21に示すように、本実施形態の車両監視システム1000は、監視対象物体を検出する車両のドアの接触センサ、傾斜センサ、侵入センサその他の車両の異常検出センサ3を備える。ドアの接触センサは移動物体がドアに接触したことにより監視対象物体の存在を検出することができ、傾斜センサは車両に所定値以上の傾きが生じたことにより監視対象物体の存在を検出することができ、侵入センサはドアのこじ開けや窓が割られるなどの車両への侵入のトリガが生じたことにより監視対象物体の存在を検出することができる。ちなみに、接触センサは人間が触れたドアを特定することにより、監視対象物体の存在位置(存在方向)を検出することができ、傾斜センサは車両の傾き方向により監視対象物体の存在位置(存在方向)を検出することができ、侵入センサは、異常が生じたガラスやドアの位置により監視対象物体の存在位置(存在方向)を検出することができる。異常検出センサ3は、上述の接触センサ、傾斜センサ、侵入センサに限定されず、車両に外力を与える蓋然性のある監視対象物体の存在及び存在位置を検出する機能を有するものであれば適用することができる。異常検出センサ3は、近接センサ2a〜2dに代えて、又は近接センサ2a〜2dとともに車両に設けてもよい。
図21に示すように、本実施形態の車両監視システム1000は、さらに、監視装置100と、車両コントローラ200と、通信装置400と、外部の端末装置800と、を有する。この車両監視システム1000は、車両コントローラ200と情報の授受が可能なイグニッションスイッチ300を備える。これらの各装置はCAN(Controller Area Network)その他の車載LANによって接続され、相互に情報の授受を行うことができる。
本実施形態の車両監視システム1000において、監視装置100は、通信装置400を介して携帯電話、スマートフォンその他の通信装置810を備える外部の端末装置800(コンピュータ)と相互に通信が可能である。本実施形態の外部の端末装置800は、通信装置810と、画像処理装置820と、ディスプレイ830とを備え、通信装置810が車載の監視装置100側から監視画像を取得し、画像処理装置820が監視画像の表示に必要な画像処理を実行し、ディスプレイ830が監視画像を表示する。外部の端末装置800を所持するユーザは、監視装置100から送出された車両の監視画像を、外部の端末装置800を用いて確認することができる。
また、図21に示すように、本実施形態に係る監視装置100の制御装置10は、複数の監視画像に基づいて生成され、監視対象物体の存在位置が対応づけられた監視画像を生成するとともに、この監視画像を柱体の投影モデルの側面に設定された投影面に投影するためのマッピング情報を監視画像に対応づけ、監視画像とマッピング情報とを外部の端末装置800に送出するプログラムが格納されたROM(Read Only Memory)12と、このROM12に格納されたプログラムを実行することで、監視装置100として機能する動作回路としてのCPU(Central Processing Unit)11と、アクセス可能な記憶装置として機能するRAM(Random Access Memory)13と、を備えている。
本実施形態に係る監視装置100の制御装置10は、監視物体検出機能と、監視画像生成機能と、マッピング情報付加機能と、送信機能とを実現するためのソフトウェアと、上述したハードウェアの協働により各機能を実行することができる。本実施形態では、制御装置10が各制御命令を送出する態様を例にして説明するが、本実施形態の制御装置10は、車両コントローラ200を介してカメラ1、通信装置400を制御することも可能である。
以下、本発明の本実施形態に係る監視装置100が実現する、監視物体検出機能、監視画像生成機能、マッピング情報付加機能、及び送信機能の各機能について説明する。
まず、監視物体検出機能について説明する。本実施形態に係る監視装置100の制御装置10は、車両Vの周囲において監視対象物体の存在位置を検出する。本実施形態における監視対象物体とは、特に限定されないが、例えば人間のように、高さがあり且つ移動可能な物体である。
特に限定されないが、本実施形態に係る監視装置100の制御装置10は、カメラ1による撮像画像に基づいて監視対象物体の存在位置(距離を含む)を検出することができ、近接センサ2の検出結果に基づいて監視対象物体の存在位置(距離を含む)を検出することができ、異常検出センサ3の検出結果に基づいて監視対象物体の存在位置(距離を含む)を検出することができる。
具体的に、本実施形態に係る監視装置100の制御装置10は、画像処理コントロールユニット(Image Processing Control Unit: IPCU)を備える。制御装置10は、画像処理コントロールユニットを用いて、各カメラ1の撮像画像を解析し、撮像画像のデータから物体に対応する画像を抽出し、物体が立体物であるか否か、さらに抽出した画像の移動量に基づいて検出した物体が移動物体であるか否かを判断することができる。たとえば、制御装置10は、先述した画像処理コントロールユニットを用い、カメラ1の撮像画像から所定の高さ以上の物体に対応する画像が検出され、その画像の位置が経時的に変化する場合には、移動立体物である監視対象物体が検出されたと判断することができる。移動立体物である監視対象物体を検出するための画像処理の手法は、出願時において知られた手法を適宜に用いることができる。
また、近接センサ2a〜2dから取得した検出結果に基づいて、移動立体物の存在を検出し、その移動立体物の位置の変化から車両に接近する監視対象物体を検出することができる。
さらに、異常検出センサ3から取得した検出結果に基づいて、車両に外力を及ぼす監視対象物体の存在及びその存在位置を検出することができる。
制御装置10は、車両Vの周囲に複数の監視対象物体が検出された場合には、車両Vに最も接近した監視対象物体の存在位置を検出結果とすることができる。監視対象物体の存在位置の情報は、次に説明する監視画像の生成処理において用いられる。
続いて、監視画像生成機能について説明する。本実施形態の監視装置100の制御装置10は、各カメラ1の撮像画像をそれぞれ取得し、車両Vのボディの外周に沿って右回り又は左回りの方向に沿って設置されたカメラ1の撮像画像が、このカメラ1の設置の順序に従って配置され、検出された監視対象物体の存在位置の情報が対応づけられた一枚の監視画像を生成する。
先述したように、本実施形態において、カメラ1は車両Vのボディの外周VEに沿って右回り(時計回り)にカメラ1a、1b、1c、1dの順に設置されているので、制御装置10は、このカメラ1の設置の順序(カメラ1a、1b、1c、1d)に従って、各カメラ1が撮像した複数の撮像画像が一体となるように横方向に接続し、一枚の監視画像を生成する。本実施形態の監視画像において、各撮像画像は車両Vの載置面(路面)が下辺となるように配置され、各撮像画像は路面に対して高さ方向(垂直方向)の辺で接続されている。
本実施形態においても、第1実施形態において図8に示す監視画像Kを生成することができる。監視画像Kは、図面左側から図面右側へ向かう方向Pに沿って、フロントカメラ1aがエリアSP1を撮像した撮像画像GSP1、右サイドカメラ1bがエリアSP4を撮像した撮像画像GSP4、リアカメラ1cがエリアSP3を撮像した撮像画像GSP3、及び左サイドカメラ1dがエリアSP2を撮像した撮像画像GSP2が、左から右へ向かって横方向にGSP1、GSP4、GSP3、GSP2の順序で並べて配置され、これら4つの撮像画像が一連に(ひとつながりに)されている。監視画像Kは、横に一列に並べられた撮像画像GSP1、撮像画像GSP4、撮像画像GSP3、撮像画像GSP2を含んでいる。
このように生成された監視画像Kを、路面(車両の載置面)に対応する画像を下にして左端から右側へ順番に示すことにより、車両Vの周囲を時計回りに見回したときに見える映像をユーザに示すことができる。
本実施形態の監視装置100の制御装置10は、一つの監視画像Kを生成する際には、各カメラ1の撮像タイミングが略同時である各撮像画像を用いることができる。これにより、監視画像Kに含まれる情報を同期させることができるので、所定タイミングにおける車両周囲の状況を正確に表現することができる。ちなみに、同じ監視画像Kに含まれる車両前方の撮像画像GSP1と車両右側方の撮像画像GSP4との撮像タイミングが異なる場合には、監視画像Kを再生したときに、異なる撮像タイミングの画像が同時に再生されるため、これを見るユーザに違和感を与えるが、本実施形態の監視装置100は、略同時に撮像された撮像画像を用いて監視画像Kを生成するので、このような違和感を与えることが無い。
本実施形態の制御装置10は、カメラの撮像タイミングが略同時である各撮像画像から生成した監視画像Kを経時的に記憶し、所定の単位時間あたりに複数の監視画像Kが含まれる動画の監視画像Kを生成することができる。撮像タイミングが同時の撮像画像に基づいて動画の監視画像Kを生成することにより、車両周囲の状況の変化を正確に表現することができる。
ところで、各撮像領域の撮像画像を経時的に記憶し、各撮像領域ごとに生成した動画の監視画像Kを端末装置へ送信した場合には、端末装置の機能によっては、複数の動画を同時に再生できない場合がある。このような従来の端末装置においては、複数の動画を同時に再生表示することができないため、各動画を再生する際には画面を切り替えて動画を一つずつ再生しなければならない。つまり、従来の端末装置では、複数方向の映像(動画)を同時に見ることができず、車両周囲の全体を一画面で監視することができないという不都合がある。
これに対し、本実施形態の制御装置10は、複数の撮像画像から一つの監視画像Kを生成するので、端末装置800の機能にかかわらず、異なる撮像方向の撮像画像を同時に動画再生することができる。つまり、監視画像Kを連続して再生(動画再生)することにより、監視画像Kに含まれる4枚の撮像画像を同時に連続して再生(動画再生)し、方向の異なる領域の状態変化を一画面で監視することができる。
また、本実施形態の監視装置100の制御装置10は、監視画像Kの画素数が各カメラ1の撮像画像の画素数と略同一になるように画像のデータ量を圧縮して監視画像Kを生成することができる。図4〜図7に示す角撮像画像のサイズは480×640ピクセルである。図8に示すように、本実施形態の制御装置10は、監視画像Kのサイズが1280×240ピクセルとなるように、圧縮処理を行う。これにより、監視画像Kのサイズ(1280×240ピクセル)が、各撮像画像のサイズ(480×640ピクセル)と等しくなるので、監視画像Kを受信した端末装置800側の機能にかかわらず、画像処理及び画像再生を実行させることができる。
さらに、本実施形態の監視装置100の制御装置10は、監視対象物体の存在位置を示す情報(座標値、又は座標上の領域値)を監視画像Kに付することができる。なお、車両Vの周囲に複数の監視対象物体が検出された場合には、車両Vに最も接近した監視対象物体の存在位置を監視画像Kに付することができる。
このように、監視対象物体の存在位置を監視画像Kに付することにより、外部の端末装置800で表示する際に、監視対象物体の存在位置の情報に基づいて監視対象物体を正視する視点から見た監視画像Kを投影するので、監視画像Kに含まれる複数の撮像画像のうち、どの撮像画像に注目すべきかが分かりやすい監視画像Kを表示することができる。この結果、監視対象物体の像を含む撮像画像にユーザの注意を向けさせることができるため、監視対象物体を確認する時間を短縮することができ、車両の遠隔監視の利便性を向上させることができる。
加えて、本実施形態の監視装置100の制御装置10は、監視対象物体が検出された場合には、監視対象物体の像を中心とした所定領域の撮像画像のみが配置された監視画像Kを生成することができる。
具体的に、図23に示すように、左サイドミラー部分に設置されたカメラ1dの撮像画像GSP2と、フロントグリル部分に設置されたカメラ1aの撮像画像GSP1と、右サイドミラー部に設置されたカメラ1bの撮像画像GSP4と、リア(後方)部分に設置されたカメラ1cの撮像画像GSP3が得られた場合に、本実施形態の制御装置10は、監視対象物体に対応する画像上の位置Pの存在位置を基準点P0とし、この基準点P0を中心として、左右に90度(全体で180度)の視野に対応する監視領域の画像を監視画像K4とし、この監視画像K4のみを配置した監視画像Kを生成することができる。ちなみに、図23は、第1実施形態において説明した図8に対応する図である。
このように、監視対象物体を中心に配置して、監視対象物体が検出されなかった監視が不要な画像を削除することにより、監視対象物体の動きが把握しやすい監視画像K4を生成することができる。しかも、監視画像Kとして送出するデータ量を低減させることができる。この結果、監視画像Kを外部端末装置800へ送出する際の通信データ量の総量を低減させて、監視システム稼働時の通信コストを低減させることができる。
また、本実施形態の監視装置100の制御装置10は、図8に示す第1実施形態の監視画像Kと同様に、配置された各撮像画像の境界を示す線図形を、監視画像Kに付することができる。図8に示す監視画像Kを例にすると、制御装置10は、配置された各撮像画像の境界を示す線図形として、各撮像画像の間に矩形の仕切り画像Bb,Bc,Bd,Baを監視画像Kに付することができる。このように、撮像画像の境界に仕切り画像を配置することにより、一体の監視画像Kを構成するが撮像方向が異なる各監視画像Kをそれぞれ独立に認識させることができる。つまり、仕切り画像は各撮像画像の額縁として機能する。また、各撮像画像の境界付近は画像の歪みが大きいので、撮像画像の境界に仕切り画像を配置することにより、歪みの大きい領域の画像を隠すことや、歪みが大きいことを示唆することができる。
本実施形態の監視装置100の制御装置10は、後述する投影モデルの側面に設定された投影面に撮像画像を投影させた場合の歪みを補正してから、監視画像Kを生成することができる。撮像画像の周辺領域は画像の歪みが生じやすく、カメラ1が広角カメラである場合には特に撮像画像の歪みが大きくなる傾向がある。このため、本実施形態では、画像の歪みを補正するために予め定義された画像変換アルゴリズムと補正量とを用いて、撮像画像の歪みを補正する。
特に限定されないが、制御装置10は、図9に示す第1実施形態と同様に、端末装置800において監視画像Kを投影させる投影モデルと同じ投影モデルの情報をROM12から読み出し、この投影モデルの投影面に撮像画像を投影し、投影面において生じた歪みを予め補正することができる。なお、画像変換アルゴリズムと補正量はカメラ1の特性、投影モデルの形状に応じて適宜定義することができ、出願時に知られた手法を利用することができる。
このように、投影モデルの投影面に関し画像Kを投影した場合の歪みを予め補正しておくことにより、歪みの少ない見易い監視画像Kを提供することができる。また、歪みを予め補正しておくことにより、並べて配置された各撮像画像同士の位置ズレを低減させることができる。
次に、本実施形態の監視装置100のマッピング情報付加機能について説明する。本実施形態の監視装置100において、制御装置10は、車両Vの載置面を底面とする柱体の投影モデルMの側面に設定された投影面に、生成された監視画像Kを投影するためのマッピング情報を監視画像Kに付加することができる。
本実施形態においても、第1実施形態において図10、図11に示す投影モデルMを用いることができる。図10は投影モデルMの斜視図、図11は投影モデルMのxy面に沿う断面模式図である。本実施形態において用いる投影モデルMは、第1実施形態における投影モデルMと共通するので、その説明を援用する。
これにより、投影モデルMに投影された監視画像Kは、車両Vの周囲を見回したときに見える映像を示すことができる。つまり、カメラ1の設置順序に応じて横一列に配置された撮像画像を含む監視画像Kは、投影モデルMの柱体において、同じく横に並ぶ側面に投影されるので、柱体の投影モデルMの投影面Sに投影された監視画像Kに、車両Vの周囲の映像をその位置関係を維持したまま再現することができる。
また、本実施形態の制御装置10は、監視画像Kの各座標値と投影モデルMの各投影面Sの座標値との対応関係をマッピング情報として記憶し、監視画像Kに付することができる。本実施形態の制御装置10は、近接センサ2a〜2dにより検出された監視対象物体の存在位置の情報と、マッピング情報(監視画像Kの各座標値と投影モデルMの各投影面Sの座標値との対応関係)とを対応づけて監視画像Kに付することができる。監視画像Kの各座標値と投影モデルMの各投影面Sの座標値との対応関係であるマッピング情報は、端末装置800側に予め記憶させておくこともできる。
なお、同図に示す視点R、投影面Sの位置は例示であり、任意に設定することができる。特に、視点Rは、ユーザの操作によって変更可能である。視点Rと監視画像Kの投影位置との関係は予め定義されており、視点Rの位置が変更された場合には所定の座標変換をすることにより、新たに設定された視点Rから見た監視画像Kを投影面S(Sa〜Sd)に投影することができる。この視点変換処理には、出願時に知られている手法を用いることができる。
さらに、本実施形態の監視装置100の制御装置10は、検出された監視対象物体の存在位置の情報とマッピング情報とを対応づけることにより、車両Vの載置面を底面とする柱体の投影モデルMの側面に設定された投影面Sに、検出された監視対象物体の像を正視する監視視点を設定し、この監視視点から見た監視画像Kを投影面Sに投影するマッピング情報を監視画像Kに付加することができる。
ここで、本実施形態における検出された監視対象物体の像を正視する監視視点とは、監視対象物体を正面から見ることのできる視点である。図11に示す投影モデルMを例にすれば、車両前方の領域SP1に監視対象物体が存在する場合には監視視点はR1であり、車両右側方の領域SP4に監視対象物体が存在する場合には監視視点はR3であり、車両後方の領域SP3に監視対象物体が存在する場合には監視視点はR5であり、車両左側方の領域SP2に監視対象物体が存在する場合には監視視点はR7である。同様に、車両右斜め前方の領域SP1とSP4との重複領域に監視対象物体が存在する場合には監視視点はR2であり、車両右斜め後方の領域SP4とSP3との重複領域に監視対象物体が存在する場合には監視視点はR4であり、車両左斜め後方の領域SP3とSP2との重複領域に監視対象物体が存在する場合には監視視点はR6であり、車両左斜め前方の領域SP2とSP1との重複領域に監視対象物体が存在する場合には監視視点はR8である。
特に、検出された監視対象物体の存在位置の情報が対応づけられた監視画像Kを、監視対象物体の像を正視する監視視点から見た監視画像Kを投影面Sに投影するためのマッピング情報が監視画像Kに付された場合には、端末装置800が、監視対象物体の像を正視する監視視点から見た監視画像Kを投影面Sに投影することができる。
具体的に、本実施形態のマッピング情報には、監視対象物体の像を正視する監視視点の座標と、監視対象物体が含まれる撮像画像(監視画像K)の始端位置又は終端位置を示す情報、つまり投影処理において基準とする基準座標とを含ませることができる。これにより、監視画像Kを受信した端末装置800が、監視視点から正視される撮像画像を投影モデルMに投影する際の基準位置を認識することができるので、監視対象物体を正視する監視画像Kをディスプレイ830に表示することができる。
また、マッピング情報には監視対象物体の像の位置が対応づけられているので、監視対象物体の像が投影面S又はディスプレイ830の任意の位置、たとえば表示画面の中央に表示されるように、監視画像Kを投影モデルMに投影することができる。投影位置のシフト手法は特に限定されないが、撮像画像の中心等の基準点から監視対象物体の像の偏位量を算出し、監視画像Kの基準座標に基づく投影位置から算出された偏位量に応じて投影位置をシフトすればよい。これにより、監視対象物体の像を投影モデルMの中央又はディスプレイ830の中央に表示させることができる。投影モデルMの中央又はディスプレイ830の中央に表示させた監視対象物体の像はユーザの注意を惹くため、監視対象物体の位置を分かり易く示すことができる。
また、図11に示す投影モデルMを例にすれば、本実施形態のマッピング情報に従う投影処理が行われることにより、車両Vの右斜め前方に監視対象物体が存在する場合には、視点R2から正視される正視投影面Sa及びSbに投影された監視画像Kが端末装置800のディスプレイ830の略中央に表示され、車両Vの右斜め後方に監視対象物体が存在する場合には、視点R4から正視される正視投影面Sb及びScに投影された監視画像Kが端末装置800のディスプレイ830の略中央に表示され、車両Vの左斜め後方に監視対象物体が存在する場合には、視点R6から正視される正視投影面Sc及びSdに投影された監視画像Kが端末装置800のディスプレイ830の略中央に表示され、車両Vの左斜め前方に監視対象物体が存在する場合には、視点R8から正視される正視投影面Sd及びSaに投影された監視画像Kが端末装置800のディスプレイ830の略中央に表示される。同様に、上記各正視投影面Sには、監視対象物体の像が含まれている。
本実施形態の制御装置10は、所定タイミングで撮像された撮像画像に基づいて監視画像Kを生成し、この監視画像Kにマッピング情報、基準座標、境界を示す線図形(仕切り画像)の情報を対応づけて撮像タイミングに従って経時的に記憶する。特に限定されないが、制御装置10は、所定の単位時間あたりに複数の監視画像Kを含む一つの動画ファイルとして監視画像Kを記憶してもよいし、ストリーミング方式で転送・再生が可能な形態で監視画像Kを記憶してもよい。
続いて、本実施形態の制御装置10の通信機能について説明する。制御装置10は、生成された監視画像Kを含む情報を、公衆通信網として利用可能な通信回線900を用いて外部の端末装置800へ送信することができる。
以下、監視画像Kを受信し、監視画像Kを表示する端末装置800について説明する。
端末装置800は、上述した監視装置100の外部に配置され、監視装置100と通信を行う通信装置810と、取得した画像を表示用の画像に変換する画像処理装置820と、変換された表示用の監視画像Kを表示するディスプレイ830とを備える。
通信装置810は、監視装置100が送出した監視対象物体の存在位置が付された監視画像Kと、この監視画像Kに対応づけられたマッピング情報を受信する。この監視画像Kは、車両Vのボディの異なる位置に設置された複数のカメラ1の撮像画像が、車両Vのボディの外周に沿って右回り又は左回りの方向に沿って設置されたカメラ1の設置順序(車両Vのボディの外周に沿う右回り又は左回りの順序)に従って配置されたものである。この監視画像Kには、監視対象物体の存在位置の情報が付されている。また、この監視画像Kには、監視画像Kを柱体の投影モデルMの投影面Sに投影させるためのマッピング情報が対応づけられている。通信装置810は取得した監視画像K及びマッピング情報を画像処理装置820へ送出する。
画像処理装置820は、予め記憶している投影モデルMを読み出し、マッピング情報に基づいて、図10及び図11に示す車両Vの載置面を底面とする柱体の投影モデルMの側面に設定された投影面Sa〜Sdに監視画像Kを投影させた表示画像を生成する。具体的には、監視画像Kと共に受信した基準座標に基づいて、監視画像Kの開始点(監視画像Kの右端又は左端)を認識し、この開始点が予め投影モデルM上に定義された開始点(投影面Sの右端又は左端)と合致させ、マッピング情報に従い監視画像Kの各画素を投影面Sa〜Sdの各画素に投影する(マッピングする)。
そして、画像処理装置820は、監視画像Kを投影モデルMに投影する際に、柱体の投影モデルの側面に設定された投影面Sに、検出された監視対象物体の像を正視する監視視点から見た監視画像Kを投影させた表示画像を生成する。具体的に、画像処理装置820は、監視画像Kを投影モデルMに投影する際に、監視画像Kと共に受信した監視対象物体の存在位置の情報(座標)に基づいて監視対象物体の像を正視する視点を選択し、監視対象物体が正視された表示画像を生成する。
上記手法に限定されず、画像処理装置820は、マッピング情報に基づくマッピング処理の後に、監視対象物体の像がディスプレイ830の左右に偏って表示される場合には、監視対象物体の像がディスプレイ830の略中央に表示されるように、柱体の投影モデルMに投影された監視画像Kを回転させることができる。これにより、正視された監視対象物体の像を含む表示画像を表示することができる。
なお、監視対象物体を正視する画像が投影される投影面Sが初期画面の中央に位置するように投影モデルMを回転させる処理は、監視画像Kを投影モデルMに投影させる前に行ってもよいし、監視画像Kを投影モデルMに投影させた後に行ってもよい。
また、画像処理装置820は、監視画像Kを投影モデルMに投影する際に、各撮像画像の境界を示す線図形(仕切り画像)を投影モデルM上に配置する。仕切り画像は、予め投影モデルMに付しておくこともでき、投影処理後に監視画像Kに付すこともできる。
本実施形態における監視画像Kの表示画像の例は、第1実施形態と共通するので、第1実施形態において説明した図12〜図19を援用する。
図12には、図10,図11に示す視点R1から見た投影面Sd、Sa、Sbに投影された監視画像Kを示す。投影モデルMの底面には各視点Rから見た車両Vの画像が貼り付けられている。また、投影面Sd、Sa、Sbの間にある画像が表示されていない部分は「境界を示す線図形(仕切り画像)」である。同様に、図13には視点R2から見た監視画像Kを示し、図14には視点R3から見た監視画像Kを示し、図15には視点R4から見た監視画像Kを示し、図16には視点R5から見た監視画像Kを示し、図17には視点R6から見た監視画像Kを示し、図18には視点R7から見た監視画像Kを示し、図19には視点R8から見た監視画像Kを示す。
図12〜19に示すように、監視対象物体は車両Vの左前方(図3の示す領域SP1とSP2の重複領域)に存在し、監視対象物体の像はカメラ1aの撮像画像GSP1(図4参照)と、カメラ1dの撮像画像GSP2(図7参照)とに含まれている。
このため、本実施形態の画像処理装置820は、監視対象物体の像を正視する監視視点から見た監視画像Kの表示画像を生成する。具体的に、図24は、本実施形態の端末装置800が、マッピング情報に基づいて、車両Vの載置面を底面とする柱体の投影モデルMの側面に設定された投影面Sに、検出された監視対象物体の像を正視する監視視点R8から見た監視画像Kを投影させた表示画像を示す。図24において監視対象物体の像を破線で囲って示す。同図に示す表示画像は、視点R8から見た正視投影面Sa及びSbへ投影された監視対象物体の像を含む。図24に示す表示画像では、監視対象物体の像が正面視されるとともに、ディスプレイ830の中央に表示されている。なお、監視対象物体の像が正視投影されている例としては、図12に示す表示画像があるが、監視対象物体の像をディスプレイ830の中央に表示する場合には、図24に示す表示画像が適している。
本実施形態の端末装置800は、車両Vのボディに設置されたカメラ1の設置順序に応じて各カメラ1の撮像画像をx軸方向又はy軸方向に沿って(横に)配置した監視画像Kを、その配置順に従って柱体の投影モデルMの側面に沿って(横に)マッピングするので、投影モデルMに示された監視画像Kは、車両Vの周囲を時計回りに見回したときに見える映像を示すことができる。
特に図12〜図19に示すように、投影モデルMの底面に車両Vの画像を示すことにより、車両Vの向きと各撮像画像との位置関係が分かり易くすることができる。つまり車両Vのフロントグリルに対向する投影面Sには、車両Vのフロントグリルに設けられたカメラ1aの撮像画像GSP1を投影し、車両Vの右サイドミラーに対向する投影面Sには、車両Vの右サイドミラーに設けられたカメラ1dの撮像画像GSP4を投影し、車両Vのリア部に対向する投影面Sには、車両Vのリア部に設けられたカメラ1cの撮像画像GSP3を投影し、車両Vの左サイドミラーに対向する投影面Sには、車両Vの左サイドミラーに設けられたカメラ1bの撮像画像GSP2を投影することができる。このように、本実施形態によれば、車両Vの周囲の映像がその位置関係を保ったまま投影された監視画像Kを提示することができるので、ユーザは車両のどこで何が起きているかを容易に把握することができる。
さらに、本実施形態の画像処理装置820は、監視対象物体の像を正視する監視視点から見た監視画像Kの表示画像を表示した後に、監視視点を投影モデルMの側面に沿って所定範囲に渡って移動させて、各監視視点から見た表示画像を生成することができる。具体的に、画像処理装置820は、図25に示す表示画像を生成した後に、同図中のZ軸を回転軸として視点を図11のR8から時計回りに、R1,R2,R3,R4…R7と遷移させ、各視点から見た各監視画像Kの表示画像を生成することができる。
このように、監視対象物体の正視画像を表示した後に、車両の周囲を、視点を変えて巡視する表示画像により、車両Vの状態を正確に把握することができる。
最後に、端末装置800のディスプレイ830について説明する。本実施形態のディスプレイ830は、画像処理装置820により生成された表示画像を表示する。
本実施形態のディスプレイ830は、タッチパネル式の入力情報の受付が可能な装置であり、ユーザが視点を自在に設定・変更することができる。視点位置と投影面Sとの対応関係は上述の画像処理装置820又はディスプレイ830において予め定義されているので、この対応関係に基づいて、変更後の視点に応じた監視画像Kをディスプレイ830に表示することができる。
ちなみに、図12〜図19,24,25は静止画であるため、実際の表示画像の再生状態を示すことができないが、本実施形態の端末装置800においては、ディスプレイ830の表示画面中の各投影面Sに示される画像はそれぞれ動画である。つまり、車両Vのフロントグリルに対向する投影面Sには、車両前方の撮像領域SP1の動画映像が映し出され、車両Vの右サイドミラーに対向する投影面Sには、車両右側方の撮像領域SP4の動画映像が映し出され、車両Vのリア部に対向する投影面Sには、車両後方の撮像領域SP3の動画映像が映し出され、車両Vの左サイドミラーに対向する投影面Sには、車両左側方の撮像領域SP2の動画映像が映し出されている。つまり、図12〜図19,24,25に示す各投影面Sには、異なるカメラ1により撮像された撮像画像に基づく複数の動画の監視画像Kを同時に再生することができる。
以下、本発明の本実施形態の車両監視システム1000の処理手順を説明する。図26は、本実施形態に係る車両監視システム1000の制御手順を示すフローチャートである。
図26に示すステップ10〜ステップ90までの処理は、図20に示す第1実施形態のステップ10〜ステップ90までの処理と共通するので、その説明を援用する。
次に、ステップ110へ進み、監視装置100は監視対象物体が検出された場合にはステップ130へ進み、監視対象物体が検出されなかった場合にはステップ120へ進む。ステップ120においては、制御装置10は開始点などの基準座標を、監視画像Kを付加してステップ160又はステップ170へ進む。
他方、監視対象物体が検出された場合において、さらにステップ130で監視対象物体が複数検出されたか否かを判断する。複数の監視対象物体が検出された場合にはステップ140で最も車両Vに近接した監視対象物体の位置を算出し、ステップ150へ進む。また、ステップ130において単一の監視対象物体が検出された場合にもステップ150へ進む。ステップ150においては、監視装置100は、最も車両Vに近接した監視対象物体の位置又は単一の監視対象物体の位置を、監視画像Kに付加する。そしてステップ160へ進む。
ステップ160において、監視装置100は、監視対象物体の像を中心とした所定領域の撮像画像のみを切り出す。この監視対象物体の像を中心とした所定領域のみで監視画像Kを生成することができる(図23参照)。この処理を行うことなく、ステップ170へ進むこともできる。
ステップ160において、監視装置100は、マッピング情報が付された監視画像K、監視対象物体の存在位置を外部の端末装置800へ送信する。
続くステップ170において、監視装置100は、上述した処理により得られた、マッピング情報が対応づけられた監視画像Kを含む情報を外部の端末装置800へ送信する。そして、ステップ180において監視処理の終了が判断されるまで、ステップ20以降の処理が繰り返される。
外部の端末装置800の通信装置810は、ステップ31において、監視装置100から送出された監視画像Kを、マッピング情報及び監視対象物体の存在位置とともに受信する。
次に、ステップ32において、画像処理装置820は、マッピング情報に従い、監視画像Kを投影モデルMの投影面Sに投影する。投影モデルMの底面には、予め車両Vの映像を付しておくことができる。
画像処理装置820は、マッピング情報に基づいて、車両Vの載置面を底面とする柱体の投影モデルMの側面に設定された投影面Sに、検出された監視対象物体の像を正視する監視視点Rから見た監視画像Kを投影させた表示画像を生成することができる。さらに、画像処理装置820は、監視視点Rを投影モデルMの側面に沿って所定範囲に渡って移動(R1〜R8)させて、各監視視点Rから見た表示画像を生成する。
そして、ステップ33においてディスプレイ830は、投影モデルMに投影され、監視対象物体の像を正視する監視視点Rから見た監視画像Kの表示画像を表示し、その後に、監視視点Rを移動させて各監視視点Rから見た監視画像Kの表示画像を表示する。
なお、本実施形態では、監視装置100が車両Vに配置された場合を例にして説明したが、本発明の本実施形態に係る車両Vの監視方法を各装置において実行させることができる。また、本発明の本実施形態に係る車両Vの監視方法を、カメラ1、通信装置400を制御可能なクライアント(コンピュータ・制御装置)と情報の授受が可能なサーバ(コンピュータ・制御装置)において処理の一部又は全部実行することもできる。サーバは、クライアントと離隔した場所に配置することができる。
サーバは以下の指令を実行して、本発明に係る本実施形態の車両の監視方法を実行することができる。この指令の内容は、車両Vのボディの異なる位置に設置され、車両Vの周囲を撮像する複数のカメラ1の撮像画像と、車両Vの周囲において検出された監視対象物体の存在位置とをそれぞれ取得するステップと、車両Vのボディの外周に沿って右回り又は左回りの方向に設置されたカメラ1の撮像画像に基づいて、このカメラ1の設置の順序に従って配置され、検出された監視対象物体の存在位置の情報が付された一枚の監視画像Kを生成するステップと、生成された監視画像Kを車両Vの載置面を底面とする柱体の投影モデルMの側面に設定された投影面Sに投影させるためのマッピング情報を監視画像Kに付加するステップと、監視対象物体の存在位置とマッピング情報とが対応づけられた監視画像Kを外部の端末装置800へ送信するステップと、を含む。処理の具体的な内容は、本実施形態の監視装置100、車両監視システム1000と共通するのでこれらの説明を援用する。
また、監視方法を実行させるサーバは、監視画像Kの投影処理を行い、投影モデルMに監視画像Kを投影した表示用の画像を生成することができる。
この場合において、サーバは以下の指令を実行して、本発明に係る本実施形態の車両の監視方法を実行することができる。指令の内容は、車両Vのボディの異なる位置に設置され、車両Vの周囲を撮像する複数のカメラ1の撮像画像と、車両Vの周囲において検出された監視対象物体の存在位置とをそれぞれ取得するステップと、車両Vのボディの外周に右回り又は左回りの方向に沿って設置されたカメラ1の撮像画像がこのカメラ1の設置の順序に従って配置され、検出された監視対象物体の存在位置の情報が付された一枚の監視画像Kを生成するステップと、車両Vの載置面を底面とする柱体の投影モデルMの側面に設定された投影面Sに、検出された監視対象物体の像を正視する監視視点から見た監視画像Kを投影するためのマッピング情報を監視画像Kに付加するステップと、マッピング情報に基づいて、車両Vの載置面を底面とする柱体の投影モデルMの側面に設定された投影面Sに、監視対象物体の像を正視する監視視点から見た監視画像Kを投影させた表示画像を生成するステップと、を含む。サーバは、生成した表示画像を閲覧可能なように記憶し、端末装置800からのアクセスがあった場合に、表示画像の閲覧を許可し、端末装置800のディスプレイ830に表示画像を表示させることができる。また、サーバは、端末装置800からの要求に応じて、表示画像のダウンロードを許可し、又は表示画像を端末装置800へ送信して端末装置800のディスプレイ830に表示させてもよい。なお、処理の具体的な内容は、本実施形態の監視装置100、車両監視システム1000と共通するのでこれらの説明を援用する。
さらに、端末装置800に以下の指令を実行させて、端末装置800の動作を制御し、本発明に係る本実施形態の車両の監視方法を実行することができる。指令の内容は、車両Vのボディの異なる位置に設置された複数のカメラ1の撮像画像が、車両Vのボディの外周に右回り又は左回りの方向に沿って設置されたカメラ1の設置順序に従って連続して配置され、検出された監視対象物体の存在位置の情報が付された一枚の監視画像Kと、この監視画像Kを車両Vの載置面を底面とする柱体の投影モデルMの側面に設定された投影面Sに投影させるためのマッピング情報とを、通信回線を介して受信するステップと、取得した監視画像Kを、この取得したマッピング情報に基づいて、車両Vの載置面を底面とする柱体の投影モデルMの側面に設定された投影面Sに、監視対象物体の像を正視する監視視点から見た監視画像Kを投影させた表示画像を生成するステップと、生成された表示画像をディスプレイ830に表示するステップとを含む。なお、処理の具体的な内容は、本実施形態の端末装置800と共通するのでこれらの説明を援用する。
以上のとおり構成され、動作する本発明の実施形態に係る監視装置100、車両監視システム1000、及び端末装置800は、以下の効果を奏する。
本実施形態に係る監視装置100は、複数のカメラ1で撮像された撮像画像をカメラ1の設置の順序に従って配置し、車両Vの周囲において検出された監対象物体の存在位置を付した監視画像Kと、この監視画像Kを柱体の投影モデルMの側面に設定された投影面Sに投影するためのマッピング情報とを外部の端末装置800へ送信する。これにより、送信された監視画像Kを受信した外部の端末装置800が、マッピング情報に基づいて、柱体の側面に設定された投影面Sに複数の撮像画像がカメラの設置順序で配置された一枚の監視画像Kを一連(ひとつながり)に投影するとともに、監視画像に付された監視対象物体の存在位置の情報に基づいて監視対象物体の像を投影面の任意の位置に投影することができるので、注目すべき監視対象物体が分かりやすい監視画像を表示することができる。この結果、監視対象物体の像にユーザの注意を向けさせることができるため、監視対象物体を確認する時間を短縮することができ、車両の遠隔監視の利便性を向上させることができる。
特に、検出された監視対象物体の存在位置の情報が対応づけられた監視画像Kを、監視対象物体の像を正視する監視視点から見た監視画像Kを投影面Sに投影するためのマッピング情報が監視画像Kに付された場合には、端末装置800が、監視対象物体の像を正視する監視視点から見た監視画像Kを投影面Sに投影することができる。
このように、本実施形態によれば、複数の撮像画像のうち、どの撮像画像に注目すべきかが分かりやすい監視画像Kを表示することができる。
この結果、監視対象物体の像にユーザの注意を向けさせることができるため、監視対象物体を確認する時間を短縮することができ、車両の遠隔監視の利便性を向上させることができる。
特に、検出された監視対象物体の存在位置の情報が対応づけられた監視画像Kを、監視対象物体の像を正視する監視視点から見た監視画像Kを投影面Sに投影するためのマッピング情報が監視画像Kに付された場合には、端末装置800が、監視対象物体の像を正視する監視視点から見た監視画像Kを投影面Sに投影することができる。
このように、本実施形態によれば、複数の撮像画像のうち、どの撮像画像に注目すべきかが分かりやすい監視画像Kを表示することができる。
この結果、監視対象物体の像にユーザの注意を向けさせることができるため、監視対象物体を確認する時間を短縮することができ、車両の遠隔監視の利便性を向上させることができる。
本実施形態に係る監視装置100は、車両Vの周囲に複数の監視対象物体が検出された場合には、車両Vに最も接近した監視対象物体の存在位置を監視画像Kに付するので、複数の監視対象物体のうち最も注意すべき監視対象物体の像にユーザの注意を向けさせることができる。このため、監視対象物体を確認する時間を短縮することができ、車両の遠隔監視の利便性を向上させることができる。
本実施形態に係る監視装置100は、検出された監視対象物体の像を中心とした所定領域の撮像画像のみが配置された監視画像Kを生成するので、監視対象物体の像が含まれ、ユーザに注意を喚起すべき撮像画像のみを端末装置800へ送信するので、送信データ量を低減させることができる。この結果、監視システム稼働時の通信コストを低減させることができる。
本実施形態に係る監視装置100は、投影モデルMの側面に設定された投影面Sに撮像画像を投影させた場合の歪みを補正してから、監視画像Kを生成するので、歪みの少ない見易い監視画像Kを提供することができる。また、歪みを予め補正しておくことにより、並べて配置された各撮像画像同士の位置ズレを低減させることができる。
本実施形態に係る監視装置100は、検出された監視対象物体の像を正視する監視視点から見た監視画像Kを、投影モデルMの投影面Sに投影するためのマッピング情報を監視画像Kに付加するので、端末装置800は、マッピング情報に従えば、監視対象物体を正視した監視画像Kを表示することができるので、端末装置800側の処理負荷を低減させることができる。
本実施形態における車両Vの監視方法を使用した場合においても、監視装置100、監視システム100及び端末装置800と同様の作用を奏し、同様の効果を得ることができる。
なお、以上説明したすべての実施形態は、本発明の理解を容易にするために記載されたものであって、本発明を限定するために記載されたものではない。したがって、上記の実施形態に開示された各要素は、本発明の技術的範囲に属する全ての設計変更や均等物をも含む趣旨である。
本明細書では、本発明に係る車両用監視装置の一態様として監視装置100及び車両監視システム1000を例にして説明するが、本発明はこれに限定されるものではない。
また、本明細書では、本発明に係る車両用監視装置の一態様として、CPU11、ROM12、RAM13を含む制御装置10を備える監視装置100を一例として説明するが、これに限定されるものではない。
また、本明細書では、カメラと、監視物体検出手段と、監視画像生成手段と、マッピング情報付加手段と、送信手段とを有する本発明に係る車両用監視装置の一態様として、カメラ1と、監視物体検出機能、監視画像生成機能、マッピング情報付加機能、送信機能を実現する制御装置10を備える監視装置100を説明するが、これに限定されるものではない。
本明細書では、通信手段と、画像処理手段と、表示手段とを備える端末装置の一態様として、通信装置810と、画像処理装置820と、ディスプレイ830とを備える端末装置800を説明するが、これに限定されるものではない。
本明細書では、本発明に係る車両監視システムの一態様として、本願発明に係る監視装置100と、車両コントローラ200と、通信装置400と、外部の端末装置800とを備えた車両監視システム1000を例にして説明するが、本発明はこれに限定されるものではない。
1000…車両監視システム
1a〜1d…カメラ
2a〜2d…近接センサ
3…異常検出センサ
100…監視装置
V…車両
10…制御装置
11…CPU
12…ROM
13…RAM
M…投影モデル
S,Sa,Sb、Sc、Sd…投影面
R1〜R8…視点
200…車両コントローラ
300…イグニッションスイッチ
400…通信装置
800…端末装置
810…通信装置
820…画像処理装置
830…ディスプレイ
900…通信回線
1a〜1d…カメラ
2a〜2d…近接センサ
3…異常検出センサ
100…監視装置
V…車両
10…制御装置
11…CPU
12…ROM
13…RAM
M…投影モデル
S,Sa,Sb、Sc、Sd…投影面
R1〜R8…視点
200…車両コントローラ
300…イグニッションスイッチ
400…通信装置
800…端末装置
810…通信装置
820…画像処理装置
830…ディスプレイ
900…通信回線
Claims (21)
- 車両のボディの異なる位置に設置され、前記車両の周囲を撮像する複数のカメラと、
前記各カメラの撮像画像を取得し、前記車両のボディの外周に右回り又は左回りの方向に沿って設置された前記カメラの撮像画像が、当該カメラの設置の順序に従って配置された一枚の監視画像を生成する監視画像生成手段と、
前記車両の載置面を底面とする柱体の投影モデルの側面に設定された投影面に前記監視画像を投影するためのマッピング情報を、前記監視画像に対応づけるマッピング情報付加手段と、
前記監視画像と前記マッピング情報とを外部の端末装置へ送信する送信手段と、を備えることを特徴とする車両用監視装置。 - 請求項1に記載の車両用監視装置において、
前記マッピング情報付加手段は、前記監視画像の右端又は左端に配置された前記撮像画像の基準座標を、前記監視画像にマッピング情報として付することを特徴とする車両用監視装置。 - 請求項1に記載の車両用監視装置において、
前記車両の周囲において監視対象物体の存在位置を検出する監視物体検出手段をさらに備え、
前記監視画像生成手段は、前記各カメラの撮像画像を取得し、前記車両のボディの外周に右回り又は左回りの方向に沿って設置された前記カメラの撮像画像が当該カメラの設置の順序に従って配置され、前記検出された監視対象物体の存在位置の情報が対応づけられた一枚の監視画像を生成し、
マッピング情報付加手段は、前記車両の載置面を底面とする柱体の投影モデルの側面に設定された投影面に前記監視画像を投影するためのマッピング情報を、前記監視画像に対応づけ、
前記送信手段は、前記監視対象物体の存在位置と前記マッピング情報とが対応づけられた監視画像を外部の端末装置へ送信する、ことを特徴とする車両用監視装置。 - 請求項3に記載の車両用監視装置において、
前記マッピング情報付加手段は、前記車両の載置面を底面とする柱体の投影モデルの側面に設定された投影面に、前記検出された監視対象物体の像を正視する監視視点から見た前記監視画像を投影するためのマッピング情報を監視画像に付加することを特徴とする車両用監視装置。 - 請求項3又は4に記載の車両用監視装置において、
前記監視画像生成手段は、前記監視物体検出手段が前記車両の周囲に複数の監視対象物体を検出した場合には、前記車両に最も接近した監視対象物体の存在位置を前記監視画像に対応づけることを特徴とする車両用監視装置。 - 請求項3〜5の何れか一項に記載の車両用監視装置において、
前記監視画像生成手段は、前記監視物体検出手段により前記監視対象物体が検出された場合には、前記監視対象物体の像を中心とした所定領域の撮像画像のみが配置された監視画像を生成することを特徴とする車両用監視装置。 - 請求項1〜6の何れか一項に記載の車両用監視装置において、
前記監視画像生成手段は、前記各カメラの撮像タイミングが略同時である各撮像画像から生成した監視画像を経時的に記憶し、所定の単位時間あたりに前記複数の監視画像が含まれる動画の監視画像を生成することを特徴とする車両用監視装置。 - 請求項1〜7の何れか一項に記載の車両用監視装置において、
前記監視画像生成手段は、前記監視画像の画素数が前記各カメラの撮像画像の画素数と略同一になるように画像のデータ量を圧縮して前記監視画像を生成することを特徴とする車両用監視装置。 - 請求項1〜8の何れか一項に記載の車両用監視装置において、
前記監視画像生成手段は、前記配置された前記各撮像画像の境界を示す線図形を、前記監視画像に付することを特徴とする車両用監視装置。 - 請求項1〜9の何れか一項に記載の車両用監視装置において、
前記監視画像生成手段は、前記投影モデルの側面に設定された投影面に撮像画像を投影させた場合の歪みを補正してから、前記監視画像を生成することを特徴とする車両用監視装置。 - 請求項1〜10の何れか一項に記載の車両用監視装置と、
前記車両用監視装置と相互に情報の授受が可能な端末装置とを備え、
前記端末装置は、
前記車両用監視装置と通信を行い、前記監視画像とマッピング情報とを取得する通信手段と、
前記監視画像を前記マッピング情報に基づいて前記車両の載置面を底面とする柱体の投影モデルの側面に設定された投影面に前記監視画像を投影させた表示画像を生成する画像処理手段と、
前記生成された表示画像を表示する表示手段と、を有することを特徴とする車両用監視システム。 - 請求項3、又は請求項3に従属する請求項4〜10の何れか一項に記載の車両用監視装置と、
前記車両用監視装置と相互に情報の授受が可能な端末装置とを備え、
前記端末装置は、
前記車両用監視装置と通信を行い、監視対象物体の存在位置の情報が付された監視画像と前記マッピング情報を取得する通信手段と、
前記マッピング情報に基づいて、前記車両の載置面を底面とする柱体の投影モデルの側面に設定された投影面に、前記監視対象物体の像を正視する監視視点から見た前記監視画像を投影させた表示画像を生成する画像処理手段と、
前記生成された表示画像を表示する表示手段と、を有することを特徴とする車両用監視システム。 - 車両のボディの異なる位置に設置された複数のカメラの撮像画像が、前記車両のボディの外周に設置された前記カメラの右回り又は左回りの方向に沿う設置順序に従って配置された監視画像と、前記車両の載置面を底面とする柱体の投影モデルの側面に設定された投影面に投影させるためのマッピング情報とを取得する通信手段と、
前記取得した監視画像を、前記取得したマッピング情報に基づいて、前記車両の載置面を底面とする柱体の投影モデルの側面に設定された投影面に投影させた表示画像を生成する画像処理手段と、
前記生成された表示画像を表示する表示手段と、を有することを特徴とする車両監視用の端末装置。 - 車両のボディの異なる位置に設置された複数のカメラの撮像画像が、前記車両のボディの外周に設置された前記カメラの右回り又は左回りの方向に沿う設置順序に従って配置され、前記車両側で検出された監視対象物体の存在位置の情報が付された監視画像と、前記車両の載置面を底面とする柱体の投影モデルの側面に設定された投影面に投影させるためのマッピング情報とを取得する通信手段と、
前記マッピング情報に基づいて、前記車両の載置面を底面とする柱体の投影モデルの側面に設定された投影面に、前記検出された監視対象物体の像を正視する監視視点から見た前記監視画像を投影させた表示画像を生成する画像処理手段と、
前記生成された表示画像を表示する表示手段と、を有することを特徴とする車両監視用の端末装置。 - 前記画像処理手段は、前記監視視点を前記投影モデルの側面に沿って所定範囲に渡って移動させて、前記各監視視点から見た表示画像を生成し、
前記表示手段は、前記生成された表示画像を順次に表示させることを特徴とする請求項14に記載の車両監視用の端末装置。 - 車両のボディの異なる位置に設置され、前記車両の周囲を撮像する複数のカメラの撮像画像をそれぞれ取得し、
前記車両のボディの外周に右回り又は左回りの方向に沿って設置された前記カメラの撮像画像に基づいて、当該カメラの設置の順序に従って前記撮像画像を配置した一枚の監視画像を生成し、
前記生成された監視画像を前記車両の載置面を底面とする柱体の投影モデルの側面に設定された投影面に投影させるマッピング情報を、監視画像に付加し、
前記監視画像と当該監視画像に対応づけられた前記マッピング情報とを外部の端末装置へ送信する、ことを特徴とする車両の監視方法。 - 車両のボディの異なる位置に設置され、前記車両の周囲を撮像する複数のカメラの撮像画像と、前記車両の周囲において検出された監視対象物体の存在位置とをそれぞれ取得し、
前記車両のボディの外周に右回り又は左回りの方向に沿って設置された前記カメラの撮像画像が当該カメラの設置の順序に従って配置され、前記検出された監視対象物体の存在位置の情報が付された一枚の監視画像を生成し、
前記生成された監視画像を、前記車両の載置面を底面とする柱体の投影モデルの側面に設定された投影面に投影するためのマッピング情報を前記監視画像に付加し、
前記監視対象物体の存在位置と前記マッピング情報とが対応づけられた監視画像を外部の端末装置へ送信する、ことを特徴とする車両の監視方法。 - 車両のボディの異なる位置に設置され、前記車両の周囲を撮像する複数のカメラの撮像画像をそれぞれ取得し、
前記車両のボディの外周に右回り又は左回りの方向に沿って設置された前記カメラの撮像画像に基づいて、当該カメラの設置の順序に従って配置された一枚の監視画像を生成し、
前記生成された監視画像を前記車両の載置面を底面とする柱体の投影モデルの側面に設定された投影面に投影させるマッピング情報を、監視画像に付加し、
前記マッピング情報に基づいて、前記車両の載置面を底面とする柱体の投影モデルの側面に設定された投影面に前記監視画像を投影させた表示画像を生成する、ことを特徴とする車両の監視方法。 - 車両のボディの異なる位置に設置され、前記車両の周囲を撮像する複数のカメラの撮像画像と、前記車両の周囲において検出された監視対象物体の存在位置とをそれぞれ取得し、
前記車両のボディの外周に右回り又は左回りの方向に沿って設置された前記カメラの撮像画像が当該カメラの設置の順序に従って配置され、前記検出された監視対象物体の存在位置の情報が付された一枚の監視画像を生成し、
前記車両の載置面を底面とする柱体の投影モデルの側面に設定された投影面に、前記検出された監視対象物体の像を正視する監視視点から見た前記監視画像を投影するためのマッピング情報を監視画像に付加し、
前記マッピング情報に基づいて、前記車両の載置面を底面とする柱体の投影モデルの側面に設定された投影面に、前記監視対象物体の像を正視する監視視点から見た前記監視画像を投影させた表示画像を生成する、ことを特徴とする車両の監視方法。 - 車両のボディの異なる位置に設置された複数のカメラの撮像画像が、前記車両のボディの外周に右回り又は左回りの方向に沿って設置された前記カメラの設置順序に従って連続して配置した監視画像と、当該監視画像を前記車両の載置面を底面とする柱体の投影モデルの側面に設定された投影面に投影させるためのマッピング情報とを、通信回線を介して受信し、
前記受信した監視画像を、前記受信した当該マッピング情報に基づいて、前記車両の載置面を底面とする柱体の投影モデルの側面に設定された投影面に前記監視画像を投影させた表示画像を生成し、
前記生成された表示画像をディスプレイに表示する車両の監視方法。 - 車両のボディの異なる位置に設置された複数のカメラの撮像画像が、前記車両のボディの外周に右回り又は左回りの方向に沿って設置された前記カメラの設置順序に従って連続して配置され、検出された監視対象物体の存在位置の情報が付された一枚の監視画像と、当該監視画像を前記車両の載置面を底面とする柱体の投影モデルの側面に設定された投影面に投影させるためのマッピング情報とを、通信回線を介して受信し、
前記監視画像を、前記マッピング情報に基づいて、前記車両の載置面を底面とする柱体の投影モデルの側面に設定された投影面に、前記監視対象物体の像を正視する監視視点から見た前記監視画像を投影させた表示画像を生成し、
前記生成された表示画像をディスプレイに表示する車両の監視方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2013523880A JP5648746B2 (ja) | 2011-07-12 | 2012-06-27 | 車両用監視装置、車両用監視システム、端末装置及び車両の監視方法 |
Applications Claiming Priority (6)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2011153735 | 2011-07-12 | ||
JP2011153735 | 2011-07-12 | ||
JP2011153725 | 2011-07-12 | ||
JP2011153725 | 2011-07-12 | ||
JP2013523880A JP5648746B2 (ja) | 2011-07-12 | 2012-06-27 | 車両用監視装置、車両用監視システム、端末装置及び車両の監視方法 |
PCT/JP2012/066367 WO2013008623A1 (ja) | 2011-07-12 | 2012-06-27 | 車両用監視装置、車両用監視システム、端末装置及び車両の監視方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP5648746B2 true JP5648746B2 (ja) | 2015-01-07 |
JPWO2013008623A1 JPWO2013008623A1 (ja) | 2015-02-23 |
Family
ID=47505920
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2013523880A Active JP5648746B2 (ja) | 2011-07-12 | 2012-06-27 | 車両用監視装置、車両用監視システム、端末装置及び車両の監視方法 |
Country Status (5)
Country | Link |
---|---|
US (1) | US20150109446A1 (ja) |
EP (1) | EP2733937A4 (ja) |
JP (1) | JP5648746B2 (ja) |
CN (1) | CN103650485A (ja) |
WO (1) | WO2013008623A1 (ja) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2019028920A (ja) * | 2017-08-03 | 2019-02-21 | アイシン精機株式会社 | 表示制御装置 |
Families Citing this family (21)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP2860963B1 (en) * | 2012-06-11 | 2019-05-22 | Sony Interactive Entertainment Inc. | Image generation device, and image generation method |
US10168871B2 (en) * | 2013-09-16 | 2019-01-01 | Rovi Guides, Inc. | Methods and systems for presenting direction-specific media assets |
WO2015104860A1 (ja) * | 2014-01-10 | 2015-07-16 | アイシン精機株式会社 | 画像表示制御装置および画像表示システム |
EP3160138B1 (en) * | 2014-06-20 | 2021-03-17 | Clarion Co., Ltd. | Image synthesis system, image synthesis device therefor, and image synthesis method |
CN105141927A (zh) * | 2015-09-22 | 2015-12-09 | 浙江吉利汽车研究院有限公司 | 一种车载图像监控装置 |
ES2615164B1 (es) * | 2015-11-05 | 2018-03-28 | Ontech Security Sl | Sistema y método de seguridad para vehículos |
KR102597435B1 (ko) * | 2016-04-20 | 2023-11-03 | 엘지이노텍 주식회사 | 영상 취득 장치 및 그 방법 |
EP3549116B1 (en) * | 2016-11-29 | 2021-05-05 | Lumileds LLC | Vehicle surveillance |
JP7092688B2 (ja) * | 2017-02-17 | 2022-06-28 | 住友重機械工業株式会社 | 作業機械用周辺監視システム |
JP6819514B2 (ja) * | 2017-08-28 | 2021-01-27 | トヨタ自動車株式会社 | 画像処理装置及び撮像装置 |
FR3078224B1 (fr) * | 2018-02-16 | 2020-02-07 | Renault S.A.S | Methode de surveillance d’un environnement de vehicule automobile en stationnement comprenant une camera asynchrone |
US10589677B1 (en) * | 2018-10-11 | 2020-03-17 | GM Global Technology Operations LLC | System and method to exhibit information after a pedestrian crash incident |
DE102019110871A1 (de) * | 2019-04-26 | 2020-10-29 | Mekra Lang Gmbh & Co. Kg | Sichtsystem für ein Fahrzeug |
KR20210030523A (ko) * | 2019-09-09 | 2021-03-18 | 현대자동차주식회사 | 차량 및 그 제어 방법 |
CN113099170B (zh) * | 2020-01-09 | 2023-05-12 | 博泰车联网科技(上海)股份有限公司 | 用于信息处理的方法、设备和计算机存储介质 |
CN112788330A (zh) * | 2020-12-25 | 2021-05-11 | 深圳市元征科技股份有限公司 | 诊断视频生成方法、装置、终端设备及存储介质 |
CN113002531B (zh) * | 2021-02-08 | 2022-09-30 | 深圳市海沃德科技有限公司 | 车辆全景环视方法、***、设备和计算机可读存储介质 |
JP2022172709A (ja) * | 2021-05-06 | 2022-11-17 | トヨタ自動車株式会社 | 車載ドライブレコーダシステム |
US12028603B2 (en) | 2021-09-24 | 2024-07-02 | Canon Kabushiki Kaisha | Image processing system, image processing method, storage medium, image pickup apparatus, and optical unit |
JP7434476B2 (ja) * | 2021-09-24 | 2024-02-20 | キヤノン株式会社 | 画像処理システム、画像処理方法、撮像装置、光学系、およびコンピュータプログラム |
JP7476151B2 (ja) * | 2021-09-24 | 2024-04-30 | キヤノン株式会社 | 画像処理システム、画像処理方法、およびコンピュータプログラム |
Family Cites Families (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP1115250B1 (en) * | 1998-07-31 | 2012-06-06 | Panasonic Corporation | Method and apparatus for displaying image |
EP1303140A4 (en) * | 2000-07-19 | 2007-01-17 | Matsushita Electric Ind Co Ltd | MONITORING SYSTEM |
JP4860835B2 (ja) * | 2001-06-11 | 2012-01-25 | クラリオン株式会社 | パノラマ画像表示方法及びパノラマ画像表示装置 |
JP2003085695A (ja) * | 2001-09-13 | 2003-03-20 | Radias:Kk | 車両管理システム |
JP2003317177A (ja) * | 2002-04-25 | 2003-11-07 | Aisin Aw Co Ltd | 車両監視装置、車両監視システム及び車両監視方法 |
JP2006107279A (ja) | 2004-10-07 | 2006-04-20 | Matsushita Electric Ind Co Ltd | 防犯装置および遠隔監視システム |
US8094182B2 (en) * | 2006-11-16 | 2012-01-10 | Imove, Inc. | Distributed video sensor panoramic imaging system |
EP2285109B1 (en) * | 2008-05-29 | 2018-11-28 | Fujitsu Limited | Vehicle image processor, and vehicle image processing system |
JP5182042B2 (ja) * | 2008-11-28 | 2013-04-10 | 富士通株式会社 | 画像処理装置、画像処理方法及びコンピュータプログラム |
US8502860B2 (en) * | 2009-09-29 | 2013-08-06 | Toyota Motor Engineering & Manufacturing North America (Tema) | Electronic control system, electronic control unit and associated methodology of adapting 3D panoramic views of vehicle surroundings by predicting driver intent |
JP5640433B2 (ja) * | 2010-04-07 | 2014-12-17 | 日産自動車株式会社 | 画像情報提供装置および画像情報提供方法 |
-
2012
- 2012-06-27 US US14/122,187 patent/US20150109446A1/en not_active Abandoned
- 2012-06-27 CN CN201280034489.3A patent/CN103650485A/zh active Pending
- 2012-06-27 WO PCT/JP2012/066367 patent/WO2013008623A1/ja active Application Filing
- 2012-06-27 EP EP12810768.7A patent/EP2733937A4/en not_active Withdrawn
- 2012-06-27 JP JP2013523880A patent/JP5648746B2/ja active Active
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2019028920A (ja) * | 2017-08-03 | 2019-02-21 | アイシン精機株式会社 | 表示制御装置 |
JP7039879B2 (ja) | 2017-08-03 | 2022-03-23 | 株式会社アイシン | 表示制御装置 |
US11383642B2 (en) | 2017-08-03 | 2022-07-12 | Aisin Corporation | Display control apparatus |
Also Published As
Publication number | Publication date |
---|---|
EP2733937A1 (en) | 2014-05-21 |
WO2013008623A1 (ja) | 2013-01-17 |
US20150109446A1 (en) | 2015-04-23 |
EP2733937A4 (en) | 2015-05-20 |
JPWO2013008623A1 (ja) | 2015-02-23 |
CN103650485A (zh) | 2014-03-19 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5648746B2 (ja) | 車両用監視装置、車両用監視システム、端末装置及び車両の監視方法 | |
JP5561433B2 (ja) | 車両用監視装置及び車両の監視方法 | |
US10857974B2 (en) | Image display device, image display system, image display method and program | |
JP5092459B2 (ja) | 遠隔指示システム及び遠隔指示システム用のプログラム | |
WO2007055336A1 (ja) | 画像処理装置、画像処理方法、そのプログラム及びそのプログラムを記録した記録媒体と撮像装置 | |
JP5716389B2 (ja) | 車両用表示装置 | |
JP6380787B2 (ja) | 撮像装置、カメラ、表示装置、撮像方法、表示方法、及びプログラム | |
JP6260174B2 (ja) | 監視画像提示システム | |
WO2013099488A1 (ja) | 監視システム | |
US9185362B2 (en) | Method of controlling network camera | |
JP6720966B2 (ja) | 情報処理装置、情報処理方法、およびプログラム | |
WO2021079636A1 (ja) | 表示制御装置、表示制御方法及び記録媒体 | |
US20200342833A1 (en) | Head mounted display system and scene scanning method thereof | |
JP2013009065A (ja) | 車両用監視装置及び車両の監視方法 | |
JP6563694B2 (ja) | 画像処理装置、画像処理システム、画像合成装置、画像処理方法及びプログラム | |
WO2013161345A1 (ja) | 監視システム及び監視方法 | |
JP5796638B2 (ja) | 監視システム | |
US11610343B2 (en) | Video display control apparatus, method, and non-transitory computer readable medium | |
JPWO2013094405A1 (ja) | 監視システム | |
JP5726779B2 (ja) | 映像視聴システム及び映像視聴システムの制御方法 | |
KR101193129B1 (ko) | 다자 동시 제어를 허용하는 실시간 원격 360도 전방향 영상 감시 시스템 | |
JP2020022065A (ja) | 配信装置、カメラ装置、配信システム、配信方法及び配信プログラム | |
JP2019139697A (ja) | 表示装置、映像表示システム、及び映像表示方法 | |
JP6725734B2 (ja) | 画像表示装置、画像表示システム、画像表示方法、及び、プログラム | |
JP5812105B2 (ja) | 監視システム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20140917 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20141014 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20141027 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 5648746 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |