JP6626817B2 - カメラモニタシステム、画像処理装置、車両及び画像処理方法 - Google Patents
カメラモニタシステム、画像処理装置、車両及び画像処理方法 Download PDFInfo
- Publication number
- JP6626817B2 JP6626817B2 JP2016233490A JP2016233490A JP6626817B2 JP 6626817 B2 JP6626817 B2 JP 6626817B2 JP 2016233490 A JP2016233490 A JP 2016233490A JP 2016233490 A JP2016233490 A JP 2016233490A JP 6626817 B2 JP6626817 B2 JP 6626817B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- camera
- captured
- vehicle
- image sensor
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000012545 processing Methods 0.000 title claims description 48
- 238000003672 processing method Methods 0.000 title claims description 10
- 238000004891 communication Methods 0.000 claims description 56
- 239000002131 composite material Substances 0.000 claims description 32
- 238000003384 imaging method Methods 0.000 claims description 29
- 230000007613 environmental effect Effects 0.000 claims description 2
- 230000004048 modification Effects 0.000 description 17
- 238000012986 modification Methods 0.000 description 17
- 230000003287 optical effect Effects 0.000 description 16
- 230000007246 mechanism Effects 0.000 description 10
- 238000010586 diagram Methods 0.000 description 9
- 230000006870 function Effects 0.000 description 9
- 238000000034 method Methods 0.000 description 5
- 230000008859 change Effects 0.000 description 4
- 238000006243 chemical reaction Methods 0.000 description 4
- 230000001133 acceleration Effects 0.000 description 3
- 238000004378 air conditioning Methods 0.000 description 3
- 230000005540 biological transmission Effects 0.000 description 3
- 238000010276 construction Methods 0.000 description 3
- 238000001514 detection method Methods 0.000 description 3
- 239000000446 fuel Substances 0.000 description 3
- 238000012544 monitoring process Methods 0.000 description 3
- 239000004065 semiconductor Substances 0.000 description 3
- 230000000007 visual effect Effects 0.000 description 2
- 239000011230 binding agent Substances 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 230000008602 contraction Effects 0.000 description 1
- 239000000498 cooling water Substances 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 238000005401 electroluminescence Methods 0.000 description 1
- 230000005484 gravity Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 229910044991 metal oxide Inorganic materials 0.000 description 1
- 150000004706 metal oxides Chemical class 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 230000008569 process Effects 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/222—Studio circuitry; Studio devices; Studio equipment
- H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
- H04N5/2624—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects for obtaining an image which is composed of whole input images, e.g. splitscreen
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
- B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
- B60R1/22—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
- B60R1/23—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
- B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
- B60R1/22—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
- B60R1/23—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view
- B60R1/26—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view to the rear of the vehicle
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R11/00—Arrangements for holding or mounting articles, not otherwise provided for
- B60R11/04—Mounting of cameras operative during drive; Arrangement of controls thereof relative to the vehicle
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/695—Control of camera direction for changing a field of view, e.g. pan, tilt or based on tracking of objects
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/698—Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/90—Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
- H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R11/00—Arrangements for holding or mounting articles, not otherwise provided for
- B60R2011/0042—Arrangements for holding or mounting articles, not otherwise provided for characterised by mounting means
- B60R2011/008—Adjustable or movable supports
- B60R2011/0085—Adjustable or movable supports with adjustment by rotation in their operational position
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
- B60R2300/10—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used
- B60R2300/105—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used using multiple cameras
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
- B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
- B60R2300/302—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing combining image information with GPS information or vehicle data, e.g. vehicle speed, gyro, steering angle data
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
- B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
- B60R2300/303—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing using joined images, e.g. multiple camera images
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Mechanical Engineering (AREA)
- Closed-Circuit Television Systems (AREA)
- Studio Devices (AREA)
- Fittings On The Vehicle Exterior For Carrying Loads, And Devices For Holding Or Mounting Articles (AREA)
- Traffic Control Systems (AREA)
Description
本開示は、カメラモニタシステム、画像処理装置、車両及び画像処理方法に関する。
従来、車両等の移動体の外部領域を撮像し、撮像画像をモニタに表示させるカメラモニタシステムが知られている。カメラモニタシステムは、従来の光学的なミラーとは異なり、車両周囲を間接的に視るものである。
例えば特許文献１には、車両の走行速度に応じて車載カメラの画角を変化させるカメラモニタシステムが開示されている。特許文献１のカメラモニタシステムは、車両の走行速度が遅いときは車載カメラの画角を小さくし、走行速度が速いときは車載カメラの画角を大きくする。これにより、高速走行時に視野が縮小するという運転者の視野の特性を補完することができる。
例えば特許文献２には、車両の進行方向に変化が生じたか否かを判断し、車両の進行方向の変化に追従するように撮影方向を変更するカメラモニタシステムが開示されている。これにより、道路が曲がっている場合でも適切な情報を取得することが可能となる。
従来、移動体の外部領域の撮像画像を表示する技術について改善の余地があった。
本開示は、移動体の外部領域の撮像画像を表示する技術の利便性を向上させるカメラモニタシステム、画像処理装置、車両及び画像処理方法に関する。
本開示の一実施形態に係るカメラモニタシステムは、第１レンズと第１撮像素子と少なくとも該第１撮像素子の回転を駆動する第１駆動部とを有して車両の左側方の所定領域を含む領域を撮像する第１カメラと、第２レンズと第２撮像素子と少なくとも該第２撮像素子の回転を駆動する第２駆動部とを有して前記車両の右側方の所定領域を含む領域を撮像する第２カメラと、前記車両の後方の所定領域を含む領域を撮像する第３カメラと、を備える。前記カメラシステムは、さらに、前記第１カメラが撮像した第１撮像画像と、前記第２カメラが撮像した第２撮像画像と、前記第３カメラが撮像した第３撮像画像とを含む合成画像を表示するモニタと、前記合成画像のレイアウトを制御する画像プロセッサと、を備える。前記画像プロセッサは、少なくとも移動体情報及び環境情報のいずれか一方に応じて少なくとも前記第１撮像素子及び前記第２撮像素子を回転させて前記レイアウトを変更する。
本開示の一実施形態に係る画像処理装置は、第１レンズと第１撮像素子と少なくとも該第１撮像素子の回転を駆動する第１駆動部とを有して車両の左側方の所定領域を含む領域を撮像する第１カメラが撮像した第１撮像画像と、第２レンズと第２撮像素子と少なくとも該第２撮像素子の回転を駆動する第２駆動部とを有して前記車両の右側方の所定領域を含む領域を撮像する第２カメラが撮像した第２撮像画像と、前記車両の後方の所定領域を含む領域を撮像する第３カメラが撮像した第３撮像画像とを受信する通信部を備える。前記画像処理装置は、さらに、前記第１撮像画像、前記第２撮像画像及び前記第３撮像画像を含む合成画像を表示するモニタにおける該合成画像のレイアウトを制御する画像プロセッサを備える。前記画像プロセッサは、少なくとも移動体情報及び環境情報のいずれか一方に応じて少なくとも前記第１撮像素子及び前記第２撮像素子を回転させて前記レイアウトを変更する。
本開示の一実施形態に係る車両は、カメラモニタシステムを備える。前記カメラモニタシステムは、第１レンズと第１撮像素子と少なくとも該第１撮像素子の回転を駆動する第１駆動部とを有して車両の左側方の所定領域を含む領域を撮像する第１カメラと、第２レンズと第２撮像素子と少なくとも該第２撮像素子の回転を駆動する第２駆動部とを有して前記車両の右側方の所定領域を含む領域を撮像する第２カメラと、車両の後方の所定領域を含む領域を撮像する第３カメラと、を含む。前記カメラモニタシステムは、さらに、前記第１カメラが撮像した第１撮像画像と、前記第２カメラが撮像した第２撮像画像と、前記第３カメラが撮像した第３撮像画像とを含む合成画像を表示するモニタと、前記合成画像のレイアウトを制御する画像プロセッサと、を含む。前記画像プロセッサは、少なくとも移動体情報及び環境情報のいずれか一方に応じて少なくとも前記第１撮像素子及び前記第２撮像素子を回転させて前記レイアウトを変更する。
本開示の一実施形態に係る画像処理方法は、第１レンズと第１撮像素子と少なくとも該第１撮像素子の回転を駆動する第１駆動部とを有する第１カメラと、第２レンズと第２撮像素子と少なくとも該第２撮像素子の回転を駆動する第２駆動部とを有する第２カメラと、第３カメラと、モニタと、画像プロセッサとを備えるカメラモニタシステムにおける画像処理方法である。前記画像処理方法は、前記第１カメラが、車両の左側方の所定領域を含む領域を撮像するステップと、前記第２カメラが、車両の右側方の所定領域を含む領域を撮像するステップと、前記第３カメラが、車両の後方の所定領域を含む領域を撮像するステップと、を含む。前記画像処理方法は、さらに、前記画像プロセッサが、少なくとも移動体情報及び環境情報のいずれか一方に応じて少なくとも前記第１撮像素子及び前記第２撮像素子を回転させて前記モニタに表示される合成画像のレイアウトを制御するステップと、前記モニタが、前記第１カメラが撮像した第１撮像画像と、前記第２カメラが撮像した第２撮像画像と、前記第３カメラが撮像した第３撮像画像と、前記画像プロセッサによってレイアウトを制御された前記合成画像を表示するステップと、を含む。
本開示の一実施形態に係るカメラモニタシステム、画像処理装置、車両及び画像処理方法によれば、移動体の外部領域の撮像画像を表示する技術の利便性が向上する。
以下、本開示の実施形態について、図面を参照して説明する。
（カメラモニタシステム）
図１を参照して、本開示の一実施形態に係るカメラモニタシステム１について説明する。
図１を参照して、本開示の一実施形態に係るカメラモニタシステム１について説明する。
図１に示すように、カメラモニタシステム１は、第１カメラ１０と、第２カメラ２０と、第３カメラ３０と、モニタ４０と、画像処理装置５０とを備える。カメラモニタシステム１の各構成要素は、例えばネットワーク６０を介して情報を送受信可能である。ネットワーク６０は、例えば無線ネットワーク、及び有線ネットワークの少なくとも一方を含んでよい。有線ネットワークは、ＣＡＮ（Controller Area Network）等を含んでよい。
他の実施形態において、カメラモニタシステム１の一部又は全部の構成要素が、１つの装置として一体的に構成されてよい。例えば、第１カメラ１０、第２カメラ２０、第３カメラ３０又はモニタ４０に、画像処理装置５０を内蔵させる構成等が考えられる。
図２及び図３に示すように、第１カメラ１０、第２カメラ２０、第３カメラ３０、モニタ４０及び画像処理装置５０は、移動体６１に備えられてよい。本開示における「移動体」は、例えば車両、船舶、及び航空機等を含んでよい。車両は、例えば自動車、産業車両、鉄道車両、生活車両、及び滑走路を走行する固定翼機等を含んでよい。自動車は、例えば乗用車、トラック、バス、二輪車、及びトロリーバス等を含んでよい。産業車両は、例えば農業及び建設向けの産業車両等を含んでよい。産業車両は、例えばフォークリフト及びゴルフカート等を含んでよい。農業向けの産業車両は、例えばトラクター、耕耘機、移植機、バインダー、コンバイン、及び芝刈り機等を含んでよい。建設向けの産業車両は、例えばブルドーザー、スクレーバー、ショベルカー、クレーン車、ダンプカー、及びロードローラ等を含んでよい。車両は、人力で走行するものを含んでよい。車両の分類は、上述した例に限られない。例えば、自動車は、道路を走行可能な産業車両を含んでよい。複数の分類に同じ車両が含まれてよい。船舶は、例えばマリンジェット、ボート、及びタンカー等を含んでよい。航空機は、例えば固定翼機及び回転翼機等を含んでよい。図２及び図３は、移動体が車両である場合の一例を示したものである。
第１カメラ１０、第２カメラ２０及び第３カメラ３０は、間接視界に関する協定規則第４６号に規定される範囲を含む範囲を撮像するデバイスである。第１カメラ１０は、クラスＩ−ＶＩのいずれかに規定される車両の左側方を含む領域を撮像する。第２カメラ２０は、クラスＩ−ＶＩのいずれかに規定される車両の右側方を含む領域を撮像する。第３カメラ３０は、クラスＩ−ＶＩのいずれかに規定される車両の後方を含む領域を撮像する。
第１カメラ１０、第２カメラ２０及び第３カメラ３０の位置は、上述の領域を撮像することが可能な位置であれば、移動体６１の内部及び外部において任意である。第１カメラ１０は、図３の例において移動体６１の左側に位置する。第１カメラ１０は、図３の例においてクラスＩＩＩの範囲を撮像する。第２カメラ２０は、図３の例において移動体６１の右側に位置する。第２カメラ２０は、図３の例においてクラスＩＩＩの範囲を撮像する。第３カメラ３０は、図３の例において移動体６１の後方に位置する。第３カメラ３０は、図３の例においてクラスＩの範囲を撮像する。モニタ４０の位置は、移動体６１の内部において任意である。例えば図２に示すように、モニタ４０は、移動体６１のダッシュボードの中に位置する。モニタ４０は、運転者６２によって視認可能である。画像処理装置５０の位置は、移動体６１の内部において任意である。
（第１カメラ）
第１カメラ１０は、上述のように、クラスＩＩＩとして規定される車両の左側方を含む領域を撮像する。第１カメラ１０は、例えば図１に示すように、第１レンズ１１と、第１撮像素子１２と、第１通信部１３と、第１コントローラ１４とを備える。
第１カメラ１０は、上述のように、クラスＩＩＩとして規定される車両の左側方を含む領域を撮像する。第１カメラ１０は、例えば図１に示すように、第１レンズ１１と、第１撮像素子１２と、第１通信部１３と、第１コントローラ１４とを備える。
第１レンズ１１は、被写体像を結像させる。例えば、第１レンズ１１は、絞りを含んでよい。第１レンズ１１は、１つ以上のレンズを含んで構成されてよい。
第１撮像素子１２は、２次元配列された複数の画素を有する。第１撮像素子１２は、例えばＣＣＤ（Charge Coupled Device）撮像素子又はＣＭＯＳ（Complementary Metal Oxide Semiconductor）撮像素子を含んでよい。第１撮像素子１２は、第１レンズ１１によって結像される被写体像を撮像して、撮像画像を生成可能である。
第１通信部１３は、外部装置と通信可能な通信インタフェースを含んでよい。第１通信部１３は、ネットワーク６０を介して情報の送受信が可能であってよい。外部装置は、例えば画像処理装置５０を含んでよい。本開示における「通信インタフェース」は、例えば物理コネクタ、及び無線通信機を含んでよい。物理コネクタは、電気信号による伝送に対応した電気コネクタ、光信号による伝送に対応した光コネクタ、及び電磁波による伝送に対応した電磁コネクタを含んでよい。電気コネクタは、ＩＥＣ６０６０３に準拠するコネクタ、ＵＳＢ規格に準拠するコネクタ、ＲＣＡ端子に対応するコネクタ、ＥＩＡＪ ＣＰ−１２１１Ａに規定されるＳ端子に対応するコネクタ、ＥＩＡＪ ＲＣ−５２３７に規定されるＤ端子に対応するコネクタ、ＨＤＭＩ（登録商標）規格に準拠するコネクタ、及びＢＮＣ（British Naval Connector又はBaby-series N Connector等）を含む同軸ケーブルに対応するコネクタを含んでよい。光コネクタは、ＩＥＣ ６１７５４に準拠する種々のコネクタを含んでよい。無線通信機は、Ｂｌｕｅｔｏｏｔｈ（登録商標）、及びＩＥＥＥ８０２．１１を含む各規格に準拠する無線通信機を含んでよい。無線通信機は、少なくとも１つのアンテナを含む。
第１コントローラ１４は、１つ以上のプロセッサを含む。本開示における「プロセッサ」は、特定の処理に特化した専用のプロセッサ、及び特定のプログラムを読み込むことによって特定の機能を実行する汎用のプロセッサを含んでよい。専用のプロセッサには、ＤＳＰ（Digital Signal Processor）及び特定用途向けＩＣ（ＡＳＩＣ；Application Specific Integrated Circuit）が含まれてよい。プロセッサには、プログラマブルロジックデバイス（ＰＬＤ；Programmable Logic Device）が含まれてよい。ＰＬＤには、ＦＰＧＡ（Field-Programmable Gate Array）が含まれてよい。第１コントローラ１４は、１つ又は複数のプロセッサが協働するＳｏＣ（System-on-a-Chip）、及びＳｉＰ（System In a Package）のいずれかであってよい。
第１コントローラ１４は、第１カメラ１０全体の動作を制御する。第１コントローラ１４は、生成された撮像画像に対して、所定の画像処理を実行してよい。当該画像処理は、例えば露出調整処理、ホワイトバランス処理、及び歪み補正処理等を含んでよい。第１コントローラ１４は、第１通信部１３を介して画像処理装置５０へ、第１カメラ１０が撮像した画像を出力する。
（第２カメラ）
第２カメラ２０は、上述のように、クラスＩＩＩとして規定される車両の右側方を含む領域を撮像する。第２カメラ２０は、例えば図１に示すように、第２レンズ２１と、第２撮像素子２２と、第２通信部２３と、第２コントローラ２４とを備える。
第２カメラ２０は、上述のように、クラスＩＩＩとして規定される車両の右側方を含む領域を撮像する。第２カメラ２０は、例えば図１に示すように、第２レンズ２１と、第２撮像素子２２と、第２通信部２３と、第２コントローラ２４とを備える。
第２レンズ２１、第２撮像素子２２、第２通信部２３及び第２コントローラ２４の構成及び機能は、それぞれ、第１レンズ１１、第１撮像素子１２、第１通信部１３及び第１コントローラ１４の構成及び機能と同様であるため、詳細な説明は省略する。
（第３カメラ）
第３カメラ３０は、上述のように、クラスＩとして規定される車両の後方を含む領域を撮像する。第３カメラ３０は、例えば図１に示すように、第３レンズ３１と、第３撮像素子３２と、第３通信部３３と、第３コントローラ３４とを備える。
第３カメラ３０は、上述のように、クラスＩとして規定される車両の後方を含む領域を撮像する。第３カメラ３０は、例えば図１に示すように、第３レンズ３１と、第３撮像素子３２と、第３通信部３３と、第３コントローラ３４とを備える。
第３レンズ３１、第３撮像素子３２、第３通信部３３及び第３コントローラ３４の構成及び機能は、それぞれ、第１レンズ１１、第１撮像素子１２、第１通信部１３及び第１コントローラ１４の構成及び機能と同様であるため、詳細な説明は省略する。
（モニタ）
モニタ４０は、例えば液晶ディスプレイ及び有機ＥＬ（Electroluminescence）ディスプレイ等のディスプレイを含んでよい。モニタ４０は、例えばネットワーク６０を介して画像処理装置５０から入力される画像を表示してよい。モニタ４０は、ユーザによる操作を受付可能なタッチスクリーンとして機能してよい。モニタ４０は、ユーザによる操作を受付可能なスイッチ及びキーを含んでよい。スイッチは、物理スイッチ及び電子スイッチを含んでよい。キーは、物理キー及び電子キーを含んでよい。モニタ４０は、自装置に対するユーザの操作を受け付けると、当該操作に基づくユーザ入力を画像処理装置５０へ送信してよい。
モニタ４０は、例えば液晶ディスプレイ及び有機ＥＬ（Electroluminescence）ディスプレイ等のディスプレイを含んでよい。モニタ４０は、例えばネットワーク６０を介して画像処理装置５０から入力される画像を表示してよい。モニタ４０は、ユーザによる操作を受付可能なタッチスクリーンとして機能してよい。モニタ４０は、ユーザによる操作を受付可能なスイッチ及びキーを含んでよい。スイッチは、物理スイッチ及び電子スイッチを含んでよい。キーは、物理キー及び電子キーを含んでよい。モニタ４０は、自装置に対するユーザの操作を受け付けると、当該操作に基づくユーザ入力を画像処理装置５０へ送信してよい。
モニタ４０は、ビデオ信号などの電気信号を可視光線で描く映像に変換する。モニタ４０は、画像処理装置５０から取得した画像を表示する。モニタ４０が画像処理装置５０から取得する画像は、第１カメラ１０が撮像した画像である第１撮像画像、第２カメラ２０が撮像した画像である第２撮像画像、及び第３カメラ３０が撮像した画像である第３撮像画像を含む画像である。以下、第１撮像画像、第２撮像画像及び第３撮像画像を含む画像を、合成画像ともいう。
（画像処理装置）
画像処理装置５０は、通信部５１と、記憶部５２と、画像プロセッサ５３とを備える。
画像処理装置５０は、通信部５１と、記憶部５２と、画像プロセッサ５３とを備える。
通信部５１は、多様な外部装置と通信可能な通信インタフェースを含んでよい。外部装置は、例えば第１カメラ１０、第２カメラ２０、第３カメラ３０、モニタ４０、移動体６１に備えられたＥＣＵ（Electronic Control Unit又はEngine Control unit）、速度センサ、加速度センサ、回転角センサ、ステアリング舵角センサ、エンジン回転数センサ、アクセルセンサ、ブレーキセンサ、照度センサ、雨滴センサ、走行距離センサ、ミリ波レーダ、超音波ソナー等を用いた障害物検出装置、ＥＴＣ（Electronic Toll Collection System）受信装置、ＧＰＳ（Global Positioning System）装置、ナビゲーション装置、インターネット上のサーバ、携帯電話等を含んでよい。
通信部５１は、歩車間通信、路車間通信及び車車間通信のための通信インタフェースを含んでよい。通信部５１は、日本において提供されるＤＳＲＣ（Dedicated Short-Range Communication:狭帯域通信システム）及びＶＩＣＳ（登録商標）（Vehicle Information and Communication System）の光ビーコンに対応した受信機を含んでよい。通信部５１は、他の国の道路交通情報提供システムに対応した受信機を含んでよい。
通信部５１は、外部装置から多様な情報を取得可能であってよい。例えば、通信部５１は、移動体情報及び環境情報を取得可能であってよい。
移動体情報は、移動体６１に関する任意の情報を含んでよい。移動体情報は、例えば移動体６１の速度、加速度、旋回重力、傾き、方角、及び旋回状況、ステアリングホイールの舵角、冷却水の温度、燃料の残量、バッテリの残量、バッテリの電圧、エンジン回転数、ギアポジション、リバース信号の有無、アクセル操作の有無、アクセル開度、ブレーキ操作の有無、ブレーキ踏度、パーキングブレーキの作動有無、前後輪もしくは４輪の回転数差、タイヤ空気圧、ダンパの伸縮量、運転手の目の空間位置、乗員の数及び座席位置、シートベルトの装着情報、ドアの開閉、窓の開閉、車内温度、空調の動作有無、空調の設定温度、空調の送風量、外気循環の設定、ワイパーの作動状況、走行モード、外部機器との接続情報、現在時刻、平均燃費、瞬間燃費、各種ランプの点灯状態、移動体６１の位置情報、ならびに移動体６１の目的地までの経路情報等を含んでよい。各種ランプは、例えばヘッドランプ、フォグランプ、バックランプ、ポジションランプ、及びターンシグナルを含んでよい。
環境情報は、移動体６１の外部環境に関する任意の情報を含んでよい。環境情報は、例えば移動体６１の周囲の明るさ、天気、気圧、外気温度、地図情報、交通情報、道路情報、道路工事情報、走行路の制限速度の一時的な変更、他の車両が検出した対象物、及び信号機の点灯状態等を含んでよい。
記憶部５２は、一時記憶装置及び二次記憶装置を含んでよい。記憶部５２は、例えば半導体メモリ、磁気メモリ、及び光メモリ等を用いて構成されてよい。半導体メモリは、揮発性メモリ及び不揮発性メモリを含んでよい。磁気メモリは、例えばハードディスク及び磁気テープ等を含んでよい。光メモリは、例えばＣＤ（Compact Disc）、ＤＶＤ（Digital Versatile Disc）、及びＢＤ（Blu-ray Disc）（登録商標）等を含んでよい。記憶部５２は、画像処理装置５０の動作に必要な種々の情報及びプログラムを記憶する。
画像プロセッサ５３は、１つ以上のプロセッサを含む。画像プロセッサ５３は、画像処理装置５０全体の動作を制御する。
画像プロセッサ５３は、通信部５１を介して、第１カメラ１０から第１撮像画像を、第２カメラ２０から第２撮像画像を、第３カメラ３０から第３撮像画像を取得する。
画像プロセッサ５３は、第１撮像画像、第２撮像画像及び第３撮像画像を含む合成画像を作成し、作成した合成画像を、通信部５１を介してモニタ４０に送信する。
画像プロセッサ５３は、通信部５１を介して外部装置から、移動体情報及び環境情報を取得してよい。画像プロセッサ５３は、少なくとも移動体情報及び環境情報のいずれか一方に応じて、合成画像のレイアウトを制御する。
レイアウトは、合成画像が含む各画像の形状、合成画像が含む各画像の大きさ、及び、合成画像内における各画像の配置などを意味する。レイアウトの変更により各画像の形状又は大きさが変更される場合、各画像が表示している外部領域の範囲が変わってよい。
画像プロセッサ５３は、合成画像を作成する際、第１撮像画像から必要な範囲を切り出してよい。画像プロセッサ５３は、例えば、第１撮像画像を横長の形状とする場合、取得した第１撮像画像から横長の範囲を切り出して合成画像を作成する。画像プロセッサ５３は、例えば、第１撮像画像を縦長の形状とする場合、取得した第１撮像画像から縦長の範囲を切り出して合成画像を作成する。画像プロセッサ５３は、第２撮像画像及び第３撮像画像についても、第１撮像画像と同様に必要な範囲を切り出してよい。
以下、画像プロセッサ５３が、合成画像において、第１撮像画像及び第２撮像画像を縦長の形状としている状態を、第１モードともいう。画像プロセッサ５３が、合成画像において、第１撮像画像及び第２撮像画像を横長の形状としている状態を、第２モードともいう。
図４に、第１モード及び第２モードにおける、第１撮像画像の表示範囲の例を示す。図４（ａ）は、第１モード時の側面図である。図４（ｂ）は、第１モード時の上面図である。図４（ｃ）は、第２モード時の側面図である。図４（ｄ）は、第２モード時の上面図である。
図４に示すように、図４（ａ）と図４（ｃ）を比較すると、第１モードにおいて表示される第１撮像画像の縦の範囲１０１は、第２モードにおいて表示される第１撮像画像の縦の範囲１０３より広い。図４（ｂ）と図４（ｄ）を比較すると、第１モードにおいて表示される第１撮像画像の横の範囲１０２よりも、第２モードにおいて表示される第１撮像画像の横の範囲１０４の方が広い。
画像プロセッサ５３は、移動体情報及び環境情報に応じて運転者６２が適切な範囲を確認できるように、第１撮像画像及び第２撮像画像を、第１モードと第２モードのいずれで表示させるかを制御する。
例えば、通常速度の走行時、及び駐車時のバック走行時は、車両に近い範囲を視認することが重要であるため、画像プロセッサ５３は、第１撮像画像及び第２撮像画像を、第１モードで表示させるように制御する。例えば、高速走行時、右左折時、車線変更時、及び複数車線走行時は、横方向を広く視認できることが重要であるため、画像プロセッサ５３は、第１撮像画像及び第２撮像画像を、第２モードで表示させるように制御する。画像プロセッサ５３は、移動体６１が所定速度以上で走行していることを検出すると、高速走行状態であると判定する。画像プロセッサ５３は、ターンシグナルの点灯により、移動体６１が右左折時又は車線変更時であることを検出することができる。画像プロセッサ５３は、ターンシグナルスイッチの操作を検出することにより、移動体６１が右左折時又は車線変更時であることを検出することができる。
画像プロセッサ５３は、移動体情報から、移動体６１の速度、移動体６１のギヤがリバースに設定されたか、ターンシグナルスイッチが操作されたかなどを検出することができる。画像プロセッサ５３は、環境情報から、移動体６１が複数車線を走行しているかなどを検出することができる。画像プロセッサ５３は、例えば、ナビゲーション装置から取得した道路情報から、移動体６１が複数車線を走行しているかを検出することができる。
図５に、第１モードにおける合成画像１１０のレイアウトの一例を示す。図５に示す例においては、第１撮像画像１１１は、左側に縦長で表示される。第２撮像画像１１２は、右側に縦長で表示される。第３撮像画像１１３は、中央下方に横長で表示される。中央上方には、その他の画像１１４が表示される。その他の画像１１４は、例えば、カーナビの画像又は周辺監視カメラの画像であってよい。
図６に、第２モードにおける合成画像１１０のレイアウトの一例を示す。図６に示す例においては、第１撮像画像１１１は、左下に横長で表示される。第２撮像画像１１２は、右下に横長で表示される。第３撮像画像１１３は、右上に横長で表示される。左上には、その他の画像１１４が表示される。その他の画像１１４は、例えば、カーナビの画像又は周辺監視カメラの画像であってよい。
（合成画像の変形例）
図７及び図８は、図５及び図６に比べて、合成画像の縦の長さが短い場合のレイアウトの例を示す図である。
図７及び図８は、図５及び図６に比べて、合成画像の縦の長さが短い場合のレイアウトの例を示す図である。
図７は、第１モードにおけるレイアウトの変形例である。図７（ａ）に示す例においては、第１撮像画像１１１は、左側に表示される。第１撮像画像１１１は、縦長の画像から、下方のはみ出し部１２１を除くように切り出した部分である。第２撮像画像１１２は、右側に表示される。第２撮像画像１１２は、縦長の画像から、下方のはみ出し部１２２を除くように切り出した部分である。第３撮像画像１１３は、中央に表示される。図７（ａ）に示すレイアウトは、例えば移動体６１が通常速度で走行しているときに適している。
図７（ｂ）に示す例においては、第１撮像画像１１１は、左側に表示される。第１撮像画像１１１は、縦長の画像から、上方のはみ出し部１２１を除くように切り出した部分である。第２撮像画像１１２は、右側に表示される。第２撮像画像１１２は、縦長の画像から、上方のはみ出し部１２２を除くように切り出した部分である。第３撮像画像１１３は、中央に表示される。図７（ｂ）に示すレイアウトは、例えば移動体６１が駐車時などにおいてバックで走行しているときに適している。
図８は、第２モードにおけるレイアウトの変形例である。図８（ａ）に示す例においては、第１撮像画像１１１は、左側に表示される。第１撮像画像１１１は、横長の画像から、左方のはみ出し部１２１を除くように切り出した部分である。第２撮像画像１１２は、右側に表示される。第２撮像画像１１２は、横長の画像から、右方のはみ出し部１２２を除くように切り出した部分である。第３撮像画像１１３は、中央に表示される。図８（ａ）においては、第１撮像画像１１１の大きさと、第２撮像画像１１２の大きさとは等しい。図８（ａ）に示すレイアウトは、例えば移動体６１が高速で走行しているときに適している。
図８（ｂ）に示す例においては、第１撮像画像１１１は、左側に表示される。第１撮像画像１１１は、横長の画像から、左方のはみ出し部１２１を除くように切り出した部分である。第２撮像画像１１２は、右側に表示される。第３撮像画像１１３は、中央に表示される。図８（ｂ）においては、第２撮像画像１１２の大きさの方が、第１撮像画像１１１の大きさよりも大きい。図８（ｂ）に示すレイアウトは、例えば移動体６１が右折するとき、又は、追い越し車線に合流するときに適している。
（第１変形例）
図９を参照して、本開示の一実施形態の第１変形例に係るカメラモニタシステム２について説明する。
図９を参照して、本開示の一実施形態の第１変形例に係るカメラモニタシステム２について説明する。
図９に示すように、第１変形例に係るカメラモニタシステム２は、第１カメラ１０と、第１駆動部１５と、第２カメラ２０と、第２駆動部２５と、第３カメラ３０と、モニタ４０と、画像処理装置５０と、コントローラ７０とを備える。
第１駆動部１５は、第１カメラ１０の回転を駆動する。第１駆動部１５は、光軸を変えないまま第１カメラ１０を回転させることもできるし、光軸をチルトさせた上で第１カメラ１０を回転させることもできる。
第２駆動部２５は、第２カメラ２０の回転を駆動する。第２駆動部２５は、光軸を変えないまま第２カメラ２０を回転させることもできるし、光軸をチルトさせた上で第２カメラ２０を回転させることもできる。
コントローラ７０は、第１駆動部１５及び第２駆動部２５の動作を制御する。コントローラ７０は、通信部７１と、プロセッサ７２とを備える。
通信部７１は、多様な外部装置と通信可能な通信インタフェースを含んでよい。外部装置は、例えば第１カメラ１０、第１駆動部１５、第２カメラ２０、第２駆動部２５、第３カメラ３０、モニタ４０、画像処理装置５０、移動体６１に備えられたＥＣＵ（Electronic Control Unit又はEngine Control unit）、速度センサ、加速度センサ、回転角センサ、ステアリング舵角センサ、エンジン回転数センサ、アクセルセンサ、ブレーキセンサ、照度センサ、雨滴センサ、走行距離センサ、ミリ波レーダ、超音波ソナー等を用いた障害物検出装置、ＥＴＣ（Electronic Toll Collection System）受信装置、ＧＰＳ（Global Positioning System）装置、ナビゲーション装置、インターネット上のサーバ、携帯電話等を含んでよい。
通信部７１は、歩車間通信、路車間通信及び車車間通信のための通信インタフェースを含んでよい。通信部７１は、日本において提供されるＤＳＲＣ（Dedicated Short-Range Communication:狭帯域通信システム）及びＶＩＣＳ（Vehicle Information and Communication System）の光ビーコンに対応した受信機を含んでよい。通信部７１は、他の国の道路交通情報提供システムに対応した受信機を含んでよい。
通信部７１は、外部装置から多様な情報を取得可能であってよい。例えば、通信部７１は、移動体情報及び環境情報を取得可能であってよい。
プロセッサ７２は、１つ以上のプロセッサを含む。プロセッサ７２は、コントローラ７０全体の動作を制御する。
プロセッサ７２は、第１駆動部１５及び第２駆動部２５の動作を制御する。
第１変形例に係るカメラモニタシステム２においては、第１カメラ１０の第１レンズ１１、及び、第２カメラ２０の第２レンズ２１は、超広角レンズではない。そのため、例えば、第１カメラ１０が撮像する第１撮像画像の範囲は、そこから、所望の範囲を含む縦長画像及び横長画像の双方を切り出すことが可能な程度に広くないものとする。
超広角レンズは、性能を確保するために多くのレンズ枚数が必要であり、それに伴いレンズサイズが大きくなることからコストアップの要因になる。第１変形例に係るカメラモニタシステム２は、第１レンズ１１及び第２レンズ２１を超広角レンズとする必要がないことにより、コストを低減することができる。
第１変形例に係るカメラモニタシステム２の第１撮像素子１２及び第２撮像素子２２は、長方形の範囲を撮像する。第１駆動部１５は、第１カメラ１０を回転させることにより、第１撮像画像を横長又は縦長の配置とすることができる。第２駆動部２５は、第２カメラ２０を回転させることにより、第２撮像画像を横長又は縦長の配置とすることができる。
図１０に、第１撮像素子１２が横長に配置された場合と、縦長に配置された場合の撮像範囲の様子を示す。図１０（ａ）は、第１撮像素子１２が横長の配置の場合である。図１０（ａ）の配置の場合、第１撮像画像は横長となる。図１０（ｂ）は、第１撮像素子１２が縦長の配置の場合である。図１０（ｂ）の配置の場合、第１撮像画像は縦長となる。
第１駆動部１５が第１カメラ１０を回転させると、第１カメラ１０の第１コントローラ１４は、第１カメラ１０の上方と第１撮像画像の上方とが一致するように第１撮像画像を変換して、第１撮像画像を画像処理装置５０に送信する。該第１撮像画像の変換は、画像処理装置５０の画像プロセッサ５３が行ってもよい。
第２駆動部２５が第２カメラ２０を回転させると、第２カメラ２０の第２コントローラ２４は、第２カメラ２０の上方と第２撮像画像の上方とが一致するように第２撮像画像を変換して、第２撮像画像を画像処理装置５０に送信する。該第２撮像画像の変換は、画像処理装置５０の画像プロセッサ５３が行ってもよい。
図１１に、第１モード及び第２モードにおける、第１カメラ１０の撮像範囲の例を示す。図１１に示す例においては、第１駆動部１５は、光軸を変えないまま第１カメラ１０を回転させている。
図１１（ａ）は、第１モード時の側面図である。図１１（ｂ）は、第１モード時の上面図である。図１１（ｃ）は、第２モード時の側面図である。図１１（ｄ）は、第２モード時の上面図である。
図１１に示すように、図１１（ａ）と図１１（ｃ）を比較すると、第１モードにおいて第１カメラ１０が撮像する縦の範囲１０１は、第２モードにおいて第１カメラ１０が撮像する縦の範囲１０３より広い。図１１（ｂ）と図１１（ｄ）を比較すると、第１モードにおいて第１カメラ１０が撮像する第１撮像画像の横の範囲１０２よりも、第２モードにおいて第１カメラ１０が撮像する横の範囲１０４の方が広い。
図１２に、第１モード及び第２モードにおける、第１カメラ１０の撮像範囲の例を示す。図１２に示す例においては、第１駆動部１５は、光軸をチルトさせた上で第１カメラ１０を回転させている。図１２に示す例では、第１駆動部１５は、第２モードにおいて、光軸の向きを、第１モードのときよりも、上方かつ外向きにしている。このように第１モードであるか第２モードであるかに応じて光軸の向きを変えることにより、運転者６２は、状況に適した範囲を視ることができる。
図１２（ａ）は、第１モード時の側面図である。図１２（ｂ）は、第１モード時の上面図である。図１２（ｃ）は、第２モード時の側面図である。図１２（ｄ）は、第２モード時の上面図である。
図１２に示すように、図１２（ａ）と図１２（ｃ）を比較すると、第１モードにおいて第１カメラ１０が撮像する縦の範囲１０１は、第２モードにおいて第１カメラ１０が撮像する縦の範囲１０３より広い。図１２（ｂ）と図１２（ｄ）を比較すると、第１モードにおいて第１カメラ１０が撮像する第１撮像画像の横の範囲１０２よりも、第２モードにおいて第１カメラ１０が撮像する横の範囲１０４の方が広い。
図１３に、第１駆動部１５が第１カメラ１０を回転させる機構の一例を示す。第１カメラ１０は、第１カメラ１０の筐体に固定された歯車１３１を備える。第１駆動部１５は、歯車１３１と噛み合う歯車１３２を備える。第１駆動部１５は、歯車１３２を回転させることにより、歯車１３１を駆動して第１カメラ１０を回転させる。同様の機構により、第２駆動部２５は、第２カメラ２０を回転させることができる。
（第２変形例）
図１４を参照して、本開示の一実施形態の第２変形例に係るカメラモニタシステム３について説明する。
図１４を参照して、本開示の一実施形態の第２変形例に係るカメラモニタシステム３について説明する。
図１４に示すように、第２変形例に係るカメラモニタシステム３は、第１カメラ１０ａと、第２カメラ２０ａと、第３カメラ３０と、モニタ４０と、画像処理装置５０と、コントローラ７０とを備える。
第１カメラ１０ａは、図１に示す第１カメラ１０に加えて第１駆動部１５を備える。第２カメラ２０ａは、図１に示す第２カメラ２０に加えて第２駆動部２５を備える。
第１駆動部１５は、第１レンズ１１及び第１撮像素子１２を一体として駆動して回転させる。または、第１駆動部１５は、第１撮像素子１２のみを駆動して回転させる。
第２駆動部２５は、第２レンズ２１及び第２撮像素子２２を一体として駆動して回転させる。または、第２駆動部２５は、第２撮像素子２２のみを駆動して回転させる。
図１５に、第１駆動部１５が第１レンズ１１及び第１撮像素子１２を一体として回転させる機構の一例を示す。第１レンズ１１と第１撮像素子１２とは、一体として回転するように結合されている。第１レンズ１１は、第１レンズ１１に固定された歯車１３３を備える。第１駆動部１５は、歯車１３３と噛み合う歯車１３４を備える。第１駆動部１５は、歯車１３４を回転させることにより、歯車１３３を駆動して第１レンズ１１及び第１撮像素子１２を一体として回転させる。同様の機構により、第２駆動部２５は、第２レンズ２１及び第２撮像素子２２を一体として回転させることができる。
図１６に、第１駆動部１５が第１撮像素子１２のみを回転させる機構の一例を示す。第１レンズ１１と第１撮像素子１２とは、第１撮像素子１２が第１レンズ１１とは独立して回転可能なように構成されている。第１撮像素子１２は、第１撮像素子１２に固定された歯車１３５を備える。第１駆動部１５は、歯車１３５と噛み合う歯車１３６を備える。第１駆動部１５は、歯車１３６を回転させることにより、歯車１３５を駆動して第１撮像素子１２のみを回転させる。同様の機構により、第２駆動部２５は、第２撮像素子２２のみを回転させることができる。
回転機構以外に関しては、第２変形例は第１変形例と同様であるため、説明を省略する。
（第３変形例）
図１７を参照して、本開示の一実施形態の第３変形例に係るカメラモニタシステム４について説明する。
図１７を参照して、本開示の一実施形態の第３変形例に係るカメラモニタシステム４について説明する。
図１７に示すように、第３変形例に係るカメラモニタシステム４は、図９に示す第１変形例に係るカメラモニタシステム２に対し、スイッチ８０を加えたものである。
スイッチ８０は、第１モードと第２モードとを切り替えるスイッチである。運転者６２がスイッチ８０によって第１モードに切り替えると、第１駆動部１５は、第１撮像画像が縦長になるように第１カメラ１０を回転させ、第２駆動部２５は、第２撮像画像が縦長になるように第２カメラ２０を回転させる。運転者６２がスイッチ８０によって第２モードに切り替えると、第１駆動部１５は、第１撮像画像が横長になるように第１カメラ１０を回転させ、第２駆動部２５は、第２撮像画像が横長になるように第２カメラ２０を回転させる。
スイッチ８０の位置は、運転者６２が移動体６１の走行中に操作することが可能な位置であれば、移動体６１の内部において任意である。例えば、図１８に示すように、スイッチ８０は、ダッシュボード６３上のステアリングホイール６４の右奥に位置する。スイッチ８０は、ステアリングホイール６４上に取り付けられていてよい。スイッチ８０は、物理スイッチに限られず、カーナビ画面上などにスイッチボタンとして表示されていてよい。
以上述べたように、一実施形態に係るカメラモニタシステム１〜４によれば、画像プロセッサ５３は、少なくとも移動体情報及び環境情報のいずれか一方に応じて、第１撮像画像、第２撮像画像及び第３撮像画像を含む合成画像のレイアウトを変更する。合成画像を視認する運転者６２は、移動体６１の状況に適した領域を認識可能である。このため、移動体６１の外部領域の撮像画像を表示する技術の利便性が向上する。
本発明を諸図面及び実施形態に基づき説明してきたが、当業者であれば本開示に基づき種々の変形及び修正を行うことが容易であることに注意されたい。したがって、これらの変形及び修正は本発明の範囲に含まれることに留意されたい。例えば、各手段、各ステップ等に含まれる機能等は論理的に矛盾しないように再配置可能であり、複数の手段又はステップ等を１つに組み合わせたり、あるいは分割したりすることが可能である。
例えば、上述した実施形態に係るカメラモニタシステム１〜４の各構成要素および機能は再配置可能であってよい。例えば、画像処理装置５０の構成および機能の一部または全部を、第１カメラ１０、第２カメラ２０、第３カメラ３０及びモニタ４０のいずれかに包含させてもよい。
上述の実施形態に係るカメラモニタシステム１〜４の構成要素の一部は、移動体６１の外部に位置してよい。例えば、画像処理装置５０等は、携帯電話または外部サーバ等の通信機器として実現され、カメラモニタシステム１〜４の他の構成要素と有線または無線によって接続されてもよい。
１、２、３、４ カメラモニタシステム
１０、１０ａ 第１カメラ
１１ 第１レンズ
１２ 第１撮像素子
１３ 第１通信部
１４ 第１コントローラ
１５ 第１駆動部
２０、２０ａ 第２カメラ
２１ 第２レンズ
２２ 第２撮像素子
２３ 第２通信部
２４ 第２コントローラ
２５ 第２駆動部
３０ 第３カメラ
３１ 第３レンズ
３２ 第３撮像素子
３３ 第３通信部
３４ 第３コントローラ
４０ モニタ
５０ 画像処理装置
５１ 通信部
５２ 記憶部
５３ 画像プロセッサ
６０ ネットワーク
６１ 移動体
６２ 運転者
６３ ダッシュボード
６４ ステアリングホイール
７０ コントローラ
７１ 通信部
７２ プロセッサ
８０ スイッチ
１０１、１０２、１０３、１０４ 範囲
１１０ 合成画像
１１１ 第１撮像画像
１１２ 第２撮像画像
１１３ 第３撮像画像
１１４ カーナビの画像又は周辺監視カメラの画像
１２１、１２２ はみ出し部
１３１、１３２、１３３、１３４、１３５、１３６ 歯車
１０、１０ａ 第１カメラ
１１ 第１レンズ
１２ 第１撮像素子
１３ 第１通信部
１４ 第１コントローラ
１５ 第１駆動部
２０、２０ａ 第２カメラ
２１ 第２レンズ
２２ 第２撮像素子
２３ 第２通信部
２４ 第２コントローラ
２５ 第２駆動部
３０ 第３カメラ
３１ 第３レンズ
３２ 第３撮像素子
３３ 第３通信部
３４ 第３コントローラ
４０ モニタ
５０ 画像処理装置
５１ 通信部
５２ 記憶部
５３ 画像プロセッサ
６０ ネットワーク
６１ 移動体
６２ 運転者
６３ ダッシュボード
６４ ステアリングホイール
７０ コントローラ
７１ 通信部
７２ プロセッサ
８０ スイッチ
１０１、１０２、１０３、１０４ 範囲
１１０ 合成画像
１１１ 第１撮像画像
１１２ 第２撮像画像
１１３ 第３撮像画像
１１４ カーナビの画像又は周辺監視カメラの画像
１２１、１２２ はみ出し部
１３１、１３２、１３３、１３４、１３５、１３６ 歯車
Claims (10)
- 第１レンズと第１撮像素子と少なくとも該第１撮像素子の回転を駆動する第１駆動部とを有して車両の左側方の所定領域を含む領域を撮像する第１カメラと、
第２レンズと第２撮像素子と少なくとも該第２撮像素子の回転を駆動する第２駆動部とを有して前記車両の右側方の所定領域を含む領域を撮像する第２カメラと、
前記車両の後方の所定領域を含む領域を撮像する第３カメラと、
前記第１カメラが撮像した第１撮像画像と、前記第２カメラが撮像した第２撮像画像と、前記第３カメラが撮像した第３撮像画像とを含む合成画像を表示するモニタと、
前記合成画像のレイアウトを制御する画像プロセッサと、を備え、
前記画像プロセッサは、少なくとも移動体情報及び環境情報のいずれか一方に応じて少なくとも前記第１撮像素子及び前記第２撮像素子を回転させて前記レイアウトを変更する、カメラモニタシステム。 - 第１レンズと第１撮像素子と少なくとも該第１撮像素子の回転を駆動する第１駆動部とを有して車両の左側方の所定領域を含む領域を撮像する第１カメラが撮像した第１撮像画像と、第２レンズと第２撮像素子と少なくとも該第２撮像素子の回転を駆動する第２駆動部とを有して前記車両の右側方の所定領域を含む領域を撮像する第２カメラが撮像した第２撮像画像と、前記車両の後方の所定領域を含む領域を撮像する第３カメラが撮像した第３撮像画像とを受信する通信部と、
前記第１撮像画像、前記第２撮像画像及び前記第３撮像画像を含む合成画像を表示するモニタにおける該合成画像のレイアウトを制御する画像プロセッサと、を備え、
前記画像プロセッサは、少なくとも移動体情報及び環境情報のいずれか一方に応じて少なくとも前記第１撮像素子及び前記第２撮像素子を回転させて前記レイアウトを変更する、画像処理装置。 - 請求項２に記載の画像処理装置において、
前記第１駆動部は、前記第１撮像素子と共に前記第１レンズの回転を駆動し、
前記第２駆動部は、前記第２撮像素子と共に前記第２レンズの回転を駆動する、画像処理装置。 - 請求項２に記載の画像処理装置において、
前記第１駆動部は、前記第１撮像素子と共に前記第１カメラ全体の回転を駆動し、
前記第２駆動部は、前記第２撮像素子と共に前記第２カメラ全体の回転を駆動する、画像処理装置。 - 請求項２から４のいずれか一項に記載の画像処理装置において、前記画像プロセッサは、前記車両のターンシグナルスイッチの操作を検出すると、前記第１撮像画像及び前記第２撮像画像が横長に表示されるレイアウトに切り替える、画像処理装置。
- 請求項２から５のいずれか一項に記載の画像処理装置において、前記画像プロセッサは、前記車両の速度が所定速度以上になると、前記第１撮像画像及び前記第２撮像画像が横長に表示されるレイアウトに切り替える、画像処理装置。
- 請求項２から６のいずれか一項に記載の画像処理装置において、前記画像プロセッサは、前記車両が複数車線を走行していることを検出すると、前記第１撮像画像及び前記第２撮像画像が横長に表示されるレイアウトに切り替える、画像処理装置。
- 請求項２から７のいずれか一項に記載の画像処理装置において、前記画像プロセッサは、前記車両のギヤがリバースに設定されると、前記第１撮像画像及び前記第２撮像画像が縦長に表示されるレイアウトに切り替える、画像処理装置。
- 第１レンズと第１撮像素子と少なくとも該第１撮像素子の回転を駆動する第１駆動部とを有して車両の左側方の所定領域を含む領域を撮像する第１カメラと、
第２レンズと第２撮像素子と少なくとも該第２撮像素子の回転を駆動する第２駆動部とを有して前記車両の右側方の所定領域を含む領域を撮像する第２カメラと、
前記車両の後方の所定領域を含む領域を撮像する第３カメラと、
前記第１カメラが撮像した第１撮像画像と、前記第２カメラが撮像した第２撮像画像と、前記第３カメラが撮像した第３撮像画像とを含む合成画像を表示するモニタと、
前記合成画像のレイアウトを制御する画像プロセッサと、を含み、
前記画像プロセッサは、少なくとも移動体情報及び環境情報のいずれか一方に応じて少なくとも前記第１撮像素子及び前記第２撮像素子を回転させて前記レイアウトを変更する、カメラモニタシステムを備える車両。 - 第１レンズと第１撮像素子と少なくとも該第１撮像素子の回転を駆動する第１駆動部とを有する第１カメラと、第２レンズと第２撮像素子と少なくとも該第２撮像素子の回転を駆動する第２駆動部とを有する第２カメラと、第３カメラと、モニタと、画像プロセッサとを備えるカメラモニタシステムにおける画像処理方法であって、
前記第１カメラが、車両の左側方の所定領域を含む領域を撮像するステップと、
前記第２カメラが、車両の右側方の所定領域を含む領域を撮像するステップと、
前記第３カメラが、車両の後方の所定領域を含む領域を撮像するステップと、
前記画像プロセッサが、少なくとも移動体情報及び環境情報のいずれか一方に応じて少なくとも前記第１撮像素子及び前記第２撮像素子を回転させて前記モニタに表示される合成画像のレイアウトを制御するステップと、
前記モニタが、前記第１カメラが撮像した第１撮像画像と、前記第２カメラが撮像した第２撮像画像と、前記第３カメラが撮像した第３撮像画像とを含み、前記画像プロセッサによってレイアウトを制御された前記合成画像を表示するステップと、
を含む画像処理方法。
Priority Applications (4)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2016233490A JP6626817B2 (ja) | 2016-11-30 | 2016-11-30 | カメラモニタシステム、画像処理装置、車両及び画像処理方法 |
| PCT/JP2017/041284 WO2018101063A1 (ja) | 2016-11-30 | 2017-11-16 | カメラモニタシステム、画像処理装置、車両及び画像処理方法 |
| EP17876036.9A EP3550819B1 (en) | 2016-11-30 | 2017-11-16 | Camera monitoring system, vehicle, and image processing method |
| US16/464,776 US10893214B2 (en) | 2016-11-30 | 2017-11-16 | Camera monitoring system, image processing device, vehicle and image processing method |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2016233490A JP6626817B2 (ja) | 2016-11-30 | 2016-11-30 | カメラモニタシステム、画像処理装置、車両及び画像処理方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2018093311A JP2018093311A (ja) | 2018-06-14 |
| JP6626817B2 true JP6626817B2 (ja) | 2019-12-25 |
Family
ID=62242818
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2016233490A Active JP6626817B2 (ja) | 2016-11-30 | 2016-11-30 | カメラモニタシステム、画像処理装置、車両及び画像処理方法 |
Country Status (4)
| Country | Link |
|---|---|
| US (1) | US10893214B2 (ja) |
| EP (1) | EP3550819B1 (ja) |
| JP (1) | JP6626817B2 (ja) |
| WO (1) | WO2018101063A1 (ja) |
Families Citing this family (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP6480605B2 (ja) * | 2015-12-22 | 2019-03-13 | 京セラ株式会社 | 撮像装置、撮像システム、車両及び異物判定方法 |
| JP6890288B2 (ja) * | 2018-03-28 | 2021-06-18 | パナソニックＩｐマネジメント株式会社 | 画像処理装置、画像表示システムおよび画像処理方法 |
| KR20200055596A (ko) * | 2018-11-13 | 2020-05-21 | 삼성전자주식회사 | 차량에 탑재되는 단말 장치가 영상을 전송하는 방법 및 차량의 주행을 제어하는 원격 제어 장치가 영상을 수신하는 방법 |
| JP7440235B2 (ja) | 2019-09-26 | 2024-02-28 | フォルシアクラリオン・エレクトロニクス株式会社 | 表示制御装置、及び表示制御方法 |
| US20230367098A1 (en) * | 2022-05-16 | 2023-11-16 | GM Global Technology Operations LLC | Methods and systems for automated dynamic lens utilization |
Family Cites Families (17)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH10257482A (ja) * | 1997-03-13 | 1998-09-25 | Nissan Motor Co Ltd | 車両周辺状況表示装置 |
| EP0949818A3 (en) * | 1998-04-07 | 2000-10-25 | Matsushita Electric Industrial Co., Ltd. | On-vehicle image display apparatus, image transmission system, image transmission apparatus, and image capture apparatus |
| JP3298851B2 (ja) * | 1999-08-18 | 2002-07-08 | 松下電器産業株式会社 | 多機能車載カメラシステムと多機能車載カメラの画像表示方法 |
| US6559761B1 (en) * | 2001-10-05 | 2003-05-06 | Ford Global Technologies, Llc | Display system for vehicle environment awareness |
| KR100482598B1 (ko) * | 2003-04-21 | 2005-04-14 | 현대자동차주식회사 | 차간거리 제어방법 및 장치 |
| JP2006264574A (ja) | 2005-03-25 | 2006-10-05 | Matsushita Electric Ind Co Ltd | 車載カメラ及び車載カメラシステム |
| WO2007032427A1 (ja) | 2005-09-16 | 2007-03-22 | Pioneer Corporation | 運転支援装置、撮影制御方法、撮影制御プログラムおよび記録媒体 |
| JP2007237785A (ja) * | 2006-03-06 | 2007-09-20 | National Univ Corp Shizuoka Univ | 車載用情報提示システム |
| US20090128630A1 (en) * | 2006-07-06 | 2009-05-21 | Nissan Motor Co., Ltd. | Vehicle image display system and image display method |
| JP5120880B2 (ja) * | 2007-10-15 | 2013-01-16 | アルパイン株式会社 | 画像処理装置及び画像処理方法 |
| JP5500369B2 (ja) * | 2009-08-03 | 2014-05-21 | アイシン精機株式会社 | 車両周辺画像生成装置 |
| JP5077307B2 (ja) * | 2009-08-05 | 2012-11-21 | 株式会社デンソー | 車両周囲画像表示制御装置 |
| US8310520B2 (en) * | 2009-08-19 | 2012-11-13 | Avaya Inc. | Flexible decomposition and recomposition of multimedia conferencing streams using real-time control information |
| JP5251947B2 (ja) * | 2010-09-17 | 2013-07-31 | 日産自動車株式会社 | 車両用画像表示装置 |
| JP6364702B2 (ja) * | 2013-03-29 | 2018-08-01 | アイシン精機株式会社 | 画像表示制御装置、画像表示システム、および表示ユニット |
| JP6261542B2 (ja) * | 2015-06-10 | 2018-01-17 | 株式会社デンソーテン | 画像処理装置および画像処理方法 |
| US20170094227A1 (en) * | 2015-09-25 | 2017-03-30 | Northrop Grumman Systems Corporation | Three-dimensional spatial-awareness vision system |
-
2016
- 2016-11-30 JP JP2016233490A patent/JP6626817B2/ja active Active
-
2017
- 2017-11-16 US US16/464,776 patent/US10893214B2/en active Active
- 2017-11-16 EP EP17876036.9A patent/EP3550819B1/en active Active
- 2017-11-16 WO PCT/JP2017/041284 patent/WO2018101063A1/ja unknown
Also Published As
| Publication number | Publication date |
|---|---|
| EP3550819A1 (en) | 2019-10-09 |
| US20190394410A1 (en) | 2019-12-26 |
| EP3550819A4 (en) | 2020-07-15 |
| WO2018101063A1 (ja) | 2018-06-07 |
| US10893214B2 (en) | 2021-01-12 |
| JP2018093311A (ja) | 2018-06-14 |
| EP3550819B1 (en) | 2022-08-24 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11961162B2 (en) | Imaging apparatus, image processing apparatus, display system, and vehicle | |
| JP6626817B2 (ja) | カメラモニタシステム、画像処理装置、車両及び画像処理方法 | |
| EP3451651B1 (en) | Imaging control device, imaging control method, and imaging apparatus | |
| JP7047767B2 (ja) | 画像処理装置と画像処理方法 | |
| US20160229341A1 (en) | Apparatus and method for a safety system of cameras for advantageously viewing vehicular traffic by the driver | |
| US10930070B2 (en) | Periphery monitoring device | |
| US10704957B2 (en) | Imaging device and imaging method | |
| JP2018064007A (ja) | 固体撮像素子、および電子装置 | |
| US11030468B2 (en) | Image processing apparatus | |
| US11100353B2 (en) | Apparatus of controlling region of interest of image and method for controlling the same | |
| WO2024024148A1 (ja) | 車載監視装置、情報処理装置および車載監視システム | |
| JP2018085584A (ja) | 画像処理装置、撮像装置、および表示システム | |
| JP2018107620A (ja) | 撮像システム、移動体、および制御方法 | |
| JP6712942B2 (ja) | 画像処理装置、撮像装置、および表示システム | |
| JP6720063B2 (ja) | 画像処理装置、撮像装置、および表示システム | |
| JP6759072B2 (ja) | 画像処理装置、撮像装置、および表示システム | |
| JP2022040223A (ja) | 表示制御装置及び車両 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20181220 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20190820 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20191018 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20191112 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20191202 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 6626817 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |