WO2018155280A1 - 周辺監視システム - Google Patents
周辺監視システム Download PDFInfo
- Publication number
- WO2018155280A1 WO2018155280A1 PCT/JP2018/005066 JP2018005066W WO2018155280A1 WO 2018155280 A1 WO2018155280 A1 WO 2018155280A1 JP 2018005066 W JP2018005066 W JP 2018005066W WO 2018155280 A1 WO2018155280 A1 WO 2018155280A1
- Authority
- WO
- WIPO (PCT)
- Prior art keywords
- camera
- moving body
- image
- monitoring system
- periphery monitoring
- Prior art date
Links
- 238000012544 monitoring process Methods 0.000 title claims abstract description 57
- 230000003287 optical effect Effects 0.000 claims abstract description 51
- 238000012937 correction Methods 0.000 claims description 16
- 230000002093 peripheral effect Effects 0.000 claims description 6
- 238000002360 preparation method Methods 0.000 claims description 3
- 238000012790 confirmation Methods 0.000 description 23
- 230000006399 behavior Effects 0.000 description 15
- 101100099021 Salmonella typhimurium (strain LT2 / SGSC1412 / ATCC 700720) tdcD gene Proteins 0.000 description 13
- 238000000034 method Methods 0.000 description 11
- 238000003384 imaging method Methods 0.000 description 9
- 238000012545 processing Methods 0.000 description 8
- 230000015654 memory Effects 0.000 description 7
- 230000006870 function Effects 0.000 description 6
- 230000004397 blinking Effects 0.000 description 3
- 238000006243 chemical reaction Methods 0.000 description 3
- 238000010191 image analysis Methods 0.000 description 3
- 238000010276 construction Methods 0.000 description 2
- 239000004973 liquid crystal related substance Substances 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- UFHFLCQGNIYNRP-UHFFFAOYSA-N Hydrogen Chemical compound [H][H] UFHFLCQGNIYNRP-UHFFFAOYSA-N 0.000 description 1
- 239000011230 binding agent Substances 0.000 description 1
- 238000002485 combustion reaction Methods 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 229910052739 hydrogen Inorganic materials 0.000 description 1
- 239000001257 hydrogen Substances 0.000 description 1
- 239000004615 ingredient Substances 0.000 description 1
- 230000003137 locomotive effect Effects 0.000 description 1
- 238000000926 separation method Methods 0.000 description 1
Images
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
- B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
- B60R1/22—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
- B60R1/23—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view
- B60R1/27—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view providing all-round vision, e.g. using omnidirectional cameras
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/90—Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
Definitions
- This disclosure provides a periphery monitoring system that can obtain a detailed image in a wide range with few blind spots with as few cameras as possible.
- the first camera 11 may be a so-called electronic mirror camera.
- the posture of the first camera 11 is determined so that it is possible to photograph at least a scene in a range to be photographed, which is determined by laws and regulations, for example.
- the range to be photographed is a lateral width of 1 m from the side of the moving body 15 from the side of the moving body 15 at a position 4 m (meters) behind the driver on the ground, and 20 m or more behind the driver. Is a range including the outer width 4 m from the side surface of the moving body 15 (see the shaded portion).
- the range to be photographed is a range that monotonously increases from the position 4 m behind to the position 20 m behind the driver.
- the second camera 12 has a second lens and an image sensor.
- the second lens is formed to have desired optical characteristics relating to, for example, the depth of focus and the angle of view.
- the second lens forms a subject image on the image sensor.
- the image sensor is an image sensor such as a CCD image sensor or a CMOS image sensor.
- the second camera 12 images the subject of the second lens in the second object-oriented optical axis direction oxd2.
- the second camera 12 outputs a second image generated by imaging to the controller 13.
- the second lens has an angle of view in the left-right direction in the moving body 15 that can image the outer surface of the moving body 15 in the left-right direction of the moving body 15.
- the blind spot bs that is out of the respective imaging ranges of the first camera 11 and the second camera 12 is longer than the length corresponding to one lane from the outer surface of the moving body 15. It has an angle of view in the left-right direction that occurs from a distant position.
- the blind spot bs is separated from the moving body 15 by 3.75 m or more in the left-right direction. This 3.75 m is based on a value obtained by adding 0.25 m described in the proviso to the width of the first-class first-class lane based on Article 5, Paragraph 4 of the Road Structure Ordinance established by the Japanese Cabinet.
- the first object-oriented optical axis direction oxd1 of the first lens is in the same direction as the direction from the first camera 11 toward the second camera 12.
- the periphery monitoring system 10 includes the first camera 11 and the second camera component in such a manner that the second object-oriented optical axis direction oxd2 of the second lens includes a direction component opposite to the direction component.
- the imaging ranges of the first camera 11 and the second camera 12 can be overlapped without applying an ultra-wide-angle lens such as a fisheye lens that makes it difficult to acquire a detailed image to the camera 12. Therefore, in the periphery monitoring system 10, a detailed image can be obtained in a wide range with few blind spots.
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Mechanical Engineering (AREA)
- Closed-Circuit Television Systems (AREA)
Abstract
周辺監視システム１０は第１のカメラ１１と第２のカメラ１２とを有する。第１のカメラ１１は第１のレンズを有する。第２のカメラ１２を第１のカメラ１１と離れた位置に設ける。第２のカメラ１２は第２のレンズを有する。第１のレンズの第１の物体向き光軸方向が第１のカメラ１１から第２のカメラ１２に向かう方向と同じ向きの方向成分を含む。第２のレンズの第２の物体向き光軸方向が当該方向成分と逆向きの方向成分を含む。
Description
本出願は、２０１７年２月２４日に日本国に特許出願された特願２０１７－０３４０１０の優先権を主張するものであり、この先の出願の開示全体をここに参照のために取り込む。
本発明は、周辺監視システムに関するものである。
車両等の移動体に搭載され、移動体の周辺をカメラで監視する監視システムが知られている。監視システムには、死角が少なくかつ広範囲の周辺監視を、出来るだけ少ないカメラで実行することが求められている。従来の監視システムでは、魚眼レンズのような超広角レンズを用いて周辺を撮像している。超広角レンズを用いると光軸から離れる程画像が歪むので、歪みを補正する処理が行われる（特許文献１参照）。
しかし、歪みが大きくなると被写体の解像度が低く、歪の補正を行ったとしても要求される詳細な画像を得ることが困難であった。
本開示は、できるだけ少ないカメラで、死角が少なく且つ広範囲に詳細な画像が得られる周辺監視システムを提供する。
第１の観点による周辺監視システムは、
第１のレンズを有する第１のカメラと、
前記第１のカメラと離れて位置し、第２のレンズを有する第２のカメラと、を備え、
前記第１のレンズの第１の物体向き光軸方向が前記第１のカメラから前記第２のカメラに向かう方向と同じ向きの方向成分を含み、
前記第２のレンズの第２の物体向き光軸方向が該方向成分と逆向きの方向成分を含む。
第１のレンズを有する第１のカメラと、
前記第１のカメラと離れて位置し、第２のレンズを有する第２のカメラと、を備え、
前記第１のレンズの第１の物体向き光軸方向が前記第１のカメラから前記第２のカメラに向かう方向と同じ向きの方向成分を含み、
前記第２のレンズの第２の物体向き光軸方向が該方向成分と逆向きの方向成分を含む。
本開示に係る周辺監視システムによれば、できるだけ少ないカメラで、死角が少なくかつ広範囲に詳細な画像が得られる。
以下、本開示の複数の実施形態について、図面を参照して説明する。
図１に示すように、周辺監視システム１０は、第１のカメラ１１、第２のカメラ１２、およびコントローラ１３を含む。周辺監視システム１０は、移動体１５の周辺を監視する。周辺監視システム１０では、第１のカメラ１１および第２のカメラ１２の少なくとも一方が撮像によりそれぞれ生成した第１の画像および第２の画像に基づく表示画像をコントローラ１３が生成し、外部機器１４に伝達する。第１のカメラ１１、第２のカメラ１２、および外部機器１４と、コントローラ１３とは専用線又はＣＡＮ（Ｃｏｎｔｒｏｌｌｅｒ Ａｒｅａ Ｎｅｔｗｏｒｋ）などのネットワークを介して情報及び信号を伝達可能である。
図２に示すように、第１のカメラ１１および第２のカメラ１２は、移動体１５の外部に設けられる。
本開示における「移動体」には、車両、船舶、航空機を含む。本開示における「車両」には、自動車、鉄道車両、産業車両、及び生活車両を含むが、これに限られない。例えば車両には、滑走路を走行する飛行機を含めてよい。自動車は、乗用車、トラック、バス、二輪車、及びトロリーバス等を含むがこれに限られず、道路上を走行する他の車両を含んでよい。軌道車両は、機関車、貨車、客車、路面電車、案内軌道鉄道、ロープウエー、ケーブルカー、リニアモーターカー、及びモノレールを含むがこれに限られず、軌道に沿って進む他の車両を含んでよい。産業車両は、農業及び建設向けの産業車両を含む。産業車両には、フォークリフト、及びゴルフカートを含むがこれに限られない。農業向けの産業車両には、トラクター、耕耘機、移植機、バインダー、コンバイン、及び芝刈り機を含むが、これに限られない。建設向けの産業車両には、ブルドーザー、スクレーバー、ショベルカー、クレーン車、ダンプカー、及びロードローラを含むが、これに限られない。生活車両には、自転車、車いす、乳母車、手押し車、及び電動立ち乗り二輪車を含むが、これに限られない。車両の動力機関は、ディーゼル機関、ガソリン機関、及び水素機関を含む内燃機関、並びにモータを含む電気機関を含むが、これに限られない。車両は、人力で走行するものを含む。なお、車両の分類は、上述に限られない。例えば、自動車には、道路を走行可能な産業車両を含んでよく、複数の分類に同じ車両が含まれてよい。
第１のカメラ１１および第２のカメラ１２は、例えば、移動体１５の左側方および右側方の少なくとも一方に位置する。なお、第１のカメラ１１および第２のカメラ１２は、移動体１５の前方および後方の少なくとも一方に設けてよい。第１のカメラ１１および第２のカメラ１２は、互いに離れて位置する。
第１のカメラ１１は、例えば、移動体１５において第２のカメラ１２より前方に位置する。図３に示すように、第１のカメラ１１は、少なくとも移動体１５の後輪のホイールアーチ１６の前縁より前方に位置する。本実施形態においては、第１のカメラ１１は、移動体１５の前側のドアのドアウインドウの前端近傍に位置する。
第１のカメラ１１は、第１のレンズおよび撮像素子を有する。第１のレンズは、例えば焦点深度および画角などに関する所望の光学特性を有するように形成されている。第１のレンズは被写体像を撮像素子に結像させる。撮像素子はＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）イメージセンサおよびＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ ＭＯＳ）イメージセンサなどのイメージセンサである。第１のカメラ１１は、第１のレンズの第１の物体向き光軸方向ｏｘｄ１の被写体を撮像する。第１のカメラ１１は、撮像により生成した第１の画像をコントローラ１３に出力する。
第１の物体向き光軸方向ｏｘｄ１は、第２のカメラ１２の方向に向いている。詳細に説明すると、第１の物体向き光軸方向ｏｘｄ１は、第１のカメラ１１から第２のカメラ１２に向かう方向ｄ１２と同じ向きの方向成分を含む。例えば、第１の物体向き光軸方向ｏｘｄ１に含まれる、第１のカメラ１１から第２のカメラ１２に向かう方向ｄ１２と同じ向きの方向成分は、移動体１５の前後方向の方向成分を含む。第１のカメラ１１から第２のカメラ１２に向かう方向ｄ１２とは、例えば、第１のカメラ１１の第１のレンズの前側節点から第２のカメラ１２の第２のレンズの前側節点に向かう方向である。
第１の物体向き光軸方向ｏｘｄ１は、移動体１５の上下方向に傾斜していてよい、詳細に説明すると、第１の物体向き光軸方向ｏｘｄ１は、移動体１５の上下方向に沿った方向成分を含む。または、第１の物体向き光軸方向ｏｘｄ１は、傾斜せず水平であってよい。第１の実施形態においては、第１の物体向き光軸方向ｏｘｄ１は、移動体１５の下方向に傾斜しており、移動体１５の上下方向の下向きの方向成分を含む。
図２に示すように、第１の物体向き光軸方向ｏｘｄ１は、移動体１５の左右方向の移動体１５の外面から離れる方向に傾斜していてよい。詳細に説明すると、第１の物体向き光軸方向ｏｘｄ１は、移動体１５の左右方向に沿った、移動体１５の表面から離れる方向の方向成分を含む。または第１の物体向き光軸方向ｏｘｄ１は、傾斜せずに前後方向に平行であってよい。
図４に示すように、第１のレンズは、移動体１５の左右方向において、移動体１５の外面を撮像可能な、移動体１５における左右方向の画角を有する。また、後述するように、第２のカメラ１２が有する第２のレンズの撮影可能な範囲と関連した、左右方向の画角を有する。
図５に示すように、第１のレンズは、移動体１５の最後端において移動体１５の屋根の高さが撮像範囲に含まれるような、移動体１５における上下方向の画角を有する。また、第１のレンズは、移動体１５の後輪のホイールアーチ１６を含む範囲を撮像可能な、または第１のレンズの画角により画定される光軸を含む空間内に移動体１５の後輪を存在させる、移動体１５における上下方向の画角を少なくとも有する。または、第１のレンズは、移動体１５の前後方向における第１のカメラ１１および第２のカメラ１２の間の路面を撮像可能な画角を有してよい。
一例として、第１のカメラ１１は、所謂電子ミラー用のカメラであってよい。第１のカメラ１１は、例えば、法令などにより定められる、撮影すべき範囲の光景を少なくとも撮影可能となるように姿勢が定められている。例えば、図６に示すように、撮影すべき範囲は、地上において運転者から後方４ｍ（メートル）の位置において移動体１５側面から移動体１５の外方幅１ｍで、運転者から後方２０ｍ以上後方の位置において移動体１５側面から外方幅４ｍを含む範囲（網掛け部分参照）である。撮影すべき範囲は、運転者から後方４ｍの位置から後方２０ｍの位置までの間で、単調に増加する範囲である。
第２のカメラ１２は、例えば、移動体１５において第１のカメラ１１より後方に位置する。図３に示すように、第２のカメラ１２は、少なくとも移動体１５の前輪のホイールアーチ１７の後端より後方に位置する。本実施形態においては、第２のカメラ１２は、移動体１５のリアピラーに位置する。
第２のカメラ１２は、第２のレンズおよび撮像素子を有する。第２のレンズは、例えば焦点深度および画角などに関する所望の光学特性を有するように形成されている。第２のレンズは被写体像を撮像素子に結像させる。撮像素子はＣＣＤイメージセンサおよびＣＭＯＳイメージセンサなどのイメージセンサである。第２のカメラ１２は、第２のレンズの第２の物体向き光軸方向ｏｘｄ２の被写体を撮像する。第２のカメラ１２は、撮像により生成した第２の画像をコントローラ１３に出力する。
第２の物体向き光軸方向ｏｘｄ２は、第１のカメラ１１の方向に向いている。したがって、第２の物体向き光軸方向ｏｘｄ２と、第１の物体向き光軸方向ｏｘｄ１とが向き合っている。詳細に説明すると、第２の物体向き光軸方向ｏｘｄ２は、第１のカメラ１１から第２のカメラ１２に向かう方向ｄ１２とは逆向きの方向成分を含む。例えば、第２の物体向き光軸方向ｏｘｄ２は、移動体１５の前後方向において第１の物体向き光軸方向ｏｘｄ１と逆を向いている。
第２の物体向き光軸方向ｏｘｄ２は、移動体１５の上下方向に沿って第１の物体向き光軸方向ｏｘｄ１と同じ方向に傾斜していてよい、詳細に説明すると、第１の物体向き光軸方向ｏｘｄ１および第２の物体向き光軸方向ｏｘｄ２は、移動体１５の上下方向に沿った同じ向きの方向成分を含む。または、第２の物体向き光軸方向ｏｘｄ２は、傾斜せず水平であってよい。第１の実施形態においては、第２の物体向き光軸方向ｏｘｄ２は、移動体１５の下方向に傾斜しており、移動体１５の上下方向の下向きの方向成分を含む。
図２に示すように、第２の物体向き光軸方向ｏｘｄ２は、移動体１５の左右方向に沿って第１の物体向き光軸方向ｏｘｄ１と同じ方向に傾斜してよい。詳細に説明すると、第１の物体向き光軸方向ｏｘｄ１および第２の物体向き光軸方向ｏｘｄ２は、移動体１５の左右方向に沿った同じ向きの方向成分を含む。または第２の物体向き光軸方向ｏｘｄ２は、傾斜せずに前後方向に平行であってよい。
図４に示すように、第２のレンズは、移動体１５の左右方向において、移動体１５の外面を撮像可能な、移動体１５における左右方向の画角を有する。また、第１のレンズおよび第２のレンズは、第１のカメラ１１および第２のカメラ１２のそれぞれの撮影範囲から外れる死角ｂｓが、移動体１５の外表面から１車線に相当する長さ以上離れた位置から発生するような、左右方向の画角を有する。一例において、死角ｂｓは、移動体１５から左右方向に３．７５ｍ以上離れている。この３．７５ｍは、日本国の内閣が制定する道路構造令第５条第４項に基づく、第１種第１級における車線の幅員にただし書きに記載の０．２５ｍを加えた値に基づく。
図５に示すように、第２のレンズは、移動体１５の前輪のホイールアーチ１７含む範囲を撮像可能な、移動体１５における上下方向の画角を少なくとも有する。または、第２のレンズは、第１のカメラ１１および第２のカメラ１２が、移動体１５の前後方向における第１のカメラ１１および第２のカメラ１２の間同じ位置の路面を撮像可能な画角を有してよい。また、第２のレンズは、第２のカメラ１２より移動体１５の上下方向における上方を撮像可能な、移動体１５における上下方向の画角を有する。
図１に示す、コントローラ１３は、１又は複数のプロセッサを含む。コントローラ１３は、種々の処理のためのプログラム及び演算中の情報を記憶する１又は複数のメモリを含んでよい。メモリは、揮発性メモリ及び不揮発性メモリが含まれる。メモリは、プロセッサから独立しているメモリ、及びプロセッサの内蔵メモリが含まれる。プロセッサには、特定のプログラムを読み込ませて特定の機能を実行する汎用のプロセッサ、特定の処理に特化した専用のプロセッサが含まれる。専用のプロセッサには、特定用途向けＩＣ（ＡＳＩＣ；Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）が含まれる。プロセッサには、プログラマブルロジックデバイス（ＰＬＤ；Ｐｒｏｇｒａｍｍａｂｌｅ Ｌｏｇｉｃ Ｄｅｖｉｃｅ）が含まれる。ＰＬＤには、ＦＰＧＡ（Ｆｉｅｌｄ－Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）が含まれる。コントローラ１３は、一つ又は複数のプロセッサが協働するＳｏＣ（Ｓｙｓｔｅｍ ｏｎ ａ Ｃｈｉｐ）、及びＳｉＰ（Ｓｙｓｔｅｍ Ｉｎ ａ Ｐａｃｋａｇｅ）のいずれかであってよい。コントローラ１３が複数のプロセッサを含む構成では、第１のカメラ１１および第２のカメラ１２の少なくとも一方は、プロセッサの一部を含みうる。第１のカメラ１１に含まれるプロセッサは、コントローラ１３が有する機能の一部を実行しうる。第２のカメラ１２に含まれるプロセッサは、コントローラ１３が有する機能の一部を実行しうる。
コントローラ１３は、第１のカメラ１１および第２のカメラ１２それぞれが撮像した第１の画像および第２の画像を取得する。また、コントローラ１３は、例えばＥＣＵ（Ｅｌｅｃｔｒｏｎｉｃ Ｃｏｎｔｒｏｌ Ｕｎｉｔ）などから、移動体１５の挙動に関する情報を取得する。挙動に関する情報は、例えば、方向指示器の点滅を指令する情報、移動体１５がリバースギアの状態であることを示す情報、およびステアリングホイールの舵角に関する情報などである。
コントローラ１３は、第１の画像および第２の画像に所定の画像処理を施して、表示画像を生成する。所定の画像処理は、ホワイトバランス調整、γ補正、色補間、輪郭強調、電子ズーム、シャープネス処理、および超解像処理などを含んでよい。
さらに、コントローラ１３は、移動体１５の挙動に基づいて、第１の画像および第２の画像の少なくとも一方の歪みを補正する。
コントローラ１３は、挙動に関する情報に基づいて、移動体１５の挙動が側方への移動の準備中であるか否かを判別する。例えば、コントローラ１３は、方向指示器の点滅を指令する情報を挙動に関する情報として取得するとき、移動体１５が側方へ移動の準備中であると判別する。
コントローラ１３は、移動体１５の挙動が側方への移動の準備中であると判別するとき、第１の画像の後方確認領域の画像を、移動体１５における前から後に正視した画像に変換するよう補正する。また、コントローラ１３は、移動体１５が側方への移動の準備中であると判別するとき、第２の画像の側方確認領域の画像を、移動体１５から側方を正視した、画像に変換するよう補正する。さらに、コントローラ１３は、移動体１５が側方への移動の準備中であると判別するとき、第２の画像の前方確認領域の画像を、移動体１５における後から前に正視した画像に変換するように補正する。コントローラ１３は、画像の視点変換を、変換テーブルを用いた座標変換によって実行しうる。コントローラ１３は、補正した画像を外部機器１４に送信する。
第１の画像の後方確認領域ｒｃａとは、例えば、移動体１５が存在する位置に隣接する車線上における車両などの物体の正面の描画が想定される領域である。当該後方確認領域ｒｃａは、第１のカメラ１１の取付け位置および姿勢ならびに第１のカメラ１１の画角などに基づいて定められる。上述のような第１のカメラ１１の構成および移動体１５への取付け姿勢において、当該後方確認領域ｒｃａは、例えば、図７に示すように、第１の画像ｉｍ１上において第１のレンズの光軸に対応する点ｏｘｐ１よりも移動体１５側を含む領域である。第１の画像ｉｍ１の後方確認領域ｒｃａは、第１の画像ｉｍ１の全領域としうる。
第２の画像の側方確認領域ｓｃａとは、例えば、移動体１５が存在する位置に隣接する車線上の車両などの物体の側面、および移動体１５が左折または右折する道路上における車両などの物体の正面の描画が想定される領域である。当該側方確認領域ｓｃａは、第２のカメラ１２の取付け位置および姿勢ならびに第２のカメラ１２の画角などに基づいて定められる。上述のような第２のカメラ１２の構成および移動体１５への取付け姿勢において、当該側方確認領域ｓｃａは、例えば、図８に示すように、第２の画像ｉｍ２上において第２のレンズの光軸に対応する点ｏｘｐ２より移動体１５から離れる側を含む領域である。第２の画像ｉｍ２の側方確認領域ｓｃａは、第２の画像ｉｍ２の全領域としうる。
第２の画像ｉｍ２の前方確認領域ｆｃａとは、例えば、移動体１５が左折または右折する道路の横断を待機している人物の描画が想定される領域である。当該前方確認領域ｆｃａは、第２のカメラ１２の取付け位置および姿勢ならびに第２のカメラ１２の画角などに基づいて定められる。上述のような第２のカメラ１２の構成および移動体１５への取付け姿勢において、当該前方確認領域ｆｃａは、例えば、第２の画像ｉｍ２において点ｏｘｐ２より上側を含む領域である。前方確認領域ｆｃａは、側方確認領域ｓｃａと一部が重なりうる。第２の画像ｉｍ２の前方確認領域ｆｃａは、第２の画像ｉｍ２の全領域としうる。
コントローラ１３は、挙動に関する情報に基づいて、移動体１５が後退中であるか否かを判別する。例えば、コントローラ１３は、移動体１５がリバースギアの状態であるであることを示す情報を挙動に関する情報として取得するとき、移動体１５が後退中であると判別する。
コントローラ１３は、移動体１５の挙動が後退中であると判別するとき、第１の画像ｉｍ１および第２の画像ｉｍ２を、移動体１５の鉛直上方から下方を正視する画像に補正する。コントローラ１３は、第１の画像ｉｍ１および第２の画像ｉｍ２が地表面で同じ縮尺となるように補正する。コントローラ１３は、第１の画像ｉｍ１および第２の画像ｉｍ２の２つの補正像を１つの画像に結合しうる。かかる補正後の画像は、移動体１５の周辺監視システムに利用しうる。かかる周辺監視システムは、サラウンドビュー、サラウンドビューモニタ、アラウンドビュー、パノラミックビュー、マルチビュー、全方位モニタ、サラウンドアイ、及びイーグルビューなどと称しうる。
図１に示す、外部機器１４は、例えば、モニタおよび画像解析装置である。モニタは、例えば液晶ディスプレイ（ＬＣＤ（Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ））、または、有機若しくは無機ＥＬディスプレイであって、取得する表示画像を表示する。画像解析装置は、例えば表示画像に基づいて画像解析を行い、特定の種類の被写体の描画の有無、および特定の被写体の距離などを算出可能である。
本実施形態において、外部機器１４はモニタである。外部機器１４は、移動体１５の車室内の、運転者が視認可能な位置に設けられる。外部機器１４は、コントローラ１３から取得する画像を表示する。
次に、本実施形態においてコントローラ１３が実行する、歪補正処理について、図９のフローチャートを用いて説明する。歪補正処理は、移動体１５の例えばエンジンを含む原動機が始動するとき、または例えばモータを含む原動機が始動可能な状態となるとき、開始する。また、歪補正処理は、移動体１５の例えばエンジンを含む原動機が停止するとき、または例えばモータを含む原動機が始動可能な状態が終了するとき、終了する。なお、このフローに記載の歪み補正と合わせて、コントローラ１３は、他の歪み補正を実行しうる。例えば、コントローラ１３は、第１のカメラ１１の第１の画像ｉｍ１をＥミラー用の画像向けに歪み補正を実行しうる。
ステップＳ１００において、コントローラ１３は、第１のカメラ１１および第２のカメラ１２それぞれから第１の画像ｉｍ１および第２の画像ｉｍ２を取得する。第１の画像ｉｍ１および第２の画像ｉｍ２を取得すると、プロセスはステップＳ１０１に進む。
ステップＳ１０１では、コントローラ１３は、側方への移動の準備中であるか否かを判別する。なお、前述のように、コントローラ１３は、方向指示器の点滅を指令する情報を取得しているとき側方への移動の準備中であると判別する。側方への移動の準備中であると判別するとき、プロセスはステップＳ１０２に進む。当該挙動に関する情報を取得していないとき、プロセスはステップＳ１０３に進む。
ステップＳ１０２では、コントローラ１３は、第１の画像ｉｍ１および第２の画像ｉｍ２の一部に対して側方移動準備用の歪補正を行う。すなわち、コントローラ１３は、第１の画像ｉｍ１の後方確認領域ｒｃａの画像を移動体１５の前から後に正視した画像に補正する。また、コントローラ１３は、第２の画像ｉｍ２の側方確認領域ｓｃａの画像を移動体１５から側方を正視した画像に補正する。また、コントローラ１３は、第２の画像ｉｍ２の前方確認領域ｆｃａの画像を移動体１５における後から前に正視した画像に補正する。補正後、プロセスはステップＳ１０５に進む。
ステップＳ１０３では、コントローラ１３は、後退中であるか否かを判別する。なお、前述のように、コントローラ１３は、移動体１５がリバースギアの状態であるであることを示す情報を取得しているとき後退中であると判別する。後退中であると判別するとき、プロセスはステップＳ１０４に進む。当該挙動に関する情報を取得していないとき、プロセスはステップＳ１０５に進む。
ステップＳ１０４では、コントローラ１３は、第１の画像ｉｍ１および第２の画像ｉｍ２に後退用の歪補正を行う。すなわち、コントローラ１３は第１の画像ｉｍ１および第２の画像ｉｍ２を移動体１５の鉛直上方から下方に正視して連続する画像に補正する。補正後、プロセスはステップＳ１０５に進む。
ステップＳ１０５では、コントローラ１３は、ステップＳ１００において取得して所定の画像処理を施した表示画像、ステップＳ１０２において歪補正をした表示画像、またはステップＳ１０４において歪補正をした表示画像を外部機器１４に出力する。
以上のような構成の本実施形態の周辺監視システム１０では、第１のレンズの第１の物体向き光軸方向ｏｘｄ１が第１のカメラ１１から第２のカメラ１２に向かう方向と同じ向きの方向成分を含み、第２のレンズの第２の物体向き光軸方向ｏｘｄ２が当該方向成分と逆向きの方向成分を含むこのような構成により、周辺監視システム１０は、第１のカメラ１１および第２のカメラ１２に詳細な画像の取得が困難となる魚眼レンズのような超広角レンズを適用すること無く、第１のカメラ１１および第２のカメラ１２の撮像範囲を重複させ得る。したがって、周辺監視システム１０では、死角が少なく且つ広範囲に詳細な画像が得られる。
また、本実施形態の周辺監視システム１０では、第１のカメラ１１および第２のカメラ１２が移動体１５の左側方および右側方の少なくとも一方に位置しうる。このような構成に意より、周辺監視システム１０は、移動体１５に対して第１のカメラ１１および第２のカメラ１２が設けられる側の側方の光景を監視させ得る。
また、本実施形態の周辺監視システム１０では、第１のカメラ１１および第２のカメラ１２は、移動体１５の前後方向における第１のカメラ１１および第２のカメラ１２の間の同じ位置の路面を撮像しうる。このような構成により、周辺監視システム１０は、移動体１５の側方の路面の監視に際し、死角をより低減させ得る。
また、本実施形態の周辺監視システム１０では、コントローラ１３は、第１の画像ｉｍ１および第２の画像ｉｍ２の少なくとも一方の歪みを、移動体１５の挙動に基づいて、補正しうる。このような構成により、周辺監視システム１０は、比較的広角なレンズを用いながらも歪の低減した画像が得られ、監視対象の正確な認識に貢献し得る。
また、本実施形態の周辺監視システム１０では、コントローラ１３は、移動体１５の挙動が側方への移動の準備中であるとき、第１の画像ｉｍ１の少なくとも一部の画像の移動体１５の前から後に正視した画像への補正、第２の画像ｉｍ２の一部の移動体１５から側方に正視した画像への補正、および第２の画像ｉｍ２の一部の移動体１５の後から前に正視した画像への補正を行いうる。このような構成により、周辺監視システム１０は、移動体１５の側方への移動前に、移動方向に存在する注意すべき監視対象を正確に認識させ得る。
また、本実施形態の周辺監視システム１０では、コントローラ１３は、移動体１５の挙動が後退中であるとき、第１の画像ｉｍ１および第２の画像ｉｍ２を移動体１５の上から下に正視した同じ縮尺の画像に補正しうる。このような構成により、周辺監視システム１０は、移動体１５が縦列駐車などの、ステアリングホイールなどの移動体１５の操作機器を通常姿勢で操作しながら移動方向の視認が困難な状況であっても、障害物の確認が平易となる画像を提供し得る。
本発明を諸図面や実施例に基づき説明してきたが、当業者であれば本開示に基づき種々の変形や修正を行うことが容易であることに注意されたい。従って、これらの変形や修正は本発明の範囲に含まれることに留意されたい。
なお、ここでは、特定の機能を実行する種々のモジュール及び/またはユニットを有するものとしてのシステムを開示しており、これらのモジュール及びユニットは、その機能性を簡略に説明するために模式的に示されたものであって、必ずしも、特定のハードウェア及び/またはソフトウェアを示すものではないことに留意されたい。その意味において、これらのモジュール、ユニット、その他の構成要素は、ここで説明された特定の機能を実質的に実行するように実装されたハードウェア及び/またはソフトウェアであればよい。異なる構成要素の種々の機能は、ハードウェア及び/もしくはソフトウェアのいかなる組合せまたは分離したものであってもよく、それぞれ別々に、またはいずれかの組合せにより用いることができる。また、キーボード、ディスプレイ、タッチスクリーン、ポインティングデバイス等を含むがこれらに限られない入力/出力もしくはI/Oデバイスまたはユーザインターフェースは、システムに直接にまたは介在するI/Oコントローラを介して接続することができる。このように、本開示内容の種々の側面は、多くの異なる態様で実施することができ、それらの態様はすべて本開示内容の範囲に含まれる。
１０ 周辺監視システム
１１ 第１のカメラ
１２ 第２のカメラ
１３ コントローラ
１４ 外部機器
１５ 移動体
１６ 後輪のホイールアーチ
１７ 前輪のホイールアーチ
ｄ１２ 第１のカメラから第２のカメラに向かう方向
ｆｃａ 前方確認領域
ｉｍ１ 第１の画像
ｉｍ２ 第２の画像
ｏｘｄ１ 第１の物体向き光軸方向
ｏｘｄ２ 第２の物体向き光軸方向
ｏｘｐ１ 光軸に対応する第1の画像上の点
ｏｘｐ２ 光軸に対応する第２の画像上の点
ｒｃａ 後方確認領域
ｓｃａ 側方確認領域
１１ 第１のカメラ
１２ 第２のカメラ
１３ コントローラ
１４ 外部機器
１５ 移動体
１６ 後輪のホイールアーチ
１７ 前輪のホイールアーチ
ｄ１２ 第１のカメラから第２のカメラに向かう方向
ｆｃａ 前方確認領域
ｉｍ１ 第１の画像
ｉｍ２ 第２の画像
ｏｘｄ１ 第１の物体向き光軸方向
ｏｘｄ２ 第２の物体向き光軸方向
ｏｘｐ１ 光軸に対応する第1の画像上の点
ｏｘｐ２ 光軸に対応する第２の画像上の点
ｒｃａ 後方確認領域
ｓｃａ 側方確認領域
Claims (11)
- 第１のレンズを有する第１のカメラと、
前記第１のカメラと離れて位置し、第２のレンズを有する第２のカメラと、を備え、
前記第１のレンズの第１の物体向き光軸方向が前記第１のカメラから前記第２のカメラに向かう方向と同じ向きの方向成分を含み、
前記第２のレンズの第２の物体向き光軸方向が該方向成分と逆向きの方向成分を含む
移動体の周辺を監視する周辺監視システム。 - 請求項１に記載の周辺監視システムにおいて、
前記第１の物体向き光軸方向に含まれる、前記第１のカメラから前記第２のカメラに向かう方向と同じ向きの方向成分は、前記移動体の前後方向の方向成分を含む
周辺監視システム。 - 請求項１または２に記載の周辺監視システムにおいて、
前記第１の物体向き光軸方向および前記第２の物体向き光軸方向は、前記移動体の上下方向に沿った同じ向きの方向成分を含む
周辺監視システム。 - 請求項１から３のいずれか１項に記載の周辺監視システムにおいて、
前記第１の物体向き光軸方向および前記第２の物体向き光軸方向は、前記移動体の左右方向に沿った同じ向きの方向成分を含む
周辺監視システム。 - 請求項１から４のいずれか１項に記載の周辺監視システムにおいて、
前記第１のカメラおよび前記第２のカメラは、前記移動体の左側方および右側方の少なくとも一方に位置する
周辺監視システム。 - 請求項１から５のいずれか１項に記載の周辺監視システムにおいて、
前記移動体は自動車であり、
前記第１のカメラは、前記移動体において、前記第２のカメラより前方に位置し、
前記第１のレンズの画角により画定される光軸を含む空間内に、前記移動体の後輪があり、
前記第２のカメラは、前記移動体の前輪のホイールアーチを含む範囲を撮像する
周辺監視システム。 - 請求項６に記載の周辺監視システムにおいて、
前記第１のカメラおよび前記第２のカメラは、前記移動体の前後方向における前記第１のカメラおよび前記第２のカメラの間の同じ位置の路面を撮像する
周辺監視システム。 - 請求項７に記載の周辺監視システムにおいて、
前記第１のカメラおよび前記第２のカメラは、前記移動体の上下方向の下向きの方向成分を含む
周辺監視システム。 - 請求項１から８のいずれか１項に記載の周辺監視システムにおいて、
前記第１のカメラおよび前記第２のカメラそれぞれが撮像した第１の画像および第２の画像の少なくとも一方の歪みを、前記移動体の挙動に基づいて、補正するコントローラを、さらに備える
周辺監視システム。 - 請求項９に記載の周辺監視システムにおいて、
前記コントローラは、前記移動体の挙動が側方への移動の準備中であるとき、前記第２の画像の少なくとも一部の前記移動体から側方に正視した画像への補正、前記第２の画像の少なくとも一部の前記移動体の後から前に正視した画像への補正、および前記第１の画像の少なくとも一部の画像の前記移動体の前から後に正視した画像への補正の少なくともいずれかを実行する
周辺監視システム。 - 請求項９または１０に記載の周辺監視システムにおいて、
前記コントローラは、前記移動体の挙動が後退中であるとき、前記第１の画像および前記第２の画像を、前記移動体の上から下を正視した同じ縮尺の画像に補正する
周辺監視システム。
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2017034010 | 2017-02-24 | ||
| JP2017-034010 | 2017-02-24 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| WO2018155280A1 true WO2018155280A1 (ja) | 2018-08-30 |
Family
ID=63253702
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| PCT/JP2018/005066 WO2018155280A1 (ja) | 2017-02-24 | 2018-02-14 | 周辺監視システム |
Country Status (1)
| Country | Link |
|---|---|
| WO (1) | WO2018155280A1 (ja) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP7519412B2 (ja) | 2022-09-09 | 2024-07-19 | 本田技研工業株式会社 | 車両 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2001055100A (ja) * | 1999-08-18 | 2001-02-27 | Matsushita Electric Ind Co Ltd | 多機能車載カメラシステムと多機能車載カメラの画像表示方法 |
| JP2002127948A (ja) * | 1998-11-30 | 2002-05-09 | Tuner Kk | 車載用画像記録システム |
| JP2013168063A (ja) * | 2012-02-16 | 2013-08-29 | Fujitsu Ten Ltd | 画像処理装置、画像表示システム及び画像処理方法 |
-
2018
- 2018-02-14 WO PCT/JP2018/005066 patent/WO2018155280A1/ja active Application Filing
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2002127948A (ja) * | 1998-11-30 | 2002-05-09 | Tuner Kk | 車載用画像記録システム |
| JP2001055100A (ja) * | 1999-08-18 | 2001-02-27 | Matsushita Electric Ind Co Ltd | 多機能車載カメラシステムと多機能車載カメラの画像表示方法 |
| JP2013168063A (ja) * | 2012-02-16 | 2013-08-29 | Fujitsu Ten Ltd | 画像処理装置、画像表示システム及び画像処理方法 |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP7519412B2 (ja) | 2022-09-09 | 2024-07-19 | 本田技研工業株式会社 | 車両 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11703326B2 (en) | Stereo camera apparatus, vehicle, and parallax calculation method | |
| JP6722767B2 (ja) | カメラモジュール、セレクタ、コントローラ、カメラモニタシステム及び移動体 | |
| US11377027B2 (en) | Image processing apparatus, imaging apparatus, driving assistance apparatus, mobile body, and image processing method | |
| WO2018155280A1 (ja) | 周辺監視システム | |
| JP6727946B2 (ja) | 車両用カメラモニタシステム及び車両 | |
| US10821900B2 (en) | Image processing device | |
| US20200402206A1 (en) | Image processing device, image processing method, and program | |
| JP6439233B2 (ja) | 車両用画像表示装置及び画像処理方法 | |
| JP2024050331A (ja) | 移動体及び撮像装置の設置方法 | |
| JP2020177242A (ja) | 車両用カメラモニタシステム及びその制御方法 | |
| JP2018201167A (ja) | 画像処理装置、周辺監視システム、および移動体 | |
| WO2023054400A1 (ja) | 画像処理装置、移動体及びプログラム | |
| JP7345601B2 (ja) | 画像処理装置、カメラ、移動体および画像処理方法 | |
| US20240114252A1 (en) | Movable apparatus and installation method for imaging device | |
| JP2018200579A (ja) | 画像処理装置、画像処理システム、カメラ装置、移動体、画像処理方法、および画像処理用プログラム | |
| US20240217439A1 (en) | Image capturing device, movable apparatus, and storage medium | |
| EP3905656A1 (en) | Image processing device | |
| US20230100099A1 (en) | Image processing system, image processing method, and storage medium | |
| JP6605516B2 (ja) | 画像処理装置、撮像装置、および移動体 | |
| JP2022066925A (ja) | 画像処理装置、ステレオカメラ装置、移動体及び画像処理方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| 121 | Ep: the epo has been informed by wipo that ep was designated in this application |
Ref document number: 18756567 Country of ref document: EP Kind code of ref document: A1 |
|
| NENP | Non-entry into the national phase |
Ref country code: DE |
|
| 122 | Ep: pct application non-entry in european phase |
Ref document number: 18756567 Country of ref document: EP Kind code of ref document: A1 |
|
| NENP | Non-entry into the national phase |
Ref country code: JP |