WO2018123546A1 - 車両用視認装置 - Google Patents

車両用視認装置 Download PDF

Info

Publication number
WO2018123546A1
WO2018123546A1 PCT/JP2017/044428 JP2017044428W WO2018123546A1 WO 2018123546 A1 WO2018123546 A1 WO 2018123546A1 JP 2017044428 W JP2017044428 W JP 2017044428W WO 2018123546 A1 WO2018123546 A1 WO 2018123546A1
Authority
WO
WIPO (PCT)
Prior art keywords
rear side
vehicle
peripheral
image
abnormality
Prior art date
Application number
PCT/JP2017/044428
Other languages
English (en)
French (fr)
Inventor
智宣 市川
Original Assignee
株式会社東海理化電機製作所
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社東海理化電機製作所 filed Critical 株式会社東海理化電機製作所
Publication of WO2018123546A1 publication Critical patent/WO2018123546A1/ja

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B60R1/23—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view
    • B60R1/26—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view to the rear of the vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast

Definitions

  • the present invention relates to a vehicular visual recognition device for visualizing a vehicle periphery by photographing the vehicle periphery and displaying a captured image.
  • a technique disclosed in Japanese Patent Application Laid-Open No. 2013-207747 has been proposed as a vehicular visual recognition device that displays captured images of a vehicle and visually recognizes the vicinity of the vehicle.
  • Japanese Patent Application Laid-Open No. 2013-207747 proposes an apparatus for visually recognizing the periphery of a vehicle instead of an outer mirror by providing cameras at the rear of the left and right front fenders of the vehicle and displaying images taken by the camera on a display. Yes.
  • a mark is displayed in an area corresponding to the rear vehicle, and the size of the mark is changed according to the distance between the host vehicle and the rear vehicle. This makes it easier to understand the approach of the rear vehicle.
  • the present invention has been made in consideration of the above facts, and it is possible to display a rear side image even when a normal photographed image cannot be obtained by a photographing unit that photographs the rear side.
  • An object is to provide an apparatus.
  • a first aspect of the present disclosure includes a photographing unit that photographs a rear side of a vehicle, a display unit that displays a rear side photographed image photographed by the photographing unit, and a rear side of the vehicle.
  • a peripheral photographing unit for photographing a vehicle periphery including a detection unit, a detection unit for detecting an abnormality of the rear side photographed image, and a peripheral photographing photographed by the peripheral photographing unit when the abnormality is detected by the detection unit
  • a control unit that performs display control for displaying the rear side of the vehicle on the display unit using an image.
  • the rear side photographed image obtained by photographing the rear side of the vehicle by the photographing unit is displayed on the display unit.
  • the periphery photographing unit captures the vehicle periphery including the rear side of the vehicle. That is, the peripheral captured image captured by the peripheral capturing unit includes the rear side of the vehicle. Note that the peripheral captured image may include the entire imaging range by the imaging unit or a part thereof.
  • the surrounding photographing unit can photograph the periphery of the vehicle including the rear side of the vehicle by photographing the periphery of the vehicle over a wide range using, for example, a fisheye lens.
  • the detection unit detects an abnormality in the rear side photographed image. For example, a failure of the photographing unit may be detected, or a state in which all or part of the photographing unit cannot be normally obtained due to freezing, condensation, dirt, or the like may be detected as an abnormality.
  • control unit when an abnormality is detected by the detection unit, display control is performed to display the rear side of the vehicle on the display unit using the peripheral captured image captured by the peripheral imaging unit. Accordingly, it is possible to display the rear side image even when a normal captured image cannot be obtained by the photographing unit that photographs the rear side.
  • the display corresponding to the peripheral area is captured in the partial area. You may cut out from an image, synthesize
  • a region corresponding to the rear side captured image is cut out from the peripheral captured image and the rear side You may display on a display part instead of a method picked-up image.
  • peripheral photographing unit may be arranged toward the vehicle lower side as in the fourth aspect of the present disclosure. By disposing the vehicle photographing unit in the vehicle lower direction, it becomes difficult to adhere dirt from the top and freeze due to frost, and a normal peripheral photographed image can be obtained.
  • the display control is performed by performing viewpoint conversion that matches the viewpoint of the rear side photographed image when the peripheral photographed image is displayed on the vehicle rear side display unit as in the fifth aspect of the present disclosure. May be displayed on the screen. Thereby, even if it displays a periphery picked-up image instead of a rear side picked-up image, it can display without a sense of incongruity. Further, even if an image cut out from the peripheral captured image is combined with the rear side captured image, it can be displayed without a sense of incongruity.
  • a vehicular visual recognition device capable of displaying a rear side image even when a normal captured image cannot be obtained by a photographing unit that photographs the rear side. There is an effect.
  • FIG. 5A It is a figure which shows the example which cut out the area
  • FIG. 1 is a diagram showing a schematic configuration of a vehicular visual recognition apparatus according to an embodiment of the present invention.
  • the vehicular visual recognition apparatus includes a rear side camera 12 as an imaging unit, a peripheral camera 14 as a peripheral imaging unit, a monitor 16 as a display unit, and a control device 18 as a detection unit and a control unit. It is provided corresponding to the left and right of the vehicle.
  • a center monitor device 20 is provided at the center of the instrument panel.
  • the rear side camera 12 is installed outside on the front side end of the vehicle side door (front side door, not shown) at the middle in the vertical direction and photographs the rear side of the vehicle.
  • the rear side camera 12 is provided in a substantially rectangular parallelepiped box-shaped housing 13 as a support, and a lens is arranged toward the rear side of the vehicle to photograph the rear side of the vehicle.
  • casing 13 is attached to the side door, and the housing
  • the peripheral camera 14 is provided in the same housing 13 as the rear side camera 12 and images the periphery of the vehicle.
  • the peripheral camera 14 is provided with a fisheye lens, and is arranged toward the vehicle lower side in order to suppress adhesion of dirt from above and freezing due to frost.
  • the peripheral camera 14 captures the vehicle periphery including the rear side of the vehicle with a fisheye lens.
  • the front-rear direction and the side direction of the vehicle are photographed as an example of the vicinity of the vehicle.
  • the peripheral camera 14 is disposed in the vehicle lower side direction will be described, but the vehicle lower side is not limited to just below.
  • the monitor 16 is provided near the lower end of the front pillar, and mainly displays the rear side photographed image of the rear side camera 12. That is, the rear side of the vehicle can be visually recognized by checking the monitor 16 instead of the outer mirror.
  • the control device 18 is provided corresponding to each of the left and right, and performs display control of the captured image of the left and right rear side cameras 12.
  • the center monitor device 20 can generate and display a bird's-eye view image centered on the vehicle from the peripheral captured image of the peripheral camera 14, and can display an operation panel of an in-vehicle device (for example, navigation device, air conditioner, audio). It is said that.
  • an in-vehicle device for example, navigation device, air conditioner, audio.
  • FIG. 2 is a block diagram illustrating a configuration of a control system of the vehicle visual recognition device 10 according to the present embodiment.
  • the control device 18 includes a microcomputer in which a CPU 18A, a ROM 18B, a RAM 18C, and an I / O (input / output interface) 18D are connected to a bus 18E.
  • the ROM 18B stores various programs for performing display control for displaying the rear side photographed image of the rear side camera 12 on the monitor 16.
  • the program stored in the ROM 18B is expanded in the RAM 18C and executed by the CPU 18A, whereby display control on the monitor 16 is performed.
  • a rear side camera 12, a peripheral camera 14, a monitor 16, and a center monitor device 20 are connected to the I / O 18D.
  • the rear side camera 12 obtains a rear side photographed image by photographing the rear side of the vehicle.
  • the rear side photographed image obtained by photographing is output to the control device 18 as a photographing result of the rear side camera 12.
  • the peripheral camera 14 obtains a peripheral photographed image by photographing the front-rear direction and the side direction of the vehicle as an example of the vehicle periphery including the rear side of the vehicle.
  • the peripheral photographed image obtained by photographing is output to the control device 18 as a photographing result of the peripheral camera 14.
  • the peripheral captured image is a captured image in which a vehicle periphery in a wider range than the rear side captured image is captured.
  • the entire area on the side of the vehicle is set as a photographing range by a fisheye lens as shown by hatching in FIG.
  • the rear side camera 12 takes a picture of the rear side at a predetermined angle of view, and as shown in FIG.
  • the photographing result of the peripheral camera 14 is also output to the center monitor device 20.
  • an example in which the entire area on the side of the vehicle is set as the imaging range as an example of the imaging range of the peripheral camera 14 is an example and is not limited to the entire area on the side of the vehicle. As long as it is around the vehicle including the direction.
  • the monitor 16 displays a rear side photographed image photographed by the rear side camera 12.
  • the rear side captured image is displayed, it is displayed by performing image processing such as mirror image conversion for inverting the left and right of the captured image.
  • image processing such as mirror image conversion for inverting the left and right of the captured image.
  • the rear side photographed image is displayed on the monitor 16
  • a part of the rear side photographed image is cut out and displayed, and the display range can be changed by changing the cutout position.
  • the point of cutting out a part of the rear side captured image is omitted.
  • the center monitor device 20 generates and displays a bird's-eye view image from the peripheral captured image of the peripheral camera 14 as described above. Further, as described above, the center monitor device 20 displays an operation panel or the like of an in-vehicle device (for example, an air conditioner, a navigation device, audio, etc.). Although not shown, the center monitor device 20 includes a microcomputer in which a CPU, a ROM, a RAM, and an I / O are connected to a bus, as in the control device 18. In addition, when the peripheral captured image is displayed on the center monitor device 20, it is not necessarily a bird's-eye view image.
  • an in-vehicle device for example, an air conditioner, a navigation device, audio, etc.
  • the center monitor device 20 includes a microcomputer in which a CPU, a ROM, a RAM, and an I / O are connected to a bus, as in the control device 18.
  • the peripheral captured image is displayed on the center monitor device 20, it is not necessarily a bird's-eye view image
  • a pair of control devices 18 are provided corresponding to the left and right sides of the vehicle, so that the other control device 18 is connected to each I / O 18D so that they can communicate with each other.
  • the present embodiment when there is an abnormality in the rear side captured image captured by the rear side camera 12, display control for displaying the rear side of the vehicle on the monitor 16 using the peripheral captured image of the peripheral camera 14 is controlled.
  • Device 18 performs. Specifically, when there is an abnormality in a part of the rear side photographed image due to freezing of the lens of the rear side camera 12, water droplet adhesion, dirt adhesion, etc., an area corresponding to the part of the abnormality is taken as a peripheral photographed image. Cut out from and interpolated for display. Further, when the rear side camera 12 is in the retracted state or when there is an abnormality in the entire rear side photographed image such as a failure, it corresponds to the rear side photographed image displayed on the monitor 16 from the peripheral photographed image. A region is cut out and an image cut out instead of the rear side photographed image is displayed.
  • the rear side photographed image abnormality is determined based on the state of an actuator such as a motor for storing the rear side camera 12 or a sensor. An abnormality is detected by detecting it. Further, when the rear side photographed image cannot be obtained normally due to a failure of the rear side camera 12, for example, a state in which a predetermined signal is output at the time of normality is set, and the presence or absence of the detection of the signal is detected. Detect anomalies.
  • an abnormality in a part of the rear side photographed image due to freezing, water droplet adhesion, dirt adhesion, etc. for example, if there is no change in the photographed image for a predetermined time or more, an area that does not change is regarded as abnormal. An abnormality is detected by detecting it.
  • FIG. 4 is a flowchart illustrating an example of display control performed by the control device 18 of the vehicle visual recognition device 10 according to the present embodiment.
  • the display control in FIG. 4 is started by executing a display control program stored in advance in the ROM 18B when an ignition switch (IG) (not shown) is turned on.
  • IG ignition switch
  • step 100 the control device 18 controls the rear side camera 12 to start photographing with the rear side camera 12, and the process proceeds to step 102.
  • step 102 the control device 18 acquires the imaging result of the rear side camera 12, performs mirror image conversion on the acquired rear side captured image, starts displaying on the monitor 16, and proceeds to step 104. That is, the rear side captured image shown in FIG. 5B is displayed on the monitor 16 by performing mirror image conversion that inverts the left and right of the rear side captured image of FIG. Since the monitor 16 is provided in the vicinity of the lower end of the front pillar, it is possible to visually recognize the rear side by looking at the monitor 16 instead of the outer mirror.
  • step 104 the control device 18 detects an abnormality in the rear side photographed image and proceeds to step 106. For example, as described above, by determining whether the rear side camera 12 is in the retracted state, receiving a normal signal, or having an area in the captured image that has not changed over a predetermined time, Detects abnormalities in the side image.
  • step 106 the control device 18 determines whether or not there is an abnormality in the rear side captured image based on the detection result in step 104. If the determination is affirmative, the process proceeds to step 108. If the determination is negative, the process returns to step 104 and the above-described processing is repeated.
  • step 108 the control device 18 acquires the photographing result of the peripheral camera 14, and proceeds to step 110.
  • Step 110 the control device 18 determines whether or not there is an abnormality in a part of the rear side photographed image from the result of the abnormality detection in the rear side photographed image in Step 104. If the determination is negative, the process proceeds to step 112. If there is an abnormality in a part of the rear side captured image, the determination is affirmed and the process proceeds to step 120.
  • step 112 the control device 18 cuts out an area corresponding to the rear side photographed image from the peripheral photographed image, and proceeds to step 114.
  • step 114 the control device 18 performs correction such as distortion correction on the cut-out peripheral captured image, and proceeds to step 116.
  • step 116 the control device 18 performs viewpoint conversion and mirror image conversion to convert the cut-out peripheral captured image into the viewpoint of the rear side captured image, and invert left and right, and proceeds to step 118.
  • step 118 the control device 18 controls to display the cut out peripheral captured image on the monitor 16 instead of the rear side captured image, and proceeds to step 128. That is, as shown in FIG. 6, an image cut out from the peripheral captured image is displayed on the monitor 16. As a result, even if there is an abnormality in the entire surface of the rear side photographed image, the peripheral photographed image can be displayed instead of being displayed, so that the rear side view can be secured. For example, as shown in FIG. 7A, even if there is an abnormality in the entire rear side photographed image due to freezing or the like, the peripheral photographed image can be displayed instead of being displayed, so that the rear view can be secured.
  • step 120 the control device 18 cuts out a region corresponding to the abnormality of the rear side photographed image from the peripheral photographed image, and proceeds to step 122.
  • step 122 the control device 18 performs correction such as distortion correction on the cut-out peripheral captured image, and proceeds to step 124.
  • step 124 the control device 18 performs viewpoint conversion and mirror image conversion to convert the cut-out peripheral captured image into the viewpoint of the rear side captured image, and invert left and right, and proceeds to step 126.
  • step 126 the control device 18 synthesizes and displays the cut out peripheral captured image in the area corresponding to the abnormality in the rear side captured image, and proceeds to step 128.
  • the area where the abnormality of the rear side photographed image has occurred can be interpolated and displayed with the peripheral photographed image, and a clear rear side view can be secured.
  • FIG. 7B even if an abnormality occurs in a part of the rear side photographed image due to freezing, condensation, dirt, etc., a part corresponding to the abnormality can be interpolated and displayed by the peripheral photographed image. , Rear view can be secured.
  • step 128 the control device 18 detects the abnormality of the rear side captured image again, and proceeds to step 130.
  • step 130 the control device 18 determines whether or not the abnormality in the rear side captured image has been resolved. If the determination is negative, the process returns to step 108 and the above processing is repeated. If the determination is affirmative, the routine proceeds to step 132.
  • step 132 the control device 18 controls to return to the rear side captured image display, returns to step 104, and repeats the above processing.
  • the rear side photographed image even if there is an abnormality in a part of the rear side photographed image, it is possible to display the rear side by interpolating with the peripheral photographed image, so that a clear rear side view is ensured. it can. Further, even if there is an abnormality in the entire rear side photographed image, the peripheral photographed image is used instead of the display, so that a clear rear side view can be secured. Accordingly, even when the rear side camera 12 cannot obtain a normal rear side photographed image, the rear side image can be displayed.
  • an icon, a character, or the like may be displayed on the screen. Accordingly, it is possible to notify the occupant that the peripheral captured image is used, and to notify that there is an area where the rear side camera 12 is not used.
  • an icon, characters, or the like displayed on the screen can prompt the occupant to return from the storage position to the return position, wipe off dirt or water droplets, or send out a repair if there is a malfunction.
  • the position of the monitor 16 is not limited to this.
  • it may be provided at the position of the inner mirror. Or you may provide in a combination meter.
  • control device 18 in the above embodiment has been described as a software process, it is not limited to this.
  • processing may be performed by hardware, or may be processing that combines both hardware and software.
  • control device 18 in the above embodiment may be stored and distributed as a program in a storage medium.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Mechanical Engineering (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Closed-Circuit Television Systems (AREA)

Abstract

後側方カメラのレンズの凍結、水滴付着、汚れ付着などによって後側方撮影画像の一部に異常がある場合には、異常の一部に対応する領域を周辺撮影画像から切り出して補間して表示する（１２０～１２６）。また、後側方カメラが格納状態の場合や故障等のように後側方撮影画像の全面に異常がある場合には、周辺撮影画像からモニタに表示する後側方撮影画像に対応する領域を切り出して表示する（１１２～１１８）。

Description

車両用視認装置
　本発明は、車両周辺を撮影して撮影画像を表示することにより車両周辺を視認する車両用視認装置に関する。
　車両周辺の撮影画像を表示して車両周辺を視認する車両用視認装置としては、例えば、特開２０１３－２０７７４７号公報に記載の技術が提案されている。
　特開２０１３－２０７７４７号公報では、車両の左右のフロントフェンダの後部にカメラを設けて、カメラの撮影画像をディスプレイに表示することにより、アウターミラーの代わりに車両周辺を視認する装置が提案されている。
　具体的には、特開２０１３－２０７７４７号公報の技術では、後方車両に対応する領域に目印を表示して、自車両と後方車両との距離に応じて目印の大きさを変化させて表示することで、後方車両の接近を分かり易くしている。
　しかしながら、特開２０１３－２０７７４７号公報に記載の技術のように、撮影画像を表示することで、アウターミラーの代用とする装置では、カメラ等の撮影部の格納や故障、汚れ、結露、凍結等を考慮した撮影画像について改善の余地がある。
　本発明は、上記事実を考慮して成されたもので、後側方を撮影する撮影部によって正常な撮影画像を得られない場合でも後側方の画像を表示することが可能な車両用視認装置を提供することを目的とする。
　上記目的を達成するために本開示の第１の態様は、車両後側方を撮影する撮影部と、前記撮影部によって撮影された後側方撮影画像を表示する表示部と、車両後側方を含む車両周辺を撮影する周辺撮影部と、前記後側方撮影画像の異常を検出する検出部と、前記検出部によって前記異常が検出された場合に、前記周辺撮影部によって撮影された周辺撮影画像を用いて車両後側方を前記表示部に表示する表示制御を行う制御部と、を備えている。
　本開示の第１の態様によれば、撮影部によって車両後側方が撮影されて撮影された後側方撮影画像が表示部に表示される。
　また、周辺撮影部では、車両後側方を含む車両周辺が撮影される。すなわち、周辺撮影部によって撮影された周辺撮影画像には、車両後側方が含まれる。なお、周辺撮影画像は、撮影部による撮影範囲を全て含んでもよいし、一部を含んでもよい。周辺撮影部は、例えば、魚眼レンズ等を用いて車両周辺を広範囲に撮影することにより、車両後側方を含む車両周辺を撮影できる。
　検出部では、後側方撮影画像の異常が検出される。例えば、撮影部の故障を検出してもよいし、凍結や、結露、汚れ等によって全部または一部が正常に得られない状態を異常として検出してもよい。
　そして、制御部では、検出部によって異常が検出された場合に、周辺撮影部によって撮影された周辺撮影画像を用いて車両後側方を表示部に表示する表示制御が行われる。これにより、後側方を撮影する撮影部によって正常な撮影画像を得られない場合でも後側方の画像を表示することが可能となる。
　なお、表示制御は、本開示の第２の態様のように、検出部によって後側方撮影画像の一部の領域に異常が検出された場合に、一部の領域に対応する領域を周辺撮影画像から切り出して後側方撮影画像に合成して表示部に表示してもよい。或いは、本開示の第３の態様のように、検出部によって後側方撮影画像の全面に異常が検出された場合に、周辺撮影画像から後側方撮影画像に対応する領域を切出して後側方撮影画像の代わりに表示部に表示してもよい。
　また、周辺撮影部は、本開示の第４の態様のように、車両下側方向に向けて配置してもよい。車両下側方向に向けて車両撮影部を配置することにより、上からの汚れの付着や霜による凍結がし難くなり、正常な周辺撮影画像を得ることができる。
　また、表示制御は、本開示の第５の態様のように、周辺撮影画像を用いて車両後側方表示部に表示する際に、後側方撮影画像の視点に合わせる視点変換を行って表示部に表示してもよい。これにより、周辺撮影画像を後側方撮影画像の代わりに表示しても違和感なく表示できる。また、周辺撮影画像から切り出した画像を後側方撮影画像に合成しても違和感なく表示できる。
　以上説明したように本発明によれば、後側方を撮影する撮影部によって正常な撮影画像を得られない場合でも後側方の画像を表示することが可能な車両用視認装置を提供できる、という効果がある。
本発明の実施の形態に係る車両用視認装置の概略構成を示す図である。 本実施形態に係る車両用視認装置の制御系の構成を示すブロック図である。 後側方カメラ及び周辺カメラの各々の撮影範囲を示す図である。 本実施形態に係る車両用視認装置の制御装置で行われる表示制御の一例を示すフローチャートである。 後側方カメラの撮影画像の一例を示す図である。 図５Ａの鏡像変換後の画像を示す図である。 周辺カメラの周辺撮影画像から後側方撮影画像に対応する領域を切り出した例を示す図である。 後側方撮影画像の全面に異常が発生している例を示す図である。 後側方撮影画像の一部に異常が発生している例を示す図である。
　以下、図面を参照して本発明の実施の形態の一例を詳細に説明する。図１は、本発明の実施の形態に係る車両用視認装置の概略構成を示す図である。
　本実施形態に係る車両用視認装置は、撮影部としての後側方カメラ１２、周辺撮影部としての周辺カメラ１４、表示部としてのモニタ１６、並びに、検出部及び制御部としての制御装置１８が車両の左右に対応してそれぞれ設けられている。また、インストルメントパネルの中央部には、センタモニタ装置２０が設けられている。
　後側方カメラ１２は、車両のサイドドア（フロントサイドドア、図示省略）の上下方向中間部の車両前側端に外側に設置されて車両後側方を撮影する。後側方カメラ１２は、支持体としての略直方体形箱状の筐体１３に設けられており、レンズが車両後側方に向けて配置され、車両の後側方を撮影する。筐体１３の車幅方向内側端部は、サイドドアに取付けられており、筐体１３がサイドドア（車体側）に車両前後方向に回動可能に支持されている。
　周辺カメラ１４は、後側方カメラ１２と同一の筐体１３に設けられて車両周辺を撮影する。周辺カメラ１４は、魚眼レンズが設けられ、上からの汚れの付着や霜による凍結を抑制するために車両下側方向に向けて配置されている。本実施形態では、周辺カメラ１４は、魚眼レンズによって車両後側方を含む車両周辺を撮影する。具体的には、車両周辺の一例として車両の前後方向及び側方方向を撮影する。なお、本実施形態では、周辺カメラ１４は車両下側方向に向けて配置する例を説明するが、車両下側は真下に限定されるものではない。また、車両下側方向ではなく、水平方向かつ車両側方に向けて配置してもよい。
　モニタ１６は、フロントピラーの下端付近に設けられ、後側方カメラ１２の後側方撮影画像を主に表示する。すなわち、アウターミラーの代わりとされ、モニタ１６を確認することにより、車両後側方を視認することができる。
　制御装置１８は、左右のそれぞれに対応して設けられており、左右各々の後側方カメラ１２の撮影画像の表示制御を行う。
　センタモニタ装置２０は、周辺カメラ１４の周辺撮影画像から車両を中心とした俯瞰画像を生成して表示したり、車載機器（例えば、ナビゲーション装置やエアコン、オーディオ等）の操作パネル等の表示が可能とされている。
　続いて、本実施形態に係る車両用視認装置１０の制御系の構成について説明する。図２は、本実施形態に係る車両用視認装置１０の制御系の構成を示すブロック図である。
　制御装置１８は、ＣＰＵ１８Ａ、ＲＯＭ１８Ｂ、ＲＡＭ１８Ｃ、及びＩ／Ｏ（入出力インタフェース）１８Ｄがそれぞれバス１８Ｅに接続されたマイクロコンピュータで構成されている。
　ＲＯＭ１８Ｂには、後側方カメラ１２の後側方撮影画像をモニタ１６に表示するための表示制御等を行うための各種プログラムが記憶されている。ＲＯＭ１８Ｂに記憶されたプログラムをＲＡＭ１８Ｃに展開してＣＰＵ１８Ａが実行することにより、モニタ１６への表示制御が行われる。
　Ｉ／Ｏ１８Ｄには、後側方カメラ１２、周辺カメラ１４、モニタ１６、及びセンタモニタ装置２０が接続されている。
　後側方カメラ１２は、車両後側方を撮影することによって後側方撮影画像を得る。撮影によって得られた後側方撮影画像は、後側方カメラ１２の撮影結果として制御装置１８に出力する。
　周辺カメラ１４は、車両後側方を含む車両周辺の一例として、車両の前後方向及び側方方向を撮影することによって周辺撮影画像を得る。撮影によって得られた周辺撮影画像は、周辺カメラ１４の撮影結果として制御装置１８に出力する。周辺撮影画像は、本実施形態では後側方撮影画像よりも広い範囲の車両周辺が撮影された撮影画像とされている。具体的には、周辺カメラ１４は、魚眼レンズにより、図３のハッチングで示すように、車両側方の全域が撮影範囲とされている。一方、後側方カメラ１２は予め定めた画角で後側方を撮影し、図３に示すように、双方の撮影領域の一部が重複する。なお、周辺カメラ１４の撮影結果は、センタモニタ装置２０にも出力されるようになっている。また、図３の例では、周辺カメラ１４の撮影範囲の一例として車両側方の全域を撮影範囲とした例を示すが、一例であって車両側方の全域に限るものではなく、車両後側方を含む車両周辺であればよい。
　モニタ１６は、後側方カメラ１２によって撮影された後側方撮影画像を表示する。後側方撮影画像を表示する際には、撮影画像の左右を反転する鏡像変換等の画像処理を行って表示する。なお、本実施形態では、後側方撮影画像をモニタ１６に表示する際には、後側方撮影画像の一部を切り出して表示し、切り出す位置を変更することで表示範囲を変更可能とされているが、以下の説明では、後側方撮影画像の一部を切り出す点は省略して説明する。
　センタモニタ装置２０は、上述したように、周辺カメラ１４の周辺撮影画像から俯瞰画像を生成して表示する。また、上述したように、センタモニタ装置２０は、車載機器（例えば、エアコンや、ナビゲーション装置、オーディオ等）の操作パネル等の表示を行う。なお、センタモニタ装置２０は、図示は省略するが、制御装置１８と同様に、ＣＰＵ、ＲＯＭ、ＲＡＭ、及びＩ／Ｏがそれぞれバスに接続されたマイクロコンピュータを含んで構成されている。また、センタモニタ装置２０に周辺撮影画像を表示する際には、必ずしも俯瞰画像でなくてもよい。
　また、制御装置１８は、本実施形態では、車両の左右に対応して一対設けられているので、それぞれ相互通信可能なようにそれぞれのＩ／Ｏ１８Ｄに他方の制御装置１８が接続されている。なお、制御装置１８は１つとして、左右のそれぞれの後側方カメラ１２やモニタ１６を制御する形態としてもよい。
　本実施形態では、後側方カメラ１２によって撮影された後側方撮影画像に異常がある場合に、周辺カメラ１４の周辺撮影画像を用いて車両後側方をモニタ１６に表示する表示制御を制御装置１８が行う。具体的には、後側方カメラ１２のレンズの凍結、水滴付着、汚れ付着などによって後側方撮影画像の一部に異常がある場合には、異常の一部に対応する領域を周辺撮影画像から切り出して補間して表示する。また、後側方カメラ１２が格納状態の場合や故障等のように後側方撮影画像の全面に異常がある場合には、周辺撮影画像からモニタ１６に表示する後側方撮影画像に対応する領域を切り出して後側方撮影画像の代わりに切り出した画像を表示する。
　後側方撮影画像の異常は、格納状態で後側方撮影画像が正常に得られない場合には、後側方カメラ１２を格納するモータ等のアクチュエータの状態やセンサ等に基づいて格納状態を検出することで異常を検出する。また、後側方カメラ１２の故障により後側方撮影画像が正常に得られない場合には、例えば、正常時に予め定めた信号を出力する状態とし、当該信号の検出の有無を検出することにより異常を検出する。また、凍結や、水滴付着、汚れ付着などにより後側方撮影画像の一部に異常がある場合には、例えば、予め定めた時間以上撮影画像の変化がない場合に変化がない領域を異常として検出することで異常を検出する。
　続いて、上述のように構成された本実施形態に係る車両用視認装置１０の制御装置１８で行われる具体的な処理について説明する。図４は、本実施形態に係る車両用視認装置１０の制御装置１８で行われる表示制御の一例を示すフローチャートである。なお、図４の表示制御は、図示しないイグニッションスイッチ（ＩＧ）がオンされた場合に、ＲＯＭ１８Ｂに予め記憶された表示制御プログラムを実行することにより開始する。
　ステップ１００では、後側方カメラ１２の撮影を開始するよう制御装置１８が後側方カメラ１２を制御してステップ１０２へ移行する。
　ステップ１０２では、制御装置１８が、後側方カメラ１２の撮影結果を取得し、取得した後側方撮影画像に対して鏡像変換を行ってモニタ１６に表示開始してステップ１０４へ移行する。すなわち、図５Ａの後側方撮影画像の左右を反転する鏡像変換を行って図５Ｂに示す後側方撮影画像がモニタ１６に表示される。モニタ１６がフロントピラー下端付近に設けられているので、アウターミラーの代わりにモニタ１６を見ることにより、後側方を視認することが可能となる。
　ステップ１０４では、制御装置１８が、後側方撮影画像の異常を検出してステップ１０６へ移行する。例えば、上述したように、後側方カメラ１２が格納状態か、正常な信号を受信しているか、予め定めた時間以上変化がない領域が撮影画像中にあるかなどを判断することにより、後側方撮影画像の異常を検出する。
　ステップ１０６では、制御装置１８が、ステップ１０４の検出結果に基づいて後側方撮影画像に異常があるか否かを判定する。該判定が肯定された場合にはステップ１０８へ移行し、否定された場合にはステップ１０４に戻って上述の処理を繰り返す。
　ステップ１０８では、制御装置１８が、周辺カメラ１４の撮影結果を取得してステップ１１０へ移行する。
　ステップ１１０では、制御装置１８が、ステップ１０４の後側方撮影画像の異常検出の結果から後側方撮影画像の一部に異常があるか否かを判定する。該判定が否定された場合にはステップ１１２へ移行し、後側方撮影画像の一部に異常がある場合には判定が肯定されてステップ１２０へ移行する。
　ステップ１１２では、制御装置１８が、周辺撮影画像から後側方撮影画像に対応する領域を切り出してステップ１１４へ移行する。
　ステップ１１４では、制御装置１８が、切り出した周辺撮影画像に対して歪曲収差補正等の補正を行ってステップ１１６へ移行する。
　ステップ１１６では、制御装置１８が、視点変換及び鏡像変換を行うことで、切り出した周辺撮影画像を後側方撮影画像の視点に変換すると共に、左右を反転してステップ１１８へ移行する。
　ステップ１１８では、制御装置１８が、後側方撮影画像の代わりに、切り出した周辺撮影画像をモニタ１６に表示するように制御してステップ１２８へ移行する。すなわち、図６に示すように、周辺撮影画像から切り出した画像がモニタ１６に表示される。これにより、後側方撮影画像の全面に異常があっても周辺撮影画像を代用して表示することができるので、後側方の視界を確保することができる。例えば、図７Ａに示すように、凍結等によって後側方撮影画像の全面に異常がある場合でも周辺撮影画像を代用して表示することができるので、後方視界を確保できる。
　一方、ステップ１２０では、制御装置１８が、周辺撮影画像から後側方撮影画像の異常に対応する領域を切り出してステップ１２２へ移行する。
　ステップ１２２では、制御装置１８が、切り出した周辺撮影画像に対して歪曲収差補正等の補正を行ってステップ１２４へ移行する。
　ステップ１２４では、制御装置１８が、視点変換及び鏡像変換を行うことで、切り出した周辺撮影画像を後側方撮影画像の視点に変換すると共に、左右を反転してステップ１２６へ移行する。
　ステップ１２６では、制御装置１８が、後側方撮影画像の異常に対応する領域に、切り出した周辺撮影画像を合成表示してステップ１２８へ移行する。これにより、後側方撮影画像の異常が発生した領域を周辺撮影画像で補間して表示することができ、後側方の鮮明な視界を確保できる。例えば、図７Ｂに示すように、凍結や結露、汚れ等によって後側方撮影画像の一部に異常が発生しても異常に対応する部分を周辺撮影画像により補間して表示することができるので、後方視界を確保できる。
　ステップ１２８では、制御装置１８が、後側方撮影画像の異常を再度検出してステップ１３０へ移行する。
　ステップ１３０では、制御装置１８が、後側方撮影画像の異常が解消されているか否かを判定する。該判定が否定された場合にはステップ１０８に戻って上述の処理を繰り返し、判定が肯定された場合にはステップ１３２へ移行する。
　ステップ１３２では、制御装置１８が、後側方撮影画像表示に復帰するように制御してステップ１０４に戻って上述の処理を繰り返す。
　このように、本実施形態では、後側方撮影画像の一部に異常があっても周辺撮影画像で補間して後側方を表示することができるので、後側方の鮮明な視界を確保できる。また、後側方撮影画像の全面に異常があっても周辺撮影画像で代用して表示するので、後側方の鮮明な視界を確保できる。従って、後側方カメラ１２によって正常な後側方撮影画像を得られない場合でも後側方の画像を表示することができる。
　なお、上記の実施の形態において、ステップ１１８、１２６によって周辺撮影画像を使用しているときには、画面内にアイコンや文字などを表示してもよい。これにより、周辺撮影画像を利用している旨を乗員に報知し、後側方カメラ１２を使用していない領域があることを報知できる。また、画面内に表示されたアイコンや文字等により、乗員が格納位置から復帰位置に戻したり、汚れや水滴を拭き取ったり、故障であれば修理に出すことを促すことができる。
　また、上記の実施の形態では、モニタ１６をフロントピラーの下端付近に設けた例を説明したが、モニタ１６の位置はこれに限るものではない。例えば、インナーミラーの位置に設けてもよい。或いはコンビネーションメータ内に設けてもよい。
　また、上記の実施形態における制御装置１８で行われる処理は、ソフトウエアの処理として説明したが、これに限るものではない。例えば、ハードウエアで行う処理としてもよいし、ハードウエアとソフトウエアの双方を組み合わせた処理としてもよい。
　また、上記の実施形態における制御装置１８で行われる処理は、プログラムとして記憶媒体に記憶して流通させるようにしてもよい。
　さらに、本発明は、上記に限定されるものでなく、上記以外にも、その主旨を逸脱しない範囲内において種々変形して実施可能であることは勿論である。
　２０１６年１２月２６日に出願された日本国特許出願２０１６－２５０７４３号の開示は、その全体が参照により本明細書に取り込まれる。

Claims (5)

  1. 　車両後側方を撮影する撮影部と、
    　前記撮影部によって撮影された後側方撮影画像を表示する表示部と、
    　車両後側方を含む車両周辺を撮影する周辺撮影部と、
    　前記後側方撮影画像の異常を検出する検出部と、
    　前記検出部によって前記異常が検出された場合に、前記周辺撮影部によって撮影された周辺撮影画像を用いて車両後側方を前記表示部に表示する表示制御を行う制御部と、
    　を備えた車両用視認装置。
  2. 　前記表示制御は、前記検出部によって前記後側方撮影画像の一部の領域に異常が検出された場合に、前記一部の領域に対応する領域を前記周辺撮影画像から切り出して前記後側方撮影画像に合成して前記表示部に表示する請求項１に記載の車両用視認装置。
  3. 　前記表示制御は、前記検出部によって前記後側方撮影画像の全面に異常が検出された場合に、前記周辺撮影画像から前記後側方撮影画像に対応する領域を切出して前記後側方撮影画像の代わりに前記表示部に表示する請求項１または請求項２に記載の車両用視認装置。
  4. 　前記周辺撮影部が、車両下側方向に向けて配置された請求項１～３の何れか１項に記載の車両用視認装置。
  5. 　前記表示制御は、前記周辺撮影画像を用いて車両後側方を前記表示部に表示する際に、前記後側方撮影画像の視点に合わせる視点変換を行って前記表示部に表示する請求項１～４の何れか１項に記載の車両用視認装置。
PCT/JP2017/044428 2016-12-26 2017-12-11 車両用視認装置 WO2018123546A1 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2016250743A JP2018107573A (ja) 2016-12-26 2016-12-26 車両用視認装置
JP2016-250743 2016-12-26

Publications (1)

Publication Number Publication Date
WO2018123546A1 true WO2018123546A1 (ja) 2018-07-05

Family

ID=62710882

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2017/044428 WO2018123546A1 (ja) 2016-12-26 2017-12-11 車両用視認装置

Country Status (2)

Country Link
JP (1) JP2018107573A (ja)
WO (1) WO2018123546A1 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113734049A (zh) * 2020-05-27 2021-12-03 丰田自动车株式会社 车辆周边监视装置、控制方法及存储介质
US11927748B2 (en) 2020-03-31 2024-03-12 Panasonic Intellectual Property Management Co., Ltd. Imaging device and vehicle visual-recognition apparatus

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2020183136A (ja) * 2019-04-27 2020-11-12 アルパイン株式会社 画像表示装置
JP7279566B2 (ja) * 2019-07-26 2023-05-23 トヨタ自動車株式会社 車両用電子ミラーシステム

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011223075A (ja) * 2010-04-02 2011-11-04 Alpine Electronics Inc 複数カメラ画像使用車外表示装置
JP2015019271A (ja) * 2013-07-11 2015-01-29 株式会社デンソー 車両用画像合成装置
JP2016168877A (ja) * 2015-03-11 2016-09-23 株式会社東海理化電機製作所 車両用視認装置

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011223075A (ja) * 2010-04-02 2011-11-04 Alpine Electronics Inc 複数カメラ画像使用車外表示装置
JP2015019271A (ja) * 2013-07-11 2015-01-29 株式会社デンソー 車両用画像合成装置
JP2016168877A (ja) * 2015-03-11 2016-09-23 株式会社東海理化電機製作所 車両用視認装置

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11927748B2 (en) 2020-03-31 2024-03-12 Panasonic Intellectual Property Management Co., Ltd. Imaging device and vehicle visual-recognition apparatus
CN113734049A (zh) * 2020-05-27 2021-12-03 丰田自动车株式会社 车辆周边监视装置、控制方法及存储介质

Also Published As

Publication number Publication date
JP2018107573A (ja) 2018-07-05

Similar Documents

Publication Publication Date Title
JP7055743B2 (ja) 複数カメラを用いた車両用モニタリングシステム
JP5099451B2 (ja) 車両周辺確認装置
WO2018123546A1 (ja) 車両用視認装置
JP6683451B2 (ja) 車両用視認装置
US20190100156A1 (en) System and method for controlling a display
JP2016168877A (ja) 車両用視認装置
JP5093611B2 (ja) 車両周辺確認装置
JP6730614B2 (ja) 車両用表示制御装置、車両用表示システム、車両用表示制御方法およびプログラム
JP2014208529A (ja) 車両用のミラー代替システム
JP2010287163A (ja) 車載用画像表示装置および画像のトリミング方法
JP7052632B2 (ja) 車両用周辺表示装置
JP2007221199A (ja) 車載カメラ表示装置及び画像処理装置
CN112298036B (zh) 车辆用电子镜***
KR101880659B1 (ko) 자동차용 후방 관찰장치
CN107534757B (zh) 车辆用显示装置以及车辆用显示方法
JP2007329611A (ja) 車両周辺監視装置、車両周辺監視システム、および車両周辺監視方法
JP2005182305A (ja) 車両走行支援装置
CN110115031A (zh) 用于照相机显示***的运行方法、照相机显示***和车辆
JP6970035B2 (ja) 車両用視認装置の撮影部の画角設定方法
JP6774612B2 (ja) 車両用記録装置、車両用記録方法及びプログラム
JP2018076019A (ja) 画像処理装置
JP7293990B2 (ja) 車両用表示制御装置、車両用表示制御方法、およびプログラム
JP2018113622A (ja) 画像処理装置、画像処理システム、及び、画像処理方法
JP7112191B2 (ja) 画像処理装置及び画像処理方法
JP2021118435A (ja) 画像処理装置及び画像処理方法

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 17887976

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 17887976

Country of ref document: EP

Kind code of ref document: A1