WO2019111305A1 - 表示制御装置及び表示制御方法 - Google Patents

表示制御装置及び表示制御方法 Download PDF

Info

Publication number
WO2019111305A1
WO2019111305A1 PCT/JP2017/043540 JP2017043540W WO2019111305A1 WO 2019111305 A1 WO2019111305 A1 WO 2019111305A1 JP 2017043540 W JP2017043540 W JP 2017043540W WO 2019111305 A1 WO2019111305 A1 WO 2019111305A1
Authority
WO
WIPO (PCT)
Prior art keywords
point
feature point
display control
image
display
Prior art date
Application number
PCT/JP2017/043540
Other languages
English (en)
French (fr)
Inventor
下谷 光生
中村 好孝
克治 淺賀
Original Assignee
三菱電機株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 三菱電機株式会社 filed Critical 三菱電機株式会社
Priority to PCT/JP2017/043540 priority Critical patent/WO2019111305A1/ja
Priority to JP2019556304A priority patent/JP6656493B2/ja
Publication of WO2019111305A1 publication Critical patent/WO2019111305A1/ja

Links

Images

Classifications

    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B60R1/23Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view
    • B60R1/26Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view to the rear of the vehicle
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/18Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast

Definitions

  • the present invention relates to a display control apparatus that controls a display device and a display control method.
  • Patent Document 1 proposes an electronic mirror that displays the situation behind a vehicle travel lane and an adjacent lane.
  • the display of the electronic mirror includes a portion which is unnecessary for the driver to visually recognize, and power is consumed for the display of the portion. For this reason, there is room for improvement in power consumption.
  • this invention is made in view of the above problems, and it aims at providing the technique which can reduce power consumption.
  • the display control device is a display control device that controls a display device, and includes an acquisition unit that acquires a photographed image of a vehicle periphery, and a photographed image and feature points on the photographed image according to a predetermined rule. Control to make the display mode of the end area different from the display mode of the remaining area which is the area of the photographed image other than the end area in the display of the display device.
  • the captured image is one of the left side and the right side, and is an inner side corresponding to the side on which the vehicle is present, and an outer side which is the other of the left side and the right side.
  • the upper side and the lower side, and the predetermined rule is that, when the feature point is located on the upper side, the first point located at the upper end of the outer side and the upper side on the outer side other than the first point Surrounded by a second point, which is a point below the feature point, and the feature point Region as the end region, and when the feature point is located near the upper side, the first point, the second point, the third point located at the upper end of the inner side, and the point on the inner side A fourth point located below the straight line connecting the second point and the feature point, below the third point, and above the third point, and above the feature point, and the feature point And determining the region surrounded by and as the end region, if the feature point is located on the lower side, the fifth point located at the lower end of the outer side and a point on the outer side other than the fifth point A region surrounded by the sixth point located above the feature point and the feature point is determined as an end region, and if the feature point is located near the lower side, the fifth point, the sixth point,
  • the end area of the area of the photographed image is determined based on the photographed image and the feature points on the photographed image according to a predetermined rule, and the display of the end area is performed on the display device. Control is performed to make the mode different from the display mode of the remaining area. According to such a configuration, the power consumption of the display control device can be reduced.
  • FIG. 1 is a block diagram showing a configuration of a display control device according to Embodiment 1.
  • FIG. 5 is a diagram for explaining a first rule according to the first embodiment.
  • FIG. 7 is a diagram for explaining a second rule according to the first embodiment.
  • FIG. 7 is a diagram for explaining a third rule according to the first embodiment.
  • FIG. 10 is a diagram for explaining a fourth rule according to the first embodiment.
  • FIG. 7 is a block diagram showing a configuration of a display control device according to Embodiment 2. It is a figure for demonstrating the adjustment example of a mirror. It is a figure for demonstrating the adjustment example of a mirror.
  • FIG. 16 is a diagram showing a display example by the display control device according to the second embodiment.
  • FIG. 16 is a view schematically showing a display by the display control device according to the second embodiment.
  • FIG. 16 is a diagram showing a display example by the display control device according to the second embodiment.
  • FIG. 16 is a view schematically showing a display by the display control device according to the second embodiment.
  • 7 is a flowchart showing the operation of the display control apparatus according to Embodiment 2;
  • FIG. 18 is a diagram showing a display example by the display control apparatus according to the first modification of the second embodiment.
  • FIG. 16 schematically shows a display by the display control apparatus according to the first modification of the second embodiment.
  • FIG. 18 is a diagram showing a display example by a display control apparatus according to a second modification of the second embodiment.
  • FIG. 17 is a view schematically showing a display by the display control apparatus according to the second modification of the second embodiment.
  • FIG. 17 is a view schematically showing a display by the display control device according to the third modification of the second embodiment.
  • FIG. 21 schematically shows a display by the display control apparatus according to the fifth modification of the second embodiment.
  • FIG. 21 schematically shows a display by the display control apparatus according to the fifth modification of the second embodiment.
  • FIG. 18 is a diagram showing a display example by the display control device according to the third embodiment.
  • FIG. 18 is a diagram showing a display example by the display control device according to the third embodiment.
  • FIG. 18 is a diagram showing a display example by the display control device according to the third embodiment.
  • FIG. 16 schematically shows display by the display control device according to the third embodiment.
  • FIG. 15 is a flowchart showing an operation of a display control apparatus according to Embodiment 3.
  • FIG. 16 schematically shows display by the display control device according to the fourth embodiment.
  • FIG. 16 schematically shows display by the display control device according to the fourth embodiment.
  • FIG. 18 is a block diagram showing a configuration of a display control device according to Embodiment 5. It is a figure which shows the imaging range of a standard camera and a wide-angle camera.
  • FIG. 21 is a diagram showing a display example by the display control device according to the fifth embodiment.
  • FIG. 35 is a diagram showing a display example by the display control apparatus according to the first modification of the fifth embodiment.
  • FIG. 21 is a diagram showing a display example by a display control apparatus according to a second modification of the fifth embodiment.
  • FIG. 21 is a diagram showing a display example by a display control apparatus according to a second modification of the fifth embodiment.
  • FIG. 21 is a block diagram showing a configuration of a display control device according to Embodiment 6.
  • FIG. 21 is a diagram showing a display example by the display control device according to the sixth embodiment.
  • FIG. 21 is a diagram showing a display example by the display control device according to the sixth embodiment.
  • FIG. 35 is a diagram showing a display example by the display control apparatus according to the third modification of the sixth embodiment.
  • FIG. 35 is a diagram showing a display example by the display control apparatus according to the third modification of the sixth embodiment.
  • FIG. 21 is a block diagram showing a configuration of a display control apparatus according to a seventh embodiment.
  • FIG. 21 is a block diagram showing a configuration of a display control apparatus according to a seventh embodiment.
  • FIG. 21 is a diagram showing a display example by the display control device according to the seventh embodiment.
  • FIG. 21 is a block diagram showing a configuration of a display control apparatus according to an eighth embodiment. It is a block diagram which shows the hardware constitutions of the display control apparatus which concerns on another modification. It is a block diagram which shows the hardware constitutions of the display control apparatus which concerns on another modification. It is a block diagram showing composition of a server concerning other modifications. It is a block diagram which shows the structure of the communication terminal which concerns on another modification.
  • Embodiment 1 the display control apparatus according to the first embodiment of the present invention is mounted, and a vehicle to be focused on will be described as “own vehicle”.
  • FIG. 1 is a block diagram showing the configuration of the display control device 1 according to the first embodiment.
  • the display control device 1 of FIG. 1 includes an acquisition unit 11 and a control unit 12 and can control the display device 21.
  • the display device 21 is disposed, for example, on an instrument panel or a dashboard of the host vehicle.
  • various display devices such as a liquid crystal display device, an organic EL (electroluminescence) display device, and an LED (Light Emitting Diode) display device can be used.
  • the acquisition unit 11 acquires a photographed image.
  • the photographed image is an image used to display the display device 21 and is, for example, an image of the surroundings of the vehicle such as an image of the rear of the vehicle, an image of the side of the vehicle or an image of the front of the vehicle.
  • the photographed image in the case of displaying the door mirror is an image for mirror display obtained by reversing the image of the rear of the host vehicle.
  • the captured image may be the entire image captured by a camera or the like, or may be a part of the image.
  • the acquisition unit 11 may be a camera or various interfaces.
  • the control unit 12 obtains an end area of the photographed image based on the photographed image acquired by the acquiring unit 11 and the feature points on the photographed image according to a predetermined rule.
  • the predetermined rule includes a first rule, a second rule, a third rule or a fourth rule. The first to fourth rules will be described below.
  • FIG. 2 is a diagram for explaining the first rule.
  • the photographed image 2 has an inner side Lin, an outer side Lout, an upper side Lup, and a lower side Lud.
  • the inner side Lin is one of the left side and the right side, and is a side corresponding to the side on which the vehicle 3 is present on the captured image 2.
  • the outer side Lout is the other side of the left side and the right side.
  • FIG. 2 an image obtained by inverting an image captured by a camera for capturing the left rear side of the host vehicle is shown as a captured image 2.
  • the right side of the photographed image 2 is the side on which the vehicle 3 is present, the right side is the inner side Lin, and the left side is the outer side Lout.
  • the photographed image is an image obtained by inverting the image photographed by the camera photographing the right rear side of the host vehicle, the left side of the photographed image 2 is the side on which the host vehicle 3 is present. Is the inner side Lin, and the right side is the outer side Lout.
  • the first rule is a rule in the case where the feature point FP is located on the upper side Lup.
  • the control unit 12 determines an area surrounded by the first point P1, the second point P2, and the feature point FP as the end area 2a.
  • the first point P1 is a point located at the upper end of the outer side Lout.
  • the second point P2 is a point on the outer side Lout other than the first point P1 and is a point located below the feature point FP.
  • the position of the second point P2 is a position where it is expected that the condition of being located below the feature point FP is sufficiently satisfied, for example, the distance to the first point P1 is 1/4 of the length of the outer side Lout It may be fixed at the position of the degree, and may be appropriately changed as described later.
  • FIG. 3 is a diagram for explaining the second rule.
  • the second rule is a rule in the case where the feature point FP is located near the upper side Lup, such as when the feature point FP is located in the upper half of the photographed image 2.
  • the control unit 12 sets an area surrounded by the first point P1, the second point P2, the third point P3, the fourth point P4, and the feature point FP as the end area 2a.
  • the third point P3 is a point located at the upper end of the inner side Lin.
  • the fourth point P4 is a point on the inner side Lin and is lower than the straight line L1 connecting the second point P2 and the feature point FP, and is the same as the third point P3 or lower than the third point P3. And a point located above the feature point FP.
  • FIG. 4 is a diagram for explaining the third rule.
  • the third rule is a rule in the case where the feature point FP is located on the lower side Lud, and is a rule that is substantially reversed from the first rule.
  • the control unit 12 obtains an area surrounded by the fifth point P5, the sixth point P6, and the feature point FP as the end area 2a.
  • the fifth point P5 is a point located at the lower end of the outer side Lout.
  • the sixth point P6 is a point on the outer side Lout other than the fifth point P5 and is a point located above the feature point FP.
  • the position of the sixth point P6 is a position where it is expected that the condition of being located above the feature point FP is sufficiently satisfied, for example, the distance between the fifth point P5 is about 1/4 of the length of the outer side Lout It may be fixed at the position of (1), or may be appropriately changed as described later.
  • FIG. 5 is a diagram for explaining the fourth rule.
  • the fourth rule is a rule in the case where the feature point FP is located near the lower side Lud, such as when the feature point FP is located in the lower half of the captured image 2. It is a rule that is reversed.
  • the control unit 12 sets an area surrounded by the fifth point P5, the sixth point P6, the seventh point P7, the eighth point P8, and the feature point FP as the end area 2a.
  • the seventh point P7 is a point located at the lower end of the inner side Lin.
  • the eighth point P8 is a point on the inner side Lin and is located above the straight line L2 connecting the sixth point P6 and the feature point FP, and is located at the same as the seventh point P7 or above the seventh point P7. And a point located below the feature point FP.
  • the first to fourth rules in the case where the photographed image 2 is an image photographed by a camera photographing the left rear side of the host vehicle have been described.
  • the process in which the left and right are reversed in the description of FIGS. 2 to 4 is the first to fourth processes. It is done as a rule.
  • the predetermined rule is described as including the first rule, the second rule, the third rule, or the fourth rule.
  • the predetermined rules may include at least one of the first, second, third and fourth rules.
  • the control unit 12 may obtain, as an end region, a region obtained according to a rule obtained by combining the first rule or the second rule and the third rule or the fourth rule.
  • control unit 12 displays the display mode of the end area 2a in the display of the display device 21 as the display mode of the remaining area 2b which is the area of the photographed image 2 other than the end area 2a. And control to be different.
  • the shape of the upper portion of the remaining area 2b is defined by the line connecting the second point P2 and the feature point FP, which inclines in the vertical direction, and the upper side Lup.
  • the shape of the upper part of the remaining area 2b is relatively small in the vertical direction
  • the line connecting the second point P2 and the feature point FP which is relatively large in the vertical direction It is defined by the inclined line connecting the feature point FP and the fourth point P4.
  • Each line defining the shape of the upper portion of remaining area 2 b may be a straight line or a curved line.
  • the shape of the lower part of the remaining area 2b is defined by the line connecting the sixth point P6 and the feature point FP, which inclines in the vertical direction, and the lower side Lud.
  • the shape of the lower part of the remaining area 2b is relatively small in the vertical direction and a line connecting the sixth point P6 and the feature point FP, which is relatively large in the vertical direction. It is defined by the inclined line connecting the feature point FP and the eighth point P8.
  • Each line defining the shape of the lower part of remaining area 2b may be a straight line or a curved line.
  • the end region 2a is obtained based on the photographed image 2 and the feature points on the photographed image 2 in accordance with a predetermined rule, and In display, control is performed to make the display mode of the end area 2a different from the display mode of the remaining area 2b.
  • the display mode of the end area 2a is black, an image in which the upper or lower portion on the outer side Lout side is cut off, that is, the image in the remaining area 2b of the photographed image 2 Is displayed.
  • the display device 21 when the display device 21 is a specific display device that consumes less power when performing black display, the power consumption can also be reduced.
  • the specific display device may be, for example, an organic EL device, an LED display device, or a plurality of backlights, and the backlights can be turned off corresponding to the pixels performing black display. It may be a liquid crystal display device.
  • FIG. 6 is a block diagram showing a configuration of a display control device 1 according to Embodiment 2 of the present invention.
  • constituent elements according to the second embodiment constituent elements that are the same as or similar to the above constituent elements are given the same reference numerals, and different constituent elements are mainly described.
  • the display control device 1 of FIG. 6 is connected to the left display device 21a, the right display device 21b, and the camera control device 26c.
  • Each of the left display device 21a and the right display device 21b corresponds to the display device 21 of FIG.
  • one display device may be used instead of the left display device 21a and the right display device 21b.
  • the left display device 21a and the right display device 21b are not distinguished from one another, they may be described as “display device 21”.
  • the camera control device 26c is connected to the left rear side camera 26a and the right rear side camera 26b.
  • the left rear side camera 26a is a camera for photographing the left rear side of the host vehicle, and is provided on the host vehicle instead of the left door mirror.
  • the right rear side camera 26b is a camera for photographing the right rear side of the host vehicle, and is provided on the host vehicle instead of the right door mirror.
  • each of the left rear side camera 26a and the right rear side camera 26b is not a panoramic camera or a wide-angle camera, but is a standard camera that captures an image with an angle of view of about 10 degrees.
  • an image for mirror display based on an image captured by the left rear side camera 26a may be referred to as a “left camera image”, and based on an image captured by the right rear side camera 26b
  • An image for mirror display may be described as a “right camera image”, and when the left camera image and the right camera image are not distinguished, these may be described as a “camera image”.
  • the camera control device 26 c appropriately performs control to change the angle of view and the focal point with respect to each of the left rear side camera 26 a and the right rear side camera 26 b based on an operation received by an operation device (not shown). According to such a configuration, it is possible to appropriately adjust the range and the like photographed by the left rear side camera 26a and the right rear side camera 26b by appropriately performing the operation.
  • the camera control device 26c controls the direction in which the left rear side camera 26a and the right rear side camera 26b shoot by controlling the electric drive mechanism based on an operation received by an operation device (not shown). It is also good. According to such a configuration, it is possible to increase the degree of freedom in adjusting the range photographed by the left rear side camera 26a and the right rear side camera 26b.
  • FIG. 7 and 8 are diagrams showing an example of adjustment of a mirror image of a standard door mirror.
  • photographed with the left rear side camera 26a and the right rear side camera 26b is performed similarly to adjustment of a door mirror.
  • the door mirror is adjusted so that the driver can visually recognize the range of a width of 5 m from the side of the host vehicle 30 m rearward from the rear of the host vehicle 3.
  • the body of the vehicle 3 is visually recognized by the driver in the range of about 1 ⁇ 4 of the horizontal length of the mirror surface 4 a from the left end of the mirror surface 4 a of the right door mirror 4.
  • the right door mirror 4 is adjusted such that the road 5 can be viewed by the driver in a range of about 1/3 of the vertical length of 4a.
  • an adjustment is performed in which the right and left sides are reversed in the adjustment of the right door mirror. Adjustments recommended for the left and right door mirrors differ depending on the left and right door mirrors and country-specific recommendations, and the size and type of the left and right door mirrors.
  • the camera control device 26c not only controls the left rear side camera 26a and the right rear side camera 26b as described above, but also with the left rear side camera 26a and the right rear side camera 26b.
  • the photographed left camera image and right camera image are output to the display control device 1.
  • the display control device 1 includes an image acquisition unit 11a, an image recognition unit 12a, a video processing unit 12b, and an image output unit 12c.
  • the concept of the image acquisition unit 11a is the concept included in the acquisition unit 11 of FIG. 1, and the concepts of the image recognition unit 12a, the video processing unit 12b, and the image output unit 12c are included in the control unit 12 of FIG. It is a concept.
  • the image acquisition unit 11a acquires a camera image from the camera control device 26c as a captured image.
  • the image acquiring unit 11a acquires a camera image as a photographed image in consideration that each of the left rear side camera 26a and the right rear side camera 26b is a standard camera.
  • the image acquisition unit 11a may An image equivalent to an image obtained by physically moving the direction may be acquired as a captured image.
  • An image equivalent to an image obtained by physically moving the direction of the camera by the electric drive mechanism is, for example, an image obtained by cutting a part of the camera image or an image obtained by subjecting the camera image to viewpoint conversion processing. .
  • no hardware such as an electric drive mechanism for changing the direction of the camera is required, so cost reduction can be expected.
  • the image recognition unit 12a and the video processing unit 12b will be described using FIG. 9 to FIG.
  • FIG. 9 is a view showing a display example of the left display device 21a and the right display device 21b according to the second embodiment.
  • a captured image corresponding to the left camera image may be referred to as “left captured image”
  • a captured image corresponding to the right camera image may be referred to as “right captured image”.
  • the left display device 21a and the right display device 21b are provided with the meter area 7 provided with the meter interposed, and the remaining area 2b of the left captured image 2 and the remaining area of the right captured image 2 2b are respectively displayed as a left electron mirror and a right electron mirror.
  • the remaining area 2b of the left captured image 2 displays the body of the vehicle 3, the road 5 with the solid white line 5a, etc., and the other vehicle 6, and the remaining area 2b of the right captured image 2
  • the body of the vehicle 3 and the road 5 with a solid white line 5a etc. are displayed.
  • FIG. 10 is a view schematically showing an end area 2 a and a remaining area 2 b in the photographed image 2 on the left of FIG. 9.
  • FIG. 11 is a view showing a display example of the left display device 21a according to the second embodiment.
  • FIG. 12 is a view schematically showing an end area 2a and a remaining area 2b in the photographed image 2 on the left of FIG.
  • the end area 2a and the remaining area 2b of the left captured image 2 will be mainly described, but the end area 2a and the remaining area 2b of the right captured image 2 are the same as the following description. is there.
  • the image recognition unit 12a in FIG. 6 recognizes a predetermined object from the captured image 2 acquired by the image acquisition unit 11a, and obtains a feature point based on the object.
  • the predetermined object is a road division line.
  • the lane markings of the road include a solid yellow line corresponding to no overtaking when the car is overtaking, a solid white line corresponding to no overtaking of the car, and a broken white line corresponding to the overtaking permission of the car.
  • the role of the solid white line is not limited to this.
  • the image recognition unit 12a obtains the feature point FP based on the position of the vanishing point 5b of the solid white line 5a in the captured image 2.
  • the image recognition unit 12a obtains a point immediately above the vanishing point 5b among points on the upper side Lup as a feature point FP.
  • the image recognition unit 12a may obtain a middle point between the upper side Lup and the vanishing point 5b as the feature point FP.
  • the image recognition unit 12a obtains a point immediately below the vanishing point 5b among points on the lower side Lud as a feature point FP.
  • the image recognition unit 12a may obtain a middle point between the lower side Lud and the vanishing point 5b as the feature point FP.
  • the video processing unit 12 b in FIG. 6 performs the same operation as the control unit 12 described in the first embodiment. That is, the video processing unit 12b obtains the end region 2a based on the photographed image 2 acquired by the image acquisition unit 11a and the feature point FP obtained by the image recognition unit 12a in accordance with a predetermined rule.
  • the video processing unit 12b when the feature point FP is positioned on the upper side Lup, the video processing unit 12b obtains the end region 2a according to the first rule. If the feature point FP is the middle point between the upper side Lup and the vanishing point 5b, the video processing unit 12b obtains the end area 2a according to the second rule. As in the example of FIG. 12, when the feature point FP is located on the lower side Lud, the video processing unit 12b obtains the end area 2a according to the third rule. If the feature point FP is the middle point between the lower side Lud and the vanishing point 5b, the video processing unit 12b obtains the end area 2a according to the fourth rule.
  • the image processing unit 12 b performs image processing to change the display mode of the end area 2 a as shown in FIGS. 9 and 11.
  • the part to which the dot hatching of FIG. 9 was attached has shown black.
  • Such an aspect of black display can be realized, for example, by hiding the end area 2a.
  • the image output unit 12c of FIG. 6 outputs the video signal of the left photographed image 2 subjected to the image processing by the video processing unit 12b to the left display device 21a. Further, the image output unit 12c outputs the video signal of the right photographed image 2 subjected to the image processing by the video processing unit 12b to the right display device 21b.
  • FIG. 13 is a flowchart showing the operation of the display control device 1 according to the second embodiment. This operation is started, for example, when the accessory power supply of the host vehicle is turned on, or when the drive source of the host vehicle is turned on.
  • step S1 the image acquisition unit 11a acquires a left camera image and a right camera image as a captured image 2.
  • step S2 the image recognition unit 12a recognizes the solid white line 5a from the photographed image 2 acquired by the image acquisition unit 11a.
  • step S3 the image recognition unit 12a recognizes the vanishing point 5b of the recognized solid white line 5a.
  • step S4 the image recognition unit 12a obtains a feature point FP based on the position of the recognized vanishing point 5b.
  • step S5 the video processing unit 12b obtains the end area 2a based on the feature point FP or the like, and performs image processing to change the display mode of the end area 2a.
  • step S6 the image output unit 12c outputs the video signal of the left captured image 2 subjected to the image processing by the video processing unit 12b to the left display device 21a, and the image processing is performed by the video processing unit 12b.
  • the video signal of the right captured image 2 is output to the right display device 21b. Thereafter, the process returns to step S1.
  • a predetermined object such as the solid white line 5a is recognized from the captured image 2, and a feature point is determined based on the object. According to such a configuration, it is possible to appropriately change the shape of the remaining area 2b in accordance with the content of the photographed image 2.
  • FIG. 14 is a diagram showing a display example of the left display device 21a according to the first modification of the second embodiment.
  • FIG. 15 is a view schematically showing an end area 2a and a remaining area 2b in the photographed image 2 on the left of FIG.
  • the video processing unit 12b determines a point on the upper side Lup that is directly above the vanishing point 5b as the feature point FP. However, as shown in FIG. 15, the video processing unit 12b may obtain, as a feature point FP, a point on the upper side Lup that extends beyond the vanishing point 5b of the solid white line 5a.
  • the predetermined object for obtaining the feature point FP is a dividing line such as the solid white line 5a.
  • the predetermined object may be a particular vanishing point of road 5, eg, the vanishing point of the center of road 5, the vanishing point of a portion slightly to the right of the center of road 5, or slightly to the left of the center of road 5. It may be the vanishing point of the part.
  • the predetermined object may be a road-related object such as a sidewalk, a guardrail, or a street, a feature, or a display such as a road marking.
  • FIG. 16 is a diagram showing a display example of the left display device 21a according to the second modification of the second embodiment.
  • FIG. 17 is a view schematically showing the end area 2a and the remaining area 2b in the photographed image 2 on the left of FIG.
  • the image recognition unit 12a obtains one feature point FP from the captured image 2. However, as shown in FIG. 17, the image recognition unit 12 a may obtain a plurality of feature points FP from the photographed image 2. In the examples of FIGS. 16 and 17, the image recognition unit 12a determines the first feature point FP1 and the second feature point FP2 as the plurality of feature points FP.
  • the first feature point FP1 is a point located between the vanishing point 5b of the solid white line 5a and the upper side Lup, and is a point located near the upper side Lup.
  • the second feature point FP2 is a point located closer to the inner side Lin than the first feature point FP1, and is a point on the upper side Lup just above the vanishing point 5d of the dotted white line 5c.
  • the image processing unit 12b determines an area surrounded by the first point P1, the second point P2, the first feature point FP1, and the second feature point FP2 as the end area 2a. It is also good.
  • the shape of the upper portion of the end region 2a is inclined relatively small in the vertical direction, a line connecting the second point P2 and the first feature point FP1, and relatively small in the vertical direction. It is defined by the line connecting the point FP1 and the second feature point FP2 and the upper side Lup.
  • first feature point FP1 is used in the example of FIG. 17, instead of one first feature point FP1, a plurality of the first side feature points approaching the upper side Lup from the outer side Lout toward the inner side Lin
  • One feature point FP1 may be used.
  • the number of feature points such as the first feature point FP1 and the second feature point FP2 is not limited to two, and the number of dividing lines such as the solid white line 5a and the dotted white line 5c is limited to two. Absent.
  • the video processing unit 12b may obtain the end area 2a in which the top and bottom of FIGS. 16 and 17 are reversed.
  • a third feature point which is a feature point located near the lower side Lud, and a feature point located on the inner side Lin side of the third feature point and located on the lower side Lud
  • the image processing unit 12b determines an area surrounded by the fifth point, the sixth point, the third feature point, and the fourth feature point as the end area 2a. May be
  • the video processing unit 12b corresponds to the change in the direction in which the left rear side camera 26a and the right rear side camera 26b shoot (hereinafter sometimes referred to as "camera direction"), and the remaining area 2b.
  • the shape of may be changed.
  • the horizontal angle of the door mirror is changed, the length in the left-right direction of the entire door mirror seen by the driver becomes short.
  • the horizontal length Wud of the lower part of 2b may be shortened.
  • the image processing unit 12b measures the length in the vertical direction of the outer side Lout side of the remaining area 2b by the length of the inner side Lin side. It may be longer than the longitudinal length. Further, when the camera direction is moved away from the body of the vehicle 3, the image processing unit 12b measures the length in the vertical direction of the outer side Lout side portion of the remaining area 2b by the vertical direction of the inner side Lin side portion. It may be shorter than the length.
  • the horizontal length Wup of the upper portion of the remaining area 2b is equal to the horizontal length Wud of the lower portion of the remaining area 2b. It may also be short.
  • the video processing unit 12b makes the horizontal length Wup of the upper part of the remaining area 2b longer than the horizontal length Wud of the lower part of the remaining area 2b. May be
  • an electronic mirror similar to a real door mirror can be displayed.
  • the video processing unit 12b may perform a modification opposite to the above-described modification depending on the setting of the user, or may perform a modification combining the above-described modifications.
  • the video processing unit 12b changes the display mode in the end area 2a to a mode in which the end area 2a is displayed in black.
  • the video processing unit 12b may change the display mode in the end area 2a to a mode in which a display object including, for example, a warning mark is superimposed on the end area 2a, or a specific image processing is performed at the end You may change into the aspect given to the area
  • the specific image processing may be, for example, a semi-transmissive process that makes the image in the end region 2 a semi-transmissive in the captured image 2 acquired by the image acquisition unit 11 a, a blurring process that blurs the image, or the image Color change processing to change the color of
  • the color changing process includes, for example, a process of changing the color of the image in the end area 2a to the same color as the background color around the end area 2a displayed on the display device 21.
  • the video processing unit 12 b changes the display mode in the end area 2 a to the mode of black display. In this case, the driver can not confirm the image of the end area 2a. Therefore, as shown in FIG. 19, the video processing unit 12b may divide the remaining area 2b into adjacent parts 2b1 adjacent to the top and bottom of the end area 2a and the other part 2b2. Then, as shown in FIG. 20, the video processing unit 12b is configured such that the images of the end area 2a and the adjacent part 2b1 of the captured image 2 fall within the adjacent part 2b1, the end area 2a and the adjacent part 2b1. Images may be compressed.
  • Embodiment 3 The block diagram showing the configuration of the display control device 1 according to the third embodiment of the present invention is the same as the block diagram (FIG. 6) of the display control device 1 according to the second embodiment.
  • the same or similar components as or to the components described above are designated by the same reference numerals, and different components will be mainly described.
  • the predetermined object for obtaining the feature point FP is a dividing line such as the solid white line 5a.
  • the predetermined object is a moving object, and the image recognition unit 12a obtains the feature point FP based on the position of the moving object in the captured image acquired by the image acquisition unit 11a.
  • the moving body will be described as another vehicle traveling in the adjacent lane adjacent to the lane in which the host vehicle 3 is traveling.
  • FIG. 21, 22 and 23 are diagrams showing display examples of the left display device 21a according to the third embodiment.
  • FIG. 24 is a view schematically showing an end area 2 a and a remaining area 2 b in the photographed image 2 on the left of FIG. 23.
  • the image recognition unit 12a obtains a predetermined point on the upper side Lup as a feature point FP.
  • the image recognition unit 12a obtains a point on the outer edge of the body of the vehicle 3 among points on the upper side Lup as the feature point FP.
  • the other vehicle 6 is relatively far from the host vehicle 3 in the adjacent lane of the captured image 2, and in FIG. 23, the other vehicle 6 is relatively close to the host vehicle 3 in the adjacent lane of the captured image 2. Do.
  • the image recognition unit 12a obtains, as a feature point FP, a point immediately above the outer end of the other vehicle 6 among points on the upper side Lup. The outer end of the other vehicle 6 is an end closer to the outer side Lout of the other vehicle 6.
  • FIG. 25 is a flowchart showing an operation of the display control device 1 according to the third embodiment. This operation is started, for example, when the accessory power supply of the host vehicle is turned on, or when the drive source of the host vehicle is turned on.
  • step S11 the image acquisition unit 11a acquires a left camera image and a right camera image as a captured image 2.
  • step S12 the image recognition unit 12a recognizes the other vehicle 6 traveling in the adjacent lane from the photographed image 2 acquired by the image acquisition unit 11a.
  • step S13 the image recognition unit 12a recognizes the outer end of the recognized other vehicle 6.
  • step S14 the image recognition unit 12a obtains a feature point FP based on the position of the recognized outer end.
  • step S15 the video processing unit 12b obtains the end area 2a based on the feature point FP or the like, and performs image processing to change the display mode in the end area 2a of the photographed image 2.
  • step S16 the image output unit 12c outputs the video signal of the left captured image 2 subjected to the image processing in the video processing unit 12b to the left display device 21a, and the image processing is performed in the video processing unit 12b.
  • the video signal of the right captured image 2 is output to the right display device 21b. Thereafter, the process returns to step S11.
  • the feature point FP is obtained based on the position of a moving object such as the other vehicle 6 in the captured image. According to such a configuration, the feature point FP can be obtained from the apparent position of the moving object, so that it is possible to present the driver with an image that is easy to have a sense of perspective with respect to the object to be noted.
  • the image recognition unit 12a obtains a point immediately above the outer end of the other vehicle 6 among the points on the upper side Lup as the feature point FP.
  • the image recognition unit 12a may obtain, as the feature point FP, a point on the upper side Lup that is directly above the center of the other vehicle 6 or a portion other than the center of the other vehicle 6.
  • the image recognition unit 12a obtains a point immediately above the outer end of the other vehicle 6 as the first feature point FP1 described in the second modification of the second embodiment, and determines the trueness of the inner end of the other vehicle 6.
  • the upper point may be obtained as the second feature point FP2 described in the second modification of the second embodiment.
  • the inside end of the other vehicle 6 is an end near the inner side Lin of the other vehicle 6.
  • the fourth modification of the second embodiment may be applied to the third embodiment. That is, in the third embodiment, the video processing unit 12b displays the display mode in the end area 2a in such a manner that the end area 2a is displayed in black, and an aspect in which a predetermined display object is superimposed on the end area 2a. Alternatively, the specific image processing may be changed to the end area 2a.
  • the display mode of the end region 2a may be changed based on the positional relationship between the host vehicle 3 and the other vehicle 6 other than the host vehicle 3.
  • the image processing unit 12b determines the distance between the vehicle 3 and the other vehicle 6 in the traveling direction of the vehicle 3 based on the positional relationship between the vehicle 3 and the other vehicle 6, and the distance is short.
  • the transmittance of the display object to be superimposed on the end region 2a may be lowered.
  • the image processing unit 12b determines the distance between the vehicle 3 and the other vehicle 6 in the lateral direction of the vehicle 3 based on the positional relationship between the vehicle 3 and the other vehicle 6, and the distance is short.
  • the color of the display object superimposed on the end area 2a may be closer to a color indicating a danger such as red.
  • the video processing unit 12 b may change the parameters of the specific image processing based on various distances between the host vehicle 3 and the other vehicle 6.
  • the image recognition unit 12a may obtain the feature point FP located on the upper side Lup or in the vicinity of the upper side Lup based on the position of the moving body in the captured image 2.
  • the image recognition unit 12a may obtain a feature point FP located on the lower side Lud or in the vicinity of the lower side Lud based on the position of the dividing line in the captured image 2.
  • the shape of the upper part of the remaining area 2b is, for example, the same as the shape of the upper part of the remaining area 2b of FIG. 22, and the shape of the lower part of the remaining area 2b is, for example, the shape of the lower part of the remaining area 2b of FIG. Will be the same.
  • the image recognition unit 12a obtains the feature point FP based on the position of the vanishing point of the dividing line in the captured image 2 as in the second embodiment. May be Then, when the image recognition unit 12 a can recognize the moving object from the captured image 2, not the position of the vanishing point of the dividing line in the captured image 2 but the moving object in the captured image 2 as in the third embodiment.
  • the feature point FP may be determined based on the position.
  • the block diagram showing the configuration of the display control device 1 according to the fourth embodiment of the present invention is the same as the block diagram (FIG. 6) of the display control device 1 according to the second embodiment.
  • constituent elements according to the fourth embodiment constituent elements that are the same as or similar to the above constituent elements are given the same reference numerals, and different constituent elements are mainly described.
  • the position of the second point P2 and the position of the sixth point P6 have been described as being fixed.
  • the position of the second point P2 and the position of the sixth point P6 change as appropriate.
  • FIGS. 26 and 27 are diagrams schematically showing an end area 2 a and a remaining area 2 b in the left captured image 2 displayed by the left display device 21 a according to the fourth embodiment.
  • the image recognition unit 12a recognizes a predetermined object from the captured image 2 acquired by the image acquisition unit 11a, and the second point P2 and the feature point FP are recognized based on the shape of the object.
  • the object is a road dividing line
  • the image recognition unit 12a causes the shape of the line L3 connecting the second point P2 and the feature point FP to correspond to the shape of the solid white line 5a.
  • the second point P2 and the feature point FP are obtained.
  • the image recognition unit 12a first obtains the feature point FP from the captured image 2 in the same manner as in the second embodiment. Thereafter, the image recognition unit 12a obtains the second point P2 so that the line L3 is a parallel line of the solid white line 5a or a line according to the solid white line 5a.
  • the line L3 is also a straight line
  • the line L3 is also a curve.
  • the second point P2 and the feature point FP are obtained based on the shape of the object recognized from the photographed image 2.
  • the boundary between the end area 2a and the remaining area 2b additionally shows the solid white line 5a, thereby providing a display that is easy for the driver to recognize the solid white line 5a. be able to.
  • the image recognition unit 12a obtains the second point P2 based on the feature point FP and the shape of the solid white line 5a.
  • the image recognition unit 12a may obtain the feature point FP based on the second point P2 fixed as in the first embodiment and the like and the shape of the solid white line 5a.
  • a parallel line whose distance to the solid white line 5a is set to a constant distance may be the line L3. In this case, the image recognition unit 12a can obtain the second point P2 and the feature point FP in parallel.
  • FIG. 28 is a block diagram showing a configuration of a display control device 1 according to Embodiment 5 of the present invention.
  • constituent elements according to the fifth embodiment constituent elements that are the same as or similar to the above constituent elements are given the same reference numerals, and different constituent elements are mainly described.
  • each of the left rear wide-angle camera 26e and the right rear wide-angle camera 26f serves as the host vehicle. It is provided.
  • each of the left rear wide-angle camera 26e and the right rear wide-angle camera 26f is not a standard camera but a wide-angle camera.
  • each of the left display device 21a and the right display device 21b according to the fifth embodiment is a display device capable of displaying an image of a horizontally long shape displayed by a wide-angle camera.
  • FIG. 29 is a view showing a photographing area R1 which can be photographed by a standard camera having a field angle of 10 degrees and a photographing area R2 which is a region which can be photographed by a wide angle camera which has a field angle of 30 degrees.
  • FIG. 30 is a diagram showing a display example of the left display device 21a according to the fifth embodiment. Although the broken line between the vanishing point 5b, the feature point FP, the vanishing point 5b and the feature point FP is shown in the display example of FIG. 30 for convenience of explanation, these may not be displayed. . The same applies to the following display examples.
  • the shooting area R2 of the wide-angle camera is wider than the shooting area R1 of a standard camera, and the display range of the left display device 21a is wider according to the shooting area R2 of the wide-angle camera. ing.
  • the photographed image 2 is a horizontally long image.
  • the image recognition unit 12a obtains the feature point FP in the same manner as described above for the photographed image 2 having such a horizontally long shape, and the video processing unit 12b determines the end region 2a and In order to obtain the remaining area 2b, control is performed to make the display mode of the end area 2a different from the display mode of the remaining area 2b.
  • the photographed image 2 is a horizontally long image. According to such a configuration, the effects described in the first embodiment and the like can be obtained even on a horizontally long image captured by a wide-angle camera.
  • FIG. 31 is a diagram showing a display example of the left display device 21 a when the second modification of the second embodiment is applied to the fifth embodiment.
  • the image recognition unit 12a obtains a point between the vanishing point 5b of the solid white line 5a and the upper side Lup as a first feature point FP1, and eliminates the dotted white line 5c among points on the upper side Lup.
  • the point immediately above the point 5d may be obtained as the second feature point FP2.
  • the video processing unit 12b may obtain an area surrounded by the first point P1, the second point P2, the first feature point FP1, and the second feature point FP2 as the end area 2a.
  • the number of feature points such as the first feature point FP1 and the second feature point FP2 is not limited to two, and the number of dividing lines such as the solid white line 5a and the dotted white line 5c is limited to two. Absent.
  • the range of the remaining area 2b displayed on the display device 21 may be changed based on the number of lanes of the road on which the vehicle 3 is traveling.
  • 32 and 33 are diagrams showing display examples of the left display device 21a according to the second modification of the fifth embodiment. In FIG. 32 and FIG. 33, the wall 8 provided outside the outermost road is also displayed.
  • the image recognition unit 12a extracts the number of lanes from the captured image 2 acquired by the image acquisition unit 11a.
  • the image recognition unit 12a extracts the number of two lanes (one adjacent lane) in the case of FIG. 32, and extracts the number of three lanes (two adjacent lanes) in the case of FIG.
  • the video processing unit 12 b increases the length in the left-right direction of the remaining area 2 b in the display of the display device 21 as the number of lanes extracted by the image recognition unit 12 a increases.
  • the video processing unit 12b is located outside the remaining area 2b at the position of the lower end 5e of the solid white line 5a which is the outermost division line of the lane in which the vehicle 3 is traveling.
  • the length in the left-right direction of the remaining area 2b is increased by aligning the sides of
  • FIG. 34 is a block diagram showing a configuration of a display control device 1 according to Embodiment 6 of the present invention.
  • constituent elements according to the sixth embodiment constituent elements which are the same as or similar to the constituent elements described above are given the same reference numerals, and different constituent elements are mainly described.
  • the configuration of the sixth embodiment is the same as the configuration of FIG. 28 in which the right / left turn information acquisition unit 11 b is added.
  • the concept of the right and left turn information acquisition unit 11 b is a concept included in the acquisition unit 11 of FIG. 1.
  • 35 and 36 are diagrams showing display examples of the left display device 21a and the right display device 21b according to the sixth embodiment.
  • the video processing unit 12b is based on the left / right turn information acquired by the right / left turn information acquisition unit 11b, in the left-right direction of the remaining area 2b of the left captured image 2 in the display of the left display device 21a.
  • the length and the length in the left-right direction of the remaining area 2b of the right captured image 2 in the display of the right display device 21b are controlled.
  • the video processing unit 12b switches the display of FIG. 35 to the display of FIG. 36 when the right / left information indicates a left turn. That is, the video processing unit 12b displays, on the right display device 21b, the length in the left-right direction of the remaining area 2b of the left captured image 2 displayed on the left display device 21a when the left / right turn information indicates a left turn. The length of the remaining area 2b of the right captured image 2 is made greater than the length in the left-right direction.
  • the video processing unit 12b displays the left-right length of the remaining area 2b of the right captured image 2 displayed on the right display device 21b.
  • the length of the remaining area 2b of the left captured image 2 displayed on the screen 21a is larger than the length in the left-right direction.
  • the left display device 21a of the example of FIG. 36 a point immediately above the vanishing point 5b among the points on the upper side Lup of the left captured image 2 is determined as the feature point FP, and the end area 2a and the remaining area 2b is divided based on the feature point FP or the like.
  • the feature point FP is not obtained, and the end area 2a and the remaining area 2b are not divided. It is displayed as the remaining area 2 b of the image 2.
  • the length in the left-right direction of the remaining area 2b of the left captured image 2 and the remaining area 2b of the right captured image 2 are Control the length in the left-right direction. According to such a configuration, the driver can be presented with a display that is easy to confirm the situation in the traveling direction.
  • the video processing unit 12 b increases the length in the left-right direction of the remaining area 2 b for one of the left captured image 2 and the right captured image 2 when the left / right information indicates a direction. It is not limited to this.
  • the video processing unit 12b may increase the length in the left-right direction of the remaining area 2b for both the left captured image 2 and the right captured image 2 when the left / right turn information indicates a direction.
  • the turning information may be input to the image recognition unit 12a. Then, when the right / left turn information indicates a left turn, the image recognition unit 12a selects the maximum number of feature points extractable from the left captured image 2 and the maximum number of feature points extractable from the right captured image 2 The extraction of feature points from the right captured image 2 may be stopped. Similarly, when the right and left turn information indicates a right turn, the image recognition unit 12a determines the maximum number of feature points that can be extracted from the right captured image 2, and the maximum number of feature points that can be extracted from the left captured image 2. It may be made larger than this, or extraction of feature points from the left captured image 2 may be stopped.
  • ⁇ Modification 3 of Embodiment 6> 37 and 38 are diagrams showing display examples of the left display device 21a and the right display device 21b according to the third modification of the sixth embodiment. Also in the third modification, it is assumed that the right and left turn information is input to the image recognition unit 12a.
  • the image recognition unit 12a may recognize a dividing line such as a solid white line 5a of a road from the left captured image and the right captured image acquired by the image acquisition unit 11a. Then, as in the third embodiment, a moving object such as another vehicle 6 may be recognized from the left captured image and the right captured image acquired by the image acquisition unit 11a.
  • the image recognition unit 12a determines the feature point FPL of the left captured image 2 based on the other vehicle 6 in the left captured image 2.
  • the feature point FPR of the right captured image 2 may be determined based on the solid white line 5 a in the right captured image 2.
  • the image recognition unit 12a determines the feature point FPR of the right captured image 2 based on the other vehicle 6 in the right captured image 2.
  • the feature point FPL of the left captured image 2 may be determined based on the solid white line 5a in the left captured image 2.
  • FIG. 39 is a block diagram showing a configuration of a display control device 1 according to Embodiment 7 of the present invention.
  • constituent elements according to the seventh embodiment constituent elements which are the same as or similar to the constituent elements described above are given the same reference numerals, and different constituent elements are mainly described.
  • a rear camera 26 h capable of capturing an immediately after image is provided in the host vehicle 3.
  • the camera control device 26c combines the left camera image and the right camera image taken with the left rear side camera 26a and the right rear side camera 26b with the right after image taken with the rear right camera 26h, and combines them. Generate an image. Then, the camera control device 26 c outputs the generated composite image to the display control device 1.
  • the image acquisition unit 11a acquires a composite image from the camera control device 26c as a captured image. For this reason, in the seventh embodiment, the photographed image 2 is an image with a horizontally long shape including an image of the rear left of the vehicle 3, an image of the rear right, and a true rear image between the rear left and the rear right. Become.
  • FIG. 40 is a diagram showing a display example of the display device 21 according to the seventh embodiment.
  • the image recognition unit 12a according to the seventh embodiment recognizes the solid white line 5a from the photographed image 2 acquired by the image acquisition unit 11a, and sets the position of the vanishing point 5b of the solid white line 5a. Based on the feature point FP is determined.
  • the image recognition unit 12a recognizes the leftmost solid white line 5a and the rightmost solid white line 5a from the captured image 2.
  • the video processing unit 12b follows the predetermined rule, and the photographed image 2 acquired by the image acquiring unit 11a and the feature points calculated by the image recognition unit 12a.
  • the end area 2a is determined based on FP.
  • the video processing unit 12b determines the left end area 2aL by using the left side as the outer side Lout, the right side as the inner side Lin, and using a predetermined rule as the first rule.
  • the video processing unit 12b determines the right end area 2aR by setting the right side as the outer side Lout, the left side as the inner side Lin, and using a predetermined rule as the first rule.
  • the video processing unit 12b causes the display mode of the end areas 2aL and 2aR to be different from the display mode of the remaining area 2b which is the area of the photographed image 2 other than the end areas 2aL and 2aR in the display of the display device 21. Take control.
  • the display object which shows the own vehicle 3 may be suitably displayed on the picked-up image 2, and the position of the display object may be changed suitably.
  • the photographed image 2 is an image of the left rear of the host vehicle 3, an image of the right rear, and a right rear image between the left rear and the right rear.
  • the same effect as that of the second embodiment can be obtained even in the case of an image having a horizontally elongated shape.
  • FIG. 41 is a block diagram showing a configuration of a display control device 1 according to Embodiment 8 of the present invention.
  • constituent elements according to the seventh embodiment constituent elements which are the same as or similar to the constituent elements described above are given the same reference numerals, and different constituent elements are mainly described.
  • the configuration of the eighth embodiment is the same as the configuration of FIG. 6 in which the image recognition unit 12a is deleted, the peripheral information acquisition unit 11c is added, and the peripheral detection device 27 is connected.
  • the concept of the peripheral information acquisition unit 11c is a concept included in the acquisition unit 11 of FIG.
  • the periphery detection device 27 is provided outside the display control device 1.
  • the periphery detection device 27 detects object information on the relative position of the predetermined object around the vehicle 3 with respect to the vehicle 3.
  • the predetermined object is a dividing line such as a solid white line around the vehicle 3, and the object information is, for example, the relative position of the dividing line itself or the image taken by each camera It is the distance between the vehicle 3 and the lane line obtained by performing image recognition on the image.
  • the peripheral information acquisition unit 11 c acquires object information detected by the peripheral detection device 27.
  • the video processing unit 12b obtains feature points based on the object information acquired by the peripheral information acquisition unit 11c. That is, in the second embodiment and the like, the image recognition unit 12a obtains a feature point. However, in the eighth embodiment, the periphery detection device 27 and the video processing unit 12b cooperate to obtain a feature point.
  • the image processing unit 12 b obtains the end region 2 a based on the photographed image 2 acquired by the image acquiring unit 11 a and the obtained feature points in accordance with a predetermined rule. Then, in the display of the display device 21, the video processing unit 12b performs control to make the display mode of the end area 2a different from the display mode of the remaining area 2b which is the area of the photographed image 2 other than the end area 2a.
  • the feature point is determined based on the object information acquired by the peripheral information acquisition unit 11c. According to such a configuration, a part of the process for obtaining the feature point can be performed outside the display control device 1, so that the processing load of the display control device 1 can be reduced.
  • the predetermined object has been described as a dividing line around the vehicle 3, but the present invention is not limited to this.
  • the predetermined object may be a moving body such as another vehicle 6 around the host vehicle 3.
  • the periphery detection device 27 may detect object information by performing image recognition processing on an image captured by each camera, an optical sensor, a millimeter wave radar, an image recognition device with high accuracy, Object information may be detected by an ultrasonic sensor or the like.
  • the periphery detection device 27 may detect feature points in the same manner as the image recognition unit 12a of the second embodiment, instead of detecting object information.
  • the peripheral information acquisition unit 11 c acquires feature points from the peripheral detection device 27.
  • the video processing unit 12b obtains the end region 2a based on the photographed image 2 acquired by the image acquisition unit 11a and the feature points acquired by the peripheral information acquisition unit 11c according to a predetermined rule.
  • the periphery detection device 27 may detect the second point and the feature point in the same manner as the image recognition unit 12a of the fourth embodiment.
  • the second point and the feature point may be detected based on time series information of the body.
  • the peripheral information acquisition unit 11c acquires the second point and the feature point from the peripheral detection device 27.
  • the video processing unit 12b performs an end based on the photographed image 2 acquired by the image acquiring unit 11a and the second feature point and feature point acquired by the peripheral information acquiring unit 11c according to a predetermined rule. Find the region 2a.
  • processing for obtaining a feature point or processing for obtaining a second point and a feature point can be performed outside the display control device 1, so the processing load of the display control device 1 Can be reduced.
  • acquisition unit 11 and the control unit 12 in FIG. 1 described above will be referred to as “acquisition unit 11 and the like”.
  • the acquisition unit 11 and the like are realized by the processing circuit 81 shown in FIG.
  • the processing circuit 81 obtains the captured image of the periphery of the vehicle, and the edge region of the region of the captured image based on the captured image and the feature points on the captured image according to a predetermined rule. 2a is determined, and the control unit 12 performs control to make the display mode of the end area 2a different from the display mode of the remaining area 2b which is an area of the photographed image other than the end area 2a in the display of the display device 21 Prepare.
  • Dedicated hardware may be applied to the processing circuit 81, or a processor that executes a program stored in a memory may be applied.
  • the processor corresponds to, for example, a central processing unit, a processing unit, an arithmetic unit, a microprocessor, a microcomputer, a DSP (Digital Signal Processor), and the like.
  • the processing circuit 81 may be, for example, a single circuit, a complex circuit, a programmed processor, a parallel programmed processor, an application specific integrated circuit (ASIC), an FPGA (field programmable gate) An array) or a combination thereof is applicable.
  • ASIC application specific integrated circuit
  • FPGA field programmable gate
  • Each function of each unit such as the acquisition unit 11 may be realized by a circuit in which processing circuits are dispersed, or the function of each unit may be realized by one processing circuit.
  • the processing circuit 81 When the processing circuit 81 is a processor, the functions of the acquisition unit 11 and the like are realized by a combination with software and the like.
  • the software and the like correspond to, for example, software, firmware, or software and firmware.
  • Software and the like are described as a program and stored in the memory 83.
  • the processor 82 applied to the processing circuit 81 reads out and executes the program stored in the memory 83 to realize the function of each part. That is, when the display control device 1 is executed by the processing circuit 81, a step of acquiring an image around the vehicle and a photographed image and a feature point on the photographed image according to a predetermined rule.
  • the memory 83 for storing a program that is to be executed as a result.
  • this program causes a computer to execute the procedure and method of the acquisition unit 11 and the like.
  • the memory 83 is, for example, non-volatile or non-volatile, such as random access memory (RAM), read only memory (ROM), flash memory, erasable programmable read only memory (EPROM), electrically erasable programmable read only memory (EEPROM). Volatile semiconductor memory, HDD (Hard Disk Drive), magnetic disk, flexible disk, optical disk, compact disk, mini disk, DVD (Digital Versatile Disc), its drive device, etc. or any storage medium used in the future May be
  • the present invention is not limited to this, and a part of the acquisition unit 11 or the like may be realized by dedicated hardware, and another part may be realized by software or the like.
  • the function of the acquisition unit 11 is realized by the processing circuit 81 and the receiver as dedicated hardware, and the processing circuit 81 as the processor 82 reads out and executes the program stored in the memory 83 for the rest. It is possible to realize the function by that.
  • the processing circuit 81 can realize each of the functions described above by hardware, software, etc., or a combination thereof.
  • the display control device 1 described above includes at least one of a navigation device such as a portable navigation device (PND), a communication terminal including a portable terminal such as a mobile phone, a smartphone and a tablet, a navigation device and a communication terminal.
  • a navigation device such as a portable navigation device (PND)
  • PND portable navigation device
  • a communication terminal including a portable terminal such as a mobile phone, a smartphone and a tablet
  • a navigation device and a communication terminal can also be applied to a display control system constructed as a system by appropriately combining the function of an application installed in one and the server.
  • each function or each component of the display control device 1 described above may be distributed to each of the devices constructing the system, or may be arranged centrally to any of the devices.
  • the display control device may be incorporated into the display device 21 of FIG.
  • FIG. 44 is a block diagram showing a configuration of the server 91 according to the present modification.
  • the server 91 of FIG. 44 includes a communication unit 91a and a control unit 91b, and can perform wireless communication with the navigation device 93 of the vehicle 92.
  • the communication unit 91a which is an acquisition unit, wirelessly communicates with the navigation device 93 to receive a photographed image around the vehicle 92.
  • the control unit 91 b has a function similar to that of the control unit 12 of FIG. 1 by executing a program stored in a memory (not shown) of the server 91 by a processor (not shown) of the server 91 or the like. That is, the control unit 91b appropriately obtains the feature points of the captured image from the captured image received by the communication unit 91a, and obtains the end region based on the captured image and the feature point according to a predetermined rule. Then, in the display of the navigation device 93, the control unit 91b generates a control signal for performing control to make the display mode of the end area different from the display mode of the remaining area. The communication unit 91a transmits the control signal to the navigation device 93. According to the server 91 configured as described above, the same effects as the display control device 1 described in the first embodiment can be obtained.
  • FIG. 45 is a block diagram showing a configuration of communication terminal 96 according to the present modification.
  • the communication terminal 96 of FIG. 45 includes a communication unit 96a similar to the communication unit 91a and a control unit 96b similar to the control unit 91b, and can communicate wirelessly with the navigation device 98 of the vehicle 97. ing.
  • a mobile terminal such as a mobile phone carried by the driver of the vehicle 97, a smart phone, and a tablet is applied.
  • communication terminal 96 configured as described above, the same effect as display control device 1 described in the first embodiment can be obtained.
  • each embodiment and each modification can be freely combined, or each embodiment and each modification can be suitably modified or omitted.
  • Reference Signs List 1 display control device, 2 captured image, 2a end area, 2b remaining area, 3 host vehicle, 5a solid white line, 5b vanishing point, 5c dotted white line, 5d vanishing point, 6 other vehicles, 11 acquiring unit, 12 control unit, 21 Display device, FP feature point, FP1 first feature point, FP2 second feature point, Lin inner side, Lout outer side, Lud lower side, Lup upper side, P1 first point, P2 second point, P2 third point, P4 4th point, P5 5th point, P6 6th point, P 7 7th point, P 8 8th point.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Mechanical Engineering (AREA)
  • Signal Processing (AREA)
  • Closed-Circuit Television Systems (AREA)

Abstract

表示制御装置の消費電力を低減可能な技術を提供することを目的とする。表示制御装置1は、取得部11と、制御部12とを備える。取得部11は、車両周辺の撮影画像を取得する。制御部12は、予め定められた規則に従い、撮影画像と撮影画像上の特徴点とに基づいて撮影画像の領域のうちの端部領域を求め、表示装置21の表示において、端部領域の表示態様を、端部領域以外の撮影画像の領域である残部領域の表示態様と異ならせる制御を行う。

Description

表示制御装置及び表示制御方法
 本発明は、表示装置を制御する表示制御装置及び表示制御方法に関する。
 近年、ドアミラーの代わりに車両の左右後側方の状況を運転者に提示する電子ミラーが提案されている。電子ミラーでは、車両の左右後側方をカメラで撮影し、当該撮影によって得られた画像を左右反転させて表示装置で表示する。例えば、特許文献1には、車両走行車線及び隣接車線の後方の状況を表示する電子ミラーが提案されている。
特開2015-144407号公報
 しかしながら、電子ミラーの表示には、運転者にとって視認不要な部分が含まれており、当該部分の表示のために電力が消費されている。このため、消費電力に改善の余地があった。
 そこで、本発明は、上記のような問題点を鑑みてなされたものであり、消費電力を低減可能な技術を提供することを目的とする。
 本発明に係る表示制御装置は、表示装置を制御する表示制御装置であって、車両周辺の撮影画像を取得する取得部と、予め定められた規則に従い、撮影画像と撮影画像上の特徴点とに基づいて撮影画像の領域のうちの端部領域を求め、表示装置の表示において、端部領域の表示態様を、端部領域以外の撮影画像の領域である残部領域の表示態様と異ならせる制御を行う制御部とを備え、撮影画像は、左辺及び右辺の一方であり当該撮影画像上の車両の存在する側に対応する辺である内辺と、左辺及び右辺のうちの他方である外辺と、上辺と、下辺とを有し、予め定められた規則は、特徴点が上辺上に位置する場合には、外辺の上端に位置する第1点と、第1点以外の外辺上の点であって特徴点より下側に位置する第2点と、特徴点とで囲まれる領域を端部領域として求めること、特徴点が上辺近傍に位置する場合には、第1点と、第2点と、内辺の上端に位置する第3点と、内辺上の点であって第2点と特徴点とを結ぶ直線より下側に位置し、第3点と同じか第3点より下側に位置し、かつ特徴点より上側に位置する第4点と、特徴点とで囲まれる領域を端部領域として求めること、特徴点が下辺上に位置する場合には、外辺の下端に位置する第5点と、第5点以外の外辺上の点であって特徴点より上側に位置する第6点と、特徴点とで囲まれる領域を端部領域として求めること、及び、特徴点が下辺近傍に位置する場合には、第5点と、第6点と、内辺の下端に位置する第7点と、内辺上の点であって第6点と特徴点とを結ぶ直線より上側に位置し、第7点と同じか第7点より上側に位置し、かつ特徴点より下側に位置する第8点と、特徴点とで囲まれる領域を端部領域として求めること、の少なくともいずれか1つを含む。
 本発明によれば、予め定められた規則に従い、撮影画像と撮影画像上の特徴点とに基づいて撮影画像の領域のうちの端部領域を求め、表示装置の表示において、端部領域の表示態様を、残部領域の表示態様と異ならせる制御を行う。このような構成によれば、表示制御装置の消費電力を低減することができる。
 本発明の目的、特徴、態様及び利点は、以下の詳細な説明と添付図面とによって、より明白となる。
実施の形態1に係る表示制御装置の構成を示すブロック図である。 実施の形態1に係る第1規則を説明するための図である。 実施の形態1に係る第2規則を説明するための図である。 実施の形態1に係る第3規則を説明するための図である。 実施の形態1に係る第4規則を説明するための図である。 実施の形態2に係る表示制御装置の構成を示すブロック図である。 ミラーの調整例を説明するための図である。 ミラーの調整例を説明するための図である。 実施の形態2に係る表示制御装置による表示例を示す図である。 実施の形態2に係る表示制御装置による表示を模式的に示す図である。 実施の形態2に係る表示制御装置による表示例を示す図である。 実施の形態2に係る表示制御装置による表示を模式的に示す図である。 実施の形態2に係る表示制御装置の動作を示すフローチャートである。 実施の形態2の変形例1に係る表示制御装置による表示例を示す図である。 実施の形態2の変形例1に係る表示制御装置による表示を模式的に示す図である。 実施の形態2の変形例2に係る表示制御装置による表示例を示す図である。 実施の形態2の変形例2に係る表示制御装置による表示を模式的に示す図である。 実施の形態2の変形例3に係る表示制御装置による表示を模式的に示す図である。 実施の形態2の変形例5に係る表示制御装置による表示を模式的に示す図である。 実施の形態2の変形例5に係る表示制御装置による表示を模式的に示す図である。 実施の形態3に係る表示制御装置による表示例を示す図である。 実施の形態3に係る表示制御装置による表示例を示す図である。 実施の形態3に係る表示制御装置による表示例を示す図である。 実施の形態3に係る表示制御装置による表示を模式的に示す図である。 実施の形態3に係る表示制御装置の動作を示すフローチャートである。 実施の形態4に係る表示制御装置による表示を模式的に示す図である。 実施の形態4に係る表示制御装置による表示を模式的に示す図である。 実施の形態5に係る表示制御装置の構成を示すブロック図である。 標準的なカメラ及び広角カメラの撮影領域を示す図である。 実施の形態5に係る表示制御装置による表示例を示す図である。 実施の形態5の変形例1に係る表示制御装置による表示例を示す図である。 実施の形態5の変形例2に係る表示制御装置による表示例を示す図である。 実施の形態5の変形例2に係る表示制御装置による表示例を示す図である。 実施の形態6に係る表示制御装置の構成を示すブロック図である。 実施の形態6に係る表示制御装置による表示例を示す図である。 実施の形態6に係る表示制御装置による表示例を示す図である。 実施の形態6の変形例3に係る表示制御装置による表示例を示す図である。 実施の形態6の変形例3に係る表示制御装置による表示例を示す図である。 実施の形態7に係る表示制御装置の構成を示すブロック図である。 実施の形態7に係る表示制御装置による表示例を示す図である。 実施の形態8に係る表示制御装置の構成を示すブロック図である。 その他の変形例に係る表示制御装置のハードウェア構成を示すブロック図である。 その他の変形例に係る表示制御装置のハードウェア構成を示すブロック図である。 その他の変形例に係るサーバの構成を示すブロック図である。 その他の変形例に係る通信端末の構成を示すブロック図である。
 <実施の形態1>
 以下、本発明の実施の形態1に係る表示制御装置が搭載され、着目の対象となる車両を「自車両」と記載して説明する。
 図1は、本実施の形態1に係る表示制御装置1の構成を示すブロック図である。図1の表示制御装置1は、取得部11と制御部12とを備えており、表示装置21を制御することが可能となっている。
 表示装置21は、例えば自車両のインストルメントパネル、または、ダッシュボードなどに配設される。表示装置21には、液晶表示装置、有機EL(electroluminescence)表示装置、LED(Light Emitting Diode)表示装置などの様々な表示装置を用いることができる。
 取得部11は撮影画像を取得する。撮影画像は、表示装置21の表示に用いられる画像であり、例えば自車両後方の画像、自車両側方の画像、または、自車両前方の画像などの、自車両周辺の画像である。ドアミラーの表示を行う場合の撮影画像は、自車両後方の画像を左右反転させたミラー表示用の画像である。撮影画像は、カメラなどで撮影された画像の全部であってもよいし、当該画像の一部であってもよい。取得部11は、カメラであってもよいし、各種インターフェースであってもよい。
 制御部12は、予め定められた規則に従い、取得部11で取得された撮影画像と、当該撮影画像上の特徴点とに基づいて、撮影画像の領域のうちの端部領域を求める。ここで、予め定められた規則は、第1規則、第2規則、第3規則または第4規則を含んでいる。以下、第1~第4規則について説明する。
 図2は、第1規則を説明するための図である。ここで第1規則を説明する前に、撮影画像2が有する複数の辺について説明する。図2に示すように、撮影画像2は、内辺Linと、外辺Loutと、上辺Lupと、下辺Ludとを有する。内辺Linは、左辺及び右辺の一方であり、当該撮影画像2上の自車両3の存在する側に対応する辺である。外辺Loutは、左辺及び右辺のうちの他方の辺である。
 なお、図2には、自車両の左後側方を撮影するカメラで撮影された画像を反転させた画像が、撮影画像2として示されている。この場合、撮影画像2の右側が、自車両3の存在する側になるので、右辺が内辺Linとなり、左辺が外辺Loutとなる。撮影画像が、自車両の右後側方を撮影するカメラで撮影された画像を反転させた画像である場合には、撮影画像2の左側が、自車両3の存在する側になるので、左辺が内辺Linとなり、右辺が外辺Loutとなる。
 さて図2に示すように、第1規則は、特徴点FPが上辺Lup上に位置する場合の規則である。この第1規則では、制御部12は、第1点P1と、第2点P2と、特徴点FPとで囲まれる領域を、端部領域2aとして求める。なお、第1点P1は、外辺Loutの上端に位置する点である。第2点P2は、第1点P1以外の外辺Lout上の点であって特徴点FPより下側に位置する点である。第2点P2の位置は、特徴点FPより下側に位置するという条件を十分に満たすことが見込まれる位置、例えば第1点P1との間の距離が外辺Loutの長さの1/4程度の位置に固定されてもよいし、後述するように適宜変更されてもよい。
 図3は、第2規則を説明するための図である。図3に示すように、第2規則は、特徴点FPが、撮影画像2の上半分に位置する場合など、上辺Lup近傍に位置する場合の規則である。
 この第2規則では、制御部12は、第1点P1と、第2点P2と、第3点P3と、第4点P4と、特徴点FPとで囲まれる領域を、端部領域2aとして求める。なお、第3点P3は、内辺Linの上端に位置する点である。第4点P4は、内辺Lin上の点であって、第2点P2と特徴点FPとを結ぶ直線L1より下側に位置し、第3点P3と同じか第3点P3より下側に位置し、かつ特徴点FPより上側に位置する点である。
 図4は、第3規則を説明するための図である。図4に示すように、第3規則は、特徴点FPが下辺Lud上に位置する場合の規則であり、実質的に第1規則と上下を逆にした規則である。
 この第3規則では、制御部12は、第5点P5と、第6点P6と、特徴点FPとで囲まれる領域を、端部領域2aとして求める。なお、第5点P5は、外辺Loutの下端に位置する点である。第6点P6は、第5点P5以外の外辺Lout上の点であって特徴点FPより上側に位置する点である。第6点P6の位置は、特徴点FPより上側に位置するという条件を十分に満たすことが見込まれる位置、例えば第5点P5との間の距離が外辺Loutの長さの1/4程度の位置に固定されてもよいし、後述するように適宜変更されてもよい。
 図5は、第4規則を説明するための図である。図5に示すように、第4規則は、特徴点FPが、撮影画像2の下半分に位置する場合など、下辺Lud近傍に位置する場合の規則であり、実質的に第2規則と上下を逆にした規則である。
 この第4規則では、制御部12は、第5点P5と、第6点P6と、第7点P7と、第8点P8と、特徴点FPとで囲まれる領域を、端部領域2aとして求める。なお、第7点P7は、内辺Linの下端に位置する点である。第8点P8は、内辺Lin上の点であって、第6点P6と特徴点FPとを結ぶ直線L2より上側に位置し、第7点P7と同じか第7点P7より上側に位置し、かつ特徴点FPより下側に位置する点である。
 以上、撮影画像2が、自車両の左後側方を撮影するカメラで撮影された画像である場合の、第1~第4規則について説明した。なお、撮影画像2が、自車両の左後側方を撮影するカメラで撮影された画像である場合には、図2~図4の説明において左右を反転させた処理が、第1~第4規則として行われる。
 なお、以上の説明では、予め定められた規則は、第1規則、第2規則、第3規則または第4規則を含むものとして説明した。しかしながら、予め定められた規則は、第1規則、第2規則、第3規則及び第4規則の少なくともいずれか1つを含めばよい。例えば、制御部12は、第1規則または第2規則と第3規則または第4規則とを組み合わせた規則に従って得られる領域を端部領域として求めてもよい。
 制御部12は、図2~図4に示すように、表示装置21の表示において、端部領域2aの表示態様を、端部領域2a以外の撮影画像2の領域である残部領域2bの表示態様と異ならせる制御を行う。
 第1規則(図2)の場合には、残部領域2bの上部の形状は、上下方向に傾斜する、第2点P2と特徴点FPとを結ぶ線と、上辺Lupとによって規定される。第2規則(図3)の場合には、残部領域2bの上部の形状は、上下方向に比較的大きく傾斜する、第2点P2と特徴点FPとを結ぶ線と、上下方向に比較的小さく傾斜する、特徴点FPと第4点P4とを結ぶ線とによって規定される。なお、残部領域2bの上部の形状を規定する各線は、直線であってもよいし、曲線であってもよい。
 第3規則(図4)の場合には、残部領域2bの下部の形状は、上下方向に傾斜する、第6点P6と特徴点FPとを結ぶ線と、下辺Ludとによって規定される。第4規則(図5)の場合には、残部領域2bの下部の形状は、上下方向に比較的大きく傾斜する、第6点P6と特徴点FPとを結ぶ線と、上下方向に比較的小さく傾斜する、特徴点FPと第8点P8とを結ぶ線とによって規定される。なお、残部領域2bの下部の形状を規定する各線は、直線であってもよいし、曲線であってもよい。
 <実施の形態1のまとめ>
 以上のような本実施の形態1に係る表示制御装置1では、予め定められた規則に従い、撮影画像2と撮影画像2上の特徴点とに基づいて端部領域2aを求め、表示装置21の表示において、端部領域2aの表示態様を、残部領域2bの表示態様と異ならせる制御を行う。このような構成において、例えば端部領域2aの表示態様を黒表示の態様にすれば、外辺Lout側の上部または下部が切り取られた画像、つまり撮影画像2のうちの残部領域2b内の画像が表示される。このため、運転者に、奥行き感が得られる自然な画像であり、かつ、比較的重要でない画像が切り取られた画像を取り出して表示することができる。また、撮影画像2の内容に合わせて残部領域2bの形状を適切に変更することができる。
 なお、上記の構成において、表示装置21が、黒表示を行う場合に消費電力が低減する特定の表示装置である場合には、消費電力を低減することもできる。特定の表示装置は、例えば、有機EL装置であってもよいし、LED表示装置であってもよいし、複数のバックライトを備え、黒表示を行う画素に対応させてバックライトを消灯可能な液晶表示装置であってもよい。
 <実施の形態2>
 図6は、本発明の実施の形態2に係る表示制御装置1の構成を示すブロック図である。以下、本実施の形態2に係る構成要素のうち、上述の構成要素と同じまたは類似する構成要素については同じ参照符号を付し、異なる構成要素について主に説明する。
 図6の表示制御装置1は、左表示装置21aと、右表示装置21bと、カメラ制御装置26cとに接続されている。
 左表示装置21a及び右表示装置21bのそれぞれは、図1の表示装置21に対応している。なお、左表示装置21a及び右表示装置21bの代わりに1つの表示装置が用いられてもよい。以下、左表示装置21aと右表示装置21bとを区別しない場合にはこれらを「表示装置21」と記して説明することもある。
 カメラ制御装置26cは、左後側方カメラ26a、及び、右後側方カメラ26bと接続されている。
 左後側方カメラ26aは、自車両の左後側方を撮影するカメラであり、左ドアミラーの代わりに自車両に設けられている。右後側方カメラ26bは、自車両の右後側方を撮影するカメラであり、右ドアミラーの代わりに自車両に設けられている。本実施の形態2では、左後側方カメラ26a及び右後側方カメラ26bのそれぞれは、パノラマカメラでも広角カメラでもなく、画角が10度程度の画像を撮影する標準的なカメラであるものとして説明する。
 なお、以下の説明では、左後側方カメラ26aで撮影された画像に基づくミラー表示用の画像を「左カメラ画像」と記すこともあり、右後側方カメラ26bで撮影された画像に基づくミラー表示用の画像を「右カメラ画像」と記すこともあり、左カメラ画像と右カメラ画像とを区別しない場合にはこれらを「カメラ画像」と記すこともある。
 カメラ制御装置26cは、図示しない操作装置で受け付けた操作に基づいて、左後側方カメラ26a及び右後側方カメラ26bのそれぞれに対し、画角及び焦点を変更する制御を適宜行う。このような構成によれば、操作が適宜行われることによって、左後側方カメラ26a及び右後側方カメラ26bで撮影される範囲などを適宜調整することが可能である。
 なお、左後側方カメラ26a及び右後側方カメラ26bの姿勢を変更できるように、これらを駆動する電動駆動機構を自車両に設けてもよい。また、カメラ制御装置26cは、図示しない操作装置で受け付けた操作に基づいて当該電動駆動機構を制御することによって、左後側方カメラ26a及び右後側方カメラ26bが撮影する方向を制御してもよい。このような構成によれば、左後側方カメラ26a及び右後側方カメラ26bで撮影される範囲の調整における自由度を高めることができる。
 図7及び図8は、標準的なドアミラーの鏡像の調整例を示す図である。なお、ここでは、ドアミラーの一般的な調整例について説明するが、左後側方カメラ26a及び右後側方カメラ26bで撮影される範囲の調整も、ドアミラーの調整と同様に行われる。
 図7に示すように、自車両3の後部から後方30mの位置にあり、自車両の側部から側方5mの幅の範囲が運転者に視認されるように、ドアミラーは調整される。図8に示すように、右ドアミラー4の鏡面4a左端から鏡面4aの横の長さの1/4程度の範囲にて自車両3のボディが運転者に視認され、かつ、鏡面4a下端から鏡面4aの縦の長さの1/3程度の範囲にて道路5が運転者に視認されるように、右ドアミラー4は調整される。左ドアミラーには、右ドアミラーの調整において左右を逆にした調整が行われる。左右のドアミラーにおいて推奨される調整は、左右のドアミラー及び国別の推奨値、並びに、左右のドアミラーの広さ及び種類などによって異なる。
 図6に戻って、カメラ制御装置26cは、左後側方カメラ26a及び右後側方カメラ26bを以上のように制御するだけでなく、左後側方カメラ26a及び右後側方カメラ26bで撮影された左カメラ画像及び右カメラ画像を表示制御装置1に出力する。
 次に、図6の表示制御装置1の内部構成について説明する。この表示制御装置1は、画像取得部11aと、画像認識部12aと、映像処理部12bと、画像出力部12cとを備える。なお、画像取得部11aの概念は、図1の取得部11に含まれる概念であり、画像認識部12a、映像処理部12b及び画像出力部12cの概念は、図1の制御部12に含まれる概念である。
 画像取得部11aは、カメラ制御装置26cからのカメラ画像を、撮影画像として取得する。なお本実施の形態2では、左後側方カメラ26a及び右後側方カメラ26bのそれぞれが、標準的なカメラであることを考慮して、画像取得部11aは、カメラ画像を撮影画像として取得するように構成している。もし、左後側方カメラ26a及び右後側方カメラ26bのそれぞれが、例えばパノラマカメラ、広角カメラ、または、魚眼レンズ付きカメラなどである場合には、画像取得部11aは、電動駆動機構によってカメラの方向を物理的に移動させて得られる画像と等価な画像を、撮影画像として取得してもよい。電動駆動機構によってカメラの方向を物理的に移動させて得られる画像と等価な画像は、例えば、カメラ画像の一部を切り取った画像、または、カメラ画像に視点変換処理を施した画像などである。このように構成した場合には、カメラの方向を変更する電動駆動機構などのハードウェアが不要になるので、コスト低減化が期待できる。
 画像認識部12a及び映像処理部12bについては、図9~図12を用いて説明する。
 図9は、本実施の形態2に係る左表示装置21a及び右表示装置21bなどの表示例を示す図である。以下の説明では、左カメラ画像に対応する撮影画像を「左の撮影画像」と記すこともあり、右カメラ画像に対応する撮影画像を「右の撮影画像」と記すこともある。
 図9の例では、メータが設けられたメータ領域7を挟んだ状態で左表示装置21a及び右表示装置21bが設けられ、左の撮影画像2の残部領域2b及び右の撮影画像2の残部領域2bが、それぞれ左電子ミラー及び右電子ミラーとして表示されている。左の撮影画像2の残部領域2bには、自車両3のボディと、実線白線5aなどが付された道路5と、他車両6とが表示され、右の撮影画像2の残部領域2bには、自車両3のボディと、実線白線5aなどが付された道路5とが表示されている。
 図10は、図9の左の撮影画像2における端部領域2a及び残部領域2bを模式的に示す図である。図11は、本実施の形態2に係る左表示装置21aの表示例を示す図である。図12は、図11の左の撮影画像2における端部領域2a及び残部領域2bを模式的に示す図である。なお、以下の説明では、主に左の撮影画像2の端部領域2a及び残部領域2bについて説明するが、右の撮影画像2の端部領域2a及び残部領域2bについても以下の説明と同様である。
 さて、図6の画像認識部12aは、画像取得部11aで取得された撮影画像2から予め定められたオブジェクトを認識し、当該オブジェクトに基づいて特徴点を求める。本実施の形態2では、予め定められたオブジェクトは道路の区画線である。なお、道路の区画線は、車の追い越し時のはみ出し禁止に対応する実線黄色線、車の全てのはみ出し禁止に対応する実線白線、及び、車のはみ出し許可に対応する破線白線などを含む。なお、実線白線などの役割はこれに限ったものではない。
 図10及び図12の例では、画像認識部12aは、撮影画像2における実線白線5aの消失点5bの位置に基づいて、特徴点FPを求めている。図10の例では、画像認識部12aは、上辺Lup上の点のうち消失点5bの真上の点を、特徴点FPとして求めている。なお、画像認識部12aは、上辺Lupと消失点5bとの中点を、特徴点FPとして求めてもよい。図12の例では、画像認識部12aは、下辺Lud上の点のうち消失点5bの真下の点を、特徴点FPとして求めている。なお、画像認識部12aは、下辺Ludと消失点5bとの中点を、特徴点FPとして求めてもよい。
 図6の映像処理部12bは、実施の形態1で説明した制御部12と同様の動作を行う。つまり、映像処理部12bは、予め定められた規則に従い、画像取得部11aで取得された撮影画像2と、画像認識部12aで求めた特徴点FPとに基づいて端部領域2aを求める。
 図10の例のように、特徴点FPが上辺Lup上に位置する場合には、映像処理部12bは、第1規則に従って端部領域2aを求める。特徴点FPが上辺Lupと消失点5bとの中点である場合には、映像処理部12bは第2規則に従って端部領域2aを求める。図12の例のように、特徴点FPが下辺Lud上に位置する場合には、映像処理部12bは、第3規則に従って端部領域2aを求める。特徴点FPが下辺Ludと消失点5bとの中点である場合には、映像処理部12bは第4規則に従って端部領域2aを求める。
 映像処理部12bは、図9及び図11のように、端部領域2aの表示態様を変更する画像処理を行う。なお、図9のドットハッチングが付された部分は黒色を示している。このような黒表示の態様は、例えば、端部領域2aを非表示にすることによって実現可能である。
 図6の画像出力部12cは、映像処理部12bで画像処理が施された左の撮影画像2の映像信号を左表示装置21aに出力する。また、画像出力部12cは、映像処理部12bで画像処理が施された右の撮影画像2の映像信号を右表示装置21bに出力する。
 <動作>
 図13は、本実施の形態2に係る表示制御装置1の動作を示すフローチャートである。この動作は、例えば自車両のアクセサリー電源がオンになった場合、及び、自車両の駆動源がオンになった場合などに開始される。
 まずステップS1にて、画像取得部11aは、左カメラ画像及び右カメラ画像を、撮影画像2として取得する。
 ステップS2にて、画像認識部12aは、画像取得部11aで取得された撮影画像2から実線白線5aを認識する。
 ステップS3にて、画像認識部12aは、認識した実線白線5aの消失点5bを認識する。
 ステップS4にて、画像認識部12aは、認識した消失点5bの位置に基づいて特徴点FPを求める。
 ステップS5にて、映像処理部12bは、特徴点FPなどに基づいて端部領域2aを求め、端部領域2aの表示態様を変更する画像処理を行う。
 ステップS6にて、画像出力部12cは、映像処理部12bで画像処理が施された左の撮影画像2の映像信号を左表示装置21aに出力し、映像処理部12bで画像処理が施された右の撮影画像2の映像信号を右表示装置21bに出力する。その後、ステップS1に処理が戻る。
 <実施の形態2のまとめ>
 以上のような本実施の形態2に係る表示制御装置1では、撮影画像2から、実線白線5aなどの予め定められたオブジェクトを認識し、当該オブジェクトに基づいて特徴点を求める。このような構成によれば、撮影画像2の内容に合わせて残部領域2bの形状を適切に変更することができる。
 <実施の形態2の変形例1>
 図14は、実施の形態2の変形例1に係る左表示装置21aの表示例を示す図である。図15は、図14の左の撮影画像2における端部領域2a及び残部領域2bを模式的に示す図である。
 実施の形態2の図10の例では、映像処理部12bは、上辺Lup上の点のうち消失点5bの真上の点を、特徴点FPとして求めた。しかしながら、図15に示すように、映像処理部12bは、上辺Lup上の点のうち、実線白線5aの消失点5bを超えた延長上の点を、特徴点FPとして求めてもよい。
 また、実施の形態2では、特徴点FPを求めるための予め定められたオブジェクトは、実線白線5aなどの区画線であった。しかしながら、予め定められたオブジェクトは、道路5の特定の消失点、例えば、道路5の中央の消失点、道路5の中央よりやや右側の部分の消失点、または、道路5の中央よりやや左側の部分の消失点などであってもよい。または、予め定められたオブジェクトは、歩道、ガードレール及び街頭などの道路関連物であってもよいし、地物であってもよいし、道路標示などの表示であってもよい。
 <実施の形態2の変形例2>
 図16は、実施の形態2の変形例2に係る左表示装置21aの表示例を示す図である。図17は、図16の左の撮影画像2における端部領域2a及び残部領域2bを模式的に示す図である。
 実施の形態2では、画像認識部12aは、撮影画像2から1つの特徴点FPを求めた。しかしながら、図17に示すように、画像認識部12aは、撮影画像2から複数の特徴点FPを求めてもよい。なお、図16及び図17の例では、画像認識部12aは、複数の特徴点FPとして、第1特徴点FP1及び第2特徴点FP2を求めている。なお、第1特徴点FP1は、実線白線5aの消失点5bと上辺Lupとの間に位置する点であり、上辺Lup近傍に位置する点である。第2特徴点FP2は、第1特徴点FP1よりも内辺Lin側に位置する点であり、上辺Lup上の点のうち点線白線5cの消失点5dの真上の点である。
 以上のような場合に、映像処理部12bは、第1点P1と、第2点P2と、第1特徴点FP1と、第2特徴点FP2とで囲まれる領域を端部領域2aとして求めてもよい。この場合、端部領域2aの上部の形状は、上下方向に比較的大きく傾斜する、第2点P2と第1特徴点FP1とを結ぶ線と、上下方向に比較的小さく傾斜する、第1特徴点FP1と第2特徴点FP2とを結ぶ線と、上辺Lupとによって規定される。
 なお、図17の例では1つの第1特徴点FP1が用いられたが、1つの第1特徴点FP1の代わりに、外辺Loutから内辺Linに向かうにつれて上辺Lupに近づいていく複数の第1特徴点FP1が用いられてもよい。また、第1特徴点FP1及び第2特徴点FP2などの特徴点の数は2つに限ったものではなく、実線白線5a及び点線白線5cなどの区画線の数は2つに限ったものではない。
 また、以上と同様にして、映像処理部12bは、図16及び図17の上下を逆にした端部領域2aを求めてもよい。図示しないが、撮影画像2から、下辺Lud近傍に位置する特徴点である第3特徴点と、第3特徴点よりも内辺Lin側に位置し、かつ下辺Lud上に位置する特徴点である第4特徴点とが求められた場合に、映像処理部12bは、第5点と、第6点と、第3特徴点と、第4特徴点とで囲まれる領域を端部領域2aとして求めてもよい。
 <実施の形態2の変形例3>
 以上の構成において、映像処理部12bは、左後側方カメラ26a及び右後側方カメラ26bが撮影する方向(以下「カメラ方向」と記すこともある)の変化に対応させて、残部領域2bの形状を変化させてもよい。通常、ドアミラーの水平角を変更させた場合、運転者から見えるドアミラー全体の左右方向の長さが短くなる。このことに鑑みて、カメラ方向を左または右に移動させた場合には、映像処理部12bは、図18に示すように、残部領域2bの上部の横方向の長さWup、及び、残部領域2bの下部の横方向の長さWudを短くしてもよい。
 また図示しないが、映像処理部12bは、カメラ方向が自車両3のボディに近づけられた場合には、残部領域2bの外辺Lout側部分の縦方向の長さを、内辺Lin側部分の縦方向の長さよりも長くしてもよい。また、映像処理部12bは、カメラ方向が自車両3のボディから遠ざけられた場合には、残部領域2bの外辺Lout側部分の縦方向の長さを、内辺Lin側部分の縦方向の長さよりも短くしてもよい。
 また図示しないが、映像処理部12bは、カメラ方向が下に向けられた場合には、残部領域2bの上部の横方向の長さWupを、残部領域2bの下部の横方向の長さWudよりも短くしてもよい。また、映像処理部12bは、カメラ方向が上に向けられた場合には、残部領域2bの上部の横方向の長さWupを、残部領域2bの下部の横方向の長さWudよりも長くしてもよい。
 以上のような構成によれば、実物のドアミラーに似た電子ミラーを表示することができる。なお、映像処理部12bは、ユーザの設定によって上記変形と逆の変形を行ってもよいし、上記変形を組み合わせた変形を行ってもよい。
 <実施の形態2の変形例4>
 実施の形態2では、映像処理部12bは、端部領域2aにおける表示態様を、端部領域2aが黒表示された態様に変更した。しかしながら、映像処理部12bは、端部領域2aにおける表示態様を、例えば警告マークなどを含む表示オブジェクトが端部領域2aに重畳された態様に変更してもよいし、特定の画像処理が端部領域2aに施された態様に変更してもよい。
 なお、特定の画像処理は、例えば、画像取得部11aで取得された撮影画像2のうち端部領域2a内の画像を半透過にする半透過処理、当該画像をぼかすぼかし処理、または、当該画像の色彩を変更する色彩変更処理を含む。色彩変更処理は、例えば、端部領域2a内の画像の色を、表示装置21に表示される端部領域2a周囲の背景色と同じ色に変更する処理を含む。
 以上のような構成によれば、ユーザの好みに合った電子ミラーの表示を行うことができる。
 <実施の形態2の変形例5>
 実施の形態2では、映像処理部12bは、端部領域2aにおける表示態様を黒表示の態様に変更した。この場合、運転者は端部領域2aの画像を確認できなくなる。そこで、図19に示すように、映像処理部12bは、残部領域2bを、端部領域2aの上下に隣接する隣接部分2b1と、それ以外の部分2b2とに分けてもよい。そして、図20に示すように、映像処理部12bは、撮影画像2のうちの端部領域2a及び隣接部分2b1の画像が隣接部分2b1内に収まるように、端部領域2a及び隣接部分2b1の画像を圧縮してもよい。
 <実施の形態3>
 本発明の実施の形態3に係る表示制御装置1の構成を示すブロック図は、実施の形態2に係る表示制御装置1のブロック図(図6)と同様である。以下、本実施の形態3に係る構成要素のうち、上述の構成要素と同じまたは類似する構成要素については同じ参照符号を付し、異なる構成要素について主に説明する。
 実施の形態2では、特徴点FPを求めるための予め定められたオブジェクトは、実線白線5aなどの区画線であった。本実施の形態3では、予め定められたオブジェクトは、移動体であり、画像認識部12aは、画像取得部11aで取得された撮影画像における移動体の位置に基づいて特徴点FPを求める。以下、移動体は、自車両3が走行している車線と隣接する隣接車線を走行している他車両であるものとして説明する。
 図21、図22及び図23は、本実施の形態3に係る左表示装置21aの表示例を示す図である。図24は、図23の左の撮影画像2における端部領域2a及び残部領域2bを模式的に示す図である。
 図21では、撮影画像2の隣接車線に他車両が存在しない。この場合、画像認識部12aは、上辺Lup上の予め定められた点を、特徴点FPとして求める。または、画像認識部12aは、上辺Lup上の点のうち、自車両3のボディの外側端部の真上の点を、特徴点FPとして求める。
 図22では、撮影画像2の隣接車線に他車両6が自車両3から比較的遠くに存在し、図23では、撮影画像2の隣接車線に他車両6が自車両3から比較的近くに存在する。これらの場合、画像認識部12aは、図24に示すように、上辺Lup上の点のうち、他車両6の外側端部の真上の点を、特徴点FPとして求める。他車両6の外側端部とは、他車両6のうち外辺Loutに近い端部である。
 図25は、本実施の形態3に係る表示制御装置1の動作を示すフローチャートである。この動作は、例えば自車両のアクセサリー電源がオンになった場合、及び、自車両の駆動源がオンになった場合などに開始される。
 まずステップS11にて、画像取得部11aは、左カメラ画像及び右カメラ画像を、撮影画像2として取得する。
 ステップS12にて、画像認識部12aは、画像取得部11aで取得された撮影画像2から隣接車線を走行する他車両6を認識する。
 ステップS13にて、画像認識部12aは、認識した他車両6の外側端部を認識する。
 ステップS14にて、画像認識部12aは、認識した外側端部の位置に基づいて特徴点FPを求める。
 ステップS15にて、映像処理部12bは、特徴点FPなどに基づいて端部領域2aを求め、撮影画像2のうちの端部領域2aにおける表示態様を変更する画像処理を行う。
 ステップS16にて、画像出力部12cは、映像処理部12bで画像処理が施された左の撮影画像2の映像信号を左表示装置21aに出力し、映像処理部12bで画像処理が施された右の撮影画像2の映像信号を右表示装置21bに出力する。その後、ステップS11に処理が戻る。
 <実施の形態3のまとめ>
 以上のような本実施の形態3に係る表示制御装置1では、撮影画像における他車両6などの移動体の位置に基づいて特徴点FPを求める。このような構成によれば、移動体の見かけ上の位置により特徴点FPが求まるので、注意すべき対象に対する遠近感がとりやすい画像を運転者に提示することができる。
 <実施の形態3の変形例1>
 実施の形態3では、画像認識部12aは、上辺Lup上の点のうち、他車両6の外側端部の真上の点を、特徴点FPとして求めた。しかしながら、画像認識部12aは、上辺Lup上の点のうち、他車両6の中心部、または、他車両6の中心部以外の部分の真上の点を、特徴点FPとして求めてもよい。また、画像認識部12aは、他車両6の外側端部の真上の点を、実施の形態2の変形例2で説明した第1特徴点FP1として求め、他車両6の内側端部の真上の点を、実施の形態2の変形例2で説明した第2特徴点FP2として求めてもよい。なお、他車両6の内側端部とは、他車両6の内辺Linに近い端部である。
 <実施の形態3の変形例2>
 実施の形態2の変形例4を実施の形態3に適用してもよい。つまり、実施の形態3において、映像処理部12bは、端部領域2aにおける表示態様を、端部領域2aが黒表示された態様、予め定められた表示オブジェクトが端部領域2aに重畳された態様、または、特定の画像処理が端部領域2aに施された態様に変更してもよい。
 この場合、端部領域2aの表示態様は、自車両3と、自車両3以外の他車両6との位置関係に基づいて変更されてもよい。例えば、映像処理部12bは、自車両3と他車両6との位置関係に基づいて、自車両3の走行方向における、自車両3と他車両6との間の距離を求め、当該距離が短いほど、端部領域2aに重畳される表示オブジェクトの透過率を低くしてもよい。または、映像処理部12bは、自車両3と他車両6との位置関係に基づいて、自車両3の横方向における、自車両3と他車両6との間の距離を求め、当該距離が短いほど、端部領域2aに重畳される表示オブジェクトの色を赤色などの危険を示す色に近づけてもよい。同様に、映像処理部12bは、自車両3と他車両6との間の各種距離に基づいて、特定の画像処理のパラメータを変更してもよい。
 <実施の形態3の変形例3>
 実施の形態3及び実施の形態3の各変形例の構成と、実施の形態2及び実施の形態2の各変形例の構成とを適宜組み合わせてもよい。
 例えば、画像認識部12aは、撮影画像2における移動体の位置に基づいて、上辺Lup上に位置する、または、上辺Lup近傍の特徴点FPを求めてもよい。これに加えて、画像認識部12aは、撮影画像2における区画線の位置に基づいて、下辺Lud上に位置する、または、下辺Lud近傍の特徴点FPを求めてもよい。この場合、残部領域2bの上部の形状は、例えば、図22の残部領域2bの上部の形状と同じになり、残部領域2bの下部の形状は、例えば、図11の残部領域2bの下部の形状と同じになる。
 また例えば、画像認識部12aは、撮影画像2から移動体を認識できなかった場合には、実施の形態2のように撮影画像2における区画線の消失点の位置に基づいて特徴点FPを求めてもよい。そして、画像認識部12aは、撮影画像2から移動体を認識できた場合には、撮影画像2における区画線の消失点の位置ではなく、実施の形態3のように撮影画像2における移動体の位置に基づいて特徴点FPを求めてもよい。
 <実施の形態4>
 本発明の実施の形態4に係る表示制御装置1の構成を示すブロック図は、実施の形態2に係る表示制御装置1のブロック図(図6)と同様である。以下、本実施の形態4に係る構成要素のうち、上述の構成要素と同じまたは類似する構成要素については同じ参照符号を付し、異なる構成要素について主に説明する。
 以上の説明では、第2点P2の位置及び第6点P6の位置は、固定されているものとして説明した。これに対して本実施の形態4では、第2点P2の位置及び第6点P6の位置は適宜変化する。
 図26及び図27は、本実施の形態4に係る左表示装置21aによって表示される左の撮影画像2における端部領域2a及び残部領域2bを模式的に示す図である。
 本実施の形態4に係る画像認識部12aは、画像取得部11aで取得された撮影画像2から予め定められたオブジェクトを認識し、当該オブジェクトの形状に基づいて第2点P2及び特徴点FPを求める。本実施の形態4では、このオブジェクトは道路の区画線であり、画像認識部12aは、第2点P2と特徴点FPとを結ぶ線L3の形状が実線白線5aの形状に対応するように、第2点P2及び特徴点FPを求める。
 より具体的には、まず画像認識部12aは、実施の形態2と同様にして、撮影画像2から特徴点FPを求める。その後、線L3が、実線白線5aの平行線または実線白線5aに準じた線となるように、画像認識部12aは、第2点P2を求める。なお、図26のように実線白線5aが直線である場合には線L3も直線であり、図27のように実線白線5aが曲線である場合には線L3も曲線である。
 <実施の形態4のまとめ>
 以上のような本実施の形態4に係る表示制御装置1では、撮影画像2から認識されたオブジェクトの形状に基づいて第2点P2及び特徴点FPを求める。このような構成によれば、端部領域2aと残部領域2bとの境界線が、実線白線5aを補助的に示すことになることから、運転者にとって実線白線5aを認識しやすい表示を提供することができる。
 <実施の形態4の変形例>
 実施の形態4では、画像認識部12aは、特徴点FPを求めてから、当該特徴点FPと、実線白線5aの形状とに基づいて第2点P2を求めた。しかしながら、画像認識部12aは、実施の形態1などと同様に固定された第2点P2と、実線白線5aの形状とに基づいて特徴点FPを求めてもよい。または、実線白線5aとの間の距離が一定距離に設定された平行線が線L3であるとしてもよい。この場合、画像認識部12aは、第2点P2及び特徴点FPを並列的に求めることが可能になる。
 <実施の形態5>
 図28は、本発明の実施の形態5に係る表示制御装置1の構成を示すブロック図である。以下、本実施の形態5に係る構成要素のうち、上述の構成要素と同じまたは類似する構成要素については同じ参照符号を付し、異なる構成要素について主に説明する。
 本実施の形態5では、図6の左後側方カメラ26a、及び、右後側方カメラ26bの代わりに、左後側方広角カメラ26e、及び、右後側方広角カメラ26fが自車両に設けられている。ここで、左後側方広角カメラ26e及び右後側方広角カメラ26fのそれぞれは、標準的なカメラではなく広角カメラである。これに合わせて、本実施の形態5に係る左表示装置21a及び右表示装置21bのそれぞれは、広角カメラで表示された横長形状の画像を表示可能な表示装置である。
 図29は、画角が10度である標準的なカメラが撮影可能な領域である撮影領域R1と、画角が30度である広角カメラが撮影可能な領域である撮影領域R2とを示す図である。図30は、本実施の形態5に係る左表示装置21aの表示例を示す図である。なお、図30の表示例には、説明の便宜上、消失点5bと、特徴点FPと、消失点5b及び特徴点FPの間の破線が示されているが、これらは表示されなくてもよい。このことは、以下の表示例の図においても同様である。
 図30に示すように、広角カメラの撮影領域R2は、標準的なカメラの撮影領域R1よりも広くなっており、左表示装置21aの表示範囲は、広角カメラの撮影領域R2に合わせて広くなっている。この結果、撮影画像2は、横長形状の画像となっている。
 本実施の形態5では、このような横長形状の撮影画像2に対して、画像認識部12aは、これまでの説明と同様に特徴点FPを求め、映像処理部12bは、端部領域2a及び残部領域2bを求めて、端部領域2aの表示態様を残部領域2bの表示態様と異ならせる制御を行う。
 <実施の形態5のまとめ>
 以上のような本実施の形態5に係る表示制御装置1では、撮影画像2は、横長形状の画像である。このような構成によれば、広角カメラで撮影された横長形状の画像に対しても、実施の形態1などで説明した効果を得ることができる。
 <実施の形態5の変形例1>
 実施の形態5の構成に対しても、実施の形態2~4の構成及びそれらの各変形例が適用されてもよい。図31は、実施の形態5に、実施の形態2の変形例2を適用した場合の左表示装置21aの表示例を示す図である。
 図31に示すように、画像認識部12aは、実線白線5aの消失点5bと上辺Lupとの間の点を、第1特徴点FP1として求め、上辺Lup上の点のうち点線白線5cの消失点5dの真上の点を、第2特徴点FP2として求めてもよい。そして、映像処理部12bは、第1点P1と、第2点P2と、第1特徴点FP1と、第2特徴点FP2とで囲まれる領域を端部領域2aとして求めてもよい。また、第1特徴点FP1及び第2特徴点FP2などの特徴点の数は2つに限ったものではなく、実線白線5a及び点線白線5cなどの区画線の数は2つに限ったものではない。
 <実施の形態5の変形例2>
 以上の構成において、自車両3が走行している道路の車線数に基づいて、表示装置21に表示される残部領域2bの範囲は変更されてもよい。図32及び図33は、実施の形態5の変形例2に係る左表示装置21aの表示例を示す図である。なお、図32及び図33では、最外道路の外側に設けられた壁8も表示されている。
 本変形例2では、画像認識部12aは、画像取得部11aで取得された撮影画像2から車線数を抽出する。画像認識部12aは、図32の場合には2つの車線数(1つの隣接車線)を抽出し、図33の場合には3つの車線数(2つの隣接車線)を抽出する。
 本変形例2では、映像処理部12bは、画像認識部12aで抽出された車線数が多いほど表示装置21の表示における残部領域2bの左右方向の長さを大きくする。図32及び図33の例では、映像処理部12bは、自車両3が走行している車線の最も外側の区画線である実線白線5aの下側端部5eの位置に、残部領域2bの外側の辺を合わせることによって、残部領域2bの左右方向の長さを大きくしている。
 以上のような構成によれば、自車両3周囲の比較的重要な画像を取り出して表示することができる。
 <実施の形態6>
 図34は、本発明の実施の形態6に係る表示制御装置1の構成を示すブロック図である。以下、本実施の形態6に係る構成要素のうち、上述の構成要素と同じまたは類似する構成要素については同じ参照符号を付し、異なる構成要素について主に説明する。
 本実施の形態6の構成は、図28の構成に、右左折情報取得部11bが追加された構成と同様である。なお、右左折情報取得部11bの概念は、図1の取得部11に含まれる概念である。
 右左折情報取得部11bは、自車両3の方向指示器で受け付けた操作を、自車両3が右折及び左折のいずれを行うかを示す右左折情報として取得する。画像取得部11aは、上述と同様に、自車両3の左後方に対応する撮影画像である左の撮影画像と、自車両3の右後方に対応する撮影画像である右の撮影画像とを取得する。
 図35及び図36は、本実施の形態6に係る左表示装置21a及び右表示装置21bの表示例を示す図である。
 本実施の形態6に係る映像処理部12bは、右左折情報取得部11bで取得された右左折情報に基づいて、左表示装置21aの表示における左の撮影画像2の残部領域2bの左右方向の長さと、右表示装置21bの表示における右の撮影画像2の残部領域2bの左右方向の長さとを制御する。
 その一例として、映像処理部12bは、右左折情報が左折を示す場合に、図35の表示から図36の表示に切り替える。つまり、映像処理部12bは、右左折情報が左折を示す場合には、左表示装置21aに表示される左の撮影画像2の残部領域2bの左右方向の長さを、右表示装置21bに表示される右の撮影画像2の残部領域2bの左右方向の長さよりも大きくする。また図示しないが、映像処理部12bは、右左折情報が右折を示す場合には、右表示装置21bに表示される右の撮影画像2の残部領域2bの左右方向の長さを、左表示装置21aに表示される左の撮影画像2の残部領域2bの左右方向の長さよりも大きくする。
 なお、図36の例の左表示装置21aでは、左の撮影画像2の上辺Lup上の点のうち消失点5bの真上の点が、特徴点FPとして求められ、端部領域2a及び残部領域2bが、当該特徴点FPなどに基づいて区分けされている。一方、図36の例の右表示装置21bでは、特徴点FPは求められておらず、端部領域2a及び残部領域2bが区分けされていないことから、右の撮影画像2がそのまま、右の撮影画像2の残部領域2bとして表示されている。
 <実施の形態6のまとめ>
 以上のような本実施の形態6に係る表示制御装置1では、右左折情報に基づいて、左の撮影画像2の残部領域2bの左右方向の長さと、右の撮影画像2の残部領域2bの左右方向の長さとを制御する。このような構成によれば、進行方向の状況を確認しやすい表示を運転者に提示することができる。
 <実施の形態6の変形例1>
 実施の形態6では、映像処理部12bは、右左折情報が方向を示す場合に、左の撮影画像2及び右の撮影画像2の一方について残部領域2bの左右方向の長さを大きくしたが、これに限ったものではない。例えば、映像処理部12bは、右左折情報が方向を示す場合に、左の撮影画像2及び右の撮影画像2の両方について残部領域2bの左右方向の長さを大きくしてもよい。
 <実施の形態6の変形例2>
 右左折情報は、画像認識部12aに入力されてもよい。そして、画像認識部12aは、右左折情報が左折を示す場合に、左の撮影画像2から特徴点を抽出可能な最大数を、右の撮影画像2から特徴点を抽出可能な最大数をよりも大きくしてもよいし、右の撮影画像2からの特徴点の抽出を停止してもよい。同様に、画像認識部12aは、右左折情報が右折を示す場合に、右の撮影画像2から特徴点を抽出可能な最大数を、左の撮影画像2から特徴点を抽出可能な最大数をよりも大きくしてもよいし、左の撮影画像2からの特徴点の抽出を停止してもよい。
 <実施の形態6の変形例3>
 図37及び図38は、実施の形態6の変形例3に係る左表示装置21a及び右表示装置21bの表示例を示す図である。なお本変形例3でも、右左折情報は、画像認識部12aに入力されるものとする。
 画像認識部12aは、実施の形態2と同様にして、画像取得部11aで取得された左の撮影画像及び右の撮影画像から道路の実線白線5aなどの区画線を認識してもよい。そして、実施の形態3と同様にして、画像取得部11aで取得された左の撮影画像及び右の撮影画像から他車両6などの移動体を認識してもよい。
 また、画像認識部12aは、右左折情報取得部11bで取得された右左折情報が左折を示す場合に、左の撮影画像2における他車両6に基づいて左の撮影画像2の特徴点FPLを求め、かつ、右の撮影画像2における実線白線5aに基づいて右の撮影画像2の特徴点FPRを求めてもよい。また、画像認識部12aは、右左折情報取得部11bで取得された右左折情報が右折を示す場合に、右の撮影画像2における他車両6に基づいて右の撮影画像2の特徴点FPRを求め、かつ、左の撮影画像2における実線白線5aに基づいて左の撮影画像2の特徴点FPLを求めてもよい。
 また、実施の形態2~5に対しても、実施の形態6の構成及び実施の形態6の各変形例が適用されてもよい。
 <実施の形態7>
 図39は、本発明の実施の形態7に係る表示制御装置1の構成を示すブロック図である。以下、本実施の形態7に係る構成要素のうち、上述の構成要素と同じまたは類似する構成要素については同じ参照符号を付し、異なる構成要素について主に説明する。
 本実施の形態7の構成は、図6の構成に加えて、真後画像を撮影可能な真後カメラ26hが自車両3に設けられている。
 カメラ制御装置26cは、左後側方カメラ26a及び右後側方カメラ26bで撮影された左カメラ画像及び右カメラ画像と、真後カメラ26hで撮影された真後画像とを合成して、合成画像を生成する。そして、カメラ制御装置26cは、生成された合成画像を表示制御装置1に出力する。画像取得部11aは、カメラ制御装置26cからの合成画像を、撮影画像として取得する。このため、本実施の形態7では、撮影画像2は、自車両3の左後方の画像、右後方の画像、及び、左後方と右後方との間の真後画像からなる横長形状の画像となる。
 図40は、本実施の形態7に係る表示装置21の表示例を示す図である。本実施の形態7に係る画像認識部12aは、実施の形態2と同様に、画像取得部11aで取得された撮影画像2から実線白線5aを認識し、実線白線5aの消失点5bの位置に基づいて特徴点FPを求める。図40の例では、画像認識部12aは、撮影画像2から最も左側の実線白線5a及び最も右側の実線白線5aを認識する。
 本実施の形態7に係る映像処理部12bは、実施の形態2と同様に、予め定められた規則に従い、画像取得部11aで取得された撮影画像2と、画像認識部12aで求めた特徴点FPとに基づいて端部領域2aを求める。図40の例では、映像処理部12bは、左辺を外辺Loutとし、右辺を内辺Linとし、予め定められた規則を第1規則として用いることによって、左側の端部領域2aLを求めている。また、映像処理部12bは、右辺を外辺Loutとし、左辺を内辺Linとし、予め定められた規則を第1規則として用いることによって、右側の端部領域2aRを求めている。
 そして、映像処理部12bは、表示装置21の表示において、端部領域2aL,2aRの表示態様を、端部領域2aL,2aR以外の撮影画像2の領域である残部領域2bの表示態様と異ならせる制御を行う。なお、自車両3を示す表示オブジェクトは撮影画像2上に適宜表示されてもよいし、その表示オブジェクトの位置は適宜変更されてもよい。
 <実施の形態7のまとめ>
 以上のような本実施の形態7に係る表示制御装置1では、撮影画像2が、自車両3の左後方の画像、右後方の画像、及び、左後方と右後方との間の真後画像からなる横長形状の画像であっても、実施の形態2と同様の効果を得ることができる。
 <実施の形態8>
 図41は、本発明の実施の形態8に係る表示制御装置1の構成を示すブロック図である。以下、本実施の形態7に係る構成要素のうち、上述の構成要素と同じまたは類似する構成要素については同じ参照符号を付し、異なる構成要素について主に説明する。
 本実施の形態8の構成は、図6の構成において、画像認識部12aが削除され、周辺情報取得部11cが追加され、周辺検出装置27が接続された構成と同様である。なお、周辺情報取得部11cの概念は、図1の取得部11に含まれる概念である。
 周辺検出装置27は、表示制御装置1の外部に設けられている。この周辺検出装置27は、自車両3周辺の予め定められたオブジェクトの、自車両3に対する相対位置に関するオブジェクト情報を検出する。本実施の形態8では、予め定められたオブジェクトは、自車両3周辺の実線白線などの区画線であり、オブジェクト情報は、例えば、当該区画線の相対位置そのもの、または、各カメラで撮影された画像に画像認識を行うことによって得られる自車両3と区画線との間の距離である。
 周辺情報取得部11cは、周辺検出装置27で検出されたオブジェクト情報を取得する。映像処理部12bは、周辺情報取得部11cで取得されたオブジェクト情報に基づいて特徴点を求める。つまり、実施の形態2などでは、画像認識部12aが特徴点を求めたが、本実施の形態8では、周辺検出装置27及び映像処理部12bが協働して特徴点を求める。
 映像処理部12bは、予め定められた規則に従い、画像取得部11aで取得された撮影画像2と、求めた特徴点とに基づいて端部領域2aを求める。そして、映像処理部12bは、表示装置21の表示において、端部領域2aの表示態様を、端部領域2a以外の撮影画像2の領域である残部領域2bの表示態様と異ならせる制御を行う。
 <実施の形態8のまとめ>
 以上のような本実施の形態8に係る表示制御装置1では、周辺情報取得部11cで取得されたオブジェクト情報に基づいて特徴点を求める。このような構成によれば、特徴点を求めるための処理の一部を表示制御装置1の外部で行うことができるので、表示制御装置1の処理負荷を低減することができる。
 <実施の形態8の変形例1>
 実施の形態8では、予め定められたオブジェクトは自車両3周辺の区画線であるとして説明したが、これに限ったものではない。例えば、予め定められたオブジェクトは自車両3周辺の他車両6などの移動体であってもよい。この場合、周辺検出装置27は、例えば、各カメラで撮影された画像に画像認識処理を行うことによってオブジェクト情報を検出してもよいし、光センサ、ミリ波レーダ、高精度の画像認識装置、超音波センサなどによってオブジェクト情報を検出してもよい。
 <実施の形態8の変形例2>
 周辺検出装置27は、オブジェクト情報を検出するのではなく、実施の形態2の画像認識部12aと同様にして特徴点を検出してもよい。この場合、周辺情報取得部11cは、周辺検出装置27から特徴点を取得する。そして、映像処理部12bは、予め定められた規則に従い、画像取得部11aで取得された撮影画像2と、周辺情報取得部11cで取得された特徴点とに基づいて端部領域2aを求める。
 または、周辺検出装置27は、オブジェクト情報を検出するのではなく、実施の形態4の画像認識部12aと同様にして第2点及び特徴点を検出してもよいし、認識した区画線及び移動体の時系列情報に基づいて第2点及び特徴点を検出してもよい。この場合、周辺情報取得部11cは、周辺検出装置27から第2点及び特徴点を取得する。そして、映像処理部12bは、予め定められた規則に従い、画像取得部11aで取得された撮影画像2と、周辺情報取得部11cで取得された第2特徴点及び特徴点とに基づいて端部領域2aを求める。
 このような構成によれば、特徴点を求めるための処理、または、第2点及び特徴点を求めるための処理を表示制御装置1の外部で行うことができるので、表示制御装置1の処理負荷を低減することができる。
 <その他の変形例>
 上述した図1の取得部11及び制御部12を、以下「取得部11等」と記す。取得部11等は、図42に示す処理回路81により実現される。すなわち、処理回路81は、車両周辺の撮影画像を取得する取得部11と、予め定められた規則に従い、撮影画像と撮影画像上の特徴点とに基づいて撮影画像の領域のうちの端部領域2aを求め、表示装置21の表示において、端部領域2aの表示態様を、端部領域2a以外の撮影画像の領域である残部領域2bの表示態様と異ならせる制御を行う制御部12と、を備える。処理回路81には、専用のハードウェアが適用されてもよいし、メモリに格納されるプログラムを実行するプロセッサが適用されてもよい。プロセッサには、例えば、中央処理装置、処理装置、演算装置、マイクロプロセッサ、マイクロコンピュータ、DSP(Digital Signal Processor)などが該当する。
 処理回路81が専用のハードウェアである場合、処理回路81は、例えば、単一回路、複合回路、プログラム化したプロセッサ、並列プログラム化したプロセッサ、ASIC(Application Specific Integrated Circuit)、FPGA(Field Programmable Gate Array)、またはこれらを組み合わせたものが該当する。取得部11等の各部の機能それぞれは、処理回路を分散させた回路で実現されてもよいし、各部の機能をまとめて一つの処理回路で実現されてもよい。
 処理回路81がプロセッサである場合、取得部11等の機能は、ソフトウェア等との組み合わせにより実現される。なお、ソフトウェア等には、例えば、ソフトウェア、ファームウェア、または、ソフトウェア及びファームウェアが該当する。ソフトウェア等はプログラムとして記述され、メモリ83に格納される。図43に示すように、処理回路81に適用されるプロセッサ82は、メモリ83に記憶されたプログラムを読み出して実行することにより、各部の機能を実現する。すなわち、表示制御装置1は、処理回路81により実行されるときに、車両周辺の画像を取得するステップと、予め定められた規則に従い、撮影画像と撮影画像上の特徴点とに基づいて撮影画像の領域のうちの端部領域2aを求め、表示装置21の表示において、端部領域2aの表示態様を、端部領域2a以外の撮影画像の領域である残部領域2bの表示態様と異ならせる制御を行うステップと、が結果的に実行されることになるプログラムを格納するためのメモリ83を備える。換言すれば、このプログラムは、取得部11等の手順や方法をコンピュータに実行させるものであるともいえる。ここで、メモリ83は、例えば、RAM(Random Access Memory)、ROM(Read Only Memory)、フラッシュメモリ、EPROM(Erasable Programmable Read Only Memory)、EEPROM(Electrically Erasable Programmable Read Only Memory)などの、不揮発性または揮発性の半導体メモリ、HDD(Hard Disk Drive)、磁気ディスク、フレキシブルディスク、光ディスク、コンパクトディスク、ミニディスク、DVD(Digital Versatile Disc)、そのドライブ装置等、または、今後使用されるあらゆる記憶媒体であってもよい。
 以上、取得部11等の各機能が、ハードウェア及びソフトウェア等のいずれか一方で実現される構成について説明した。しかしこれに限ったものではなく、取得部11等の一部を専用のハードウェアで実現し、別の一部をソフトウェア等で実現する構成であってもよい。例えば、取得部11については専用のハードウェアとしての処理回路81及びレシーバなどでその機能を実現し、それ以外についてはプロセッサ82としての処理回路81がメモリ83に格納されたプログラムを読み出して実行することによってその機能を実現することが可能である。
 以上のように、処理回路81は、ハードウェア、ソフトウェア等、またはこれらの組み合わせによって、上述の各機能を実現することができる。
 また、以上で説明した表示制御装置1は、PND(Portable Navigation Device)などのナビゲーション装置と、携帯電話、スマートフォン及びタブレットなどの携帯端末を含む通信端末と、ナビゲーション装置及び通信端末の少なくともいずれか1つにインストールされるアプリケーションの機能と、サーバとを適宜に組み合わせてシステムとして構築される表示制御システムにも適用することができる。この場合、以上で説明した表示制御装置1の各機能あるいは各構成要素は、前記システムを構築する各機器に分散して配置されてもよいし、いずれかの機器に集中して配置されてもよい。例えば、表示制御装置は、図1の表示装置21内に組み込まれてもよい。
 図44は、本変形例に係るサーバ91の構成を示すブロック図である。図44のサーバ91は、通信部91aと制御部91bとを備えており、車両92のナビゲーション装置93と無線通信を行うことが可能となっている。
 取得部である通信部91aは、ナビゲーション装置93と無線通信を行うことにより、車両92周辺の撮影画像を受信する。
 制御部91bは、サーバ91の図示しないプロセッサなどが、サーバ91の図示しないメモリに記憶されたプログラムを実行することにより、図1の制御部12と同様の機能を有している。つまり、制御部91bは、通信部91aで受信された撮影画像から撮影画像の特徴点を適宜求め、予め定められた規則に従い、撮影画像及び特徴点に基づいて端部領域を求める。そして、制御部91bは、ナビゲーション装置93の表示において、端部領域の表示態様を、残部領域の表示態様と異ならせる制御を行うための制御信号を生成する。通信部91aは、当該制御信号をナビゲーション装置93に送信する。このように構成されたサーバ91によれば、実施の形態1で説明した表示制御装置1と同様の効果を得ることができる。
 図45は、本変形例に係る通信端末96の構成を示すブロック図である。図45の通信端末96は、通信部91aと同様の通信部96aと、制御部91bと同様の制御部96bとを備えており、車両97のナビゲーション装置98と無線通信を行うことが可能となっている。なお、通信端末96には、例えば車両97の運転者が携帯する携帯電話、スマートフォン、及びタブレットなどの携帯端末が適用される。このように構成された通信端末96によれば、実施の形態1で説明した表示制御装置1と同様の効果を得ることができる。
 なお、本発明は、その発明の範囲内において、各実施の形態及び各変形例を自由に組み合わせたり、各実施の形態及び各変形例を適宜、変形、省略したりすることが可能である。
 本発明は詳細に説明されたが、上記した説明は、すべての態様において、例示であって、本発明がそれに限定されるものではない。例示されていない無数の変形例が、本発明の範囲から外れることなく想定され得るものと解される。
 1 表示制御装置、2 撮影画像、2a 端部領域、2b 残部領域、3 自車両、5a 実線白線、5b 消失点、5c 点線白線、5d 消失点、6 他車両、11 取得部、12 制御部、21 表示装置、FP 特徴点、FP1 第1特徴点、FP2 第2特徴点、Lin 内辺、Lout 外辺、Lud 下辺、Lup 上辺、P1 第1点、P2 第2点、P3 第3点、P4 第4点、P5 第5点、P6 第6点、P7 第7点、P8 第8点。

Claims (21)

  1.  表示装置を制御する表示制御装置であって、
     車両周辺の撮影画像を取得する取得部と、
     予め定められた規則に従い、前記撮影画像と前記撮影画像上の特徴点とに基づいて前記撮影画像の領域のうちの端部領域を求め、前記表示装置の表示において、前記端部領域の表示態様を、前記端部領域以外の前記撮影画像の領域である残部領域の表示態様と異ならせる制御を行う制御部と
    を備え、
     前記撮影画像は、左辺及び右辺の一方であり当該撮影画像上の前記車両の存在する側に対応する辺である内辺と、前記左辺及び前記右辺のうちの他方である外辺と、上辺と、下辺とを有し、
     前記予め定められた規則は、
     前記特徴点が前記上辺上に位置する場合には、前記外辺の上端に位置する第1点と、前記第1点以外の前記外辺上の点であって前記特徴点より下側に位置する第2点と、前記特徴点とで囲まれる領域を前記端部領域として求めること、
     前記特徴点が前記上辺近傍に位置する場合には、前記第1点と、前記第2点と、前記内辺の上端に位置する第3点と、前記内辺上の点であって前記第2点と前記特徴点とを結ぶ直線より下側に位置し、前記第3点と同じか前記第3点より下側に位置し、かつ前記特徴点より上側に位置する第4点と、前記特徴点とで囲まれる領域を前記端部領域として求めること、
     前記特徴点が前記下辺上に位置する場合には、前記外辺の下端に位置する第5点と、前記第5点以外の前記外辺上の点であって前記特徴点より上側に位置する第6点と、前記特徴点とで囲まれる領域を前記端部領域として求めること、及び、
     前記特徴点が前記下辺近傍に位置する場合には、前記第5点と、前記第6点と、前記内辺の下端に位置する第7点と、前記内辺上の点であって前記第6点と前記特徴点とを結ぶ直線より上側に位置し、前記第7点と同じか前記第7点より上側に位置し、かつ前記特徴点より下側に位置する第8点と、前記特徴点とで囲まれる領域を前記端部領域として求めること、
    の少なくともいずれか1つを含む、表示制御装置。
  2.  請求項1に記載の表示制御装置であって、
     前記制御部は、
     前記取得部で取得された前記撮影画像から予め定められたオブジェクトを認識し、前記オブジェクトに基づいて前記特徴点を求める、表示制御装置。
  3.  請求項2に記載の表示制御装置であって、
     前記オブジェクトは、道路の区画線を含む、表示制御装置。
  4.  請求項3に記載の表示制御装置であって、
     前記制御部は、
     前記撮影画像における前記区画線の消失点の位置に基づいて前記特徴点を求める、表示制御装置。
  5.  請求項2に記載の表示制御装置であって、
     前記オブジェクトは、移動体を含み、
     前記制御部は、
     前記撮影画像における前記移動体の位置に基づいて前記特徴点を求める、表示制御装置。
  6.  請求項2に記載の表示制御装置であって、
     前記オブジェクトは、道路の区画線、及び、移動体を含み、
     前記制御部は、
     前記撮影画像から前記移動体を認識できなかった場合には、前記撮影画像における前記区画線の消失点の位置に基づいて前記特徴点を求め、前記撮影画像から前記移動体を認識できた場合には、前記撮影画像における前記移動体の位置に基づいて前記特徴点を求める、表示制御装置。
  7.  請求項1に記載の表示制御装置であって、
     前記取得部は、
     前記車両周辺の予め定められたオブジェクトの前記車両に対する相対位置に関するオブジェクト情報をさらに取得し、
     前記制御部は、
     前記取得部で取得された前記オブジェクト情報に基づいて前記特徴点を求める、表示制御装置。
  8.  請求項7に記載の表示制御装置であって、
     前記オブジェクトは、前記車両周辺の移動体を含む、表示制御装置。
  9.  請求項1に記載の表示制御装置であって、
     前記制御部は、
     前記取得部で取得された前記撮影画像から予め定められたオブジェクトを認識し、前記オブジェクトの形状に基づいて前記第2点及び前記特徴点を求める、表示制御装置。
  10.  請求項9に記載の表示制御装置であって、
     前記オブジェクトは、道路の区画線を含み、
     前記制御部は、
     前記第2点と前記特徴点とを結ぶ線の形状が前記区画線の形状に対応するように、前記第2点及び前記特徴点を求める、表示制御装置。
  11.  請求項1に記載の表示制御装置であって、
     前記取得部は、前記特徴点をさらに取得する、または、前記第2点及び前記特徴点をさらに取得する、表示制御装置。
  12.  請求項1に記載の表示制御装置であって、
     前記制御部は、
     前記撮影画像から、前記上辺近傍に位置する前記特徴点である第1特徴点と、前記第1特徴点よりも前記内辺側に位置し、かつ前記上辺上に位置する前記特徴点である第2特徴点とが求められた場合に、前記第1点と、前記第2点と、前記第1特徴点と、前記第2特徴点とで囲まれる領域を前記端部領域として求め、
     前記撮影画像から、前記下辺近傍に位置する前記特徴点である第3特徴点と、前記第3特徴点よりも前記内辺側に位置し、かつ前記下辺上に位置する前記特徴点である第4特徴点とが求められた場合に、前記第5点と、前記第6点と、前記第3特徴点と、前記第4特徴点とで囲まれる領域を前記端部領域として求める、表示制御装置。
  13.  請求項1に記載の表示制御装置であって、
     前記撮影画像は、前記車両の左後方の画像、右後方の画像、及び、左後方と右後方との間の画像からなる横長形状の画像を含む、表示制御装置。
  14.  請求項1に記載の表示制御装置であって、
     前記端部領域の表示態様は、
     前記端部領域が黒表示された態様、予め定められた表示オブジェクトが前記端部領域に重畳された態様、または、特定の画像処理が前記端部領域に施された態様を含む、表示制御装置。
  15.  請求項14に記載の表示制御装置であって、
     前記特定の画像処理は、半透過処理、ぼかし処理、または、色彩変更処理を含む、表示制御装置。
  16.  請求項14に記載の表示制御装置であって、
     前記端部領域の表示態様は、前記車両と、前記車両以外の車両との位置関係に基づいて変更される、表示制御装置。
  17.  請求項1に記載の表示制御装置であって、
     前記取得部は、
     前記車両の左後方に対応する前記撮影画像である左の撮影画像と、前記車両の右後方に対応する前記撮影画像である右の撮影画像とを取得し、かつ、前記車両が右折及び左折のいずれを行うかを示す右左折情報をさらに取得し、
     前記制御部は、
     前記取得部で取得された前記右左折情報に基づいて、前記表示装置の表示における前記左の撮影画像の前記残部領域の左右方向の長さと、前記表示装置の表示における前記右の撮影画像の前記残部領域の左右方向の長さとを制御する、表示制御装置。
  18.  請求項17に記載の表示制御装置であって、
     前記制御部は、
     前記右左折情報が左折を示す場合に、前記左の撮影画像の前記残部領域の左右方向の長さを前記右の撮影画像の前記残部領域の左右方向の長さよりも大きくし、
     前記右左折情報が右折を示す場合に、前記右の撮影画像の前記残部領域の左右方向の長さを前記左の撮影画像の前記残部領域の左右方向の長さよりも大きくする、表示制御装置。
  19.  請求項17に記載の表示制御装置であって、
     前記制御部は、
     前記取得部で取得された前記左の撮影画像及び前記右の撮影画像から道路の区画線及び移動体を認識し、
     前記制御部は、
     前記右左折情報が左折を示す場合に、前記左の撮影画像における前記移動体に基づいて前記左の撮影画像の前記特徴点を求め、かつ、前記右の撮影画像における前記区画線に基づいて前記右の撮影画像の前記特徴点を求め、
     前記右左折情報が右折を示す場合に、前記右の撮影画像における前記移動体に基づいて前記右の撮影画像の前記特徴点を求め、かつ、前記左の撮影画像における前記区画線に基づいて前記左の撮影画像の前記特徴点を求める、表示制御装置。
  20.  請求項1に記載の表示制御装置であって、
     前記制御部は、
     前記取得部で取得された前記撮影画像から車線数を抽出し、前記車線数が多いほど前記表示装置の表示における前記残部領域の左右方向の長さを大きくする、表示制御装置。
  21.  表示装置を制御する表示制御方法であって、
     車両周辺の撮影画像を取得し、
     予め定められた規則に従い、前記撮影画像と前記撮影画像上の特徴点とに基づいて前記撮影画像の領域のうちの端部領域を求め、前記表示装置の表示において、前記端部領域の表示態様を、前記端部領域以外の前記撮影画像の領域である残部領域の表示態様と異ならせる制御を行い、
     前記撮影画像は、左辺及び右辺の一方であり当該撮影画像上の前記車両の存在する側に対応する辺である内辺と、前記左辺及び前記右辺のうちの他方である外辺と、上辺と、下辺とを有し、
     前記予め定められた規則は、
     前記特徴点が前記上辺上に位置する場合には、前記外辺の上端に位置する第1点と、前記第1点以外の前記外辺上の点であって前記特徴点より下側に位置する第2点と、前記特徴点とで囲まれる領域を前記端部領域として求めること、
     前記特徴点が前記上辺近傍に位置する場合には、前記第1点と、前記第2点と、前記内辺の上端に位置する第3点と、前記内辺上の点であって前記第2点と前記特徴点とを結ぶ直線より下側に位置し、前記第3点と同じか前記第3点より下側に位置し、かつ前記特徴点より上側に位置する第4点と、前記特徴点とで囲まれる領域を前記端部領域として求めること、
     前記特徴点が前記下辺上に位置する場合には、前記外辺の下端に位置する第5点と、前記第5点以外の前記外辺上の点であって前記特徴点より上側に位置する第6点と、前記特徴点とで囲まれる領域を前記端部領域として求めること、及び、
     前記特徴点が前記下辺近傍に位置する場合には、前記第5点と、前記第6点と、前記内辺の下端に位置する第7点と、前記内辺上の点であって前記第6点と前記特徴点とを結ぶ直線より上側に位置し、前記第7点と同じか前記第7点より上側に位置し、かつ前記特徴点より下側に位置する第8点と、前記特徴点とで囲まれる領域を前記端部領域として求めること、
    の少なくともいずれか1つを含む、表示制御方法。
PCT/JP2017/043540 2017-12-05 2017-12-05 表示制御装置及び表示制御方法 WO2019111305A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
PCT/JP2017/043540 WO2019111305A1 (ja) 2017-12-05 2017-12-05 表示制御装置及び表示制御方法
JP2019556304A JP6656493B2 (ja) 2017-12-05 2017-12-05 表示制御装置及び表示制御方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2017/043540 WO2019111305A1 (ja) 2017-12-05 2017-12-05 表示制御装置及び表示制御方法

Publications (1)

Publication Number Publication Date
WO2019111305A1 true WO2019111305A1 (ja) 2019-06-13

Family

ID=66750822

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2017/043540 WO2019111305A1 (ja) 2017-12-05 2017-12-05 表示制御装置及び表示制御方法

Country Status (2)

Country Link
JP (1) JP6656493B2 (ja)
WO (1) WO2019111305A1 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7364009B2 (ja) 2019-08-02 2023-10-18 日産自動車株式会社 画像処理装置及び画像処理方法
JP7440235B2 (ja) 2019-09-26 2024-02-28 フォルシアクラリオン・エレクトロニクス株式会社 表示制御装置、及び表示制御方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009248814A (ja) * 2008-04-08 2009-10-29 Honda Motor Co Ltd 車両用後方視認装置
WO2012172842A1 (ja) * 2011-06-13 2012-12-20 本田技研工業株式会社 運転支援装置
JP2013183298A (ja) * 2012-03-02 2013-09-12 Nissan Motor Co Ltd 車両用後方視界支援装置及び車両用後方視界支援方法
JP2013187562A (ja) * 2012-03-05 2013-09-19 Nissan Motor Co Ltd 車両用後方視界支援装置
JP2015136056A (ja) * 2014-01-17 2015-07-27 株式会社デンソー 運転支援装置

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009248814A (ja) * 2008-04-08 2009-10-29 Honda Motor Co Ltd 車両用後方視認装置
WO2012172842A1 (ja) * 2011-06-13 2012-12-20 本田技研工業株式会社 運転支援装置
JP2013183298A (ja) * 2012-03-02 2013-09-12 Nissan Motor Co Ltd 車両用後方視界支援装置及び車両用後方視界支援方法
JP2013187562A (ja) * 2012-03-05 2013-09-19 Nissan Motor Co Ltd 車両用後方視界支援装置
JP2015136056A (ja) * 2014-01-17 2015-07-27 株式会社デンソー 運転支援装置

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7364009B2 (ja) 2019-08-02 2023-10-18 日産自動車株式会社 画像処理装置及び画像処理方法
JP7440235B2 (ja) 2019-09-26 2024-02-28 フォルシアクラリオン・エレクトロニクス株式会社 表示制御装置、及び表示制御方法

Also Published As

Publication number Publication date
JPWO2019111305A1 (ja) 2020-02-06
JP6656493B2 (ja) 2020-03-04

Similar Documents

Publication Publication Date Title
US9589194B2 (en) Driving assistance device and image processing program
US10782405B2 (en) Radar for vehicle and vehicle provided therewith
US10366512B2 (en) Around view provision apparatus and vehicle including the same
CN107848416B (zh) 显示控制装置、显示装置及显示控制方法
US11030816B2 (en) Electronic apparatus, control method thereof, computer program, and computer-readable recording medium
KR102255432B1 (ko) 전자 장치 및 그의 제어 방법
US11680813B2 (en) Method, apparatus, electronic device, computer program, and computer readable recording medium for measuring inter-vehicle distance based on vehicle image
KR20190047027A (ko) 차량의 차량 주변 리어뷰 미러 조망을 제공하는 방법
KR20150140449A (ko) 전자 장치, 전자 장치의 제어 방법 및 컴퓨터 판독 가능한 기록 매체
IT201900012813A1 (it) Switchable display during parking maneuvers
JP2019121876A (ja) 画像処理装置、表示装置、ナビゲーションシステム、画像処理方法及びプログラム
WO2019111305A1 (ja) 表示制御装置及び表示制御方法
JP2012153256A (ja) 画像処理装置
KR20200052694A (ko) 이동체에 포함된 카메라 시스템 및 그 제어방법.
KR102552490B1 (ko) 차량용 영상 처리 장치 및 방법
WO2015182148A1 (ja) 物体検出装置および物体検出装置を設置した車両
WO2019058504A1 (ja) 後側方映像制御装置および後側方映像制御方法
WO2019111307A1 (ja) 表示制御装置及び表示制御方法
US20190193634A1 (en) Vehicle
JP6621969B2 (ja) 後側方映像制御装置および後側方映像制御方法
JP6644256B2 (ja) 俯瞰映像生成装置、俯瞰映像生成システム、俯瞰映像生成方法およびプログラム
JPWO2020121758A1 (ja) 撮像部制御装置
JP2020093574A (ja) 表示制御装置、表示制御システム、表示制御方法、および表示制御プログラム
KR102299501B1 (ko) 전자 장치, 전자 장치의 제어 방법 및 컴퓨터 판독 가능한 기록 매체
KR101191040B1 (ko) 차량의 전방 도로 표시 장치

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 17934202

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2019556304

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 17934202

Country of ref document: EP

Kind code of ref document: A1