WO2017034026A1 - 表示制御装置および表示制御方法 - Google Patents

表示制御装置および表示制御方法 Download PDF

Info

Publication number
WO2017034026A1
WO2017034026A1 PCT/JP2016/075026 JP2016075026W WO2017034026A1 WO 2017034026 A1 WO2017034026 A1 WO 2017034026A1 JP 2016075026 W JP2016075026 W JP 2016075026W WO 2017034026 A1 WO2017034026 A1 WO 2017034026A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
vehicle
recognition
display control
viewpoint
Prior art date
Application number
PCT/JP2016/075026
Other languages
English (en)
French (fr)
Inventor
洋介 楠見
昇幸 横田
Original Assignee
株式会社デンソー
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社デンソー filed Critical 株式会社デンソー
Publication of WO2017034026A1 publication Critical patent/WO2017034026A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast

Definitions

  • This disclosure relates to a display control technique for presenting a driving assistance image to a driver of a vehicle.
  • Patent Document 1 the display control technique described in Patent Document 1 is known.
  • This display control technique detects the position of a vehicle approaching the host vehicle from behind the host vehicle, and sets a virtual viewpoint according to the position of the approaching vehicle relative to the host vehicle. And this display control technique produces
  • Patent Document 1 increases the height of the virtual viewpoint as the approaching vehicle approaches the host vehicle, or sets the position of the virtual viewpoint as the position of the driver of the approaching vehicle.
  • the conventional display control technique described above lacks the viewpoint of how to set a virtual viewpoint when different objects are individually recognized from the captured images of a plurality of cameras. For this reason, the conventional display control technique has a problem that it does not necessarily present the driver with an appropriate driving support image corresponding to the situation around the host vehicle.
  • An object of the present invention is to provide a display control technique capable of presenting an image to a driver.
  • a display control device includes an image recognition unit, a specifying unit, a viewpoint conversion unit, and an image output unit.
  • the image recognition unit recognizes a predetermined object from a plurality of captured images obtained by capturing a corresponding imaging region around the vehicle by a plurality of imaging devices mounted on the vehicle.
  • the identifying unit when the image recognition unit individually recognizes different objects from the plurality of captured images, at least from among the plurality of recognition objects, should be given priority to the driver of the vehicle.
  • One object is identified as at least one most watched object.
  • the viewpoint conversion unit uses, as a recognition imaging device, an imaging device that captures a captured image including the most cautionary object specified by the specifying unit among the plurality of imaging devices, and is viewed from a virtual viewpoint corresponding to the recognition imaging device.
  • the captured images obtained by the plurality of imaging devices are converted into the viewpoint-converted images.
  • the image output unit outputs the viewpoint conversion image converted by the viewpoint conversion unit as a driving support image to a display device mounted on the vehicle.
  • the virtual viewpoint is set so as to face the object (that is, the most careful object). Therefore, an appropriate driving support image can be presented to the driver by converting the captured images of the plurality of imaging devices into the viewpoint conversion image viewed from the virtual viewpoint set as described above.
  • the display control method includes an image recognition process, a specifying process, a viewpoint conversion process, and an image output process.
  • image recognition process a predetermined target is recognized from a plurality of captured images obtained by capturing a corresponding imaging region around the vehicle by a plurality of imaging devices mounted on the vehicle.
  • specific step when different objects are individually recognized from the plurality of captured images in the image recognition step, at least the driver of the vehicle to be noted with priority from the plurality of recognition objects.
  • One object is identified as at least one most watched object.
  • an imaging device that captures a captured image including the most cautionary object specified in the specifying step among the plurality of imaging devices is used as a recognition imaging device, and viewed from a virtual viewpoint corresponding to the recognition imaging device.
  • the captured images obtained by the plurality of imaging devices are converted into the viewpoint-converted images.
  • the image output step outputs the viewpoint conversion image converted by the viewpoint conversion step as a driving support image to a display device mounted on the vehicle.
  • This display control method can obtain the same effect as that obtained in the display control device for the same reason as the display control device.
  • the in-vehicle display control device 1 includes a plurality of cameras 10, a radar sensor 15, a display control unit 20, and a display 30.
  • the in-vehicle display control device 1 is connected to an in-vehicle local area network (hereinafter referred to as “in-vehicle LAN”) 50, and an electronic control unit (hereinafter referred to as “ECU”) 60 connected to the in-vehicle LAN.
  • the vehicle information such as detection information of various sensors is configured to be shared.
  • the vehicle V on which these components are mounted is also referred to as the host vehicle V.
  • the in-vehicle LAN 50 is a local area network arranged inside the host vehicle V.
  • various in-vehicle information using a communication protocol such as a well-known CAN, FlexRay, LIN, MOST, AVC-LAN, etc. Is transmitted.
  • information indicating the driving direction of the host vehicle V for example, shift lever position, steering operation direction and operation amount, accelerator depression amount, host vehicle speed, acceleration, yaw rate, etc.
  • the plurality of cameras 10 are installed at a front position, a rear position, a right side position, and a left side position of the host vehicle V as a plurality of imaging devices mounted on the host vehicle V so as to capture the surroundings of the host vehicle V, respectively.
  • the front camera 2, the rear camera 4, the right side camera 6, and the left side camera 8 are configured.
  • Each of the cameras 2, 4, 6, and 8 has an imaging area corresponding to each installation position.
  • the front camera 2 is mounted, for example, at the center of the front portion of the host vehicle V, and images a front region A1 that is a region located in front of the host vehicle V.
  • the front area A ⁇ b> 1 is an area that spreads in the horizontal direction corresponding to the vehicle width direction, for example, by 180 degrees about an axis that extends forward from the center of the front part of the host vehicle V. This is a region having a predetermined length in the height direction of the host vehicle V.
  • the rear camera 4 is mounted, for example, in the center of the rear portion of the host vehicle V, and images the rear region A2 that is a region located behind the host vehicle V.
  • the rear region A2 is a region that is spread at, for example, 180 degrees in the horizontal direction corresponding to the vehicle width direction around an axis extending rearward from the central portion of the rear portion of the host vehicle V. This is a region having a predetermined length in the height direction of the host vehicle V.
  • the right side camera 6 is mounted on a right side part of the host vehicle V, for example, a right side mirror, and images a right side region A3 that is a region located on the right side of the host vehicle V.
  • the right side region A3 is a region that extends at 180 degrees in the longitudinal direction around an axis extending rightward from the center in the longitudinal direction of the right side of the host vehicle V, This is a region having a predetermined length in the height direction of the host vehicle V.
  • the left side camera 8 is mounted on a left side portion of the host vehicle V, for example, a left side mirror, and images a left side region A4 that is a region located on the left side of the host vehicle V.
  • the left side region A4 is a region that spreads in the longitudinal direction, for example, by 180 degrees about an axis extending leftward from the center in the longitudinal direction of the left side of the host vehicle V. This is a region having a predetermined length in the height direction of the host vehicle V.
  • each camera 10 is installed in the host vehicle V so that a part of the corresponding imaging area has an area (hereinafter referred to as “overlapping area”) that overlaps a part of the imaging area of at least one other camera 10. ing.
  • a front area A1 that is an imaging area of the front camera 2 is a right front overlapping area OA1 that partially overlaps with a right side area A3 that is an imaging area of the right side camera 6, and a left side camera. 8 and a left front area A4 that partially overlaps the left front area A4.
  • the rear area A2 that is the imaging area of the rear camera 4 is the right rear overlapping area OA3 that partially overlaps with the right-side area A3 that is the imaging area of the right-side camera 6, and the imaging area of the left-side camera 8.
  • a left rear overlapping area OA4 partially overlapping with the left side area A4. That is, each overlapping area is an area that can be imaged by any of the two corresponding cameras 10.
  • the area other than the right front overlapping area OA1 and the left front overlapping area OA2 is referred to as a front single area SA1
  • the right rear overlapping area OA3 and An area other than the left rear overlapping area OA4 is referred to as a rear single area SA2.
  • the areas other than the right front overlapping area OA1 and the right rear overlapping area OA3 are defined as the right side single area SA3
  • the areas other than the left front overlapping area OA2 and the left rear overlapping area OA4 are defined. This is referred to as a left single region SA4.
  • the front area A1 that can be imaged only by the front camera 2 is the front single area SA1
  • the rear area A2 that can be imaged only by the rear camera 4 is the rear single area SA2
  • the right area A3 that can be imaged only by the right side camera 6 is displayed.
  • the left side area A4 that can be imaged only by the right side area SA3 and the left side camera 8 is called the left side area SA4.
  • the radar sensor 15 is installed at the front position, the rear position, the right side position, and the left side position of the host vehicle V corresponding to each camera 10.
  • Each radar sensor 15 transmits a radar wave as an exploration wave such as a millimeter wave, a laser beam, and an ultrasonic wave, and receives a reflected wave generated by reflecting the radar wave on an object.
  • Each radar sensor 15 mainly detects the azimuth, distance, and relative speed of the object based on the received reflected wave.
  • a millimeter wave radar which is an example of a radar sensor installed in front of the host vehicle V outputs a transmission wave signal frequency-modulated with a triangular wave from an antenna, and the transmission wave signal is transmitted to an object in front of the host vehicle V.
  • the reflected wave signal obtained by the reflection is received by the antenna.
  • the millimeter wave radar is configured to generate a beat signal by mixing the received reflected wave signal. Since the waveform of the beat signal changes due to the interference generated according to the distance to the reflecting object and the relative speed, the millimeter wave radar is based on the beat signal waveform and is relative to the relative distance of the reflecting object with respect to the host vehicle V. Speed can be calculated. Also, if there is an object in the irradiation direction of the transmission wave signal, the reflected wave signal obtained by reflecting the transmission wave signal by this object can be received. Based on this, it is possible to detect the direction of the reflecting object existing in front of the host vehicle V.
  • the display 30 is installed in, for example, a passenger compartment of the host vehicle V as a display device mounted on the host vehicle V.
  • the display 30 is configured by a liquid crystal display, a head-up display, or a combination thereof, and is installed at a position where the driver of the host vehicle V is easily visible in the vehicle interior.
  • the display control unit 20 shown in FIG. 1 is mainly composed of a known microcomputer having a CPU 12 and a semiconductor memory (hereinafter referred to as “memory”) 14 such as a RAM, a ROM, and a flash memory, and a communication controller for an in-vehicle LAN.
  • the CPU 12 of the display control unit 20 is configured to execute various processes based on a program stored in the memory 14. That is, when the program is executed by the CPU 12, a method corresponding to the program is executed.
  • the number of microcomputers may be one or plural, and each of the one to plural microcomputers may be installed inside the host vehicle V.
  • the display control unit 20 has an image recognition unit 21, a viewpoint conversion unit 22, an image composition unit 23, an image setting as a functional configuration realized by executing various processes of the CPU 12.
  • Unit 24, image enhancement unit 25, image output unit 26, and most careful identification unit 27 are included in the display control unit 20.
  • image recognition unit 21 a viewpoint conversion unit 22
  • image composition unit 23 an image setting as a functional configuration realized by executing various processes of the CPU 12.
  • image enhancement unit 25 image output unit 26, and most careful identification unit 27.
  • some or all of these functions executed by the display control unit 20 may be configured in hardware by one or a plurality of logic circuits or electronic circuits such as ICs.
  • the image recognition unit 21 has a function of recognizing a predetermined object based on captured images (images composed of a plurality of pixels representing luminance) of the plurality of cameras 10.
  • the object is considered to be desirable to inform the driver of the host vehicle V of its existence from the viewpoint of driving assistance, such as a pedestrian or another vehicle.
  • the object is recognized by detecting the position of the object based on the captured image of each camera 10 and the detection result of each radar sensor 15 based on the direction and distance corresponding to the detected position of the object. The process of extracting the relative speed of the is included.
  • identification information for identifying at least one captured image including the recognized object in the image from other captured images, and a position in the captured image regarding the recognized object are displayed.
  • the image position information shown is stored in the memory 14.
  • the image position information includes information for specifying any one of the single areas SA1 to SA4 and the overlapping areas OA1 to OA4 as the imaging area including the object recognized by the image recognition unit 21. Yes.
  • the viewpoint conversion unit 22 includes one or a set of cameras 10 to be described later among at least one (one or more) cameras 10 that have captured a captured image including the object recognized by the image recognition unit 21 in the image. It is specified as a recognition imaging device (hereinafter referred to as “recognition camera”), and has a function of converting a target captured image into a viewpoint conversion image viewed from a virtual viewpoint associated with the recognition camera in advance. Of these functions, details of processing for specifying a recognition camera and setting a virtual viewpoint (hereinafter referred to as “virtual viewpoint setting processing”) will be described later. In the present embodiment, the viewpoint conversion unit 22 converts, for example, all the captured images of the cameras 10 into viewpoint conversion images, and supplies the converted viewpoint conversion images to the image composition unit 23.
  • the viewpoint-converted image can be said to be an image obtained by coordinate-converting a captured image viewed from the viewpoint of a certain camera 10 as if viewed from the viewpoint of the virtual camera based on the virtual viewpoint.
  • a coordinate system of a certain camera 10 for example, an optical axis in a camera coordinate system defined by an optical axis and a distance and an angle with respect to the optical axis
  • the coordinate position of every point on the captured image is on the camera coordinate system. That is, it can be expressed by the angle and distance from the optical axis.
  • viewpoint conversion By rotating and translating these coordinate positions based on the optical axis of the virtual camera, the captured image can be subjected to viewpoint conversion. That is, a desired viewpoint-converted image can be obtained by setting the position and orientation of the virtual viewpoint as the optical axis of the virtual camera. Since the viewpoint conversion technique for images is well known to those skilled in the art, detailed description thereof is omitted.
  • the viewpoint conversion unit 22 uses a plurality of correspondence tables stored in advance in the memory 14.
  • the plurality of correspondence tables include a basic correspondence table and an additional correspondence table.
  • the basic correspondence table is a table that stores information in which each camera 10 is associated with a virtual viewpoint on a one-to-one basis. That is, the basic correspondence table is a table that allows a virtual viewpoint corresponding to one identified camera 10 to be uniquely set if there is one identified camera 10 as a recognition camera.
  • the addition correspondence table is a table in which the combinations of the cameras 10 and the virtual viewpoints are associated one-to-one.
  • the combination of these cameras 10 includes a combination of the front camera 2 and the right side camera 6 (shown as front / right in FIG. 4B), and a combination of the front camera 2 and the left side camera 8 (front / rear in FIG. 4B). Left), a combination of the rear camera 4 and the right side camera 6 (shown as rear / right in FIG. 4B), and a combination of the rear camera 4 and the left side camera 8 (shown as rear / left in FIG. 4B). It consists of four patterns.
  • the additional correspondence table is a table that allows a virtual viewpoint to be uniquely set if one set of cameras 10 identified as recognition cameras corresponds to one of the combinations of the four patterns.
  • Each combination of the above four patterns corresponds to the above-mentioned “one set of cameras 10” and “corresponding two cameras 10” used in the description of the overlapping area.
  • the viewpoint conversion unit 22 performs rearward in the front-rear direction of the host vehicle V when the camera 10 specified as the recognition camera is only the front camera 2.
  • a virtual viewpoint E1 is set so that a front diagonal direction including a predetermined position (for example, a center of gravity position) in the host vehicle V is inclined at a predetermined angle with respect to the front-rear direction of the host vehicle V or the running surface from a predetermined height position on the upper side. (See FIG. 5A).
  • the viewpoint conversion unit 22 determines a predetermined position (for example, the center of gravity) from the predetermined height position obliquely above the front side in the front-rear direction of the host vehicle V.
  • a virtual viewpoint E2 is set that is directed obliquely downward at the rear side including the position) at a predetermined angle with respect to the front-rear direction of the host vehicle V or the traveling surface (see FIG. 5A).
  • the viewpoint conversion unit 22 starts from a predetermined height position on the diagonally upper left side of the center part of the host vehicle V in the front-rear direction, for example.
  • a virtual viewpoint E3 is set such that the vehicle V direction (left-right direction) or the traveling surface of the host vehicle V including a predetermined position (for example, the center of gravity) in the host vehicle V is directed at a predetermined angle with respect to the vehicle width direction (left-right direction) or the traveling surface (see FIG. ).
  • the viewpoint conversion unit 22 automatically starts from a predetermined height position diagonally above and to the right of the center in the front-rear direction of the host vehicle V.
  • a virtual viewpoint E4 is set so that the vehicle V in the vehicle width direction (left-right direction) or the traveling surface of the vehicle V including a predetermined position (for example, the center of gravity) in the vehicle V is directed at a predetermined angle with respect to the traveling surface (see FIG. 5B). .
  • the viewpoint conversion unit 22 is performed according to the setting of the virtual viewpoint using the basic correspondence table.
  • the viewpoint conversion unit 22 starts from the predetermined height position diagonally above the left rear side of the host vehicle V from the host vehicle V.
  • a virtual viewpoint E5 is set that is directed obliquely downward to the right front side including a predetermined position (for example, the center of gravity position) at a predetermined angle with respect to the traveling surface of the host vehicle V (see FIG. 2).
  • the viewpoint conversion unit 22 determines the predetermined position in the host vehicle V from the predetermined height position diagonally above the right rear side of the host vehicle V.
  • a virtual viewpoint E6 is set that is directed obliquely downward at the left front side including the position (for example, the center of gravity position) with respect to the traveling surface of the host vehicle V, for example (see FIG. 2).
  • the viewpoint conversion unit 22 starts from a predetermined height position diagonally above the left front side of the host vehicle V to a predetermined position in the host vehicle V.
  • a virtual viewpoint E7 is set that is directed obliquely downward at the right rear side including (for example, the center of gravity position) at a predetermined angle with respect to the traveling surface of the host vehicle V (see FIG. 2).
  • the viewpoint conversion unit 22 starts from a predetermined height position diagonally above the right front side of the host vehicle V to a predetermined position in the host vehicle V.
  • a virtual viewpoint E8 is set to face a diagonally lower left rear side including (for example, the center of gravity position) at a predetermined angle with respect to the traveling surface of the host vehicle V (see FIG. 2).
  • the viewpoint conversion unit 22 directs the recognition camera side obliquely downward at a predetermined angle from the position on the opposite side to the position of the corresponding pair of recognition cameras. Corresponding one of .about.E8 is set.
  • the direction determined based on the predetermined angle of each of the virtual viewpoints E1 to E8 is an angle range that does not become at least the vehicle height direction of the host vehicle V, that is, the direction perpendicular to the traveling surface of the host vehicle V (for example, The predetermined angle is set in advance within a range of 0 to 80 °.
  • the reason for this is that when a bird's-eye view image in which the direction of the virtual viewpoint is a direction perpendicular to the traveling surface of the host vehicle V (that is, 90 °) is generated as a viewpoint conversion image, This is because the tendency to extend in the height direction and be converted becomes most remarkable.
  • the direction determined based on the predetermined angle of each of the virtual viewpoints E1 to E8 may be a direction parallel to the traveling surface of the host vehicle V (that is, 0 °), which is generated based on the set virtual viewpoint.
  • the blind spot area due to the host vehicle V in the composite image to be described later is the largest.
  • the set angle relating to the orientation of the virtual viewpoint is set in advance in either the vertical direction with respect to the traveling surface of the host vehicle V or an angle range that does not become the horizontal direction (for example, a range of 10 to 80 °). ing.
  • the most careful identification unit 27 selects the most careful object for the driver of the host vehicle V as the most careful object. It has a function to specify as a marked target.
  • the captured images of one camera 10 are used. This is a case where at least one object is recognized but not all objects can be recognized, and at least one object (non-recognized object) that cannot be recognized is recognized from a captured image of another camera 10.
  • most careful identification process The details of the process for realizing the function of the most careful identification unit 27 (hereinafter referred to as “most careful identification process”) will be described later. In the present embodiment, this most careful specifying process is performed in a virtual viewpoint setting process as will be described later.
  • the image compositing unit 23 has a function of generating a composite image in which the viewpoint conversion images supplied from the viewpoint conversion unit 22 are partially overlapped and connected. Specifically, in the present embodiment, as the region including the joint portion in the composite image, the first overlapping image region in which the viewpoint conversion image of the front camera 2 and the viewpoint conversion image of the right side camera 6 partially overlap, the front camera 2 A second overlapping image area in which the viewpoint conversion image of the left camera 8 and the viewpoint conversion image of the left side camera 8 partially overlap, and a third overlap in which the viewpoint conversion image of the rear camera 4 and the viewpoint conversion image of the right side camera 6 partially overlap.
  • Each of these overlapping image areas can be said to be an area corresponding to each of the overlapping areas OA1 to OA4 (see FIG. 2) in the imaging area of each camera 10.
  • the image synthesizing unit 23 has a function of synthesizing each viewpoint-converted image portion in the overlapping image region with a preset blend rate (synthesis rate) when generating such a synthesized image.
  • This composition rate represents the ratio at which one viewpoint conversion image and the other viewpoint conversion image are combined in the corresponding overlapping image region.
  • the composition rate is a value that makes the joint portion inconspicuous in the overlapping region including the joint portion in the composite image by the image setting unit 24 described later, thereby reducing the unnaturalness of the joint portion.
  • a composite image is formed by joining all the viewpoint-converted images of the respective cameras 10 so as to overlap each other.
  • the image composition unit 23 is configured to reduce the unnaturalness of the joint portion.
  • a view image is generated. As shown in FIG. 6A, the around view image refers to an image that includes the host vehicle V and that can display the entire periphery of the host vehicle V.
  • the image setting unit 24 corresponds to a pair of viewpoint conversion image portions (hereinafter referred to as “overlapping image region” in each overlapping image region when the plurality of viewpoint conversion images are combined. It has a function of setting a composition ratio of “part”.
  • the composition rate set by the image setting unit 24 is used for the composition processing of each overlapping image region portion by the image composition unit 23.
  • the image enhancement unit 25 has a function of enhancing an image portion of an object (hereinafter referred to as “object image portion”) included in each viewpoint conversion image converted by the viewpoint conversion unit 22. Specifically, in the present embodiment, processing for emphasizing the object image portion of the composite image generated by the image composition unit 23 is performed. This enhancement processing is realized by specifying the position on the composite image of the object corresponding to the image position information based on the image position information corresponding to the composite image stored in the memory 14. . As an example of the enhancement method of the object image portion, the image enhancement unit 25 may add an enhanced image (see FIG. 6B) for enhancing the object, such as an image surrounding the object, to the synthesized image. By changing the contrast of at least one of the object image part and the composite image, such as making the brightness of the pixel of the object image part higher than the brightness of the pixels of the surrounding image part, the object image part is displayed in the composite image. May be emphasized.
  • the image output unit 26 has a function of outputting, to the display 30 as a driving support image, a composite image obtained by combining the overlapping image region portions by the image composition unit 23 at the composition rate set by the image setting unit 24. Specifically, in the present embodiment, the image output unit 26 outputs the around view image in which the object image portion is emphasized by the image enhancement unit 25 to the display 30 as a driving assistance image.
  • the driving support image is a display image for driving support of the host vehicle V, such as a warning for notifying the driver of the presence of an object such as another vehicle or a pedestrian.
  • the CPU 12 receives the captured images of all the cameras 10 in step S110 as a function of the viewpoint conversion unit 22. Then, as a function of the viewpoint conversion unit 22, the CPU 12 determines whether there is at least one captured image including at least one object recognized by the image recognition unit 21 in the received captured image. Determine whether. This determination can be made based on whether or not identification information is stored for each captured image of all the cameras 10 in the memory 14, for example.
  • the CPU 12 differs from the captured images of the plurality of cameras 10 by the image recognition unit 21 as a function of the viewpoint conversion unit 22. It is determined whether or not the objects are individually recognized. This determination can be made, for example, in the memory 14 based on the image position information in the at least one captured image.
  • step S120 it is a case where a plurality of objects are recognized by the image recognition unit 21 and a case where it is determined that different objects are not individually recognized from the captured images of the plurality of cameras 10, and 1 or 1 If it is determined that all objects have been recognized from the captured images of the pair of cameras 10, the viewpoint setting process proceeds to step S120.
  • a plurality of objects are recognized by the image recognition unit 21 and when it is determined that different objects are individually recognized from the captured images of the plurality of cameras 10, that is, the captured images of one camera 10. If at least one object is recognized but not all objects can be recognized, and if at least one object that cannot be recognized is recognized from a captured image of another camera 10, viewpoint setting processing is performed. The process proceeds to step S130.
  • step S120 the CPU 12 uses the one or the set of cameras 10 as the recognition camera 10 as a function of the viewpoint conversion unit 22, and uses a correspondence table stored in advance in the memory 14 without performing the most careful specifying process described later.
  • a process for setting a virtual viewpoint corresponding to the recognition camera 10 (hereinafter referred to as “normal virtual viewpoint setting process”) is performed, and this viewpoint setting process is ended.
  • the normal virtual viewpoint setting process for example, when there is one camera 10 that has captured the image in which the object is recognized in step S110, the camera 10 is used as the recognition camera 10 and the basic correspondence table (see FIG. 4A) is used. Then, a virtual viewpoint corresponding to the recognition camera 10 is set.
  • the normal virtual viewpoint setting processing is additionally supported with the combination of the one set of cameras 10 as one set of recognition cameras 10.
  • a virtual viewpoint corresponding to the set of recognition cameras 10 is set.
  • step S110 when the number of the cameras 10 that have captured the images in which the objects are recognized in step S110 is one set and the number of objects recognized from the captured images of the one set of cameras 10 is different, the CPU 12 Of the set of cameras 10, one camera 10 that has captured an image in which more objects are recognized may be used as a recognition camera, or the process of step S ⁇ b> 130 may be executed.
  • the CPU 12 can perform the normal virtual viewpoint setting process as a function of the viewpoint conversion unit 22.
  • the CPU 12 uses the front camera 2 as the recognition camera 10 and reverses the shift lever position (for example, In the case of the R) position, the rear camera 4 can be set as the recognition camera 10 and virtual viewpoints corresponding to the recognition cameras 10 can be set.
  • step S ⁇ b> 130 the CPU 12 causes the most careful identification unit 27 to start the most careful identification process as a function of the viewpoint conversion unit 22.
  • the CPU 12 first functions as a function of the most careful identification unit 27 in step S140, in one or a set of ones of the plurality of cameras 10 corresponding to the traveling direction of the host vehicle V. It is determined whether or not the captured image captured by the camera 10 includes an object. For example, the determination process specifies the traveling direction of the host vehicle V based on the steering operation direction, the operation amount, the yaw rate, etc. in the vehicle information received from the ECU 60, and determines the own vehicle V based on the identified traveling direction of the host vehicle V. It is determined whether or not an object is included in a captured image captured by one or one set of cameras 10 according to the traveling direction of the vehicle V.
  • step S140 when it is determined that the target object is included in the captured image captured by one or one set of cameras 10 according to the traveling direction of the host vehicle V, the viewpoint setting process proceeds to step S150.
  • step S140 when it is determined that the target object is not included in the captured image captured by one or one set of cameras 10 according to the traveling direction of the host vehicle V, the viewpoint setting process proceeds to step S160. Transition.
  • step S150 as a function of the most careful identification unit 27, the CPU 12 determines one or more objects determined to be included in the captured image in step S140 among the plurality of objects recognized by the image recognition unit 21. Is identified as the most sensitive object. Thereafter, the viewpoint setting process proceeds to step S170.
  • step S ⁇ b> 160 as a function of the most careful identification unit 27, the CPU 12 determines the distance of each object recognized by the image recognition unit 21 and the approach speed with respect to the own vehicle V, for example, the image recognition unit 21. Is generated based on, for example, the relative speed, direction, distance, and the like of each object with respect to the host vehicle V, which is information based on the recognition result of the above and the detection result of the radar sensor 15.
  • step S ⁇ b> 160 the CPU 12 determines the distance from the corresponding host vehicle V and the approach speed to the host vehicle V among the plurality of objects recognized by the image recognition unit 21 as functions of the most careful specifying unit 27.
  • One object that satisfies a predetermined distance speed condition is set as the most careful object.
  • the viewpoint setting process proceeds to step S170.
  • the distance speed condition may be a first condition in which the distance from the host vehicle V is the smallest requirement. That is, the CPU 12 can set the object having the shortest distance from the host vehicle V among the plurality of objects recognized by the image recognition unit 21 as the most careful object.
  • the distance speed condition may be a second condition that requires that the approach speed to the host vehicle V is the highest. That is, the CPU 12 can set, as the most careful object, the object having the maximum approach speed to the host vehicle V among the plurality of objects recognized by the image recognition unit 21.
  • the distance / speed condition may be a third condition in which the value obtained by dividing the distance from the host vehicle V by the approach speed to the host vehicle V is the smallest requirement. That is, the CPU 12 can set, as the most careful object, the object that requires the minimum time to reach the position of the host vehicle V among the plurality of objects recognized by the image recognition unit 21.
  • the approach speed is a speed at which the object approaches the host vehicle V. For this reason, when the target object travels in the same traveling direction as the host vehicle V at a speed faster than the host vehicle V, the target object moves away from the host vehicle V, and the CPU 12 It is difficult to determine the approach speed with respect to V. Therefore, in this case, the CPU 12 can exclude the object from the candidates as the most careful objects.
  • the CPU 12 selects each of the plurality of objects or one object selected from the plurality of objects, It can be set as the most important target object (priority target object, priority target priority target). That is, the most careful object means an object with a high priority to be noted, and is not limited to a single object.
  • step S170 the CPU 12 recognizes, as a function of the viewpoint conversion unit 22, one or a set of cameras 10 that have captured the captured image including the most careful object set in step S150 or step S160 by the most careful identification unit 27.
  • the CPU 12 further uses the correspondence table (that is, the basic correspondence table or the additional correspondence table) stored in advance in the memory 14 as a function of the viewpoint conversion unit 22 to set one or one set of recognition cameras 10.
  • the corresponding virtual viewpoint is set, and this viewpoint setting process ends.
  • the CPU 12 captures, for example, one or a set of cameras 10 that image one or more objects according to the traveling direction of the host vehicle V, or one object that satisfies a predetermined distance speed condition.
  • One camera 10 is set as the recognition camera 10, and a virtual viewpoint is set in the direction of the recognition camera 10.
  • the vehicle-mounted display control apparatus 1 can obtain the following effects. According to the configuration of the in-vehicle display control device 1 according to the embodiment, even when different objects are individually recognized from the captured images of the plurality of cameras 10, depending on the situation around the host vehicle V, The virtual viewpoint is set so as to face an object that should be preferentially noticed by the driver (that is, an object to be most watched). And the structure of the vehicle-mounted display control apparatus 1 shows a suitable driving assistance image to a driver
  • the most careful specifying unit 27 of the in-vehicle display control device 1 captures images of the plurality of cameras 10 according to the traveling direction of the host vehicle V.
  • the object included in the selected image is identified as the most careful object.
  • the virtual viewpoint can be set so as to face an object that is presumed to have the highest possibility of hindering the traveling of the host vehicle V.
  • a driving assistance image suitable for the driver can be presented by converting the captured images of the plurality of cameras 10 into a viewpoint conversion image viewed from the set virtual viewpoint.
  • the most careful identifying unit 27 identifies an object having the smallest distance from the host vehicle V as the most careful object.
  • the virtual viewpoint can be set so as to face an object that is most likely to be located in the blind spot of the host vehicle V.
  • a driving assistance image suitable for the driver can be presented by converting the captured images of the plurality of cameras 10 into a viewpoint conversion image viewed from the set virtual viewpoint.
  • the most careful identifying unit 27 identifies an object having the highest approach speed to the host vehicle V as the most careful object.
  • the virtual viewpoint can be set so as to face an object that is estimated to be most likely to require attention for the driver in the future.
  • a driving assistance image suitable for the driver can be presented by converting the captured images of the plurality of cameras 10 into a viewpoint conversion image viewed from the set virtual viewpoint.
  • the most careful identifying unit 27 identifies the target having the smallest value obtained by dividing the distance from the own vehicle V by the approach speed to the own vehicle V as the most careful target.
  • the virtual viewpoint can be set so as to face an object that is estimated to be most likely to collide with the host vehicle V.
  • a driving assistance image suitable for the driver can be presented by converting the captured images of the plurality of cameras 10 into a viewpoint conversion image viewed from the set virtual viewpoint.
  • each camera 10 is installed in the host vehicle V so as to have the above-described overlapping region with respect to each imaging region, but the present invention is not limited to this, and does not have such an overlapping region. May be installed in the own vehicle V.
  • the correspondence table includes the basic correspondence table and the additional correspondence table, but the present disclosure is not limited to this configuration. For example, in the modification of the above embodiment, only the basic correspondence table may be included.
  • the viewpoint conversion unit 22 sets a virtual viewpoint according to the recognition camera using the correspondence table, but the present disclosure is not limited to this configuration.
  • the viewpoint conversion unit 22 dynamically uses the virtual viewpoint according to the position of the most attention object as the virtual viewpoint according to the recognition camera without using the correspondence table in step S170. (Step S170a).
  • the viewpoint conversion unit 22 determines the distances and approach speeds of the specified most cautioned objects with respect to the host vehicle V in step S170. Based on at least one, determine the priority order of setting a plurality of virtual viewpoints corresponding to the plurality of recognition cameras 10 that captured the captured images including the plurality of specific most attention objects, and based on the determined priority order, It is also possible to sequentially set the plurality of virtual viewpoints and sequentially convert the captured images of the plurality of cameras 10 into viewpoint conversion images viewed from the plurality of virtual viewpoints that are sequentially set (step S170b). With this configuration, it is also possible to present a driving assistance image that is more suitable for the driver.
  • a system including the in-vehicle display control device 1 as a constituent element, one or more programs for causing a computer to function as the in-vehicle display control device 1, and at least a part of the program are recorded.
  • the present invention can also be realized in various forms such as one or a plurality of recording media (specifically, non-transitional tangible recording media such as a semiconductor memory) and a display control method.
  • SYMBOLS 1 Vehicle-mounted display control apparatus, 2 ... Front camera, 4 ... Back camera, 6 ... Right side camera, 8 ... Left side camera, 10 ... Camera, 12 ... CPU, 14 ... Memory, 15 ... Radar sensor, 20 ... Display control Unit 21... Image recognition unit 22. Viewpoint conversion unit 23 23. Image compositing unit 24 24 Image setting unit 25 25 Image enhancement unit 26 26 Image output unit 27 27 Most careful identification unit 30 30 Display E 1 ⁇ E8 ... Virtual viewpoint.

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Fittings On The Vehicle Exterior For Carrying Loads, And Devices For Holding Or Mounting Articles (AREA)
  • Traffic Control Systems (AREA)
  • Image Analysis (AREA)

Abstract

表示制御装置は、複数の撮像画像からそれぞれ異なる対象物が個別に認識された場合に、この複数の認識対象物の中から、車両の運転者にとって優先して注意すべき少なくとも１つの対象物を少なくとも１つの最注意対象物として特定する。そして、表示制御装置は、前記複数の撮像装置のうち、前記特定部により特定された最注意対象物を含む撮像画像を撮像した撮像装置を認識撮像装置とし、前記認識撮像装置に応じた仮想視点から見た視点変換画像に、前記複数の撮像装置により得られた撮像画像を変換する。

Description

表示制御装置および表示制御方法
　本開示は、車両の運転者に運転支援画像を提示するための表示制御技術に関する。
　従来、特許文献１に記載された表示制御技術が知られている。この表示制御技術は、自車両の後方から自車両に接近する車両の位置を検出して、自車両に対するその接近車両の位置に応じた仮想視点を設定する。そして、この表示制御技術は、複数のカメラで撮像した撮像画像から、設定した仮想視点から見た合成画像を生成し、その合成画像を運転支援画像として車載ディスプレイに出力する。
　この特許文献１に記載された表示制御技術は、接近車両が自車両に近づくにつれて仮想視点の高さを上昇させたり、仮想視点の位置を接近車両の運転者の位置に設定している。
特許第５６８１５６９号公報
　この種の表示制御技術においては、自車両の後方以外の周囲において接近車両を認識した場合や、自車両の周囲において接近車両以外の対象物（例えば、歩行者や静止車両など）を認識した場合にも、その認識した対象物に応じた仮想視点を設定することが望まれている。
　しかしながら、上記従来の表示制御技術では、複数のカメラの撮像画像からそれぞれ異なる対象物を個別に認識した場合に、どのように仮想視点を設定することが望ましいか、という観点が欠如している。このため、上記従来の表示制御技術では、必ずしも自車両の周囲の状況に応じた適切な運転支援画像を運転者に提示しているわけではない、という問題があった。
　本開示は、こうした問題にかんがみてなされたものであり、複数のカメラの撮像画像からそれぞれ異なる対象物を個別に認識した場合であっても、自車両の周囲の状況に応じた適切な運転支援画像を運転者に提示可能な表示制御技術を提供することを目的としている。
　本開示の第１の局面である表示制御装置は、画像認識部、特定部、視点変換部、および画像出力部を備える。
　画像認識部は、車両に搭載された複数の撮像装置により、該車両の周囲における対応する撮像領域を撮像して得られた複数の撮像画像から、予め定められた対象物を認識する。
　特定部は、前記画像認識部により複数の前記撮像画像からそれぞれ異なる対象物を個別に認識した場合に、この複数の認識対象物の中から、前記車両の運転者にとって優先して注意すべき少なくとも１つの対象物を少なくとも１つの最注意対象物として特定する。
　視点変換部は、前記複数の撮像装置のうち、前記特定部により特定された最注意対象物を含む撮像画像を撮像した撮像装置を認識撮像装置とし、前記認識撮像装置に応じた仮想視点から見た視点変換画像に、前記複数の撮像装置により得られた撮像画像を変換する。
　画像出力部は、前記視点変換部により変換された視点変換画像を運転支援画像として、前記車両に搭載された表示装置に出力する。
　このような構成によれば、複数の撮像装置の撮像画像からそれぞれ異なる対象物を個別に認識した場合であっても、自車両の周囲の状況に応じて、運転者にとって優先して注意すべき対象物（即ち、最注意対象物）を向くように仮想視点が設定される。このため、このように設定した仮想視点から見た視点変換画像に上記複数の撮像装置の撮像画像を変換することにより、適切な運転支援画像を運転者に提示することができる。
　また、本開示の第２の局面である表示制御方法は、画像認識工程、特定工程、視点変換工程、および画像出力工程を備える。
　画像認識工程は、車両に搭載された複数の撮像装置により、該車両の周囲における対応する撮像領域を撮像して得られた複数の撮像画像から、予め定められた対象物を認識する。
　特定工程は、前記画像認識工程により複数の前記撮像画像からそれぞれ異なる対象物を個別に認識した場合に、この複数の認識対象物の中から、前記車両の運転者にとって優先して注意すべき少なくとも１つの対象物を少なくとも１つの最注意対象物として特定する。
　視点変換工程は、前記複数の撮像装置のうち、前記特定工程により特定された最注意対象物を含む撮像画像を撮像した撮像装置を認識撮像装置とし、前記認識撮像装置に応じた仮想視点から見た視点変換画像に、前記複数の撮像装置により得られた撮像画像を変換する。
　画像出力工程は、前記視点変換工程により変換された視点変換画像を運転支援画像として、前記車両に搭載された表示装置に出力する。
　この表示制御方法は、上記表示制御装置と同様の理由により、該表示制御装置において得られた上記効果と同様の効果を得ることができる。
本開示の実施形態に関わる車載表示制御装置の構成を例示するブロック図である。 図１に示す自車両に搭載された複数のカメラそれぞれの撮像領域を例示する図である。 図１に示す表示制御ユニットの機能的構成を例示するブロック図である。 前記実施形態に関わる基本対応テーブルを例示する図である。 前記実施形態に関わる付加対応テーブルを例示する図である。 前記実施形態に関わる自車両に対する前後方向の仮想視点を例示する説明図である。 前記実施形態に関わる自車両に対する左右方向の仮想視点を例示する説明図である。 前記実施形態に関わる合成画像を例示する図である。 前記実施形態に関わる強調画像を付加した運転支援画像を例示する図である。 前記実施形態に関わる仮想視点設定処理のフローチャートである。
　以下、本発明の例示的な実施形態について図面を参照しながら説明する。また、下記の実施形態の説明で用いる符号を特許請求の範囲にも適宜使用しているが、これは本発明の理解を容易にする目的で使用しており、本発明の技術的範囲を限定する意図ではない。
　［１．第１実施形態］
　［１－１．全体構成］
　図１に示す車載表示制御装置１は例えば車両Ｖに搭載されている。車載表示制御装置１は、複数のカメラ１０と、レーダセンサ１５と、表示制御ユニット２０と、ディスプレイ３０と、を備える。また、車載表示制御装置１は、車内ローカルエリアネットワーク（以下「車内ＬＡＮ」という）５０に接続されており、車内ＬＡＮに接続された電子制御ユニット（以下「ＥＣＵ」という）６０との間で、各種センサの検出情報等の車両情報を共有するように構成されている。以下の説明では、これらの構成要素が搭載された車両Ｖを自車両Ｖともいう。
　なお、車内ＬＡＮ５０は、自車両Ｖの内部に配設されているローカルエリアネットワークであり、例えば、周知のＣＡＮやＦｌｅｘＲａｙ、ＬＩＮ、ＭＯＳＴ、ＡＶＣ－ＬＡＮ等の通信プロトコルを利用して各種の車両情報を伝送するものである。本実施形態においては、例えば、自車両Ｖの運転方向を示す情報（例えば、シフトレバー位置、ステアリング操作方向及び操作量、アクセル踏込量、自車速、加速度、ヨーレート、等）が車両情報として、他のＥＣＵ６０から車載表示制御装置１に送信される。
　複数のカメラ１０は、自車両Ｖの周囲を撮像するように自車両Ｖに搭載された複数の撮像装置として、自車両Ｖの前位置、後位置、右側方位置、および左側方位置にそれぞれ設置された前方カメラ２、後方カメラ４と、右側方カメラ６と、左側方カメラ８とから構成されている。それぞれのカメラ２、４、６、および８は、それぞれの設置位置に対応する撮像領域をそれぞれ有している。
　図２に示すように、前方カメラ２は、自車両Ｖの前部における例えば中央部に搭載され、自車両Ｖの前方に位置する領域である前方領域Ａ１を撮像する。
　例えば、図２に示すように、前方領域Ａ１は、自車両Ｖの前部の中央部から前方に延びる軸を中心に車幅方向に対応する水平方向に例えば１８０度で広がっている領域であり、自車両Ｖの高さ方向において所定の長さを有する領域である。
　後方カメラ４は、自車両Ｖの後部における例えば中央部に搭載され、自車両Ｖの後方に位置する領域である後方領域Ａ２を撮像する。
　例えば、図２に示すように、後方領域Ａ２は、自車両Ｖの後部の中央部から後方に延びる軸を中心に車幅方向に対応する水平方向に例えば１８０度で広がっている領域であり、自車両Ｖの高さ方向において所定の長さを有する領域である。
　右側方カメラ６は、自車両Ｖの右側部、例えば右サイドミラーに搭載され、自車両Ｖの右側方に位置する領域である右側方領域Ａ３を撮像する。
　例えば、図２に示すように、右側方領域Ａ３は、自車両Ｖの右側部の長手方向における中央部から右側方に延びる軸を中心に長手方向に例えば１８０度で広がっている領域であり、自車両Ｖの高さ方向において所定の長さを有する領域である。
　左側方カメラ８は、自車両Ｖの左側部、例えば左サイドミラーに搭載され、自車両Ｖの左側方に位置する領域である左側方領域Ａ４を撮像する。
　例えば、図２に示すように、左側方領域Ａ４は、自車両Ｖの左側部の長手方向における中央部から左側方に延びる軸を中心に長手方向に例えば１８０度で広がっている領域であり、自車両Ｖの高さ方向において所定の長さを有する領域である。
　また、各カメラ１０は、対応する撮像領域の一部が他の少なくとも１つのカメラ１０の撮像領域の一部と重複する領域（以下「重複領域」という）を有するように自車両Ｖに設置されている。
　例えば、図２に示すように、前方カメラ２の撮像領域である前方領域Ａ１は、右側方カメラ６の撮像領域である右側方領域Ａ３と一部が重複する右前重複領域ＯＡ１と、左側方カメラ８の撮像領域である左側方領域Ａ４と一部が重複する左前重複領域ＯＡ２と、を有している。また、後方カメラ４の撮像領域である後方領域Ａ２は、右側方カメラ６の撮像領域である右側方領域Ａ３と一部が重複する右後重複領域ＯＡ３と、左側方カメラ８の撮像領域である左側方領域Ａ４と一部が重複する左後重複領域ＯＡ４と、を有している。つまり、各重複領域は、対応する二つのカメラ１０の何れでも撮像可能な領域ということになる。
　以下の説明では、図２に示すように、前方領域Ａ１のうち、右前重複領域ＯＡ１及び左前重複領域ＯＡ２以外の領域を前方単領域ＳＡ１といい、後方領域Ａ２のうち、右後重複領域ＯＡ３及び左後重複領域ＯＡ４以外の領域を後方単領域ＳＡ２という。また、右側方領域Ａ３のうち、右前重複領域ＯＡ１及び右後重複領域ＯＡ３以外の領域を右側方単領域ＳＡ３、左側方領域Ａ４のうち、左前重複領域ＯＡ２及び左後重複領域ＯＡ４以外の領域を左側方単領域ＳＡ４という。つまり、前方カメラ２だけが撮像可能な前方領域Ａ１を前方単領域ＳＡ１、後方カメラ４だけが撮像可能な後方領域Ａ２を後方単領域ＳＡ２、右側方カメラ６だけが撮像可能な右側方領域Ａ３を右側方単領域ＳＡ３、左側方カメラ８だけが撮像可能な左側方領域Ａ４を左側方単領域ＳＡ４ということになる。
　レーダセンサ１５は、各カメラ１０に対応して自車両Ｖの前位置、後位置、右側方位置、および左側方位置にそれぞれ設置されている。各レーダセンサ１５は、ミリ波、レーザ光、超音波等の探査波としてのレーダ波を送信し、レーダ波が物体に反射されて生成された反射波を受信する。各レーダセンサ１５は、受信した反射波に基づいて、その物体の方位、距離、相対速度を主として検出するものである。
　例えば、自車両Ｖの前位置に設置されたレーダセンサの一例であるミリ波レーダは、三角波で周波数変調した送信波信号をアンテナから出力し、この送信波信号が自車両Ｖの前方の物体に反射することにより得られた反射波信号をアンテナで受信する。そして、ミリ波レーダは、受信した反射波信号をミキシングすることでビート信号を生成するように構成されている。ビート信号は、上記反射物体までの距離および相対速度に応じて生じる干渉により波形が変化するので、このビート信号波形に基づいて、ミリ波レーダは、自車両Ｖに対する上記反射物体の相対距離と相対速度を演算することができる。また、送信波信号の照射方向に物体が存在すれば、この物体により送信波信号を反射することにより得られた反射波信号を受信することができるため、ミリ波レーダは、この反射波信号に基づいて、自車両Ｖ前方に存在する上記反射物体の方向を検出することができる。
　ディスプレイ３０は、自車両Ｖに搭載される表示装置として、該自車両Ｖの例えば車室に設置されるものである。例えば、ディスプレイ３０は、液晶ディスプレイ、ヘッドアップディスプレイ、又はこれらの組合せ等によって構成され、車室内における自車両Ｖの運転者が視認しやすい位置に設置される。
　［１－２．表示制御ユニット２０の構成］
　図１に示す表示制御ユニット２０は、ＣＰＵ１２と、ＲＡＭ、ＲＯＭ、フラッシュメモリ等の半導体メモリ（以下「メモリ」という）１４と、を有する周知のマイクロコンピュータ及び車内ＬＡＮ用の通信コントローラを中心に構成されている。この表示制御ユニット２０のＣＰＵ１２は、メモリ１４に格納されているプログラムに基づいて各種処理を実行するように構成されている。つまり、ＣＰＵ１２によりプログラムが実行されることで、該プログラムに対応する方法が実行されることになる。
　なお、表示制御ユニット２０において、例えばマイクロコンピュータの数は１つでも複数でもよく、これら１ないし複数のマイクロコンピュータのそれぞれ設置場所は自車両Ｖ内部の何れでもよい。
　また、表示制御ユニット２０は、ＣＰＵ１２の各種処理の実行により実現される機能的構成として、図３に示すように、画像認識部２１と、視点変換部２２と、画像合成部２３と、画像設定部２４と、画像強調部２５と、画像出力部２６と、最注意特定部２７と、を備えている。なお、表示制御ユニット２０が実行するこれら機能の一部または全部を、一つあるいは複数の論理回路若しくはＩＣ等の電子回路によりハードウェア的に構成してもよい。
　画像認識部２１は、複数のカメラ１０それぞれの撮像画像（輝度を表す複数の画素から構成された画像）に基づいて、予め定められた対象物を認識する機能を有している。対象物とは、例えば歩行者や他車両等、運転支援の観点から自車両Ｖの運転者にその存在を知らせることが望ましいと考えられるものである。この対象物の認識には、各カメラ１０の撮像画像に基づく対象物の位置検出と、その検出した対象物の位置に対応する方位及び距離を基に各レーダセンサ１５の検出結果から当該対象物の相対速度を抽出する処理が含まれる。
　また、画像認識部２１においては、認識された対象物を画像中に含む少なくとも１つの撮像画像を他の撮像画像と識別するための識別情報や、認識された対象物に関する撮像画像中の位置を示す画像位置情報等がメモリ１４に記憶される。なお、画像位置情報には、画像認識部２１により認識された対象物を含む撮像領域として、単領域ＳＡ１～ＳＡ４及び重複領域ＯＡ１～ＯＡ４の中の何れか一つを特定する情報も含まれている。
　視点変換部２２は、画像認識部２１により認識された対象物を画像中に含む撮像画像を撮像した少なくとも１つ（１ないし複数）のカメラ１０のうち、１又は後述する１組のカメラ１０を認識撮像装置（以下「認識カメラ」という）として特定し、この認識カメラに予め対応づけられている仮想視点から見た視点変換画像に対象となる撮像画像を変換する機能を有している。なお、こうした機能のうち、認識カメラを特定して仮想視点を設定する機能を実現するための処理（以下「仮想視点設定処理」という）の詳細については後述する。また、本実施形態において、視点変換部２２は、例えば、全てのカメラ１０の撮像画像を対象として視点変換画像に変換し、変換した各視点変換画像を画像合成部２３に供給する。
　視点変換画像は、あるカメラ１０の視点から見た撮像画像を、仮想視点に基づく仮想カメラの視点から見ているかのように座標変換した画像であるといえる。例えば、あるカメラ１０の座標系、例えば光軸および該光軸に対する距離および角度で定義されるカメラ座標系における光軸を基準とすると、撮像画像上のあらゆる点の座標位置は、カメラ座標系上、すなわち、光軸からの角度と距離とによって表すことができる。これらの座標位置を仮想カメラの光軸に基づいて回転及び並進させることにより、上記撮像画像を視点変換することができる。つまり、仮想カメラの光軸として、仮想視点の位置及び向きを設定することにより、所望の視点変換画像を得ることが可能となる。なお、画像の視点変換技術は当業者にとって周知のため、その詳細な説明については省略する。
　また、仮想視点の位置及び向きの設定において、視点変換部２２は、メモリ１４に予め記憶されている複数の対応テーブルを用いる。この複数の対応テーブルは、基本対応テーブルと付加対応テーブルとを含む。
　基本対応テーブルは、図４Ａに例示するように、各カメラ１０と仮想視点とが一対一に対応づけられた情報を記憶するテーブルである。つまり、基本対応テーブルは、認識カメラとして特定したカメラ１０が一つであれば、１つの特定したカメラ１０に対応する仮想視点を一意に設定することが可能となるテーブルである。
　一方、付加対応テーブルは、図４Ｂに例示するように、カメラ１０の組合せと仮想視点とが一対一に対応づけられたテーブルである。
　例えば、これらの各カメラ１０の組合せは、前方カメラ２と右側方カメラ６との組合せ（図４Ｂにおいて前・右として図示）、前方カメラ２と左側方カメラ８との組合せ（図４Ｂにおいて前・左として図示）、後方カメラ４と右側方カメラ６との組合せ（図４Ｂにおいて後・右として図示）、および後方カメラ４と左側方カメラ８との組合せ（図４Ｂにおいて後・左として図示）の４つのパターンからなる。
　つまり、付加対応テーブルは、認識カメラとして特定した１組のカメラ１０が上記４パターンの組み合わせの何れかに対応すれば、仮想視点を一意に設定することが可能となるテーブルである。なお、上記４つのパターンの各組合せは、前述の「１組のカメラ１０」、及び重複領域の説明で用いた「対応する二つのカメラ１０」に相当している。
　例えば、具体的には、基本対応テーブルを用いた仮想視点の設定においては、視点変換部２２は、認識カメラとして特定したカメラ１０が前方カメラ２だけである場合、自車両Ｖの前後方向における後側斜め上方の所定の高さ位置から自車両Ｖにおける所定位置（例えば重心位置）を含む前側斜め下方を、自車両Ｖの前後方向あるいは走行面に対して所定角度で向く仮想視点Ｅ１を設定する（図５Ａ参照）。また認識カメラとして特定したカメラ１０が後方カメラ４だけである場合は、視点変換部２２は、自車両Ｖの前後方向における前側斜め上方の所定の高さ位置から自車両Ｖにおける所定位置（例えば重心位置）を含む後側斜め下方を、自車両Ｖの前後方向あるいは走行面に対して所定角度で向く仮想視点Ｅ２を設定する（図５Ａ参照）。
　同様に、視点変換部２２は、認識カメラとして特定したカメラ１０が右側方カメラ６だけである場合においては、自車両Ｖの例えば前後方向における中央部の左側方斜め上側の所定の高さ位置から自車両Ｖにおける所定位置（例えば重心位置）を含む右側方斜め下方を、自車両Ｖの車幅方向（左右方向）あるいは走行面に対して所定角度で向く仮想視点Ｅ３を設定する（図５Ｂ参照）。また、視点変換部２２は、認識カメラとして特定したカメラ１０が左側方カメラ８だけである場合においては、自車両Ｖの例えば前後方向における中央部の右側方斜め上方の所定の高さ位置から自車両Ｖにおける所定位置（例えば重心位置）を含む左側方斜め下方を、自車両Ｖの車幅方向（左右方向）あるいは走行面に対して所定角度で向く仮想視点Ｅ４を設定する（図５Ｂ参照）。
　付加対応テーブルを用いた仮想視点の設定についても、視点変換部２２は、この基本対応テーブルを用いた仮想視点の設定に準じて行われる。
　例えば、認識カメラとして特定したカメラ１０が１組の前方カメラ２および右側方カメラ６である場合、視点変換部２２は、自車両Ｖの左後側斜め上方の所定の高さ位置から自車両Ｖにおける所定位置（例えば重心位置）を含む右前側斜め下方を、例えば自車両Ｖの走行面に対して所定角度で向く仮想視点Ｅ５を設定する（図２参照）。
　認識カメラとして特定したカメラ１０が１組の前方カメラ２および左側方カメラ８である場合、視点変換部２２は、自車両Ｖの右後側斜め上方の所定の高さ位置から自車両Ｖにおける所定位置（例えば重心位置）を含む左前側斜め下方を、例えば自車両Ｖの走行面に対して所定角度で向く仮想視点Ｅ６を設定する（図２参照）。
　認識カメラとして特定したカメラ１０が１組の後方カメラ４および右側方カメラ６である場合、視点変換部２２は、自車両Ｖの左前側斜め上方の所定の高さ位置から自車両Ｖにおける所定位置（例えば重心位置）を含む右後側斜め下方を、例えば自車両Ｖの走行面に対して所定角度で向く仮想視点Ｅ７を設定する（図２参照）。
　認識カメラとして特定したカメラ１０が１組の後方カメラ４および左側方カメラ８である場合、視点変換部２２は、自車両Ｖの右前側斜め上方の所定の高さ位置から自車両Ｖにおける所定位置（例えば重心位置）を含む左後側斜め下方を、例えば自車両Ｖの走行面に対して所定角度で向く仮想視点Ｅ８を設定する（図２参照）。
　すなわち、これらの対応テーブルを用いた仮想視点の設定では、視点変換部２２は、対応するペアの認識カメラの位置の反対側斜め上方の位置から認識カメラ側斜め下方を所定角度で向く仮想視点Ｅ５～Ｅ８の内の対応する１つを設定している。
　なお、仮想視点Ｅ１～Ｅ８それぞれの上記所定角度に基づいて定まる向きについては、少なくとも自車両Ｖの車高方向、すなわち、自車両Ｖの走行面に対して垂直な方向、とならない角度範囲（例えば０～８０°の範囲）のうち何れかの所定角度に予め設定されている。この理由は、仮想視点の向きを、自車両Ｖの走行面に対して垂直な方向（即ち９０°）とした鳥瞰画像を視点変換画像として生成すると、鳥瞰画像の中央から離れるに従って画像中の物体が高さ方向に延びて変換されてしまう傾向が最も顕著になるためである。また、仮想視点Ｅ１～Ｅ８それぞれの上記所定角度に基づいて定まる向きを、自車両Ｖの走行面に対して平行な方向（即ち０°）とすることも、設定した仮想視点に基づいて生成された後述する合成画像中の自車両Ｖによる死角領域が最も増大してしまう。このため、本実施形態において、仮想視点の向きに関する設定角度は、自車両Ｖの走行面に対する垂直方向及び水平方向とならない角度範囲（例えば１０～８０°の範囲）のうち何れかに予め設定されている。
　最注意特定部２７は、画像認識部２１により複数のカメラ１０の撮像画像からそれぞれ異なる対象物を個別に認識した場合に、自車両Ｖの運転者にとって最も注意すべき対象物を最注意対象物（要注意対象物、marked　target）として特定する機能を有している。ここで複数のカメラ１０の撮像画像からそれぞれ異なる対象物を個別に認識した場合とは、複数の対象物が自車両Ｖの周囲に存在しているケースにおいて、１つのカメラ１０の撮像画像からは少なくとも１つの対象物を認識したが全ての対象物を認識できない場合であって、その認識できない少なくとも１つ対象物（非認識対象物）について別のカメラ１０の撮像画像から認識した場合をいう。なお、こうした最注意特定部２７の機能を実現するための処理（以下「最注意特定処理」という）の詳細については後述する。この最注意特定処理は、本実施形態においては、後述するように仮想視点設定処理の中で実施される。
　画像合成部２３は、視点変換部２２から供給された各視点変換画像を一部重ねて繋ぎ合わせた合成画像を生成する機能を有している。
　具体的に本実施形態では、合成画像における繋ぎ目部分を含む領域として、前方カメラ２の視点変換画像と右側方カメラ６の視点変換画像とが一部重なる第１の重複画像領域、前方カメラ２の視点変換画像と左側方カメラ８の視点変換画像とが一部重なる第２の重複画像領域、後方カメラ４の視点変換画像と右側方カメラ６の視点変換画像とが一部重なる第３の重複画像領域、後方カメラ４の視点変換画像と左側方カメラ８の視点変換画像とが一部重なる第４の重複画像領域、がそれぞれ形成されることになる。なお、これらの各重複画像領域は、各カメラ１０の撮像領域における各重複領域ＯＡ１～ＯＡ４（図２参照）にそれぞれ対応する領域であるといえる。
　また、画像合成部２３は、こうした合成画像を生成する際に、重複画像領域における各視点変換画像部分を予め設定されたブレンド率（合成率）で合成する機能を有している。この合成率は、対応する重複画像領域において、一方の視点変換画像と他方の視点変換画像とをどのような割合で合成するか、を表すものである。本実施形態では、合成率は、後述する画像設定部２４により、合成画像における繋ぎ目部分を含む重複領域において、該繋ぎ目部分を目立たなくし、これにより繋ぎ目部分の不自然さを緩和できる値に設定される。
　なお、本実施形態では、各カメラ１０の全ての視点変換画像を一部重ねて繋ぎ合わせた合成画像が形成されるため、画像合成部２３により、繋ぎ目部分の不自然さを緩和させたアラウンドビュー画像が生成されることになる。アラウンドビュー画像とは、図６Ａに示すように、自車両Ｖを含むとともに自車両Ｖの全周囲を表示可能とする画像のことをいう。
　画像設定部２４は、画像認識部２１による対象物の認識結果に基づき、上記複数の視点変換画像を合成する際のそれぞれの重複画像領域における対応するペアの視点変換画像部分（以下「重複画像領域部分」ともいう）の合成率を設定する機能を有している。画像設定部２４により設定された合成率は、画像合成部２３による各重複画像領域部分の合成処理に用いられる。
　画像強調部２５は、視点変換部２２により変換された各視点変換画像に含まれている対象物の画像部分（以下「対象物画像部分」という）を強調させる機能を有している。
　具体的に本実施形態では、画像合成部２３により生成された合成画像の対象物画像部分を強調させる処理を実施する。この強調処理は、メモリ１４に記憶されている、上記合成画像に対応する画像位置情報に基づいて、該画像位置情報に対応する対象物の合成画像上での位置を特定することにより実現される。
　対象物画像部分の強調方法の例として、画像強調部２５は、対象物を囲う画像等、対象物を強調させるための強調画像（図６Ｂ参照）を合成画像に付加しても良いし、対象物画像部分の画素の輝度を周囲の画像部分の画素の輝度よりも高くする等、対象物画像部分及び合成画像のうち少なくとも一方のコントラストを変更することにより、対象物画像部分を、合成画像中において強調しても良い。
　画像出力部２６は、画像設定部２４により設定された合成率で画像合成部２３により重複画像領域部分が合成された合成画像を運転支援画像として、ディスプレイ３０に出力する機能を有している。具体的に本実施形態では、画像出力部２６は、画像強調部２５により対象物画像部分が強調されたアラウンドビュー画像を運転支援画像として、ディスプレイ３０に出力する。運転支援画像とは、他車両や歩行者等の対象物の存在を運転者に知らせるための警告を行う等、自車両Ｖの運転支援を目的とする表示画像のことをいう。
　［１－３．仮想視点設定処理］
　次に、視点変換部２２の一部機能を実現させるためにＣＰＵ１２が行う仮想視点設定処理について、図７のフローチャートを用いて説明する。なお、本処理は、例えば車載表示制御装置１のスイッチ（非図示）がオン状態である間、表示制御ユニット２０内において予め設定された周期で繰り返し起動される。
　本視点設定処理が起動すると、ＣＰＵ１２は、視点変換部２２の機能として、ステップＳ１１０において、全てのカメラ１０の撮像画像を受け取る。そして、ＣＰＵ１２は、視点変換部２２の機能として、受け取った撮像画像の中で、画像認識部２１により認識された少なくとも１つの対象物を、画像中に含む少なくとも１つの撮像画像が存在するか否かを判定する。この判定は、例えばメモリ１４において、全てのカメラ１０の撮像画像それぞれに対して識別情報が記憶されているか否かに基づいて行うことができる。
　そして、対象物を画像中に含む少なくとも１つの撮像画像が存在すると判定した場合には、ＣＰＵ１２は、視点変換部２２の機能として、画像認識部２１により、複数のカメラ１０の撮像画像からそれぞれ異なる対象物を個別に認識したか否かを判定する。この判定は、例えばメモリ１４に、上記少なくとも１つの撮像画像における画像位置情報に基づいて行うことができる。
　ここで、画像認識部２１により複数の対象物が認識された場合であって、複数のカメラ１０の撮像画像からそれぞれ異なる対象物を個別に認識しなかったと判定した場合であり、かつ１又は１組のカメラ１０の撮像画像から全ての対象物を認識したと判定した場合、視点設定処理は、ステップＳ１２０に移行する。
　一方、画像認識部２１により複数の対象物が認識された場合であって、複数のカメラ１０の撮像画像からそれぞれ異なる対象物を個別に認識したと判定した場合、つまり１つのカメラ１０の撮像画像からは少なくとも１つの対象物を認識したが全ての対象物を認識できない場合であって、その認識できない少なくとも１つの対象物について別のカメラ１０の撮像画像から認識した場合には、視点設定処理は、ステップＳ１３０に移行する。
　ステップＳ１２０では、ＣＰＵ１２は、視点変換部２２の機能として、上記１又は１組のカメラ１０を認識カメラ１０とし、後述する最注意特定処理を経ずにメモリ１４に予め記憶されている対応テーブルを用いて、認識カメラ１０に対応する仮想視点を設定する処理（以下「通常仮想視点設定処理」という）を実施し、本視点設定処理を終了する。
　この通常仮想視点設定処理は、例えばステップＳ１１０で対象物を認識した画像を撮像したカメラ１０が１つの場合には、そのカメラ１０を認識カメラ１０として、基本対応テーブル（図４Ａ参照）を用いて、その認識カメラ１０に対応する仮想視点を設定する。また例えばステップＳ１１０で対象物を認識した画像を撮像したカメラ１０が１組の場合には、通常仮想視点設定処理は、その１組のカメラ１０の組合せを１組の認識カメラ１０として、付加対応テーブル（図４Ｂ参照）を用いて、その１組の認識カメラ１０に対応する仮想視点を設定する。
　なお、例えばステップＳ１１０で対象物を認識した画像を撮像したカメラ１０が１組の場合であって、この１組のカメラ１０それぞれの撮像画像から認識した対象物の数が異なる場合には、ＣＰＵ１２は、１組のカメラ１０の内、より多くの対象物を認識した画像を撮像した一方のカメラ１０を認識カメラとしてもよいし、ステップＳ１３０の処理を実行してもよい。
　また、ステップＳ１１０において対象物を画像中に含む撮像画像が存在しないと判定した場合にも、ＣＰＵ１２は、視点変換部２２の機能として、通常仮想視点設定処理を実施することができる。
　この場合、例えば、自車両Ｖのシフトレバーの設定位置に基づき、例えばシフトレバー位置がドライブ（Ｄ）位置であれば、ＣＰＵ１２は、前方カメラ２を認識カメラ１０とし、例えばシフトレバー位置がリバース（Ｒ）位置であれば、後方カメラ４を認識カメラ１０として、それぞれ認識カメラ１０に対応する仮想視点を設定することができる。
　ステップＳ１３０では、ＣＰＵ１２は、視点変換部２２の機能として、最注意特定部２７に最注意特定処理を開始させる。
　この最注意特定処理が開始されると、ＣＰＵ１２は、最注意特定部２７の機能として、まず、ステップＳ１４０において、複数のカメラ１０のうち、自車両Ｖの進行方向に応じた１又は１組のカメラ１０が撮像した撮像画像に対象物が含まれているか否かを判定する。
　この判定処理は、例えばＥＣＵ６０から受信した車両情報のうち、ステアリング操作方向及び操作量やヨーレート等に基づいて自車両Ｖの進行方向を特定し、特定した自車両Ｖの進行方向に基づいて、自車両Ｖの進行方向に応じた１又は１組のカメラ１０が撮像した撮像画像に対象物が含まれているか否かを判定する。
　ステップＳ１４０において、自車両Ｖの進行方向に応じた１又は１組のカメラ１０が撮像した撮像画像に対象物が含まれていると判定した場合には、視点設定処理は、ステップＳ１５０に移行する。
　一方、ステップＳ１４０において、自車両Ｖの進行方向に応じた１又は１組のカメラ１０が撮像した撮像画像に対象物が含まれていないと判定した場合には、視点設定処理は、ステップＳ１６０に移行する。
　ステップＳ１５０では、ＣＰＵ１２は、最注意特定部２７の機能として、画像認識部２１により認識された複数の対象物のうち、ステップＳ１４０で撮像画像に含まれていると判定した１ないし複数の対象物を最注意対象物として特定する。この後、視点設定処理は、ステップＳ１７０に移行する。
　一方、ステップＳ１６０では、ＣＰＵ１２は、最注意特定部２７の機能として、画像認識部２１により認識された各対象物の自車両Ｖに対する距離及び自車両Ｖに対する接近速度を、例えば、画像認識部２１の認識結果とレーダセンサ１５の検出結果とに基づく情報である例えば各対象物の自車両Ｖに対する相対速度、方位、および距離等から生成する。
　そして、ステップＳ１６０において、ＣＰＵ１２は、最注意特定部２７の機能として、画像認識部２１により認識された複数の対象物のうち、対応する自車両Ｖとの距離及び自車両Ｖへの接近速度が所定の距離速度条件を満足する１つの対象物を最注意対象物として設定する。この後、視点設定処理は、ステップＳ１７０に移行する。
　例えば、距離速度条件は、自車両Ｖとの距離が最も小さいことを成立要件とする第１の条件であってもよい。つまり、ＣＰＵ１２は、画像認識部２１により認識された複数の対象物のうち、自車両Ｖとの距離が最小である対象物を最注意対象物とすることができる。
　また例えば、距離速度条件は、自車両Ｖへの接近速度が最も大きいことを成立要件とする第２の条件であってもよい。つまり、ＣＰＵ１２は、画像認識部２１により認識された複数の対象物のうち、自車両Ｖへの接近速度が最大である対象物を最注意対象物とすることができる。
　さらに、例えば、距離速度条件は、自車両Ｖとの距離を自車両Ｖへの接近速度で除算した値が最も小さいことを成立要件とする第３の条件であってもよい。つまり、ＣＰＵ１２は、画像認識部２１により認識された複数の対象物のうち、自車両Ｖの位置へ到達するまでに必要な時間が最小である対象物を最注意対象物とすることができる。
　例えば、距離速度条件として、上記第１～第３の条件の内の少なくとも２つを共に満足する条件を用いてもよい。
　なお、接近速度は、対象物が自車両Ｖに接近する速度である。このため、対象物が自車両Ｖよりも速い速度で自車両Ｖと同一の進行方向に進行する場合においては、この対象物は自車両Ｖから離れていき、ＣＰＵ１２は、該対象物の自車両Ｖに対する接近速度を求めることが困難である。したがって、この場合、ＣＰＵ１２は、該対象物を最注意対象物としての候補から除外することが可能である。
　また、上記予め定められた距離速度条件を満足する対象物が複数存在する場合には、ＣＰＵ１２は、上記複数の対象物それぞれを、あるいは上記複数の対象物から選ばれた１つの対象物を、最注意対象物（要注意対象物、優先対象物prior　target）に設定することができる。
　つまり、最注意対象物は、注意すべき優先度が高い対象物を意味しており、単一の対象物に限定されない。
　ステップＳ１７０において、ＣＰＵ１２は、視点変換部２２の機能として、最注意特定部２７によりステップＳ１５０又はステップＳ１６０で設定された最注意対象物を含む撮像画像を撮像した１又は１組のカメラ１０を認識カメラ１０として設定する。
　ステップＳ１７０において、さらにＣＰＵ１２は、視点変換部２２の機能として、予めメモリ１４に記憶されている対応テーブル（つまり、基本対応テーブル又は付加対応テーブル）を用いて、１又は１組の認識カメラ１０に対応する仮想視点を設定し、本視点設定処理を終了する。
　具体的には、ＣＰＵ１２は、例えば自車両Ｖの進行方向に応じた１又は複数の対象物を撮像した１又は１組のカメラ１０、又は所定の距離速度条件が成立する１つの対象物を撮像した１つのカメラ１０を認識カメラ１０として設定し、この認識カメラ１０の方向に仮想視点を設定する。
　［１－４．効果］
　以上詳述した実施形態に関わる車載表示制御装置１は、以下の効果を得ることができる。
　上記実施形態に関わる車載表示制御装置１の構成によれば、複数のカメラ１０の撮像画像からそれぞれ異なる対象物を個別に認識した場合であっても、自車両Ｖの周囲の状況に応じて、運転者にとって優先的に注意すべき対象物（即ち、最注意対象物）を向くように仮想視点を設定する。そして、車載表示制御装置１の構成は、複数のカメラ１０の撮像画像を、このようにして設定した仮想視点から見た視点変換画像に変換することにより、適切な運転支援画像を運転者に提示することができる。
　また、上記仮想視点を設定する処理（仮想視点設定処理）において、車載表示制御装置１の最注意特定部２７は、複数のカメラ１０のうち、自車両Ｖの進行方向に応じたカメラ１０が撮像した画像に含まれている対象物を最注意対象物として特定する。この構成により、例えば自車両Ｖの進行を妨げる可能性が最も高いと推測される対象物を向くように仮想視点を設定することができる。この結果、複数のカメラ１０の撮像画像を、設定した仮想視点から見た視点変換画像に変換することにより、運転者にとって好適な運転支援画像を提示することができる。
　さらに、上記仮想視点設定処理において、最注意特定部２７は、自車両Ｖとの距離が最も小さい対象物を最注意対象物として特定する。この構成により、例えば自車両Ｖの死角に位置する可能性が最も高いと推測される対象物を向くように仮想視点を設定することができる。この結果、複数のカメラ１０の撮像画像を、設定した仮想視点から見た視点変換画像に変換することにより、運転者にとって好適な運転支援画像を提示することができる。
　そして、仮想視点設定処理において、最注意特定部２７は、自車両Ｖへの接近速度が最も大きい対象物を最注意対象物として特定する。この構成により、例えば運転者にとって今後注意を要すべき可能性が最も高いと推測される対象物を向くように仮想視点を設定することができる。この結果、複数のカメラ１０の撮像画像を、設定した仮想視点から見た視点変換画像に変換することにより、運転者にとって好適な運転支援画像を提示することができる。
　上記に加えて、仮想視点設定処理において、最注意特定部２７は、自車両Ｖとの距離を自車両Ｖへの接近速度で除算した値が最も小さい対象物を最注意対象物として特定する。この構成により、例えば自車両Ｖと衝突する可能性が最も高いと推測される対象物を向くように仮想視点を設定することができる。この結果、複数のカメラ１０の撮像画像を、設定した仮想視点から見た視点変換画像に変換することにより、運転者にとって好適な運転支援画像を提示することができる。
　［２．他の実施形態］
　以上、本発明の実施形態について説明したが、本発明は上記実施形態に限定されることなく、種々の形態を採り得る。
　上記実施形態では、各カメラ１０は、それぞれの撮像領域に関して前述した重複領域を有するように自車両Ｖに設置されているが、これに限定されるものではなく、こうした重複領域を有さないように自車両Ｖに設置されてもよい。これに伴い、上記実施形態では、対応テーブルとして、基本対応テーブルと付加対応テーブルとを有しているが、本開示はこの構成に限定されるものではない。例えば、上記実施形態の変形例では、基本対応テーブルだけを有するようにしてもよい。
　上記実施形態では、視点変換部２２は、対応テーブルを用いて認識カメラに応じた仮想視点を設定しているが、本開示は、この構成に限定されるものではない。例えば、上記実施形態の変形例では、視点変換部２２は、ステップＳ１７０において、対応テーブルを用いることなく、認識カメラに応じた仮想視点として、最注意対象物の位置に応じた仮想視点を動的に設定するようにしてもよい（ステップＳ１７０ａ）。
　また、ステップＳ１５０において、複数の対象物が最注意対象物として特定された場合、ステップＳ１７０において、視点変換部２２は、自車両Ｖに対する、前記複数の特定最注意対象物の距離および接近速度の少なくとも一方に基づいて、前記複数の特定最注意対象物を含む撮像画像を撮像した複数の認識カメラ１０に対応する複数の仮想視点の設定の優先順位を決定し、決定した優先順位に基づいて、前記複数の仮想視点を順次設定し、複数のカメラ１０の撮像画像を、順次設定した複数の仮想視点それぞれから見た視点変換画像に順次変換することも可能である（ステップＳ１７０ｂ）。この構成により、運転者にとってさらに好適な運転支援画像を提示することも可能である。
　上記実施形態における１つの構成要素が有する機能を複数の構成要素として分散させたり、複数の構成要素が有する機能を１つの構成要素に統合させたりしてもよい。また、上記実施形態の構成の一部を省略してもよい。また、上記実施形態の構成の少なくとも一部を、他の上記実施形態の構成に対して付加又は置換してもよい。なお、特許請求の範囲に記載した文言のみによって特定される技術思想に含まれるあらゆる態様が本発明の実施形態である。
　上述した車載表示制御装置１の他、当該車載表示制御装置１を構成要素とするシステム、当該車載表示制御装置１としてコンピュータを機能させるための１ないし複数のプログラム、このプログラムの少なくとも一部を記録した１ないし複数の記録媒体（具体的には、半導体メモリ等の非遷移的実体的記録媒体）、表示制御方法など、種々の形態で本発明を実現することもできる。
　なお、本出願は、日本特許出願２０１５－１６７８９３を基礎として優先権を主張するものであり、この優先権の基礎となる日本特許出願の開示内容は、参照書類として本出願に組み込まれている。
　１…車載表示制御装置、２…前方カメラ、４…後方カメラ、６…右側方カメラ、８…左側方カメラ、１０…カメラ、１２…ＣＰＵ、１４…メモリ、１５…レーダセンサ、２０…表示制御ユニット、２１…画像認識部、２２…視点変換部、２３…画像合成部、２４…画像設定部、２５…画像強調部、２６…画像出力部、２７…最注意特定部、３０…ディスプレイ、Ｅ１～Ｅ８…仮想視点。

Claims (9)

  1. 　車両に搭載された複数の撮像装置（１０）により、該車両の周囲における対応する撮像領域を撮像して得られた複数の撮像画像から、予め定められた対象物を認識する画像認識部（２１）と、
    　前記画像認識部により複数の前記撮像画像からそれぞれ異なる対象物を個別に認識した場合に、この複数の認識対象物の中から、前記車両の運転者にとって優先して注意すべき少なくとも１つの対象物を少なくとも１つの最注意対象物として特定する特定部（２７）と、
    　前記複数の撮像装置のうち、前記特定部により特定された最注意対象物を含む撮像画像を撮像した撮像装置を認識撮像装置とし、前記認識撮像装置に応じた仮想視点から見た視点変換画像に、前記複数の撮像装置により得られた撮像画像を変換する視点変換部（２２）と、
    　前記視点変換部により変換された視点変換画像を運転支援画像として、前記車両に搭載された表示装置（３０）に出力する画像出力部（２６）と、
    を備える表示制御装置。
  2. 　請求項１に記載の表示制御装置であって、
    　前記複数の撮像装置は、前記車両の前方を撮像する前方側撮像装置を含んでおり、
    　前記特定部は、前記車両の進行方向が前方の場合、前記複数の認識対象物の中から、前記複数の撮像装置のうち、前記前方側撮像装置が撮像した撮像画像に含まれている対象物を、前記少なくとも１つの最注意対象物として特定することを特徴とする表示制御装置。
  3. 　請求項１に記載の表示制御装置であって、
    　前記複数の撮像装置は、前記車両の後方を撮像する後方側撮像装置を含んでおり、
    　前記特定部は、前記車両の進行方向が後方の場合、前記複数の認識対象物の中から、前記複数の撮像装置のうち、前記後方側撮像装置が撮像した撮像画像に含まれている対象物を、前記少なくとも１つの最注意対象物として特定することを特徴とする表示制御装置。
  4. 　請求項１乃至請求項３の内の何れか１項に記載の表示制御装置であって、
    　前記特定部は、前記複数の認識対象物の中から、前記車両との距離が最も小さい対象物を、前記少なくとも１つの最注意対象物として特定することを特徴とする表示制御装置。
  5. 　請求項１乃至請求項４の内の何れか１項に記載の表示制御装置であって、
    　前記特定部は、前記複数の認識対象物の中から、前記車両への接近速度が最も大きい対象物を、前記少なくとも１つの最注意対象物として特定することを特徴とする表示制御装置。
  6. 　請求項１乃至請求項５の内の何れか１項に記載の表示制御装置であって、
    　前記特定部は、前記複数の認識対象物の中から、前記車両との距離を前記車両への接近速度で除算した値が最も小さい対象物を、前記少なくとも１つの最注意対象物として特定することを特徴とする表示制御装置。
  7. 　請求項１乃至請求項６の内の何れか１項に記載の表示制御装置であって、
    　前記仮想視点は、前記複数の撮像装置に一対一に対応付けられた複数の仮想視点であり、前記複数の撮像装置と前記複数の仮想視点とが一対一に対応付けられた情報を記憶する記憶部（１４）を備え、
    　前記視点変換部は、前記複数の仮想視点から、前記認識撮像装置に対応する仮想視点を選択することを特徴とする表示制御装置。
  8. 　請求項１乃至請求項６の内の何れか１項に記載の表示制御装置であって、
    　前記仮想視点は、前記複数の撮像装置に一対一に対応付けられた複数の仮想視点であり、
    　前記特定部により、前記複数の認識対象物の中から、複数の対象物が前記最注意対象物として特定された場合、前記視点変換部は、前記車両に対する、前記複数の特定最注意対象物の距離および接近速度の少なくとも一方に基づいて、前記複数の特定最注意対象物を含む撮像画像を撮像した複数の認識撮像装置に対応する複数の仮想視点の設定の優先順位を決定し、決定した優先順位に基づいて、前記複数の仮想視点を順次設定し、複数の撮像装置により得られた撮像画像を、順次設定した複数の仮想視点それぞれから見た視点変換画像に順次変換することを特徴とする表示制御装置。
  9. 　車両に搭載された複数の撮像装置（１０）により、該車両の周囲における対応する撮像領域を撮像して得られた複数の撮像画像から、予め定められた対象物を認識する画像認識工程（２１）と、
    　前記画像認識工程により複数の前記撮像画像からそれぞれ異なる対象物を個別に認識した場合に、この複数の認識対象物の中から、前記車両の運転者にとって優先して注意すべき少なくとも１つの対象物を少なくとも１つの最注意対象物として特定する特定工程（２７）と、
    　前記複数の撮像装置のうち、前記特定工程により特定された最注意対象物を含む撮像画像を撮像した撮像装置を認識撮像装置とし、前記認識撮像装置に応じた仮想視点から見た視点変換画像に、前記複数の撮像装置により得られた撮像画像を変換する視点変換工程（２２）と、
    　前記視点変換工程により変換された視点変換画像を運転支援画像として、前記車両に搭載された表示装置（３０）に出力する画像出力工程（２６）と、
    を備える表示制御方法。
PCT/JP2016/075026 2015-08-27 2016-08-26 表示制御装置および表示制御方法 WO2017034026A1 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2015-167893 2015-08-27
JP2015167893A JP6406175B2 (ja) 2015-08-27 2015-08-27 車載表示制御装置、車載表示制御方法

Publications (1)

Publication Number Publication Date
WO2017034026A1 true WO2017034026A1 (ja) 2017-03-02

Family

ID=58100557

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2016/075026 WO2017034026A1 (ja) 2015-08-27 2016-08-26 表示制御装置および表示制御方法

Country Status (2)

Country Link
JP (1) JP6406175B2 (ja)
WO (1) WO2017034026A1 (ja)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6769187B2 (ja) * 2016-09-05 2020-10-14 日産自動車株式会社 表示装置の表示方法及び表示装置
TWI639978B (zh) * 2017-07-19 2018-11-01 和碩聯合科技股份有限公司 視訊監控系統與視訊監控方法
JP2019169042A (ja) * 2018-03-26 2019-10-03 株式会社デンソーテン 視点切替装置及び視点切替方法

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002135765A (ja) * 1998-07-31 2002-05-10 Matsushita Electric Ind Co Ltd カメラキャリブレーション指示装置及びカメラキャリブレーション装置
JP2006148327A (ja) * 2004-11-17 2006-06-08 Olympus Corp 画像生成装置
JP2007295043A (ja) * 2006-04-20 2007-11-08 Matsushita Electric Ind Co Ltd 車両周囲監視装置
JP2009206702A (ja) * 2008-02-27 2009-09-10 Fujitsu Ltd 画像処理装置、画像処理方法
JP2011182059A (ja) * 2010-02-26 2011-09-15 Mitsubishi Motors Corp 車両周辺監視装置
JP2012253428A (ja) * 2011-05-31 2012-12-20 Fujitsu Ten Ltd 情報処理システム、サーバ装置、および、車載装置
JP2014064144A (ja) * 2012-09-20 2014-04-10 Komatsu Ltd 作業車両用周辺監視システム及び作業車両

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002135765A (ja) * 1998-07-31 2002-05-10 Matsushita Electric Ind Co Ltd カメラキャリブレーション指示装置及びカメラキャリブレーション装置
JP2006148327A (ja) * 2004-11-17 2006-06-08 Olympus Corp 画像生成装置
JP2007295043A (ja) * 2006-04-20 2007-11-08 Matsushita Electric Ind Co Ltd 車両周囲監視装置
JP2009206702A (ja) * 2008-02-27 2009-09-10 Fujitsu Ltd 画像処理装置、画像処理方法
JP2011182059A (ja) * 2010-02-26 2011-09-15 Mitsubishi Motors Corp 車両周辺監視装置
JP2012253428A (ja) * 2011-05-31 2012-12-20 Fujitsu Ten Ltd 情報処理システム、サーバ装置、および、車載装置
JP2014064144A (ja) * 2012-09-20 2014-04-10 Komatsu Ltd 作業車両用周辺監視システム及び作業車両

Also Published As

Publication number Publication date
JP2017046214A (ja) 2017-03-02
JP6406175B2 (ja) 2018-10-17

Similar Documents

Publication Publication Date Title
JP6406159B2 (ja) 車載表示制御装置、車載表示制御方法
JP5999032B2 (ja) 車載表示装置およびプログラム
JP4883977B2 (ja) 車両用画像表示装置
WO2017022497A1 (ja) 運転者に支援画像を提示する装置及びその方法
WO2016002163A1 (ja) 画像表示装置、画像表示方法
US11321911B2 (en) Method for representing the surroundings of a vehicle
JP6524922B2 (ja) 運転支援装置、運転支援方法
JP5953824B2 (ja) 車両用後方視界支援装置及び車両用後方視界支援方法
JP6586849B2 (ja) 情報表示装置及び情報表示方法
JP6744236B2 (ja) 画像表示装置
JP2009206747A (ja) 車両用周囲状況監視装置及び映像表示方法
KR102135857B1 (ko) 화상 표시 장치
US20190204598A1 (en) Display control device and display control method
WO2017034026A1 (ja) 表示制御装置および表示制御方法
WO2018159016A1 (ja) 俯瞰映像生成装置、俯瞰映像生成システム、俯瞰映像生成方法およびプログラム
JP2020068515A (ja) 画像処理装置
WO2015122124A1 (ja) 車両周辺画像表示装置、車両周辺画像表示方法
JP2014146083A (ja) 物体検出装置、物体検出システム及び物体検出方法
JP2010264945A (ja) 駐車支援装置、駐車支援方法及び駐車支援プログラム
WO2016013167A1 (ja) 車両用表示制御装置
JP6178580B2 (ja) 物体検出装置、物体検出システム及び物体検出方法
JP2016213708A (ja) 車両用表示装置
JP2007249814A (ja) 画像処理装置及び画像処理プログラム
CN110077320B (zh) 一种基于雷达的倒车方法及装置
JP2017182543A (ja) 運転支援方法及び運転支援装置

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 16839373

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 16839373

Country of ref document: EP

Kind code of ref document: A1