WO2010137685A1 - 画像生成装置及び画像表示システム - Google Patents

画像生成装置及び画像表示システム Download PDF

Info

Publication number
WO2010137685A1
WO2010137685A1 PCT/JP2010/059077 JP2010059077W WO2010137685A1 WO 2010137685 A1 WO2010137685 A1 WO 2010137685A1 JP 2010059077 W JP2010059077 W JP 2010059077W WO 2010137685 A1 WO2010137685 A1 WO 2010137685A1
Authority
WO
WIPO (PCT)
Prior art keywords
mode
image
display
vehicle
display mode
Prior art date
Application number
PCT/JP2010/059077
Other languages
English (en)
French (fr)
Inventor
行輔 尾▲崎▼
大野　恭裕
貴克 山下
Original Assignee
富士通テン株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 富士通テン株式会社 filed Critical 富士通テン株式会社
Priority to US13/322,657 priority Critical patent/US8937558B2/en
Priority to CN201080023693.6A priority patent/CN102448774B/zh
Publication of WO2010137685A1 publication Critical patent/WO2010137685A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B60R1/23—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view
    • B60R1/27—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view providing all-round vision, e.g. using omnidirectional cameras
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B60R1/28—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with an adjustable field of view
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G08G1/168—Driving aids for parking, e.g. acoustic or visual feedback on parking space
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/14—Display of multiple viewports
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/10—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used
    • B60R2300/105—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used using multiple cameras
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/304—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing using merged images, e.g. merging camera image with stored images
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/60—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective
    • B60R2300/602—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective with an adjustable viewpoint
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/806—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for aiding parking
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/8093—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for obstacle warning
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00—Aspects of display data processing
    • G09G2340/12—Overlay of images, i.e. displayed pixel being the result of switching between the corresponding input pixels
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2380/00—Specific applications
    • G09G2380/10—Automotive applications

Definitions

  • the present invention relates to a technique for generating an image to be displayed on a display device mounted on a vehicle.
  • the back monitor As described above, it has been proposed to display an image showing the rear region of the vehicle in various modes. For example, it has been proposed to display an image that has a wider field of view in the horizontal direction than a general camera, or an image that looks down from behind the vehicle.
  • the present invention has been made in view of the above problems, and an object of the present invention is to provide a technique that does not require a complicated operation regarding selection of a display mode.
  • An image generation device for generating an image to be displayed on a display device mounted on a vehicle, wherein an image showing a peripheral region of the vehicle is displayed while the transmission of the vehicle is operated to a reverse position.
  • a mode receiving unit that receives an instruction from the user to select one display mode from among a plurality of different display modes to be displayed on the device and set the selected display mode as the current mode;
  • a non-volatile storage unit that stores mode information indicating the current mode set to the generation unit, and a generation unit that generates one image of the plurality of display modes according to the mode information stored in the storage unit
  • an output unit that outputs the generated image to the display device, wherein the generation unit has a mode information other than a first specific display mode of the plurality of display modes.
  • An image of a different second specific display mode is generated.
  • the image generation apparatus further including a controller including the storage unit, wherein the controller reads the mode information stored in the storage unit, and the mode information is the first identification.
  • the generation unit When a display mode other than the display mode is indicated as the current mode, the generation unit generates the image of the current mode, the controller reads the mode information stored in the storage unit, and the mode information is
  • the first specific display mode is indicated as the current mode, the generation unit is caused to generate the image in the second specific display mode.
  • the generation unit may be one of the plurality of display modes when the transmission of the vehicle is operated to the reverse position. Begin generating the image.
  • the first specific display mode is used for final adjustment of the parking position of the vehicle.
  • an image viewed from a virtual viewpoint in which the rear end of the vehicle is looked down directly below is displayed on the display device. This is a display mode for displaying.
  • An image generation device for generating an image to be displayed on a display device mounted on a vehicle, wherein an image showing a peripheral region of the vehicle is displayed while the transmission of the vehicle is operated to a reverse position.
  • a mode receiving unit for receiving an instruction from the user to select one display mode from a plurality of different display modes to be displayed on the apparatus and set the selected display mode as the current mode;
  • a nonvolatile storage unit that stores information; a generation unit that generates one of the plurality of display modes according to the mode information stored in the storage unit; and the display of the generated image
  • An output unit that outputs to the device, wherein the storage unit is a display mode other than the first specific display mode among the plurality of display modes.
  • the mode information indicating the current mode is stored, and the storage unit has a second specific display different from the first specific display mode when the most recently set current mode is the first specific display mode.
  • the mode information indicating the mode is stored.
  • the image generation apparatus further including a controller including the storage unit, wherein the controller is configured such that the current mode set most recently is the display mode other than the first specific display mode.
  • the mode information indicating the current mode is stored in the storage unit, and the controller stores the second specific information in the storage unit when the most recently set current mode is the first specific display mode.
  • the mode information indicating the display mode is stored.
  • the generation unit may be one of the plurality of display modes when the transmission of the vehicle is operated to the reverse position. Begin generating the image.
  • the first specific display mode is used for final adjustment of the parking position of the vehicle.
  • the display device is used when the vehicle is moved backward.
  • the display mode of the image to be displayed can be selected.
  • the display mode that has been set most recently as the current mode is set as the display mode of the image to be displayed on the display device next time. For this reason, if the user selects the display mode according to his / her preference and the parking environment, a complicated operation of selecting the display mode every time the vehicle is moved backward becomes unnecessary.
  • the most recent current mode is the first specific display mode, it is not set as the display mode of the image to be displayed next time on the display device. Therefore, the first specific display mode is used in a special condition. The image can be prevented from being displayed immediately after the backward operation. Thereby, the complicated operation of switching the specific display mode to another display mode is further unnecessary.
  • the display mode image used for the final adjustment of the parking position can be prevented from being displayed immediately after the start of reverse.
  • the display mode image used for confirming the clearance between the rear end of the vehicle and the surrounding objects can be prevented from being displayed immediately after the start of reverse.
  • FIG. 1 is a block diagram of an image display system.
  • FIG. 2 is a diagram illustrating a position where the in-vehicle camera is arranged in the vehicle.
  • FIG. 3 is a diagram illustrating a method for generating a composite image viewed from a virtual viewpoint.
  • FIG. 4 is a diagram illustrating transition of operation modes of the image display system.
  • FIG. 5 is a diagram illustrating display mode transition in the front mode.
  • FIG. 6 is a diagram illustrating an example of a display image in the two-image mode.
  • FIG. 7 is a diagram for explaining the field-of-view range shown in the two-image mode.
  • FIG. 8 is a diagram illustrating a screen display example in the two-image mode.
  • FIG. 1 is a block diagram of an image display system.
  • FIG. 2 is a diagram illustrating a position where the in-vehicle camera is arranged in the vehicle.
  • FIG. 3 is a diagram illustrating a method for generating a composite image
  • FIG. 9 is a diagram illustrating the transition of the viewpoint position of the virtual viewpoint.
  • FIG. 10 is a diagram illustrating an example of a display image in the two-image mode.
  • FIG. 11 is a diagram illustrating an example of a display image in the two-image mode.
  • FIG. 12 is a diagram illustrating a flow of processing for changing the viewpoint position of the virtual viewpoint.
  • FIG. 13 is a diagram illustrating a screen display example in the single image mode.
  • FIG. 14 is a diagram illustrating how the virtual viewpoint moves.
  • FIG. 15 is a diagram illustrating a screen display example in the side camera mode.
  • FIG. 16 is a diagram illustrating display mode transition in the back mode.
  • FIG. 17 is a diagram illustrating the horizontal angle of the visual field range in the standard mode.
  • FIG. 18 is a diagram illustrating the horizontal angle of the viewing range in the wide mode.
  • FIG. 19 is a diagram illustrating an example of a display image in the combined standard mode.
  • FIG. 20 is a diagram illustrating an example of a display image in the composite overhead mode.
  • FIG. 21 is a diagram illustrating the viewpoint position of the virtual viewpoint in the composite overhead view mode.
  • FIG. 22 is a diagram showing a virtual viewpoint setting screen.
  • FIG. 23 is a diagram showing a virtual viewpoint setting screen.
  • FIG. 24 is a diagram illustrating an example of a display image in the combined standard mode.
  • FIG. 25 is a diagram showing a flow of processing for storing mode information.
  • FIG. 26 is a diagram showing a flow of processing at the start time of the back mode.
  • FIG. 27 is a diagram showing a flow of processing for storing mode information.
  • FIG. 28 is a diagram showing the flow of processing at the start of the back mode.
  • FIG. 1 is a block diagram of an image display system 100 according to the present embodiment.
  • This image display system 100 is mounted on a vehicle (in this embodiment, an automobile), and has a function of photographing the periphery of the vehicle, generating an image, and displaying the image in the passenger compartment.
  • a driver of a vehicle serving as a user of the image display system 100 can easily grasp the periphery of the vehicle by using the image display system 100.
  • the image display system 100 provides various information to the imaging unit 5 that captures the periphery of the vehicle, the image generation device 10 that generates a display image indicating the periphery of the vehicle, and the driver of the vehicle. And a navigation device 20 to be provided.
  • the image generation device 10 is configured as an ECU (Electronic Control Unit) having an image generation function, and is disposed at a predetermined position of the vehicle.
  • ECU Electronic Control Unit
  • Navigation device 20 provides navigation guidance to the driver.
  • the navigation device 20 includes a display 21 such as a liquid crystal having a touch panel function, an operation unit 22 that is operated by a driver, and a control unit 23 that controls the entire device.
  • the navigation device 20 is installed on an instrument panel or the like of the vehicle so that the screen of the display 21 is visible from the driver.
  • Various instructions from the driver are received by the operation unit 22 and the display 21 as a touch panel.
  • the control part 23 is comprised as a computer provided with CPU, RAM, ROM, etc., and various functions including a navigation function are implement
  • the navigation device 20 is communicably connected to the image generation device 10, and can transmit and receive various control signals to and from the image generation device 10 and receive display images generated by the image generation device 10.
  • a map image for navigation guidance is usually displayed on the display 21, but in response to a predetermined driver operation or a signal from the image generation device 10, a map around the vehicle generated by the image generation device 10 is displayed.
  • a display image showing the state is displayed.
  • the navigation device 20 also functions as a display device that receives and displays the display image generated by the image generation device 10.
  • the photographing unit 5 is electrically connected to the image generation device 10 and operates based on a signal from the image generation device 10.
  • the photographing unit 5 includes a front camera 51, a side camera 52, and a back camera 53 that are in-vehicle cameras. These in-vehicle cameras 51, 52, and 53 include a lens and an image sensor and electronically acquire an image.
  • FIG. 2 is a diagram showing positions where the in-vehicle cameras 51, 52, 53 are arranged on the vehicle 9.
  • the front camera 51 is provided in the vicinity of the license plate mounting position at the front end of the vehicle 9, and its optical axis 51 a is directed in the straight traveling direction of the vehicle 9.
  • the side cameras 52 are provided on the left and right door mirrors 93, respectively, and their optical axes 52a are directed outward of the vehicle 9 so as to be orthogonal to the straight traveling direction.
  • the back camera 53 is provided in the vicinity of the license plate mounting position at the rear end of the vehicle 9, and its optical axis 53 a is directed in the direction opposite to the straight traveling direction of the vehicle 9.
  • the attachment position of the front camera 51 and the back camera 53 is desirably substantially in the center of the left and right, but may be slightly shifted in the left and right directions from the center of the left and right.
  • a fish-eye lens or the like is employed as the lens of these in-vehicle cameras 51, 52, 53, and the in-vehicle cameras 51, 52, 53 have an angle of view ⁇ of 180 degrees or more. For this reason, it is possible to shoot the entire periphery of the vehicle 9 by using the four in-vehicle cameras 51, 52, and 53.
  • the image generation apparatus 10 includes a control unit 1 that controls the entire apparatus, an image processing unit 3 that processes a captured image acquired by the imaging unit 5 and generates a display image, and a navigation device 20. And a communication unit 42 that communicates with each other. Various instructions from the driver received by the operation unit 22 or the display 21 of the navigation device 20 are received by the communication unit 42 as control signals and input to the control unit 1. Thereby, the image generation apparatus 10 can also perform an operation in response to a driver operation on the navigation apparatus 20.
  • the image processing unit 3 is configured as a hardware circuit capable of various types of image processing, and includes a captured image adjustment unit 31, a composite image generation unit 32, and a display image generation unit 33 as main functions.
  • the captured image adjustment unit 31 adjusts the captured image acquired by the imaging unit 5 for display.
  • the photographed image adjustment unit 31 performs image quality adjustment such as brightness and contrast of the photographed image, and correction of image distortion so that it becomes natural during display.
  • the composite image generation unit 32 generates a composite image viewed from an arbitrary virtual viewpoint around the vehicle 9 based on the plurality of captured images acquired by the plurality of in-vehicle cameras 51, 52, and 53 of the imaging unit 5. A method by which the composite image generation unit 32 generates a composite image viewed from a virtual viewpoint will be described later.
  • the display image generation unit 33 combines one or more of the photographed image adjusted by the photographed image adjustment unit 31 and the composite image generated by the composite image generation unit 32 and provides the display to the driver. An image is generated.
  • the generated display image is output to the navigation device 20 by the communication unit 42 and displayed on the display 21 of the navigation device 20.
  • the control unit 1 is configured as a computer including a CPU, a RAM, a ROM, and the like, and various control functions are realized by the CPU performing arithmetic processing according to a predetermined program.
  • the functions of the control unit 1 realized in this way include a function of controlling image processing executed by the image processing unit 3, that is, a function of controlling the content of the display image.
  • Various parameters necessary for generating the composite image generated by the composite image generation unit 32 are instructed by the function of the control unit 1.
  • the control unit 1 includes a nonvolatile memory 11 constituted by a flash memory and a timer 12 having a time measuring function.
  • the image generation device 10 includes a signal input unit 41 for inputting signals from various devices provided in the vehicle 9.
  • a signal from the outside of the image generation apparatus 10 is input to the control unit 1 via the signal input unit 41.
  • signals indicating various types of information are input to the control unit 1 from the shift sensor 81, the vehicle speed sensor 82, the direction indicator 83, the steering sensor 84, the changeover switch 85, and the like.
  • a part or all of the shift sensor 81, the vehicle speed sensor 82, the direction indicator 83, the steering sensor 84, and the changeover switch 85 may be included in the image display system 100.
  • the operation position of the shift lever of the transmission of the vehicle 9 ie, “P (parking)”, “D (forward)”, “N (neutral)”, “R (reverse)”, etc.
  • the shift position is input.
  • the traveling speed (km / h) of the vehicle 9 at that time is input.
  • a turn signal indicating a direction instruction based on the operation of the turn signal switch that is, a direction instruction intended by the driver of the vehicle 9 is input.
  • a turn signal is generated, and the turn signal indicates the operated direction (left direction or right direction).
  • the turn signal switch is in the neutral position, the turn signal is turned off.
  • the steering sensor 84 receives the direction and angle of rotation of the steering wheel by the driver.
  • the changeover switch 85 is a switch that receives an instruction from the driver to change the mode of the display image. A signal indicating a driver instruction is input to the control unit 1 from the changeover switch 85.
  • FIG. 3 is a diagram for explaining a method of generating a composite image viewed from an arbitrary virtual viewpoint.
  • the front camera 51, the side camera 52, and the back camera 53 of the photographing unit 5 perform photographing simultaneously, four photographed images P1 to P4 respectively showing the front, left side, right side, and rear of the vehicle 9 are acquired.
  • the obtained four captured images P1 to P4 are multiplexed and then projected onto a virtual three-dimensional solid curved surface SP.
  • the three-dimensional curved surface SP has, for example, a substantially hemispherical shape (a bowl shape), and a central portion (a bottom portion of the bowl) is determined as the position of the vehicle 9.
  • the correspondence between the positions of the pixels included in the captured images P1 to P4 and the positions of the pixels of the solid curved surface SP is determined in advance. Therefore, the value of each pixel of the three-dimensional curved surface SP can be determined based on this correspondence and the value of each pixel included in the captured images P1 to P4.
  • the correspondence between the positions of the pixels of the captured images P1 to P4 and the positions of the pixels of the three-dimensional curved surface SP is stored as table data in the nonvolatile memory 11 of the control unit 1 or the like.
  • the virtual viewpoint VP for the three-dimensional curved surface SP is set by the control unit 1 at an arbitrary viewpoint position around the vehicle in an arbitrary visual field direction.
  • the virtual viewpoint VP is defined by the viewpoint position and the viewing direction. Then, according to the set virtual viewpoint VP, a necessary area on the three-dimensional curved surface SP is cut out as an image, so that a composite image viewed from an arbitrary virtual viewpoint is generated.
  • a composite image CP1 that looks down from directly above the vehicle 9 is generated.
  • the virtual viewpoint VP2 in which the viewpoint position is the left rear position of the vehicle 9 and the visual field direction is the substantially forward direction of the vehicle 9 is set, A composite image CP2 that looks over the entire image is generated.
  • the relationship between the virtual viewpoint VP and the necessary area on the three-dimensional curved surface SP is determined in advance, and is stored in the nonvolatile memory 11 of the control unit 1 as table data.
  • the image of the vehicle 9 shown in the composite image is prepared in advance as data such as a bitmap and stored in the nonvolatile memory 11 or the like.
  • data of the image of the vehicle 9 having a shape corresponding to the viewpoint position and the visual field direction of the virtual viewpoint VP of the composite image is read and superimposed on the composite image.
  • the same reference numeral 9 is used for both the actual vehicle and the vehicle image shown in the image.
  • FIG. 4 is a diagram illustrating transition of operation modes of the image display system 100.
  • the image display system 100 has three operation modes: a navigation mode M0, a front mode M1, and a back mode M2. These operation modes are switched by the control of the control unit 1 in accordance with the driver's operation and the vehicle running state.
  • the navigation mode M0 is an operation mode in which a map image for navigation guidance is displayed on the display 21 by the function of the navigation device 20.
  • the functions of the photographing unit 5 and the image generation device 10 are not used, and various displays are performed using the functions of the navigation device 20 alone. For this reason, when the navigation device 20 has a function of receiving and displaying television broadcast radio waves, a television broadcast screen may be displayed instead of the map image for navigation guidance.
  • the front mode M1 and the back mode M2 use the functions of the photographing unit 5 and the image generation device 10 to display on the display 21 an image for display that shows the situation around the vehicle 9 in real time. It is.
  • the front mode M1 is an operation mode for enabling a front monitor function for displaying a display image mainly showing a front area and a side area of the vehicle 9 that are required when the vehicle moves forward.
  • the back mode M2 is an operation mode for enabling a back monitor function for displaying a display image mainly showing a rear area of the vehicle 9 that is required when the vehicle is going backward.
  • the mode In the navigation mode M0, when the traveling speed input from the vehicle speed sensor 82 is less than 10 km / h, for example, the mode is switched to the front mode M1.
  • the front mode M1 when the traveling speed becomes, for example, 10 km / h or higher, the mode is switched to the navigation mode M0.
  • the front mode M1 is canceled in order to concentrate the driver on traveling.
  • the traveling speed of the vehicle 9 is relatively low, the driver drives in consideration of the situation around the vehicle 9, more specifically, approaching an intersection with poor visibility, changing direction, or shifting the width. There are a lot of scenes that do. For this reason, when the traveling speed is relatively low, the mode is switched to the front mode M1 mainly showing the front area and the side area of the vehicle 9.
  • a condition that there is an explicit operation instruction from the driver may be added to the condition that the traveling speed is less than 10 km / h.
  • the mode is switched to the back mode M2. That is, when the transmission of the vehicle 9 is operated to the “R (reverse)” position, the vehicle 9 is in a reverse state, and therefore, the back mode M2 that mainly shows the rear region of the vehicle 9 is switched.
  • the position of the shift lever is other than “R (reverse)” in the back mode M2, it is switched to the navigation mode M0 or the front mode M1 based on the traveling speed at that time. That is, if the traveling speed is 10 km / h or higher, the mode is switched to the navigation mode M0, and if the traveling speed is less than 10 km / h, the mode is switched to the front mode M1.
  • FIG. 5 is a diagram showing display mode transition in the front mode M1.
  • the front mode M1 there are three display modes, a two-image mode M11, a one-image mode M12, and a side camera mode M13, and these display modes have different display modes.
  • These display modes are switched under the control of the control unit 1 in the order of the two-image mode M11, the one-image mode M12, and the side camera mode M13 each time the driver presses the changeover switch 85.
  • the changeover switch 85 is pressed in the side camera mode M13, the mode returns to the two-image mode M11 again.
  • the two-image mode M11 is a display mode in which a display image including the front image FP1 obtained by photographing with the front camera 51 and the composite image FP2 viewed from the virtual viewpoint VP is displayed on the display 21. That is, in the two-image mode M11, two images of the front image FP1 and the composite image FP2 are shown on the same screen.
  • the one image mode M12 is a display mode in which a display image including only the composite image FP3 viewed from the virtual viewpoint VP is displayed on the display 21.
  • the side camera mode M13 is a display mode in which a display image including only the side image FP4 obtained by photographing with the side camera 52 is displayed on the display 21.
  • FIG. 6 is a diagram illustrating an example of a display image displayed on the display 21 in the two-image mode M11.
  • the front image FP1 is arranged at the top and the composite image FP2 is arranged at the bottom.
  • the front image FP1 is not a composite image from the virtual viewpoint VP, but a display image obtained by adjusting a captured image obtained by capturing with the front camera 51 for display by the captured image adjusting unit 31.
  • the composite image FP2 is a composite image including a side region of the vehicle 9 viewed from the virtual viewpoint VP directed forward from the rear position of the vehicle 9.
  • FIG. 7 is a diagram for explaining the visual field range indicated by the two-image mode M11 around the vehicle 9.
  • a range FV1 indicated by a broken line is a visual field range indicated by a front image FP1
  • a range FV2 indicated by a two-dot chain line is a visual field range indicated by a composite image FP2.
  • the visual field range FV1 and the visual field range FV2 partially overlap in the region A2 that is a boundary between them.
  • a region having a horizontal angle of 180 ° that extends in the left-right direction in the front region of the vehicle 9 is set as the visual field range FV1. For this reason, the driver can grasp the object existing in the left and right front of the vehicle 9 that easily becomes a blind spot when entering the intersection with poor visibility by browsing the front image FP1.
  • a range including both the left and right lateral regions from the front to the rear of the vehicle 9 and the rear of the vehicle 9 and the rear region of the vehicle 9 is set as the visual field range FV2.
  • region can be grasped
  • direction change or width adjustment it is possible to easily confirm a region that tends to be a blind spot from the driver's seat, for example, a region A1 near the outside of the front fender 94 that is not reflected on the door mirror 93.
  • the two images FP1 and FP2 in the visual field ranges FV1 and FV2 can be simultaneously viewed without switching the screen (see also FIG. 6). You can see the situation around the at a glance.
  • the viewpoint position of the virtual viewpoint VP of the composite image FP2 is set to the rear position of the vehicle 9, and the visual field direction is set to the front direction of the vehicle 9.
  • the state of the periphery of the vehicle 9 is shown together with the image of the vehicle 9 when viewed in the front direction from the rear position of the vehicle 9.
  • the direction of the field of view of the front image FP1 the direction of the field of view of the composite image FP2, and the direction of the field of view of the driver itself are approximately the same. Is not invited.
  • the driver since the driver does not go through a complicated thinking process such as coordinate conversion in the head, the driver can intuitively grasp the positional relationship between the object displayed on the display 21 and the vehicle 9.
  • FIG. 7 is a diagram illustrating a screen display example of the display 21 in the two-image mode M11 when the object T moves as described above.
  • the object T moves from the position TP1 outside the visual field range to the position TP2 within the visual field range FV2 of the composite image FP2, first, the object T is shown in the composite image FP2 below the screen (state ST1). At this time, the object T is not shown in the front image FP1 in the upper part of the screen. Subsequently, when the object T moves to a position TP3 within the overlapping area A2 of the visual field range FV1 and the visual field range FV2, the object T is shown in both the front image FP1 and the composite image FP2 (state ST2). Further, when the object T moves to a position TP4 within the visual field range FV1 of the front image FP1, the object is shown in the front image FP1 (state ST3).
  • the object T moves across the field of view ranges FV1 and FV2 of the two images FP1 and FP2 around the vehicle 9, the direction of the field of view of the front image FP1 and the field of view of the composite image FP2 Since the orientation and the orientation of the driver's own visual field are approximately the same, the object T moves in approximately the same direction in both the images FP1 and FP2, so the driver intuitively grasps the movement of the object T. can do.
  • there is a region A2 where the visual field range FV1 and the visual field range FV2 overlap each other there is a scene where the object T is shown at the same time in both the front image FP1 and the composite image FP2, and the movement of the object T is continuous. You can grasp it.
  • the driver can intuitively grasp the situation around the vehicle 9 as described above. For this reason, the driver can make an accurate determination and can sufficiently ensure driving safety.
  • FIG. 9 is a diagram illustrating the transition of the viewpoint position of the virtual viewpoint VP.
  • the viewpoint position of the virtual viewpoint VP is the position VPC at the center of the left and right behind the vehicle 9, and the viewing direction is that of the vehicle 9.
  • the viewpoint position of the virtual viewpoint VP is the position VPC at the center of the left and right behind the vehicle 9, and the viewing direction is that of the vehicle 9.
  • the viewpoint position is the direction indicated by the turn signal. Moved to position.
  • the viewpoint position of the virtual viewpoint VP is set to the position VPL on the left side of the vehicle 9.
  • a composite image FP ⁇ b> 2 is generated that displays the left side area indicated by the turn signal of the direction indicator 83 larger than the right side area, and is displayed on the display 21.
  • the composite image FP2 shows the state of the periphery of the vehicle 9 in a state where the front direction is viewed from the rear position of the vehicle 9.
  • the viewpoint position of the virtual viewpoint VP is set to the position VPR on the right side of the vehicle 9.
  • a composite image FP ⁇ b> 2 is generated that displays the right side area indicated by the turn signal of the direction indicator 83 larger than the left side area, and is displayed on the display 21.
  • the composite image FP2 shows the state of the periphery of the vehicle 9 in a state where the front direction is viewed from the rear position of the vehicle 9.
  • the direction instructed by the direction indicator 83 is highly likely that there is an object that the vehicle 9 moves and contacts when the direction is changed or the width is adjusted. Therefore, by showing the side area in the direction instructed by the direction indicator 83 in this way, the driver's attention can be directed to an object that may come into contact, and the contact between the vehicle 9 and the object can be reduced. It can be effectively prevented.
  • the composite image FP2 shows the surroundings of the vehicle 9 together with the image of the vehicle 9 when viewed from the rear position of the vehicle 9 in the forward direction.
  • the driver since the lateral region of the vehicle 9 is shown with the same visual field direction as the driver's own visual field direction, the driver is not confused about the direction in which the object shown in the image exists.
  • the driver since the driver does not involve a complicated thinking process such as coordinate conversion in the head, the driver can intuitively grasp the positional relationship between the vehicle 9 and the object.
  • a side region in another direction opposite to the one direction indicated by the turn signal is also synthesized. Included in the image. For this reason, even if an object exists in the side area opposite to the direction indicated by the turn signal, it is possible to grasp the object. Thus, for example, in order to avoid an object in the direction indicated by the turn signal, even when the steering wheel is operated in a direction opposite to the direction indicated by the turn signal, contact with an object existing in the opposite direction is prevented. Can be prevented.
  • the viewpoint position of the virtual viewpoint VP of the composite image FP2 is returned to the position VPC at the center of the left and right. It is. At this time, the viewpoint position of the virtual viewpoint VP is returned to the position VPC at the center of the left and right after a predetermined time has elapsed since the turn signal was turned off, not immediately after the turn signal was turned off.
  • FIG. 12 is a diagram showing a flow of processing for changing the viewpoint position of the virtual viewpoint VP. This process is executed under the control of the control unit 1 when the turn signal is turned on by operating the turn signal switch.
  • step S11 the direction indicated by the turn signal of the direction indicator 83 is determined (step S11). If the turn signal indicates the left direction, the process proceeds to step S12. If the turn signal indicates the right direction, the process proceeds to step S17.
  • step S12 the virtual viewpoint VP is set to the left side position VPL.
  • a composite image FP ⁇ b> 2 showing the left side region larger than the right direction is generated and displayed on the display 21.
  • step S13 the state of the turn signal is monitored in such a state that the virtual viewpoint VP is set to the left side position VPL (step S13).
  • the process returns to step S12, and the virtual viewpoint VP is maintained at the left side position VPL. That is, the display of the composite image FP2 that shows a relatively large lateral region in the left direction is maintained.
  • the turn signal indicates the right direction, the process proceeds to step S17.
  • step S13 when the turn signal is turned off in step S13, that is, when the direction instruction is changed from the presence to the absence, the time measurement by the timer 12 is started when the turn signal is turned off (step S14). .
  • step S15 and S16 the state of the turn signal is monitored until a predetermined time has elapsed from the start of timing.
  • This predetermined time is, for example, 3 seconds in the present embodiment.
  • the virtual viewpoint VP is maintained at the left side position VPL, and the display of the composite image FP2 that shows a relatively large side region in the left direction is maintained.
  • the viewpoint position of the virtual viewpoint VP is returned to the position VPC at the center of the left and right (step S22).
  • the composite image FP2 including both the left and right side areas of the vehicle 9 is displayed substantially equally.
  • step S15 if the turn signal indicates the left direction again in step S15 before the predetermined time has elapsed from the start of timing, the process returns to step S12, and the virtual viewpoint VP is maintained at the left side position VPL. That is, the display of the composite image FP2 that shows a relatively large lateral region in the left direction is maintained. If the turn signal indicates the right direction in step S15, the process proceeds to step S17.
  • the turn signal switch of the direction indicator 83 may return from the operation position to the neutral position regardless of the driver's intention. For this reason, the scene where a driver operates the turn signal switch of the direction indicator 83 continuously in the same direction for a short time occurs. In such a scene, if the viewpoint position of the virtual viewpoint VP is immediately changed in response to turning on / off of the turn signal, the viewpoint position of the composite image FP2 displayed on the display 21 is frequently switched and is difficult to see. .
  • the viewpoint position of the virtual viewpoint VP is maintained until a predetermined time elapses even after the turn signal is turned off, and the viewpoint position of the virtual viewpoint VP is set on condition that the predetermined time has elapsed with the turn signal turned off.
  • the shorter the predetermined time used for this determination the more frequently the viewpoint position of the composite image FP2 may be switched, and the longer the predetermined time, the more difficult the viewpoint position of the composite image FP2 returns to the approximate center. For this reason, it is desirable to set the predetermined time between 2 seconds and 4 seconds, for example.
  • step S17 the virtual viewpoint VP is set to the right side position VPR.
  • a composite image FP ⁇ b> 2 that shows the lateral region in the right direction larger than the left direction is generated and displayed on the display 21.
  • step S18 the state of the turn signal is monitored with the virtual viewpoint VP set to the right side position VPR.
  • the process returns to step S17, the virtual viewpoint VP is maintained at the right side position VPR, and when the turn signal indicates the left direction, the process proceeds to step S12.
  • step S18 when the turn signal is turned off, the timer 12 starts measuring time when the turn signal is turned off (step S19), and the state of the turn signal is maintained until a predetermined time elapses from the start of timing. Monitored (steps S20 and S21). At this time, the virtual viewpoint VP is maintained at the right side position VPR until a predetermined time elapses. If the predetermined time has elapsed with the turn signal turned off (Yes in step S21), the viewpoint position of the virtual viewpoint VP is returned to the position VPC at the substantially left and right center (step S22). As a result, the composite image FP2 including both the left and right side areas of the vehicle 9 is displayed substantially equally.
  • step S12 If the turn signal indicates the right direction again in step S20 before the predetermined time has elapsed from the start of timing, the process returns to step S17, and the virtual viewpoint VP is maintained at the right side position VPR. That is, the display of the composite image FP2 that shows a relatively large lateral region in the right direction is maintained. If the turn signal indicates the left direction in step S20, the process proceeds to step S12.
  • the direction of the visual field of the composite image FP3 and the direction of the visual field of the driver itself are approximately the same, so that the driver can intuitively grasp the positional relationship of the objects displayed on the display 21.
  • FIG. 13 is a diagram illustrating an example of display when animation expression is performed in the one-image mode M12.
  • FIG. 14 is a diagram showing how the virtual viewpoint VP moves at this time.
  • the control unit 1 changes the viewpoint position of the virtual viewpoint VP so as to move linearly from a position VPD corresponding to the driver's viewpoint to a position VPA behind the vehicle 9.
  • the composite image generation unit 32 sequentially generates a plurality of composite images FP3 while changing the virtual viewpoint VP step by step.
  • the parameters for generating the plurality of composite images FP3 are derived by the control unit 1 by linear interpolation based on the parameters of the position VPD before the change and the parameters of the position VPA after the change.
  • the plurality of generated composite images FP3 are sequentially output to the navigation device 20 and are displayed on the display 21 continuously in time.
  • an animation expression is made on the display 21 such that the virtual viewpoint VP of the composite image FP3 moves from the position corresponding to the driver's viewpoint to the rear position of the vehicle 9. That is, in the composite image FP3, the image of the vehicle 9 is initially not visible because it is the viewpoint of the driver (state ST11), but the upper image of the vehicle 9 is gradually shown (states ST12 and ST13), and finally The image of the vehicle 9 is shown so as to look down at the vehicle 9 from the rear (state ST14).
  • Such animation expression takes about 1 second.
  • the driver can intuitively determine at which position the virtual viewpoint VP is a composite image compared to the case where the virtual viewpoint VP is switched instantaneously. Can be easily grasped.
  • the viewpoint position of the virtual viewpoint VP is moved from this reference position with the position corresponding to the viewpoint of the driver of the vehicle 9 as the reference position. For this reason, since the viewpoint position after the change of the virtual viewpoint VP is shown based on the viewpoint position of the driver, it is easy to grasp intuitively.
  • the reference position for starting the animation expression may be a position that is easy for the driver to intuitively grasp even if it is not a position corresponding to the driver's viewpoint. For example, a position directly above the center of the vehicle 9 or a substantially center position on the left and right of the front bumper may be used as the reference position.
  • Such animation expression can be performed not only when the display mode is changed but also when the virtual viewpoint VP is changed. For example, it is desirable to perform animation expression even when the viewpoint position of the virtual viewpoint VP is changed in the horizontal direction in response to the operation of the direction indicator 83 in the above-described two-image mode M11.
  • a plurality of synthesized images that can be animated by continuous display may be generated while moving the position of the virtual viewpoint in stages.
  • the parameter for generating the composite image can be derived by linear interpolation based on the position parameter before the change and the position parameter after the change.
  • the side image FP4 is not a composite image from the virtual viewpoint VP, but is a display image obtained by adjusting the captured image obtained by capturing with the left side camera 52 for display by the captured image adjusting unit 31.
  • the outside region of the front fender 94 on the left side of the vehicle 9 on the opposite side tends to be a blind spot.
  • the outer region of the left front fender 94 is shown enlarged. This makes it easier to grasp the state of the object present in the blind spot than in other display modes.
  • the range displayed on the display 21 can be switched by pressing the changeover switch 85. Specifically, it is possible to switch between a side image FP4 showing an enlarged area near the front wheel 96 on the left side of the vehicle 9 and a side image FP5 showing an enlarged rear area from the front wheel 96.
  • FIG. 16 is a diagram illustrating display mode transition in the back mode M2.
  • the back mode M2 there are four display modes of a standard mode M21, a wide mode M22, a composite standard mode M23, and a composite overhead mode M24, and the display modes are different from each other.
  • the driver can select any one display mode and set it to the current display mode (hereinafter referred to as “current mode”).
  • the changeover switch 85 when the changeover switch 85 is pressed, the current mode is set in the order of the standard mode M21, the wide mode M22, and the composite standard mode M23.
  • the composite standard mode M23 is the current mode
  • the changeover switch 85 may be switched by pressing a command button on the screen.
  • composition standard mode M23 is the current mode
  • viewpoint switching button CB1 displayed as a command button on the screen of the display 21 is pressed
  • the composition overhead mode M24 is set to the current mode.
  • the composite standard mode M23 is set to the current mode.
  • the composition overhead view mode M24 is the current mode and the switch 85 is pressed
  • the standard mode M21 is set to the current mode.
  • a display image corresponding to the current mode is generated by the image processing unit 3 and displayed on the display 21.
  • the standard mode M21 and the wide mode M22 are the current mode
  • a display image including only the back images BP1 and BP2 obtained by photographing with the back camera 53 is displayed on the display 21.
  • the composite standard mode M23 is the current mode
  • a display image including the composite image BP4 viewed from the virtual viewpoint VP and the back image BP5 obtained by photographing with the back camera 53 is displayed on the display 21.
  • the composite bird's-eye view mode M24 is the current mode
  • the composite image BP6 viewed from the virtual viewpoint VP is displayed instead of the back image BP5 in the composite standard mode M23.
  • Standard mode> As shown in FIG. 16, in the standard mode M21, only the back image BP1 is displayed on the display 21.
  • the back image BP1 is not a composite image from the virtual viewpoint VP, but a display image obtained by adjusting the captured image obtained by capturing with the back camera 53 for display by the captured image adjusting unit 31.
  • the horizontal angle of the visual field range of the back image BP1 is 135 °, and in the standard mode M21, the rear region of the vehicle 9 is shown in a natural manner.
  • a guideline GL indicating a predicted course when the vehicle 9 moves backward is superimposed and displayed.
  • the guide line GL is moved according to the rotation direction and rotation angle of the steering wheel input from the steering sensor 84.
  • the driver can move the vehicle 9 backward using the guideline GL as a guide.
  • the back image BP2 is not a composite image from the virtual viewpoint VP, but is a display image obtained by adjusting the captured image obtained by capturing with the back camera 53 for display by the captured image adjusting unit 31. Also in the back image BP2, a guideline GL indicating a predicted course when the vehicle 9 is moving backward is displayed superimposed.
  • the horizontal angle of the visual field range of the back image BP2 is 180 °, and an object in a wider range in the horizontal direction than the standard mode M21 can be confirmed. Therefore, when the vehicle is parked in the front-stop position, the left and right areas that are likely to become blind spots can be confirmed by using the wide mode M22 in such a display mode.
  • FIG. 19 is a diagram illustrating an example of a display image displayed on the display 21 in the combined standard mode M23.
  • the combined image BP4 is disposed on the left side
  • the back image BP5 is disposed on the right side.
  • the composite image BP4 is a composite image viewed from a virtual viewpoint VP that looks down on the entire periphery of the vehicle 9.
  • the back image BP5 is not a composite image from the virtual viewpoint VP, but a display image obtained by adjusting the captured image obtained by capturing with the back camera 53 for display by the captured image adjusting unit 31.
  • the horizontal angle of the visual field range of the back image BP5 is 135 °.
  • the driver can confirm both the appearance of the entire periphery of the vehicle 9 and the appearance of the rear area of the vehicle 9 by visually recognizing the display image of the composite standard mode M23 having such a display mode. Accordingly, the driver can safely move the vehicle 9 backward while being aware of the objects around the entire vehicle 9.
  • FIG. 20 is a diagram illustrating an example of a display image displayed on the display 21 in the composite overhead mode M24.
  • a composite image BP4 viewed from a virtual viewpoint VP overlooking the entire periphery of the vehicle 9 is arranged on the left side of the display image in the composite bird's-eye view mode M24, similarly to the composite standard mode M23.
  • a composite image BP6 viewed from the virtual viewpoint VP looking down the vicinity of the rear end of the vehicle 9 substantially directly is arranged.
  • the viewpoint position of the virtual viewpoint VP of the composite image BP6 is set to a position just above the rear end of the vehicle 9, and the visual field direction is set to a direction almost directly below.
  • the composite image BP6 shows an enlarged region in the vicinity of the rear end of the vehicle 9 so as to look down from the upper side thereof.
  • the rearward direction of the vehicle 9, which is the traveling direction when the vehicle 9 moves backward is the upward direction of the image.
  • the driver can easily confirm the clearance between the vehicle 9 and its surrounding objects, particularly the object existing near the rear end of the vehicle 9, by visually recognizing the display image in the composite overhead mode M24 having such a display mode. .
  • the synthetic bird's-eye view mode M24 is a display mode that can be used effectively under special conditions such as when the parking position of the vehicle 9 is finally adjusted when the vehicle 9 is parked backward.
  • the viewpoint position of the virtual viewpoint VP is set to a desired position of the driver. it can.
  • the setting button CB2 displayed as a command button on the screen is pressed in the composite standard mode M23 or the composite overhead mode M24, a setting screen for setting the viewpoint position of the virtual viewpoint VP is displayed.
  • FIG. 22 and 23 are diagrams showing a setting screen for this virtual viewpoint VP.
  • an index indicating the position of the virtual viewpoint VP relative to the vehicle 9 is shown along with an illustration showing the side of the vehicle 9.
  • the index can be moved by pressing the command buttons CB4 and CB5 on the screen, and the position of the moved index with respect to the illustration of the vehicle 9 is set as the viewpoint position of the virtual viewpoint VP.
  • the visual field direction of the virtual viewpoint VP is set toward the approximate center 9 c of the vehicle 9.
  • FIG. 22 shows an example where the viewpoint position of the virtual viewpoint VP is set to a position immediately above the approximate center of the vehicle 9, and
  • FIG. 23 shows an example where the viewpoint position of the virtual viewpoint VP is set to the rear position of the vehicle 9.
  • this setting screen a composite image BP7 when the position of the index is the virtual viewpoint VP is displayed. Therefore, by visually recognizing such a setting screen, it is possible to easily confirm what composite image BP7 is obtained when the virtual viewpoint VP is moved, and the driver moves the virtual viewpoint VP to a desired position. be able to.
  • the set contents are reflected in the display of the composite standard mode M23 and the composite overhead mode M24.
  • the vehicle 9 is shown as viewed from behind in the composite image BP4 on the left side of the display image as shown in FIG. Since the viewpoint position of the virtual viewpoint VP can be set in this way, the driver can grasp the positional relationship between the vehicle 9 and surrounding objects from a desired angle when the vehicle 9 moves backward.
  • the display mode set as the current mode most recently in the back mode M2 is stored, and when the back mode M2 is entered next, as a rule, the display mode is set as the current mode most recently. Based on the set display mode, an image is generated immediately after the back mode M2 is entered. This eliminates the need for a complicated operation for the driver to select a desired display mode each time the vehicle 9 is moved backward.
  • FIG. 25 is a diagram showing the flow of processing for storing information indicating the most recently set current mode. This process is repeatedly executed by the control unit 1 when the operation mode is the back mode M2.
  • step S31 it is determined whether or not the current mode is switched to another display mode.
  • mode information indicating the current mode after the switching is stored in the nonvolatile memory 11 (step S32). Since this process is performed every time the current mode is switched, the nonvolatile memory 11 stores mode information indicating the display mode most recently set as the current mode. This mode information is obtained even when the operation mode is other than the back mode M2 (when the transmission of the vehicle 9 is other than the “R (reverse)” position) or when the image display system 100 is turned off. It is stored in the nonvolatile memory 11.
  • FIG. 26 is a diagram showing the flow of processing at the start of the back mode M2. This process is executed by the control unit 1 in response to the transmission of the vehicle 9 being operated to the “R (reverse)” position and the operation mode being the back mode M2.
  • the mode information stored in the nonvolatile memory 11 is read (step S41). Then, it is determined which is the display mode indicated by the read mode information (step S42).
  • the display mode indicated by the mode information is other than the synthetic overhead mode M24 (No in step S42)
  • the display mode indicated by the mode information is set as the current mode (step S43).
  • the composite image generation unit 32 or the display image generation unit 33 generates an image in the display mode set as the current mode.
  • the composite standard mode M23 is set as the current mode (step S44).
  • the composite image generation unit 32 or the display image generation unit 33 generates an image of the composite standard mode M23.
  • the display mode that has been set as the current mode most recently is set as the current mode immediately after the back mode M2.
  • the combined standard mode M23 different from the combined overhead mode M24 is set as the current mode immediately after the back mode M2. Since the composite bird's-eye view mode M24 is used mainly when the parking position of the vehicle 9 is finally adjusted, there are few scenes used when the vehicle 9 starts to move backward. For this reason, when the display mode most recently set as the current mode is the combined overhead mode M24, the current mode is set to the combined overhead view by setting it as the current mode immediately after the exceptionally different display mode becomes the back mode M2. A complicated operation of changing from the mode M24 to another display mode can be eliminated.
  • processing for exceptionally handling the synthetic bird's-eye view mode M24 can be realized by processing different from the processing shown in FIGS.
  • FIG. 27 is a diagram showing another example of the flow of processing for storing information indicating the latest current mode. This process is also repeatedly executed by the control unit 1 when the operation mode is the back mode M2.
  • step S51 it is determined whether or not the current mode has been switched to another display mode.
  • step S52 it is determined which is the current mode after the switching.
  • step S52 mode information indicating the current mode after switching is stored in the nonvolatile memory 11 (step S53).
  • mode information indicating the synthetic standard mode M23 is stored in the nonvolatile memory 11 (step S54).
  • mode information indicating the display mode set as the current mode most recently is stored in the nonvolatile memory 11, but when the display mode set as the current mode most recently is the composite overhead mode M24, Exceptionally, mode information indicating the composite standard mode M23 is stored.
  • FIG. 28 is a diagram showing a flow of processing at the start of the back mode M2 when the processing in FIG. 27 is performed. This process is also executed by the control unit 1 in response to the transmission of the vehicle 9 being operated to the “R (reverse)” position and the operation mode being the back mode M2.
  • the mode information stored in the nonvolatile memory 11 is read (step S61). Then, the display mode indicated by the read mode information is set to the current mode as it is (step S62). Even in such a process, when the display mode most recently set as the current mode is the composite overhead mode M24, an exceptionally different display mode can be set as the current mode immediately after the back mode M2. As a result, a complicated operation of changing the current mode from the composite overhead mode M24 to another display mode can be eliminated.
  • the image generation apparatus 10 and the navigation apparatus 20 are described as different apparatuses.
  • the navigation apparatus 20 and the image generation apparatus 10 are arranged in the same housing and configured as an integrated apparatus. May be.
  • the display device that displays the display image generated by the image generation device 10 has been described as the navigation device 20, but a general function that does not have a special function such as a navigation function. It may be a display device.
  • control unit 1 of the image generation apparatus 10 may be realized by the control unit 23 of the navigation apparatus 20.
  • signals from the shift sensor 81, the vehicle speed sensor 82, the direction indicator 83, the steering sensor 84, and the changeover switch 85 are input to the image generation device 10, and some or all of these signals are input to the navigation device 20. It may be entered. In this case, part or all of these signals may be input to the control unit 1 of the image generation apparatus 10 via the communication unit 42.
  • a direction instruction intended by the driver of the vehicle 9 is input from the direction indicator 83, but may be input by other means.
  • the movement of the driver's viewpoint may be detected from an image obtained by photographing the driver's eyes, and a direction instruction intended by the driver may be input from the detection result.
  • the specific display mode that is exceptionally handled in the back mode M2 has been described as the composite overhead mode M24.
  • a display mode different from the composite overhead mode M24 is set as the specific display mode. May be.
  • the specific display mode may be a display mode in which only an image from a virtual viewpoint in which the vicinity of the rear end of the vehicle 9 is looked down almost directly is displayed as a display image. It is desirable that the display mode of the mode used under special conditions such as the final adjustment of the parking position is the specific display mode.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Mechanical Engineering (AREA)
  • Computer Hardware Design (AREA)
  • Theoretical Computer Science (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Controls And Circuits For Display Device (AREA)
  • User Interface Of Digital Computer (AREA)
  • Traffic Control Systems (AREA)
  • Navigation (AREA)

Abstract

　表示モードの選択に関して煩雑な操作が必要とならない技術を提供する。　画像表示システムにおいては、バックモードにおいて直近に現在モードに設定された表示モードを記憶しておき、次にバックモードとなった場合には、その直後の現在モードに直近に現在モードとなった表示モードを設定する。これにより、ドライバにとっては、車両を後退させるたびに所望の表示モードを選択するといった煩雑な操作が不要となる。

Description

画像生成装置及び画像表示システム
　本発明は、車両に搭載された表示装置に表示させる画像を生成する技術に関する。
　自動車などの車両を後退させる際には、車両の後方領域は運転席から死角となりやすい。このため、関連技術の画像表示システムは、車両の変速装置が後退の位置に操作されているときに、車両の後方に設置された車載カメラの撮影で得られた画像を車室内のディスプレイに表示するバックモニタ機能を有する。このような画像表示システムを利用することで、ドライバは車両の後方領域の様子を把握でき、車両を後退させる際に車両に接触する可能性のある物体を容易に確認できるようになる。
　上記のようなバックモニタにおいては、車両の後方領域を示す画像を種々の態様で表示することが提案されている。例えば、一般的なカメラよりも水平方向の視野が広い画像や、車両の後方を略直上から見下ろすような画像を表示することが提案されている。
　このような種々の態様の画像は、車両を後退させる状況に応じて使い分けることが望ましい。このため、それぞれの態様の画像を表示する複数の表示モードを用意しておき、バックモニタの起動中にそれら複数の表示モードから任意の表示モードをドライバに選択させることが考えられる。
　しかしながら、ドライバにバックモニタの表示モードを選択させる場合、ドライバは車両を後退させるたびに所望の表示モードを選択する必要が生じる。車両を後退させるという複雑な操作が必要な状況で、さらにバックモニタの表示モードを選択する操作を行うことは煩雑であり、利便性が損なわれる可能性がある。
　このため、バックモニタにおいて直近に設定された表示モードを記憶しておき、次回のバックモニタの起動直後にその表示モードに設定することも考えられる。しかしながら、駐車操作の開始時点では必要とならないような特殊な表示モード（例えば、駐車位置の最終調整に利用する表示モード）などが記憶されると、バックモニタの起動直後において、ドライバが表示モードを切り替える操作が必要となってしまう。
　本発明は、上記課題に鑑みてなされたものであり、表示モードの選択に関して煩雑な操作が必要とならない技術を提供することを目的とする。
　本発明の上記目的は、以下の構成によって達成される。
　（１）　車両に搭載された表示装置に表示させる画像を生成する画像生成装置であって、前記車両の変速装置が後退の位置に操作されている間に前記車両の周辺領域を示す画像を表示装置に表示させるための、互いに異なる複数の表示モードの中から一の表示モードを選択して当該選択された表示モードを現在モードとして設定するための指示を、ユーザから受け付けるモード受付部と、直近に設定された前記現在モードを示すモード情報を記憶する不揮発性の記憶部と、前記記憶部に記憶された前記モード情報に応じて、前記複数の表示モードの一つの前記画像を生成する生成部と、生成された前記画像を前記表示装置に出力する出力部と、を備え、前記生成部は、前記モード情報が前記複数の表示モードのうちの第１特定表示モード以外の表示モードを前記現在モードとして示すとき、当該現在モードの画像を生成し、前記生成部は、前記モード情報が前記第１特定表示モードを前記現在モードとして示すとき、前記第１特定表示モードとは異なる第２特定表示モードの画像を生成する。
　（２）　上記（１）に記載の画像生成装置において、前記記憶部を含むコントローラを更に備え、前記コントローラは、前記記憶部に記憶された前記モード情報を読み、前記モード情報が前記第１特定表示モード以外の表示モードを前記現在モードとして示すとき、前記生成部に前記現在モードの前記画像を生成させ、前記コントローラは、前記記憶部に記憶された前記モード情報を読み、前記モード情報が前記第１特定表示モードを前記現在モードとして示すとき、前記生成部に前記第２特定表示モードの前記画像を生成させる。
　（３）　上記（１）または（２）に記載の画像生成装置において、前記生成部は、前記車両の前記変速機が前記後退の位置に操作されたときに、前記複数の表示モードの一つの前記画像を生成することを開始する。
　（４）　上記（１）ないし（３）のいずれかに記載の画像生成装置において、前記第１特定表示モードは、前記車両の駐車位置の最終調整に利用する。
　（５）　上記（１）ないし（４）のいずれかに記載の画像生成装置において、前記第１特定表示モードは、前記車両の後端を略直下に見下ろす仮想視点からみた画像を前記表示装置に表示させるための表示モードである。
　（６）　車両に搭載される画像表示システムであって、上記（１）ないし（５）のいずれかに記載の画像生成装置と、
　前記画像生成装置で生成された画像を表示する表示装置と、を備える。
　（７）　車両に搭載された表示装置に表示させる画像を生成する画像生成装置であって、前記車両の変速装置が後退の位置に操作されている間に前記車両の周辺領域を示す画像を表示装置に表示させるための、互いに異なる複数の表示モードの中から一の表示モードを選択して当該選択された表示モードを現在モードとして設定するための指示を、ユーザから受け付けるモード受付部と、モード情報を記憶する不揮発性の記憶部と、前記記憶部に記憶された前記モード情報に応じて、前記複数の表示モードの一つの前記画像を生成する生成部と、生成された前記画像を前記表示装置に出力する出力部と、を備え、前記記憶部は、直近に設定された前記現在モードが前記複数の表示モードのうちの第１特定表示モード以外の表示モードであるとき、前記現在モードを示す前記モード情報を記憶し、前記記憶部は、直近に設定された前記現在モードが前記第１特定表示モードであるとき、前記第１特定表示モードとは異なる第２特定表示モードを示す前記モード情報を記憶する。
　（８）　上記（７）に記載の画像生成装置において、前記記憶部を含むコントローラを更に備え、前記コントローラは、直近に設定された前記現在モードが前記第１特定表示モード以外の前記表示モードであるとき、前記記憶部に前記現在モードを示す前記モード情報を記憶させ、前記コントローラは、直近に設定された前記現在モードが前記第１特定表示モードであるとき、前記記憶部に前記第２特定表示モードを示す前記モード情報を記憶させる。
　（９）　上記（７）または（８）に記載の画像生成装置において、前記生成部は、前記車両の前記変速機が前記後退の位置に操作されたときに、前記複数の表示モードの一つの前記画像を生成することを開始する。
　（１０）　上記（７）ないし（９）のいずれかに記載の画像生成装置において、前記第１特定表示モードは、前記車両の駐車位置の最終調整に利用する。
　（１１）　上記（７）ないし（１０）のいずれかに記載の画像生成装置において、前記第１特定表示モードは、前記車両の後端を略直下に見下ろす仮想視点からみた画像を前記表示装置に表示させるための表示モードである。
　（１２）　車両に搭載される画像表示システムであって、上記（７）ないし（１１）のいずれかに記載の画像生成装置と、前記画像生成装置で生成された画像を表示する表示装置と、を備える。
　上記（１）ないし（５）及び（７）ないし（１１）に記載の画像生成装置、及び（６）または（１２）に記載の画像表示システムによれば、車両を後退させる際に表示装置に表示させる画像の表示モードを選択でき、原則として、直近に現在モードとして設定された表示モードが、次回に表示装置に表示させる画像の表示モードとして設定される。このため、ユーザは自分の好みや駐車環境にあわせて表示モードを選択しておけば、車両を後退させる度に表示モードを選択するといった煩雑な操作が不要となる。一方で、直近の現在モードが第１特定表示モードの場合は次回に表示装置に表示させる画像の表示モードとして設定されないことから、特殊な条件下で利用するような態様の第１特定表示モードの画像が後退操作の直後に表示されないようにできる。これにより、特定表示モードを別の表示モードに切り替えるといった煩雑な操作がさらに不要となる。
　また、駐車位置の最終調整に利用する表示モードの画像を、後退の開始直後に表示されないようにできる。
　また、車両の後端とその周辺物体とのクリアランスを確認するために利用する表示モードの画像を、後退の開始直後に表示されないようにできる。
図１は、画像表示システムのブロック図である。 図２は、車載カメラが車両に配置される位置を示す図である。 図３は、仮想視点からみた合成画像を生成する手法を説明する図である。 図４は、画像表示システムの動作モードの遷移を示す図である。 図５は、フロントモードにおける表示モードの遷移を示す図である。 図６は、二画像モードの表示用画像の一例を示す図である。 図７は、二画像モードで示される視野範囲を説明する図である。 図８は、二画像モードでの画面表示例を示す図である。 図９は、仮想視点の視点位置の遷移を示す図である。 図１０は、二画像モードの表示用画像の一例を示す図である。 図１１は、二画像モードの表示用画像の一例を示す図である。 図１２は、仮想視点の視点位置を変更する処理の流れを示す図である。 図１３は、一画像モードにおける画面表示例を示す図である。 図１４は、仮想視点の移動の様子を示す図である。 図１５は、サイドカメラモードにおける画面表示例を示す図である。 図１６は、バックモードにおける表示モードの遷移を示す図である。 図１７は、標準モードの視野範囲の水平角度を示す図である。 図１８は、ワイドモードの視野範囲の水平角度を示す図である。 図１９は、合成標準モードの表示用画像の一例を示す図である。 図２０は、合成俯瞰モードの表示用画像の一例を示す図である。 図２１は、合成俯瞰モードの仮想視点の視点位置を示す図である。 図２２は、仮想視点の設定画面を示す図である。 図２３は、仮想視点の設定画面を示す図である。 図２４は、合成標準モードの表示用画像の一例を示す図である。 図２５は、モード情報を記憶する処理の流れを示す図である。 図２６は、バックモードの開始時点の処理の流れを示す図である。 図２７は、モード情報を記憶する処理の流れを示す図である。 図２８は、バックモードの開始時点の処理の流れを示す図である。
　以下、図面を参照しつつ本発明の実施の形態について説明する。
　＜１．構成＞
　図１は、本実施の形態の画像表示システム１００のブロック図である。この画像表示システム１００は、車両（本実施の形態では、自動車）に搭載され、車両の周辺を撮影して画像を生成し、車室内に表示する機能を有している。画像表示システム１００のユーザとなる車両のドライバは、この画像表示システム１００を利用することにより当該車両の周辺を容易に把握できる。
　図１に示すように、画像表示システム１００は、車両の周辺を撮影する撮影部５と、車両の周辺を示す表示用画像を生成する画像生成装置１０と、車両のドライバに対して各種情報を提供するナビゲーション装置２０とを備えている。画像生成装置１０は、画像生成機能を有するＥＣＵ（Ｅｌｅｃｔｒｏｎｉｃ　Ｃｏｎｔｒｏｌ　Ｕｎｉｔ）として構成され、車両の所定の位置に配置される。
　ナビゲーション装置２０は、ドライバに対しナビゲーション案内を行う。ナビゲーション装置２０は、タッチパネル機能を備えた液晶などのディスプレイ２１と、ドライバが操作を行う操作部２２と、装置全体を制御する制御部２３とを備えている。ディスプレイ２１の画面がドライバから視認可能なように、ナビゲーション装置２０は車両のインストルメントパネルなどに設置される。ドライバからの各種の指示は、操作部２２とタッチパネルとしてのディスプレイ２１とによって受け付けられる。制御部２３は、ＣＰＵ、ＲＡＭ及びＲＯＭなどを備えたコンピュータとして構成され、所定のプログラムに従ってＣＰＵが演算処理を行うことでナビゲーション機能を含む各種の機能が実現される。
　ナビゲーション装置２０は、画像生成装置１０と通信可能に接続され、画像生成装置１０との間で各種の制御信号の送受信や、画像生成装置１０で生成された表示用画像の受信が可能である。ディスプレイ２１には、通常はナビゲーション案内用の地図画像が表示されるが、所定のドライバの操作や画像生成装置１０からの信号などに応答して、画像生成装置１０で生成された車両の周辺の様子を示す表示用画像が表示される。これにより、ナビゲーション装置２０は、画像生成装置１０で生成された表示用画像を受信して表示する表示装置としても機能する。
　撮影部５は、画像生成装置１０に電気的に接続され画像生成装置１０からの信号に基づいて動作する。撮影部５は、車載カメラであるフロントカメラ５１、サイドカメラ５２及びバックカメラ５３を備えている。これらの車載カメラ５１，５２，５３は、レンズと撮像素子とを備えており電子的に画像を取得する。
　図２は、車載カメラ５１，５２，５３が車両９に配置される位置を示す図である。図２に示すように、フロントカメラ５１は、車両９の前端にあるナンバープレート取付位置の近傍に設けられ、その光軸５１ａは車両９の直進方向に向けられている。また、サイドカメラ５２は、左右のドアミラー９３にそれぞれ設けられており、その光軸５２ａは直進方向に対して直交するように車両９の外部方向に向けられている。バックカメラ５３は、車両９の後端にあるナンバープレート取付位置の近傍に設けられ、その光軸５３ａは車両９の直進方向の逆方向に向けられている。なお、フロントカメラ５１やバックカメラ５３の取り付け位置は、左右略中央であることが望ましいが、左右中央から左右方向に多少ずれた位置であってもよい。
　これらの車載カメラ５１，５２，５３のレンズとしては魚眼レンズなどが採用されており、車載カメラ５１，５２，５３は１８０度以上の画角αを有している。このため、４つの車載カメラ５１，５２，５３を利用することで、車両９の全周囲の撮影が可能である。
　図１に戻り、画像生成装置１０は、装置全体を制御する制御部１と、撮影部５で取得された撮影画像を処理して表示用画像を生成する画像処理部３と、ナビゲーション装置２０との間で通信を行う通信部４２とを備えている。ナビゲーション装置２０の操作部２２やディスプレイ２１によって受け付けられたドライバからの各種の指示は、制御信号として通信部４２によって受け付けられて制御部１に入力される。これにより、画像生成装置１０は、ナビゲーション装置２０に対するドライバの操作に応答した動作も可能である。
　画像処理部３は、各種の画像処理が可能なハードウェア回路として構成されており、撮影画像調整部３１、合成画像生成部３２、及び、表示画像生成部３３を主な機能として備えている。撮影画像調整部３１は、撮影部５で取得された撮影画像を表示用に調整する。撮影画像調整部３１は、撮影画像の明るさやコントラスト等の画質調整や、表示の際に自然となるように画像の歪み補正などを行う。合成画像生成部３２は、撮影部５の複数の車載カメラ５１，５２，５３で取得された複数の撮影画像に基づいて、車両９の周辺の任意の仮想視点からみた合成画像を生成する。合成画像生成部３２が仮想視点からみた合成画像を生成する手法については後述する。
　また、表示画像生成部３３は、撮影画像調整部３１で調整された撮影画像、及び、合成画像生成部３２によって生成された合成画像のうちの一つあるいは複数を組み合わせて、ドライバに提供する表示用画像を生成する。生成された表示用画像は、通信部４２によってナビゲーション装置２０に出力され、ナビゲーション装置２０のディスプレイ２１に表示される。
　制御部１は、ＣＰＵ、ＲＡＭ及びＲＯＭなどを備えたコンピュータとして構成され、所定のプログラムに従ってＣＰＵが演算処理を行うことで各種の制御機能が実現される。このようにして実現される制御部１の機能には、画像処理部３によって実行される画像処理を制御する機能、すなわち、表示用画像の内容を制御する機能が含まれている。合成画像生成部３２が生成する合成画像の生成に必要な各種パラメータは、この制御部１の機能によって指示される。さらに、制御部１は、フラッシュメモリなどで構成される不揮発性メモリ１１と、計時機能を有するタイマ１２とを備えている。
　また、画像生成装置１０は、車両９に設けられた各種装置からの信号を入力する信号入力部４１を備えている。この信号入力部４１を介して、画像生成装置１０の外部からの信号が制御部１に入力される。具体的には、シフトセンサ８１、車速度センサ８２、方向指示器８３、ステアリングセンサ８４及び切替スイッチ８５などから、各種情報を示す信号が制御部１に入力される。なお、シフトセンサ８１、車速度センサ８２、方向指示器８３、ステアリングセンサ８４及び切替スイッチ８５の一部又は全部は画像表示システム１００が備える構成としてもよい。
　シフトセンサ８１からは、車両９の変速装置のシフトレバーの操作の位置、すなわち、”Ｐ（駐車）”，”Ｄ（前進）”，”Ｎ（中立）”，”Ｒ（後退）”などのシフトポジションが入力される。車速度センサ８２からは、その時点の車両９の走行速度（ｋｍ／ｈ）が入力される。
　方向指示器８３からは、ウインカースイッチの操作に基づく方向指示、すなわち、車両９のドライバが意図する方向指示を示すターン信号が入力される。ウインカースイッチが操作されたときはターン信号が発生し、ターン信号はその操作された方向（左方向あるいは右方向）を示す。ウインカースイッチが中立位置となったときは、ターン信号はオフとなる。
　ステアリングセンサ８４は、ドライバによるステアリングホイールの回転の向き及び回転角度が入力される。また、切替スイッチ８５は、表示用画像の態様を切り替える指示をドライバから受け付けるスイッチである。切替スイッチ８５からは、ドライバの指示を示す信号が制御部１に入力される。
　＜２．画像変換処理＞
　次に、画像処理部３の合成画像生成部３２が、撮影部５で得られた複数の撮影画像に基づいて任意の仮想視点からみた合成画像を生成する手法について説明する。図３は、任意の仮想視点からみた合成画像を生成する手法を説明するための図である。
　撮影部５のフロントカメラ５１、サイドカメラ５２及びバックカメラ５３で同時に撮影が行われると、車両９の前方、左側方、右側方、及び、後方をそれぞれ示す４つの撮影画像Ｐ１～Ｐ４が取得される。すなわち、撮影部５で取得される４つの撮影画像Ｐ１～Ｐ４には、撮影時点の車両９の全周囲を示す情報が含まれている。
　取得された４つの撮影画像Ｐ１～Ｐ４は多重化された後、仮想的な三次元の立体曲面ＳＰに投影される。立体曲面ＳＰは、例えば略半球状（お椀形状）をしており、その中心部分（お椀の底部分）が車両９の位置として定められている。撮影画像Ｐ１～Ｐ４に含まれる各画素の位置と、この立体曲面ＳＰの各画素の位置とはあらかじめ対応関係が定められている。このため、立体曲面ＳＰの各画素の値は、この対応関係と、撮影画像Ｐ１～Ｐ４に含まれる各画素の値とに基づいて決定できる。撮影画像Ｐ１～Ｐ４の各画素の位置と立体曲面ＳＰの各画素の位置との対応関係は、テーブルデータとして制御部１の不揮発性メモリ１１等に記憶されている。
　一方で、立体曲面ＳＰに対する仮想視点ＶＰが、制御部１によって車両の周辺の任意の視点位置に任意の視野方向に向けて設定される。仮想視点ＶＰは、視点位置と視野方向とで規定される。そして、設定された仮想視点ＶＰに応じて、立体曲面ＳＰにおける必要な領域が画像として切り出されることにより、任意の仮想視点からみた合成画像が生成される。
　例えば、視点位置が車両９の略中央の直上位置で、視野方向が略直下方向とした仮想視点ＶＰ１を設定した場合は、車両９の略真上から見下ろすような合成画像ＣＰ１が生成される。また、図中に示すように、視点位置が車両９の左後方位置で、視野方向が車両９の略前方方向とした仮想視点ＶＰ２を設定した場合は、車両９の左後方から車両９の周辺全体を見渡すような合成画像ＣＰ２が生成される。仮想視点ＶＰと、立体曲面ＳＰにおける必要な領域との関係はあらかじめ定められており、テーブルデータとして制御部１の不揮発性メモリ１１等に記憶されている。
　なお、実際に合成画像を生成する場合においては、立体曲面ＳＰの全ての画素の値を決定する必要はなく、設定された仮想視点ＶＰに対応して必要となる領域の画素の値のみを撮影画像Ｐ１～Ｐ４に基づいて決定することで、処理速度を向上できる。
　合成画像中に示す車両９の像はあらかじめビットマップなどのデータとして用意され不揮発性メモリ１１などに記憶されている。合成画像の生成の際には、当該合成画像の仮想視点ＶＰの視点位置と視野方向とに応じた形状の車両９の像のデータが読み出されて、合成画像中に重畳される。なお、図中においては、実際の車両と、画像中に示される車両の像との双方に関して同一の符号９を用いる。
　＜３．動作モード＞
　次に、画像表示システム１００の動作の概要について説明する。図４は、画像表示システム１００の動作モードの遷移を示す図である。画像表示システム１００は、ナビモードＭ０、フロントモードＭ１、及び、バックモードＭ２の３つの動作モードを有している。これらの動作モードは、ドライバの操作や車両の走行状態に応じて制御部１の制御により切り替えられる。
　ナビモードＭ０は、ナビゲーション装置２０の機能により、ナビゲーション案内用の地図画像などをディスプレイ２１に表示する動作モードである。ナビモードＭ０では、撮影部５及び画像生成装置１０の機能が利用されず、ナビゲーション装置２０単体の機能で各種の表示がなされる。このため、ナビゲーション装置２０が、テレビジョン放送の電波を受信して表示する機能を有している場合は、ナビゲーション案内用の地図画像に代えて、テレビジョン放送画面が表示されることもある。
　これに対して、フロントモードＭ１及びバックモードＭ２は、撮影部５及び画像生成装置１０の機能を利用して、車両９の周辺の状況をリアルタイムで示す表示用画像をディスプレイ２１に表示する動作モードである。フロントモードＭ１は、前進時に必要となる車両９の前方領域や側方領域を主に示す表示用画像を表示するフロントモニタ機能を有効化する動作モードである。また、バックモードＭ２は、後退時に必要となる車両９の後方領域を主に示す表示用画像を表示するバックモニタ機能を有効化する動作モードである。
　ナビモードＭ０の場合に車速度センサ８２から入力される走行速度が例えば１０ｋｍ／ｈ未満になったときは、フロントモードＭ１に切り替えられる。一方で、フロントモードＭ１の場合に走行速度が例えば１０ｋｍ／ｈ以上になったときは、ナビモードＭ０に切り替えられる。
　車両９の走行速度が比較的高い場合においては、ドライバを走行に集中させるためにフロントモードＭ１が解除される。逆に、車両９の走行速度が比較的低い場合においては、ドライバは車両９の周辺の状況をより考慮した運転、具体的には、見通しの悪い交差点への進入、方向変更、あるいは、幅寄せなどを行っている場面が多い。このため、走行速度が比較的低い場合においては、車両９の前方領域や側方領域を主に示すフロントモードＭ１に切り替えられる。なお、ナビモードＭ０からフロントモードＭ１に切り替える場合は、走行速度が１０ｋｍ／ｈ未満という条件に、ドライバからの明示的な操作指示があるという条件を加えてもよい。
　また、ナビモードＭ０あるいはフロントモードＭ１の場合に、シフトセンサ８１から入力されるシフトレバーの位置が”Ｒ（後退）”となったときは、バックモードＭ２に切り替えられる。すなわち、車両９の変速装置が”Ｒ（後退）”の位置に操作されているときには、車両９は後退する状態であるため、車両９の後方領域を主に示すバックモードＭ２に切り替えられる。
　一方、バックモードＭ２の場合に、シフトレバーの位置が”Ｒ（後退）”以外となったときは、その時点の走行速度を基準として、ナビモードＭ０あるいはフロントモードＭ１に切り替えられる。すなわち、走行速度が１０ｋｍ／ｈ以上であればナビモードＭ０に切り替えられ、走行速度が１０ｋｍ／ｈ未満であればフロントモードＭ１に切り替えられる。
　以下、フロントモードＭ１及びバックモードＭ２のそれぞれにおける車両９の周辺の表示態様について詳細に説明する。
　＜４．フロントモード＞
　まず、フロントモードＭ１の表示態様について説明する。図５は、フロントモードＭ１における表示モードの遷移を示す図である。フロントモードＭ１では、二画像モードＭ１１、一画像モードＭ１２、及び、サイドカメラモードＭ１３の３つの表示モードがあり、これらの表示モードは互いに表示態様が異なっている。これらの表示モードは、ドライバが切替スイッチ８５を押下するごとに、二画像モードＭ１１、一画像モードＭ１２、サイドカメラモードＭ１３の順で制御部１の制御により切り替えられる。サイドカメラモードＭ１３の場合に切替スイッチ８５を押下すると、再び、二画像モードＭ１１に戻る。
　二画像モードＭ１１は、フロントカメラ５１での撮影により得られるフロント画像ＦＰ１と、仮想視点ＶＰからみた合成画像ＦＰ２とを並べて含む表示用画像をディスプレイ２１に表示する表示モードである。すなわち、二画像モードＭ１１では、同一画面上にフロント画像ＦＰ１と合成画像ＦＰ２との二つの画像が示される。
　また、一画像モードＭ１２は、仮想視点ＶＰからみた合成画像ＦＰ３のみを含む表示用画像をディスプレイ２１に表示する表示モードである。さらに、サイドカメラモードＭ１３は、サイドカメラ５２での撮影により得られるサイド画像ＦＰ４のみを含む表示用画像をディスプレイ２１に表示する表示モードである。
　　＜４－１．二画像モード＞
　　　＜４－１－１．視野範囲＞
　図６は、二画像モードＭ１１においてディスプレイ２１に表示される表示用画像の一例を示す図である。図に示すように、二画像モードＭ１１における表示用画像では、上部にフロント画像ＦＰ１が配置され、下部に合成画像ＦＰ２が配置されている。フロント画像ＦＰ１は、仮想視点ＶＰからの合成画像ではなく、フロントカメラ５１での撮影により得られた撮影画像を撮影画像調整部３１で表示用に調整した表示画像である。一方、合成画像ＦＰ２は、車両９の後方位置から前方に向けた仮想視点ＶＰからみた車両９の側方領域を含む合成画像である。
　図７は、車両９の周辺における二画像モードＭ１１で示される視野範囲を説明する図である。図中において、破線で示す範囲ＦＶ１がフロント画像ＦＰ１で示される視野範囲であり、二点鎖線で示す範囲ＦＶ２が合成画像ＦＰ２で示される視野範囲である。視野範囲ＦＶ１と視野範囲ＦＶ２とは、相互の境界となる領域Ａ２において一部が重なっている。
　フロント画像ＦＰ１では、車両９の前方領域において左右方向に広がる水平角度１８０°の領域が視野範囲ＦＶ１として設定されている。このため、ドライバはフロント画像ＦＰ１の閲覧により、見通しの悪い交差点に進入する場合に死角となりやすい車両９の左右前方に存在する物体を把握できる。
　一方、合成画像ＦＰ２においては、車両９の前端よりも前方から後端よりも後方までの左右双方の側方領域と、車両９の後方領域とを含む範囲が視野範囲ＦＶ２として設定されている。このため、合成画像ＦＰ２の閲覧により、側方領域や後方領域に存在する物体を把握できる。これにより、方向変更や幅寄せなどを行う際に、運転席から死角となりやすい領域、例えば、ドアミラー９３に映らないフロントフェンダ９４の外側付近の領域Ａ１を容易に確認できる。
　二画像モードＭ１１においては、このような視野範囲ＦＶ１，ＦＶ２の二つの画像ＦＰ１，ＦＰ２を、画面を切り替えることなく同時に閲覧することができるため（図６も併せて参照。）、ドライバは車両９の周辺の状況を一目で把握できる。
　合成画像ＦＰ２の仮想視点ＶＰの視点位置は車両９の後方位置に設定され、視野方向は車両９の前方方向に設定されている。このため、図６に示すように、合成画像ＦＰ２では、車両９の後方位置から前方方向をみた状態で車両９の周辺の様子が車両９の像とともに示される。これにより、フロント画像ＦＰ１の視野の向きと、合成画像ＦＰ２の視野の向きと、ドライバ自身の視野の向きとがおよそ一致することから、画像中に示された物体が存在する方向に関してドライバの混乱を招くことがない。また、ドライバは頭の中で座標変換を行うなどの複雑な思考過程を経ることもないため、ディスプレイ２１に表示された物体と車両９との位置関係を直感的に把握できる。
　また、車両９をその直上から見下ろすような画像を利用する場合と比較して、車両９の周辺の物体が車両９のいずれの部分に近接しているかの位置関係が把握しやすい。さらに、車両９の後方位置から前方に向けた仮想視点からみた合成画像ＦＰ２では、車両９の側方領域のみならず車両９の進行方向となる前方の領域も示される。このため、車両９をその直上から見下ろすような画像を利用する場合と比較して、車両９と周辺の物体との位置関係が車両９の進行によってどのように変化するかを予測しやすい。このため、車両９を進行させた場合において、車両９が周辺の物体と接触することを有効に防止できる。
　ここで、図７に示すように、ある物体Ｔが、二つの画像ＦＰ１，ＦＰ２の視野範囲ＦＶ１，ＦＶ２をまたいで車両９の周辺を移動する場合を想定する。より具体的には、物体Ｔは、二画像モードＭ１１の視野範囲外の位置ＴＰ１から、視野範囲ＦＶ２内の領域Ａ１の位置ＴＰ２、視野範囲ＦＶ１と視野範囲ＦＶ２との重複領域Ａ２内の位置ＴＰ３を経て、視野範囲ＦＶ１内の車両９の前方の位置ＴＰ４まで移動するものとする。図８は、このように物体Ｔが移動した場合における、二画像モードＭ１１でのディスプレイ２１の画面表示例を示す図である。
　物体Ｔが視野範囲外の位置ＴＰ１から、合成画像ＦＰ２の視野範囲ＦＶ２内の位置ＴＰ２に移動すると、まず、画面下方の合成画像ＦＰ２に物体Ｔが示される（状態ＳＴ１）。この時点では、画面上方のフロント画像ＦＰ１には物体Ｔは示されていない。続いて、物体Ｔが視野範囲ＦＶ１と視野範囲ＦＶ２との重複領域Ａ２内の位置ＴＰ３に移動すると、フロント画像ＦＰ１と合成画像ＦＰ２との双方に物体Ｔが示される（状態ＳＴ２）。さらに、物体Ｔがフロント画像ＦＰ１の視野範囲ＦＶ１内の位置ＴＰ４に移動すると、フロント画像ＦＰ１に物体が示される（状態ＳＴ３）。
　このように、車両９の周辺において物体Ｔが二つの画像ＦＰ１，ＦＰ２の視野範囲ＦＶ１，ＦＶ２をまたいで移動した場合であっても、フロント画像ＦＰ１の視野の向きと、合成画像ＦＰ２の視野の向きと、ドライバ自身の視野の向きとがおよそ一致しているため、物体Ｔは二つの画像ＦＰ１，ＦＰ２のいずれにおいても、およそ同一方向に動くため、ドライバは物体Ｔの動きを直感的に把握することができる。また、視野範囲ＦＶ１と視野範囲ＦＶ２とは相互の境界で重なる領域Ａ２があることから、フロント画像ＦＰ１と合成画像ＦＰ２との双方同時に物体Ｔが示される場面があり、物体Ｔの動きを連続性を持って把握できる。
　二画像モードＭ１１では、多くの情報がドライバに提供されるが、上記のようにドライバは車両９周辺の状況を直感的に把握できる。このため、ドライバは、的確な判断を行うことができ、運転の安全性を十分に確保することができる。
　　　＜４－１－２．方向指示器の操作の連動＞
　また、二画像モードＭ１１では、ドライバの方向指示器８３のウインカースイッチの操作に応答して、合成画像ＦＰ２の仮想視点ＶＰの視点位置が、制御部１の制御により移動される。図９は、仮想視点ＶＰの視点位置の遷移を示す図である。
　方向指示器８３から入力されるターン信号がオフの場合、すなわち、方向指示が無い場合は、仮想視点ＶＰの視点位置は、車両９の後方における左右略中央の位置ＶＰＣ、視野方向は車両９の前方方向に設定される。これにより、図６に示すように、車両９の左右双方の側方領域を略均等に含む合成画像ＦＰ２が生成される。
　一方、方向指示器８３から入力されるターン信号がオンの場合、すなわち、方向指示が有る場合は、仮想視点ＶＰに関して視野方向は車両９の前方方向のまま、視点位置がターン信号が示す方向の位置に移動される。具体的には、ターン信号が左方向を示すときは、仮想視点ＶＰの視点位置は車両９の左サイドの位置ＶＰＬに設定される。これにより、図１０に示すように、方向指示器８３のターン信号が示す左方向の側方領域を右方向の側方領域よりも大きく示す合成画像ＦＰ２が生成されて、ディスプレイ２１に表示される。この場合も、合成画像ＦＰ２では、車両９の後方位置から前方方向をみた状態で車両９の周辺の様子が示される。
　また、ターン信号が右方向を示すときは、仮想視点ＶＰの視点位置は車両９の右サイドの位置ＶＰＲに設定される。これにより、図１１に示すように、方向指示器８３のターン信号が示す右方向の側方領域を左方向の側方領域よりも大きく示す合成画像ＦＰ２が生成されて、ディスプレイ２１に表示される。この場合も、合成画像ＦＰ２では、車両９の後方位置から前方方向をみた状態で車両９の周辺の様子が示される。
　方向指示器８３で指示された方向は、方向変更や幅寄せのときに車両９が移動して接触する物体が存在する可能性が高い。したがって、このように方向指示器８３で指示された方向の側方領域を大きく示すことで、ドライバの注意を接触する可能性のある物体に向けさせることができ、車両９と物体との接触を有効に防止できる。
　また、この場合も、合成画像ＦＰ２では、車両９の後方位置から前方方向をみた状態で車両９の周辺の様子が車両９の像とともに示される。このため、ドライバ自身の視野の向きと同じ視野の向きで車両９の側方領域が示されることから、画像中に示された物体が存在する方向に関してドライバの混乱を招くことがない。また、ドライバは頭の中で座標変換を行うなどの複雑な思考過程を伴うこともないため、車両９と物体との位置関係を直感的に把握できる。また、車両９の周辺の物体が車両９のいずれの部分に近接しているかの位置関係が把握しやすく、車両９と周辺の物体との位置関係が車両９の進行によってどのように変化するかも予測しやすい。これにより、ドライバは瞬時に的確な判断を行うことができる。
　また、このように仮想視点ＶＰの視点位置を、車両９の左サイドあるいは右サイドに移動した場合であってもターン信号が示す一の方向とは逆となる他の方向の側方領域も合成画像に含まれている。このため、ターン信号が示す方向とは逆方向の側方領域に物体が存在していたとしても、その物体を把握することが可能である。これにより、例えばターン信号が示す方向にある物体を避けるために、ターン信号が示す方向とは逆方向にとっさにステアリングホイールを操作する場合などにおいても、その逆方向に存在する物体への接触を防止できる。
　ところで、ウインカースイッチが操作位置から中立位置に戻り、方向指示器８３からのターン信号がオンからオフになった場合は、合成画像ＦＰ２の仮想視点ＶＰの視点位置が左右略中央の位置ＶＰＣに戻される。この際、ターン信号がオンからオフになった直後ではなく、ターン信号がオフになってから所定時間が経過してから、仮想視点ＶＰの視点位置が左右略中央の位置ＶＰＣに戻される。
　図１２は、仮想視点ＶＰの視点位置を変更する処理の流れを示す図である。この処理は、ウインカースイッチが操作されてターン信号がオンとなると制御部１の制御により実行される。
　まず、方向指示器８３のターン信号が示す方向が判断される（ステップＳ１１）。ターン信号が左方向を示す場合は処理はステップＳ１２へ進み、ターン信号が右方向を示す場合は処理はステップＳ１７に進む。
　ステップＳ１２においては、仮想視点ＶＰが左サイドの位置ＶＰＬに設定される。これにより、図１０に示すように、左方向の側方領域を右方向よりも大きく示す合成画像ＦＰ２が生成されてディスプレイ２１に表示される。
　続いて、このように仮想視点ＶＰが左サイドの位置ＶＰＬに設定された状態で、ターン信号の状態が監視される（ステップＳ１３）。ターン信号が左方向を示す状態が維持された場合はステップＳ１２へ戻り、仮想視点ＶＰが左サイドの位置ＶＰＬに維持される。すなわち、左方向の側方領域を比較的大きく示す合成画像ＦＰ２の表示が維持される。一方、ターン信号が右方向を示す場合は処理はステップＳ１７に進む。
　また、ステップＳ１３において、ターン信号がオフとなった場合、すなわち、方向指示が有りから無しに変化した場合は、ターン信号がオフとなった時点でタイマ１２による計時が開始される（ステップＳ１４）。
　そして、計時開始から所定時間経過するまで、ターン信号の状態が監視される（ステップＳ１５，Ｓ１６）。この所定時間は、本実施の形態では例えば３秒とされている。この所定時間が経過するまでは、仮想視点ＶＰが左サイドの位置ＶＰＬに維持され、左方向の側方領域を比較的大きく示す合成画像ＦＰ２の表示が維持される。そして、ターン信号がオフの状態で所定時間が経過した場合は（ステップＳ１６にてＹｅｓ）、仮想視点ＶＰの視点位置が左右略中央の位置ＶＰＣに戻される（ステップＳ２２）。これにより、車両９の左右双方の側方領域を略均等に含む合成画像ＦＰ２が表示される。
　しかしながら、計時開始から所定時間経過するまでに、ステップＳ１５においてターン信号が再び左方向を示した場合はステップＳ１２へ戻り、仮想視点ＶＰが左サイドの位置ＶＰＬのままに維持される。すなわち、左方向の側方領域を比較的大きく示す合成画像ＦＰ２の表示が維持される。なお、ステップＳ１５においてターン信号が右方向を示す場合は処理はステップＳ１７に進む。
　方向変更や幅寄せを行う場合はステアリングホイールを細かく操作するため、ドライバの意図とは無関係に、方向指示器８３のウインカースイッチが操作位置から中立位置に戻ってしまう場合がある。このため、ドライバは、方向指示器８３のウインカースイッチを短時間の間に連続して同一方向に操作する場面が発生する。このような場面において、ターン信号のオン／オフに応答して仮想視点ＶＰの視点位置を即座に変更したのでは、ディスプレイ２１に表示される合成画像ＦＰ２の視点位置が頻繁に切り替わって見難くなる。このため、ターン信号がオフとなっても所定時間が経過するまでは仮想視点ＶＰの視点位置を維持し、ターン信号がオフの状態で所定時間経過したことを条件に仮想視点ＶＰの視点位置を左右略中央の位置ＶＰＣに戻すことで、合成画像ＦＰ２が見難くなることが防止される。
　なお、この判断に利用する所定時間は、短いほど合成画像ＦＰ２の視点位置が頻繁に切り替わる可能性があり、長いほど合成画像ＦＰ２の視点位置が略中央に戻りにくくなる。このため、所定時間は例えば２秒から４秒の間で設定することが望ましい。
　上記では、ターン信号が左方向を示す場合について説明したが、右方向を示す場合も左右が異なるだけで同様の処理がなされる。すなわち、ステップＳ１７においては、仮想視点ＶＰが右サイドの位置ＶＰＲに設定される。これにより、図１１に示すように、右方向の側方領域を左方向よりも大きく示す合成画像ＦＰ２が生成されてディスプレイ２１に表示される。
　続いて、仮想視点ＶＰが右サイドの位置ＶＰＲに設定された状態で、ターン信号の状態が監視される（ステップＳ１８）。ターン信号が右方向を示す状態が維持された場合はステップＳ１７へ戻り、仮想視点ＶＰが右サイドの位置ＶＰＲに維持され、ターン信号が左方向を示す場合は処理はステップＳ１２に進む。
　また、ステップＳ１８において、ターン信号がオフとなった場合は、ターン信号がオフとなった時点でタイマ１２による計時が開始され（ステップＳ１９）、計時開始から所定時間経過するまでターン信号の状態が監視される（ステップＳ２０，Ｓ２１）。この際、所定時間経過するまでは、仮想視点ＶＰが右サイドの位置ＶＰＲに維持される。そして、ターン信号がオフの状態で所定時間が経過した場合は（ステップＳ２１にてＹｅｓ）、仮想視点ＶＰの視点位置が左右略中央の位置ＶＰＣに戻される（ステップＳ２２）。これにより、車両９の左右双方の側方領域を略均等に含む合成画像ＦＰ２が表示される。
　しかしながら、計時開始から所定時間経過するまでに、ステップＳ２０においてターン信号が再び右方向を示した場合はステップＳ１７へ戻り、仮想視点ＶＰが右サイドの位置ＶＰＲのままに維持される。すなわち、右方向の側方領域を比較的大きく示す合成画像ＦＰ２の表示が維持される。なお、ステップＳ２０においてターン信号が左方向を示す場合は処理はステップＳ１２に進む。
　　＜４－２．一画像モード＞
　次に、図５に戻って、一画像モードＭ１２における表示態様について説明する。一画像モードＭ１２においては合成画像ＦＰ３のみがディスプレイ２１に表示される。仮想視点ＶＰの視点位置は車両９の後方の左右略中央の位置に設定され、視野方向は車両９の前方方向に設定されている。このため、合成画像ＦＰ３では、車両９の後方位置から前方方向をみた状態で、車両９の左右双方の側方領域が示される。細い道などにおいて対向車とすれ違う場合には車両９の左右双方の側方を注目する必要があるため、このような表示態様の一画像モードＭ１２が有効に利用できる。
　一画像モードＭ１２においても、合成画像ＦＰ３の視野の向きとドライバ自身の視野の向きとがおよそ一致することから、ドライバはディスプレイ２１に表示された物体の位置関係を直感的に把握できる。
　また、表示モードを一画像モードＭ１２に切り替えた際には、複数の合成画像ＦＰ３を連続表示することで、合成画像ＦＰ３の仮想視点ＶＰが移動するようなアニメーション表現がなされる。図１３は、一画像モードＭ１２においてアニメーション表現を行う場合の表示の一例を示す図である。また、図１４は、このときの仮想視点ＶＰの移動の様子を示す図である。
　図１４に示すように、ドライバの視点に相当する位置ＶＰＤから車両９の後方の位置ＶＰＡまで直線的に移動するように、仮想視点ＶＰの視点位置が制御部１により変更される。そして、このように仮想視点ＶＰを段階的に変更しつつ、合成画像生成部３２により複数の合成画像ＦＰ３が順次に生成される。この複数の合成画像ＦＰ３を生成するためのパラメータは、変更前の位置ＶＰＤのパラメータと変更後の位置ＶＰＡのパラメータとに基づいて線形補完で制御部１により導出される。生成された複数の合成画像ＦＰ３はナビゲーション装置２０に順次に出力されて、ディスプレイ２１に時間連続して表示される。
　これにより、図１３に示すように、ディスプレイ２１において、ドライバの視点に相当する位置から車両９の後方位置まで合成画像ＦＰ３の仮想視点ＶＰが移動するようなアニメーション表現がなされる。すなわち、合成画像ＦＰ３においては、当初はドライバの視点であるため車両９の像は見えていないが（状態ＳＴ１１）、徐々に車両９の上部の像が示され（状態ＳＴ１２，ＳＴ１３）、最終的に車両９を後方から見下ろすように車両９の像が示される（状態ＳＴ１４）。このようなアニメーション表現は約１秒かけて行われる。
　仮想視点ＶＰの位置を変更する場合に仮想視点ＶＰを瞬時に切り替えると、どの位置の仮想視点ＶＰからの合成画像であるかをドライバが把握しにくくなる。これに対して、本実施の形態のようなアニメーション表現を行うことで、仮想視点ＶＰを瞬時に切り替えた場合と比較して、どの位置の仮想視点ＶＰからの合成画像であるかをドライバが直感的に把握しやすくできる。
　また、アニメーション表現を行う際に、仮想視点ＶＰの視点位置を、車両９のドライバの視点に相当する位置を基準位置とし、この基準位置から移動させる。このため、仮想視点ＶＰの変更後の視点位置がドライバの視点位置を基準として示されるため、直感的に把握しやすい。なお、アニメーション表現を開始する基準位置は、ドライバの視点に相当する位置でなくても、ドライバが直感的に把握しやすい位置であればよい。例えば、車両９の略中央の直上位置や、フロントバンパの左右略中心位置などを基準位置としてもよい。
　また、このようなアニメーション表現は表示モードを変更する場合だけではなく、仮想視点ＶＰを変更する場合はどのような場合であっても行うことが可能である。例えば、上述した二画像モードＭ１１において方向指示器８３の操作に応答して仮想視点ＶＰの視点位置を左右方向に変更する場合においても、アニメーション表現を行うことが望ましい。いずれの場合も、仮想視点の位置を段階的に移動しつつ、連続表示によりアニメーション表現が可能な複数の合成画像を生成すればよい。合成画像を生成するためのパラメータは、変更前の位置のパラメータと変更後の位置のパラメータとに基づいて線形補完で導出できる。このようなアニメーション表現を利用することで、変更後の仮想視点ＶＰの位置をドライバが直感的に把握できる。
　　＜４－３．サイドカメラモード＞
　次に、図５に戻って、サイドカメラモードＭ１３における表示態様について説明する。サイドカメラモードＭ１３においては、サイド画像ＦＰ４のみがディスプレイ２１に表示される。サイド画像ＦＰ４は、仮想視点ＶＰからの合成画像ではなく、左側のサイドカメラ５２での撮影により得られた撮影画像を撮影画像調整部３１で表示用に調整した表示画像である。
　本実施の形態の車両９の運転席の位置は例えば右側であるため、その逆側となる車両９の左側のフロントフェンダ９４の外側領域については死角になりやすい。このため、サイドカメラモードＭ１３においては、左側のフロントフェンダ９４の外側領域が拡大して示される。これにより、死角に存在する物体の状態を他の表示モードよりも把握しやすくなっている。
　また、図１５に示すように、サイドカメラモードＭ１３においては、切替スイッチ８５を押下することで、ディスプレイ２１に表示する範囲を切り替え可能である。具体的には、車両９の左側の前輪９６付近の領域を拡大して示すサイド画像ＦＰ４と、前輪９６よりも後方領域を拡大して示すサイド画像ＦＰ５とで切替可能である。
　＜５．バックモード＞
　次に、シフトレバーの位置が”Ｒ（後退）”となったときの動作モードであるバックモードＭ２の表示態様について説明する。図１６は、バックモードＭ２における表示モードの遷移を示す図である。バックモードＭ２では、標準モードＭ２１、ワイドモードＭ２２、合成標準モードＭ２３、及び、合成俯瞰モードＭ２４の４つの表示モードがあり、互いに表示態様が異なっている。ドライバは、所定の操作を行うことで、任意の一の表示モードを選択して、現在の表示モード（以下、「現在モード」という。）に設定することができる。
　具体的には、切替スイッチ８５を押下すると、標準モードＭ２１、ワイドモードＭ２２、合成標準モードＭ２３の順で現在モードに設定される。合成標準モードＭ２３が現在モードの場合に、切替スイッチ８５を押下すると、再び、標準モードＭ２１が現在モードに設定される。なお、この切替スイッチ８５に変えて、画面上のコマンドボタンを押下することで切り替えられてもよい。
　また、合成標準モードＭ２３が現在モードの場合に、ディスプレイ２１の画面上にコマンドボタンとして表示される視点切替ボタンＣＢ１を押下すると、合成俯瞰モードＭ２４が現在モードに設定される。一方で、合成俯瞰モードＭ２４が現在モードの場合でも、ディスプレイ２１の画面上に表示される視点切替ボタンＣＢ１を押下すると、合成標準モードＭ２３が現在モードに設定される。また、合成俯瞰モードＭ２４が現在モードの場合に切替スイッチ８５を押下すると、標準モードＭ２１が現在モードに設定される。
　バックモードＭ２では、現在モードに応じた表示用画像が画像処理部３により生成されてディスプレイ２１に表示される。標準モードＭ２１、及び、ワイドモードＭ２２が現在モードの場合は、バックカメラ５３での撮影により得られるバック画像ＢＰ１，ＢＰ２のみを含む表示用画像がディスプレイ２１に表示される。また、合成標準モードＭ２３が現在モードの場合は、仮想視点ＶＰからみた合成画像ＢＰ４とバックカメラ５３での撮影により得られるバック画像ＢＰ５とを並べて含む表示用画像がディスプレイ２１に表示される。さらに、合成俯瞰モードＭ２４が現在モードの場合は、合成標準モードＭ２３におけるバック画像ＢＰ５に代えて、仮想視点ＶＰからみた合成画像ＢＰ６が表示される。
　　＜５－１．標準モード＞
　図１６に示すように、標準モードＭ２１においては、バック画像ＢＰ１のみがディスプレイ２１に表示される。バック画像ＢＰ１は、仮想視点ＶＰからの合成画像ではなく、バックカメラ５３での撮影により得られた撮影画像を撮影画像調整部３１で表示用に調整した表示画像である。図１７に示すように、バック画像ＢＰ１の視野範囲の水平角度は１３５°であり、標準モードＭ２１では車両９の後方領域が自然な態様で示される。
　バック画像ＢＰ１には、車両９の後退時における予測進路を示すガイドラインＧＬが重畳して表示される。このガイドラインＧＬは、ステアリングセンサ８４から入力されるステアリングホイールの回転の向き及び回転角度に応じて移動される。これにより、ドライバは、ガイドラインＧＬを目安にして、車両９を後退させることができる。
　　＜５－２．ワイドモード＞
　図１６に示すように、ワイドモードＭ２２においても、バック画像ＢＰ２のみがディスプレイ２１に表示される。バック画像ＢＰ２も、仮想視点ＶＰからの合成画像ではなく、バックカメラ５３での撮影により得られた撮影画像を撮影画像調整部３１で表示用に調整した表示画像である。このバック画像ＢＰ２においても、車両９の後退時における予測進路を示すガイドラインＧＬが重畳して表示される。
　ただし、図１８に示すように、バック画像ＢＰ２の視野範囲の水平角度は１８０°であり、標準モードＭ２１よりも水平方向に広い範囲の物体を確認可能である。したがって、前止め駐車した場合に後退して出庫するときなどにおいては、このような表示態様のワイドモードＭ２２を利用することで、死角となりやすい後方の左右領域を確認できる。
　　＜５－３．合成標準モード＞
　図１９は、合成標準モードＭ２３においてディスプレイ２１に表示される表示用画像の一例を示す図である。図に示すように、合成標準モードＭ２３における表示用画像では、左側に合成画像ＢＰ４が配置され、右側にバック画像ＢＰ５が配置されている。合成画像ＢＰ４は、車両９の周囲全体を見下ろすような仮想視点ＶＰからみた合成画像である。一方、バック画像ＢＰ５は、仮想視点ＶＰからの合成画像ではなく、バックカメラ５３での撮影により得られた撮影画像を撮影画像調整部３１で表示用に調整した表示画像である。バック画像ＢＰ５の視野範囲の水平角度は１３５°である。
　ドライバは、このような表示態様の合成標準モードＭ２３の表示用画像を視認することで、車両９の周囲全体の様子と、車両９の後方領域の様子との双方を同時に確認できる。したがって、ドライバは、車両９の周囲全体の物体を意識しながら、車両９を安全に後退させることができる。
　　＜５－４．合成俯瞰モード＞
　図２０は、合成俯瞰モードＭ２４においてディスプレイ２１に表示される表示用画像の一例を示す図である。図に示すように、合成俯瞰モードＭ２４における表示用画像の左側には、合成標準モードＭ２３と同様に、車両９の周囲全体を見下ろすような仮想視点ＶＰからみた合成画像ＢＰ４が配置される。一方で、表示用画像の右側には、車両９の後端近傍を略直下に見下ろす仮想視点ＶＰからみた合成画像ＢＰ６が配置される。
　図２１に示すように、合成画像ＢＰ６の仮想視点ＶＰの視点位置は車両９の後端の略直上位置に設定され、視野方向は略直下方向に設定されている。これにより、合成画像ＢＰ６には、車両９の後端近傍の領域がその上方から略直下に見下ろすようにして拡大して示される。合成画像ＢＰ６においては、車両９の後退時の進行方向となる車両９の後方方向が画像の上方向とされている。
　ドライバは、このような表示態様の合成俯瞰モードＭ２４の表示用画像を視認することで、車両９とその周囲の物体、特に車両９の後端近傍に存在する物体とのクリアランスを容易に確認できる。一方で、車両９の後退時における進行方向である車両９の後方領域に、車両９から離れて存在する物体を把握することは難しい。したがって、合成俯瞰モードＭ２４は、車両９を後退して駐車する場合に車両９の駐車位置を最終調整するときなどの特殊な条件下において有効に利用できる表示モードである。
　　＜５－５．角度調整＞
　ところで、合成標準モードＭ２３（図１９参照。）及び合成俯瞰モードＭ２４（図２０参照。）において左側に配置される合成画像ＢＰ４については、その仮想視点ＶＰの視点位置をドライバの所望の位置に設定できる。合成標準モードＭ２３あるいは合成俯瞰モードＭ２４において、画面上にコマンドボタンとして表示される設定ボタンＣＢ２を押下すると、仮想視点ＶＰの視点位置を設定するための設定画面が表示される。
　図２２及び図２３は、この仮想視点ＶＰの設定画面を示す図である。設定画面においては、車両９の側面を示すイラストとともに、車両９に対する仮想視点ＶＰの位置を示す指標が示される。この指標は画面上のコマンドボタンＣＢ４，ＣＢ５を押下することで移動でき、移動された指標の車両９のイラストに対する位置が、仮想視点ＶＰの視点位置として設定される。この際、仮想視点ＶＰの視野方向は、車両９の略中心９ｃに向けて設定される。図２２は仮想視点ＶＰの視点位置を車両９の略中心の直上位置に設定した場合、図２３は仮想視点ＶＰの視点位置を車両９の後方位置に設定した場合の例をそれぞれ示している。
　また、この設定画面の左側においては、指標の位置を仮想視点ＶＰとした場合における合成画像ＢＰ７が表示される。したがって、このような設定画面を視認することで、仮想視点ＶＰを移動させた場合にどのような合成画像ＢＰ７が得られるかを容易に確認でき、ドライバは所望の位置に仮想視点ＶＰを移動させることができる。
　設定画面にコマンドボタンとして表示される完了ボタンＣＢ３を押下すると、設定された内容が合成標準モードＭ２３及び合成俯瞰モードＭ２４の表示に反映される。例えば、図２３に示す設定画面において完了ボタンＣＢ３を押下すると、図２４に示すように、表示用画像の左側の合成画像ＢＰ４において車両９がその後方からみた状態で示される。このように仮想視点ＶＰの視点位置を設定できることから、ドライバは車両９の後退時において車両９とその周辺の物体との位置関係を所望の角度から把握することができる。
　　＜５－６．現在モードの設定＞
　このようにバックモードＭ２においては、シフトレバーの位置が“Ｒ（後退）”に操作されている間に車両９の周辺領域を示す画像をディスプレイ２１に表示させるための、互いに異なる４つの表示モードがある。切替スイッチ８５等でドライバの指示が受け付けられ、この指示によって、一つの表示モードが選択され、選択された表示モードが現在モードとして設定される。一般にドライバは、自分の好みや日常に利用する駐車場の環境に合わせて、４つの表示モードのうちの所望の一つの表示モードを頻繁に利用する。仮に、車両９を後退させるたびにドライバが所望の表示モードを現在モードに設定する必要があるとすると、操作が煩雑となる。
　このため、画像表示システム１００では、バックモードＭ２において直近に現在モードとして設定された表示モードを記憶しておき、次にバックモードＭ２となった場合には、原則として、その直近に現在モードとして設定された表示モードに基づいて、バックモードＭ２となった直後に画像が生成される。これにより、ドライバにとっては、車両９を後退させるたびに所望の表示モードを選択するといった煩雑な操作が不要となる。
　図２５は、直近に設定された現在モードを示す情報を記憶する処理の流れを示す図である。この処理は、動作モードがバックモードＭ２である場合に、制御部１により繰り返し実行される。
　まず、現在モードが別の表示モードに切り替えられたか否かが判断される（ステップＳ３１）。現在モードが別の表示モードに切り替えられた場合は、切り替えられた後の現在モードを示すモード情報が不揮発性メモリ１１に記憶される（ステップＳ３２）。この処理は、現在モードが切り替えられる毎に行われるため、不揮発性メモリ１１には直近に現在モードとして設定された表示モードを示すモード情報が記憶される。このモード情報は、動作モードがバックモードＭ２以外のとき（車両９の変速装置が”Ｒ（後退）”の位置以外のとき）や、画像表示システム１００の電源がオフのときであっても、不揮発性メモリ１１に記憶される。
　図２６は、バックモードＭ２の開始時点の処理の流れを示す図である。この処理は、車両９の変速装置が”Ｒ（後退）”の位置に操作され、動作モードがバックモードＭ２になったことに応答して制御部１により実行される。
　まず、不揮発性メモリ１１に記憶されたモード情報が読み出される（ステップＳ４１）。そして、読み出されたモード情報が示す表示モードがいずれであるかが判断される（ステップＳ４２）。
　モード情報が示す表示モードが合成俯瞰モードＭ２４以外の場合は（ステップＳ４２にてＮｏ）、モード情報が示す表示モードが現在モードとして設定される（ステップＳ４３）。合成画像生成部３２または表示画像生成部３３は、現在モードとして設定された表示モードの画像を生成する。一方、モード情報が示す表示モードが合成俯瞰モードＭ２４の場合は（ステップＳ４２にてＹｅｓ）、合成標準モードＭ２３が現在モードとして設定される（ステップＳ４４）。合成画像生成部３２または表示画像生成部３３は、合成標準モードＭ２３の画像を生成する。
　このように、直近に現在モードとして設定された表示モードが、原則的に、バックモードＭ２となった直後の現在モードとして設定される。しかしながら、直近に現在モードとなった表示モードが合成俯瞰モードＭ２４である場合は、合成俯瞰モードＭ２４とは異なる合成標準モードＭ２３がバックモードＭ２となった直後の現在モードとして設定される。合成俯瞰モードＭ２４は最終的に車両９の駐車位置の調整を行うときに主に利用されるため、車両９の後退の開始時点では利用される場面は少ない。このため、直近に現在モードとして設定された表示モードが合成俯瞰モードＭ２４の場合は、例外的に異なる表示モードがバックモードＭ２となった直後の現在モードとして設定することで、現在モードを合成俯瞰モードＭ２４から別の表示モードに変更するといった煩雑な操作を不要とすることができる。
　なお、合成俯瞰モードＭ２４を例外的に扱う処理としては、図２５及び図２６で示した処理とは異なる処理でも実現できる。
　図２７は、直近の現在モードを示す情報を記憶する処理の流れの他の一例を示す図である。この処理も、動作モードがバックモードＭ２である場合に、制御部１により繰り返し実行される。
　まず、現在モードが別の表示モードに切り替えられたか否かが判断される（ステップＳ５１）。現在モードが別の表示モードに切り替えられた場合は、切り替えられた後の現在モードがいずれであるかが判断される（ステップＳ５２）。
　切り替えられた後の現在モードが合成俯瞰モードＭ２４以外の場合は（ステップＳ５２にてＮｏ）、切り替えられた後の現在モードを示すモード情報が不揮発性メモリ１１に記憶される（ステップＳ５３）。一方、切り替えられた後の現在モードが合成俯瞰モードＭ２４の場合は（ステップＳ５２にてＹｅｓ）、合成標準モードＭ２３を示すモード情報が不揮発性メモリ１１に記憶される（ステップＳ５４）。
　これにより、不揮発性メモリ１１には原則として直近に現在モードとして設定された表示モードを示すモード情報が記憶されるが、直近に現在モードとして設定された表示モードが合成俯瞰モードＭ２４の場合は、例外的に合成標準モードＭ２３を示すモード情報が記憶される。
　図２８は、図２７の処理が行われる場合における、バックモードＭ２の開始時点の処理の流れを示す図である。この処理も、車両９の変速装置が”Ｒ（後退）”の位置に操作され、動作モードがバックモードＭ２になったことに応答して制御部１により実行される。
　まず、不揮発性メモリ１１に記憶されたモード情報が読み出される（ステップＳ６１）。そして、読み出されたモード情報が示す表示モードが、そのまま現在モードに設定される（ステップＳ６２）。
　このような処理によっても、直近に現在モードとして設定された表示モードが合成俯瞰モードＭ２４の場合は、例外的に異なる表示モードをバックモードＭ２となった直後に現在モードとして設定することができる。その結果、現在モードを合成俯瞰モードＭ２４から別の表示モードに変更するといった煩雑な操作を不要とすることができる。
　＜６．変形例＞
　以上、本発明の実施の形態について説明してきたが、この発明は上記実施の形態に限定されるものではなく様々な変形が可能である。以下では、このような変形例について説明する。もちろん、以下で説明する形態を適宜に組み合わせてもよい。
　上記実施の形態では、画像生成装置１０とナビゲーション装置２０とは別の装置であるとして説明したが、ナビゲーション装置２０と画像生成装置１０とが同一のハウジング内に配置されて一体型の装置として構成されてもよい。
　また、上記実施の形態では、画像生成装置１０で生成された表示用画像を表示する表示装置はナビゲーション装置２０であるとして説明したが、ナビゲーション機能等の特殊な機能を有していない一般的な表示装置であってもよい。
　また、上記実施の形態において、画像生成装置１０の制御部１によって実現されると説明した機能の一部は、ナビゲーション装置２０の制御部２３によって実現されてもよい。
　また、シフトセンサ８１、車速度センサ８２、方向指示器８３、ステアリングセンサ８４及び切替スイッチ８５からの信号は画像生成装置１０に入力されるが、これらの信号の一部または全部はナビゲーション装置２０に入力されてもよい。この場合、通信部４２を介して、これらの信号の一部または全部が、画像生成装置１０の制御部１に入力されてもよい。
　また、上記実施の形態では、車両９のドライバが意図する方向指示を方向指示器８３から入力するが、他の手段によって入力してもよい。例えば、ドライバの目を撮影した画像からドライバの視点の動きを検出し、その検出結果からドライバが意図する方向指示を入力してもよい。
　また、上記実施の形態では、バックモードＭ２において例外的に扱われる特定表示モードが合成俯瞰モードＭ２４であるとして説明を行ったが、合成俯瞰モードＭ２４とは別の表示モードを特定表示モードに設定してもよい。例えば、車両９の後端近傍を略直下に見下ろす仮想視点からの画像のみを表示用画像として表示する表示モードを特定表示モードとしてもよい。駐車位置の最終調整に利用するなどの特殊な条件下で利用するような態様の表示モードを特定表示モードにすることが望ましい。
　また、上記実施の形態では、プログラムに従ったＣＰＵの演算処理によってソフトウェア的に各種の機能が実現されると説明したが、これら機能のうちの一部は電気的なハードウェア回路により実現されてもよい。また逆に、ハードウェア回路によって実現されるとした機能のうちの一部は、ソフトウェア的に実現されてもよい。
　本出願は、２００９年５月２９日に提出された日本特許出願（特願２００９－１３０１０１）に基づくものであり、その内容はここに参照として取り込まれる。
　１　　制御部
　３　　画像処理部
　５　　撮影部
　１０　　画像生成装置
　１１　　不揮発性メモリ
　２１　　ディスプレイ
　３２　　合成画像生成部
　４２　　通信部
　１００　　画像表示システム

Claims (12)

  1. 　車両に搭載された表示装置に表示させる画像を生成する画像生成装置であって、
    　前記車両の変速装置が後退の位置に操作されている間に前記車両の周辺領域を示す画像を表示装置に表示させるための、互いに異なる複数の表示モードの中から一の表示モードを選択して当該選択された表示モードを現在モードとして設定するための指示を、ユーザから受け付けるモード受付部と、
    　直近に設定された前記現在モードを示すモード情報を記憶する不揮発性の記憶部と、
    　前記記憶部に記憶された前記モード情報に応じて、前記複数の表示モードの一つの前記画像を生成する生成部と、
    　生成された前記画像を前記表示装置に出力する出力部と、を備え、
    　前記生成部は、前記モード情報が前記複数の表示モードのうちの第１特定表示モード以外の表示モードを前記現在モードとして示すとき、当該現在モードの画像を生成し、
    　前記生成部は、前記モード情報が前記第１特定表示モードを前記現在モードとして示すとき、前記第１特定表示モードとは異なる第２特定表示モードの画像を生成する画像生成装置。
  2. 　請求項１に記載の画像生成装置において、前記記憶部を含むコントローラを更に備え、
    　前記コントローラは、前記記憶部に記憶された前記モード情報を読み、前記モード情報が前記第１特定表示モード以外の表示モードを前記現在モードとして示すとき、前記生成部に前記現在モードの前記画像を生成させ、
    　前記コントローラは、前記記憶部に記憶された前記モード情報を読み、前記モード情報が前記第１特定表示モードを前記現在モードとして示すとき、前記生成部に前記第２特定表示モードの前記画像を生成させる画像生成装置。
  3. 　請求項１に記載の画像生成装置において、前記生成部は、前記車両の前記変速機が前記後退の位置に操作されたときに、前記複数の表示モードの一つの前記画像を生成することを開始する画像生成装置。
  4. 　請求項１に記載の画像生成装置において、
    　前記第１特定表示モードは、前記車両の駐車位置の最終調整に利用する画像生成装置。
  5. 　請求項１に記載の画像生成装置において、
    　前記第１特定表示モードは、前記車両の後端を略直下に見下ろす仮想視点からみた画像を前記表示装置に表示させるための表示モードである画像生成装置。
  6. 　車両に搭載される画像表示システムであって、
    　請求項１に記載の画像生成装置と、
    　前記画像生成装置で生成された画像を表示する表示装置と、を備える画像表示システム。
  7. 　車両に搭載された表示装置に表示させる画像を生成する画像生成装置であって、
    　前記車両の変速装置が後退の位置に操作されている間に前記車両の周辺領域を示す画像を表示装置に表示させるための、互いに異なる複数の表示モードの中から一の表示モードを選択して当該選択された表示モードを現在モードとして設定するための指示を、ユーザから受け付けるモード受付部と、
    　モード情報を記憶する不揮発性の記憶部と、
    　前記記憶部に記憶された前記モード情報に応じて、前記複数の表示モードの一つの前記画像を生成する生成部と、
    　生成された前記画像を前記表示装置に出力する出力部と、を備え、
    　前記記憶部は、直近に設定された前記現在モードが前記複数の表示モードのうちの第１特定表示モード以外の表示モードであるとき、前記現在モードを示す前記モード情報を記憶し、
    　前記記憶部は、直近に設定された前記現在モードが前記第１特定表示モードであるとき、前記第１特定表示モードとは異なる第２特定表示モードを示す前記モード情報を記憶する画像生成装置。
  8. 　請求項７に記載の画像生成装置において、前記記憶部を含むコントローラを更に備え、
    　前記コントローラは、直近に設定された前記現在モードが前記第１特定表示モード以外の前記表示モードであるとき、前記記憶部に前記現在モードを示す前記モード情報を記憶させ、
    　前記コントローラは、直近に設定された前記現在モードが前記第１特定表示モードであるとき、前記記憶部に前記第２特定表示モードを示す前記モード情報を記憶させる画像生成装置。
  9. 　請求項７に記載の画像生成装置において、前記生成部は、前記車両の前記変速機が前記後退の位置に操作されたときに、前記複数の表示モードの一つの前記画像を生成することを開始する画像生成装置。
  10. 　請求項７に記載の画像生成装置において、
    　前記第１特定表示モードは、前記車両の駐車位置の最終調整に利用する画像生成装置。
  11. 　請求項７に記載の画像生成装置において、
    　前記第１特定表示モードは、前記車両の後端を略直下に見下ろす仮想視点からみた画像を前記表示装置に表示させるための表示モードである画像生成装置。
  12. 　車両に搭載される画像表示システムであって、
    　請求項７に記載の画像生成装置と、
    　前記画像生成装置で生成された画像を表示する表示装置と、を備える画像表示システム。
PCT/JP2010/059077 2009-05-29 2010-05-28 画像生成装置及び画像表示システム WO2010137685A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
US13/322,657 US8937558B2 (en) 2009-05-29 2010-05-28 Image generating apparatus and image display system
CN201080023693.6A CN102448774B (zh) 2009-05-29 2010-05-28 图像生成设备及图像显示***

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2009-130101 2009-05-29
JP2009130101A JP5271154B2 (ja) 2009-05-29 2009-05-29 画像生成装置及び画像表示システム

Publications (1)

Publication Number Publication Date
WO2010137685A1 true WO2010137685A1 (ja) 2010-12-02

Family

ID=43222790

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2010/059077 WO2010137685A1 (ja) 2009-05-29 2010-05-28 画像生成装置及び画像表示システム

Country Status (4)

Country Link
US (1) US8937558B2 (ja)
JP (1) JP5271154B2 (ja)
CN (1) CN102448774B (ja)
WO (1) WO2010137685A1 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102514528A (zh) * 2011-12-15 2012-06-27 奇瑞汽车股份有限公司 一种汽车全景可视***以及汽车
JP2016042704A (ja) * 2015-09-17 2016-03-31 富士通テン株式会社 画像表示システム、画像処理装置及び画像表示方法

Families Citing this family (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5718080B2 (ja) * 2011-02-09 2015-05-13 本田技研工業株式会社 車両用周辺監視装置
EP2511137B1 (en) * 2011-04-14 2019-03-27 Harman Becker Automotive Systems GmbH Vehicle Surround View System
JP5895399B2 (ja) * 2011-08-23 2016-03-30 日産自動車株式会社 駐車支援装置
US20130093584A1 (en) * 2011-10-14 2013-04-18 Continental Automotive Systems, Inc. Integrated Rear Camera Display
KR101265711B1 (ko) 2011-11-30 2013-05-20 주식회사 이미지넥스트 3ｄ 차량 주변 영상 생성 방법 및 장치
JP5971700B2 (ja) * 2012-05-17 2016-08-17 アルパイン株式会社 表示装置
CN105765966B (zh) * 2013-12-19 2020-07-10 英特尔公司 碗形成像***
JP6224029B2 (ja) * 2015-05-21 2017-11-01 富士通テン株式会社 画像処理装置および画像処理方法
KR101677856B1 (ko) * 2015-08-06 2016-11-18 연세대학교 산학협력단 차량용 후방 카메라 시스템
JP2017159687A (ja) * 2016-03-07 2017-09-14 三菱重工業株式会社 駐車領域表示システム及びそれを用いた自動駐車システム
JP6477562B2 (ja) 2016-03-18 2019-03-06 株式会社デンソー 情報処理装置
JP6723820B2 (ja) * 2016-05-18 2020-07-15 株式会社デンソーテン 画像生成装置、画像表示システムおよび画像表示方法
JP2017220163A (ja) * 2016-06-10 2017-12-14 富士通テン株式会社 画像生成装置、画像表示システム及び画像生成方法
CN108791062B (zh) * 2017-05-02 2021-12-10 上海蔚兰动力科技有限公司 动态信息***及操作方法
KR102310379B1 (ko) * 2017-06-09 2021-10-12 현대자동차주식회사 주행 정보 안내 장치 및 방법, 그리고 차량 시스템
JP6962036B2 (ja) * 2017-07-07 2021-11-05 株式会社アイシン 周辺監視装置
JP6962035B2 (ja) * 2017-07-07 2021-11-05 株式会社アイシン 周辺監視装置
JP7056034B2 (ja) 2017-08-14 2022-04-19 株式会社アイシン 周辺監視装置
JP7013751B2 (ja) * 2017-09-15 2022-02-01 株式会社アイシン 画像処理装置
JP6939494B2 (ja) * 2017-12-11 2021-09-22 トヨタ自動車株式会社 画像表示装置
DE102018100211A1 (de) * 2018-01-08 2019-07-11 Connaught Electronics Ltd. Verfahren zum Erzeugen einer Darstellung einer Umgebung durch Verschieben einer virtuellen Kamera in Richtung eines Innenspiegels eines Fahrzeugs; sowie Kameraeinrichtung
JP2019125193A (ja) 2018-01-17 2019-07-25 アイシン精機株式会社 周辺監視装置
JP7220734B2 (ja) * 2021-03-24 2023-02-10 本田技研工業株式会社 画像表示システム
JP7228614B2 (ja) * 2021-03-24 2023-02-24 本田技研工業株式会社 画像表示システム

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002109697A (ja) * 2000-10-02 2002-04-12 Matsushita Electric Ind Co Ltd 運転支援装置
JP2003116125A (ja) * 2001-10-03 2003-04-18 Auto Network Gijutsu Kenkyusho:Kk 車両周辺視認装置
JP2008126794A (ja) * 2006-11-20 2008-06-05 Suzuki Motor Corp 車両用外部情報表示装置
JP2009049479A (ja) * 2007-08-13 2009-03-05 Alpine Electronics Inc 車両周辺画像表示装置および表示モード情報表示方法

Family Cites Families (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0399952A (ja) 1989-09-12 1991-04-25 Nissan Motor Co Ltd 車両用周囲状況モニタ
EP2410741A1 (en) * 1999-04-16 2012-01-25 Panasonic Corporation Image processing apparatus and monitoring system
ATE333192T1 (de) * 1999-10-12 2006-08-15 Matsushita Electric Ind Co Ltd Überwachungskamera, verfahren zum anpassen einer kamera und fahrzeugüberwachungssystem
JP3855814B2 (ja) 2002-03-22 2006-12-13 日産自動車株式会社 車両用画像処理装置
US7145519B2 (en) * 2002-04-18 2006-12-05 Nissan Motor Co., Ltd. Image display apparatus, method, and program for automotive vehicle
JP4218453B2 (ja) 2003-07-15 2009-02-04 株式会社デンソー 車両用前方視界支援装置
JP2005050220A (ja) 2003-07-30 2005-02-24 Denso Corp 車両周囲確認支援装置
JP3938559B2 (ja) * 2003-08-28 2007-06-27 アイシン精機株式会社 車両後退支援装置
JP4766841B2 (ja) * 2003-09-08 2011-09-07 株式会社オートネットワーク技術研究所 車両に搭載されるカメラ装置及び車両周辺監視装置
JP2005223524A (ja) * 2004-02-04 2005-08-18 Nissan Motor Co Ltd 車両周辺監視装置
JP2006050263A (ja) * 2004-08-04 2006-02-16 Olympus Corp 画像生成方法および装置
WO2007032139A1 (ja) * 2005-09-16 2007-03-22 Sharp Kabushiki Kaisha 表示システム、画面デザイン設定ツール、表示システム用プログラム、画面デザイン設定プログラムおよび記録媒体
JP4955471B2 (ja) * 2007-07-02 2012-06-20 株式会社デンソー 画像表示装置及び車載用画像表示装置
US8218007B2 (en) * 2007-09-23 2012-07-10 Volkswagen Ag Camera system for a vehicle and method for controlling a camera system
JP2009154647A (ja) * 2007-12-26 2009-07-16 Aisin Aw Co Ltd マルチ画面表示装置及びそのプログラム
JP2009248952A (ja) 2008-04-11 2009-10-29 Pioneer Electronic Corp 撮影情報表示装置、撮影情報表示方法及び撮影情報表示プログラム
JP4927904B2 (ja) 2009-05-07 2012-05-09 富士通テン株式会社 車両の運転支援装置
US20100289631A1 (en) * 2009-05-12 2010-11-18 Ford Global Technologies, Llc Dual-mode vehicle rear vision system
US8339253B2 (en) * 2009-09-08 2012-12-25 GM Global Technology Operations LLC Methods and systems for displaying vehicle rear camera images in different modes

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002109697A (ja) * 2000-10-02 2002-04-12 Matsushita Electric Ind Co Ltd 運転支援装置
JP2003116125A (ja) * 2001-10-03 2003-04-18 Auto Network Gijutsu Kenkyusho:Kk 車両周辺視認装置
JP2008126794A (ja) * 2006-11-20 2008-06-05 Suzuki Motor Corp 車両用外部情報表示装置
JP2009049479A (ja) * 2007-08-13 2009-03-05 Alpine Electronics Inc 車両周辺画像表示装置および表示モード情報表示方法

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102514528A (zh) * 2011-12-15 2012-06-27 奇瑞汽车股份有限公司 一种汽车全景可视***以及汽车
JP2016042704A (ja) * 2015-09-17 2016-03-31 富士通テン株式会社 画像表示システム、画像処理装置及び画像表示方法

Also Published As

Publication number Publication date
JP5271154B2 (ja) 2013-08-21
US8937558B2 (en) 2015-01-20
US20120068840A1 (en) 2012-03-22
CN102448774B (zh) 2014-06-11
CN102448774A (zh) 2012-05-09
JP2010274814A (ja) 2010-12-09

Similar Documents

Publication Publication Date Title
JP5271154B2 (ja) 画像生成装置及び画像表示システム
WO2010137684A1 (ja) 画像生成装置及び画像表示システム
JP5087051B2 (ja) 画像生成装置及び画像表示システム
JP4254887B2 (ja) 車両用画像表示システム
US8031225B2 (en) Surroundings monitoring system for a vehicle
JP5321267B2 (ja) 車両用画像表示装置及び俯瞰画像の表示方法
JP5302227B2 (ja) 画像処理装置、画像処理システム、および、画像処理方法
KR101266734B1 (ko) 표시장치
US9706175B2 (en) Image processing device, image processing system, and image processing method
WO2011078183A1 (ja) 画像処理装置、画像処理システム、および画像処理方法
JP2005110202A (ja) カメラ装置及び車両周辺監視装置
JP2005110207A (ja) カメラ装置及び車両周辺監視装置
JP2005186648A (ja) 車両用周囲視認装置および表示制御装置
JP2016063390A (ja) 画像処理装置、及び画像表示システム
JP4059309B2 (ja) 車載カメラの画像表示制御方法及びその装置
JP5479639B2 (ja) 画像処理装置、画像処理システム、および、画像処理方法
JP5466743B2 (ja) 画像生成装置及び画像表示システム

Legal Events

Date Code Title Description
WWE Wipo information: entry into national phase

Ref document number: 201080023693.6

Country of ref document: CN

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 10780639

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 13322657

Country of ref document: US

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 10780639

Country of ref document: EP

Kind code of ref document: A1