WO2011078201A1 - 画像処理装置、画像処理システム、および画像処理方法 - Google Patents

画像処理装置、画像処理システム、および画像処理方法 Download PDF

Info

Publication number
WO2011078201A1
WO2011078201A1 PCT/JP2010/073078 JP2010073078W WO2011078201A1 WO 2011078201 A1 WO2011078201 A1 WO 2011078201A1 JP 2010073078 W JP2010073078 W JP 2010073078W WO 2011078201 A1 WO2011078201 A1 WO 2011078201A1
Authority
WO
WIPO (PCT)
Prior art keywords
vehicle
image
images
image processing
mode
Prior art date
Application number
PCT/JP2010/073078
Other languages
English (en)
French (fr)
Inventor
功太郎 木下
正弘 小原沢
順子 任
Original Assignee
富士通テン株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 富士通テン株式会社 filed Critical 富士通テン株式会社
Priority to US13/517,118 priority Critical patent/US9706175B2/en
Priority to CN2010800590899A priority patent/CN102934427A/zh
Publication of WO2011078201A1 publication Critical patent/WO2011078201A1/ja

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34—Route searching; Route guidance
    • G01C21/36—Input/output arrangements for on-board computers
    • G01C21/3626—Details of the output of route guidance instructions
    • G01C21/3647—Guidance involving output of stored or live camera images or video streams
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/04—Context-preserving transformations, e.g. by using an importance map
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G08G1/165—Anti-collision systems for passive traffic, e.g. including static obstacles, trees
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G08G1/166—Anti-collision systems for active traffic, e.g. moving vehicles, pedestrians, bikes
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/10—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used
    • B60R2300/105—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used using multiple cameras

Definitions

  • the present invention relates to a technique for displaying an image on a display device mounted on a vehicle.
  • a device that enables monitoring of the periphery of a vehicle by acquiring images around the vehicle with a plurality of cameras mounted on the vehicle and displaying them on a display device automatically or by user operation.
  • an apparatus that displays on the screen an image looking down directly above the vehicle as a virtual viewpoint, and provides a user with means for confirming safety around the entire vehicle.
  • a first screen is displayed on the first screen, in which a plurality of cameras mounted on the vehicle are used to shoot from a viewpoint at a predetermined height, and the viewpoint position of the image captured by the camera is displayed together with an overall view of the vehicle.
  • Japanese Patent Application Publication No. 2008-219559 discloses a technology for confirming safety around a vehicle on two screens, a second screen for displaying each camera image corresponding to the movement of the viewpoint position. (Patent Document 1).
  • a screen showing the position of the viewpoint of the image captured by the camera together with the overall view of the vehicle, and a screen for displaying each camera image corresponding to the movement of the viewpoint position are displayed on different screens, and the information displayed on the two screens must be correlated by the user himself, which makes it difficult for the user to grasp the positional relationship between the vehicle and the obstacle.
  • the present invention has been made in view of the above problems, and an object thereof is to provide a technique that allows a user to intuitively grasp the positional relationship between a vehicle and an obstacle around the vehicle.
  • An image processing apparatus mounted on a vehicle, Image acquisition means for acquiring a plurality of camera images photographed by a plurality of cameras provided in the vehicle; Composite image generation means for generating a plurality of composite images including a plurality of first overhead images obtained by viewing the vehicle and its periphery from different viewpoints based on the plurality of camera images; An image processing apparatus, comprising: a display image providing unit that outputs information corresponding to a display image in which the plurality of synthesized images are continuously reproduced to a display device mounted on the vehicle.
  • the plurality of composite images include a second bird's-eye view image of the vehicle and its surroundings viewed from directly above the vehicle, The image processing apparatus, wherein the display image is one in which the second overhead image is reproduced at least once while the plurality of first overhead images are being reproduced.
  • Each of the plurality of first bird's-eye images shows the vehicle at the center thereof.
  • the composite image generation means generates the composite images when the image processing apparatus is activated.
  • the composite image generating means removes a portion having a lightness lower than a reference value in the plurality of camera images when generating the plurality of composite images.
  • An image processing system A plurality of cameras provided in the vehicle;
  • An image processing apparatus mounted on a vehicle, Image acquisition means for acquiring a plurality of camera images photographed by a plurality of cameras provided in the vehicle;
  • Composite image generation means for generating a plurality of composite images including a plurality of overhead images obtained by viewing the vehicle and its surroundings from different viewpoints, based on the plurality of camera images;
  • An image processing apparatus comprising: a display image providing unit that outputs information corresponding to a display image in which the plurality of composite images are continuously reproduced to a display device mounted on the vehicle. Processing system.
  • An image processing method Acquiring a plurality of camera images taken by a plurality of cameras provided in the vehicle; Generating a plurality of composite images including a plurality of overhead images obtained by viewing the vehicle and its periphery from different viewpoints based on the plurality of camera images; Outputting information corresponding to a display image in which the plurality of composite images are continuously reproduced to a display device mounted on the vehicle.
  • the user can check obstacles around the vehicle on one screen.
  • the user can smoothly check obstacles around the entire vehicle when starting up the image processing apparatus, which is usually before the start of operation.
  • FIG. 1 is a diagram illustrating a configuration of an image processing system.
  • FIG. 2 is a diagram illustrating a position where the in-vehicle camera is arranged in the vehicle.
  • FIG. 3 is a diagram illustrating an external configuration of a side camera unit in which the left side camera of the vehicle is accommodated in the housing.
  • FIG. 4 is a diagram for explaining a method of generating a composite image.
  • FIG. 5 is a diagram illustrating transition of operation modes of the image processing system.
  • FIG. 6 is a diagram illustrating that the virtual viewpoint is continuously moved so as to go around the periphery of the vehicle.
  • FIG. 7 is a diagram showing the circuit around the vehicle with the vehicle looking down.
  • FIG. 8 is a diagram illustrating display mode transition in the front mode.
  • FIG. 1 is a diagram illustrating a configuration of an image processing system.
  • FIG. 2 is a diagram illustrating a position where the in-vehicle camera is arranged in the vehicle.
  • FIG. 3
  • FIG. 9 is a diagram illustrating display mode transition in the back mode.
  • FIG. 10 is a diagram showing the direction of the optical axis when the door mirror is stored.
  • FIG. 11 is a diagram illustrating a processing flow of the control unit of the image processing system in the surrounding confirmation mode.
  • FIG. 12 is a diagram illustrating a processing flow of the control unit of the image processing system in the back mode.
  • FIG. 1 is a block diagram showing a configuration of the image processing system 120.
  • the image processing system 120 is mounted on a vehicle (in this embodiment, an automobile), generates an image by photographing the periphery of the vehicle, and uses the generated image as a navigation device 20 in the vehicle interior. It has a function of outputting to a display device.
  • a user typically a driver of the image processing system 120 can grasp the state around the vehicle in almost real time.
  • an image processing system 120 includes an image processing device 100 that generates a peripheral image indicating the periphery of the vehicle and outputs image information to a display device such as a navigation device 20, and a camera that captures the periphery of the vehicle. And a photographing unit 5 having the above.
  • the navigation device 20 provides navigation guidance to the user, and includes a display 21 such as a liquid crystal provided with a touch panel function, an operation unit 22 that is operated by the user, and a control unit 23 that controls the entire device. Yes.
  • the navigation device 20 is installed on an instrument panel or the like of the vehicle so that the screen of the display 21 is visible from the user.
  • Various instructions from the user are received by the operation unit 22 and the display 21 as a touch panel.
  • the control part 23 is comprised as a computer provided with CPU, RAM, ROM, etc., and various functions including a navigation function are implement
  • the navigation apparatus 20 is communicably connected to the image processing apparatus 100, and can transmit and receive various control signals to and from the image processing apparatus 100 and receive peripheral images generated by the image processing apparatus 100. .
  • An image based on the function of the navigation device 20 alone is normally displayed on the display 21 under the control of the control unit 23, but the periphery showing the state of the periphery of the vehicle generated by the image processing device 100 under a predetermined condition An image is displayed.
  • the navigation device 20 also functions as a display device that receives and displays a peripheral image generated by the image processing device 100.
  • the image processing apparatus 100 is configured as an ECU (Electronic Control Unit) whose main body 10 has a function of generating a peripheral image, and is arranged at a predetermined position of the vehicle.
  • the image processing system 120 includes an imaging unit 5 that captures the periphery of the vehicle, and generates an image generated from a virtual viewpoint based on a captured image obtained by capturing the periphery of the vehicle with the imaging unit 5. Functions as a device.
  • the plurality of in-vehicle cameras 51, 52, and 53 provided in the photographing unit 5 are arranged at appropriate positions on a vehicle different from the main body unit 10, but will be described in detail later.
  • the main body unit 10 of the image processing apparatus 100 includes a control unit 1 that controls the entire apparatus, and an image generation unit 3 that processes the captured image acquired by the imaging unit 5 to generate a peripheral image for display (the image of the present invention). Acquisition means) and a navigation communication unit 42 that communicates with the navigation device 20.
  • the image processing apparatus 100 includes a changeover switch 43 that receives an instruction to switch display contents from a user. A signal indicating a user instruction is also input to the control unit 1 from the changeover switch 43.
  • the image processing apparatus 100 can operate in response to both a user operation on the navigation apparatus 20 and a user operation on the changeover switch 43.
  • the changeover switch 43 is arranged at an appropriate position of the vehicle separately from the main body unit 10 so that the user can easily operate.
  • the image generation unit 3 is configured as a hardware circuit capable of various image processing, and includes a composite image generation unit 31, an image range selection unit 32, and an image information output unit 33.
  • the composite image generation unit 31 functions as a composite image generation unit of the present invention, and based on a plurality of captured images (camera images) acquired by the plurality of in-vehicle cameras 51, 52, 53 of the imaging unit 5, A composite image viewed from an arbitrary virtual viewpoint is generated.
  • a method in which the composite image generation unit 31 generates a composite image viewed from a virtual viewpoint will be described later.
  • the image range selection unit 32 selects and cuts out a predetermined range of the image based on the photographed image acquired by the side camera 53 of the photographing unit 5.
  • the predetermined range of the image is an image range that includes an image of the subject that is substantially the same as the range that appears on the door mirror when the door mirror is unfolded.
  • the predetermined range of the image is an image range indicating the rear of the side area of the vehicle.
  • the predetermined range of the image is an image range including the outside of the front fender of the vehicle 9.
  • the user can easily confirm the status of the region to be confirmed in the case of performing the width alignment for bringing the vehicle body to the end of the road.
  • the image information output unit 33 outputs the image information selected by the image range selection unit 32 to the navigation device 20 via the navigation communication unit 42. Note that image information is output based on the control unit 1.
  • parameters for each vehicle type stored in the nonvolatile memory 40 described later varies according to opening / closing of the door mirrors of the side cameras 53 attached to the left and right door mirrors for each vehicle type). Position, and data on the angle of the optical axis that changes in accordance with the opening and closing of the door mirror).
  • the image information output unit 33 functions as a display image providing unit of the present invention, and outputs the composite image information (display image) generated by the composite image generation unit 31 to the navigation device 20. As a result, a peripheral image showing the periphery of the vehicle is displayed on the display 21 of the navigation device 20.
  • the control unit 1 is configured as a computer including a CPU, a RAM, a ROM, and the like, and various control functions are realized by the CPU performing arithmetic processing according to a predetermined program.
  • An image control unit 11 shown in the figure corresponds to one of the functions of the control unit 1 realized in this way.
  • the image control unit 11 controls image processing executed by the image generation unit 3. For example, the image control unit 11 instructs various parameters necessary for generating a composite image generated by the composite image generation unit 31. Further, the image range selection unit 32 gives an instruction for selecting a predetermined range of the image taken by the side camera 53 based on the open / closed state of the door mirror and the parameter information for each vehicle type.
  • the main body 10 of the image processing apparatus 100 further includes a nonvolatile memory 40, a card reading unit 44, and a signal input unit 41, which are connected to the control unit 1.
  • the non-volatile memory 40 is composed of a flash memory that can maintain the stored contents even when the power is turned off.
  • the nonvolatile memory 40 stores vehicle type data 4a.
  • the vehicle type data 4a is data corresponding to the type of vehicle required when the composite image generation unit 31 generates a composite image, or the vehicle type required when the image range selection unit 32 selects a predetermined range of the image. These are positions that change according to the opening and closing of the door mirrors of the side cameras 53 attached to the left and right door mirrors, and optical axis angle data that changes according to the opening and closing of the door mirrors.
  • the card reading unit 44 reads the memory card MC that is a portable recording medium.
  • the card reading unit 44 includes a card slot in which the memory card MC can be attached and detached, and reads data recorded on the memory card MC installed in the card slot. Data read by the card reading unit 44 is input to the control unit 1.
  • the memory card MC is configured by a flash memory or the like capable of storing various data, and the image processing apparatus 100 can use various data stored in the memory card MC.
  • a program firmware that realizes the function of the control unit 1 can be updated by storing a program in the memory card MC and reading the program.
  • vehicle type data corresponding to a vehicle of a type different from the vehicle type data 4a stored in the non-volatile memory 40 in the memory card MC, and reading out and storing it in the non-volatile memory 40, image processing is performed. It is also possible for the system 120 to correspond to different types of vehicles.
  • the signal input unit 41 inputs signals from various devices provided in the vehicle.
  • a signal from the outside of the image display system 120 is input to the control unit 1 via the signal input unit 41.
  • signals indicating various information are input to the control unit 1 from the shift sensor 81, the vehicle speed sensor 82, the direction indicator 83, the mirror driving device 84, and the like.
  • the operation position of the shift lever of the transmission of the vehicle 9 ie, “P (parking)”, “D (forward)”, “N (neutral)”, “R (reverse)”, etc.
  • the shift position is input.
  • the traveling speed (km / h) of the vehicle 9 at that time is input.
  • a turn signal indicating a direction instruction based on the operation of the turn signal switch that is, a direction instruction intended by the driver of the vehicle is input.
  • a turn signal is generated, and the turn signal indicates the operated direction (left direction or right direction).
  • the turn signal switch is in the neutral position, the turn signal is turned off.
  • the mirror driving device 84 stores / deploys (opens / closes) the door mirror of the vehicle in response to the operation of the driver. From the mirror driving device 84, the state (storage / deployment) of the door mirror is input.
  • the photographing unit 5 of the image processing system 120 is electrically connected to the control unit 1 and operates based on a signal from the control unit 1.
  • the photographing unit 5 includes a front camera 51, a back camera 52, and a side camera 53, which are in-vehicle cameras.
  • Each of these on-vehicle cameras 51, 52, and 53 includes an image sensor such as a CCD or a CMOS and electronically acquires an image.
  • FIG. 2 is a diagram showing positions where the in-vehicle cameras 51, 52, 53 are arranged on the vehicle 9.
  • the three-dimensional XYZ orthogonal coordinates shown in the figure are used as appropriate when indicating the direction and direction.
  • the XYZ axes are fixed relative to the vehicle 9.
  • the X-axis direction is along the left-right direction of the vehicle 9
  • the Y-axis direction is along the front-rear direction of the vehicle 9
  • the Z-axis direction is along the vertical direction.
  • the + X side is the right side of the vehicle 9
  • the + Y side is the rear side of the vehicle 9
  • the + Z side is the upper side.
  • the front camera 51 is provided in the vicinity of the license plate mounting position at the front end of the vehicle 9, and its optical axis 51a is directed in the straight direction of the vehicle 9 (-Y side in the Y-axis direction in plan view).
  • the back camera 52 is provided in the vicinity of the license plate mounting position at the rear end of the vehicle 9, and its optical axis 52 a is directed in the reverse direction of the vehicle 9 in the straight traveling direction (+ Y side in the Y-axis direction in plan view).
  • the side cameras 53 are provided on the left and right door mirrors 93, respectively, and the optical axis 53a is directed to the outside along the left-right direction of the vehicle 9 (X-axis direction in plan view).
  • the mounting position of the front camera 51 and the back camera 52 is preferably approximately the center in the left and right, but may be slightly shifted in the left and right directions from the center in the left and right.
  • a fish-eye lens or the like is employed as the lens of these in-vehicle cameras 51, 52, 53, and the in-vehicle cameras 51, 52, 53 have an angle of view ⁇ of 180 degrees or more. For this reason, it is possible to shoot the entire periphery of the vehicle 9 by using the four in-vehicle cameras 51, 52, and 53.
  • FIG. 3 is a diagram showing an external configuration of the side camera unit 70 in which the left side camera 53 of the vehicle 9 is accommodated in the housing. Since the configuration and arrangement of the side camera unit 70 are symmetrical on the left and right of the vehicle 9, the following description will be specifically made taking the left side of the vehicle 9 as an example, but the same applies to the right side. As shown in the figure, the side camera unit 70 is disposed below the door mirror 93 via a bracket 79.
  • the side camera 53 includes a lens and an image sensor.
  • the side camera 53 is disposed in the housing, and the optical axis is directed to the outside of the vehicle 9.
  • the side camera 53 is fixed to the housing so that the direction of the optical axis is a predetermined angle (for example, about 45 degrees) with respect to the vertical direction.
  • FIG. 4 is a diagram for explaining a method of generating a composite image.
  • the front camera 51, the back camera 52, and the side camera 53 of the photographing unit 5 perform photographing simultaneously, four photographed images P1 to P4 respectively showing the front, rear, left side, and right side of the vehicle 9 are acquired.
  • the four photographed images P1 to P4 acquired by the photographing unit 5 include information indicating the entire periphery of the vehicle 9 at the time of photographing.
  • each pixel of the four captured images P1 to P4 is projected onto a three-dimensional curved surface SP2 in a virtual three-dimensional space.
  • the three-dimensional curved surface SP2 has, for example, a substantially hemispherical shape (a bowl shape), and a center portion (a bottom portion of the bowl) is determined as a position where the vehicle 9 exists.
  • a correspondence relationship is determined in advance between the position of each pixel included in the captured images P1 to P4 and the position of each pixel of the solid curved surface SP2. Therefore, the value of each pixel of the three-dimensional curved surface SP2 can be determined based on this correspondence and the value of each pixel included in the captured images P1 to P4.
  • the in-vehicle cameras 51, 52, and 53 use the wide-angle cameras having the angle of view ⁇ of 180 degrees or more for capturing the captured images P1 to P4.
  • a wide-angle camera When shooting with a wide-angle camera in this way, part of the image is obstructed by obstacles such as the camera hood and filter frame, and the amount of light in the surrounding area is reduced. (A portion with low brightness in a camera image) may occur. This phenomenon of shadowing is generally called “vignetting”.
  • the three-dimensional curved surface SP1 shown in FIG. 4 shows a state in which a part of the captured images P1 to P4 is vignetted and a shadow due to a decrease in the amount of light is generated in a predetermined area around the three-dimensional curved surface SP1 on which these images are projected. Yes.
  • the synthesized image viewed from a predetermined virtual viewpoint does not become a substantially hemispherical shape (a bowl shape).
  • a composite image corresponding to an arbitrary virtual viewpoint is used by using the solid curved surface SP2 which is a substantially hemispherical (bowl-shaped) region in the center excluding the peripheral region in which the light amount is reduced due to vignetting in the solid curved surface SP1.
  • the solid curved surface SP ⁇ b> 2 is formed by removing the peripheral region where the light amount is reduced due to vignetting with the broken line portion of the solid curved surface SP ⁇ b> 1 as a boundary.
  • an image of a subject that has a substantially hemispherical shape (a bowl shape) can be formed, and the positional relationship between the vehicle and the obstacle displayed in a three-dimensional manner as if the user looked down from the top of the bowl, Can be provided.
  • processing may be performed so as to detect a region where the brightness is lower than the reference value in the captured images (camera images) obtained by the in-vehicle cameras 51, 52, and 53 and to remove the region.
  • the correspondence between the positions of the pixels of the captured images P1 to P4 and the positions of the pixels of the three-dimensional curved surface SP is determined by the arrangement of the four in-vehicle cameras 51, 52, and 53 in the vehicle 9 (the distance between each other, the ground height, Depending on the optical axis angle, etc.). For this reason, the table data indicating this correspondence is included in the vehicle type data 4 a stored in the nonvolatile memory 40.
  • polygon data indicating the shape and size of the vehicle body included in the vehicle type data 4a is used, and a vehicle image which is a polygon model indicating the three-dimensional shape of the vehicle 9 is virtually configured.
  • the configured vehicle image is arranged in a substantially hemispherical central portion determined as the position of the vehicle 9 in the three-dimensional space where the three-dimensional curved surface SP is set.
  • the virtual viewpoint VP is set by the control unit 1 for the three-dimensional space where the solid curved surface SP exists.
  • the virtual viewpoint VP is defined by the viewpoint position and the visual field direction, and is set to an arbitrary visual field position corresponding to the periphery of the vehicle 9 in this three-dimensional space toward an arbitrary visual field direction.
  • a necessary area on the three-dimensional curved surface SP2 is cut out as an image as described above.
  • the relationship between the virtual viewpoint VP and a necessary area in the three-dimensional curved surface SP is determined in advance, and is stored in advance in the nonvolatile memory 40 or the like as table data.
  • rendering is performed on the vehicle image composed of polygons according to the set virtual viewpoint VP, and the resulting two-dimensional vehicle image is superimposed on the cut out image.
  • the composite image which shows a mode that the vehicle 9 and the periphery of the vehicle 9 were seen from arbitrary virtual viewpoints will be produced
  • the vehicle 9 ( Actually, a composite image CP1 showing the vehicle image) and the surroundings of the vehicle 9 is generated.
  • the virtual viewpoint VP2 in which the viewpoint position is the left rear of the position of the vehicle 9 and the visual field direction is substantially in front of the vehicle 9 is set, the entire periphery from the left rear of the vehicle 9 is set.
  • a composite image CP ⁇ b> 2 is generated that shows the vehicle 9 (actually a vehicle image) and the surroundings of the vehicle 9.
  • FIG. 5 is a diagram illustrating transition of operation modes of the image processing system 120.
  • the image processing system 120 has four operation modes: a navigation mode M0, a surrounding confirmation mode M1, a front mode M2, and a back mode M3. These operation modes can be switched by the control of the control unit 1 in accordance with the operation of the driver and the traveling state of the vehicle 9.
  • the navigation mode M0 is an operation mode in which a map image for navigation guidance is displayed on the display 21 by the function of the navigation device 20.
  • the functions of the image processing apparatus 100 are not used, and various displays are performed using the functions of the navigation apparatus 20 alone. For this reason, when the navigation device 20 has a function of receiving and displaying television broadcast radio waves, a television broadcast screen may be displayed instead of the map image for navigation guidance.
  • Surrounding confirmation mode M1 is an operation mode in which an animation is expressed such that the vehicle 9 circulates around the vehicle 9 with the vehicle 9 looking down.
  • the front mode M2 is an operation mode for displaying a display image that mainly indicates the front or side of the vehicle 9 that is required when moving forward.
  • the back mode M3 is an operation mode for displaying a display image that mainly indicates the rear of the vehicle 9 that is required when the vehicle is moving backward.
  • the surrounding confirmation mode M1 is first set.
  • the surrounding confirmation mode M1 when a predetermined time (for example, 6 seconds) elapses after the animation expression that goes around the vehicle 9 is made, the mode is automatically switched to the front mode M2. Further, in the case of the front mode M2, for example, if the changeover switch 43 is continuously pressed for a predetermined time or more while the traveling speed is 0 km / h (stopped state), the surrounding confirmation mode M1 is switched. Note that the surrounding confirmation mode M1 may be switched to the front mode M2 in accordance with a predetermined instruction from the driver.
  • the mode is switched to the navigation mode M0.
  • the traveling speed input from the vehicle speed sensor 82 is less than 10 km / h in the navigation mode M0, the mode is switched to the front mode M2.
  • the front mode M2 When the traveling speed of the vehicle 9 is relatively high, the front mode M2 is canceled in order to concentrate the driver on traveling. On the other hand, when the traveling speed of the vehicle 9 is relatively low, the driver drives in consideration of the situation around the vehicle 9, more specifically, approaching an intersection with poor visibility, changing direction, or shifting the width. There are many scenes where such as. For this reason, when the traveling speed is relatively low, the navigation mode M0 is switched to the front mode M2. When switching from the navigation mode M0 to the front mode M2, a condition that there is an explicit operation instruction from the driver may be added to the condition that the traveling speed is less than 10 km / h.
  • the mode is switched to the surrounding confirmation mode M1. Then, when a predetermined time (for example, 6 seconds) elapses after the animation expression that goes around the vehicle 9 is performed, the mode is automatically switched to the front mode M2.
  • the mode is switched to the back mode M3. That is, when the transmission of the vehicle 9 is operated to the “R (reverse)” position, since the vehicle 9 is in a reverse state, the vehicle 9 is switched to the back mode M3 mainly showing the rear of the vehicle 9.
  • the back mode M3 when the position of the shift lever is other than “R (reverse)”, it is switched to the navigation mode M0 or the front mode M2 based on the traveling speed at that time. That is, if the traveling speed is 10 km / h or more, the mode is switched to the navigation mode M0, and if the traveling speed is less than 10 km / h, the mode is switched to the front mode M2.
  • the display mode around the vehicle 9 in the surrounding confirmation mode M1 will be described.
  • the virtual viewpoint VP is set so as to look down at the vehicle 9, and the virtual viewpoint VP is continuously moved so as to go around the periphery of the vehicle 9.
  • the virtual viewpoint VP is initially set behind the vehicle 9 and then circulates around the vehicle 9 clockwise. In this way, when the virtual viewpoint VP moves to the rear again via the left side, the front side, and the right side of the vehicle 9, the virtual viewpoint VP moves to just above the vehicle 9.
  • a plurality of composite images are generated continuously in time with the virtual viewpoint VP being moved.
  • the plurality of generated composite images are sequentially output to the navigation device 20 and displayed on the display 21 continuously in time.
  • each composite image RP is a composite image generated based on a substantially hemispherical three-dimensional curved surface SP2 excluding the peripheral area where the light amount is reduced due to vignetting in the three-dimensional curved surface SP1, and the user looks into the bowl from above. It is displayed in three dimensions. Therefore, the image is easy to grasp the positional relationship between the vehicle and the obstacle.
  • the vehicle 9 is arranged near the center of the image so that the vehicle 9 and the surroundings of the vehicle 9 can be confirmed.
  • a composite image ST ⁇ b> 1 (ST ⁇ b> 5) in which the vehicle 9 is looked down from the rear of the vehicle 9, a composite image ST ⁇ b> 2 in which the vehicle 9 is looked down from the left side of the vehicle 9, and the vehicle 9 from the front of the vehicle 9.
  • a composite image ST3 that looks down, a composite image ST4 that looks down on the vehicle 9 from the right side surface of the vehicle 9, and a composite image ST6 that looks down on the vehicle 9 from just above (directly above) the center of the vehicle 9 are taken.
  • the composite image generation unit 31 Based on the images input from the vehicle-mounted cameras 51, 52, and 53 of the unit 5, the composite image generation unit 31 generates them.
  • the composite images ST1 to ST5 correspond to the first overhead image of the present invention, and the composite image ST6 corresponds to the second overhead image of the present invention.
  • FIG. 7 for example, a plurality of images showing the user around the vehicle in a state where the user looks down at the vehicle continuously in the order of ST 1 ⁇ ST 2 ⁇ ST 3 ⁇ ST 4 ⁇ ST 5 ⁇ ST 6 on the navigation device 20.
  • a plurality of images showing the user around the vehicle in a state where the user looks down at the vehicle continuously in the order of ST 1 ⁇ ST 2 ⁇ ST 3 ⁇ ST 4 ⁇ ST 5 ⁇ ST 6 on the navigation device 20.
  • both a plurality of composite images showing that the position of the virtual viewpoint moves continuously and turning around the vehicle and a composite image viewed from directly above (directly above) the center of the vehicle are displayed.
  • the user can intuitively grasp the positional relationship between the vehicle and the obstacle on one screen.
  • safety around the vehicle can be confirmed from a plurality of viewpoints of the periphery of the vehicle and directly above (directly above) the approximate center of the vehicle.
  • the safety confirmation can be performed again by the image above the vehicle displayed continuously with the image around the vehicle.
  • the user it is not necessary for the user to check a wide range of the entire periphery of the vehicle at a time. For each image of a limited range around the vehicle, the entire vehicle in a wide range as viewed from directly above (directly above) the center of the vehicle. By displaying the images continuously, the user can confirm the safety around the vehicle more reliably on one screen.
  • the user can intuitively check obstacles around the entire vehicle on one screen.
  • the composite image shown here is only an example, and the height and direction overlooking the vehicle of the composite image, the continuous display of the composite image is paused, the rotation speed of the continuous display is adjusted, and the rotation of the continuous display is reversed.
  • the user can arbitrarily change the setting.
  • the selected part can be enlarged and displayed by pausing the continuous display and selecting any part of the display screen by user operation.
  • a case has been described in which a composite image that displays the periphery of a vehicle is continuously displayed, and then a composite image viewed from directly above (directly above) the center of the vehicle is continuously displayed. After displaying the composite image viewed from directly above (directly above) the approximate center of the vehicle, the composite image around the vehicle may be continuously displayed.
  • this embodiment described the case where the circumference
  • the number of times of circulation around the periphery is not limited to one, but may be any number of times such as two or more times or a half circle.
  • the start condition of the vehicle surrounding confirmation process is that the image processing apparatus 100 or the navigation apparatus 20 receives the ACC-ON signal from the vehicle power supply control apparatus.
  • the user can confirm the vicinity of the vehicle when starting up.
  • the image processing apparatus is activated in response to ACC-ON before the vehicle travels, so that the user can check the surroundings of the vehicle before the vehicle travels.
  • Such a vehicle surrounding confirmation process start condition may be not only the reception of the ACC-ON signal but also the pressing of the changeover switch 43 continuously for a predetermined time or more (for example, 3 seconds or more). Thereby, when a user wants to confirm the circumference of a vehicle automatically, it can check anytime.
  • a completion button (not shown) is provided on the navigation device 20 and the composite image is continuously displayed by pressing the completion button even during the continuous display. It is also possible to prevent the vehicle surroundings confirmation process from being started by ending or by previously providing a setting button (not shown) and pressing the ACC-ON or changeover switch 43 for a predetermined time or more.
  • the user can confirm the situation around the entire vehicle 9 from the viewpoint of the vehicle 9 in front of the user.
  • the positional relationship between the surrounding obstacles and the vehicle 9 can be grasped.
  • FIG. 8 is a diagram showing display mode transition in the front mode M2.
  • the front mode M2 there are four display modes of a traveling bird's-eye view mode M21, a host vehicle confirmation mode M22, a side camera mode M23, and a navigation mode M24, and these display modes have different display modes.
  • the M21, M22, and M23 screens display a field-of-view guide 90 that indicates the field-of-view range in each display mode, and which area around the vehicle 9 is displayed to the user.
  • the navigation mode M24 a map image around the vehicle 9 is displayed, and the current position of the vehicle 9 is displayed.
  • These display modes are switched by the control of the control unit 1 in the order of the traveling bird's-eye view mode M21, the own vehicle confirmation mode M22, the side camera mode M23, and the navigation mode M24 each time the user presses the changeover switch 43.
  • the changeover switch 43 is pressed in the navigation mode M24, the operation returns to the traveling bird's-eye view mode M21 again.
  • the traveling bird's-eye view mode M21 displays on the display 21 a screen including a composite image FP1 showing the state of the vehicle 9 viewed from the virtual viewpoint VP immediately above the vehicle 9 and a front image FP2 obtained by photographing with the front camera 51 side by side. Display mode. That is, in the traveling bird's-eye view mode M21, two images of a composite image FP1 showing the entire periphery of the vehicle 9 and a front image FP2 showing the front of the vehicle 9 are shown on the same screen.
  • the traveling bird's-eye view mode M21 such two images FP1 and FP2 can be viewed, so that the user can confirm the situation in front of the traveling direction of the vehicle 9 together with the entire periphery of the vehicle 9 at a glance. It can be said that the traveling bird's-eye view mode M21 is a display mode that can be used with high versatility in various scenes during forward movement.
  • the own vehicle confirmation mode M22 displays a screen including a front image FP3 obtained by photographing with the front camera 51 and a composite image FP4 showing the state of the vehicle 9 viewed from the virtual viewpoint VP behind the vehicle 9 side by side. Is the display mode to be displayed. That is, in the own vehicle confirmation mode M22, two images of a front image FP3 showing the front of the vehicle 9 and a composite image FP4 showing the side of the vehicle 9 are shown on the same screen.
  • the front image FP3 in the vehicle confirmation mode M22 has a wider field of view in the left-right direction than the front image FP2 in the traveling bird's-eye view mode M21. For this reason, it is possible to confirm an object that is present in front and in the left-right direction from the front end of the vehicle 9 that is likely to become a blind spot when entering an intersection with poor visibility.
  • the composite image FP4 in the own vehicle confirmation mode M22 is moved to the rear of the vehicle 9 compared to the composite image FP1 in the traveling bird's-eye view mode M21. Although narrowed, the side of the vehicle 9 can be easily confirmed. For this reason, when passing the oncoming vehicle, the clearance with the oncoming vehicle can be easily confirmed.
  • the side camera mode M23 is a display mode for displaying on the display 21 a screen including side images FP5 and FP6 that are respectively obtained by photographing with the left and right side cameras 53.
  • the side images FP5 and FP6 show only the outside of the front fender 94 that tends to be a blind spot from the driver's seat.
  • the user can easily check the situation of the region to be confirmed when performing the width adjustment to bring the vehicle body to the end of the road. Can be confirmed.
  • the navigation mode M24 is an operation mode in which a map image for navigation guidance is displayed on the display 21 by the function of the navigation device 20.
  • the functions of the image processing apparatus 100 are not used, and various displays are performed using the functions of the navigation apparatus 20 alone. For this reason, when the navigation device 20 has a function of receiving and displaying television broadcast radio waves, a television broadcast screen may be displayed instead of the map image for navigation guidance.
  • FIG. 9 is a diagram illustrating display mode transition in the back mode M3.
  • the back mode M3 there are three display modes of a parking bird's-eye view mode M31, a front door mirror mode M32, and a rear door mirror mode M33, and these display modes have different display modes.
  • a visual field guide 90 indicating the visual field range in each display mode is displayed, and it is indicated to the user which region around the vehicle 9 is displayed.
  • the display modes of the front door mirror mode M32 and the rear door mirror mode M33 are switched from the parking overhead mode M31 by the control of the control unit 1 according to the state of the door mirror 93 input from the mirror driving device 86. Specifically, when the position of the shift lever is operated to the “R (reverse)” position, the parking overhead mode M31 is set. When the door mirror 93 is deployed in the normal state in the parking bird's-eye view mode M31 and the vehicle speed of the vehicle 9 is less than 10 km / h, when the switch 43 is pressed by the user, the front door mirror mode M32 is set.
  • the image range including the outside of the front fender of the vehicle 9 is selected by the image range selection unit 32 of the image generation unit 3 among the images taken by the side camera 53 provided in the door mirror 93.
  • the image information output unit 33 outputs the image information via the navigation communication unit 42 and displays it on the navigation device 20. Thereby, the user can easily confirm the status of the region to be confirmed in the case of performing the width alignment for bringing the vehicle body to the end of the road.
  • the rear door mirror mode M33 is set.
  • an image range that is substantially the same as the range displayed on the door mirror when the door mirror is unfolded is selected from the images captured by the side camera 53 provided on the door mirror 93. Specifically, an image range indicating the rear of the side area of the vehicle is selected. Thereby, even when the door mirror is stored when the vehicle passes through a narrow place, the user can check an image (the state of the subject) in substantially the same range as when the door mirror is deployed.
  • the parking bird's-eye view mode M31 has a screen including a composite image BP1 showing a state of the vehicle 9 viewed from the virtual viewpoint VP immediately above the vehicle 9 and a back image BP2 obtained by photographing with the back camera 52 side by side on the display 21.
  • the display mode to display. That is, in the parking bird's-eye view mode M31, two images of a composite image BP1 showing the entire periphery of the vehicle 9 and a back image BP2 showing the rear of the vehicle 9 are shown on the same screen.
  • the parking bird's-eye view mode M31 since such two images BP1 and BP2 can be viewed, the user can confirm at a glance the situation behind the vehicle 9 along with the entire periphery of the vehicle 9. it can. It can be said that the parking bird's-eye view mode M31 is a display mode that can be used with high versatility in various situations during retreat.
  • Other modes such as a back guide mode in which a parking guide line is displayed on the image BP2 are provided, and switching from one of these modes to the front door mirror mode M32 and the rear door mirror mode M33 is performed according to the open / closed state of the door mirror. You may make it do.
  • the front door mirror mode M32 is a display mode in which a screen including side images FP5 and FP6 respectively obtained by photographing with the left and right side cameras 53 is displayed on the display 21.
  • the two images F5 and FF6 can be viewed on one screen, there is a risk of collision when the user moves the vehicle backward when the vehicle moves backward. An image including the outside of the left and right front fenders can be confirmed.
  • the rear door mirror mode M33 is a display mode in which a screen including side images BP3 and BP4 obtained by photographing with the left and right side cameras 53 is displayed on the display 21.
  • the vehicle can be moved backward while confirming the rear left and right of the vehicle 9 on the same screen.
  • the side camera 53 is provided on the door mirror 93, when the door mirror 93 is stored, the direction of the optical axis 53a is directed to the rear of the vehicle 9. In this state, the side camera 53 cannot acquire an image showing the entire side of the vehicle 9, so it is difficult to generate a composite image viewed from an arbitrary virtual viewpoint. However, since the optical axis 53a moves to the rear of the vehicle 9, a captured image with relatively little distortion can be acquired behind the side region of the vehicle 9. In the rear door mirror mode M ⁇ b> 33, two images BP ⁇ b> 3 and BP ⁇ b> 4 showing the rear of the side region of the vehicle 9 are generated and displayed using the captured image acquired by such a side camera 53.
  • step S101 a processing flow of the control unit of the image processing system in the surrounding confirmation mode will be described with reference to FIG.
  • the control unit 1 of the image processing apparatus 10 receives an ACC-ON signal from a vehicle power supply control device (not shown) via the signal input unit 41 (Yes in step S101)
  • the control unit 1 passes through the navigation communication unit 42.
  • Initial communication with the navigation device 20 is started (step S102).
  • the initial communication refers to a process of confirming whether communication is possible between the control unit 1 of the image processing apparatus 10 and the navigation apparatus 20. If the control unit 1 has not received the ACC-ON signal from the vehicle power supply control device (No in step S101), the process ends.
  • step S104 the control unit 1 reads data for performing a vehicle surrounding confirmation process from the nonvolatile memory 40 (step S104).
  • vehicle periphery confirmation processing data include vehicle bitmap data, viewpoint movement data (viewpoint position and viewpoint direction data for each time), and the like.
  • the control unit 1 again performs communication with the navigation device 20, or ends the process if communication cannot be performed even after a plurality of communication attempts.
  • the case where the initial communication does not end normally is that the control unit 1 is not operating normally due to a failure or the like. In such a case, a warning that the image display system around the vehicle is broken can be displayed on the navigation device 20.
  • the image generation unit 3 of the control unit 1 After reading the vehicle periphery confirmation processing data from the nonvolatile memory 40, the image generation unit 3 of the control unit 1 generates a composite image around the vehicle based on the read data (step S105).
  • any three-dimensional curved surface SP2 that is a substantially hemispherical (bowl-shaped) region excluding the peripheral region in which the amount of light is reduced due to vignetting in the three-dimensional curved surface SP1 shown in FIG. Processing for generating a composite image corresponding to the virtual viewpoint is performed. And then.
  • the generated composite image data is transmitted to the navigation device 20 (step S106).
  • the image generation unit 3 generates a plurality of synthesized images (step S105) while changing the position of the virtual viewpoint in stages (step S107a). And the control part 1 transmits data to the navigation apparatus 20 in order so that a some synthesized image may have continuity. Thereby, the position of the virtual viewpoint is continuously changed, and an image circling around the vehicle 9 can be displayed on the navigation device 20 in a state where the vehicle 9 is looked down by the continuous display.
  • step S107 When the transmission of the plurality of composite images to the navigation device 20 is completed (Yes in step S107), the composite image viewed from directly above (directly above) the center of the vehicle 9 is processed in the same process as the composite image around the vehicle. It generates (step S108), and transmits the composite image viewed from directly above (directly above) the substantially center of the generated vehicle 9 to the navigation device 20 (step S109).
  • step S108 a plurality of composite images are displayed on the display device so as to circulate around the vehicle while looking down at the vehicle, so that the user can check the entire periphery of the vehicle from the viewpoint in front of the vehicle.
  • the positional relationship between the vehicle and the obstacle can be grasped intuitively on one screen.
  • FIG. 12 is a diagram illustrating a processing flow of the control unit of the image processing system in the back mode.
  • the operation position of the shift lever is the “R (reverse)” shift position (step S201).
  • step S201 When the operation position of the shift lever is “R (reverse)” (step S201 is Yes), the control unit 1 in the back mode M3 generates an image in the parking overhead mode M31 in the image generation unit 3, and An instruction signal for outputting the image information to the navigation device 20 is transmitted to the image generation unit 3 (step S202). If the shift lever operation position is not the “R (reverse)” shift position (No in step S201), the process ends.
  • Step S203 When the image of the parking bird's-eye view mode M31 is displayed on the navigation device 20 and the user presses the changeover switch 43 (Yes in Step S203), the vehicle speed of the vehicle 9 is 10 km using the vehicle speed sensor 82. It is determined whether it is less than / h (step S204). When the user does not press the changeover switch 43 (No in Step S203), the control unit 1 continues the process for displaying the parking bird's-eye view mode M31 on the navigation device 20 (Step S209).
  • Step S204 if the vehicle speed is less than 10 km / h (Yes in Step S204), it is determined whether or not the door mirror 93 of the vehicle 9 is deployed (Step S205).
  • step S205 when the door mirror 93 is unfolded (step S205 is Yes), the control unit 1 transmits an instruction signal for performing the process of the front door mirror mode M32 to the image generation unit 3 (step S206), and proceeds to the next process. move on. Specifically, an image range including the outside of the front fender is selected from images captured using the side camera 53, and an instruction signal for outputting image information of the selected range is transmitted to the image generation unit 3. To do. Thereby, the user can easily confirm the status of the region to be confirmed in the case of performing the width alignment for bringing the vehicle body to the end of the road.
  • control unit 1 continuously performs the process for displaying the parking overhead mode M31 on the navigation device 20 (Step S209).
  • the control unit 1 transmits an instruction signal for performing the processing of the rear door mirror mode M33 to the image generation unit 3 (Step S207), and proceeds to the next processing.
  • an instruction signal for selecting an image range that is substantially the same as the range reflected on the door mirror is transmitted, and image information on the selected range is displayed.
  • image information on the selected range is displayed.
  • Step S208 if the changeover switch 43 is not pressed by the user (No at Step S208), the process returns to Step S205, and the front door mirror mode M32 or the rear door mirror mode 33 is changed according to the open / closed state of the door mirror 93. A signal for instructing the image generation unit 3 to perform image selection and image information output processing corresponding to one of the modes is transmitted.
  • Step S208 When the changeover switch 43 is pressed by the user (Yes in Step S208), the control unit 1 generates an image of the parking bird's-eye view mode M31 and navigates the image information in the same manner as the process described in Step S202. An instruction signal to be output to the device 20 is transmitted to the image generation unit 3 (step S209).
  • step S203 after the determination of pressing the changeover switch in step S203, it is determined whether or not the vehicle speed of the vehicle 9 is less than 10 km / h in step S204. It may be determined whether or not is less than 10 km / h, and then the determination of pressing the changeover switch may be performed.
  • the mode of the image processing system 120 when the mode of the image processing system 120 is the back mode, that is, when the vehicle 9 moves backward, either the front door mirror mode M32 or the rear door mirror mode M33 depending on the open / closed state of the door mirror 93.
  • the image processing system 120 is in the front mode, that is, when the vehicle 9 moves forward, either the front door mirror mode M32 or the rear door mirror mode M33 is selected according to the open / closed state of the door mirror 93. May be displayed. ⁇ 3. Modification> Although the embodiments of the present invention have been described above, the present invention is not limited to the above-described embodiments, and various modifications are possible. Below, such a modification is demonstrated. All forms including those described in the above embodiment and those described below can be combined as appropriate.
  • the image processing apparatus 100 and the navigation apparatus 20 are described as separate apparatuses. However, the image processing apparatus 100 and the navigation apparatus 20 are arranged in the same casing and configured as an integrated apparatus. May be.
  • the display device that displays the image generated by the image processing device 100 is described as the navigation device 20, but a general display device that does not have a special function such as a navigation function. It may be.
  • control unit 1 of the image processing apparatus 100 may be realized by the control unit 23 of the navigation apparatus 20.
  • part or all of the signals described as being input to the control unit 1 of the image processing apparatus 100 via the signal input unit 41 are input to the navigation apparatus 20. Also good. In this case, the signal may be input to the control unit 1 of the image processing apparatus 100 via the navigation communication unit 42.
  • the direction instruction intended by the driver of the vehicle 9 is input from the direction indicator 83, but may be input by other means.
  • the movement of the viewpoint of the driver may be detected from an image obtained by photographing the eyes of the driver, and a direction instruction intended by the driver may be input from the detection result.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Multimedia (AREA)
  • Automation & Control Theory (AREA)
  • Signal Processing (AREA)
  • Theoretical Computer Science (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

車両に搭載される画像処理装置において、画像取得手段は、前記車両に設けられた複数のカメラで撮影された複数のカメラ画像を取得する。合成画像生成手段は、前記車両およびその周辺を互いに異なる視点から見た複数の俯瞰画像を含む複数の合成画像を前記複数のカメラ画像に基づいて生成する。表示画像提供手段は、前記複数の合成画像が連続的に再生される表示画像に対応する情報を、前記車両に搭載された表示装置へ出力する。

Description

画像処理装置、画像処理システム、および画像処理方法
　本発明は、車両に搭載された表示装置に画像を表示する技術に関する。
　一般に、車両に搭載した複数のカメラにより車両の周辺の画像を取得し、自動的に、または、ユーザの操作によって、表示装置に表示することで車両周辺の監視を可能とする装置がある。また、車両の真上を仮想視点として見下ろした画像を画面に表示し、ユーザに車両全周囲の安全確認の手段を提供する装置がある。さらに、車両に搭載した複数のカメラを使用して所定の高さの視点で撮影し、カメラが撮影した画像の視点位置を車両の全体図とともに表示する第１画面と、この第１画面に表示される視点位置の移動に対応させて、それぞれのカメラ画像を表示する第２画面との２つの画面で車両周囲の安全確認を行う技術が、例えば日本国特許出願公開明細書２００８－２１９５５９号公報（特許文献１）に開示されている。
　しかしながら、従来のカメラによる車両周辺の画像表示は、複数のカメラのうち個々のカメラからの画像が車両のどの方向に対応しているのかを確認をする必要があり、画面にユーザの車両が映らないので車両と車両の周辺に存在する障害物との距離などの位置関係をユーザが把握するのは困難であった。
　また、車両の真上を仮想視点として見下ろした画像を画面に表示した場合、ユーザは車両の全周囲の広い範囲をいちどに確認する必要があり、ユーザにとっては情報量が多すぎて、どこを注意すべきかのポイントを絞ることが困難であった。
　さらに、特許文献１に開示されている技術では、カメラが撮影した画像の視点の位置を車両の全体図とともに示す画面と、視点位置の移動に対応させて、それぞれのカメラ画像を表示する画面とを別々の画面で表示しており、２つの画面に表示された情報の対応付けをユーザ自身で行わなければならず、車両と障害物との位置関係をユーザが把握しにくいという問題があった。
　本発明は、上記課題に鑑みてなされたものであり、車両と車両周辺の障害物との位置関係をユーザが直感的に把握できる技術を提供することを目的とする。
　上記課題を解決するため、本発明によれば、以下に列挙するものが提供される。
　（１）：車両に搭載される画像処理装置であって、
　前記車両に設けられた複数のカメラで撮影された複数のカメラ画像を取得する画像取得手段と、
　前記車両およびその周辺を互いに異なる視点から見た複数の第１俯瞰画像を含む複数の合成画像を前記複数のカメラ画像に基づいて生成する合成画像生成手段と、
　前記複数の合成画像が連続的に再生される表示画像に対応する情報を、前記車両に搭載された表示装置へ出力する表示画像提供手段とを備えることを特徴とする画像処理装置。
　（２）：（１）に記載の画像処理装置において、
　前記複数の合成画像は、前記車両とその周囲を該車両の真上から見た第２俯瞰画像を含み、
　前記表示画像は、前記複数の第１俯瞰画像が再生されている間に少なくとも一度前記第２俯瞰画像を再生されるものであることを特徴とする画像処理装置。
　（３）：（１）または（２）に記載の画像処理装置において、
　前記複数の第１俯瞰画像の各々は、前記車両をその中央部に示していることを特徴とする画像処理装置。
　（４）：（１）ないし（３）のいずれかに記載の画像処理装置において、
　前記合成画像生成手段は、前記画像処理装置の起動時に前記複数の合成画像を生成することを特徴とする画像処理装置。
　（５）：（１）ないし（４）のいずれかに記載の画像処理装置において、
　前記合成画像生成手段は、前記複数の合成画像の生成に際し、前記複数のカメラ画像における基準値よりも明度の低い部分を除去することを特徴とする画像処理装置。
　（６）：画像処理システムであって、
　車両に設けられる複数のカメラと、
　車両に搭載される画像処理装置であって、
　　前記車両に設けられた複数のカメラで撮影された複数のカメラ画像を取得する画像取得手段と、
　　前記車両およびその周辺を互いに異なる視点から見た複数の俯瞰画像を含む複数の合成画像を前記複数のカメラ画像に基づいて生成する合成画像生成手段と、
　　前記複数の合成画像が連続的に再生される表示画像に対応する情報を、前記車両に搭載された表示装置へ出力する表示画像提供手段とを備える画像処理装置と
を備えることを特徴とする画像処理システム。
　（７）：画像処理方法であって、
　車両に設けられた複数のカメラで撮影された複数のカメラ画像を取得することと、
　前記車両およびその周辺を互いに異なる視点から見た複数の俯瞰画像を含む複数の合成画像を前記複数のカメラ画像に基づいて生成することと、
　前記複数の合成画像が連続的に再生される表示画像に対応する情報を、前記車両に搭載された表示装置へ出力することとを備えることを特徴とする画像処理方法。
　上記（１）ないし（７）の構成によれば、ユーザが上から覗き込んだように立体的に表示された車両と障害物との位置関係を把握できる画像を提供できる。また、車両を俯瞰する複数の合成画像を連続的に再生して視点移動を再現することで、ユーザが直感的に車両と障害物との位置関係を把握できる。
　また、特に（２）の構成によれば、視点移動表示した際に見落とした障害物などの情報があっても、車両の直上の位置から再度安全確認を行える。
　また、特に（３）の構成によれば、ユーザは１つの画面で車両の全周囲の障害物を確認できる。
　また、特に（４）の構成によれば、通常は運転開始前である画像処理装置の起動時にユーザは円滑に車両の全周囲の障害物を確認できる。
　また、特に（５）の構成によれば、合成画像内に意図しない陰り（ケラレ）が映り込むのを防止でき、ユーザが直感的に車両と障害物との位置関係を把握できる合成画像を提供できる。
図１は、画像処理システムの構成を示した図である。 図２は、車載カメラが車両に配置される位置を示す図である。 図３は、車両の左側のサイドカメラがハウジング内に収容されたサイドカメラユニットの外観構成を示す図である。 図４は、合成画像を生成する手法を説明するための図である。 図５は、画像処理システムの動作モードの遷移を示す図である。 図６は、車両の周辺を周回するように仮想視点が連続的に移動されることを示す図である。 図７は、車両を見下ろした状態で車両の周囲を周回することを示す図である。 図８は、フロントモードにおける表示モードの遷移を示す図である。 図９は、バックモードにおける表示モードの遷移を示す図である。 図１０は、ドアミラー格納時の光軸の方向を示す図である。 図１１は、周囲確認モードにおける画像処理システムの制御部の処理の流れについて示す図である。 図１２は、バックモードにおける画像処理システムの制御部の処理の流れについて示す図である。
　以下、添付の図面を参照しつつ本発明の実施の形態について詳細に説明する。
　　＜１－１．システム構成＞
　図１は、画像処理システム１２０の構成を示すブロック図である。この画像処理システム１２０は、車両（本実施の形態では、自動車）に搭載されるものであり、車両の周辺を撮影して画像を生成し、その生成した画像を車室内のナビゲーション装置２０などの表示装置に出力する機能を有している。画像処理システム１２０のユーザ（代表的にはドライバ）は、この画像処理システム１２０を利用することにより、当該車両の周辺の様子をほぼリアルタイムに把握できるようになっている。
　図１に示すように、画像処理システム１２０は、車両の周辺を示す周辺画像を生成してナビゲーション装置２０などの表示装置に画像情報を出力する画像処理装置１００と、車両の周囲を撮影するカメラを備えている撮影部５とを主に備えている。
　ナビゲーション装置２０は、ユーザに対しナビゲーション案内を行うものであり、タッチパネル機能を備えた液晶などのディスプレイ２１と、ユーザが操作を行う操作部２２と、装置全体を制御する制御部２３とを備えている。ディスプレイ２１の画面がユーザから視認可能なように、ナビゲーション装置２０は車両のインストルメントパネルなどに設置される。ユーザからの各種の指示は、操作部２２とタッチパネルとしてのディスプレイ２１とによって受け付けられる。制御部２３は、ＣＰＵ、ＲＡＭ及びＲＯＭなどを備えたコンピュータとして構成され、所定のプログラムに従ってＣＰＵが演算処理を行うことでナビゲーション機能を含む各種の機能が実現される。
　ナビゲーション装置２０は、画像処理装置１００と通信可能に接続され、画像処理装置１００との間で各種の制御信号の送受信や、画像処理装置１００で生成された周辺画像の受信が可能となっている。ディスプレイ２１には、制御部２３の制御により、通常はナビゲーション装置２０単体の機能に基づく画像が表示されるが、所定の条件下で画像処理装置１００で生成された車両の周辺の様子を示す周辺画像が表示される。これにより、ナビゲーション装置２０は、画像処理装置１００で生成された周辺画像を受信して表示する表示装置としても機能する。
　画像処理装置１００は、その本体部１０が周辺画像を生成する機能を有するＥＣＵ（Electronic Control Unit）として構成され、車両の所定の位置に配置される。画像処理システム１２０は、車両の周辺を撮影する撮影部５を備えており、この撮影部５で車両の周辺を撮影して得られる撮影画像に基づいて仮想視点からみた合成画像を生成する画像生成装置として機能する。この撮影部５が備える複数の車載カメラ５１，５２，５３は、本体部１０とは別の車両の適位置に配置されるが詳細は後述する。
　画像処理装置１００の本体部１０は、装置全体を制御する制御部１と、撮影部５で取得された撮影画像を処理して表示用の周辺画像を生成する画像生成部３（本発明の画像取得手段）と、ナビゲーション装置２０との間で通信を行うナビ通信部４２とを主に備えている。
　ナビゲーション装置２０の操作部２２やディスプレイ２１によって受け付けられたユーザからの各種の指示は、制御信号としてナビ通信部４２によって受け付けられて制御部１に入力される。また、画像処理装置１００は、表示内容を切り替える指示をユーザから受け付ける切替スイッチ４３を備えている。この切替スイッチ４３からもユーザの指示を示す信号が制御部１に入力される。これにより、画像処理装置１００は、ナビゲーション装置２０に対するユーザの操作、及び、切替スイッチ４３に対するユーザの操作の双方に応答した動作が可能となっている。切替スイッチ４３は、ユーザが操作しやすいように、本体部１０とは別に車両の適位置に配置される。
　画像生成部３は、各種の画像処理が可能なハードウェア回路として構成されており、合成画像生成部３１、画像範囲選択部３２、及び、画像情報出力部３３を備えている。
　合成画像生成部３１は本発明の合成画像生成手段として機能し、撮影部５の複数の車載カメラ５１，５２，５３で取得された複数の撮影画像（カメラ画像）に基づいて、車両の周辺の任意の仮想視点からみた合成画像を生成する。合成画像生成部３１が仮想視点からみた合成画像を生成する手法については後述する。
　画像範囲選択部３２は、撮影部５のサイドカメラ５３で取得された撮影画像に基づいて、画像の所定範囲を選択して切り出す。ここで画像の所定範囲とは、ドアミラーが収納されている場合は、ドアミラーが展開している際にドアミラーに映る範囲と略同一の被写体の像が含まれる画像範囲である。換言すれば、画像の所定範囲とは、車両の側方領域のうちの後方を示す画像範囲である。これにより、車両が狭い場所を通過する場合などにドアミラーを格納した状態であっても、ユーザはドアミラーが展開している場合と略同一の範囲の画像を確認できる。
　また、ドアミラー９３が展開されている場合、画像の所定範囲とは車両９のフロントフェンダの外側を含む画像範囲である。これにより、ユーザは道路の端に車体を寄せる幅寄せを行う場合などにおいて、確認すべき領域の状況を容易に確認できる。
　画像情報出力部３３は、画像範囲選択部３２で選択された画像情報をナビ通信部４２を介してナビゲーション装置２０に出力する。なお、画像情報の出力は制御部１に基づいて行われる。また、画像の所定範囲を選択する場合に、後述する不揮発性メモリ４０に記憶されている車種ごとのパラメータ（車種ごとに左右のドアミラーに取り付けられたサイドカメラ５３のドアミラーの開閉に応じて変化する位置、および、ドアミラーの開閉に応じて変化する光軸の角度のデータなど）を用いる。
　また、画像情報出力部３３は本発明の表示画像提供手段として機能し、合成画像生成部３１において生成された合成画像情報（表示画像）をナビゲーション装置２０へ出力する。これにより、車両の周辺を示す周辺画像がナビゲーション装置２０のディスプレイ２１に表示されることになる。
　制御部１は、ＣＰＵ、ＲＡＭ及びＲＯＭなどを備えたコンピュータとして構成され、所定のプログラムに従ってＣＰＵが演算処理を行うことで各種の制御機能が実現される。図中に示す、画像制御部１１は、このようにして実現される制御部１の機能のうちの一つに対応する。
　画像制御部１１は、画像生成部３によって実行される画像処理を制御するものである。例えば、画像制御部１１は、合成画像生成部３１が生成する合成画像の生成に必要な各種パラメータなどを指示する。また、画像範囲選択部３２がサイドカメラ５３により撮影した画像の所定範囲を選択するための指示をドアミラーの開閉状態、および、車種ごとのパラメータの情報に基づいて行う。
　また、画像処理装置１００の本体部１０は、不揮発性メモリ４０、カード読取部４４、及び、信号入力部４１をさらに備えており、これらは制御部１に接続されている。
　不揮発性メモリ４０は、電源オフ時においても記憶内容を維持可能なフラッシュメモリなどで構成されている。不揮発性メモリ４０には、車種別データ４ａが記憶されている。車種別データ４ａは、合成画像生成部３１が合成画像を生成する際に必要となる車両の種別に応じたデータや、画像範囲選択部３２が画像の所定範囲を選択する際に必要となる車種ごとに左右のドアミラーに取り付けられたサイドカメラ５３のドアミラーの開閉に応じて変化する位置、および、ドアミラーの開閉に応じて変化する光軸の角度のデータなどである。
　カード読取部４４は、可搬性の記録媒体であるメモリカードＭＣの読み取りを行う。カード読取部４４は、メモリカードＭＣの着脱が可能なカードスロットを備えており、そのカードスロットに装着されたメモリカードＭＣに記録されたデータを読み取る。カード読取部４４で読み取られたデータは、制御部１に入力される。
　メモリカードＭＣは、種々のデータを記憶可能なフラッシュメモリなどで構成されており、画像処理装置１００はメモリカードＭＣに記憶された種々のデータを利用できる。例えば、メモリカードＭＣにプログラムを記憶させ、これを読み出すことで、制御部１の機能を実現するプログラム（ファームウェア）を更新することが可能である。また、メモリカードＭＣに不揮発性メモリ４０に記憶された車種別データ４ａとは異なる種別の車両に応じた車種別データを記憶させ、これを読み出して不揮発性メモリ４０に記憶させることで、画像処理システム１２０を異なる種別の車両に対応させることも可能である。
　また、信号入力部４１は、車両に設けられた各種装置からの信号を入力する。この信号入力部４１を介して、画像表示システム１２０の外部からの信号が制御部１に入力される。具体的には、シフトセンサ８１、車速度センサ８２、方向指示器８３、及び、ミラー駆動装置８４などから、各種情報を示す信号が制御部１に入力される。
　シフトセンサ８１からは、車両９の変速装置のシフトレバーの操作の位置、すなわち、”Ｐ（駐車）”，”Ｄ（前進）”，”Ｎ（中立）”，”Ｒ（後退）”などのシフトポジションが入力される。車速度センサ８２からは、その時点の車両９の走行速度（ｋｍ／ｈ）が入力される。
　方向指示器８３からは、ウインカースイッチの操作に基づく方向指示、すなわち、車両のドライバが意図する方向指示を示すターン信号が入力される。ウインカースイッチが操作されたときはターン信号が発生し、ターン信号はその操作された方向（左方向あるいは右方向）を示すことになる。ウインカースイッチが中立位置となったときは、ターン信号はオフとなる。
　また、ミラー駆動装置８４は、ドライバの操作に応答して車両のドアミラーを格納／展開（開閉）する。ミラー駆動装置８４からは、ドアミラーの状態（格納／展開）が入力される。
　＜１－２．撮影部＞
　次に、画像処理システム１２０の撮影部５について詳細に説明する。撮影部５は、制御部１に電気的に接続され、制御部１からの信号に基づいて動作する。
　撮影部５は、車載カメラであるフロントカメラ５１、バックカメラ５２及びサイドカメラ５３を備えている。これらの車載カメラ５１，５２，５３はそれぞれ、ＣＣＤやＣＭＯＳなどの撮像素子を備えており電子的に画像を取得する。
　図２は、車載カメラ５１，５２，５３が車両９に配置される位置を示す図である。なお、以下の説明においては、方向及び向きを示す際に、適宜、図中に示す３次元のＸＹＺ直交座標を用いる。このＸＹＺ軸は車両９に対して相対的に固定される。ここで、Ｘ軸方向は車両９の左右方向に沿い、Ｙ軸方向は車両９の前後方向に沿い、Ｚ軸方向は鉛直方向に沿っている。また、便宜上、＋Ｘ側を車両９の右側、＋Ｙ側を車両９の後側、＋Ｚ側を上側とする。
　フロントカメラ５１は、車両９の前端にあるナンバープレート取付位置の近傍に設けられ、その光軸５１ａは車両９の直進方向（平面視でＹ軸方向の－Ｙ側）に向けられている。バックカメラ５２は、車両９の後端にあるナンバープレート取付位置の近傍に設けられ、その光軸５２ａは車両９の直進方向の逆方向（平面視でＹ軸方向の＋Ｙ側）に向けられている。また、サイドカメラ５３は、左右のドアミラー９３にそれぞれ設けられており、その光軸５３ａは車両９の左右方向（平面視でＸ軸方向）に沿って外部に向けられている。なお、フロントカメラ５１やバックカメラ５２の取り付け位置は、左右略中央であることが望ましいが、左右中央から左右方向に多少ずれた位置であってもよい。
　これらの車載カメラ５１，５２，５３のレンズとしては魚眼レンズなどが採用されており、車載カメラ５１，５２，５３は１８０度以上の画角αを有している。このため、４つの車載カメラ５１，５２，５３を利用することで、車両９の全周囲の撮影が可能となっている。
　図３は、車両９の左側のサイドカメラ５３がハウジング内に収容されたサイドカメラユニット７０の外観構成を示す図である。なお、サイドカメラユニット７０の構成や配置は車両９の左右で対称としているため、以降の説明では車両９の左側を例に具体的に説明するが、右側についても同様である。図に示すように、サイドカメラユニット７０は、ブラケット７９を介してドアミラー９３の下側に配置される。
　サイドカメラ５３は、レンズと撮像素子とを備えて構成されている。サイドカメラ５３は、ハウジング内に配置され、光軸が車両９の外側に向けられている。サイドカメラ５３は、この光軸の方向が鉛直方向に対して所定の角度（例えば、約４５度）となるようにハウジングに固定される。
　＜１－３．画像変換処理＞
　次に、画像生成部３の合成画像生成部３１が、撮影部５で得られた複数の撮影画像に基づいて車両９の周辺を任意の仮想視点からみた様子を示す合成画像を生成する手法について説明する。合成画像を生成する際には、不揮発性メモリ４０に予め記憶された車種別データ４ａが利用される。図４は、合成画像を生成する手法を説明するための図である。
　撮影部５のフロントカメラ５１、バックカメラ５２及びサイドカメラ５３で同時に撮影が行われると、車両９の前方、後方、左側方、及び、右側方をそれぞれ示す４つの撮影画像Ｐ１～Ｐ４が取得される。すなわち、撮影部５で取得される４つの撮影画像Ｐ１～Ｐ４には、撮影時点の車両９の全周囲を示す情報が含まれていることになる。　
　次に、４つの撮影画像Ｐ１～Ｐ４の各画素が、仮想的な三次元空間における立体曲面ＳＰ２に投影される。立体曲面ＳＰ２は、例えば略半球状（お椀形状）をしており、その中心部分（お椀の底部分）が車両９が存在する位置として定められている。撮影画像Ｐ１～Ｐ４に含まれる各画素の位置と、この立体曲面ＳＰ２の各画素の位置とは予め対応関係が定められている。このため、立体曲面ＳＰ２の各画素の値は、この対応関係と撮影画像Ｐ１～Ｐ４に含まれる各画素の値とに基づいて決定できる。
　なお、撮影画像Ｐ１～Ｐ４の撮影は、上記のとおり車載カメラ５１，５２，５３は１８０度以上の画角αを有している広角カメラを用いている。このように広角カメラで撮影を行った場合、画像の一部がカメラのフードやフィルター枠などの障害物に遮られて周辺領域の光量低下がおこることにより、画面内に撮影者が意図しない陰り（カメラ画像における明度の低い部分）が生じることがある。このように陰りが生じている現象を一般に「ケラレ」という。
　図４に示す立体曲面ＳＰ１は、撮影画像Ｐ１～Ｐ４の一部のケラレの発生により、それらの画像を投影した立体曲面ＳＰ１の周辺の所定領域に光量低下による陰りが生じている状態を示している。このように陰りが生じている立体曲面をそのままナビゲーション装置２０に表示すると、所定の仮想視点からみた合成画像が略半球状（お椀形状）とはならない。
　そのため、立体曲面ＳＰ１のうちケラレによる光量低下が生じている周辺領域を除いた中央の略半球状（お椀形状）の領域である立体曲面ＳＰ２を用いて、任意の仮想視点に応じた合成画像を生成する。たとえば図４に示すように、立体曲面ＳＰ１の破線部分を境界として、ケラレによる光量低下が生じている周辺領域を取り除いて、立体曲面ＳＰ２とする。これにより、略半球状（お椀形状）の被写体の画像を形成でき、ユーザが伏せたお椀を上から覗き込んだように立体的に表示された車両と障害物との位置関係を把握できる画像を提供できる。
　なお、上記では一例としてケラレによる光量低下の場合の処理について述べたが、ケラレ以外の光量低下（たとえば、口径食による光量低下など）が発生した場合にも適用可能である。すなわち車載カメラ５１，５２，５３による撮影画像（カメラ画像）において明度が基準値よりも低い領域を検出してこれを除去するように処理を行なえばよい。
　また、撮影画像Ｐ１～Ｐ４の各画素の位置と立体曲面ＳＰの各画素の位置との対応関係は、車両９における４つの車載カメラ５１，５２，５３の配置（相互間距離、地上高さ、光軸角度等）に依存する。このため、この対応関係を示すテーブルデータが、不揮発性メモリ４０に記憶された車種別データ４ａに含まれている。
　また、車種別データ４ａに含まれる車体の形状やサイズを示すポリゴンデータが利用され、車両９の三次元形状を示すポリゴンモデルである車両像が仮想的に構成される。構成された車両像は、立体曲面ＳＰが設定される三次元空間において、車両９の位置と定められた略半球状の中心部分に配置される。
　さらに、立体曲面ＳＰが存在する三次元空間に対して、制御部１により仮想視点ＶＰが設定される。仮想視点ＶＰは、視点位置と視野方向とで規定され、この三次元空間における車両９の周辺に相当する任意の視点位置に任意の視野方向に向けて設定される。
　そして、設定された仮想視点ＶＰに応じて、上記のように立体曲面ＳＰ２における必要な領域が画像として切り出される。仮想視点ＶＰと、立体曲面ＳＰにおける必要な領域との関係は予め定められており、テーブルデータとして不揮発性メモリ４０等に予め記憶されている。一方で、設定された仮想視点ＶＰに応じてポリゴンで構成された車両像に関してレンダリングがなされ、その結果となる二次元の車両像が、切り出された画像に対して重畳される。これにより、車両９及びその車両９の周辺を任意の仮想視点からみた様子を示す合成画像が生成されることになる。
　例えば、視点位置が車両９の位置の略中央の直上位置で、視野方向が略直下方向とした仮想視点ＶＰ１を設定した場合は、車両９の略直上から車両９を見下ろすように、車両９（実際には車両像）及び車両９の周辺の様子を示す合成画像ＣＰ１が生成される。また、図中に示すように、視点位置が車両９の位置の左後方で、視野方向が車両９における略前方とした仮想視点ＶＰ２を設定した場合は、車両９の左後方からその周辺全体を見渡すように、車両９（実際には車両像）及び車両９の周辺の様子を示す合成画像ＣＰ２が生成される。
　なお、実際に合成画像を生成する場合においては、立体曲面ＳＰ２の全ての画素の値を決定する必要はなく、設定された仮想視点ＶＰに対応して必要となる領域の画素の値のみを撮影画像Ｐ１～Ｐ４に基づいて決定することで、処理速度を向上できる。
　　＜１－４．動作モード＞
　次に、画像処理システム１２０の動作モードについて説明する。図５は、画像処理システム１２０の動作モードの遷移を示す図である。画像処理システム１２０は、ナビモードＭ０、周囲確認モードＭ１、フロントモードＭ２、及び、バックモードＭ３の４つの動作モードを有している。これらの動作モードは、ドライバの操作や車両９の走行状態に応じて制御部１の制御により切り替えられるようになっている。
　ナビモードＭ０は、ナビゲーション装置２０の機能により、ナビゲーション案内用の地図画像などをディスプレイ２１に表示する動作モードである。ナビモードＭ０では、画像処理装置１００の機能が利用されず、ナビゲーション装置２０単体の機能で各種の表示がなされる。このため、ナビゲーション装置２０が、テレビジョン放送の電波を受信して表示する機能を有している場合は、ナビゲーション案内用の地図画像に代えて、テレビジョン放送画面が表示されることもある。
　これに対して、周囲確認モードＭ１、フロントモードＭ２及びバックモードＭ３は、画像処理装置１００の機能を利用して、車両９の周辺の状況をリアルタイムで示す表示用画像をディスプレイ２１に表示する動作モードである。
　周囲確認モードＭ１は、車両９を見下ろした状態で車両９の周囲を周回するようなアニメーション表現を行う動作モードである。フロントモードＭ２は、前進時に必要となる車両９の前方や側方を主に示す表示用画像を表示する動作モードである。また、バックモードＭ３は、後退時に必要となる車両９の後方を主に示す表示用画像を表示する動作モードである。
　画像処理システム１２０は起動すると、最初に周囲確認モードＭ１となる。周囲確認モードＭ１の場合には、車両９の周囲を周回するようなアニメーション表現がなされた後に所定時間（例えば、６秒）が経過すると、自動的にフロントモードＭ２に切り替えられる。また、フロントモードＭ２の場合において、走行速度が例えば０ｋｍ／ｈの状態（停止状態）で切替スイッチ４３が所定時間以上継続して押下されると、周囲確認モードＭ１に切り替えられる。なお、ドライバからの所定の指示で、周囲確認モードＭ１からフロントモードＭ２に切り替えるようにしてもよい。
　また、フロントモードＭ２の場合に走行速度が例えば１０ｋｍ／ｈ以上になったときは、ナビモードＭ０に切り替えられる。逆に、ナビモードＭ０の場合に車速度センサ８２から入力される走行速度が例えば１０ｋｍ／ｈ未満になったときは、フロントモードＭ２に切り替えられる。
　車両９の走行速度が比較的高い場合においては、ドライバを走行に集中させるためにフロントモードＭ２が解除される。逆に、車両９の走行速度が比較的低い場合においては、ドライバは車両９の周辺の状況をより考慮した運転、具体的には、見通しの悪い交差点への進入、方向変更、あるいは、幅寄せなどを行っている場面が多い。このため、走行速度が比較的低い場合においては、ナビモードＭ０からフロントモードＭ２に切り替えられる。なお、ナビモードＭ０からフロントモードＭ２に切り替える場合は、走行速度が１０ｋｍ／ｈ未満という条件に、ドライバからの明示的な操作指示があるという条件を加えてもよい。
　また、ナビモードＭ０の場合において、走行速度が例えば０ｋｍ／ｈの状態（停止状態）で切替スイッチ４３が所定時間以上継続して押下されると、周囲確認モードＭ１に切り替えられる。そして、車両９の周囲を周回するようなアニメーション表現がなされた後に所定時間（例えば、６秒）が経過すると、自動的にフロントモードＭ２に切り替えられる。
　また、ナビモードＭ０あるいはフロントモードＭ２の場合に、シフトセンサ８１から入力されるシフトレバーの位置が”Ｒ（後退）”となったときは、バックモードＭ３に切り替えられる。すなわち、車両９の変速装置が”Ｒ（後退）”の位置に操作されているときには、車両９は後退する状態であるため、車両９の後方を主に示すバックモードＭ３に切り替えられる。
　一方、バックモードＭ３の場合に、シフトレバーの位置が”Ｒ（後退）”以外となったときは、その時点の走行速度を基準として、ナビモードＭ０あるいはフロントモードＭ２に切り替えられる。すなわち、走行速度が１０ｋｍ／ｈ以上であればナビモードＭ０に切り替えられ、走行速度が１０ｋｍ／ｈ未満であればフロントモードＭ２に切り替えられる。
　以下、周囲確認モードＭ１、フロントモードＭ２及びバックモードＭ３のそれぞれにおける、車両９の周辺の表示態様について詳細に説明する。
　　＜１－５．周囲確認モード＞
　まず、周囲確認モードＭ１における車両９の周辺の表示態様について説明する。周囲確認モードＭ１においては、図６に示すように、車両９を見下ろすように仮想視点ＶＰが設定され、車両９の周辺を周回するように仮想視点ＶＰが連続的に移動される。仮想視点ＶＰは、最初に車両９の後方に設定された後、右回りで車両９の周辺を周回する。このようにして仮想視点ＶＰが、車両９の左側、前方及び右側を経由して再び後方まで移動すると、車両９の直上まで移動する。
　このように仮想視点ＶＰが移動されている状態で、複数の合成画像が時間連続して生成される。生成された複数の合成画像は、ナビゲーション装置２０に順次に出力されて、ディスプレイ２１に時間連続して表示される。
　このため図７に示すように、車両９を見下ろした状態で車両９の周囲を周回するようなアニメーション表現がなされることになる。図７の示す例では、状態ＳＴ１～ＳＴ６の順で合成画像ＲＰが順次連続的に表示される。各合成画像ＲＰは、立体曲面ＳＰ１のうちケラレによる光量低下が生じている周辺領域を除いた略半球状の立体曲面ＳＰ２に基づいて生成された合成画像であり、ユーザがお椀を上から覗き込んだように立体的に表示されている。そのため、車両と障害物との位置関係を把握しやすいような画像となっている。また、車両９は画像の中心付近に配置されており、車両９とともに車両９の周辺の様子を確認できるようになっている。
　また、図７では、車両９の後方から車両９を見下ろしたような合成画像ＳＴ１（ＳＴ５）、車両９の左側面から車両９を見下ろしたような合成画像ＳＴ２、車両９の前方から車両９を見下ろしたような合成画像ＳＴ３、車両９の右側面から車両９を見下ろしたような合成画像ＳＴ４、車両９の略中心の直上（真上）から車両９を見下ろしたような合成画像ＳＴ６がそれぞれ撮影部５の車載カメラ５１，５２，５３から入力される画像に基づいて合成画像生成部３１により生成される。合成画像ＳＴ１～ＳＴ５が本発明の第１俯瞰画像に、合成画像ＳＴ６が本発明の第２俯瞰画像に対応する。
　そして、図７に示すようにたとえばＳＴ１→ＳＴ２→ＳＴ３→ＳＴ４→ＳＴ５→ＳＴ６の順に連続的にユーザが車両を見下ろした状態で車両の周囲を周回するように示す複数の画像をナビゲーション装置２０に連続表示することで、１つの画面で直感的に車両と障害物との位置関係を把握できる。
　また、仮想視点の位置が連続性を持って移動しつつ、車両の周囲を旋回するように示す複数の合成画像と車両の略中心の直上（真上）からみた合成画像との双方が表示されることで、ユーザは１つの画面で直感的に車両と障害物との位置関係を把握できる。さらに、車両の周囲と車両の略中心の直上（真上）との複数の視点から車両周囲の安全性を確認できる。
　また、車両の周囲の画像でユーザが見落とす障害物などの情報があったとしても、車両の周囲の画像の後に連続性をもって表示される車両の上方の画像により再度安全確認を行うことができる。
　また、ユーザが車両の全周囲の広い範囲をいちどに確認する必要は無く、車両周囲の限られた範囲の画像のごとに車両の略中心の直上（真上）から見た広い範囲の車両全体の画像を連続して表示することで、ユーザは１つの画面で車両周囲の安全確認をより確実に行える。
　また、車両の位置を中心として車両の周囲を順に移動する仮想視点からみた合成画像を生成することで、ユーザは１つの画面で直感的に車両の全周囲の障害物を確認することができる。
　なお、ここで示した合成画像は一例であり、合成画像の車両を見下ろす高さ、方向、合成画像の連続表示の一時停止、連続表示の回転速度の調整、連続表示の回転を逆回転とすることなどの設定はユーザの任意の変更が可能である。
　また、連続表示を一時停止して表示部の画面の任意の部分をユーザ操作により選択することで選択した部分を拡大表示させることもできる。さらに、本実施形態では車両周囲を表示する合成画像を連続表示した後に、車両の略中心の直上（真上）から見た合成画像を連続表示させる場合を述べたが、この順序に限ることなく車両の略中心の直上（真上）から見た合成画像を表示した後に車両周囲の合成画像を連続表示させてもよい。また、本実施形態では車両の後方の仮想視点の位置から周囲を１周する場合について述べたが、画像を遷移させる開始位置は特定されるものではなく任意の位置でもよい。さらに、周囲を周回する回数は１回に限らず２回以上または半周など任意の回数でもよい。
　また、本実施形態では車両周囲確認処理の開始条件を画像処理装置１００またはナビゲーション装置２０が車両電源制御装置からのＡＣＣ－ＯＮ信号を受信したことを開始条件とすることで、これにより画像処理装置の起動時にユーザが車両の周辺を確認することができる。通常、画像処理装置は車両の走行前にＡＣＣ－ＯＮに応答して起動するため、車両の走行前にユーザが車両の周辺を確認できるという効果を有する。このような車両周囲確認処理の開始条件は、ＡＣＣ－ＯＮ信号の受信のみではなく、切替スイッチ４３を所定時間以上（例えば３秒以上）継続して押下することとしてもよい。これによりユーザが車両周囲を自動で確認したい場合にはいつでも確認を行うことができる。
　さらに、複数の合成画像を連続表示している際に、ナビゲーション装置２０に図示しない完了ボタンを設けて、連続表示の途中であってもこの完了ボタンを押下することで、合成画像の連続表示を終了させたり、図示しない設定ボタンを設けて予め、ＡＣＣ－ＯＮや切替えスイッチ４３を所定時間以上押下することによる車両周囲確認処理の開始を行わないようにすることもできる。
　ユーザは、周囲確認モードＭ１のこのようなアニメーション表現を視認することで、車両９を目の前にした視点から車両９の全周囲の状況を確認することができ、直感的に車両９の全周囲の障害物と車両９との位置関係を把握できることになる。
　　＜１－６．フロントモード＞
　次に、フロントモードＭ２における車両９の周辺の表示態様について詳細に説明する。図８は、フロントモードＭ２における表示モードの遷移を示す図である。フロントモードＭ２では、走行俯瞰モードＭ２１、自車確認モードＭ２２、サイドカメラモードＭ２３、および、ナビモードＭ２４の４つの表示モードがあり、これらの表示モードは互いに表示態様が異なっている。これらの画面のうちＭ２１、Ｍ２２、および、Ｍ２３の画面には、各表示態様における視野範囲を示す視野ガイド９０が表示され、ユーザに対して車両９の周辺のいずれの領域を表示しているかが示されるようになっている。また、ナビモードＭ２４では、車両９の周辺の地図画像が表示され、車両９の現在位置の表示なども行われる。
　これらの表示モードは、ユーザが切替スイッチ４３を押下するごとに、走行俯瞰モードＭ２１、自車確認モードＭ２２、サイドカメラモードＭ２３、ナビモードＭ２４の順で制御部１の制御により切り替えられる。ナビモードＭ２４の場合に切替スイッチ４３を押下すると、再び、走行俯瞰モードＭ２１に戻るようになっている。
　走行俯瞰モードＭ２１は、車両９の直上の仮想視点ＶＰからみた車両９の様子を示す合成画像ＦＰ１と、フロントカメラ５１での撮影により得られるフロント画像ＦＰ２とを並べて含む画面をディスプレイ２１に表示する表示モードである。すなわち、走行俯瞰モードＭ２１では、車両９の周辺全体を示す合成画像ＦＰ１と、車両９の前方を示すフロント画像ＦＰ２との二つの画像が同一画面上に示される。
　走行俯瞰モードＭ２１においては、このような二つの画像ＦＰ１，ＦＰ２を閲覧することができるため、ユーザは、車両９の周囲全体とともに、車両９の進行方向である前方の状況を一目で確認できる。走行俯瞰モードＭ２１は、前進中のさまざまな場面で汎用性高く利用できる表示モードであるといえる。
　また、自車確認モードＭ２２は、フロントカメラ５１での撮影により得られるフロント画像ＦＰ３と、車両９の後方の仮想視点ＶＰからみた車両９の様子を示す合成画像ＦＰ４とを並べて含む画面をディスプレイ２１に表示する表示モードである。すなわち、自車確認モードＭ２２では、車両９の前方を示すフロント画像ＦＰ３と、車両９の側方を示す合成画像ＦＰ４との二つの画像が同一画面上に示される。
　自車確認モードＭ２２のフロント画像ＦＰ３は、走行俯瞰モードＭ２１のフロント画像ＦＰ２と比較して、左右方向の視野範囲が広く設定されている。このため、見通しの悪い交差点に進入する場合に死角となりやすい車両９の前端より前方かつ左右方向に存在する物体を確認できる。
　また、自車確認モードＭ２２の合成画像ＦＰ４は、走行俯瞰モードＭ２１の合成画像ＦＰ１と比較して仮想視点ＶＰの位置が車両９の後方に移動されているため、車両９の後方を示す領域は狭くなるものの、車両９の側方が確認しやすくなっている。このため、対向車とすれ違う場合などに、対向車とのクリアランスを容易に確認できる。
　自車確認モードＭ２２においては、このような二つの画像ＦＰ３，ＦＰ４を閲覧することができるため、ユーザは、見通しの悪い交差点に進入する場合や対向車とすれ違う場合などの慎重な運転を必要とする状況において、確認すべき領域の状況を一目で確認できる。
　また、サイドカメラモードＭ２３は、左右のサイドカメラ５３での撮影によりそれぞれ得られるサイド画像ＦＰ５，ＦＰ６を並べて含む画面をディスプレイ２１に表示する表示モードである。サイド画像ＦＰ５，ＦＰ６は、運転席から死角となりやすいフロントフェンダ９４の外側のみを示している。
　サイドカメラモードＭ２３においては、このような二つの画像ＦＰ３，ＦＰ４を閲覧することができるため、ユーザは、道路の端に車体を寄せる幅寄せを行う場合などにおいて、確認すべき領域の状況を容易に確認できる。
　ナビモードＭ２４は、ナビゲーション装置２０の機能により、ナビゲーション案内用の地図画像などをディスプレイ２１に表示する動作モードである。ナビモードＭ２４では、画像処理装置１００の機能が利用されず、ナビゲーション装置２０単体の機能で各種の表示がなされる。このため、ナビゲーション装置２０が、テレビジョン放送の電波を受信して表示する機能を有している場合は、ナビゲーション案内用の地図画像に代えて、テレビジョン放送画面が表示されることもある。
　　＜１－７．バックモード＞
　次に、バックモードＭ３における車両９の周辺の表示態様について詳細に説明する。図９は、バックモードＭ３における表示モードの遷移を示す図である。バックモードＭ３では、駐車俯瞰モードＭ３１、前方ドアミラーモードＭ３２、および、後方ドアミラーモードＭ３３の３つの表示モードがあり、これらの表示モードは互いに表示態様が異なっている。これらの画面にも、各表示態様における視野範囲を示す視野ガイド９０が表示され、ユーザに対して車両９の周辺のいずれの領域を表示しているかが示されるようになっている。
　前方ドアミラーモードＭ３２、および、後方ドアミラーモードＭ３３の表示モードは、ミラー駆動装置８６から入力されるドアミラー９３の状態に応じて制御部１の制御により駐車俯瞰モードＭ３１から切り替えられる。具体的には、シフトレバーの位置が”Ｒ（後退）”の位置に操作されているときには、駐車俯瞰モードＭ３１となる。駐車俯瞰モードＭ３１の状態で、ドアミラー９３が通常状態に展開されており、車両９の車速が１０ｋｍ/ｈ未満の場合に、ユーザにより切替えスイッチ４３が押下されると、前方ドアミラーモードＭ３２となる。
　前方ドアミラーモードＭ３２では、ドアミラー９３に備えられたサイドカメラ５３によって撮影された画像のうち、車両９のフロントフェンダの外側を含む画像範囲が画像生成部３の画像範囲選択部３２により選択される。そして、画像情報出力部３３により画像情報がナビ通信部４２を介して出力され、ナビゲーション装置２０に表示される。これにより、ユーザは道路の端に車体を寄せる幅寄せを行う場合などにおいて、確認すべき領域の状況を容易に確認できる。
　また、駐車俯瞰モードＭ３１の状態で、ドアミラー９３が格納されており、車両９の車速が１０ｋｍ／ｈ未満の場合に、ユーザにより切替えスイッチ４３が押下されると、後方ドアミラーモードＭ３３となる。
　後方ドアミラーモードＭ３３では、ドアミラー９３に備えられたサイドカメラ５３によって撮影された画像のうち、ドアミラーが展開している際にドアミラーに映る範囲と略同一の画像範囲が選択される。具体的には、車両の側方領域のうちの後方を示す画像範囲が選択される。これにより、車両が狭い場所を通過する場合などにドアミラーを格納した状態であっても、ユーザはドアミラーが展開している場合と略同一の範囲の画像（被写体の様子）を確認できる。
　また、駐車俯瞰モードＭ３１は、車両９の直上の仮想視点ＶＰからみた車両９の様子を示す合成画像ＢＰ１と、バックカメラ５２での撮影により得られるバック画像ＢＰ２とを並べて含む画面をディスプレイ２１に表示する表示モードである。すなわち、駐車俯瞰モードＭ３１では、車両９の周辺全体を示す合成画像ＢＰ１と、車両９の後方を示すバック画像ＢＰ２との二つの画像が同一画面上に示される。
　さらに、駐車俯瞰モードＭ３１においては、このような二つの画像ＢＰ１，ＢＰ２を閲覧することができるため、ユーザは、車両９の周囲全体とともに、車両９の進行方向である後方の状況を一目で確認できる。駐車俯瞰モードＭ３１は、後退中のさまざまな場面で汎用性高く利用できる表示モードであるといえる。
　なお、バックモードＭ３では上記の駐車俯瞰モードＭ３１の他に、車両９が縦列駐車を行う際の車両後方の所定の仮想視点からみた合成画像を表示する縦列ガイドモード、車両９の後方を示すバック画像ＢＰ２に駐車ガイド線を表示したバックガイドモードなどのその他のモードを設け、これらのいずれかのモードから、ドアミラーの開閉状態に応じて前方ドアミラーモードＭ３２、および、後方ドアミラーモードＭ３３に切替えがなされるようにしてもよい。
　また、前方ドアミラーモードＭ３２は、左右サイドカメラ５３での撮影によりそれぞれ得られるサイド画像ＦＰ５，ＦＰ６を並べて含む画面をディスプレイ２１に表示する表示モードである。前方ドアミラーモードＭ３２においては、一画面でこのような二つの画像Ｆ５，ＦＦ６を閲覧することができるため、ユーザは、車両後退の際にユーザが車両を後退させる場合に、衝突の危険性のある左右のフロントフェンダの外側を含む画像を確認できる。
　また、後方ドアミラーモードＭ３３は、左右のサイドカメラ５３での撮影によりそれぞれ得られるサイド画像ＢＰ３，ＢＰ４を並べて含む画面をディスプレイ２１に表示する表示モードである。後方ドアミラーモードＭ３３においては、このような二つの画像ＢＰ３，ＢＰ４を閲覧することができるため、車両９の後方左右を同一画面上で確認しながら、車両の後退が可能となる。
　図１０に示すように、サイドカメラ５３はドアミラー９３に設けられるため、ドアミラー９３が格納された状態となると、その光軸５３ａの方向が車両９の後方に向けられることになる。この状態では、サイドカメラ５３において車両９の側方全体を示す画像を取得できないため、任意の仮想視点からみた合成画像を生成することは難しくなる。しかしながら、光軸５３ａが車両９の後方へ移動するため、車両９の側方領域の後方については比較的歪が少ない撮影画像を取得することができる。後方ドアミラーモードＭ３３では、このようなサイドカメラ５３で取得された撮影画像を利用して、車両９の側方領域の後方を示す二つの画像ＢＰ３，ＢＰ４を生成して表示する。
　後方ドアミラーモードＭ３３においては、このような二つの画像ＢＰ３，ＢＰ４を閲覧することができるため、ユーザは、駐車環境によってドアミラー９３を格納せざるを得ない場合であっても、ドアミラー９３に映る範囲とほぼ同様の範囲を確認することができる。
　＜２．動作＞
　＜２－１．周囲確認モードにおける動作＞
　次に、周囲確認モードにおける画像処理システムの制御部の処理の流れについて図１１を用いて説明する。画像処理装置１０の制御部１が図示しない車両電源制御装置からのＡＣＣ－ＯＮ信号を信号入力部４１を介して受信する（ステップＳ１０１がＹｅｓ）と、制御部１はナビ通信部４２を介してナビゲーション装置２０との初期通信を開始する（ステップＳ１０２）。ここで初期通信とは画像処理装置１０の制御部１とナビゲーション装置２０との間で通信可能か否かを確認する処理をいう。制御部１が車両電源制御装置からのＡＣＣ－ＯＮ信号を受信していない場合（ステップＳ１０１がＮｏ）は、処理を終了する。
　制御部１とナビゲーション装置２０との初期通信が正常に終了すれば（ステップＳ１０３がＹｅｓ）、制御部１は不揮発メモリ４０から車両周囲確認処理を行うためのデータを読み出す（ステップＳ１０４）。車両周囲確認処理データの例としては、車両のビットマップデータ、視点の移動データ（時間ごとの視点位置や視点の方向のデータ）などがあげられる。
　初期通信が正常に終了していない場合（ステップＳ１０３がＮｏ）は再度、制御部１はナビゲーション装置２０との通信を行ったり、複数回の通信を試みても通信できない場合は処理を終了する。なお、ここで初期通信が正常に終了しない場合としては、故障などの原因で制御部１が正常に動作していないことがあげられる。このような場合はナビゲーション装置２０に車両周囲の画像表示のシステムが故障している旨の警告を表示するようにできる。
　不揮発性メモリ４０から車両周辺確認処理のデータを読み出した後に、制御部１の画像生成部３は読み出したデータに基づいて、車両周囲の合成画像を生成する（ステップＳ１０５）。合成画像の生成では、上述の図４に示す立体曲面ＳＰ１のうちケラレによる光量低下が生じている周辺領域を除いた略半球状（お椀形状）の領域である立体曲面ＳＰ２を用いて、任意の仮想視点に応じた合成画像を生成する処理が行われる。そして。生成された合成画像のデータはナビゲーション装置２０に送信される（ステップＳ１０６）。
　画像生成部３は仮想視点の位置を段階的に変更しつつ（ステップＳ１０７ａ）、複数の合成画像を生成する（ステップＳ１０５）。そして、制御部１は、複数の合成画像が連続性を有するように順番にナビゲーション装置２０にデータを送信する。これにより仮想視点の位置が連続的に変更され、連続表示により車両９を見下ろした状態で、車両９の周囲を周回する画像をナビゲーション装置２０に表示させることができる。
　複数の合成画像のナビゲーション装置２０への送信が終了する（ステップＳ１０７がＹｅｓ）と、車両９の略中心の直上（真上）から見た合成画像を上記車両周辺の合成画像と同様の処理で生成し（ステップＳ１０８）、生成した車両９の略中心の直上（真上）から見た合成画像をナビゲーション装置２０へ送信する（ステップＳ１０９）。これにより、車両を見下ろした状態で車両の周囲を周回するように示す複数の合成画像が表示装置に表示されるため、ユーザが車両を目の前にした視点から車両の全周囲を確認することで、１つの画面で直感的に車両と障害物との位置関係を把握できる。
　＜２－２．バックモードにおける動作＞
　次に、上記のようなドアミラー９３の開閉状態に応じて撮影画像の画像範囲を選択して画像情報を出力する処理の流れについて説明する。図１２はバックモードにおける画像処理システムの制御部の処理の流れについて示す図である。最初に画像処理システムのモードがバックモードか否かを判定するために、シフトレバーの操作位置が”Ｒ（後退）”のシフトポジションとなっているか否かを判定する（ステップＳ２０１）。
　シフトレバーの操作位置が”Ｒ（後退）”となっている場合（ステップＳ２０１がＹｅｓ）は、バックモードＭ３の制御部１は画像生成部３に駐車俯瞰モードＭ３１の画像の生成、および、その画像情報をナビゲーション装置２０へ出力するための指示信号を画像生成部３に送信する（ステップＳ２０２）。なお、シフトレバーの操作の位置が”Ｒ（後退）”のシフトポジションとなっていない場合（ステップＳ２０１がＮｏ）は、処理を終了する。
　そして、ナビゲーション装置２０に駐車俯瞰モードＭ３１の画像が表示されている場合にユーザが切替スイッチ４３を押下した場合（ステップＳ２０３がＹｅｓ）は、車速度センサ８２を用いて、車両９の車速が１０ｋｍ／ｈ未満か否かを判定する（ステップＳ２０４）。なお、ユーザが切替スイッチ４３を押下しなかった場合（ステップＳ２０３がＮｏ）は、制御部１はナビゲーション装置２０に駐車俯瞰モードＭ３１を表示するための処理を継続して行う（ステップＳ２０９）。
　ステップＳ２０４において、車速が１０ｋｍ／ｈ未満の場合（ステップＳ２０４がＹｅｓ）の場合は、車両９のドアミラー９３が展開しているか否かを判定する（ステップＳ２０５）。
　ステップＳ２０５において、ドアミラー９３が展開している場合（ステップＳ２０５がＹｅｓ）、制御部１は前方ドアミラーモードＭ３２の処理を行う指示信号を画像生成部３に送信し（ステップＳ２０６）、次の処理に進む。具体的には、サイドカメラ５３を用いて撮影された画像のうち、フロントフェンダの外側を含む画像範囲を選択して、この選択した範囲の画像情報を出力する指示信号を画像生成部３に送信する。これにより、ユーザは道路の端に車体を寄せる幅寄せを行う場合などにおいて、確認すべき領域の状況を容易に確認できる。
　なお、車両９の車速が１０ｋｍ／ｈ未満ではない場合（ステップＳ２０４がＮｏ）は、制御部１はナビゲーション装置２０に駐車俯瞰モードＭ３１を表示するための処理を継続して行う（ステップＳ２０９）。
　また、ドアミラー９３が収納されている場合（ステップＳ２０５がＮｏ）、制御部１は後方ドアミラーモードＭ３３の処理を行う指示信号を画像生成部３に送信し（ステップＳ２０７）、次の処理に進む。サイドカメラ５３を用いて撮影された画像のうち、車両９のドアミラーが展開している際にドアミラーに映る範囲と略同一の画像範囲を選択する指示信号を送信して、選択した範囲の画像情報を出力する指示信号を画像生成部３に送信する。具体的には、車両の側方領域のうちの後方を示す画像範囲が選択する指示信号を送信して、この選択した範囲の画像情報を出力する指示信号を画像生成部３に送信する。これにより、車両が狭い場所を通過する場合などにドアミラーを格納した状態であっても、ユーザはドアミラーが展開している場合と略同一の範囲の画像（被写体の様子）を確認できる。
　次に、ユーザにより切替スイッチ４３が押下されていなければ（ステップＳ２０８がＮｏ）、ステップＳ２０５の処理に戻って、ドアミラー９３の開閉状態に応じて、前方ドアミラーモードＭ３２、または、後方ドアミラーモード３３のいずれかのモードに対応した画像選択と画像情報出力の処理を画像生成部３に指示する信号を送信する。
　なお、切替スイッチ４３がユーザにより押下された場合（ステップＳ２０８がＹｅｓ）は、ステップＳ２０２で述べた処理と同様に、制御部１は、駐車俯瞰モードＭ３１の画像を生成し、その画像情報をナビゲーション装置２０へ出力するための指示信号を画像生成部３に送信する（ステップＳ２０９）。
　なお、上記処理では、ステップＳ２０３の切替スイッチの押下判定の後に、ステップＳ２０４の車両９の車速が１０ｋｍ／ｈ未満か否かの判定を行ったが、これとは逆に最初に車両９の車速が１０ｋｍ／ｈ未満か否かの判定を行い、その後に切替スイッチの押下判定を行ってもよい。
　また、本実施形態では、画像処理システム１２０のモードがバックモードの場合、つまり、車両９が後退する際にドアミラー９３の開閉状態に応じて、前方ドアミラーモードＭ３２と後方ドアミラーモードＭ３３とのいずれかを表示する場合について述べたが、画像処理システム１２０のモードがフロントモードの場合、つまり車両９が前進する場合にドアミラー９３の開閉状態に応じて、前方ドアミラーモードＭ３２と後方ドアミラーモードＭ３３とのいずれかを表示するようにしてもよい。
＜３．変形例＞
　以上、本発明の実施の形態について説明してきたが、この発明は上記実施の形態に限定されるものではなく様々な変形が可能である。以下では、このような変形例について説明する。上記実施の形態で説明した形態及び以下で説明する形態を含む全ての形態は、適宜に組み合わせ可能である。
　上記実施の形態では、画像処理装置１００とナビゲーション装置２０とは別の装置であるとして説明したが、画像処理装置１００とナビゲーション装置２０とが同一の筐体内に配置されて一体型の装置として構成されてもよい。
　また、上記実施の形態では、画像処理装置１００で生成された画像を表示する表示装置はナビゲーション装置２０であるとして説明したが、ナビゲーション機能等の特殊な機能を有していない一般的な表示装置であってもよい。
　また、上記実施の形態において、画像処理装置１００の制御部１によって実現されると説明した機能の一部は、ナビゲーション装置２０の制御部２３によって実現されてもよい。
　また、上記実施の形態において、信号入力部４１を介して画像処理装置１００の制御部１に入力されると説明した信号の一部または全部は、ナビゲーション装置２０に入力されるようになっていてもよい。この場合は、ナビ通信部４２を経由して、画像処理装置１００の制御部１に当該信号を入力すればよい。
　また、上記実施の形態では、車両９のドライバが意図する方向指示を方向指示器８３から入力していたが、他の手段によって入力してもよい。例えば、ドライバの目を撮影した画像からドライバの視点の動きを検出し、その検出結果からドライバが意図する方向指示を入力するようなものであってもよい。
　また、上記実施の形態では、プログラムに従ったＣＰＵの演算処理によってソフトウェア的に各種の機能が実現されると説明したが、これら機能のうちの一部は電気的なハードウェア回路により実現されてもよい。また逆に、ハードウェア回路によって実現されるとした機能のうちの一部は、ソフトウェア的に実現されてもよい。
　　本出願は、２００９年１２月２４日に提出された日本特許出願２００９－２９１８７８に基づくものであり、その内容はここに参照として取り込まれる。

Claims (8)

  1. 　車両に搭載される画像処理装置であって、
    　前記車両に設けられた複数のカメラで撮影された複数のカメラ画像を取得する画像取得手段と、
    　前記車両およびその周辺を互いに異なる視点から見た複数の第１俯瞰画像を含む複数の合成画像を前記複数のカメラ画像に基づいて生成する合成画像生成手段と、
    　前記複数の合成画像が連続的に再生される表示画像に対応する情報を、前記車両に搭載された表示装置へ出力する表示画像提供手段とを備えることを特徴とする画像処理装置。
  2. 　請求項１に記載の画像処理装置において、
    　前記複数の合成画像は、前記車両とその周囲を該車両の真上から見た第２俯瞰画像を含み、
    　前記表示画像は、前記複数の第１俯瞰画像が再生されている間に少なくとも一度前記第２俯瞰画像が再生されるものであることを特徴とする画像処理装置。
  3. 　請求項１に記載の画像処理装置において、
    　前記複数の第１俯瞰画像の各々は、前記車両をその中央部に示していることを特徴とする画像処理装置。
  4. 　請求項２に記載の画像処理装置において、
    　前記複数の第１俯瞰画像の各々は、前記車両をその中央部に示していることを特徴とする画像処理装置。
  5. 　請求項１ないし４のいずれかに記載の画像処理装置において、
    　前記合成画像生成手段は、前記画像処理装置の起動時に前記複数の合成画像を生成することを特徴とする画像処理装置。
  6. 　請求項１ないし４のいずれかに記載の画像処理装置において、
    　前記合成画像生成手段は、前記複数の合成画像の生成に際し、前記複数のカメラ画像における基準値よりも明度の低い部分を除去することを特徴とする画像処理装置。
  7. 　画像処理システムであって、
    　車両に設けられる複数のカメラと、
    　車両に搭載される画像処理装置であって、
    　　前記車両に設けられた複数のカメラで撮影された複数のカメラ画像を取得する画像取得手段と、
    　　前記車両およびその周辺を互いに異なる視点から見た複数の俯瞰画像を含む複数の合成画像を前記複数のカメラ画像に基づいて生成する合成画像生成手段と、
    　　前記複数の合成画像が連続的に再生される表示画像に対応する情報を、前記車両に搭載された表示装置へ出力する表示画像提供手段とを備える画像処理装置と
    を備えることを特徴とする画像処理システム。
  8. 　画像処理方法であって、
    　車両に設けられた複数のカメラで撮影された複数のカメラ画像を取得することと、
    　前記車両およびその周辺を互いに異なる視点から見た複数の俯瞰画像を含む複数の合成画像を前記複数のカメラ画像に基づいて生成することと、
    　前記複数の合成画像が連続的に再生される表示画像に対応する情報を、前記車両に搭載された表示装置へ出力することとを備えることを特徴とする画像処理方法。
PCT/JP2010/073078 2009-12-24 2010-12-22 画像処理装置、画像処理システム、および画像処理方法 WO2011078201A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
US13/517,118 US9706175B2 (en) 2009-12-24 2010-12-22 Image processing device, image processing system, and image processing method
CN2010800590899A CN102934427A (zh) 2009-12-24 2010-12-22 图像处理装置、图像处理***和图像处理方法

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2009-291878 2009-12-24
JP2009291878A JP2011135253A (ja) 2009-12-24 2009-12-24 画像処理装置、画像処理システム、および、画像処理方法

Publications (1)

Publication Number Publication Date
WO2011078201A1 true WO2011078201A1 (ja) 2011-06-30

Family

ID=44195728

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2010/073078 WO2011078201A1 (ja) 2009-12-24 2010-12-22 画像処理装置、画像処理システム、および画像処理方法

Country Status (4)

Country Link
US (1) US9706175B2 (ja)
JP (1) JP2011135253A (ja)
CN (1) CN102934427A (ja)
WO (1) WO2011078201A1 (ja)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013212723A (ja) * 2012-03-30 2013-10-17 Fujitsu Ten Ltd 駐車支援装置、及び駐車支援方法
CN107346237A (zh) * 2016-05-04 2017-11-14 北京京东尚科信息技术有限公司 一种基于iOS***的多宫格图片处理方法及装置
US10240323B2 (en) 2014-04-25 2019-03-26 Komatsu Ltd. Surroundings monitoring system, work vehicle, and surroundings monitoring method

Families Citing this family (34)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5858650B2 (ja) * 2011-06-08 2016-02-10 富士通テン株式会社 画像生成装置、画像表示システム、及び、画像生成方法
US20140375814A1 (en) * 2012-01-12 2014-12-25 Hitachi Construction Machinery Co., Ltd. Periphery Monitoring Device for Self-Propelled Industrial Machine
US9591331B2 (en) * 2012-03-28 2017-03-07 Qualcomm Incorporated Merge signaling and loop filter on/off signaling
JP5629740B2 (ja) * 2012-09-21 2014-11-26 株式会社小松製作所 作業車両用周辺監視システム及び作業車両
JP5529943B2 (ja) * 2012-09-21 2014-06-25 株式会社小松製作所 作業車両用周辺監視システム及び作業車両
JP6105244B2 (ja) * 2012-09-28 2017-03-29 富士通テン株式会社 画像処理装置、及び画像処理システム
TWI535587B (zh) * 2012-11-14 2016-06-01 義晶科技股份有限公司 利用觸控面板來控制車用影像之顯示的方法及其車用影像系統
JP6084097B2 (ja) * 2013-03-29 2017-02-22 富士通テン株式会社 画像生成装置、画像表示システム及び画像生成方法
US9674490B2 (en) * 2013-04-18 2017-06-06 Magna Electronics Inc. Vision system for vehicle with adjustable cameras
JP2014232465A (ja) * 2013-05-30 2014-12-11 富士通テン株式会社 画像処理装置、および、画像処理方法
CN105556956B (zh) * 2013-09-19 2019-01-22 富士通天株式会社 图像生成装置、图像显示***、图像生成方法以及图像显示方法
US9598012B2 (en) * 2014-03-11 2017-03-21 Toyota Motor Engineering & Manufacturing North America, Inc. Surroundings monitoring system for a vehicle
DE102014107235A1 (de) * 2014-05-22 2015-11-26 Dr. Ing. H.C. F. Porsche Aktiengesellschaft Verfahren zur Darstellung einer Fahrzeugumgebung auf einer Anzeigevorrichtung; eine Anzeigevorrichtung; ein System aus einer Mehrzahl an Bilderfassungseinheiten und einer Anzeigevorrichtung; ein Computerprogramm
KR102233391B1 (ko) * 2014-06-16 2021-03-29 팅크웨어(주) 전자 장치, 전자 장치의 제어 방법 및 컴퓨터 판독 가능한 기록 매체
KR101530826B1 (ko) * 2014-08-18 2015-06-24 정관호 360도 공간영상 재생방법 및 그 시스템
JP6548900B2 (ja) 2015-01-20 2019-07-24 株式会社デンソーテン 画像生成装置、画像生成方法及びプログラム
JP6261542B2 (ja) * 2015-06-10 2018-01-17 株式会社デンソーテン 画像処理装置および画像処理方法
JP2017069846A (ja) * 2015-09-30 2017-04-06 アイシン精機株式会社 表示制御装置
JP6477562B2 (ja) * 2016-03-18 2019-03-06 株式会社デンソー 情報処理装置
JP6370833B2 (ja) * 2016-05-16 2018-08-08 株式会社デンソーテン 画像生成装置、画像表示システム及び画像生成方法
JP6699370B2 (ja) * 2016-06-06 2020-05-27 アイシン精機株式会社 車両用画像処理装置
US10829044B2 (en) * 2016-08-08 2020-11-10 Koito Manufacturing Co., Ltd. Vehicle monitoring system using a plurality of cameras
WO2018037789A1 (ja) * 2016-08-22 2018-03-01 ソニー株式会社 画像処理装置、および画像処理方法、並びにプログラム
JP6730612B2 (ja) * 2017-02-27 2020-07-29 株式会社Ｊｖｃケンウッド 車両用表示制御装置、車両用表示制御システム、車両用表示制御方法およびプログラム
JP6658643B2 (ja) 2017-03-24 2020-03-04 トヨタ自動車株式会社 車両用視認装置
JP6658642B2 (ja) 2017-03-24 2020-03-04 トヨタ自動車株式会社 車両用視認装置
EP3392801A1 (en) * 2017-04-21 2018-10-24 Harman International Industries, Incorporated Systems and methods for driver assistance
KR102310379B1 (ko) * 2017-06-09 2021-10-12 현대자동차주식회사 주행 정보 안내 장치 및 방법, 그리고 차량 시스템
US10596970B2 (en) * 2017-08-25 2020-03-24 Panasonic Automotive Systems Company Of America, Division Of Panasonic Corporation Of North America Auto-switch display intelligent rearview mirror system
KR102441079B1 (ko) * 2017-11-30 2022-09-06 현대자동차주식회사 차량의 디스플레이 제어 장치 및 방법
DE102018100211A1 (de) 2018-01-08 2019-07-11 Connaught Electronics Ltd. Verfahren zum Erzeugen einer Darstellung einer Umgebung durch Verschieben einer virtuellen Kamera in Richtung eines Innenspiegels eines Fahrzeugs; sowie Kameraeinrichtung
JP7000980B2 (ja) * 2018-05-08 2022-01-19 トヨタ自動車株式会社 駐車支援装置
DE102018119481A1 (de) * 2018-08-10 2020-02-13 Connaught Electronics Ltd. Verfahren zum Bereitstellen einer Bilddarstellung von mindestens einem Teil einer Umgebung eines Kraftfahrzeugs, Computerprogrammprodukt und Fahrerassistenzsystem
JPWO2021186853A1 (ja) * 2020-03-19 2021-09-23

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003267171A (ja) * 2002-03-13 2003-09-25 Nissan Motor Co Ltd 車両後方監視装置
JP2005236493A (ja) * 2004-02-18 2005-09-02 Nissan Motor Co Ltd 運転支援装置
JP2006041741A (ja) * 2004-07-23 2006-02-09 Nikon Corp カメラシステム
JP2009253460A (ja) * 2008-04-02 2009-10-29 Denso Corp 駐車支援装置
WO2009144994A1 (ja) * 2008-05-29 2009-12-03 富士通株式会社 車両用画像処理装置、車両用画像処理方法

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3300334B2 (ja) 1999-04-16 2002-07-08 松下電器産業株式会社 画像処理装置および監視システム
EP2410741A1 (en) * 1999-04-16 2012-01-25 Panasonic Corporation Image processing apparatus and monitoring system
KR20020033816A (ko) * 2000-07-19 2002-05-07 마츠시타 덴끼 산교 가부시키가이샤 감시시스템
JP4432801B2 (ja) * 2005-03-02 2010-03-17 株式会社デンソー 運転支援装置
JP2006341641A (ja) * 2005-06-07 2006-12-21 Nissan Motor Co Ltd 映像表示装置及び映像表示方法
US20080136911A1 (en) * 2006-12-08 2008-06-12 Ford Global Technologies, Llc Display system for a vehicle
JP5047650B2 (ja) * 2007-03-06 2012-10-10 クラリオン株式会社 車載カメラシステム
US20090096937A1 (en) * 2007-08-16 2009-04-16 Bauer Frederick T Vehicle Rearview Assembly Including a Display for Displaying Video Captured by a Camera and User Instructions
JP4458138B2 (ja) 2007-09-18 2010-04-28 株式会社デンソー 車両周辺監視装置

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003267171A (ja) * 2002-03-13 2003-09-25 Nissan Motor Co Ltd 車両後方監視装置
JP2005236493A (ja) * 2004-02-18 2005-09-02 Nissan Motor Co Ltd 運転支援装置
JP2006041741A (ja) * 2004-07-23 2006-02-09 Nikon Corp カメラシステム
JP2009253460A (ja) * 2008-04-02 2009-10-29 Denso Corp 駐車支援装置
WO2009144994A1 (ja) * 2008-05-29 2009-12-03 富士通株式会社 車両用画像処理装置、車両用画像処理方法

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013212723A (ja) * 2012-03-30 2013-10-17 Fujitsu Ten Ltd 駐車支援装置、及び駐車支援方法
US10240323B2 (en) 2014-04-25 2019-03-26 Komatsu Ltd. Surroundings monitoring system, work vehicle, and surroundings monitoring method
CN107346237A (zh) * 2016-05-04 2017-11-14 北京京东尚科信息技术有限公司 一种基于iOS***的多宫格图片处理方法及装置

Also Published As

Publication number Publication date
US9706175B2 (en) 2017-07-11
JP2011135253A (ja) 2011-07-07
US20120257058A1 (en) 2012-10-11
CN102934427A (zh) 2013-02-13

Similar Documents

Publication Publication Date Title
WO2011078201A1 (ja) 画像処理装置、画像処理システム、および画像処理方法
JP5302227B2 (ja) 画像処理装置、画像処理システム、および、画像処理方法
WO2011078183A1 (ja) 画像処理装置、画像処理システム、および画像処理方法
JP5087051B2 (ja) 画像生成装置及び画像表示システム
JP5627253B2 (ja) 画像処理装置、電子装置、および、画像処理方法
JP5271154B2 (ja) 画像生成装置及び画像表示システム
JP5914114B2 (ja) 駐車支援装置、及び駐車支援方法
WO2010137684A1 (ja) 画像生成装置及び画像表示システム
WO2011058875A1 (ja) 車載照明装置、画像処理装置及び画像表示システム
JP5697512B2 (ja) 画像生成装置、画像表示システム及び画像表示装置
WO2002089485A1 (fr) Procede et dispositif pour la presentation d'une image de camera embarquee a bord d'un vehicule
JP2005110202A (ja) カメラ装置及び車両周辺監視装置
JP2005110207A (ja) カメラ装置及び車両周辺監視装置
JP5658507B2 (ja) 画像表示システム、画像生成装置、及び、画像表示方法
JP2011193485A (ja) 車両に搭載されるカメラ装置及び車両周辺監視装置
JP5479639B2 (ja) 画像処理装置、画像処理システム、および、画像処理方法
JP2012046124A (ja) 画像表示システム、画像処理装置、および、画像表示方法
JP6118936B2 (ja) 画像処理装置
JP2012054664A (ja) 画像処理装置、画像表示システム及び画像表示方法
JP5677168B2 (ja) 画像表示システム、画像生成装置及び画像生成方法
JP5466743B2 (ja) 画像生成装置及び画像表示システム

Legal Events

Date Code Title Description
WWE Wipo information: entry into national phase

Ref document number: 201080059089.9

Country of ref document: CN

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 10839431

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 13517118

Country of ref document: US

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 10839431

Country of ref document: EP

Kind code of ref document: A1