WO2005088971A1 - 画像生成装置、画像生成方法、および画像生成プログラム - Google Patents

画像生成装置、画像生成方法、および画像生成プログラム Download PDF

Info

Publication number
WO2005088971A1
WO2005088971A1 PCT/JP2005/002977 JP2005002977W WO2005088971A1 WO 2005088971 A1 WO2005088971 A1 WO 2005088971A1 JP 2005002977 W JP2005002977 W JP 2005002977W WO 2005088971 A1 WO2005088971 A1 WO 2005088971A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
blind spot
imaging
viewpoint
data
Prior art date
Application number
PCT/JP2005/002977
Other languages
English (en)
French (fr)
Inventor
Takashi Miyoshi
Hidekazu Iwaki
Akio Kosaka
Original Assignee
Olympus Corporation
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Olympus Corporation filed Critical Olympus Corporation
Publication of WO2005088971A1 publication Critical patent/WO2005088971A1/ja
Priority to US11/519,333 priority Critical patent/US20070009137A1/en

Links

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B60R1/23—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view
    • B60R1/27—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view providing all-round vision, e.g. using omnidirectional cameras
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/31—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles providing stereoscopic vision
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/10—Constructive solid geometry [CSG] using solid primitives, e.g. cylinders, cubes
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G08G1/166—Anti-collision systems for active traffic, e.g. moving vehicles, pedestrians, bikes
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G08G1/167—Driving aids for lane monitoring, lane changing, e.g. blind spot detection
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/10—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used
    • B60R2300/102—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used using 360 degree surveillance camera system
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/10—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used
    • B60R2300/105—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used using multiple cameras
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/302—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing combining image information with GPS information or vehicle data, e.g. vehicle speed, gyro, steering angle data
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/303—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing using joined images, e.g. multiple camera images
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/304—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing using merged images, e.g. merging camera image with stored images
    • B60R2300/305—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing using merged images, e.g. merging camera image with stored images merging camera image with lines or icons
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/802—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for monitoring and displaying vehicle exterior blind spot views
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/8033—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for pedestrian protection
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/8093—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for obstacle warning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/08—Indexing scheme for image data processing or generation, in general involving all processing steps from image acquisition to 3D model generation

Definitions

  • Image generation apparatus image generation method, and image generation program
  • the present invention provides intuitive information on the movement of an object, such as a vehicle, when the object moves, based on a plurality of images taken by one or more cameras attached to the object, such as a vehicle.
  • a monitoring sight device that monitors a monitoring target around a vehicle, a store, or a house, or in a city, etc., uses one or more cameras to photograph the monitoring target, and displays the image on the monitor device.
  • a surveillance camera device when there are a plurality of cameras and the number of monitor devices is smaller than the number of cameras, for example, when there is only one monitor device in spite of two cameras, a plurality of captured These camera images were integrated and displayed on a single monitor device, or switched and displayed sequentially.
  • the administrator needs to consider the continuity of independently displayed images in order to monitor images from the respective cameras.
  • an input image from one or more cameras attached to a vehicle or the like is mapped to a predetermined space model in a three-dimensional space, and the mapped space is mapped. Creates and displays an image as viewed from any virtual viewpoint in the above 3D space with reference to the data.
  • a technology relating to a surveillance camera device see, for example, Patent Document 1).
  • Patent Document 1 Japanese Patent No. 3286306
  • the conventional surveillance camera device as described above has a problem in that it is difficult to determine the relationship between the object on which the camera is mounted, such as a vehicle equipped with an imaging means, and the monitoring target photographed by the camera. there were.
  • the present invention has been made in view of the above-mentioned drawbacks of the related art. When displaying an image of a monitoring target around a vehicle, a store, or a house, or in a city, an imaging method of the vehicle or the like is used. It is an object of the present invention to provide an image generation device, an image generation method, and an image generation program capable of intuitively displaying the relationship between a placed object and a captured image of a monitoring target.
  • the present invention employs the following configuration in order to solve the above-mentioned problems.
  • an image generating apparatus includes one or more image capturing units attached to an image capturing unit-located object for capturing an image, and an image captured by the image capturing unit.
  • Space reconstruction means for mapping to a space model; viewpoint transformation means for generating viewpoint transformation image data viewed from an arbitrary virtual viewpoint in a three-dimensional space based on the spatial data mapped by the space reconstruction means;
  • a display unit for displaying an image viewed from an arbitrary virtual viewpoint in the three-dimensional space based on the viewpoint conversion image data generated by the viewpoint conversion unit. Viewpoint converted image data, captured image data representing the captured image, the spatial model, and the mapped spatial data.
  • movement information calculating means for calculating movement information related to the movement of the imaging device-arranged object, wherein the display means comprises: The moving information calculated by the moving information calculating means is displayed together with the image.
  • the movement information may include movement direction information indicating a moving direction, movement trajectory information indicating a predicted movement trajectory, movement speed information indicating a moving speed, It is desirable that the destination information is any one of the destination information related to the direction, place name, landmark, etc. of the destination.
  • the image generation apparatus of the present invention provides viewpoint conversion image data generated by the viewpoint conversion means, captured image data representing the captured image, the space model, and the mapped image corresponding to different times. Further comprising a collision possibility calculating means for calculating a possibility of collision between the imaging means arranged object model and the space model based on any of the spatial data obtained by the imaging means, wherein the display means is generated by the viewpoint converting means. Sa In the image of the imaging means arranged object model, which is displayed by being superimposed on the image obtained by the viewpoint conversion image data, the display form of the portion having the possibility of collision calculated by the possibility of collision calculation means is changed. It is desirable to display.
  • the display mode is at least one of a color, a border, and a warning icon.
  • the image generation device of the present invention further includes a blind spot for a predetermined location of the imaging device arranged object based on an imaging device arranged object model represented by data corresponding to the imaging device arranged object. It is preferable that the apparatus further comprises blind spot calculation means for calculating blind spot information indicating an area, and that the display means displays the blind spot information calculated by the blind spot calculation means together with the image pickup means arranged object model.
  • the image generation apparatus of the present invention may be configured such that any one of viewpoint converted image data converted by the viewpoint converting means, captured image data representing the captured image, the spatial model, and the spatial data mapped as described above.
  • the image forming apparatus further includes another object blind spot calculation means for calculating other object blind spot information indicating a blind spot area of the other object, wherein the display means is calculated by the other object blind spot calculation means together with the imaging means arranged object model. It is desirable to display the blind spot information on the other object.
  • the object arranged with the imaging means or another object is at least one of a vehicle, a pedestrian, a building, a road structure and the like.
  • an image generating apparatus includes one or more image capturing units attached to an image capturing unit-arranged object for capturing an image, and image data captured by the image capturing unit.
  • the other object recognition means for recognizing another object different from the object arranged with the imaging means, and the blind spot of the other object recognized by the other object recognition means based on other object data indicating data on the predetermined other object.
  • Display means for displaying other object blind spot information calculated by the other object blind spot calculation means together with the other object blind spot calculation means for calculating other object blind spot information indicating an area to be obtained, and the imaging means arranged object model; It is characterized by having.
  • the object arranged with the imaging means or another object is at least one of a vehicle, a pedestrian, a building, a road structure, and the like.
  • the image generation method of the present invention maps the captured image captured by one or more imaging devices attached to the imaging device-located object to a spatial model, Based on the generated spatial data, viewpoint-converted image data viewed from an arbitrary virtual viewpoint in the three-dimensional space is generated, and based on the generated viewpoint-converted image data, an arbitrary virtual image in the three-dimensional space is generated.
  • a computer-implemented image generation method for displaying an image viewed from a viewpoint wherein the generated viewpoint-converted image data, the captured image data representing the captured image, the space model, and the mapped space data are provided.
  • Moving information related to the movement of the imaging means arranged object is further calculated based on any of Characterized in that together with the image of the stage disposed object model displaying the movement information
  • the image generation program provides a computer with a computer for spatially capturing a captured image captured by one or a plurality of imaging devices attached to an imaging means disposed object.
  • a step of mapping to a model a step of generating viewpoint-converted image data viewed from an arbitrary virtual viewpoint in a three-dimensional space based on the mapped spatial data, and a step of generating viewpoint-converted image data based on the generated viewpoint-converted image data.
  • Movement information related to the movement of the imaging device arranged object based on any of the data, the spatial model, and the mapped spatial data. Further comprising the steps of calculating, the display, and displaying the movement information with the image of the imaging means disposed object model in the viewpoint conversion image.
  • the image generation method of the present invention includes the steps of: capturing an image by one or a plurality of imaging devices attached to an imaging device disposed object; Based on the other object, the other object different from the object arranged with the imaging means is recognized, and based on the other object data indicating data on the predetermined other object, the blind spot of the recognized other object is calculated.
  • This is a computer-executed image generation method for calculating other object blind spot information indicating a region of interest and displaying the above calculated other object blind spot information together with the above-mentioned imaging means arranged object model.
  • an image generating program of the present invention includes a procedure for capturing an image by a computer using one or a plurality of imaging devices attached to an imaging means disposed object; A procedure for recognizing another object different from the image-capturing means arranged object based on the captured image data; and a blind spot of the recognized other object based on other object data indicating data on a predetermined other object.
  • An image generation program for executing a procedure for calculating other object blind spot information indicating an area and a procedure for displaying the calculated other object blind spot information together with the imaging means arranged object model.
  • FIG. 1 is a block diagram of an image generation device that generates a spatial model by generating a spatial model by a distance measuring device.
  • FIG. 2 is a block diagram of an image generation device that generates a spatial model by an imaging device and generates a viewpoint-converted image.
  • FIG. 3 is a block diagram of an image generation device for generating a space model by a distance measuring device and displaying movement information in a viewpoint-converted image.
  • FIG. 4 is a diagram showing a visual field that can be observed by a driver driving a vehicle.
  • FIG. 5 is a diagram showing a display example in which moving direction information is displayed.
  • FIG. 6 is a diagram showing a display example in which movement trajectory information is displayed.
  • FIG. 7 is a diagram showing a display example in which moving speed information is displayed.
  • FIG. 8 is a diagram showing a display example in which destination information is displayed.
  • FIG. 9 is a diagram showing a display example in which the display form of an image is displayed differently depending on the possibility of collision between two objects, together with the display of movement information.
  • FIG. 10A is a diagram (part 1) for explaining a blind spot.
  • FIG. 10B is a diagram (part 2) for explaining a blind spot.
  • FIG. 11 is a diagram showing a display example in which blind spot information is displayed.
  • FIG. 12 is a view showing a display example in which other object blind spot information is displayed.
  • FIG. 13 is a block diagram of an image generation device for generating a space model by an imaging device and displaying movement information in a viewpoint-converted image.
  • FIG. 14 is a flowchart showing a flow of an image generation process for displaying movement information, possibility of collision, blind spot information, and blind spot information of another object in a viewpoint-converted image.
  • FIG. 15 is a block diagram of an image generating apparatus for displaying blind spot information of another object.
  • FIG. 16 is a diagram showing a display example in which other object blind spot information is displayed.
  • FIG. 17 is a flowchart showing a flow of an image generation process for displaying other object blind spot information.
  • FIG. 18 is a diagram illustrating a relationship between the host vehicle and another vehicle for explaining a calculation example of the possibility of collision.
  • FIG. 19 is a diagram showing relative vectors for explaining a calculation example of the possibility of collision.
  • an image generation apparatus that generates an image viewed from a virtual viewpoint based on image data captured by a plurality of cameras and displays the image from the virtual viewpoint will be described with reference to FIGS.
  • a plurality of cameras are used in the example shown in the figure, it is also possible to sequentially move the installation position of one camera to obtain the same imaging data as when a plurality of cameras are provided.
  • these cameras are installed in vehicles, rooms (specific portions thereof, etc.), pedestrians, buildings, road structures, and the like as imaging device arrangement objects. This is the same for the embodiments described below.
  • FIG. 1 is a block diagram of an image generating apparatus that generates a spatial model by a distance measuring apparatus and generates a viewpoint-converted image.
  • an image generation device 100 includes a distance measurement device 101, a space model generation device 103, a calibration device 105, one or more imaging devices 107, a space reconstruction device 109, a viewpoint conversion device 112, and a display device 114. Is provided.
  • Distance measuring apparatus 101 measures the distance to a target object (obstacle) using a distance sensor that measures the distance. For example, if it is mounted on a vehicle, At least the distance to the obstacle around the vehicle is measured using the distance sensor.
  • the space model generation device 103 generates a three-dimensional space model 104 based on the distance image data 102 measured by the distance measurement device 101, and stores it in a database (the concept is illustrated as a substance. Similarly).
  • the space model 104 is generated based on measurement data obtained by a separate sensor as described above, a predetermined model determined in advance, or generated from a plurality of input images on the spot. And their data are stored in a database.
  • the imaging device 107 is, for example, a camera, and is mounted on an imaging device-located object to capture an image and store the captured image data 108 in a database. If the imaging device-arranged object is a vehicle, the imaging device 107 captures an image around the vehicle.
  • the spatial reconstruction device 109 maps the captured image data 108 captured by the image capturing device 107 to the spatial model 104 generated by the spatial model generating device 103. Then, data obtained by mapping the photographed image data 108 to the space model 104 is stored as space data 111 in the database.
  • the calibration device 105 inputs, for example, parameters such as a mounting position, a mounting angle, a lens distortion correction value, and a lens focal length of the imaging device 107 in order to correct lens distortion due to temperature. Or by calculation. That is, if the imaging device 107 is a camera, camera calibration is performed. Camera calibration refers to the camera position, camera mounting angle, camera lens distortion correction value, camera lens focal length, etc. in the three-dimensional real world for cameras placed in the three-dimensional real world. This is to determine and correct camera parameters representing the above camera characteristics.
  • the viewpoint conversion device 112 generates viewpoint conversion image data 113 viewed from an arbitrary virtual viewpoint in a three-dimensional space based on the spatial data 111 mapped by the space reconstruction device 109, Store it in the database.
  • the display device 114 displays an image viewed from an arbitrary virtual viewpoint in the three-dimensional space based on the viewpoint converted image data 113 generated by the viewpoint conversion device 112.
  • FIG. 2 is a block diagram of an image generation device that generates a spatial model by using an imaging device to generate a viewpoint-converted image.
  • the image generation device 200 includes a distance measurement device 201, a space model generation device 103, a calibration device 105, one or more imaging devices 107, a space reconstruction device 109, a viewpoint conversion device 112, and The display device 114 is provided.
  • the image generation device 200 differs from the image generation device 100 described with reference to FIG. 1 in that a distance measurement device 201 is provided instead of the distance measurement device 101.
  • a distance measurement device 201 is provided instead of the distance measurement device 101.
  • the description will focus on the distance measuring apparatus 201, and other components will not be described because they are the same as those described with reference to FIG.
  • the distance measuring device 201 measures the distance to the obstacle based on the captured image data 108 captured by the capturing device 107.
  • This method generally uses stereo ranging, which searches for corresponding points in images from multiple cameras that have captured the same field of view, calculates the parallax between the images, and calculates the distance based on the principle of triangulation. is there.
  • the distance image data 202 can be combined with data obtained by measuring the distance to an obstacle using a distance sensor that measures the distance.
  • the space model generation device 103 generates a space model 104 of a three-dimensional space based on the distance image data 202 measured by the distance measurement device 201, and stores the space model 104 in a database.
  • FIG. 3 to FIG. 13 when displaying an image from a virtual viewpoint based on a plurality of images taken by one or more cameras attached to an object such as a vehicle.
  • an image generation apparatus capable of generating image data for displaying information on the movement of the above object in an intuitive manner when the object moves will be described.
  • This image generation device can be applied to the image generation device described with reference to FIG. 1 or FIG.
  • FIG. 3 is a block diagram of an image generation device for generating a spatial model by a distance measuring device and displaying movement information in a viewpoint-converted image.
  • an image generation device 300 includes a distance measurement device 101, a space model generation device 103, Calibration device 105, one or more imaging devices 107, spatial reconstruction device 109, viewpoint conversion device 112, display device 314, movement information calculation device 315, collision possibility calculation device 316, blind spot calculation device 317, other objects A recognition device 318 and another object blind spot calculation device 319 are provided.
  • Image generating apparatus 300 is different from image generating apparatus 100 described with reference to Fig. 1 in that movement information calculating apparatus 315, collision possibility calculating apparatus 316, blind spot calculating apparatus 317, and other object recognizing apparatus 318 are also provided. And a blind spot calculation device 319 for other objects, and a display device 314 in place of the display device 114.
  • the following description focuses on the movement information calculation device 315, the possibility of collision calculation device 316, the blind spot calculation device 317, the other object recognition device 318, the other object blind spot calculation device 319, and the display device 314, and other components. Are the same as those described with reference to FIG.
  • the movement information calculation device 315 includes the viewpoint conversion image data 113 generated by the viewpoint conversion device 112, the captured image data 108 representing the captured image, the spatial model 104, and the mapped spatial data 111. Based on either of them, the movement information relating to the movement of the object placed on the imaging device is calculated. Examples of the movement information related to the movement of the object arranged with the imaging device include movement direction information indicating a moving direction, movement trajectory information indicating a predicted movement trajectory, movement speed information indicating a moving speed, and predicted movement. There are destination information and the like related to the direction, place name, landmark, and the like.
  • the display device 314 displays the movement information calculated by the movement information calculation device 315 together with the image of the imaging device arrangement object model corresponding to the imaging device arrangement object.
  • FIG. 4 is a diagram showing a state of a visual field that can be observed by a driver driving a vehicle.
  • the driver sees three vehicles, Vehicle A, Vehicle B, and Vehicle C, on the road.
  • the vehicle is provided with a distance sensor (ranging device 101) for measuring the distance to an obstacle present around the vehicle, and a plurality of cameras (image pickup device 107) for photographing an image around the vehicle. Have been.
  • a distance sensor ranging device 101
  • a plurality of cameras image pickup device 107
  • the space model generation device 103 generates a space model 104 of a three-dimensional space based on the distance image data 102 measured by the distance sensor, and stores the space model 104 in a database. Then, the camera captures an image around the vehicle and stores the captured image data 108 in the database.
  • the spatial reconstruction device 109 maps the captured image data 108 captured by the camera to the spatial model 104 generated by the spatial model generating device 103, and stores the spatial model 111 as spatial data 111 in the database.
  • the viewpoint conversion device 112 Based on the spatial data 111 mapped by the spatial reconstruction device 109, the viewpoint conversion device 112 sets the viewpoint conversion image data 113 viewed from the virtual viewpoint, for example, as the virtual viewpoint above the vehicle. Generate and store it in a database.
  • the movement information calculation device 315 is configured to convert the viewpoint conversion image data 113 generated by the viewpoint conversion device 112, the captured image data 108 representing the captured image, the spatial model 104, and the mapped spatial data 111. Based on any of them, movement information related to the movement of the object placed on the imaging device, for example, movement direction information indicating a moving direction, movement trajectory information indicating a predicted movement trajectory, movement speed information indicating a moving speed, Calculate destination information relating to the measured azimuth, place name, landmark, etc. of the destination.
  • the display device 314 is usually installed in the vehicle.
  • the display device 314 is shared with a monitor of a car navigation system, and based on the viewpoint conversion image data 113 generated by the viewpoint conversion device 112,
  • the viewpoint conversion image data 113 generated by the viewpoint conversion device 112
  • the moving direction information and the like calculated by the movement information calculation device 315 are displayed Displays transfer information.
  • FIG. 5 is a diagram showing a display example in which the moving direction information is displayed.
  • FIG. 5 the object A is the viewpoint converted image of the vehicle A in FIG. 4, and the object B is the vehicle object C in the same manner. Then, moving direction information indicating the moving direction of the own vehicle is displayed together with the own vehicle corresponding model based on the data stored in the imaging device arranged object model 110.
  • FIG. 6 is a diagram showing a display example in which the movement trajectory information is displayed.
  • FIG. 6 is also a display example of a viewpoint conversion image, but is an example of a virtual viewpoint different from FIG.
  • the display example in Fig. 5 is a bird's-eye view in which the virtual viewpoint is in the sky above the vehicle and looks forward from it
  • the display example in Fig. 6 shows that the virtual viewpoint is The figure is above the vehicle and looking directly below.
  • the object A is the viewpoint converted image of the vehicle A in FIG. 4, and similarly, the object B is not displayed as the object corresponding to the force vehicle C which is the viewpoint converted image of the vehicle B. Then, movement trajectory information indicating a predicted movement trajectory of the own vehicle is displayed together with the own vehicle corresponding model based on the data stored in the imaging device arranged object model 110.
  • FIG. 7 is a diagram showing a display example in which moving speed information is displayed.
  • Fig. 7 is a bird's-eye view looking forward from a virtual viewpoint above the host vehicle, as in Fig. 5, and object A is the viewpoint-converted image of vehicle A in Fig. 4; Vehicle B and object C are viewpoint converted images of vehicle C.
  • the moving speed information indicating the moving speed of the own vehicle is displayed together with the own vehicle corresponding model based on the data stored in the imaging device arranged object model 110.
  • FIG. 8 is a diagram showing a display example in which destination information is displayed.
  • Fig. 8 is also an overhead view of looking ahead from a virtual viewpoint above the host vehicle, and object A is the viewpoint converted image of vehicle A in Fig. 4; Vehicle B and object C are viewpoint converted images of vehicle C. Then, the destination information regarding the predicted destination direction, the place name, the landmark, etc. of the own vehicle is stored in the imaging device arranged object model 110 and displayed together with the own vehicle corresponding model based on the data. Being done.
  • the movement information shown in Figs. 5 to 8 may be displayed simultaneously.
  • the collision possibility calculation device 316 includes viewpoint conversion image data 113 generated by the viewpoint conversion device 112, captured image data 108 representing the captured image, the space model 104, and the Based on one of the mapped spatial data 111, the possibility of collision between the imaging device arranged object model 110 and the spatial model 104 is calculated.
  • the possibility of collision is, for example, the displacement of each of two objects. It can be easily obtained from the moving direction and the moving speed.
  • the display device 314 displays the image-capturing device arrangement object model 110 that is displayed by being superimposed on the image based on the viewpoint-converted image data 113 generated by the viewpoint-converting device 112.
  • the display form of the portion having the possibility of collision calculated by the collision possibility calculation device 316 is displayed differently according to the possibility of collision.
  • the presence / absence and form of the warning icon such as the color, the presence or absence of the border, and the thickness, are displayed differently.
  • the display device 314 may display the image as an integrated background model when the collision probability calculated by the collision probability calculation device 316 is equal to or less than a predetermined value, or may display the image as an integrated model. You can even display it. Further, the display form may be such that the meaning of display information is recognized by color.
  • FIG. 9 is a diagram showing a display example in which the display mode of an image is displayed differently depending on the possibility of collision between two objects, together with the display of the movement information.
  • Fig. 9 is also a bird's-eye view of looking ahead from a virtual viewpoint above the own vehicle in the same way as Fig. 5, and object A is the viewpoint converted image of vehicle A in Fig. 4; Vehicle B and object C are viewpoint converted images of vehicle C.
  • movement direction information indicating a moving direction
  • movement speed information indicating a moving speed
  • a place name a landmark
  • the own vehicle collides with each of the vehicles A, B and C.
  • the display modes of the object A, object B, and object C are displayed differently depending on the possibility. For example, the possibility of collision with the host vehicle is the highest among the three other vehicles, and the object C, which is the viewpoint conversion image of the vehicle C, is displayed in red, and the possibility of collision is higher than that of the vehicle C.
  • the object A which is the viewpoint converted image of the vehicle A
  • the object B which is the viewpoint converted image of the vehicle B
  • a mode in which at least one of the hue, saturation, and lightness of the color related to the display is displayed differently may be adopted.
  • the blind spot calculation device 317 is a blind spot that indicates an area that is a blind spot for a predetermined location of the imaging device placement object based on the imaging device placement object model 110 represented by data corresponding to the imaging device placement object. Calculate information. For example, if the image-capturing-device-placed object is a vehicle, an area that is a blind spot for the driver of the vehicle is calculated.
  • FIGS. 10A and 10B are diagrams for explaining blind spots.
  • the imaging device arranged object is a vehicle
  • FIG. 1OA is a diagram of the vehicle viewed from above
  • FIG. 10B is a diagram of the vehicle viewed from the side. Then, the driver's blind spot (the blind spot due to pillars and the vehicle body) and the blind spot (the blind spot due to the vehicle body) with respect to the driver as the predetermined place of the vehicle are shaded. .
  • the display device 314 displays the blind spot information calculated by the blind spot calculation device 317 together with the imaging device arranged object model 110.
  • the blind spot information here indicates a blind spot from the viewpoint of the driver.
  • FIG. 11 is a diagram showing a display example in which blind spot information is displayed.
  • the object A is the viewpoint transformed image of the vehicle A in FIG. 4, and similarly, the object B is the viewpoint transformed image of the vehicle B, and the object corresponding to the force vehicle C is not displayed. Then, the blind spot area of the own vehicle is displayed as blind spot information together with the own vehicle corresponding model based on the data stored in the imaging device arranged object model 110 and the moving trajectory information which is one of the moving information. I have.
  • the other object recognition device 318 stores any one of the viewpoint conversion image data 113 converted by the viewpoint conversion device 112, the captured image data 108 representing the captured image, the space model 104, and the mapped space data 111. On the basis of this, another object different from the above-mentioned object provided with the imaging device is recognized. For example, if the image-capturing device-arranged object is a vehicle, a preceding vehicle, an opposing vehicle, a pedestrian, and the like are recognized.
  • the other object blind spot calculation device 319 performs other object blind spot information indicating an area which is recognized by the other object recognition device 318 and becomes a blind spot of the other object based on the other object data indicating data on the predetermined other object. Is calculated. For example, if the image-capturing-device-placed object is a vehicle and another object different from the image-capturing-device-placed object is also a vehicle, the calculated blind spot area is It is a blind spot for the driver of the body vehicle. In addition, area and other object data
  • a database in which the imaging device arrangement object model 110 is stored may be used.
  • the display device 314 displays the blind spot information on the other object calculated by the other object blind spot calculation device 319 together with the imaging device arranged object model 110.
  • FIG. 12 shows the other object blind spot information. It is a figure which shows the example of a display.
  • the object A is the viewpoint converted image of the vehicle A in FIG. 4, and similarly, the object B is the viewpoint converted image of the vehicle B.
  • the object corresponding to the force vehicle C is not displayed.
  • the object A is the other object recognized by the other object recognition device 318, and the area where the blind spot of the object A becomes the blind spot information of the other object is the own vehicle corresponding model and the movement trajectory information which is one of the movement information. Is displayed. As a result, it can be recognized that the own vehicle enters the blind spot of the object A.
  • FIG. 13 is a block diagram of an image generation device for generating a space model by an imaging device and displaying movement information in a viewpoint-converted image.
  • an image generation device 1300 includes a distance measurement device 201, a space model generation device 103, a calibration device 105, one or more imaging devices 107, a space reconstruction device 109, a viewpoint conversion device 112, and a display device 314. , A movement information calculation device 315, a collision possibility calculation device 316, a blind spot calculation device 317, another object recognition device 318, and another object blind spot calculation device 319.
  • the image generating apparatus 1300 differs from the image generating apparatus 300 described with reference to FIG. 3 in that a distance measuring apparatus 201 is provided instead of the distance measuring apparatus 101. Note that the distance measuring device 201 is described with reference to FIG.
  • FIG. 14 is a flowchart illustrating a flow of an image generation process for displaying movement information, possibility of collision, blind spot information, and blind spot information of another object in a viewpoint-converted image.
  • step S1401 an image around the vehicle is captured using a camera attached to an object such as a vehicle.
  • step S 1402 captured image data 108, which is data of the image captured in step S 1401, is mapped to the space model 104 to generate space data 111.
  • step S1403 based on the spatial data 111 mapped in step S1402, viewpoint conversion image data 113 viewed from an arbitrary virtual viewpoint in a three-dimensional space is generated.
  • step S1404 based on any of the generated viewpoint converted image data 113, the captured image data 108, the spatial model 104, and the mapped spatial data 111, the imaging device Calculate movement information related to the movement of the placed object.
  • step S1405 when displaying an image viewed from an arbitrary virtual viewpoint in the three-dimensional space, the movement information calculated in step S1404, for example, the movement direction information indicating the moving direction, is predicted. It displays moving path information indicating the moving path to be moved, moving speed information indicating the moving speed, moving destination information relating to the predicted direction of the moving destination, place names, landmarks, and the like.
  • step S1406 it is determined whether or not the possibility of collision between the imaging device arranged object model 110 and the space model 104 is displayed. For example, whether or not to display is determined based on whether or not there is an instruction from a user such as a vehicle driver.
  • step S1407 If it is determined in step S1406 that display is to be performed (YES), in step S1407, the generated viewpoint converted image data 113, the captured image data 108, the space model 104, and the Based on one of the mapped spatial data 111, the possibility of collision between the imaging device arranged object model 110 and the spatial model 104 is calculated.
  • step S1408 in addition to the display of the movement information in step S1405, the imaging device arrangement object model 110 that is displayed by being superimposed on the image based on the viewpoint converted image data 113 generated by the viewpoint conversion device 112.
  • the imaging device arrangement object model 110 that is displayed by being superimposed on the image based on the viewpoint converted image data 113 generated by the viewpoint conversion device 112.
  • the image having the possibility of collision calculated by the possibility of collision calculation device 316 in the image of It is displayed differently depending on the performance. For example, different colors, borders, warning icons, etc. are displayed.
  • step S1406 After the display of the possibility of collision in step S1408, or when it is determined that the possibility of collision is not displayed in step S1406 (step S1406: NO), the process returns to step S1409, where It is determined whether or not to display blind spot information indicating a blind spot area for a predetermined place. For example, whether or not to display is determined based on whether or not there is an instruction from a user such as a vehicle driver.
  • step S1410 based on the imaging device arrangement object model 110 represented by the data corresponding to the imaging device arrangement object, Blind spot information indicating a blind spot area for a predetermined location of the object, for example, a blind spot area for the driver of the vehicle is calculated if the imaging device-located object is a vehicle.
  • step S 1411 in addition to the display of the movement information in step S 1405, and possibly the display of the possibility of collision in step S 1408, the blind spot calculation device 317 is included together with the imaging device arrangement object model.
  • the blind spot information calculated by the blind spot calculation device 317 is included together with the imaging device arrangement object model.
  • step S1412 After displaying the blind spot information in step S1411, or when it is determined in step S1409 that the blind spot information is not to be displayed (step S1409: NO), in step S1412, the other object indicating the blind spot area of the other object It is determined whether to display the blind spot information. For example, whether or not to display is determined based on whether or not there is an instruction from a user such as a vehicle driver.
  • step S1413 If it is determined in step S1412 that display is to be performed (YES), in step S1413, the generated viewpoint converted image data 113, the captured image data 108, the spatial model 104, and the mapped spatial data 111 Based on either of them, another object different from the imaging device-arranged object, for example, a preceding vehicle or the like is recognized, and in step S1414, the other object recognition is performed based on the other object data indicating data on the other object.
  • Other object blind spot information indicating an area recognized by the device 318 and serving as a blind spot of another object is calculated.
  • the imaging device-located object is a vehicle
  • the calculated blind spot area is an area that becomes a blind spot for a driver of a vehicle that is another object.
  • the area and other object data are obtained by using the imaging device arranged object model 11.
  • a database in which 0 is stored can also be used.
  • step S1415 in addition to the display of the movement information in step S1405, and in some cases, the possibility of collision in step S1408 or the display of blind spot information in step S1411 are added,
  • the blind spot information on the other object calculated by the other object blind spot calculation device 319 is displayed together with the object model.
  • FIGS. 15 to 17 based on an image taken by one or more cameras attached to an object such as a vehicle, the blind spot for the object in the image is intuitively obtained.
  • An image generation device capable of generating image data for displaying so as to be understood will be described.
  • FIG. 15 is a block diagram of an image generating apparatus for displaying blind spot information on another object.
  • the image generation device 1500 includes one or a plurality of imaging devices 1501, another object recognition device 1503, another object blind spot calculation device 1505, and a display device 1506.
  • the imaging device 1501 is, for example, a camera, captures an image attached to the imaging device-located object, and stores the captured image data 1502 in the database. If the imaging device-arranged object is a vehicle, the imaging device 1501 captures an image around the vehicle.
  • the other object recognition device 1503 recognizes another object different from the object arranged with the imaging device, based on the image data captured by the imaging device 1501. For example, if the imaging device-arranged object is a vehicle, a preceding vehicle, an oncoming vehicle, a pedestrian, and the like are recognized.
  • the other object blind spot calculating device 1505 calculates the blind spot of the other object recognized by the other object recognizing device 1503 based on the other object data 1504 indicating data on the predetermined other object.
  • Other object blind spot information indicating an area is calculated. For example, if the imaging device-arranged object is a vehicle and another object different from the imaging device-arranged object is also a vehicle, the calculated blind spot area is an area that becomes a blind spot for the driver of the other object vehicle. . Also the area As the other object data 1504, it is desirable to use a database in which the imaging device arranged object model 1504 is stored.
  • the display device 1506 displays the other object blind spot information calculated by the other object blind spot calculation device 1505 together with the imaging device arranged object model 1504 as another object.
  • FIG. 16 is a diagram illustrating a display example in which other object blind spot information is displayed.
  • the other object is recognized based on the image captured by the camera, and the other object data 1 is recognized.
  • Other object blind spot information calculated based on 504 is displayed. Thus, it can be recognized that the own vehicle enters the blind spot of another object.
  • FIG. 17 is a flowchart showing the flow of an image generation process for displaying other object blind spot information.
  • step S1701 an image around the vehicle is captured using a camera attached to an object such as a vehicle.
  • step S1702 based on the captured image data, another object different from the image-capturing-device-arranged object, for example, a preceding vehicle, an oncoming vehicle, a pedestrian, or the like is recognized.
  • another object different from the image-capturing-device-arranged object for example, a preceding vehicle, an oncoming vehicle, a pedestrian, or the like is recognized.
  • step S1703 other object blind spot information indicating a blind spot area of the recognized other object, such as a vehicle, is calculated based on other object data 1504 indicating data on a predetermined other object. I do.
  • the other object blind spot information calculated by the other object blind spot calculation device 1505 is displayed together with the imaging device arranged object model 1504 as another object. Further, when the own vehicle is in a blind spot of another object, the display mode of the possibility of collision may be further changed when the own vehicle is in a blind spot of another object.
  • the vehicle is used as the imaging device-located object, and the images obtained by the imaging devices 107 and 1501 mounted on the vehicle are used.
  • the camera parameters are known or calculated, When it is measurable, road-facing structures and stores The same can be applied to a case where an image of a surveillance camera installed in a pavement or the like is included.
  • Distance measuring device
  • the cameras 101 and 102 are also arranged in the same way as the cameras.
  • Distance information can be used.
  • the display devices 114, 314, and 1506 that display the viewpoint-converted images and the imaging devices 107 and 1501 move relatively to each other without necessarily having to be installed on the same imaging device-arranged object. If there are obstacles,
  • a plurality of image generating devices 100, 200, 300, 1300, and 1500 (a plurality of image generating devices of the same type
  • the exchange of data may be performed immediately.
  • each of the image generation devices 100 It has a coordinate and posture calculation device that communicates with 200, 300, 1300, and 1500 and calculates its reference coordinates.
  • the coordinate / posture calculation device is a device that calculates a position / posture for generating a viewpoint-transformed image.
  • This device uses, for example, GPS (Global Positioning System) data of latitude, longitude, and altitude to provide coordinates of a virtual viewpoint.
  • GPS Global Positioning System
  • the coordinate conversion may be performed by calculating the eye-to-position coordinates of the eye to generate a predetermined viewpoint-converted image. This is equivalent to setting a desired virtual viewpoint within those coordinate systems.
  • the observer When the observer is a person, for example, the observer wears an HMD (Head Mounted Display) or the like, can observe the viewpoint-converted image, and observes the observer captured by the camera of the object arranged with the imaging device.
  • the position, posture, and direction of the user may be measured.
  • the coordinate posture information measured by a GPS or a gyro sensor, a camera device, or a person's line of sight detection device attached to the observer may be used in combination.
  • the observer's viewpoint As a virtual viewpoint, it is possible to calculate the movement information, the possibility of collision, the blind spot, and the like for the observer.
  • the person can grasp the obstacle for himself on the virtual viewpoint image displayed on the HMD, etc., and threaten himself / herself, for example, suspiciously hiding behind a shadow or hiding behind an observer. It is possible to recognize people, dogs, vehicles, etc., and even more accurately and accurately by using images and spatial models of imaging devices, placed objects, and image generation devices in the vicinity of distant objects.
  • the generated multi-viewpoint converted image can be used.
  • red, yellow, green, and blue are displayed in the descending order of the risk of collision according to the calculated collision probability. It is acceptable to display these colors differently based on the relative speed.
  • a guardrail portion close to the own vehicle in distance is displayed in red, and a guardrail far from the own vehicle (for example, the opposite lane side) is displayed in blue. Since the road surface is an area where the vehicle including the own vehicle travels, the road surface is displayed in blue or green even if the distance to the own vehicle is short.
  • the collision probability is calculated based on the relative speed, the distance, and the like, and the vehicle having the highest collision probability at the time of calculation is displayed in red.
  • the color of other vehicles is changed according to the change in the possibility of collision, such as low collision probability and the display of vehicles in green.
  • FIG. 18 is a diagram illustrating a relationship between the host vehicle and another vehicle for explaining a calculation example of the possibility of collision
  • FIG. 19 is a diagram illustrating a relative vector for describing an example of calculation of the possibility of collision. It is a figure.
  • the possibility of collision may be determined by increasing the height.
  • the area with a high risk of collision due to the difference in hue is changed based on the distance between the vehicle and another object, the relative speed, and the possibility of collision calculated from these points.
  • the display of the replaced image is changed.
  • the degree of possibility of collision may be indicated by displaying the viewpoint-converted image in a blurred manner. For example, based on distance, relative speed, or the likelihood of a collision, the danger of colliding may be reduced, objects may be displayed with some blur, and those of higher danger may be clearly displayed without blurring. , Making it easier to recognize objects with a high risk of collision.
  • a plurality of imaging devices may be used so as to configure a so-called three-lens stereo camera. Or, it may be used to compose a four-lens stereo camera. It is known that the use of a three- or four-lens stereo camera in this way can provide more reliable and stable processing results in 3D reconstruction processing, etc. (Fumiaki Tomita: Published by IPSJ) "Information Processing” Vol. 42, No. 4, "Highly Functional 3D Vision System” etc.). In particular, it is known that three-dimensional reconstruction can be performed in more complex scenes by arranging multiple cameras so as to have a baseline length in two directions. By arranging a plurality of cameras in one base line length direction, it is possible to realize a so-called multi-baseline stereo camera, and more accurate stereo measurement is possible.
  • the present invention is applicable not only to a person but also to a moving object such as a vehicle.
  • the CPU connected to the bus, the ROM or RAM memory, the input device, the output device, and the external device. It can also be realized by a system including a recording device, a medium driving device, a portable recording medium, and a network connection device. That is, a ROM or RAM memory, an external recording device, or a portable recording medium that records software program codes for realizing the system of each of the embodiments described above is supplied to the image generating device, and the It goes without saying that this can also be achieved by a computer reading and executing the program code.
  • the program code itself read from the portable recording medium or the like realizes a new function of the present invention
  • the portable recording medium or the like on which the program code is recorded constitutes the present invention. Will do.
  • Portable recording media for supplying program codes include, for example, flexible disks, hard disks, optical disks, magneto-optical disks, CD-ROMs, CD-Rs, DVD-ROMs, DVD-RAMs, and magnetic tapes.
  • Various types of recording media recorded via a network connection device such as a nonvolatile memory card, a ROM card, and electronic mail / personal computer communication can be used.
  • each of the above-described embodiments are implemented when the computer executes the program code read into the memory, and the computer operates on the computer based on the instructions of the program code.
  • the operating system or the like performs part or all of the actual processing, and the functions of the above-described embodiments are also realized by the processing.
  • a program code read from a portable recording medium or a program (data) provided by a program (data) provider A function expansion board inserted into the computer ⁇ a function expansion board connected to the computer After being written to the memory provided in the unit, the CPU or the like provided in the function expansion board or function expansion unit performs part or all of the actual processing based on the instructions of the program code. Also, the functions of the above-described embodiments can be realized.
  • the present invention can take various configurations or shapes without departing from the gist of the present invention, which is not limited to the above-described embodiments.
  • the relationship between the object and the taken image is determined. It can be displayed intuitively.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • General Physics & Mathematics (AREA)
  • Geometry (AREA)
  • Mechanical Engineering (AREA)
  • Theoretical Computer Science (AREA)
  • Software Systems (AREA)
  • Computer Graphics (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Traffic Control Systems (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)
  • Processing Or Creating Images (AREA)

Abstract

　視点変換手段によって生成された視点変換画像データ、撮像画像を表わす撮像画像データ、空間モデル、およびマッピングされた空間データの何れかに基づいて、撮像手段配置物体の移動に関連する移動情報を算出する移動情報算出手段をさらに備え、表示手段が、撮像手段配置物体に対応した撮像手段配置物体モデルの画像とともに移動情報算出手段によって算出された移動情報を表示することにより、車両、店舗、あるいは住宅の周辺、若しくは街中等の監視対象を、３次元空間における任意の仮想視点から見た画像として表示する際、車両等と撮影した監視対象の画像との関係が直感的に分かるように表示することが可能な画像生成装置、画像生成方法、および画像生成プログラムを提供する。

Description

明 細 書
画像生成装置、画像生成方法、および画像生成プログラム
技術分野
[0001] 本発明は、車両等の物体に取り付けられた 1台または複数台のカメラで撮影した複 数枚の画像に基づいて、上記物体が移動する場合にその移動に関する情報が直感 的に分かるように表示するための画像データを生成する画像生成装置、画像生成方 法、および画像生成プログラムに関する。
背景技術
[0002] 従来、車両、店舗、あるいは住宅の周辺、若しくは街中等の監視対象を監視する監 視力メラ装置は、 1台または複数台のカメラで監視対象を撮影し、その画像をモニタ 装置に表示していた。このような監視カメラ装置において、カメラが複数台あるにも関 わらずモニタ装置がカメラ台数よりも少ない場合、例えば、カメラが 2台あるにも関わら ずモニタ装置が 1台の場合、撮影した複数のカメラ画像を統合して 1台のモニタ装置 に表示したり、順次切り替えて表示したりしていた。しかし、このような監視カメラ装置 では、それぞれのカメラからの画像を監視するには、独立に表示されている画像の連 続性を管理者が考慮する必要があるなどの問題があった。
[0003] この問題を解決する方法として、車両等に取り付けられた 1台もしくは複数台のカメ ラからの入力画像を、 3次元空間の予め定められた空間モデルにマッピングし、その マッピングされた空間データを参照して、上記 3次元空間における任意の仮想視点 力 見た画像を作成して表示することにより、あた力、も仮想視点から実際に見ている ような感覚を持つ合成画像を表示する監視カメラ装置に関する技術が開示されてい る（例えば、特許文献 1参照。）。
特許文献 1：特許第 3286306号公報
発明の開示
[0004] し力 ながら、上記のような従来の監視カメラ装置においては、カメラを取り付けた 車両等の撮像手段配置物体とそのカメラが撮影した監視対象との関係が分力り難い という問題点があった。 [0005] 本発明は、上記従来技術の欠点に鑑みてなされたもので、車両、店舗、あるいは住 宅の周辺、若しくは街中等の監視対象の画像を表示する際、上記車両等の撮像手 段配置物体と撮影した監視対象の画像との関係が直感的に分かるように表示するこ とが可能な画像生成装置、画像生成方法、および画像生成プログラムを提供するこ とを目的とする。
[0006] 本発明は、上記課題を解決するため、下記のような構成を採用した。
すなわち、本発明の一態様によれば、本発明の画像生成装置は、撮像手段配置 物体に取り付けられ画像を撮像する 1または複数の撮像手段と、上記撮像手段によ つて撮像された撮像画像を空間モデルにマッピングする空間再構成手段と、上記空 間再構成手段によってマッピングされた空間データに基づいて、 3次元空間における 任意の仮想視点から見た視点変換画像データを生成する視点変換手段と、上記視 点変換手段によって生成された視点変換画像データに基づいて、上記 3次元空間に おける任意の仮想視点から見た画像を表示する表示手段とを備えた画像生成装置 であって、上記視点変換手段によって生成された視点変換画像データ、上記撮像画 像を表わす撮像画像データ、上記空間モデル、および上記マッピングされた空間デ ータの何れかに基づいて、上記撮像手段配置物体の移動に関連する移動情報を算 出する移動情報算出手段をさらに備え、上記表示手段が、上記撮像手段配置物体 に対応した撮像手段配置物体モデルの画像とともに上記移動情報算出手段によつ て算出された移動情報を表示することを特徴とする。
[0007] また、本発明の画像生成装置は、上記移動情報が、移動する方向を示す移動方向 情報、予測される移動軌跡を示す移動軌跡情報、移動する速度を示す移動速度情 報、予測される移動先の方位、地名、ランドマーク等に関する移動先情報の何れか であることが望ましい。
[0008] また、本発明の画像生成装置は、夫々異なる時刻に対応した、上記視点変換手段 によって生成された視点変換画像データ、上記撮像画像を表わす撮像画像データ、 上記空間モデル、および上記マッピングされた空間データの何れかに基づいて、上 記撮像手段配置物体モデルと上記空間モデルとが衝突する可能性を算出する衝突 可能性算出手段をさらに備え、上記表示手段が、上記視点変換手段によって生成さ れた上記視点変換画像データによる画像に重畳して表示する撮像手段配置物体モ デルの画像のうち、上記衝突可能性算出手段によって算出された衝突可能性を有 する部分の表示形態を異ならせて表示することが望ましい。
[0009] また、本発明の画像生成装置は、上記表示形態が、色、縁取り、警告アイコンの少 なくともいずれか 1つであることが望ましい。
また、本発明の画像生成装置は、上記撮像手段配置物体に対応したデータによつ て表わされる撮像手段配置物体モデルに基づレ、て、上記撮像手段配置物体の所定 の場所にとっての死角となる領域を示す死角情報を算出する死角算出手段をさらに 備え、上記表示手段が、上記撮像手段配置物体モデルとともに上記死角算出手段 によって算出された死角情報を表示するが望ましい。
[0010] また、本発明の画像生成装置は、上記視点変換手段によって変換された視点変換 画像データ、上記撮像画像を表わす撮像画像データ、上記空間モデル、および上 記マッピングされた空間データの何れかに基づいて、上記撮像手段配置物体とは異 なる他物体を認識する他物体認識手段と、所定の他物体に関するデータを示す他 物体データに基づレ、て、上記他物体認識手段によって認識され他物体の死角となる 領域を示す他物体死角情報を算出する他物体死角算出手段をさらに備え、上記表 示手段が、上記撮像手段配置物体モデルとともに上記他物体死角算出手段によつ て算出された当該他物体に係る死角情報を表示することが望ましい。
[0011] また、本発明の画像生成装置は、上記撮像手段配置物体、または他物体が、車両 、歩行者、建築物、道路構造物などの少なくとも 1つであることが望ましい。
また、本発明の一態様によれば、本発明の画像生成装置は、撮像手段配置物体に 取り付けられた、画像を撮像する 1または複数の撮像手段と、上記撮像手段によって 撮像された撮像データに基づいて、上記撮像手段配置物体と異なる他物体を認識 する他物体認識手段と、所定の他物体に関するデータを示す他物体データに基づ いて、上記他物体認識手段によって認識された他物体の死角となる領域を示す他物 体死角情報を算出する他物体死角算出手段と、上記撮像手段配置物体モデルとと もに上記他物体死角算出手段によって算出された他物体死角情報を表示する表示 手段とを備えたことを特徴とする。 [0012] また、本発明の画像生成装置は、上記撮像手段配置物体、または他物体が、車両 、歩行者、建築物、道路構造物などの少なくとも 1つであることが望ましい。
また、本発明の一態様によれば、本発明の画像生成方法は、撮像手段配置物体に 取り付けられた、 1または複数の撮像装置によって撮像された撮像画像を空間モデ ルにマッピングし、上記マッピングされた空間データに基づいて、 3次元空間におけ る任意の仮想視点から見た視点変換画像データを生成し、上記生成された視点変 換画像データに基づいて、上記 3次元空間における任意の仮想視点から見た画像を 表示する、コンピュータが実行する画像生成方法であって、上記生成された視点変 換画像データ、上記撮像画像を表わす撮像画像データ、上記空間モデル、および 上記マッピングされた空間データの何れかに基づいて、上記撮像手段配置物体の 移動に関連する移動情報をさらに算出し、上記表示が、上記視点変換画像に上記 撮像手段配置物体モデルの画像とともに上記移動情報を表示することを特徴とする
[0013] また、本発明の一態様によれば、本発明の画像生成プログラムは、コンピュータに 対して、撮像手段配置物体に取り付けられた、 1または複数の撮像装置によって撮像 された撮像画像を空間モデルにマッピングする手順と、上記マッピングされた空間デ ータに基づいて、 3次元空間における任意の仮想視点から見た視点変換画像データ を生成する手順と、上記生成された視点変換画像データに基づいて、上記 3次元空 間における任意の仮想視点から見た画像を表示する手順とを実行させるための画像 生成プログラムであって、上記生成された視点変換画像データ、上記撮像画像を表 わす撮像画像データ、上記空間モデル、および上記マッピングされた空間データの 何れかに基づいて、上記撮像手段配置物体の移動に関連する移動情報を算出する 手順をさらに備え、上記表示が、上記視点変換画像に上記撮像手段配置物体モデ ルの画像とともに上記移動情報を表示することを特徴とする。
[0014] また、本発明の一態様によれば、本発明の画像生成方法は、撮像手段配置物体に 取り付けられた、 1または複数の撮像装置によって画像を撮像し、上記撮像された撮 像データに基づいて、上記撮像手段配置物体と異なる他物体を認識し、所定の他物 体に関するデータを示す他物体データに基づレ、て、上記認識された他物体の死角と なる領域を示す他物体死角情報を算出し、上記撮像手段配置物体モデルとともに上 記算出された他物体死角情報を表示する、コンピュータが実行する画像生成方法で ある。
[0015] また、本発明の一態様によれば、本発明の画像生成プログラムは、コンピュータに 対して、撮像手段配置物体に取り付けられた、 1または複数の撮像装置によって画像 を撮像する手順と、上記撮像された撮像データに基づいて、上記撮像手段配置物体 と異なる他物体を認識する手順と、所定の他物体に関するデータを示す他物体デー タに基づいて、上記認識された他物体の死角となる領域を示す他物体死角情報を算 出する手順と、上記撮像手段配置物体モデルとともに上記算出された他物体死角情 報を表示する手順とを実行させるための画像生成プログラムである。
図面の簡単な説明
[0016] [図 1]測距装置により空間モデルを生成し、視点変換画像を生成する画像生成装置 のブロック図である。
[図 2]撮像装置により空間モデルを生成し、視点変換画像を生成する画像生成装置 のブロック図である。
[図 3]測距装置により空間モデルを生成し、視点変換画像において移動情報を表示 するための画像生成装置のブロック図である。
[図 4]車両を運転するドライバーから観察され得る視野の様子を示す図である。
[図 5]移動方向情報を表示した表示例を示す図である。
[図 6]移動軌跡情報を表示した表示例を示す図である。
[図 7]移動速度情報を表示した表示例を示す図である。
[図 8]移動先情報を表示した表示例を示す図である。
[図 9]移動情報の表示とともに、 2物体が衝突する可能性に応じて画像の表示形態を 異ならせて表示した表示例を示す図である。
[図 10A]死角を説明するための図（その 1)である。
[図 10B]死角を説明するための図（その 2)である。
[図 11]死角情報を表示した表示例を示す図である。
[図 12]他物体死角情報を表示した表示例を示す図である。 [図 13]撮像装置により空間モデルを生成し、視点変換画像において移動情報を表示 するための画像生成装置のブロック図である。
[図 14]視点変換画像において移動情報、衝突可能性、死角情報、他物体死角情報 を表示するための画像生成処理の流れを示すフローチャートである。
[図 15]他物体死角情報を表示するための画像生成装置のブロック図である。
[図 16]他物体死角情報を表示した表示例を示す図である。
[図 17]他物体死角情報を表示するための画像生成処理の流れを示すフローチャート である。
[図 18]衝突可能性の算出例を説明するための自車両と他の車両との関係を示す図 である。
[図 19]衝突可能性の算出例を説明するための相対ベクトルを示す図である。
発明を実施するための最良の形態
[0017] 以下、図面を参照しながら本発明の実施の形態について述べる。
なお、本発明は、特許文献 1に開示されている技術的内容を取り込んでいる。 まず、図 1および図 2を用いて、複数台のカメラで撮影した画像データに基づいて 仮想的な視点から見る画像を生成し、その仮想視点からの画像を表示する画像生成 装置について説明する。なお、図示の例では複数台のカメラを用いているが、 1台の カメラの設置位置を順次移動して複数台のカメラが備えられた場合と同様の撮像デ ータを得るようにしてもよレ、。また、この乃至これらのカメラは、撮像装置配置物体とし ての車両、部屋 (その特定の部位等）、歩行者、建築物、道路構造物等に設置される 。この点は、以下に述べる各実施の形態について同様である。
[0018] 図 1は、測距装置により空間モデルを生成し、視点変換画像を生成する画像生成 装置のブロック図である。
図 1において、画像生成装置 100は、測距装置 101、空間モデル生成装置 103、 キャリブレーション装置 105、 1つまたは複数の撮像装置 107、空間再構成装置 109 、視点変換装置 112、および表示装置 114を備える。
[0019] 測距装置 101は、距離を計測する距離センサを用いて目標物体 (障害物)までの 距離を計測する。例えば、車両に取り付けられた場合は、車両周囲の状況として、少 なくとも車両周囲に存在する障害物までの距離を、上記距離センサを用いて計測す る。
[0020] 空間モデル生成装置 103は、上記測距装置 101が計測した距離画像データ 102 に基づいて、 3次元空間の空間モデル 104を生成し、それをデータベース (概念を実 体の如く図示。以下同様。）に格納する。なお、空間モデル 104は、上述のように別 途のセンサによる計測データに基づいて生成されたもの、あるいは、予め決められた 所定のもの、乃至は、その場で複数の入力画像から生成されたものであり、それらの データがデータベースに格納される。
[0021] 撮像装置 107は、例えば、カメラであり、撮像装置配置物体に取り付けられ画像を 撮像し、撮影画像データ 108としてデータベースに格納する。撮像装置配置物体が 車両であれば、撮像装置 107は、車両周囲の画像を撮影する。
[0022] 空間再構成装置 109は、上記撮像装置 107によって撮像された撮像画像データ 1 08を、上記空間モデル生成装置 103で生成した空間モデル 104にマッピングする。 そして、空間モデル 104に撮影画像データ 108をマッピングしたデータは、空間デー タ 111としてデータベースに格納する。
[0023] キャリブレーション装置 105は、例えば、温度によるレンズ歪みの補正を行うために 、撮像装置 107の取り付け位置、取り付け角度、レンズ歪み補正値、レンズの焦点距 離などといったパラメータを、入力することによって、あるいは計算することによって得 る。すなわち、撮像装置 107がカメラであれば、カメラキャリブレーションを行う。カメラ キャリブレーションとは、 3次元実世界に配置されたカメラについての、その 3次元実 世界における、カメラの取り付け位置、カメラの取り付け角度、カメラのレンズ歪み補 正値、カメラのレンズの焦点距離などといった、上記カメラ特性を表すカメラパラメ一 タを決定、補正することである。
[0024] 視点変換装置 112は、上記空間再構成装置 109によってマッピングされた空間デ ータ 111に基づいて、 3次元空間における任意の仮想視点から見た視点変換画像デ ータ 113を生成し、それをデータベースに格納する。
[0025] 表示装置 114は、上記視点変換装置 112によって生成された視点変換画像データ 113に基づいて、上記 3次元空間における任意の仮想視点から見た画像を表示する 図 2は、撮像装置により空間モデルを生成し、視点変換画像を生成する画像生成 装置のブロック図である。
[0026] 図 2において、画像生成装置 200は、測距装置 201、空間モデル生成装置 103、 キャリブレーション装置 105、 1つまたは複数の撮像装置 107、空間再構成装置 109 、視点変換装置 112、および表示装置 114を備える。
[0027] 画像生成装置 200が、図 1を用いて説明した画像生成装置 100と異なるのは、測 距装置 101の代わりに測距装置 201を備えている点である。以下、測距装置 201を 中心とした説明をし、その他の構成要素については図 1を用いた説明と同様であるの で省略する。
[0028] 測距装置 201は、撮影装置 107で撮影した撮影画像データ 108に基づいて、障害 物までの距離を計測する。これは、同一視野を撮影した複数台のカメラの画像の対 応点を探索し、画像間の視差を算出し、三角測量の原理により距離を算出するステ レオ測距を用いる方法が一般的である。また、測距装置 101と同様、距離を計測する 距離センサを用いて障害物までの距離を計測したデータと合わせて距離画像データ 202としても良レ、。
[0029] そして、空間モデル生成装置 103は、上記測距装置 201が計測した距離画像デー タ 202に基づいて、 3次元空間の空間モデル 104を生成し、それをデータベースに 格納する。
[0030] 次に、図 3乃至図 13を用いて、車両等の物体に取り付けられた 1台または複数台の カメラで撮影した複数枚の画像に基づいて仮想視点からの画像を表示する際に、上 記物体が移動する場合にその移動に関する情報が直感的に分かるように表示する ための画像データを生成することができる画像生成装置について説明する。この画 像生成装置は、図 1または図 2を用いて説明した画像生成装置に適用することができ る。
[0031] 図 3は、測距装置により空間モデルを生成し、視点変換画像において移動情報を 表示するための画像生成装置のブロック図である。
図 3において、画像生成装置 300は、測距装置 101、空間モデル生成装置 103、 キャリブレーション装置 105、 1つまたは複数の撮像装置 107、空間再構成装置 109 、視点変換装置 112、表示装置 314、移動情報算出装置 315、衝突可能性算出装 置 316、死角算出装置 317、他物体認識装置 318、および他物体死角算出装置 31 9を備える。
[0032] 画像生成装置 300が、図 1を用いて説明した画像生成装置 100と異なるのは、さら に移動情報算出装置 315、衝突可能性算出装置 316、死角算出装置 317、他物体 認識装置 318、および他物体死角算出装置 319を備えている点、および表示装置 1 14の代わりに表示装置 314を備えている点である。以下、移動情報算出装置 315、 衝突可能性算出装置 316、死角算出装置 317、他物体認識装置 318、他物体死角 算出装置 319および表示装置 314を中心とした説明をし、その他の構成要素につい ては図 1を用いた説明と同様であるので省略する。
[0033] 移動情報算出装置 315は、上記視点変換装置 112によって生成された視点変換 画像データ 113、上記撮像画像を表わす撮像画像データ 108、上記空間モデル 10 4、および上記マッピングされた空間データ 111の何れかに基づいて、上記撮像装置 配置物体の移動に関連する移動情報を算出する。上記撮像装置配置物体の移動に 関連する移動情報としては、例えば移動する方向を示す移動方向情報、予測される 移動軌跡を示す移動軌跡情報、移動する速度を示す移動速度情報、予測される移 動先の方位、地名、ランドマーク等に関する移動先情報等がある。
[0034] そして、表示装置 314は、上記撮像装置配置物体に対応した撮像装置配置物体 モデルの画像とともに上記移動情報算出装置 315によって算出された移動情報を表 示する。
ここで、図 4乃至図 8を用いて、画像生成装置 300を車両の周辺を監視するシステ ムとして適用した場合について説明する。
[0035] 図 4は、車両を運転するドライバーから観察され得る視野の様子を示す図である。
ドライバーからは、道路上に車両 A、車両 B、および車両 Cの 3台の車両が見えてい る。
[0036] 車両には、車両周囲に存在する障害物までの距離を計測する距離センサ (測距装 置 101)と、車両周囲の画像を撮影する複数台のカメラ (撮像装置 107)とが取り付け られている。
[0037] 空間モデル生成装置 103は、距離センサが計測した距離画像データ 102に基づ いて、 3次元空間の空間モデル 104を生成し、それをデータベースに格納する。そし て、カメラは、車両周辺の画像を撮像し、撮影画像データ 108としてデータベースに 格納する。
[0038] 空間再構成装置 109は、カメラによって撮像された撮像画像データ 108を、上記空 間モデル生成装置 103で生成した空間モデル 104にマッピングし、空間データ 111 としてデータベースに格納する。
[0039] 視点変換装置 112は、上記空間再構成装置 109によってマッピングされた空間デ ータ 111に基づいて、例えば、車両後方上空を仮想視点とし、その仮想視点から見 た視点変換画像データ 113を生成し、それをデータベースに格納する。
[0040] 移動情報算出装置 315は、上記視点変換装置 112によって生成された視点変換 画像データ 113、上記撮像画像を表わす撮像画像データ 108、上記空間モデル 10 4、および上記マッピングされた空間データ 111の何れかに基づいて、上記撮像装置 配置物体の移動に関連する移動情報、例えば移動する方向を示す移動方向情報、 予測される移動軌跡を示す移動軌跡情報、移動する速度を示す移動速度情報、予 測される移動先の方位、地名、ランドマーク等に関する移動先情報等を算出する。
[0041] そして、表示装置 314は、通常車両内に設置され、例えば、カーナビゲーシヨンシ ステムのモニタと共用して、上記視点変換装置 112によって生成された視点変換画 像データ 113に基づいて、上記 3次元空間における任意の仮想視点から見た画像を 表示する際に、上記撮像装置配置物体に対応した撮像装置配置物体モデル 110の 画像とともに上記移動情報算出装置 315によって算出された移動方向情報等の移 動情報を表示する。
[0042] 図 5は、移動方向情報を表示した表示例を示す図である。
図 5において、物体 Aは、図 4の車両 Aの視点変換画像であり、同様に物体 Bは車 両 物体 Cは車両 Cの視点変換画像である。そして、 自車両の移動方向を示す移 動方向情報が、撮像装置配置物体モデル 110に格納されているデータに基づいた 自車両対応モデルとともに表示されている。 [0043] 図 6は、移動軌跡情報を表示した表示例を示す図である。
図 6も視点変換画像の表示例であるが、図 5とは異なる仮想視点の例である。すな わち、図 5の表示例は、仮想視点が自車両の後方上空にありそこから前方を見る俯 瞰図となっているのに対して、図 6の表示例は、仮想視点が自車両上空にありそこか ら真下を見た図となっている。
[0044] 図 6において、物体 Aは、図 4の車両 Aの視点変換画像であり、同様に物体 Bは車 両 Bの視点変換画像である力 車両 Cに相当する物体は表示されていない。そして、 自車両の予測される移動軌跡を示す移動軌跡情報が、撮像装置配置物体モデル 1 10に格納されているデータに基づいた自車両対応モデルとともに表示されている。
[0045] 図 7は、移動速度情報を表示した表示例を示す図である。
図 7は、図 5と同様、自車両の後方上空にある仮想視点から前方を見る俯瞰図とな つており、物体 Aは、図 4の車両 Aの視点変換画像であり、同様に物体 Bは車両 B、物 体 Cは車両 Cの視点変換画像である。そして、 自車両の移動する速度を示す移動速 度情報が、撮像装置配置物体モデル 110に格納されているデータに基づいた自車 両対応モデルとともに表示されている。
[0046] 図 8は、移動先情報を表示した表示例を示す図である。
図 8も、図 5と同様、 自車両の後方上空にある仮想視点から前方を見る俯瞰図とな つており、物体 Aは、図 4の車両 Aの視点変換画像であり、同様に物体 Bは車両 B、物 体 Cは車両 Cの視点変換画像である。そして、 自車両の予測される移動先の方位、 地名、ランドマーク等に関する移動先情報が、撮像装置配置物体モデル 110に格納 されてレ、るデータに基づレ、た自車両対応モデルとともに表示されてレ、る。
[0047] なお、図 5乃至図 8に示した移動情報は、同時に表示されるようにしてもよい。
図 3の説明に戻る。
衝突可能性算出装置 316は、夫々異なる時刻に対応した、上記視点変換装置 11 2によって生成された視点変換画像データ 113、上記撮像画像を表わす撮像画像デ ータ 108、上記空間モデル 104、および上記マッピングされた空間データ 111の何 れかに基づいて、上記撮像装置配置物体モデル 110と上記空間モデル 104とが衝 突する可能性を算出する。衝突する可能性は、例えば、 2つの物体のそれぞれの移 動方向および移動速度から容易に求めることができる。
[0048] そして、表示装置 314は、上述の移動情報の表示に加え、上記視点変換装置 112 によって生成された上記視点変換画像データ 113による画像に重畳して表示する撮 像装置配置物体モデル 110の画像のうち、上記衝突可能性算出装置 316によって 算出された衝突可能性を有する部分の表示形態を、衝突可能性に応じて異ならせて 表示する。例えば、色、縁取りの有無や太さ等、警告アイコンの有無や形態等を異な らせて表示する。
[0049] なお、上記表示装置 314は、上記衝突可能性算出装置 316によって算出した衝突 可能性が所定値以下の場合、その画像を一体化した背景モデルとして表示してもよ いし、その画像をぼ力、して表示してもよレ、。また、当該表示形態として色によって表示 情報の意味が認識されるような形態をとりうるようにしてもよい。
[0050] 図 9は、移動情報の表示とともに、 2物体が衝突する可能性に応じて画像の表示形 態を異ならせて表示した表示例を示す図である。
図 9も、図 5と同様、 自車両の後方上空にある仮想視点から前方を見る俯瞰図とな つており、物体 Aは、図 4の車両 Aの視点変換画像であり、同様に物体 Bは車両 B、物 体 Cは車両 Cの視点変換画像である。
[0051] そして、 自車両の移動情報のうち、移動する方向を示す移動方向情報、移動する 速度を示す移動速度情報、予測される移動先の方位、地名、ランドマーク等に関す る移動先情報が、撮像装置配置物体モデル 110に格納されてレ、るデータに基づレ、 た自車両対応モデルとともに表示され、さらに、 自車両と、車両 A、車両 Bおよび車両 Cのそれぞれとが衝突する可能性に応じて、物体 A、物体 B、物体 Cの表示形態が異 なって表示されている。例えば、 自車両と衝突する可能性が 3台の他の車両の中で 最も高レ、車両 Cの視点変換画像である物体 Cは赤色で表示され、車両 Cに比べて衝 突の可能性がそれほど高くなレ、車両 Aの視点変換画像である物体 A、および車両 B の視点変換画像である物体 Bは黄色で表示される。なお、表示色を異ならせて表示 する場合、当該表示に係る色の色相又は彩度若しくは明度のうちの少なくとも一のも のを異ならせて表示するような形態を採り得る。
[0052] 図 3の説明に戻る。 死角算出装置 317は、上記撮像装置配置物体に対応したデータによって表わされ る撮像装置配置物体モデル 110に基づいて、上記撮像装置配置物体の所定の場所 にとつての死角となる領域を示す死角情報を算出する。例えば、撮像装置配置物体 が車両であれば、車両の運転者にとっての死角となる領域を算出する。
[0053] 図 10Aおよび図 10Bは、死角を説明するための図である。
図 10Aおよび図 10Bにおいて、撮像装置配置物体は車両であり、図 1 OAは車両を 上方から見た図であり、図 10Bは車両を横方向から見た図である。そして、車両の所 定の場所としての運転者はり厳密には運転者の視点）にとつての死角となる領域 (ピ ラーなどによる死角および車体による死角）を、網掛けで示してレ、る。
[0054] そして、表示装置 314は、上記撮像装置配置物体モデル 110とともに上記死角算 出装置 317によって算出された死角情報を表示する。ここでの死角情報は、前記運 転者の視点にとって死角となる領域のことを示す。
[0055] 図 11は、死角情報を表示した表示例を示す図である。
図 11において、物体 Aは、図 4の車両 Aの視点変換画像であり、同様に物体 Bは車 両 Bの視点変換画像である力 車両 Cに相当する物体は表示されていない。そして、 死角情報として自車両の死角となる領域が、撮像装置配置物体モデル 110に格納さ れているデータに基づいた自車両対応モデルおよび移動情報の 1つである移動軌 跡情報とともに表示されている。
[0056] 図 3の説明に戻る。
他物体認識装置 318は、上記視点変換装置 112によって変換された視点変換画 像データ 113、上記撮像画像を表わす撮像画像データ 108、上記空間モデル 104、 および上記マッピングされた空間データ 111の何れかに基づレ、て、上記撮像装置配 置物体とは異なる他物体を認識する。例えば、撮像装置配置物体が車両であれば、 先行する車両、対向する車両、歩行者等を認識する。
[0057] さらに、他物体死角算出装置 319は、所定の他物体に関するデータを示す他物体 データに基づいて、上記他物体認識装置 318によって認識され他物体の死角となる 領域を示す他物体死角情報を算出する。例えば、撮像装置配置物体が車両であり、 撮像装置配置物体とは異なる他物体も車両であれば、算出される死角領域は、他物 体である車両の運転者にとっての死角となる領域である。また、領域他物体データは
、撮像装置配置物体モデル 110が格納されたデータベースを用いることもできる。
[0058] そして、上記表示装置 314は、上記撮像装置配置物体モデル 110とともに上記他 物体死角算出装置 319によって算出された当該他物体に係る死角情報を表示する 図 12は、他物体死角情報を表示した表示例を示す図である。
[0059] 図 12において、物体 Aは、図 4の車両 Aの視点変換画像であり、同様に物体 Bは車 両 Bの視点変換画像である力 車両 Cに相当する物体は表示されていない。そして、 物体 Aが他物体認識装置 318によって認識された他物体であり、他物体の死角情報 として物体 Aの死角となる領域が、自車両対応モデルおよび移動情報の 1つである 移動軌跡情報とともに表示されている。これにより、 自車両は物体 Aの死角に入って レ、ることが認識できる。
[0060] 図 13は、撮像装置により空間モデルを生成し、視点変換画像において移動情報を 表示するための画像生成装置のブロック図である。
図 13において、画像生成装置 1300は、測距装置 201、空間モデル生成装置 103 、キャリブレーション装置 105、 1つまたは複数の撮像装置 107、空間再構成装置 10 9、視点変換装置 112、表示装置 314、移動情報算出装置 315、衝突可能性算出装 置 316、死角算出装置 317、他物体認識装置 318、および他物体死角算出装置 31 9を備える。
[0061] 画像生成装置 1300が、図 3を用いて説明した画像生成装置 300と異なるのは、測 距装置 101の代わりに測距装置 201を備えている点である。なお、測距装置 201に っレ、ては、図 2を用いてレ、るので説明は省略する。
[0062] 次に、車両等の物体に取り付けられた 1台または複数台のカメラで撮影した複数枚 の画像に基づいて仮想視点からの画像を表示する際に、上記物体が移動する場合 にその移動に関する情報が直感的に分かるように表示するための画像データを生成 するための画像生成処理の流れを説明する。
[0063] 図 14は、視点変換画像において移動情報、衝突可能性、死角情報、他物体死角 情報を表示するための画像生成処理の流れを示すフローチャートである。 まず、ステップ S1401において、車両等に物体に取り付けられているカメラを用い て、当該車両の周囲の画像を撮像する。
[0064] ステップ S 1402において、ステップ S 1401で撮像した画像のデータである撮像画 像データ 108を、空間モデル 104にマッピングして、空間データ 111を生成する。
[0065] ステップ S1403において、ステップ S1402でマッピングされた空間データ 111に基 づいて、 3次元空間における任意の仮想視点から見た視点変換画像データ 113を生 成する。
[0066] 次に、ステップ S1404において、上記生成された視点変換画像データ 113、上記 撮像画像データ 108、上記空間モデル 104、および上記マッピングされた空間デー タ 111の何れかに基づいて、上記撮像装置配置物体の移動に関連する移動情報を 算出する。
[0067] そして、ステップ S1405において、 3次元空間における任意の仮想視点から見た画 像を表示する際に、ステップ S 1404で算出した移動情報、例えば、移動する方向を 示す移動方向情報、予測される移動軌跡を示す移動軌跡情報、移動する速度を示 す移動速度情報、予測される移動先の方位、地名、ランドマーク等に関する移動先 情報等を表示する。
[0068] 次に、ステップ S1406において、撮像装置配置物体モデル 110と空間モデル 104 とが衝突する可能性を表示するか否かを判断する。例えば、車両の運転者等のユー ザ一から指示があるか否かにより、表示するか否かを判断する。
[0069] ステップ S1406で表示すると判断された場合（YES)は、ステップ S1407において 、夫々異なる時刻に対応した、生成された視点変換画像データ 113、上記撮像画像 データ 108、上記空間モデル 104、および上記マッピングされた空間データ 111の 何れかに基づいて、上記撮像装置配置物体モデル 110と上記空間モデル 104とが 衝突する可能性を算出する。
[0070] そして、ステップ S1408において、ステップ S1405での移動情報の表示に加え、上 記視点変換装置 112によって生成された上記視点変換画像データ 113による画像 に重畳して表示する撮像装置配置物体モデル 110の画像のうち、上記衝突可能性 算出装置 316によって算出された衝突可能性を有する部分の表示形態を、衝突可 能性に応じて異ならせて表示する。例えば、色、縁取り、警告アイコン等を異ならせて 表示する。
[0071] ステップ S1408での衝突可能性の表示の後、あるいはステップ S1406で衝突可能 性を表示しないと判断された場合（ステップ S1406： NO)、ステップ S1409におレ、て 、撮像装置配置物体の所定の場所にとっての死角となる領域を示す死角情報を表 示するか否かを判断する。例えば、車両の運転者等のユーザーから指示があるか否 かにより、表示するか否かを判断する。
[0072] ステップ S1409で表示すると判断された場合（YES)は、ステップ S1410において 、撮像装置配置物体に対応したデータによって表わされる撮像装置配置物体モデ ノレ 110に基づレ、て、上記撮像装置配置物体の所定の場所にとっての死角となる領 域を示す死角情報、例えば、撮像装置配置物体が車両であれば、車両の運転者に とっての死角となる領域を算出する。
[0073] そして、ステップ S1411において、ステップ S1405での移動情報の表示に加え、さ らに場合によっては、ステップ S1408での衝突可能性の表示も加え、撮像装置配置 物体モデルとともに上記死角算出装置 317によって算出された死角情報を表示する
[0074] ステップ S1411での死角情報の表示の後、あるいはステップ S1409で死角情報を 表示しないと判断された場合（ステップ S1409 : NO)、ステップ S1412において、他 物体の死角となる領域を示す他物体死角情報を表示するか否かを判断する。例えば 、車両の運転者等のユーザーから指示があるか否かにより、表示するか否かを判断 する。
[0075] ステップ S1412で表示すると判断された場合（YES)は、ステップ S1413において 、生成された視点変換画像データ 113、上記撮像画像データ 108、上記空間モデル 104、および上記マッピングされた空間データ 111の何れかに基づいて、上記撮像 装置配置物体とは異なる他物体、例えば、先行する車両等を認識し、ステップ S141 4において、他物体に関するデータを示す他物体データに基づいて、上記他物体認 識装置 318によつて認識され他物体の死角となる領域を示す他物体死角情報を算 出する。例えば、撮像装置配置物体が車両であり、撮像装置配置物体とは異なる他 物体も車両であれば、算出される死角領域は、他物体である車両の運転者にとって の死角となる領域である。また、領域他物体データは、撮像装置配置物体モデル 11
0が格納されたデータベースを用いることもできる。
[0076] そして、ステップ S1415において、ステップ S1405での移動情報の表示に加え、さ らに場合によっては、ステップ S1408での衝突可能性、あるいはステップ S1411で の死角情報の表示も加え、撮像装置配置物体モデルとともに上記他物体死角算出 装置 319によって算出された当該他物体に係る死角情報を表示する。
[0077] このような画像生成処理の流れにより、視点変換画像において移動方向情報等の 移動情報を表示することができ、さらには衝突可能性、死角情報、あるいは他物体死 角情報も併せて表示することができる。
[0078] 次に、図 15乃至図 17を用いて、車両等の物体に取り付けられた 1台または複数台 のカメラで撮影した画像に基づいて、その画像中の物体にとっての死角が直感的に 分かるように表示するための画像データを生成することができる画像生成装置につい て説明する。
[0079] 図 15は、他物体死角情報を表示するための画像生成装置のブロック図である。
図 15において、画像生成装置 1500は、 1つまたは複数の撮像装置 1501、他物体 認識装置 1503、他物体死角算出装置 1505、および表示装置 1506を備える。
[0080] 撮像装置 1501は、例えば、カメラであり、撮像装置配置物体に取り付けられ画像を 撮像し、撮影画像データ 1502としてデータベースに格納する。撮像装置配置物体 が車両であれば、撮像装置 1501は、車両周囲の画像を撮影する。
[0081] 他物体認識装置 1503は、上記撮像装置 1501によって撮像された撮像データに 基づいて、上記撮像装置配置物体と異なる他物体を認識する。例えば、撮像装置配 置物体が車両であれば、先行する車両、対向する車両、歩行者等を認識する。
[0082] さらに、他物体死角算出装置 1505は、所定の他物体に関するデータを示す他物 体データ 1504に基づレ、て、上記他物体認識装置 1503によつて認識された他物体 の死角となる領域を示す他物体死角情報を算出する。例えば、撮像装置配置物体 が車両であり、撮像装置配置物体とは異なる他物体も車両であれば、算出される死 角領域は、他物体である車両の運転者にとっての死角となる領域である。また、領域 他物体データ 1504は、撮像装置配置物体モデル 1504が格納されたデータベース を用いることが望ましい。
[0083] そして、表示装置 1506は、他物体である上記撮像装置配置物体モデル 1504とと もに上記他物体死角算出装置 1505によって算出された他物体死角情報を表示す る。
図 16は、他物体死角情報を表示した表示例を示す図である。
[0084] 図 16において、他物体は、カメラで撮像した画像に基づき認識し、他物体データ 1
504に基づいて、先行する車両であると認識したものである。そして、他物体データ 1
504に基づいて算出された他物体死角情報が表示されている。これにより、 自車両 が他物体の死角に入ってしまうことが認識できる。
[0085] 図 17は、他物体死角情報を表示するための画像生成処理の流れを示すフローチ ヤートである。
まず、ステップ S1701において、車両等に物体に取り付けられているカメラを用い て、当該車両の周囲の画像を撮像する。
[0086] そして、ステップ S1702において、撮像された撮像データに基づいて、上記撮像装 置配置物体と異なる他物体、例えば、先行する車両、対向する車両、歩行者等を認
B或する。
[0087] 次に、ステップ S1703において、所定の他物体に関するデータを示す他物体デー タ 1504に基づいて、上記認識された他物体である車両等の死角となる領域を示す 他物体死角情報を算出する。
[0088] そして、他物体である上記撮像装置配置物体モデル 1504とともに上記他物体死 角算出装置 1505によって算出された他物体死角情報を表示する。また、前記衝突 危険度を自車両が、他物体の死角に入っている場合にはより危険な状態としてその 衝突可能性の表示形態をさらに変化させても良い。
[0089] また、これらの実施の形態は、次に述べるように拡張することが可能である。
これまで述べてきた実施の形態においては、車両を撮像装置配置物体とし、これに 搭載された撮像装置 107、 1501による画像を用いていたが、これは、カメラパラメ一 タが既知、もしくは算出、計測可能である場合において、道路に面した構造物や、店 舗内等に設置された監視カメラの画像を含めても同様に扱うことができる。測距装置
101、 102についてもカメラと同様に配置し、その位置、姿勢が既知もしくは算出、計 測可能である場合において、道路に面した構造物や、店舗内等に設置された測距 装置 101、 102からの距離情報 (距離画像データ 202)を用レ、ることができる。
[0090] すなわち、視点変換画像を表示する表示装置 114、 314、 1506と、撮像装置 107 、 1501が必ずしも同一の撮像装置配置物体上に設置されている必要はなぐ相対 的に移動してレ、る障害物が存在すればょレ、。
[0091] また、装置構成上、複数の画像生成装置 100、 200、 300、 1300、 1500 (同種の 画像生成装置が複数で構成されてレ、てもよレ、し、異種の画像生成装置が複数で構 成されていてもよい。例えば画像生成装置 100が複数であってもよいし、画像生成装 置 100と画像生成装置 200とにより構成されていてもよい。以下、同様。）が相互にデ ータのやり取りを実施するようにしてもよい。
[0092] これらの場合は、上述の実施形態の各データ、モデルを、各々の視点を利用する 形態に応じて座標変換を実施する座標変換装置を備えた通信装置によりそれぞれ の画像生成装置 100、 200、 300、 1300、 1500との間を通信すると共に、その基準 座標を算出する座標姿勢算出装置を有する。
[0093] 座標姿勢算出装置は、視点変換画像を生成する位置姿勢を算出する装置であり、 これは、例えば GPS (Global Positioning System)などによる緯度経度高度方 位のデータを用いて仮想視点の座標を設定しても良ぐ他の画像生成装置 100、 20 0、 300、 1300、 1500との相対位置座標を算出することにより、本画像生成装置 10 0、 200、 300、 1300、 1500群内でのネ目対位置座標を求めることにより、座標変換を 実施し、所定の視点変換画像を生成するようにしても良い。それらの座標系内で、所 望の仮想視点を設定することに相当する。
[0094] また、観察者が人物である場合は、例えば HMD (Head Mounted Display)な どを装着しており視点変換画像を観察できると共に、撮像装置配置物体のカメラによ つて捉えられた観察者自らの位置、姿勢、方向が計測され得るようにしても良い。観 察者である人物に装着する GPSやジャイロセンサー、カメラ装置、人物の視線検出 装置などで計測した座標姿勢情報を併用しても良い。 [0095] この観察者の視点を仮想視点として設定することにより、観察者にとっての移動情 報、衝突可能性、死角等を算出できる。これにより人物は、 自らにとっての障害物を H MDなどに表示された仮想視点画像上で把握することが出来、 自らに対する脅威、 例えば物陰に隠れていたり、観察者の後方に潜んでいたりする不審者、犬、車両な どを認知することができ、さらには、遠方の物体であってもそれに近接した撮像装置 配置物体や画像生成装置の画像と空間モデルを用いることによりより正確に、精度 良く生成された多視点変換画像を用いることができる。
[0096] 上述した図 4に示した例では、算出した衝突可能性に応じて、衝突する危険性の高 い順に、赤色、黄色、緑色、青色で表示しているが、単純に、距離または相対速度に 基づレ、てこれらの色を異ならせて表示しても良レ、。
[0097] 例えば、自車両と距離的に近いガードレール部分を赤色で表示し、 自車両から遠 いガードレール (例えば、反対車線側）を青色で表示する。また、道路面は自車両を 含む車両自体が走行する領域であるので、 自車両との距離が近くとも青色乃至緑色 で表示する。
[0098] 視点変換画像した対象物のうち、他の車両については、相対速度や距離等に基づ いて衝突可能性を算出し、算出した際の衝突可能性に高い車両を赤色で表示し、衝 突可能性の低レ、車両を緑色で表示するなど、衝突可能性の変化に応じて他の車両 の色を変化させて表示する。
[0099] 次に、図 18および図 19を用いて衝突可能性の算出例を説明する。
図 18は、衝突可能性の算出例を説明するための自車両と他の車両との関係を示 す図であり、図 19は、衝突可能性の算出例を説明するための相対ベクトルを示す図 である。
[0100] 図 18に示すように、右側の車線を図面上方へ走行している自車両 Mと、自車両 M の左側の車線を同じく図面上方へ走行しながら車線変更をしてくる車両〇nとの関係 を例として考えると、下記のようになる。
[0101] すなわち、車両 On (V )と自車両 M (V )との間の相対ベクトル V を求め、その
On On- M
大きさ I V Iを車両 Onと自車両 Mとの間の距離 D で除算した値（ | V
On- M On- M On- M I )
/D を衝突可能性として用いる。また、より近距離で衝突可能性が高いと考える 場合、 D で除算する変わりに D の平方 (D ) 2で除算することによって感度を
On- M On- M On- M
高めるなどして、衝突可能性を求めても良い。
[0102] 本実施の形態では、色相の違いにより衝突の危険性の高い領域を、 自車両と他の 物体との距離、相対速度、またこれらから算出される衝突可能性に基づいて、視点変 換した画像の表示を変化させる。
[0103] また、視点変換画像をボケ表示させることにより、衝突可能性の程度を示しても良い 。例えば、距離、相対速度、あるいは衝突可能性に基づいて、衝突する危険性の低 レ、ものはある程度ぼ力、して表示し、より危険性の高いものはぼかさずにくっきりと表示 することにより、衝突する危険性の高いものを認識し易くする。
[0104] これにより、より直感的に運転者や歩行者に衝突の危険性を認知させ、安全な走行 あるいは歩行の実現を補助することが出来る。
また、上述した各実施の形態において、上述のように 2眼のステレオカメラである場 合に加え、複数の撮像装置は、それらによって、いわゆる 3眼ステレオカメラを構成す るように用いても、あるいは 4眼ステレオカメラを構成するように用いてもよレ、。このよう に 3眼あるいは 4眼ステレオカメラを用いると、 3次元再構成処理などにおいて、より信 頼度が高ぐ安定した処理結果が得られることが知られている（富田文明：情報処理 学会発行「情報処理」第 42卷第 4号の「高機能 3次元視覚システム」等)。特に複数力 メラを 2方向の基線長を持つように配置すると、より複雑なシーンで 3次元再構成が可 能になることが知られている。また 1つの基線長方向にカメラを複数台配置するといわ ゆるマルチベースライン方式のステレオカメラを実現することが可能となり、より高精 度のステレオ計測が可能となる。
[0105] 当然ながら、人物ではなくこれが車両などの移動物体の場合でも適応可能である。
上述のように、本発明の各実施の形態を、図面を参照しながら説明してきたが、本 発明が適用される画像生成装置は、その機能が実行されるのであれば、上述の各実 施の形態に限定されることなぐ単体の装置であっても、複数の装置からなるシステム あるいは統合装置であっても、 LAN、 WAN等のネットワークを介して処理が行なわ れるシステムであってもよいことは言うまでもない。
[0106] また、バスに接続された CPU、 ROMや RAMのメモリ、入力装置、出力装置、外部 記録装置、媒体駆動装置、可搬記録媒体、ネットワーク接続装置で構成されるシステ ムでも実現できる。すなわち、前述してきた各実施の形態のシステムを実現するソフト エアのプログラムコードを記録した ROMや RAMのメモリ、外部記録装置、可搬記録 媒体を、画像生成装置に供給し、その画像生成装置のコンピュータがプログラムコー ドを読み出し実行することによつても、達成されることは言うまでもない。
[0107] この場合、可搬記録媒体等から読み出されたプログラムコード自体が本発明の新 規な機能を実現することになり、そのプログラムコードを記録した可搬記録媒体等は 本発明を構成することになる。
[0108] プログラムコードを供給するための可搬記録媒体としては、例えば、フレキシブルデ イスク、ハードディスク、光ディスク、光磁気ディスク、 CD-ROM, CD-R, DVD-R OM、 DVD-RAM,磁気テープ、不揮発性のメモリーカード、 ROMカード、電子メ ールゃパソコン通信等のネットワーク接続装置（言い換えれば、通信回線）を介して 記録した種々の記録媒体などを用いることができる。
[0109] また、コンピュータがメモリ上に読み出したプログラムコードを実行することによって、 前述した各実施の形態の機能が実現される他、そのプログラムコードの指示に基づ き、コンピュータ上で稼動している OSなどが実際の処理の一部または全部を行ない 、その処理によっても前述した各実施の形態の機能が実現される。
[0110] さらに、可搬型記録媒体から読み出されたプログラムコードやプログラム（データ）提 供者から提供されたプログラム（データ）力 コンピュータに挿入された機能拡張ボー ドゃコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれた後、そ のプログラムコードの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わ る CPUなどが実際の処理の一部または全部を行なレ、、その処理によっても前述した 各実施の形態の機能が実現され得る。
[0111] すなわち、本発明は、以上に述べた各実施の形態に限定されるものではなぐ本発 明の要旨を逸脱しない範囲内で種々の構成または形状を取ることができる。
本発明によれば、車両等の撮像手段配置物体に取り付けられた 1台または複数台 のカメラで撮影した複数枚の画像に基づく画像を表示するに際し、上記物体と撮影し た画像との関係が直感的に分かるように表示することができる。

Claims

請求の範囲
[1] 撮像手段配置物体に取り付けられ画像を撮像する 1または複数の撮像手段と、 前記撮像手段によって撮像された撮像画像を空間モデルにマッピングする空間再 構成手段と、
前記空間再構成手段によってマッピングされた空間データに基づいて、 3次元空間 における任意の仮想視点から見た視点変換画像データを生成する視点変換手段と 前記視点変換手段によって生成された視点変換画像データに基づいて、前記 3次 元空間における任意の仮想視点から見た画像を表示する表示手段と、
を備えた画像生成装置にぉレ、て、
前記視点変換手段によって生成された視点変換画像データ、前記撮像画像を表 わす撮像画像データ、前記空間モデル、および前記マッピングされた空間データの 何れかに基づいて、前記撮像手段配置物体の移動に関連する移動情報を算出する 移動情報算出手段をさらに備え、
前記表示手段は、前記撮像手段配置物体に対応した撮像手段配置物体モデルの 画像とともに前記移動情報算出手段によって算出された移動情報を表示することを 特徴とする画像生成装置。
[2] 前記移動情報は、移動する方向を示す移動方向情報、予測される移動軌跡を示 す移動軌跡情報、移動する速度を示す移動速度情報、予測される移動先の方位、 地名、ランドマーク等に関する移動先情報の何れかであることを特徴とする請求項 1 に記載の画像生成装置。
[3] 夫々異なる時刻に対応した、前記視点変換手段によって生成された視点変換画像 データ、前記撮像画像を表わす撮像画像データ、前記空間モデル、および前記マツ ビングされた空間データの何れかに基づいて、前記撮像手段配置物体モデルと前 記空間モデルとが衝突する可能性を算出する衝突可能性算出手段をさらに備え、 前記表示手段は、前記視点変換手段によって生成された前記視点変換画像デー タによる画像に重畳して表示する撮像手段配置物体モデルの画像のうち、前記衝突 可能性算出手段によって算出された衝突可能性を有する部分の表示形態を異なら せて表示することを特徴とする請求項 1に記載の画像生成装置。
[4] 前記表示形態は、色、縁取り、警告アイコンの少なくともいずれ力 1つであることを 特徴とする請求項 3に記載の画像生成装置。
[5] 前記撮像手段配置物体に対応したデータによって表わされる撮像手段配置物体 モデルに基づレ、て、前記撮像手段配置物体の所定の場所にとっての死角となる領 域を示す死角情報を算出する死角算出手段をさらに備え、
前記表示手段は、前記撮像手段配置物体モデルとともに前記死角算出手段によつ て算出された死角情報を表示することを特徴とする請求項 1に記載の画像生成装置
[6] 前記視点変換手段によって変換された視点変換画像データ、前記撮像画像を表 わす撮像画像データ、前記空間モデル、および前記マッピングされた空間データの 何れかに基づレ、て、前記撮像手段配置物体とは異なる他物体を認識する他物体認 識手段と、
所定の他物体に関するデータを示す他物体データに基づいて、前記他物体認識 手段によって認識され他物体の死角となる領域を示す他物体死角情報を算出する 他物体死角算出手段をさらに備え、
前記表示手段は、前記撮像手段配置物体モデルとともに前記他物体死角算出手 段によって算出された当該他物体に係る死角情報を表示することを特徴とする請求 項 1に記載の画像生成装置。
[7] 前記撮像手段配置物体、または、他物体は、車両、歩行者、建築物、道路構造物 などの少なくとも 1つであることを特徴とする請求項 1に記載の画像生成装置。
[8] 撮像手段配置物体に取り付けられた、画像を撮像する 1または複数の撮像手段と、 前記撮像手段によって撮像された撮像データに基づいて、前記撮像手段配置物 体と異なる他物体を認識する他物体認識手段と、
所定の他物体に関するデータを示す他物体データに基づいて、前記他物体認識 手段によって認識された他物体の死角となる領域を示す他物体死角情報を算出す る他物体死角算出手段と、
前記撮像手段配置物体モデルとともに前記他物体死角算出手段によって算出され た他物体死角情報を表示する表示手段と、
を備えたことを特徴とする画像生成装置。
[9] 前記撮像手段配置物体、または、他物体は、車両、歩行者、建築物、道路構造物 などの少なくとも 1つであることを特徴とする請求項 8に記載の画像生成装置。
[10] 撮像手段配置物体に取り付けられた、 1または複数の撮像装置によって撮像された 撮像画像を空間モデルにマッピングし、
前記マッピングされた空間データに基づいて、 3次元空間における任意の仮想視 点から見た視点変換画像データを生成し、
前記生成された視点変換画像データに基づいて、前記 3次元空間における任意の 仮想視点から見た画像を表示する、コンピュータが実行する画像生成方法であって 前記生成された視点変換画像データ、前記撮像画像を表わす撮像画像データ、 前記空間モデル、および前記マッピングされた空間データの何れかに基づいて、前 記撮像手段配置物体の移動に関連する移動情報をさらに算出し、
前記表示は、前記視点変換画像に前記撮像手段配置物体モデルの画像とともに 前記移動情報を表示することを特徴とする画像生成方法。
[11] コンピュータに対して、
撮像手段配置物体に取り付けられた、 1または複数の撮像装置によって撮像された 撮像画像を空間モデルにマッピングする手順と、
前記マッピングされた空間データに基づレ、て、 3次元空間における任意の仮想視 点から見た視点変換画像データを生成する手順と、
前記生成された視点変換画像データに基づいて、前記 3次元空間における任意の 仮想視点から見た画像を表示する手順と、
を実行させるための画像生成プログラムであって、
前記生成された視点変換画像データ、前記撮像画像を表わす撮像画像データ、 前記空間モデル、および前記マッピングされた空間データの何れかに基づいて、前 記撮像手段配置物体の移動に関連する移動情報を算出する手順をさらに備え、 前記表示は、前記視点変換画像に前記撮像手段配置物体モデルの画像とともに 前記移動情報を表示することを特徴とする画像生成プログラム。
[12] 撮像手段配置物体に取り付けられた、 1または複数の撮像装置によって画像を撮 像し、
前記撮像された撮像データに基づレ、て、前記撮像手段配置物体と異なる他物体を 認識し、
所定の他物体に関するデータを示す他物体データに基づいて、前記認識された他 物体の死角となる領域を示す他物体死角情報を算出し、
前記撮像手段配置物体モデルとともに前記算出された他物体死角情報を表示す る、
コンピュータが実行する画像生成方法。
[13] コンピュータに対して、
撮像手段配置物体に取り付けられた、 1または複数の撮像装置によって画像を撮 像する手順と、
前記撮像された撮像データに基づレ、て、前記撮像手段配置物体と異なる他物体を 認識する手順と、
所定の他物体に関するデータを示す他物体データに基づいて、前記認識された他 物体の死角となる領域を示す他物体死角情報を算出する手順と、
前記撮像手段配置物体モデルとともに前記算出された他物体死角情報を表示す る手順と、
を実行させるための画像生成プログラム。
PCT/JP2005/002977 2004-03-16 2005-02-24 画像生成装置、画像生成方法、および画像生成プログラム WO2005088971A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
US11/519,333 US20070009137A1 (en) 2004-03-16 2006-09-12 Image generation apparatus, image generation method and image generation program

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2004073887A JP2005268847A (ja) 2004-03-16 2004-03-16 画像生成装置、画像生成方法、および画像生成プログラム
JP2004-073887 2004-03-16

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US11/519,333 Continuation US20070009137A1 (en) 2004-03-16 2006-09-12 Image generation apparatus, image generation method and image generation program

Publications (1)

Publication Number Publication Date
WO2005088971A1 true WO2005088971A1 (ja) 2005-09-22

Family

ID=34975976

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2005/002977 WO2005088971A1 (ja) 2004-03-16 2005-02-24 画像生成装置、画像生成方法、および画像生成プログラム

Country Status (3)

Country Link
US (1) US20070009137A1 (ja)
JP (1) JP2005268847A (ja)
WO (1) WO2005088971A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010136263A (ja) * 2008-12-08 2010-06-17 Brother Ind Ltd ヘッドマウントディスプレイ

Families Citing this family (37)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4596978B2 (ja) * 2005-03-09 2010-12-15 三洋電機株式会社 運転支援システム
JP4887980B2 (ja) * 2005-11-09 2012-02-29 日産自動車株式会社 車両用運転操作補助装置および車両用運転操作補助装置を備えた車両
JP4719590B2 (ja) * 2006-03-01 2011-07-06 アルパイン株式会社 車載周辺状況提示装置
JP2008219063A (ja) * 2007-02-28 2008-09-18 Sanyo Electric Co Ltd 車両周辺監視装置及び方法
US8190355B2 (en) * 2007-10-10 2012-05-29 International Business Machines Corporation Driving assistance and monitoring
JP5132376B2 (ja) * 2008-03-19 2013-01-30 アルパイン株式会社 音声改善装置および音声改善方法
US8170787B2 (en) * 2008-04-15 2012-05-01 Caterpillar Inc. Vehicle collision avoidance system
EP2181880B1 (en) * 2008-11-04 2012-01-04 Volvo Car Corporation Electronic arrangement for controlling a signal from an instrument
FR2942342B1 (fr) * 2009-02-13 2011-03-18 Peugeot Citroen Automobiles Sa Dispositif de fourniture d'images representatives de la zone avant situee devant un vehicule et de la position de ce dernier dans la zone situee en aval de cette zone avant, et procede associe
JP2010258691A (ja) * 2009-04-23 2010-11-11 Sanyo Electric Co Ltd 操縦支援装置
JP5299101B2 (ja) * 2009-06-11 2013-09-25 コニカミノルタ株式会社 周辺表示装置
JP2011080845A (ja) * 2009-10-06 2011-04-21 Topcon Corp ３次元データ作成方法及び３次元データ作成装置
WO2011042876A1 (en) * 2009-10-07 2011-04-14 Alon Atsmon Automatic content analysis method and system
JP5135380B2 (ja) * 2010-04-12 2013-02-06 住友重機械工業株式会社 処理対象画像生成装置、処理対象画像生成方法、及び操作支援システム
JP5444139B2 (ja) * 2010-06-29 2014-03-19 クラリオン株式会社 画像のキャリブレーション方法および装置
US20130286163A1 (en) * 2010-11-08 2013-10-31 X6D Limited 3d glasses
EP2705664A2 (en) 2011-05-03 2014-03-12 Atsmon, Alon Automatic image content analysis method and system
JP5799631B2 (ja) * 2011-07-20 2015-10-28 日産自動車株式会社 車両用画像生成装置及び車両用画像生成方法
FR2979311B1 (fr) * 2011-08-31 2014-08-15 Peugeot Citroen Automobiles Sa Dispositif de traitement pour associer a un element graphique une couleur en fonction d'un niveau de risque de collision d'un obstacle avec une trajectoire future d'un vehicule, pour un systeme d'aide a la conduite
DE102011082475A1 (de) * 2011-09-12 2013-03-14 Robert Bosch Gmbh Fahrerassistenzsystem zur Unterstützung eines Fahrers in kollisionsrelevanten Situationen
DE102011083770A1 (de) * 2011-09-29 2013-04-04 Bayerische Motoren Werke Aktiengesellschaft Verfahren zur rechnergestützten Verarbeitung des Nahfeldes eines Fahrzeugs
EP2581268B2 (en) * 2011-10-13 2019-09-11 Harman Becker Automotive Systems GmbH Method of controlling an optical output device for displaying a vehicle surround view and vehicle surround view system
JP5811804B2 (ja) * 2011-11-24 2015-11-11 トヨタ自動車株式会社 車両用周辺監視装置
TWI474173B (zh) * 2012-02-21 2015-02-21 Hon Hai Prec Ind Co Ltd 行走輔助系統及行走輔助方法
US8768583B2 (en) 2012-03-29 2014-07-01 Harnischfeger Technologies, Inc. Collision detection and mitigation systems and methods for a shovel
KR101896715B1 (ko) * 2012-10-31 2018-09-07 현대자동차주식회사 주변차량 위치 추적 장치 및 방법
US9877011B2 (en) 2013-03-19 2018-01-23 Hitachi Kokusai Electric Inc. Image display apparatus and image display method
DE102013107578A1 (de) 2013-07-17 2015-01-22 Dr. Ing. H.C. F. Porsche Aktiengesellschaft Verfahren und System zum Simulieren von Kameraeigenschaften
WO2017038166A1 (ja) * 2015-08-28 2017-03-09 ソニー株式会社 情報処理装置、情報処理方法及びプログラム
CN108140309B (zh) * 2015-11-20 2020-12-08 三菱电机株式会社 驾驶辅助装置、驾驶辅助***以及驾驶辅助方法
JP6555195B2 (ja) * 2016-06-13 2019-08-07 株式会社デンソー 画像生成装置
KR102462502B1 (ko) * 2016-08-16 2022-11-02 삼성전자주식회사 스테레오 카메라 기반의 자율 주행 방법 및 그 장치
US10315649B2 (en) * 2016-11-29 2019-06-11 Ford Global Technologies, Llc Multi-sensor probabilistic object detection and automated braking
JP7157409B2 (ja) * 2017-08-04 2022-10-20 日本電気株式会社 三次元画像生成装置、三次元画像生成方法、および三次元画像生成プログラム
DE102017218090A1 (de) * 2017-10-11 2019-04-11 Robert Bosch Gmbh Verfahren zur Darstellung von Bildern eines Kamerasystems eines Fahrzeugs
JP2019129383A (ja) * 2018-01-23 2019-08-01 アルパイン株式会社 映像処理装置
FR3098620B1 (fr) * 2019-07-12 2021-06-11 Psa Automobiles Sa Procédé de génération d’une représentation visuelle de l’environnement de conduite d’un véhicule

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2000064117A1 (en) * 1999-04-16 2000-10-26 Telefonaktiebolaget Lm Ericsson (Publ) Data processing in an access node
JP2002029346A (ja) * 2000-07-14 2002-01-29 Hiroyuki Yokozawa 自動車の運転支援システム及び運転支援プログラムを記録した記録媒体
JP2002314991A (ja) * 2001-02-09 2002-10-25 Matsushita Electric Ind Co Ltd 画像合成装置

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1179958B1 (en) * 1999-04-16 2012-08-08 Panasonic Corporation Image processing device and monitoring system
JP2002362270A (ja) * 2001-06-11 2002-12-18 Matsushita Electric Ind Co Ltd 運転支援装置

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2000064117A1 (en) * 1999-04-16 2000-10-26 Telefonaktiebolaget Lm Ericsson (Publ) Data processing in an access node
JP2002029346A (ja) * 2000-07-14 2002-01-29 Hiroyuki Yokozawa 自動車の運転支援システム及び運転支援プログラムを記録した記録媒体
JP2002314991A (ja) * 2001-02-09 2002-10-25 Matsushita Electric Ind Co Ltd 画像合成装置

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010136263A (ja) * 2008-12-08 2010-06-17 Brother Ind Ltd ヘッドマウントディスプレイ

Also Published As

Publication number Publication date
JP2005268847A (ja) 2005-09-29
US20070009137A1 (en) 2007-01-11

Similar Documents

Publication Publication Date Title
WO2005088971A1 (ja) 画像生成装置、画像生成方法、および画像生成プログラム
CN109360245B (zh) 无人驾驶车辆多相机***的外参数标定方法
EP3008708B1 (en) Vision augmented navigation
JP5208203B2 (ja) 死角表示装置
JP4696248B2 (ja) 移動体ナビゲート情報表示方法および移動体ナビゲート情報表示装置
JP5157067B2 (ja) 自動走行用マップ作成装置、及び自動走行装置。
US7321386B2 (en) Robust stereo-driven video-based surveillance
Li et al. Easy calibration of a blind-spot-free fisheye camera system using a scene of a parking space
CN110174093A (zh) 定位方法、装置、设备和计算机可读存储介质
KR102200299B1 (ko) 3d-vr 멀티센서 시스템 기반의 도로 시설물 관리 솔루션을 구현하는 시스템 및 그 방법
JP2006250917A (ja) 高精度ｃｖ演算装置と、この高精度ｃｖ演算装置を備えたｃｖ方式三次元地図生成装置及びｃｖ方式航法装置
JP2004198212A (ja) 移動体周辺監視装置
KR102167835B1 (ko) 영상 처리 방법 및 장치
JP2003044996A (ja) 障害物検出装置
JP2011170599A (ja) 屋外構造物計測装置及び屋外構造物計測方法
JP2020126612A (ja) スマートフォンを利用する歩行者を保護するための先端歩行者補助システムを提供する方法及び装置
KR20200043252A (ko) 차량의 부감 영상 생성 시스템 및 그 방법
JP7372970B2 (ja) 情報処理システム、センサシステム、情報処理方法及びプログラム
JP2000293693A (ja) 障害物検出方法および装置
CN108195359B (zh) 空间数据的采集方法及***
KR100550430B1 (ko) 3차원 정보를 이용한 이동체의 주행 안내장치 및 방법
JP2017182564A (ja) 位置合わせ装置、位置合わせ方法及び位置合わせ用コンピュータプログラム
JP2005258792A (ja) 画像生成装置、画像生成方法、および画像生成プログラム
Trusheim et al. Cooperative image orientation considering dynamic objects
Kloeker et al. Comparison of Camera-Equipped Drones and Infrastructure Sensors for Creating Trajectory Datasets of Road Users.

Legal Events

Date Code Title Description
AK Designated states

Kind code of ref document: A1

Designated state(s): AE AG AL AM AT AU AZ BA BB BG BR BW BY BZ CA CH CN CO CR CU CZ DE DK DM DZ EC EE EG ES FI GB GD GE GH GM HR HU ID IL IN IS KE KG KP KR KZ LC LK LR LS LT LU LV MA MD MG MK MN MW MX MZ NA NI NO NZ OM PG PH PL PT RO RU SC SD SE SG SK SL SM SY TJ TM TN TR TT TZ UA UG US UZ VC VN YU ZA ZM ZW

AL Designated countries for regional patents

Kind code of ref document: A1

Designated state(s): BW GH GM KE LS MW MZ NA SD SL SZ TZ UG ZM ZW AM AZ BY KG KZ MD RU TJ TM AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HU IE IS IT LT LU MC NL PL PT RO SE SI SK TR BF BJ CF CG CI CM GA GN GQ GW ML MR NE SN TD TG

121 Ep: the epo has been informed by wipo that ep was designated in this application
WWE Wipo information: entry into national phase

Ref document number: 11519333

Country of ref document: US

NENP Non-entry into the national phase

Ref country code: DE

WWW Wipo information: withdrawn in national office

Country of ref document: DE

WWP Wipo information: published in national office

Ref document number: 11519333

Country of ref document: US

122 Ep: pct application non-entry in european phase