WO2015045568A1 - 予測進路提示装置及び予測進路提示方法 - Google Patents

予測進路提示装置及び予測進路提示方法 Download PDF

Info

Publication number
WO2015045568A1
WO2015045568A1 PCT/JP2014/068564 JP2014068564W WO2015045568A1 WO 2015045568 A1 WO2015045568 A1 WO 2015045568A1 JP 2014068564 W JP2014068564 W JP 2014068564W WO 2015045568 A1 WO2015045568 A1 WO 2015045568A1
Authority
WO
WIPO (PCT)
Prior art keywords
vehicle
tire
captured image
predicted
image
Prior art date
Application number
PCT/JP2014/068564
Other languages
English (en)
French (fr)
Inventor
照久 高野
秋彦 香西
真史 安原
Original Assignee
日産自動車株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 日産自動車株式会社 filed Critical 日産自動車株式会社
Priority to CN201480052393.9A priority Critical patent/CN105580359B/zh
Priority to EP14846989.3A priority patent/EP3051807B1/en
Priority to JP2015538975A priority patent/JP6213567B2/ja
Priority to US15/024,000 priority patent/US9683861B2/en
Publication of WO2015045568A1 publication Critical patent/WO2015045568A1/ja

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B60R1/23—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B60R1/28—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with an adjustable field of view
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/10—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to vehicle motion
    • B60W40/101—Side slip angle of tyre
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B62—LAND VEHICLES FOR TRAVELLING OTHERWISE THAN ON RAILS
    • B62D—MOTOR VEHICLES; TRAILERS
    • B62D15/00—Steering not otherwise provided for
    • B62D15/02—Steering position indicators ; Steering position determination; Steering aids
    • B62D15/029—Steering assistants using warnings or proposing actions to the driver without influencing the steering system
    • B62D15/0295—Steering assistants using warnings or proposing actions to the driver without influencing the steering system by overlaying a vehicle path based on present steering angle over an image without processing that image
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34—Route searching; Route guidance
    • G01C21/36—Input/output arrangements for on-board computers
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/13—Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/90—Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/304—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing using merged images, e.g. merging camera image with stored images
    • B60R2300/305—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing using merged images, e.g. merging camera image with stored images merging camera image with lines or icons
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/806—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for aiding parking
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2520/00—Input parameters relating to overall vehicle dynamics
    • B60W2520/20—Sideslip angle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle

Definitions

  • the present invention relates to a predicted route presentation apparatus and a predicted route presentation method for calculating and presenting a predicted vehicle route.
  • the terminal device When presenting the predicted course of the vehicle according to the steering angle on the display of a portable terminal device not incorporated in the in-vehicle device, the terminal device must sequentially acquire steering signals from the in-vehicle device, and There is a problem that the processing takes time and the timing of presenting the predicted route may be delayed.
  • the problem to be solved by the present invention is that the portable terminal device not incorporated in the on-vehicle device presents the predicted route of the vehicle without delay.
  • the predicted course presentation apparatus detects the turning angle of the tire from the features of the edge of the image captured by the on-vehicle camera, and presents a predicted course based on the center of rotation of the vehicle calculated based on the turning angle.
  • the predicted route is obtained based on the information extracted from the captured image of the on-vehicle camera without acquiring detection information such as the steering angle from the on-vehicle apparatus, so the process for presenting the predicted route is simple.
  • the forecasted course can be presented in a short processing time.
  • the predicted route of the vehicle can be presented without delay.
  • FIG. 2A It is a figure which shows an example of the captured image of camera 1b, 1d shown to FIG. 2B. It is a 1st figure for demonstrating the calculation method of the estimation
  • FIG. 1 is a block diagram of a predicted course presentation system 1000 according to the present embodiment.
  • the predicted course presentation system 1000 of the present embodiment includes a portable predicted course presentation apparatus 100 and an on-vehicle apparatus 200 that can be carried.
  • the portable prediction route presentation device 100 is also referred to as a terminal device 100.
  • the in-vehicle apparatus 200 includes one or more cameras 1 a to 1 d (hereinafter sometimes collectively referred to as a camera 1), a communication device 2, and a vehicle controller 3.
  • the camera 1, the communication device 2, and the vehicle controller 3 included in the in-vehicle device 200 are connected by a CAN (Controller Area Network) or another in-vehicle LAN, and can exchange information with each other.
  • CAN Controller Area Network
  • the cameras 1a to 1d are configured using imaging elements such as CCDs (Charge Coupled Devices).
  • CCDs Charge Coupled Devices
  • FIG. 2A is a view showing an arrangement example when the cameras 1a to 1d are attached to the vehicle V.
  • the cameras 1a to 1d are respectively installed at different positions outside the vehicle V and take images in four directions around the vehicle.
  • the camera 1a installed at a predetermined position in front of the vehicle V such as a front grille, is an image of an object or road surface existing in the area SP1 in front of the vehicle V Shoot (front view image).
  • the camera 1b installed at a predetermined position on the left side of the vehicle V, such as the left side mirror portion, is an image of an object or road surface existing in the space SP2 on the left side of the vehicle V and the surrounding area (left side view image) To shoot.
  • the camera 1d installed at a predetermined position on the right side of the vehicle V, such as the right side mirror portion, is an image of an object or road surface existing in the space SP4 on the right side of the vehicle V and the surrounding area (right side view image) To shoot.
  • the rear of the vehicle in the present embodiment includes not only directly behind but also the rear left and right sides.
  • the front of the vehicle includes not only the front but also the left and right sides of the front.
  • Image processing is performed on the captured images captured by the cameras 1a to 1d to generate a desired monitoring image.
  • FIG. 2B is a view of the camera 1 d of the right door mirror shown in FIG. 2A as viewed from the front side of the vehicle.
  • the camera 1b of the left door mirror appears symmetrically with the camera 1d of the right door mirror, and thus the illustration thereof is omitted.
  • a camera 1d (1b) is provided in a housing H of a right door mirror (left door mirror).
  • the camera 1d (1b) is attached so that the imaging direction is directed to the lower side of the vehicle, that is, the traveling road surface side in a normal state.
  • the camera 1 d (1 b) is configured using an imaging element such as a CCD (Charge Coupled Devices) and captures an image in a predetermined imaging direction.
  • CCD Charge Coupled Devices
  • the illuminating device LP which functions as a hazard lamp is provided in the door mirror of this embodiment.
  • the lighting device LP provided on the door mirror emits light near the tire when it is lit.
  • the illumination device LP functions as a hazard lamp and also functions as a flash device that emits light when the camera 1 captures an image.
  • the door mirror of the present embodiment is provided with a lightness detection device LD that detects the brightness of the surroundings.
  • the cameras 1d, 1b function as a lightness detection device LD that detects ambient brightness.
  • the lightness detection device LD may be provided separately from the cameras 1d and 1b.
  • a housing drive mechanism HM including a motor for rotationally driving the housing H of each door mirror DM is provided inside the housing H of each door mirror DM provided with the cameras 1 d and 1 b of the present embodiment.
  • Each housing drive mechanism HM of the present embodiment shows each housing H in the figure when power is supplied according to a drive command from the on-vehicle apparatus 200 or an external terminal device 100 or an input command from a mirror control switch.
  • the axis, the y axis, and the z axis are rotationally driven as rotation axes, and the direction of each door mirror DM is changed vertically and horizontally.
  • the x-axis is along the axle direction of the vehicle
  • the y-axis is along the longitudinal direction of the vehicle
  • the z-axis is along the height direction (gravity direction) of the vehicle.
  • the right door mirror DM shown in FIG. 2B can be changed in direction with the y-axis as a rotation axis by each housing drive mechanism HM.
  • the portion shown by the point Q in the housing H in FIG. 2B can be moved downward (z-axis side) along the trajectory q. That is, it is possible to shift the imaging direction of the camera 1d imaging the lower direction substantially at right angles to the road surface to the vicinity of the tire of the vehicle V or the side surface (wheel) side of the tire.
  • the camera 1d, 1b can capture the side surface of the tire of the vehicle V and the boundary between the tire and the wheel.
  • the housing H of the door mirror DM with the z axis as the rotation axis the imaging positions of the cameras 1d, 1d can be approached and separated with respect to the vehicle body, and the door mirrors 1, 2 are stored Can be folded).
  • the housing H of the door mirror DM with the x axis as the rotation axis the imaging directions of the cameras 1d can be adjusted back and forth.
  • Each housing drive mechanism HM is not limited to one direction according to a drive command including designation of one or more components of the x-axis component, the y-axis component, and the z-axis component from the in-vehicle device 200 and the terminal device 100. H and the cameras 1d, 1b can be oriented in any direction. As described above, by operating the housing drive mechanism HM, usually, the vicinity of the tire and the vicinity of the road shoulder of the road can be imaged, and as necessary, the vicinity of the tire and the side surface of the tire can be imaged.
  • the specific configuration and operation of each housing drive mechanism HM described above is not particularly limited, and a mechanism used for a door mirror control system known at the time of filing can be appropriately used.
  • the side surface of the tire of the vehicle V is imaged by the cameras 1d (1b) provided on the left and right door mirrors.
  • FIG. 2C is an example of a captured image captured by the camera 1 b including the boundary between the tire and the wheel.
  • the side of the tire of the vehicle V may be imaged, or the camera 1d, 1b may be moved to image the side of the tire of the vehicle V.
  • a vehicle lateral reference line along the side surface on the left side of the vehicle and a front end reference line indicating an indication of the front position along the vehicle width direction of the vehicle may be displayed superimposed. .
  • the communication device 2 of the in-vehicle device 200 sends the captured image captured by the camera 1 and the monitoring image generated by the in-vehicle device 200 to the terminal device 100.
  • the camera 1 may be provided with a wireless communication function, and the captured image may be transmitted from the camera 1 to the terminal device 100.
  • the camera 1 may be equipped with a wireless communication function and an image processing function, and the monitoring image may be sent to the terminal device 100.
  • the terminal device 100 acquires at least one of a captured image captured by the camera 1 via a wireless communication network and a monitoring image edited by the in-vehicle device 200.
  • An identifier according to the arrangement (address) of each camera 1 is attached to the image captured by each camera 1, and the terminal device 100 relates to which area each captured image relates to based on each identifier. It can be identified.
  • a method of image conversion processing for obtaining a viewpoint conversion image by coordinate conversion and a generation method of a monitoring apparatus for looking around the vehicle from the viewpoint conversion image are not particularly limited, and methods known at the time of filing can be appropriately applied.
  • the monitoring image in the present embodiment is an aspect of a captured image that looks around the vehicle periphery generated from a plurality of captured images. That is, the captured image includes the monitoring image subjected to the viewpoint conversion process.
  • the monitoring image in the present embodiment is a predetermined projection plane that looks down from a predetermined viewpoint above the vehicle using the imaging parameters defined for each vehicle type, of the captured images around the plurality of vehicles captured by the camera 1 It is a viewpoint-transformed image subjected to coordinate transformation.
  • An image of a predetermined area is cut out according to a display area in which information is presented in the presentation device 30 of the terminal device 100 and a display mode from a viewpoint conversion image obtained by viewpoint conversion of each captured image, and each image is monitored in which direction Add a code to identify if it is an image.
  • Each viewpoint conversion image is arranged with reference to this identification code, and a surveillance image showing a video of looking down on the vehicle from above the vehicle is generated.
  • the monitoring image is presented to the presentation device 30 in a predetermined manner.
  • the monitoring image generation processing may be performed on the side of the on-vehicle apparatus 200, and the monitoring image may be transmitted to the terminal device 100.
  • Acquisition of a captured image of each camera 1 and generation of a viewpoint conversion image may be performed by the on-vehicle apparatus 200, sent out to the terminal device 100, and the terminal device 100 may perform final monitoring image generation processing.
  • the terminal device 100 (prediction route presentation device 100) of the present invention will be described.
  • the terminal device 100 according to the present embodiment is a portable portable terminal device having a communication function such as a smartphone or a tablet type terminal.
  • the terminal device 100 of the present embodiment includes a control device 10, a communication device 20, a presentation device 30, and an acceleration sensor 40.
  • the communication device 20 exchanges information with the communication device 2 of the external on-vehicle device 200.
  • the communication device 20 acquires a captured image from the in-vehicle device 200.
  • generated from a captured image is contained in the "captured image" of this invention.
  • the presentation device 30 of the terminal device 100 presents a predicted route, which will be described later, in a predetermined display manner in the display area according to an instruction of the control device 10, which will be described later.
  • the display mode in the present embodiment is a rule regarding display such as the type, the number, the size, the display time, and the display cycle of the image to be displayed.
  • the display mode is stored in the presentation device 30 of the terminal device 100 as the display information 21.
  • the presentation device 30 is, for example, a display 31 and a speaker 32.
  • the presentation device 30 of the present embodiment presents a plurality of predicted passing points that constitute a predicted passage.
  • the predicted passing points are a plurality of discrete points constituting the predicted path.
  • the driver can predict the movement of the host vehicle by confirming the position of the predicted passing point.
  • the processing cost can be reduced as compared to calculating and presenting a predicted route.
  • the presentation device 30 of the present embodiment arranges the predicted passing points such that the intervals of the predicted passing points become uniform in the display coordinate system of the display 31 included in the presentation device 30.
  • the distance of each predicted passing point in front of the vehicle is short, and the distance of each predicted passing point in the back far from the vehicle is long Become.
  • the predicted route obtained by connecting the predicted passing points will not be a smooth line, and will deviate from the actual movement of the vehicle.
  • the predicted route obtained by connecting the predicted passing points is a smooth line according to the actual movement of the vehicle. Can be presented.
  • the presentation device 30 of the present embodiment superimposes and displays the predicted route and / or the predicted passing point on the captured image (including the monitoring image generated from the captured image).
  • the driver can easily confirm the position of the host vehicle and the situation around the host vehicle while moving by presenting the predicted route and the predicted passing point superimposed on the captured image.
  • the acceleration sensor 40 of the present embodiment detects an acceleration according to the movement of the terminal device 100.
  • the movement direction and movement speed of the terminal device 100 can be acquired from the output value of the acceleration sensor 40.
  • the output value of the acceleration sensor 40 of the terminal device 100 can be regarded as the moving direction and the moving speed of the vehicle. That is, based on the output value of the acceleration sensor 40, the terminal device 100 can determine whether the vehicle is in the straight ahead state, the vehicle is in the right steering state, or the vehicle is in the left steering state.
  • the control device 10 of the present embodiment will be described.
  • the control device 10 executes a program stored in a ROM (Read Only Memory) 12 storing a program for controlling an operation for deriving and presenting a predicted route, and the program stored in the ROM 12 to thereby obtain a predicted route presentation device 100.
  • the computer includes a central processing unit (CPU) 11 as an operating circuit that functions and a random access memory (RAM) 13 that functions as an accessible storage device.
  • Control device 10 of prediction course presentation device 100 concerning this embodiment can perform each function by cooperation of the software for realizing a control function, and the hardware mentioned above.
  • Control device 10 acquires a captured image of the surroundings of the vehicle via communication device 20.
  • This captured image is captured by the on-vehicle camera 1 and acquires a captured image including at least a part of the tire of the vehicle.
  • a captured image including the tire is acquired.
  • the captured image does not have to include the entire image of the tire, and may include a partial image of the tire.
  • the color of the tire is generally black and the color of the wheel is generally white to metallic.
  • the boundary between the two companies can be accurately detected as an edge image.
  • a captured image including the boundary between the tire and the road surface may be acquired.
  • the boundary can be detected as an edge image.
  • the captured image including at least a part of the tire can be captured by the cameras 1b and 1d (see FIGS. 2A and 2B) provided near the left and right door mirrors described above.
  • the control device 10 selects a captured image to be acquired according to the turning state of the vehicle. Specifically, when the vehicle is steered to the right, the control device 10 acquires a right captured image captured by the right camera 1d provided on the right of the vehicle, and the vehicle is steered to the left. In this case, the left side captured image captured by the left camera 1b provided on the left side of the vehicle is acquired.
  • the front wheel is inclined in the right direction, so the image of the boundary between the front wheel and the wheel is displayed in the captured image of the camera 1d of the right side mirror.
  • the captured image of the camera 1b of the left side mirror is mainly an image of the rear to the inside of the front wheel tire, and an image of the boundary between the tire and the wheel is not included as a shadow of the tire.
  • the control device 10 selects a captured image to be acquired according to the state of right steering or left steering. Since it is possible to acquire only a captured image in which the tire turning angle can be detected and not obtain a captured image in which the tire turning angle can not be detected, unnecessary communication processing can be avoided.
  • the determination as to whether the vehicle is steered to the right or to the left is determined based on the detection result of the acceleration sensor (G sensor) 40 provided in the terminal device 100 brought into the vehicle and moved together with the vehicle. it can.
  • the turning direction of the vehicle may be determined based on the direction of the optical flow of the captured image in front of the vehicle. Further, blinker information of the on-vehicle apparatus 200 may be acquired.
  • the control device 10 of the present embodiment calculates a predicted route of the vehicle.
  • FIG. 3A shows a situation in which the vehicle V retreats (travels in the opposite direction to the forward direction F).
  • the vehicle rotates the steering wheel and moves backward while steering, the vehicle moves along the predicted passing points WRP and WLP.
  • a line connecting the predicted passing points WRP and WLP is a predicted route WR or WL along a locus of a tire on which the vehicle is predicted to move.
  • the vehicle V moves along a locus WR, WL of an arc centered on the rotation center Q.
  • the distance between the side surface of the vehicle and the predicted route WR, WL is 0.25 m, and the predicted route WR 3.0 m extending from the position 0.5 m to the position 3.5 m from the rear end of the vehicle Calculate WL.
  • the respective values for defining the route prediction lines WR and WL are not particularly limited, and are appropriately determined depending on the size of the vehicle, the model of the vehicle, and the situation where the function is used (for example, the size of the parking frame). It can be set.
  • the turning angle (steering angle) of the steering wheel is proportional to the turning angle of the tire.
  • the turning angle of the tire can be obtained from the steering angle.
  • the turning angle of the tire becomes 31 degrees when the angle is 580 degrees (the steering wheel is rotated for one and a half rotations or more). It is configured.
  • the wheel base W is the distance between the front tires SFL and SFR and the rear wheels SRL and SRR.
  • the value of the wheel base W may be previously set to one value or a value according to the vehicle type, or may be acquired from the in-vehicle apparatus 200 or a server outside the figure.
  • the turning center Q can be obtained from the relationship with the position of the host vehicle. As a result, it is possible to obtain the predicted paths WR and WL based on the rotation center Q. As described above, if the steering angle of the steering wheel and the wheel base information are acquired, it is possible to calculate the predicted course of the vehicle.
  • the terminal device 100 it takes time for the terminal device 100 to obtain information such as the steering angle of the vehicle from the in-vehicle device 200 and to process the information, and the presentation timing of the predicted route is delayed.
  • the predicted route in the past whose presentation timing is delayed will be meaningless information for the driver.
  • the predicted route presentation device (terminal device) 100 can calculate the predicted route without using the steering angle of the vehicle (the detected value of the vehicle).
  • the predicted course presentation device (terminal device) 100 according to the present embodiment detects the tire breakage from the captured image of the on-vehicle camera, calculates the rotation center of the vehicle from the tire turning angle, and uses the rotation center as a reference. Present the expected course. As a result, it is possible to reduce the processing cost for the portable terminal device 100 not incorporated in the on-vehicle device to present the predicted route, and to shorten the time required for the presentation processing.
  • FIG. 4 is a view showing an example of a captured image including a tire. As shown in FIG. 4, there is a difference in brightness between a black tire and a white (metallic) wheel, and edge information based on lightness can be detected. An edge straight line E is obtained by connecting edge groups whose edge directions show changes within a predetermined value range. The corner angle of the tire is detected from this straight line.
  • the method for detecting the turning angle of the tire from the captured image is not particularly limited, but as shown in FIG.
  • a vehicle lateral reference line T1 along the left and right side surfaces of the vehicle (that is, along the vehicle length direction)
  • the angle ⁇ formed by the edge straight line can be set as the tire turning angle.
  • the vehicle lateral reference line T1 in this example is a straight line substantially perpendicularly intersecting the front end reference line T1 along the vehicle width direction of the vehicle.
  • the reference line for detecting the turning angle of the tire can be set appropriately.
  • the edge information based on lightness is extracted from an area close to the road surface and an area where the distance (height) from the road surface is the smallest, from the viewpoint that the turning angle ⁇ of the tire is preferably obtained from the edge line of the tire in contact with the road surface. Is preferred. That is, the edge straight line E is preferably obtained from the edge obtained at the lowest position of the wheel.
  • the first modification is a method of using correspondence information in which the inclination of an edge and the corner angle of a tire are associated in advance.
  • the control device 10 refers to correspondence information in which the inclination of the edge of the tire detected from the captured image in a state in which the tire corner angle is maintained is associated with the tire corner angle in advance.
  • the tire turning angle ⁇ is detected from the inclination of the extracted tire edge (edge line E). If the position of the edge of the tire to be detected is different, the turning angle of the tire may not be accurately detected. As shown in FIG. 3B, when the steering angle is known, the turning angle of the tire can be accurately known.
  • the on-vehicle camera 1 attached to the side mirror captures a tire in a state where a predetermined steering angle is maintained
  • the inclination of the edge of the tire image in the obtained captured image is correlated. Keep it.
  • the predetermined steering angle in the correspondence information is the maximum steering angle.
  • the driver performs the initial operation at the maximum steering angle, so it is possible to calculate a predicted route according to the actual steering.
  • the second modified example is a method of using pattern matching of an image by correlating the feature pattern of the image of the tire with the corner angle of the tire in advance.
  • the control device 10 refers to correspondence information in which the tire corner angle and the feature pattern of the tire image detected from the sensed image in a state where the tire corner angle is maintained is referred to in advance.
  • the tire turning angle is detected from the feature pattern that most closely matches the edge feature of the tire extracted from the above.
  • the cornering angle of the tire may not be accurately detected.
  • FIG. 3B when the steering angle is known, the turning angle of the tire can be accurately known.
  • the on-vehicle camera 1 attached to the side mirror captures a tire while maintaining a predetermined steering angle
  • the feature of the tire image and the inclination of the edge in the obtained captured image are calculated. Make it correspond.
  • a plurality of features of the captured image obtained at the time of calculation of the predicted path are matched with the feature pattern of the image of the correspondence information to extract the feature pattern having the highest degree of coincidence.
  • the inclination of the edge associated with the extracted feature pattern is taken as the turning angle of the tire of the vehicle to be detected.
  • the predetermined steering angle in the correspondence information is the maximum steering angle.
  • the driver performs the initial operation at the maximum steering angle, so it is possible to calculate a predicted route according to the actual steering.
  • the control device 10 detects the tire turning angle from the captured image of the right camera 1 d including the boundary between the tire and the wheel whose edge is easy to detect.
  • the tire turning angle is detected from the captured image of the left camera 1b including the boundary between the tire and the wheel whose edge is easy to detect.
  • the captured image to be acquired may be selected according to the turning state, but even if the captured image of each of the cameras 1a to 1d is acquired for reasons such as use as a monitoring image, the turning The turning angle of the tire is calculated based on the captured image corresponding to the direction. This makes it possible to calculate an accurate predicted route from the accurate tire turning angle.
  • the judgment method of the steering state of a vehicle can use the method described by description of the image acquisition function.
  • a picked-up image with few shadow areas is selected as a picked-up image used when calculating the turning angle of the tire.
  • the control device 10 of the present embodiment detects the turning angle of the tire using a captured image with few shadow areas with low lightness. Specifically, shadow areas having lightness less than a predetermined value are respectively extracted from a plurality of captured images captured by a plurality of cameras 1a to 1d provided at different positions of the vehicle. The control device 10 selects a captured image with a low area ratio occupied by the shadow region extracted in each captured image, that is, a captured image with a small shadow region.
  • the control device 10 detects the turning angle of the tire based on the feature of the edge of the tire extracted from the selected captured image. As described above, it is possible to calculate an accurate predicted course by avoiding a captured image including many shadow areas where the edge can not be accurately detected and detecting an accurate tire turning angle from the captured image with a small number of shadow areas.
  • the picked-up image picked up after turning on the illumination device LP is used to calculate the turning angle of the tire. Choose as.
  • the control device 10 of the present embodiment outputs a lighting command to light the lighting device LP.
  • This lighting instruction is output to the lighting device LP via the vehicle controller 3 of the on-vehicle device 200, and turns on the lighting device LP.
  • the illumination device LP is turned on to accurately detect an edge from a captured image captured under sufficient lightness. This makes it possible to calculate an accurate predicted route from the accurate tire turning angle.
  • the control device 10 of the terminal device 100 of the present embodiment obtains the turning angle of the tire of the host vehicle. Then, the control device 10 calculates the rotation center of the vehicle based on the obtained turning angle, and calculates a predicted course of the vehicle based on the rotation center.
  • the center Q can be determined.
  • the center of rotation of the vehicle is calculated from the corner angle of the tire, and a predicted course based on the center of rotation is derived.
  • the value of the wheel base W may be obtained in advance at the time of activation of one value or a value according to the vehicle type, or may be stored in the terminal device 100 in advance.
  • the method of the present embodiment it is possible to calculate the predicted route without sequentially acquiring detection information such as a steering angle which is required when calculating the predicted route.
  • the control device 10 of the terminal device 100 of the present embodiment causes the display 31 of the terminal device 100 to present the calculated predicted course.
  • the control device 10 refers to the information on the size, layout, position, and pixel of the display area of the display 31 and presents the obtained predicted course on the display 31.
  • the predicted route is presented by superimposing on the monitoring image (captured image, viewpoint conversion image). That is, the predicted route is drawn based on the coordinates of the monitoring image.
  • the predicted route is obtained from the captured image of the on-vehicle camera 1 without acquiring the detection results of the vehicle speed sensor, the steering sensor, etc.
  • the process for presenting the predicted course is simplified, and the predicted course can be presented in a short processing time.
  • the predicted route of the vehicle can be presented in real time to a portable terminal device not incorporated in the in-vehicle device.
  • FIG. 5 is a flowchart showing the control procedure of the predicted route presentation system 1000 according to the present embodiment
  • FIG. 6 is a flowchart showing the control procedure of the predicted route calculation method shown in FIG.
  • Steps 101 to 105 are processing on the in-vehicle apparatus 200 side, and steps 201 to 203 are processing on the terminal apparatus 100 side.
  • step 101 the camera 1 of the in-vehicle apparatus 200 of the present embodiment captures an image of the surroundings of the vehicle to acquire a captured image.
  • the image processing function provided in the vehicle controller 3 of the in-vehicle apparatus 200 refers to conversion information such as imaging parameters and reads out an imaging parameter according to the type of vehicle of the host vehicle included in the conversion information.
  • the imaging parameter according to the vehicle type of the own vehicle may be acquired from an external server via the communication device 2.
  • step 103 the controller 3 of the in-vehicle apparatus 200 performs viewpoint conversion of the captured image using the acquired imaging parameters, and generates a viewpoint conversion image coordinate-converted to a projection plane viewed from a predetermined viewpoint above the vehicle.
  • step 104 the image processing function of the in-vehicle apparatus 200 acquires display information including the display area of the terminal device 100 and the display mode. Then, in step 105, the image processing function generates a monitoring image corresponding to the display area and the display mode of the terminal device 100 from the viewpoint conversion image. The in-vehicle device 200 sends the generated monitoring image to the terminal device 100. The generation of the monitoring image according to the display information of the terminal device 100 may be performed on the terminal device 100 side. In that case, the in-vehicle device 200 skips from step 101 to step 105, and sends out the captured image of the camera 1 acquired in the step to the terminal device 100 as it is.
  • step 201 which is processing of the terminal device 100
  • the terminal device 100 and the in-vehicle device 200 confirm establishment of wireless communication.
  • the terminal device 100 acquires a monitoring image generated by the in-vehicle device 200.
  • the terminal device 100 presents the acquired monitoring image on the display 31 in accordance with a predetermined display rule.
  • the terminal device 100 calculates a predicted route, and draws this on the monitoring image.
  • FIG. 6 is a flow chart showing a subroutine of step 203 of FIG.
  • step 21 the control device 10 of the terminal device 100 acquires information as to whether or not the vehicle is going straight. It is judged based on the output value of the acceleration sensor 40 with which the terminal device 100 is equipped whether the vehicle is going straight. Of course, steering information of the vehicle may be acquired from the in-vehicle device 200 via the communication device 20. If the vehicle is traveling straight, the process proceeds to step 22. If the vehicle is not traveling straight, the process proceeds to step 23. At step 22, the control device 10 selects the default camera 1. Although not particularly limited, in this example, the camera 1 of the passenger seat is selected.
  • step 23 the terminal device 100 determines whether the vehicle is turned to the right. If the vehicle is turned to the right, the right camera 1 is selected in step 24. If the vehicle is not steered to the right, that is, if it is steered to the left, the left camera 1 is selected in step 25.
  • the camera 1 activated at the time of steering when the vehicle is in the right steering state, a part of the image of the boundary between the tire and the wheel is reliably captured using the camera 1 on the right, and the vehicle In the case of the left steering state, a part of the image of the boundary between the tire and the wheel is reliably captured using the left camera 1.
  • the control device 10 confirms the brightness around the selected camera 1. It is determined whether the lightness detected by the lightness detection function LD included in the camera 1 is equal to or greater than a predetermined value. If the lightness is equal to or greater than the predetermined value, the process proceeds to step 28, and a captured image is acquired. On the other hand, when the lightness is less than the predetermined value, the process proceeds to step 27, and the control device 10 performs an on-vehicle instruction to light the lighting device LP provided in the vicinity of the camera 1 that detects that the degree is less than the predetermined value. Output to the device 200. The vehicle controller 3 of the in-vehicle device 200 lights the illumination device LP provided in the vicinity of the camera 1 which has detected that the lightness is less than the predetermined value.
  • the selected camera 1 captures the vicinity of the tire in an environment of appropriate brightness.
  • the control device 10 of the terminal device 100 acquires a captured image.
  • step S29 when a plurality of captured images are obtained, the control device 10 selects a captured image with a small area of the shadow area. This is because when the shadow of a large area is included, the edge of the tire relative to the road surface or the wheel can not be accurately detected. An area where the lightness of the image is less than a predetermined value is determined as an area to be a shadow.
  • step 30 the control device 10 detects a plurality of tire edges included in the captured image, and detects an angle between the direction in which the edge group extends and the vehicle length direction as the turning angle of the tire.
  • step 31 the control device 10 calculates the current turning radius of the vehicle from the turning angle of the tire. If necessary in this processing, the wheel base value is used to calculate the turning radius of the vehicle.
  • the wheel-based value may be set in advance or may be acquired before processing. When the terminal device 100 is brought into a vehicle and the predicted route presentation function is activated, it may be acquired via the communication device 20.
  • the wheel-based value is a fixed value and can be obtained before processing.
  • the wheelbase value does not change momentarily like the steering angle, so it can be used once it is acquired.
  • step 32 the controller 10 obtains the center of rotation from the calculated radius of rotation.
  • step 33 the control device 10 calculates a predicted path based on the rotation center.
  • step 33 the control device 10 draws the calculated predicted course on the monitoring image (including the captured image and the viewpoint conversion image).
  • FIG. 7A shows a plurality of predicted passing points WP (indicated by circles in the figure) and the predicted left and right tire positions connecting the predicted passing points on a monitoring image (that is, a captured image) not subjected to viewpoint conversion processing.
  • a monitoring image that is, a captured image
  • An example is shown in which the predicted routes WR and WL are superimposed and displayed.
  • the distances between the plurality of predicted passing points WP are adjusted to be equal.
  • the plurality of predicted passing points WP pitches are adjusted to be equal on the display coordinates of the display 31, the predicted paths WR and WL configured from the predicted passing points WP can be displayed as smooth curves.
  • the predicted course that matches the actual movement of the vehicle is displayed on the display 31 so that the occupant does not feel discomfort.
  • FIG. 7B displays the monitoring image (viewpoint conversion image) subjected to viewpoint conversion processing in the left area of the display 31 of the terminal device 100, and displays the monitoring image (captured image) not subjected to viewpoint conversion processing in the right area.
  • An example is shown.
  • a plurality of predicted passing points WP (circled in the figure) are provided for both the monitoring image (viewpoint conversion image) subjected to the viewpoint conversion process and the monitoring image (captured image) not subjected to the viewpoint conversion process.
  • 7 shows an example in which the predicted travel routes WR and WP connecting the predicted passing points are superimposed and displayed.
  • the predicted route presentation device (terminal device) 100 and the predicted route presentation system 1000 according to the embodiment of the present invention configured and operating as described above have the following effects.
  • the tire breakage is detected from the captured image of the in-vehicle camera, the rotation center of the vehicle is calculated from the tire turning angle, and prediction based on the rotation center Since the route is presented, the predicted route can be calculated without using the steering angle (detection value of the vehicle) of the vehicle. That is, since the predicted route is obtained based on the information extracted from the captured image of the on-vehicle camera without sequentially obtaining the detection information such as the steering angle from the on-vehicle apparatus 200, the process for presenting the predicted route is simplified. It is possible to present the predicted course in a short processing time. As a result, even when presenting the predicted course of the vehicle to the portable terminal device 100 not incorporated in the on-vehicle apparatus, it is possible to present the predicted course of the vehicle timely without delay.
  • the inclination of the edge of the tire image in the captured image of the on-vehicle camera 1 in the state where the predetermined steering angle is maintained, and the tire turning angle according to the steering angle In advance, the turning angle of the tire can be accurately determined from the edge angle of the tire image captured by the on-vehicle camera 1 by referring to the correspondence information. This makes it possible to calculate an accurate predicted course based on the correct tire turning angle.
  • the characteristic pattern of the tire image in the captured image of the on-vehicle camera 1 in the state where the predetermined steering angle is maintained, and the tire turning angle according to the steering angle are associated in advance, so that the turning angle of the tire can be accurately obtained from the edge angle of the tire image captured by the on-vehicle camera 1 by referring to the correspondence information. This makes it possible to calculate an accurate predicted course based on the correct tire turning angle.
  • the predicted course presentation device 100 of the present embodiment by selecting the captured image to be acquired according to the state of right steering or left steering, the captured image capable of detecting the turning angle of the tire is acquired.
  • unnecessary communication processing since it is possible to prevent acquisition of a captured image in which the tire turning angle can not be detected, unnecessary communication processing can be avoided.
  • the tire when the vehicle is steered to the right, the tire is taken from the captured image of the right camera 1d that includes the boundary between the tire and the wheel whose edge is easy to detect.
  • the turning angle is detected, and when the vehicle is steered to the left, the tire turning angle is accurately detected by detecting the tire turning angle from the captured image of the left camera 1b including the boundary between the tire and the wheel whose edge is easy to detect.
  • An accurate predicted course can be calculated from the tire turning angle.
  • the lighting device LP when the lightness is less than the predetermined value, the lighting device LP is turned on, and the edge is accurately extracted from the captured image captured under sufficient lightness. To detect This makes it possible to calculate an accurate predicted route from the accurate tire turning angle.
  • the predicted course presentation device 100 of the present embodiment it is generally accurate by detecting the tire turning angle from the captured image including the boundary between the tire and the wheel, which has a high lightness difference and is easy to detect the edge.
  • An accurate predicted course can be calculated from the tire turning angle.
  • a predicted course presentation system 1000 including the predicted course presentation apparatus 100 (terminal apparatus 100) and the on-vehicle apparatus 200 will be described. It is not a thing.
  • the terminal device 100 provided with the control apparatus 10, the communication apparatus 20, the presentation apparatus 30, and the acceleration sensor 40 is demonstrated as 1 aspect of the terminal device which concerns on this invention, it is not limited to this.
  • the on-vehicle apparatus 200 including the cameras 1a to 1d, 1, the communication device 2, and the vehicle controller 3 will be described, but the invention is not limited thereto.
  • a control device 10 that executes an image acquisition function, a predicted course calculation function, and a presentation control function as an aspect of a predicted course presentation apparatus having an image acquisition means, a predicted course calculation means, and a presentation means according to the present invention.
  • the present invention is not limited to this.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Mechanical Engineering (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Transportation (AREA)
  • Automation & Control Theory (AREA)
  • Chemical & Material Sciences (AREA)
  • Combustion & Propulsion (AREA)
  • Mathematical Physics (AREA)
  • Signal Processing (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Traffic Control Systems (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

　車両に設けられたカメラの撮像画像を取得する画像取得機能と、撮像画像に含まれる路面の画像から当該路面に示された線図の端部を検出し、車両の移動に伴う端部の移動距離及び移動方向の変化に基づいて、移動する車両の回転中心を求め、回転中心を基準とする車両の予測進路を算出する予測進路算出機能と、算出された予測進路を提示する提示制御機能と、を実行する制御装置（１０）を備える予測進路提示装置（１００）を提供する。

Description

予測進路提示装置及び予測進路提示方法
　本発明は、予測される車両の進路を算出して提示する予測進路提示装置及び予測進路提示方法に関する。
　本出願は、２０１３年９月２７日に出願された日本国特許出願の特願２０１３―２０００９６４に基づく優先権を主張するものであり、文献の参照による組み込みが認められる指定国については、上記の出願に記載された内容を参照により本出願に組み込み、本出願の記載の一部とする。
　この種の装置に関し、車両のシフトレバーがリバース位置に操作された場合に、車載された車速センサ、ステアリングセンサ等の検出結果と車両のパラメータに基づいて、ナビゲーションＥＣＵにより算出された車両の予測軌跡を、車載カメラが撮像した後方の映像に重畳した画像を表示する運転支援装置が知られている（特許文献１）。
特開２０１２－０１６２１３０号公報
　車載装置に組み込まれていない可搬型の端末装置のディスプレイに操舵角に応じた車両の予測進路を提示する場合には、端末装置が操舵信号を車載装置から逐次取得しなければならず、情報の処理に時間がかかり、予測進路を提示するタイミングが遅れる可能性があるという問題がある。
　本発明が解決しようとする課題は、車載装置に組み込まれていない可搬型の端末装置が、車両の予測進路を遅延することなく提示することである。
　本発明の予測進路提示装置は、車載カメラの撮像画像のエッジの特徴からタイヤの切れ角を検出し、切れ角に基づいて算出された車両の回転中心を基準とする予測進路を提示することにより、上記課題を解決する。
　本発明によれば、車載装置から操舵角等の検出情報を取得することなく、車載カメラの撮像画像から抽出された情報に基づいて予測進路を求めるので、予測進路を提示するための処理が簡潔になり、短い処理時間で予測進路を提示できる。この結果、車載装置に組み込まれていない可搬型の端末装置に車両の予測進路を提示する場合であっても、車両の予測進路を遅延することなく提示できる。
本実施形態の予測進路提示システムの構成図である。 本実施形態のカメラの設置例を示す図である。 図２Ａに示すカメラ１ｂ，１ｄの一例を示す図である。 図２Ｂに示すカメラ１ｂ，１ｄの撮像画像の一例を示す図である。 本実施形態の予想進路の算出手法を説明するための第１の図である。 本実施形態の予想進路を算出する際に利用する操舵角とタイヤの切れ角との関係を示す図である。 本実施形態の予想進路の算出手法を説明するための第２の図である。 本実施形態の予測進路の算出処理を説明するための図である。 本実施形態の予測進路提示システムの制御手順を示すフローチャート図である。 本実施形態の予測進路の算出処理の制御手順を示すフローチャート図である。 予測進路が重畳された監視画像の一例を示す図である。 予測進路が重畳された監視画像の一例を示す図である。
　以下、本発明の実施形態を図面に基づいて説明する。本実施形態では、無線通信網を介して相互に情報の授受を行う、車載装置２００と予測進路提示装置１００とを備える予測進路提示システム１０００に、本発明を適用した場合を例にして説明する。
　図１は、本実施形態に係る予測進路提示システム１０００のブロック構成図である。図１に示すように、本実施形態の予測進路提示システム１０００は、持ち運びが可能な携帯型の予測進路提示装置１００と、車載装置２００とを備える。以下、本明細書において、携帯型の予測進路提示装置１００を、端末装置１００とも称する。
　まず、本実施形態の車載装置２００について説明する。本実施形態の車載装置２００は、一又は複数のカメラ１ａ～１ｄ（以下、カメラ１と総称することもある）と、通信装置２と、車両コントローラ３とを備える。車載装置２００が備えるカメラ１、通信装置２、車両コントローラ３はＣＡＮ（Controller Area Network）その他の車載ＬＡＮによって接続され、相互に情報の授受を行うことができる。
　カメラ１ａ～１ｄ（総称してカメラ１とも称する。以下、同じ。）は、ＣＣＤ（Charge Coupled Devices）等の撮像素子を用いて構成される。本実施形態では、撮像可能範囲が広い、広角のカメラ１を使用する。図２Ａは、カメラ１ａ～１ｄを車両Ｖに取り付ける場合の配置例を示す図である。カメラ１ａ～１ｄは、車両Ｖの外部の異なる位置に各々設置され、車両周囲の４方向の画像をそれぞれ撮影する。例えば、図２Ａに示すように、フロントグリル部分などの車両Ｖの前方の所定位置に設置されたカメラ１ａは、車両Ｖの前方のエリアＳＰ１内及びその前方の空間に存在する物体又は路面の画像（フロントビュー画像）を撮影する。左サイドミラー部分などの車両Ｖの左側方の所定位置に設置されたカメラ１ｂは、車両Ｖの左側方のエリアＳＰ２内及びその周囲の空間に存在する物体又は路面の画像（左サイドビュー画像）を撮影する。リアフィニッシャー部分やルーフスポイラー部分などの車両Ｖのリア（後方）部分の所定位置に設置されたカメラ１ｃは、車両Ｖの後方のエリアＳＰ３内及びその後方の空間に存在する物体又は路面の画像（リアビュー画像）を撮影する。右サイドミラー部分などの車両Ｖの右側方の所定位置に設置されたカメラ１ｄは、車両Ｖの右側方のエリアＳＰ４内及びその周囲の空間に存在する物体又は路面の画像（右サイドビュー画像）を撮影する。なお、本実施形態における「車両の後方」には、真後ろのみならず、後方の左右側方をも含む。同様に「車両の前方」には、正面のみならず、前方の左右側方をも含む。カメラ１ａ～１ｄによって撮像された撮像画像は画像処理が施され、所望の監視画像が生成される。
　図２Ｂは、図２Ａに示す右ドアミラーのカメラ１ｄを車両前方側から見た図である。左ドアミラーのカメラ１ｂは右ドアミラーのカメラ１ｄと対称に表れるため、図示を省略する。図２Ｂに示すように、右ドアミラー（左ドアミラー）のハウジングＨには、カメラ１ｄ（１ｂ）が設けられている。カメラ１ｄ（１ｂ）は、通常時において、その撮像方向が車両の下側、つまり走行路面側に向くように取り付けられている。上述したとおり、カメラ１ｄ（１ｂ）はＣＣＤ（Charge Coupled Devices）等の撮像素子を用いて構成され、所定の撮像方向の映像を撮像する。なお、特に限定されないが、本実施形態のカメラ１ｄ（１ｂ）は、広角のカメラを使用することが好ましい。
　図２Ｂに示すように、本実施形態のドアミラーには、ハザードランプとして機能する照明装置ＬＰが設けられている。このドアミラーに設けられた照明装置ＬＰは点灯時においてタイヤ近傍に光を照射する。照明装置ＬＰは、ハザードランプとして機能するほか、カメラ１の撮像時に光を照射するフラッシュ装置として機能する。
　また、本実施形態のドアミラーには、周囲の明るさを検知する明度検知装置ＬＤが設けられている。本実施形態では、カメラ１ｄ、１ｂが周囲の明るさを検知する明度検知装置ＬＤとして機能する。もちろん、カメラ１ｄ，１ｂとは別個に明度検知装置ＬＤを設けてもよい。
　以下、カメラ１ｄ、１ｂを動かす手法について説明する。本実施形態のカメラ１ｄ、１ｂが設けられている各ドアミラーＤＭのハウジンングＨ内部には、各ドアミラーＤＭのハウジングＨを回転駆動させるモータを含むハウジング駆動機構ＨＭがそれぞれ設けられている。本実施形態の各ハウジング駆動機構ＨＭは、車載装置２００又は外部の端末装置１００からの駆動命令やミラーコントロールスイッチからの入力指令に従い、電源が供給されると、各ハウジングＨを図中に示すｘ軸、ｙ軸、ｚ軸を回転軸として回転駆動させ、各ドアミラーＤＭの向きを上下左右に変更させる。ちなみに、ｘ軸は車両の車軸方向に沿い、ｙ軸は車両の長さ方向に沿い、ｚ軸は車両の高さ方向（重力方向）に沿う方向である。
　具体的に、図２Ｂに示す右ドアミラーＤＭは、各ハウジング駆動機構ＨＭにより、ｙ軸を回転軸として向きを変えることができる。具体的に、ハウジングＨを、ｙ軸を回転軸として駆動させると、図２ＢのハウジングＨに点Ｑで示す部分は軌道ｑに沿って下側（ｚ軸側）へ移動させることができる。つまり路面に対して略直角に下方向を撮像していたカメラ１ｄの撮像方向は、車両Ｖのタイヤ近傍乃至タイヤの側面（ホイール）側にシフトさせることが可能である。つまり、ｙ軸を回転軸としてハウジングＨを駆動させることにより、カメラ１ｄ、１ｂにより、車両Ｖのタイヤの側面、タイヤとホイールとの境界を撮像できる。また、ｚ軸を回転軸としてドアミラーＤＭのハウジングＨを駆動することにより、カメラ１ｄ、１ｄの撮像位置を車体に対して接近離隔させることができるとともに、ドアミラー１，２を格納する（車体側に折り畳む）ことができる。さらに、ｘ軸を回転軸としてドアミラーＤＭのハウジングＨを駆動することにより、カメラ１ｄ、１ｄの撮像方向を前後に調整できる。各ハウジング駆動機構ＨＭは、車載装置２００、端末装置１００からｘ軸成分、ｙ軸成分、ｚ軸成分のいずれか一つ以上の成分の指定を含む駆動命令に従い、一方向だけではなく、各ハウジングＨ及びカメラ１ｄ、１ｂを任意の方向に向けることができる。このように、ハウジング駆動機構ＨＭを稼働させることにより、通常時にはタイヤ近傍と道路の路肩近傍を撮像し、必要に応じてタイヤの近傍とタイヤの側面を撮像することができる。なお、上述した各ハウジング駆動機構ＨＭの具体的な構成及び動作は特に限定されず、出願時に知られているドアミラーコントロールシステムに用いられる機構を適宜に用いることができる。
　本実施形態では、左右のドアミラーに設けられカメラ１ｄ（１ｂ）により、車両Ｖのタイヤの側面、具体的にはタイヤとホイールとの境界を撮像する。図２Ｃは、タイヤとホイールとの境界を含む、カメラ１ｂにより撮像された撮像画像の一例である。上述したように広角のカメラ１ｄ、１ｂを採用することにより、車両Ｖのタイヤの側面を撮像してもよいし、カメラ１ｄ、１ｂを動かして車両Ｖのタイヤの側面を撮像してもよい。なお、図２Ｃに示す例のように、車両の左側の側面に沿う車横基準ラインと、車両の車幅方向に沿う前方位置の目安を示す前端基準ラインとを重畳して表示してもよい。
　本実施形態の車載装置２００の通信装置２は、カメラ１が撮像した撮像画像、車載装置２００で生成された監視画像を、端末装置１００へ送出する。カメラ１に無線通信機能を備えさせて、カメラ１から端末装置１００へ撮像画像を送出してもよい。カメラ１に無線通信機能と画像処理機能とを備えさせて、監視画像を端末装置１００へ送出してもよい。端末装置１００は、無線の通信網を介してカメラ１が撮像した撮像画像、車載装置２００が編集した監視画像の少なくとも一方を取得する。各カメラ１が撮像した画像には、各カメラ１の配置(アドレス)に応じた識別子が付されており、端末装置１００は、各識別子に基づいて各撮像画像がどの領域に関するものであるかを識別できる。座標変換により視点変換画像を得る画像変換処理の手法、視点変換画像から車両周囲を俯瞰視する監視装置の生成手法は特に限定されず、出願時に知られた手法を適宜に適用することができる。本実施形態における監視画像は、複数の撮像画像から生成された車両周囲を俯瞰する、撮像画像の一態様である。つまり、撮像画像は、視点変換処理がされた監視画像を含む。
　本実施形態における監視画像は、カメラ１により撮像された複数の車両の周辺の撮像画像を、車種ごとに定義された撮像パラメータを用いて、車両の上空の所定の視点から見下ろす所定の投影面に座標変換された視点変換画像である。各撮像画像を視点変換した視点変換画像から端末装置１００の提示装置３０において情報が提示される表示エリアと表示態様に応じて所定領域の画像を切り出し、各画像が車両を基準としてどの方向の監視画像であるかを識別するための符号を付する。この識別符号を参照し、各視点変換画像を配置して、車両上空から車両を見下ろした映像を示す監視画像を生成する。この監視画像は、所定の態様で提示装置３０に提示される。なお、監視画像の生成処理を車載装置２００側で行い、監視画像を端末装置１００へ送出してもよい。各カメラ１の撮像画像の取得、視点変換画像の生成を車載装置２００で行い、端末装置１００へ送出し、最終的な監視画像の生成処理を端末装置１００側で行ってもよい。
　次に、本発明の端末装置１００（予測進路提示装置１００）について説明する。本実施形態の端末装置１００は、スマートフォン、タブレット型端末などの通信機能を備える可搬の携帯端末装置である。図１に示すように、本実施形態の端末装置１００は、制御装置１０と、通信装置２０と、提示装置３０と、加速度センサ４０とを備える。
　本実施形態の通信装置２０は、外部の車載装置２００の通信装置２と相互に情報の授受を行う。通信装置２０は、車載装置２００から撮像画像を取得する。なお、撮像画像から生成される監視画像は、本発明の「撮像画像」に含まれる。
　本実施形態の端末装置１００の提示装置３０は、後述する制御装置１０の指令に従い、後述する予測進路を、その表示エリアに所定の表示態様で提示する。本実施形態における表示態様は、表示する画像の種類、数、大きさ、表示時間、表示周期などの表示に関する規則である。表示態様は、表示情報２１として端末装置１００の提示装置３０に記憶されている。提示装置３０は、例えば、ディスプレイ３１、スピーカ３２である。
　また、本実施形態の提示装置３０は、予測通路を構成する複数の予測通過点を提示する。予測通過点とは、予測進路を構成する複数の離散的な点である。予測通過点の位置を確認することにより、ドライバは自車両の動きを予測できる。また、離散的な予測通過点を算出し、提示することにより、予測進路を算出し、提示するよりも、処理コストを低減できる。
　本実施形態の提示装置３０は、予測通過点を提示する際に、提示装置３０が備えるディスプレイ３１の表示座標系において各予測通過点の間隔が均一となるように、予測通過点を配置する。撮像画像の座標系において間隔が均一な各予測通過点を、そのままディスプレイ３１に表示すると、車両に近い手前の各予測通過点の距離は短く、車両から遠い奥の各予測通過点の距離は長くなる。予測通過点の間隔が不均一であると、予測通過点を結んで得られる予測進路が滑らかな線にならず、実際の車両の動きと乖離してしまう。本実施形態では、ディスプレイ３１の表示座標系において各予測通過点の間隔が均一となるようにするので、予測通過点を結んで得られる予測進路が実際の車両の動きに応じた滑らかな線を提示できる。
　本実施形態の提示装置３０は、撮像画像（撮像画像から生成された監視画像を含む）に、予測進路及び／又は予測通過点を重畳して表示する。予測進路や予測通過点を撮像画像に重畳して提示することにより、自車両の位置及び移動中の自車両周囲の状況をドライバが確認しやすくすることができる。
　本実施形態の加速度センサ４０は、端末装置１００の動きに応じた加速度を検出する。加速度センサ４０の出力値により、端末装置１００の移動方向及び移動速度を取得できる。端末装置１００が車両に持ち込まれ、車両とともに移動する場合には、端末装置１００の加速度センサ４０の出力値は、車両の移動方向及び移動速度とみなすことができる。つまり、端末装置１００は、加速度センサ４０の出力値に基づいて、車両が直進状態であるか、車両が右転舵状態であるか、車両が左転舵状態であるかを判断できる。
　本実施形態の制御装置１０について説明する。制御装置１０は、予測進路を導出して提示させる動作を制御するプログラムが格納されたＲＯＭ（Read Only Memory）１２と、このＲＯＭ１２に格納されたプログラムを実行することで、予測進路提示装置１００として機能する動作回路としてのＣＰＵ（Central Processing Unit）１１と、アクセス可能な記憶装置として機能するＲＡＭ（Random Access Memory）１３と、を備えるコンピュータである。本実施形態に係る予測進路提示装置１００の制御装置１０は、制御機能を実現するためのソフトウェアと、上述したハードウェアの協働により各機能を実行することができる。
　以下に、予測進路提示装置１００の制御装置１０が実現する画像取得機能、予測進路算出機能、提示制御機能について説明する。
　まず、画像取得機能について説明する。制御装置１０は、通信装置２０を介して車両周囲の撮像画像を取得する。この撮像画像は、車載のカメラ１に撮像されたものであり、その車両のタイヤの少なくとも一部を含む撮像画像を取得する。本実施形態では、タイヤの画像に基づいてタイヤの切れ角を検出するため、タイヤが含まれる撮像画像を取得する。撮像画像にはタイヤの全部の画像が含まれる必要はなく、タイヤの一部の画像が含まれていればよい。特に限定されないが、タイヤとホイールとの境界が含まれる撮像画像を取得することが好ましい。一般にタイヤの色は黒であり、一般にホイールの色は白色乃至金属色である。タイヤとホイールの明度の差は大きいため、両社の境界をエッジ画像として正確に検出できる可能性が高い。もちろん、タイヤと路面との境界が含まれる撮像画像を取得してもよい。タイヤと路面との間にも明度差があり、その境界をエッジ画像として検出できるからである。
　タイヤの少なくとも一部を含む撮像画像は、先述した、左右のドアミラー付近に設けられたカメラ１ｂ、１ｄ（図２Ａ、２Ｂを参照）により撮像することができる。
　本実施形態の制御装置１０は、車両の転舵状態に応じて取得する撮像画像を選択する。具体的に、制御装置１０は、車両が右転舵状態である場合には、車両の右側に設けられた右側カメラ１ｄにより撮像された右側撮像画像を取得し、車両が左転舵状態である場合には、車両の左側に設けられた左側カメラ１ｂにより撮像された左側撮像画像を取得する。
　本実施形態の制御装置１０は、右転舵状態である場合には、前輪が右方向に傾くため、右側のサイドミラーのカメラ１ｄの撮像画像には前輪のタイヤとホイールとの境界の画像が含まれるが、左側のサイドミラーのカメラ１ｂの撮像画像は、主に前輪のタイヤの後方乃至内側の画像となり、タイヤとホイールとの境界の画像はタイヤの影になって含まれない。同様に、左転舵状態である場合には、前輪が左方向に傾くため、左側のサイドミラーのカメラ１ｂの撮像画像には前輪のタイヤとホイールとの境界の画像が含まれるが、右側のサイドミラーのカメラ１ｄの撮像画像は、主に前輪のタイヤの後方乃至内側の画像となり、タイヤとホイールとの境界の画像はタイヤの影になって含まれない。このため、本実施形態の制御装置１０は、右転舵又は左転舵の状態に応じて、取得する撮像画像を選択する。タイヤの切れ角が検出できる撮像画像のみを取得し、タイヤの切れ角が検出できない撮像画像を取得しないようにできるので、無駄な通信処理が行われることを避けることができる。
　車両が右転舵状態であるか又は左転舵状態であるかの判断は、車両内に持ち込まれ、車両とともに移動する端末装置１００が備える加速度センサ（Ｇセンサ）４０の検出結果に基づいて判断できる。もちろん、車両前方の撮像画像のオプティカルフローの向きに基づいて車両の転舵方向を判断してもよい。また、車載装置２００のウィンカー情報などを取得してもよい。
　次に予測進路算出機能について説明する。本実施形態の制御装置１０は、車両の予測進路を算出する。
　ここで、予測進路の算出手法について図３Ａ～図３Ｃに基づいて説明する。図３Ａは、車両Ｖが後退する（前進方向Ｆの反対方向に進行する）場面を示す。図３Ａに示すように、車両Ｖがハンドルを回転させ、操舵しながら後退すると、車両は、予測通過点ＷＲＰ，ＷＬＰに沿って移動する。この予測通過点ＷＲＰ，ＷＬＰを繋げた線は、車両が移動すると予測されるタイヤの軌跡に沿う予測進路ＷＲ，ＷＬである。同図に示すように、車両Ｖは回転中心Ｑを中心とする円弧の軌跡ＷＲ，ＷＬに沿って移動する。
　なお、本例においては、車両の側面と予測進路ＷＲ，ＷＬとの距離を０．２５ｍとし、車両後端から０．５ｍの位置から３．５ｍの位置に至る３．０ｍの予測進路ＷＲ，ＷＬを算出する。進路予想線ＷＲ，ＷＬの定義するための各値は特に限定されず、車両の大きさ、車種、本機能が利用される場面に状況（例えば、駐車枠の広さなど）に応じて適宜に設定できる。
　駐車操作時のように低速で移動する場合には、図３Ｂに示すように、ハンドルの回転角（操舵角）とタイヤの切れ角とは比例する。図３Ｂの対応情報を参照すれば、操舵角からタイヤの切れ角を得ることができる。ちなみに、図３Ｂに示す例では、ハンドルを限界まで切った（フル転舵）ときの角度が５８０度（１回転半以上ハンドルが回転した状態）において、タイヤの切れ角が３１度となるように構成されている。
　また、図３Ｃに示すように、タイヤの切れ角とホイールベースＷが分かれば、ｔａｎ（θ）＝Ｗ／Ｒの関係から回転半径Ｒを求めることができる。ホイールベースＷは、前輪のタイヤＳＦＬ，ＳＦＲと後輪のタイヤＳＲＬ，ＳＲＲとの距離である。ホイールベースＷの値は予め一つの値又は車種に応じた値を設定しておいてもよいし、車載装置２００や図外のサーバから取得してもよい。
　さらに、回転半径Ｒが分かれば、自車両の位置との関係から回転中心Ｑを求めることができる。これで、回転中心Ｑを基準とした、予測進路ＷＲ，ＷＬを求めることができる。このように、ハンドルの操舵角とホイールベースの情報を取得すれば、車両の予測進路を算出できる。
　しかしながら、端末装置１００が、車両の操舵角等の情報を車載装置２００から得て、これらの情報を処理するには時間がかかり、予測進路の提示タイミングが遅れてしまう。提示タイミングが遅れた過去の予測進路は、ドライバにとって意味のない情報となってしまう。
　これに対し、本実施形態の予測進路提示装置（端末装置）１００は、車両の操舵角（車両の検出値）を用いることなく、予測進路を算出できる。具体的に本実施形態の予測進路提示装置（端末装置）１００は、車載カメラの撮像画像からタイヤの切れを検出し、タイヤの切れ角から車両の回転中心を算出し、その回転中心を基準とする予測進路を提示する。これにより、車載装置に組み込まれていない可搬型の端末装置１００が予測進路を提示するための処理コストを低減させ、その提示処理に要する時間を短縮させることができる。
　以下、本実施形態の予測進路の算出手法を説明する。本実施形態の制御装置１０は、撮像画像から抽出されたタイヤのエッジ画像からそのタイヤの切れ角を検出する。図４は、タイヤを含む撮像画像の一例を示す図である。図４に示すように、黒色のタイヤと白色（金属色）のホイールとの間には明暗差があり、明度に基づくエッジ情報を検出できる。エッジの方向が所定値域内の変化を示すエッジ群をつなげて、エッジ直線Ｅを得る。この直線からタイヤの切れ角を検出する。撮像画像からタイヤの切れ角を検出する手法は特に限定されないが、図４に示すように、車両の左右の側面に沿う（すなわち、車長方向に沿う）車横基準ラインＴ１と、検出されたエッジ直線とがなす角度θをタイヤの切れ角とすることができる。本例における車横基準ラインＴ１は、車両の車幅方向に沿う前端基準ラインＴ１に略垂直に交差する直線である。タイヤの切れ角を検出するための基準線は適宜に設定できる。タイヤの切れ角θは、路面と接するタイヤのエッジ線から求めることが好ましいという観点から、明度に基づくエッジ情報は、路面に近い領域、路面からの距離（高さ）が最も小さい領域から抽出することが好ましい。つまり、エッジ直線Ｅは、ホイールの最も低い位置で得られたエッジから得ることが好ましい。
　ここで、タイヤの切れ角の算出手法に関し、二つの変形例を説明する。
　第１の変形例は、エッジの傾きとタイヤの切れ角とを予め対応づけた対応情報を利用する手法である。本実施形態の制御装置１０は、タイヤの切れ角が維持された状態の撮像画像から検出されたタイヤのエッジの傾きとタイヤの切れ角とを予め対応づけた対応情報を参照し、撮像画像から抽出されたタイヤのエッジ（エッジ線Ｅ）の傾きからタイヤの切れ角θを検出する。検出するタイヤのエッジの位置が異なると、タイヤの切れ角が正確に検出できない場合がある。図３Ｂに示すように、操舵角が分かればタイヤの切れ角が正確に分かる。本実施形態では、所定の操舵角が維持された状態で、サイドミラーに取り付けられた車載カメラ１がタイヤを撮像した場合に、得られた撮像画像中のタイヤ画像のエッジの傾きとを対応づけておく。この対応情報を参照すれば、車載カメラ１で撮像したタイヤ画像のエッジ角度からタイヤの切れ角を正確に求めることができる。これにより、正確なタイヤの切れ角に基づいて、正確な予測進路を算出できる。特に限定されないが、対応情報における所定の操舵角は、最大の操舵角とすることが好ましい。一般に、駐車操作では、ドライバは最大の操舵角で初期操作をするので、実際の操舵に応じた予測進路を算出できる。
　第２の変形例は、タイヤの画像の特徴パターンとタイヤの切れ角とを予め対応づけて、画像のパターンマッチングを利用する手法である。本実施形態の制御装置１０は、タイヤの切れ角と、タイヤの切れ角が維持された状態の撮像画像から検出されタイヤの画像の特徴パターンとを予め対応づけた対応情報を参照し、撮像画像から抽出されたタイヤのエッジの特徴と最も一致度の高い特徴パターンからタイヤの切れ角を検出する。カメラ１の状態などが変化すると、タイヤの切れ角が正確に検出できない場合がある。図３Ｂに示すように、操舵角が分かればタイヤの切れ角が正確に分かる。本実施形態では、所定の操舵角が維持された状態で、サイドミラーに取り付けられた車載カメラ１がタイヤを撮像した場合に、得られた撮像画像中のタイヤ画像の特徴とエッジの傾きとを対応づけておく。予測進路の算出時に得られた撮像画像の複数の特徴を対応情報の画像の特徴パターンとマッチング処理して、一致度が最も高い特徴パターンを抽出する。抽出した特徴パターンに対応づけられたエッジの傾きを、検出対象となる車両のタイヤの切れ角とする。撮像画像に含まれる複数の特徴とのマッチングによれば、カメラ１の姿勢変化などが生じても、車載カメラ１で撮像したタイヤ画像のエッジ角度からタイヤの切れ角を正確に求めることができる。これにより、正確なタイヤの切れ角に基づいて、正確な予測進路を算出できる。特に限定されないが、対応情報における所定の操舵角は、最大の操舵角とすることが好ましい。一般に、駐車操作では、ドライバは最大の操舵角で初期操作をするので、実際の操舵に応じた予測進路を算出できる。
　また、本実施形態では、切れ角を正確に算出する観点から、転舵時において、タイヤの切れ角を算出する際に用いる撮像画像を選択する。本実施形態の制御装置１０は、車両が右転舵状態である場合には、エッジが検出しやすいタイヤとホイールとの境界が含まれる右側カメラ１ｄの撮像画像からタイヤ切れ角を検出し、車両が左転舵状態である場合には、エッジが検出しやすいタイヤとホイールとの境界が含まれる左側カメラ１ｂの撮像画像からタイヤ切れ角を検出する。先述したように、転舵状態に応じて取得する撮像画像を選択してもよいが、監視画像に用いるなどの理由から各カメラ１ａ～１ｄの撮像画像を取得した場合であっても、転舵方向に応じた撮像画像に基づいて、タイヤの切れ角を算出する。これにより、正確なタイヤ切れ角から正確な予測進路を算出できる。なお、車両の転舵状態の判断手法は、画像取得機能の説明で述べた手法を用いることができる。
　さらに、本実施形態では、切れ角を正確に算出する観点から、タイヤの切れ角を算出する際に用いる撮像画像として、影領域が少ない撮像画像を選択する。本実施形態の制御装置１０は、明度の低い影領域が少ない撮像画像を用いてタイヤの切れ角を検出する。具体的に、車両の異なる位置に設けられた複数のカメラ１ａ～１ｄにより撮像された複数の撮像画像に含まれる、明度が所定値未満の影領域をそれぞれ抽出する。制御装置１０は、各撮像画像において抽出された影領域が占める面積比の低い撮像画像、つまり影領域が少ない撮像画像を選択する。制御装置１０は、選択した撮像画像から抽出されたタイヤのエッジの特徴に基づいてタイヤの切れ角を検出する。このように、エッジが正確に検出できない影領域を多く含む撮像画像を避け、影領域の少ない撮像画像から正確なタイヤの切れ角を検出することにより、正確な予測進路を算出できる。
　さらにまた、本実施形態では、切れ角を正確に算出する観点から、明度が不十分である場合には照明装置ＬＰを点灯させてから撮像した撮像画像を、タイヤの切れ角を算出する撮像画像として選択する。本実施形態の制御装置１０は、明度検知装置ＬＤにより検出された車両の周囲の明るさが所定値未満である場合には、照明装置ＬＰを点灯させる点灯命令を出力する。この点灯命令は、車載装置２００の車両コントローラ３を介して照明装置ＬＰに出力され、照明装置ＬＰを点灯させる。このように、明度が所定値未満である場合には、照明装置ＬＰを点灯させて、十分な明度の下で撮像された撮像画像から正確にエッジを検出する。これにより、正確なタイヤ切れ角から正確な予測進路を算出できる。
　以上のように、本実施形態の端末装置１００の制御装置１０は、自車両のタイヤの切れ角を得る。そして、制御装置１０は、得られた切れ角に基づいて車両の回転中心を算出し、回転中心を基準とする車両の予測進路を算出する。図３Ａ乃至図３Ｃに基づいて説明したように、車両のタイヤの切れ角（操舵角）とホイールベースＷが分かれば、ａｎ（θ）＝Ｗ／Ｒの関係から車両の回転半径Ｒ、ひいては回転中心Ｑを求めることができる。本例では、図３Ｃに示すように、タイヤの切れ角から車両の回転中心を算出し、その回転中心を基準とした予測進路を導く。ホイールベースＷの値は予め一つの値又は車種に応じた値を起動時に取得してもよいし、予め端末装置１００に記憶させてもおいてもよい。
　本実施形態の手法によれば、予測進路を算出する際に必要となる操舵角などの検出情報を逐次取得することなく、予想進路を算出できる。
　次に、本実施形態の制御装置１０の提示制御機能について説明する。本実施形態の端末装置１００の制御装置１０は、算出された予測進路を端末装置１００のディスプレイ３１に提示させる。制御装置１０は、ディスプレイ３１の表示エリアの大きさ、レイアウト、位置、画素の関する情報を参照し、求めた予測進路をディスプレイ３１に提示する。本実施形態では、監視画像（撮像画像、視点変換画像）の上に重畳させて、予測進路を提示させる。つまり、監視画像の座標を基準として、予測進路を描画する。
　このように、本実施形態の端末装置（予測進路提示装置）１００によれば、車載装置２００から車速センサ、ステアリングセンサ等の検出結果を取得することなく、車載カメラ１の撮像画像から予測進路を求めるので、予測進路を提示するための処理が簡潔になり、短い処理時間で予測進路を提示できる。この結果、車両の予測進路を車載装置に組み込まれていない可搬型の端末装置にリアルタイムに提示できる。
　以下、本発明の第１実施形態の予測進路提示システム１０００の処理手順を説明する。図５は、本実施形態に係る予測進路提示システム１０００の制御手順を示すフローチャート、図６は、図５に示す予想進路の算出手法の制御手順を示すフローチャートである。
　ステップ１０１～１０５は車載装置２００側の処理であり、ステップ２０１～２０３は端末装置１００側の処理である。
　ステップ１０１において、本実施形態の車載装置２００のカメラ１は車両周囲を撮像して撮像画像を取得する。
　車載装置２００の車両コントローラ３が備える画像処理機能は、撮像パラメータなどの変換情報を参照し、変換情報に含まれる自車両の車種に応じた撮像パラメータを読み出す。自車両の車種に応じた撮像パラメータは、通信装置２を介して外部のサーバから取得してもよい。
　ステップ１０３において、車載装置２００のコントローラ３は、取得した撮像パラメータを用いて、撮像画像を視点変換し、車両の上空の所定の視点から見下ろす投影面に座標変換した視点変換画像を生成する。
　ステップ１０４において、車載装置２００の画像処理機能は、端末装置１００の表示エリア、表示態様を含む表示情報を取得する。そして、ステップ１０５において、画像処理機能は、視点変換画像から端末装置１００の表示エリアと表示態様に応じた監視画像を生成する。車載装置２００は、生成した監視画像を端末装置１００へ送出する。端末装置１００の表示情報に応じた監視画像の生成は、端末装置１００側で行ってもよい。その場合には、車載装置２００は、ステップ１０１からステップ１０５へスキップし、で取得したカメラ１の撮像画像をそのまま端末装置１００へ送出する。
　端末装置１００の処理であるステップ２０１において、端末装置１００と車載装置２００とは無線通信の確立を確認する。無線通信が確立したら、ステップ２０２において、端末装置１００は、車載装置２００が生成した監視画像を取得する。端末装置１００は、取得した監視画像を所定の表示規則に従い、ディスプレイ３１に提示する。ステップ２０３において、端末装置１００は、予測進路を算出し、これを監視画像上に描画する。
　以下、本実施形態における予測進路を算出する際の制御手順を説明する。図６は、図５のステップ２０３のサブルーチンを示すフローチャートである。
　図６に示すように、ステップ２１において、端末装置１００の制御装置１０は、車両が直進しているか否かの情報を取得する。車両が直進しているか否かは、端末装置１００が備える加速度センサ４０の出力値に基づいて判断する。もちろん、車載装置２００から車両の操舵情報を通信装置２０を介して取得してもよい。車両が直進状態であればステップ２２へ進み、車両が直進状態でなければステップ２３へ進む。ステップ２２において、制御装置１０はデフォルトのカメラ１を選択する。特に限定されないが、本例では助手席のカメラ１を選択する。
　ステップ２３において、端末装置１００は、車両が右転舵状態であるか否かを判断する。車両が右転舵状態である場合にはステップ２４において右側のカメラ１を選択する。車両が右転舵状態でない場合、つまり左転舵状態である場合にはステップ２５において左側カメラ１を選択する。転舵時に起動させるカメラ１を選択することにより、車両が右転舵状態の場合においては、右側のカメラ１を用いてタイヤとホイールとの境界の画像の一部を確実に撮像し、車両が左転舵状態の場合においては、左側のカメラ１を用いてタイヤとホイールとの境界の画像の一部を確実に撮像する。
　次に、制御装置１０は、選択されたカメラ１の周囲の明るさを確認する。カメラ１が備える明度検出機能ＬＤが検出した明度が所定値以上であるか否かを判断する。明度が所定値以上である場合にはステップ２８に進み、撮像画像を取得する。他方、明度が所定値未満である場合にはステップ２７に進み、制御装置１０は、度が所定値未満であることを検出したカメラ１の近傍に設けられた照明装置ＬＰを点灯させる命令を車載装置２００へ出力する。車載装置２００の車両コントローラ３は、明度が所定値未満であることを検出したカメラ１の近傍に設けられた照明装置ＬＰを点灯する。
　選択されたカメラ１は、適切な明度の環境でタイヤ近傍を撮影する。ステップ２８において、端末装置１００の制御装置１０は撮像画像を取得する。
　ステップ２９において、制御装置１０は、複数の撮像画像が得られた場合には、影となる領域の面積が少ない撮像画像を選択する。広い面積の影が含まれると、路面又はホイールに対するタイヤのエッジを正確に検出できないからである。画像の明度が所定値未満の領域を影となる領域として判断する。
　ステップ３０において、制御装置１０は、撮像画像に含まれるタイヤのエッジを複数検出し、そのエッジ群の延びる方向と車両の車長方向との角度をタイヤの切れ角として検出する。
　ステップ３１において、制御装置１０は、タイヤの切れ角から現在の車両の回転半径を算出する。本処理において必要があれば、ホイールベースの値を用いて車両の回転半径を算出する。ホイールベースの値は、予め設定しておいてもよいし、処理前に取得してもよい。端末装置１００を車両に持ち込んで、予測進路提示機能を起動させる際に、通信装置２０を介してｓ取得してもよい。ホイールベースの値は、固定値であるので、処理前に取得できる。ホイールベースの値は、操舵角のように刻々に変化しないので、一度取得すれば使用し続けることができる。
　ステップ３２において、制御装置１０は、算出した回転半径から回転中心を求める。ステップ３３において、制御装置１０は、回転中心を基準とする予測進路を算出する。最後に、ステップ３３において、制御装置１０は、算出した予測進路を監視画像（撮像画像、視点変換画像を含む）の上に描画する。
　図７Ａは、視点変換処理がされていない監視画像（つまり撮像画像）の上に、複数の予測通過点ＷＰ（図中丸印で示す）と、この予測通過点をつなげた左右のタイヤ位置に応じた予測進路ＷＲ，ＷＬとを重畳表示した例を示す。複数の予測通過点ＷＰの間の距離は均等となるように調整されている。ディスプレイ３１の表示座標上で複数の予測通過点ＷＰピッチが均等となるように調整されているので、予測通過点ＷＰから構成される予測進路ＷＲ，ＷＬを滑らかな曲線として表示できる。実際の車両は連続的に動くのに、角度の大きい頂点を備えた予測進路を提示すると、乗員は違和感を感じる可能性がある。本実施形態では、乗員が違和感を感じないように、実際の車両の動きに合った予測進路をディスプレイ３１に表示する。
　図７Ｂは、端末装置１００のディスプレイ３１の左側領域に視点変換処理がされた監視画像（視点変換画像）を表示し、右側領域に視点変換処理がされていない監視画像（撮像画像）を表示する例を示す。同図に示すように、視点変換処理がされた監視画像（視点変換画像）と、視点変換処理がされていない監視画像（撮像画像）の両方に、複数の予測通過点ＷＰ（図中丸印で示す）と、この予測通過点を繋げた予測進路ＷＲ，ＷＰとを重畳表示した例を示す。
　以上のとおり構成され、動作する本発明の実施形態に係る予測進路提示装置（端末装置）１００、予測進路提示システム１０００は、以下の効果を奏する。
　［１］本実施形態の予測進路提示装置１００によれば、車載カメラの撮像画像からタイヤの切れを検出し、タイヤの切れ角から車両の回転中心を算出し、その回転中心を基準とする予測進路を提示するので、車両の操舵角（車両の検出値）を用いることなく予測進路を算出できる。すなわち、車載装置２００から操舵角等の検出情報を逐次取得することなく、車載カメラの撮像画像から抽出された情報に基づいて予測進路を求めるので、予測進路を提示するための処理が簡潔になり、短い処理時間で予測進路を提示できる。この結果、車載装置に組み込まれていない可搬型の端末装置１００に車両の予測進路を提示する場合であっても、遅延することなく適時に車両の予測進路を提示できる。
　［２］本実施形態の予測進路提示装置１００によれば、所定の操舵角が維持された状態における車載カメラ１の撮像画像中のタイヤ画像のエッジの傾きと、操舵角に応じたタイヤ切れ角とを予め対応づけておくので、この対応情報を参照することにより車載カメラ１で撮像したタイヤ画像のエッジ角度からタイヤの切れ角を正確に求めることができる。これにより、正確なタイヤの切れ角に基づいて、正確な予測進路を算出できる。
　［３］本実施形態の予測進路提示装置１００によれば、所定の操舵角が維持された状態における車載カメラ１の撮像画像中のタイヤ画像の特徴パターンと、操舵角に応じたタイヤ切れ角とを予め対応づけておくので、この対応情報を参照することにより車載カメラ１で撮像したタイヤ画像のエッジ角度からタイヤの切れ角を正確に求めることができる。これにより、正確なタイヤの切れ角に基づいて、正確な予測進路を算出できる。
　［４］本実施形態の予測進路提示装置１００によれば、右転舵又は左転舵の状態に応じて、取得する撮像画像を選択することにより、タイヤの切れ角が検出できる撮像画像を取得し、タイヤの切れ角が検出できない撮像画像を取得しないようにできるので、無駄な通信処理が行われることを避けることができる。
　［５］本実施形態の予測進路提示装置１００によれば、車両が右転舵状態である場合には、エッジが検出しやすいタイヤとホイールとの境界が含まれる右側カメラ１ｄの撮像画像からタイヤ切れ角を検出し、車両が左転舵状態である場合には、エッジが検出しやすいタイヤとホイールとの境界が含まれる左側カメラ１ｂの撮像画像からタイヤ切れ角を検出することにより、正確なタイヤ切れ角から正確な予測進路を算出できる。
　［６］本実施形態の予測進路提示装置１００によれば、エッジが正確に検出できない影領域を多く含む撮像画像を避け、影領域の少ない撮像画像から正確なタイヤの切れ角を検出することにより、正確な予測進路を算出できる。
　［７］本実施形態の予測進路提示装置１００によれば、明度が所定値未満である場合には、照明装置ＬＰを点灯させて、十分な明度の下で撮像された撮像画像から正確にエッジを検出する。これにより、正確なタイヤ切れ角から正確な予測進路を算出できる。
　［８］本実施形態の予測進路提示装置１００によれば、一般に明度差の高く、エッジが検出しやすいタイヤとホイールとの境界が含まれる撮像画像からタイヤ切れ角を検出することにより、正確なタイヤ切れ角から正確な予測進路を算出できる。
　［９］本実施形態の予測進路算出方法によれば、上述の作用効果を奏する。
　なお、以上説明したすべての実施形態は、本発明の理解を容易にするために記載されたものであって、本発明を限定するために記載されたものではない。したがって、上記の実施形態に開示された各要素は、本発明の技術的範囲に属する全ての設計変更や均等物をも含む趣旨である。
　本明細書では、本発明に係る予測進路提示システムの一態様として、予測進路提示装置１００（端末装置１００）と、車載装置２００とを有する予測進路提示システム１０００を説明するが、これに限定されるものではない。本発明に係る端末装置の一態様として、制御装置１０と、通信装置２０と、提示装置３０と、加速度センサ４０とを備える端末装置１００を説明するが、これに限定されるものではない。本発明に係る車載装置の一態様として、カメラ１ａ～１ｄ，１と、通信装置２と、車両コントローラ３とを備える車載装置２００を説明するが、これに限定されるものではない。
　本発明に係る画像取得手段と、予測進路算出手段と、提示手段とを有する予測進路提示装置の一態様として、画像取得機能と、予測進路算出機能と、提示制御機能とを実行する制御装置１０を備える予測進路提示装置１００（端末装置１００）を説明するが、これに限定されるものではない。
１０００…予測進路提示システム
１００…端末装置（予測進路提示装置）
　１０…通信装置
　２０…提示装置
２００…車載装置
１，１ａ～１ｄ…カメラ
２…通信装置
３…車両コントローラ

Claims (9)

  1. 　車両に設けられたカメラを用いて撮像された、当該車両のタイヤの少なくとも一部を含む撮像画像を取得する画像取得手段と、
    　前記撮像画像から抽出された前記タイヤのエッジの特徴から当該タイヤの切れ角を検出し、前記切れ角に基づいて前記車両の回転中心を算出し、前記回転中心を基準とする前記車両の予測進路を算出する予測進路算出手段と、
    　前記算出された予測進路を提示する提示手段と、を備えることを特徴とする車両用の予測進路提示装置。
  2. 　前記予測進路算出手段は、前記タイヤの切れ角と、前記タイヤの切れ角が維持された状態の前記撮像画像から検出された前記タイヤのエッジの傾きとを予め対応づけた対応情報を参照し、前記撮像画像から抽出された前記タイヤのエッジの傾きから前記タイヤの切れ角を検出することを特徴とする請求項１に記載の車両用の予測進路提示装置。
  3. 　前記予測進路算出手段は、前記タイヤの切れ角と、前記タイヤの切れ角が維持された状態の前記撮像画像から検出された前記タイヤの画像の特徴パターンとを予め対応づけた対応情報を参照し、前記撮像画像から抽出された前記タイヤのエッジの特徴と最も一致度の高い前記特徴パターンから前記タイヤの切れ角を検出することを特徴とする請求項１に記載の車両用の予測進路提示装置。
  4. 　前記画像取得手段は、前記車両の右側に設けられた右側カメラにより撮像された右側撮像画像又は前記車両の左側に設けられた左側カメラにより撮像された左側撮像画像を取得可能であり、
    　前記車両が右転舵状態である場合には前記右側撮像画像を取得し、前記車両が左転舵状態である場合には前記左側撮像画像を取得することを特徴とする請求項１～３の何れか一項に記載の車両用の予測進路提示装置。
  5. 　前記画像取得手段は、前記車両の右側に設けられた右側カメラにより撮像された右側撮像画像又は前記車両の左側に設けられた左側カメラにより撮像された左側撮像画像を取得可能であり、
    　前記予測進路算出手段は、前記車両が右転舵状態である場合には前記右側撮像画像から抽出された前記タイヤのエッジの特徴に基づいて当該タイヤの切れ角を検出し、前記車両が左転舵状態である場合には前記左側撮像画像から抽出された前記タイヤのエッジの特徴に基づいて当該タイヤの切れ角を検出することを特徴とする請求項１～３の何れか一項に記載の車両用の予測進路提示装置。
  6. 　前記予測進路算出手段は、前記車両の異なる位置に設けられた複数のカメラにより撮像される複数の撮像画像に含まれる明度が所定値未満の影領域をそれぞれ抽出し、前記抽出された影領域が占める面積比の低い撮像画像を選択し、前記選択された撮像画像から抽出された前記タイヤのエッジの特徴に基づいて当該タイヤの切れ角を検出することを特徴とする請求項１～５の何れか一項に記載の車両用の予測進路提示装置。
  7. 　前記カメラの近傍に設けられた照明手段をさらに備え、
    　前記車両の周囲の明るさを検出する明度検出手段をさらに備え、
    　前記撮像画像取得手段は、前記検出された車両の周囲の明るさが所定値未満である場合には、前記照明手段を点灯させる点灯命令を出力することを特徴とする請求項１～６の何れか一項に記載の車両用の予測進路提示装置。
  8. 　前記撮像画像は、タイヤとホイールとの境界の像の少なくとも一部を含むことを特徴とする請求項１～７の何れか一項に記載の車両用の予測進路提示装置。
  9. 　コンピュータに、
    　車両に設けられたカメラの撮像画像に含まれる車両のタイヤの少なくとも一部に対応する画像から、前記タイヤのエッジの特徴を検出するステップと、
    　前記タイヤのエッジの特徴から検出された前記タイヤの切れ角に基づいて、前記車両の回転中心を基準とする前記車両の予測進路を算出するステップと、
    　前記予測進路を外部に出力するステップと、を実行させる車両用の予測進路提示方法。
PCT/JP2014/068564 2013-09-27 2014-07-11 予測進路提示装置及び予測進路提示方法 WO2015045568A1 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
CN201480052393.9A CN105580359B (zh) 2013-09-27 2014-07-11 预测前进道路提示装置以及预测前进道路提示方法
EP14846989.3A EP3051807B1 (en) 2013-09-27 2014-07-11 Predicted-route presentation device and predicted-route presentation method
JP2015538975A JP6213567B2 (ja) 2013-09-27 2014-07-11 予測進路提示装置及び予測進路提示方法
US15/024,000 US9683861B2 (en) 2013-09-27 2014-07-11 Estimated route presentation apparatus and estimated route presentation method

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2013-200964 2013-09-27
JP2013200964 2013-09-27

Publications (1)

Publication Number Publication Date
WO2015045568A1 true WO2015045568A1 (ja) 2015-04-02

Family

ID=52742725

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2014/068564 WO2015045568A1 (ja) 2013-09-27 2014-07-11 予測進路提示装置及び予測進路提示方法

Country Status (5)

Country Link
US (1) US9683861B2 (ja)
EP (1) EP3051807B1 (ja)
JP (1) JP6213567B2 (ja)
CN (1) CN105580359B (ja)
WO (1) WO2015045568A1 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017038183A1 (ja) * 2015-09-01 2017-03-09 株式会社タダノ 移動式クレーンの周囲表示装置
DE102016123135B4 (de) 2015-12-02 2023-03-02 GM Global Technology Operations LLC Fahrzeugdatenaufzeichnung

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6644425B2 (ja) * 2016-07-07 2020-02-12 アルパイン株式会社 移動経路生成装置および移動経路生成方法
JP6707414B2 (ja) * 2016-07-26 2020-06-10 サン電子株式会社 サーバ、及び、サーバのためのコンピュータプログラム
US10671873B2 (en) * 2017-03-10 2020-06-02 Tusimple, Inc. System and method for vehicle wheel detection
US10464606B2 (en) * 2017-04-03 2019-11-05 Robert E. Griffith Method and apparatus for guiding a vehicle along a defined guidepath
JP6649914B2 (ja) * 2017-04-20 2020-02-19 株式会社Ｓｕｂａｒｕ 画像表示装置
JP7201315B2 (ja) * 2017-11-08 2023-01-10 トヨタ自動車株式会社 電子ミラー装置
CN110933371B (zh) * 2019-12-02 2021-07-13 广州小鹏汽车科技有限公司 一种监测方法、装置和车辆
KR20220005778A (ko) * 2020-07-07 2022-01-14 현대자동차주식회사 자동차용 아웃사이드 미러형 디스플레이 장치
CN113282073B (zh) * 2021-05-24 2022-06-17 安徽江淮汽车集团股份有限公司 车辆行车轨迹模拟方法、车辆及计算机可读存储介质
DE102021211326A1 (de) 2021-10-07 2023-04-13 Zf Friedrichshafen Ag Verfahren und Steuereinheit zum Erfassen einer Radstellung mindestens eines Rades eines Fahrzeugs und Fahrzeug

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS6311403A (ja) * 1986-06-30 1988-01-18 Aisin Warner Ltd タイヤ監視機能付自動車
JP2004201223A (ja) * 2002-12-20 2004-07-15 Matsushita Electric Ind Co Ltd 車両周辺監視装置および舵角検出方法
JP2008128867A (ja) * 2006-11-22 2008-06-05 Denso Corp タイヤ向き特定装置
JP2012162130A (ja) 2011-02-04 2012-08-30 Aisin Aw Co Ltd 運転支援装置、運転支援方法及びコンピュータプログラム
JP2012176656A (ja) * 2011-02-25 2012-09-13 Fuji Heavy Ind Ltd 駐車支援装置

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE19937035B4 (de) * 1999-08-05 2004-09-16 Daimlerchrysler Ag Vorrichtung und Verfahren zur dreidimensionalen zeitaufgelösten photogrammetrischen Erfassung eines Objekts
US6825779B2 (en) * 2000-06-30 2004-11-30 Matsushita Electric Industrial Co., Ltd. Rendering device
JP5380941B2 (ja) * 2007-10-01 2014-01-08 日産自動車株式会社 駐車支援装置及び方法
JP4900326B2 (ja) * 2008-06-10 2012-03-21 日産自動車株式会社 駐車支援装置及び駐車支援方法
KR101735134B1 (ko) * 2009-07-27 2017-05-24 마그나 일렉트로닉스 인크. 주차 보조 시스템
JP5436086B2 (ja) * 2009-08-03 2014-03-05 アルパイン株式会社 車両周辺画像表示装置および車両周辺画像表示方法
DE102010055583B4 (de) * 2010-12-21 2022-12-08 Connaught Electronics Ltd. Kraftfahrzeug mit einer Kamera und Verfahren zum Betreiben eines Kamerasystems in einem Kraftfahrzeug
KR101803973B1 (ko) * 2011-05-09 2017-12-01 엘지이노텍 주식회사 주차용 카메라 시스템과 그의 구동 방법
DE102012015939A1 (de) * 2012-08-10 2014-02-13 Audi Ag Kraftfahrzeug mit Fahrerassistenzsystem und Verfahren zum Betrieb eines Fahrerassistenzsystems
EP3040254B1 (en) * 2013-08-28 2019-11-20 Kyocera Corporation Turning angle correction method, turning angle correction device, image-capturing device, and turning angle correction system

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS6311403A (ja) * 1986-06-30 1988-01-18 Aisin Warner Ltd タイヤ監視機能付自動車
JP2004201223A (ja) * 2002-12-20 2004-07-15 Matsushita Electric Ind Co Ltd 車両周辺監視装置および舵角検出方法
JP2008128867A (ja) * 2006-11-22 2008-06-05 Denso Corp タイヤ向き特定装置
JP2012162130A (ja) 2011-02-04 2012-08-30 Aisin Aw Co Ltd 運転支援装置、運転支援方法及びコンピュータプログラム
JP2012176656A (ja) * 2011-02-25 2012-09-13 Fuji Heavy Ind Ltd 駐車支援装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP3051807A4

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017038183A1 (ja) * 2015-09-01 2017-03-09 株式会社タダノ 移動式クレーンの周囲表示装置
DE102016123135B4 (de) 2015-12-02 2023-03-02 GM Global Technology Operations LLC Fahrzeugdatenaufzeichnung

Also Published As

Publication number Publication date
EP3051807A4 (en) 2016-09-28
US20160216128A1 (en) 2016-07-28
JPWO2015045568A1 (ja) 2017-03-09
US9683861B2 (en) 2017-06-20
JP6213567B2 (ja) 2017-10-18
EP3051807A1 (en) 2016-08-03
CN105580359B (zh) 2018-10-19
EP3051807B1 (en) 2017-09-06
CN105580359A (zh) 2016-05-11

Similar Documents

Publication Publication Date Title
WO2015045568A1 (ja) 予測進路提示装置及び予測進路提示方法
WO2014132680A1 (ja) 車両の制御装置、及びプログラム
JP4579145B2 (ja) 車両周辺画像表示装置
JP5729158B2 (ja) 駐車支援装置および駐車支援方法
US20160009225A1 (en) Periphery surveillance apparatus and program
JP6062609B1 (ja) 車両の外側寸法を監視するための方法ならびに装置
US9953227B2 (en) In-vehicle image processing device
WO2019008764A1 (ja) 駐車支援方法及び駐車支援装置
US20180057056A1 (en) Parking assist device
JP4772409B2 (ja) 画像表示システム
JP5516988B2 (ja) 駐車支援装置
US12030551B2 (en) Image processing device and image processing method
JP2019526105A (ja) 周辺モデルの写像を作成するための方法、並びに、車両制御システム、及び、対応する車両
JP2019526105A5 (ja)
WO2015122124A1 (ja) 車両周辺画像表示装置、車両周辺画像表示方法
JP2004203068A (ja) 移動体周辺監視装置
JP2020042355A (ja) 周辺監視装置
JP5195692B2 (ja) 運転支援装置
JP2013211035A (ja) 車両周辺表示装置
JP6020736B2 (ja) 予測進路提示装置及び予測進路提示方法
JP2008279842A (ja) 死角領域推定装置
JP6209921B2 (ja) 予測進路提示システム
JP2013255237A (ja) 画像表示装置及び画像表示方法
JP3982473B2 (ja) 検出可能領域判定装置及び検出可能領域判定方法
JP2010047105A (ja) 運転支援装置

Legal Events

Date Code Title Description
WWE Wipo information: entry into national phase

Ref document number: 201480052393.9

Country of ref document: CN

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 14846989

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2015538975

Country of ref document: JP

Kind code of ref document: A

WWE Wipo information: entry into national phase

Ref document number: 15024000

Country of ref document: US

NENP Non-entry into the national phase

Ref country code: DE

REEP Request for entry into the european phase

Ref document number: 2014846989

Country of ref document: EP

WWE Wipo information: entry into national phase

Ref document number: 2014846989

Country of ref document: EP