WO2019146162A1 - 表示制御装置及び表示システム - Google Patents
表示制御装置及び表示システム Download PDFInfo
- Publication number
- WO2019146162A1 WO2019146162A1 PCT/JP2018/036744 JP2018036744W WO2019146162A1 WO 2019146162 A1 WO2019146162 A1 WO 2019146162A1 JP 2018036744 W JP2018036744 W JP 2018036744W WO 2019146162 A1 WO2019146162 A1 WO 2019146162A1
- Authority
- WO
- WIPO (PCT)
- Prior art keywords
- vehicle
- display control
- unit
- lane
- image
- Prior art date
Links
- 239000002131 composite material Substances 0.000 claims description 13
- 238000003384 imaging method Methods 0.000 claims description 13
- 238000001514 detection method Methods 0.000 claims description 7
- 230000015572 biosynthetic process Effects 0.000 abstract 1
- 238000003786 synthesis reaction Methods 0.000 abstract 1
- 238000000034 method Methods 0.000 description 20
- 239000003550 marker Substances 0.000 description 16
- 239000003086 colorant Substances 0.000 description 5
- 238000010586 diagram Methods 0.000 description 5
- 240000004050 Pentaglottis sempervirens Species 0.000 description 2
- 235000004522 Pentaglottis sempervirens Nutrition 0.000 description 2
- 238000006243 chemical reaction Methods 0.000 description 2
- PXFBZOLANLWPMH-UHFFFAOYSA-N 16-Epiaffinine Natural products C1C(C2=CC=CC=C2N2)=C2C(=O)CC2C(=CC)CN(C)C1C2CO PXFBZOLANLWPMH-UHFFFAOYSA-N 0.000 description 1
- 230000015556 catabolic process Effects 0.000 description 1
- 238000006731 degradation reaction Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000001788 irregular Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 230000007935 neutral effect Effects 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
- H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T11/00—2D [Two Dimensional] image generation
- G06T11/20—Drawing from basic elements, e.g. lines or circles
- G06T11/203—Drawing of straight lines or curves
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
- B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
- B60R1/22—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
- B60R1/23—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view
- B60R1/26—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view to the rear of the vehicle
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B62—LAND VEHICLES FOR TRAVELLING OTHERWISE THAN ON RAILS
- B62D—MOTOR VEHICLES; TRAILERS
- B62D15/00—Steering not otherwise provided for
- B62D15/02—Steering position indicators ; Steering position determination; Steering aids
- B62D15/021—Determination of steering angle
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
- G01B21/00—Measuring arrangements or details thereof, where the measuring technique is not covered by the other groups of this subclass, unspecified or not relevant
- G01B21/22—Measuring arrangements or details thereof, where the measuring technique is not covered by the other groups of this subclass, unspecified or not relevant for measuring angles or tapers; for testing the alignment of axes
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01P—MEASURING LINEAR OR ANGULAR SPEED, ACCELERATION, DECELERATION, OR SHOCK; INDICATING PRESENCE, ABSENCE, OR DIRECTION, OF MOVEMENT
- G01P3/00—Measuring linear or angular speed; Measuring differences of linear or angular speeds
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
- G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
- G01S17/06—Systems determining position data of a target
- G01S17/42—Simultaneous measurement of distance and other co-ordinates
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T11/00—2D [Two Dimensional] image generation
- G06T11/001—Texturing; Colouring; Generation of texture or colour
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
- G06V20/588—Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G1/00—Traffic control systems for road vehicles
- G08G1/16—Anti-collision systems
- G08G1/167—Driving aids for lane monitoring, lane changing, e.g. blind spot detection
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/90—Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/222—Studio circuitry; Studio devices; Studio equipment
- H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
- H04N5/272—Means for inserting a foreground image in a background image, i.e. inlay, outlay
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
- B60R2300/10—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used
- B60R2300/105—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used using multiple cameras
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
- B60R2300/20—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of display used
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
- B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
- B60R2300/304—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing using merged images, e.g. merging camera image with stored images
- B60R2300/305—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing using merged images, e.g. merging camera image with stored images merging camera image with lines or icons
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
- B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
- B60R2300/307—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing virtually distinguishing relevant parts of a scene from the background of the scene
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
- B60R2300/80—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
- B60R2300/804—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for lane monitoring
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30248—Vehicle exterior or interior
- G06T2207/30252—Vehicle exterior; Vicinity of vehicle
- G06T2207/30256—Lane; Road marking
Definitions
- the present invention relates to a display control device and a display system.
- a general lane is divided by a dividing line such as a white line or a yellow solid line or a broken line along the traveling direction of the vehicle.
- a dividing line such as a white line or a yellow solid line or a broken line along the traveling direction of the vehicle.
- the front of a vehicle traveling in a traveling lane is imaged, and based on the imaged image, a division line dividing the traveling lane from the adjacent lane is detected, and it is determined that the vehicle deviates from the traveling lane
- a lane departure warning device that outputs a warning signal is known (see, for example, Patent Document 1).
- the camera captures an image of the rear side of the vehicle and a rear side image obtained by the imaging is used as a monitor.
- a system to display There is a system to display.
- the image pickup element of the rear side camera has a narrower dynamic range than human eyes, and the rear side image is displayed on the monitor due to the exposure correction of the camera. There is something I can not do. As a result, the driver may not be able to view the rear side of the vehicle.
- the driver can not visually recognize the dividing line.
- the dividing lines included in the rear side image are blown out due to the brightness of the sunlight. Not displayed on the monitor. As a result, the driver can not visually recognize the dividing line.
- the present invention has been made in view of the above problems, and provides a display control device and a display system that can display dividing lines in a manner that is easy for the driver to understand even if the dividing lines are difficult to be reflected in the rear side image.
- the purpose is to
- a display control device includes a front image acquisition unit that acquires a front image obtained by imaging in front of a vehicle traveling in a traveling lane in chronological order by a front camera, and the front image by the front camera
- the dividing line position which calculates the position of the dividing line which divides the traveling lane and the adjacent lane adjacent to the traveling lane based on the movement of the vehicle in the period when the vehicle moves the traveling lane from the time when the image is captured
- a movement locus calculation unit that calculates a movement locus of the vehicle based on a velocity vector of the vehicle, a calculation result of the marking line position calculation unit, and a calculation result of the movement locus calculation unit
- a display system includes the display control device according to the present invention, the display unit, a vehicle speed sensor that detects a vehicle speed of the vehicle, and a steering angle sensor that detects a steering angle of the vehicle. It features.
- the dividing lines can be displayed on the driver in an easy-to-understand manner.
- FIG. 2 is a hardware block diagram showing a specific device configuration of a display system to which the display control apparatus according to the first embodiment is applied. It is an explanatory view showing a flow of functional blocks and data. 5 is a flowchart showing a flow of a series of processes performed by the display control device according to the first embodiment. It is explanatory drawing which shows the road state in which the following vehicle which follows an own vehicle exists. It is explanatory drawing which shows the road state in which the own vehicle in night driving and its following vehicle exist as an application scene of a display control apparatus. It is explanatory drawing which shows the calculation procedure of the movement trace of the own vehicle.
- FIG. 7 is a hardware block diagram showing a specific device configuration of a display system to which a display control apparatus according to a second embodiment is applied. It is an explanatory view showing a flow of functional blocks and data.
- FIG. 10 is a flowchart showing a flow of a series of processes performed by the display control device according to the second embodiment.
- the display control device 100 operates, for example, while the vehicle 10 travels on a road having the number of lanes of three lanes on one side.
- FIG. 1 is a diagram illustrating an example of a road to which the display control device 100 is applied.
- the number of lanes in the left region LZ is three
- the number of lanes in the right region RZ is three
- the total number of lanes is six.
- the left area LZ is adjacent to the right-hand overtaking lane 20 (traveling lane), the traveling lane 22 adjacent to the left side of the overtaking lane 20 (adjacent lane), and the traveling lane 22 opposite to the overtaking lane 20 Drive lanes 24 (near adjacent lanes).
- the right side area RZ and the left side area LZ are separated by a lane marker LM1 (division line).
- the passing lane 20 and the travel lane 22 are separated by a lane marker LM2 (section line).
- the travel lane 22 and the travel lane 24 are divided by a lane marker LM3 (section line).
- the lane markers LM1 and LM4 are shown by solid lines, and the lane markers LM2 and LM3 are shown by broken lines.
- the vehicle 10 travels the passing lane 20 upward (in the direction of the arrow 10 d) in FIG. 1.
- FIG. 2A is a hardware block diagram showing hardware elements constituting a display system 1 to which the display control device 100 is applied.
- FIG. 2B is an explanatory view showing the flow of functional blocks and data.
- the display system 1 is installed in the vehicle 10.
- the display system 1 includes a front camera 20F, a left rear side camera 20L, a right rear side camera 20R, a display device 30 (display unit), a gyro sensor 40, a GPS (Global Positioning System) 50, and a navigation device 60.
- the front camera 20F is mounted, for example, in the cabin of the vehicle 10 so as to face the front of the vehicle 10. As a result, the front camera 20F captures an image of the front of the vehicle 10 traveling on the passing lane 20.
- the left rear side camera 20L for the electronic mirror is attached to the front left side surface of the vehicle 10 so as to face the rear.
- the left rear side camera 20L captures an image of the left rear including a part of the side surface of the host vehicle 10.
- the right rear side camera 20R for the electronic mirror is mounted on the right side surface of the front of the vehicle 10 so as to face the rear.
- the right rear side camera 20R captures an image of the right rear including a part of the right side surface of the host vehicle 10.
- the left rear side camera 20L and the right rear side camera 20R are also referred to simply as the rear side camera 20B.
- the display device 30 is, for example, a rectangular flat panel display (liquid crystal, organic EL, plasma or the like), and is disposed at a position where the driver of the vehicle 10 can visually recognize.
- the display device 30 has, for example, a transparent touch panel that can be pressed by a finger of a driver or the like. As a result, when the driver's finger touches the display device 30, the touch is detected by the touch panel, and the position coordinates of the finger can be input.
- the gyro sensor 40 detects the posture (inclination) of the host vehicle 10 with respect to the horizon.
- the information detected by the gyro sensor 40 is output to the display control device 100 and is used in arithmetic processing in the display control device 100.
- the GPS 50 detects position information (latitude and longitude) of the vehicle 10 at the reception position of the radio wave by receiving a plurality of radio waves transmitted by the artificial satellite.
- the information detected by the GPS 50 is output to the display control device 100 and is used in the arithmetic processing in the display control device 100.
- map information necessary for map display on the display device 30, position search information for searching for a destination desired by the driver, information for guiding the route by voice, etc. are stored in advance.
- the map data includes altitude (above sea level) information of each point.
- Various types of information stored in the navigation device 60 are output to the display control device 100 and used in arithmetic processing in the display control device 100.
- the vehicle speed sensor 70 detects the vehicle speed of the host vehicle 10.
- the steering angle sensor 80 detects the steering angle of the host vehicle 10.
- the laser radar 90 is attached to, for example, a bumper position at the rear of the vehicle 10.
- the laser radar 90 emits the oscillated pulse-like laser beam to the rear region of the vehicle 10.
- the laser radar 90 receives the reflected laser light reflected by the emitted laser light, for example, on the following vehicle 16 (FIG. 4) present in a predetermined area on the rear side of the vehicle 10, thereby the following vehicle 16 from the vehicle 10. Measure the direction and distance to
- the display control device 100 includes a front image acquisition unit 101, a rear side image acquisition unit 102, a lane line position calculation unit 103, a display control unit 104, a movement trajectory calculation unit 105, a storage unit 106, and map generation. And a unit 107.
- a microprocessor including peripheral devices and programs, a central processing unit (CPU) that executes necessary processing, a random access memory (RAM), a read only memory (ROM), and image processing
- CPU central processing unit
- RAM random access memory
- ROM read only memory
- a module such as an application specific integrated circuit (ASIC) that performs signal processing is mounted.
- the forward image acquisition unit 101 acquires a forward image obtained by imaging in chronological order by the forward camera 20F, and stores the acquired forward image in the storage unit 106 in association with the acquired time.
- the rear-side image acquisition unit 102 acquires a rear-side image obtained by imaging by the rear-side camera 20B, and stores the acquired front image in the storage unit 106 in association with the acquired time.
- the lane line position calculation unit 103 calculates the passing lane 20 and the traveling lane 22 based on the movement of the own vehicle 10 in a period in which the own vehicle 10 has moved the passing lane 20 since the front image was captured by the front camera 20F.
- the position of the lane marker LM2 (FIG. 1) is calculated.
- the display control unit 104 is a pseudo corresponding to each of the lane markers LM2, LM3, and LM4 based on the positions of the lane markers LM2, LM3, and LM4 (FIG. 1) calculated by the marking line position calculation unit 103 before the vehicle 10 moves.
- the lane line images I2, I3 and I4 are superimposed on the rear side image obtained by imaging after the host vehicle 10 is moved by the rear side camera 20B for imaging the rear side of the host vehicle 10
- the composite image thus generated is displayed on the display device 30.
- the movement trajectory calculation unit 105 calculates the movement trajectory of the own vehicle 10 based on the velocity vector of the own vehicle 10.
- FIG. 4 is an example of the rear side image, and shows a road state in which the following vehicle 16 following the vehicle 10 is present.
- FIG. 5 is an example of the rear side image, and shows a road state on which the host vehicle 10 traveling at night and its subsequent vehicle 16 exist as an application scene of the display control device 100.
- the brightness is corrected by the brightness of the headlight HL (FIG. 5) of the following vehicle 16 and is included in the rear side image.
- the lane markers LM2, LM3 and LM4 which are extremely dark are blacked out and are not displayed on the display unit 30. As a result, the driver of the vehicle 10 can not visually recognize the lane markers LM2, LM3, and LM4 through the display device 30.
- FIG. 3 A series of processing shown in FIG. 3 is started when it is detected that the following vehicle 16 (FIG. 4) traveling on the traveling lane 22 following the vehicle 10 is present.
- Step S1 the dividing line position calculation unit 103 calculates, for example, the position of the lane marker LM2 (FIG. 4) as a dividing line based on the forward image stored in the storage unit 106.
- the technique for calculating the position of the dividing line is already known, for example, as proposed in Japanese Patent Application Laid-Open No. 2014-13455 etc., and thus detailed description is omitted.
- the position of the dividing line is calculated by calculating the intensity of the point at which the luminance value changes rapidly.
- the movement trajectory calculation unit 105 calculates the movement trajectory P (t) of the vehicle 10 by time-integrating the velocity vector V (t) as shown in the following equation (1).
- the information output from the vehicle speed sensor 70 and the steering angle sensor 80 is used as the information necessary for calculating the velocity vector V (t) as necessary.
- the velocity vector V (t) is calculated based on the turning radius R (FIG. 6) based on the steering angle output from the steering angle sensor 80 and the vehicle speed output from the vehicle speed sensor 70.
- Step S3 the map generation unit 107 generates a map based on the calculation result of the marking line position calculation unit 103 and the calculation result of the movement trajectory calculation unit 105.
- FIG. 7A, FIG. 7B, FIG. 7C, and FIG. 7D are examples of the map produced
- An area indicated by a triangle T1 in each map M is an area that can be imaged by the front camera 20F.
- An area indicated by a triangle T2 in each map M is an area which can be imaged by the left rear side camera 20L.
- a region indicated by a triangle T3 in each map M is a range that can be imaged by the right rear side camera 20R.
- the reference position at the time when the vehicle 10 is activated is the origin.
- the center of the rear wheel axle can be mentioned. Even if the vehicle 10 moves, the location of the origin does not change (fixed to world coordinates).
- the coordinate axes are adjusted in accordance with the direction of the host vehicle 10 at startup, such as, for example, the X axis in the left-right direction and the Y axis in the front-rear direction. All the calculation results in the movement trajectory calculation unit 105 of the present embodiment use values in this coordinate system.
- the range of the map is conceptually infinite in width.
- the range to be recorded is limited (eg, 30 meters long, 30 meters wide, etc.).
- the range of the map is switched in accordance with the movement of the vehicle 10 so that the vehicle 10 is positioned at the center of the map.
- switching of the range of the map is realized only by, for example, parallel movement, and rotation in accordance with the host vehicle 10 is unnecessary. The reason is that rotation of the map image can lead to information degradation.
- the method of storing map information is handled in the same manner as image information. For example, when the size of one pixel is defined as one centimeter long and one centimeter wide, the map of 30 meters long ⁇ 30 meters wide is 3000 pixels long ⁇ 3000 pixels wide.
- the calculation result of the marking line position calculation unit 103 is reflected on the map. Since the map is an image, for example, when the initial value is determined to be black and the dividing line is determined to be white, an image in which the area where the dividing line is present is painted in white is obtained. In this case, other information is not held in the map. That is, the information held in the map is only the dividing line position.
- the map generation unit 107 maps the image obtained by the front camera 20F imaging at the leading time T, and generates the map M (FIG. 7E).
- the map generation unit 107 updates the map M along with the forward movement (FIG. 7F).
- the dotted line frame in FIG. 7F indicates the map range at time T + 1.
- the map generation unit 107 discards the part out of the range in the new map M.
- the map generation unit 107 moves the map M in parallel by the movement of the host vehicle 10 (FIG. 7G).
- FIG. 7G shows map information at time T + 1 before the position of the dividing line is reflected.
- the map generation unit 107 performs map conversion on the map M so as to correct the change in the attitude and the direction in which the vehicle 10 has advanced by the subsequent time T + 1 and the distance (FIG. 7G).
- the map generation unit 107 applies black, which is an initial value, to the portion expanded by the new map (FIG. 7G).
- the map generation unit 107 performs position alignment according to the movement of the host vehicle 10, and updates the map M while absorbing changes in the direction and distance in which the host vehicle 10 has advanced and the attitude of the host vehicle 10 (FIG. 7H) ).
- FIG. 7H shows map information at time T + 1 after the position of the dividing line is reflected.
- the map M for each time corresponds to the instantaneous value information of the calculation result of the marking line position calculation unit 103, respectively. Therefore, the map generation unit 107 may not accumulate the maps M for each time.
- Step S4 Next, based on the map M stored in the storage unit 106, the lane line position calculation unit 103 performs the same process as step S1, and calculates, for example, each position of the lane markers LM1 to LM4.
- Step S5 the display control unit 104 converts the two-dimensional coordinate system of the map M into three-dimensional coordinates of the camera coordinate system.
- This conversion method is already known, for example, by an affine transformation in which the image is enlarged or reduced or rotated. Therefore, the detailed description is omitted.
- Step S6 Next, based on the map M (the respective positions of the lane markers LM2, LM3, and LM4) generated by the map generation unit 107, the display control unit 104 generates pseudo section line images I2, respectively corresponding to the lane markers LM2, LM3, and LM4.
- a composite image SI (FIG. 8) in which I3 and I4 are associated with the rear side image BI and superimposed is displayed on the display device 30.
- the pseudo division line images I2, I3, and I4 are images illustrating the lane markers LM2, LM3, and LM4, respectively.
- the display control unit 104 makes the driver understand the lane marker LM2 to the driver even if the lane marker LM2 (FIG. 1) that divides the passing lane 20 and the traveling lane 22 is difficult to appear in the rear side image. It can be easily displayed on the display device 30.
- the same can be said for the lane marker LM3 (FIG. 1) that divides the traveling lane 22 and the traveling lane 24, and the lane marker LM1 (FIG. 1) that divides the right region RZ and the left region LZ.
- FIG. 9A is a hardware block diagram showing hardware elements constituting a display system 2 to which a display control apparatus 200 according to a second embodiment is applied.
- FIG. 9B is an explanatory view showing the functional blocks and the flow of data.
- the display control device 200 is the same as the display control device 100 (FIGS. 2A and 2B) of the first embodiment except that the turning intention detection unit 108 and the following vehicle presence determination unit 109 are newly provided.
- the turning intention detection unit 108 detects a turning intention for the driver of the vehicle 10 to turn the vehicle 10.
- the turning intention detection unit 108 detects, for example, the steering direction and the angle at which the direction changes, and detects the turning intention based on the detection result.
- the term "turning" refers to steering operations in general, and in particular, to a state in which the vehicle 10 travels a curve.
- the following vehicle presence determination unit 109 determines whether there is a following vehicle 16 (FIG. 4) traveling on the traveling lane 22 following the host vehicle 10.
- the information output from the laser radar 90 is used as the information necessary to determine whether the following vehicle 16 is present.
- FIG. 7C is an example of an application scene of the display control device 200, and shows a road state where the succeeding vehicle 16 following the own vehicle 10 is present.
- the host vehicle 10 travels along the traveling lane 22 in a curve, and the following vehicle 16 is present at a position approximately directly behind the host vehicle 10 in the traveling lane 24.
- the pseudo lane line images I2, I3 and I4 (FIG. 8) in a conspicuous color on the display device 30, and to clarify that the following vehicle 16 is traveling in the traveling lane 22.
- noticeable colors include warm colors that appear in the dark, that is, red, pink, fluorescent colors, and the like.
- the noticeable color is a color that is more prominent than the white line or yellow line used in the lane line of a general lane, and is a color that makes it easy for the driver of the host vehicle 10 to visually recognize the lane marker.
- the intention to turn is confirmed by the turn intention detection unit 108, and the following vehicle 16 (FIG. 4) is present at a position approximately directly behind the host vehicle 10 in the following vehicle presence determination unit 109. It starts when it is detected.
- Steps U1, U2, U3, U4, U5, and U6 shown in FIG. 10 are the same processes as steps S1, S2, S3, S4, S5, and S6 shown in FIG. 4, respectively. I omit it. That is, after the process of steps U1 to U5 shown in FIG. 10 is performed, the process proceeds to step U6.
- the display control unit 104 causes the display device 30 to display the composite image SI (FIG. 8) in which the pseudo marking line images I2, I3, and I4 are displayed in a noticeable color corresponding to the rear side image BI. .
- the display control device 200 and the display system 2 of the second embodiment in addition to the effects of the first embodiment, it is possible for the driver of the vehicle 10 to determine whether the following vehicle 16 is traveling on the travel lane 22.
- the display control unit 104 displays on the display device 30 the composite image SI in which the pseudo lane line images I2, I3, and I4 are made to be noticeable colors and superimposed in association with the rear side image BI under the road conditions that are difficult to understand. indicate.
- the driver of the host vehicle 10 is not likely to misinterpret that the following vehicle 16 is traveling on the traveling lane 24, and the display system 2 can more safely support the driver's driving operation.
- Example 1 the scene which the own vehicle 10 is drive
- the display control device 100 may be applied while the host vehicle 10 is traveling in the daytime. That is, when sunlight is projected to the rear side camera 20B due to the influence of backlight etc., the lane markers LM1 to LM4 included in the rear side image BI fly over due to the brightness of the sunlight. It is not displayed on the display device 30.
- the display control unit 104 can accurately display the lane marker LM2 that divides the passing lane 20 and the traveling lane 22 on the display device 30 regardless of the location.
- the same can be said for the lane markers LM1 and LM3.
- the front camera 20F was attached in the vehicle interior, and showed the example which images the front of the own vehicle 10. FIG. However, it is not limited to this.
- the front camera 20F may be installed outside the vehicle and used to generate a bird's-eye view, as long as the depth of field and the angle of view are applicable to the generation of the bird's-eye view.
- Example 1 the example which the front camera 20F images the front of the own vehicle 10 in time-sequential order at equal intervals was shown. However, it is not limited to this.
- the front camera 20F may image the front of the vehicle 10 in chronological order at irregular intervals.
- Example 1 the display control part 104 showed the example which predicts the driving
- the display control unit 104 may predict the travel history of the vehicle 10 using any method that is generally performed recently.
- Example 1 the example which comprises pseudo division line images I2, I3, and I4 by the image which illustrated the lane marker was shown.
- the pseudo section line images I2, I3, and I4 may be obtained by image processing based on the lane markers LM2, LM3, and LM4 for real shooting, respectively.
- the lane markers LM2, LM3, and LM4 included in the front image obtained by the front camera 20F are transformed into an image having the same appearance as the rear side image obtained by the rear side camera 20B, A process is included to change the lightness of the front image obtained by the front camera 20F to a more easily viewable lightness.
- the pseudo division line image may be configured as an image illustrating the traveling surface sandwiched by the lane markers.
- the display control unit 104 displays an example in which the composite image in which the pseudo marking lines I2, I3, and I4 are superimposed in association with the rear side image BI is displayed on the display device 30.
- the display control apparatus 100 may be additionally provided with a movement determination unit that determines whether the vehicle 10 moves to the traveling lane 22.
- the display control unit 104 causes the display device 30 to display the composite image SI in which the pseudo marking line images I2, I3, and I4 correspond to the rear side image BI and are superimposed. It may be displayed on. Specifically, when a winker operation is performed as the driver's intention to change lanes from the overtaking lane 20 to the traveling lane 22, the display control unit 104 turns the pseudo division line images I2, I3, and I4 into, for example, pink and yellow.
- the composite image SI may be displayed on the display device 30 in a noticeable color such as red, in association with the rear side image BI.
- the display control unit 104 converts the pseudo section line images I2, I3, and I4 into the back side image BI based on the positions of the lane markers LM1 to LM4 calculated by the section line position calculation section 103.
- combination image SI which matched and was made to superimpose on the display apparatus 30 was shown. However, it is not limited to this.
- the display control unit 104 sets a pseudo marking line image I3 corresponding to the lane marker LM3 to a false marking line image corresponding to the lane marker LM2. It may be displayed on the display device 30 in a color different from I2. In short, it is sufficient that the color of the pseudo marking line image I2 and the color of the false marking line image I3 are different.
- the display control unit 104 combines the pseudo division line images I2, I3, and I4 into a warm color such as red, pink, yellow, and the like, and superimposes them in association with the back side image BI.
- a warm color such as red, pink, yellow, and the like
- the display control unit 104 sets the pseudo division line images I2, I3, and I4 to a cold color such as bluish green, blue, and bluish violet or a neutral color such as yellowish green, green, purple, and achromatic, and the like.
- the composite image SI may be displayed on the display device 30 in association with the two-way image BI.
- the pseudo lane line images I2, I3 and I4 may be of noticeable colors.
- the vehicle 10 travels along the traveling lane 22 in a curve, and the road condition in which the following vehicle 16 traveling in the traveling lane 24 is approximately directly behind the vehicle 10 is displayed
- the example which applies the control apparatus 200 was shown. However, it is not limited to this.
- the display control device 200 is set in a road state in which the host vehicle 10 travels on the passing lane 20 in a curve, and the following vehicle 16 traveling in the travel lane 22 is approximately directly behind the host vehicle 10. You may apply.
- Examples 1 and 2 described above an example in which the number of lanes in the left side area LZ is three lanes has been shown. However, it is not limited to this.
- the number of lanes in the left area LZ may be two lanes or four lanes or more. The same applies to the number of lanes in the right area RZ.
- Map generation unit 108 Turning intention detection unit 109 ⁇ ⁇ ⁇ Subsequent vehicle presence judgment unit ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ Rear side images I2, I3, I4 ⁇ ⁇ ⁇ pseudo section line image LM1, LM2, LM3, LM4, ⁇ ⁇ ⁇ ⁇ ⁇ Lane marker (division line)
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Theoretical Computer Science (AREA)
- Mechanical Engineering (AREA)
- Signal Processing (AREA)
- Electromagnetism (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Combustion & Propulsion (AREA)
- Transportation (AREA)
- Chemical & Material Sciences (AREA)
- Computer Networks & Wireless Communication (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Traffic Control Systems (AREA)
- Closed-Circuit Television Systems (AREA)
- Image Analysis (AREA)
Abstract
区画線が後側方画像に映り難い状況であっても、区画線をドライバに分かり易く表示することのできる表示制御装置及び表示システムを提供する。 走行車線を走行する車両(10)の前方を撮像する前方カメラ(20F)により時系列順に撮像して得られた前方画像を取得する前方画像取得部(101)と、前方カメラ(20F)により前方画像が撮像された時点から車両(10)が走行車線を移動した期間における車両(10)の移動に基づいて、走行車線とその隣接車線とを仕切る区画線の位置を算出する区画線位置算出部(103)と、車両(10)の移動軌跡を算出する移動軌跡算出部(105)と、マップを生成するマップ生成部(107)と、マップに基づいて、区画線に対応した擬似区画線像を車両(10)の後側方を撮像する後側方カメラ(20B)により車両(10)の移動後に撮像して得られた後側方画像に対応付けて重畳させた合成画像を表示部30に表示する表示制御部(104)と、を有する。
Description
本発明は、表示制御装置及び表示システムに関する。
一般的な車線は、車両の走行方向に沿った例えば白線又は黄線の実線又は破線等の区画線で仕切られている。従来、走行車線を走行する車両の前方を撮像し、その撮像された画像に基づいてその走行車線と隣接する車線と仕切る区画線を検出し、当該車両が走行車線を逸脱すると判定されたときに警報信号を出力する車線逸脱警報装置が知られている(例えば、特許文献1参照)。
ここで、車両の後側方を視認するためのサイドミラー等があるが、このサイドミラーに代えて、カメラで車両の後側方を撮像し、その撮像により得られる後側方画像をモニタに表示するシステムがある。ところが、サイドミラーを後側方カメラに置き換えた場合、後側方カメラの撮像素子は人間の目と比べてダイナミックレンジが狭く、また、カメラの露光補正の影響で後側方画像をモニタに表示できないことがある。その結果、ドライバは車両の後側方を視認することができないことがある。
例えば、夜間走行中に、車両とその後続車両との間の距離が短いときには、後続車両のヘッドライトの明るさによって、露光補正され、後側方画像に含まれる、相対的に暗い区画線が黒潰れしてモニタに表示されない。その結果、ドライバは区画線を視認することができない。さらに、昼間走行中も、逆光等の影響で太陽光が後側方カメラに射し込んでいるような場合には、後側方画像に含まれる区画線が太陽光の明るさによって白飛びしてモニタに表示されない。その結果、ドライバは区画線を視認することができない。
本発明は、上記課題に鑑みてなされたもので、区画線が後側方画像に映り難い状況であっても、区画線をドライバに分かり易く表示することのできる表示制御装置及び表示システムを提供することを目的とする。
本発明に係る表示制御装置は、走行車線を走行する車両の前方を撮像する前方カメラにより時系列順に撮像して得られた前方画像を取得する前方画像取得部と、前記前方カメラにより前記前方画像が撮像された時点から前記車両が前記走行車線を移動した期間における前記車両の移動に基づいて、前記走行車線と前記走行車線に隣接する隣接車線とを仕切る区画線の位置を算出する区画線位置算出部と、前記車両の速度ベクトルに基づいて、前記車両の移動軌跡を算出する移動軌跡算出部と、前記区画線位置算出部の算出結果と前記移動軌跡算出部の算出結果とに基づいて、マップを生成するマップ生成部と、前記マップ生成部により生成された前記マップに基づいて、前記区画線に対応した擬似区画線像を前記車両の後側方を撮像する後側方カメラにより前記車両の前記移動後に撮像して得られた後側方画像に対応付けて重畳させた合成画像を表示部に表示する表示制御部と、を有することを特徴とする。
本発明に係る表示システムは、本発明に係る表示制御装置と、前記表示部と、前記車両の車速を検出する車速センサと、前記車両の操舵角を検出する操舵角センサと、を有することを特徴とする。
このように構成された本発明に係る表示制御装置及び表示システムによれば、区画線が後側方画像に映り難い状況であっても、区画線をドライバに分かり易く表示することができる。
以下、本発明に係る表示制御装置及び表示システムの具体的な実施形態について、図面を参照して説明する。
(表示制御装置の適用場面の説明)
まず、図1及び図2を用いて、表示制御装置100(図3参照)の概要と、表示制御装置100が適用される道路状態について説明する。表示制御装置100は、例えば片側3車線の車線数を有する道路を自車両10が走行中に動作する。
まず、図1及び図2を用いて、表示制御装置100(図3参照)の概要と、表示制御装置100が適用される道路状態について説明する。表示制御装置100は、例えば片側3車線の車線数を有する道路を自車両10が走行中に動作する。
図1は、表示制御装置100が適用される道路の一例を示す図である。道路は、左側領域LZの車線数が3車線であり、右側領域RZの車線数が3車線であり、全車線数が6車線からなる。左側領域LZは、一番右側の追越車線20(走行車線)と、追越車線20の左側に隣接する走行車線22(隣接車線)と、走行車線22に追越車線20と反対側に隣接する走行車線24(隣々接車線)とからなる。
右側領域RZ及び左側領域LZは、レーンマーカLM1(区画線)で仕切られている。追越車線20及び走行車線22は、レーンマーカLM2(区画線)で仕切られている。走行車線22及び走行車線24は、レーンマーカLM3(区画線)で区画されている。図1では、レーンマーカLM1、LM4を実線で示し、レーンマーカLM2、LM3を破線で示している。自車両10は、追越車線20を図1の紙面上向き(矢印10dの方向)に走行している。
(表示制御装置を適用したシステム構成の説明)
図2Aは、表示制御装置100を適用した表示システム1を構成するハードウェア要素を示すハードウェアブロック図である。図2Bは、機能ブロックとデータの流れを示す説明図である。
図2Aは、表示制御装置100を適用した表示システム1を構成するハードウェア要素を示すハードウェアブロック図である。図2Bは、機能ブロックとデータの流れを示す説明図である。
表示システム1は、自車両10に設置されている。表示システム1は、前方カメラ20F,左後側方カメラ20L,右後側方カメラ20Rと、表示装置30(表示部)と、ジャイロセンサ40と、GPS(Global Positioning System)50と、ナビゲーション装置60と、車速センサ70と、操舵角センサ80と、レーザレーダ90と、表示制御装置100と、を有する。
前方カメラ20Fは、例えば自車両10の車室内に自車両10の前方を向いて取り付けられている。その結果、前方カメラ20Fは、追越車線20を走行する自車両10の前方を撮像する。
電子ミラー用の左後側方カメラ20Lは、自車両10の前部の左側面に後方を向いて取り付けられている。その結果、左後側方カメラ20Lは、自車両10の側面の一部を含む左側後方の画像を撮像する。電子ミラー用の右後側方カメラ20Rは、自車両10の前部の右側面に後方を向いて取り付けられている。その結果、右後側方カメラ20Rは、自車両10の右側面の一部を含む右側後方の画像を撮像する。なお、以下では、左後側方カメラ20L及び右後側方カメラ20Rを特に区別しないときは、単に後側方カメラ20Bともいう。
表示装置30は、例えば矩形状のフラットパネルディスプレイ(液晶、有機EL、プラズマ等)であり、自車両10のドライバが視認できる位置に配置される。表示装置30は、例えば、ドライバの指等により押圧可能な透明のタッチパネルが貼り付けられている。その結果、ドライバの指が表示装置30に接触した場合、その接触はタッチパネルにより検出され、指の位置座標を入力することができる。
ジャイロセンサ40は、自車両10の地平線に対する姿勢(傾き)を検出する。ジャイロセンサ40で検出された情報は、表示制御装置100に出力され、表示制御装置100における演算処理で利用される。
GPS50は、人工衛星により発信される複数の電波を受信することによって、電波の受信位置における自車両10の位置情報(緯度及び経度)を検出する。GPS50で検出された情報は、表示制御装置100に出力され、表示制御装置100における演算処理で利用される。
ナビゲーション装置60には、表示装置30への地図表示に必要な地図情報、ドライバが所望する目的地を検索するための位置検索情報、経路を音声で案内するための情報等が予め記憶されている。地図データ中には、各地点の高度(海抜)情報が含まれる。ナビゲーション装置60で記憶されている各種情報は、表示制御装置100に出力され、表示制御装置100における演算処理で利用される。
車速センサ70は、自車両10の車速を検出する。操舵角センサ80は、自車両10の操舵角を検出する。
レーザレーダ90は、例えば、自車両10の後方のバンパ位置に取り付けられる。レーザレーダ90は、発振させたパルス状のレーザ光を自車両10の後方領域に出射する。レーザレーダ90は、出射したレーザ光が、例えば、自車両10の後方の所定領域に存在する後続車両16(図4)に当たって反射した反射レーザ光を受光することにより、自車両10から後続車両16までの方向や距離を測定する。
(表示制御装置の構成の説明)
表示制御装置100は、前方画像取得部101と、後側方画像取得部102と、区画線位置算出部103と、表示制御部104と、移動軌跡算出部105と、記憶部106と、マップ生成部107と、を有する。
表示制御装置100は、前方画像取得部101と、後側方画像取得部102と、区画線位置算出部103と、表示制御部104と、移動軌跡算出部105と、記憶部106と、マップ生成部107と、を有する。
表示制御装置100の内部には、例えば、周辺デバイスを含めたマイクロプロセッサ及びプログラム、必要な処理を実行するCPU(Central Processing Unit)、RAM(Random Access Memory)、ROM(Read Only Memory)、画像処理や信号処理を行う専用ASIC(Application Specific Integrated Circuit)等のモジュールが実装されている。
前方画像取得部101は、前方カメラ20Fにより時系列順に撮像して得られた前方画像を取得し、その取得した前方画像をその取得した時刻に対応付けて記憶部106に記憶する。
後側方画像取得部102は、後側方カメラ20Bにより撮像して得られた後側方画像を取得し、その取得した前方画像をその取得した時刻に対応付けて記憶部106に記憶する。
区画線位置算出部103は、前方カメラ20Fにより前方画像が撮像された時点から自車両10が追越車線20を移動した期間における自車両10の移動に基づいて、追越車線20と走行車線22とを仕切るレーンマーカLM2(図1)の位置を算出する。
表示制御部104は、自車両10の移動前に区画線位置算出部103により算出されたレーンマーカLM2,LM3,LM4(図1)の位置に基づいて、レーンマーカLM2,LM3,LM4にそれぞれ対応した擬似区画線像I2,I3,I4(図8)を自車両10の後側方を撮像する後側方カメラ20Bにより自車両10の移動後に撮像して得られた後側方画像に対応付けて重畳させた合成画像を表示装置30に表示する。
移動軌跡算出部105は、自車両10の速度ベクトルに基づいて、自車両10の移動軌跡を算出する。
表示制御部104、移動軌跡算出部105及びマップ生成部107の詳細は後述する。
(表示制御装置100で行われる一連の処理の流れ)
次に、表示制御装置100で行われる一連の処理の流れを、図3に示すフローチャートと、図5、図6、図7A、図7B、図7C、図7D及び図8に示す説明図とを用いて説明する。
次に、表示制御装置100で行われる一連の処理の流れを、図3に示すフローチャートと、図5、図6、図7A、図7B、図7C、図7D及び図8に示す説明図とを用いて説明する。
図4は、後側方画像の一例であって、自車両10に後続する後続車両16が存在する道路状態を示している。図5は、後側方画像の一例であって、表示制御装置100の適用場面として夜間走行中の自車両10とその後続車両16が存在する道路状態を示している。
この道路状態において、自車両10と後続車両16との間の距離が短いときには、後続車両16のヘッドライトHL(図5)の明るさによって、露光補正され、後側方画像に含まれる、相対的に暗いレーンマーカLM2,LM3,LM4が黒潰れして表示装置30に表示されない。その結果、自車両10のドライバは表示装置30を通じてレーンマーカLM2,LM3,LM4を視認することができない。
図3に示す一連の処理は、走行車線22を自車両10に後続して走行する後続車両16(図4)が存在することが検出されたときに開始される。
(ステップS1)
まず、区画線位置算出部103は、記憶部106に記憶されている前方画像に基づき、区画線として例えばレーンマーカLM2(図4)の位置を算出する。なお、区画線の位置を算出する技術は、例えば特開2014-13455号公報等で提案されているなど既に周知であるため詳細な説明は省略するが、実施例1では、前方画像におけるエッジ(輝度値が急激に変わる点)の強度を算出して区画線の位置が算出される。
まず、区画線位置算出部103は、記憶部106に記憶されている前方画像に基づき、区画線として例えばレーンマーカLM2(図4)の位置を算出する。なお、区画線の位置を算出する技術は、例えば特開2014-13455号公報等で提案されているなど既に周知であるため詳細な説明は省略するが、実施例1では、前方画像におけるエッジ(輝度値が急激に変わる点)の強度を算出して区画線の位置が算出される。
(ステップS2)
次に、移動軌跡算出部105は、下記式(1)に示すように、速度ベクトルV(t)を時間積分することで自車両10の移動軌跡P(t)を算出する。なお、速度ベクトルV(t)の算出に必要な情報は、車速センサ70及び操舵角センサ80から出力された情報が必要に応じて使用される。具体的に、速度ベクトルV(t)は、操舵角センサ80から出力された操舵角に基づく回転半径R(図6)と、車速センサ70から出力された車速とに基づいて算出される。
次に、移動軌跡算出部105は、下記式(1)に示すように、速度ベクトルV(t)を時間積分することで自車両10の移動軌跡P(t)を算出する。なお、速度ベクトルV(t)の算出に必要な情報は、車速センサ70及び操舵角センサ80から出力された情報が必要に応じて使用される。具体的に、速度ベクトルV(t)は、操舵角センサ80から出力された操舵角に基づく回転半径R(図6)と、車速センサ70から出力された車速とに基づいて算出される。
(ステップS3)
次に、マップ生成部107は、区画線位置算出部103の算出結果と移動軌跡算出部105の算出結果とに基づいて、マップを生成する。図7A,図7B,図7C,図7Dは、自車両10の位置が中心となるように生成されたマップの一例である。各マップM中の三角形T1で示す領域は、前方カメラ20Fで撮像可能な範囲である。各マップM中の三角形T2で示す領域は、左後側方カメラ20Lで撮像可能な範囲である。各マップM中の三角形T3で示す領域は、右後側方カメラ20Rで撮像可能な範囲である。
マップの座標系は、例えば自車両10が起動(エンジンON等)した時点での基準位置が原点となる。基準位置の一例には、後輪車軸の中心等を挙げることができる。自車両10が移動しても、原点の場所は変わらない(世界座標に固定)。座標軸は、例えば左右方向がX軸、前後方向がY軸等のように、起動時の自車両10の方向に合わせて調整される。本実施形態の移動軌跡算出部105における算出結果は、すべてこの座標系での値が使用される。
マップの範囲については概念的に無限大の広さを有する。しかし、実装上無限大の領域は扱えないので、記録対象の範囲は制限される(例、縦30メートル、横30メートル等)。この際、自車両10がマップの中心に位置するように、自車両10の移動に合わせてマップの範囲が切り替えられる。ただし、マップの範囲の切り替えは、例えば平行移動のみで実現され、自車両10に合わせた回転は不要とされる。その理由は、マップ画像の回転が情報劣化をもたらし得るからである。
マップ情報の保持方法については画像情報と同様に取り扱われる。例えば、1画素のサイズを縦1センチ、横1センチと定義した場合、縦30メートル×横30メートルのマップは縦3000ピクセル×横3000ピクセルとなる。
マップに保持する情報については、区画線位置算出部103の算出結果がマップに反映される。マップは画像ゆえ、例えば、初期値を黒、区画線を白と決めた場合、区画線が存在する領域を白で塗るイメージとなる。この場合、その他の情報はマップで保持されない。すなわち、マップに保持される情報は区画線位置のみである。
次に、マップ生成部107は、区画線位置算出部103の算出結果と移動軌跡算出部105の算出結果とに基づいて、マップを生成する。図7A,図7B,図7C,図7Dは、自車両10の位置が中心となるように生成されたマップの一例である。各マップM中の三角形T1で示す領域は、前方カメラ20Fで撮像可能な範囲である。各マップM中の三角形T2で示す領域は、左後側方カメラ20Lで撮像可能な範囲である。各マップM中の三角形T3で示す領域は、右後側方カメラ20Rで撮像可能な範囲である。
マップの座標系は、例えば自車両10が起動(エンジンON等)した時点での基準位置が原点となる。基準位置の一例には、後輪車軸の中心等を挙げることができる。自車両10が移動しても、原点の場所は変わらない(世界座標に固定)。座標軸は、例えば左右方向がX軸、前後方向がY軸等のように、起動時の自車両10の方向に合わせて調整される。本実施形態の移動軌跡算出部105における算出結果は、すべてこの座標系での値が使用される。
マップの範囲については概念的に無限大の広さを有する。しかし、実装上無限大の領域は扱えないので、記録対象の範囲は制限される(例、縦30メートル、横30メートル等)。この際、自車両10がマップの中心に位置するように、自車両10の移動に合わせてマップの範囲が切り替えられる。ただし、マップの範囲の切り替えは、例えば平行移動のみで実現され、自車両10に合わせた回転は不要とされる。その理由は、マップ画像の回転が情報劣化をもたらし得るからである。
マップ情報の保持方法については画像情報と同様に取り扱われる。例えば、1画素のサイズを縦1センチ、横1センチと定義した場合、縦30メートル×横30メートルのマップは縦3000ピクセル×横3000ピクセルとなる。
マップに保持する情報については、区画線位置算出部103の算出結果がマップに反映される。マップは画像ゆえ、例えば、初期値を黒、区画線を白と決めた場合、区画線が存在する領域を白で塗るイメージとなる。この場合、その他の情報はマップで保持されない。すなわち、マップに保持される情報は区画線位置のみである。
マップ生成部107は、先行時刻Tに前方カメラ20Fが撮像して得られた画像をマッピングして、マップMを生成する(図7E)。
後続時刻T+1までに自車両10が前進した場合、その前進に伴い、マップ生成部107はマップMを更新する(図7F)。図7F中の点線枠は、時刻T+1のマップ範囲を示す。このとき、マップ生成部107は新しいマップMで範囲外になった部分を破棄する。
そして、マップ生成部107はマップMを自車両10の移動分だけ平行移動させる(図7G)。図7Gは、時刻T+1のマップ情報であって、区画線の位置が反映される前のマップ情報を示している。マップ生成部107は、後続時刻T+1までに自車両10が前進した方向及び距離、自車両10の姿勢の変化を補正するように、マップMを写像変換する(図7G)。
マップ生成部107は新しいマップで拡張された部分に初期値である黒を塗る(図7G)。マップ生成部107は自車両10の移動分に応じて位置合わせを行い、自車両10が前進した方向及び距離、自車両10の姿勢の変化を吸収しながらマップMを更新していく(図7H)。図7Hは、時刻T+1のマップ情報であって、区画線の位置が反映された後のマップ情報を示している。各時刻分のマップMは、それぞれ、区画線位置算出部103の算出結果の瞬間値情報に相当する。したがって、マップ生成部107は各時刻分のマップMを蓄積しなくてもよい。
後続時刻T+1までに自車両10が前進した場合、その前進に伴い、マップ生成部107はマップMを更新する(図7F)。図7F中の点線枠は、時刻T+1のマップ範囲を示す。このとき、マップ生成部107は新しいマップMで範囲外になった部分を破棄する。
そして、マップ生成部107はマップMを自車両10の移動分だけ平行移動させる(図7G)。図7Gは、時刻T+1のマップ情報であって、区画線の位置が反映される前のマップ情報を示している。マップ生成部107は、後続時刻T+1までに自車両10が前進した方向及び距離、自車両10の姿勢の変化を補正するように、マップMを写像変換する(図7G)。
マップ生成部107は新しいマップで拡張された部分に初期値である黒を塗る(図7G)。マップ生成部107は自車両10の移動分に応じて位置合わせを行い、自車両10が前進した方向及び距離、自車両10の姿勢の変化を吸収しながらマップMを更新していく(図7H)。図7Hは、時刻T+1のマップ情報であって、区画線の位置が反映された後のマップ情報を示している。各時刻分のマップMは、それぞれ、区画線位置算出部103の算出結果の瞬間値情報に相当する。したがって、マップ生成部107は各時刻分のマップMを蓄積しなくてもよい。
(ステップS4)
次に、区画線位置算出部103は、記憶部106に記憶されているマップMに基づき、ステップS1と同様の処理を行い、例えばレーンマーカLM1~LM4の各位置を算出する。
次に、区画線位置算出部103は、記憶部106に記憶されているマップMに基づき、ステップS1と同様の処理を行い、例えばレーンマーカLM1~LM4の各位置を算出する。
(ステップS5)
次に、表示制御部104は、マップMの二次元座標系をカメラ座標系の三次元座標に変換する。この変換方法は、例えば画像を拡大または縮小または回転するアフィン変換等により既に周知である。そのため、詳細な説明は省略する。
次に、表示制御部104は、マップMの二次元座標系をカメラ座標系の三次元座標に変換する。この変換方法は、例えば画像を拡大または縮小または回転するアフィン変換等により既に周知である。そのため、詳細な説明は省略する。
(ステップS6)
次に、表示制御部104は、マップ生成部107により生成されたマップM(レーンマーカLM2,LM3,LM4の各位置)に基づいて、レーンマーカLM2,LM3,LM4にそれぞれ対応した擬似区画線像I2,I3,I4を後側方画像BIに対応付けて重畳させた合成画像SI(図8)を表示装置30に表示する。擬似区画線像I2,I3,I4は、それぞれ、レーンマーカLM2,LM3,LM4をイラスト化した画像である。
次に、表示制御部104は、マップ生成部107により生成されたマップM(レーンマーカLM2,LM3,LM4の各位置)に基づいて、レーンマーカLM2,LM3,LM4にそれぞれ対応した擬似区画線像I2,I3,I4を後側方画像BIに対応付けて重畳させた合成画像SI(図8)を表示装置30に表示する。擬似区画線像I2,I3,I4は、それぞれ、レーンマーカLM2,LM3,LM4をイラスト化した画像である。
すなわち、上記実施形態では、表示制御部104は、追越車線20と走行車線22とを仕切るレーンマーカLM2(図1)が後側方画像に映り難い状況であっても、レーンマーカLM2をドライバに分かり易く表示装置30に表示することができる。もちろん、走行車線22と走行車線24とを仕切るレーンマーカLM3(図1)や、右側領域RZと左側領域LZとを仕切るレーンマーカLM1(図1)についても同様のことが言える。なお、レーンマーカLM2が後側方画像に映り難い状況としては、自車両10が夜間走行中の場合には、後続車両16のヘッドライトの光が自車両10の後側方カメラ20Bに入り込んでくる状況が例示される。また、自車両10が昼間走行中の場合には、通常より強い太陽光が自車両10の後側方カメラ20Bに入り込んでくる状況が例示される。
本発明に係る表示制御装置を適用した表示システムの別の具体的な実施形態について、図面を参照して説明する。
(表示制御装置を適用したシステム構成の説明)
図9Aは、実施例2に係る表示制御装置200を適用した表示システム2を構成するハードウェア要素を示すハードウェアブロック図である。図9Bは、機能ブロックとデータの流れを示す説明図である。
図9Aは、実施例2に係る表示制御装置200を適用した表示システム2を構成するハードウェア要素を示すハードウェアブロック図である。図9Bは、機能ブロックとデータの流れを示す説明図である。
実施例1で説明した要素と同一の要素については、同じ符号を付し、詳細な説明を省略する。表示制御装置200は、旋回意思検出部108及び後続車両存在判断部109が新たに備え付けられていることを除き、実施例1の表示制御装置100(図2A及び図2B)と同じである。
旋回意思検出部108は、自車両10のドライバが自車両10を旋回させようとする旋回意思を検出する。旋回意思検出部108は、例えば、ステアリングの方向及びその方向が変化する角度を検出し、その検出結果を基に旋回意思を検出する。ここで、「旋回」とは、ステアリングの操作全般をいい、特に、自車両10がカーブを走行している状態のことをいう。
後続車両存在判断部109は、走行車線22を自車両10に後続して走行する後続車両16(図4)が存在するか否かを判断する。なお、後続車両16が存在するか否かの判断に必要な情報は、レーザレーダ90から出力された情報が必要に応じて使用される。
(表示制御装置200で行われる一連の処理の流れ)
次に、表示制御装置200で行われる一連の処理の流れを、図10に示すフローチャートと、図7C及び図8に示す説明図とを用いて説明する。
次に、表示制御装置200で行われる一連の処理の流れを、図10に示すフローチャートと、図7C及び図8に示す説明図とを用いて説明する。
図7Cは、表示制御装置200の適用場面の一例であって、自車両10に後続する後続車両16が存在する道路状態を示している。この道路状態では、自車両10が走行車線22をカーブ走行し、且つ、後続車両16が走行車線24において自車両10の略真後ろとなる位置に存在している。
このような道路状態では、自車両10のドライバは、後続車両16が走行車線22を走行中なのか走行車線24を走行中なのか表示装置30を通じて視認し難い。したがって、擬似区画線像I2,I3,I4(図8)を目立つ色にして表示装置30に表示して、後続車両16が走行車線22を走行中であることを明確にすることが好ましい。目立つ色としては、暗闇に映える暖色系の色、すなわち、赤、ピンク、蛍光色等が例示される。要するに、目立つ色は、一般的な車線の区画線で使用される白線又は黄線より目立つ色であり、自車両10のドライバがレーンマーカを分かり易く視認可能となるような色合いである。
図10に示す一連の処理は、旋回意思検出部108において旋回意思が確認され、且つ、後続車両存在判断部109において後続車両16(図4)が自車両10の略真後ろとなる位置に存在することが検出されたときに開始される。
なお、図10に示すステップU1,U2,U3,U4,U5,U6は、それぞれ、図4に示すステップS1,S2,S3,S4,S5,S6と同様の処理であるので、詳細な説明を省略する。すなわち、図10に示すステップU1~U5の処理が実行された後、処理はステップU6に進む。ステップU6において、表示制御部104は、擬似区画線像I2,I3,I4を目立つ色にして後側方画像BIに対応付けて重畳させた合成画像SI(図8)を表示装置30に表示する。
すなわち、実施例2の表示制御装置200及び表示システム2によれば、実施例1での効果に加え、自車両10のドライバにとって、後続車両16が走行車線22を走行中なのか走行車線24を走行中なのか分かり難い道路状況で、表示制御部104は、擬似区画線像I2,I3,I4を目立つ色にして後側方画像BIに対応付けて重畳させた合成画像SIを表示装置30に表示する。これにより、自車両10のドライバは、後続車両16が走行車線24を走行中であると見誤る虞が無くなり、表示システム2としてドライバの運転操作をより安全に支援することができる。
以上、本発明の実施形態を図面により詳述したが、実施形態は本発明の例示にしか過ぎないものであるため、本発明は実施形態の構成にのみ限定されるものではなく、本発明の要旨を逸脱しない範囲の設計の変更等があっても、本発明に含まれることは勿論である。
上述した実施例1では、表示制御装置100の適用場面として、自車両10が夜間走行中の場面を示した。しかし、これに限られない。例えば、表示制御装置100は、自車両10が昼間走行中に適用されても良い。すなわち、逆光等の影響で太陽光が後側方カメラ20Bに射し込んでいるような場合には、後側方画像BIに含まれるレーンマーカLM1~LM4が太陽光の明るさによって白飛びして表示装置30に表示されない。
その結果、ドライバはレーンマーカLM1~LM4視認することができない。これに対し、実施例1では、表示制御部104は、追越車線20と走行車線22とを仕切るレーンマーカLM2をその所在の如何に関わらず精度良く表示装置30に表示することができる。もちろん、レーンマーカLM1,LM3についても同様のことが言える。
上述した実施例1では、前方カメラ20Fは、車室内に取り付けられ、自車両10の前方を撮像する例を示した。しかし、これに限られない。例えば、前方カメラ20Fは、被写界深度と画角が俯瞰画像の生成に適用可能な範囲であれば、車室外に設置されて俯瞰画像の生成に使用されても良い。
上述した実施例1では、前方カメラ20Fが等間隔で時系列順に自車両10の前方を撮像する例を示した。しかし、これに限られない。例えば、前方カメラ20Fは不等間隔で時系列順に自車両10の前方を撮像しても良い。
上述した実施例1では、表示制御部104は、前方画像(フレーム)の数が少ない場合、間のフレームを線形補間で自車両10の走行履歴を予測する例を示した。しかし、これに限られない。表示制御部104は、昨今、一般的に行われている何れの方法を用いて自車両10の走行履歴を予測しても良い。
上述した実施例1では、擬似区画線像I2,I3,I4を、レーンマーカをイラスト化した画像で構成する例を示した。しかし、これに限られない。擬似区画線像I2,I3,I4を、それぞれ、実写のレーンマーカLM2,LM3,LM4に基づいて画像処理で求めても良い。この画像処理は、前方カメラ20Fにより得られた前方画像に含まれるレーンマーカLM2,LM3,LM4を、後側方カメラ20Bにより得られた後側方画像と同じ見え方の画像に変形する処理や、前方カメラ20Fにより得られた前方画像の明度をさらに見易い明度に変える処理が含まれる。また例えば、擬似区画線像を、レーンマーカで挟まれた走行面をイラスト化した画像で構成しても良い。
上述した実施例1では、表示制御部104は、擬似区画線像I2,I3,I4を後側方画像BIに対応付けて重畳させた合成画像を表示装置30に表示する例を示した。しかし、これに限られない。例えば、自車両10が走行車線22に移動するか否かを判断する移動判断部を表示制御装置100に新たに備え付けても良い。
すなわち、表示制御部104は、当該移動判断部から出力された情報に応じて、擬似区画線像I2,I3,I4を後側方画像BIに対応付けて重畳させた合成画像SIを表示装置30に表示しても良い。具体的に、表示制御部104は、追越車線20から走行車線22に車線変更しようとするドライバの意思としてウィンカ操作がなされた場合に、擬似区画線像I2,I3,I4を例えばピンク、黄、赤等の目立つ色で後側方画像BIに対応付けて重畳させた合成画像SIを表示装置30に表示しても良い。
上述した実施例1では、表示制御部104は、区画線位置算出部103により算出されたレーンマーカLM1~LM4の各位置に基づいて、擬似区画線像I2,I3,I4を後側方画像BIに対応付けて重畳させた合成画像SIを表示装置30に表示する例を示した。しかし、これに限られない。例えば、表示制御部104は、区画線位置算出部103により算出されたレーンマーカLM1~LM4の各位置に基づいて、レーンマーカLM3に対応した擬似区画線像I3を、レーンマーカLM2に対応した擬似区画線像I2とは異なる色で表示装置30に表示しても良い。要するに、擬似区画線像I2の色と、擬似区画線像I3の色とが異なっていれば良い。
上述した実施例2では、表示制御部104は、擬似区画線像I2,I3,I4を、赤、ピンク、黄等の暖色系の色にして後側方画像BIに対応付けて重畳させた合成画像SIを表示装置30に表示する例を示した。しかし、これに限られない。例えば、表示制御部104は、擬似区画線像I2,I3,I4を、青緑、青、青紫等の寒色系の色又は黄緑、緑、紫、無彩色等の中性色にして後側方画像BIに対応付けて重畳させた合成画像SIを表示装置30に表示しても良い。要するに、擬似区画線像I2,I3,I4は目立つ色であれば良い。
上述した実施例2では、自車両10が走行車線22をカーブ走行し、且つ、走行車線24を走行中の後続車両16が自車両10の略真後ろとなる位置に存在している道路状態に表示制御装置200を適用する例を示した。しかし、これに限られない。例えば、自車両10が追越車線20をカーブ走行し、且つ、走行車線22を走行中の後続車両16が自車両10の略真後ろとなる位置に存在している道路状態に表示制御装置200を適用しても良い。
上述した実施例1,2では、左側領域LZの車線数を3車線とする例を示した。しかし、これに限られない。左側領域LZの車線数は2車線又は4車線以上であっても良い。右側領域RZの車線数についても同様である。
本出願は、2018年1月25日に日本国特許庁に出願された特願2018-010217に基づいて優先権を主張し、その全ての開示は完全に本明細書で参照により組み込まれる。
1、2・・・表示システム
10・・・自車両(車両)
16・・・後続車両
20・・・追越車線(走行車線)
20B・・・後側方カメラ
20F・・・前方カメラ
20L・・・左後側方カメラ
20R・・・右後側方カメラ
22・・・走行車線(隣接車線)
24・・・走行車線(隣々接車線)
30・・・表示装置
100、200・・・表示制御装置
101・・・前方画像取得部
103・・・区画線位置算出部
104・・・表示制御部
105・・・移動軌跡算出部
107・・・マップ生成部
108・・・旋回意思検出部
109・・・後続車両存在判断部
BI・・・後側方画像
I2、I3、I4・・・擬似区画線像
LM1、LM2、LM3、LM4・・・レーンマーカ(区画線)
10・・・自車両(車両)
16・・・後続車両
20・・・追越車線(走行車線)
20B・・・後側方カメラ
20F・・・前方カメラ
20L・・・左後側方カメラ
20R・・・右後側方カメラ
22・・・走行車線(隣接車線)
24・・・走行車線(隣々接車線)
30・・・表示装置
100、200・・・表示制御装置
101・・・前方画像取得部
103・・・区画線位置算出部
104・・・表示制御部
105・・・移動軌跡算出部
107・・・マップ生成部
108・・・旋回意思検出部
109・・・後続車両存在判断部
BI・・・後側方画像
I2、I3、I4・・・擬似区画線像
LM1、LM2、LM3、LM4・・・レーンマーカ(区画線)
Claims (6)
- 走行車線を走行する車両の前方を撮像する前方カメラにより時系列順に撮像して得られた前方画像を取得する前方画像取得部と、
前記前方カメラにより前記前方画像が撮像された時点から前記車両が前記走行車線を移動した期間における前記車両の移動に基づいて、前記走行車線と前記走行車線に隣接する隣接車線とを仕切る区画線の位置を算出する区画線位置算出部と、
前記車両の速度ベクトルに基づいて、前記車両の移動軌跡を算出する移動軌跡算出部と、
前記区画線位置算出部の算出結果と前記移動軌跡算出部の算出結果とに基づいて、マップを生成するマップ生成部と、
前記マップ生成部により生成された前記マップに基づいて、前記区画線に対応した擬似区画線像を前記車両の後側方を撮像する後側方カメラにより前記車両の前記移動後に撮像して得られた後側方画像に対応付けて重畳させた合成画像を表示部に表示する表示制御部と、
を有することを特徴とする表示制御装置。 - 請求項1に記載の表示制御装置において、
前記車両が前記隣接車線に移動するか否かを判断する移動判断部を備え、
前記表示制御部は、前記移動判断部により前記車両が前記隣接車線に移動すると判断された場合、前記擬似区画線像を目立つ色で前記後側方画像に対応付けて重畳させた合成画像を前記表示部に表示することを特徴とする表示制御装置。 - 請求項1又は請求項2に記載の表示制御装置において、
前記車両のドライバが前記車両を旋回させようとする旋回意思を検出する旋回意思検出部を備え、
前記表示制御部は、前記旋回意思検出部により前記旋回意思が検出された場合、前記擬似区画線像を目立つ色で前記後側方画像に対応付けて重畳させた合成画像を前記表示部に表示することを特徴とする表示制御装置。 - 請求項1乃至請求項3の何れか一項に記載の表示制御装置において、
前記隣接車線を前記車両に後続して走行する後続車両が存在するか否かを判断する後続車両存在判断部を備え、
前記表示制御部は、前記後続車両存在判断部により前記後続車両が存在すると判断された場合、前記擬似区画線像を目立つ色で前記後側方画像に重畳させた合成画像を前記表示部に表示することを特徴とする表示制御装置。 - 請求項1乃至請求項4の何れか一項に記載の表示制御装置において、
前記表示制御部は、前記区画線位置算出部により算出された前記区画線の位置に基づいて、前記隣接車線と前記隣接車線に前記走行車線と反対側に隣接する隣々接車線とを仕切る区画線に対応した擬似区画線像を、前記走行車線と前記走行車線に隣接する隣接車線とを仕切る区画線に対応した擬似区画線像とは異なる色で前記表示部に表示することを特徴とする表示制御装置。 - 請求項1乃至請求項5の何れか一項に記載の表示制御装置と、
前記表示部と、
前記車両の車速を検出する車速センサと、
前記車両の操舵角を検出する操舵角センサと、
を有することを特徴とする表示システム。
Priority Applications (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201880087535.3A CN111656775B (zh) | 2018-01-25 | 2018-10-01 | 显示控制装置以及显示*** |
US16/963,904 US11450040B2 (en) | 2018-01-25 | 2018-10-01 | Display control device and display system |
EP18902712.1A EP3745714A4 (en) | 2018-01-25 | 2018-10-01 | DISPLAY CONTROL DEVICE AND DISPLAY SYSTEM |
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018010217A JP7140498B2 (ja) | 2018-01-25 | 2018-01-25 | 表示制御装置及び表示システム |
JP2018-010217 | 2018-01-25 |
Publications (1)
Publication Number | Publication Date |
---|---|
WO2019146162A1 true WO2019146162A1 (ja) | 2019-08-01 |
Family
ID=67395331
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
PCT/JP2018/036744 WO2019146162A1 (ja) | 2018-01-25 | 2018-10-01 | 表示制御装置及び表示システム |
Country Status (5)
Country | Link |
---|---|
US (1) | US11450040B2 (ja) |
EP (1) | EP3745714A4 (ja) |
JP (1) | JP7140498B2 (ja) |
CN (1) | CN111656775B (ja) |
WO (1) | WO2019146162A1 (ja) |
Families Citing this family (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US11380145B2 (en) | 2019-02-14 | 2022-07-05 | Oshkosh Corporation | Systems and methods for a virtual refuse vehicle |
CN111516673B (zh) * | 2020-04-30 | 2022-08-09 | 重庆长安汽车股份有限公司 | 基于智能摄像头和高精地图定位的车道线融合***及方法 |
JP7400688B2 (ja) * | 2020-10-19 | 2023-12-19 | トヨタ自動車株式会社 | 表示装置及び表示方法 |
CN112319612B (zh) * | 2020-11-02 | 2021-11-16 | 清智汽车科技(苏州)有限公司 | 一种基于视觉传感器的汽车转向自由行程测量方法 |
CN112644441A (zh) * | 2020-12-28 | 2021-04-13 | 联创汽车电子有限公司 | 基于前后向环境感知的自动紧急避撞方法及自动紧急避撞*** |
CN112885087A (zh) * | 2021-01-22 | 2021-06-01 | 北京嘀嘀无限科技发展有限公司 | 确定路况信息的方法、装置、设备和介质和程序产品 |
GB2615568A (en) * | 2022-02-11 | 2023-08-16 | Continental Autonomous Mobility Germany GmbH | Vehicle camera system with horizon tracker |
Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2007022454A (ja) * | 2005-07-20 | 2007-02-01 | Auto Network Gijutsu Kenkyusho:Kk | カメラシステム |
JP2010012904A (ja) * | 2008-07-02 | 2010-01-21 | Honda Motor Co Ltd | 運転支援装置 |
JP2014013455A (ja) | 2012-07-03 | 2014-01-23 | Clarion Co Ltd | 車線逸脱警報装置 |
JP2014129021A (ja) * | 2012-12-28 | 2014-07-10 | Fuji Heavy Ind Ltd | 車両の運転支援装置 |
JP2015101282A (ja) * | 2013-11-27 | 2015-06-04 | 株式会社デンソー | 運転支援装置 |
JP2016224722A (ja) | 2015-05-29 | 2016-12-28 | Kyb株式会社 | 車線逸脱警報装置 |
JP2018010217A (ja) | 2016-07-15 | 2018-01-18 | 株式会社ニコン | 接眼光学系、光学機器及び接眼光学系の製造方法 |
Family Cites Families (16)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8840477B2 (en) * | 2002-12-10 | 2014-09-23 | Ol2, Inc. | System and method for improving the graphics performance of hosted applications |
US7415134B2 (en) * | 2005-05-17 | 2008-08-19 | Honda Motor Co., Ltd. | Traffic lane marking line recognition system for vehicle |
JP2007241470A (ja) * | 2006-03-06 | 2007-09-20 | Toyota Motor Corp | 車両用地図データ更新装置 |
KR101428094B1 (ko) * | 2008-09-17 | 2014-08-07 | 현대자동차주식회사 | 차선이 표시된 측방/후방 영상 제공 시스템 |
KR101163446B1 (ko) * | 2009-03-18 | 2012-07-18 | 기아자동차주식회사 | 가상 차선을 이용하는 차선 이탈 경보 방법 및 그에 따른 시스템 |
CN101984478B (zh) * | 2010-08-03 | 2012-08-08 | 浙江大学 | 基于双目视觉车道线检测的非正常s型驾驶预警方法 |
JP5450900B2 (ja) * | 2011-06-13 | 2014-03-26 | 本田技研工業株式会社 | 運転支援装置 |
KR101349025B1 (ko) * | 2011-11-25 | 2014-01-10 | 현대자동차주식회사 | 원적외선 스마트 나이트 뷰를 위한 차선 정보 합성 장치 및 방법 |
US10089537B2 (en) * | 2012-05-18 | 2018-10-02 | Magna Electronics Inc. | Vehicle vision system with front and rear camera integration |
KR101362324B1 (ko) | 2012-06-05 | 2014-02-24 | 현대모비스 주식회사 | 차선 이탈 경보 시스템 및 방법 |
JP6014442B2 (ja) * | 2012-09-27 | 2016-10-25 | 富士通テン株式会社 | 画像生成装置、画像表示システム、および、画像生成方法 |
EP2813959A3 (en) * | 2013-06-12 | 2015-08-26 | Samsung Electronics Co., Ltd | Apparatus and method for providing medical information |
CN106080393A (zh) * | 2016-08-08 | 2016-11-09 | 浙江吉利控股集团有限公司 | 自动驾驶辅助显示*** |
CN107097794B (zh) * | 2016-12-15 | 2020-04-21 | 财团法人车辆研究测试中心 | 道路车道线的侦测***及其方法 |
CN107310475B (zh) | 2017-05-17 | 2019-10-08 | 广州小鹏汽车科技有限公司 | 一种智能汽车预警功能的显示方法及*** |
CN107392103B (zh) * | 2017-06-21 | 2020-06-26 | 海信集团有限公司 | 路面车道线的检测方法及装置、电子设备 |
-
2018
- 2018-01-25 JP JP2018010217A patent/JP7140498B2/ja active Active
- 2018-10-01 US US16/963,904 patent/US11450040B2/en active Active
- 2018-10-01 EP EP18902712.1A patent/EP3745714A4/en active Pending
- 2018-10-01 WO PCT/JP2018/036744 patent/WO2019146162A1/ja unknown
- 2018-10-01 CN CN201880087535.3A patent/CN111656775B/zh active Active
Patent Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2007022454A (ja) * | 2005-07-20 | 2007-02-01 | Auto Network Gijutsu Kenkyusho:Kk | カメラシステム |
JP2010012904A (ja) * | 2008-07-02 | 2010-01-21 | Honda Motor Co Ltd | 運転支援装置 |
JP2014013455A (ja) | 2012-07-03 | 2014-01-23 | Clarion Co Ltd | 車線逸脱警報装置 |
JP2014129021A (ja) * | 2012-12-28 | 2014-07-10 | Fuji Heavy Ind Ltd | 車両の運転支援装置 |
JP2015101282A (ja) * | 2013-11-27 | 2015-06-04 | 株式会社デンソー | 運転支援装置 |
JP2016224722A (ja) | 2015-05-29 | 2016-12-28 | Kyb株式会社 | 車線逸脱警報装置 |
JP2018010217A (ja) | 2016-07-15 | 2018-01-18 | 株式会社ニコン | 接眼光学系、光学機器及び接眼光学系の製造方法 |
Non-Patent Citations (1)
Title |
---|
See also references of EP3745714A4 |
Also Published As
Publication number | Publication date |
---|---|
US20210042970A1 (en) | 2021-02-11 |
CN111656775A (zh) | 2020-09-11 |
JP7140498B2 (ja) | 2022-09-21 |
EP3745714A4 (en) | 2021-10-27 |
JP2019129417A (ja) | 2019-08-01 |
EP3745714A1 (en) | 2020-12-02 |
CN111656775B (zh) | 2022-04-29 |
US11450040B2 (en) | 2022-09-20 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
WO2019146162A1 (ja) | 表示制御装置及び表示システム | |
US11247608B2 (en) | Vehicular system and method for controlling vehicle | |
JP6870109B2 (ja) | ヘッドアップディスプレイ装置およびその表示制御方法 | |
US7688221B2 (en) | Driving support apparatus | |
WO2018193708A1 (ja) | ヘッドアップディスプレイ装置およびその表示制御方法 | |
US9459113B2 (en) | Visual guidance for vehicle navigation system | |
US11295702B2 (en) | Head-up display device and display control method | |
JP6311646B2 (ja) | 画像処理装置、電子ミラーシステム、及び画像処理方法 | |
US20050134479A1 (en) | Vehicle display system | |
US11525694B2 (en) | Superimposed-image display device and computer program | |
JP2009227018A (ja) | 車両用防眩装置 | |
US20140043466A1 (en) | Environment image display apparatus for transport machine | |
JP2008222153A (ja) | 合流支援装置 | |
JP6945933B2 (ja) | 表示システム | |
US20210271079A1 (en) | Head-up display | |
JP2014211431A (ja) | ナビゲーション装置、及び、表示制御方法 | |
JP2009214831A (ja) | 車両用表示装置 | |
JP2019214273A (ja) | 移動体用表示制御装置、移動体用表示制御方法、及び制御プログラム | |
JP7063571B2 (ja) | 表示制御装置、表示システム及び表示制御方法 | |
JP2009005054A (ja) | 運転支援装置、運転支援方法及びプログラム | |
JP6824439B2 (ja) | 表示制御装置及び表示制御方法 | |
JP2005178623A (ja) | 車両用表示装置 | |
JP6566067B2 (ja) | 画像処理装置 | |
WO2021049215A1 (ja) | 表示制御装置、および表示制御プログラム | |
JP2022186190A (ja) | 車両用表示装置、車両用表示システム、車両用表示方法及びプログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
121 | Ep: the epo has been informed by wipo that ep was designated in this application |
Ref document number: 18902712 Country of ref document: EP Kind code of ref document: A1 |
|
NENP | Non-entry into the national phase |
Ref country code: DE |
|
ENP | Entry into the national phase |
Ref document number: 2018902712 Country of ref document: EP Effective date: 20200825 |