WO2006095689A1 - 運転支援装置、運転支援方法および運転支援プログラム - Google Patents

運転支援装置、運転支援方法および運転支援プログラム Download PDF

Info

Publication number
WO2006095689A1
WO2006095689A1 PCT/JP2006/304282 JP2006304282W WO2006095689A1 WO 2006095689 A1 WO2006095689 A1 WO 2006095689A1 JP 2006304282 W JP2006304282 W JP 2006304282W WO 2006095689 A1 WO2006095689 A1 WO 2006095689A1
Authority
WO
WIPO (PCT)
Prior art keywords
vehicle
video
image data
driving support
information
Prior art date
Application number
PCT/JP2006/304282
Other languages
English (en)
French (fr)
Inventor
Goro Kobayashi
Koji Koga
Takeshi Sato
Original Assignee
Pioneer Corporation
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Pioneer Corporation filed Critical Pioneer Corporation
Publication of WO2006095689A1 publication Critical patent/WO2006095689A1/ja

Links

Classifications

    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G08G1/168—Driving aids for parking, e.g. acoustic or visual feedback on parking space

Definitions

  • Driving support device driving support method, and driving support program
  • the present invention relates to a driving support device, a driving support method, and a driving support program.
  • use of the present invention is not limited to the above-described driving support device, driving support method, and driving support program.
  • Such a driving support device divides a monitor screen that displays an image of the rear of the vehicle, for example, taken by an in-vehicle camera into a main screen and a sub-screen, and the captured image is displayed in a wide area behind the vehicle.
  • the video is displayed on the main screen as a video to be displayed, and guidelines are superimposed on the main screen, and the area behind the vehicle in the captured video is converted into an image looking down from the virtual viewpoint and displayed on the sub-screen.
  • the guideline is superimposed and displayed on the sub-screen as a guideline with the viewpoint changed in the same way as the viewpoint conversion.
  • the main screen and the center axis of the sub-screen are made to coincide with each other, and the sub-screen is arranged below the main screen (see, for example, Patent Document 1).
  • such a driving support device is provided with, for example, three in-vehicle cameras that photograph at least the rear and the left and right rear sides, and displays three images at the same time when parking, and particularly the left and right rear side cameras. Is taken with an angle of view so that a part of the rear tire is visible, and a pole-shaped guide that is on the outermost side of the vehicle and near the rear tire is perpendicular to the ground. are further configured to direction lapping the vehicle is superimposed on the arrow Bunryokuru so (e.g., see Patent Document 2.) 0
  • Patent Document 1 Japanese Patent Application Laid-Open No. 2003-104145
  • Patent Document 2 Japanese Patent Laid-Open No. 2003-199093 Disclosure of the invention
  • the driving support apparatus is an image data receiving means for receiving image data of a video of a vehicle, a behavior information receiving means for receiving behavior information of the vehicle, and the image data receiving means.
  • a video generation unit that generates a video from outside the vehicle based on the image data received by the behavior information received by the behavior information reception unit, and a video generated by the video generation unit Image data transmitting means for transmitting the image data to the vehicle.
  • the driving support apparatus includes an image data receiving unit that receives image data of a video of a vehicle, a behavior information acquiring unit that acquires behavior information of the vehicle, and the image data receiving unit.
  • Image generating means for generating an image from the outside of the vehicle based on the image data received by the means and the behavior information acquired by the behavior information acquiring means, and the image generating means
  • display means for displaying an image.
  • the driving support method includes an image data receiving step for receiving image data of a video of a vehicle, a behavior information receiving step for receiving behavior information of the vehicle, and the image data. Based on the image data received by the receiving step and the behavior information received by the behavior information receiving step, a video generating step for generating a video from the outside of the vehicle, and the video generating step An image data transmission step of transmitting image data of the video to the vehicle.
  • the driving support method includes an image data receiving step of receiving image data of a video of a vehicle, a behavior information acquiring step of acquiring behavior information of the vehicle, and the image data receiving The image data received by the process and the behavior information acquisition A video generation step of generating a video from outside the vehicle based on the behavior information acquired by the process, and a display step of displaying the video generated by the video generation step, To do.
  • the driving support program according to the invention of claim 8 causes a computer to execute the driving support method according to claim 6 or 7.
  • FIG. 1 is a block diagram illustrating an example of a functional configuration of a driving support system to which the driving support apparatus according to the first embodiment is applied.
  • FIG. 2 is a flowchart illustrating an example of a driving support processing procedure of the driving support system to which the driving support device according to the first embodiment is applied.
  • FIG. 3 is a block diagram of an example of a functional configuration of the driving support apparatus according to the second embodiment.
  • FIG. 4 is a flowchart showing an example of a driving support processing procedure of the driving support apparatus according to the second embodiment.
  • FIG. 5 is a side view showing an example of an arrangement configuration of a photographing unit of a driving support system to which the driving support device according to the first embodiment is applied.
  • FIG. 6 is a top view showing an example of an arrangement configuration of a photographing unit of a driving support system to which the driving support device according to the first embodiment is applied.
  • FIG. 7 is a block diagram illustrating an example of a hardware configuration of the driving support apparatus according to the first embodiment.
  • FIG. 8 is a flowchart illustrating an example of a driving support processing procedure of the driving support apparatus according to the first embodiment.
  • FIG. 9 is an explanatory diagram of an example of an image generated by the driving support apparatus according to the first embodiment.
  • FIG. 10 is an explanatory diagram of an example of an image generated by the driving support apparatus according to the first embodiment.
  • FIG. 11 is a flowchart illustrating an example of a driving support processing procedure of the driving support apparatus according to the second embodiment.
  • FIG. 12 is a block diagram of an example of a hardware configuration of the driving support apparatus according to the third embodiment.
  • FIG. 13 is a flowchart of an example of a driving assistance processing procedure of the driving assistance apparatus according to the third embodiment.
  • FIG. 14 is a flowchart of an example of a driving assistance processing procedure of the driving assistance apparatus according to the fourth embodiment.
  • FIG. 1 is a block diagram showing an example of a functional configuration of a driving support system to which the driving support device according to the first embodiment of the present invention is applied.
  • the driving support system 190 includes a driving support device 100, a photographing unit 110, and a vehicle 150.
  • the driving support device 100 includes an image data receiving unit 101, a behavior information receiving unit 102, a video generating unit 103, and an image data transmitting unit 104.
  • Vehicle 1 50 includes a reception unit 151, a display unit 152, and a behavior information acquisition unit 153.
  • the image data receiving unit 101 of the driving support device 100 receives image data of a video of the vehicle 150.
  • the image data is received by wireless communication, for example.
  • An image of the vehicle 150 is captured by the imaging unit 110, for example.
  • the image of the vehicle 150 includes the images of the vehicle 150 and the surroundings of the vehicle 150.
  • the periphery of the vehicle 150 means, for example, the periphery of the entire vehicle 150 in the up / down, left / right, and front / rear direction.
  • the image data of the video received by the image data receiving unit 101 includes, for example, image data of a video captured by the imaging unit 110 in front and rear, side, and upper side of the vehicle 150, for example.
  • the behavior information receiving unit 102 receives behavior information related to the behavior of the vehicle 150.
  • the behavior information is received by, for example, wireless communication.
  • the behavior information is acquired by the behavior information acquisition unit 153 of the vehicle 150.
  • the behavior information is information indicating the movement or stop state of the vehicle 150. For example, information on the steering (handle) and the transmission (gear) of the vehicle 150, information on the speed (speed information, Acceleration information, angular velocity information), tilt angle information, lateral G (Gmvity) information, current location information, and information associated with operation input.
  • the video generation unit 103 generates a video from the outside of the vehicle 150 based on the image data received by the image data reception unit 101 and the behavior information received by the behavior information reception unit 102.
  • the image from the outside of the vehicle 150 is, for example, an image of a viewpoint facing the vehicle 150 from around the vehicle 150.
  • the video generation unit 103 generates a video on which a guide image indicating the approaching state of the vehicle 150 is superimposed and displayed as necessary.
  • the image generation unit 103 generates an image of a viewpoint having a force in a direction opposite to the direction in which the vehicle 150 moves. For example, when the vehicle 150 is moving backward, an image in which the rear portion of the vehicle 150 is viewed from the backward destination is generated.
  • the image data transmission unit 104 transmits the video image data generated by the video generation unit 103 to the vehicle 150.
  • the image data is transmitted by wireless communication, for example.
  • the photographing unit 110 photographs the vehicle 150 and the surroundings of the vehicle 150.
  • This photographing unit 110 is provided in so-called external structures such as walls and ceilings of parking facilities, members straddling roads, members covering the driving lane, bridges, road surfaces (road pavement), tunnels, traffic lights, utility poles, signs, etc. Yes.
  • the photographing unit 110 includes a transmission unit (not shown) for transmitting image data of a photographed video to the outside, for example.
  • the receiving unit 151 of the vehicle 150 receives image data transmitted from, for example, the image data transmitting unit 104 of the driving support device 100.
  • the display unit 152 displays the video that the image data received by the receiving unit 151 constitutes, for example, on a display screen provided inside the vehicle 150.
  • the behavior information acquisition unit 153 acquires behavior information of the vehicle 150. The behavior information acquired by the behavior information acquisition unit 153 is transmitted to the behavior information reception unit 102 of the driving support device 100.
  • the driving support device 100 displays images from the outside of the vehicle 150 based on the image data of the image from the imaging unit 110 and the behavior information from the vehicle 150.
  • An image can be generated and image data of the generated video can be provided to the vehicle 150.
  • an image including the rear blind spot of the vehicle 150 generated by the driving support device 100 is displayed. It can be confirmed on the display screen of the display unit 152 as an objective video as seen from the viewpoint of the vehicle guide.
  • the driver can objectively visually recognize the situation around the vehicle 150 in detail and instantaneously, so that it can be expected to support driving operation and contribute to safe driving.
  • transmission / reception of various types of information performed between the driving support device 100, the photographing unit 110, and the vehicle 150 may be performed directly by the wireless communication described above. For example, via a server on the Internet. It may be done indirectly.
  • FIG. 2 is a flowchart showing an example of a driving support processing procedure of the driving support system to which the driving support device according to the first embodiment of the present invention is applied.
  • the description will be made with reference to FIG. 1, but the same parts as those already described are denoted by the same reference numerals and the description thereof is omitted.
  • the image data receiving unit 101 of the driving support apparatus 100 Thus, the image data of the vehicle 150 imaged by the imaging unit 110 is received (step S201).
  • the behavior information received by the behavior information acquiring unit 153 of the vehicle 150 is received by the behavior information receiving unit 102 of the driving support device 100 (step S 202).
  • the driving assistance device 100 determines what information the behavior information is (for example, information on the steering and transmission of the vehicle 150), and the received behavior information. Judgment is made (step S203). Then, the video generation unit 103 of the driving support device 100 generates a video from the outside of the vehicle 150 based on the image data received by the image data reception unit 101 and the determined behavior information (V Step S204).
  • the video generation unit 103 may generate a video on which a guide image indicating the approaching state of the vehicle 150 is superimposed as necessary.
  • the image data transmission unit 104 of the driving support apparatus 100 transmits the generated video image data to the vehicle 150 (step S205).
  • the vehicle 150 that has received the transmitted image data by the reception unit 151, the received image data is provided to the display unit 152, and the display unit 152 displays an image on the display screen (step S). 206).
  • the series of driving support processing according to this flowchart is completed.
  • the vehicle 150 may perform driving assistance (voice guidance) together with the video displayed by the guidance voice or the like.
  • voice guidance voice guidance
  • this driving support system 190 By performing the driving support process in this manner, in this driving support system 190, an image from the outside of the vehicle 150 generated by the driving support device 100 on the vehicle 150 side can be displayed. It is possible to supplement the driver's field of view, such as the blind spot, and to support driving operations in the vehicle 150 to improve driving safety.
  • the driving support device receives the received image data of the video of the vehicle, the motion information, and the like. Based on the, generate a video from the outside of the vehicle, the image data of the generated video Can be sent to the vehicle. For this reason, the vehicle can perform a driving operation while displaying an image formed by the transmitted image data and visually confirming the situation around the vehicle. As a result, driving operation can be supported to improve driving safety.
  • the driving support device is separate from the vehicle and transmits information to and from the vehicle by communication.
  • the driving support apparatus has a configuration in which the driving support apparatus is mounted on a vehicle.
  • FIG. 3 is a block diagram illustrating an example of a functional configuration of the driving support apparatus according to the second embodiment of the present invention.
  • the driving support device 300 includes an image data reception unit 301, a behavior information acquisition unit 302, a video generation unit 303, and a display unit 304, and includes an image data transmission unit 305.
  • the configuration is mounted on a vehicle 350.
  • the image data receiving unit 301 of the driving support device 300 receives image data of a video of the vehicle 350.
  • the image data is received by wireless communication, for example.
  • An image of the vehicle 350 is captured by the imaging unit 310, for example.
  • the image of the vehicle 350 includes images of the vehicle 350 and the surroundings of the vehicle 350.
  • the periphery of the vehicle 350 means the periphery of the entire vehicle 350, for example, the top, bottom, left, and right.
  • Specific examples of the video image data received by the image data receiving unit 301 include video image data obtained by photographing the front and rear, the side, and the upper side of the vehicle 350 by the photographing unit 310, for example.
  • the behavior information acquisition unit 302 acquires behavior information related to the behavior of the vehicle 350 detected by the detection unit 351 of the vehicle 350.
  • the behavior information is information indicating the movement or stop state of the vehicle 350, for example, information on the steering (handle) and the transmission (gear) of the vehicle 350, information on the speed (speed information, acceleration). Information, angular velocity information), tilt angle information, lateral G (Gravity) information, current location information, and information associated with operation input.
  • the video generation unit 303 generates a video from the outside of the vehicle 350 based on the image data received by the image data reception unit 301 and the behavior information acquired by the behavior information acquisition unit 302.
  • the image from the outside of the vehicle 350 is, for example, an image from the periphery of the vehicle 350 toward the vehicle 350 with a directional viewpoint.
  • the video generation unit 303 generates a video on which a guide image indicating the approaching state of the vehicle 350 is superimposed and displayed as necessary.
  • the image generation unit 303 generates an image of a viewpoint having a force in a direction opposite to the direction in which the vehicle 350 moves. For example, when the vehicle 350 is moving backward, an image in a state in which the rear portion of the vehicle 350 is viewed from the backward position is generated.
  • the display unit 304 displays the video generated by the video generation unit 303 on, for example, a display screen provided inside the vehicle 350.
  • the image data transmission unit 305 transmits the image data of the video generated by the video generation unit 303 to the outside. The transmission of the image data is performed by wireless communication, for example.
  • the photographing unit 310 photographs the vehicle 350 and the surroundings of the vehicle 350.
  • the photographing unit 310 is provided in so-called external structures such as walls and ceilings of parking facilities, members that straddle roads, members that cover driving lanes, bridges, road surfaces (road pavement), tunnels, traffic lights, utility poles, signs, etc. Yes.
  • the photographing unit 310 includes a transmission unit (not shown) for transmitting image data of a photographed video to the outside, for example. Note that the photographing unit 310 may be remotely operated by the driving support device 300, for example.
  • the detection unit 351 of the vehicle 350 includes, for example, a speed sensor that detects the speed of the traveling vehicle 350, an inclination angle sensor that detects the inclination angle of the vehicle 350, and an acceleration that detects the acceleration of the vehicle 350.
  • Sensor angular velocity sensor that detects the angular velocity of vehicle 350 during cornering
  • lateral G sensor that detects lateral G that is an outward force (gravity) generated by centrifugal force during cornering
  • radio wave of satellite force The GPS is configured to detect the current location information (latitude / longitude information) of the vehicle 350 by receiving the signal
  • the gyro sensor that detects the traveling direction of the vehicle 350, and the like.
  • the driving support device 300 generates a video from the outside of the vehicle 350 based on the image data of the video from the imaging unit 310 and the behavior information from the detection unit 351 of the vehicle 350, and displays the video.
  • the video generated by the unit 304 can be displayed on the vehicle 350. For this reason, for example, even if the driver of the vehicle 350 is inexperienced in driving, the vehicle 350 is parked.
  • the video including the rear blind spot of the vehicle 350 generated by the driving support device 300 is displayed on the display screen of the display unit 304 with an objective image that is viewed from the viewpoint of the vehicle guide. be able to.
  • the driver can objectively visually recognize the situation around the vehicle 350 in detail and instantaneously, so that it can be expected to support driving operation and contribute to safe driving.
  • transmission / reception of various information performed between the driving support device 300 and the photographing unit 310 or between the driving support device 300 and the outside may be performed directly by the above-described wireless communication. It may be performed indirectly via the server above.
  • FIG. 4 is a flowchart showing an example of a driving support processing procedure of the driving support apparatus according to the second embodiment of the present invention.
  • the description will be made with reference to FIG. 3, but the same portions as those already described are denoted by the same reference numerals and the description thereof is omitted.
  • the image data receiving unit 301 of the driving support device 300 receives the image data of the video of the vehicle 350 captured by the imaging unit 310 (step S401).
  • the driving assistance device 300 determines whether or not the behavior information acquisition unit 302 has acquired the behavior information detected by the detection unit 351 of the vehicle 350 (step S402).
  • the driving support device 300 determines the behavior information force S what kind of information (for example, information regarding the steering and transmission of the vehicle 350). (Step S403).
  • step S402 When it is determined that it is acquired (step S402: No), the driving support device 300 repeats the process of step S402 until the behavior information is acquired by the behavior information acquisition unit 302. Subsequent to step S403, the video generation unit 303 of the driving support device 300 generates a video from the outside of the vehicle 350 based on the image data received by the image data reception unit 301 and the determined behavior information. (Step S404). During the video generation process in step S404, the video generation unit 303 checks the approaching state of the vehicle 350 as necessary. You may generate a video with the guide image shown superimposed.
  • step S405 After the video is generated by the video generation unit 303, the display unit 304 displays the video on the display screen based on the image data of the generated video (step S405).
  • driving assistance voice guidance
  • step S405 driving assistance may be performed in the vehicle 350 together with the video displayed by the guidance voice or the like. Specifically, for example, guidance voice for notifying the approaching situation between the vehicle 350 and an obstacle can be cited.
  • the driving support apparatus As described above, according to the driving support apparatus according to the second embodiment of the present invention, based on the received image data of the video of the vehicle and the acquired behavior information! An external video can be generated and the generated video can be displayed. For this reason, the vehicle can be operated while displaying an image of the external force of the vehicle in the vehicle and objectively viewing the situation around the vehicle. This makes it possible to support driving operations and improve driving safety.
  • Examples 1 to 4 according to the first embodiment and the second embodiment will be described in detail.
  • Examples 1 and 2 are examples corresponding to the first embodiment, and examples 3 and 4 are examples corresponding to the second embodiment.
  • FIG. 5 is a side view showing an example of an arrangement configuration of the photographing unit of the driving support system to which the driving support device according to the first embodiment of the present invention is applied.
  • FIG. 6 is a top view showing an example of the arrangement configuration of the photographing unit of the driving assistance system to which the driving assistance apparatus according to the first embodiment of the present invention is applied.
  • FIG. 5 for example, around the vehicle 150 in the parking facility, cameras 511 to 515, which are the imaging unit 110 in FIG. 1, are arranged on an external structure such as a wall or ceiling of the parking facility. .
  • the camera 511 captures the surroundings of the vehicle 150 and the vehicle 150 from obliquely above the rear of the vehicle 150
  • the camera 512 captures the surroundings of the vehicle 150 and the vehicle 150 from above the rear of the vehicle 150
  • the camera 513 captures the vehicle 150 and the surroundings of the vehicle 150 from obliquely above the front of the vehicle 150
  • the camera 514 captures the surroundings of the vehicle 150 and the vehicle 150 from behind the vehicle 150
  • the camera 515 captures the surroundings of the vehicle 150 and the vehicle 150 from the front of the vehicle 150.
  • cameras 516 to 519 that are the imaging unit 110 in FIG. 1 are arranged around the vehicle 150 together with the cameras 514 and 515.
  • the camera 516 photographs the surroundings of the vehicle 150 and the vehicle 150 from the left rear side of the vehicle 150
  • the camera 517 photographs the surroundings of the vehicle 150 and the vehicle 150 from the rear right side of the vehicle 150.
  • the camera 518 images the surroundings of the vehicle 150 and the vehicle 150 from the front left side of the vehicle 150
  • the camera 519 images the surroundings of the vehicle 150 and the vehicle 150 from the front right side of the vehicle 150.
  • the photographing unit 110 in FIG. 1 may have a plurality of configurations including the cameras 511 to 519, and may have a single configuration including a single camera force.
  • FIG. 7 is a block diagram illustrating an example of a hardware configuration of the driving support apparatus according to the first embodiment of the present invention.
  • the driving support device 100 includes a CPU 701, a ROM 702, a RAM 703, an H DD (node disk drive) 704, an HD (node disk) 705, and a CDZDVD drive 706.
  • CDZDVD707 as an example of a removable recording medium, input iZF (interface) 708, input key 709, remote control 710, video iZF (interface) 711, display (or touch panel) 712, and audio IZF (Interface) 713, speaker power 714, microphone 715, and communication IZF (interface) 716.
  • Each component 701 to 716 is connected by a bus 720.
  • the CPU 701 governs overall control of the driving support device 100, and creates a control program. Therefore, by executing various arithmetic processes, the respective components 701 to 716 included in the driving support device 100 are controlled in an integrated manner.
  • the ROM 702 stores so-called fixed data such as a boot program. The data stored in ROM 702 can be rewritten by, for example, user operation.
  • the RAM 703 stores so-called variable data in a rewritable manner, and is used as a work area for the CPU 701.
  • the RAM 703 may be a volatile memory that erases data stored when the power is turned off, or may be a non-volatile memory that is knocked up by a notch or the like.
  • the HDD 704 controls data read / write to the HD 705 according to the control of the CPU 701.
  • the HD705 stores data written under the control of the HDD704.
  • the CDZDVD drive 706 controls data read / write to the CDZDVD707 according to the control of the CPU 701.
  • the CDZDVD707 is a detachable recording medium from which recorded data is read according to the control of the CDZDVD drive 706.
  • a writable recording medium can be used as the CDZDVD707.
  • this removable recording medium may be a CD-ROM (CD-R, CD-RW), MO, memory card, or the like.
  • the input IZF 708 inputs data transmitted from an input key 709 for inputting characters, numerical values, various instructions, and the like, or a remote controller 710 having a part or all of the input keys 709.
  • an output IZF is provided as necessary, and a scanner that optically reads characters and images and a printer that prints characters and images can be connected via the output IZF.
  • the video IZF 711 is connected to a video display (or touch panel) 712.
  • the video IZF711 is, for example, a graphic controller that controls the entire display (or touch panel) 712, a buffer memory such as VRAM (Video RAM) that temporarily stores image information that can be displayed immediately, and a graphic. Based on the image data output from the controller, it is configured by a control IC that controls the display (or touch panel) 712.
  • Display (or touch panel) 712 displays icons, cursors, menus, windows, or various information such as characters and images.
  • a CRT, a TFT liquid crystal display, a plasma display, or the like can be adopted as the display 712.
  • the touch panel 712 is connected to the input I / F 708, detects that the touch panel 712 is depressed Z not pressed, and inputs data to the input IZF 708.
  • the audio IZF 713 is connected to an audio output speaker 714 and an audio input microphone 715.
  • the audio IZF 713 includes, for example, a DZA converter that performs DZA conversion of audio digital data, and an amplifier that amplifies an audio analog signal output from the DZA converter.
  • the speaker 714 outputs sound
  • the microphone 715 inputs sound read out from an external cover.
  • the communication IZF 716 inputs video image data from the photographing unit (camera) 110 and inputs / outputs various data such as image data and motion information to / from the vehicle 150.
  • the communication IZF716 has a function of a communication controller that performs communication with an external server such as the Internet.
  • the functions of the image data receiving unit 101, the behavior information receiving unit 102, and the image data transmitting unit 104 in FIG. 1 are specifically realized by, for example, the CPU 701, the ROM 702, the RAM 703, and the communication IZF 716.
  • the video generation unit 103 in FIG. 1 specifically realizes its function by, for example, the CPU 701, the ROM 702, the RAM 703, and the video I / F 711.
  • FIG. 8 is a flowchart showing an example of a driving support processing procedure of the driving support apparatus according to the first embodiment of the present invention. Specifically, the processing shown in FIG. 8 is realized by the CPU 701 executing a program stored (recorded) in the ROM 702, RAM 703, HD 705, CDZDVD 707, etc. shown in FIG.
  • the description will be made with reference to FIG. 7, but the same parts as those already described will be denoted by the same reference numerals and the description thereof will be omitted.
  • the driving support device 100 receives image data of the video of the vehicle 150 captured by the imaging unit 110 through the communication IZF716 (step S801). Receive image data After that, the driving assistance device 100 uses the behavior information acquisition unit 153 of the vehicle 150 (see FIG. 1, the same applies hereinafter) as information on the steering and the transmission that is the behavior information of the vehicle 150. Receive information about handle and gear (step S802
  • the CPU 701 determines the steering direction and gear of the vehicle 150 (step S803).
  • the operation state of the vehicle 150 for example, the operation of moving backward by turning the steering wheel straight
  • the driving assistance apparatus 100 generates an image having a force in the direction opposite to the direction in which the vehicle 150 moves, as an image from the outside of the vehicle 150, by the CPU 701 (step S804).
  • the driving support device 100 generates a guide image for the generated video in response to input instructions from the input key 709, the remote controller 710, the touch panel 712, and the like through the input IZF708. It is determined whether or not there is a superimposed display (step S805). Examples of the guide image include guidelines that are virtually formed around the vehicle 150. If it is determined that there is a superimposed display (step S805: Yes), the CPU 701 adds a guide image to the generated video (step S806).
  • driving support apparatus 100 transmits the image data of the generated video to vehicle 150 through communication IZF 716 (step S807). If it is determined in step S805 that there is no superimposed display (step S805: No), the process proceeds to step S807 and image data is transmitted. Thus, a series of driving support processing according to this flowchart is completed. In addition, in the vehicle 150 that has received the image data, the video that the image data constitutes can be displayed on the display screen of the display unit 152 (see FIG. 1, the same applies hereinafter).
  • step S807 an image displayed on display unit 152 of vehicle 150 after the image data transmission process in step S807 will be briefly described.
  • a description will be given of a case where the image is generated from the viewpoint of looking at the rear of the vehicle 150 generated by the driving assistance device 100 when the steering direction determined in step S803 is straight and the gear is reverse. .
  • FIGS. 9 and 10 show images generated by the driving support apparatus according to Example 1 of the invention. It is explanatory drawing which shows an example.
  • the display screen of the display unit 1 52 of the vehicle 150 (see FIG. 1, the same applies hereinafter) is provided on the left and right sides of the vehicle 150 with the image power when the rear part of the vehicle 150 is viewed. Parking line 1002 is displayed.
  • the rear portion of the vehicle 150 is displayed on the display screen of the display unit 152 as the vehicle moves backward.
  • a guidance image such as the virtual stop guideline 1001 is displayed on the display screen of the display unit 152, for example.
  • the guide image may also be displayed as an animated image, for example.
  • the driving support apparatus is based on the received image data of the vehicle image and the received information on the steering direction and gear of the vehicle. Video from the direction opposite to the direction of movement can be generated and the image data of the generated video can be sent to the vehicle. For this reason, in the vehicle, the transmitted video can be displayed as an objective video, and the vehicle can be driven, and the safety during driving can be improved.
  • the driving assistance device based on the received image data of the video of the vehicle and the information on the steering direction and gear of the vehicle that is the received behavior information, the driving direction and the opposite direction of the vehicle are detected. It was configured to be able to generate video and send image data of the generated video to the vehicle.
  • the received behavior information includes the received behavior information.
  • the received behavior information Based on the current location information of a certain vehicle, a configuration is adopted in which an image from the direction opposite to the direction of movement of the vehicle is generated and the image data of the generated image can be transmitted to the vehicle. Since the hardware configuration of the second embodiment is the same as that of the first embodiment, the same reference numerals as those in FIG. 7 are used in the following description, and illustration and description thereof are omitted.
  • FIG. 11 is a flowchart showing an example of a driving support processing procedure of the driving support apparatus according to the second embodiment of the present invention. Specifically, the processing shown in FIG. 11 is realized by the CPU 702 executing a program stored (recorded) in the ROM 702, RAM 703, HD 705, CD / DVD 707, etc. shown in FIG.
  • the driving assistance device 100 receives image data of a video of the vehicle 150 captured by the imaging unit 110 through the communication IZF716 (step S1101). After receiving the image data, the driving assistance device 100 obtains the current location information of the vehicle 150, which is the behavior information of the vehicle 150, acquired by the behavior information acquisition unit 153 of the vehicle 150 (see FIG. 1, the same applies hereinafter). Receive (step S 1102).
  • the CPU 701 After receiving the current location information, the CPU 701 reads the map information stored (recorded) in the HD705 or CDZDVD707, refers to the read map information, and the received current location information indicates the specific location. Whether it is point information indicating a parking facility, for example (step S1103). When it is determined that the location information indicates a parking facility (step S1103: Yes), the driving support device 100 receives information regarding the steering wheel and gear of the vehicle 150 acquired by the behavior information acquisition unit 153 of the vehicle 150. (Step S1104). If it is determined in step S1103 that the location information does not indicate a parking facility (step S1103: No), the process proceeds to step S1102 to receive current location information.
  • the CPU 701 determines the steering direction and gear of the vehicle 150 (step S1105).
  • the operation state of the vehicle 150 for example, operation such as reversing by turning the steering wheel straight
  • the driving assistance apparatus 100 generates an image having a force in the direction opposite to the direction in which the vehicle 150 moves as an image of the external force of the vehicle 150 by the CPU 701 (step S 1106).
  • the driving support device 100 guides the generated video through the input IZF708 according to input instructions from the input key 709, the remote control 710, the touch panel 712, and the like. Determine whether the image is overlaid (Steps S1107).
  • An example of the guide image is a guide line virtually formed around the vehicle 150. If it is determined that there is a superimposed display (step S1107: Yes), the CPU 701 adds a guide image to the generated video (step S1108).
  • step S1109 the driving support device 100 transmits the image data of the generated video to the vehicle 150 through the communication IZF716 (step S1109). If it is determined in step S1107 that there is no superimposed display (step S1107: No), the process proceeds to step SI109 and image data is transmitted. Thus, the series of driving support processing according to this flowchart is completed. In addition, in the vehicle 150 that has received the image data, the video that the image data constitutes can be displayed on the display screen of the display unit 152 (see FIG. 1, the same applies hereinafter).
  • the driving support apparatus relates to the received image data of the video of the vehicle, the received current position information of the vehicle, the received steering direction and gear of the vehicle. Based on the information, it is possible to generate an image from the direction opposite to the moving direction of the vehicle, and to transmit the image data of the generated image to the vehicle. For this reason, in a vehicle, it is possible to display an image transmitted at a specific point such as a parking facility as an image from an objective viewpoint, and to improve driving safety. Is possible.
  • the driving support apparatus according to Example 1 and Example 2 was configured separately from the vehicle.
  • the driving support apparatus according to the third embodiment is configured when applied to a navigation apparatus mounted on a vehicle.
  • FIG. 12 is a block diagram illustrating an example of a hardware configuration of the driving support apparatus according to the third embodiment of the present invention.
  • the driving support device 300 includes a navigation control unit 1200, a user operation unit (remote control and touch panel) 1201, a display screen (display) 1202, and an acquisition unit (GPS
  • the navigation control unit 1200 controls the entire driving support device 300, for example, and comprehensively controls each unit included in the driving support device 300 by executing various arithmetic processes according to a control program or the like.
  • the navigation control unit 1200 includes, for example, a CPU (Central Processing Unit) that executes predetermined arithmetic processing, a ROM (Read Only Memory) that stores various control programs, and a RAM (Random Access Memory) that functions as a work area for the CPU. ) Etc., and can be realized by a microcomputer.
  • a CPU Central Processing Unit
  • ROM Read Only Memory
  • RAM Random Access Memory
  • the navigation control unit 1200 for example, at the time of route guidance of the vehicle 350 related to navigation (see Fig. 3, the same applies hereinafter), information related to the current location of the vehicle 350 (current location) acquired by the acquisition unit 1203 described later. Information) and the map information obtained from the recording medium 1204 through the recording medium decoding unit 1205, it is calculated which position on the map the vehicle 350 is driving, and the calculation result is displayed on the display screen 1202. Output.
  • the navigation control unit 1200 inputs / outputs information on route guidance between the route search unit 1208, the route guidance unit 1209, and the guidance sound generation unit 1210, which will be described later, and displays information obtained as a result of the above route guidance. Output to screen 1202 and guidance sound output unit 1206.
  • the navigation control unit 1200 for example, in the driving support process, the image data of the video of the vehicle 350 taken by the external photographing unit (camera) 310 and the vehicle 350 obtained by the obtaining unit 1203. Based on the behavior information regarding the behavior, the video processed by the video processing unit 1212 is displayed on the display screen 1202 inside the vehicle 350.
  • User operation unit 1201 outputs information input by the user, such as characters, numerical values, and various instructions, to navigation control unit 1200.
  • information input by the user such as characters, numerical values, and various instructions
  • various known forms such as a push button switch that detects physical depression Z non-depression, a touch panel, a keyboard, and a joystick can be employed.
  • This user operation unit 1201 is, for example, a microphone for inputting sound of external power. It is good also as a form which performs input operation with an audio
  • the user operation unit 1201 is provided integrally with the driving support apparatus 300, and may be operated by a position force separated from the driving support apparatus 300 like a remote controller. It may be. Further, the user operation unit 1201 may be configured in any one of the various forms described above, or may be configured in a plurality of forms. A user such as a driver of the vehicle 350 inputs information by appropriately performing an input operation according to the form of the user operation unit 1201.
  • Information input by the input operation of the user operation unit 1201 includes, for example, destination information regarding navigation. Specifically, for example, when the driving support device 300 is provided in an in-vehicle navigation device or the like, a point to be reached by a passenger of the vehicle 350 is set. Further, as information input to the user operation unit 1201, for example, regarding display processing on the display screen 1202, display form information of a displayed video can be cited. Specifically, for example, an image displayed in the form (image size, display position, etc.) and timing desired by the passenger of the vehicle 350 is displayed and set.
  • the touch panel when a touch panel is adopted as the form of the user operation unit 1201, the touch panel is used by being stacked on the display screen 1202, for example.
  • the information input by the input operation is recognized by managing the display timing of the image on the display screen 1202, the operation timing of the user on the touch panel (user operation unit 1201), and the position coordinates thereof.
  • a touch panel stacked on the display screen 1202 is adopted, so that a large amount of information can be input without increasing the size of the user operation unit 1201. You can do it.
  • this touch panel various known touch panels such as a resistance film type and a pressure sensitive type can be adopted.
  • Display screen 1202 includes, for example, a CRT (Cathode Ray Tube), a TFT (Thin Film Transistor) liquid crystal display, an organic EL (Electroluminescence) display, a plasma display, and the like.
  • the display screen 1202 includes, for example, a video IZF (not shown) or a display device for video display connected to the video IZF. can do.
  • the video IZF is, for example, a graphic controller that controls the entire display device, a buffer memory such as a VRAM (Video RAM) that temporarily stores image data that can be displayed immediately, and the like. Based on the image data output from the graphics controller, it consists of a control IC that controls the display of the display device and a GPU (Graphics Processing Unit).
  • VRAM Video RAM
  • This display screen 1202 displays, for example, icons, cursors, menus, windows, or various information such as characters and images.
  • a video processed by a video processing unit 1212 described later, a map image based on map information from the recording medium 1204, and the like are displayed.
  • the acquisition unit 1203 acquires current point information (latitude / longitude information) of the vehicle 350 on which the driving support device 300 is mounted, for example, by receiving radio waves of artificial satellite power.
  • the current location information is information for receiving a radio wave from an artificial satellite and obtaining a geometric position with respect to the artificial satellite as described above, and can be measured anywhere on the earth.
  • the acquisition unit 1203 includes a GPS antenna (not shown).
  • the acquisition unit 1203 acquires behavior information of the vehicle 350.
  • the behavior information of the vehicle 350 includes, for example, information related to the steering gear (gear) and transmission (gear) of the vehicle 350, speed information, acceleration information, angular velocity information, inclination angle information, lateral G (Gmvity) information, current position information, and operation. Information that accompanies input.
  • the GPS Global Positioning System
  • the acquisition unit 1203 can be configured by, for example, a tuner that demodulates radio waves received by satellite power, an arithmetic circuit that calculates the current position based on the demodulated information, and the like.
  • the radio waves from the artificial satellite are 1. 57542 GHz carrier waves, using L1 radio waves carrying CZA (Coarse and Access) codes and navigation messages.
  • CZA Coarse and Access
  • the current location (latitude and longitude) of the vehicle 350 on which the driving support device 300 is mounted is detected.
  • the behavior information of the vehicle 350 including the detection of the current location of the vehicle 350
  • information collected by various sensors such as a vehicle speed sensor and a gyro sensor may be taken into account.
  • the vehicle speed sensor detects the vehicle speed from the output shaft of the transmission of the vehicle 350 on which the driving support device 300 is mounted, for example.
  • the angular velocity sensor detects, for example, the angular velocity when the vehicle 350 rotates and outputs angular velocity information and relative orientation information.
  • the mileage sensor calculates the number of pulses per one rotation of the wheel by counting the number of pulses of a pulse signal with a predetermined period output along with the rotation of the wheel, and calculates the number of pulses per one rotation. Based on the travel distance information.
  • the inclination angle sensor detects, for example, the inclination angle of the road surface and outputs inclination angle information.
  • the lateral G sensor detects lateral G, which is an outward force (gravity) generated by centrifugal force when cornering the vehicle 350, for example, and outputs lateral G information.
  • the current position information of the vehicle 350 acquired by the acquisition unit 1203 and the information detected by the vehicle speed sensor, gyro sensor, angular velocity sensor, mileage sensor, inclination angle sensor, and lateral G sensor are the navigation control unit. Output to 1200.
  • the recording medium 1204 records various control programs and various information in a state that can be read by a computer.
  • the recording medium 1204 accepts writing of information by the recording medium decoding unit 1205 and records the written information in a nonvolatile manner.
  • the recording medium 1 204 can be realized by HD (Hard Disk), for example.
  • the recording medium 1204 is not limited to the above-mentioned HD. Instead of HD or in addition to HD, various recording media decoding unit 1205 such as various types of DVD (Digital Versatile Disk) and CD (Compact Disk) are used. A removable and portable medium may be used as the recording medium 1204.
  • the recording medium 1204 is not limited to DVD and CD, but can be attached to and detached from a recording medium decoding unit 1205 such as a CD-ROM (CD-R CD-RW) MO (Magneto-Optical disk), a memory card, and the like. Media with portability can be used for ⁇ IJ.
  • the recording medium 1204 includes a driving support program and a navigation system for realizing the present invention.
  • Program various image and audio data, and map information.
  • the image data refers to, for example, a two-dimensional array value representing an image of an image of an external force of the vehicle 350
  • the audio data refers to data for reproducing music such as music.
  • the map information includes, as information included in the map information, for example, background information representing features (features) such as buildings, rivers, and the ground surface, and road shape information representing the shape of the road. This is information that is drawn in 2D or 3D on the display screen 1202.
  • the background information includes background shape information representing the shape of the background and background type information representing the type of the background.
  • the background shape information includes information indicating, for example, representative points of features, polylines, polygons, coordinates of features, and the like.
  • the background type information includes, for example, text information indicating the name, address, and telephone number of the feature, type information indicating the type of the feature such as a building or a river.
  • the road shape information is information related to a road network having a plurality of nodes and links.
  • the node is information indicating an intersection where a plurality of roads such as a three-way intersection, a crossroad, and a five-way intersection intersect.
  • a link is information indicating a road connecting nodes. Some of these links have shape interpolation points that allow the expression of curved roads.
  • the road shape information includes traffic condition information. This traffic condition information is information indicating the characteristics of the intersection, the length (distance) of each link, the vehicle width, the traveling direction, the traffic prohibition, the road type, and the like.
  • intersections include, for example, intersections with complicated shapes such as three- and five-way intersections, intersections with roads that branch at shallow angles, intersections around destinations, highway entrances and junctions, and route deviations.
  • route deviation rate can be calculated, for example, past driving history power.
  • road types include expressways, toll roads, and general roads.
  • the force for recording map information or the like on the recording medium 1204 is not limited to this.
  • the map information may be stored in a storage device such as a memory provided in the navigation control unit 1200, or may be recorded only if it is provided integrally with the hardware of the driving support device 300. It may be provided outside the driving support device 300. If provided outside, even if For example, data communication may be performed with an external storage device via a communication unit 1207, which will be described later, to acquire map information.
  • the recording medium decoding unit 1205 reads information from the recording medium 1204 and writes it to Z.
  • the recording medium decoding unit 1205 is an HDD (Hard Disk Drive).
  • the recording medium decoding unit 1205 is a drive device such as a DVD drive or a CD drive.
  • CD-ROM CD-R, CD-RW
  • MO memory card
  • recording medium decoding unit 1205 A dedicated drive device capable of reading information recorded on various recording media may be used as the recording medium decoding unit 1205 as appropriate.
  • the guidance sound output unit 1206 reproduces the navigation guidance sound by controlling the output to the connected speaker 1211.
  • the guidance sound output unit 1206 can be realized by, for example, a voice IZF, not shown connected to the speaker 1211 for voice output.
  • the audio IZF is, for example, a DZA converter that performs DZA conversion of digital audio signals, an amplifier that amplifies analog audio signals output from the DZA converter, and an AZD converter that performs AZD conversion of analog audio signals. It can be composed of
  • the communication unit 1207 communicates with, for example, another driving support device, communicates with the photographing unit 310, or communicates with an external server.
  • the communication unit 1207 transmits and receives image data of the video of the vehicle 350 captured by the imaging unit 310 between the imaging unit 310 and the navigation control unit 1200.
  • the communication unit 1207 of this embodiment is directly wirelessly communicated with other driving support devices such as a mobile phone, which may be a communication module that communicates with a communication server via a base station (not shown). It may be a communication module that performs.
  • the wireless communication by the communication unit 1207 means that a wire line serving as a communication medium is not used. This refers to communications performed using radio waves, infrared rays, ultrasonic waves, and the like. Examples of standards that enable wireless communication include wireless LAN (Local Area Network) and IrDA (Infrared
  • a wireless LAN can be used as a preferable example in terms of information transfer speed and the like.
  • the communication unit 1207 may receive road traffic information such as traffic jams and traffic restrictions regularly (or irregularly). Receiving road traffic information by the communication unit 1207 can be done concretely, VICS (Vehicle Information and Communication System) center power can also be performed at the timing when the road traffic information is distributed, and to the VICS Center You may carry out by requesting road traffic information distribution regularly.
  • Communication unit 1207 can be realized as an AM / FM tuner, a TV tuner, a VICS / beacon receiver, and other communication devices, for example.
  • rvicsj is a real-time transmission of road traffic information such as traffic jams and traffic regulations edited and processed at the VICS Center in real time. It is an information communication system that displays characters and figures on in-vehicle devices such as devices. As a method of transmitting road traffic information (VICS information) edited and processed in this VICS center to the navigation device, there is a method of using “beacon” and “FM multiplex broadcasting” installed on each road. .
  • beacons include “radio wave beacons” mainly used on expressways and “optical beacons” used on major general roads.
  • FM multiplex broadcasting road traffic information in a wide area can be received.
  • Beacon receive necessary road traffic information at the location where the vehicle is located, such as detailed information on the most recent road based on the location of the vehicle (vehicle 350). Is possible. If the communication method with other driving support devices is different from the communication method for receiving the map information and the road traffic information, the communication unit 1207 corresponds to each communication method. With multiple communication means! /, You can! /
  • the route search unit 1208 receives the current location information of the vehicle 350 acquired by the acquisition unit 1203 and Based on the destination information input by the user, for example, the optimum route from the current location to the destination is calculated.
  • the route guidance unit 1209 includes information on the route (guidance route) searched by the route search unit 1208, or route information received by the communication unit 1207, current location information acquired by the acquisition unit 1203, and the recording medium 1204. Based on the map information obtained via the recording medium decoding unit 1205, real-time route guidance information is generated.
  • the route guidance information generated by the route guidance unit 1209 is output to the display screen 1202 via the navigation control unit 1200.
  • Guidance sound generator 1210 generates tone and voice information corresponding to various patterns. That is, based on the route guidance information generated by the route guidance unit 1209, the virtual sound source corresponding to the guidance point is set and the voice guidance information is generated, and the guidance sound is output via the navigation control unit 1200. Output to part 1206. In addition, the guidance sound generation unit 1210 may generate voice guidance information that guides the vehicle 350 in accordance with the video displayed on the display screen 1202, for example, during driving support.
  • the speaker 1211 reproduces (outputs) the navigation guidance sound output from the guidance sound output unit 1206 and the sound output from the audio processing unit 1214 described later.
  • this speaker 1211 may be provided with headphones and the like, so that the output form of the guidance sound and voice is appropriately changed so that the sound field of the guidance sound and voice output from the entire vehicle 350 is not generated.
  • the video processing unit 1212 performs overall video processing in the driving support device 300. Specifically, the video processing unit 1212 performs video processing of the image data of the video of the vehicle 350 acquired from the communication unit 1207 through the video input / output IZF 1213, for example. Further, the video processing unit 1212 may perform video (image) processing such as image data acquired from the communication unit 1207 through the video input / output IZF 1213 or image data recorded in the recording medium 1204. Specifically, the video processing unit 1212 is configured by a GPU, for example.
  • the video processing by the video processing unit 1212 for example, with respect to the video of the vehicle 350 acquired through the video input / output I ZF1213, the horizontal flip processing, the vertical flip processing, the synthesis processing, Perform video processing such as guideline superimposed display processing such as guidelines. It can be mentioned. Note that the video processing unit 1212 performs video processing in accordance with, for example, a control command from the navigation control unit 1200.
  • the video processing unit 1212 may be configured to have a DSP (Digital Signal Processor) function, for example.
  • DSP Digital Signal Processor
  • Video input / output IZF 1213 performs input / output processing of an image (image data) input / output to / from video processing unit 1212 from the outside, for example.
  • This video input / output IZF1213 is an example of image data from the recording medium 1204 that stores video shot by the DSC or DVC, or video stored in the DSC or DVC, such as USB (Universal Serial Bus) or IEE Eld. 94 (Institute of Electrical and Electronic Engineers 1394) and image data input from the communication unit 1207 through infrared communication, etc., and image data of the image of the vehicle 350 captured by the imaging unit 310 and received by the communication unit 1207.
  • the image data output from the video processing unit 1212 is output to the recording medium 1204, the communication unit 1207, and the like.
  • the video input / output IZF 1213 may have a controller function for controlling read Z write of the recording medium 1204 when inputting / outputting image data to / from the recording medium 1204, for example.
  • the video input / output IZF 1213 may have a function of a communication controller that controls communication with the communication unit 1207, for example, when inputting / outputting image data to / from the communication unit 1207.
  • the audio processing unit 1214 selects audio data obtained from the recording medium 1204 through the recording medium decoding unit 1205, audio data obtained from the communication unit 1207 through the navigation control unit 1200, and the selected audio data. Perform the playback process.
  • the audio processing unit 1214 may perform reproduction processing of audio data stored in a storage device such as an audio database (hereinafter referred to as “audio DB”) (not shown).
  • audio DB an audio database
  • the sound data reproduced by the sound processing unit 1214 includes, for example, sound data such as sound data and sound effects constituting a musical composition. Playback processing by the audio processor 1214 This includes, for example, control of the sound field formed by the sound output from the speaker 1211.
  • the audio processing unit 1214 may be configured to reproduce radio or television audio, for example.
  • the audio processing unit 1214 controls the output of audio output from, for example, the speaker 1211. More specifically, for example, sound volume adjustment / colorizing processing, sound image localization processing, and the like are performed based on selected and reproduced sound data, and the sound output state is controlled.
  • the audio output control by the audio processing unit 1214 is performed by, for example, an input operation from the user operation unit 1201 or a control by the navigation control unit 1200.
  • the external photographing unit 310 is provided in a so-called external structure such as a wall part or a ceiling part of a parking facility, for example.
  • the photographing unit 310 is arranged as in the cameras 511 to 519 in FIGS. 5 and 6, for example.
  • the photographing unit 310 has a C-MOS or a photoelectric conversion element such as a CCD, which may be configured by the above-described photographing devices such as DSC and DVC, and photographs an image of the vehicle 350.
  • the external photographing unit 310 is wirelessly connected to, for example, the driving support device 300 or an external server.
  • an image (image) of the vehicle 350 is constantly or remotely operated from the navigation control unit 1200.
  • the image data of the image shot by the external shooting unit 310 is received by the communication unit 1207 and output to the video processing unit 1212 via the video input / output IZF 1213.
  • the image data receiving unit 301 in FIG. 3 specifically realizes its function by the communication unit 1207, for example, and the behavior information acquisition unit 302 realizes its function by the acquisition unit 1203, for example.
  • the video generation unit 303 in FIG. 3 specifically realizes its function by, for example, the navigation control unit 1200 and the video processing unit 1212, and the display unit 304 realizes its function by, for example, the display screen 1202 .
  • FIG. 13 shows a driving support processing procedure of the driving support device according to the third embodiment of the present invention. It is a flowchart which shows an example of order. In the flowchart of FIG. 13, the description will be made with reference to FIG. 12, but the same parts as those already described are denoted by the same reference numerals and the description thereof is omitted.
  • the navigation control unit 1200 of the driving support device 300 receives image data of the video of the vehicle 350 captured by the imaging unit 310 via the communication unit 1207 (step S1301).
  • the received image data is input from the communication unit 1207 to the video processing unit 1212 through the video input / output IZF 1213.
  • the navigation control unit 1200 determines whether or not the display screen 1202 as the display unit 304 (see FIG. 3, the same applies hereinafter) of the driving support device 300 is ON (step S). 1302).
  • step S1302 When it is determined that the display screen 1202 is ON (step S1302: Yes), the navigation control unit 1200 determines whether or not the acquisition unit 1203 has acquired information on the steering wheel and gear of the vehicle 350. (Step S1303). If it is determined that information on the steering wheel and gear is acquired (step S1303: Yes), the navigation control unit 1200 determines the steering direction and gear of the vehicle 350 (step S1304). By the determination process in step S1304, the operation state of the vehicle 350 (for example, the operation such as reversing with the steering wheel turned to the left) is determined.
  • the operation state of the vehicle 350 for example, the operation such as reversing with the steering wheel turned to the left
  • step S1302 determines whether or not the navigation control unit 1200 has acquired information about the force I / O half IJ disconnection, which is the display screen 1202 force SON of step S1302, and information on the handle and gear of step S1303, respectively. Repeat the determination process.
  • step S1304 when the operating state of the vehicle 350 is determined, the navigation control unit 1200 outputs a video processing command to the video processing unit 1212.
  • the video processing unit 1212 determines the input image data. Based on the result, an image from the direction opposite to the direction in which the vehicle 350 moves is generated (step S1305).
  • the driving support device 300 overlaps the guidance image with the generated image by the navigation control unit 1200, for example, by the input operation from the user operation unit 1201 during the image generation process of step S1305. It is determined whether or not there is a tatami display (step S 1306).
  • step S1306 When it is determined that there is a superimposed display (step S1306: Yes), the video processing unit 1212 adds a guide image to the generated video (step S1307). Then, the navigation control unit 1200 displays the generated video on the display screen 1202 based on the video image data generated by the video processing unit 1212 (step S 1308). After displaying the video, the navigation control unit 1200 determines whether or not the display screen 1202 is OFF (step S1309). If it is determined that the display screen 1202 is OFF (step S1309: Yes), the driving support device 300 ends the series of driving support processing according to this flowchart.
  • step S1309: No when navigation control unit 1200 determines that display screen 1202 is not OFF (step S1309: No), the process returns to step S1308, and the display processing of the generated video is continued. If it is determined in step S 1306 that there is no superimposed display (step S 1306: No), the process proceeds to step SI 308 to display the generated video.
  • the driving support apparatus is based on the received image data of the video of the vehicle and the acquired information on the steering direction and gear of the vehicle. It can generate video from the direction opposite to the moving direction and display the generated video. For this reason, it is possible to drive by displaying an image from the outside of the vehicle as an objective viewpoint image on the display screen, and it is possible to improve driving safety.
  • Example 4
  • the driving assistance apparatus according to Embodiment 4 of the present invention will be described.
  • the driving support device based on the received image data of the video of the vehicle and the information on the steering direction and gear of the vehicle, which is the acquired behavior information, the direction of movement of the vehicle and the direction from the opposite direction are obtained. It was set as the structure which can produce
  • the driving support device in addition to the received image data of the video of the vehicle and the information on the steering direction and gear of the vehicle that is the acquired behavior information, Based on the current location information of a certain vehicle, a configuration is adopted in which an image from the direction opposite to the direction in which the vehicle moves can be generated and the generated image can be displayed.
  • FIG. 14 is a flowchart showing an example of a driving assistance processing procedure of the driving assistance apparatus according to Embodiment 4 of the present invention.
  • the navigation control unit 1200 of the driving assistance device 300 receives image data of the video of the vehicle 350 captured by the imaging unit 310 via the communication unit 1207 (step S1401).
  • the received image data is input from the communication unit 1207 to the video processing unit 1212 through the video input / output IZF 1213.
  • the navigation control unit 1200 determines whether or not the display screen 1202 as the display unit 304 (see FIG. 3, the same applies hereinafter) of the driving support device 300 is ON (step S). 1402).
  • step S1402 determines whether the display screen 1202 is ON (step S1402: Yes).
  • step S. 1403 If it is determined that the current location information has been acquired (step S1403: Yes), the navigation control unit 1200 reads the map information from the recording medium 1204 and refers to the read map information to obtain the acquired current location information. It is determined whether it is point information indicating a specific point, that is, whether or not the point information indicates a parking facility, for example (step S 1404).
  • Step S 1404 If it is determined that the location information indicates a parking facility (Step S 1404: Yes), Navigation ff3 ⁇ 4 ⁇ ⁇ 1200 [Accordingly, acquisition ⁇ 1203 It is determined whether or not the power related to the information is acquired (step S1405). If it is determined that information regarding the steering wheel and gear is acquired (step S 1405: Yes), the navigation control unit 1200 determines the steering direction and gear of the vehicle 350 (step S 1406). By the determination process in step S1406, the operation state of the vehicle 350 (for example, the operation of turning the steering wheel to the right and moving backward) is determined.
  • the operation state of the vehicle 350 for example, the operation of turning the steering wheel to the right and moving backward
  • step S1402 determines whether or not the screen 1202 is ON (step S1402: No)
  • navigation control unit 1200 displays step S1402.
  • the process of determining whether or not the screen 1202 is ON is repeated.
  • step S1403 determines whether or not the current location information has not been acquired (step S 1403: No)
  • step S1404 it is determined that the location information indicating the parking facility is not valid (step S 1404: No) repeats the process of determining whether or not the current location information of step S1403 has been acquired.
  • step S1405 If it is determined in step S1405 that information on the handle and gear is not acquired (step S1405: No), the navigation control unit 1200 uses the navigation control unit 1200 to obtain information on the handle and gear in step S1405. Repeat the process of determining whether or not it has been acquired.
  • step S1406 when the operation state of the vehicle 350 is determined, the navigation control unit 1200 outputs a video processing command to the video processing unit 1212.
  • the video processing unit 1212 outputs the input image data and the point.
  • an image from the direction opposite to the direction in which the vehicle 350 moves is generated (step S1407).
  • the driving support device 300 generates a plan image for the generated video by the navigation control unit 1200 by, for example, an input operation from the user operation unit 1201 during the video generation processing in step S1407. It is determined whether or not there is a superimposed display (step S 1408).
  • step S1408 If it is determined that there is a superimposed display (step S1408: Yes), the video processing unit 1212 adds a guide image to the generated video (step S1409). Then, the navigation control unit 1200 displays the generated video on the display screen 1202 based on the video image data generated by the video processing unit 1212 (step S1410). After displaying the video, the navigation control unit 1200 determines whether or not the display screen 1202 is OFF (step S1411). If it is determined that the display screen 1202 is OFF (step S1411: Yes), the driving support device 300 ends the series of driving support processing according to this flowchart.
  • step S1411: No when navigation control unit 1200 determines that display screen 1202 is not OFF (step S1411: No), the process returns to step S1410, and the display processing of the generated video is continued. If it is determined in step S1408 that there is no superimposed display (step S1408: No), the process proceeds to step S1410 to display the generated video. Is called.
  • the driving assistance apparatus relates to the received image data of the video of the vehicle, the acquired current position information of the vehicle, the acquired steering direction and gear of the vehicle. Based on the information, it is possible to generate an image from the direction opposite to the moving direction of the vehicle and display the generated image. For this reason, it is possible to display the video from the outside of the vehicle as a video from an objective viewpoint on the display screen at a specific point such as a parking facility, and to drive, thereby improving driving safety. It becomes possible.
  • the driving support device, the driving support method, and the driving support program according to the present invention based on the received image data of the video of the vehicle and the behavior information of the vehicle, An external video can be generated. For this reason, it is possible to objectively visually recognize the situation around the vehicle using the generated video.
  • the driving support method described in the present embodiment can be realized by executing a program prepared in advance on a computer such as a personal computer or a workstation.
  • This program is recorded on a computer-readable recording medium such as a hard disk, a flexible disk, a CD-ROM, an MO, and a DVD, and is executed by being read by the computer.
  • this program may be a transmission medium that can be distributed via a network such as the Internet.

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Traffic Control Systems (AREA)
  • Closed-Circuit Television Systems (AREA)

Abstract

　車両（１５０）の映像の画像データを受信する画像データ受信部（１０１）と、車両（１５０）の挙動情報を受信する挙動情報受信部（１０２）と、画像データ受信部（１０１）によって受信された画像データと、挙動情報受信部（１０２）によって受信された挙動情報とに基づいて、車両（１５０）の外部からの映像を生成する映像生成部（１０３）と、映像生成部（１０３）によって生成された映像の画像データを車両（１５０）に送信する画像データ送信部（１０４）と、を備えることを特徴とする。

Description

明 細 書
運転支援装置、運転支援方法および運転支援プログラム
技術分野
[0001] 本発明は、運転支援装置、運転支援方法および運転支援プログラムに関する。た だし、本発明の利用は、上述した運転支援装置、運転支援方法および運転支援プロ グラムに限られない。
背景技術
[0002] 近年、自動車などの車両に搭載された撮影装置で撮影した映像を車内モニタ上に 表示して、たとえば駐車に際し運転者の見落としがちな後方死角などの視界を補完 して、安全かつ容易に駐車操作をすることができるように構成された 、わゆる運転支 援装置が提供されている。
[0003] このような運転支援装置は、たとえば車載カメラで撮影した車両後方の映像を表示 するモニタ画面を主画面と子画面とに分割し、撮影した映像を車両の後方の広!ヽ範 囲を表示する映像として主画面に表示するとともに主画面にガイドラインを重畳表示 し、撮影した映像のうち車両の周辺後方の領域を仮想上視点カゝら見下ろした画像に 視点変換して子画面に表示するとともにガイドラインを視点変換と同様に視点変換し たガイドラインとして子画面に重畳表示する。好適には、主画面の中心軸と子画面の 中心軸とを一致させ主画面の下側に子画面を配置する構成とされている（たとえば、 特許文献 1参照。）。
[0004] また、このような運転支援装置は、たとえば少なくとも後方、左右後側方を撮影する 3つの車載カメラを設け、駐車時には、 3つの画像を同時に表示するとともに、特に左 右後側方カメラは後部タイヤが一部映るような画角で撮影し、車両の一番側方の外 側であってかつ後部タイヤ付近に地面に対し鉛直方向となるポール状のガイドを画 像に重畳表示し、さらに車両を寄せる方向が分力るように矢印を重畳表示する構成と されている（たとえば、特許文献 2参照。 )0
[0005] 特許文献 1 :特開 2003— 104145号公報
特許文献 2 :特開 2003— 199093号公報 発明の開示
発明が解決しょうとする課題
[0006] しかしながら、上記特許文献 1および特許文献 2に記載された運転支援装置では、 車両側から撮影した車両後方の映像を表示画面上に表示して後方死角などを極力 少なくすることはできるが、車両に向力う視点の映像を表示画面上に表示して後方死 角などの視界を補完することはできないという問題が一例として挙げられる。
課題を解決するための手段
[0007] 請求項 1の発明にかかる運転支援装置は、車両の映像の画像データを受信する画 像データ受信手段と、前記車両の挙動情報を受信する挙動情報受信手段と、前記 画像データ受信手段によって受信された画像データと、前記挙動情報受信手段によ つて受信された挙動情報とに基づいて、前記車両の外部からの映像を生成する映像 生成手段と、前記映像生成手段によって生成された映像の画像データを前記車両 に送信する画像データ送信手段と、を備えることを特徴とする。
[0008] また、請求項 2の発明にかかる運転支援装置は、車両の映像の画像データを受信 する画像データ受信手段と、前記車両の挙動情報を取得する挙動情報取得手段と、 前記画像データ受信手段によって受信された画像データと、前記挙動情報取得手 段によって取得された挙動情報とに基づいて、前記車両の外部からの映像を生成す る映像生成手段と、前記映像生成手段によって生成された映像を表示する表示手段 と、を備えることを特徴とする。
[0009] また、請求項 6の発明に力かる運転支援方法は、車両の映像の画像データを受信 する画像データ受信工程と、前記車両の挙動情報を受信する挙動情報受信工程と、 前記画像データ受信工程によって受信された画像データと、前記挙動情報受信ェ 程によって受信された挙動情報とに基づいて、前記車両の外部からの映像を生成す る映像生成工程と、前記映像生成工程によって生成された映像の画像データを前記 車両に送信する画像データ送信工程と、を含むことを特徴とする。
[0010] また、請求項 7の発明にかかる運転支援方法は、車両の映像の画像データを受信 する画像データ受信工程と、前記車両の挙動情報を取得する挙動情報取得工程と、 前記画像データ受信工程によって受信された画像データと、前記挙動情報取得ェ 程によって取得された挙動情報とに基づいて、前記車両の外部からの映像を生成す る映像生成工程と、前記映像生成工程によって生成された映像を表示する表示工程 と、を含むことを特徴とする。
[0011] また、請求項 8の発明にかかる運転支援プログラムは、請求項 6または 7に記載の 運転支援方法をコンピュータに実行させることを特徴とする。
図面の簡単な説明
[0012] [図 1]図 1は、実施の形態 1にかかる運転支援装置を適用した運転支援システムの機 能的構成の一例を示すブロック図である。
[図 2]図 2は、実施の形態 1にかかる運転支援装置を適用した運転支援システムの運 転支援処理手順の一例を示すフローチャートである。
[図 3]図 3は、実施の形態 2にかかる運転支援装置の機能的構成の一例を示すブロッ ク図である。
[図 4]図 4は、実施の形態 2にかかる運転支援装置の運転支援処理手順の一例を示 すフローチャートである。
[図 5]図 5は、実施例 1にかかる運転支援装置を適用した運転支援システムの撮影部 の配置構成の一例を示す側面図である。
[図 6]図 6は、実施例 1にかかる運転支援装置を適用した運転支援システムの撮影部 の配置構成の一例を示す上面図である。
[図 7]図 7は、実施例 1にかかる運転支援装置のハードウェア構成の一例を示すプロ ック図である。
[図 8]図 8は、実施例 1にかかる運転支援装置の運転支援処理手順の一例を示すフ ローチャートである。
[図 9]図 9は、実施例 1にかかる運転支援装置が生成した映像の一例を示す説明図 である。
[図 10]図 10は、実施例 1にかかる運転支援装置が生成した映像の一例を示す説明 図である。
[図 11]図 11は、実施例 2にかかる運転支援装置の運転支援処理手順の一例を示す フローチャートである。 O
[図 12]図 12は、実施例 3にかかる運転支援装置のハードウェア構成の一例を示すブ ロック図である。
〇
[図 〇
13]図 13は、実施例 3にかかる運転支援装置の運転支援処理手順の一例を示す フローチャートである。
[図 14]図 14は、実施例 4にかかる運転支援装置の運転支援処理手順の一例を示す フローチャートである。
符号の説明
300 運転支援装置
101、 301 画像データ受信部
102 挙動情報受信部
103、 303 映像生成部
104、 305 画像データ送信部
150、 350 車両
151 受信部
152、 304 表示部
153、 302 挙動情報取得部
351 検出部
発明を実施するための最良の形態
[0014] 以下に添付の図面を参照して、この発明にかかる運転支援装置、運転支援方法お よび運転支援プログラムの好適な実施の形態を詳細に説明する。
[0015] (実施の形態 1)
(運転支援装置を適用した運転支援システムの機能的構成）
まず、この発明の実施の形態 1にかかる運転支援装置を適用した運転支援システ ムの内容について説明する。図 1は、この発明の実施の形態 1にかかる運転支援装 置を適用した運転支援システムの機能的構成の一例を示すブロック図である。図 1に おいて、運転支援システム 190は、運転支援装置 100と、撮影部 110と、車両 150と を備えた構成となっている。運転支援装置 100は、画像データ受信部 101と、挙動情 報受信部 102と、映像生成部 103と、画像データ送信部 104とを備えている。車両 1 50は、受信部 151と、表示部 152と、挙動情報取得部 153とを備えている。
[0016] 運転支援装置 100の画像データ受信部 101は、車両 150の映像の画像データを 受信する。画像データの受信は、たとえば無線通信によっておこなわれる。車両 150 の映像は、たとえば撮影部 110によって撮影される。この車両 150の映像は、車両 1 50および車両 150の周囲の映像を含む。ここで、車両 150の周囲とは、たとえば車 両 150全体の上下、左右、前後すベての周囲を意味する。画像データ受信部 101に よって受信される映像の画像データは、具体的には、たとえば車両 150の前後や側 方、上方などを撮影部 110によって撮影した映像の画像データが挙げられる。
[0017] 挙動情報受信部 102は、車両 150の挙動に関する挙動情報を受信する。挙動情 報の受信は、たとえば無線通信によっておこなわれる。挙動情報は、車両 150の挙 動情報取得部 153によって取得される。挙動情報とは、具体的には、車両 150の移 動や停止状態などを示す情報であり、たとえば車両 150の操舵機 (ハンドル)および 変速機 (ギア）に関する情報、速度に関する情報 (速度情報、加速度情報、角速度情 報)、傾斜角情報、横 G (Gmvity)情報、現在地点情報および操作入力に伴う情報 などが挙げられる。
[0018] 映像生成部 103は、画像データ受信部 101によって受信された画像データと、挙 動情報受信部 102によって受信された挙動情報とに基づいて、車両 150の外部から の映像を生成する。車両 150の外部からの映像とは、たとえば車両 150の周囲から 車両 150に向力う視点の映像のことをいう。また、映像生成部 103は、必要に応じて 車両 150の接近状況を示す案内画像を重畳表示した映像を生成する。
[0019] この映像生成部 103は、具体的には、車両 150が動く方向と反対方向力もの視点 の映像を生成する。たとえば、車両 150が後退動作をしている場合、後退先から車両 150の後部を見るような状態の映像を生成する。画像データ送信部 104は、映像生 成部 103によって生成された映像の画像データを車両 150に送信する。画像データ の送信は、たとえば無線通信によっておこなわれる。
[0020] 撮影部 110は、車両 150および車両 150の周囲を撮影する。この撮影部 110は、 たとえば駐車施設の壁部や天井部、道路を跨ぐ部材ゃ走行レーンを覆う部材、橋梁 、路面 (道路舗装)、トンネル、信号機、電柱や看板などのいわゆる外部構造物に備 えられている。この撮影部 110は、たとえば撮影した映像の画像データを外部に送信 するための図示しな 、送信部を備えて 、る。
[0021] 車両 150の受信部 151は、たとえば運転支援装置 100の画像データ送信部 104か ら送信された画像データを受信する。表示部 152は、受信部 151で受信された画像 データが構成する映像を、たとえば車両 150の内部に設けられた表示画面に表示す る。挙動情報取得部 153は、車両 150の挙動情報を取得する。この挙動情報取得部 153で取得された挙動情報は、運転支援装置 100の挙動情報受信部 102に送信さ れる。
[0022] このように、運転支援システム 190は、運転支援装置 100が、撮影部 110からの映 像の画像データと車両 150からの挙動情報とに基づ 、て、車両 150の外部からの映 像を生成し、生成した映像の画像データを車両 150に提供することができる。このた め、たとえば車両 150の運転者が運転に未熟な者であったとしても、車両 150を駐車 する際などに、運転支援装置 100で生成された車両 150の後方死角を含む映像な どを車両誘導者の視点で見るような客観的な映像で表示部 152の表示画面上に表 示し確認することができる。
[0023] これにより、たとえば運転者にとって車両 150の周囲の状況を客観的に詳細かつ瞬 時に視認することができるようになるため、運転操作を支援して安全運転に寄与する ことが期待できる。なお、運転支援装置 100と、撮影部 110と、車両 150との間でおこ なわれる各種情報の送受信は、上述した無線通信によって直接おこなわれてもよ ヽ 力 たとえばインターネット上のサーバなどを介して間接的におこなわれてもよい。
[0024] (運転支援装置を適用した運転支援システムの運転支援処理手順）
つぎに、この発明の実施の形態 1にかかる運転支援装置を適用した運転支援シス テムの運転支援処理手順について説明する。図 2は、この発明の実施の形態 1にか かる運転支援装置を適用した運転支援システムの運転支援処理手順の一例を示す フローチャートである。なお、図 2のフローチャートにおいて、図 1を参照しながら説明 をおこなうが、既に説明した部分と重複する箇所は同一の符号を附して説明を省略 する。
[0025] 図 2のフローチャートにおいて、まず、運転支援装置 100の画像データ受信部 101 によって、撮影部 110で撮影された車両 150の映像の画像データを受信する (ステツ プ S201)。つぎに、運転支援装置 100の挙動情報受信部 102によって、車両 150の 挙動情報取得部 153で取得された挙動情報を受信する (ステップ S 202)。
[0026] 挙動情報が受信されたのち、運転支援装置 100は、挙動情報がどのような情報 (た とえば、車両 150の操舵機および変速機に関する情報)であるか、受信した挙動情 報を判定する (ステップ S203)。そして、運転支援装置 100の映像生成部 103は、画 像データ受信部 101によって受信した画像データと、判定された挙動情報とに基づ V、て、車両 150の外部からの映像を生成する（ステップ S204)。
[0027] なお、このステップ S204における映像生成処理の際に、映像生成部 103によって 、必要に応じて車両 150の接近状況を示す案内画像を重畳表示した映像を生成し てもよい。映像生成部 103によって、映像を生成したのち、運転支援装置 100の画像 データ送信部 104によって、生成した映像の画像データを車両 150に送信する (ステ ップ S 205)。
[0028] 送信された画像データを受信部 151によって受信した車両 150では、受信された 画像データが表示部 152に提供され、表示部 152によって、車両 150において映像 を表示画面に表示する（ステップ S 206)。これにより、本フローチャートによる一連の 運転支援処理を終了する。なお、図示は省略するが、ステップ S206における映像表 示処理の際に、車両 150においては、ガイダンス音声などによって表示される映像と ともに運転支援 (音声誘導)をおこなうようにしてもよい。具体的には、たとえば車両 1 50と障害物などとの接近状況を通知するガイダンス音声などが挙げられる。
[0029] このように運転支援処理をすることによって、この運転支援システム 190では、車両 150側で運転支援装置 100によって生成された車両 150の外部からの映像を表示 することができるため、車両 150の運転者の後方死角などの視界を補完することがで き、車両 150における運転操作を支援して運転の安全性の向上を図ることが期待で きる。
[0030] 以上説明したように、この発明の実施の形態 1にかかる運転支援装置を適用した運 転支援システムによれば、運転支援装置は、受信した車両の映像の画像データと挙 動情報とに基づいて、車両の外部からの映像を生成し、生成した映像の画像データ を車両に送信することができる。このため、車両では、送信された画像データが構成 する映像を表示して車両の周囲の状況を客観的に視認しながら運転操作をすること ができる。これにより、運転操作を支援して運転の安全性の向上を図ることが可能と なる。
[0031] (実施の形態 2)
つぎに、この発明の実施の形態 2にかかる運転支援装置について説明する。実施 の形態 1にかかる運転支援装置では、運転支援装置が車両と別体であり、車両との 間で通信により情報伝達をおこなう構成とした。一方、実施の形態 2にかかる運転支 援装置は、運転支援装置が車両に搭載された構成である。
[0032] (運転支援装置の機能的構成）
まず、この発明の実施の形態 2にかかる運転支援装置の機能的構成について説明 する。図 3は、この発明の実施の形態 2にかかる運転支援装置の機能的構成の一例 を示すブロック図である。図 3において、運転支援装置 300は、画像データ受信部 30 1と、挙動情報取得部 302と、映像生成部 303と、表示部 304とを備えて構成され、 画像データ送信部 305を有し、車両 350に搭載された構成となっている。
[0033] 運転支援装置 300の画像データ受信部 301は、車両 350の映像の画像データを 受信する。画像データの受信は、たとえば無線通信によっておこなわれる。車両 350 の映像は、たとえば撮影部 310によって撮影される。この車両 350の映像は、車両 3 50および車両 350の周囲の映像を含む。ここで、車両 350の周囲とは、たとえば車 両 350全体の上下、左右、前後すベての周囲を意味する。画像データ受信部 301に よって受信される映像の画像データは、具体的には、たとえば車両 350の前後や側 方、上方などを撮影部 310によって撮影した映像の画像データが挙げられる。
[0034] 挙動情報取得部 302は、車両 350の検出部 351で検出された車両 350の挙動に 関する挙動情報を取得する。挙動情報は、具体的には、車両 350の移動や停止状 態などを示す情報であり、たとえば車両 350の操舵機 (ハンドル)および変速機 (ギア )に関する情報、速度に関する情報 (速度情報、加速度情報、角速度情報)、傾斜角 情報、横 G (Gravity)情報、現在地点情報および操作入力に伴う情報などが挙げら れる。 [0035] 映像生成部 303は、画像データ受信部 301によって受信された画像データと、挙 動情報取得部 302によって取得された挙動情報とに基づいて、車両 350の外部から の映像を生成する。車両 350の外部からの映像とは、たとえば車両 350の周囲から 車両 350に向力 視点の映像のことをいう。また、映像生成部 303は、必要に応じて 車両 350の接近状況を示す案内画像を重畳表示した映像を生成する。
[0036] この映像生成部 303は、具体的には、車両 350が動く方向と反対方向力もの視点 の映像を生成する。たとえば、車両 350が後退動作をしている場合、後退先から車両 350の後部を見るような状態の映像を生成する。表示部 304は、映像生成部 303で 生成された映像を、たとえば車両 350の内部に設けられた表示画面に表示する。画 像データ送信部 305は、映像生成部 303によって生成された映像の画像データを外 部に送信する。画像データの送信は、たとえば無線通信によっておこなわれる。
[0037] 撮影部 310は、車両 350および車両 350の周囲を撮影する。この撮影部 310は、 たとえば駐車施設の壁部や天井部、道路を跨ぐ部材ゃ走行レーンを覆う部材、橋梁 、路面 (道路舗装)、トンネル、信号機、電柱や看板などのいわゆる外部構造物に備 えられている。この撮影部 310は、たとえば撮影した映像の画像データを外部に送信 するための図示しない送信部を備えている。なお、撮影部 310は、たとえば運転支援 装置 300によって、遠隔操作されてもよい。
[0038] 車両 350の検出部 351は、具体的には、たとえば走行中の車両 350の速度を検出 する速度センサ、車両 350の傾斜角を検出する傾斜角センサ、車両 350の加速度を 検出する加速度センサ、コーナリングの際の車両 350の角速度を検出する角速度セ ンサ、コーナリングの際に遠心力によって発生する外向きの力（重力）である横 Gを検 出する横 Gセンサ、人工衛星力 の電波を受信することによって車両 350の現在地 点情報 (緯度経度情報）を検出する GPS、車両 350の進行方向を検出するジャイロ センサなどにより構成されている。
[0039] このように、運転支援装置 300は、撮影部 310からの映像の画像データと車両 350 の検出部 351からの挙動情報とに基づいて、車両 350の外部からの映像を生成し、 表示部 304によって生成した映像を車両 350において表示することができる。このた め、たとえば車両 350の運転者が運転に未熟な者であったとしても、車両 350を駐車 する際などに、運転支援装置 300で生成された車両 350の後方死角を含む映像な どを車両誘導者の視点で見るような客観的な映像で表示部 304の表示画面上に表 示し確認することができる。
[0040] これにより、たとえば運転者にとって車両 350の周囲の状況を客観的に詳細かつ瞬 時に視認することができるようになるため、運転操作を支援して安全運転に寄与する ことが期待できる。なお、運転支援装置 300と撮影部 310との間や、運転支援装置 3 00と外部との間でおこなわれる各種情報の送受信は、上述した無線通信によって直 接おこなわれてもよいが、たとえばインターネット上のサーバなどを介して間接的にお こなわれてもよい。
[0041] (運転支援装置の運転支援処理手順）
つぎに、この発明の実施の形態 2にかかる運転支援装置の運転支援処理手順につ いて説明する。図 4は、この発明の実施の形態 2にかかる運転支援装置の運転支援 処理手順の一例を示すフローチャートである。なお、図 4のフローチャートにおいて、 図 3を参照しながら説明をおこなうが、既に説明した部分と重複する箇所は同一の符 号を附して説明を省略する。
[0042] 図 4のフローチャートにおいて、まず、運転支援装置 300の画像データ受信部 301 によって、撮影部 310で撮影された車両 350の映像の画像データを受信する (ステツ プ S401)。つぎに、運転支援装置 300は、挙動情報取得部 302によって、車両 350 の検出部 351で検出された挙動情報を取得したか否かを判断する (ステップ S402) 。取得したと判断した場合 (ステップ S402 : Yes)、運転支援装置 300は、挙動情報 力 Sどのような情報 (たとえば、車両 350の操舵機および変速機に関する情報)である 力 取得した挙動情報を判定する (ステップ S403)。
[0043] 取得して 、な 、と判断した場合 (ステップ S402： No)、運転支援装置 300は、挙動 情報取得部 302によって、挙動情報を取得するまでステップ S402の処理を繰り返す 。ステップ S403に続いて、運転支援装置 300の映像生成部 303は、画像データ受 信部 301によって受信した画像データと、判定された挙動情報とに基づいて、車両 3 50の外部からの映像を生成する（ステップ S404)。このステップ S404における映像 生成処理の際には、映像生成部 303によって、必要に応じて車両 350の接近状況を 示す案内画像を重畳表示した映像を生成してもよ ヽ。
[0044] 映像生成部 303によって、映像を生成したのち、表示部 304によって、生成された 映像の画像データに基づき、映像を表示画面に表示する (ステップ S405)。これによ り、本フローチャートによる一連の運転支援処理を終了する。なお、図示は省略する 力 ステップ S405における映像表示処理の際に、車両 350においては、ガイダンス 音声などによって表示される映像とともに運転支援 (音声誘導)をおこなうようにしても よい。具体的には、たとえば車両 350と障害物などとの接近状況を通知するガイダン ス音声などが挙げられる。
[0045] このように運転支援処理をすることによって、車両 350において運転支援装置 300 によって生成された車両 350の外部力もの映像を表示することができるため、車両 35 0の運転者の後方死角などの視界を補完することができ、車両 350における運転操 作を支援して運転の安全性の向上を図ることが期待できる。
[0046] 以上説明したように、この発明の実施の形態 2にかかる運転支援装置によれば、受 信した車両の映像の画像データと取得した挙動情報とに基づ!/、て、車両の外部から の映像を生成し、生成した映像を表示することができる。このため、車両において車 両の外部力 の映像を表示して車両の周囲の状況を客観的に視認しながら運転操 作をすることができる。これにより、運転操作を支援して運転の安全性の向上を図るこ とが可能となる。
[0047] つぎに、この実施の形態 1および実施の形態 2にかかる実施例 1〜4について詳細 に説明する。なお、実施例 1および実施例 2は、実施の形態 1に対応する実施例であ り、実施例 3および実施例 4は、実施の形態 2に対応する実施例である。
実施例 1
[0048] (運転支援装置を適用した運転支援システムの撮影部の配置構成）
まず、この発明の実施例 1にかかる運転支援装置を適用した運転支援システムの 撮影部の配置構成について説明する。図 5は、この発明の実施例 1にかかる運転支 援装置を適用した運転支援システムの撮影部の配置構成の一例を示す側面図であ る。また、図 6は、この発明の実施例 1にかかる運転支援装置を適用した運転支援シ ステムの撮影部の配置構成の一例を示す上面図である。 [0049] 図 5において、たとえば駐車施設における車両 150の周囲には、駐車施設の壁部 や天井部などの外部構造物に、図 1における撮影部 110であるカメラ 511〜515が 配置されている。カメラ 511は、車両 150の後部斜め上方から車両 150および車両 1 50の周囲を撮影し、カメラ 512は、車両 150の後部上方から車両 150および車両 15 0の周囲を撮影する。同様に、カメラ 513は、車両 150の前部斜め上方から車両 150 および車両 150の周囲を撮影する。また、カメラ 514は、車両 150の後方から車両 15 0および車両 150の周囲を撮影し、カメラ 515は、車両 150の前方から車両 150およ び車両 150の周囲を撮影する。
[0050] また、図 6において、車両 150の周囲には、カメラ 514, 515とともに図 1における撮 影部 110であるカメラ 516〜519が配置されている。カメラ 516は、車両 150の後部 左側方から車両 150および車両 150の周囲を撮影し、カメラ 517は、車両 150の後 部右側方から車両 150および車両 150の周囲を撮影する。同様に、カメラ 518は、車 両 150の前部左側方から車両 150および車両 150の周囲を撮影し、カメラ 519は、 車両 150の前部右側方から車両 150および車両 150の周囲を撮影する。なお、ここ では図 1における撮影部 110を、カメラ 511〜519からなる複数構成とした力 一つ のカメラ力もなる単数構成であってもよ 、。
[0051] (運転支援装置のハードウ ア構成）
つぎに、この発明の実施例 1にかかる運転支援装置のハードウェア構成について 説明する。図 7は、この発明の実施例 1にかかる運転支援装置のハードウェア構成の 一例を示すブロック図である。
[0052] 図 7にお!/、て、運転支援装置 100は、 CPU701と、 ROM702と、 RAM703と、 H DD (ノヽードディスクドライブ） 704と、 HD (ノヽードディスク） 705と、 CDZDVDドライブ 706と、着脱可能な記録媒体の一例としての CDZDVD707と、入力 iZF (インター フェース） 708と、入力キー 709と、リモコン 710と、映像 iZF (インターフェース） 711 と、ディスプレイ（またはタツチパネル） 712と、音声 IZF (インターフェース） 713と、ス ピー力 714と、マイク 715と、通信 IZF (インターフェース） 716とから構成されている。 また、各構成部 701〜716は、バス 720によってそれぞれ接続されている。
[0053] ここで、 CPU701は、運転支援装置 100の全体の制御を司り、制御プログラムにし たがって各種の演算処理を実行することにより、運転支援装置 100が備える各構成 部 701〜716を統括的に制御する。 ROM702は、たとえばブートプログラムなどの いわゆる固定的データを記憶している。 ROM702に記憶されたデータは、たとえば ユーザの操作によって書き換えることは可能である力 電源 OFFによって消去される ことはないものとする。
[0054] RAM703は、いわゆる可変的なデータを書き換え自在に記憶し、 CPU701のヮー クエリアとして使用される。この RAM703は、たとえば電源 OFFによって記憶された データが消去される揮発性のメモリであってもよいし、ノ ッテリなどによってノックアツ プされる不揮発性のメモリであってもよい。 HDD704は、 CPU701の制御にしたがつ て HD705に対するデータのリード Zライトを制御する。 HD705は、 HDD704の制 御で書き込まれたデータを記憶する。
[0055] CDZDVDドライブ 706は、 CPU701の制御にしたがって CDZDVD707に対す るデータのリード Zライトを制御する。 CDZDVD707は、 CDZDVDドライブ 706の 制御にしたがって記録されたデータの読み出される着脱自在な記録媒体である。ま た、 CDZDVD707として、書き込み可能な記録媒体を利用することもできる。また、 この着脱可能な記録媒体としては、 CDZDVD707の他、 CD—ROM (CD—R、 C D— RW)、 MO、メモリカードなどであってもよい。
[0056] また、入力 IZF708は、文字、数値、各種指示などの入力をする入力キー 709や、 入力キー 709の一部または全部を備えたリモコン 710から送信されてくるデータを入 力する。また、図示しないが必要に応じて出力 IZFを設け、この出力 IZFを介して文 字や画像を光学的に読み取るスキャナや、文字や画像を印刷するプリンタを接続す ることがでさる。
[0057] また、映像 IZF711は、映像表示用のディスプレイ (またはタツチパネル） 712と接 続される。映像 IZF711は、具体的には、たとえばディスプレイ（またはタツチパネル) 712全体の制御をおこなうグラフィックコントローラと、即時表示可能な画像情報を一 時的に記憶する VRAM (Video RAM)などのバッファメモリと、グラフィックコント口 ーラから出力される画像データに基づいて、ディスプレイ（またはタツチパネル） 712 を表示制御する制御 ICなどによって構成される。 [0058] ディスプレイ（またはタツチパネル） 712には、アイコン、カーソル、メニュー、ウィンド ゥ、あるいは文字や画像などの各種情報が表示される。このディスプレイ 712は、たと えば CRT、 TFT液晶ディスプレイ、プラズマディスプレイなどを採用することができる 。また、タツチパネル 712の場合は、入力 I/F708に接続され、タツチパネル 712の 押下げ Z非押下げを検出して入力 IZF708にデータを入力する。
[0059] また、音声 IZF713は、音声出力用のスピーカ 714と音声入力用のマイク 715に接 続される。音声 IZF713は、具体的には、たとえば音声ディジタルデータの DZA変 換をおこなう DZAコンバータと、 DZAコンバータから出力される音声アナログ信号 を増幅する増幅器とから構成されている。また、スピーカ 714は音声を出力し、マイク 715は外部カゝら読み上げられた音声を入力する。通信 IZF716は、撮影部 (カメラ） 110からの映像の画像データを入力するとともに、車両 150との間で画像データゃ挙 動情報などの各種データの入出力をおこなう。また、通信 IZF716は、インターネット などの外部サーバとの間で通信をおこなう通信コントローラの機能を備える。
[0060] なお、図 1における画像データ受信部 101、挙動情報受信部 102および画像デー タ送信部 104は、具体的には、たとえば CPU701、 ROM702、 RAM703および通 信 IZF716によってその機能を実現する。また、図 1における映像生成部 103は、具 体的には、たとえば CPU701、 ROM702、 RAM703および映像 I/F711によって その機能を実現する。
[0061] (運転支援装置の運転支援処理手順）
つぎに、この発明の実施例 1にかかる運転支援装置の運転支援処理手順について 説明する。図 8は、この発明の実施例 1にかかる運転支援装置の運転支援処理手順 の一例を示すフローチャートである。具体的に、図 8に示す処理は、たとえば図 7に示 した ROM702、 RAM703, HD705、 CDZDVD707などに記憶（記録）されたプロ グラムを CPU701が実行することによって実現する。なお、図 8のフローチャートにお いて、図 7を参照しながら説明をおこなうが、既に説明した部分と重複する箇所は同 一の符号を附して説明を省略する。
[0062] まず、運転支援装置 100は、通信 IZF716を通じて、撮影部 110によって撮影され た車両 150の映像の画像データを受信する (ステップ S801)。画像データを受信し たのち、運転支援装置 100は、車両 150の挙動情報取得部 153 (図 1参照、以下同 じ）によって取得された、車両 150の挙動情報である操舵機および変速機に関する 情報として、車両 150のハンドルおよびギアに関する情報を受信する (ステップ S802
) o
[0063] ハンドルおよびギアに関する情報を受信したのち、 CPU701によって、車両 150の 操舵方向およびギアを判定する（ステップ S803)。このステップ S803の判定処理に よって、車両 150の動作状態 (たとえば、ハンドルを真っ直ぐにして後退などの動作） が判明する。そして、運転支援装置 100は、 CPU701によって、車両 150の外部か らの映像として、車両 150が動く方向と反対方向力もの映像を生成する (ステップ S8 04)。
[0064] また、運転支援装置 100は、ステップ S804の映像生成処理の際に、入力 IZF708 を通じて、入力キー 709、リモコン 710およびタツチパネル 712などからの入力指示 により、生成する映像に対して案内画像の重畳表示があるカゝ否かを判断する (ステツ プ S805)。案内画像は、たとえば車両 150の周囲に仮想的に形成されるガイドライン などが挙げられる。重畳表示があると判断した場合 (ステップ S805 :Yes)、 CPU701 によって、生成した映像に案内画像を付加する (ステップ S806)。
[0065] そして、運転支援装置 100は、通信 IZF716を通じて、生成した映像の画像データ を車両 150に送信する（ステップ S807)。なお、ステップ S805において、重畳表示 がないと判断した場合 (ステップ S805 : No)、ステップ S807に移行して画像データ の送信がおこなわれる。これにより、本フローチャートによる一連の運転支援処理を 終了する。なお、画像データを受信した車両 150では、表示部 152 (図 1参照、以下 同じ)の表示画面に画像データが構成する映像を表示することができる。
[0066] ここで、ステップ S807における画像データ送信処理の後の、車両 150の表示部 15 2で表示される映像について簡単に説明する。ここでは、ステップ S803において判 定された操舵方向が真っ直ぐで、かつギアがリバースである場合に、運転支援装置 1 00が生成した映像力 車両 150の後部を見る視点の映像である場合について説明 する。
[0067] 図 9および図 10は、この発明の実施例 1にかかる運転支援装置が生成した映像の 一例を示す説明図である。図 9において、車両 150 (図 1参照、以下同じ)の表示部 1 52 (図 1参照、以下同じ）の表示画面には、車両 150の後部を見た映像力 車両 150 の左右にそれぞれ設けられた駐車ライン 1002とともに表示されている。
[0068] このままの状態で、車両 150が後退動作を続けると、図 10に示すように、後退動作 に伴って、車両 150の後部が表示部 152の表示画面において接近する状態で表示 される。なお、図 10に示すように、ステップ S805 (図 8参照）において、案内画像の重 畳表示ありの場合は、たとえば表示部 152の表示画面に仮想停止ガイドライン 1001 のような案内画像が表示される。案内画像は、その他、たとえばアニメーション処理さ れる画像などで表示されてもょ 、。
[0069] 以上説明したように、この発明の実施例 1にかかる運転支援装置は、受信した車両 の映像の画像データと、受信した車両の操舵方向およびギアに関する情報とに基づ いて、車両の動く方向と反対方向からの映像を生成し、生成した映像の画像データ を車両に送信することができる。このため、車両においては、送信された映像を客観 的な視点の映像として表示して運転をすることができ、運転の際の安全性の向上を 図ることが可能となる。
実施例 2
[0070] つぎに、この発明の実施例 2にかかる運転支援装置について説明する。実施例 1に 力かる運転支援装置では、受信した車両の映像の画像データと、受信した挙動情報 である車両の操舵方向およびギアに関する情報とに基づいて、車両の動く方向と反 対方向からの映像を生成し、生成した映像の画像データを車両に送信することがで きる構成とした。
[0071] 一方、実施例 2にかかる運転支援装置では、受信した車両の映像の画像データと、 受信した挙動情報である車両の操舵方向およびギアに関する情報との他に、受信し た挙動情報である車両の現在地点情報に基づいて、車両の動く方向と反対方向から の映像を生成し、生成した映像の画像データを車両に送信することができる構成を 採用する。なお、実施例 2のハードウェア構成については、実施例 1と同様であるた め、以下の説明においては図 7と同様の符号を用い、図示および説明は省略する。
[0072] (運転支援装置の運転支援処理手順） 以下、この発明の実施例 2にかかる運転支援装置の運転支援処理手順について 説明する。図 11は、この発明の実施例 2にかかる運転支援装置の運転支援処理手 順の一例を示すフローチャートである。具体的に、図 11に示す処理は、たとえば図 7 に示した ROM702、 RAM703、 HD705、 CD/DVD707などに記憶（記録）され たプログラムを CPU702が実行することによって実現する。
[0073] まず、運転支援装置 100は、通信 IZF716を通じて、撮影部 110によって撮影され た車両 150の映像の画像データを受信する (ステップ S1101)。画像データを受信し たのち、運転支援装置 100は、車両 150の挙動情報取得部 153 (図 1参照、以下同 じ）によって取得された、車両 150の挙動情報である車両 150の現在地点情報を受 信する (ステップ S 1102)。
[0074] 現在地点情報を受信したのち、 CPU701によって、 HD705や CDZDVD707に 記憶 (記録)された地図情報を読み出し、読み出した地図情報を参照して、受信した 現在地点情報が特定地点を示す地点情報であるか、すなわち、たとえば駐車施設を 示す地点情報であるか否かを判断する (ステップ S 1103)。駐車施設を示す地点情 報であると判断した場合 (ステップ S1103 : Yes)、運転支援装置 100は、車両 150の 挙動情報取得部 153によって取得された、車両 150のハンドルおよびギアに関する 情報を受信する（ステップ S1104)。なお、ステップ S1103において、駐車施設を示 す地点情報でないと判断した場合 (ステップ S 1103 : No)、ステップ S1102に移行し て、現在地点情報を受信する。
[0075] ハンドルおよびギアに関する情報を受信したのち、 CPU701によって、車両 150の 操舵方向およびギアを判定する（ステップ S1105)。このステップ S1105の判定処理 によって、車両 150の動作状態 (たとえば、ハンドルを真っ直ぐにして後退などの動 作）が判明する。そして、運転支援装置 100は、 CPU701によって、車両 150の外部 力もの映像として、車両 150が動く方向と反対方向力もの映像を生成する (ステップ S 1106)。
[0076] また、運転支援装置 100は、ステップ S 1106の映像生成処理の際に、入力 IZF70 8を通じて、入力キー 709、リモコン 710およびタツチパネル 712などからの入力指示 により、生成する映像に対して案内画像の重畳表示があるカゝ否かを判断する (ステツ プ S1107)。案内画像は、たとえば車両 150の周囲に仮想的に形成されるガイドライ ンなどが挙げられる。重畳表示があると判断した場合 (ステップ S1107 : Yes)、 CPU 701によって、生成した映像に案内画像を付加する (ステップ S1108)。
[0077] そして、運転支援装置 100は、通信 IZF716を通じて、生成した映像の画像データ を車両 150に送信する（ステップ S1109)。なお、ステップ S1107において、重畳表 示がないと判断した場合 (ステップ S 1107 : No)、ステップ SI 109に移行して画像デ ータの送信がおこなわれる。これにより、本フローチャートによる一連の運転支援処理 を終了する。なお、画像データを受信した車両 150では、表示部 152 (図 1参照、以 下同じ)の表示画面に画像データが構成する映像を表示することができる。
[0078] 以上説明したように、この発明の実施例 2にかかる運転支援装置は、受信した車両 の映像の画像データと、受信した車両の現在地点情報と、受信した車両の操舵方向 およびギアに関する情報とに基づいて、車両の動く方向と反対方向からの映像を生 成し、生成した映像の画像データを車両に送信することができる。このため、車両に おいては、駐車施設などの特定地点において送信された映像を客観的な視点の映 像として表示して運転をすることができ、運転の際の安全性の向上を図ることが可能 となる。
実施例 3
[0079] つぎに、この発明の実施例 3にかかる運転支援装置について説明する。実施例 1お よび実施例 2にかかる運転支援装置は、車両と別体の構成とした。一方、実施例 3〖こ かかる運転支援装置は、車両に搭載されたナビゲーシヨン装置に適用した場合の構 成である。
[0080] (運転支援装置のハードウェア構成）
まず、この発明の実施例 3にかかる運転支援装置のハードウェア構成について説 明する。図 12は、この発明の実施例 3にかかる運転支援装置のハードウェア構成の 一例を示すブロック図である。
[0081] 図 12において、運転支援装置 300は、ナビゲーシヨン制御部 1200と、ユーザ操作 部（リモコン，タツチパネル） 1201と、表示画面（ディスプレイ） 1202と、取得部（GPS
,センサ） 1203と、記録媒体 (HD, DVDなど） 1204と、記録媒体デコード部（ドライ ブ） 1205と、案内音出力部 1206と、通信部 1207と、経路探索部 1208と、経路誘導 部 1209と、案内音生成部 1210と、スピーカ 1211と、映像処理部 1212と、映像入出 力 IZF1213と、音声処理部 1214とから構成されている。
[0082] ナビゲーシヨン制御部 1200は、たとえば運転支援装置 300の全体の制御を司り、 制御プログラムなどにしたがって各種の演算処理を実行することによって、運転支援 装置 300が備える各部を統括的に制御する。ナビゲーシヨン制御部 1200は、たとえ ば所定の演算処理を実行する CPU (Central Processing Unit)や、各種制御プ ログラムを格納する ROM (Read Only Memory)および CPUのワークエリアとして 機能する RAM (Random Access Memory)などによって構成されるマイクロコン ピュータなどにより実現することができる。
[0083] また、ナビゲーシヨン制御部 1200は、たとえばナビゲーシヨンに関する車両 350 ( 図 3参照、以下同じ)の経路誘導に際し、後述する取得部 1203によって取得された 車両 350の現在地点に関する情報 (現在地点情報）と、記録媒体 1204から記録媒 体デコード部 1205を通じて得られた地図情報に基づいて、地図上のどの位置を車 両 350が走行しているかなどを算出し、算出結果を表示画面 1202へ出力する。この ナビゲーシヨン制御部 1200は、上記経路誘導に際し、後述する経路探索部 1208、 経路誘導部 1209および案内音生成部 1210の間で経路誘導に関する情報の入出 力をおこない、その結果得られる情報を表示画面 1202および案内音出力部 1206 へ出力する。
[0084] さらに、ナビゲーシヨン制御部 1200は、たとえば運転支援処理に際し、外部の撮影 部（カメラ） 310によって撮影された車両 350の映像の画像データと、取得部 1203に よって取得された車両 350の挙動に関する挙動情報とに基づいて、映像処理部 121 2によって映像処理された映像を車両 350の内部で表示画面 1202に表示する。
[0085] ユーザ操作部 1201は、文字、数値、各種指示など、ユーザによって入力操作され た情報をナビゲーシヨン制御部 1200に対して出力する。ユーザ操作部 1201の構成 としては、たとえば物理的な押下げ Z非押下げを検出する押しボタン式スィッチ、タツ チパネル、キーボード、ジョイスティックなどの公知の各種形態を採用することができ る。このユーザ操作部 1201は、たとえば外部力もの音声を入力するマイクロフォンな どを用いて、音声によって入力操作をおこなう形態としてもよい。
[0086] また、このユーザ操作部 1201は、運転支援装置 300に対して一体的に設けられて V、てもよ 、し、リモコンのように運転支援装置 300から離間した位置力も操作可能な 形態であってもよい。また、ユーザ操作部 1201は、上述した各種形態のうちいずれ か一つの形態で構成されていても、複数の形態で構成されていてもよい。車両 350 の運転者などのユーザは、ユーザ操作部 1201の形態に応じて、適宜入力操作をお こなうことで情報を入力する。
[0087] このユーザ操作部 1201の入力操作によって入力される情報としては、たとえばナ ピゲーシヨンに関しては、目的地の情報などが挙げられる。具体的には、たとえば運 転支援装置 300が車載のナビゲーシヨン装置などに備えられている場合には、この 車両 350の搭乗者が到達目標とする地点が設定される。また、ユーザ操作部 1201 に入力される情報として、たとえば表示画面 1202での表示処理に関しては、表示さ れる映像の表示形態情報などが挙げられる。具体的には、たとえば車両 350の搭乗 者が所望とする形態 (映像の大きさ、表示位置など)やタイミングで表示される映像が 表示設定される。
[0088] ここで、たとえばユーザ操作部 1201の形態として、タツチパネルを採用する場合、 このタツチパネルは、たとえば表示画面 1202上に積層して使用される。この場合、表 示画面 1202における映像などの表示タイミングと、タツチパネル (ユーザ操作部 120 1)に対するユーザの操作タイミングおよびその位置座標とを管理することによって、 入力操作により入力された情報を認識する。
[0089] このように、ユーザ操作部 1201の形態として、表示画面 1202に積層配置されたタ ツチパネルを採用すること〖こより、ユーザ操作部 1201の形態を大型化することなく、 多くの情報入力をおこなうことができるようになる。なお、このタツチパネルとしては、 抵抗膜式、感圧式など公知の各種タツチパネルを採用することが可能である。
[0090] 表示画面 1202は、たとえば CRT(Cathode Ray Tube)、 TFT (Thin Film T ransistor)液晶ディスプレイ、有機 EL (Electroluminescence)ディスプレイ、プラ ズマディスプレイなどを含む。表示画面 1202は、具体的には、たとえば図示しない 映像 IZFや映像 IZFに接続された映像表示用のディスプレイ装置などによって構成 することができる。
[0091] ここで、映像 IZFは、具体的には、たとえばディスプレイ装置全体の制御をおこなう グラフィックコントローラと、即時表示可能な画像データを一時的に記憶する VRAM ( Video RAM)などのバッファメモリと、グラフィックコントローラから出力される画像デ ータに基づ 、て、ディスプレイ装置を表示制御する制御 ICや GPU (Graphics Pro cessing Unit)などによって構成される。
[0092] この表示画面 1202には、たとえばアイコン、カーソル、メニュー、ウィンドウあるいは 文字や画像などの各種情報が表示される。また、表示画面 1202には、後述する映 像処理部 1212によって処理された映像や、記録媒体 1204からの地図情報に基づ く地図画像などが表示される。
[0093] 取得部 1203は、たとえば人工衛星力もの電波を受信することによって、運転支援 装置 300が搭載された車両 350の現在地点情報 (緯度経度情報)を取得する。ここ で、現在地点情報は、上述したように人工衛星からの電波を受信し、人工衛星との幾 何学的位置を求める情報であり、地球上どこでも計測可能である。なお、取得部 120 3は、図示しない GPSアンテナを備えて構成されている。また、取得部 1203は、車両 350の挙動情報を取得する。車両 350の挙動情報は、たとえば車両 350の操舵機（ ハンドル)および変速機 (ギア）に関する情報、速度情報、加速度情報、角速度情報 、傾斜角情報、横 G (Gmvity)情報、現在地点情報および操作入力に伴う情報など である。
[0094] ここで、この GPS (Global Positioning System)とは、 4つ以上の人工衛星から の電波を受信することによって、地上での位置を正確に求めるシステムのことである。 ここでは、公知の技術であるため GPSについての説明は省略する。この取得部 120 3は、たとえば人工衛星力 受信した電波を復調するチューナや、復調した情報に基 づいて現在位置を算出する演算回路などによって構成することができる。
[0095] なお、人工衛星からの電波としては、 1. 57542GHzの搬送波で、 CZA (Coarse and Access)コードおよび航法メッセージが乗っている L1電波などを用いておこ なわれる。これにより、運転支援装置 300が搭載された車両 350の現在地点 (緯度お よび経度）を検知する。なお、車両 350の現在地点の検知を含む車両 350の挙動情 報の検知に際しては、車速センサやジャイロセンサなどの各種センサによって収集さ れた情報を加味してもよい。ここで、車速センサは、たとえば運転支援装置 300を搭 載する車両 350のトランスミッションの出力側シャフトから車速を検出するものである。
[0096] その他、車両 350の挙動情報の検知に際しては、角速度センサ、走行距離センサ 、傾斜角センサ、横 G (Gravity)センサなどの各種センサによって収集された情報を 加味してもよい。角速度センサは、たとえば車両 350の回転時の角速度を検出し、角 速度情報と相対方位情報とを出力するものである。走行距離センサは、たとえば車輪 の回転に伴って出力される所定周期のパルス信号のパルス数をカウントすることによ つて、車輪 1回転あたりの ルス数を算出し、その 1回転あたりのパルス数に基づく走 行距離情報を出力するものである。
[0097] また、傾斜角センサは、たとえば路面の傾斜角度を検出し、傾斜角情報を出力する ものである。さらに、横 Gセンサは、たとえば車両 350のコーナリングの際に、遠心力 によって発生する外向きの力（重力）である横 Gを検出し、横 G情報を出力するもので ある。なお、取得部 1203によって取得される車両 350の現在地点情報や、これらの 車速センサ、ジャイロセンサ、角速度センサ、走行距離センサ、傾斜角センサおよび 横 Gセンサによって検出される情報は、ナビゲーシヨン制御部 1200に出力される。
[0098] 記録媒体 1204は、各種制御プログラムや各種情報をコンピュータに読み取り可能 な状態で記録する。記録媒体 1204は、記録媒体デコード部 1205による情報の書き 込みを受け付けるとともに、書き込まれた情報を不揮発に記録する。この記録媒体 1 204は、たとえば HD (Hard Disk)によって実現することができる。
[0099] なお、記録媒体 1204は、上記 HDに限るものではなぐ HDに代えてあるいは HD に加えて各種 DVD (Digital Versatile Disk)や CD (Compact Disk)など、記 録媒体デコード部 1205に対して着脱可能であり可搬性を有するメディアを記録媒体 1204として用いてもよい。そして、記録媒体 1204は、 DVDおよび CDに限るもので はなぐ CD— ROM (CD— R CD— RW) MO (Magneto— Optical disk)、メモ リカードなどの記録媒体デコード部 1205に対して着脱可能であり可搬性を有するメ ディ を禾 IJ用することもできる。
[0100] ここで、記録媒体 1204には、本発明を実現する運転支援プログラム、ナビゲーショ ンプログラム、各種画像や音声のデータおよび地図情報などが記録されている。画 像のデータは、たとえば車両 350の外部力もの映像の画像イメージをあらわす 2次元 配列の値をいい、音声のデータは、たとえば楽曲などの音楽を再生するためのデー タをいう。また、地図情報は、地図情報に含まれている情報として、たとえば建物、河 川、地表面などの地物 (フィーチャ)をあらわす背景情報と、道路の形状をあらわす道 路形状情報とを有しており、表示画面 1202において 2次元または 3次元に描画され る情報をいう。
[0101] 背景情報は、背景の形状をあらわす背景形状情報と、背景の種別をあらわす背景 種別情報とを有する。背景形状情報は、たとえば地物の代表点、ポリライン、ポリゴン 、地物の座標などを示す情報を含む。背景種別情報は、たとえば地物の名称、住所 、電話番号などを示すテキスト情報、建物や河川などの地物の種別を示す種別情報 などを含む。
[0102] 道路形状情報は、複数のノードおよびリンクを有する道路ネットワークに関する情報 である。ノードは、三叉路、十字路、五叉路などの複数の道路が交差する交差点を示 す情報である。リンクは、ノード間を連結する道路を示す情報である。このリンクには、 曲線道路の表現を可能とする形状補完点を有するものもある。また、道路形状情報 は、交通条件情報を有する。この交通条件情報は、交差点の特徴、各リンクの長さ（ 距離)、車幅、進行方向、通行禁止、道路種別などを示す情報である。
[0103] 交差点の特徴としては、たとえば三叉路や五叉路などの複雑な形状の交差点、浅 い角度で道路が分岐する形状の交差点、目的地周辺の交差点、高速道路の出入口 やジャンクション、経路逸脱率の高い交差点などが挙げられる。経路逸脱率は、たと えば過去の走行履歴力も算出することが可能である。そして、道路種別としては、たと えば高速道路、有料道路、一般道路などが挙げられる。
[0104] なお、本実施例では、たとえば地図情報などを記録媒体 1204に記録するようにし た力 これに限るものではない。地図情報などは、たとえばナビゲーシヨン制御部 12 00内に設けられたメモリなどの記憶装置に記憶されてもよいし、運転支援装置 300 のハードウェアと一体的に設けられているものに限って記録されているものではなぐ 運転支援装置 300の外部に設けられていてもよい。外部に設けられた場合、たとえ ば後述する通信部 1207を介して外部の記憶装置などとデータ通信をおこな 、、地 図情報を取得するようにしてもょ 、。
[0105] 記録媒体デコード部 1205は、記録媒体 1204に対する情報の読み取り Z書き込み
(リード Zライト）の制御をおこなう。記録媒体 1204として、たとえば HDを用いた場合 には、記録媒体デコード部 1205は、 HDD (Hard Disk Drive)となる。同様に、記 録媒体 1204として、 DVDあるいは CD (CD— R、 CD— RWを含む）を用いた場合に は、記録媒体デコード部 1205は、 DVDドライブあるいは CDドライブなどのドライブ 装置となる。
[0106] また、書き込み可能かつ着脱可能な記録媒体 1204として、 CD— ROM (CD— R、 CD-RW) , MO,メモリカードなどを利用する場合には、各種記録媒体への情報の 書き込みや各種記録媒体に記録された情報の読み出しが可能な専用のドライブ装 置などを、記録媒体デコード部 1205として適宜用いるとよい。
[0107] 案内音出力部 1206は、接続されたスピーカ 1211への出力を制御することによつ て、ナビゲーシヨンの案内音を再生する。このスピーカ 1211は、一つであってもよい し、複数であってもよい。具体的に、案内音出力部 1206は、たとえば音声出力用の スピーカ 1211に接続される図示しな!、音声 IZFによって実現することができる。より 具体的には、音声 IZFは、たとえばディジタル音声信号の DZA変換をおこなう DZ Aコンバータと、 DZAコンバータから出力されるアナログ音声信号を増幅する増幅 器と、アナログ音声信号の AZD変換をおこなう AZDコンバータとから構成すること ができる。
[0108] 通信部 1207は、たとえば他の運転支援装置との間で通信をおこなったり、撮影部 310との間で通信をおこなったり、外部のサーバとの間で通信をおこなったりする。こ の通信部 1207は、本実施例では、具体的には、撮影部 310とナビゲーシヨン制御部 1200との間で、撮影部 310によって撮影した車両 350の映像の画像データの送受 信をおこなう。本実施例の通信部 1207は、たとえば携帯電話のように、図示しない基 地局を介して通信サーバと通信をおこなう通信モジュールであってもよぐ他の運転 支援装置との間で直接無線通信をおこなう通信モジュールであってもよい。
[0109] ここで、通信部 1207による無線通信とは、通信の媒体となるワイヤ線を使用せずに 、電波や赤外線、超音波などを用いておこなわれる通信のことをいう。無線通信を可 能とする規格には、たとえば無線 LAN (Local Area Network)、 IrDA (Infrared
Data Association;、 HomeRF (Home Radio Frequency)、 BlueTootnな どの各種の技術があるが、本実施例にお 、ては公知の各種の無線通信技術を利用 することができる。なお、情報の転送速度などの面から、無線 LANを好ましい一例と して用いることができる。
[0110] また、通信部 1207は、たとえば渋滞や交通規制などの道路交通情報を、定期的（ あるいは不定期）に受信してもよい。通信部 1207による道路交通情報の受信は、具 体的に ίま、 VICS (Vehicle Information and Communication System)セン ター力も道路交通情報が配信されたタイミングでおこなってもよ 、し、 VICSセンター に対して定期的に道路交通情報配信を要求することでおこなってもよい。また、通信 部 1207は、たとえば AM/FMチューナ、 TVチューナ、 VICS/ビーコンレシーバ およびその他の通信機器として実現することが可能である。
[oi i i] なお、公知の技術であるため詳細な説明を省略する力 rvicsjとは、 VICSセンタ 一で編集、処理された渋滞や交通規制などの道路交通情報をリアルタイムに送信し 、カーナビゲーシヨン装置などの車載機器に文字 '図形で表示する情報通信システ ムである。この VICSセンターで編集、処理された道路交通情報 (VICS情報）をナビ ゲーシヨン装置に伝達する方法としては、各道路上に設置された「ビーコン」と「FM 多重放送」を利用する方法とがある。
[0112] ここで、 「ビーコン」には、主に高速道路で使用される「電波ビーコン」と、主要な一 般道路で使用される「光ビーコン」とがある。また、「FM多重放送」を利用する場合に は、広域エリアの道路交通情報を受信することが可能となる。なお、「ビーコン」を利 用する場合には、自車 (車両 350)位置を元にした直近の道路の詳細な情報など、自 車が位置する場所において、必要な道路交通情報を受信することが可能となる。そし て、通信部 1207は、他の運転支援装置との間での通信方法と、地図情報や道路交 通情報を受信するための通信方法とが異なる場合には、それぞれの通信方法に対 応した複数の通信手段を備えて!/、てもよ!/、。
[0113] 経路探索部 1208は、取得部 1203によって取得される車両 350の現在地点情報と 、ユーザによって入力される目的地の情報とに基づいて、たとえば現在地点から目的 地までの最適な経路を算出する。経路誘導部 1209は、経路探索部 1208によって 探索された経路 (誘導経路）に関する情報、あるいは通信部 1207によって受信した 経路情報と、取得部 1203によって取得された現在位地点情報と、記録媒体 1204か ら記録媒体デコード部 1205を経由して得られた地図情報とに基づいて、リアルタイ ムな経路誘導情報の生成をおこなう。経路誘導部 1209で生成された経路誘導情報 は、ナビゲーシヨン制御部 1200を介して表示画面 1202へ出力される。
[0114] 案内音生成部 1210は、種々のパターンに対応したトーンと音声の情報を生成する 。すなわち、経路誘導部 1209で生成された経路誘導情報に基づいて、案内ポイント に対応した仮想音源の設定と音声ガイダンス情報の生成をおこな ヽ、これらをナビゲ ーシヨン制御部 1200を介して案内音出力部 1206へ出力する。また、案内音生成部 1210は、運転支援に際し、たとえば表示画面 1202に表示される映像に合わせて車 両 350を誘導するような音声ガイダンス情報の生成をおこなってもよい。
[0115] スピーカ 1211は、案内音出力部 1206から出力されるナビゲーシヨンの案内音や、 後述する音声処理部 1214から出力される音声を再生（出力）する。なお、たとえばこ のスピーカ 1211にヘッドフォンなどを設け、車両 350内部全体が出力される案内音 や音声の音場とならないように、案内音や音声の出力形態を適宜変更するようにして ちょい。
[0116] 映像処理部 1212は、運転支援装置 300における映像処理全般をおこなう。映像 処理部 1212は、具体的には、たとえば通信部 1207から映像入出力 IZF1213を通 じて取得した車両 350の映像の画像データの映像処理をおこなう。また、映像処理 部 1212は、たとえば通信部 1207から映像入出力 IZF1213を通じて取得した画像 データや、記録媒体 1204に記録されて ヽる画像データなどの映像 (画像)処理をお こなってもよい。この映像処理部 1212は、具体的には、たとえば GPUなどによって 構成される。
[0117] この映像処理部 1212による映像処理としては、具体的には、たとえば映像入出力 I ZF1213を介して取得した車両 350の映像に対して、左右反転処理、上下反転処 理、合成処理、ガイドラインなどの案内画像の重畳表示処理などの映像処理をおこ なうことが挙げられる。なお、映像処理部 1212は、たとえばナビゲーシヨン制御部 12 00からの制御命令にしたがって映像処理をおこなう。
VC)などの撮影装置を含んで構成される撮影部 310によって撮影された車両 350の 映像の画像データを解析し、解析した画像データに基づ ヽて表示画面 1202に表示 する映像を作成することをいう。このため、映像処理部 1212は、たとえば DSP (Digit al Signal Processor)の機能を有する構成とされていてもよい。
[0119] 映像入出力 IZF1213は、たとえば外部から映像処理部 1212に対して入出力され る画像 (画像データ）の入出力処理をおこなう。この映像入出力 IZF1213は、たとえ ば上記 DSCや DVCなどが撮影した映像を格納する記録媒体 1204からの画像デー タゃ、 DSCや DVCなどに格納された映像を USB (Universal Serial Bus)、IEE Eld 94 (Institute of Electrical and Electronic Engineers 1394)およひ 赤外線などの通信によって通信部 1207から入力される画像データや、撮影部 310 によって撮影され通信部 1207によって受信された車両 350の映像の画像データな どを映像処理部 1212に出力し、映像処理部 1212から出力される画像データを記録 媒体 1204や通信部 1207などに出力する。
[0120] なお、映像入出力 IZF1213は、たとえば記録媒体 1204との間で画像データの入 出力をおこなう場合は、記録媒体 1204のリード Zライトを制御するコントローラの機 能を有するとよい。また、映像入出力 IZF1213は、たとえば通信部 1207との間で画 像データの入出力をおこなう場合は、通信部 1207での通信を制御する通信コント口 ーラの機能を有するとよい。
[0121] 音声処理部 1214は、記録媒体デコード部 1205を通じて記録媒体 1204から得ら れる音声データや、ナビゲーシヨン制御部 1200を通じて通信部 1207から得られる 音声データなどの選択をおこない、選択した音声データの再生処理をおこなう。また 、音声処理部 1214は、図示しない音声データベース（以下、「音声 DB」とする）のよ うな記憶装置に格納された音声データの再生処理をおこなってもよい。
[0122] この音声処理部 1214で再生される音声データは、たとえば音楽の楽曲を構成する 音声データや効果音などの音声データが挙げられる。音声処理部 1214での再生処 理には、たとえばスピーカ 1211から出力される音声が形成する音場の制御が含まれ る。また、この音声処理部 1214は、運転支援装置 300が AMZFMチューナや TV チューナを備える場合には、たとえばラジオやテレビの音声などを再生するように構 成されていてもよい。
[0123] また、音声処理部 1214は、たとえばスピーカ 1211から出力される音声の出力を制 御する。具体的には、たとえば選択され再生処理される音声データに基づいて、音 声の音量の調整ゃィコライジング処理、音像定位処理などをおこない、音声の出力 状態を制御する。この音声処理部 1214による音声の出力の制御は、たとえばユー ザ操作部 1201からの入力操作やナビゲーシヨン制御部 1200による制御によってお こなわれる。
[0124] なお、外部の撮影部 310は、たとえば駐車施設の壁部や天井部などのいわゆる外 部構造物に備えられて構成される。この撮影部 310は、たとえば図 5および図 6にお けるカメラ 511〜519のように配置される。撮影部 310は、上述した DSCおよび DVC などの撮影装置により構成されてもよぐ C - MOSある 、は CCDなどの光電変換素 子を有し、車両 350の映像を撮影する。
[0125] 外部の撮影部 310は、たとえば運転支援装置 300や外部のサーバなどと無線によ り接続され、常時あるいはナビゲーシヨン制御部 1200からの遠隔操作によって、たと えば車両 350の映像 (画像)を撮影する。外部の撮影部 310によって撮影された映 像の画像データは、上述したように通信部 1207によって受信され、映像入出力 IZF 1213を介して映像処理部 1212に出力される。
[0126] なお、図 3における画像データ受信部 301は、具体的には、たとえば通信部 1207 によってその機能を実現し、挙動情報取得部 302は、たとえば取得部 1203によって その機能を実現する。また、図 3における映像生成部 303は、具体的には、たとえば ナビゲーシヨン制御部 1200および映像処理部 1212によってその機能を実現し、表 示部 304は、たとえば表示画面 1202によってその機能を実現する。
[0127] (運転支援装置の運転支援処理手順）
つぎに、この発明の実施例 3にかかる運転支援装置の運転支援処理手順について 説明する。図 13は、この発明の実施例 3にかかる運転支援装置の運転支援処理手 順の一例を示すフローチャートである。なお、図 13のフローチャートにおいて、図 12 を参照しながら説明をおこなうが、既に説明した部分と重複する箇所は同一の符号を 附して説明を省略する。
[0128] まず、運転支援装置 300のナビゲーシヨン制御部 1200は、通信部 1207によって、 撮影部 310により撮影された車両 350の映像の画像データを受信する (ステップ S13 01)。受信された画像データは、通信部 1207から映像入出力 IZF1213を通じて映 像処理部 1212に入力される。画像データを入力したのち、ナビゲーシヨン制御部 12 00は、運転支援装置 300の表示部 304 (図 3参照、以下同じ）としての表示画面 120 2が ONであるか否かを判断する（ステップ S 1302)。
[0129] 表示画面 1202が ONであると判断した場合 (ステップ S1302 : Yes)、ナビゲーショ ン制御部 1200によって、取得部 1203により車両 350のハンドルおよびギアに関す る情報を取得した力否かを判断する (ステップ S1303)。ハンドルおよびギアに関する 情報を取得したと判断した場合 (ステップ S 1303： Yes)、ナビゲーシヨン制御部 120 0によって、車両 350の操舵方向およびギアを判定する (ステップ S1304)。このステ ップ S1304の判定処理によって、車両 350の動作状態（たとえば、ハンドルを左にき つて後退などの動作)が判明する。
[0130] 一方、ステップ S1302において、表示画面 1202が ONでないと判断した場合 (ステ ップ S1302 :No)、およびステップ S1303において、ハンドルおよびギアに関する情 報を取得していないと判断した場合 (ステップ S 1303 : No)は、ナビゲーシヨン制御部 1200によって、それぞれステップ S 1302の表示画面 1202力 SONである力否力の半 IJ 断処理、およびステップ S1303のハンドルおよびギアに関する情報を取得したか否 かの判断処理を繰り返しおこなう。
[0131] ステップ S1304において、車両 350の動作状態が判明すると、ナビゲーシヨン制御 部 1200によって、映像処理部 1212に対し映像処理命令が出力され、映像処理部 1 212によって、入力した画像データと、判定結果とに基づいて、車両 350が動く方向 と反対方向からの映像を生成する (ステップ S1305)。また、運転支援装置 300は、ス テツプ S1305の映像生成処理の際に、ナビゲーシヨン制御部 1200によって、たとえ ばユーザ操作部 1201からの入力操作により、生成する映像に対して案内画像の重 畳表示がある力否かを判断する（ステップ S 1306)。
[0132] 重畳表示があると判断した場合 (ステップ S1306 :Yes)、映像処理部 1212によつ て、生成した映像に案内画像を付加する (ステップ S1307)。そして、ナビゲーシヨン 制御部 1200によって、映像処理部 1212で生成された映像の画像データに基づ ヽ て、生成した映像を表示画面 1202に表示する (ステップ S 1308)。映像を表示した のち、ナビゲーシヨン制御部 1200は、表示画面 1202が OFFであるか否かを判断す る（ステップ S1309)。表示画面 1202が OFFであると判断した場合 (ステップ S1309 ： Yes)、運転支援装置 300は、本フローチャートによる一連の運転支援処理を終了 する。
[0133] 一方、ナビゲーシヨン制御部 1200によって、表示画面 1202が OFFでないと判断 した場合 (ステップ S 1309 : No)、ステップ S 1308に戻り、生成した映像の表示処理 が継続される。なお、ステップ S 1306において、重畳表示がないと判断した場合 (ス テツプ S 1306 : No)、ステップ SI 308に移行して生成した映像の表示処理がおこな われる。
[0134] 以上説明したように、この発明の実施例 3にかかる運転支援装置は、受信した車両 の映像の画像データと、取得した車両の操舵方向およびギアに関する情報とに基づ いて、車両の動く方向と反対方向からの映像を生成し、生成した映像を表示すること ができる。このため、表示画面に車両の外部からの映像を客観的な視点の映像とし て表示して運転をすることができ、運転の安全性の向上を図ることが可能となる。 実施例 4
[0135] つぎに、この発明の実施例 4にかかる運転支援装置について説明する。実施例 3に 力かる運転支援装置では、受信した車両の映像の画像データと、取得した挙動情報 である車両の操舵方向およびギアに関する情報とに基づいて、車両の動く方向と反 対方向からの映像を生成し、生成した映像を表示することができる構成とした。
[0136] 一方、実施例 4にかかる運転支援装置では、受信した車両の映像の画像データと、 取得した挙動情報である車両の操舵方向およびギアに関する情報との他に、取得し た挙動情報である車両の現在地点情報に基づいて、車両の動く方向と反対方向から の映像を生成し、生成した映像を表示することができる構成を採用する。なお、実施 例 4のハードウェア構成については、実施例 3と同様であるため、以下の説明におい ては図 12と同様の符号を用い、図示および説明は省略する。
[0137] (運転支援装置の運転支援処理手順）
以下、この発明の実施例 4にかかる運転支援装置の運転支援処理手順について 説明する。図 14は、この発明の実施例 4にかかる運転支援装置の運転支援処理手 順の一例を示すフローチャートである。
[0138] まず、運転支援装置 300のナビゲーシヨン制御部 1200は、通信部 1207によって、 撮影部 310により撮影された車両 350の映像の画像データを受信する (ステップ S14 01)。受信された画像データは、通信部 1207から映像入出力 IZF1213を通じて映 像処理部 1212に入力される。画像データを入力したのち、ナビゲーシヨン制御部 12 00は、運転支援装置 300の表示部 304 (図 3参照、以下同じ）としての表示画面 120 2が ONであるか否かを判断する（ステップ S 1402)。
[0139] 表示画面 1202が ONであると判断した場合 (ステップ S1402 : Yes)、ナビゲーショ ン制御部 1200によって、取得部 1203により車両 350の現在地点情報を取得したか 否かを判断する (ステップ S 1403)。現在地点情報を取得したと判断した場合 (ステツ プ S1403 : Yes)、ナビゲーシヨン制御部 1200によって、記録媒体 1204から地図情 報を読み出し、読み出した地図情報を参照して、取得した現在地点情報が特定地点 を示す地点情報であるか、すなわち、たとえば駐車施設を示す地点情報であるカゝ否 かを判断する（ステップ S 1404)。
[0140] 駐車施設を示す地点情報であると判断した場合 (ステップ S 1404： Yes)、ナビゲー シヨン ff¾御咅 1200【こよって、取得咅 1203【こより車両 350のノヽン 1^ノレおよびギア【こ関 する情報を取得した力否かを判断する (ステップ S1405)。ハンドルおよびギアに関 する情報を取得したと判断した場合 (ステップ S 1405 : Yes)、ナビゲーシヨン制御部 1200によって、車両 350の操舵方向およびギアを判定する（ステップ S1406)。この ステップ S1406の判定処理によって、車両 350の動作状態（たとえば、ハンドルを右 にきって後退などの動作)が判明する。
[0141] 一方、ステップ S1402において、表示画面 1202が ONでないと判断した場合 (ステ ップ S1402 :No)は、ナビゲーシヨン制御部 1200によって、ステップ S1402の表示 画面 1202が ONであるか否かの判断処理を繰り返しおこなう。また、ステップ S1403 において、現在地点情報を取得していないと判断した場合 (ステップ S 1403 : No)、 およびステップ S1404にお 、て、駐車施設を示す地点情報でな ヽと判断した場合 ( ステップ S 1404 : No)は、ステップ S 1403の現在地点情報を取得したか否かの判断 処理を繰り返しおこなう。
[0142] また、ステップ S 1405において、ハンドルおよびギアに関する情報を取得していな いと判断した場合 (ステップ S 1405 : No)は、ナビゲーシヨン制御部 1200によって、 ステップ S 1405のハンドルおよびギアに関する情報を取得したか否かの判断処理を 繰り返しおこなう。
[0143] ステップ S1406において、車両 350の動作状態が判明すると、ナビゲーシヨン制御 部 1200によって、映像処理部 1212に対し映像処理命令が出力され、映像処理部 1 212によって、入力した画像データと、地点情報と、判定結果とに基づいて、車両 35 0が動く方向と反対方向からの映像を生成する (ステップ S1407)。また、運転支援装 置 300は、ステップ S 1407の映像生成処理の際に、ナビゲーシヨン制御部 1200によ つて、たとえばユーザ操作部 1201からの入力操作により、生成する映像に対して案 内画像の重畳表示があるか否かを判断する（ステップ S 1408)。
[0144] 重畳表示があると判断した場合 (ステップ S1408 :Yes)、映像処理部 1212によつ て、生成した映像に案内画像を付加する (ステップ S1409)。そして、ナビゲーシヨン 制御部 1200によって、映像処理部 1212で生成された映像の画像データに基づ ヽ て、生成した映像を表示画面 1202に表示する (ステップ S1410)。映像を表示した のち、ナビゲーシヨン制御部 1200は、表示画面 1202が OFFであるか否かを判断す る（ステップ S1411)。表示画面 1202が OFFであると判断した場合 (ステップ S1411 ： Yes)、運転支援装置 300は、本フローチャートによる一連の運転支援処理を終了 する。
[0145] 一方、ナビゲーシヨン制御部 1200によって、表示画面 1202が OFFでないと判断 した場合 (ステップ S1411 :No)、ステップ S1410に戻り、生成した映像の表示処理 が継続される。なお、ステップ S1408において、重畳表示がないと判断した場合 (ス テツプ S1408 :No)、ステップ S1410に移行して生成した映像の表示処理がおこな われる。
[0146] 以上説明したように、この発明の実施例 4にかかる運転支援装置は、受信した車両 の映像の画像データと、取得した車両の現在地点情報と、取得した車両の操舵方向 およびギアに関する情報とに基づいて、車両の動く方向と反対方向からの映像を生 成し、生成した映像を表示することができる。このため、駐車施設などの特定地点に おいて表示画面に車両の外部からの映像を客観的な視点の映像として表示して運 転をすることができ、運転の安全性の向上を図ることが可能となる。
[0147] 以上のように、この発明にかかる運転支援装置、運転支援方法および運転支援プ ログラムによれば、受信した車両の映像の画像データと、車両の挙動情報とに基づ いて、車両の外部からの映像を生成することができる。このため、生成した映像を用 いて車両の周囲の状況を客観的に視認することができるという効果を奏する。
[0148] なお、本実施の形態で説明した運転支援方法は、予め用意されたプログラムをパ 一ソナル 'コンピュータやワークステーションなどのコンピュータで実行することにより 実現することができる。このプログラムは、ハードディスク、フレキシブルディスク、 CD -ROM, MO、 DVDなどのコンピュータで読み取り可能な記録媒体に記録され、コ ンピュータによって記録媒体力 読み出されることによって実行される。また、このプ ログラムは、インターネットなどのネットワークを介して配布することが可能な伝送媒体 であってもよい。

Claims

請求の範囲
[1] 車両の映像の画像データを受信する画像データ受信手段と、
前記車両の挙動情報を受信する挙動情報受信手段と、
前記画像データ受信手段によって受信された画像データと、前記挙動情報受信手 段によって受信された挙動情報とに基づいて、前記車両の外部からの映像を生成す る映像生成手段と、
前記映像生成手段によって生成された映像の画像データを前記車両に送信する 画像データ送信手段と、
を備えることを特徴とする運転支援装置。
[2] 車両の映像の画像データを受信する画像データ受信手段と、
前記車両の挙動情報を取得する挙動情報取得手段と、
前記画像データ受信手段によって受信された画像データと、前記挙動情報取得手 段によって取得された挙動情報とに基づいて、前記車両の外部からの映像を生成す る映像生成手段と、
前記映像生成手段によって生成された映像を表示する表示手段と、
を備えることを特徴とする運転支援装置。
[3] 前記挙動情報は、前記車両の操舵機および変速機に関する情報であり、
前記映像生成手段は、前記操舵機および変速機に関する情報が示す操舵方向お よびギアによって前記車両が動く方向と反対方向からの視点の映像を生成することを 特徴とする請求項 1または 2に記載の運転支援装置。
[4] 前記挙動情報は、前記車両の現在地点情報であり、
前記映像生成手段は、前記現在地点情報が特定地点を示す情報である場合、当 該特定地点内において前記車両が動く方向と反対方向からの視点の映像を生成す ることを特徴とする請求項 1に記載の運転支援装置。
[5] 前記映像生成手段は、前記車両の接近状況を示す案内画像を重畳表示した映像 を生成することを特徴とする請求項 1に記載の運転支援装置。
[6] 車両の映像の画像データを受信する画像データ受信工程と、
前記車両の挙動情報を受信する挙動情報受信工程と、 前記画像データ受信工程によって受信された画像データと、前記挙動情報受信ェ 程によって受信された挙動情報とに基づいて、前記車両の外部からの映像を生成す る映像生成工程と、
前記映像生成工程によって生成された映像の画像データを前記車両に送信する 画像データ送信工程と、
を含むことを特徴とする運転支援方法。
[7] 車両の映像の画像データを受信する画像データ受信工程と、
前記車両の挙動情報を取得する挙動情報取得工程と、
前記画像データ受信工程によって受信された画像データと、前記挙動情報取得ェ 程によって取得された挙動情報とに基づいて、前記車両の外部からの映像を生成す る映像生成工程と、
前記映像生成工程によって生成された映像を表示する表示工程と、
を含むことを特徴とする運転支援方法。
[8] 請求項 6または 7に記載の運転支援方法をコンピュータに実行させることを特徴とす る運転支援プログラム。
PCT/JP2006/304282 2005-03-11 2006-03-06 運転支援装置、運転支援方法および運転支援プログラム WO2006095689A1 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2005-069779 2005-03-11
JP2005069779 2005-03-11

Publications (1)

Publication Number Publication Date
WO2006095689A1 true WO2006095689A1 (ja) 2006-09-14

Family

ID=36953283

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2006/304282 WO2006095689A1 (ja) 2005-03-11 2006-03-06 運転支援装置、運転支援方法および運転支援プログラム

Country Status (1)

Country Link
WO (1) WO2006095689A1 (ja)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013212723A (ja) * 2012-03-30 2013-10-17 Fujitsu Ten Ltd 駐車支援装置、及び駐車支援方法
JP2015074321A (ja) * 2013-10-08 2015-04-20 本田技研工業株式会社 駐車支援システム
CN112770147A (zh) * 2021-01-21 2021-05-07 日照职业技术学院 基于云安全认证的无人驾驶透视盒子及其实现方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002019556A (ja) * 2000-07-04 2002-01-23 Matsushita Electric Ind Co Ltd 監視システム
JP2002054320A (ja) * 2000-08-10 2002-02-20 Yazaki Corp 駐車補助装置
JP2004064696A (ja) * 2002-07-31 2004-02-26 Nissan Motor Co Ltd 駐車支援装置
JP2004351977A (ja) * 2003-05-27 2004-12-16 Matsushita Electric Ind Co Ltd 車外映像表示装置

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002019556A (ja) * 2000-07-04 2002-01-23 Matsushita Electric Ind Co Ltd 監視システム
JP2002054320A (ja) * 2000-08-10 2002-02-20 Yazaki Corp 駐車補助装置
JP2004064696A (ja) * 2002-07-31 2004-02-26 Nissan Motor Co Ltd 駐車支援装置
JP2004351977A (ja) * 2003-05-27 2004-12-16 Matsushita Electric Ind Co Ltd 車外映像表示装置

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013212723A (ja) * 2012-03-30 2013-10-17 Fujitsu Ten Ltd 駐車支援装置、及び駐車支援方法
JP2015074321A (ja) * 2013-10-08 2015-04-20 本田技研工業株式会社 駐車支援システム
CN112770147A (zh) * 2021-01-21 2021-05-07 日照职业技术学院 基于云安全认证的无人驾驶透视盒子及其实现方法

Similar Documents

Publication Publication Date Title
JP6717742B2 (ja) ナビゲーション命令を表示する装置及び方法
JP4516111B2 (ja) 画像編集装置、画像編集方法、画像編集プログラムおよびコンピュータに読み取り可能な記録媒体
CN101573590A (zh) 导航装置及用于显示导航信息的方法
JP2001082969A (ja) ナビゲーション装置
JP2006084208A (ja) ナビゲーション装置及び進行方向案内方法
WO2006101012A1 (ja) 地図情報更新装置、地図情報更新方法、地図情報更新プログラムおよびコンピュータに読み取り可能な記録媒体
JP4652099B2 (ja) 画像表示装置、画像表示方法、画像表示プログラム、および記録媒体
WO2006095689A1 (ja) 運転支援装置、運転支援方法および運転支援プログラム
JP4078923B2 (ja) ナビゲーションシステム及びプログラム
JPWO2008056401A1 (ja) 地図表示装置、地図表示方法、地図表示プログラム、および記録媒体
JP2008107223A (ja) 経路誘導装置、経路誘導方法、経路誘導プログラムおよび記録媒体
JP2001083872A (ja) ナビゲーション装置
KR20080019690A (ko) 카메라 정보를 구비하는 내비게이션 기기
JP4254553B2 (ja) 地図表示装置
JP2008160447A (ja) 放送番組受信装置、放送番組受信計画装置、放送番組受信方法、放送番組受信計画方法、プログラム、および記録媒体
WO2006109469A1 (ja) 楽曲支援装置、楽曲支援方法、楽曲支援プログラム、および記録媒体
JP2004108937A (ja) 情報送信装置、ナビゲーション装置、システム、方法及びプログラム
JP2007263580A (ja) 経路探索装置、経路探索方法、経路探索プログラムおよび記録媒体
JP4628796B2 (ja) ナビゲーション装置
JP3964099B2 (ja) 地図表示装置、記録媒体及び地図表示方法
JP2008160445A (ja) 放送波情報表示装置、放送波情報表示方法、放送波情報表示プログラム、および記録媒体
JP2010203969A (ja) ナビゲーション装置、表示制御方法、表示制御プログラムおよび記録媒体
WO2007123104A1 (ja) 経路誘導装置、経路誘導方法、経路誘導プログラム、および記録媒体
JP2000321974A (ja) 地図表示装置
JP4023259B2 (ja) ナビゲーションシステム及び地図表示方法のプログラム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application
NENP Non-entry into the national phase

Ref country code: DE

NENP Non-entry into the national phase

Ref country code: RU

122 Ep: pct application non-entry in european phase

Ref document number: 06715302

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: JP