WO2010106626A1 - 情報記録システム - Google Patents

情報記録システム Download PDF

Info

Publication number
WO2010106626A1
WO2010106626A1 PCT/JP2009/055079 JP2009055079W WO2010106626A1 WO 2010106626 A1 WO2010106626 A1 WO 2010106626A1 JP 2009055079 W JP2009055079 W JP 2009055079W WO 2010106626 A1 WO2010106626 A1 WO 2010106626A1
Authority
WO
WIPO (PCT)
Prior art keywords
vehicle
guidance
imaging
information
image
Prior art date
Application number
PCT/JP2009/055079
Other languages
English (en)
French (fr)
Inventor
雄一郎 武田
Original Assignee
パイオニア株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by パイオニア株式会社 filed Critical パイオニア株式会社
Priority to JP2011504638A priority Critical patent/JP4972227B2/ja
Priority to PCT/JP2009/055079 priority patent/WO2010106626A1/ja
Publication of WO2010106626A1 publication Critical patent/WO2010106626A1/ja

Links

Images

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34Route searching; Route guidance
    • G01C21/36Input/output arrangements for on-board computers
    • G01C21/3602Input other than that of destination using image analysis, e.g. detection of road signs, lanes, buildings, real preceding vehicles using a camera

Definitions

  • the present invention relates to an information recording system including a vehicle travel support device that searches for a route from a current location to a destination.
  • an image of the surrounding situation of the vehicle is displayed on a display unit installed near the driver's seat, so that the situation near the vehicle, which is difficult to check from the driver's blind spot, is kept in the driver's seat. It can be clearly confirmed. And by storing the captured image, it can be used as the latest information for updating the map data of the route that the vehicle has passed, or as a record for investigating the cause when an accident occurs You can refer to it.
  • the imaging of the camera outside the vehicle is performed constantly or periodically, or is performed manually by the passenger.
  • constant imaging or periodic imaging it is not possible to pinpoint images of the scenery outside the vehicle that the user needs, so there is a lot of time and effort to search for the necessary images from the huge amount of recorded image data. Operation becomes troublesome.
  • imaging is performed by manual operation, the driver himself must perform the imaging operation when only the driver is on board, which hinders driving of the vehicle and impairs safety. In other words, conventionally, there has been no function for automatically capturing a scene outside the vehicle required by the user.
  • the problems to be solved by the present invention include the above-mentioned problems as an example.
  • an invention according to claim 1 is an information including: a vehicle travel support device mounted on a vehicle; and an imaging device that is provided in the vehicle and images a landscape around the vehicle.
  • the vehicle travel support device includes a search unit that searches for a route from a current position to a destination, a position detection unit that detects a position of the vehicle, and a vehicle that is detected by the position detection unit.
  • Guidance means for outputting guidance information (hereinafter referred to as guidance guidance information) for guiding the vehicle in accordance with a predetermined guidance point included in the route searched by the search means based on the position;
  • a control unit that controls the imaging operation of the imaging apparatus in association with the guidance point in cooperation with the guidance information output by the guidance unit; and the imaging by the control of the control unit Location has an image storage means for storing the image data captured.
  • FIG. 1 is a perspective view showing a configuration example of a vehicle to which the information recording system of the present embodiment is applied.
  • a vehicle V includes a front camera 1 provided on the rear surface of a rearview mirror (room mirror) 101 in the vehicle, a right front camera 2 and a right front camera provided in front of the vehicle V in a symmetrical position. 3 and a back camera 4 (hereinafter referred to simply as camera 1, camera 2,%) Shown in FIG.
  • FIG. 2 is a plan view showing the arrangement of the cameras 1 to 4 in the vehicle and their field of view.
  • the viewing directions of the cameras 1 to 4 are fixed, the front camera 1 is the front in the forward direction of the vehicle V, the right front camera 2 is the right front side of the vehicle V, and the right front camera 3 is The back camera 4 images the left front side of the vehicle V and the rear side of the vehicle V, respectively.
  • FIG. 3 is a block diagram showing an example of an electrical hardware configuration of the information recording system IS of the present embodiment.
  • the information recording system IS includes a navigation device 100 that supports driving of the vehicle V, a front camera 1, a right front camera 2, a right front camera 3, a back camera 4, a GPS sensor 15, and a GPS antenna 16. , An operation unit 17, a display 18, a microphone 19, a speaker 20, and a gyro sensor 21.
  • the navigation device 100 includes a CPU 11, a camera controller 12, a communication unit 13, and a storage unit 14.
  • the CPU 11 controls the entire information recording system IS including the navigation device 100 by performing various calculations according to the operation of a predetermined program and exchanging data with various other units and outputting various control instructions. It has a function.
  • the front camera 1, the right front camera 2, the right front camera 3, and the back camera 4 correspond to an imaging device, and as described above, capture the landscape around the vehicle V in each fixed viewing direction and output it as image data. It has the function to do.
  • the camera controller 12 controls the imaging operation of each of the cameras 1 to 4 and has a function of outputting image data input from each of them to the CPU 11.
  • the communication unit 13 has a function of transmitting / receiving data to / from a server (see FIG. 12 described later) provided outside the vehicle via wireless communication.
  • the communication unit 13 transmits to the server image data captured by the cameras 1 to 4 and accompanying information (detailed in FIG. 7 described later) related thereto.
  • the storage unit 14 includes a ROM 14a, a RAM 14b, and a storage medium 14c.
  • the ROM 14a is an information storage medium in which various processing programs to be described later and other necessary information are written in advance.
  • the RAM 14b is an information storage medium on which information necessary for executing the various programs is written and read.
  • the storage medium 14c is an information storage medium such as a flash memory or a hard disk.
  • the storage medium 14c has a function of storing, in a nonvolatile manner, map data relating to a map used for display, image data captured by each of the cameras 1 to 4 and associated information.
  • the GPS sensor 15 corresponds to a position detection unit, and has a function of receiving and calculating radio waves from a plurality of GPS satellites via the GPS antenna 16 and performing positioning.
  • the GPS sensor 15 generates positioning data of any one of latitude, longitude, altitude, and traveling direction, or any combination thereof.
  • the GPS sensor 15 measures, for example, pseudo distances to four satellites observed at the same time, and measures the current location of the vehicle V based on the difference in pseudo distances to these four satellites. It has a function.
  • the operation unit 17 has a function of outputting each operation signal to the CPU 11 in accordance with an input operation by an occupant such as a driver or a passenger.
  • the display 18 has a function of displaying a map image configured by combining the map data and various related map information and displaying various messages.
  • the microphone 19 has a function of inputting voice information such as a conversation voice uttered by an occupant of the vehicle V.
  • the speaker 20 has a function of outputting sound under the control of the CPU 11.
  • the gyro sensor 21 has a function of detecting the traveling direction of the vehicle V, for example.
  • the gyro sensor 21 is a kind of angular velocity sensor that outputs angular velocity data accompanying a change in the direction of the vehicle V.
  • FIG. 4 is a block diagram illustrating a software configuration example of a navigation program that operates in the navigation device 100 illustrated in FIG. 3.
  • the navigation program has a route search unit 41, a guidance unit 42, a data transmission unit 43, an imaging control unit 44, an image storage unit 45, and a control unit 46 as its functions, and records each function described later including the navigation device 100. Execute in system IS.
  • the route search unit 41 corresponds to search means and has a function of searching for a route from the current location to the destination.
  • the data transmission unit 43 corresponds to a data transmission unit, and transmits image data captured by each of the cameras 1 to 4 and associated information to an external server.
  • the guidance unit 42 corresponds to guidance means, and guides the display 18 by displaying the initial guidance route from the current location of the vehicle to the destination on the map based on the map data MD and the above avoidance route.
  • guidance guidance information such as a right / left turn instruction is displayed by voice or display by the speaker 20. It outputs by the display in 18. Further, depending on the situation, the captured images of the cameras 1 to 4 are also displayed in an overlapping manner.
  • the imaging control unit 44 corresponds to a control unit, and controls the imaging operation of each of the cameras 1 to 4 in cooperation with the guidance information output from the guidance unit 42. Specifically, at the timing when the guidance information is output from the guidance unit 42, a camera corresponding to the content of the guidance information is selected and imaged (detailed in FIG. 5 described later), and the image data FD is selected. To get.
  • the image storage unit 45 corresponds to an image storage unit, and stores the image data FD acquired by the imaging control unit 44 in the storage medium 14c of the storage unit 14 together with associated information.
  • the control unit 46 transmits / receives data and outputs instruction commands to / from each of the route search unit 41, the guidance unit 42, the data transmission unit 43, the imaging control unit 44, and the image storage unit 45 described above, and a navigation program. Control the whole process.
  • FIG. 5 is a diagram for explaining an example of the timing at which each of the cameras 1 to 4 takes an image under the control of the imaging control unit 44.
  • the map image of the vicinity of the intersection C where the lane L1 arranged in the vertical direction in the figure and the lane L2 arranged in the horizontal direction in the figure intersect is schematically shown.
  • the vehicle V (hereinafter referred to as the own vehicle as appropriate) travels from the lower side of the vertical lane L1 toward the upper intersection C and turns right at the intersection C.
  • the host vehicle V when the host vehicle V first reaches a position 100 m away from the intersection C, the front camera 1 with the imaging field of view F1 facing the front of the vehicle is operated. Then, an image of the scenery in front of the vehicle V including the entire intersection C to be entered and its surroundings is taken. Then, when entering the intersection C, the right camera 2 immediately before the imaging field of view F2 is directed to the front right side in the same direction as the direction of turning of the own vehicle V (right turn direction) is operated, and the own vehicle V is bent. The scenery at the entrance of the lane L2 about to be taken is imaged.
  • the back camera 4 with the imaging field of view F3 directed toward the rear of the vehicle is operated to image the landscape behind the host vehicle V including the intersection C just passed.
  • the vehicle V makes a left turn at the intersection C
  • the vehicle V enters the intersection C it operates the left camera 3 just before the imaging field of view is directed to the front left side in the same direction as the left turn direction.
  • the scenery of the entrance of the lane L2 where the vehicle V is going to turn is imaged.
  • the imaging control unit 44 controls to perform imaging three times for one intersection C.
  • the above-described imaging operation is performed on a guidance intersection that outputs guidance guidance information so that the guidance unit 42 turns right or left with respect to the vehicle V. That is, even if it is an intersection on the guidance route, an imaging operation is not performed at an intersection that just goes straight. Note that even if an intersection is just going straight, if it is an intersection that outputs guidance information indicating that the vehicle is going straight, take an image (for example, take an image using both cameras 2 and 3 when entering intersection C, The camera 4 may be used to look back in the same manner as described above. Further, in this embodiment, even when the host vehicle V arrives at the destination, the scenery around the host vehicle V is imaged by all the cameras 1 to 4.
  • the image storage unit 45 collects a plurality of image data acquired by the imaging control unit 44 as a set of image data corresponding to the same guidance intersection or destination as shown in FIG.
  • each image data is stored with a file name corresponding to the camera that captured the image data. That is, as shown in the example, the file name of the image data DS in front of the vehicle imaged by the front camera 1 is “Stright”, and the file name of the image data DR in the right front side of the vehicle imaged by the right camera 2 is “ “Right”, and the file name of the image data DB behind the vehicle imaged by the back camera 4 is “Back”.
  • “Right” of the image data on the left front side of the vehicle imaged by the immediately preceding left camera 3 is stored.
  • FIG. 7 is a diagram showing a configuration example of a captured image management table for recording and managing the accompanying information.
  • the item of the imaging point number set by the serial number in the registration order corresponding to each imaging point at the guidance intersection or the destination where the imaging operation was performed (the leftmost end in the figure).
  • Item "No." is provided.
  • the imaging date and time represented by the month and day the point latitude and the longitude that are the location information of the guidance intersection or destination that is the imaging point
  • the vehicle at the imaging point An approach direction when V enters, a departure direction when the host vehicle V passes, and a storage address indicating a region where a corresponding set of image data is stored in the storage medium 14c are recorded as supplementary information.
  • the target image data is easily retrieved using the supplementary information recorded in the captured image management table.
  • detailed supplementary information about the image data can be obtained from the captured image management table.
  • FIG. 8 is a flowchart showing a procedure example of the imaging process during navigation.
  • This navigation imaging process includes a procedure realized by the navigation program operating under the control of the CPU 11. This flow is executed in parallel with the guidance process of the guidance unit 42 when the guidance unit 42 starts guidance according to the guidance route set by the route search unit 41.
  • step S5 guidance guidance information indicating that the vehicle V has reached a position 100 meters before the guidance intersection CA (see FIGS. 9 to 12 described later) is output (voice or display). It is determined whether or not it has been done. If the guidance information is not output, the determination is not satisfied, and the routine goes to Step S50 described later. On the other hand, when the said guidance information is output, determination is satisfy
  • step S10 the front camera 1 captures a scene in front of the vehicle under the control of the camera controller 12 (see FIG. 10 described later).
  • step S15 it is determined whether or not guidance direction information at the guidance intersection CA, that is, guidance information indicating a right turn or a left turn, is output from the guidance unit 42, and the output of the direction guidance has been confirmed. If not, the determination is repeated and the loop is waited. When the output of the traveling direction guidance is confirmed, the process proceeds to the next step S20. Note that when the traveling direction guidance is output from the guide section 42, the host vehicle V has reached the vicinity of the approach position of the guidance intersection CA.
  • step S20 it is determined whether the content of the direction guidance confirmed in step S15 indicates whether to turn right or left. If the content indicates a right turn, the process proceeds to step S25, and the right front camera 2 takes an image of the landscape on the right front side of the host vehicle V under the control of the camera controller 12 (see FIG. 11 described later). At this time, the approach direction of the vehicle V is also measured from the detection value of the gyro sensor 21 simultaneously with the imaging by the right front camera 2. Then, the process proceeds to step S35.
  • step S20 determines whether the content of the direction of travel guidance is that of instructing a left turn. If it is determined in step S20 that the content of the direction of travel guidance is that of instructing a left turn, the process proceeds to step S30. Capture the landscape. In this case also, the approach direction of the vehicle V is measured from the detection value of the gyro sensor 21. Then, the process proceeds to step S35.
  • step S35 it is determined whether or not the vehicle V has passed the guidance intersection CA (in other words, whether or not the position of the vehicle V detected by the GPS sensor 15 is at a position that has passed the guidance intersection CA), and has yet to pass. If not, the determination is repeated and the loop waits. When the passage completion is confirmed, the process proceeds to the next step S40. Note that when the completion of the passage is confirmed, the guidance intersection CA is located behind the host vehicle V.
  • step S40 the back camera 4 captures a landscape behind the host vehicle V under the control of the camera controller 12 (see FIG. 12 described later). At this time, simultaneously with the imaging by the back camera 4, the departure direction of the host vehicle V is also measured from the detection value of the gyro sensor 21.
  • step S45 the image data in front of the vehicle acquired by imaging in step S10, the image data in the right or left side in front of the vehicle acquired in imaging in step S25 or step S30, and the imaging in step S45.
  • the acquired three pieces of image data of the vehicle rear image data are collectively recorded in a predetermined storage area of the storage medium 14c, and incidental information related thereto is registered in the captured image management table. Then, the process proceeds to next Step S50.
  • the imaging date and time registered as supplementary information may be the time when imaging the front of the vehicle in step S10 or the time when imaging the rear of the vehicle in step S40.
  • the latitude and the longitude of the point register the positioning information of the guidance intersection CA guided by the guidance unit 42, and the approach direction is the direction calculated by the detection value of the gyro sensor 21 in step S25 or step S30.
  • the leaving direction the direction calculated based on the detection value of the gyro sensor 21 in step S40 is registered.
  • step S50 after the guidance information indicating that the host vehicle V has arrived at the destination (or is about to arrive) is output, whether the host vehicle V has actually arrived at the destination (in other words, by the GPS sensor 15). It is determined whether or not the position of the detected vehicle V coincides with the destination. If the destination has not been reached, the determination is not satisfied and the routine returns to step S5 and the same procedure is repeated. On the other hand, when the vehicle arrives at the destination, the determination is satisfied, and the routine goes to the next Step S55.
  • step S55 the camera controller 12 controls all the cameras 1 to 4 to capture the scenery around the host vehicle V, and in the next step S60, the image data acquired by the imaging is collectively stored in a predetermined storage medium 14c. Are recorded in the storage area and the associated information related thereto is registered in the captured image management table. Registration at this time is performed in the same manner as in step S45, but registration of the approaching direction and the leaving direction is omitted. Then, this flow ends.
  • FIG. 10 shows an example of a landscape image in front of the vehicle imaged by the front camera 1 100 m before the guidance intersection CA
  • FIG. 11 shows the vehicle right front side imaged by the right front camera 2 at the entry position of the guidance intersection CA.
  • FIG. 12 shows an example of a landscape image behind the vehicle captured by the back camera 4 at the passing and leaving position of the guidance intersection CA.
  • the intersection where the lane L3 arranged in the vertical direction at the center in the figure intersects the lane L4 arranged in the horizontal direction in the figure is a guidance intersection that should turn on the guidance route LA of the vehicle V. It is set as CA, and the host vehicle V travels from the lower side of the vertical lane L3 in the drawing toward the upper guidance intersection CA along the guidance route LA, and turns right at the guidance intersection CA.
  • a post office 301 is located at the right back corner of the guidance intersection CA when viewed from the starting point of the own vehicle V, and a bank 302 (in the figure, “ A radio tower 303 is installed on the back left side.
  • the front camera 1 captures a landscape image in front of the vehicle shown in FIG.
  • the landscape image in front of the vehicle shown in FIG. 10 shows the entire guidance intersection CA as well as the surrounding area including the post office 301 on the right back side, the bank 302 on the left front side, and the radio tower 303 on the left back side.
  • the landscape is imaged.
  • a guidance for traveling direction instructing to turn right at the guidance intersection CA is output from the guidance section 42, and the preceding step is performed by the procedure of step S25 corresponding thereto.
  • a landscape image near the entrance of the right turn lane L4 shown in FIG. In the landscape image on the right front side of the vehicle shown in FIG. 11, the surrounding landscape including the post office 301 on the back side is imaged together with the state of the entrance of the right turn lane L4.
  • the characteristic store arrangement and the specific state shown in the landscape image near the entrance of the right turn lane L4 are shown.
  • the guidance intersection is a complicated intersection such as a five-way intersection, the direction in which the vehicle V is bent can be clearly confirmed visually.
  • a landscape image behind the vehicle shown in FIG. 12 is captured by the back camera 4 according to the procedure of step S45.
  • the landscape image behind the vehicle shown in FIG. 11 shows the entire guidance intersection CA as well as the surrounding area including the post office 301 on the right front side, the radio tower 303 on the right back side, and the bank 302 on the left back side.
  • the landscape is imaged.
  • the landscape image behind the vehicle almost coincides with the landscape in front of the vehicle during reverse travel, so that it appears in the landscape image.
  • the arrival at the guidance intersection CA can be clearly confirmed visually by referring to the arrangement of the characteristic stores and landmarks.
  • the CPU 11 uses the same guidance route as the guidance route LA that traveled before reaching the destination to guide a route that travels in the opposite direction, the CPU 11 passes the guidance intersection on the route.
  • Image data indicating a landscape image of the guidance intersection already captured by the back camera 4 is read from the storage medium 14c, and the image data is displayed as a landscape image.
  • the front camera 1 may not be captured when traveling in the opposite direction.
  • the information recording system IS responds to the fact that the guidance section 42 has output guidance guidance information about the guidance intersection CA that should turn right or left while traveling along the guidance route LA of the host vehicle V.
  • a landscape in front of the vehicle is imaged at a position 100 m in front of the CA, and a landscape of either the vehicle right front side or the vehicle left front side in the same direction as the direction in which the host vehicle V is bent at the entrance position of the guidance intersection CA is imaged.
  • the landscape behind the vehicle is imaged at the passing and leaving position at the guidance intersection CA, and the image data acquired by these three imaging operations is stored together with the auxiliary information.
  • the scenery of the vehicle front, the vehicle right front side, the vehicle left front side, and the vehicle rear is determined in response to the guidance unit 42 outputting guidance guidance information to that effect. And store the image data together with the accompanying information.
  • the navigation device 100 (corresponding to a vehicle travel support device) mounted on the host vehicle V (corresponding to a vehicle) and the scenery around the host vehicle V provided on the host vehicle V.
  • An information recording system IS having a front camera 1, a right front camera 2, a right front camera 3, and a back camera 4 (corresponding to an image pickup device).
  • a route search unit 41 for searching for a guidance route LA (corresponding to the route)
  • a GPS sensor 15 for detecting the position of the host vehicle V, and the position of the host vehicle V detected by the GPS sensor.
  • the vehicle V is guided.
  • guidance information for outputting guidance information (corresponding to guidance means) and guidance guidance information output by the guidance unit 42, and corresponding to the guidance intersection CA or destination
  • An image storage unit 45 (corresponding to an image storage unit) that stores image data captured by the camera 2, the left front camera 3, and the back camera 4.
  • the imaging control unit 44 detects that the front camera 1
  • the image storage unit 45 stores the image data acquired by controlling the imaging operations of the right front camera 2, the right front camera 3, and the back camera 4.
  • the information recording system IS can image a vehicle exterior scenery pinpoint automatically, and can memorize
  • the driving operability of the driver is improved, the trouble of searching for necessary image data is simplified, and the operability of the information recording system IS is improved.
  • the stored image data can be used for guidance in the navigation device 100 thereafter, and the latest information captured by the own vehicle V can be displayed to perform highly convenient navigation.
  • each of the cameras 1 to 4 captures a still image.
  • the present invention is not limited to this, and a moving image may be captured in a predetermined short time. In this case, it is effective for visually recognizing an object having a characteristic movement in a captured scene or a signboard whose display changes with time.
  • the cameras to be used are not limited to the front camera 1, the right front camera 2, the right front camera 3, and the back camera 4. That is, for example, the same imaging as described above may be performed using another camera mounted on the vehicle V, such as a side camera that is installed on a door mirror or the like and is mainly used for side lane recognition or the like.
  • the traveling process of the vehicle V can be edited with a visual image. It can also be used to create records.
  • the information recording system IS in the embodiment further includes a front camera 1 (corresponding to a front imaging device) that images the forward direction of the host vehicle V as a camera
  • the imaging control unit 44 includes: When the guidance information corresponding to the guidance intersection CA, which is a guidance point, is output from the guidance unit 42, the front camera 1 is controlled so as to capture the forward direction of the host vehicle V.
  • the guide unit 42 is set as a point at which the vehicle V turns right and left on the guidance route LA as a point at which the guidance unit 42 outputs guidance guidance information.
  • the present invention is not limited to this.
  • the user sets guidance guidance information points at arbitrary positions in advance, and captures landscape images in front of and behind the vehicle before and after that. May be. In this case, for example, by capturing a characteristic landmark such as a bridge or a tunnel, it can be recorded as a landscape image of a main waypoint on the guidance route LA.
  • the right front camera 2 (corresponding to the right front imaging device) that captures the right front side of the host vehicle V and the host vehicle V are further used as cameras.
  • the imaging control unit 44 outputs guidance guidance information for guiding a right turn at the guidance intersection CA from the guidance unit 42.
  • the imaging control unit 44 includes a left camera 3 (equivalent to a left front imaging device) immediately before imaging the left front side.
  • the scenery near the entrance of the lane where the host vehicle V is about to turn can be automatically imaged at a pinpoint at the guidance intersection CA that is highly necessary to be recognized by the driver.
  • guidance Even if the intersection is a complicated intersection such as a five-way intersection, the turning direction of the vehicle V can be clearly confirmed visually.
  • the information recording system IS in the above embodiment further includes a back camera 4 (corresponding to a rear imaging device) that images the rear of the host vehicle V as a camera, and the imaging control unit 44 provides guidance. After the guidance information for guiding the vehicle to turn right or left at the intersection CA is output, when the passage of the guidance intersection CA of the host vehicle V is detected by the CPS sensor 15, the rear of the host vehicle V is imaged. The back camera 4 is controlled.
  • a back camera 4 corresponding to a rear imaging device
  • the imaging control unit 44 further outputs a GPS sensor after guiding guidance information for guiding arrival at or near to the destination is output. 15, when the arrival of the host vehicle V at the destination is detected, control is performed so that at least one of the front camera 1, the right front camera 2, the right front camera 3, and the back camera 4 is imaged. To do.
  • the surrounding landscape can be automatically imaged for a destination that needs to be recognized as having arrived by the driver.
  • the arrival of the same destination can be visually checked by referring to the arrangement of characteristic stores and landmarks in the landscape image around the destination. Can be clearly confirmed.
  • the image storage unit 45 further includes image data, an imaging date and time corresponding to the image data, a point latitude and a longitude of the imaging point (each imaging position). Information), or incidental information consisting of at least one of an approach azimuth and a leaving azimuth at the imaging point (each corresponding to an own vehicle azimuth).
  • the information recording system IS uses the already stored image data, it is possible to easily search for the target image data using these supplementary information, and the image data Detailed supplementary information can be obtained from the accompanying information.
  • the acquired image data and the incidental information corresponding to the acquired image data are stored in the storage medium 14c provided in the information recording system IS.
  • the present invention is not limited to this, and for example, the communication unit 13 and the above You may make it transmit the image data memorize
  • FIG. 13 is a system configuration diagram showing a configuration example of an information processing system including the information recording system IS of the above embodiment and a server outside the vehicle.
  • the information processing system 200 includes an information recording system IS, a network 201, a base station 202, and a server SV.
  • the information recording system IS, the server SV, and the base station 202 are connected by a network 201, and can perform data communication according to a predetermined protocol.
  • the information recording system IS performs data communication wirelessly with the base station 202 under the control of the communication unit 13 and the data transmission unit 43 of the navigation device 100 attached to the vehicle V, and the server SV via the network 201.
  • a function of transmitting image data and incidental information to The base station 202 is connected to the network 201 and has a function of performing data communication wirelessly with the information recording system IS.
  • the base station 202 can perform data communication with any of the information recording systems IS respectively mounted on a large number of vehicles V.
  • the server SV is a server computer arranged outside the vehicle V.
  • the server SV has a function of storing image data and incidental information received via the base station 202 and the network 201.
  • the incidental information is registered in the captured image management table shown in FIG. 7 as in the information recording system IS.
  • the image data and the incidental information may be transmitted to the server by the data transmission unit 43 in each of the steps S45 and S60 of the navigation imaging process shown in FIG.
  • the navigation device 100 further includes a data transmission unit 43 that transmits image data to a server SV provided outside the host vehicle V. .
  • the latest landscape image data can be provided from the own vehicle V to the fixedly installed server SV.
  • a map creator who needs image data of the latest landscape image in order to create or update the map data MD does not have to move to various places and take an image, and the server from a large number of navigation devices 100
  • the image data accumulated in the SV can be searched with reference to the accompanying information and used for map creation.
  • the incidental information includes point latitude and point longitude
  • the latitude and longitude data in the map data MD can be collated, and the latest landscape image data can be assigned to the map data MD.
  • the convenience of updating can be improved. Therefore, if the map creator or the like updates the map data MD immediately based on the image data acquired in real time, for example, the map data MD including the updated latest landscape image is stored in the navigation device 100. Can be provided and utilized.

Landscapes

  • Engineering & Computer Science (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Automation & Control Theory (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Navigation (AREA)
  • Traffic Control Systems (AREA)

Abstract

【課題】ユーザが必要とする車外風景を自動的に撮像する。 【解決手段】自車Vが経路探索部41により探索された誘導経路LAに従って走行している間に、誘導部42が自車Vを右左折するよう指示する案内交差点CAについての誘導案内情報を出力する。撮像制御部44はこの誘導案内情報に応じて自車Vに取り付けたフロントカメラ1、直前右側カメラ2、直前左側カメラ4及びバックカメラ4の撮像動作を制御し、それによって取得した画像データを画像記憶部45が記憶する。これにより、運転者を含む自車Vの乗員が何ら操作せずとも、情報記録システムISが自動的に車外風景をピンポイントで撮像し、その画像データを記憶することができる。

Description

情報記録システム
 本発明は、現在地から目的地までの経路を探索する車両走行支援装置を備えた、情報記録システムに関する。
 従来、車両の外部に設けた車外カメラにより車両の周囲の風景を撮像して車室内の表示部に表示し、必要に応じて撮像画像を記憶するものが知られている(例えば、特許文献1参照)。
 この従来技術では、車両の周囲状況を撮像した画像を、運転席の近くに設置した表示部に表示することにより、運転者からは死角となって確認しにくい車両付近の状況を運転席にいながらにして明瞭に確認することができる。そして、その撮像画像を記憶することで、当該車両が通過してきた経路の地図データを更新するための最新の情報として利用できたり、または事故が発生した際にはその原因を調べるための記録として参照することができる。
先行技術文献
特開2008-241507号公報
 従来の情報記録システムでは、車外カメラの撮像は常時または周期的に行われるか、または乗員の手動操作によって行われる。常時撮像または周期的撮像が行われる場合には、ユーザが必要とする車外風景をピンポイントで撮像することができないため、記録された膨大な画像データの中から必要な画像を探す手間が多くなり操作が煩わしくなってしまう。また、手動操作によって撮像する場合には、運転者だけ乗車している際に運転者自ら撮像操作を行わなければならず、車両の運転に支障をきたして安全性が阻害されてしまう。すなわち、従来は、ユーザが必要とする車外風景を自動的に撮像する機能がなかった。
 本発明が解決しようとする課題には、上記した問題が一例として挙げられる。
 上記課題を解決するために、請求項1に記載の発明は、車両に搭載された車両走行支援装置と、前記車両に設けられ、該車両の周囲の風景を撮像する撮像装置と、を有する情報記録システムであって、前記車両走行支援装置は、現在地から目的地までの経路を探索する探索手段と、前記車両の位置を検出する位置検出手段と、前記位置検出手段により検出された前記車両の位置に基づき、前記探索手段により探索された前記経路中に含まれる所定の誘導ポイントに対応して、前記車両を誘導するための案内情報(以下、誘導案内情報と称する)を出力する誘導手段と、前記誘導手段が出力する前記誘導案内情報と連携し、前記誘導ポイントに対応付けて前記撮像装置の撮像動作を制御する制御手段と、前記制御手段の制御によって前記撮像装置が撮像した画像データを記憶する画像記憶手段と、を有する。
情報記録システムの適用対象となる車両の構成例を示す斜視図である。 車両における各カメラの配置とそれらの撮像視野を示す平面図である。 車両が搭載する情報記録システムの電気的なハードウェア構成例を示すブロック図である。 図3に示す情報記録システムにおいて動作するナビゲーションプログラムのソフトウェア構成例を示すブロック図である。 上記撮像制御部の制御によって各カメラが撮像するタイミングの一例を説明する図である。 同じ撮像ポイントで撮像した3つの画像データをまとめて記憶することを観念的に表した図である。 付帯情報を記録管理する撮像画像管理テーブルの構成例を示す図である。 ナビゲーション時撮像処理の手順例を示すフローチャートである。 撮像対象の案内交差点付近を表示する地図画像の一例を示す図である。 案内交差点の100m手前で撮像した車両前方の風景画像の一例を示す図である。 案内交差点の進入位置で撮像した車両右前方側の風景画像の一例を示す図である。 案内交差点の通過離脱位置で撮像した車両後方の風景画像の一例を示す図である。 情報記録システムと車外のサーバを含む情報処理システムの構成例を示すシステム構成図である。
発明を実施するための形態
 以下、本発明の一実施の形態を図面を参照しつつ説明する。
 図1は、本実施形態の情報記録システムの適用対象となる車両の構成例を示す斜視図である。
 この図1において、車両Vには、車内におけるバックミラー(ルームミラー)101の裏面に設けられたフロントカメラ1と、車両Vの前方で左右対称位置に設けられた直前右側カメラ2及び直前左側カメラ3と、車両Vの後方に設けられた後述の図2に示すバックカメラ4(以下適宜、単にカメラ1,カメラ2,…と称する)が設けられている。
 図2は、車両における各カメラ1~4の配置とそれらの撮像視野を示す平面図である。
 この図2において、各カメラ1~4の視野方向は固定されており、フロントカメラ1は車両Vの前進方向側正面を、直前右側カメラ2は車両Vの右前方側を、直前左側カメラ3は車両Vの左前方側を、バックカメラ4は車両Vの後方をそれぞれ撮像する。
 図3は、本実施形態の情報記録システムISの電気的なハードウェア構成例を示すブロック図である。
 この情報記録システムISは、車両Vの走行支援を行うナビゲーション装置100と、フロントカメラ1と、直前右側カメラ2と、直前左側カメラ3と、バックカメラ4と、GPSセンサ15と、GPSアンテナ16と、操作部17と、ディスプレイ18と、マイク19と、スピーカ20と、ジャイロセンサ21とを有している。ナビゲーション装置100は、CPU11、カメラコントローラ12、通信部13、及び記憶部14を備えている。
 CPU11は、所定のプログラムの動作によって各種の演算を行うとともに、他の各部との間でデータの交換や各種の制御指示を出力することで、ナビゲーション装置100を含む情報記録システムIS全体を制御する機能を有する。
 フロントカメラ1、直前右側カメラ2、直前左側カメラ3、及びバックカメラ4は撮像装置に相当し、上述したようにそれぞれの固定された視野方向で車両Vの周囲の風景を撮像し画像データとして出力する機能を有する。カメラコントローラ12は、これら各カメラ1~4の撮像動作を制御するとともに、それぞれから入力された画像データをCPU11に出力する機能を有する。
 通信部13は、車両外部に設けられたサーバ(後述の図12参照)との間で無線通信を介してデータの送受を行う機能を有する。この通信部13は、サーバに対して、上記各カメラ1~4で撮像した画像データとともにそれに関係する付帯情報(後述の図7で詳述する)を送信する。
 記憶部14は、ROM14a、RAM14b及び記憶媒体14cを有する。ROM14aは、後述する各種の処理プログラムやその他必要な情報が予め書き込まれた情報記憶媒体である。RAM14bは、上記各種のプログラムを実行する上で必要な情報の書き込み及び読み出しが行われる情報記憶媒体である。記憶媒体14cは、例えばフラッシュメモリ、ハードディスクなどの情報記憶媒体である。この記憶媒体14cは、表示に用いる地図に関する地図データや、各カメラ1~4で撮像した画像データとその付帯情報を不揮発的に記憶する機能を有する。
 GPSセンサ15は位置検出手段に相当し、複数のGPS衛星からの電波をGPSアンテナ16を介して受信して演算を行い、測位を行う機能を有する。このGPSセンサ15は、例えば緯度、経度、高度及び進行方位のいずれかまたはこれらいずれかの組み合わせの測位データを生成する。具体的には、このGPSセンサ15は、例えば同時に観測した4機の衛星までの疑似距離を測定し、これら4機の衛星までの疑似距離の差に基づいて、車両Vの現在地の測位を行う機能を有する。
 操作部17は、運転者や同乗者など乗員による入力操作に応じて各操作信号をCPU11に出力する機能を有する。
 ディスプレイ18は、上記地図データや関係する各種の地図情報を組み合わせて構成される地図画像を表示するとともに、各種のメッセージ等を表示する機能を有する。
 マイク19は、車両Vの乗員が発した会話音声などの音声情報を入力する機能を有する。また、スピーカ20は、CPU11の制御によって音を出力する機能を有する。
 ジャイロセンサ21は、例えば車両Vの進行方向の検出を行う機能を有する。このジャイロセンサ21は、車両Vの方向変化に伴う角速度データを出力する角速度センサの一種である。
 図4は、図3に示すナビゲーション装置100において動作するナビゲーションプログラムのソフトウェア構成例を示すブロック図である。
 ナビゲーションプログラムは、その機能として経路探索部41、誘導部42、データ送信部43、撮像制御部44、画像記憶部45、及び制御部46を有し、後述する各機能をナビゲーション装置100を含む記録システムISにおいて実行する。
 経路探索部41は探索手段に相当し、現在地から目的地までの経路を探索する機能を有する。データ送信部43はデータ送信手段に相当し、各カメラ1~4が撮像した画像データとその付帯情報を外部のサーバに送信する。
 誘導部42は誘導手段に相当し、地図データMDに基づく地図上に、自車の現在地から目的地までの初期の誘導経路と上記の回避経路を重ねてディスプレイ18に表示させつつ誘導する。このとき、自車が誘導経路上に沿って右折または左折すべき交差点(以下、案内交差点という)の付近に到達した際には、右左折の指示などの誘導案内情報をスピーカ20による音声またはディスプレイ18での表示により出力する。また、状況によっては各カメラ1~4の撮像画像も重ねて表示させる。
 撮像制御部44は制御手段に相当し、上記誘導部42が出力する誘導案内情報と連携して各カメラ1~4の撮像動作を制御する。具体的には、誘導部42から誘導案内情報が出力されたタイミングで、当該誘導案内情報の内容に対応するカメラを選択して撮像を行い(後述の図5で詳述する)、画像データFDを取得する。
 画像記憶部45は画像記憶手段に相当し、上記撮像制御部44により取得された画像データFDを、それに関連する付帯情報とともに上記記憶部14の記憶媒体14cに記憶する。
 制御部46は、上述した経路探索部41、誘導部42、データ送信部43、撮像制御部44、及び画像記憶部45の各部との間でデータの送受と指示命令の出力を行い、ナビゲーションプログラム全体の処理を制御する。
 図5は、上記撮像制御部44の制御によって各カメラ1~4が撮像するタイミングの一例を説明する図である。この図5においては、図中の縦方向に配置する車線L1と、図中の横方向に配置する車線L2とが交差する交差点Cの付近の地図画像を模式的に示しており、図示する例では、自己の車両V(以下適宜、自車と称する)が縦方向車線L1の図中下側から上側の交差点Cに向かって走行し、この交差点Cで右折する挙動を示している。
 本実施形態の情報記録システムISでは、この場合、まず自車Vが交差点Cから手前に100mで離間した位置に到達した際に、撮像視野F1を車両前方に向けているフロントカメラ1を作動させて、これから進入しようとする交差点C全体とその周囲を含めた自車Vの前方の風景を撮像する。そして、交差点Cに進入する際には、自車Vが曲がる方向(右折方向)と同じ方向で撮像視野F2を右前方側に向けている直前右側カメラ2を作動させて、自車Vが曲がろうとしている車線L2の入り口の風景を撮像する。さらに、交差点Cを通過した際には、撮像視野F3を車両後方に向けているバックカメラ4を作動させて、通過したばかりの交差点Cを含めた自車Vの後方の風景を撮像する。なお、自車Vが交差点Cを左折する場合には、交差点Cに進入する際に、その左折方向と同じ方向で撮像視野を左前方側に向けている直前左側カメラ3を作動させて、自車Vが曲がろうとしている車線L2の入り口の風景を撮像する。
 このようにして、撮像制御部44は、1つの交差点Cに対して3回の撮像を行うよう制御する。そして本実施形態では、上記誘導部42が自車Vに対して右折または左折するよう誘導案内情報を出力する案内交差点に対して上記の撮像動作を行う。つまり誘導経路上の交差点であっても直進するだけの交差点では撮像動作を行わないものとする。なお、直進するだけでの交差点でも、直進の旨の誘導案内情報を出力する交差点であれば、撮像を行う(例えば交差点Cの進入時にカメラ2,3の両方を用いて撮像し、通過後にバックカメラ4で上記同様の振り返り撮像を行う)ようにしてもよい。また、本実施形態では、自車Vが目的地に到着した際にも全てのカメラ1~4で自車Vの周囲の風景を撮像する。
 そして、画像記憶部45は、上記撮像制御部44により取得した複数の画像データを、図6に示すように同じ案内交差点または目的地に対応する画像データどうしを1セットにまとめて記憶媒体14cに記憶させる。このとき、各画像データは、それを撮像したカメラに対応したファイル名で記憶される。つまり、図示する例のように、フロントカメラ1で撮像した車両前方の画像データDSのファイル名は「Straight」となり、直前右側カメラ2で撮像した車両右前方側の画像データDRのファイル名は「Right」となり、バックカメラ4で撮像した車両後方の画像データDBのファイル名は「Back」となる。なお、左折した場合には、「Right」の代わりに直前左側カメラ3で撮像した車両左前方側の画像データの「Left」が記憶される。
 また、特に図示しないが、上述したように、自車Vが目的地に到着して全てのカメラ1~4で自車Vの周囲の風景を撮像した場合には、「Straight」、「Right」、「Left」、「Back」の4つの画像データが1セットにまとめられて記憶される。
 また、上述したように画像記憶部45は、これら画像データのセットとともにその撮像地点に対応する付帯情報も合わせて記憶媒体14cに記憶する。図7は、この付帯情報を記録管理する撮像画像管理テーブルの構成例を示す図である。
 この図7に示す例の撮像画像管理テーブルにおいては、撮像動作を行った案内交差点または目的地の各撮像ポイントに対応して登録順の通し番号で設定された撮像ポイント番号の項目(図中最も左端の「No.」の項目)が設けられている。そして、各撮像ポイント番号に対応して、何月日及び時間で表される撮像日時、当該撮像ポイントである案内交差点または目的地の位置情報であるポイント緯度及びポイント経度、当該撮像ポイントに自車Vが進入した際の進入方位及び自車Vが通過した際の離脱方位、対応する画像データのセットが記憶媒体14cに記憶されている領域を示す記憶アドレス、が付帯情報として記録されている。
 情報記録システムISが、すでに記憶媒体14cに記憶されている画像データを利用する際には、この撮像画像管理テーブルに記録されている付帯情報を利用して目的とする画像データを容易に検索することができ、またその画像データについての詳細な補足情報をこの撮像画像管理テーブルから得ることができる。
 図8は、ナビゲーション時撮像処理の手順例を示すフローチャートである。このナビゲーション時撮像処理は、上記ナビゲーションプログラムがCPU11の制御によって動作することにより実現される手順を含んでいる。なお、このフローは、経路探索部41が設定した誘導経路に従って誘導部42が誘導を開始した際に、当該誘導部42の誘導処理と並行して実行される。
 この図8において、まずステップS5では、自車Vが案内交差点CA(後述の図9~12参照)から100m手前の位置に到達した旨の誘導案内情報が誘導部42から出力(音声または表示)されたか否かの判定を行う。当該誘導案内情報が出力されていない場合、判定は満たされず、後述するステップS50へ移る。一方、当該誘導案内情報が出力されている場合、判定が満たされ、次のステップS10へ移る。
 ステップS10では、上記カメラコントローラ12の制御によりフロントカメラ1で車両前方の風景を撮像する(後述の図10参照)。
 次にステップS15へ移り、誘導部42から案内交差点CAでの進行方向案内、つまり右折または左折の旨の誘導案内情報が出力されたか否かを判定し、まだ進行方向案内の出力が確認されていない場合には判定を繰り返してループ待機する。そして進行方向案内の出力が確認された際には、次のステップS20へ移る。なお、この進行方向案内が誘導部42から出力された時点では、自車Vが案内交差点CAの進入位置付近に到達していることになる。
 ステップS20では、上記ステップS15で確認された進行方向案内の内容が、右折と左折のどちらを指示するものであるか判定する。右折を指示する内容である場合、ステップS25へ移り、上記カメラコントローラ12の制御により直前右側カメラ2で自車Vの右前方側の風景を撮像する(後述の図11参照)。なお、この際には直前右側カメラ2による撮像と同時に、ジャイロセンサ21の検出値から自車Vの進入方位も測定される。そしてステップS35へ移る。
 また一方、上記ステップS20の判定において、進行方向案内の内容が左折を指示する内容である場合、ステップS30へ移り、上記カメラコントローラ12の制御により直前左側カメラ3で自車Vの左前方側の風景を撮像する。なお、この際にもジャイロセンサ21の検出値から自車Vの進入方位が測定される。そしてステップS35へ移る。
 ステップS35では、自車Vが案内交差点CAを通過したか(言い換えればGPSセンサ15により検出される自車Vの位置が案内交差点CAを通過した位置にあるか否か)を判定し、まだ通過していない場合には判定を繰り返してループ待機する。そして通過完了が確認された際には、次のステップS40へ移る。なお、この通過完了が確認された時点では、案内交差点CAが自車Vの後方に位置することになる。
 ステップS40では、上記カメラコントローラ12の制御によりバックカメラ4で自車Vの後方の風景を撮像する(後述の図12参照)。なお、この際にはバックカメラ4による撮像と同時に、ジャイロセンサ21の検出値から自車Vの離脱方位も測定される。
 次にステップS45へ移り、上記ステップS10の撮像で取得した車両前方の画像データと、上記ステップS25またはステップS30の撮像で取得した車両前方の右側または左側の画像データと、上記ステップS45の撮像で取得した車両後方の画像データの3つの画像データをまとめて記憶媒体14cの所定の記憶領域に記録し、それに関連する付帯情報を撮像画像管理テーブルに登録する。そして、次のステップS50へ移る。
 なお、付帯情報として登録する撮像日時は上記ステップS10での車両前方の撮像を行った際の時間でもよいし、上記ステップS40での車両後方の撮像を行った際の時間でもよい。また、ポイント緯度及びポイント経度は、誘導部42が誘導案内情報した案内交差点CAの測位情報を登録し、進入方位は上記ステップS25またはステップS30でのジャイロセンサ21の検出値により算出された方位を、離脱方位は上記ステップS40でのジャイロセンサ21の検出値により算出された方位をそれぞれ登録する。
 ステップS50では、自車Vが目的地に到着した(または到着間近である)旨の誘導案内情報が出力された後、実際に自車Vが目的地に到着したか(言い換えればGPSセンサ15により検出される自車Vの位置が目的地と一致したか否か)の判定を行う。目的地に到着していない場合、判定は満たされず、ステップS5に戻って同様の手順を繰り返す。一方、目的地に到着した場合、判定が満たされ、次のステップS55へ移る。
 ステップS55では、上記カメラコントローラ12の制御により全てのカメラ1~4で自車Vの周囲の風景を撮像し、次のステップS60でそれらの撮像で取得した画像データをまとめて記憶媒体14cの所定の記憶領域に記録し、それに関連する付帯情報を撮像画像管理テーブルに登録する。この際の登録は上記ステップS45と同様に行うが、進入方位と離脱方位の登録は省略される。そして、このフローを終了する。
 次に、上記図8で示したナビゲーション時撮像処理により取得した画像データの例を説明する。ここでは、例えば図9にディスプレイ18での地図画像を示すような、撮像対象の案内交差点CA付近を通過して取得した画像について説明する。図10は当該案内交差点CAの100m手前でフロントカメラ1により撮像した車両前方の風景画像の一例を示し、図11は当該案内交差点CAの進入位置で直前右側カメラ2により撮像した車両右前方側の風景画像の一例を示し、図12は、当該案内交差点CAの通過離脱位置でバックカメラ4により撮像した車両後方の風景画像の一例を示している。
 図9に示す例では、図中の中央で縦方向に配置する車線L3と図中の横方向に配置する車線L4とが交差する交差点が、自車Vの誘導経路LA上で曲がるべき案内交差点CAとして設定されており、自車Vが誘導経路LAに沿って縦方向車線L3の図中下側から上側の案内交差点CAに向かって走行し、案内交差点CAで右折する場合を示している。
 そして図示する地図画像に示すように、自車Vの出発点から見てこの案内交差点CAの右奥側の角には郵便局301があり、左手前側の角には銀行302(図中では「○×銀行」と記載)があり、左奥側には電波塔303が設置されている。
 まず、自車Vが当該案内交差点CAから手前に100m離間した位置に到達した際には、誘導部42からその旨の誘導案内情報が出力されて上記図8のフローにおけるステップS10の手順により、フロントカメラ1で図10に示す車両前方の風景画像が撮像される。この図10が示す車両前方の風景画像には、案内交差点CA全体の様子とともに、その右奥側の郵便局301と、左手前側の銀行302と、左奥側の電波塔303を含めた周囲の風景が撮像されている。
 この撮像を行った時点以降で再度同じ誘導経路LAの同じ進行方向で走行する際には、上記車両前方の風景画像に写っている特徴的な店舗やランドマークの配置を参照することで、当該案内交差点CAへの到達を目視で明確に確認することができる。
 また、自車Vが当該案内交差点CAの進入位置に到達した際には、誘導部42から当該案内交差点CAで右折するよう指示する進行方向案内が出力され、それに対応するステップS25の手順により直前右側カメラ2で図11に示す右折車線L4の入り口付近の風景画像が撮像される。この図11が示す車両右前方側の風景画像には、右折車線L4の入り口の様子とともに、その奥側の郵便局301を含めた周囲の風景が撮像されている。
 この撮像を行った時点以降で再度同じ誘導経路LAの同じ進行方向で走行する際には、上記右折車線L4の入り口付近の風景画像に写っている特徴的な店舗の配置や具体的な様子を参照することで、例えば案内交差点が五叉路などの複雑な交差点であっても自車Vの曲がる方向を目視で明確に確認することができる。
 また、自車Vが当該案内交差点CAを通過離脱した際には、ステップS45の手順によりバックカメラ4で図12に示す車両後方の風景画像が撮像される。この図11が示す車両後方の風景画像には、案内交差点CA全体の様子とともに、その右手前側の郵便局301と、右奥側の電波塔303と、左奥側の銀行302を含めた周囲の風景が撮像されている。
 この撮像を行った時点以降で同じ誘導経路LAを逆方向で走行する際には、上記車両後方の風景画像が、逆走行時の車両前方の風景とほぼ一致するため、その風景画像に写っている特徴的な店舗やランドマークの配置を参照することで、当該案内交差点CAへの到達を目視で明確に確認することができる。たとえば、CPU11は、目的地に到達するまでに走行した誘導経路LAと同じ誘導経路を利用してその逆方向に走行する経路を案内する場合には、当該経路上の案内交差点を通過する際に既にバックカメラ4で撮像された当該案内交差点の風景画像を示す画像データを記憶媒体14cから読み出し、当該画像データを風景画像として表示させるようにする。つまり、誘導案内情報を出力する案内交差点が近づいた場合に、当該案内交差点におけるバックカメラ4で撮像された画像データが存在するかを判断し、存在すると判断した場合に当該画像データを風景画像として出力させる。ちなみに、この場合では、既にバックカメラ4にて撮像した画像データが記憶媒体14cに存在するため、当該逆方向に走行した際におけるフロントカメラ1での撮像をおこなわないようにしてもよい。
 本実施形態では、情報記録システムISが、自車Vの誘導経路LAに沿った走行中において右折または左折するべき案内交差点CAについての誘導案内情報を誘導部42が出力したことに応じ、案内交差点CAの手前100mの位置で車両前方の風景を撮像し、案内交差点CAの進入位置で自車Vが曲がる方向と同じ方向の車両右前方側または車両左前方側のいずれか一方の風景を撮像し、案内交差点CAを通過離脱位置で車両後方の風景を撮像し、これら3回の撮像で取得した画像データを付帯情報とともに記憶する。また、自車Vが目的地に到着した際に誘導部42がその旨の誘導案内情報を出力したことに応じて、車両前方、車両右前方側、車両左前方側及び車両後方のそれぞれの風景を撮像し、それらの画像データを付帯情報とともに記憶する。
 上記実施形態における情報記録システムISにおいては、自車V(車両に相当)に搭載されたナビゲーション装置100(車両走行支援装置に相当)と、自車Vに設けられ、自車Vの周囲の風景を撮像するフロントカメラ1、直前右側カメラ2、直前左側カメラ3、及びバックカメラ4(撮像装置に相当)と、を有する情報記録システムISであって、ナビゲーション装置100は、現在地から目的地までの誘導経路LA(経路に相当)を探索する経路探索部41と、自車Vの位置を検出するGPSセンサ15(位置検出手段に相当)と、GPSセンサにより検出された自車Vの位置に基づき、経路探索部41により探索された誘導経路LA中に含まれる案内交差点CA又は目的地(所定の誘導ポイントに相当)に対応して、自車Vを誘導するための案内情報(以下、誘導案内情報と称する)を出力する誘導部42(誘導手段に相当)と、誘導部42が出力する誘導案内情報と連携し、案内交差点CA又は目的地に対応付けてフロントカメラ1、直前右側カメラ2、直前左側カメラ3、及びバックカメラ4の撮像動作を制御する撮像制御部44(制御手段に相当)と、撮像制御部44の制御によってフロントカメラ1、直前右側カメラ2、直前左側カメラ3、及びバックカメラ4が撮像した画像データを記憶する画像記憶部45(画像記憶手段に相当)と、を有する。
 このようにすると、経路探索部41により探索された誘導経路LAに従って自車Vが走行している間に、誘導部42による誘導案内情報の出力に応じて、撮像制御部44がフロントカメラ1、直前右側カメラ2、直前左側カメラ3及びバックカメラ4の撮像動作を制御し、それによって取得した画像データを画像記憶部45が記憶する。これにより、運転者を含む自車Vの乗員が何ら操作せずとも、情報記録システムISが自動的に車外風景をピンポイントで撮像し、その画像データを記憶することができる。この結果、運転者の運転操作性が向上し、必要とする画像データを探す手間が簡略化されて情報記録システムISの操作性が向上する。また、蓄積した画像データは、これ以降、当該ナビゲーション装置100における誘導に用いることができ、自車Vにて実写した最新情報を表示して利便性の高いナビゲーションを行うことができる。
 なお、上記実施形態では各カメラ1~4が静止画像を撮像していたが、本発明はこれに限られず、他にも所定の短時間での動画画像を撮像するようにしてもよく、この場合には撮像風景中に特徴的な動きのあるオブジェや表示が時間変化する看板などを視認するのに有効となる。
 また、使用するカメラとしては、上記フロントカメラ1、直前右側カメラ2、直前左側カメラ3、及びバックカメラ4には限られない。すなわち、例えばドアミラー等に設置され、主として側方の車線認識等に用いられる側方カメラ等、車両Vに搭載される他のカメラを用いて上記と同様の撮像を行うようにしてもよい。
 また、このように自車Vの通過経路上における所定の複数のポイントで撮像した画像データを通過順に並べることで、自車Vの走行過程を視覚的な画像で編集することができ、例えば旅行記録の作成などに役立てることもできる。
 上記実施形態における情報記録システムISにおいては、上述した構成に加えてさらに、カメラとして、自車Vの前進方向を撮像するフロントカメラ1(前方撮像装置に相当)を含み、撮像制御部44は、誘導部42から、誘導ポイントである案内交差点CAに対応した誘導案内情報が出力されたときに、自車Vの前進方向を撮像するようにフロントカメラ1を制御する。
 このようにすると、運転者にとって特に認識する必要性の高い案内交差点CAに対して、その全体の様子と到達する前の周囲の風景を自動的にピンポイントで撮像することができる。これにより、後に再度同じ誘導経路LAを同じ進行方向で走行する際には、当該車両前方の風景画像に写っている特徴的な店舗やランドマークの配置を参照して、同じ案内交差点CAへの到達を目視で明確に確認することができる。
 なお、上記実施形態では誘導部42が誘導案内情報を出力するポイントとして自車Vが誘導経路LA上で右左折する案内交差点CAに限定して設定していたが、本発明はこれに限られず、他にも直進する交差点や単純な直進車線上であってもユーザが事前に任意の位置に誘導案内情報ポイントを設定して、その前後で車両前方や車両後方の風景画像を撮像するようにしてもよい。この場合には、例えば橋やトンネルなどの特徴的なランドマークなどを撮像することにより、誘導経路LA上における主要な経由地点の風景画像として記録することができる。
 上記実施形態における情報記録システムISにおいては、上述した構成に加えてさらに、カメラとして、自車Vの右前方側を撮像する直前右側カメラ2(右前方撮像装置に相当)と、自車Vの左前方側を撮像する直前左側カメラ3(左前方撮像装置に相当)と、を含み、撮像制御部44は、誘導部42から、案内交差点CAを右折するよう案内する誘導案内情報が出力されたときに、自車Vの右前方側を撮像するように直前右側カメラ2を制御し、誘導部42から、案内交差点CAを左折するよう案内する誘導案内情報が出力されたときに、自車Vの左前方側を撮像するように直前左側カメラ3を制御する。
 このようにすると、運転者にとって特に認識する必要性の高い案内交差点CAにおいて、自車Vが曲がろうとする車線の入り口付近の風景を自動的にピンポイントで撮像することができる。これにより、後に再度同じ誘導経路LAを同じ進行方向で走行する際には、当該車線の入り口付近の風景画像に写っている特徴的な店舗の配置や具体的な様子を参照して、例えば案内交差点が五叉路などの複雑な交差点であっても自車Vの曲がる方向を目視で明確に確認することができる。
 上記実施形態における情報記録システムISにおいては、上述した構成に加えてさらに、カメラとして、自車Vの後方を撮像するバックカメラ4(後方撮像装置に相当)を含み、撮像制御部44は、案内交差点CAを右折または左折するよう案内する誘導案内情報が出力された後、CPSセンサ15により、自車Vの案内交差点CAの通過が検出されたときに、自車Vの後方を撮像するようにバックカメラ4を制御する。
 このようにすると、運転者にとって特に認識する必要性の高い案内交差点CAに対して、通過した側から見たその全体の様子と周囲の風景を自動的にピンポイントで撮像することができる。これにより、後に再度同じ誘導経路LAを逆方向で走行する際には、当該車両後方の風景画像が、逆走行時の車両前方の風景とほぼ一致するため、その風景画像に写っている特徴的な店舗やランドマークの配置を参照して、当該案内交差点CAへの到達を目視で明確に確認することができる。
 上記実施形態における情報記録システムISにおいては、上述した構成に加えてさらに、撮像制御部44は、目的地への到着または到着間近であることを案内する誘導案内情報が出力された後、GPSセンサ15により、自車Vの目的地への到着が検出されたときに、フロントカメラ1、直前右側カメラ2、直前左側カメラ3、及びバックカメラ4の少なくとも1つに対し、撮像を行うように制御する。
 このようにすると、運転者にとって特に到着したことを認識する必要のある目的地に対して、その周囲の風景を自動的に撮像することができる。これにより、後に再度同じ目的地へ向かって走行する際には、当該目的地の周囲の風景画像に写っている特徴的な店舗やランドマークの配置を参照して、同じ目的地の到着を目視で明確に確認することができる。
 上記実施形態における情報記録システムISにおいては、上述した構成に加えてさらに、画像記憶部45は、画像データとともに、当該画像データに対応する撮像日時、撮像ポイントのポイント緯度及びポイント経度(それぞれ撮像位置情報に相当)、または撮像ポイントでの進入方位及び離脱方位(それぞれ自車方位に相当)の少なくとも一つからなる付帯情報を記憶する。
 このようにすると、情報記録システムISが、すでに記憶されている画像データを利用する際には、これら付帯情報を利用して目的とする画像データを容易に検索することができ、またその画像データについての詳細な補足情報をこれら付帯情報から得ることができる。
 なお、上記実施形態では取得した画像データ及びそれに対応する付帯情報を情報記録システムIS内部に設けた記憶媒体14cに記憶していたが、本発明はこれに限られず、例えば上記通信部13及び上記データ送信部43(データ送信手段に相当)を利用して車外に設けたサーバに、記憶媒体14cに記憶した画像データを送信するようにしてもよい。
 図13は、上記実施形態の情報記録システムISと車外のサーバを含む情報処理システムの構成例を示すシステム構成図である。
 情報処理システム200は、情報記録システムIS、ネットワーク201、基地局202、及びサーバSVで構成される。これら情報記録システムIS、サーバSV及び基地局202は、それぞれネットワーク201によって接続されており、互いに予め定められたプロトコルに従ってデータ通信を行うことができる。
 情報記録システムISは、車両Vに取り付けられているナビゲーション装置100の通信部13及びデータ送信部43の制御により基地局202との間で無線によってデータ通信を行い、ネットワーク201を経由してサーバSVへ画像データ及び付帯情報を送信する機能を有する。基地局202は、ネットワーク201に接続されており、情報記録システムISとの間で無線によりデータ通信を行う機能を有する。なお、この基地局202は、多数の車両Vにそれぞれ搭載されている情報記録システムISのいずれともデータ通信を行うことができる。
 サーバSVは、車両Vの外部に配置されたサーバコンピュータである。サーバSVは、基地局202及びネットワーク201を介して受信した画像データ及び付帯情報を記憶する機能を有する。なお、付帯情報については、情報記録システムISと同様に上記図7に示した撮像画像管理テーブルに登録される。
 この場合には、上記図8に示すナビゲーション時撮像処理のステップS45及びステップS60のそれぞれの手順において、データ送信部43により画像データ及び付帯情報をサーバに送信するようにすればよい。
 ここで、上記実施形態における情報記録システムISにおいては、上述した構成に加えてさらに、ナビゲーション装置100は、自車Vの外部に設けたサーバSVに、画像データを送信するデータ送信部43を有する。
 このようにすると、自車Vより、最新の風景画像の画像データを、固定設置されたサーバSVに提供することができる。これにより、例えば地図データMDの作成や更新のために、最新の風景画像の画像データを必要とする地図作成者などが、自ら各所へ移動して撮像せずとも、多数のナビゲーション装置100からサーバSVに集中して蓄積された画像データをその付帯情報を参照して検索し、地図作成に利用することができる。特に、付帯情報にはポイント緯度及びポイント経度が含まれているため、地図データMDにおける緯度経度データを照合して、最新の風景画像の画像データを地図データMDに割り付けることができる、等地図作成や更新の利便性を向上させることができる。よって、地図作成者などは、たとえば、リアルタイムに取得される画像データに基づいて即時に地図データMDを更新するようにすれば、当該更新された最新の風景画像を含む地図データMDをナビゲーション装置100に提供して活用させることができる。
 また、以上既に述べた以外にも、上記実施形態や各変形例による手法を適宜組み合わせて利用しても良い。
符号の説明
 1        フロントカメラ(撮像装置、前方撮像装置に相当)
 2        直前右側カメラ(撮像装置、右前方撮像装置に相当)
 3        直前左側カメラ(撮像装置、左前方撮像装置に相当)
 4        バックカメラ(撮像装置、後方撮像装置に相当)
 11       CPU
 12       カメラコントローラ
 13       通信部
 14       記憶部
 14c      記憶媒体
 15       GPSセンサ(位置検出手段に相当)
 16       GPSアンテナ
 21       ジャイロセンサ
 41       経路探索部(探索手段に相当)
 42       誘導部(誘導手段に相当)
 43       データ送信部(データ送信手段に相当)
 44       撮像制御部(制御手段に相当)
 45       画像記憶部(画像記憶手段に相当)
 46       制御部
 100      ナビゲーション装置(車両走行支援装置に相当)
 200      情報処理システム
 CA       案内交差点(誘導ポイントに相当)
 IS       情報記録システム
 LA       誘導経路(経路に相当)
 SV       サーバ
 V        車両

Claims (7)

  1.  車両に搭載された車両走行支援装置と、前記車両に設けられ、該車両の周囲の風景を撮像する撮像装置と、を有する情報記録システムであって、
     前記車両走行支援装置は、
     現在地から目的地までの経路を探索する探索手段と、
     前記車両の位置を検出する位置検出手段と、
     前記位置検出手段により検出された前記車両の位置に基づき、前記探索手段により探索された前記経路中に含まれる所定の誘導ポイントに対応して、前記車両を誘導するための案内情報(以下、誘導案内情報と称する)を出力する誘導手段と、
     前記誘導手段が出力する前記誘導案内情報と連携し、前記誘導ポイントに対応付けて前記撮像装置の撮像動作を制御する制御手段と、
     前記制御手段の制御によって前記撮像装置が撮像した画像データを記憶する画像記憶手段と、
    を有することを特徴とする情報記録システム。
  2.  前記撮像装置は、
     前記車両の前進方向を撮像する前方撮像装置を含み、
     前記制御手段は、
     前記誘導手段から、前記誘導ポイントである案内交差点に対応した前記誘導案内情報が出力されたときに、前記車両の前進方向を撮像するように前記前方撮像装置を制御することを特徴とする請求項1に記載の情報記録システム。
  3.  前記撮像装置は、
     前記車両の右前方側を撮像する右前方撮像装置と、
     前記車両の左前方側を撮像する左前方撮像装置と、
    を含み、
     前記制御手段は、
     前記誘導手段から、前記案内交差点を右折するよう案内する前記誘導案内情報が出力されたときに、前記車両の右前方側を撮像するように前記右前方撮像装置を制御し、
     前記誘導手段から、前記案内交差点を左折するよう案内する前記誘導案内情報が出力されたときに、前記車両の左前方側を撮像するように前記左前方撮像装置を制御することを特徴とする請求項2に記載の情報記録システム。
  4.  前記撮像装置は、
     前記車両の後方を撮像する後方撮像装置を含み、
     前記制御手段は、
     前記案内交差点を右折または左折するよう案内する前記誘導案内情報が出力された後、前記位置検出手段により、前記車両の前記案内交差点の通過が検出されたときに、前記車両の後方を撮像するように前記後方撮像装置を制御することを特徴とする請求項2または3に記載の情報記録システム。
  5.  前記制御手段は、
     前記目的地への到着または到着間近であることを案内する前記誘導案内情報が出力された後、前記位置検出手段により、前記車両の前記目的地への到着が検出されたときに、前記前方撮像装置、前記右前方撮像装置、前記左前方撮像装置、及び前記後方撮像装置のうち少なくとも1つに対し、撮像を行うように制御することを特徴とする請求項2~4のいずれかに記載の情報記録システム。
  6.  前記画像記憶手段は、
     前記画像データとともに、当該画像データに対応する撮像日時、撮像位置情報、または前記車両方位の少なくとも一つからなる付帯情報を記憶することを特徴とする請求項1~5のいずれかに記載の情報記録システム。
  7.  前記車両走行支援装置は、
     前記車両の外部に設けたサーバに、前記画像データを送信するデータ送信手段を有することを特徴とする請求項1~6のいずれかに記載の情報記録システム。
PCT/JP2009/055079 2009-03-16 2009-03-16 情報記録システム WO2010106626A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2011504638A JP4972227B2 (ja) 2009-03-16 2009-03-16 情報記録システム
PCT/JP2009/055079 WO2010106626A1 (ja) 2009-03-16 2009-03-16 情報記録システム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2009/055079 WO2010106626A1 (ja) 2009-03-16 2009-03-16 情報記録システム

Publications (1)

Publication Number Publication Date
WO2010106626A1 true WO2010106626A1 (ja) 2010-09-23

Family

ID=42739297

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2009/055079 WO2010106626A1 (ja) 2009-03-16 2009-03-16 情報記録システム

Country Status (2)

Country Link
JP (1) JP4972227B2 (ja)
WO (1) WO2010106626A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPWO2014002223A1 (ja) * 2012-06-28 2016-05-26 パイオニア株式会社 情報処理システム、情報処理装置、情報処理用プログラム並びに情報記録媒体及び情報処理方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003202227A (ja) * 2002-01-04 2003-07-18 Canon Inc 撮像システム
JP2005227912A (ja) * 2004-02-10 2005-08-25 Alpine Electronics Inc ナビゲーション情報の供給方法、ナビゲーション装置及びナビゲーション情報の提供システム
JP2006221362A (ja) * 2005-02-09 2006-08-24 Sanyo Electric Co Ltd ナビゲーション装置
JP2008059082A (ja) * 2006-08-29 2008-03-13 Denso Corp 交差点情報提供システム及び運転支援システム
JP2008241720A (ja) * 2008-04-21 2008-10-09 Sony Corp 経路案内方法及び経路案内装置

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003202227A (ja) * 2002-01-04 2003-07-18 Canon Inc 撮像システム
JP2005227912A (ja) * 2004-02-10 2005-08-25 Alpine Electronics Inc ナビゲーション情報の供給方法、ナビゲーション装置及びナビゲーション情報の提供システム
JP2006221362A (ja) * 2005-02-09 2006-08-24 Sanyo Electric Co Ltd ナビゲーション装置
JP2008059082A (ja) * 2006-08-29 2008-03-13 Denso Corp 交差点情報提供システム及び運転支援システム
JP2008241720A (ja) * 2008-04-21 2008-10-09 Sony Corp 経路案内方法及び経路案内装置

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPWO2014002223A1 (ja) * 2012-06-28 2016-05-26 パイオニア株式会社 情報処理システム、情報処理装置、情報処理用プログラム並びに情報記録媒体及び情報処理方法

Also Published As

Publication number Publication date
JPWO2010106626A1 (ja) 2012-09-20
JP4972227B2 (ja) 2012-07-11

Similar Documents

Publication Publication Date Title
JP4562471B2 (ja) ナビゲーション装置及び進行方向案内方法
JP4293917B2 (ja) ナビゲーション装置及び交差点案内方法
US8532917B2 (en) Method, system, and recording medium for navigating vehicle
WO2012086054A1 (ja) ナビゲーション装置、制御方法、プログラム、及び記憶媒体
JP4339178B2 (ja) 駐車場空きスペース案内装置及び駐車場空きスペース案内方法
JP2008140128A (ja) 車両検出装置
JP2006038558A (ja) カーナビゲーションシステム
JP2008039596A (ja) 情報提供装置、情報提供方法、情報提供プログラム、および記録媒体
JP2015161592A (ja) ナビゲーション装置、通信装置、サーバ装置、制御方法、プログラム及び記憶媒体
JP4489619B2 (ja) ナビゲーション装置および自車相対位置の案内方法
JP4797849B2 (ja) 運転支援画像表示システム及び車載装置
JPH11271074A (ja) 目印画像照合装置及び目印画像照合方法及びプログラム記憶媒体
JP2008230560A (ja) 駐車支援装置、駐車支援制御方法、及び、駐車支援プログラム
EP1669722A1 (en) Vehicle-mounted communication device
JPH11291991A (ja) 移動体の遠隔操縦システム
JP2016139914A (ja) 表示装置、携帯端末及び制御方法
JP6424100B2 (ja) ナビゲーションシステム、ナビゲーション装置、グラス型デバイス及び装置間連携方法
JP5702476B2 (ja) 表示装置、制御方法、プログラム、記憶媒体
JP4972227B2 (ja) 情報記録システム
JP6401925B2 (ja) 虚像表示装置、制御方法、プログラム、及び記憶媒体
JP5231595B2 (ja) ナビゲーション装置
JP2014074627A (ja) 車両用ナビゲーションシステム
JP7348724B2 (ja) 車載装置および表示方法
JP4640774B2 (ja) ナビゲーション装置および迂回経路探索時の制御方法
WO2022085059A1 (ja) 報知装置、報知方法、報知プログラム及び記録媒体

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 09841832

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 2011504638

Country of ref document: JP

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 09841832

Country of ref document: EP

Kind code of ref document: A1