JP4972227B2 - Information recording system - Google Patents

Information recording system Download PDF

Info

Publication number
JP4972227B2
JP4972227B2 JP2011504638A JP2011504638A JP4972227B2 JP 4972227 B2 JP4972227 B2 JP 4972227B2 JP 2011504638 A JP2011504638 A JP 2011504638A JP 2011504638 A JP2011504638 A JP 2011504638A JP 4972227 B2 JP4972227 B2 JP 4972227B2
Authority
JP
Japan
Prior art keywords
vehicle
guidance
imaging device
imaging
information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2011504638A
Other languages
Japanese (ja)
Other versions
JPWO2010106626A1 (en
Inventor
雄一郎 武田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Pioneer Corp
Original Assignee
Pioneer Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Pioneer Corp filed Critical Pioneer Corp
Application granted granted Critical
Publication of JP4972227B2 publication Critical patent/JP4972227B2/en
Publication of JPWO2010106626A1 publication Critical patent/JPWO2010106626A1/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34Route searching; Route guidance
    • G01C21/36Input/output arrangements for on-board computers
    • G01C21/3602Input other than that of destination using image analysis, e.g. detection of road signs, lanes, buildings, real preceding vehicles using a camera

Landscapes

  • Engineering & Computer Science (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Automation & Control Theory (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Navigation (AREA)
  • Traffic Control Systems (AREA)

Description

本発明は、現在地から目的地までの経路を探索する車両走行支援装置を備えた、情報記録システムに関する。   The present invention relates to an information recording system including a vehicle travel support device that searches for a route from a current location to a destination.

従来、車両の外部に設けた車外カメラにより車両の周囲の風景を撮像して車室内の表示部に表示し、必要に応じて撮像画像を記憶するものが知られている(例えば、特許文献1参照)。   2. Description of the Related Art Conventionally, there has been known an apparatus that captures a landscape around a vehicle with a camera outside the vehicle, displays the scenery on a display unit in a vehicle interior, and stores a captured image as necessary (for example, Patent Document 1). reference).

この従来技術では、車両の周囲状況を撮像した画像を、運転席の近くに設置した表示部に表示することにより、運転者からは死角となって確認しにくい車両付近の状況を運転席にいながらにして明瞭に確認することができる。そして、その撮像画像を記憶することで、当該車両が通過してきた経路の地図データを更新するための最新の情報として利用できたり、または事故が発生した際にはその原因を調べるための記録として参照することができる。   In this conventional technology, an image of the surrounding situation of the vehicle is displayed on a display unit installed near the driver's seat, so that the situation near the vehicle, which is difficult to check from the driver's blind spot, is kept in the driver's seat. It can be clearly confirmed. Then, by storing the captured image, it can be used as the latest information for updating the map data of the route that the vehicle has passed, or as a record for investigating the cause when an accident occurs You can refer to it.

先行技術文献Prior art documents

特開2008−241507号公報JP 2008-241507 A

従来の情報記録システムでは、車外カメラの撮像は常時または周期的に行われるか、または乗員の手動操作によって行われる。常時撮像または周期的撮像が行われる場合には、ユーザが必要とする車外風景をピンポイントで撮像することができないため、記録された膨大な画像データの中から必要な画像を探す手間が多くなり操作が煩わしくなってしまう。また、手動操作によって撮像する場合には、運転者だけ乗車している際に運転者自ら撮像操作を行わなければならず、車両の運転に支障をきたして安全性が阻害されてしまう。すなわち、従来は、ユーザが必要とする車外風景を自動的に撮像する機能がなかった。   In a conventional information recording system, imaging by a camera outside the vehicle is performed constantly or periodically, or is performed manually by an occupant. When constant imaging or periodic imaging is performed, it is not possible to pinpoint images of the scenery outside the vehicle that the user needs, so there is a lot of time and effort to search for the necessary images from the huge amount of recorded image data. Operation becomes troublesome. Further, when imaging is performed by manual operation, the driver himself must perform the imaging operation when only the driver is on board, which hinders driving of the vehicle and impairs safety. In other words, conventionally, there has been no function for automatically capturing a scene outside the vehicle required by the user.

本発明が解決しようとする課題には、上記した問題が一例として挙げられる。   The problem to be solved by the present invention includes the above-described problem as an example.

上記課題を解決するために、請求項1に記載の発明は、車両に搭載された車両走行支援装置と、前記車両に設けられ、該車両の周囲の風景を撮像する撮像装置と、を有する情報記録システムであって、前記車両走行支援装置は、現在地から目的地までの経路を探索する探索手段と、前記車両の位置を検出する位置検出手段と、前記位置検出手段により検出された前記車両の位置に基づき、前記探索手段により探索された前記経路中に含まれる所定の誘導ポイントに対応して、前記車両を誘導するための案内情報(以下、誘導案内情報と称する)を出力する誘導手段と、前記誘導手段が出力する前記誘導案内情報と連携し、前記誘導ポイントに対応付けて前記撮像装置の撮像動作を制御する制御手段と、前記制御手段の制御によって前記撮像装置が撮像した画像データを記憶する画像記憶手段と、を有し、前記撮像装置は、前記車両の前進方向を撮像する前方撮像装置を含み、前記制御手段は、前記誘導手段から、前記誘導ポイントである案内交差点に対応した前記誘導案内情報が出力されたときに、前記車両の前進方向を撮像するように前記前方撮像装置を制御し、前記位置検出手段により、前記車両の前記目的地への到着が検出されたときに、前記前方撮像装置に対し、前記車両の前進方向を撮像するように制御する。
上記課題を解決するために、請求項2に記載の発明は、車両に搭載された車両走行支援装置と、前記車両に設けられ、該車両の周囲の風景を撮像する撮像装置と、を有する情報記録システムであって、前記車両走行支援装置は、現在地から目的地までの経路を探索する探索手段と、前記車両の位置を検出する位置検出手段と、前記位置検出手段により検出された前記車両の位置に基づき、前記探索手段により探索された前記経路中に含まれる所定の誘導ポイントに対応して、前記車両を誘導するための案内情報(以下、誘導案内情報と称する)を出力する誘導手段と、前記誘導手段が出力する前記誘導案内情報と連携し、前記誘導ポイントに対応付けて前記撮像装置の撮像動作を制御する制御手段と、前記制御手段の制御によって前記撮像装置が撮像した画像データを記憶する画像記憶手段と、を有し、前記撮像装置は、前記車両の前進方向を撮像する前方撮像装置と、前記車両の右前方側を撮像する右前方撮像装置と、前記車両の左前方側を撮像する左前方撮像装置と、を含み、前記制御手段は、前記誘導手段から、前記誘導ポイントである案内交差点に対応した前記誘導案内情報が出力されたときに、前記車両の前進方向を撮像するように前記前方撮像装置を制御し、前記誘導手段から、前記案内交差点を右折するよう案内する前記誘導案内情報が出力されたときに、前記車両の右前方側を撮像するように前記右前方撮像装置を制御し、前記誘導手段から、前記案内交差点を左折するよう案内する前記誘導案内情報が出力されたときに、前記車両の左前方側を撮像するように前記左前方撮像装置を制御し、前記位置検出手段により、前記車両の前記目的地への到着が検出されたときに、前記前方撮像装置、前記右前方撮像装置、及び前記左前方撮像装置のうち少なくとも1つに対し、撮像を行うように制御する。
上記課題を解決するために、請求項3に記載の発明は、車両に搭載された車両走行支援装置と、前記車両に設けられ、該車両の周囲の風景を撮像する撮像装置と、を有する情報記録システムであって、前記車両走行支援装置は、現在地から目的地までの経路を探索する探索手段と、前記車両の位置を検出する位置検出手段と、前記位置検出手段により検出された前記車両の位置に基づき、前記探索手段により探索された前記経路中に含まれる所定の誘導ポイントに対応して、前記車両を誘導するための案内情報(以下、誘導案内情報と称する)を出力する誘導手段と、前記誘導手段が出力する前記誘導案内情報と連携し、前記誘導ポイントに対応付けて前記撮像装置の撮像動作を制御する制御手段と、前記制御手段の制御によって前記撮像装置が撮像した画像データを記憶する画像記憶手段と、を有し、前記撮像装置は、前記車両の前進方向を撮像する前方撮像装置と、前記車両の後方を撮像する後方撮像装置と、を含み、前記制御手段は、前記誘導手段から、前記誘導ポイントである案内交差点に対応した前記誘導案内情報が出力されたときに、前記車両の前進方向を撮像するように前記前方撮像装置を制御し、前記位置検出手段により、前記車両の前記案内交差点の通過が検出されたときに、前記車両の後方を撮像するように前記後方撮像装置を制御し、前記位置検出手段により、前記車両の前記目的地への到着が検出されたときに、前記前方撮像装置及び前記後方撮像装置のうち少なくとも1つに対し、撮像を行うように制御する。
上記課題を解決するために、請求項4に記載の発明は、車両に搭載された車両走行支援装置と、前記車両に設けられ、該車両の周囲の風景を撮像する撮像装置と、を有する情報記録システムであって、前記車両走行支援装置は、現在地から目的地までの経路を探索する探索手段と、前記車両の位置を検出する位置検出手段と、前記位置検出手段により検出された前記車両の位置に基づき、前記探索手段により探索された前記経路中に含まれる所定の誘導ポイントに対応して、前記車両を誘導するための案内情報(以下、誘導案内情報と称する)を出力する誘導手段と、前記誘導手段が出力する前記誘導案内情報と連携し、前記誘導ポイントに対応付けて前記撮像装置の撮像動作を制御する制御手段と、前記制御手段の制御によって前記撮像装置が撮像した画像データを記憶する画像記憶手段と、を有し、前記撮像装置は、前記車両の前進方向を撮像する前方撮像装置と、前記車両の右前方側を撮像する右前方撮像装置と、前記車両の左前方側を撮像する左前方撮像装置と、前記車両の後方を撮像する後方撮像装置と、を含み、前記制御手段は、前記誘導手段から、前記誘導ポイントである案内交差点に対応した前記誘導案内情報が出力されたときに、前記車両の前進方向を撮像するように前記前方撮像装置を制御し、前記誘導手段から、前記案内交差点を右折するよう案内する前記誘導案内情報が出力されたときに、前記車両の右前方側を撮像するように前記右前方撮像装置を制御し、前記誘導手段から、前記案内交差点を左折するよう案内する前記誘導案内情報が出力されたときに、前記車両の左前方側を撮像するように前記左前方撮像装置を制御し、前記位置検出手段により、前記車両の前記案内交差点の通過が検出されたときに、前記車両の後方を撮像するように前記後方撮像装置を制御し、前記位置検出手段により、前記車両の前記目的地への到着が検出されたときに、前記前方撮像装置、前記右前方撮像装置、前記左前方撮像装置、及び前記後方撮像装置のうち少なくとも1つに対し、撮像を行うように制御する。
In order to solve the above-described problem, an invention according to claim 1 is an information including: a vehicle travel support device mounted on a vehicle; and an imaging device that is provided in the vehicle and images a landscape around the vehicle. In the recording system, the vehicle travel support device includes a search unit that searches for a route from a current position to a destination, a position detection unit that detects a position of the vehicle, and a vehicle that is detected by the position detection unit. Guidance means for outputting guidance information (hereinafter referred to as guidance guidance information) for guiding the vehicle in accordance with a predetermined guidance point included in the route searched by the search means based on the position; A control unit that controls the imaging operation of the imaging apparatus in association with the guidance point in cooperation with the guidance information output by the guidance unit, and the imaging device is controlled by the control unit. There have a, an image storage means for storing image data picked up, the imaging device includes a front imaging device for imaging a forward direction of the vehicle, said control means from said guide means, with said guide point When the guidance information corresponding to a certain guidance intersection is output, the front imaging device is controlled to image the forward direction of the vehicle, and the position detection means causes the vehicle to arrive at the destination. Is detected, the front imaging device is controlled to image the forward direction of the vehicle.
In order to solve the above-described problem, an invention according to claim 2 is an information including: a vehicle travel support device mounted on a vehicle; and an imaging device that is provided in the vehicle and images a landscape around the vehicle. In the recording system, the vehicle travel support device includes a search unit that searches for a route from a current position to a destination, a position detection unit that detects a position of the vehicle, and a vehicle that is detected by the position detection unit. Guidance means for outputting guidance information (hereinafter referred to as guidance guidance information) for guiding the vehicle in accordance with a predetermined guidance point included in the route searched by the search means based on the position; A control unit that controls the imaging operation of the imaging apparatus in association with the guidance point in cooperation with the guidance information output by the guidance unit, and the imaging device is controlled by the control unit. Image storage means for storing image data captured by the camera, wherein the imaging device captures a forward imaging device that images the forward direction of the vehicle, a right forward imaging device that captures the right front side of the vehicle, and A left front imaging device that images a left front side of the vehicle, and the control means outputs the guidance information corresponding to the guidance intersection that is the guidance point when the guidance means outputs the guidance guidance information. The front imaging device is controlled so as to image the forward direction of the vehicle, and the right front side of the vehicle is imaged when the guidance information for guiding the guidance intersection to turn right is output from the guidance means. The front right imaging device is controlled so that the left front side of the vehicle is imaged when the guidance guidance information for guiding the left turn at the guidance intersection is output from the guidance means. At least one of the front imaging device, the right front imaging device, and the left front imaging device is controlled when the left front imaging device is controlled and the position detection unit detects arrival of the vehicle at the destination. One is controlled to perform imaging.
In order to solve the above-described problem, an invention according to claim 3 is an information including: a vehicle travel support device mounted on a vehicle; and an imaging device that is provided in the vehicle and images a landscape around the vehicle. In the recording system, the vehicle travel support device includes a search unit that searches for a route from a current position to a destination, a position detection unit that detects a position of the vehicle, and a vehicle that is detected by the position detection unit. Guidance means for outputting guidance information (hereinafter referred to as guidance guidance information) for guiding the vehicle in accordance with a predetermined guidance point included in the route searched by the search means based on the position; A control unit that controls the imaging operation of the imaging apparatus in association with the guidance point in cooperation with the guidance information output by the guidance unit, and the imaging device is controlled by the control unit. Image storage means for storing image data captured by the camera, and the imaging device includes a front imaging device that images the forward direction of the vehicle, and a rear imaging device that images the rear of the vehicle, The control means controls the front imaging device to image the forward direction of the vehicle when the guidance information corresponding to the guidance intersection that is the guidance point is output from the guidance means, When the position detecting means detects the passage of the vehicle at the guidance intersection, the rear image pickup device is controlled to image the rear of the vehicle, and the position detecting means returns to the destination of the vehicle. When at least one of the front imaging device and the rear imaging device is detected, control is performed so that imaging is performed.
In order to solve the above-mentioned problem, the invention according to claim 4 is an information including: a vehicle travel support device mounted on a vehicle; and an imaging device that is provided in the vehicle and images a landscape around the vehicle. In the recording system, the vehicle travel support device includes a search unit that searches for a route from a current position to a destination, a position detection unit that detects a position of the vehicle, and a vehicle that is detected by the position detection unit. Guidance means for outputting guidance information (hereinafter referred to as guidance guidance information) for guiding the vehicle in accordance with a predetermined guidance point included in the route searched by the search means based on the position; A control unit that controls the imaging operation of the imaging apparatus in association with the guidance point in cooperation with the guidance information output by the guidance unit, and the imaging device is controlled by the control unit. Image storage means for storing image data captured by the camera, wherein the imaging device captures a forward imaging device that images the forward direction of the vehicle, a right forward imaging device that captures the right front side of the vehicle, and A left front imaging device that images the left front side of the vehicle, and a rear imaging device that images the rear of the vehicle, wherein the control means corresponds to the guidance intersection that is the guidance point from the guidance means. When the guidance information is output, the front imaging device is controlled to image the forward direction of the vehicle, and the guidance information for guiding the guidance intersection to turn right is output from the guidance means. The right front imaging device is controlled so that the right front side of the vehicle is imaged, and the guidance information for guiding the left turn at the guidance intersection is output from the guidance means. The left front imaging device is controlled so as to image the left front side of the vehicle, and the rear of the vehicle is imaged when the position detecting means detects passage of the vehicle at the guidance intersection. And when the arrival of the vehicle to the destination is detected by the position detection means, the front imaging device, the right front imaging device, the left front imaging device, and the Control is performed so that at least one of the rear imaging devices performs imaging.

情報記録システムの適用対象となる車両の構成例を示す斜視図である。It is a perspective view which shows the structural example of the vehicle used as the application object of an information recording system. 車両における各カメラの配置とそれらの撮像視野を示す平面図である。It is a top view which shows arrangement | positioning of each camera in a vehicle, and those imaging visual fields. 車両が搭載する情報記録システムの電気的なハードウェア構成例を示すブロック図である。It is a block diagram which shows the electrical hardware structural example of the information recording system which a vehicle mounts. 図3に示す情報記録システムにおいて動作するナビゲーションプログラムのソフトウェア構成例を示すブロック図である。It is a block diagram which shows the software structural example of the navigation program which operate | moves in the information recording system shown in FIG. 上記撮像制御部の制御によって各カメラが撮像するタイミングの一例を説明する図である。It is a figure explaining an example of the timing which each camera images by control of the said imaging control part. 同じ撮像ポイントで撮像した3つの画像データをまとめて記憶することを観念的に表した図である。It is the figure which represented notionally storing three image data imaged at the same imaging point collectively. 付帯情報を記録管理する撮像画像管理テーブルの構成例を示す図である。It is a figure which shows the structural example of the captured image management table which records and manages incidental information. ナビゲーション時撮像処理の手順例を示すフローチャートである。It is a flowchart which shows the example of a procedure of the imaging process at the time of navigation. 撮像対象の案内交差点付近を表示する地図画像の一例を示す図である。It is a figure which shows an example of the map image which displays the guidance intersection vicinity of imaging object. 案内交差点の100m手前で撮像した車両前方の風景画像の一例を示す図である。It is a figure which shows an example of the landscape image ahead of the vehicle imaged 100m before the guidance intersection. 案内交差点の進入位置で撮像した車両右前方側の風景画像の一例を示す図である。It is a figure which shows an example of the landscape image of the vehicle right front side imaged in the approach position of the guidance intersection. 案内交差点の通過離脱位置で撮像した車両後方の風景画像の一例を示す図である。It is a figure which shows an example of the landscape image of the vehicle back imaged in the passage leaving position of a guidance intersection. 情報記録システムと車外のサーバを含む情報処理システムの構成例を示すシステム構成図である。It is a system configuration diagram showing a configuration example of an information processing system including an information recording system and a server outside the vehicle.

発明を実施するための形態BEST MODE FOR CARRYING OUT THE INVENTION

以下、本発明の一実施の形態を図面を参照しつつ説明する。   Hereinafter, an embodiment of the present invention will be described with reference to the drawings.

図1は、本実施形態の情報記録システムの適用対象となる車両の構成例を示す斜視図である。   FIG. 1 is a perspective view illustrating a configuration example of a vehicle to which the information recording system of the present embodiment is applied.

この図1において、車両Vには、車内におけるバックミラー(ルームミラー)101の裏面に設けられたフロントカメラ1と、車両Vの前方で左右対称位置に設けられた直前右側カメラ2及び直前左側カメラ3と、車両Vの後方に設けられた後述の図2に示すバックカメラ4(以下適宜、単にカメラ1,カメラ2,…と称する)が設けられている。   In FIG. 1, a vehicle V includes a front camera 1 provided on the rear surface of a rearview mirror (room mirror) 101 in the vehicle, a right front camera 2 and a right front camera provided in front of the vehicle V in a symmetrical position. 3 and a back camera 4 (hereinafter referred to simply as camera 1, camera 2,...) Shown in FIG.

図2は、車両における各カメラ1〜4の配置とそれらの撮像視野を示す平面図である。   FIG. 2 is a plan view showing the arrangement of the cameras 1 to 4 in the vehicle and their imaging field of view.

この図2において、各カメラ1〜4の視野方向は固定されており、フロントカメラ1は車両Vの前進方向側正面を、直前右側カメラ2は車両Vの右前方側を、直前左側カメラ3は車両Vの左前方側を、バックカメラ4は車両Vの後方をそれぞれ撮像する。   In FIG. 2, the viewing directions of the cameras 1 to 4 are fixed, the front camera 1 is the front in the forward direction of the vehicle V, the right front camera 2 is the front right side of the vehicle V, and the front left camera 3 is The back camera 4 images the left front side of the vehicle V and the rear side of the vehicle V, respectively.

図3は、本実施形態の情報記録システムISの電気的なハードウェア構成例を示すブロック図である。   FIG. 3 is a block diagram showing an example of an electrical hardware configuration of the information recording system IS of the present embodiment.

この情報記録システムISは、車両Vの走行支援を行うナビゲーション装置100と、フロントカメラ1と、直前右側カメラ2と、直前左側カメラ3と、バックカメラ4と、GPSセンサ15と、GPSアンテナ16と、操作部17と、ディスプレイ18と、マイク19と、スピーカ20と、ジャイロセンサ21とを有している。ナビゲーション装置100は、CPU11、カメラコントローラ12、通信部13、及び記憶部14を備えている。   The information recording system IS includes a navigation device 100 that supports driving of the vehicle V, a front camera 1, a right front camera 2, a right front camera 3, a back camera 4, a GPS sensor 15, and a GPS antenna 16. , An operation unit 17, a display 18, a microphone 19, a speaker 20, and a gyro sensor 21. The navigation device 100 includes a CPU 11, a camera controller 12, a communication unit 13, and a storage unit 14.

CPU11は、所定のプログラムの動作によって各種の演算を行うとともに、他の各部との間でデータの交換や各種の制御指示を出力することで、ナビゲーション装置100を含む情報記録システムIS全体を制御する機能を有する。   The CPU 11 controls the entire information recording system IS including the navigation device 100 by performing various calculations according to the operation of a predetermined program and exchanging data with various other units and outputting various control instructions. It has a function.

フロントカメラ1、直前右側カメラ2、直前左側カメラ3、及びバックカメラ4は撮像装置に相当し、上述したようにそれぞれの固定された視野方向で車両Vの周囲の風景を撮像し画像データとして出力する機能を有する。カメラコントローラ12は、これら各カメラ1〜4の撮像動作を制御するとともに、それぞれから入力された画像データをCPU11に出力する機能を有する。   The front camera 1, the right front camera 2, the right front camera 3, and the back camera 4 correspond to an imaging device, and as described above, capture the landscape around the vehicle V in each fixed viewing direction and output it as image data. Has the function of The camera controller 12 has a function of controlling the imaging operation of each of the cameras 1 to 4 and outputting image data input from each of them to the CPU 11.

通信部13は、車両外部に設けられたサーバ(後述の図12参照)との間で無線通信を介してデータの送受を行う機能を有する。この通信部13は、サーバに対して、上記各カメラ1〜4で撮像した画像データとともにそれに関係する付帯情報(後述の図7で詳述する)を送信する。   The communication unit 13 has a function of transmitting / receiving data to / from a server (see FIG. 12 described later) provided outside the vehicle via wireless communication. The communication unit 13 transmits, to the server, image data captured by the cameras 1 to 4 and accompanying information (detailed in FIG. 7 described later) related thereto.

記憶部14は、ROM14a、RAM14b及び記憶媒体14cを有する。ROM14aは、後述する各種の処理プログラムやその他必要な情報が予め書き込まれた情報記憶媒体である。RAM14bは、上記各種のプログラムを実行する上で必要な情報の書き込み及び読み出しが行われる情報記憶媒体である。記憶媒体14cは、例えばフラッシュメモリ、ハードディスクなどの情報記憶媒体である。この記憶媒体14cは、表示に用いる地図に関する地図データや、各カメラ1〜4で撮像した画像データとその付帯情報を不揮発的に記憶する機能を有する。   The storage unit 14 includes a ROM 14a, a RAM 14b, and a storage medium 14c. The ROM 14a is an information storage medium in which various processing programs to be described later and other necessary information are written in advance. The RAM 14b is an information storage medium on which information necessary for executing the various programs is written and read. The storage medium 14c is an information storage medium such as a flash memory or a hard disk. The storage medium 14c has a function of storing, in a nonvolatile manner, map data relating to a map used for display, image data captured by the cameras 1 to 4 and associated information.

GPSセンサ15は位置検出手段に相当し、複数のGPS衛星からの電波をGPSアンテナ16を介して受信して演算を行い、測位を行う機能を有する。このGPSセンサ15は、例えば緯度、経度、高度及び進行方位のいずれかまたはこれらいずれかの組み合わせの測位データを生成する。具体的には、このGPSセンサ15は、例えば同時に観測した4機の衛星までの疑似距離を測定し、これら4機の衛星までの疑似距離の差に基づいて、車両Vの現在地の測位を行う機能を有する。   The GPS sensor 15 corresponds to position detection means, and has a function of receiving radio waves from a plurality of GPS satellites via the GPS antenna 16 and performing calculations to perform positioning. The GPS sensor 15 generates positioning data of any one of latitude, longitude, altitude, and traveling direction, or any combination thereof. Specifically, the GPS sensor 15 measures, for example, pseudo distances to four satellites observed at the same time, and measures the current location of the vehicle V based on the difference in pseudo distances to these four satellites. It has a function.

操作部17は、運転者や同乗者など乗員による入力操作に応じて各操作信号をCPU11に出力する機能を有する。   The operation unit 17 has a function of outputting each operation signal to the CPU 11 in accordance with an input operation by an occupant such as a driver or a passenger.

ディスプレイ18は、上記地図データや関係する各種の地図情報を組み合わせて構成される地図画像を表示するとともに、各種のメッセージ等を表示する機能を有する。   The display 18 has a function of displaying a map image formed by combining the map data and various related map information and displaying various messages.

マイク19は、車両Vの乗員が発した会話音声などの音声情報を入力する機能を有する。また、スピーカ20は、CPU11の制御によって音を出力する機能を有する。   The microphone 19 has a function of inputting voice information such as a conversation voice uttered by an occupant of the vehicle V. The speaker 20 has a function of outputting sound under the control of the CPU 11.

ジャイロセンサ21は、例えば車両Vの進行方向の検出を行う機能を有する。このジャイロセンサ21は、車両Vの方向変化に伴う角速度データを出力する角速度センサの一種である。   The gyro sensor 21 has a function of detecting the traveling direction of the vehicle V, for example. The gyro sensor 21 is a kind of angular velocity sensor that outputs angular velocity data accompanying a change in the direction of the vehicle V.

図4は、図3に示すナビゲーション装置100において動作するナビゲーションプログラムのソフトウェア構成例を示すブロック図である。
ナビゲーションプログラムは、その機能として経路探索部41、誘導部42、データ送信部43、撮像制御部44、画像記憶部45、及び制御部46を有し、後述する各機能をナビゲーション装置100を含む記録システムISにおいて実行する。
FIG. 4 is a block diagram illustrating a software configuration example of a navigation program that operates in the navigation device 100 illustrated in FIG. 3.
The navigation program has a route search unit 41, a guidance unit 42, a data transmission unit 43, an imaging control unit 44, an image storage unit 45, and a control unit 46 as its functions, and records each function described later including the navigation device 100. Execute in system IS.

経路探索部41は探索手段に相当し、現在地から目的地までの経路を探索する機能を有する。データ送信部43はデータ送信手段に相当し、各カメラ1〜4が撮像した画像データとその付帯情報を外部のサーバに送信する。   The route search unit 41 corresponds to search means and has a function of searching for a route from the current location to the destination. The data transmission unit 43 corresponds to a data transmission unit, and transmits the image data captured by the cameras 1 to 4 and the accompanying information to an external server.

誘導部42は誘導手段に相当し、地図データMDに基づく地図上に、自車の現在地から目的地までの初期の誘導経路と上記の回避経路を重ねてディスプレイ18に表示させつつ誘導する。このとき、自車が誘導経路上に沿って右折または左折すべき交差点(以下、案内交差点という)の付近に到達した際には、右左折の指示などの誘導案内情報をスピーカ20による音声またはディスプレイ18での表示により出力する。また、状況によっては各カメラ1〜4の撮像画像も重ねて表示させる。   The guide unit 42 corresponds to guide means, and guides the display 18 by displaying the initial guide route from the current location of the vehicle to the destination on the map based on the map data MD and the above avoidance route. At this time, when the vehicle reaches the vicinity of the intersection to be turned right or left along the guidance route (hereinafter referred to as a guidance intersection), guidance guidance information such as a right / left turn instruction is displayed by voice or display by the speaker 20. It outputs by the display in 18. Depending on the situation, the captured images of the cameras 1 to 4 are also displayed in an overlapping manner.

撮像制御部44は制御手段に相当し、上記誘導部42が出力する誘導案内情報と連携して各カメラ1〜4の撮像動作を制御する。具体的には、誘導部42から誘導案内情報が出力されたタイミングで、当該誘導案内情報の内容に対応するカメラを選択して撮像を行い(後述の図5で詳述する)、画像データFDを取得する。   The imaging control unit 44 corresponds to a control unit, and controls the imaging operation of each of the cameras 1 to 4 in cooperation with the guidance information output from the guidance unit 42. Specifically, at the timing when the guidance information is output from the guidance unit 42, a camera corresponding to the content of the guidance information is selected and imaged (detailed in FIG. 5 described later), and the image data FD is selected. To get.

画像記憶部45は画像記憶手段に相当し、上記撮像制御部44により取得された画像データFDを、それに関連する付帯情報とともに上記記憶部14の記憶媒体14cに記憶する。   The image storage unit 45 corresponds to an image storage unit, and stores the image data FD acquired by the imaging control unit 44 in the storage medium 14c of the storage unit 14 together with associated information.

制御部46は、上述した経路探索部41、誘導部42、データ送信部43、撮像制御部44、及び画像記憶部45の各部との間でデータの送受と指示命令の出力を行い、ナビゲーションプログラム全体の処理を制御する。   The control unit 46 transmits / receives data and outputs instruction commands to / from each of the route search unit 41, the guidance unit 42, the data transmission unit 43, the imaging control unit 44, and the image storage unit 45 described above, and a navigation program. Control the whole process.

図5は、上記撮像制御部44の制御によって各カメラ1〜4が撮像するタイミングの一例を説明する図である。この図5においては、図中の縦方向に配置する車線L1と、図中の横方向に配置する車線L2とが交差する交差点Cの付近の地図画像を模式的に示しており、図示する例では、自己の車両V(以下適宜、自車と称する)が縦方向車線L1の図中下側から上側の交差点Cに向かって走行し、この交差点Cで右折する挙動を示している。   FIG. 5 is a diagram illustrating an example of timing at which each of the cameras 1 to 4 takes an image under the control of the imaging control unit 44. In this FIG. 5, the map image of the vicinity of the intersection C where the lane L1 arranged in the vertical direction in the figure and the lane L2 arranged in the horizontal direction in the figure intersect is schematically shown. The vehicle V (hereinafter referred to as the own vehicle as appropriate) travels from the lower side of the vertical lane L1 toward the upper intersection C and turns right at the intersection C.

本実施形態の情報記録システムISでは、この場合、まず自車Vが交差点Cから手前に100mで離間した位置に到達した際に、撮像視野F1を車両前方に向けているフロントカメラ1を作動させて、これから進入しようとする交差点C全体とその周囲を含めた自車Vの前方の風景を撮像する。そして、交差点Cに進入する際には、自車Vが曲がる方向(右折方向)と同じ方向で撮像視野F2を右前方側に向けている直前右側カメラ2を作動させて、自車Vが曲がろうとしている車線L2の入り口の風景を撮像する。さらに、交差点Cを通過した際には、撮像視野F3を車両後方に向けているバックカメラ4を作動させて、通過したばかりの交差点Cを含めた自車Vの後方の風景を撮像する。なお、自車Vが交差点Cを左折する場合には、交差点Cに進入する際に、その左折方向と同じ方向で撮像視野を左前方側に向けている直前左側カメラ3を作動させて、自車Vが曲がろうとしている車線L2の入り口の風景を撮像する。   In this case, in the information recording system IS of the present embodiment, when the host vehicle V first reaches a position 100 m away from the intersection C, the front camera 1 with the imaging field of view F1 facing the front of the vehicle is operated. Then, an image of the scenery in front of the vehicle V including the entire intersection C to be entered and its surroundings is taken. Then, when entering the intersection C, the right camera 2 immediately before the imaging field of view F2 is directed to the front right side in the same direction as the direction of turning of the own vehicle V (right turn direction) is operated, and the own vehicle V is bent. The scenery at the entrance of the lane L2 about to be taken is imaged. Further, when the vehicle passes through the intersection C, the back camera 4 with the imaging field of view F3 directed toward the rear of the vehicle is operated to image the landscape behind the host vehicle V including the intersection C just passed. When the vehicle V makes a left turn at the intersection C, when the vehicle V enters the intersection C, it operates the left camera 3 just before the imaging field of view is directed to the front left side in the same direction as the left turn direction. The scenery of the entrance of the lane L2 where the vehicle V is going to turn is imaged.

このようにして、撮像制御部44は、1つの交差点Cに対して3回の撮像を行うよう制御する。そして本実施形態では、上記誘導部42が自車Vに対して右折または左折するよう誘導案内情報を出力する案内交差点に対して上記の撮像動作を行う。つまり誘導経路上の交差点であっても直進するだけの交差点では撮像動作を行わないものとする。なお、直進するだけでの交差点でも、直進の旨の誘導案内情報を出力する交差点であれば、撮像を行う(例えば交差点Cの進入時にカメラ2,3の両方を用いて撮像し、通過後にバックカメラ4で上記同様の振り返り撮像を行う)ようにしてもよい。また、本実施形態では、自車Vが目的地に到着した際にも全てのカメラ1〜4で自車Vの周囲の風景を撮像する。   In this way, the imaging control unit 44 controls to perform imaging three times for one intersection C. In the present embodiment, the above-described imaging operation is performed on a guidance intersection that outputs guidance guidance information so that the guidance unit 42 turns right or left with respect to the vehicle V. That is, even if it is an intersection on the guidance route, an imaging operation is not performed at an intersection that just goes straight. Note that even if an intersection is just going straight, if it is an intersection that outputs guidance information indicating that the vehicle is going straight, take an image (for example, take an image using both cameras 2 and 3 when entering intersection C, The camera 4 may be used to look back in the same manner as described above. Further, in the present embodiment, even when the host vehicle V arrives at the destination, the scenery around the host vehicle V is imaged by all the cameras 1 to 4.

そして、画像記憶部45は、上記撮像制御部44により取得した複数の画像データを、図6に示すように同じ案内交差点または目的地に対応する画像データどうしを1セットにまとめて記憶媒体14cに記憶させる。このとき、各画像データは、それを撮像したカメラに対応したファイル名で記憶される。つまり、図示する例のように、フロントカメラ1で撮像した車両前方の画像データDSのファイル名は「Straight」となり、直前右側カメラ2で撮像した車両右前方側の画像データDRのファイル名は「Right」となり、バックカメラ4で撮像した車両後方の画像データDBのファイル名は「Back」となる。なお、左折した場合には、「Right」の代わりに直前左側カメラ3で撮像した車両左前方側の画像データの「Left」が記憶される。   Then, the image storage unit 45 collects a plurality of image data acquired by the imaging control unit 44 as a set of image data corresponding to the same guidance intersection or destination as shown in FIG. Remember me. At this time, each image data is stored with a file name corresponding to the camera that captured the image data. That is, as shown in the example, the file name of the image data DS in front of the vehicle imaged by the front camera 1 is “Stright”, and the file name of the image data DR in the right front side of the vehicle imaged by the right camera 2 is “ “Right”, and the file name of the image data DB behind the vehicle imaged by the back camera 4 is “Back”. In the case of a left turn, instead of “Right”, “Left” of the image data on the left front side of the vehicle imaged by the immediately preceding left camera 3 is stored.

また、特に図示しないが、上述したように、自車Vが目的地に到着して全てのカメラ1〜4で自車Vの周囲の風景を撮像した場合には、「Straight」、「Right」、「Left」、「Back」の4つの画像データが1セットにまとめられて記憶される。   Although not shown in particular, as described above, when the host vehicle V arrives at the destination and all the cameras 1 to 4 capture the scenery around the host vehicle V, “Stright” and “Right” , “Left” and “Back” are stored in one set.

また、上述したように画像記憶部45は、これら画像データのセットとともにその撮像地点に対応する付帯情報も合わせて記憶媒体14cに記憶する。図7は、この付帯情報を記録管理する撮像画像管理テーブルの構成例を示す図である。   Further, as described above, the image storage unit 45 stores the set of the image data together with the accompanying information corresponding to the imaging point in the storage medium 14c. FIG. 7 is a diagram showing a configuration example of a captured image management table for recording and managing the accompanying information.

この図7に示す例の撮像画像管理テーブルにおいては、撮像動作を行った案内交差点または目的地の各撮像ポイントに対応して登録順の通し番号で設定された撮像ポイント番号の項目(図中最も左端の「No.」の項目)が設けられている。そして、各撮像ポイント番号に対応して、何月日及び時間で表される撮像日時、当該撮像ポイントである案内交差点または目的地の位置情報であるポイント緯度及びポイント経度、当該撮像ポイントに自車Vが進入した際の進入方位及び自車Vが通過した際の離脱方位、対応する画像データのセットが記憶媒体14cに記憶されている領域を示す記憶アドレス、が付帯情報として記録されている。   In the captured image management table of the example shown in FIG. 7, the item of the imaging point number set by the serial number in the registration order corresponding to each imaging point at the guidance intersection or the destination where the imaging operation was performed (the leftmost end in the figure). Item "No.") is provided. Then, corresponding to each imaging point number, the imaging date and time represented by the month and day, the point latitude and the longitude that are the location information of the guidance intersection or destination that is the imaging point, the vehicle at the imaging point An approach direction when V enters, a departure direction when the host vehicle V passes, and a storage address indicating a region where a corresponding set of image data is stored in the storage medium 14c are recorded as supplementary information.

情報記録システムISが、すでに記憶媒体14cに記憶されている画像データを利用する際には、この撮像画像管理テーブルに記録されている付帯情報を利用して目的とする画像データを容易に検索することができ、またその画像データについての詳細な補足情報をこの撮像画像管理テーブルから得ることができる。   When the information recording system IS uses the image data already stored in the storage medium 14c, the target image data is easily retrieved using the supplementary information recorded in the captured image management table. In addition, detailed supplementary information about the image data can be obtained from the captured image management table.

図8は、ナビゲーション時撮像処理の手順例を示すフローチャートである。このナビゲーション時撮像処理は、上記ナビゲーションプログラムがCPU11の制御によって動作することにより実現される手順を含んでいる。なお、このフローは、経路探索部41が設定した誘導経路に従って誘導部42が誘導を開始した際に、当該誘導部42の誘導処理と並行して実行される。   FIG. 8 is a flowchart illustrating a procedure example of the imaging process during navigation. This navigation imaging process includes a procedure realized by the navigation program operating under the control of the CPU 11. This flow is executed in parallel with the guidance process of the guidance unit 42 when the guidance unit 42 starts guidance according to the guidance route set by the route search unit 41.

この図8において、まずステップS5では、自車Vが案内交差点CA(後述の図9〜12参照)から100m手前の位置に到達した旨の誘導案内情報が誘導部42から出力(音声または表示)されたか否かの判定を行う。当該誘導案内情報が出力されていない場合、判定は満たされず、後述するステップS50へ移る。一方、当該誘導案内情報が出力されている場合、判定が満たされ、次のステップS10へ移る。   In FIG. 8, first, in step S5, guidance guidance information indicating that the vehicle V has reached a position 100 m before the guidance intersection CA (see FIGS. 9 to 12 described later) is output (voice or display). It is determined whether or not it has been done. If the guidance information is not output, the determination is not satisfied, and the routine goes to Step S50 described later. On the other hand, when the said guidance information is output, determination is satisfy | filled and it moves to the following step S10.

ステップS10では、上記カメラコントローラ12の制御によりフロントカメラ1で車両前方の風景を撮像する(後述の図10参照)。   In step S10, the front camera 1 captures a scene in front of the vehicle under the control of the camera controller 12 (see FIG. 10 described later).

次にステップS15へ移り、誘導部42から案内交差点CAでの進行方向案内、つまり右折または左折の旨の誘導案内情報が出力されたか否かを判定し、まだ進行方向案内の出力が確認されていない場合には判定を繰り返してループ待機する。そして進行方向案内の出力が確認された際には、次のステップS20へ移る。なお、この進行方向案内が誘導部42から出力された時点では、自車Vが案内交差点CAの進入位置付近に到達していることになる。   Next, the process proceeds to step S15, where it is determined whether or not guidance direction information at the guidance intersection CA, that is, guidance information indicating a right turn or a left turn, is output from the guidance unit 42, and the output of the direction guidance has been confirmed. If not, the determination is repeated and the loop is waited. When the output of the traveling direction guidance is confirmed, the process proceeds to the next step S20. Note that when the traveling direction guidance is output from the guide section 42, the host vehicle V has reached the vicinity of the approach position of the guidance intersection CA.

ステップS20では、上記ステップS15で確認された進行方向案内の内容が、右折と左折のどちらを指示するものであるか判定する。右折を指示する内容である場合、ステップS25へ移り、上記カメラコントローラ12の制御により直前右側カメラ2で自車Vの右前方側の風景を撮像する(後述の図11参照)。なお、この際には直前右側カメラ2による撮像と同時に、ジャイロセンサ21の検出値から自車Vの進入方位も測定される。そしてステップS35へ移る。   In step S20, it is determined whether the content of the traveling direction guidance confirmed in step S15 indicates a right turn or a left turn. If the content indicates a right turn, the process proceeds to step S25, and the right front camera 2 takes an image of the landscape on the right front side of the host vehicle V under the control of the camera controller 12 (see FIG. 11 described later). At this time, the approach direction of the vehicle V is also measured from the detection value of the gyro sensor 21 simultaneously with the imaging by the right front camera 2. Then, the process proceeds to step S35.

また一方、上記ステップS20の判定において、進行方向案内の内容が左折を指示する内容である場合、ステップS30へ移り、上記カメラコントローラ12の制御により直前左側カメラ3で自車Vの左前方側の風景を撮像する。なお、この際にもジャイロセンサ21の検出値から自車Vの進入方位が測定される。そしてステップS35へ移る。   On the other hand, if it is determined in step S20 that the content of the direction of travel guidance is that of instructing a left turn, the process proceeds to step S30. Capture the landscape. In this case also, the approach direction of the vehicle V is measured from the detection value of the gyro sensor 21. Then, the process proceeds to step S35.

ステップS35では、自車Vが案内交差点CAを通過したか(言い換えればGPSセンサ15により検出される自車Vの位置が案内交差点CAを通過した位置にあるか否か)を判定し、まだ通過していない場合には判定を繰り返してループ待機する。そして通過完了が確認された際には、次のステップS40へ移る。なお、この通過完了が確認された時点では、案内交差点CAが自車Vの後方に位置することになる。   In step S35, it is determined whether or not the vehicle V has passed the guidance intersection CA (in other words, whether or not the position of the vehicle V detected by the GPS sensor 15 is at a position that has passed the guidance intersection CA), and has yet to pass. If not, the determination is repeated and the loop waits. When the passage completion is confirmed, the process proceeds to the next step S40. Note that when the completion of the passage is confirmed, the guidance intersection CA is located behind the host vehicle V.

ステップS40では、上記カメラコントローラ12の制御によりバックカメラ4で自車Vの後方の風景を撮像する(後述の図12参照)。なお、この際にはバックカメラ4による撮像と同時に、ジャイロセンサ21の検出値から自車Vの離脱方位も測定される。   In step S40, the back camera 4 captures a landscape behind the host vehicle V under the control of the camera controller 12 (see FIG. 12 described later). At this time, simultaneously with the imaging by the back camera 4, the departure direction of the host vehicle V is also measured from the detection value of the gyro sensor 21.

次にステップS45へ移り、上記ステップS10の撮像で取得した車両前方の画像データと、上記ステップS25またはステップS30の撮像で取得した車両前方の右側または左側の画像データと、上記ステップS45の撮像で取得した車両後方の画像データの3つの画像データをまとめて記憶媒体14cの所定の記憶領域に記録し、それに関連する付帯情報を撮像画像管理テーブルに登録する。そして、次のステップS50へ移る。   Next, the process proceeds to step S45, where the image data in front of the vehicle acquired by imaging in step S10, the image data in the right or left side in front of the vehicle acquired in imaging in step S25 or step S30, and the imaging in step S45. The acquired three pieces of image data of the vehicle rear image data are collectively recorded in a predetermined storage area of the storage medium 14c, and incidental information related thereto is registered in the captured image management table. Then, the process proceeds to next Step S50.

なお、付帯情報として登録する撮像日時は上記ステップS10での車両前方の撮像を行った際の時間でもよいし、上記ステップS40での車両後方の撮像を行った際の時間でもよい。また、ポイント緯度及びポイント経度は、誘導部42が誘導案内情報した案内交差点CAの測位情報を登録し、進入方位は上記ステップS25またはステップS30でのジャイロセンサ21の検出値により算出された方位を、離脱方位は上記ステップS40でのジャイロセンサ21の検出値により算出された方位をそれぞれ登録する。   Note that the imaging date and time registered as supplementary information may be the time when imaging the front of the vehicle in step S10 or the time when imaging the rear of the vehicle in step S40. In addition, the latitude and the longitude of the point register the positioning information of the guidance intersection CA guided by the guidance unit 42, and the approach direction is the direction calculated by the detection value of the gyro sensor 21 in step S25 or step S30. As the leaving direction, the direction calculated based on the detection value of the gyro sensor 21 in step S40 is registered.

ステップS50では、自車Vが目的地に到着した(または到着間近である)旨の誘導案内情報が出力された後、実際に自車Vが目的地に到着したか(言い換えればGPSセンサ15により検出される自車Vの位置が目的地と一致したか否か)の判定を行う。目的地に到着していない場合、判定は満たされず、ステップS5に戻って同様の手順を繰り返す。一方、目的地に到着した場合、判定が満たされ、次のステップS55へ移る。   In step S50, after the guidance information indicating that the host vehicle V has arrived at the destination (or is about to arrive) is output, whether the host vehicle V has actually arrived at the destination (in other words, by the GPS sensor 15). It is determined whether or not the position of the detected vehicle V coincides with the destination. If the destination has not been reached, the determination is not satisfied and the routine returns to step S5 and the same procedure is repeated. On the other hand, when the vehicle arrives at the destination, the determination is satisfied, and the routine goes to the next Step S55.

ステップS55では、上記カメラコントローラ12の制御により全てのカメラ1〜4で自車Vの周囲の風景を撮像し、次のステップS60でそれらの撮像で取得した画像データをまとめて記憶媒体14cの所定の記憶領域に記録し、それに関連する付帯情報を撮像画像管理テーブルに登録する。この際の登録は上記ステップS45と同様に行うが、進入方位と離脱方位の登録は省略される。そして、このフローを終了する。   In step S55, the scenery around the own vehicle V is imaged by all the cameras 1 to 4 under the control of the camera controller 12, and the image data acquired by the imaging in the next step S60 is collected and stored in a predetermined storage medium 14c. Are recorded in the storage area and the associated information related thereto is registered in the captured image management table. Registration at this time is performed in the same manner as in step S45, but registration of the approaching direction and the leaving direction is omitted. Then, this flow ends.

次に、上記図8で示したナビゲーション時撮像処理により取得した画像データの例を説明する。ここでは、例えば図9にディスプレイ18での地図画像を示すような、撮像対象の案内交差点CA付近を通過して取得した画像について説明する。図10は当該案内交差点CAの100m手前でフロントカメラ1により撮像した車両前方の風景画像の一例を示し、図11は当該案内交差点CAの進入位置で直前右側カメラ2により撮像した車両右前方側の風景画像の一例を示し、図12は、当該案内交差点CAの通過離脱位置でバックカメラ4により撮像した車両後方の風景画像の一例を示している。   Next, an example of the image data acquired by the navigation imaging process shown in FIG. 8 will be described. Here, for example, an image obtained by passing through the vicinity of the guide intersection CA to be imaged as shown in the map image on the display 18 in FIG. 9 will be described. FIG. 10 shows an example of a landscape image in front of the vehicle imaged by the front camera 1 100 m before the guidance intersection CA, and FIG. 11 shows the vehicle right front side imaged by the right front camera 2 at the entry position of the guidance intersection CA. An example of a landscape image is shown, and FIG. 12 shows an example of a landscape image behind the vehicle captured by the back camera 4 at the passing and leaving position of the guidance intersection CA.

図9に示す例では、図中の中央で縦方向に配置する車線L3と図中の横方向に配置する車線L4とが交差する交差点が、自車Vの誘導経路LA上で曲がるべき案内交差点CAとして設定されており、自車Vが誘導経路LAに沿って縦方向車線L3の図中下側から上側の案内交差点CAに向かって走行し、案内交差点CAで右折する場合を示している。   In the example shown in FIG. 9, the intersection where the lane L3 arranged in the vertical direction at the center in the figure intersects the lane L4 arranged in the horizontal direction in the figure is a guidance intersection that should turn on the guidance route LA of the vehicle V. It is set as CA, and the host vehicle V travels from the lower side of the vertical lane L3 in the drawing toward the upper guidance intersection CA along the guidance route LA, and turns right at the guidance intersection CA.

そして図示する地図画像に示すように、自車Vの出発点から見てこの案内交差点CAの右奥側の角には郵便局301があり、左手前側の角には銀行302(図中では「○×銀行」と記載)があり、左奥側には電波塔303が設置されている。   As shown in the map image shown in the figure, a post office 301 is located at the right back corner of the guidance intersection CA when viewed from the starting point of the own vehicle V, and a bank 302 (in the figure, “ A radio tower 303 is installed on the back left side.

まず、自車Vが当該案内交差点CAから手前に100m離間した位置に到達した際には、誘導部42からその旨の誘導案内情報が出力されて上記図8のフローにおけるステップS10の手順により、フロントカメラ1で図10に示す車両前方の風景画像が撮像される。この図10が示す車両前方の風景画像には、案内交差点CA全体の様子とともに、その右奥側の郵便局301と、左手前側の銀行302と、左奥側の電波塔303を含めた周囲の風景が撮像されている。   First, when the vehicle V reaches a position 100 m away from the guidance intersection CA, guidance guidance information to that effect is output from the guidance section 42, and the procedure of step S10 in the flow of FIG. The front camera 1 captures a landscape image in front of the vehicle shown in FIG. The landscape image in front of the vehicle shown in FIG. 10 shows the entire guidance intersection CA as well as the surrounding area including the post office 301 on the right back side, the bank 302 on the left front side, and the radio tower 303 on the left back side. The landscape is imaged.

この撮像を行った時点以降で再度同じ誘導経路LAの同じ進行方向で走行する際には、上記車両前方の風景画像に写っている特徴的な店舗やランドマークの配置を参照することで、当該案内交差点CAへの到達を目視で明確に確認することができる。   When traveling in the same direction of travel on the same guide route LA after the time of this imaging, by referring to the arrangement of characteristic stores and landmarks reflected in the landscape image in front of the vehicle, The arrival at the guidance intersection CA can be clearly confirmed visually.

また、自車Vが当該案内交差点CAの進入位置に到達した際には、誘導部42から当該案内交差点CAで右折するよう指示する進行方向案内が出力され、それに対応するステップS25の手順により直前右側カメラ2で図11に示す右折車線L4の入り口付近の風景画像が撮像される。この図11が示す車両右前方側の風景画像には、右折車線L4の入り口の様子とともに、その奥側の郵便局301を含めた周囲の風景が撮像されている。   In addition, when the host vehicle V reaches the approach position of the guidance intersection CA, a guidance for traveling direction instructing to turn right at the guidance intersection CA is output from the guidance section 42, and the preceding step is performed by the procedure of step S25 corresponding thereto. A landscape image near the entrance of the right turn lane L4 shown in FIG. In the landscape image on the right front side of the vehicle shown in FIG. 11, the surrounding landscape including the post office 301 on the back side is imaged together with the state of the entrance of the right turn lane L4.

この撮像を行った時点以降で再度同じ誘導経路LAの同じ進行方向で走行する際には、上記右折車線L4の入り口付近の風景画像に写っている特徴的な店舗の配置や具体的な様子を参照することで、例えば案内交差点が五叉路などの複雑な交差点であっても自車Vの曲がる方向を目視で明確に確認することができる。   When traveling in the same direction of travel on the same guidance route LA after the time when this image is taken, the characteristic store arrangement and the specific state shown in the landscape image near the entrance of the right turn lane L4 are shown. By referencing, for example, even if the guidance intersection is a complicated intersection such as a five-way intersection, the direction in which the vehicle V is bent can be clearly confirmed visually.

また、自車Vが当該案内交差点CAを通過離脱した際には、ステップS45の手順によりバックカメラ4で図12に示す車両後方の風景画像が撮像される。この図11が示す車両後方の風景画像には、案内交差点CA全体の様子とともに、その右手前側の郵便局301と、右奥側の電波塔303と、左奥側の銀行302を含めた周囲の風景が撮像されている。   Further, when the own vehicle V passes and leaves the guidance intersection CA, a landscape image behind the vehicle shown in FIG. The landscape image behind the vehicle shown in FIG. 11 shows the entire guidance intersection CA as well as the surrounding area including the post office 301 on the right front side, the radio tower 303 on the right back side, and the bank 302 on the left back side. The landscape is imaged.

この撮像を行った時点以降で同じ誘導経路LAを逆方向で走行する際には、上記車両後方の風景画像が、逆走行時の車両前方の風景とほぼ一致するため、その風景画像に写っている特徴的な店舗やランドマークの配置を参照することで、当該案内交差点CAへの到達を目視で明確に確認することができる。たとえば、CPU11は、目的地に到達するまでに走行した誘導経路LAと同じ誘導経路を利用してその逆方向に走行する経路を案内する場合には、当該経路上の案内交差点を通過する際に既にバックカメラ4で撮像された当該案内交差点の風景画像を示す画像データを記憶媒体14cから読み出し、当該画像データを風景画像として表示させるようにする。つまり、誘導案内情報を出力する案内交差点が近づいた場合に、当該案内交差点におけるバックカメラ4で撮像された画像データが存在するかを判断し、存在すると判断した場合に当該画像データを風景画像として出力させる。ちなみに、この場合では、既にバックカメラ4にて撮像した画像データが記憶媒体14cに存在するため、当該逆方向に走行した際におけるフロントカメラ1での撮像をおこなわないようにしてもよい。   When traveling on the same guidance route LA in the reverse direction after the time when this imaging was performed, the landscape image behind the vehicle almost coincides with the landscape in front of the vehicle during reverse travel, so that it appears in the landscape image. The arrival at the guidance intersection CA can be clearly confirmed visually by referring to the arrangement of the characteristic stores and landmarks. For example, when the CPU 11 uses the same guidance route as the guidance route LA that traveled before reaching the destination to guide a route that travels in the opposite direction, the CPU 11 passes the guidance intersection on the route. Image data indicating a landscape image of the guidance intersection already captured by the back camera 4 is read from the storage medium 14c, and the image data is displayed as a landscape image. That is, when a guidance intersection that outputs guidance guidance information approaches, it is determined whether there is image data captured by the back camera 4 at the guidance intersection, and when it is determined that the image data exists, the image data is used as a landscape image. Output. Incidentally, in this case, since the image data already captured by the back camera 4 exists in the storage medium 14c, the front camera 1 may not be captured when traveling in the opposite direction.

本実施形態では、情報記録システムISが、自車Vの誘導経路LAに沿った走行中において右折または左折するべき案内交差点CAについての誘導案内情報を誘導部42が出力したことに応じ、案内交差点CAの手前100mの位置で車両前方の風景を撮像し、案内交差点CAの進入位置で自車Vが曲がる方向と同じ方向の車両右前方側または車両左前方側のいずれか一方の風景を撮像し、案内交差点CAを通過離脱位置で車両後方の風景を撮像し、これら3回の撮像で取得した画像データを付帯情報とともに記憶する。また、自車Vが目的地に到着した際に誘導部42がその旨の誘導案内情報を出力したことに応じて、車両前方、車両右前方側、車両左前方側及び車両後方のそれぞれの風景を撮像し、それらの画像データを付帯情報とともに記憶する。   In the present embodiment, the information recording system IS responds to the fact that the guidance section 42 has output guidance guidance information about the guidance intersection CA that should turn right or left while traveling along the guidance route LA of the host vehicle V. A landscape in front of the vehicle is imaged at a position 100 m in front of the CA, and a landscape of either the vehicle right front side or the vehicle left front side in the same direction as the direction in which the host vehicle V is bent at the entrance position of the guidance intersection CA is imaged. The landscape behind the vehicle is imaged at the passing and leaving position at the guidance intersection CA, and the image data acquired by these three imaging operations is stored together with the auxiliary information. Further, when the vehicle V arrives at the destination, the scenery of the vehicle front, the vehicle right front side, the vehicle left front side, and the vehicle rear is determined in response to the guidance unit 42 outputting guidance guidance information to that effect. And store the image data together with the accompanying information.

上記実施形態における情報記録システムISにおいては、自車V(車両に相当)に搭載されたナビゲーション装置100(車両走行支援装置に相当)と、自車Vに設けられ、自車Vの周囲の風景を撮像するフロントカメラ1、直前右側カメラ2、直前左側カメラ3、及びバックカメラ4(撮像装置に相当)と、を有する情報記録システムISであって、ナビゲーション装置100は、現在地から目的地までの誘導経路LA(経路に相当)を探索する経路探索部41と、自車Vの位置を検出するGPSセンサ15(位置検出手段に相当)と、GPSセンサにより検出された自車Vの位置に基づき、経路探索部41により探索された誘導経路LA中に含まれる案内交差点CA又は目的地(所定の誘導ポイントに相当)に対応して、自車Vを誘導するための案内情報(以下、誘導案内情報と称する)を出力する誘導部42(誘導手段に相当)と、誘導部42が出力する誘導案内情報と連携し、案内交差点CA又は目的地に対応付けてフロントカメラ1、直前右側カメラ2、直前左側カメラ3、及びバックカメラ4の撮像動作を制御する撮像制御部44(制御手段に相当)と、撮像制御部44の制御によってフロントカメラ1、直前右側カメラ2、直前左側カメラ3、及びバックカメラ4が撮像した画像データを記憶する画像記憶部45(画像記憶手段に相当)と、を有する。   In the information recording system IS in the above embodiment, the navigation device 100 (corresponding to a vehicle travel support device) mounted on the host vehicle V (corresponding to a vehicle) and the scenery around the host vehicle V provided on the host vehicle V. An information recording system IS having a front camera 1, a right front camera 2, a right front camera 3, and a back camera 4 (corresponding to an image pickup device). Based on a route search unit 41 for searching for a guidance route LA (corresponding to the route), a GPS sensor 15 (corresponding to position detecting means) for detecting the position of the host vehicle V, and the position of the host vehicle V detected by the GPS sensor. The vehicle V is guided corresponding to the guidance intersection CA or destination (corresponding to a predetermined guidance point) included in the guidance route LA searched by the route search unit 41. For guidance information (hereinafter referred to as guidance guidance information) for outputting guidance information (corresponding to guidance means) and guidance guidance information output by the guidance unit 42 in association with the guidance intersection CA or destination An imaging control unit 44 (corresponding to a control unit) that controls imaging operations of the front camera 1, the right front camera 2, the front left camera 3, and the back camera 4, and the front camera 1 and the right front camera controlled by the imaging control unit 44. 2. An image storage unit 45 (corresponding to an image storage unit) that stores image data captured by the immediately preceding left camera 3 and the back camera 4.

このようにすると、経路探索部41により探索された誘導経路LAに従って自車Vが走行している間に、誘導部42による誘導案内情報の出力に応じて、撮像制御部44がフロントカメラ1、直前右側カメラ2、直前左側カメラ3及びバックカメラ4の撮像動作を制御し、それによって取得した画像データを画像記憶部45が記憶する。これにより、運転者を含む自車Vの乗員が何ら操作せずとも、情報記録システムISが自動的に車外風景をピンポイントで撮像し、その画像データを記憶することができる。この結果、運転者の運転操作性が向上し、必要とする画像データを探す手間が簡略化されて情報記録システムISの操作性が向上する。また、蓄積した画像データは、これ以降、当該ナビゲーション装置100における誘導に用いることができ、自車Vにて実写した最新情報を表示して利便性の高いナビゲーションを行うことができる。   In this way, while the host vehicle V is traveling according to the guidance route LA searched for by the route search unit 41, the imaging control unit 44 detects that the front camera 1, The image storage unit 45 stores the image data acquired by controlling the imaging operations of the right front camera 2, the right front camera 3, and the back camera 4. Thereby, even if the passenger | crew of the own vehicle V including a driver | operator does not operate at all, the information recording system IS can image a vehicle exterior scenery pinpoint automatically, and can memorize | store the image data. As a result, the driving operability of the driver is improved, the trouble of searching for necessary image data is simplified, and the operability of the information recording system IS is improved. Further, the stored image data can be used for guidance in the navigation device 100 thereafter, and the latest information captured by the own vehicle V can be displayed to perform highly convenient navigation.

なお、上記実施形態では各カメラ1〜4が静止画像を撮像していたが、本発明はこれに限られず、他にも所定の短時間での動画画像を撮像するようにしてもよく、この場合には撮像風景中に特徴的な動きのあるオブジェや表示が時間変化する看板などを視認するのに有効となる。   In the above embodiment, each of the cameras 1 to 4 captures a still image. However, the present invention is not limited to this, and a moving image may be captured in a predetermined short time. In this case, it is effective for visually recognizing an object having a characteristic movement in a captured scene or a signboard whose display changes with time.

また、使用するカメラとしては、上記フロントカメラ1、直前右側カメラ2、直前左側カメラ3、及びバックカメラ4には限られない。すなわち、例えばドアミラー等に設置され、主として側方の車線認識等に用いられる側方カメラ等、車両Vに搭載される他のカメラを用いて上記と同様の撮像を行うようにしてもよい。   Further, the cameras to be used are not limited to the front camera 1, the right front camera 2, the right front camera 3, and the back camera 4. That is, for example, the same imaging as described above may be performed using another camera mounted on the vehicle V, such as a side camera that is installed on a door mirror or the like and is mainly used for side lane recognition or the like.

また、このように自車Vの通過経路上における所定の複数のポイントで撮像した画像データを通過順に並べることで、自車Vの走行過程を視覚的な画像で編集することができ、例えば旅行記録の作成などに役立てることもできる。   In addition, by arranging the image data captured at a plurality of predetermined points on the passing route of the vehicle V in this order, the traveling process of the vehicle V can be edited with a visual image. It can also be used to create records.

上記実施形態における情報記録システムISにおいては、上述した構成に加えてさらに、カメラとして、自車Vの前進方向を撮像するフロントカメラ1(前方撮像装置に相当)を含み、撮像制御部44は、誘導部42から、誘導ポイントである案内交差点CAに対応した誘導案内情報が出力されたときに、自車Vの前進方向を撮像するようにフロントカメラ1を制御する。   In addition to the configuration described above, the information recording system IS in the embodiment further includes a front camera 1 (corresponding to a front imaging device) that images the forward direction of the host vehicle V as a camera, and the imaging control unit 44 includes: When the guidance information corresponding to the guidance intersection CA, which is a guidance point, is output from the guidance unit 42, the front camera 1 is controlled so as to capture the forward direction of the host vehicle V.

このようにすると、運転者にとって特に認識する必要性の高い案内交差点CAに対して、その全体の様子と到達する前の周囲の風景を自動的にピンポイントで撮像することができる。これにより、後に再度同じ誘導経路LAを同じ進行方向で走行する際には、当該車両前方の風景画像に写っている特徴的な店舗やランドマークの配置を参照して、同じ案内交差点CAへの到達を目視で明確に確認することができる。   In this way, it is possible to automatically pinpoint an image of the entire state and the surrounding scenery before reaching the guidance intersection CA that is highly necessary to be recognized by the driver. As a result, when the same guidance route LA is traveled again in the same direction of travel later, referring to the characteristic store and landmark arrangement in the landscape image in front of the vehicle, The arrival can be clearly confirmed visually.

なお、上記実施形態では誘導部42が誘導案内情報を出力するポイントとして自車Vが誘導経路LA上で右左折する案内交差点CAに限定して設定していたが、本発明はこれに限られず、他にも直進する交差点や単純な直進車線上であってもユーザが事前に任意の位置に誘導案内情報ポイントを設定して、その前後で車両前方や車両後方の風景画像を撮像するようにしてもよい。この場合には、例えば橋やトンネルなどの特徴的なランドマークなどを撮像することにより、誘導経路LA上における主要な経由地点の風景画像として記録することができる。   In the above-described embodiment, the guide unit 42 is set as a point at which the vehicle V turns right and left on the guidance route LA as a point at which the guidance unit 42 outputs guidance guidance information. However, the present invention is not limited to this. In addition, even on straight intersections or simple straight lanes, the user sets guidance guidance information points at arbitrary positions in advance, and captures landscape images in front of and behind the vehicle before and after that. May be. In this case, for example, by capturing a characteristic landmark such as a bridge or a tunnel, it can be recorded as a landscape image of a main waypoint on the guidance route LA.

上記実施形態における情報記録システムISにおいては、上述した構成に加えてさらに、カメラとして、自車Vの右前方側を撮像する直前右側カメラ2(右前方撮像装置に相当)と、自車Vの左前方側を撮像する直前左側カメラ3(左前方撮像装置に相当)と、を含み、撮像制御部44は、誘導部42から、案内交差点CAを右折するよう案内する誘導案内情報が出力されたときに、自車Vの右前方側を撮像するように直前右側カメラ2を制御し、誘導部42から、案内交差点CAを左折するよう案内する誘導案内情報が出力されたときに、自車Vの左前方側を撮像するように直前左側カメラ3を制御する。   In the information recording system IS in the above embodiment, in addition to the above-described configuration, the right front camera 2 (corresponding to the right front imaging device) that captures the right front side of the host vehicle V and the host vehicle V are further used as cameras. The imaging control unit 44 outputs guidance guidance information for guiding a right turn at the guidance intersection CA from the guidance unit 42. The imaging control unit 44 includes a left camera 3 (equivalent to a left front imaging device) immediately before imaging the left front side. When the front right camera 2 is controlled so that the right front side of the host vehicle V is imaged, and guidance information for guiding the left turn at the guidance intersection CA is output from the guide unit 42, the host vehicle V is output. The left front camera 3 is controlled so as to image the left front side.

このようにすると、運転者にとって特に認識する必要性の高い案内交差点CAにおいて、自車Vが曲がろうとする車線の入り口付近の風景を自動的にピンポイントで撮像することができる。これにより、後に再度同じ誘導経路LAを同じ進行方向で走行する際には、当該車線の入り口付近の風景画像に写っている特徴的な店舗の配置や具体的な様子を参照して、例えば案内交差点が五叉路などの複雑な交差点であっても自車Vの曲がる方向を目視で明確に確認することができる。   In this way, it is possible to automatically pinpoint images of the scenery near the entrance of the lane where the vehicle V is about to turn at the guidance intersection CA that is highly necessary to be recognized by the driver. As a result, when driving again on the same guidance route LA in the same direction of travel later, referring to the characteristic store arrangements and specific situations shown in the landscape image near the entrance of the lane, for example, guidance Even if the intersection is a complicated intersection such as a five-way intersection, the turning direction of the vehicle V can be clearly confirmed visually.

上記実施形態における情報記録システムISにおいては、上述した構成に加えてさらに、カメラとして、自車Vの後方を撮像するバックカメラ4(後方撮像装置に相当)を含み、撮像制御部44は、案内交差点CAを右折または左折するよう案内する誘導案内情報が出力された後、CPSセンサ15により、自車Vの案内交差点CAの通過が検出されたときに、自車Vの後方を撮像するようにバックカメラ4を制御する。   In addition to the configuration described above, the information recording system IS in the above embodiment further includes a back camera 4 (corresponding to a rear imaging device) that images the rear of the host vehicle V as a camera, and the imaging control unit 44 provides guidance. After the guidance information for guiding the vehicle to turn right or left at the intersection CA is output, when the passage of the guidance intersection CA of the host vehicle V is detected by the CPS sensor 15, the rear of the host vehicle V is imaged. The back camera 4 is controlled.

このようにすると、運転者にとって特に認識する必要性の高い案内交差点CAに対して、通過した側から見たその全体の様子と周囲の風景を自動的にピンポイントで撮像することができる。これにより、後に再度同じ誘導経路LAを逆方向で走行する際には、当該車両後方の風景画像が、逆走行時の車両前方の風景とほぼ一致するため、その風景画像に写っている特徴的な店舗やランドマークの配置を参照して、当該案内交差点CAへの到達を目視で明確に確認することができる。   In this way, it is possible to automatically pinpoint an image of the entire state and the surrounding scenery as seen from the passing side with respect to the guidance intersection CA that is highly required to be recognized by the driver. As a result, when the vehicle again travels on the same guide route LA in the reverse direction later, the landscape image behind the vehicle almost coincides with the landscape in front of the vehicle during the reverse travel, so the characteristic image is reflected in the landscape image. It is possible to clearly confirm the arrival at the guidance intersection CA with reference to the arrangement of various stores and landmarks.

上記実施形態における情報記録システムISにおいては、上述した構成に加えてさらに、撮像制御部44は、目的地への到着または到着間近であることを案内する誘導案内情報が出力された後、GPSセンサ15により、自車Vの目的地への到着が検出されたときに、フロントカメラ1、直前右側カメラ2、直前左側カメラ3、及びバックカメラ4の少なくとも1つに対し、撮像を行うように制御する。   In the information recording system IS in the above-described embodiment, in addition to the above-described configuration, the imaging control unit 44 further outputs a GPS sensor after guiding guidance information for guiding arrival at or near to the destination is output. 15, when the arrival of the host vehicle V at the destination is detected, control is performed so that at least one of the front camera 1, the right front camera 2, the right front camera 3, and the back camera 4 is imaged. To do.

このようにすると、運転者にとって特に到着したことを認識する必要のある目的地に対して、その周囲の風景を自動的に撮像することができる。これにより、後に再度同じ目的地へ向かって走行する際には、当該目的地の周囲の風景画像に写っている特徴的な店舗やランドマークの配置を参照して、同じ目的地の到着を目視で明確に確認することができる。   In this way, it is possible to automatically capture the surrounding landscape for a destination that needs to be recognized as having arrived by the driver. As a result, when traveling to the same destination again later, the arrival of the same destination can be visually checked by referring to the arrangement of characteristic stores and landmarks in the landscape image around the destination. Can be clearly confirmed.

上記実施形態における情報記録システムISにおいては、上述した構成に加えてさらに、画像記憶部45は、画像データとともに、当該画像データに対応する撮像日時、撮像ポイントのポイント緯度及びポイント経度(それぞれ撮像位置情報に相当)、または撮像ポイントでの進入方位及び離脱方位(それぞれ自車方位に相当)の少なくとも一つからなる付帯情報を記憶する。   In the information recording system IS in the above embodiment, in addition to the above-described configuration, the image storage unit 45 further includes image data, an imaging date and time corresponding to the image data, a point latitude and a longitude of the imaging point (each imaging position). Information), or incidental information consisting of at least one of an approach azimuth and a leaving azimuth at the imaging point (each corresponding to an own vehicle azimuth) is stored.

このようにすると、情報記録システムISが、すでに記憶されている画像データを利用する際には、これら付帯情報を利用して目的とする画像データを容易に検索することができ、またその画像データについての詳細な補足情報をこれら付帯情報から得ることができる。   In this way, when the information recording system IS uses the already stored image data, it is possible to easily search for the target image data using these supplementary information, and the image data Detailed supplementary information can be obtained from the accompanying information.

なお、上記実施形態では取得した画像データ及びそれに対応する付帯情報を情報記録システムIS内部に設けた記憶媒体14cに記憶していたが、本発明はこれに限られず、例えば上記通信部13及び上記データ送信部43(データ送信手段に相当)を利用して車外に設けたサーバに、記憶媒体14cに記憶した画像データを送信するようにしてもよい。   In the above embodiment, the acquired image data and the incidental information corresponding to the acquired image data are stored in the storage medium 14c provided in the information recording system IS. However, the present invention is not limited to this, and for example, the communication unit 13 and the above You may make it transmit the image data memorize | stored in the storage medium 14c to the server provided outside the vehicle using the data transmission part 43 (equivalent to a data transmission means).

図13は、上記実施形態の情報記録システムISと車外のサーバを含む情報処理システムの構成例を示すシステム構成図である。   FIG. 13 is a system configuration diagram illustrating a configuration example of an information processing system including the information recording system IS of the above embodiment and a server outside the vehicle.

情報処理システム200は、情報記録システムIS、ネットワーク201、基地局202、及びサーバSVで構成される。これら情報記録システムIS、サーバSV及び基地局202は、それぞれネットワーク201によって接続されており、互いに予め定められたプロトコルに従ってデータ通信を行うことができる。   The information processing system 200 includes an information recording system IS, a network 201, a base station 202, and a server SV. The information recording system IS, the server SV, and the base station 202 are connected by a network 201, and can perform data communication according to a predetermined protocol.

情報記録システムISは、車両Vに取り付けられているナビゲーション装置100の通信部13及びデータ送信部43の制御により基地局202との間で無線によってデータ通信を行い、ネットワーク201を経由してサーバSVへ画像データ及び付帯情報を送信する機能を有する。基地局202は、ネットワーク201に接続されており、情報記録システムISとの間で無線によりデータ通信を行う機能を有する。なお、この基地局202は、多数の車両Vにそれぞれ搭載されている情報記録システムISのいずれともデータ通信を行うことができる。   The information recording system IS performs data communication wirelessly with the base station 202 under the control of the communication unit 13 and the data transmission unit 43 of the navigation device 100 attached to the vehicle V, and the server SV via the network 201. A function of transmitting image data and incidental information to The base station 202 is connected to the network 201 and has a function of performing data communication wirelessly with the information recording system IS. The base station 202 can perform data communication with any of the information recording systems IS respectively mounted on a large number of vehicles V.

サーバSVは、車両Vの外部に配置されたサーバコンピュータである。サーバSVは、基地局202及びネットワーク201を介して受信した画像データ及び付帯情報を記憶する機能を有する。なお、付帯情報については、情報記録システムISと同様に上記図7に示した撮像画像管理テーブルに登録される。   The server SV is a server computer arranged outside the vehicle V. The server SV has a function of storing image data and incidental information received via the base station 202 and the network 201. The incidental information is registered in the captured image management table shown in FIG. 7 as in the information recording system IS.

この場合には、上記図8に示すナビゲーション時撮像処理のステップS45及びステップS60のそれぞれの手順において、データ送信部43により画像データ及び付帯情報をサーバに送信するようにすればよい。   In this case, in each procedure of step S45 and step S60 of the navigation imaging process shown in FIG. 8, the image data and incidental information may be transmitted to the server by the data transmission unit 43.

ここで、上記実施形態における情報記録システムISにおいては、上述した構成に加えてさらに、ナビゲーション装置100は、自車Vの外部に設けたサーバSVに、画像データを送信するデータ送信部43を有する。   Here, in the information recording system IS in the above-described embodiment, in addition to the above-described configuration, the navigation device 100 further includes a data transmission unit 43 that transmits image data to a server SV provided outside the host vehicle V. .

このようにすると、自車Vより、最新の風景画像の画像データを、固定設置されたサーバSVに提供することができる。これにより、例えば地図データMDの作成や更新のために、最新の風景画像の画像データを必要とする地図作成者などが、自ら各所へ移動して撮像せずとも、多数のナビゲーション装置100からサーバSVに集中して蓄積された画像データをその付帯情報を参照して検索し、地図作成に利用することができる。特に、付帯情報にはポイント緯度及びポイント経度が含まれているため、地図データMDにおける緯度経度データを照合して、最新の風景画像の画像データを地図データMDに割り付けることができる、等地図作成や更新の利便性を向上させることができる。よって、地図作成者などは、たとえば、リアルタイムに取得される画像データに基づいて即時に地図データMDを更新するようにすれば、当該更新された最新の風景画像を含む地図データMDをナビゲーション装置100に提供して活用させることができる。   In this way, the latest landscape image data can be provided from the host vehicle V to the fixedly installed server SV. Accordingly, for example, a map creator who needs image data of the latest landscape image in order to create or update the map data MD does not have to move to various places and take an image, and the server from a large number of navigation devices 100 The image data accumulated in the SV can be searched with reference to the accompanying information and used for map creation. In particular, since the incidental information includes point latitude and point longitude, the latitude and longitude data in the map data MD can be collated, and the latest landscape image data can be assigned to the map data MD. And the convenience of updating can be improved. Therefore, if the map creator or the like updates the map data MD immediately based on the image data acquired in real time, for example, the map data MD including the updated latest landscape image is stored in the navigation device 100. Can be provided and utilized.

また、以上既に述べた以外にも、上記実施形態や各変形例による手法を適宜組み合わせて利用しても良い。   In addition to those already described above, the methods according to the above-described embodiments and modifications may be used in appropriate combination.

符号の説明Explanation of symbols

1 フロントカメラ(撮像装置、前方撮像装置に相当)
2 直前右側カメラ(撮像装置、右前方撮像装置に相当)
3 直前左側カメラ(撮像装置、左前方撮像装置に相当)
4 バックカメラ(撮像装置、後方撮像装置に相当)
11 CPU
12 カメラコントローラ
13 通信部
14 記憶部
14c 記憶媒体
15 GPSセンサ(位置検出手段に相当)
16 GPSアンテナ
21 ジャイロセンサ
41 経路探索部(探索手段に相当)
42 誘導部(誘導手段に相当)
43 データ送信部(データ送信手段に相当)
44 撮像制御部(制御手段に相当)
45 画像記憶部(画像記憶手段に相当)
46 制御部
100 ナビゲーション装置(車両走行支援装置に相当)
200 情報処理システム
CA 案内交差点(誘導ポイントに相当)
IS 情報記録システム
LA 誘導経路(経路に相当)
SV サーバ
V 車両
1 Front camera (equivalent to imaging device and front imaging device)
2 Right front camera (equivalent to imaging device, right front imaging device)
3 Front left camera (equivalent to imaging device, left front imaging device)
4 Back camera (equivalent to imaging device and rear imaging device)
11 CPU
12 camera controller 13 communication unit 14 storage unit 14c storage medium 15 GPS sensor (corresponding to position detection means)
16 GPS antenna 21 Gyro sensor 41 Route search unit (corresponding to search means)
42 Guide part (equivalent to guide means)
43 Data transmission unit (equivalent to data transmission means)
44 Imaging control unit (equivalent to control means)
45 Image storage unit (equivalent to image storage means)
46 Control unit 100 Navigation device (equivalent to a vehicle travel support device)
200 Information processing system CA Guided intersection (corresponds to a guidance point)
IS information recording system LA guidance route (equivalent to route)
SV server V vehicle

Claims (6)

車両に搭載された車両走行支援装置と、前記車両に設けられ、該車両の周囲の風景を撮像する撮像装置と、を有する情報記録システムであって、
前記車両走行支援装置は、
現在地から目的地までの経路を探索する探索手段と、
前記車両の位置を検出する位置検出手段と、
前記位置検出手段により検出された前記車両の位置に基づき、前記探索手段により探索された前記経路中に含まれる所定の誘導ポイントに対応して、前記車両を誘導するための案内情報(以下、誘導案内情報と称する)を出力する誘導手段と、
前記誘導手段が出力する前記誘導案内情報と連携し、前記誘導ポイントに対応付けて前記撮像装置の撮像動作を制御する制御手段と、
前記制御手段の制御によって前記撮像装置が撮像した画像データを記憶する画像記憶手段と、
を有し、
前記撮像装置は、
前記車両の前進方向を撮像する前方撮像装置を含み、
前記制御手段は、
前記誘導手段から、前記誘導ポイントである案内交差点に対応した前記誘導案内情報が出力されたときに、前記車両の前進方向を撮像するように前記前方撮像装置を制御し、
前記位置検出手段により、前記車両の前記目的地への到着が検出されたときに、前記前方撮像装置に対し、前記車両の前進方向を撮像するように制御することを特徴とする情報記録システム。
An information recording system comprising: a vehicle travel support device mounted on a vehicle; and an imaging device that is provided in the vehicle and images a landscape around the vehicle,
The vehicle travel support device includes:
Search means for searching the route from the current location to the destination;
Position detecting means for detecting the position of the vehicle;
Guidance information (hereinafter referred to as guidance) for guiding the vehicle in accordance with a predetermined guidance point included in the route searched by the search means based on the position of the vehicle detected by the position detection means. Guidance means for outputting (referred to as guide information);
Control means for controlling the imaging operation of the imaging device in association with the guidance point in cooperation with the guidance information output by the guidance means;
Image storage means for storing image data captured by the imaging device under the control of the control means;
I have a,
The imaging device
Including a forward imaging device that images the forward direction of the vehicle,
The control means includes
When the guidance guidance information corresponding to the guidance intersection that is the guidance point is output from the guidance means, the front imaging device is controlled to image the forward direction of the vehicle,
An information recording system , wherein when the arrival of the vehicle to the destination is detected by the position detection means, the front imaging device is controlled to image the forward direction of the vehicle .
車両に搭載された車両走行支援装置と、前記車両に設けられ、該車両の周囲の風景を撮像する撮像装置と、を有する情報記録システムであって、An information recording system comprising: a vehicle travel support device mounted on a vehicle; and an imaging device that is provided in the vehicle and images a landscape around the vehicle,
前記車両走行支援装置は、The vehicle travel support device includes:
現在地から目的地までの経路を探索する探索手段と、Search means for searching the route from the current location to the destination;
前記車両の位置を検出する位置検出手段と、Position detecting means for detecting the position of the vehicle;
前記位置検出手段により検出された前記車両の位置に基づき、前記探索手段により探索された前記経路中に含まれる所定の誘導ポイントに対応して、前記車両を誘導するための案内情報(以下、誘導案内情報と称する)を出力する誘導手段と、Guidance information (hereinafter referred to as guidance) for guiding the vehicle in accordance with a predetermined guidance point included in the route searched by the search means based on the position of the vehicle detected by the position detection means. Guidance means for outputting (referred to as guide information);
前記誘導手段が出力する前記誘導案内情報と連携し、前記誘導ポイントに対応付けて前記撮像装置の撮像動作を制御する制御手段と、Control means for controlling the imaging operation of the imaging device in association with the guidance point in cooperation with the guidance information output by the guidance means;
前記制御手段の制御によって前記撮像装置が撮像した画像データを記憶する画像記憶手段と、Image storage means for storing image data captured by the imaging device under the control of the control means;
を有し、Have
前記撮像装置は、The imaging device
前記車両の前進方向を撮像する前方撮像装置と、A forward imaging device for imaging the forward direction of the vehicle;
前記車両の右前方側を撮像する右前方撮像装置と、A right front imaging device for imaging the right front side of the vehicle;
前記車両の左前方側を撮像する左前方撮像装置と、A left front imaging device for imaging the left front side of the vehicle;
を含み、Including
前記制御手段は、The control means includes
前記誘導手段から、前記誘導ポイントである案内交差点に対応した前記誘導案内情報が出力されたときに、前記車両の前進方向を撮像するように前記前方撮像装置を制御し、When the guidance guidance information corresponding to the guidance intersection that is the guidance point is output from the guidance means, the front imaging device is controlled to image the forward direction of the vehicle,
前記誘導手段から、前記案内交差点を右折するよう案内する前記誘導案内情報が出力されたときに、前記車両の右前方側を撮像するように前記右前方撮像装置を制御し、When the guidance information that guides the vehicle to turn right at the guidance intersection is output from the guidance means, the right front imaging device is controlled so as to image the right front side of the vehicle,
前記誘導手段から、前記案内交差点を左折するよう案内する前記誘導案内情報が出力されたときに、前記車両の左前方側を撮像するように前記左前方撮像装置を制御し、The left front imaging device is controlled so as to image the left front side of the vehicle when the guidance information for guiding the left turn at the guidance intersection is output from the guidance means.
前記位置検出手段により、前記車両の前記目的地への到着が検出されたときに、前記前方撮像装置、前記右前方撮像装置、及び前記左前方撮像装置のうち少なくとも1つに対し、撮像を行うように制御することを特徴とする情報記録システム。When the position detection means detects the arrival of the vehicle at the destination, imaging is performed for at least one of the front imaging device, the right front imaging device, and the left front imaging device. An information recording system that is controlled as described above.
車両に搭載された車両走行支援装置と、前記車両に設けられ、該車両の周囲の風景を撮像する撮像装置と、を有する情報記録システムであって、An information recording system comprising: a vehicle travel support device mounted on a vehicle; and an imaging device that is provided in the vehicle and images a landscape around the vehicle,
前記車両走行支援装置は、The vehicle travel support device includes:
現在地から目的地までの経路を探索する探索手段と、Search means for searching the route from the current location to the destination;
前記車両の位置を検出する位置検出手段と、Position detecting means for detecting the position of the vehicle;
前記位置検出手段により検出された前記車両の位置に基づき、前記探索手段により探索された前記経路中に含まれる所定の誘導ポイントに対応して、前記車両を誘導するための案内情報(以下、誘導案内情報と称する)を出力する誘導手段と、Guidance information (hereinafter referred to as guidance) for guiding the vehicle in accordance with a predetermined guidance point included in the route searched by the search means based on the position of the vehicle detected by the position detection means. Guidance means for outputting (referred to as guide information);
前記誘導手段が出力する前記誘導案内情報と連携し、前記誘導ポイントに対応付けて前記撮像装置の撮像動作を制御する制御手段と、Control means for controlling the imaging operation of the imaging device in association with the guidance point in cooperation with the guidance information output by the guidance means;
前記制御手段の制御によって前記撮像装置が撮像した画像データを記憶する画像記憶手段と、Image storage means for storing image data captured by the imaging device under the control of the control means;
を有し、Have
前記撮像装置は、The imaging device
前記車両の前進方向を撮像する前方撮像装置と、A forward imaging device for imaging the forward direction of the vehicle;
前記車両の後方を撮像する後方撮像装置と、A rear imaging device for imaging the rear of the vehicle;
を含み、Including
前記制御手段は、The control means includes
前記誘導手段から、前記誘導ポイントである案内交差点に対応した前記誘導案内情報が出力されたときに、前記車両の前進方向を撮像するように前記前方撮像装置を制御し、When the guidance guidance information corresponding to the guidance intersection that is the guidance point is output from the guidance means, the front imaging device is controlled to image the forward direction of the vehicle,
前記位置検出手段により、前記車両の前記案内交差点の通過が検出されたときに、前記車両の後方を撮像するように前記後方撮像装置を制御し、When the position detection means detects passage of the vehicle at the guidance intersection, the rear imaging device is controlled to image the rear of the vehicle,
前記位置検出手段により、前記車両の前記目的地への到着が検出されたときに、前記前方撮像装置及び前記後方撮像装置のうち少なくとも1つに対し、撮像を行うように制御することを特徴とする情報記録システム。When the position detection unit detects arrival of the vehicle at the destination, control is performed so that at least one of the front imaging device and the rear imaging device performs imaging. Information recording system.
車両に搭載された車両走行支援装置と、前記車両に設けられ、該車両の周囲の風景を撮像する撮像装置と、を有する情報記録システムであって、An information recording system comprising: a vehicle travel support device mounted on a vehicle; and an imaging device that is provided in the vehicle and images a landscape around the vehicle,
前記車両走行支援装置は、The vehicle travel support device includes:
現在地から目的地までの経路を探索する探索手段と、Search means for searching the route from the current location to the destination;
前記車両の位置を検出する位置検出手段と、Position detecting means for detecting the position of the vehicle;
前記位置検出手段により検出された前記車両の位置に基づき、前記探索手段により探索された前記経路中に含まれる所定の誘導ポイントに対応して、前記車両を誘導するための案内情報(以下、誘導案内情報と称する)を出力する誘導手段と、Guidance information (hereinafter referred to as guidance) for guiding the vehicle in accordance with a predetermined guidance point included in the route searched by the search means based on the position of the vehicle detected by the position detection means. Guidance means for outputting (referred to as guide information);
前記誘導手段が出力する前記誘導案内情報と連携し、前記誘導ポイントに対応付けて前記撮像装置の撮像動作を制御する制御手段と、Control means for controlling the imaging operation of the imaging device in association with the guidance point in cooperation with the guidance information output by the guidance means;
前記制御手段の制御によって前記撮像装置が撮像した画像データを記憶する画像記憶手段と、Image storage means for storing image data captured by the imaging device under the control of the control means;
を有し、Have
前記撮像装置は、The imaging device
前記車両の前進方向を撮像する前方撮像装置と、A forward imaging device for imaging the forward direction of the vehicle;
前記車両の右前方側を撮像する右前方撮像装置と、A right front imaging device for imaging the right front side of the vehicle;
前記車両の左前方側を撮像する左前方撮像装置と、A left front imaging device for imaging the left front side of the vehicle;
前記車両の後方を撮像する後方撮像装置と、A rear imaging device for imaging the rear of the vehicle;
を含み、Including
前記制御手段は、The control means includes
前記誘導手段から、前記誘導ポイントである案内交差点に対応した前記誘導案内情報が出力されたときに、前記車両の前進方向を撮像するように前記前方撮像装置を制御し、When the guidance guidance information corresponding to the guidance intersection that is the guidance point is output from the guidance means, the front imaging device is controlled to image the forward direction of the vehicle,
前記誘導手段から、前記案内交差点を右折するよう案内する前記誘導案内情報が出力されたときに、前記車両の右前方側を撮像するように前記右前方撮像装置を制御し、When the guidance information that guides the vehicle to turn right at the guidance intersection is output from the guidance means, the right front imaging device is controlled so as to image the right front side of the vehicle,
前記誘導手段から、前記案内交差点を左折するよう案内する前記誘導案内情報が出力されたときに、前記車両の左前方側を撮像するように前記左前方撮像装置を制御し、The left front imaging device is controlled so as to image the left front side of the vehicle when the guidance information for guiding the left turn at the guidance intersection is output from the guidance means.
前記位置検出手段により、前記車両の前記案内交差点の通過が検出されたときに、前記車両の後方を撮像するように前記後方撮像装置を制御し、When the position detection means detects passage of the vehicle at the guidance intersection, the rear imaging device is controlled to image the rear of the vehicle,
前記位置検出手段により、前記車両の前記目的地への到着が検出されたときに、前記前方撮像装置、前記右前方撮像装置、前記左前方撮像装置、及び前記後方撮像装置のうち少なくとも1つに対し、撮像を行うように制御することを特徴とする情報記録システム。When the position detection means detects arrival of the vehicle at the destination, at least one of the front imaging device, the right front imaging device, the left front imaging device, and the rear imaging device On the other hand, an information recording system that controls to perform imaging.
請求項1〜4のいずれかに記載の情報記録システムにおいて、
前記画像記憶手段は、
前記画像データとともに、当該画像データに対応する撮像日時、撮像位置情報、または車両方位の少なくとも一つからなる付帯情報を記憶することを特徴とする情報記録システム。
In the information recording system in any one of Claims 1-4,
The image storage means includes
Wherein together with the image data, information recording system that is characterized in that the imaging date and time, image pickup position information, or to store the additional information comprising at least one car both positions corresponding to the image data.
請求項1〜5のいずれかに記載の情報記録システムにおいて、
前記車両走行支援装置は、
前記車両の外部に設けたサーバに、前記画像データを送信するデータ送信手段を有することを特徴とする情報記録システム。
In the information recording system according to any one of claims 1 to 5,
The vehicle travel support device includes:
A server provided outside said vehicle, information recording system that is characterized by having a data transmission means for transmitting the image data.
JP2011504638A 2009-03-16 2009-03-16 Information recording system Active JP4972227B2 (en)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2009/055079 WO2010106626A1 (en) 2009-03-16 2009-03-16 Information recording system

Publications (2)

Publication Number Publication Date
JP4972227B2 true JP4972227B2 (en) 2012-07-11
JPWO2010106626A1 JPWO2010106626A1 (en) 2012-09-20

Family

ID=42739297

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2011504638A Active JP4972227B2 (en) 2009-03-16 2009-03-16 Information recording system

Country Status (2)

Country Link
JP (1) JP4972227B2 (en)
WO (1) WO2010106626A1 (en)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2014002223A1 (en) * 2012-06-28 2014-01-03 パイオニア株式会社 Information processing system, information processing device, program for information processing, and information recording medium and information processing method

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003202227A (en) * 2002-01-04 2003-07-18 Canon Inc Photographing system
JP2005227912A (en) * 2004-02-10 2005-08-25 Alpine Electronics Inc Supply method for navigation information, navigation device and provision system for navigation information
JP2006221362A (en) * 2005-02-09 2006-08-24 Sanyo Electric Co Ltd Navigation apparatus
JP2008059082A (en) * 2006-08-29 2008-03-13 Denso Corp Intersection information provision system and driving support system
JP2008241720A (en) * 2008-04-21 2008-10-09 Sony Corp Route guiding method and route guiding device

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003202227A (en) * 2002-01-04 2003-07-18 Canon Inc Photographing system
JP2005227912A (en) * 2004-02-10 2005-08-25 Alpine Electronics Inc Supply method for navigation information, navigation device and provision system for navigation information
JP2006221362A (en) * 2005-02-09 2006-08-24 Sanyo Electric Co Ltd Navigation apparatus
JP2008059082A (en) * 2006-08-29 2008-03-13 Denso Corp Intersection information provision system and driving support system
JP2008241720A (en) * 2008-04-21 2008-10-09 Sony Corp Route guiding method and route guiding device

Also Published As

Publication number Publication date
WO2010106626A1 (en) 2010-09-23
JPWO2010106626A1 (en) 2012-09-20

Similar Documents

Publication Publication Date Title
JP4562471B2 (en) Navigation device and traveling direction guide method
JP4293917B2 (en) Navigation device and intersection guide method
US8532917B2 (en) Method, system, and recording medium for navigating vehicle
JP2007292713A (en) Navigation device
WO2012086054A1 (en) Navigation device, control method, program, and storage medium
JP4339178B2 (en) Parking space empty space guidance device and parking space empty space guidance method
JP2009020089A (en) System, method, and program for navigation
JP2008140128A (en) Vehicle detector
JP2008074275A (en) Operation assistant device, operation assistant system and operation assistant method
JP2008039596A (en) System, method, program for providing information and memory medium
JP2015161592A (en) Navigation device, communication device, server device, control method, program, and storage medium
JP4489619B2 (en) Navigation device and method for guiding relative position of own vehicle
JP4797849B2 (en) Driving support image display system and in-vehicle device
JPH11271074A (en) Device and method for comparing mark image and program storage medium
JP2009237945A (en) Moving image information collection system and vehicle-mounted device
JP2013036930A (en) Navigation device and navigation system comprising the same
JP2012037475A (en) Server device, navigation system and navigation device
JPH11291991A (en) Remote control steering system of movable body
JP2016139914A (en) Display device, portable terminal and control method
JP4972227B2 (en) Information recording system
JP6424100B2 (en) NAVIGATION SYSTEM, NAVIGATION DEVICE, GLASS TYPE DEVICE, AND METHOD FOR LINKING THE DEVICE
JP2008249475A (en) On-vehicle device and traffic information presentation method
JP5231595B2 (en) Navigation device
JP6401925B2 (en) Virtual image display device, control method, program, and storage medium
JP2002213973A (en) Image acquiring device and image acquiring method, and program for acquiring image

Legal Events

Date Code Title Description
TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20120328

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20120406

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20150413

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Ref document number: 4972227

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150