JP2009080712A - Information provision apparatus - Google Patents

Information provision apparatus Download PDF

Info

Publication number
JP2009080712A
JP2009080712A JP2007250470A JP2007250470A JP2009080712A JP 2009080712 A JP2009080712 A JP 2009080712A JP 2007250470 A JP2007250470 A JP 2007250470A JP 2007250470 A JP2007250470 A JP 2007250470A JP 2009080712 A JP2009080712 A JP 2009080712A
Authority
JP
Japan
Prior art keywords
point
image
vehicle
processing
mark
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2007250470A
Other languages
Japanese (ja)
Other versions
JP4920541B2 (en
Inventor
Yasushi Tsukahara
裕史 塚原
Hirotoshi Iwasaki
弘利 岩崎
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Denso IT Laboratory Inc
Original Assignee
Denso IT Laboratory Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Denso IT Laboratory Inc filed Critical Denso IT Laboratory Inc
Priority to JP2007250470A priority Critical patent/JP4920541B2/en
Publication of JP2009080712A publication Critical patent/JP2009080712A/en
Application granted granted Critical
Publication of JP4920541B2 publication Critical patent/JP4920541B2/en
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Instructional Devices (AREA)
  • Navigation (AREA)
  • Processing Or Creating Images (AREA)
  • Traffic Control Systems (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

<P>PROBLEM TO BE SOLVED: To provide an information provision apparatus capable of extracting fine scenes from a large amount of drive images which are continuously recorded at a low calculation cost and enabling a user to efficiently browse only the fine scenes. <P>SOLUTION: The information provision apparatus is provided with: a storage means 111 for storing altitude data indicating an altitude at each spot on a traveling route of a vehicle and the data of images around each spot; a processing means 103 for performing processing for finding out a feature spot, which is a spot having an altitude higher than that of surrounding spots and has an altitude difference of a prescribed value and more, by using the altitude data; an acquisition means 108 for acquiring the feature spot on the basis of the processing; and a display control means 109 for displaying a mark, which is a mark indicating the acquired feature spot and is allowed to display images around the fine view spot concerned by pointing out the mark, on a corresponding position on a map displayed on a display means. <P>COPYRIGHT: (C)2009,JPO&INPIT

Description

本発明は、ドライブ中におけるデータを記録する情報提供装置に関し、特に、データの参照、加工、及び流通を行い、眺めの良い地点の情報を提供する情報提供装置に関する。   The present invention relates to an information providing apparatus that records data in a drive, and more particularly, to an information providing apparatus that refers to, processes, and distributes data and provides information on a point with a good view.

従来から、カーナビゲーションシステム（以下、カーナビとも言う）において、デジタルカメラで撮影した画像をカーナビ画面で鑑賞することができるものや、パーソナルコンピュータ上でカーナビの走行履歴と画像とをアルバム風に処理し、かつホームページに公開することを支援する機能を有するものが存在する。また、ドライブシーンを記録するものとして、ドライブレコーダが存在するが、ドライブレコーダは事故などの大きな加速度がクルマに生じた時点の映像のみを記録し、後で閲覧できるものである。   Conventionally, in a car navigation system (hereinafter also referred to as a car navigation system), an image taken with a digital camera can be viewed on a car navigation screen, and a car navigation system running history and images are processed like an album on a personal computer. In addition, there are those having a function of supporting the disclosure on the homepage. In addition, there is a drive recorder for recording a drive scene, but the drive recorder records only an image at the time when a large acceleration such as an accident occurs in the vehicle and can be viewed later.

ここで、連続的にドライブシーンを記録した場合、何時間にもわたるドライブ映像の中から特に興味があるシーンを高速に提示してもらいたいという要求がある。特に、眺めの良いシーンは思い出としての価値が高いと考えられ、これらのシーンを高速に抽出し提示してもらいたいという要求がある。
特開２００２−１８１５６７号公報（要約） Here, when drive scenes are continuously recorded, there is a demand for a scene of particular interest from high-speed drive images to be presented at high speed. In particular, scenes with a good view are considered to be highly valuable as memories, and there is a demand for these scenes to be extracted and presented at high speed.
JP 2002-181567 A (summary)

しかし、上述したように、ドライブアルバム的な機能を有するカーナビが存在するが、これは文字通りアルバムとして走行記録を残すということを支援するのみであり、そもそもドライブ全体にわたって継続的に撮影した映像あるいは画像を閲覧することをサポートするドライブレコーダ的なものではない。また、上述したようなドライブレコーダでは、一般に危険なシーン以外の平常時におけるシーンのデータは捨てられてしまう。すなわち、景色や眺めが良いシーンを検出して残すというようなことができない。   However, as described above, there is a car navigation system having a drive album function, but this only supports the fact that the record of running is literally left as an album. In the first place, images or images continuously taken over the entire drive. It is not like a drive recorder that supports browsing. Further, in the drive recorder as described above, generally scene data other than a dangerous scene is discarded. That is, it is not possible to detect and leave a scene with a good view and view.

このことから、上記要求を満たすために、興味のあるシーンや眺めの良いシーンをドライバが運転中に意識的にマークして残すようにすることは考えられるが、注意が散漫になり、運転における安全性を阻害する可能性があり問題がある。また、このようなポイント（マーク）を残すことに意識を集中すると、ドライブそのものを楽しむということをも阻害してしまうというも問題がある。また、景色の良いシーンでは、その景色を楽しんでいるために、ポイントを記録すること自体が忘れられる傾向にあり、後になってから、そのシーンを検索したいと思うものである。また、あらかじめ眺めの良いシーンのサンプル画像を用意し、これらの画像とドライブ映像の各フレームの類似度を計算し、類似度が高いシーンを抽出することが考えられるが、これは非常に計算コストが高く、長時間のドライブデータに対して効率よく行うことは困難である。   For this reason, in order to satisfy the above requirements, it may be possible for the driver to consciously leave a scene of interest or a good view while driving, but this is distracting and driving. There is a problem that may hinder safety. Another problem is that if you focus on leaving these points (marks), you will also be hindered from enjoying the drive itself. In addition, in a scene with a good view, since the scene is enjoyed, the point recording itself tends to be forgotten, and the user wants to search for the scene later. It is also possible to prepare sample images of scenes with a good view in advance, calculate the similarity between these images and each frame of the drive video, and extract a scene with a high similarity. Therefore, it is difficult to efficiently perform drive data for a long time.

また、上記要求を満たすものとして、海などの眺望の良い地点を抽出する装置が上記特許文献１に開示されている。この装置では、所定の場所における景色評価値を設定し、それらの中でもっとも評価値が高い点を求めている。しかし、この方法も上記と同様、大量のデータの中から最適なものを求めるにはコストが高く、長時間のドライブデータに対しては、評価すべき点が多すぎ、そのまま適用しても計算量的に困難である。   Further, as a device that satisfies the above requirements, an apparatus for extracting a point with a good view such as the sea is disclosed in Patent Document 1. In this apparatus, scenery evaluation values at predetermined locations are set, and the point having the highest evaluation value among them is obtained. However, this method, like the above, is expensive to find the optimum data from a large amount of data, and there are too many points to be evaluated for long-time drive data. Quantitatively difficult.

本発明は、上記問題を解決するためのものであり、連続的に記録された大量のドライブ映像の中から景色の良いシーンを低い計算コストで抽出することができ、景色の良いシーンのみを効率的に閲覧させることができる情報提供装置を提供することを目的とする。   The present invention is for solving the above-mentioned problem, and a scene with good scenery can be extracted from a large number of continuously recorded drive videos at a low calculation cost, and only scenes with good scenery are efficiently used. An object is to provide an information providing apparatus that can be browsed automatically.

上記目的を達成するために、本発明によれば、地図を表示手段に表示させるとともに、車両の走行ルート内で見渡しの良い地点を示す情報提供装置であって、取得されたデータであって、前記車両の走行ルート上の各地点における標高を示す標高データ及び前記各地点周辺の画像のデータを格納する格納手段と、前記標高データを用いて、周辺の地点と比べて標高の高い地点であって、所定値以上の標高差がある特徴地点を求めるための処理を行う処理手段と、前記処理に基づいて前記特徴地点を取得する取得手段と、前記表示手段に表示される前記地図上の該当する位置に、取得された前記特徴地点を示すマークであって、前記マークを指示することにより該当する前記特徴地点周辺の画像を表示させることが可能な前記マークを表示させる表示制御手段とを、備える情報提供装置が提供される。この構成により、連続的に記録された大量のドライブ映像の中から景色の良いシーンを低い計算コストで抽出することができ、景色の良いシーンのみを効率的に閲覧させることができる。   In order to achieve the above object, according to the present invention, an information providing device that displays a map on a display unit and indicates a point that is well-looked in a travel route of a vehicle, the acquired data, The storage means for storing the altitude data indicating the altitude at each point on the travel route of the vehicle and the data of the image around each point, and the altitude data are used to indicate a higher altitude than the surrounding points. Processing means for performing a process for obtaining a feature point having an altitude difference equal to or greater than a predetermined value, an acquisition means for acquiring the feature point based on the process, and a corresponding on the map displayed on the display means The mark indicating the acquired feature point is displayed at a position where the mark can be displayed, and an image around the corresponding feature point can be displayed by indicating the mark. And display control means, comprising an information providing device is provided. With this configuration, a scene with a good view can be extracted from a large number of continuously recorded drive images at a low calculation cost, and only a scene with a good view can be browsed efficiently.

また、本発明によれば、地図を表示手段に表示させるとともに、車両の走行ルート内で見渡しの良い地点を示す情報提供装置であって、取得されたデータであって、前記車両の走行ルート上の各地点における標高を示す標高データ及び前記各地点周辺の画像のデータを格納する格納手段と、前記標高データを用いて、周辺の地点と比べて標高の高い地点であって、所定値以上の標高差がある特徴地点を求めるための処理を行う処理手段と、取得された情報であって、前記処理手段の前記処理に基づく前記特徴地点における前記車両の位置情報に基づいて、各特徴地点における地形の特徴を示す特徴度の計算の処理を行う地形評価手段と、前記地形評価手段によって計算される前記特徴度に基づいて見渡しの良い地点を取得する取得手段と、前記表示手段に表示される前記地図上の該当する位置に、取得された前記見渡しの良い地点を示すマークであって、前記マークを指示することにより該当する前記見渡しの良い地点周辺の画像を表示させることが可能な前記マークを表示させる表示制御手段とを、備える情報提供装置が提供される。この構成により、連続的に記録された大量のドライブ映像の中から景色の良いシーンを低い計算コストで抽出することができ、景色の良いシーンのみを効率的に閲覧させることができる。ここで、位置情報とは、例えば車両自身における緯度及び経度の情報であり、以下においても同様である。   According to the present invention, there is provided an information providing device for displaying a map on a display means and indicating a point that is well-looked in the travel route of the vehicle, the acquired data being on the travel route of the vehicle The altitude data indicating the altitude at each point and the storage means for storing the data of the image around each point, and using the altitude data, the altitude is higher than the surrounding points, and is a predetermined value or more Processing means for performing a process for obtaining a feature point having an elevation difference, and acquired information, based on position information of the vehicle at the feature point based on the process of the processing means; A terrain evaluation unit that performs a process of calculating a feature degree indicating a feature of the terrain; an acquisition unit that acquires a point with a good view based on the feature degree calculated by the terrain evaluation unit; At the corresponding position on the map displayed on the display means, the acquired mark indicating the point with good panorama is displayed, and the image around the point with good panorama is displayed by indicating the mark. There is provided an information providing device comprising display control means for displaying the mark that can be displayed. With this configuration, a scene with a good view can be extracted from a large number of continuously recorded drive images at a low calculation cost, and only a scene with a good view can be browsed efficiently. Here, the position information is, for example, information on latitude and longitude of the vehicle itself, and the same applies to the following.

また、本発明によれば、地図を表示手段に表示させるとともに、車両の走行ルート内で見渡しの良い地点を示す情報提供装置であって、取得されたデータであって、前記車両の走行ルート上の各地点における標高を示す標高データ及び前記各地点周辺の画像のデータを格納する格納手段と、前記標高データを用いて、周辺の地点と比べて標高の高い地点であって、所定値以上の標高差がある特徴地点を求めるための処理を行う処理手段と、取得された情報であって、前記処理手段の前記処理に基づく前記特徴地点における前記車両の位置情報に基づいて、各特徴地点周辺における画像を取得し、取得された各前記画像を複数の部分画像に分割し、分割された前記部分画像と所定の参照部分画像との類似度を計算し、前記所定の参照部分画像に対して類似度の高い部分画像の前記画像全体における割合を計算する画像評価計算の処理を行う画像評価手段と、前記画像評価手段によって計算される前記割合に基づいて見渡しの良い地点を取得する取得手段と、前記表示手段に表示される前記地図上の該当する位置に、取得された前記見渡しの良い地点を示すマークであって、前記マークを指示することにより該当する前記見渡しの良い地点周辺の画像を表示させることが可能な前記マークを表示させる表示制御手段とを、備える情報提供装置が提供される。この構成により、連続的に記録された大量のドライブ映像の中から景色の良いシーンを低い計算コストで抽出することができ、景色の良いシーンのみを効率的に閲覧させることができる。   According to the present invention, there is provided an information providing device for displaying a map on a display means and indicating a point that is well-looked in the travel route of the vehicle, the acquired data being on the travel route of the vehicle The altitude data indicating the altitude at each point and the storage means for storing the data of the image around each point, and using the altitude data, the altitude is higher than the surrounding points, and is a predetermined value or more Processing means for performing a process for obtaining a feature point having an elevation difference, and acquired information, the surroundings of each feature point based on positional information of the vehicle at the feature point based on the process of the processing means The obtained images are divided into a plurality of partial images, the similarity between the divided partial images and a predetermined reference partial image is calculated, and the predetermined reference partial images are obtained. Image evaluation means for performing image evaluation calculation processing for calculating a ratio of the partial images having a high degree of similarity in the whole image, and obtaining a spot with good overlook based on the ratio calculated by the image evaluation means And a mark indicating the acquired point that is well-viewed at a corresponding position on the map displayed on the display unit, and by indicating the mark, There is provided an information providing apparatus comprising display control means for displaying the mark capable of displaying an image. With this configuration, a scene with a good view can be extracted from a large number of continuously recorded drive videos at a low calculation cost, and only a scene with a good view can be browsed efficiently.

また、本発明によれば、地図を表示手段に表示させるとともに、車両の走行ルート内で見渡しの良い地点を示す情報提供装置であって、取得されたデータであって、前記車両の走行ルート上の各地点における標高を示す標高データ及び前記各地点周辺の画像のデータを格納する格納手段と、前記標高データを用いて、周辺の地点と比べて標高の高い地点であって、所定値以上の標高差がある特徴地点を求めるための処理を行う処理手段と、取得された情報であって、前記処理手段の前記処理に基づく前記特徴地点における前記車両の位置情報に基づいて、各特徴地点における地形の特徴を示す特徴度の計算の処理を行う地形評価手段と、取得された情報であって、前記処理手段の前記処理に基づく前記特徴地点における前記車両の位置情報に基づいて、各特徴地点周辺における画像を取得し、取得された各前記画像を複数の部分画像に分割し、分割された前記部分画像と所定の参照部分画像との類似度を計算し、前記所定の参照部分画像に対して類似度の高い部分画像の前記画像全体における割合を計算する画像評価計算の処理を行う画像評価手段と、前記地形評価手段によって計算される前記特徴度と、前記画像評価手段によって計算される前記所定の参照部分画像の前記割合とを変数とする所定の関数が最大となるような見渡しの良い地点を取得する取得手段と、前記表示手段に表示される前記地図上の該当する位置に、取得された前記見渡しの良い地点を示すマークであって、前記マークを指示することにより該当する前記見渡しの良い地点周辺の画像を表示させることが可能な前記マークを表示させる表示制御手段とを、備える情報提供装置が提供される。この構成により、連続的に記録された大量のドライブ映像の中から景色の良いシーンを低い計算コストで抽出することができ、景色の良いシーンのみを効率的に閲覧させることができる。   According to the present invention, there is provided an information providing device for displaying a map on a display means and indicating a point that is well-looked in the travel route of the vehicle, the acquired data being on the travel route of the vehicle The altitude data indicating the altitude at each point and the storage means for storing the data of the image around each point, and using the altitude data, the altitude is higher than the surrounding points, and is a predetermined value or more Processing means for performing a process for obtaining a feature point having an elevation difference, and acquired information, based on position information of the vehicle at the feature point based on the process of the processing means; Terrain evaluation means for performing processing for calculating the degree of feature indicating the feature of the terrain, and acquired information, the position information of the vehicle at the feature point based on the processing of the processing means Then, an image around each feature point is acquired, each acquired image is divided into a plurality of partial images, a similarity between the divided partial image and a predetermined reference partial image is calculated, and the predetermined Image evaluation means for performing an image evaluation calculation process for calculating a ratio of a partial image having a high similarity to the reference partial image in the entire image, the feature degree calculated by the topographic evaluation means, and the image evaluation Acquisition means for acquiring a point with a good panorama such that a predetermined function having the variable of the ratio of the predetermined reference partial image calculated by the means is maximized; and on the map displayed on the display means It is a mark indicating the acquired point with good view at the corresponding position, and it is possible to display an image around the point with good view by indicating the mark. And display control means for displaying Do the mark comprises information providing device is provided. With this configuration, a scene with a good view can be extracted from a large number of continuously recorded drive images at a low calculation cost, and only a scene with a good view can be browsed efficiently.

また、本発明の情報提供装置において、各特徴地点における前記地形の特徴を示す特徴度が、各特徴地点における見渡し具合を示す開度であることは、本発明の好ましい態様である。この構成により、より適切な見渡しの良い地点を取得することができる。   Moreover, in the information provision apparatus of this invention, it is a preferable aspect of this invention that the feature degree which shows the feature of the said topography in each feature point is the opening degree which shows the oversight degree in each feature point. With this configuration, it is possible to acquire a more appropriate point with a good overview.

また、本発明の情報提供装置において、前記格納手段に格納された前記標高データのノイズを除去するスムージングを行うスムージング手段を更に備え、前記処理手段が、スムージングされた前記標高データを用いて処理を行うことは、本発明の好ましい態様である。この構成により、より適切な見渡しの良い地点を取得することができる。   In the information providing apparatus of the present invention, the information providing apparatus further includes smoothing means for performing smoothing to remove noise of the elevation data stored in the storage means, and the processing means performs processing using the smoothed elevation data. What is done is a preferred embodiment of the present invention. With this configuration, it is possible to acquire a more appropriate point with a good overview.

また、本発明の情報提供装置において、前記表示手段と、前記車両の走行ルート上の各地点における標高を示す標高データを含む車両情報を測定する測定手段と、前記車両の周囲を撮像する撮像手段とを更に備え、前記格納手段が、測定された前記車両情報及び撮像された前記車両の周囲の画像を関連付けて格納し、前記処理手段が格納された前記標高データを用いて前記処理を行うことは、本発明の好ましい態様である。この構成により、独立して見渡しの良い地点を取得することができる。   Further, in the information providing apparatus of the present invention, the display means, measuring means for measuring vehicle information including elevation data indicating elevation at each point on the travel route of the vehicle, and imaging means for imaging the surroundings of the vehicle The storage means stores the measured vehicle information and the captured image of the surroundings of the vehicle in association with each other, and the processing means performs the processing using the elevation data stored therein. Is a preferred embodiment of the present invention. With this configuration, it is possible to independently acquire a point with a good view.

また、本発明によれば、地図を表示手段に表示させるとともに、車両の走行ルート内で見渡しの良い地点を示す情報提供装置であって、前記車両の走行ルート上の各地点における可視領域の可視水面領域を求め、求められた前記可視水面領域を複数の所定の形状に分割し、分割された各所定の形状における立体角を算出し、算出された前記各所定の形状における立体角に基づいて前記可視領域の立体角を求める立体角算出手段と、求められた各地点における前記可視領域の前記立体角に基づいて、見渡しの良い地点を取得する取得手段と、前記表示手段に表示される前記地図上の該当する位置に、取得された前記見渡しの良い地点を示すマークであって、前記マークを指示することにより該当する前記見渡しの良い地点周辺の画像を表示させることが可能な前記マークを表示させる表示制御手段とを、備える情報提供装置が提供される。この構成により、連続的に記録された大量のドライブ映像の中から景色の良いシーンを低い計算コストで抽出することができ、景色の良いシーンのみを効率的に閲覧させることができる。   According to the present invention, there is also provided an information providing apparatus for displaying a map on a display means and indicating a point that is well-looked in the travel route of the vehicle, wherein the visible region is visible at each point on the travel route of the vehicle. Obtain a water surface area, divide the obtained visible water surface area into a plurality of predetermined shapes, calculate a solid angle in each of the divided predetermined shapes, and based on the calculated solid angle in each of the predetermined shapes A solid angle calculation means for obtaining a solid angle of the visible area, an acquisition means for obtaining a point with a good view based on the solid angle of the visible area at each obtained point, and the display means displayed on the display means A mark indicating the acquired point that is well-viewed at a corresponding position on the map, and by displaying the mark, an image around the point that corresponds to the good point of view is displayed. And display control means for displaying the mark capable comprises information providing device is provided. With this configuration, a scene with a good view can be extracted from a large number of continuously recorded drive images at a low calculation cost, and only a scene with a good view can be browsed efficiently.

また、本発明によれば、車両の走行ルート内で見渡しの良い地点を地図上に示す情報提供装置であって、前記地図を表示する表示手段と、前記車両の周囲を撮像する撮像手段と、撮像された前記車両の周囲の画像を格納する格納手段と、前記車両の走行ルート上の各地点における可視領域の可視水面領域を求め、求められた前記可視水面領域を複数の所定の形状に分割し、分割された各所定の形状における立体角を算出し、算出された前記各所定の形状における立体角に基づいて前記可視領域の立体角を求める立体角算出手段と、求められた各地点における前記可視領域の前記立体角に基づいて、見渡しの良い地点を取得する取得手段と、前記表示手段に表示される前記地図上の該当する位置に、取得された前記見渡しの良い地点を示すマークであって、前記マークを指示することにより該当する前記見渡しの良い地点周辺の画像を表示させることが可能な前記マークを表示させる表示制御手段とを、備える情報提供装置が提供される。この構成により、連続的に記録された大量のドライブ映像の中から景色の良いシーンを低い計算コストで抽出することができ、景色の良いシーンのみを効率的に閲覧させることができる。   According to the present invention, there is provided an information providing device on a map indicating a point that is well-looked within the travel route of the vehicle, the display means for displaying the map, the imaging means for imaging the surroundings of the vehicle, Storage means for storing the captured image of the surroundings of the vehicle and a visible water surface area of a visible area at each point on the travel route of the vehicle are obtained, and the obtained visible water surface area is divided into a plurality of predetermined shapes A solid angle calculating means for calculating a solid angle in each of the divided predetermined shapes, and calculating a solid angle of the visible region based on the calculated solid angles in the predetermined shapes; and Based on the solid angle of the visible region, an acquisition unit that acquires a point with a good view, and a mark indicating the acquired point with a good view at a corresponding position on the map displayed on the display unit. A is, and display control means for displaying the mark capable of displaying an image of a good point near the corresponding said overlooks by instructing the mark comprises information providing device is provided. With this configuration, a scene with a good view can be extracted from a large number of continuously recorded drive images at a low calculation cost, and only a scene with a good view can be browsed efficiently.

また、本発明の情報提供装置において、前記表示制御手段が、前記各地点周辺の画像を用いて前記車両の走行ルートにおけるサムネイル画像を生成し、表示させることは、本発明の好ましい態様である。この構成により、ダイジェストとしての画像を提供することができる。ここで、サムネイル画像とは、例えば各地点周辺の画像のうちそれらを代表する画像を言う。   In the information providing apparatus of the present invention, it is a preferred aspect of the present invention that the display control means generates and displays a thumbnail image of the travel route of the vehicle using the image around each point. With this configuration, an image as a digest can be provided. Here, the thumbnail image refers to, for example, an image representing them among images around each point.

本発明の情報提供装置は、上記構成を有し、連続的に記録された大量のドライブ映像の中から景色の良いシーンを低い計算コストで抽出することができ、景色の良いシーンのみを効率的に閲覧させることができる。   The information providing apparatus of the present invention has the above-described configuration, and can extract a scene with a good view from a large number of continuously recorded drive images at a low calculation cost. Can be viewed.

以下、本発明の実施の形態に係る情報提供装置について説明する。まず、本発明の実施の形態に係る情報提供装置の一例について図１を用いて説明する。図１に示すように、情報提供装置は、通信部１００、制御部１０１、スムージング部１０２（上述するスムージング手段に相当）、特徴抽出部１０３（上述する処理手段に相当）、データ編集処理部１０４、データ配信処理部１０５、見渡し度計算部１０６（上述する地形評価手段に相当）、画像処理部１０７（上述する画像評価手段、立体角算出手段に相当）、最適化処理部１０８（上述する取得手段に相当）、表示処理部１０９（上述する表示制御手段に相当）、ディスプレイ１１０（上述する表示手段に相当）、ドライブログデータ格納部１１１（上述する格納手段に相当）、ＤＥＭ（Digital Elevation Model）データ格納部１１２、カメラ１１３（上述する撮像手段に相当）、ＧＰＳ（Global Positioning System）１１４（上述する測定手段に相当）、映像撮像部１１５、車載ＬＡＮ通信部１１６、ドライブログ記録部１１７から構成されている。   Hereinafter, an information providing apparatus according to an embodiment of the present invention will be described. First, an example of an information providing apparatus according to an embodiment of the present invention will be described with reference to FIG. As illustrated in FIG. 1, the information providing apparatus includes a communication unit 100, a control unit 101, a smoothing unit 102 (corresponding to the smoothing unit described above), a feature extraction unit 103 (corresponding to the processing unit described above), and a data editing processing unit 104. , A data distribution processing unit 105, a panoramic degree calculation unit 106 (corresponding to the above-described terrain evaluation unit), an image processing unit 107 (corresponding to the above-described image evaluation unit and solid angle calculation unit), an optimization processing unit 108 (acquisition described above) Display processing unit 109 (corresponding to the display control unit described above), display 110 (corresponding to the display unit described above), drive log data storage unit 111 (corresponding to the storage unit described above), DEM (Digital Elevation Model) ) Data storage unit 112, camera 113 (corresponding to the imaging means described above), GPS (Global Positioning System) 114 (corresponding to the measuring means described above) , Image capture component 115, in-vehicle LAN communication unit 116, and a drive log recording unit 117.

なお、情報提供装置の構成要素はこれに限られるものではなく、またカメラ１１３、ＧＰＳ１１４、映像撮像部１１５、車載ＬＡＮ通信部１１６、ドライブログ記録部１１７を除いた構成であってもよい。この場合の情報提供装置は、自宅などに置かれるＰＣなどでもよく、そのＰＣとドライブログ記録部１１７とを接続可能とすることにより、映像データや位置情報などを取得することができ、上述した情報提供装置と同様の処理を行うことができる。   The constituent elements of the information providing apparatus are not limited to this, and may be configured without the camera 113, the GPS 114, the video imaging unit 115, the in-vehicle LAN communication unit 116, and the drive log recording unit 117. The information providing apparatus in this case may be a PC placed at home or the like. By making the PC connectable to the drive log recording unit 117, video data, position information, and the like can be acquired. Processing similar to that of the information providing apparatus can be performed.

通信部１００は、情報提供装置の外部との通信を行うものであり、例えば後述する最適化処理部１０８による処理結果（景色の良い地点における切り出されたサムネイル画像や映像、他のドライブデータなど）を外部のサーバなどへアップするために送信するものである。これにより、他の者がサーバへアクセスすることにより、ある走行ルート上における景色の良い地点の映像などを閲覧することが可能となる。制御部１０１は、車載情報装置全体の動作を制御するものである。   The communication unit 100 communicates with the outside of the information providing apparatus. For example, a processing result by an optimization processing unit 108 (to be described later) (a thumbnail image or video clipped at a point with a good view, other drive data, etc.) Is sent to upload to an external server. As a result, when another person accesses the server, it is possible to view a video of a point with a good view on a certain travel route. The control unit 101 controls the operation of the entire in-vehicle information device.

例えば、制御部１０１は、後述する表示処理部１０９によってディスプレイ１１０に表示されたアイコンなどのマークやサムネイル画像が選択された場合に、選択されたマークの近傍又は選択されたサムネイル画像に写る場所の近傍でのドライブ映像をドライブログデータ格納部１１１から読み出し、再生させる。スムージング部１０２は、後述するように、入力された標高データのノイズを除去するスムージングを行い、具体的には、入力された標高データに対して、例えばメディアンフィルタによるショットノイズ排除や、例えば移動平均平滑化による微小揺らぎ除去を行うものである。なお、スムージング部１０２はショットノイズなどの排除を行うが、このようなノイズの排除に限られず、例えば計算負荷を軽減するために量子化した際の量子化ノイズを除去するようにしてもよい。また、スムージング部１０２は、後述するように、特徴抽出部１０３による処理がスムージングされた標高データを対象としない場合にはスムージング処理をする必要はない。   For example, when a mark such as an icon or a thumbnail image displayed on the display 110 is selected by the display processing unit 109 to be described later, the control unit 101 is in the vicinity of the selected mark or a place that appears in the selected thumbnail image. A drive image in the vicinity is read from the drive log data storage unit 111 and reproduced. As will be described later, the smoothing unit 102 performs smoothing to remove noise from the input elevation data. Specifically, the smoothing unit 102 eliminates shot noise by, for example, a median filter, for example, a moving average, from the input elevation data. It removes minute fluctuations by smoothing. The smoothing unit 102 eliminates shot noise and the like. However, the present invention is not limited to such noise elimination. For example, the quantization noise may be removed when quantization is performed to reduce the calculation load. Further, as will be described later, the smoothing unit 102 does not need to perform the smoothing process when the altitude data subjected to the process by the feature extraction unit 103 is not targeted.

特徴抽出部１０３は、スムージングされた標高データを用いて、周辺の地点と比べて標高の高い地点であって、所定値以上の標高差がある特徴地点（大局的極大点）を求めるための処理を行う。具体的には、特徴抽出部１０３は、後述するように、スムージング部１０２によって処理されたデータに対して、極値点検出や大局的特徴抽出（微小ピーク除去）を行うものである。なお、特徴抽出部１０３による処理の対象は、スムージングされた標高データに限られず、スムージングされていない標高データであってもよい。データ編集処理部１０４は、映像データそのものの上にここが景色の良い（見渡しの良い、眺望の良い、眺めの良いとも言う）場所であるということを指し示すものである。データ配信処理部１０５は、通信部１００が処理結果などを送信する際の送信制御を行うものである。   The feature extraction unit 103 uses the smoothed elevation data to perform processing for obtaining a feature point (global maximum point) that is higher in elevation than surrounding points and has an elevation difference of a predetermined value or more. I do. Specifically, the feature extraction unit 103 performs extreme point detection and global feature extraction (minute peak removal) on the data processed by the smoothing unit 102, as will be described later. Note that the target of processing by the feature extraction unit 103 is not limited to smoothed altitude data, and may be altitude data that has not been smoothed. The data editing processing unit 104 indicates on the video data itself that this is a place with a good view (also a good view, a good view, and a good view). The data distribution processing unit 105 performs transmission control when the communication unit 100 transmits processing results and the like.

見渡し度計算部１０６は、特徴抽出部１０３の処理に基づく特徴地点における車両の位置情報（緯度及び経度）に基づいて、各特徴地点における地形の特徴を示す特徴度（例えば、見渡し具合を示す開度）の計算の処理を行うものであり、例えば開度計算による地形評価計算を行うものである。画像処理部１０７は、特徴抽出部１０３の処理に基づく特徴地点における車両の位置情報（緯度及び経度）に基づいて、各特徴地点周辺における画像を取得し、取得された各画像を複数の部分画像に分割し、分割された部分画像と所定の参照部分画像との類似度を計算し、所定の参照部分画像に対して類似度の高い部分画像の画像全体における割合を計算する画像評価計算の処理を行うものである。   Based on the position information (latitude and longitude) of the vehicle at the feature point based on the processing of the feature extraction unit 103, the degree-of-look-up calculation unit 106 is a feature degree indicating the feature of the terrain at each feature point (for example, an opening degree indicating the degree of oversight). Degree) calculation processing, for example, terrain evaluation calculation by opening calculation. The image processing unit 107 acquires an image around each feature point based on the position information (latitude and longitude) of the vehicle at the feature point based on the process of the feature extraction unit 103, and each acquired image is a plurality of partial images. Image evaluation calculation processing for calculating a similarity between the divided partial image and the predetermined reference partial image, and calculating a ratio of the partial image having a high similarity to the predetermined reference partial image in the entire image Is to do.

また、画像処理部１０７は、車両の走行ルート上の各地点における可視領域の可視水面領域を求め、求められた可視水面領域を複数の所定の形状に分割し、分割された各所定の形状における立体角を算出し、算出された各所定の形状における立体角に基づいて可視領域の立体角を求めるものである。すなわち、画像処理部１０７は、空領域計算による画像評価計算を行ったり、可視領域の立体角の計算を行ったりするものである。   Further, the image processing unit 107 obtains a visible water surface area of a visible area at each point on the travel route of the vehicle, divides the obtained visible water area into a plurality of predetermined shapes, and in each divided predetermined shape The solid angle is calculated, and the solid angle in the visible region is obtained based on the calculated solid angle in each predetermined shape. That is, the image processing unit 107 performs image evaluation calculation based on a sky area calculation, or calculates a solid angle of a visible area.

ここで、立体角とは、錐体の頂点から見た広がりを表す量を言い、錐体の頂点を中心とする半径１の球の球面を切り取ったときの面積で表したものである。最適化処理部１０８は、特徴抽出部１０３などによる処理に基づいて特徴地点を取得（抽出）するものであり、具体的には、特徴抽出部１０３、見渡し度計算部１０６、画像処理部１０７などによって処理された結果に基づいて景色が良い地点を、例えば降順にソートして取得（抽出）するものである。   Here, the solid angle refers to an amount representing a spread as viewed from the apex of the cone, and is represented by an area when a spherical surface of a sphere having a radius 1 centered on the apex of the cone is cut out. The optimization processing unit 108 acquires (extracts) feature points based on processing by the feature extraction unit 103 and the like. Specifically, the feature extraction unit 103, the degree-of-lookup calculation unit 106, the image processing unit 107, and the like. Based on the result processed by the above, points with good scenery are acquired (extracted), for example, sorted in descending order.

表示処理部１０９は、図１７に示すように、表示手段に表示される地図上の該当する位置に、最適化処理部１０８によって取得（抽出）された特徴地点を示すマークであって、マークを指示することにより該当する特徴地点周辺の画像を表示させることが可能なマーク又は特徴地点周辺の画像を表示させるものである。具体的には、ドライブログデータ格納部１１１に格納されたドライブログの中から選択されたドライブログのコース概要をディスプレイ１１０に表示させたり、最適化処理部１０８によって抽出されたドライブルート上の景色の良い地点に、アイコンなどのマークやドライブ映像から切り出したその地点付近のサムネイル画像などを生成し、ディスプレイ１１０に表示させたりするものである。   As shown in FIG. 17, the display processing unit 109 is a mark indicating a feature point acquired (extracted) by the optimization processing unit 108 at a corresponding position on the map displayed on the display unit. A mark or an image around the feature point can be displayed by instructing to display an image around the corresponding feature point. Specifically, the course outline of the drive log selected from the drive logs stored in the drive log data storage unit 111 is displayed on the display 110, or the scenery on the drive route extracted by the optimization processing unit 108 is displayed. A mark such as an icon or a thumbnail image near the point cut out from the drive video is generated at a good point and displayed on the display 110.

なお、ドライブ映像からサムネイル画像を切り出し、例えばドライブログデータ格納部１１１に格納するのは制御手段１０１であるが、他の構成要素が行ってもよい。ドライブログデータ格納部１１１は、後述するカメラ１１３による映像データやＧＰＳ１１４による車両の位置の情報など（後述する車両関連情報）を格納するものである。ＤＥＭデータ格納部１１２は、標高データを地図上に並べたＤＥＭデータをあらかじめ格納しておくものである。   The control unit 101 cuts out thumbnail images from the drive video and stores them in the drive log data storage unit 111, for example, but may be performed by other components. The drive log data storage unit 111 stores video data from the camera 113 described later, vehicle position information from the GPS 114, and the like (vehicle-related information described later). The DEM data storage unit 112 stores in advance DEM data in which elevation data is arranged on a map.

カメラ１１３は、車載情報装置が搭載された車両内外の様子を撮像し、映像撮像部１１５はカメラ１１３によって撮像された映像や画像をドライブログ記録部１１７に引き渡す。ＧＰＳ１１４は、車載情報装置が搭載された車両の位置、速度、向き、車両の現在居る標高などの車両関連情報を測定するものである。車載ＬＡＮ通信部１１６は、ＧＰＳ１１４によって測定された車両関連情報を取得し、ドライブログ記録部１１７に引き渡す。ドライブログ記録部１１７は、映像撮像部１１５から取得した映像や画像のデータ、車載ＬＡＮ通信部１１６から取得した車両関連情報などを同期してドライブログデータ格納部１１１に格納するものである。   The camera 113 captures images inside and outside the vehicle on which the in-vehicle information device is mounted, and the image capturing unit 115 delivers the images and images captured by the camera 113 to the drive log recording unit 117. The GPS 114 measures vehicle-related information such as the position, speed, direction, and altitude of the vehicle where the vehicle-mounted information device is mounted. The in-vehicle LAN communication unit 116 acquires vehicle-related information measured by the GPS 114 and passes it to the drive log recording unit 117. The drive log recording unit 117 synchronously stores the video and image data acquired from the video imaging unit 115 and the vehicle related information acquired from the in-vehicle LAN communication unit 116 in the drive log data storage unit 111.

次に、本発明の情報提供装置における見渡しの良い地点を抽出する処理フローの一例について図２を用いて説明する。なお、ここではスムージング処理を含めたフローについて説明するが、上述したようにスムージング処理を含めないフローであってもよい。図２に示すように、ＧＰＳ１１４からデータ（標高データ｛ｈ（ｔi）｝）が入力されると（ステップＳ２０１）、ドライブログデータ格納部１１１に格納される。ここで、入力される標高データについて図３ａ、図３ｂを用いて説明する。図３ａは車両が走行したドライブルートを示しており、横軸が経度、縦軸が緯度となっている。ドライブルート上のそれぞれの時点での標高データを示したものが図３ｂである。図３ａに示すＡ、Ｂ、Ｃは、図３ｂに示すＡ、Ｂ、Ｃにそれぞれ対応している。図３ｂは横軸が時間、縦軸が標高となっている。後述するスムージング部１０２によってスムージングされると、図３ｂのノイズが除去される。 Next, an example of a processing flow for extracting points with good panorama in the information providing apparatus of the present invention will be described with reference to FIG. Although the flow including the smoothing process will be described here, the flow may not include the smoothing process as described above. As shown in FIG. 2, when data (elevation data {h (t i )}) is input from the GPS 114 (step S201), the data is stored in the drive log data storage unit 111. Here, the input elevation data will be described with reference to FIGS. 3a and 3b. FIG. 3a shows a drive route on which the vehicle has traveled, with the horizontal axis representing longitude and the vertical axis representing latitude. FIG. 3b shows the altitude data at each point on the drive route. A, B, and C shown in FIG. 3a correspond to A, B, and C shown in FIG. 3b, respectively. In FIG. 3b, the horizontal axis represents time and the vertical axis represents altitude. When smoothing is performed by the smoothing unit 102 described later, the noise in FIG. 3b is removed.

スムージング部１０２は、格納された標高データに対してスムージングを行う（ステップＳ２０２）。スムージングについては後述する。標高データにスムージングがなされると、特徴抽出部１０３は、スムージングされた標高データに基づいて特徴点抽出を行う（ステップＳ２０３）。特徴点抽出については後述する。   The smoothing unit 102 performs smoothing on the stored elevation data (step S202). The smoothing will be described later. When the altitude data is smoothed, the feature extraction unit 103 performs feature point extraction based on the smoothed altitude data (step S203). The feature point extraction will be described later.

特徴点抽出がなされると、見渡し度計算部１０６や画像処理部１０７が、より精度を上げるために見渡し度計算を行う（ステップＳ２０４）。見渡し度計算については後述する。見渡し度計算がなされると、最適化処理部１０８が見渡し度計算された結果に基づいて見渡しの良い地点を抽出する最適化処理を行う（ステップＳ２０５）。なお、この処理フローでは、より精度を上げるために見渡し度計算のステップＳ２０４が存在するが、より単純に最適化処理を行う場合には、見渡し度計算のステップＳ２０４を省略することが可能である。   When feature points are extracted, the degree-of-lookup calculation unit 106 and the image processing unit 107 perform degree-of-lookup calculation in order to improve accuracy (step S204). The overlook degree calculation will be described later. When the degree of overlook is calculated, the optimization processing unit 108 performs an optimization process for extracting a spot with a good overlook based on the result of the overlook degree calculation (step S205). In this processing flow, there is a step S204 for the degree of overlook calculation in order to improve the accuracy, but when performing the optimization process more simply, the step S204 for the overlook degree can be omitted. .

次に、上述したスムージングについて説明する。上述したスムージングは図４のステップＳ４０２及びＳ４０３に相当する部分である。ステップＳ４０２では、ショットノイズ排除を行う。ショットノイズ排除では、例えばメディアンフィルタによって入力された標高データのノイズを排除する。ステップＳ４０３では、微小揺らぎ除去を行う。微小揺らぎ除去では、ショットノイズ排除のステップＳ４０２においてノイズが排除された標高データに対して、例えば移動平均平滑化によって平滑化を行う。   Next, the smoothing described above will be described. The smoothing described above corresponds to steps S402 and S403 in FIG. In step S402, shot noise is eliminated. In shot noise elimination, for example, noise in altitude data input by a median filter is eliminated. In step S403, minute fluctuations are removed. In removing minute fluctuations, the altitude data from which noise has been eliminated in step S402 of shot noise elimination is smoothed by, for example, moving average smoothing.

次に、上述した特徴点抽出について説明する。上述した特徴点抽出は図４のステップＳ４０４及びＳ４０５に相当する部分である。ステップＳ４０４では、極値点検出を行う。具体的な極値点の検出について図５ａ、図５ｂを用いて説明する。図５ａ、図５ｂに示すように、時点ｔi-1、時点ｔi、時点ｔi+1における標高データをそれぞれｈ（ｔi-1）、ｈ（ｔi）、ｈ（ｔi+1）とした場合、ｈ（ｔi-1）＜ｈ（ｔi）かつｈ（ｔi）＞ｈ（ｔi+1）若しくはｈ（ｔi-1）＞ｈ（ｔi）かつｈ（ｔi）＜ｈ（ｔi+1）の場合には、ｈ（ｔi）が極値点となる。 Next, the feature point extraction described above will be described. The feature point extraction described above corresponds to steps S404 and S405 in FIG. In step S404, extreme point detection is performed. Specific detection of extreme points will be described with reference to FIGS. 5a and 5b. As shown in FIGS. 5a and 5b, the altitude data at time t i−1 , time t i , and time t i + 1 are represented by h (t i−1 ), h (t i ), and h (t i + 1 ), respectively. ), H (t i-1 ) <h (t i ) and h (t i )> h (t i + 1 ) or h (t i-1 )> h (t i ) and h (t If i ) <h (t i + 1 ), h (t i ) is an extreme point.

ステップＳ４０５では、大局的特徴抽出を行う。大局的特徴抽出では、例えば微小ピーク除去によってわずかなピークとなっている部分を除去する。ここで、微小ピーク除去の具体的な処理フローの一例を示す図６を用いて説明する。まず、極値点検出で検出された極値データｈ（ｔi）が入力され（ステップＳ６０１）、極値強度値Ｉ0が入力される（ステップＳ６０２）。次に、極値強度計算がなされる（ステップＳ６０３）。ここで、極値強度Ｉ（ｈ（ｔi））は以下の式（１）によって計算される。 In step S405, global feature extraction is performed. In global feature extraction, for example, a portion having a slight peak is removed by removing a minute peak. Here, a specific processing flow for removing minute peaks will be described with reference to FIG. First, extreme value data h (t i ) detected by extreme point detection is input (step S601), and an extreme intensity value I 0 is input (step S602). Next, extreme value intensity is calculated (step S603). Here, the extreme intensity I (h (t i )) is calculated by the following equation (1).

Figure 2009080712
Figure 2009080712

その後、計算された極値強度の最小極大点検出を行う（ステップＳ６０４）。ここで、極値強度の最小極大点Ｉmin及び極値強度を最小にするｉminを以下の式（２）及び（３）によって求める。 Thereafter, the minimum maximum point of the calculated extreme value intensity is detected (step S604). Here, the minimum maximum point I min of the extreme value intensity and i min that minimizes the extreme value intensity are obtained by the following equations (2) and (3).

Figure 2009080712
Figure 2009080712

Figure 2009080712
Figure 2009080712

次に、求められたＩminがＩ0より大きいか否かが判断される（ステップＳ６０５）。ＩminがＩ0より大きい場合には大局的極大点として出力される（ステップＳ６０９）。一方、ＩminがＩ0より小さい場合、極値除去及び非極値除去を行う（ステップＳ６０６、Ｓ６０７）。ここで、極値除去について図７ａを用い、非極値除去について図７ｂを用いて説明する。ＩminがＩ0より小さい場合には、図７ａに示すように極値ｈ（ｔi）が除去され、また、図７ｂに示すようにｈ（ｔi+1）が非極値の場合にはｈ（ｔi+1）は除去される。そして、極値がまだ存在するか否かを判断し（ステップＳ６０８）、まだ存在する場合にはステップＳ６０３に戻り、極値が存在しない場合には大局的極大点を出力する（ステップＳ６０９）。 Next, it is determined whether or not the determined I min is greater than I 0 (step S605). If I min is greater than I 0, it is output as a global maximum point (step S609). On the other hand, if I min is smaller than I 0 , extreme value removal and non-extreme value removal are performed (steps S606 and S607). Here, extreme value removal will be described with reference to FIG. 7a, and non-extreme value removal will be described with reference to FIG. 7b. When I min is smaller than I 0 , the extreme value h (t i ) is removed as shown in FIG. 7a, and when h (t i + 1 ) is a non-extreme value as shown in FIG. 7b. H (ti + 1 ) is removed. Then, it is determined whether or not the extreme value still exists (step S608). If it still exists, the process returns to step S603, and if no extreme value exists, the global maximum point is output (step S609).

次に、上述した見渡し度計算について説明する。上述した見渡し度計算は図４のステップＳ４０６及びＳ４０７に相当する部分である。なお、この例では、見渡し度計算に地形評価計算のステップと画像評価計算のステップとが含まれるが、必ずしも双方を行う必要はなく、片方のみでも構わない。地形評価計算のステップと画像評価計算のステップを含む処理の場合には、地形上の開度Ｋ、画像フレームにおける空領域の面積（又は空領域の面積の割合）Ｌをそれぞれ計算し、それらを変数とする所定の関数、例えばｆ（Ｋ、Ｌ）＝ａ×Ｋ＋ｂ×Ｌが最大となる地点を抽出する。ここで、ａ、ｂは定数である。なお、所定の関数はこれに限られるものではない。   Next, the above-described overlook degree calculation will be described. The above-described degree of overlook calculation is a part corresponding to steps S406 and S407 in FIG. In this example, the degree of panorama calculation includes a step for calculating the terrain evaluation and a step for calculating the image evaluation. However, it is not always necessary to perform both, and only one of them may be performed. In the case of processing including a terrain evaluation calculation step and an image evaluation calculation step, the degree of opening K on the terrain and the area of the sky region (or the ratio of the area of the sky region) L in the image frame are calculated respectively. A predetermined function as a variable, for example, a point where f (K, L) = a × K + b × L is maximum is extracted. Here, a and b are constants. The predetermined function is not limited to this.

ステップＳ４０６では、地形評価計算を行う。地形評価計算では、例えば開度計算を行う。ここで、開度計算の具体的な処理フローの一例を示す図８を用いて説明する。まず、大局的特徴抽出のステップＳ４０５において抽出された大局的極大値データｈ（ｔi）が入力される（ステップＳ８０１）。その後、見渡し度計算部１０６は、入力された大局的極大値データ（ｈ（ｔi）｜ｉ∈Λ）が存在するか否か、すなわちΛが空か（φか）否かを判断する（ステップＳ８０２）。 In step S406, terrain evaluation calculation is performed. In the terrain evaluation calculation, for example, opening calculation is performed. Here, it demonstrates using FIG. 8 which shows an example of the specific processing flow of opening calculation. First, the global maximum value data h (t i ) extracted in step S405 of global feature extraction is input (step S801). Thereafter, the degree-of-look calculation unit 106 determines whether or not the input global maximum value data (h (t i ) | i∈Λ) exists, that is, whether Λ is empty (φ) or not ( Step S802).

大局的極大値データｈ（ｔi）が存在する場合、見渡し度計算部１０６は、ｉに関して繰り返し処理を起動する（ステップＳ８０３）。その後、大局的極大値位置周辺のドライブデータ（ｘ（ｔi）、ｙ（ｔi））が入力される（ステップＳ８０４）。ｘ（ｔi）、ｙ（ｔi）は緯度、経度をそれぞれ表す。ここで、見渡し度計算部１０６は、図９に示すように、入力されるドライブデータ点を最近隣のＤＥＭデータの格子点（ＤＥＭ点）上に落とす処理（ドライブデータ点をＤＥＭ点とする処理）を行う。このドライブデータ点から落とされた最近隣ＤＥＭ点をドライブデータ点として以下処理する。これにより、あらかじめ地図上に格子状に配置された標高データであるＤＥＭデータを有効に用いることができ、処理負荷を低減できる。 When the global maximum value data h (t i ) exists, the overlook degree calculation unit 106 activates the iterative process for i (step S803). Thereafter, the drive data (x (t i ), y (t i )) around the global maximum position are input (step S804). x (t i ) and y (t i ) represent latitude and longitude, respectively. Here, as shown in FIG. 9, the overlook degree calculation unit 106 performs processing for dropping the input drive data point on the grid point (DEM point) of the nearest DEM data (processing using the drive data point as the DEM point). )I do. The nearest DEM point dropped from this drive data point is processed as a drive data point. This makes it possible to effectively use DEM data that is altitude data that is arranged in advance on a map in a grid pattern, thereby reducing the processing load.

見渡し度計算部１０６は、最近隣ＤＥＭ点をドライブデータ点とした各ドライブデータに関して繰り返し処理を起動する（ステップＳ８０５）。その後、ドライブデータ周辺のＤＥＭデータが入力される（ステップＳ８０６）。入力されると、見渡し度計算部１０６は、ドライブデータ点を中心とした各方向（ｄ）についての開度計算処理（各方向についての繰り返し処理）を起動する（ステップＳ８０７）。そして、見渡し度計算部１０６は、各方向に対して、仰角の最大、最小値を計算する（ステップＳ８０８）。   The degree-of-lookup calculation unit 106 activates the iterative process for each drive data having the nearest DEM point as a drive data point (step S805). Thereafter, DEM data around the drive data is input (step S806). When input, the degree-of-look-up calculation unit 106 activates opening degree calculation processing (repetition processing for each direction) for each direction (d) centering on the drive data point (step S807). Then, the overlook degree calculation unit 106 calculates the maximum and minimum values of the elevation angle for each direction (step S808).

ここで、仰角の最大、最小値について図１０を用いて説明する。図１０は、ドライブデータ点を基準としたある方向における仰角の最大値及び最小値を示すものであり、横軸をドライブデータ点からの距離（Ｌメートル）、縦軸を各点における標高とするものである。なお、Ｌの値は、例えば１００などであるがこれに限られるものではない。図１０に示すように、ドライブデータ点から最も標高の高い点及び最も標高の低い点へ向けて直線を引くことにより、見渡し計算部１０６は、その直線と縦軸との間のそれぞれの角度を仰角の最大値φd（方向付き地上開度）及び仰角の最小値Ψd（方向付き地下開度）として計算する（ステップＳ８０９）。そして、見渡し度計算部１０６は、各方向についての方向付き地上開度及び地下開度の計算が終了（各方向の繰り返し処理が終了）したか否かを判断する（ステップＳ８１０）。 Here, the maximum and minimum values of the elevation angle will be described with reference to FIG. FIG. 10 shows the maximum value and minimum value of the elevation angle in a certain direction with reference to the drive data point. The horizontal axis represents the distance (L meter) from the drive data point, and the vertical axis represents the elevation at each point. Is. Note that the value of L is, for example, 100, but is not limited thereto. As shown in FIG. 10, by drawing a straight line from the drive data point toward the highest point and the lowest point, the overlook calculation unit 106 calculates each angle between the straight line and the vertical axis. The maximum elevation angle φ d (directional ground opening) and the minimum elevation angle Ψ d (underground opening with direction) are calculated (step S809). Then, the overlook degree calculation unit 106 determines whether or not the calculation of the directional ground opening and the underground opening for each direction has been completed (repetition processing in each direction has been completed) (step S810).

終了していない場合にはステップＳ８０７以降を繰り返し、終了している場合には、見渡し度計算部１０６は、ドライブデータ点における地上開度及び地下開度を計算する（ステップＳ８１１）。ここで、地上開度は以下の式（４）、地下開度は以下の式（５）によって算出されるが、これらの式に限られるものではない。式（４）、（５）では８方向すべてにおける平均をとっているが、例えば片側の４方向のみの平均をとることによって算出するようにしてもよい。また、平均値をとらずに、進行方向に対して垂直方向で右にカーブしている場合には、進行方向左側の方向付き開度の最大値、左にカーブしている場合には進行方向右側の方向付き開度の最大値としてもよい。   If not completed, step S807 and the subsequent steps are repeated, and if completed, the overlook degree calculator 106 calculates the ground opening and the underground opening at the drive data point (step S811). Here, the ground opening is calculated by the following equation (4), and the underground opening is calculated by the following equation (5), but is not limited to these equations. In formulas (4) and (5), the average is taken in all eight directions, but may be calculated by taking the average of only the four directions on one side, for example. In addition, if the curve is to the right in the direction perpendicular to the direction of travel without taking the average value, the maximum value of the directional opening on the left side of the direction of travel, and the direction of travel if curved to the left It is good also as a maximum value of the opening with a right direction.

Figure 2009080712
Figure 2009080712

Figure 2009080712
Figure 2009080712

そして、見渡し度計算部１０６は、各ドライブデータについての地上開度及び地下開度の算出が終了（各ドライブデータの繰り返し処理が終了）したか否かを判断し（ステップＳ８１２）、処理が終了していなければステップＳ８０５に戻り、処理が終了していれば終了する。   Then, the overlook degree calculation unit 106 determines whether or not the calculation of the ground opening degree and the underground opening degree for each drive data is finished (repetition processing of each drive data is finished) (step S812), and the process is finished. If not, the process returns to step S805, and if the process is completed, the process ends.

次に、上述した見渡し度計算のうちのステップＳ４０７について説明する。ステップＳ４０７では、画像評価計算を行う。画像評価計算では、例えば空領域計算を行う。ここで、空領域計算の具体的な処理フローの一例を示す図１１を用いて説明する。まず、大局的特徴抽出のステップＳ４０５において抽出された大局的極大値データｈ（ｔi）が入力される（ステップＳ１１０１）。その後、画像処理部１０７は、入力された大局的極大値データ（ｈ（ｔi）｜ｉ∈Λ）が存在するか否か、すなわちΛが空か（φか）否かを判断する（ステップＳ１１０２）。 Next, step S407 in the above-described overlook degree calculation will be described. In step S407, image evaluation calculation is performed. In the image evaluation calculation, for example, a sky area calculation is performed. Here, a description will be given with reference to FIG. 11 showing an example of a specific processing flow of the empty area calculation. First, the global maximum value data h (t i ) extracted in step S405 of global feature extraction is input (step S1101). Thereafter, the image processing unit 107 determines whether or not the input global maximum value data (h (t i ) | i∈Λ) exists, that is, whether or not Λ is empty (φ) (step). S1102).

大局的極大値データｈ（ｔi）が存在する場合、画像処理部１０７は、ｉに関して繰り返し処理を起動する（ステップＳ１１０３）。その後、大局的極大値位置周辺の画像フレーム（Ｐ（ｔbi）｜ｂ∈Ｍ（ｉ））が入力される（ステップＳ１１０４）。画像処理部１０７は、各画像フレームについて繰り返し処理（空領域計算処理）を起動する（ステップＳ１１０５）。画像処理部１０７は、図１２ａに示す画像フレーム１２００を図１２ｂに示すように複数の部分画像に分割する（ステップＳ１１０６）。 When the global maximum value data h (t i ) exists, the image processing unit 107 activates repetitive processing for i (step S1103). Thereafter, an image frame (P (t bi ) | bεM (i)) around the global maximum position is input (step S1104). The image processing unit 107 activates repetitive processing (empty region calculation processing) for each image frame (step S1105). The image processing unit 107 divides the image frame 1200 illustrated in FIG. 12A into a plurality of partial images as illustrated in FIG. 12B (step S1106).

画像処理部１０７は、空領域参照部分画像１２０１と他の部分画像との類似度を計算する（ステップＳ１１０７）。類似度を計算する方法として、例えば部分画像間の対応するピクセル同士で差分をとって、所定値以下であれば類似度が高いとする方法や、ピクセル同士ではなく部分画像全体同士で差分をとって、所定値以下であれば類似度が高いとする方法などがある。   The image processing unit 107 calculates the similarity between the sky region reference partial image 1201 and other partial images (step S1107). As a method of calculating the similarity, for example, a difference is taken between corresponding pixels between partial images, and the similarity is high if it is equal to or less than a predetermined value, or a difference is taken between the entire partial images instead of pixels. For example, there is a method in which the degree of similarity is high if it is equal to or less than a predetermined value.

画像処理部１０７は、計算された類似度に基づいてクラスタリングを行う（ステップＳ１１０８）。ここでのクラスタリングは、例えばｎＭＤＳ（non-Metric Multidimentional Scaling）によるものである。ｎＭＤＳによると、図１３に示すような２次元の座標上にそれぞれの部分画像に対応するマーク１３００が配置される。図１３に示すように、空領域参照部分画像１２０１と類似度の高い部分画像に対応するマークは、空領域に属する部分画像群１３０１に含まれる。   The image processing unit 107 performs clustering based on the calculated similarity (step S1108). The clustering here is based on, for example, nMDS (non-metric multidimentional scaling). According to nMDS, marks 1300 corresponding to respective partial images are arranged on two-dimensional coordinates as shown in FIG. As shown in FIG. 13, the mark corresponding to the partial image having a high similarity with the sky region reference partial image 1201 is included in the partial image group 1301 belonging to the sky region.

画像処理部１０７は、上述したクラスタリングによって、空領域参照部分画像１２０１が属するクラスタを特定する（ステップＳ１１０９）。この際、例えば混合ガウス分布モデルでフィットさせる。画像処理部１０７は、空領域のクラスタに属する部分画像の面積の割合を計算し、保存する（ステップＳ１１１０）。最適化処理部１０８は、例えば、画像処理部１０７によって計算された空領域のクラスタに属する部分画像の面積の割合が多いほど見渡しが良いと判断する。画像処理部１０７は、各画像フレームについての処理が終了（各画像フレームの繰り返し処理が終了）したか否かを判断する（ステップＳ１１１１）。処理が終了していなければステップＳ１１０５に戻り、処理が終了していれば終了する。   The image processing unit 107 identifies the cluster to which the sky region reference partial image 1201 belongs by the clustering described above (step S1109). At this time, for example, fitting is performed using a mixed Gaussian distribution model. The image processing unit 107 calculates and saves the area ratio of the partial images belonging to the sky region cluster (step S1110). For example, the optimization processing unit 108 determines that the larger the ratio of the area of the partial image belonging to the cluster in the empty area calculated by the image processing unit 107, the better the overlook. The image processing unit 107 determines whether or not the processing for each image frame has ended (repetition processing for each image frame has ended) (step S1111). If the process has not ended, the process returns to step S1105, and if the process has ended, the process ends.

上述したように、地形評価計算及び画像評価計算の双方を含めた処理の場合には、それぞれのステップで地形上での開度Ｋと画像フレームにおける空領域の面積（又は空領域の面積の割合）Ｌをそれぞれ計算し、それらを変数とする所定の関数、例えばｆ（Ｋ、Ｌ）＝ａ×Ｋ＋ｂ×Ｌが最大となる地点を抽出する。ここで、ａ、ｂは定数である。   As described above, in the case of processing including both the terrain evaluation calculation and the image evaluation calculation, the opening K on the terrain and the area of the empty area in the image frame (or the ratio of the area of the empty area in each step) ) Calculate L, respectively, and extract a predetermined function having these as variables, for example, a point where f (K, L) = a × K + b × L is maximum. Here, a and b are constants.

上述してきた内容は、主として標高データに基づいて見渡しの良い場所を抽出する処理フローについてのものであった。以下では、主として海岸線や湖沿いなどの地点における可視領域の立体角に基づいて見渡しの良い場所を抽出する処理フローの一例について説明する。   The contents described above are mainly related to a processing flow for extracting a place with a good view based on altitude data. Below, an example of the processing flow which extracts a place with a good view mainly based on the solid angle of the visible region at a point such as a coastline or a lake will be described.

ここで、可視領域の立体角の計算アルゴリズムについて図１４を用いて説明する。なお、以下では海岸線における可視領域の立体角の計算について説明する。まず、車両の位置を示す特徴点（ｘ（ｔi）、ｙ（ｔi））が入力される（ステップＳ１４０１）。なお、例えば上述したような標高データの差分をとり、その差分が一定時間以上所定の値を超えない場合、地図データベースを参照して海岸線などに車両が位置する（存在する）と判断した場合に、特徴点が入力されるようにしてもよい。 Here, the calculation algorithm of the solid angle of the visible region will be described with reference to FIG. Hereinafter, calculation of the solid angle of the visible region on the coastline will be described. First, feature points (x (t i ), y (t i )) indicating the position of the vehicle are input (step S1401). For example, when the difference in elevation data as described above is taken and the difference does not exceed a predetermined value for a certain time or longer, it is determined that the vehicle is located (exists) on a coastline or the like with reference to the map database. , Feature points may be input.

特徴点が入力された後、パラメータが入力される（ステップＳ１４０２）。パラメータが入力されると、画像処理部１０７は、入力された各特徴点についての繰り返し処理を起動する（ステップＳ１４０３）。画像処理部１０７は、まず可視水面領域を計算する（ステップＳ１４０４）。すなわち、例えば図１５ａに示す特徴点（ｘ（ｔi）、ｙ（ｔi））における可視円が図１５ｂに示されており、地図データベースを参照することによって海領域と可視円との交差領域（可視円内における海領域）を求める。 After the feature points are input, parameters are input (step S1402). When a parameter is input, the image processing unit 107 activates a repetitive process for each input feature point (step S1403). The image processing unit 107 first calculates a visible water surface area (step S1404). That is, for example, the visible circle at the feature points (x (t i ), y (t i )) shown in FIG. 15a is shown in FIG. 15b, and the intersection region between the sea region and the visible circle by referring to the map database (Sea area in the visible circle) is obtained.

可視水面領域が計算されると、画像処理部１０７は可視水面領域を、例えば微小三角形へ分割する（ステップＳ１４０５）。具体的には、ポリゴンへの変換方法を用いて微小三角形に分割する。なお、ここでは三角形に分割しているがこれに限られるものではなく、四角形などであっても可能である。分割された後、画像処理部１０７は、可視領域立体角初期化を行う（ステップＳ１４０６）。具体的には立体角Ω＝０とする。   When the visible water surface area is calculated, the image processing unit 107 divides the visible water surface area into, for example, minute triangles (step S1405). More specifically, it is divided into small triangles using a polygon conversion method. Here, although it is divided into triangles, the invention is not limited to this, and a quadrangle or the like is also possible. After the division, the image processing unit 107 performs visible region solid angle initialization (step S1406). Specifically, the solid angle Ω = 0.

可視領域立体角の初期化がされた後、画像処理部１０７は各微小三角形について微小立体角の計算を行う処理（各微小三角形について繰り返し処理）を起動する（ステップＳ１４０７）。画像処理部１０７は、微小三角形の微小立体角ｄΩを計算する（ステップＳ１４０８）。微小三角形の微小立体角の計算については後述する。画像処理部１０７は、計算された微小三角形の微小立体角の加算（可視領域立体角更新：Ω＋ｄΩ）を行う（ステップＳ１４０９）。画像処理部１０７は各微小三角形の繰り返し処理が終了したか否かを判断し（ステップＳ１４１０）、繰り返し処理が終了していなければステップＳ１４０７へ戻り、繰り返し処理が終了していれば終了する。   After the initialization of the visible region solid angle, the image processing unit 107 activates a process of calculating a minute solid angle for each minute triangle (repetitive process for each minute triangle) (step S1407). The image processing unit 107 calculates the minute solid angle dΩ of the minute triangle (step S1408). The calculation of the minute solid angle of the minute triangle will be described later. The image processing unit 107 adds the calculated minute solid angle of the minute triangle (visible region solid angle update: Ω + dΩ) (step S1409). The image processing unit 107 determines whether or not each micro triangle has been repeated (step S1410). If the repetition processing has not ended, the process returns to step S1407, and if the repetition process has ended, the process ends.

ここで、微小三角形の微小立体角ｄΩの計算について図１６を用いて説明する。図１６に示すように、地球の中心をＯ（オー）とし、地球表面上のある特徴点をＱ（キュー）とし、Ｑを含む微小面積をｄＳ、Ｑにおける面Ｓの法線ベクトルをｄＳｖとし、ＯからＱへのベクトルをｒｖとした場合、ｄΩはｒｖとｄＳｖとの内積によって算出される。そして、面Ｓにおける立体角ΩはｄΩを積分することによって求められる。なお、内積とは、２つのベクトルの単位座標ベクトルに関する成分どうしの積の和を言う。例えば、ベクトルａ、ｂがあって、２つのなす角をθとするとき、内積は｜ａ｜｜ｂ｜cosθの値である。   Here, calculation of the minute solid angle dΩ of the minute triangle will be described with reference to FIG. As shown in FIG. 16, the center of the earth is O (O), a certain feature point on the surface of the earth is Q (cue), a small area including Q is dS, and a normal vector of the surface S in Q is dSv. When the vector from O to Q is rv, dΩ is calculated by the inner product of rv and dSv. Then, the solid angle Ω in the surface S is obtained by integrating dΩ. The inner product is the sum of products of components related to a unit coordinate vector of two vectors. For example, when there are vectors a and b and the angle between the two is θ, the inner product is the value of | a || b | cosθ.

本発明に係る情報提供装置は、連続的に記録された大量のドライブ映像の中から景色の良いシーンを低い計算コストで抽出することができ、景色の良いシーンのみを効率的に閲覧させることができるため、データの参照、加工、及び流通を行い、眺めの良い地点の情報を提供する情報提供装置などに有用である。   The information providing apparatus according to the present invention can extract a scene with a good view from a large number of continuously recorded drive images at a low calculation cost, and can efficiently browse only a scene with a good view. Therefore, the present invention is useful for an information providing apparatus that performs reference, processing, and distribution of data and provides information on a point with a good view.

本発明の実施の形態に係る情報提供装置の構成の一例を示す構成図である。It is a block diagram which shows an example of a structure of the information provision apparatus which concerns on embodiment of this invention. 本発明の実施の形態に係る情報提供装置における見渡しの良い地点を抽出する処理フローの一例を示すフローチャートである。It is a flowchart which shows an example of the processing flow which extracts the point with the good overlook in the information provision apparatus which concerns on embodiment of this invention. 本発明の実施の形態における車両が走行したドライブルートを示した図である。It is the figure which showed the drive route which the vehicle in embodiment of this invention drive | worked. 本発明の実施の形態におけるドライブルート上のそれぞれの時点での標高データを示した図である。It is the figure which showed the altitude data in each time on the drive route in embodiment of this invention. 本発明の実施の形態におけるスムージング、特徴点抽出、見渡し度計算の詳細な内容を示すフローチャートである。It is a flowchart which shows the detailed content of the smoothing in the embodiment of this invention, feature point extraction, and overlook degree calculation. 本発明の実施の形態における極値点の検出について説明するための図である。It is a figure for demonstrating the detection of the extreme point in embodiment of this invention. 本発明の実施の形態における極値点の検出について説明するための他の図である。It is another figure for demonstrating the detection of the extreme value point in embodiment of this invention. 本発明の実施の形態における微小ピーク除去の具体的な処理フローの一例を示すフローチャートである。It is a flowchart which shows an example of the specific processing flow of a minute peak removal in embodiment of this invention. 本発明の実施の形態の微小ピーク除去における極値除去について説明するための図である。It is a figure for demonstrating the extreme value removal in the minute peak removal of embodiment of this invention. 本発明の実施の形態の微小ピーク除去における非極値除去について説明するための図である。It is a figure for demonstrating the non-extreme value removal in the minute peak removal of embodiment of this invention. 本発明の実施の形態における開度計算の具体的な処理フローの一例を示すフローチャートである。It is a flowchart which shows an example of the specific process flow of the opening degree calculation in embodiment of this invention. 本発明の実施の形態におけるドライブデータ点を最近隣のＤＥＭデータの格子点（ＤＥＭ点）上に落とす処理を説明するための図である。It is a figure for demonstrating the process which drops the drive data point on the lattice point (DEM point) of the nearest DEM data in embodiment of this invention. 本発明の実施の形態における仰角の最大、最小値について説明するための図である。It is a figure for demonstrating the maximum and minimum value of an elevation angle in embodiment of this invention. 本発明の実施の形態における空領域計算の具体的な処理フローの一例を示すフローチャートである。It is a flowchart which shows an example of the specific processing flow of the empty area calculation in embodiment of this invention. 本発明の実施の形態における空領域計算処理で用いられる画像フレームを示す図である。It is a figure which shows the image frame used by the sky area | region calculation process in embodiment of this invention. 本発明の実施の形態における画像フレームを複数の部分画像に分割した画像フレームを示す図である。It is a figure which shows the image frame which divided | segmented the image frame in embodiment of this invention into the some partial image. 本発明の実施の形態における類似度に基づくクラスタリングについて説明するための図である。It is a figure for demonstrating the clustering based on the similarity in embodiment of this invention. 本発明の実施の形態における可視領域の立体角の計算アルゴリズムの一例を示すフローチャートである。It is a flowchart which shows an example of the calculation algorithm of the solid angle of the visible region in embodiment of this invention. 本発明の実施の形態における可視水面領域の計算について説明するための図である。It is a figure for demonstrating calculation of the visible water surface area | region in embodiment of this invention. 本発明の実施の形態における可視水面領域の計算について説明するための他の図である。It is another figure for demonstrating calculation of the visible water surface area | region in embodiment of this invention. 本発明の実施の形態における微小三角形の微小立体角ｄΩの計算について説明するための図である。It is a figure for demonstrating calculation of the micro solid angle dohm of the micro triangle in embodiment of this invention. 本発明の実施の形態における表示処理部によって表示される表示の一例を示す図である。It is a figure which shows an example of the display displayed by the display process part in embodiment of this invention.

符号の説明Explanation of symbols

１００ 通信部
１０１ 制御部
１０２ スムージング部（スムージング手段）
１０３ 特徴抽出部（処理手段）
１０４ データ編集処理部
１０５ データ配信処理部
１０６ 見渡し度計算部（地形評価手段）
１０７ 画像処理部（画像評価手段、立体角算出手段）
１０８ 最適化処理部（取得手段）
１０９ 表示処理部（表示制御手段）
１１０ ディスプレイ（表示手段）
１１１ ドライブログデータ格納部（格納手段）
１１２ ＤＥＭデータ格納部
１１３ カメラ（撮像手段）
１１４ ＧＰＳ（測定手段）
１１５ 映像撮像部
１１６ 車載ＬＡＮ通信部
１１７ ドライブログ記録部
１２００ 画像フレーム
１２０１ 空領域参照部分画像
１３００ 部分画像に対応するマーク
１３０１ 空領域に属する部分画像群 DESCRIPTION OF SYMBOLS 100 Communication part 101 Control part 102 Smoothing part (smoothing means)
103 feature extraction unit (processing means)
104 Data editing processing unit 105 Data distribution processing unit 106 Overlook degree calculation unit (terrain evaluation means)
107 Image processing unit (image evaluation means, solid angle calculation means)
108 Optimization processing unit (acquisition means)
109 Display processing unit (display control means)
110 Display (display means)
111 Drive log data storage unit (storage means)
112 DEM data storage unit 113 Camera (imaging means)
114 GPS (measuring means)
DESCRIPTION OF SYMBOLS 115 Image pick-up part 116 Car-mounted LAN communication part 117 Drive log recording part 1200 Image frame 1201 Empty area reference partial image 1300 Mark corresponding to a partial image 1301 Partial image group which belongs to an empty area

Claims (10)

地図を表示手段に表示させるとともに、車両の走行ルート内で見渡しの良い地点を示す情報提供装置であって、
取得されたデータであって、前記車両の走行ルート上の各地点における標高を示す標高データ及び前記各地点周辺の画像のデータを格納する格納手段と、
前記標高データを用いて、周辺の地点と比べて標高の高い地点であって、所定値以上の標高差がある特徴地点を求めるための処理を行う処理手段と、
前記処理に基づいて前記特徴地点を取得する取得手段と、
前記表示手段に表示される前記地図上の該当する位置に、取得された前記特徴地点を示すマークであって、前記マークを指示することにより該当する前記特徴地点周辺の画像を表示させることが可能な前記マークを表示させる表示制御手段とを、
備える情報提供装置。 An information providing device that displays a map on a display means and indicates a point that is well-looked in the travel route of the vehicle,
Storage means for storing acquired data, altitude data indicating the altitude at each point on the travel route of the vehicle, and image data around each point;
Processing means for performing processing for obtaining a characteristic point having a height difference greater than or equal to a predetermined value, which is a point higher in elevation than the surrounding points, using the elevation data;
Obtaining means for obtaining the feature point based on the processing;
A mark indicating the acquired feature point is displayed at a corresponding position on the map displayed on the display means, and an image around the corresponding feature point can be displayed by indicating the mark. Display control means for displaying such a mark,
An information providing apparatus provided. 地図を表示手段に表示させるとともに、車両の走行ルート内で見渡しの良い地点を示す情報提供装置であって、
取得されたデータであって、前記車両の走行ルート上の各地点における標高を示す標高データ及び前記各地点周辺の画像のデータを格納する格納手段と、
前記標高データを用いて、周辺の地点と比べて標高の高い地点であって、所定値以上の標高差がある特徴地点を求めるための処理を行う処理手段と、
取得された情報であって、前記処理手段の前記処理に基づく前記特徴地点における前記車両の位置情報に基づいて、各特徴地点における地形の特徴を示す特徴度の計算の処理を行う地形評価手段と、
前記地形評価手段によって計算される前記特徴度に基づいて見渡しの良い地点を取得する取得手段と、
前記表示手段に表示される前記地図上の該当する位置に、取得された前記見渡しの良い地点を示すマークであって、前記マークを指示することにより該当する前記見渡しの良い地点周辺の画像を表示させることが可能な前記マークを表示させる表示制御手段とを、
備える情報提供装置。 An information providing device that displays a map on a display means and indicates a point that is well-looked in the travel route of the vehicle,
Storage means for storing acquired data, altitude data indicating the altitude at each point on the travel route of the vehicle, and image data around each point;
Processing means for performing processing for obtaining a characteristic point having a height difference greater than or equal to a predetermined value, which is a point higher in elevation than the surrounding points, using the elevation data;
Terrain evaluation means for performing processing for calculating the degree of feature indicating the feature of the terrain at each feature point, based on the positional information of the vehicle at the feature point based on the processing of the processing means. ,
Obtaining means for obtaining a point with a good view based on the feature degree calculated by the terrain evaluation means;
A mark indicating the acquired point that is well-viewed is displayed at a corresponding position on the map displayed on the display means, and an image around the point that corresponds to the good point of view is displayed by indicating the mark. Display control means for displaying the mark that can be made,
An information providing apparatus provided. 地図を表示手段に表示させるとともに、車両の走行ルート内で見渡しの良い地点を示す情報提供装置であって、
取得されたデータであって、前記車両の走行ルート上の各地点における標高を示す標高データ及び前記各地点周辺の画像のデータを格納する格納手段と、
前記標高データを用いて、周辺の地点と比べて標高の高い地点であって、所定値以上の標高差がある特徴地点を求めるための処理を行う処理手段と、
取得された情報であって、前記処理手段の前記処理に基づく前記特徴地点における前記車両の位置情報に基づいて、各特徴地点周辺における画像を取得し、取得された各前記画像を複数の部分画像に分割し、分割された前記部分画像と所定の参照部分画像との類似度を計算し、前記所定の参照部分画像に対して類似度の高い部分画像の前記画像全体における割合を計算する画像評価計算の処理を行う画像評価手段と、
前記画像評価手段によって計算される前記割合に基づいて見渡しの良い地点を取得する取得手段と、
前記表示手段に表示される前記地図上の該当する位置に、取得された前記見渡しの良い地点を示すマークであって、前記マークを指示することにより該当する前記見渡しの良い地点周辺の画像を表示させることが可能な前記マークを表示させる表示制御手段とを、
備える情報提供装置。 An information providing device that displays a map on a display means and indicates a point that is well-looked in the travel route of the vehicle,
Storage means for storing acquired data, altitude data indicating the altitude at each point on the travel route of the vehicle, and image data around each point;
Processing means for performing processing for obtaining a characteristic point having a height difference greater than or equal to a predetermined value, which is a point higher in elevation than the surrounding points, using the elevation data;
The acquired information is obtained based on the position information of the vehicle at the characteristic point based on the processing of the processing means, and an image around each characteristic point is acquired, and each of the acquired images is a plurality of partial images. Image evaluation for calculating a similarity between the divided partial image and a predetermined reference partial image, and calculating a ratio of the partial image having a high similarity to the predetermined reference partial image in the entire image Image evaluation means for performing calculation processing;
An acquisition means for acquiring a point with a good view based on the ratio calculated by the image evaluation means;
A mark indicating the acquired point that is well-viewed is displayed at a corresponding position on the map displayed on the display means, and an image around the point that corresponds to the good point of view is displayed by indicating the mark. Display control means for displaying the mark that can be made,
An information providing apparatus provided. 地図を表示手段に表示させるとともに、車両の走行ルート内で見渡しの良い地点を示す情報提供装置であって、
取得されたデータであって、前記車両の走行ルート上の各地点における標高を示す標高データ及び前記各地点周辺の画像のデータを格納する格納手段と、
前記標高データを用いて、周辺の地点と比べて標高の高い地点であって、所定値以上の標高差がある特徴地点を求めるための処理を行う処理手段と、
取得された情報であって、前記処理手段の前記処理に基づく前記特徴地点における前記車両の位置情報に基づいて、各特徴地点における地形の特徴を示す特徴度の計算の処理を行う地形評価手段と、
取得された情報であって、前記処理手段の前記処理に基づく前記特徴地点における前記車両の位置情報に基づいて、各特徴地点周辺における画像を取得し、取得された各前記画像を複数の部分画像に分割し、分割された前記部分画像と所定の参照部分画像との類似度を計算し、前記所定の参照部分画像に対して類似度の高い部分画像の前記画像全体における割合を計算する画像評価計算の処理を行う画像評価手段と、
前記地形評価手段によって計算される前記特徴度と、前記画像評価手段によって計算される前記所定の参照部分画像の前記割合とを変数とする所定の関数が最大となるような見渡しの良い地点を取得する取得手段と、
前記表示手段に表示される前記地図上の該当する位置に、取得された前記見渡しの良い地点を示すマークであって、前記マークを指示することにより該当する前記見渡しの良い地点周辺の画像を表示させることが可能な前記マークを表示させる表示制御手段とを、
備える情報提供装置。 An information providing device that displays a map on a display means and indicates a point that is well-looked in the travel route of the vehicle,
Storage means for storing acquired data, altitude data indicating the altitude at each point on the travel route of the vehicle, and image data around each point;
Processing means for performing processing for obtaining a characteristic point having a height difference greater than or equal to a predetermined value, which is a point higher in elevation than the surrounding points, using the elevation data;
Terrain evaluation means for performing processing for calculating the degree of feature indicating the feature of the terrain at each feature point based on the positional information of the vehicle at the feature point based on the processing of the processing means, the acquired information ,
The acquired information is obtained based on the position information of the vehicle at the characteristic point based on the processing of the processing means, and an image around each characteristic point is acquired, and each of the acquired images is a plurality of partial images. Image evaluation for calculating a similarity between the divided partial image and a predetermined reference partial image, and calculating a ratio of the partial image having a high similarity to the predetermined reference partial image in the entire image Image evaluation means for performing calculation processing;
Obtain a point with a good view that maximizes a predetermined function with the feature degree calculated by the terrain evaluation unit and the ratio of the predetermined reference partial image calculated by the image evaluation unit. Acquisition means to
A mark indicating the acquired point that is well-viewed is displayed at a corresponding position on the map displayed on the display means, and an image around the point that corresponds to the good point of view is displayed by indicating the mark. Display control means for displaying the mark that can be made,
An information providing apparatus provided. 各特徴地点における前記地形の特徴を示す特徴度は、各特徴地点における見渡し具合を示す開度である請求項２又は４に記載の情報提供装置。   The information providing apparatus according to claim 2 or 4, wherein the feature degree indicating the feature of the terrain at each feature point is an opening degree indicating a degree of overlook at each feature point. 前記格納手段に格納された前記標高データのノイズを除去するスムージングを行うスムージング手段を更に備え、
前記処理手段は、スムージングされた前記標高データを用いて処理を行う請求項１から５のいずれか１つに記載の情報提供装置。 Smoothing means for performing smoothing to remove noise in the elevation data stored in the storage means;
The information providing apparatus according to claim 1, wherein the processing means performs processing using the smoothed elevation data. 前記表示手段と、前記車両の走行ルート上の各地点における標高を示す標高データを含む車両情報を測定する測定手段と、前記車両の周囲を撮像する撮像手段とを更に備え、
前記格納手段は、測定された前記車両情報及び撮像された前記車両の周囲の画像を関連付けて格納し、
前記処理手段は格納された前記標高データを用いて前記処理を行う請求項１から６のいずれか１つに記載の情報提供装置。 The display means; measuring means for measuring vehicle information including elevation data indicating elevation at each point on the travel route of the vehicle; and imaging means for imaging the surroundings of the vehicle,
The storage means stores the measured vehicle information and the captured image of the surroundings of the vehicle in association with each other,
The information providing apparatus according to claim 1, wherein the processing unit performs the processing using the stored elevation data. 地図を表示手段に表示させるとともに、車両の走行ルート内で見渡しの良い地点を示す情報提供装置であって、
前記車両の走行ルート上の各地点における可視領域の可視水面領域を求め、求められた前記可視水面領域を複数の所定の形状に分割し、分割された各所定の形状における立体角を算出し、算出された前記各所定の形状における立体角に基づいて前記可視領域の立体角を求める立体角算出手段と、
求められた各地点における前記可視領域の前記立体角に基づいて、見渡しの良い地点を取得する取得手段と、
前記表示手段に表示される前記地図上の該当する位置に、取得された前記見渡しの良い地点を示すマークであって、前記マークを指示することにより該当する前記見渡しの良い地点周辺の画像を表示させることが可能な前記マークを表示させる表示制御手段とを、
備える情報提供装置。 An information providing device that displays a map on a display means and indicates a point that is well-looked in the travel route of the vehicle,
Obtaining a visible water surface area of a visible area at each point on the travel route of the vehicle, dividing the obtained visible water surface area into a plurality of predetermined shapes, calculating a solid angle in each of the divided predetermined shapes; A solid angle calculating means for obtaining a solid angle of the visible region based on the calculated solid angle in each predetermined shape;
An obtaining means for obtaining a point with a good view based on the solid angle of the visible region at each obtained point;
A mark indicating the acquired point that is well-viewed is displayed at a corresponding position on the map displayed on the display means, and an image around the point that corresponds to the good point of view is displayed by indicating the mark. Display control means for displaying the mark that can be made,
An information providing apparatus provided. 車両の走行ルート内で見渡しの良い地点を地図上に示す情報提供装置であって、
前記地図を表示する表示手段と、
前記車両の周囲を撮像する撮像手段と、
撮像された前記車両の周囲の画像を格納する格納手段と、
前記車両の走行ルート上の各地点における可視領域の可視水面領域を求め、求められた前記可視水面領域を複数の所定の形状に分割し、分割された各所定の形状における立体角を算出し、算出された前記各所定の形状における立体角に基づいて前記可視領域の立体角を求める立体角算出手段と、
求められた各地点における前記可視領域の前記立体角に基づいて、見渡しの良い地点を取得する取得手段と、
前記表示手段に表示される前記地図上の該当する位置に、取得された前記見渡しの良い地点を示すマークであって、前記マークを指示することにより該当する前記見渡しの良い地点周辺の画像を表示させることが可能な前記マークを表示させる表示制御手段とを、
備える情報提供装置。 An information providing device that shows on a map a point that can be overlooked in a travel route of a vehicle,
Display means for displaying the map;
Imaging means for imaging the periphery of the vehicle;
Storage means for storing a captured image of the surroundings of the vehicle;
Obtaining a visible water surface area of a visible area at each point on the travel route of the vehicle, dividing the obtained visible water surface area into a plurality of predetermined shapes, calculating a solid angle in each of the divided predetermined shapes; A solid angle calculating means for obtaining a solid angle of the visible region based on the calculated solid angle in each predetermined shape;
An obtaining means for obtaining a point with a good view based on the solid angle of the visible region at each obtained point;
A mark indicating the acquired point that is well-viewed is displayed at a corresponding position on the map displayed on the display means, and an image around the point that corresponds to the good point of view is displayed by indicating the mark. Display control means for displaying the mark that can be made,
An information providing apparatus provided. 前記表示制御手段は、前記各地点周辺の画像を用いて前記車両の走行ルートにおけるサムネイル画像を生成し、表示させる請求項１から９のいずれか１つに記載の情報提供装置。   The information providing apparatus according to any one of claims 1 to 9, wherein the display control unit generates and displays a thumbnail image of a travel route of the vehicle using an image around each point.
JP2007250470A 2007-09-27 2007-09-27 Information provision device Expired - Fee Related JP4920541B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2007250470A JP4920541B2 (en) 2007-09-27 2007-09-27 Information provision device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2007250470A JP4920541B2 (en) 2007-09-27 2007-09-27 Information provision device

Publications (2)

Publication Number Publication Date
JP2009080712A true JP2009080712A (en) 2009-04-16
JP4920541B2 JP4920541B2 (en) 2012-04-18

Family

ID=40655403

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2007250470A Expired - Fee Related JP4920541B2 (en) 2007-09-27 2007-09-27 Information provision device

Country Status (1)

Country Link
JP (1) JP4920541B2 (en)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11161159A (en) * 1997-11-28 1999-06-18 Hitachi Ltd Three-dimensional map display device
JP2003259397A (en) * 2001-12-28 2003-09-12 Will:Kk Database system for supporting employee on loan, method and system for supporting employee on loan, and program
JP2004356769A (en) * 2003-05-27 2004-12-16 Victor Co Of Japan Ltd Scenery display apparatus
JP2005265464A (en) * 2004-03-16 2005-09-29 Denso Corp Route calculation device and map data storage medium

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11161159A (en) * 1997-11-28 1999-06-18 Hitachi Ltd Three-dimensional map display device
JP2003259397A (en) * 2001-12-28 2003-09-12 Will:Kk Database system for supporting employee on loan, method and system for supporting employee on loan, and program
JP2004356769A (en) * 2003-05-27 2004-12-16 Victor Co Of Japan Ltd Scenery display apparatus
JP2005265464A (en) * 2004-03-16 2005-09-29 Denso Corp Route calculation device and map data storage medium

Also Published As

Publication number Publication date
JP4920541B2 (en) 2012-04-18

Similar Documents

Publication Publication Date Title
JP7252943B2 (en) Object detection and avoidance for aircraft
US10728516B2 (en) Determining stereo distance information using imaging devices integrated into propeller blades
US20210012520A1 (en) Distance measuring method and device
EP2327055B1 (en) Method of and arrangement for blurring an image
US11176704B2 (en) Object pose estimation in visual data
KR101569600B1 (en) Two-dimensional image capture for an augmented reality representation
CN114637023A (en) System and method for laser depth map sampling
US11783443B2 (en) Extraction of standardized images from a single view or multi-view capture
US20110026772A1 (en) Method of using laser scanned point clouds to create selective compression masks
US11430199B2 (en) Feature recognition assisted super-resolution method
JP2011238242A (en) Navigation and inspection system
CN108431871B (en) Method for displaying objects on a three-dimensional model
WO2019080768A1 (en) Information processing apparatus, aerial photography path generation method, program and recording medium
KR101325926B1 (en) 3d data processing apparatus and method for real-time 3d data transmission and reception
JP6910454B2 (en) Methods and systems for generating composite top-view images of roads
CN113853577A (en) Image processing method and device, movable platform and control terminal thereof, and computer-readable storage medium
KR101700764B1 (en) Method for Autonomous Movement and Apparatus Thereof
JP4920541B2 (en) Information provision device
JP2011053024A (en) Elevated-road identifying device, method of identifying elevated road, and elevated-road identification program
JP2021071885A (en) Area cut-out method and area cut-out program
JP7046555B2 (en) In-vehicle device, server, display method, transmission method
JP2020060496A (en) Information processing device
US20220390252A1 (en) Use of predefined (pre-built) graphical representations of roads for autonomous driving of vehicles and display of route planning
CN113177427A (en) Road prediction method, autonomous driving method, vehicle and equipment
JP2021086268A (en) Movable body, information processing device and imaging system

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20091222

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20111028

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20111221

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20120113

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20120201

R150 Certificate of patent or registration of utility model

Ref document number: 4920541

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20150210

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20150210

Year of fee payment: 3

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees