JP2009076084A - Device and method for supporting image creation, computer program, and recording medium - Google Patents
Device and method for supporting image creation, computer program, and recording medium Download PDFInfo
- Publication number
- JP2009076084A JP2009076084A JP2008267133A JP2008267133A JP2009076084A JP 2009076084 A JP2009076084 A JP 2009076084A JP 2008267133 A JP2008267133 A JP 2008267133A JP 2008267133 A JP2008267133 A JP 2008267133A JP 2009076084 A JP2009076084 A JP 2009076084A
- Authority
- JP
- Japan
- Prior art keywords
- image
- data
- shooting
- image data
- feature
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Navigation (AREA)
- Processing Or Creating Images (AREA)
Abstract
Description
本発明は、地物の画像の生成を支援する技術に関する。 The present invention relates to a technique for supporting generation of an image of a feature.
車両に搭載され、経路探索や経路誘導を行うカーナビゲーション装置が普及している。カーナビゲーション装置は、画像表示パネルを備えており、経路誘導時に、地図を表示する。このカーナビゲーション装置には、地図を表示する際に、立体交差する道路や建物などの地物をリアルに表現するために三次元画像を表示可能なものもある。この三次元画像には、コンピュータグラフィックス技術を用いたポリゴンが用いられる。 Car navigation devices that are mounted on vehicles and perform route search and route guidance are widespread. The car navigation apparatus includes an image display panel, and displays a map when guiding a route. Some of these car navigation devices can display a three-dimensional image in order to realistically represent features such as roads and buildings that intersect three-dimensionally when displaying a map. Polygons using computer graphics technology are used for this three-dimensional image.
近年では、地物をよりリアルに表示するために、ポリゴンに実際に撮影された静止画像から抽出した画像(貼付画像)を貼り付けることが提案されている。静止画像は、ディジタルスチルカメラを用いて地物を撮影したり、ディジタルビデオカメラを用いて撮影された動画像の一部をキャプチャしたりすることによって生成される。 In recent years, in order to display features more realistically, it has been proposed to paste an image (pasted image) extracted from a still image actually taken on a polygon. A still image is generated by capturing a feature using a digital still camera or capturing a part of a moving image captured using a digital video camera.
ディジタルビデオカメラを用いる場合、例えば、ディジタルビデオカメラを車両に設置して、走行しながら複数の地物を連続的に撮影することによって、比較的短時間に画像を得ることができる。 When using a digital video camera, for example, an image can be obtained in a relatively short time by installing the digital video camera in a vehicle and continuously photographing a plurality of features while running.
ディジタルビデオカメラでは、インタレース方式のものが一般的に用いられる。インタレース方式とは、奇数番目のラインを表示する奇数フィールドと偶数番目のラインを表示する偶数フィールドとを交互に撮影することによって1つのフレーム画像を生成する方式である。 In the digital video camera, an interlace system is generally used. The interlace method is a method of generating one frame image by alternately photographing an odd field for displaying odd-numbered lines and an even field for displaying even-numbered lines.
しかし、インタレース方式で撮影された画像では、例えば、NTSC方式では、偶数番目のラインの撮影時刻と奇数番目のラインの撮影時刻とに1/60秒のずれが存在する。このため、移動しながら地物を撮影した場合、両者を単純に合成して静止画像を生成すると、ずれた画像となってしまう。 However, in an image shot by the interlace method, for example, in the NTSC method, there is a 1/60 second difference between the shooting time of the even-numbered line and the shooting time of the odd-numbered line. For this reason, when a feature is photographed while moving, if a still image is generated by simply synthesizing both, a shifted image is obtained.
本発明は、上述の課題を解決するためになされたものであり、インタレース方式で撮影された動画像からズレのない静止画像の生成を支援することを目的とする。 The present invention has been made to solve the above-described problems, and an object of the present invention is to support the generation of a still image without a shift from a moving image shot by an interlace method.
上述の課題の少なくとも一部を解決するため、本発明では、以下の構成を採用した。
本発明の第1の画像生成支援装置は、
地物の画像の生成を支援する画像生成支援装置であって、
移動しながら撮影した前記地物をインタレース方式で記録したビデオ画像データから、間欠的にラインデータが記録されたフィールドデータのいずれかを入力する画像データ入力部と、
前記入力されたラインデータの複写、または、前記ラインデータ間の補間によって、データが未入力の他のラインデータを生成することにより、前記画像を生成する生成部と、
を備えることを要旨とする。
In order to solve at least a part of the above-described problems, the present invention employs the following configuration.
The first image generation support device of the present invention includes:
An image generation support device that supports generation of an image of a feature,
An image data input unit for inputting any of field data in which line data is intermittently recorded from video image data in which the features photographed while moving are recorded in an interlaced manner;
A generation unit that generates the image by generating other line data that is not input by copying the input line data or interpolating between the line data;
It is a summary to provide.
本発明で用いられる画像を生成するためのビデオ画像データは、先に説明したように、インタレース方式のビデオカメラを車両などに搭載して、移動しながら撮影したものである。「フィールドデータ」としては、例えば、奇数番目のライン(奇数ライン)を表示するための奇数フィールド画像データと、偶数番目のライン(偶数ライン)を表示するための偶数フィールド画像データなどが挙げられる。 As described above, the video image data used to generate an image used in the present invention is obtained by mounting an interlace video camera on a vehicle or the like and moving it. Examples of “field data” include odd field image data for displaying odd-numbered lines (odd lines) and even-numbered field image data for displaying even-numbered lines (even lines).
「入力されたラインデータの複写によって、データが未入力の他のラインデータを生成する」とは、例えば、フィールドデータとして、奇数フィールド画像データを入力した場合には、これを複写することによって、未入力の偶数ラインを表示する偶数ラインデータを生成することを意味している。また、「ラインデータ間の補間によって、データが未入力の他のラインデータを生成する」とは、例えば、フィールドデータとして、奇数フィールド画像データを入力した場合には、ある奇数ラインデータと、隣接する奇数ラインデータとの補間(例えば、平均)によって、未入力の偶数ラインを表示するための偶数ラインデータを生成することを意味している。 “Generate other line data that has not been entered by copying input line data” means, for example, when odd field image data is input as field data, This means that even-numbered line data for displaying an uninputted even-numbered line is generated. Also, “generate other line data that has not been input by interpolation between line data” means that, for example, when odd field image data is input as field data, it is adjacent to some odd line data. This means that even line data for displaying uninput even lines is generated by interpolation (for example, average) with odd line data.
先に説明したように、各フィールドデータは、撮影時刻が異なるので、それぞれを単純に合成して静止画像を生成すると、ずれた画像となる。本発明では、いずれかのフィールドデータを用いるので、ズレのない静止画像を生成することができる。更に、この静止画像を用いて、ズレのないポリゴンへの貼付画像を生成することができる。 As described above, since each field data has a different shooting time, when a still image is generated by simply combining the field data, a shifted image is obtained. In the present invention, since any one of the field data is used, a still image without deviation can be generated. Furthermore, using this still image, it is possible to generate a pasted image on a polygon with no displacement.
本発明の第2の画像生成支援装置は、
地物の画像の生成を支援する画像生成支援装置であって、
移動しながら撮影した前記地物をインタレース方式で記録したビデオ画像データから、異なる撮影タイミングで撮影され、間欠的にラインデータが記録されたフィールドデータを、少なくとも1つのフレーム分、入力する画像データ入力部と、
前記フィールドデータ同士の撮影タイミングの相違に起因する水平方向のずれ量を補正し、該各フィールドデータを1フレーム分の画像に合成することにより、前記画像を生成する生成部と、
を備えることを要旨とする。
The second image generation support apparatus according to the present invention includes:
An image generation support device that supports generation of an image of a feature,
Image data for inputting at least one frame of field data in which line data is intermittently recorded from video image data in which the features captured while moving are recorded in an interlaced manner. An input section;
A generation unit that generates the image by correcting a horizontal shift amount caused by a difference in shooting timing between the field data and combining the field data with an image for one frame;
It is a summary to provide.
1つのフレーム分のフィールドデータとは、例えば、連続して記録された奇数フィールド画像データと偶数フィールド画像データが挙げられる。本発明によって、1つのフレームについて、フィールドデータ間の撮影タイミングのズレを補償することができるので、ズレのない静止画像を生成することができる。更に、この静止画像を用いて、ズレのないポリゴンへの貼付画像を生成することができる。 The field data for one frame includes, for example, odd field image data and even field image data recorded continuously. According to the present invention, a shift in shooting timing between field data can be compensated for one frame, so that a still image without a shift can be generated. Furthermore, using this still image, it is possible to generate a pasted image on a polygon with no displacement.
本発明の第2の画像生成支援装置において、更に、
前記ずれ量に影響を与える所定の撮影条件を入力する撮影条件入力部を備え、
前記生成部は、前記撮影条件に基づいて、前記ずれ量を算出し、前記補正を行うようにすることができる。
In the second image generation support device of the present invention,
A shooting condition input unit for inputting a predetermined shooting condition that affects the shift amount;
The generation unit may calculate the deviation amount based on the photographing condition and perform the correction.
上記構成では、生成部でフィールドデータ間の水平方向のずれ量を算出することができるので、適切な補正を行うことができる。 In the above configuration, since the generation unit can calculate the amount of horizontal deviation between field data, appropriate correction can be performed.
上記画像生成支援装置において、
前記撮影条件は、例えば、前記撮影時の移動速度と、カメラの画角と、撮影位置と地物との距離と、前記撮影時のカメラアングルとのうちの少なくとも1つを含むようにすることができる。
In the image generation support device,
The shooting condition includes, for example, at least one of a moving speed at the time of shooting, a field angle of the camera, a distance between a shooting position and a feature, and a camera angle at the time of shooting. Can do.
また、本発明の第2の画像生成支援装置において、
前記生成部は、前記ずれ量を所定のパラメータに基づいて評価しつつ、前記各フィールドデータの少なくとも一つを相対的に水平方向に逐次ずらすことによって、前記ずれ量を補正するようにしてもよい。
In the second image generation support device of the present invention,
The generation unit may correct the shift amount by sequentially shifting at least one of the field data in the horizontal direction while evaluating the shift amount based on a predetermined parameter. .
こうすることによって、前記評価に基づく適切な補正を行うことができる。 By so doing, appropriate correction based on the evaluation can be performed.
上記画像生成支援装置において、
前記パラメータは、前記フレームについて、縦方向に配列された画素間の階調値のばらつきを表すパラメータであるものとすることができる。
In the image generation support device,
The parameter may be a parameter representing a variation in gradation value between pixels arranged in the vertical direction with respect to the frame.
階調値のばらつきを表すパラメータとしては、例えば、分散が挙げられる。画素間の階調値のばらつきが最も小さくなるように、各フィールドデータの少なくとも1つを相対的に水平方向に逐次ずらすことによって、ズレのない静止画像を生成することができる。 An example of a parameter that represents a variation in gradation values is dispersion. A still image without deviation can be generated by sequentially shifting at least one of the field data in the horizontal direction so that the variation in gradation value between pixels is minimized.
また、前記生成部は、前記各フィールドデータにおいて、ユーザによって指定された領域について前記ずれ量を評価するようにしてもよい。 In addition, the generation unit may evaluate the shift amount for an area specified by a user in each field data.
1つのフレーム画像内に複数の地物が撮影されている場合には、フレーム画像全体に亘ってずれ量の評価を行うことが不適切な場合がある。例えば、フレーム画像全体の階調値の分布が広くなりすぎる場合などである。本発明によって、ユーザによって任意に指定された領域についてずれ量を評価するので、所望の地物について、適切にずれ量を評価し、補正するようにすることができる。 When a plurality of features are captured in one frame image, it may be inappropriate to evaluate the shift amount over the entire frame image. For example, this is a case where the distribution of gradation values of the entire frame image becomes too wide. According to the present invention, since the shift amount is evaluated for an area arbitrarily designated by the user, it is possible to appropriately evaluate and correct the shift amount for a desired feature.
本発明の第3の画像生成支援装置は、
地物の画像の生成を支援する画像生成支援装置であって、
移動しながら撮影した前記地物を記録したビデオ画像データを表示するビデオ画像表示部と、
前記ビデオ画像データの撮影位置を時系列的に記録した履歴データを入力する履歴データ入力部と、
前記履歴データに基づいて、電子地図上に、前記撮影位置の軌跡を前記ビデオ画像データと同じ時間スケールで動画表示する撮影位置表示部と、
を備えることを要旨とする。
The third image generation support device of the present invention is
An image generation support device that supports generation of an image of a feature,
A video image display unit for displaying video image data recording the feature photographed while moving;
A history data input unit for inputting history data in which the shooting positions of the video image data are recorded in time series;
Based on the history data, on the electronic map, a shooting position display unit that displays a moving image of the locus of the shooting position on the same time scale as the video image data;
It is a summary to provide.
ここで、「履歴データ」とは、例えば、緯度、経度などの撮影位置と、撮影時刻とが対応付けられて、時系列的に記録されたデータである。履歴データによって、撮影位置の軌跡を追跡することができる。また、「動画表示」とは、所定時間内に画面に動きがあることを意味しており、連続画像の表示であってもよいし、コマ送り画像の表示であってもよい。本発明によって、ユーザは、表示されているビデオ画像が、いつ、どこで撮影されたものであるのかを視覚的に容易に把握することができる。従って、表示されている地物が電子地図上のどの地物に相当するのかを容易に知ることができる。 Here, “history data” is, for example, data recorded in a time series in which shooting positions such as latitude and longitude are associated with shooting times. The locus of the shooting position can be traced by the history data. Further, “moving image display” means that the screen moves within a predetermined time, and may be a continuous image display or a frame advance image display. According to the present invention, the user can easily visually grasp when and where the displayed video image was taken. Therefore, it is possible to easily know which feature on the electronic map the displayed feature corresponds to.
上記画像生成支援装置において、ビデオ画像の内容と撮影位置の軌跡との対応関係が適切になるように、ユーザがビデオ画像の表示と撮影位置の軌跡の表示のスタート時刻を合わせ、同期制御せずに、ビデオ画像の表示と撮影位置の軌跡の表示とを独立に並行して表示してもよいが、更に、前記ビデオ画像表示部と前記撮影位置表示部との同期を制御する同期制御部を備えることが好ましい。 In the image generation support device, the user adjusts the start time of the video image display and the shooting position trajectory so that the correspondence between the content of the video image and the shooting position trajectory is appropriate, and does not perform synchronous control. In addition, the display of the video image and the display of the trajectory of the shooting position may be displayed independently and in parallel, and a synchronization control unit for controlling the synchronization between the video image display unit and the shooting position display unit is further provided. It is preferable to provide.
同期制御部は、例えば、ビデオ画像データに撮影時刻データを含めるようにし、ビデオ画像の撮影時刻と履歴データの撮影時刻とに基づいて、両者の同期を制御することができる。こうすることによって、ビデオ画像の内容と撮影位置の軌跡との対応関係を、より正確に表示することができる。 For example, the synchronization control unit can include the shooting time data in the video image data, and can control the synchronization between the video image shooting time and the history data shooting time. In this way, the correspondence between the content of the video image and the trajectory of the shooting position can be displayed more accurately.
本発明の第4の画像生成支援装置は、
地物の画像の生成を支援する画像生成支援装置であって、
移動しながら撮影した前記地物を記録したビデオ画像データについて、撮影位置を時系列的に記録した履歴データを入力する履歴データ入力部と、
前記撮影時のカメラアングルおよびカメラの画角を含む撮影条件を入力する撮影条件入力部と、
前記地物の位置と、前記履歴データと、前記撮影条件とに基づいて、前記画角内における前記地物の相対位置を特定する相対位置特定部と、
前記ビデオ画像データにおいて、前記相対位置が予め設定された所定の条件を満たすフレームを特定するためのフレーム特定情報を出力する出力部と、
を備えることを要旨とする。
The fourth image generation support device of the present invention is:
An image generation support device that supports generation of an image of a feature,
For video image data recording the feature photographed while moving, a history data input unit for inputting history data in which shooting positions are recorded in time series, and
A shooting condition input unit for inputting shooting conditions including a camera angle and a camera angle at the time of shooting;
A relative position specifying unit that specifies a relative position of the feature within the angle of view based on the position of the feature, the history data, and the imaging condition;
In the video image data, an output unit that outputs frame specifying information for specifying a frame that satisfies a predetermined condition in which the relative position is set in advance;
It is a summary to provide.
こうすることによって、上述した本発明の第1または第2の画像生成支援装置に入力するためのフィールドデータを容易に特定できる。この結果、画像の生成を支援することができる。 By doing so, it is possible to easily specify the field data to be input to the above-described first or second image generation support device of the present invention. As a result, image generation can be supported.
上記画像生成支援装置において、
前記所定の条件は、例えば、前記地物が前記画角のほぼ中央に存在する条件であるものとすることが好ましい。
In the image generation support device,
It is preferable that the predetermined condition is, for example, a condition in which the feature exists at approximately the center of the angle of view.
撮影対象物がカメラの画角の中央から外れると、画像に歪が生じる場合がある。上記構成によって、撮影対象の地物が画像の枠に収まっている複数のフレームの中から、撮影時の画像の歪が小さいフレームを選択することができる。 If the object to be photographed deviates from the center of the field angle of the camera, the image may be distorted. With the configuration described above, it is possible to select a frame with a small distortion of the image at the time of shooting from a plurality of frames in which the feature to be shot is within the frame of the image.
本発明の第4の画像生成支援装置において、
前記フレーム特定情報は、例えば、前記フレームの撮影時刻であるものとすることが好ましい。
In the fourth image generation support device of the present invention,
The frame specifying information is preferably, for example, a shooting time of the frame.
こうすることによって、撮影時刻とフレームとは、互いに対応付けることができるので、多量のフレームの中から所望のフレームを容易に特定することができる。 By doing so, the photographing time and the frame can be associated with each other, so that a desired frame can be easily specified from a large number of frames.
本発明は、上述の画像生成支援装置としての構成の他、画像の生成を支援する方法の発明として構成することもできる。また、これらを実現するコンピュータプログラム、およびそのプログラムを記録した記録媒体、そのプログラムを含み搬送波内に具現化されたデータ信号など種々の態様で実現することが可能である。なお、それぞれの態様において、先に示した種々の付加的要素を適用することが可能である。 The present invention can be configured as an invention of a method for supporting generation of an image in addition to the configuration as the above-described image generation support apparatus. Further, the present invention can be realized in various modes such as a computer program that realizes these, a recording medium that records the program, and a data signal that includes the program and is embodied in a carrier wave. In addition, in each aspect, it is possible to apply the various additional elements shown above.
本発明をコンピュータプログラムまたはそのプログラムを記録した記録媒体等として構成する場合には、画像生成支援装置を駆動するプログラム全体として構成するものとしてもよいし、本発明の機能を果たす部分のみを構成するものとしてもよい。また、記録媒体としては、フレキシブルディスクやCD−ROM、DVD−ROM、光磁気ディスク、ICカード、ROMカートリッジ、パンチカード、バーコードなどの符号が印刷された印刷物、コンピュータの内部記憶装置(RAMやROMなどのメモリ)および外部記憶装置などコンピュータが読み取り可能な種々の媒体を利用できる。 When the present invention is configured as a computer program or a recording medium on which the program is recorded, the entire program for driving the image generation support apparatus may be configured, or only a part that performs the function of the present invention is configured. It may be a thing. The recording medium includes a flexible disk, a CD-ROM, a DVD-ROM, a magneto-optical disk, an IC card, a ROM cartridge, a punch card, a printed matter on which a code such as a barcode is printed, a computer internal storage device (RAM or Various types of computer-readable media such as a memory such as a ROM and an external storage device can be used.
以下、本発明の実施の形態について、実施例に基づき以下の順序で説明する。
A.貼付画像生成支援装置の構成:
B.同期表示処理:
C.フレーム特定処理:
D.静止画像データ生成処理(第1実施例):
E.静止画像データ生成処理(第2実施例):
F.静止画像データ生成処理(第3実施例):
G.変形例:
Hereinafter, embodiments of the present invention will be described in the following order based on examples.
A. Configuration of the pasted image generation support device:
B. Synchronous display processing:
C. Frame identification processing:
D. Still image data generation processing (first embodiment):
E. Still image data generation processing (second embodiment):
F. Still image data generation processing (third embodiment):
G. Variations:
A.貼付画像生成支援装置の構成:
図1は、本発明の一実施例としての貼付画像生成支援装置100の構成を示す説明図である。この貼付画像生成支援装置100は、インタレース方式のディジタルビデオカメラ10によって撮影されたビデオ画像データから静止画像データを生成し、先に説明した、ポリゴンに貼り付けるための貼付画像の生成を支援する装置である。本実施例では、ビデオ画像データは、いわゆるカーナビゲーション装置を搭載した車両に設置されたディジタルビデオカメラによって、走行しながらビルなどの地物を撮影したデータである。本実施例のビデオ画像データには、画像データとともに、各フレームの撮影時刻も記録されているものとする。貼付画像生成支援装置100は、本発明の画像生成支援装置に相当する。
A. Configuration of the pasted image generation support device:
FIG. 1 is an explanatory diagram showing a configuration of a pasted image
貼付画像生成支援装置100は、CPU、RAM、ROMなどを備えるコンピュータや、各種プログラムやデータを記憶するためのハードディスクを備えている。貼付画像生成支援装置100は、また、2つのディスプレイ50、60や、ユーザからの指示を入力するための、図示しない操作パネルやマウスなどの入力機器も備えている。
The pasted image
貼付画像生成支援装置100は、図示した各機能ブロックをソフトウェア的に備えている。これらをハードウェア的に備えるようにしてもよい。これらの各機能ブロックは、図示しない制御部によって制御される。
The pasted image
入力部110は、ディジタルビデオカメラ10によって記録されたビデオ画像データや、撮影履歴を記録した履歴データ20や、撮影条件データ30や、地図データ40を、ハードディスクなどの記録媒体から入力する。入力部110は、また、操作パネルやマウスなどの入力機器から、ユーザの指示を入力する。
The
図2は、履歴データ20の一例を示す説明図である。図示するように、履歴データ20には、ディジタルビデオカメラ10を設置した車両の位置情報、即ち、撮影位置の緯度および経度と、撮影時刻とが対応付けて記録されている。緯度および経度は、カーナビゲーション装置が備えるGPSアンテナなどの位置検出装置によって検出されたものである。
FIG. 2 is an explanatory diagram showing an example of the
撮影条件データ30には、移動しながらディジタルビデオカメラ10で撮影したときに、偶数フィールド画像データと奇数フィールド画像データとの撮影タイミングの相違に起因する画像のずれ量に影響を与えるパラメータが含まれる。本実施例では、撮影条件データ30として、ディジタルビデオカメラ10の車両への設置状態(カメラアングル)と、ディジタルビデオカメラ10の画角とを用いるものとした。これらの他に、撮影時の車両の走行速度や、撮影位置と撮影対象となる地物との距離、ディジタルビデオカメラ10の撮像素子のサイズ、レンズの焦点距離などを含めるようにしてもよい。
The
地図データ40は、いわゆる電子地図データであり、道路や建物などの地物の位置(緯度、経度)や、その形状に関するデータが、それらの名称などの属性データとともに記録されている。
The
貼付画像生成支援装置100は、大きく分けて、3つの機能を有する。
The pasted image
第1の機能は、撮影位置の軌跡とビデオ画像とを、ディスプレイ50、60に同期して表示させる(同期表示処理)機能である。これは、主として、入力部110と、同期制御部120と、表示制御部130とによって実現される。同期制御部120は、入力部110に入力されたビデオ画像データに含まれる撮影時刻と、履歴データの撮影時刻とに基づいて、撮影位置の軌跡とビデオ画像とを同期させる。表示制御部130は、同期制御部120が同期させたタイミングで、ディスプレイ50には、電子地図mapとともに撮影位置pを表示させ、ディスプレイ60には、撮影位置pから撮影したビルBLDのビデオ画像picを表示させる。
The first function is a function (synchronous display processing) of displaying the shooting position locus and the video image in synchronization with the
この第1の機能によって、ディスプレイ60に表示されるビデオ画像の内容と、ディスプレイ50に表示される撮影位置の軌跡との対応関係を正確に表示することができる。従って、ユーザは、表示されているビデオ画像が、いつ、どこで撮影されたものであるのかを視覚的に容易に把握することができる。また、ディスプレイ60に表示されている地物が電子地図上のどの地物に相当するのかを容易に知ることができる。
With this first function, the correspondence between the content of the video image displayed on the
第2の機能は、ビデオ画像データの中から、貼付画像の生成の対象となる地物が適切に撮影されたフレームを自動的に特定する(フレーム特定処理)機能である。これは、主として、入力部110と、特定部140と、出力部150とによって実現される。特定部140は、入力部110に入力された履歴データと、撮影条件と、地物の位置とに基づいて、ディジタルビデオカメラ10の画角内における地物の相対位置を特定する。この特定方法の詳細は後述する。出力部150は、特定部140が特定した地物の相対位置がディジタルビデオカメラ10の画角の中央となるフレームの撮影時刻を算出し、記憶部160に出力する。記憶部160は、地物と撮影時刻とを対応付けて記憶する。
The second function is a function for automatically specifying a frame in which a feature for which a pasted image is to be generated is appropriately captured from the video image data (frame specifying process). This is mainly realized by the
撮影対象物がカメラの画角の中央から外れると、画像に歪が生じる場合がある。第2の機能において、地物がディジタルビデオカメラ10の画角の中央に存在するフレームを特定するようにすることによって、撮影対象の地物が画像の枠に収まっている複数のフレームの中から、撮影時の画像の歪が小さいフレームを特定することができる。また、撮影時刻とフレームとは、互いに対応付けることができるので、特定されたフレームの撮影時刻を出力することによって、多量のフレームの中から、次に説明する第3の機能で利用する適切なフレームを容易に特定することができる。
If the object to be photographed deviates from the center of the field angle of the camera, the image may be distorted. In the second function, by specifying the frame in which the feature exists in the center of the angle of view of the
第3の機能は、ビデオ画像データから貼付画像を生成するための静止画像を生成する(静止画像データ生成処理)機能である。これは、主として、入力部110と、生成部170とによって実現される。生成部170は、記憶部160から、貼付画像の生成対象となる地物がディジタルビデオカメラ10の画角の中央となるフレームの撮影時刻を取得し、これに対応した画像データを取得する。そして、この画像データを用いて、後述する静止画像データ生成処理によって静止画像データを生成する。生成部170で生成された静止画像データは、静止画像データ記憶部70に記憶される。
The third function is a function for generating a still image for generating a pasted image from video image data (still image data generation processing). This is mainly realized by the
この第3の機能によって、後述するように、インタレース方式のディジタルビデオカメラ10で撮影された動画から、ズレのない静止画像を生成し、ポリゴンへの貼付画像を生成することができる。
With this third function, as will be described later, it is possible to generate a still image without deviation from a moving image shot by the interlaced
以下、上述した3つの機能に対応した処理の流れを説明する。 Hereinafter, the flow of processing corresponding to the three functions described above will be described.
B.同期表示処理:
図3は、同期表示処理の流れを示すフローチャートである。貼付画像生成支援装置100のCPUが実行する処理である。まず、CPUは、入力部110によって、ビデオ画像データを取得する(ステップS100)。このビデオ画像データには、先に説明したように、撮影時刻データも記録されている。次に、履歴データ20を取得する(ステップS110)。そして、同期制御部120によって、ビデオ画像データに含まれる撮影時刻と、履歴データ20に含まれる撮影時刻とを同期させる(ステップS120)。そして、表示制御部によって、ディスプレイ50には、電子地図mapとともに撮影位置pを表示させ、ディスプレイ60には、撮影位置pから撮影した地物のビデオ画像を表示させる。(ステップS130)。これらの処理は、ユーザによって処理の中断または終了の指示が入力されるか、全てのビデオ画像データの表示が終了するまで行われる。
B. Synchronous display processing:
FIG. 3 is a flowchart showing the flow of the synchronous display process. This is a process executed by the CPU of the pasted image
C.フレーム特定処理:
図4は、フレーム特定処理の流れを示すフローチャートである。貼付画像生成支援装置100のCPUが実行する処理である。まず、CPUは、入力部110によって、履歴データ20を取得する(ステップS200)。次に、撮影条件データ30を取得する(ステップS210)。次に、地図データ40から地物の位置情報を取得する(ステップS220)。そして、特定部140によって、ディジタルビデオカメラの画角における地物の相対位置を特定しつつ(ステップS230)、出力部150によって、地物がディジタルビデオカメラ10の画角の中央に存在するフレームを検索し(ステップS240)、そのフレームの撮影時刻を出力する(ステップS250)。以上の処理を貼付画像の生成対象となる各地物について行う。
C. Frame identification processing:
FIG. 4 is a flowchart showing the flow of the frame specifying process. This is a process executed by the CPU of the pasted image
図5は、上述したステップS230、S240における、フレームの特定方法を示す説明図である。図5(a)の上段および下段には、時刻t1におけるディスプレイ50およびディスプレイ60の表示例をそれぞれ示した。図5(b)の上段および下段には、時刻t2におけるディスプレイ50およびディスプレイ60の表示例をそれぞれ示した。また、図5(a)、(b)の上段には、ビルBLDの位置Pb(LAT1,LON1)と、各時刻における撮影位置Pc1(LATx1,LONy1)、Pc2(LATx2,LONy2)と、撮影条件(ディジタルビデオカメラ10のカメラアングルθhと画角θ)と、を併せて示した。図5では、時刻t1において、ビルBLDがディジタルビデオカメラ10の画角θの右寄りに位置しており、時刻t2においては、左寄りに位置している様子を例示した。
FIG. 5 is an explanatory diagram showing a frame specifying method in steps S230 and S240 described above. In the upper part and the lower part of FIG. 5A, display examples of the
上述した各パラメータ値は、地図データ40、履歴データ20、撮影条件データ30から取得することができ、それらを用いて、ディジタルビデオカメラ10の画角θにおけるビルBLDの相対位置を所定の演算によって算出することができる。更に、ビルBLDがディジタルビデオカメラ10の画角θの中央に位置する時刻を算出することも可能である。
Each parameter value described above can be acquired from the
図示した例では、撮影位置Pの移動方向のベクトルVmと、時刻t1における撮影位置Pc1からビルBLDへの方向のベクトルVpc1pbと、時刻t2における撮影位置Pc2からビルBLDへの方向のベクトルVpc2pbは、各位置情報から求めることができる。 In the illustrated example, the vector Vm of the moving direction of the shooting position P, the vector Vpc1pb of the direction from the shooting position Pc1 to the building BLD at the time t1, and the vector Vpc2pb of the direction from the shooting position Pc2 to the building BLD at the time t2 are It can be obtained from each position information.
そして、ベクトルVmとベクトルVpc1pbとのなす角度θt1は、
θt1=cos-1(Vm・Vpc1pb/(|Vm|*|Vpc1pc|))
である。ここで、Vm・Vpc1pbは、ベクトルVmとベクトルVpc1pvとの内積を表しており、|Vm|および|Vpc1pb|は、ベクトルVmおよびベクトルVpc1pbの大きさを表している。
The angle θt1 formed by the vector Vm and the vector Vpc1pb is
θt1 = cos-1 (Vm ・ Vpc1pb / (| Vm | * | Vpc1pc |))
It is. Here, Vm · Vpc1pb represents the inner product of the vector Vm and the vector Vpc1pv, and | Vm | and | Vpc1pb | represent the sizes of the vector Vm and the vector Vpc1pb.
また、ベクトルVmとベクトルVpc2pbとのなす角度θt2は、
θt2=cos-1(Vm・Vpc2pb/(|Vm|*|Vpc2pc|))
である。ここで、Vm・Vpc2pbは、ベクトルVmとベクトルVpc2pvとの内積を表しており、|Vm|および|Vpc2pb|は、VmおよびVpc2pbの大きさを表している。
The angle θt2 formed by the vector Vm and the vector Vpc2pb is
θt2 = cos-1 (Vm ・ Vpc2pb / (| Vm | * | Vpc2pc |))
It is. Here, Vm · Vpc2pb represents the inner product of the vector Vm and the vector Vpc2pv, and | Vm | and | Vpc2pb | represent the magnitudes of Vm and Vpc2pb.
時刻t1において、角度θt1は、ディジタルビデオカメラ10のカメラアングルθhよりも小さいから、ビルBLDは、ディジタルビデオカメラ10の画角の右寄りに位置する。また、時刻t2において、角度θt2は、ディジタルビデオカメラ10のカメラアングルθhよりも大きいから、ビルBLDは、ディジタルビデオカメラ10の画角の左寄りに位置する。
At time t1, the angle θt1 is smaller than the camera angle θh of the
ビルBLDがディジタルビデオカメラの画角θの中央に位置する時刻は、ベクトルVmと、撮影位置からビルBLD方向のベクトルとのなす角度がディジタルビデオカメラ10のカメラアングルθhと一致する時刻であるから、この時刻を求めればよい。
The time when the building BLD is located at the center of the angle of view θ of the digital video camera is the time when the angle between the vector Vm and the vector in the direction of the building BLD from the shooting position coincides with the camera angle θh of the
このようなフレーム特定処理によって、後述する静止画像データ生成処理に利用するフィールドデータを容易に特定することができる。 By such a frame specifying process, it is possible to easily specify field data used for a still image data generating process to be described later.
D.静止画像データ生成処理(第1実施例):
図6は、第1実施例の静止画像データ生成処理の流れを示すフローチャートである。貼付画像生成支援装置100のCPUが実行する処理である。まず、CPUは、記憶部160から貼付画像の生成対象の地物がディジタルビデオカメラ10の画角の中央に存在するフレームの撮影時刻を取得する(ステップS300)。次に、その撮影時刻に撮影されたフレームの画像データの奇数フィールド画像データを取得する(ステップS310)。そして、各奇数ラインデータを複写することによって偶数ラインデータを生成する(ステップS320)。そして、各ラインデータを合成し(ステップS330)、静止画像データを生成する。そして、生成された静止画像データを、地物と関連付けて、静止画像データ記憶部70に保存する(ステップS340)。静止画像データと地物との関連付けは、ユーザが個々に行ってもよいし、地物の位置情報と関連付けてもよい。また、地図データ40に地物の名称が含まれる場合には、地物の名称と関連付けてもよい。
D. Still image data generation processing (first embodiment):
FIG. 6 is a flowchart showing the flow of still image data generation processing of the first embodiment. This is a process executed by the CPU of the pasted image
図7は、奇数ラインデータを複写することによって偶数ラインデータを生成する様子を模式的に示す説明図である。図中の各マスは、画素を示している。例えば、奇数ラインodd1の各データを隣接する下のラインに複写することによって、偶数ラインeven1のデータを生成することができる。従って、偶数ラインeven1の画素BのRGBの各階調値は、奇数ラインodd1の画素Aの各階調値と同じである。偶数ラインeven2の画素DのRGBの各階調値は、奇数ラインodd2の画素Cの各階調値と同じである。 FIG. 7 is an explanatory diagram schematically showing how even line data is generated by copying odd line data. Each square in the figure represents a pixel. For example, the data of the even line even1 can be generated by copying each data of the odd line odd1 to the adjacent lower line. Accordingly, the RGB gradation values of the pixel B of the even line even1 are the same as the gradation values of the pixel A of the odd line odd1. Each gradation value of RGB of the pixel D of the even line even2 is the same as each gradation value of the pixel C of the odd line odd2.
上述した例では、奇数ラインデータを複写することによって偶数ラインデータを生成したが、奇数ラインデータ間の補間によって偶数ラインデータを生成するようにしてもよい。例えば、奇数ラインデータodd1、odd2の補間(例えば、平均)によって、偶数ラインデータeven1のデータを生成することができる。この場合、例えば、画素Bの各階調値は、画素Aの各階調値と画素Bの各階調値との平均値となる。 In the example described above, even line data is generated by copying odd line data. However, even line data may be generated by interpolation between odd line data. For example, the even line data even1 can be generated by interpolation (for example, average) of the odd line data odd1 and odd2. In this case, for example, each gradation value of the pixel B is an average value of each gradation value of the pixel A and each gradation value of the pixel B.
第1実施例の静止画像データ生成処理では、奇数フィールド画像データのみを用いて静止画像を生成するので、奇数フィールド画像データと偶数フィールド画像データとの撮影時刻の相違が静止画像データには反映されない。従って、ズレのない静止画像を生成し、ポリゴンへの貼付画像を生成することができる。 In the still image data generation process of the first embodiment, a still image is generated using only odd field image data, so that the difference in shooting time between odd field image data and even field image data is not reflected in the still image data. . Therefore, it is possible to generate a still image without deviation and generate a pasted image on a polygon.
E.静止画像データ生成処理(第2実施例):
上述した第1実施例の静止画像データ生成処理では、奇数フィールド画像データを用いて静止画像データを生成したが、第2実施例では、1フレーム分のフィールドデータを用いて静止画像データを生成する。
E. Still image data generation processing (second embodiment):
In the still image data generation process of the first embodiment described above, still image data is generated using odd field image data. In the second embodiment, still image data is generated using field data for one frame. .
図8は、第2実施例の静止画像データ生成処理の流れを示すフローチャートである。貼付画像生成支援装置100のCPUが実行する処理である。まず、CPUは、記憶部160から貼付画像の生成対象の地物がディジタルビデオカメラの画角の中央に存在するフレームの撮影時刻を取得する(ステップS400)。次に、入力部110によって、その撮影時刻に撮影されたフレームの画像データを1フレーム分、取得する(ステップS410)。つまり、ステップS400で取得した撮影時刻に直近の奇数フィールド画像データと偶数フィールド画像データとを取得する。次に、撮影条件を取得する(ステップS420)。
FIG. 8 is a flowchart showing the flow of still image data generation processing of the second embodiment. This is a process executed by the CPU of the pasted image
次に、撮影条件に基づいて、奇数フィールド画像データと偶数フィールド画像データの撮影タイミングの相違に起因する水平方向のずれ量を算出する(ステップS430)。ディジタルビデオカメラ10の画素数等の仕様や撮影タイミングの差は、既知であるから、ずれ量は、先に説明した撮影条件を用いることによって、所定の演算によって算出することができる。
Next, based on the shooting conditions, the amount of horizontal shift due to the difference in shooting timing between the odd field image data and the even field image data is calculated (step S430). Since differences in specifications such as the number of pixels of the
図9は、奇数フィールド画像データと偶数フィールド画像データの撮影タイミングの相違に起因する水平方向のずれ量の算出方法を示す説明図である。まず、理解を容易にするために、撮影位置と撮影対象物との距離がほとんど変わらない状態で水平移動しながら撮影する場合(図9(a)参照)を例にして説明する。図9(a)の右側に拡大して示した1画素当たりのサイズがN(mm)のCCDを備えるディジタルビデオカメラで撮影する場合を考える。ディジタルビデオカメラのレンズの焦点距離がf(mm)、撮影対象物までの距離をL(mm)とした場合、撮影対象物が水平方向にM(mm)移動すると、CCDにおける像は、M・(f/L)(mm)移動することになる。つまり、M・(f/L)/N画素移動する。 FIG. 9 is an explanatory diagram showing a method of calculating the amount of horizontal displacement caused by the difference in shooting timing between odd field image data and even field image data. First, in order to facilitate understanding, an explanation will be given by taking as an example a case where shooting is performed while horizontally moving in a state where the distance between the shooting position and the shooting target is almost unchanged (see FIG. 9A). Consider the case of shooting with a digital video camera having a CCD with a size of N (mm) per pixel, shown enlarged on the right side of FIG. When the focal length of the digital video camera lens is f (mm) and the distance to the object to be photographed is L (mm), when the object to be photographed moves M (mm) in the horizontal direction, the image on the CCD is M · (F / L) (mm). That is, M · (f / L) / N pixels are moved.
例えば、レンズの焦点距離が5(mm)であり、1画素当たりのサイズが0.005(mm)のCCDを備えるディジタルビデオカメラを用いて、30(m)離れたビルを、40(km/h)で水平移動しながら撮影する場合、撮影位置は、1/60(s)間に約185(mm)移動する。つまり、ビルは相対的に約185(mm)移動する。このとき、CCDにおける像は、約0.03(=185・(5/30000))(mm)、即ち、約6画素分移動することになる。 For example, using a digital video camera including a CCD having a lens focal length of 5 (mm) and a size of 0.005 (mm) per pixel, a building separated by 30 (m) is converted into 40 (km / In the case of shooting while horizontally moving in h), the shooting position moves about 185 (mm) in 1/60 (s). That is, the building moves relatively about 185 (mm). At this time, the image on the CCD moves about 0.03 (= 185 · (5/30000)) (mm), that is, about 6 pixels.
上述した例は、図9(b)において、車両にディジタルビデオカメラを進行方向(ベクトルVmaの方向)に対して左90度の向きに設置し、点pにおいて、ベクトルVmaの方向に移動しながら、進行方向に対して左90度に存在するビルBLD1を撮影する場合に相当する。 In the example described above, in FIG. 9B, a digital video camera is installed on the vehicle in the direction of 90 degrees to the left with respect to the traveling direction (the direction of the vector Vma), while moving in the direction of the vector Vma at point p. This corresponds to the case where the building BLD1 existing 90 degrees to the left with respect to the traveling direction is photographed.
次に、車両にディジタルビデオカメラを進行方向に対して左にθh度の向きに設置し、点pにおいて、ベクトルVmaの方向に移動しながら、進行方向に対して左にθh度に存在するビルBLD2を撮影する場合について説明する。この場合は、図9(b)に示すように、ベクトルVmaをディジタルビデオカメラの設置方向のベクトルVma2と、ベクトルVma2に直交するベクトルVma1とに分解することによって、先に説明した場合と同様に理解することができる。つまり、ベクトルVma1の大きさが水平方向の移動速度に相当する。この移動速度から1/60(s)間の移動距離が求められるから、奇数フィールド画像データと偶数フィールド画像データとの水平方向のずれ量を算出することができる。なお、ここでは、ベクトルVma2による撮影位置点pとビルBLD2との距離の変化は考慮していない。 Next, a digital video camera is installed in the vehicle in the direction of θh degrees to the left with respect to the traveling direction, and the building exists at θh degrees to the left with respect to the traveling direction while moving in the direction of the vector Vma at point p. A case where the BLD 2 is photographed will be described. In this case, as shown in FIG. 9B, the vector Vma is decomposed into a vector Vma2 in the installation direction of the digital video camera and a vector Vma1 orthogonal to the vector Vma2, as in the case described above. I can understand. That is, the magnitude of the vector Vma1 corresponds to the moving speed in the horizontal direction. Since the moving distance between 1/60 (s) is obtained from this moving speed, the horizontal shift amount between the odd field image data and the even field image data can be calculated. Here, a change in the distance between the photographing position point p and the building BLD2 due to the vector Vma2 is not considered.
このようにして奇数フィールド画像データと偶数フィールド画像データとの水平方向のずれ量を算出することができる。なお、本実施例において、撮影位置の移動速度を入力していないが、撮影位置の移動速度は、履歴データから容易に算出することができる。また、撮影対象物までの距離は、撮影位置と撮影対象物の位置とから容易に算出することができる。 In this manner, the horizontal shift amount between the odd field image data and the even field image data can be calculated. In this embodiment, the moving speed of the shooting position is not input, but the moving speed of the shooting position can be easily calculated from the history data. In addition, the distance to the photographing object can be easily calculated from the photographing position and the position of the photographing object.
図8のステップS430において、ずれ量を算出すると、算出された値に従って、奇数フィールド画像データと偶数フィールド画像データの少なくとも1つを水平方向にずらすことによって、ずれ量を補正する(ステップS440)。本実施例では、偶数フィールド画像データを水平方向にずらすことによって補正を行い、補正偶数フィールド画像データを生成するものとした。このとき、補正を行うことによって、画像の枠からはみ出す画素の画像データは削除し、不足する画素の画像データには黒を表示する画像データを追加することとした。 When the shift amount is calculated in step S430 of FIG. 8, the shift amount is corrected by shifting at least one of the odd field image data and the even field image data in the horizontal direction according to the calculated value (step S440). In this embodiment, correction is performed by shifting even field image data in the horizontal direction, and corrected even field image data is generated. At this time, by performing correction, the image data of the pixels protruding from the image frame is deleted, and the image data for displaying black is added to the image data of the insufficient pixels.
そして、奇数フィールド画像データと補正偶数フィールド画像データとを合成し(ステップS450)、静止画像データを生成する。そして、生成された静止画像データを、地物と関連付けて、静止画像データ記憶部70に保存する(ステップS460)。
Then, the odd field image data and the corrected even field image data are synthesized (step S450) to generate still image data. Then, the generated still image data is stored in the still image
図10は、第2実施例における静止画像データの生成の様子を模式的に示す説明図である。図中の各マスは画素を表している。図から分かるように、補正前の奇数フィールド画像データと偶数フィールド画像データとは、水平方向にずれている(左図)。生成部170は、偶数フィールド画像データが右に2画素分ずれていることを算出し、これを左に2画素ずらす補正を行う(右図)。なお、図10の右図では、補正によって画像の枠からはみ出し削除された画素、不足して追加された画素も表している。
FIG. 10 is an explanatory diagram schematically showing how still image data is generated in the second embodiment. Each square in the figure represents a pixel. As can be seen from the figure, the odd-numbered field image data and the even-numbered field image data before correction are shifted in the horizontal direction (left figure). The
第2実施例の静止画像データ生成処理では、フィールドデータ間の撮影時刻の相違に起因する水平方向のずれ量を、撮影条件に基づいて算出することができるので、適切な補正を行うことができる。この結果、ズレのない静止画像を生成し、ポリゴンへの貼付画像を生成することができる。 In the still image data generation process of the second embodiment, the amount of horizontal deviation due to the difference in shooting time between field data can be calculated based on the shooting conditions, so that appropriate correction can be performed. . As a result, it is possible to generate a still image without deviation and generate a pasted image on a polygon.
F.静止画像データ生成処理(第3実施例):
上述した第2実施例の静止画像データ生成処理では、算出されたずれ量に基づいてラインデータをずらすことによって補正を行ったが、第3実施例の静止画像データ生成処理では、ラインデータを逐次ずらして、所定の評価を行いつつ、最適なずらし量を決定し、補正を行う。
F. Still image data generation processing (third embodiment):
In the still image data generation process of the second embodiment described above, the correction is performed by shifting the line data based on the calculated shift amount. However, in the still image data generation process of the third embodiment, the line data is sequentially updated. While performing a predetermined evaluation, the optimal shift amount is determined and corrected.
図11は、第3実施例の静止画像データ生成処理の流れを示すフローチャートである。貼付画像生成支援装置100のCPUが実行する処理である。まず、CPUは、貼付画像の生成対象の地物がディジタルビデオカメラの画角の中央に存在するフレームの撮影時刻を取得する(ステップS500)。次に、入力部110によって、その撮影時刻に撮影されたフレームの画像データを1フレーム分、取得し(ステップS510)、これを合成して静止画像データを生成する(ステップS520)。
FIG. 11 is a flowchart showing the flow of still image data generation processing of the third embodiment. This is a process executed by the CPU of the pasted image
次に、ユーザによって指定された画像データ上の指定領域を取得する(ステップS530)。本実施例では、ステップS520で生成された画像データがディスプレイ60に表示され、ユーザが表示画面上でマウスを用いて領域を指定し、入力するものとした。
Next, a designated area on the image data designated by the user is acquired (step S530). In this embodiment, the image data generated in step S520 is displayed on the
次に、指定領域内の画素について、階調値のバラつきを算出する(ステップS540)。本実施例では、バラつきを表すパラメータとして、分散を用いることとした。分散以外のパラメータを用いるものとしてもよい。そして、評価値としての分散の値を一時的に記憶する(ステップS542)。次に、偶数フィールド画像データを水平方向にずらし(ステップS543)、再度合成することによって静止画像データを生成する(ステップS544)。そして、指定領域内の画素について、再度階調値のバラつきを算出する(ステップS546)。そして、評価値を一時的に記憶する(ステップS548)。次に、分散の値に極小値があるか否かを判定する(ステップS550)。極小値があった場合、この極小値が得られたときのずらし量を最適なずらし量と決定する。そして、このずらし量で偶数フィールド画像データをずらすことによって補正を行い(ステップS560)、補正偶数フィールド画像データを生成する。極小値がない場合には、ステップS543〜S550を繰り返す。 Next, the variation in gradation value is calculated for the pixels in the designated area (step S540). In this embodiment, variance is used as a parameter representing variation. Parameters other than dispersion may be used. Then, the variance value as the evaluation value is temporarily stored (step S542). Next, the even field image data is shifted in the horizontal direction (step S543), and is synthesized again to generate still image data (step S544). Then, the variation in gradation value is calculated again for the pixels in the designated area (step S546). Then, the evaluation value is temporarily stored (step S548). Next, it is determined whether or not the variance value has a minimum value (step S550). When there is a minimum value, the shift amount when the minimum value is obtained is determined as the optimum shift amount. Then, correction is performed by shifting even field image data by this shift amount (step S560), and corrected even field image data is generated. If there is no minimum value, steps S543 to S550 are repeated.
そして、奇数フィールド画像データと補正偶数フィールド画像データとを合成し(ステップS570)、静止画像データを生成する。そして、生成された静止画像データを、地物と関連付けて、静止画像データ記憶部70に保存する(ステップS580)。
Then, the odd field image data and the corrected even field image data are synthesized (step S570), and still image data is generated. Then, the generated still image data is stored in the still image
図12は、第3実施例における静止画像データの生成の様子を模式的に示す説明図である。図12の上段には、逐次補正を行ったときの画像の状態を示した。図中には、指定領域Rを併せて破線で示した。「状態1」は、入力されたままの状態の画像を示している。「状態2」は、偶数フィールド画像データを左に1画素分ずらした画像を示している。「状態3」は、偶数フィールド画像データを2画素分ずらした画像を示している。「状態4」は、偶数フィールド画像データを3画素分ずらした画像を示している。 FIG. 12 is an explanatory diagram schematically showing how still image data is generated in the third embodiment. The upper part of FIG. 12 shows the state of the image when sequential correction is performed. In the figure, the designated region R is also indicated by a broken line. “State 1” indicates an image as it is input. “State 2” indicates an image in which even-field image data is shifted to the left by one pixel. “State 3” indicates an image obtained by shifting even-numbered field image data by two pixels. “State 4” indicates an image obtained by shifting even-numbered field image data by three pixels.
図12の下段には、各状態における分散の値を示した。図示した例では、「状態3」において、分散が極小値をとっていることが分かる。従って、「状態1」の画像から、偶数フィールド画像データを左に3画素分ずらした「状態3」の画像を、最終的に保存する静止画像とする。 The lower part of FIG. 12 shows the dispersion value in each state. In the illustrated example, it can be seen that in “state 3”, the variance has a minimum value. Therefore, the “state 3” image obtained by shifting the even field image data to the left by 3 pixels from the “state 1” image is the still image to be finally saved.
第3実施例の静止画像データ生成処理では、フィールドデータ間の撮影時刻の相違に起因する水平方向のずれ量を、分散に基づいて評価しつつ補正することができるので、適切な補正を行うことができる。この結果、ズレのない静止画像を生成し、ポリゴンへの貼付画像を生成することができる。 In the still image data generation process according to the third embodiment, the amount of horizontal deviation caused by the difference in shooting time between field data can be corrected while evaluating based on the variance, so that appropriate correction is performed. Can do. As a result, it is possible to generate a still image without deviation and generate a pasted image on a polygon.
G.変形例:
以上、本発明のいくつかの実施の形態について説明したが、本発明はこのような実施の形態になんら限定されるものではなく、その要旨を逸脱しない範囲内において種々なる態様での実施が可能である。例えば、以下のような変形例が可能である。
G. Variations:
As mentioned above, although several embodiment of this invention was described, this invention is not limited to such embodiment at all, and implementation in a various aspect is possible within the range which does not deviate from the summary. It is. For example, the following modifications are possible.
G1.変形例1:
上記第1実施例の静止画像データ生成処理では、奇数フィールド画像データを用いて偶数ラインデータを生成するものとしたが、これに限られない。本発明は、一般に、いずれかのフィールドデータを用いて未入力のラインデータを生成し、合成することによって静止画像データを生成するものであるから、偶数フィールド画像データを用いて奇数ラインデータを生成するものとしてもよい。
G1. Modification 1:
In the still image data generation process of the first embodiment, even line data is generated using odd field image data, but the present invention is not limited to this. In general, the present invention generates non-input line data by using any field data and generates still image data by combining them. Therefore, odd line data is generated by using even field image data. It is good also as what to do.
G2.変形例2:
上記第2および第3実施例の静止画像データ生成処理では、偶数フィールド画像データを水平方向にずらすことによって補正を行ったが、これに限られない。本発明は、一般に、いずれかのフィールドデータを水平方向にずらすことによって補正を行うものであるから、例えば、奇数フィールド画像データをずらすようにしてもよいし、両者をずらすようにしてもよい。
G2. Modification 2:
In the still image data generation processing of the second and third embodiments, the correction is performed by shifting the even field image data in the horizontal direction. However, the present invention is not limited to this. In the present invention, correction is generally performed by shifting one of the field data in the horizontal direction. For example, the odd field image data may be shifted, or both may be shifted.
また、上記第2の静止画像データ生成処理では、1フレーム分のフィールドデータを入力するものとしたが、2フレーム以上のフィールドデータを入力し、これらを利用して、フィールドデータ間の水平方向のずれ量を算出するようにしてもよい。 In the second still image data generation process, field data for one frame is input. However, field data for two or more frames is input, and the horizontal data between the field data is input using these data. The amount of deviation may be calculated.
G3.変形例3:
上記第3実施例の静止画像データ生成処理では、ユーザによって指定された指定領域について、画素間の階調値のバラつきの評価を行ったが、予め決められた所定領域について、縦方向に配列された画素間の階調値のバラつきの評価を行うようにしてもよい。
G3. Modification 3:
In the still image data generation process of the third embodiment, the variation of the gradation value between pixels is evaluated for the designated area designated by the user, but the predetermined area is arranged in the vertical direction. Alternatively, evaluation of variations in gradation values between pixels may be performed.
G4.変形例4:
上記実施例では、貼付画像生成支援装置100は、同期制御部120を備えているが、これを備えていなくてもよい。この場合、例えば、ユーザが、ディスプレイ60に表示されるビデオ画像と、ディスプレイ50に表示される撮影位置の軌跡との表示のスタート時刻を合わせ、両者を同じ時間スケールで、独立に並行して表示させるようにしてもよい。
G4. Modification 4:
In the embodiment described above, the pasted image
G5.変形例5:
上記実施例のフレーム特定処理において、地物がディジタルビデオカメラ10の画角の中央に存在するフレームを特定するものとしたが、これに限られない。予め定められた所定条件を満たすフレームを特定するようにすればよい。
G5. Modification 5:
In the frame specifying process of the above-described embodiment, the feature specifies the frame that exists in the center of the angle of view of the
G6.変形例6:
上記実施例のフレーム特定処理では、撮影された各地物をフレーム特定処理の処理対象としたが、これに限られない。例えば、ディスプレイ50に表示された電子地図map上において、ユーザが処理対象となる地物を個別に指定できるようにしてもよい。指定された地物の位置情報は、地図データ40から特定することができるから、先に図5を用いて説明したように、指定された地物が画角の中央に存在するフレームを特定することができる。処理対象となる地物をユーザが指定できるようにすることによって、ユーザが貼付画像の生成に必要な地物が撮影されたフレームだけを抽出することができるので、処理時間を短縮することができる。
G6. Modification 6:
In the frame specifying process of the above-described embodiment, the captured various objects are set as the processing targets of the frame specifying process, but the present invention is not limited to this. For example, on the electronic map map displayed on the
G7.変形例7:
上記実施例では、扱うビデオ画像データをインタレース方式のディジタルビデオカメラ10で記録されたビデオ画像データであるとしたが、これに限られない。上述した貼付画像生成支援装置100の第1および第2の機能は、プログレッシブ方式のディジタルビデオカメラで記録されたビデオ画像データについても適用可能である。
G7. Modification 7:
In the above embodiment, the video image data to be handled is video image data recorded by the interlaced
G8.変形例8:
上記実施例では、貼付画像生成支援装置100は、先に説明した3つの機能を併せ持っているが、各機能のうちの少なくとも1つを独立に備える貼付画像生成支援装置を構成するようにしてもよい。
G8. Modification 8:
In the above embodiment, the pasted image
10...ディジタルビデオカメラ
20...履歴データ
30...撮影条件データ
40...地図データ
50、60...ディスプレイ
70...静止画像データ記憶部
100...貼付画像生成支援装置
110...入力部
120...同期制御部
130...表示制御部
140...特定部
150...出力部
160...記憶部
170...生成部
R...指定領域
DESCRIPTION OF
Claims (6)
移動しながら撮影した前記地物を記録したビデオ画像データについて、撮影位置を時系列的に記録した履歴データを、第1の記録媒体から入力する履歴データ入力部と、
第2の記録媒体から、前記撮影時のカメラアングルおよびカメラの画角を含む撮影条件を入力する撮影条件入力部と、
前記地物の位置と、前記履歴データと、前記撮影条件とに基づいて、前記画角内における前記地物の相対位置を特定する相対位置特定部と、
前記ビデオ画像データにおいて、前記相対位置が予め設定された所定の条件を満たすフレームを特定するためのフレーム特定情報を出力する出力部と、
を備える画像生成支援装置。 An image generation support device that supports generation of an image of a feature,
A history data input unit for inputting, from a first recording medium, history data in which shooting positions are recorded in time series for video image data in which the features photographed while moving are recorded;
A shooting condition input unit for inputting shooting conditions including a camera angle at the time of shooting and a field angle of the camera from a second recording medium;
A relative position specifying unit that specifies a relative position of the feature within the angle of view based on the position of the feature, the history data, and the imaging condition;
In the video image data, an output unit that outputs frame specifying information for specifying a frame that satisfies a predetermined condition in which the relative position is set in advance;
An image generation support apparatus.
前記所定の条件は、前記地物が前記画角のほぼ中央に存在する条件である、
画像生成支援装置。 The image generation support device according to claim 1,
The predetermined condition is a condition in which the feature exists at approximately the center of the angle of view.
Image generation support device.
前記フレーム特定情報は、前記フレームの撮影時刻である、
画像生成支援装置。 The image generation support device according to claim 1,
The frame specifying information is a shooting time of the frame.
Image generation support device.
(a)移動しながら撮影した前記地物を記録したビデオ画像データについて、撮影位置を時系列的に記録した履歴データを、コンピュータが、第1の記録媒体から取得する工程と、
(b)前記コンピュータが、第2の記録媒体から、前記撮影時のカメラアングルおよびカメラの画角を含む撮影条件を取得する工程と、
(c)前記コンピュータが、前記地物の位置と、前記履歴データと、前記撮影条件とに基づいて、前記画角内における前記地物の相対位置を特定する工程と、
(d)前記コンピュータが、前記ビデオ画像データにおいて、前記相対位置が予め設定された所定の条件を満たすフレームを特定するためのフレーム特定情報を出力する工程と、
を備える画像生成支援方法。 An image generation support method for supporting generation of an image of a feature,
(A) a step in which a computer acquires history data in which shooting positions are recorded in time series for video image data in which the features shot while moving are recorded from a first recording medium;
(B) the computer obtaining a shooting condition including a camera angle at the time of shooting and a field angle of the camera from a second recording medium;
(C) the computer specifying a relative position of the feature within the angle of view based on the position of the feature, the history data, and the imaging condition;
(D) the computer outputting frame specifying information for specifying a frame satisfying a predetermined condition in which the relative position is preset in the video image data;
An image generation support method comprising:
移動しながら撮影した前記地物を記録したビデオ画像データについて、撮影位置を時系列的に記録した履歴データを、第1の記録媒体から取得する機能と、
第2の記録媒体から、前記撮影時のカメラアングルおよびカメラの画角を含む撮影条件を取得する機能と、
前記地物の位置と、前記履歴データと、前記撮影条件とに基づいて、前記画角内における前記地物の相対位置を特定する機能と、
前記ビデオ画像データにおいて、前記相対位置が予め設定された所定の条件を満たすフレームを特定するためのフレーム特定情報を出力する機能と、
をコンピュータに実現させるためのコンピュータプログラム。 A computer program for controlling an image generation support apparatus that supports generation of an image of a feature,
A function of acquiring, from the first recording medium, history data in which shooting positions are recorded in time series for video image data recorded with the features photographed while moving;
A function of acquiring shooting conditions including a camera angle at the time of shooting and a field angle of the camera from a second recording medium;
A function for specifying the relative position of the feature within the angle of view based on the position of the feature, the history data, and the imaging condition;
A function of outputting frame specifying information for specifying a frame that satisfies a predetermined condition in which the relative position is preset in the video image data;
A computer program for realizing a computer.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2008267133A JP2009076084A (en) | 2008-10-16 | 2008-10-16 | Device and method for supporting image creation, computer program, and recording medium |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2008267133A JP2009076084A (en) | 2008-10-16 | 2008-10-16 | Device and method for supporting image creation, computer program, and recording medium |
Related Parent Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2002350309A Division JP4257937B2 (en) | 2002-12-02 | 2002-12-02 | Image generation support apparatus, image generation support method, and computer program |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2009076084A true JP2009076084A (en) | 2009-04-09 |
Family
ID=40610925
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2008267133A Pending JP2009076084A (en) | 2008-10-16 | 2008-10-16 | Device and method for supporting image creation, computer program, and recording medium |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2009076084A (en) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
TWI454141B (en) * | 2011-04-11 | 2014-09-21 | Toshiba Mitsubishi Elec Inc | Data synchronous regeneration device, data synchronous regeneration method and data synchronization control program |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH0668169A (en) * | 1992-08-18 | 1994-03-11 | Mitsubishi Electric Corp | Picture data retrieval method |
JPH07105400A (en) * | 1993-10-07 | 1995-04-21 | Nippon Telegr & Teleph Corp <Ntt> | Motion picture reproducing device |
JPH1063181A (en) * | 1996-08-22 | 1998-03-06 | Japan Radio Co Ltd | Method for supporting preparation and edition of map data base |
JPH11259502A (en) * | 1998-03-11 | 1999-09-24 | Mitsubishi Electric Corp | Image information display device |
JPH11282851A (en) * | 1998-03-31 | 1999-10-15 | Mitsubishi Electric Corp | Video retrieving device and video retrieval system |
JP2002341755A (en) * | 2001-05-16 | 2002-11-29 | Mitsubishi Electric Corp | Video display device |
-
2008
- 2008-10-16 JP JP2008267133A patent/JP2009076084A/en active Pending
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH0668169A (en) * | 1992-08-18 | 1994-03-11 | Mitsubishi Electric Corp | Picture data retrieval method |
JPH07105400A (en) * | 1993-10-07 | 1995-04-21 | Nippon Telegr & Teleph Corp <Ntt> | Motion picture reproducing device |
JPH1063181A (en) * | 1996-08-22 | 1998-03-06 | Japan Radio Co Ltd | Method for supporting preparation and edition of map data base |
JPH11259502A (en) * | 1998-03-11 | 1999-09-24 | Mitsubishi Electric Corp | Image information display device |
JPH11282851A (en) * | 1998-03-31 | 1999-10-15 | Mitsubishi Electric Corp | Video retrieving device and video retrieval system |
JP2002341755A (en) * | 2001-05-16 | 2002-11-29 | Mitsubishi Electric Corp | Video display device |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
TWI454141B (en) * | 2011-04-11 | 2014-09-21 | Toshiba Mitsubishi Elec Inc | Data synchronous regeneration device, data synchronous regeneration method and data synchronization control program |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN102783142B (en) | Image display device and method for displaying image | |
JP4591328B2 (en) | Vehicle running state detection device, navigation device, and program | |
JP5616974B2 (en) | In-vehicle camera displacement detection device | |
JP2007325166A (en) | Parking support program, parking supporting apparatus, and parking supporting screen | |
US20100013930A1 (en) | Video display apparatus and video display method | |
JP2008182652A (en) | Camera posture estimation device, vehicle, and camera posture estimating method | |
JP2010183234A (en) | Drawing apparatus | |
JP2005038225A (en) | Lane follow-up device | |
JP4791222B2 (en) | Display control device | |
JP4257937B2 (en) | Image generation support apparatus, image generation support method, and computer program | |
JP2007266703A5 (en) | ||
JP2009076084A (en) | Device and method for supporting image creation, computer program, and recording medium | |
JP5517176B2 (en) | Image adjustment apparatus, control method, program, and storage medium | |
CN111316322B (en) | Road surface area detection device | |
JP2009054179A (en) | Support device for image generation, support method for image generation, computer program and recording medium | |
JP2008042664A (en) | Image display device | |
JP2008103825A (en) | Display controller | |
EP3396620B1 (en) | Display control device and display control method | |
JP2011232515A (en) | Map display device, method, and program | |
JP2009065472A (en) | Device, method, and program for photographing running image | |
JP4846627B2 (en) | Display control device | |
JP2008011187A (en) | Display controller | |
JP2007318242A (en) | Photographing apparatus, photographing method, and photographing program | |
JP4650935B2 (en) | Vehicle driving support device | |
JP5196472B2 (en) | Image display processing program and image display processing system |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20090413 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20090529 |
|
A131 | Notification of reasons for refusal |
Effective date: 20110201 Free format text: JAPANESE INTERMEDIATE CODE: A131 |
|
A521 | Written amendment |
Effective date: 20110315 Free format text: JAPANESE INTERMEDIATE CODE: A523 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20110419 |