JP5593778B2 - Image processing apparatus and method, and program - Google Patents
Image processing apparatus and method, and program Download PDFInfo
- Publication number
- JP5593778B2 JP5593778B2 JP2010077621A JP2010077621A JP5593778B2 JP 5593778 B2 JP5593778 B2 JP 5593778B2 JP 2010077621 A JP2010077621 A JP 2010077621A JP 2010077621 A JP2010077621 A JP 2010077621A JP 5593778 B2 JP5593778 B2 JP 5593778B2
- Authority
- JP
- Japan
- Prior art keywords
- map
- data
- image
- classification
- unit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Processing Or Creating Images (AREA)
Description
本発明は、画像処理装置及び方法、並びにプログラムに関し、特に、複数の撮像画像を地図上で分類することが可能な技術に関する。 The present invention relates to an image processing apparatus and method, and a program, and more particularly to a technique capable of classifying a plurality of captured images on a map.
近年、メモリ容量の増大化が進み、デジタルカメラは、非常に多数の撮像画像のデータを記録できるようになってきている。
しかしながら、ユーザにとっては、撮像画像の記録数が増加する程、所望の撮像画像を探索したり、撮像画像を整理するための操作が困難になっていく。
そこで、このような操作の困難性を低減すべく、例えば特許文献１，２には、撮像位置が近いという基準で複数の撮像画像を幾つかのグループに分類して、当該グループの中で代表的な撮像位置だけを地図上に識別表示する技術が開示されている。
In recent years, the memory capacity has been increasing, and digital cameras can record a large number of captured image data.
However, for a user, as the number of recorded captured images increases, an operation for searching for a desired captured image or organizing captured images becomes more difficult.
Therefore, in order to reduce the difficulty of such an operation, for example, in
しかしながら、特許文献１，２に記載の技術では、距離の近さを基準として撮像画像の分類を行っているだけであり、道路や建物等のオブジェクトの存在や、それらオブジェクトの境界の存在を考慮していない。
このため、ユーザにとっては、分類後の各グループと、地図との対応関係を認識することが困難になる。従って、特許文献１，２に記載の技術を用いた分類の結果を用いても、所望の撮像画像を探索したり、撮像画像を整理するためのユーザの操作の困難性が充分に低減したとはいい難い。
However, the techniques described in
For this reason, it becomes difficult for the user to recognize the correspondence between each group after classification and the map. Therefore, even if the classification results using the techniques described in
ここで、従来の別の技術として、撮像位置から特定される地域名称（国、都道府県、市町村、番地単位の住所名）を属性情報として、撮影画像のデータに付加して記録する技術が存在する。従って、当該従来の別の技術と、特許文献１，２に記載の技術とを組み合わせることにより、地域名称を単位として撮像画像を分類することまでは可能になる。
しかしながら、当該従来の別の技術と、特許文献１，２に記載の技術とを組み合わせたとしても、地域名称とは対応しない領域を単位として撮像画像を分類することはできない。その結果、例えば、地図縮尺や撮像位置の分布の大小に応じて柔軟に撮像画像を分類したり、ラスター地図とベクター地図との差異を考慮して撮像画像の分類することができない。
Here, as another conventional technique, there is a technique in which the area name (country, prefecture, municipality, street address) is identified as attribute information and added to the captured image data for recording. To do. Therefore, by combining the conventional another technique and the techniques described in
However, even if another conventional technique and the techniques described in
以上まとめると、地域名称とは対応しない領域を単位として複数の撮像画像を地図上で分類したいと要望が挙げられているが、特許文献１，２を含む従来の手法では、当該要望に十分に応えることはできない。このため、当該要望に十分に応えることが可能な手法の実現が求められている。
In summary, there is a desire to classify a plurality of captured images on a map with an area that does not correspond to the area name as a unit, but the conventional methods including
本発明は、このような状況に鑑みてなされたものであり、地域名称とは対応しない領域を単位として複数の撮像画像を地図上で分類することを目的とする。 The present invention has been made in view of such a situation, and an object of the present invention is to classify a plurality of captured images on a map in units of areas that do not correspond to area names.
本発明の一態様によると、所定の地図のデータに基づいて、前記地図上で識別表示されるオブジェクトの境界線を特定し、特定された前記境界線で囲まれる領域をグループ領域として、前記地図上の領域を複数のグループ領域に区分する区分手段と、複数の撮像画像のデータを、各々の撮像位置に応じて、前記区分手段に区分された前記複数のグループ領域の何れかに属するように分類する分類手段と、表示対象となる地図範囲を設定する設定手段と、を備え、前記区分手段は、前記地図のうち、前記設定手段により設定された前記地図範囲内の領域を前記複数のグループ領域に区分することを特徴とする画像処理装置を提供する。 According to an aspect of the present invention, based on predetermined map data, a boundary line of an object identified and displayed on the map is specified, and the area surrounded by the specified boundary line is set as a group area, and the map Sorting means for dividing the upper area into a plurality of group areas, and data of a plurality of captured images so as to belong to any one of the plurality of group areas divided into the sorting means according to each imaging position Classification means for classifying; and setting means for setting a map range to be displayed; and the sorting means includes, in the map, an area within the map range set by the setting means as the plurality of groups. An image processing apparatus is provided that is divided into regions .
本発明の一態様によると、上述した本発明の一態様に係る画像処理装置に対応する画像処理方法及びプログラムの各々を提供する。 According to one aspect of the present invention, an image processing method and a program corresponding to the above-described image processing apparatus according to one aspect of the present invention are provided.
本発明によれば、地域名称とは対応しない領域を単位として複数の撮像画像を地図上で分類することができる。 According to the present invention, it is possible to classify a plurality of captured images on a map in units of areas that do not correspond to area names.
以下、本発明の一実施形態を図面に基づいて説明する。 Hereinafter, an embodiment of the present invention will be described with reference to the drawings.
図１は、本発明に係る画像処理装置の一実施形態としての撮像装置１のハードウェアの構成を示すブロック図である。撮像装置１は、例えばデジタルカメラにより構成することができる。
FIG. 1 is a block diagram showing a hardware configuration of an
撮像装置１は、CPU（Central Processing Unit）１１と、ROM（Read Only Memory）１２と、RAM（Random Access Memory）１３と、バス１４と、入出力インターフェース１５と、撮像部１６と、操作部１７と、表示部１８と、記憶部１９と、通信部２０と、GPS（Global Positioning System）部２１と、ドライブ２２と、を備えている。
The
CPU１１は、ROM１２に記録されているプログラムに従って各種の処理を実行する。又は、CPU１１は、記憶部１９からRAM１３にロードされたプログラムに従って各種の処理を実行する。
RAM１３にはまた、CPU１１が各種の処理を実行する上において必要なデータ等も適宜記憶される。
The
The
例えば本実施形態では、後述する図２の撮像画像取得部５１乃至表示制御部５８の各機能を実現するプログラムが、ROM１２や記憶部１９に記憶されている。従って、CPU１１が、これらのプログラムに従った処理を実行することで、後述する図２の撮像画像取得部５１乃至表示制御部５８の各機能を実現することができる。
For example, in the present embodiment, programs for realizing the functions of the captured
CPU１１、ROM１２、及びRAM１３は、バス１４を介して相互に接続されている。このバス１４にはまた、入出力インターフェース１５も接続されている。入出力インターフェース１５には、撮像部１６、操作部１７、表示部１８、記憶部１９、通信部２０、及びGPS部２１が接続されている。
The
撮像部１６は、図示はしないが、光学レンズ部と、イメージセンサと、を備えている。
Although not shown, the
光学レンズ部は、被写体を撮影するために、光を集光するレンズ、例えばフォーカスレンズやズームレンズ等で構成される。
フォーカスレンズは、イメージセンサの受光面に被写体像を結像させるレンズである。ズームレンズは、焦点距離を一定の範囲で自在に変化させるレンズである。
光学レンズ部にはまた、必要に応じて、焦点、露出、ホワイトバランス等の設定パラメータを調整する周辺回路が設けられる。
The optical lens unit is configured by a lens that collects light, for example, a focus lens or a zoom lens, in order to photograph a subject.
The focus lens is a lens that forms a subject image on the light receiving surface of the image sensor. The zoom lens is a lens that freely changes the focal length within a certain range.
The optical lens unit is also provided with a peripheral circuit for adjusting setting parameters such as focus, exposure, and white balance as necessary.
イメージセンサは、光電変換素子や、AFE（Analog Front End）等から構成される。
光電変換素子は、例えばCMOS（Complementary Metal Oxide Semiconductor）型の光電変換素子等から構成される。光電変換素子には、光学レンズ部から被写体像が入射される。そこで、光電変換素子は、一定時間毎に被写体像を光電変換（撮像）して画像信号を蓄積し、蓄積した画像信号をアナログ信号としてAFEに順次供給する。
AFEは、このアナログの画像信号に対して、A/D（Analog/Digital）変換処理等の各種信号処理を実行する。各種信号処理によって、ディジタル信号が生成され、撮像部１６の出力信号として出力される。
なお、以下、撮像部１６の出力信号を、「撮像画像のデータ」と呼ぶ。従って、撮像部１６からは撮像画像のデータが出力されて、CPU１１等に適宜供給される。
The image sensor includes a photoelectric conversion element, an AFE (Analog Front End), and the like.
The photoelectric conversion element is composed of, for example, a CMOS (Complementary Metal Oxide Semiconductor) type photoelectric conversion element. A subject image is incident on the photoelectric conversion element from the optical lens unit. Therefore, the photoelectric conversion element photoelectrically converts (captures) a subject image at regular time intervals to accumulate image signals, and sequentially supplies the accumulated image signals to the AFE as analog signals.
The AFE executes various signal processing such as A / D (Analog / Digital) conversion processing on the analog image signal. Through various signal processing, a digital signal is generated and output as an output signal of the
Hereinafter, the output signal of the
操作部１７は、各種釦等で構成され、ユーザの指示操作を受け付ける。
表示部１８は、液晶ディスプレイ等で構成され、各種画像を表示する。
記憶部１９は、DRAM（Dynamic Random Access Memory）等で構成され、撮像部１６から出力された撮像画像のデータを一時的に記憶する。また、記憶部１９は、各種画像処理に必要な各種データ、例えば、画像のデータ、各種フラグの値、閾値等も記憶する。
通信部２０は、インターネットを含むネットワークを介して他の装置（図示せず）との間で行う通信を制御する。
GPS部２１は、GPS（Global Positioning System）用の複数の衛星からGPS信号を受信して、このGPS信号に基づいて撮像装置１の現在位置を示す緯度及び経度の情報（以下、「GPS位置情報」と呼ぶ）を生成する。
The
The
The
The
The
入出力インターフェース１５にはまた、必要に応じてドライブ２２が接続され、磁気ディスク、光ディスク、光磁気ディスク、或いは半導体メモリ等よりなるリムーバブルメディア３１が適宜装着される。ドライブ２２によってリムーバブルメディア３１から読み出されたプログラムは、必要に応じて記憶部１９にインストールされる。また、リムーバブルメディア３１は、記憶部１９に記憶されている画像データ等の各種データも、記憶部１９と同様に記憶することができる。
A
図２は、地図情報表示処理を実行するための撮像装置１の機能的構成を示す機能ブロック図である。
FIG. 2 is a functional block diagram illustrating a functional configuration of the
ここで、地図情報表示処理とは、次のような一連の処理をいう。
即ち、撮像装置１は、地図上で識別表示されるオブジェクト（道路や建築物等の構成要素）の境界線を特定し、特定された境界線で囲まれる領域をグループ領域として、地図上の領域を複数のグループ領域に区分する。
撮像装置１は、複数の撮像画像のデータを、各々の撮像位置に応じて、複数のグループ領域の何れかに属するように分類する。
撮像装置１は、地図上の複数のグループ領域に対して、各々に分類された撮像画像に関する情報（以下、「分類情報」と呼ぶ）を重畳した画像のデータを生成する。なお、このような画像を、以下、「地図情報画像」と呼ぶ。
そして、撮像装置１は、地図情報画像を表示部１８に表示させる。
このような一連の処理が、地図情報表示処理である。
Here, the map information display process refers to the following series of processes.
In other words, the
The
The
Then, the
Such a series of processes is a map information display process.
図２に示すように、撮像装置１は、地図情報表示処理を実現すべく、上述した撮像部１６と、操作部１７と、表示部１８と、通信部２０と、GPS部２１と、を備えている。さらに、撮像装置１は、撮像画像取得部５１と、地図範囲設定部５２と、地図取得部５３と、グループ領域区分部５４と、画像分類部５５と、分類情報生成部５６と、地図情報画像生成部５７と、表示制御部５８と、を備えている。さらにまた、撮像装置１は、地図記憶部６１と、撮像画像記憶部６２と、を備えている。
As shown in FIG. 2, the
本実施形態では、撮像画像取得部５１乃至表示制御部５８の各々は、図１に示す構成のうち、CPU１１というハードウェアと、ROM１２等に記憶されたプログラム（ソフトウェア）との組み合わせとして構成されている。
また、地図記憶部６１及び撮像画像記憶部６２は、図１に示す構成のうち、撮像装置１のRAM１３若しくは記憶部１９、又はリムーバブルメディア３１内の一領域として構成されている。
In the present embodiment, each of the captured
Further, the
撮像画像取得部５１は、記録指示操作等の所定のタイミングで、撮像部１６から出力された撮像画像のデータを記憶させる。このとき、撮像画像取得部５１は、GPS部２１から出力されたGPS位置情報を、当該撮像画像の撮像位置を示す情報として、撮像画像のデータと共に撮像画像記憶部６２に記憶させる。
より具体的には本実施形態では、撮像画像のデータは、Exif（Exchangeable Image File Format）形式の所定のファイルに含められる。なお、このような撮像画像のデータを含むファイルを、以下、「撮像画像ファイル」と呼ぶ。撮像画像ファイルには、撮像画像のデータの他、当該撮像画像に関する各種メタ情報を含めることが可能である。そこで、本実施形態では、撮像時点のGPS位置情報が、撮像位置を示すメタ情報として撮像画像ファイルに含められる。そして、このような撮像画像ファイルが、撮像画像記憶部６２に記憶される。
The captured
More specifically, in the present embodiment, captured image data is included in a predetermined file in an Exif (Exchangeable Image File Format) format. A file including such captured image data is hereinafter referred to as a “captured image file”. The captured image file can include various types of meta information related to the captured image in addition to the captured image data. Therefore, in the present embodiment, the GPS position information at the time of imaging is included in the captured image file as meta information indicating the imaging position. Then, such a captured image file is stored in the captured
地図範囲設定部５２は、実世界の地理的範囲のうち、表示部１８の表示対象となる範囲を、地図範囲として設定する。
地図範囲の形状は、特に限定されないが、本実施形態では説明の簡略上、図３に示すように「矩形」であるとする。
The map
The shape of the map range is not particularly limited, but in the present embodiment, for simplicity of explanation, it is assumed that it is “rectangular” as shown in FIG.
図３は、地図範囲設定部５２により設定された矩形の地図範囲の一例を示している。
図３においては、座標は経度と緯度とで示されている。このため、図３の地図範囲の説明の範囲内では、座標は「（経度、座標）」と表現する。
図３の例では、左上端の座標PLUが（経度N1、緯度E1）であり、右上端の座標PRUが（経度N1、緯度E2）であり、左下端の座標PLDが（経度N2、緯度E1）であり、右下端の座標PRDが（経度N2、緯度E2）である範囲が、地図範囲として設定されている。
なお、オブジェクト７１乃至７７は、後述する図４の説明に用いるために便宜上図３に描画されているものであって、地図範囲設定部５２によって地図範囲が設定された段階では特定されていない場合がある。
FIG. 3 shows an example of a rectangular map range set by the map
In FIG. 3, the coordinates are indicated by longitude and latitude. Therefore, the coordinates are expressed as “(longitude, coordinates)” within the range of the description of the map range in FIG. 3.
In the example of FIG. 3, the upper left coordinate PLU is (longitude N1, latitude E1), the upper right coordinate PRU is (longitude N1, latitude E2), and the lower left coordinate PLD is (longitude N2, latitude E1). ) And the range where the coordinate PRD at the lower right corner is (longitude N2, latitude E2) is set as the map range.
Note that the
ここで、図３から容易にわかることであるが、矩形の地図範囲は、左上端の座標PLU及び右下端の座標PRDの組と、右上端の座標PRU及び左下端の座標PLDの組とのうち、一方の組がわかれば、他方の組を容易に特定することができる。即ち、矩形の地図範囲は、左上端の座標PLU及び右下端の座標PRDの組と、右上端の座標PRU及び左下端の座標PLDの組とのうちの一方の組、換言すると当該矩形内に引かれる２つの対角線のうちの一方の両端の座標の組（以下、「対角線両端座標」と呼ぶ）によって特定することができる。 Here, as can be easily understood from FIG. 3, the rectangular map range is composed of a set of the upper left coordinate PLU and the lower right coordinate PRD, and a set of the upper right coordinate PRU and the lower left coordinate PLD. Of these, if one set is known, the other set can be easily identified. That is, the rectangular map range is one set of the set of the upper left coordinate PLU and the lower right coordinate PRD and the set of the upper right coordinate PRU and the lower left coordinate PLD, in other words, within the rectangle. It can be specified by a set of coordinates at one end of one of the two diagonal lines to be drawn (hereinafter referred to as “diagonal end coordinates”).
従って、矩形の地図範囲の指定手法は、対角線両端座標を特定可能な手法であれば、任意の手法を採用することができる。
本実施形態では、ユーザは、次のような第１及び第２の指定手法のうち所望の指定手法を選択的に用いて、地図範囲を指定することができるものとする。
Therefore, any method can be adopted as the method for specifying the rectangular map range as long as the diagonal end coordinates can be specified.
In the present embodiment, it is assumed that the user can specify a map range by selectively using a desired specification method among the following first and second specification methods.
第１の指定手法とは、ユーザが、操作部１７を操作して、対角線両端座標を直接指定する、といった手法である。このような手法を、以下、「直接座標指定手法」と呼ぶ。直接座標指定手法が用いられた場合、地図範囲設定部５２は、ユーザにより直接指定された対角線両端座標に基づいて、地図範囲を設定する。
なお、ここでいう対角線両端座標を直接指定するとは、撮像装置１にとって対角線両端座標が直接指定されたと認識できることを意味し、ユーザの操作内容自体は特に限定されない。即ち、ユーザの操作としては、対角線両端座標の緯度及び経度を直接入力するという操作のみならず、ズーム倍率等が多段階に設定されている場合に所望の段階のズーム倍率を選択操作する等、各種各様の操作が含まれる。
The first designation method is a method in which the user operates the
Directly designating the diagonal end point coordinates here means that the
一方、第２の指定手法とは、ユーザが、操作部１７を操作して、撮像位置の確認等を所望する撮像画像を１枚以上指定する、といった手法である。このような手法を、以下、「確認画像指定手法」と呼ぶ。確認画像指定手法が用いられた場合、地図範囲設定部５２は、ユーザにより指定された１以上の撮像画像の撮像位置を取得して、これら１以上の撮像位置の全てを含む範囲を決定し、決定した当該範囲を地図範囲として設定する。
なお、確認画像指定手法が用いられる場合に、ユーザが１枚以上の撮像画像を指定する操作の手法は、特に限定されない。例えば、撮像装置１は、撮像画像記憶部６２に記憶されている撮像画像ファイルを示すフォルダを表示部１８に表示させ、ユーザは、表示されたフォルダの中から所望のフォルダを指定操作する、といった手法を採用することができる。また例えば、撮像装置１は、撮像画像記憶部６２に記憶されている撮像画像ファイルのメタ情報、例えば撮像日時等を表示部１８に表示させ、ユーザは、表示されたメタ情報の中から所望のメタ情報を指定操作する、といった手法を採用することができる。
On the other hand, the second designation method is a method in which the user operates the
Note that, when the confirmation image designation method is used, the method of operation by which the user designates one or more captured images is not particularly limited. For example, the
図２に戻り、地図取得部５３は、地図範囲設定部５２により設定された地図範囲を少なくとも含む地図のデータを取得する。
地図のデータの取得先は、特に限定されないが、本実施形態では、原則として、地図記憶部６１であるとする。ただし、地図記憶部６１に目的の地図のデータが記憶されていない場合には、本実施形態では、地図取得部５３は、通信部２０を制御して、インターネット等の地図のデータを配信するWebサイトにアクセスして、目的の地図のデータをダウンロードするものとする。なお、このようにしてダウンロードされた地図のデータは、地図記憶部６１に記憶される。
Returning to FIG. 2, the
The acquisition destination of the map data is not particularly limited. In the present embodiment, it is assumed that the
グループ領域区分部５４は、地図取得部５３により取得された地図のデータを用いて、当該地図上で、より正確には地図範囲設定部５２により設定された地図範囲上で識別表示されるオブジェクト（道路や施設等の構成要素）の境界線を特定する。
そして、グループ領域区分部５４は、特定された境界線で囲まれる領域をグループ領域として、地図範囲上の領域を複数のグループ領域に区分する。
The group
And the group area |
具体的には例えば、上述した図３の地図範囲が設定されている場合には、グループ領域区分部５４は、建築物のオブジェクト７１乃至７６、及び道路のオブジェクト７７の境界線を特定する。
この場合、グループ領域区分部５４は、図４に示すように、図３の地図範囲上の領域を複数のグループ領域Ａ乃至Ｋに区分する。即ち、図４は、図３の地図範囲内で区分された複数のグループ領域Ａ乃至Ｋを示している。
Specifically, for example, when the above-described map range of FIG. 3 is set, the group
In this case, the group
なお、このようなグループ領域区分部５４に適用されるグループ領域の区分の手法は、特に限定されないが、地図のデータの形式に適した手法を採用すると好適である。このため、本実施形態のグループ領域区分部５４は、地図のデータの形式が、ベクター地図の形式であるのかラスター地図の形式であるのかによって、グループ領域の区分の手法を選択的に切り替えて用いるようにしている。なお、この段落の内容のさらなる詳細については、図９のステップＳ９乃至Ｓ１６の処理として後述する。
The group area classification method applied to the group
画像分類部５５は、撮像画像記憶部６２に記憶されている複数の撮像画像のデータを、各々の撮像位置に応じて、複数のグループ領域の何れかに分類する。
ここで、分類対象の撮像画像のデータは、その撮像位置が地図範囲内に存在するものである。従って、地図範囲の指定手法として、確認画像指定手法が採用されている場合には、ユーザが指定した１以上の撮像画像の全てのデータが分類対象になる。これに対して、直接座標指定手法が採用されている場合には、画像分類部５５は、撮像画像記憶部６２に記憶されている複数の撮像画像のデータの中から、その撮像位置が地図範囲内に存在するものを分類対象として選定する。
The
Here, the data of the picked-up image to be classified has its image pickup position within the map range. Therefore, when the confirmation image designation method is adopted as the map range designation method, all data of one or more captured images designated by the user are classified. On the other hand, when the direct coordinate designating method is adopted, the
具体的には本実施形態では、画像分類部５５は、図５に示すようテーブルを生成し、複数の撮像画像のデータの各分類結果を当該テーブルに格納していく。
なお、テーブル自体の記憶場所は、特に限定されず、図１に示す構成のうち、撮像装置１のRAM１３や記憶部１９であってもよいし、或いはまたリムーバブルメディア３１であってもよい。
図５は、画像分類部５５による分類結果が格納されるテーブルの構造の一例を示している。
Specifically, in the present embodiment, the
The storage location of the table itself is not particularly limited, and may be the
FIG. 5 shows an example of the structure of a table in which the classification result by the
本実施形態において、テーブルは行列構造を有しているため、以下、図５中横方向の項目の集合体を「行」と称し、同図中縦方向の項目の集合体を「列」と称する。所定の行には、所定の撮像画像ファイルにデータとして含まれる撮像画像が対応付けられている。即ち、所定の行には、当該行に対応する撮像画像についての、「ファイル名」、「Ｘ座標」、「Ｙ座標」、及び「グループ領域」という項目がそれぞれ配置されている。
所定の行の「ファイル名」には、当該行に対応する撮像画像のデータが含まれる撮像画像ファイルの名称が格納される。
所定の行の「Ｘ座標」には、当該行に対応する撮像画像の撮像位置の表示部１８の座標のうち、Ｘ座標が格納される。所定の行の「Ｙ座標」には、当該行に対応する撮像画像の撮像位置の表示部１８の座標のうち、Ｙ座標が格納される。
例えば本実施形態では、表示部１８の座標系は、有効画素のうち左上端の画素の位置を原点（０，０）とし、水平右方向の軸をＸ軸として、垂直下方向の軸をＹ軸とするように構築されている。そして、表示部１８の水平方向の画素数は６４０画素とされ、垂直方向の画素数は４８０画素とされている。このため、「Ｘ座標」には、表示部１８のＸ座標が取り得る０乃至６３９の範囲内の値が格納され、「Ｙ座標」には、表示部１８のＹ座標が取り得る０乃至４７９の範囲内の値が格納される。
所定の行の「グループ領域」には、当該行に対応する撮像画像の分類結果、即ち、当該撮像画像のデータが分類されたグループ領域の略称が格納されている。図５の例では、図４に示すグループ領域Ａ乃至Ｋのうち、撮像位置が含まれるグループ領域の略称（Ａ乃至Ｋのうちの何れかのアルファベット）が、「グループ領域」に格納される。
In the present embodiment, since the table has a matrix structure, the collection of items in the horizontal direction in FIG. 5 is hereinafter referred to as “row”, and the collection of items in the vertical direction in FIG. Called. A predetermined line is associated with a captured image included as data in a predetermined captured image file. That is, items of “file name”, “X coordinate”, “Y coordinate”, and “group region” for the captured image corresponding to the row are arranged in the predetermined row, respectively.
In the “file name” of a predetermined line, the name of the captured image file including the captured image data corresponding to the line is stored.
In the “X coordinate” of the predetermined row, the X coordinate is stored among the coordinates of the imaging unit of the imaging position of the captured image corresponding to the row. In the “Y coordinate” of a predetermined row, the Y coordinate is stored among the coordinates of the imaging unit of the imaging position of the captured image corresponding to the row.
For example, in the present embodiment, the coordinate system of the
The “group area” of a predetermined row stores the classification result of the captured image corresponding to the row, that is, the abbreviation of the group area into which the data of the captured image is classified. In the example of FIG. 5, among the group areas A to K illustrated in FIG. 4, the abbreviation of the group area including the imaging position (any alphabet of A to K) is stored in the “group area”.
具体的には例えば、１行目に着目すると、「ファイル名」が「file001」の撮像画像ファイルについては、撮像画像の撮像位置の表示部１８の「Ｘ座標」は「８０」であり、その「Ｙ座標」は「１４５」であることを示している。そして、その結果として、当該撮像画像のデータの「グループ領域」は、グループ領域「Ｂ」に分類されたことを示している。
Specifically, for example, focusing on the first line, for the captured image file with “file001” being “file001”, the “X coordinate” of the captured image display
図２に戻り、分類情報生成部５６は、画像分類部５５の分類結果に基づいて、各種各様の分類情報を生成する。
この場合、本実施形態では、各分類情報は、表示部１８に表示させるシンボル等のデータ（以下、「シンボルデータ」と呼ぶ）や、表示部１８の表示位置の座標を示すデータ（以下、「座標データ」と呼ぶ）等で構成されるものとする。即ち、本明細書において、分類情報を地図の画像の上に重畳して表示すると表現した場合、その表現は、当該分類情報に含まれるシンボルデータにより表現されるシンボル等を、地図の画像のうち、当該分類情報に含まれる座標データにより示される座標の位置に重畳して表示することを意味する。
Returning to FIG. 2, the classification
In this case, in the present embodiment, each classification information includes data such as a symbol to be displayed on the display unit 18 (hereinafter referred to as “symbol data”) and data indicating the coordinates of the display position of the display unit 18 (hereinafter, “ And so on). That is, in this specification, when it is expressed that the classification information is displayed by being superimposed on the map image, the expression represents a symbol or the like represented by the symbol data included in the classification information in the map image. This means that it is displayed superimposed on the coordinate position indicated by the coordinate data included in the classification information.
従って、分類情報は、地図の画像に重畳して表示可能なものであれば足り、その形態、その種類、その個数等は特に限定されない。具体的には本実施形態では、次のような３種類の分類情報が生成されるものとする。 Therefore, the classification information is sufficient if it can be displayed superimposed on the map image, and its form, type, number, etc. are not particularly limited. Specifically, in this embodiment, it is assumed that the following three types of classification information are generated.
本実施形態で生成される１種類目の分類情報は、各々の撮像画像単位毎に生成される分類情報であって、各々の撮像位置を示す分類情報であり、以下、「撮像位置情報」と呼ぶ。
即ち、撮像位置情報は、画像分類部５５による分類対象となった撮像画像のデータ毎に生成され、●（黒丸印）のシンボルデータと、表示部１８における表示座標を示すデータとから構成されている。ここで、表示座標は、撮像画像の撮像位置を示す表示部１８の座標であるとする。
具体的例として図５のテーブルに基づいて、「ファイル名」が「fileα」の撮像画像ファイル毎に、撮像位置情報が生成されるものとする。ここで、αは、正確には001乃至010の整数値であるが、説明の便宜上０乃至10であるものとする。また、「ファイル名」が「fileα」の撮像画像ファイルに対応する撮像位置情報を、以下符号を付して、「撮像位置情報Ｓｋ」と呼ぶ。この場合、図５の１乃至１０行目の各々に対応する撮像画像ファイル（file０乃至１０の各々）に対して、撮像位置情報Ｓ１乃至Ｓ１０の各々が生成されることになる（後述する図６参照）。
The first type of classification information generated in the present embodiment is classification information generated for each captured image unit, and is classification information indicating each imaging position, and hereinafter referred to as “imaging position information”. Call.
That is, the imaging position information is generated for each piece of captured image data to be classified by the
As a specific example, imaging position information is generated for each captured image file whose “file name” is “fileα” based on the table of FIG. Here, although α is an integer value from 001 to 010, it is assumed to be 0 to 10 for convenience of explanation. In addition, imaging position information corresponding to a captured image file whose “file name” is “fileα” is hereinafter referred to as “imaging position information Sk” with reference numerals. In this case, each of the imaging position information S1 to S10 is generated for the captured image file (each of files 0 to 10) corresponding to each of the 1st to 10th lines in FIG. 5 (FIG. 6 to be described later). reference).
本実施形態で生成される２種類目の分類情報は、所定のグループ領域に撮像画像が１枚含まれていることを示す分類情報であり、以下、「画像１枚情報」と呼ぶ。
即ち、画像１枚情報は、グループ領域区分部５４によって区分された複数のグループ領域のうち、１枚の撮像画像を含むグループ領域に対して生成され、●（黒丸印）のシンボルデータと、表示部１８における表示座標を示すデータとから構成されている。
ここで、表示座標は、当該グループ領域内の表示部１８の座標であれば足り、例えばグループ領域内の中心の座標でもよい。ただし、本実施形態では、表示座標として、当該グループ領域に含まれる１枚の撮像画像の撮像位置を示す表示部１８の座標が採用されているものとする。
ここで、具体例として図５のテーブルに基づいて画像１枚情報が生成されるものとして、βが、グループ領域の略称Ａ乃至Ｋのうちの何れかのアルファベットを示すものとする。この場合、グループ領域βに対応する画像１枚情報を、以下符号を付して、「画像１枚情報Ｓβ」と呼ぶ。図５のテーブルによれば、１枚の撮像画像を含むグループ領域は、グループ領域Ｉ及びＨである。このため、グループ領域Ｉ及びＨの各々に対して、画像１枚情報ＳＩ及びＳＨが生成されることになる（後述する図７参照）。
The second type of classification information generated in the present embodiment is classification information indicating that one captured image is included in a predetermined group area, and is hereinafter referred to as “single image information”.
That is, single image information is generated for a group region including one captured image among a plurality of group regions divided by the group
Here, the display coordinates need only be the coordinates of the
Here, as a specific example, assuming that one piece of image information is generated based on the table of FIG. 5, β indicates any alphabet among the abbreviations A to K of the group area. In this case, the single image information corresponding to the group region β is hereinafter referred to as “single image information Sβ” with reference numerals. According to the table in FIG. 5, group areas including one captured image are group areas I and H. Therefore, single image information SI and SH are generated for each of the group areas I and H (see FIG. 7 described later).
本実施形態で生成される３種類目の分類情報は、所定のグループ領域に撮像画像が複数枚含まれていることを示す分類情報であり、以下、「画像複数枚情報」と呼ぶ。
即ち、画像複数枚情報は、グループ領域区分部５４によって区分された複数のグループ領域のうち、複数枚の撮像画像を含むグループ領域に対して生成され、★（黒星印）のシンボルデータと、表示部１８における表示座標を示すデータとから構成されている。
ここで、表示座標は、当該グループ領域内の表示部１８の座標であれば足り、例えばグループ領域内の中心の座標でもよい。ただし、本実施形態では、表示座標として、当該グループ領域に含まれる複数の撮像画像のうち代表する１枚の撮像位置を示す表示部１８の座標が採用されているものとする。
ここで、具体例として図５のテーブルに基づいて画像複数枚情報が生成されるものとして、γが、グループ領域の略称Ａ乃至Ｋのうちの何れかのアルファベットを示すものとする。この場合、グループ領域γに対応する画像複数枚情報を、以下符号を付して、「画像複数枚情報Ｓγ」と呼ぶ。図５のテーブルによれば、複数枚の撮像画像を含むグループ領域は、グループ領域Ｂ、Ｃ、及びＫである。このため、グループ領域Ｂ、Ｃ、及びＫの各々に対して、画像複数枚情報ＳＢ、ＳＣ、及びＳＫが生成されることになる（後述する図７参照）。
The third type of classification information generated in the present embodiment is classification information indicating that a plurality of captured images are included in a predetermined group area, and is hereinafter referred to as “multiple image information”.
That is, the multiple image information is generated for a group region including a plurality of captured images among the plurality of group regions divided by the group
Here, the display coordinates need only be the coordinates of the
Here, as a specific example, it is assumed that information on a plurality of images is generated based on the table of FIG. In this case, the plurality of pieces of image information corresponding to the group region γ will be referred to as “multiple pieces of image information Sγ” with reference numerals. According to the table in FIG. 5, group areas including a plurality of captured images are group areas B, C, and K. Therefore, multiple image information SB, SC, and SK are generated for each of the group areas B, C, and K (see FIG. 7 described later).
このようにして分類情報生成部５６により生成された分類情報は、地図情報画像生成部５７に供給される。また、地図取得部５３により取得されて、グループ領域区分部５４によって１以上のグループ領域に区分された地図のデータも、地図情報画像生成部５７に供給される。
そこで、地図情報画像生成部５７は、当該地図上の複数のグループ領域に対して当該分類情報を重畳した画像、即ち地図情報画像のデータを生成して、表示制御部５８に供給する。
The classification information generated by the classification
Therefore, the map information
表示制御部５８は、地図情報画像生成部５７から供給されたデータにより表現される地図情報画像を表示部１８に表示させる。
The
図６及び図７は、表示部１８に表示された地図情報画像の各例を示している。
図６の地図情報画像８１は、上述した図３に示す地図の上に、上述した撮像位置情報Ｓ１乃至Ｓ１０の各々が重畳された画像である。
このような地図情報画像８１等、全ての撮像画像の各々に対応する各撮像位置情報が重畳された地図情報画像をまとめて、以下、「全地点表示画像」と呼ぶ。
ユーザは、全地点表示画像を表示部１８に表示させる選択をすることで、地図範囲に含まれる全ての撮像画像の各々の撮像位置の分布状態を視認することができる。
一方、図７の地図情報画像８２は、上述した図３に示す地図の上に、上述した画像１枚情報ＳＩ及びＳＨ、並びに画像複数枚情報ＳＢ、ＳＣ、及びＳＫの各々が重畳された画像である。
このような地図情報画像８２等、画像１枚情報又は画像複数枚情報が重畳された地図情報画像をまとめて、以下、「グループ表示画像」と呼ぶ。
ユーザは、グループ表示画像を表示部１８に表示させる選択をすることで、地図範囲に含まれる撮像画像の分布状態を、複数のグループ領域毎の観点で視認することができる。
6 and 7 show examples of the map information image displayed on the
A
Such
The user can visually recognize the distribution state of the imaging positions of all the captured images included in the map range by selecting to display the all-point display image on the
On the other hand, the
Such
The user can visually recognize the distribution state of the captured image included in the map range from the viewpoint of each of the plurality of group areas by selecting to display the group display image on the
次に、図８及び図９を参照して、図２の撮像装置１が実行する地図情報表示処理につて説明する。
図８及び図９は、地図情報表示処理の流れを説明するフローチャートである。
Next, map information display processing executed by the
8 and 9 are flowcharts for explaining the flow of the map information display process.
地図情報表示処理は、例えば図２は図示しないが、ユーザが地図範囲を指示する操作を操作部１７に対して行った場合、その操作を契機として開始される。即ち、次のような処理が実行される。
Although the map information display process is not illustrated in FIG. 2, for example, when the user performs an operation for instructing the map range with respect to the
図８のステップＳ１において、地図範囲設定部５２は、直接座標指定手法で地図範囲が指定されたか否かを判定する。
In step S <b> 1 of FIG. 8, the map
ユーザが操作部１７を操作して直接座標指定手法で地図範囲を指定した場合、即ち、対角線両端座標が指定された場合、ステップＳ１においてＹＥＳであると判定されて、処理はステップＳ２に進む。
ステップＳ２において、地図範囲設定部５２は、指定された対角線両端座標に基づいて地図範囲を設定する。
When the user operates the
In step S2, the map
これに対して、ユーザが操作部１７を操作して確認画像指定手法で地図範囲を指定した場合、即ち、確認表示の対象として１以上の撮像画像が指定された場合、ステップＳ１においてＮＯであると判定されて、処理はステップＳ３に進む。
ステップＳ３において、地図範囲設定部５２は、確認表示の対象として指示された１以上の撮像画像を選択する。なお、図２には図示しないが、選択対象は、撮像画像記憶部６２にデータとして記憶されている撮像画像である。
ステップＳ４において、地図範囲設定部５２は、ステップＳ３の処理で選択された１以上の撮像画像の撮像位置の全てを含む範囲を、地図範囲として設定する。
On the other hand, when the user operates the
In step S <b> 3, the map
In step S4, the map
このようにして、ステップＳ２又はＳ４の処理で地図範囲が設定されると、処理はステップＳ５に進む。
ステップＳ５において、地図取得部５３は、指定された地図範囲をカバーする地図のデータが地図記憶部６１に記憶されているか否かを判定する。
In this way, when the map range is set in the process of step S2 or S4, the process proceeds to step S5.
In step S <b> 5, the
指定された地図範囲をカバーする地図のデータが地図記憶部６１に記憶されている場合、ステップＳ５においてＹＥＳであると判定される。すると、当該地図のデータが地図取得部５３によって地図記憶部６１から読み出されて、グループ領域区分部５４に供給される。これにより、処理はステップＳ９に進む。ただし、ステップＳ９以降の処理については後述する。
When the map data covering the designated map range is stored in the
これに対して、指定された地図範囲をカバーする地図のデータが地図記憶部６１に記憶されていない場合、ステップＳ５においてＮＯであると判定されて、処理はステップＳ６に進む。
ステップＳ６において、地図取得部５３は、通信部２０を制御して、地図のデータの配信サイトにアクセス可能か否かを判定する。
地図のデータの配信サイトにアクセス不能な場合、地図取得部５３は、ステップＳ６においてＮＯであると判定し、ステップＳ７において、図２には図示しないが表示制御部５８を制御して、地図のデータが無い旨のメッセージを表示部１８に表示させる。その後、処理はステップＳ１に戻され、それ以降の処理が繰り返される。即ち、当該メッセージを視認したユーザは、操作部１７を操作して別の地図範囲を指定し、当該指定を受けて、ステップＳ１以降の処理が繰り返し実行される。
これに対して、地図のデータの配信サイトにアクセス可能な場合、地図取得部５３は、ステップＳ６においてＹＥＳであると判定し、ステップＳ８において、指定された地図範囲をカバーする地図のデータをダウンロードする。なお、ダウンロードされた地図のデータは、グループ領域区分部５４に供給されると共に地図記憶部６１に記憶される。
On the other hand, when the map data covering the designated map range is not stored in the
In step S6, the
If the map data distribution site is not accessible, the
On the other hand, when the map data distribution site is accessible, the
このようなステップＳ８の処理が実行された場合又は、上述したステップＳ５の処理でＹＥＳであると判定された場合、処理は図９のステップＳ９に進む。 When the process of step S8 is executed or when it is determined YES in the process of step S5 described above, the process proceeds to step S9 of FIG.
ステップＳ９において、グループ領域区分部５４は、地図のデータの形式はベクター地図であるか否かを判定する。
本実施形態では、地図のデータの形式としては、上述したように、ベクター地図とラスター地図とが採用されている。
ベクター地図とは、地図の中で道路や施設などのオブジェクトに対応する表示用のデータが、地図の他の要素を表す表示用のデータから予め分離されている地図をいう。さらに、ベクター地図の各オブジェクトに対応する表示用のデータは有向線分のデータ、又はベクトルデータの集合体で構成され、道幅や規模等に対応するオブジェクトに関連する属性情報が付加されている。
一方、ラスター地図とは、地図の中で道路や施設等のオブジェクトに対応する表示用のデータが、地図の他の要素を表す表示用のデータから予め分離されておらず、表示用のデータを１以上の枚数の地図の画像を表すデータで構成している地図をいう。
In step S9, the group
In the present embodiment, as described above, a vector map and a raster map are employed as the map data format.
A vector map is a map in which display data corresponding to objects such as roads and facilities in the map is separated in advance from display data representing other elements of the map. Furthermore, the display data corresponding to each object of the vector map is composed of directed line segment data or a collection of vector data, and attribute information related to the object corresponding to the road width, scale, etc. is added. .
On the other hand, a raster map means that display data corresponding to objects such as roads and facilities in the map is not separated in advance from display data representing other elements of the map. A map composed of data representing one or more map images.
地図のデータの形式がベクター地図である場合、ステップＳ９においてＹＥＳであると判定されて、処理はステップＳ１０に進む。
ステップＳ１０において、グループ領域区分部５４は、ベクター地図のデータに基づいて、指定された地図範囲に応じて表示すべき道路や施設を選択する。即ち、指定された地図範囲が狭いほど、狭い道路や小さい施設（建築物等）まで表示されるため、これらの狭い道路や小さい施設まで選択される。
このベクター地図による表示処理は一般的な技術なので詳細な説明は省略するが、グループ領域区分部５４は、例えば、各道路や施設に付加されている道幅や規模を示す属性情報に基づいて、地図範囲に応じた表示対象オブジェクトの選択を行う。
ステップＳ１１において、グループ領域区分部５４は、図２には図示しないが表示制御部５８を制御して、ベクター地図のデータに基づいて、指定された地図範囲の地図を表示部１８に表示させ、当該地図上に、ステップＳ１０の処理で選択された道路や施設を表示させる。
ステップＳ１２において、グループ領域区分部５４は、ベクター地図のデータに基づいて、ステップＳ１０の処理で選択された道路や施設（それらの境界線）で囲まれる各領域を、グループ領域に設定する。
このように、ベクター地図の場合は、地図範囲に応じて表示対象となる道路や施設を変化させているので、グループ領域を区分するための道路や施設を、表示対象となる道路や施設と同一にすることで、地図表示に応じてグループ領域の区分をスムーズに変化させることが可能になる。しかしながら、必ずしも、表示対象となる道路や施設と、グループ領域を区分するための道路や施設とを同一にする必要は特に無い。
If the map data format is a vector map, it is determined as YES in step S9, and the process proceeds to step S10.
In step S10, the group
Since the display process using the vector map is a general technique, a detailed description thereof will be omitted. However, the group
In step S11, the group
In step S12, the group
Thus, in the case of a vector map, the roads and facilities to be displayed are changed according to the map range, so the roads and facilities for classifying the group area are the same as the roads and facilities to be displayed. By doing so, it becomes possible to change the division of the group area smoothly according to the map display. However, it is not always necessary to make the roads and facilities to be displayed the same as the roads and facilities for dividing the group area.
このように、地図のデータの形式がベクター地図である場合、ステップＳ９においてＹＥＳであると判定されて、上述したステップＳ１０乃至Ｓ１２の処理が実行されることによって、グループ領域が設定される。
これに対して、地図のデータの形式がラスター地図である場合、ステップＳ９においてＮＯであると判定されて、次のようなステップＳ１３乃至Ｓ１６の処理が実行されることによって、グループ領域が設定される。
Thus, when the format of the map data is a vector map, it is determined as YES in step S9, and the group area is set by executing the processes of steps S10 to S12 described above.
On the other hand, when the map data format is a raster map, it is determined as NO in step S9, and the group area is set by executing the following processes in steps S13 to S16. The
即ち、ステップＳ１３において、グループ領域区分部５４は、図２には図示しないが表示制御部５８を制御して、ラスター地図のデータに基づいて、指定された地図範囲の地図を表示部１８に表示させる。
ステップＳ１４において、グループ領域区分部５４は、指定された地図範囲に応じて、後述するステップＳ１７の画像認識処理により抽出すべき道路の太さや施設の大きさを設定する。即ち、指定された地図範囲が狭いほど、狭い道路や小さい施設まで抽出されるため、これらの狭い道路を示す太さや小さい施設を示す大きさが設定される。
ステップＳ１５において、グループ領域区分部５４は、ステップＳ１４の処理で設定された抽出条件に応じた画像認識処理によって地図上の道路や施設を抽出する。即ち、ステップＳ１４の処理で設定された抽出条件とは、抽出すべき道路の太さや施設の大きさを意味する。従って、ラスター地図のデータに対して画像認識処理が施されることによって、抽出すべき太さ以上の道路に対応する領域のデータや、抽出すべき大きさ以上の施設に対応する領域のデータが抽出される。
ステップＳ１６において、グループ領域区分部５４は、ステップＳ１５の処理で抽出された道路や施設（それらの境界線）で囲まれる各領域を、グループ領域に設定する。
即ち、ベクター地図のように、道路の道幅や施設の規模を示す情報が付加されていない場合であっても、地図範囲に応じた道幅や規模の道路や施設を境界線としてグループ領域を設定することが可能となる。
That is, in step S13, the group
In step S14, the group
In step S15, the group
In step S <b> 16, the group
That is, even when information indicating road width and facility size is not added as in a vector map, a group region is set with roads and facilities of road width and facility corresponding to the map range as boundaries. It becomes possible.
このようにして、地図のデータの形式がラスター地図である場合にはステップＳ１３乃至Ｓ１６の処理が実行されることによって、グループ領域が設定される。一方、上述したように、地図のデータの形式がベクター地図である場合にはステップＳ１０乃至Ｓ１２の処理が実行されて、グループ領域が設定される。何れにしてもグループ領域が設定されると、処理はステップＳ１７に進む。 In this way, when the map data format is a raster map, the group region is set by executing the processing of steps S13 to S16. On the other hand, as described above, when the map data format is a vector map, the processing of steps S10 to S12 is executed to set the group area. In any case, when the group area is set, the process proceeds to step S17.
ステップＳ１７において、画像分類部５５は、撮像画像記憶部６２に記憶されている複数の撮像画像のデータを、各々の撮像位置に応じて、複数のグループ領域の何れかに分類する。
In step S <b> 17, the
ここで、図８及び図９の地図情報表示処理では、図７の地図情報画像８２にように、グループ表示画像が表示部１８に表示されるものとする。
このため、分類情報生成部５６は、画像分類部５５の分類結果に基づいて、複数のグループ領域毎に、画像１枚情報又は画像複数枚情報を生成する。
なお、画像１枚情報又は画像複数枚情報を示すシンボル、即ち、地図に重畳されて表示されるシンボルは、グループ領域に属する１以上の撮像画像を代表して示すシンボルであるため、以下、「代表シンボル」と呼ぶ。
即ち、複数のグループ領域毎に、●（黒丸印）を代表シンボルとする画像１枚情報、又は、★（黒星印）を代表シンボルとする画像複数枚情報が生成される。
これにより、処理はステップＳ１７からステップＳ１８に進む。
Here, in the map information display process of FIGS. 8 and 9, it is assumed that the group display image is displayed on the
Therefore, the classification
Note that a symbol indicating single image information or multiple image information, that is, a symbol superimposed and displayed on a map is a symbol representative of one or more captured images belonging to a group area. This is called a “representative symbol”.
That is, for each of a plurality of group regions, single-image information having a black circle symbol as a representative symbol or multiple-image information having a black symbol as a representative symbol is generated.
Accordingly, the process proceeds from step S17 to step S18.
ステップＳ１８において、地図情報画像生成部５７は、撮像画像の存在する各グループ領域について、含まれる撮像画像の数に応じた所定の代表シンボルを、そのグループ領域内に含む地図情報画像、即ち、グループ表示画像のデータを生成する。そして、地図情報画像生成部５７は、表示制御部５８を制御して、生成したデータに対応する当該グループ表示画像を表示部１８に表示させる。即ち、図７の地図情報画像８２等が表示部１８に表示される。
In step S18, the map information
ここで、当該グループ表示画像を視認したユーザは、操作部１７を操作することによって、複数の代表シンボルのうち所望の１つを選択することができる。
ステップＳ１９において、表示制御部５８は、図２には図示しないが、このような代表シンボルの選択の操作があったか否かを判定する。
Here, the user who has visually recognized the group display image can select a desired one of the plurality of representative symbols by operating the
In step S19, the
代表シンボルの選択の操作があった場合、ステップＳ１９においてＹＥＳであると判定されて、処理はステップＳ２０に進む。
ステップＳ２０において、表示制御部５８は、図２には図示しないが、選択された代表シンボルに対応するグループ領域内の１以上の撮像画像を一覧表示する。
即ち、本実施形態では、撮像画像のデータは、撮像画像ファイルに含められている。当該撮像画像ファイルは、Exif形式であるため、撮像画像のサムネイル画像のデータも含められている。このため、図２には図示はしないが、選択された代表シンボルに対応するグループ領域内の１以上の撮像画像のサムネイル画像のデータが取得され、これらのデータに基づいて、１以上の撮像画像の一覧表示が行われる。
これにより、処理はステップＳ２１に進む。ただし、ステップＳ２１以降の処理については後述する。
If there is an operation for selecting a representative symbol, it is determined as YES in Step S19, and the process proceeds to Step S20.
In step S20, the
That is, in the present embodiment, the captured image data is included in the captured image file. Since the captured image file is in the Exif format, the thumbnail image data of the captured image is also included. Therefore, although not shown in FIG. 2, thumbnail image data of one or more captured images in the group area corresponding to the selected representative symbol is acquired, and one or more captured images are acquired based on these data. Is displayed.
Thereby, a process progresses to step S21. However, the processing after step S21 will be described later.
これに対して、代表シンボルの選択の操作が無かった場合、ステップＳ１９においてＮＯであると判定されて、ステップＳ２０の処理は実行されずに、即ち、１以上の撮像画像の一覧表示が行われずに、処理はステップＳ２１に進む。 On the other hand, if there is no representative symbol selection operation, it is determined as NO in step S19, and the process of step S20 is not executed, that is, a list of one or more captured images is not displayed. The process proceeds to step S21.
ステップＳ２１において、表示制御部５８は、ユーザから確認終了の指示がなされたか否かを判定する。
ユーザからの確認終了指示がなされていない場合、ステップＳ２１においてＮＯであると判定されて、処理は図８のステップＳ１に戻され、それ以降の処理が繰り返される。即ち、ユーザからの確認終了指示がなされるまでの間、ステップＳ１乃至Ｓ２１のループ処理が繰り返される。
その後、ユーザが、操作部１７を操作して確認終了指示をすると、ステップＳ２１においてＹＥＳであると判定されて、地図情報表示処理は終了となる。
In step S <b> 21, the
When the confirmation end instruction is not given from the user, it is determined as NO in Step S21, the process is returned to Step S1 in FIG. 8, and the subsequent processes are repeated. That is, the loop process of steps S1 to S21 is repeated until a confirmation end instruction is issued from the user.
Thereafter, when the user operates the
以上説明したように、本実施形態の撮像装置１は、所定の地図のデータに基づいて、当該地図上で識別表示されるオブジェクトの境界線を特定し、特定された境界線で囲まれる領域をグループ領域として、地図上の領域を複数のグループ領域に区分することができる。
そして、本実施形態の撮像装置１は、複数の撮像画像のデータを、各々の撮像位置に応じて、区分された複数のグループ領域の何れかに属するように分類することができる。
これにより、住所（国、都道府県、市町村、番地等）等の地域名称に対応して明確に区分けされていない領域であっても、境界線の座標さえ特定できれば、撮影画像を分類する際の境界線として利用することが可能になる。よって、このような境界線を用いることによって、地域名称とは対応しない領域を単位として複数の撮像画像を地図上で分類することが可能になる。
As described above, the
And the
As a result, even if it is an area that is not clearly divided according to the area name such as address (country, prefecture, municipality, street address, etc.) It can be used as a boundary line. Therefore, by using such a boundary line, it is possible to classify a plurality of captured images on a map in units of areas that do not correspond to area names.
また、本実施形態の撮像装置１は、地図のデータの形式がベクター地図であるかラスター地図であるか否かを判定することができる。
本実施形態の撮像装置１は、ベクター地図であると判定した場合、設定された地図範囲に応じて、表示すべきオブジェクトを選定し、選定されたオブジェクトを、境界線を特定するオブジェクトとして採用することができる。
これに対して、本実施形態の撮像装置１は、ラスター地図であると判定した場合、地図のデータに対して画像認識処理を施し、画像認識処理の結果に基づいてオブジェクトを認識することができる。
このようにして、予め座標データを持たない道路や施設のオブジェクトが含まれるラスター地図、即ち、画像情報として提供されるラスター地図であっても、地図上で識別表示可能なものであれば、撮影画像を分類する際の境界線として利用することが可能になる。
Further, the
When it is determined that the
On the other hand, when it is determined that the
In this way, even a raster map including road and facility objects that do not have coordinate data in advance, that is, a raster map provided as image information, can be photographed if it can be identified and displayed on the map. It can be used as a boundary line when classifying images.
なお、本発明は、上述の実施形態に限定されるものではなく、本発明の目的を達成できる範囲での変形、改良等は本発明に含まれるものである。 In addition, this invention is not limited to the above-mentioned embodiment, The deformation | transformation in the range which can achieve the objective of this invention, improvement, etc. are included in this invention.
例えば、上述の実施形態では、グループ領域区分部５４は、ラスター地図のデータを用いて、地図上の領域を複数のグループ領域に区分することができた。
さらに、タッチペン機能等、当該地図が表示されている表示部１８に対してユーザが手書き操作で書き込んだ情報を受け付ける機能を、撮像装置１が有している場合がある。このような場合には、グループ領域区分部５４は、画像認識処理の一部として、ユーザが手書きで書き込んだ線情報を境界線として特定することができる。
さらにまた、ラスター地図のデータに、分離可能な文字情報が含まれている場合がある。このような場合には、グループ領域区分部５４は、文字情報を除外した地図のデータに基づいて、文字情報を除外した地図上の領域を複数のグループ領域に区分することもできる。
For example, in the above-described embodiment, the group
Furthermore, the
Furthermore, the raster map data may include separable character information. In such a case, the group
例えば、上述の実施形態の図８及び図９の地図情報表示処理では、画像１枚情報を示す●（黒丸印）の代表シンボル、又は、画像複数枚情報を示す★（黒星印）の代表シンボルが地図上に重畳された地図情報画像、即ちグループ表示画像が表示部１８に表示された。
しかしながら、地図上に重畳される代表シンボルは、図８及び図９の例に特に限定されない。例えば、グループ領域に含まれる撮像画像の数を、単純に「１枚」と「複数枚」といった２種類に区分するのではなく、Ｋ種類（Ｋは、グループ領域に含まれ得る撮像画像の最大枚数以下の整数値）に区分してもよい。例えば、Ｋ＝３として、「１枚」、「少数枚」、及び「多数枚」といった３種類に区分してもよい。この場合、地図情報画像生成部５７は、Ｋ種類の代表シンボルの各々を地図上に重畳させることができる。
また、地図情報画像生成部５７は、代表シンボル（分類情報）のみならず、各種各様の情報を地図上に重畳するようにしてもよい。例えば、地図情報画像生成部５７は、境界線を示す線情報として、通常の線よりも太くしたり色を変えた線情報を地図上に重畳してもよい。また例えば、地図情報画像生成部５７は、グループ領域を示す情報、例えばグループ名等を地図上に重畳させて、図４に示すような地図情報画像のデータを生成してもよい。
さらにまた、表示部１８に表示させる地図情報画像の種類は、図８及び図９の例ではグループ表示画像としているが、特にこれに限定されない。例えば、表示部１８は、別の種類、例えば図６に示すような全地点表示画像等を地図情報画像として表示してもよい。この場合、ユーザが、操作部１７を操作することで、任意の一の種類から任意の別の一の種類に表示を更新する指示をできるようにしてもよい。
For example, in the map information display processing of FIG. 8 and FIG. 9 of the above-described embodiment, a representative symbol of ● (black circle) indicating single image information or a representative symbol of ★ (black star) indicating multiple image information Is displayed on the
However, the representative symbols superimposed on the map are not particularly limited to the examples of FIGS. For example, the number of captured images included in the group area is not simply divided into two types, “one” and “multiple”, but K types (K is the maximum number of captured images that can be included in the group region). It may be divided into integer values equal to or less than the number of sheets. For example, assuming that K = 3, it may be divided into three types such as “one sheet”, “small number”, and “large number”. In this case, the map information
Further, the map information
Furthermore, the type of map information image displayed on the
また例えば、上述の実施形態では、本発明が適用される画像処理装置は、デジタルカメラ等の撮像装置として構成される例として説明した。しかしながら、本発明は、撮像装置に特に限定されず、撮像機能の有無を問わず（撮像画像のデータは別の装置から取得してもよい）、上述の画像処理を実行可能な電子機器一般に適用することができる。具体的には例えば、本発明は、パーソナルコンピュータ、ビデオカメラ、携帯型ナビゲーション装置、ポータブルゲーム機等に適用可能である。 For example, in the above-described embodiment, the image processing apparatus to which the present invention is applied has been described as an example configured as an imaging apparatus such as a digital camera. However, the present invention is not particularly limited to an imaging apparatus, and is applicable to any electronic device that can execute the above-described image processing regardless of whether or not an imaging function is provided (data of a captured image may be acquired from another apparatus). can do. Specifically, for example, the present invention can be applied to a personal computer, a video camera, a portable navigation device, a portable game machine, and the like.
上述した一連の処理は、ハードウェアにより実行させることもできるし、ソフトウェアにより実行させることもできる。 The series of processes described above can be executed by hardware or can be executed by software.
一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムが、コンピュータ等にネットワークや記録媒体からインストールされる。コンピュータは、専用のハードウェアに組み込まれているコンピュータであってもよい。また、コンピュータは、各種のプログラムをインストールすることで、各種の機能を実行することが可能なコンピュータ、例えば汎用のパーソナルコンピュータであってもよい。 When a series of processing is executed by software, a program constituting the software is installed on a computer or the like from a network or a recording medium. The computer may be a computer incorporated in dedicated hardware. The computer may be a computer capable of executing various functions by installing various programs, for example, a general-purpose personal computer.
このようなプログラムを含む記録媒体は、ユーザにプログラムを提供するために装置本体とは別に配布される図１のリムーバブルメディア３１により構成されるだけでなく、装置本体に予め組み込まれた状態でユーザに提供される記録媒体等で構成される。リムーバブルメディアは、例えば、磁気ディスク（フロッピディスクを含む）、光ディスク、又は光磁気ディスク等により構成される。光ディスクは、例えば、CD-ROM（Compact Disk-Read Only Memory），DVD（Digital Versatile Disk）等により構成される。光磁気ディスクは、MD（Mini-Disk）等により構成される。また、装置本体に予め組み込まれた状態でユーザに提供される記録媒体は、例えば、プログラムが記録されている図１のROM１２や、図１の記憶部１９に含まれるハードディスク等で構成される。
The recording medium including such a program is not only constituted by the
なお、本明細書において、記録媒体に記録されるプログラムを記述するステップは、その順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的或いは個別に実行される処理をも含むものである。 In the present specification, the step of describing the program recorded on the recording medium is not limited to the processing performed in time series along the order, but is not necessarily performed in time series, either in parallel or individually. The process to be executed is also included.
１・・・撮像装置、１１・・・CPU、１２・・・ROM、１３・・・RAM、１６・・・撮像部、１７・・・操作部、１８・・・表示部、１９・・・記憶部、２０・・・通信部、２１・・・ドライブ、３１・・・リムーバブルメディア、５１・・・撮像画像取得部、５２・・・地図範囲設定部、５３・・・地図取得部、５４・・・グループ領域区分部、５５・・・画像分類部、５６・・・分類情報生成部、５７・・・地図情報画像生成部、５８・・・表示制御部、６１・・・地図記憶部、６２・・・撮像画像記憶部
DESCRIPTION OF
Claims (15)
複数の撮像画像のデータを、各々の撮像位置に応じて、前記区分手段に区分された前記複数のグループ領域の何れかに属するように分類する分類手段と、
表示対象となる地図範囲を設定する設定手段と、
を備え、
前記区分手段は、前記地図のうち、前記設定手段により設定された前記地図範囲内の領域を前記複数のグループ領域に区分することを特徴とする画像処理装置。 Based on data of a predetermined map, a boundary line of an object identified and displayed on the map is specified, an area surrounded by the specified boundary line is set as a group area, and the area on the map is a plurality of group areas Sorting means to categorize,
Classification means for classifying data of a plurality of captured images so as to belong to any of the plurality of group areas divided by the classification means according to each imaging position;
A setting means for setting a map range to be displayed;
With
The image processing apparatus according to claim 1, wherein the classifying unit classifies an area within the map range set by the setting unit in the map into the plurality of group areas .
請求項１に記載の画像処理装置。 When the data of the plurality of captured images to be classified by the classification unit is specified in advance, the setting unit includes the map within a range including all the imaging positions of the specified plurality of captured images. Set the range,
The image processing apparatus according to claim 1 .
請求項１又は２に記載の画像処理装置。 The classification unit changes the object that identifies the boundary line according to the map range set by the setting unit.
The image processing apparatus according to claim 1 .
前記分類手段は、前記設定手段により設定された前記地図範囲に応じて、幅の異なる道路又は接地面積が異なる建築物を採用する、
請求項３に記載の画像処理装置。 The object is a road or a building,
The classification unit employs roads with different widths or buildings with different ground contact areas according to the map range set by the setting unit.
The image processing apparatus according to claim 3 .
前記区分手段は、前記設定手段により設定された前記地図範囲に応じて、各オブジェクトに対応するデータを参照して、前記境界線を特定するオブジェクトを選択する、
請求項１乃至４の何れか１項に記載の画像処理装置。 The map data format is a vector map in which data corresponding to each object is separated in advance from data representing other elements of the map,
The sorting unit selects an object for specifying the boundary line with reference to data corresponding to each object according to the map range set by the setting unit.
The image processing apparatus according to claim 1 .
前記区分手段は、各オブジェクトに付加されている属性情報に基づいて前記境界線を特定するオブジェクトを選択する、
請求項５に記載の画像処理装置。 The map data format is a vector map in which attribute information is added to each object,
The sorting means selects an object that identifies the boundary line based on attribute information added to each object.
The image processing apparatus according to claim 5 .
請求項５又は６に記載の画像処理装置。 The sorting unit selects an object to be displayed according to the map range set by the setting unit, and employs the selected object as the object for specifying the boundary line.
The image processing apparatus according to claim 5 .
前記区分手段は、前記地図のデータである画像のデータに対して画像認識処理を施し、前記画像認識処理の結果に基づいて前記オブジェクトを認識する、
請求項１乃至４の何れか１項に記載の画像処理装置。 The map data format is a raster map provided as image data in which data corresponding to each object is not separated from data representing other elements,
The classification means performs image recognition processing on image data that is the map data, and recognizes the object based on a result of the image recognition processing.
The image processing apparatus according to claim 1 .
請求項８に記載の画像処理装置。 The classifying means recognizes the width or scale of the object based on the result of the image recognition process, and selects an object for specifying the boundary line based on the recognition result.
The image processing apparatus according to claim 8 .
前記地図のデータの形式がベクター地図であるかラスター地図であるか否かを判定し、
前記ベクター地図であると判定した場合、前記設定手段により設定された前記地図範囲に応じて、表示すべきオブジェクトを選定し、選定された前記オブジェクトを、前記境界線を特定する前記オブジェクトとして採用し、
前記ラスター地図であると判断した場合、前記地図のデータに対して画像認識処理を施し、前記画像認識処理の結果に基づいて前記オブジェクトを認識する、
請求項１乃至４の何れか１項に記載の画像処理装置。 The sorting means includes
Determining whether the data format of the map is a vector map or a raster map;
If it is determined that the map is the vector map, an object to be displayed is selected according to the map range set by the setting unit, and the selected object is adopted as the object for specifying the boundary line. ,
If it is determined that the map is a raster map, image recognition processing is performed on the map data, and the object is recognized based on a result of the image recognition processing.
The image processing apparatus according to claim 1 .
前記地図が表示されている前記表示手段に対して、ユーザが手書きで情報を書きこむ操作を受け付ける操作手段と、
を備え、
前記区分手段は、前記画像認識処理の一部として、さらに、前記ユーザが手書きで書き込んで前記操作手段により受け付けられた線情報を前記境界線として特定する、
請求項８乃至１０の何れか１項に記載の画像処理装置。 Display means for displaying the map;
Operation means for accepting an operation for a user to write information by hand to the display means on which the map is displayed;
With
The classification means further identifies line information written by the user by handwriting and accepted by the operation means as part of the image recognition processing, as the boundary line.
The image processing apparatus according to claim 8 .
前記区分手段は、前記文字情報を除外した前記地図のデータに基づいて、前記文字情報を除外した前記地図上の領域を複数のグループ領域に区分する、
請求項８乃至１０の何れか１項に記載の画像処理装置。 The map data includes separable character information,
The classification means classifies the area on the map excluding the character information into a plurality of group areas based on the map data excluding the character information.
The image processing apparatus according to claim 8 .
前記分類情報生成手段により生成された前記分類情報と前記地図のデータとに基づいて、前記地図に対して、前記代表シンボルを前記複数のグループ領域が存在する位置に重畳した地図情報画像のデータを生成する地図情報画像生成手段と、
をさらに備える請求項１乃至９の何れか１項に記載の画像処理装置。 Classification information generating means for generating, for each of the plurality of group areas, classification information including representative symbol data representing data of one or more captured images belonging to the group area based on the classification result of the classification means;
Based on the classification information generated by the classification information generation means and the map data, map information image data in which the representative symbol is superimposed on the map at a position where the plurality of group regions exist is mapped to the map. Map information image generating means for generating;
The image processing apparatus according to claim 1 , further comprising:
所定の地図のデータに基づいて、前記地図上で識別表示されるオブジェクトの境界線を特定し、特定された前記境界線で囲まれる領域をグループ領域として、前記地図上の領域を複数のグループ領域に区分する区分処理と、
複数の撮像画像のデータを、各々の撮像位置に応じて、区分された前記複数のグループ領域の何れかに属するように分類する分類処理と、
表示対象となる地図範囲を設定する設定処理と、
を含み、
前記区分処理は、前記地図のうち、前記設定処理により設定された前記地図範囲内の領域を前記複数のグループ領域に区分することを特徴とする画像処理方法。 In an image processing method in which an image processing apparatus executes image processing on data of a predetermined map,
Based on data of a predetermined map, a boundary line of an object identified and displayed on the map is specified, an area surrounded by the specified boundary line is set as a group area, and the area on the map is a plurality of group areas Classification processing to categorize
A classification process for classifying data of a plurality of captured images so as to belong to any of the plurality of group areas divided according to each imaging position;
A setting process for setting the map range to be displayed;
Including
The image processing method according to claim 1, wherein, in the map, an area within the map range set by the setting process is divided into the plurality of group areas .
所定の地図のデータに基づいて、前記地図上で識別表示されるオブジェクトの境界線を特定し、特定された前記境界線で囲まれる領域をグループ領域として、前記地図上の領域を複数のグループ領域に区分する区分機能と、
複数の撮像画像のデータを、各々の撮像位置に応じて、区分された前記複数のグループ領域の何れかに属するように分類する分類機能と、
表示対象となる地図範囲を設定する設定機能と、
を実現させ、
前記区分機能は、前記地図のうち、前記設定機能により設定された前記地図範囲内の領域を前記複数のグループ領域に区分することを特徴とするプログラム。 A computer that controls execution of image processing for data of a predetermined map for an image processing apparatus,
Based on data of a predetermined map, a boundary line of an object identified and displayed on the map is specified, an area surrounded by the specified boundary line is set as a group area, and the area on the map is a plurality of group areas A classification function to categorize
A classification function for classifying data of a plurality of captured images so as to belong to any of the plurality of group areas divided according to each imaging position;
A setting function to set the map range to be displayed,
Realized,
The classification function is a program characterized in that, in the map, an area within the map range set by the setting function is divided into the plurality of group areas .
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2010077621A JP5593778B2 (en) | 2010-03-30 | 2010-03-30 | Image processing apparatus and method, and program |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2010077621A JP5593778B2 (en) | 2010-03-30 | 2010-03-30 | Image processing apparatus and method, and program |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2011210042A JP2011210042A (en) | 2011-10-20 |
| JP5593778B2 true JP5593778B2 (en) | 2014-09-24 |
Family
ID=44941020
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2010077621A Expired - Fee Related JP5593778B2 (en) | 2010-03-30 | 2010-03-30 | Image processing apparatus and method, and program |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP5593778B2 (en) |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP6075590B2 (en) | 2012-02-28 | 2017-02-08 | 日本精機株式会社 | Vehicle display device |
| JP6009384B2 (en) * | 2013-03-26 | 2016-10-19 | 株式会社ゼンリンデータコム | Map image providing apparatus, map image providing method, map image providing system, and route guidance system |
Family Cites Families (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP3982605B2 (en) * | 2000-09-29 | 2007-09-26 | カシオ計算機株式会社 | Captured image management apparatus, captured image management method, and captured image management program |
| JP2007194948A (en) * | 2006-01-19 | 2007-08-02 | Fujifilm Corp | Image-editing device and image-editing program |
-
2010
- 2010-03-30 JP JP2010077621A patent/JP5593778B2/en not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JP2011210042A (en) | 2011-10-20 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US10474931B2 (en) | Image group title assigning device, image grouping device, representative image determination device for image group, image display device, camera, and image display program | |
| CN101790034B (en) | Image processing apparatus, image displaying method, and image displaying program | |
| EP2219372B1 (en) | Image processing device, dynamic image reproduction device, and processing method and program used in the devices | |
| US20110122153A1 (en) | Information processing apparatus, information processing method, and program | |
| JP5601407B2 (en) | Image classification program, image classification apparatus, and electronic camera | |
| JP2007156849A (en) | Image controller and image display | |
| JP2009159514A (en) | Imaging device, control method thereof, and program | |
| JP2010283802A (en) | Image processing apparatus, and method of managing images | |
| US20120194544A1 (en) | Electronic equipment | |
| JP2011055295A (en) | Photographing apparatus | |
| JP4901258B2 (en) | Camera and data display method | |
| JP5593778B2 (en) | Image processing apparatus and method, and program | |
| JP5155266B2 (en) | Image display device, image display method, and image display program | |
| JP5385059B2 (en) | Image display method, program, image display apparatus, and imaging apparatus | |
| JP4552088B2 (en) | Image file management method and apparatus | |
| JP5381498B2 (en) | Image processing apparatus, image processing program, and image processing method | |
| JP2011049866A (en) | Image display apparatus | |
| JP2006350546A (en) | Information processor, image classification method and information processing system | |
| JP2011053456A (en) | Image display method, program, image display device, and imaging apparatus with the image display device | |
| JP2013175956A (en) | Image pickup device, image pickup method, image processing device, image processing method and image processing system | |
| JP2013239815A (en) | Image display device and computer program | |
| JP2018060392A (en) | Image synthesis device, image synthesis method, and image synthesis system | |
| JP5565271B2 (en) | Information processing apparatus, information processing method, and program | |
| WO2022137979A1 (en) | Image processing device, image processing method, and program recording medium | |
| JP5713256B2 (en) | Image processing apparatus, imaging apparatus, and image processing program |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20130304 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20140114 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20140121 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20140319 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20140708 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20140721 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 5593778 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| LAPS | Cancellation because of no payment of annual fees |