JP2013210974A - Retrieval image registration device, retrieval image display system, retrieval image registration method and program - Google Patents
Retrieval image registration device, retrieval image display system, retrieval image registration method and program Download PDFInfo
- Publication number
- JP2013210974A JP2013210974A JP2012082428A JP2012082428A JP2013210974A JP 2013210974 A JP2013210974 A JP 2013210974A JP 2012082428 A JP2012082428 A JP 2012082428A JP 2012082428 A JP2012082428 A JP 2012082428A JP 2013210974 A JP2013210974 A JP 2013210974A
- Authority
- JP
- Japan
- Prior art keywords
- image
- feature amount
- specific image
- specific
- unit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Processing Or Creating Images (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
Description
本発明は、検索画像登録装置、検索画像表示システム、検索画像登録方法およびプログラムに関する。 The present invention relates to a search image registration device, a search image display system, a search image registration method, and a program.
仮想現実感(VR:Virtual Reality)技術を利用して、ユーザの存在する実空間を、ユーザ視点で表示された仮想空間によって表現して携帯端末に表示するシステムがある。
また、拡張現実感(AR:Augmented Reality)技術を利用して、ユーザの現在の位置を示す位置情報とこの位置でモバイルデバイスが撮影した画像に基づき、この撮影した位置に関連付けられた情報を、撮影した画像とともにモバイルデバイスに表示させ、ユーザに提供するシステムがある。この拡張現実感技術を利用したシステムとしては、セカイカメラ(Tonchidot Corporation, http://sekaicamera.com/ )やLayar( http://layar.com/ )などがあり、注目を集めている。
There is a system that uses a virtual reality (VR) technology to display a real space in which a user exists in a virtual space displayed from a user viewpoint and displays the real space on a mobile terminal.
Also, using augmented reality (AR) technology, based on position information indicating the current position of the user and an image captured by the mobile device at this position, information associated with the captured position is obtained. There is a system in which a captured image is displayed on a mobile device and provided to a user. As a system using this augmented reality technology, there are Sekai Camera (Tonchidot Corporation, http://secamera.com/) and Layar (http://layer.com/), which are attracting attention.
例えば、拡張現実感技術を利用した技術として、二次元バーコード等のマーカを撮影し、当該二次元バーコードと一意に関連づけられたコンテンツを撮影した画像に合成して表示させるものがある(例えば、特許文献1参照)。
また、撮影した画像データの内容を認識する画像認識装置として、撮影された位置に応じて、撮影された画像データの内容を表わすキーワードを抽出するものがある(例えば、特許文献2参照)。
For example, as a technique using augmented reality technology, a marker such as a two-dimensional barcode is photographed, and content uniquely associated with the two-dimensional barcode is synthesized and displayed on the photographed image (for example, , See Patent Document 1).
Further, as an image recognition device that recognizes the content of captured image data, there is a device that extracts a keyword representing the content of captured image data according to the captured position (see, for example, Patent Document 2).
しかしながら、実際に撮影する画面は、正面から撮影されたものであるとは限らない。例えば、ビルの広告が特定画像となっているような場合には、ビルを下から見上げて撮影した画像となり、撮影画像に歪みが生じている。また、撮影画像が夕日を浴びて赤くなっている画像であったり、暗くぼやけた画像になっていたりする場合がある。このような場合、予め生成された特定画像と実際に撮影された画像とを比較して、撮影画像に対応する特定画像を検索する際に、予め生成された特定画像と実際に撮影された画像との間に差異が生じ、認識率が低下してしまう。 However, the screen that is actually captured is not necessarily captured from the front. For example, when an advertisement for a building is a specific image, the image is taken by looking up at the building from below, and the captured image is distorted. Further, the photographed image may be an image that is red due to sunset, or may be a dark and blurry image. In such a case, when the specific image generated in advance is compared with the actually captured image to search for the specific image corresponding to the captured image, the specific image generated in advance and the image actually captured And the recognition rate decreases.
また、実際の画像データをプリンタなどで印刷したものをカメラで撮影するような場合がある。このような場合には、照明環境の違いによっても撮影画像の色は大きく変わってしまう。 In some cases, actual image data printed by a printer or the like is photographed by a camera. In such a case, the color of the photographed image greatly changes depending on the illumination environment.
上述の課題を鑑み、本発明は、撮影された画像に対応する画像を検索する際に、撮影画像と特定画像とのマッチングの精度を向上させ、認識率の向上を図るようにした表示画像検索装置、表示画像検索システムおよび表示画像検索方法を提供することを目的とする。 In view of the above-described problems, the present invention improves display accuracy by improving the accuracy of matching between a captured image and a specific image when searching for an image corresponding to the captured image. An object is to provide a device, a display image search system, and a display image search method.
上述の課題を鑑み、本発明に係る検索画像登録装置は、撮影部が撮影した撮影画像の画像データを入力する入力部と、前記画像データに基づき、当該撮影画像の特徴を示す撮影画像特徴量を算出する画像特徴量算出部と、検索対象である特定画像の特徴を示す特定画像特徴量と前記撮影画像特徴量に基づいて、前記撮影画像において前記特定画像と特徴の一致又は類似する類似画像を検出する比較部と、前記類似画像に関連する再登録情報を取得し、取得した再登録情報を記憶部に登録する登録部と、を備え、前記比較部は、記憶部に登録した再登録情報に基づいて、類似画像を検出する。
なお、再登録情報としては、実施形態に記載されている、例えば、変換情報算出部27によって算出される位置変換のための変換行列Aや、この変換行列Aに基づき再登録画像内の特定画像領域の位置に特定画像が置き換えられた特徴量抽出画像、あるいは、変換情報算出部27’によって算出される色補正変換のための変換行列Aや、この変換行列Aに基づき色補正が施された特徴量抽出画像、又は、特徴量抽出画像から取得される特徴量等を含む。
In view of the above-described problems, the search image registration apparatus according to the present invention includes an input unit that inputs image data of a captured image captured by the capturing unit, and a captured image feature that indicates the characteristics of the captured image based on the image data. An image feature amount calculation unit for calculating the image, a specific image feature amount indicating a feature of the specific image that is a search target, and a similar image that matches or is similar to the specific image in the captured image based on the captured image feature amount And a registration unit that acquires re-registration information related to the similar image and registers the acquired re-registration information in a storage unit, and the comparison unit re-registers registered in the storage unit A similar image is detected based on the information.
As the re-registration information, for example, the conversion matrix A for position conversion calculated by the conversion
上述の検索画像登録装置において、前記登録部は、前記特定画像特徴量と前記撮影画像特徴量に基づいて前記類似画像と前記特定画像の変換規則を取得し、前記特定画像を前記変換規則に基づいて変換した画像を新たな特定画像とし、前記新たな特定画像に関する情報を再登録情報として登録する。 In the above-described search image registration device, the registration unit acquires a conversion rule between the similar image and the specific image based on the specific image feature amount and the captured image feature amount, and the specific image is based on the conversion rule. The converted image is set as a new specific image, and information relating to the new specific image is registered as re-registration information.
上述の検索画像登録装置において、前記登録部は、前記特定画像特徴量と前記撮影画像特徴量に基づいて、前記類似画像と前記特定画像の色情報の変換規則を取得し、前記変換規則に基づいて、再登録情報を登録する。 In the above-described search image registration device, the registration unit acquires a conversion rule for color information of the similar image and the specific image based on the specific image feature amount and the captured image feature amount, and based on the conversion rule Register the re-registration information.
上述の検索画像登録装置において、前記登録部は、前記特定画像特徴量と前記撮影画像特徴量に基づいて前記類似画像と前記特定画像の変換規則を取得し、前記特定画像を前記変換規則に基づいて変換した画像を新たな特定画像とし、前記新たな特定画像の特徴量を示す特定画像特徴量を再登録情報として登録する。 In the above-described search image registration device, the registration unit acquires a conversion rule between the similar image and the specific image based on the specific image feature amount and the captured image feature amount, and the specific image is based on the conversion rule. The converted image is set as a new specific image, and the specific image feature amount indicating the feature amount of the new specific image is registered as re-registration information.
上述の課題を鑑み、本発明に係る表検索画像表示システムは、上述のいずれか1つの検索画像登録装置と、前記検索画像登録装置とネットワークを介して接続され、前記撮影部を備える表示装置と、を備える。 In view of the above-described problems, a table search image display system according to the present invention includes any one of the above-described search image registration apparatuses, a display apparatus that is connected to the search image registration apparatus via a network and includes the photographing unit. .
上述の課題を鑑み、本発明に係る検索画像登録方法は、撮影部が撮影した撮影画像の画像データを入力する入力過程と、前記画像データに基づき、当該撮影画像の特徴を示す撮影画像特徴量を算出する画像特徴量算出過程と、検索対象である特定画像の特徴を示す特定画像特徴量と前記撮影画像特徴量に基づいて、前記撮影画像において前記特定画像と特徴の一致又は類似する類似画像を検出する第1の比較過程と、前記類似画像に関連する再登録情報を取得し、取得した再登録情報を記憶部に登録する登録過程と、記憶部に登録した再登録情報に基づいて、類似画像を検出する第2の比較過程と、を有する。 In view of the above-described problems, the search image registration method according to the present invention includes an input process of inputting image data of a photographed image photographed by the photographing unit, and a photographed image feature amount indicating the feature of the photographed image based on the image data Based on the image feature amount calculating process for calculating the image, the specific image feature amount indicating the feature of the specific image to be searched, and the captured image feature amount, the captured image has a feature that matches or is similar to the specific image. Based on the first comparison process of detecting the re-registration information related to the similar image, the registration process of registering the acquired re-registration information in the storage unit, and the re-registration information registered in the storage unit, A second comparison process for detecting similar images.
本発明に係るプログラムは、コンピュータに、撮影部が撮影した撮影画像の画像データを入力する入力手段、前記画像データに基づき、当該撮影画像の特徴を示す撮影画像特徴量を算出する画像特徴量算出手段、検索対象である特定画像の特徴を示す特定画像特徴量と前記撮影画像特徴量に基づいて、前記撮影画像において前記特定画像と特徴の一致又は類似する類似画像を検出する第1の比較手段、前記類似画像に関連する再登録情報を取得し、取得した再登録情報を記憶部に登録する登録手段、記憶部に登録した再登録情報に基づいて、類似画像を検出する第2の比較手段、を実行させるためのプログラムである。 The program according to the present invention includes an input unit that inputs image data of a photographed image photographed by a photographing unit to a computer, and an image feature amount calculation that calculates a photographed image feature amount indicating the feature of the photographed image based on the image data. And a first comparison unit that detects a similar image similar to or similar to the specific image in the captured image based on the specific image feature amount indicating the characteristic of the specific image to be searched and the captured image feature amount. Registration means for acquiring re-registration information related to the similar image, registering the acquired re-registration information in a storage unit, and second comparison means for detecting a similar image based on the re-registration information registered in the storage unit , Is a program for executing.
本発明によれば、撮影された画像に対応する画像を検索する際に、撮影画像と特定画像とのマッチングの精度を向上させ、認識率の向上を図ることができる。 According to the present invention, when searching for an image corresponding to a photographed image, the matching accuracy between the photographed image and the specific image can be improved, and the recognition rate can be improved.
<第1実施形態>
以下、本発明の一実施形態による画像検索表示システムの一例について、図面を参照して詳細に説明する。図1は、本実施形態における画像検索表示システムの機能ブロック図である。
図1に示す通り、画像検索表示システムは、表示装置1と表示画像検索装置2を備える。本実施形態において、表示装置1と表示画像検索装置2は、ネットワークNWを介して通信可能に接続されている。
なお、本実施形態では、表示装置1と表示画像検索装置2は、それぞれ異なるデバイスであって、ネットワークNWを経由して接続されている構成を例に以下説明するが、本発明はこれに限られない。例えば、表示装置1が、表示画像検索装置2を内部に備える構成であってもよい。また、ネットワークNWは、有線あるいは無線のいずれであってもよく、例えば、電話回線、インターネット回線、無線LAN通信方式等を利用した通信を行うものであればよい。
<First Embodiment>
Hereinafter, an example of an image search and display system according to an embodiment of the present invention will be described in detail with reference to the drawings. FIG. 1 is a functional block diagram of an image search / display system according to this embodiment.
As shown in FIG. 1, the image search / display system includes a
In the present embodiment, the
表示装置1は、例えば、カメラ付き携帯電話や、通信機能付きカメラ等のモバイルデバイスが利用可能である。この表示装置1は、拡張現実感技術を利用して得られるコンテンツを撮影された画像に合成して表示するARモードを設定する機能が搭載されており、以下、このARモードが設定されている場合に利用する機能と動作を中心に説明する。
As the
表示装置1は、端末制御部11と、撮影部12と、位置情報検出部13と、計時部14と、表示部15と、通信部16と、記憶部17と、操作部18を備える。
撮影部12は、被写体からの光を受光し、受光した光を光電変換して画像データを生成し、出力する。つまり、撮影部12は、被写体を撮影して画像データを出力する。
この撮影部12は、画像データとして、撮影画像データD(n)とリアルタイム再生画像データとを出力する。このリアルタイム再生画像データは、撮影部12が撮影する画像をリアルタイムで表示部15に表示するため撮影部12から出力される画像データである。これにより、ユーザは、表示部15に表示されている画像をみながら、表示部15に表示された被写体を撮影することができる。
一方、撮影画像データD(n)は、リアルタイム再生画像データに基づく画像が表示部15に表示されている状態において、操作部18が入力されたユーザからの撮影指示に基づき、撮影部12が被写体を撮影して得られる画像データである。
The
The
The photographing
On the other hand, when the image based on the real-time reproduction image data is displayed on the
位置情報検出部13は、例えば、GPS(Global Positioning System)を利用して、表示装置1が撮影時に存在する位置を示す撮影位置情報P(n)を検出して、出力する。この撮影位置情報P(n)は、例えば、緯度、経度、高度により決定される地球上における絶対的な位置を示す。
なお、本実施形態において、撮影時とは、例えば、操作部18のシャッターボタンをユーザが押下したタイミングであってもよく、撮影画像データD(n)が生成されたタイミングであってもよい。
The position
In the present embodiment, the time of shooting may be, for example, the timing when the user presses the shutter button of the
計時部14は、年月日および時刻を計時しており、撮影時に計時した年月日と時刻を示す撮影日時情報T(n)を出力する。
The
端末制御部11は、表示装置1を統括的に制御する。この端末制御部11は、撮影部12から出力される撮影画像データD(n){n=1,2・・・}に、この撮影画像データD(n)が撮影された位置を示す撮影位置情報P(n)と、この撮影画像データD(n)が撮影された日時を示す撮影日時情報T(n)とを対応付けて、記憶部17に格納する。なお、nは、撮影部12によって撮影された撮影画像データを他の撮影画像データから識別するための識別情報である撮影画像ID(Identification)である。
また、端末制御部11は、撮影部12によって連続的に撮影されるリアルタイム再生画像データを端末制御部11から入力し、撮影部12が撮影する画像をリアルタイムで表示部15に表示する。
この端末制御部11は、表示画像検索装置2から、後述する、特定画像付加情報と表示位置情報と特定画像データを受信する。端末制御部11は、表示位置情報が示す変換行列Aに基づいて、特定画像データを変換する。端末制御部11は、撮影画像データ内に、変換後の特定画像データの画像を重畳して表示部15に表示させる。端末制御部11は、特定画像データの画像に対して、特定画像付加情報を付与してもよい。端末制御部11は、特定画像データの画像を重畳した撮影画像データを、表示部15に出力する。
The
In addition, the
The
表示部15は、例えば、液晶ディスプレイ等であって、端末制御部11から入力された情報に基づく画像を表示する。
The
通信部16は、ネットワークNWを介して表示画像検索装置2から送信される情報を受信して端末制御部11に出力し、端末制御部11から入力された情報をネットワークNWを介して表示画像検索装置2に送信する。
The
記憶部17は、撮影部12によって生成された撮影画像データD(n)と、撮影位置情報P(n)と、撮影日時情報T(n)とを対応付けて記憶する。また、記憶部17は、表示装置1が動作するためのプログラムを記憶する。
The
操作部18は、例えば、電源のON/OFFを入力する電源ボタン、ユーザからの撮影指示を入力するシャッターボタン等を含む。
The
ここで、表示装置1の撮影部12が取得した撮影画像データD(n)の一例について、図2を参照して説明する。図2は、撮影画像の一例を示す図である。
図2に示す通り、撮影画像データD(n)は、例えば、ある繁華街の風景を写した画像であって、画面右側に大きなビルB1の画像が、画面中央にビルB1よりも小さいビルB2の画像が、それぞれ含まれている。このビルB1には、大型ディスプレイが設置されている。ビルB2には、貸広告を掲示する大きな貸広告スペースが設けられている。
このビルB1の大型ディスプレイは、右辺が長く、左辺が短く歪んでいる。また、ビル2の貸広告スペースは、上辺と下辺が湾曲している。
Here, an example of the photographed image data D (n) acquired by the photographing
As shown in FIG. 2, the captured image data D (n) is, for example, an image of a certain downtown area, and an image of a large building B1 on the right side of the screen and a building B2 smaller than the building B1 at the center of the screen. Each of these images is included. A large display is installed in this building B1. Building B2 is provided with a large rental advertisement space for posting rental advertisements.
The large display of this building B1 has a long right side and a short left side that is distorted. In addition, the rental advertising space of the
次に、図3を参照して、本実施形態に係る表示画像検索装置2の一例について説明する。図3は、本実施形態に係る表示画像検索装置2の一例を示すブロック図である。
図3に示す通り、本実施形態係る表示画像検索装置2は、通信部21と、第1記憶部22と、画像特徴量算出部23と、位置情報比較部24と、第2記憶部25と、画像特徴量比較部26と、変換情報算出部27と、登録部28と、第3記憶部29と、第4記憶部31と、特定画像付加情報取得部32と、を備える。
Next, an example of the display
As shown in FIG. 3, the display
通信部21は、表示装置1との間で情報の入出力を行うインターフェースであって、例えば、ネットワークNWを介して表示装置1から送信される撮影画像データD(n)と、撮影位置情報P(n)と、撮影日時情報T(n)を受信する。この通信部21は、撮影画像データD(n)を画像特徴量算出部23に、撮影位置情報P(n)を位置情報比較部24と特定画像付加情報取得部32に、撮影日時情報T(n)を特定画像付加情報取得部32に、それぞれ出力する。また、通信部21は、特定画像付加情報取得部32から入力された特定画像表示データS(n)を、ネットワークNWを介して表示装置1に送信する。
なお、通信部21は、本実施形態のように、表示装置1と表示画像検索装置2とがネットワークNWを介して接続されている場合、上述のように表示装置1と情報の送受信を行う機能を有する。一方、図示しないが、表示画像検索装置2が表示装置1に内蔵されている場合、表示装置1と情報の入出力を行う機能を有する。つまり、通信部21は、表示装置1から情報を入力する入力部、および、表示装置1(表示部15)へ情報を出力する出力部として機能する。
なお、通信部21は、ネットワークNWを介して表示装置1と接続するためのインターフェース機能に限られず、カメラ等の機器とケーブルを介して接続し、カメラ等の機器から撮影画像データを読み取る構成であってもよい。
The
Note that, when the
Note that the
第1記憶部22は、例えば表示画像検索装置2の管理者により予め登録された特定画像位置テーブル220を記憶する。
この特定画像位置テーブル220は、図4に示す通り、特定画像IDと、特定画像に関連する付加情報を提供可能な位置を示す特定画像位置情報とを対応付けるテーブルである。この特定画像位置情報は、緯度と、経度と、高度と、位置誤差許容距離を示す情報を含む。
特定画像IDは、特定画像を識別するための識別情報である。なお、この特定画像IDが割り当てられている特定画像データは、この特定画像IDと対応付けて第1記憶部22に格納されている。
The
As shown in FIG. 4, the specific image position table 220 is a table that associates a specific image ID with specific image position information indicating a position where additional information related to the specific image can be provided. The specific image position information includes information indicating latitude, longitude, altitude, and position error allowable distance.
The specific image ID is identification information for identifying the specific image. Note that the specific image data to which the specific image ID is assigned is stored in the
図5を参照して、この特定画像の一例について説明する。図5は、本実施形態において、第1記憶部22に保存される特定画像の一例を示す図である。
図5に示すように、第1記憶部22には、特定画像ID1、2、3が割り当てられた特定画像データ100、200、300が保存されている。なお、いずれの特定画像も、その画像が縦長の長方形であって、例えば、映画の宣伝用のポスター画像である。
図5(a)に示す通り、特定画像データ100は、特定画像ID1が割り当てられており、画面の中央にネコの画像を含む画像である。
また、図5(b)に示す通り、特定画像データ200は、特定画像ID2が割り当てられており、画面の上部に「映画タイトル」の文字画像を、この「映画タイトル」の下にネコの画像を、それぞれ含む画像である。
さらに、図5(c)に示す通り、特定画像データ300は、特定画像ID3が割り当てられており、画面の中央に「映画タイトル」の文字画像を、この「映画タイトル」の上にネコの画像を、この「映画タイトル」の右下に「近日公開」の文字画像を、それぞれ含む画像である。
An example of this specific image will be described with reference to FIG. FIG. 5 is a diagram illustrating an example of the specific image stored in the
As shown in FIG. 5, specific image data 100, 200, and 300 to which
As shown in FIG. 5A, the specific image data 100 is an image that is assigned a specific image ID1 and includes a cat image in the center of the screen.
Also, as shown in FIG. 5B, the specific image data 200 is assigned with the
Further, as shown in FIG. 5C, the specific image data 300 is assigned with a specific image ID3. A character image of “movie title” is displayed at the center of the screen, and a cat image is displayed on the “movie title”. Are images including character images of “coming soon” at the lower right of the “movie title”.
図4に戻って、緯度、経度、および高度は、特定画像IDの特定画像データに対応する特定画像位置を示す情報である。この特定画像位置は、例えば、特定画像データが表わされたポスターや大型ディスプレイが設置されている位置である。
位置誤差許容距離は、緯度、経度、および高度によって、特定画像位置とみなされる一定の範囲を示す情報である。この位置誤差許容距離は、例えば、特定画像位置を中心とする円の半径を示す距離である。
Returning to FIG. 4, latitude, longitude, and altitude are information indicating the specific image position corresponding to the specific image data of the specific image ID. The specific image position is, for example, a position where a poster or a large display in which specific image data is represented is installed.
The position error allowable distance is information indicating a certain range that is regarded as a specific image position by latitude, longitude, and altitude. This position error allowable distance is, for example, a distance indicating the radius of a circle centered on the specific image position.
図3に戻って、画像特徴量算出部23は、撮影画像データD(n)に基づき、この画像の特徴を示す画像特徴量(以下、撮影画像特徴量という)を算出する。この撮影画像特徴量は、例えば、色の成分、明るさ、エッジ画像等の画像の特徴を数値化したものである。なお、画像特徴量が一定の閾値以上の数値を有する点(例えば、画素)を特徴点という。また、特徴点の撮像画像内における位置は、(X,Y)座標値で示される(図9(b)参照)。画像特徴量算出部23は、各特徴点について、撮影画像特徴量および(X,Y)座標値を対応付けた特徴点情報を生成する。画像特徴量算出部23は、撮像画像内のすべての特徴点についての特徴点情報を含む、撮影画像特徴量情報を生成する。
Returning to FIG. 3, the image feature
この撮影画像特徴量の一例を図6に示す。図6に示す通り、画像特徴量算出部23は、例えば、撮影画像データD(n)に基づき撮影画像特徴量を算出し、例えば、撮影画像特徴量群C1、C2、C3を得る。
この撮影画像特徴量群C1は、撮影画像データD(n)の画像内において、ビルB1の大型ディスプレイに表示された「映画タイトル」の文字画像に対応する画像領域から算出された特徴点の集合である。
撮影画像特徴量群C2は、撮影画像データD(n)の画像内において、ビルB1の大型ディスプレイに表示されたネコの画像に対応する画像領域から算出された特徴点の集合である。
撮影画像特徴量群C3は、撮影画像データD(n)の画像内において、ビルB2の貸広告のスペースに表示されたネコの画像に対応する画像領域から算出された特徴点の集合である。
なお、撮影画像特徴量群C2とC3は、ともにネコの画像に対応する画像領域から算出される特徴点の集合であり、その特徴点の分布は類似している。
An example of the photographed image feature amount is shown in FIG. As illustrated in FIG. 6, the image feature
This photographed image feature quantity group C1 is a set of feature points calculated from an image area corresponding to the character image of “movie title” displayed on the large display of the building B1 in the photographed image data D (n). It is.
The photographed image feature quantity group C2 is a set of feature points calculated from an image area corresponding to a cat image displayed on the large display of the building B1 in the photographed image data D (n).
The photographed image feature quantity group C3 is a set of feature points calculated from an image area corresponding to a cat image displayed in the rental advertisement space of the building B2 in the photographed image data D (n) image.
Note that the photographed image feature quantity groups C2 and C3 are a set of feature points calculated from an image area corresponding to a cat image, and the distribution of the feature points is similar.
図3に戻って、位置情報比較部24は、通信部21から撮影位置情報P(n)を入力される。この位置情報比較部24は、特定画像位置テーブル220を参照して、入力された撮影位置情報P(n)に基づき、対応する特定画像IDを検索する。つまり、位置情報比較部24は、特定画像位置情報の示す範囲に撮影位置情報P(n)の示す撮影位置を含む特定画像データを検索する。
言い換えると、位置情報比較部24は、第1記憶部22に記憶されている全ての特定画像データの中から、撮影位置情報に対応する特定画像データを検索によって得ることで、画像特徴量比較部26による比較対象を撮影位置情報に対応するものに限定する処理を行っている。
Returning to FIG. 3, the position
In other words, the position
具体的に説明すると、位置情報比較部24は、撮影位置情報P(n)が示す位置が、特定画像位置テーブル220に示された緯度、経度、高度を中心とし位置誤差許容距離を半径とする特定画像位置範囲内となる特定画像IDがあるか否かを判断する。この位置情報比較部24は、この撮影位置情報P(n)の示す位置が特定画像位置範囲内となる特定画像IDを検索によって得た場合、この検索によって得た特定画像IDを画面特徴量比較部26に出力する。
なお、特定画像特徴量テーブル250において、特定の緯度、経度、高度、位置誤差許容距離と対応づけられていない特定画像IDの特定画像データは、位置情報比較部24により検索結果の候補から除外せず、位置情報比較部24によって画像特徴量比較部26に出力される。
More specifically, the position
In the specific image feature quantity table 250, the specific image data of the specific image ID that is not associated with the specific latitude, longitude, altitude, and position error allowable distance is excluded from the search result candidates by the position
第2記憶部25は、例えば表示画像検索装置2の管理者により予め登録された特定画像特徴量テーブル250を記憶する。
この特定画像特徴量テーブル250は、図7に示す通り、特定画像IDと、特定画像のインデックスと、特定画像の特徴を示す特定画像特徴量情報とを対応付けるテーブルである。この特定画像特徴量情報は、特定画像における特徴点の特徴点縦座標と、特徴点横座標と、特徴点特徴量とを示す情報を含む。
この特徴点縦座標と特徴点横座標は、対応する特定画像IDの画像内において特定の特徴量を示す特徴点の位置を示す情報である。特徴点特徴量は、この特徴点縦座標と特徴点横座標が示す特徴点の特徴量を示す情報である。なお、各特定画像IDに対応付けられている特徴点特徴量の数は、各特定画像IDに応じて決まる。この特徴量は、例えば、様々な観点によって抽出されてもよく、複数の種類の特徴量を抽出する場合には、特徴量は、ベクトルとなる。図示においては、簡略化のため、特徴点についての1つの種類の特徴量を示す。
The
As illustrated in FIG. 7, the specific image feature amount table 250 is a table that associates the specific image ID, the index of the specific image, and the specific image feature amount information indicating the characteristics of the specific image. The specific image feature amount information includes information indicating the feature point ordinate, the feature point abscissa, and the feature point feature amount of the feature point in the specific image.
The feature point ordinate and the feature point abscissa are information indicating the position of the feature point indicating the specific feature amount in the image of the corresponding specific image ID. The feature point feature amount is information indicating the feature amount of the feature point indicated by the feature point ordinate and the feature point abscissa. Note that the number of feature point feature quantities associated with each specific image ID is determined according to each specific image ID. This feature amount may be extracted from various viewpoints, for example, and when a plurality of types of feature amounts are extracted, the feature amount is a vector. In the drawing, for simplification, one kind of feature amount for feature points is shown.
図3に戻って、画像特徴量比較部26は、特定画像特徴量テーブル250を参照して、位置情報比較部24の検索によって得られた特定画像IDに対応する特徴量を読み出し、この特定画像IDに対応する特徴量と、画像特徴量算出部23によって生成された撮影画像特徴量情報の撮影画像特徴量とを比較して、撮影画像データD(n)の画像内に含まれる特徴量と類似する特徴量を有する特定画像(類似特定画像とも称する)を検出する。
Returning to FIG. 3, the image feature
具体的に説明すると、この画像特徴量比較部26は、例えば、特定画像ID毎に特徴量を読み出し、読み出した特徴量と撮影画像特徴量情報の撮影画像特徴量とが一致するか否かを判定する。ここで、一致とは、特徴量の値が閾値T1以内の場合をいう。なお、1つの特徴点に対して複数種類(例えば、色の成分、明るさの2種類)の特徴量がある場合には、画像特徴量比較部26は、同じ種類同士の特徴量を比較する。画像特徴量比較部26は、比較した特徴量の値が閾値T1以内となる特徴量の種類の数を計数し、計数した数が閾値以上になる場合に、類似すると判定してもよい。
画像特徴量比較部26は、一致すると判定した特徴点の数を計数する。例えば、画像特徴量比較部26は、計数した特徴点の数を特定画像IDの特徴点の総数で除算し、除算した値を、特徴量類似度とする。なお、画像特徴量比較部26は、他の手法を用いて、特徴量類似度を算出してもよい。画像特徴量比較部26は、特徴量類似度と特定画像IDを対応付けて記憶する。
画像特徴量比較部26は、上記の処理を、全ての特定画像IDに対して行う。画像特徴量比較部26は、最大となる特徴量類似度に対応する特定画像IDを抽出し、抽出した特定画像IDの特定画像を、類似特定画像として検出する。
画像特徴量比較部26は、検出した類似特定画像の特定画像IDと、その特定画像IDに対応する特定画像特徴量情報と、撮影画像特徴量情報とを、変換情報算出部27へ出力する。
More specifically, for example, the image feature
The image feature
The image feature
The image feature
変換情報算出部27は、画像特徴量比較部26から入力された特定画像特徴量情報および撮影画像特徴量情報に基づいて、特定画像と、その特定画像に類似する撮影画像内の画像(類似画像とも称する)と、の位置の対応関係を示す変換行列Aを算出する。
例えば、図9(a)に示す通り、オリジナルの特定画像の画像内における位置を(x,y)座標値で示す。また、図9(b)に示す通り、撮影画像内における位置を(X,Y)座標値で示す。
Based on the specific image feature amount information and the captured image feature amount information input from the image feature
For example, as shown in FIG. 9A, the position of the original specific image in the image is indicated by (x, y) coordinate values. Further, as shown in FIG. 9B, the position in the captured image is indicated by (X, Y) coordinate values.
変換情報算出部27は、特定画像特徴量情報から特徴点を抽出し、その特徴点と一致する特徴点を、撮影画像特徴量情報から抽出する。ここで、一致とは、特徴量の値が閾値以内の場合をいうが、この閾値は閾値T1と異なっていても良いし、同じであっても良い。変換情報算出部27は、特定画像特徴量情報から抽出した特徴点について、特徴点縦座標および特徴点横座標をそれぞれ、次式(1)の(x,y)へ代入する。変換情報算出部27は、撮影画像特徴量情報から抽出した特徴点について、抽出した特徴点について、(X,Y)座標値を、次式(1)の(X,Y)へ代入する。なお、撮影画像特徴量情報から抽出した特徴点が複数ある場合には、それらの(X,Y)座標値の平均値を、次式(1)の(X,Y)へ代入してもよい。
The conversion
変換情報算出部27は、代入の結果、変換行列Aの各成分を未知数とする数式を生成する。変換情報算出部27は、上記の処理を予め定めれら回数だけ繰り返し、その回数の数の数式を生成する。変換情報算出部27は、生成した数式を、連立させて解くことにより、変換行列Aを算出する。
変換行列Aは、オリジナルの特定画像を撮影内の位置に位置変換させるための変換規則である。ただし、変換規則は行列でなくてもよいし、変換規則は特定画像の部分毎にあってもよい。例えば、変換情報算出部27は、x座標値毎又はy座標値毎の変換行列Aを算出してもよい。なお、この変換行列Aに従って、特定画像が撮影画像内に位置変換された場合、撮影画像内における特定画像が位置する領域を、以下、特定画像領域という。つまり、変換情報算出部27は、撮影画像内に写る特定画像領域の位置を示す情報を算出する。言い換えると、変換情報算出部27は、特定画像の特徴量と撮影画像の特徴量に基づいて、撮影画像において特定画像と特徴の一致又は類似する特定領域を決定する。なお、撮影画像内における特定画像領域の画像が、類似画像である。
As a result of the substitution, the conversion
The conversion matrix A is a conversion rule for converting the position of the original specific image to a position in the photographing. However, the conversion rule may not be a matrix, and the conversion rule may be provided for each part of the specific image. For example, the conversion
変換情報算出部27は、変換行列Aと類似特定画像の特定画像IDとを、登録部28および特定画像付加情報取得部32へ出力する。
The conversion
登録部28は、特定画像の特徴量を特定画像特徴量テーブル250に登録する登録処理と、再登録画像の特徴量を特定画像特徴量テーブル250に登録する再登録処理とを実行する。
この登録部28は、“オリジナルの特定画像”の特徴量が入力された場合、この“オリジナルの特定画像”の特徴量と特定画像IDとを対応付けて、特定画像特徴量テーブル250に書き込む。つまり、“オリジナルの特定画像”の特徴量を特定画像特徴量テーブル250に登録する登録処理を実行する(これを登録処理という)。
また、登録部28は、変換行列Aと類似特定画像の特定画像IDが入力された場合、後述する特徴量抽出画像の特徴量と特定画像IDとを対応付けて、特定画像特徴量テーブル250に書き込む。つまり、特徴量抽出画像の特徴量を特定画像特徴量テーブル250に登録する登録処理を実行する(これを再登録処理という)。
The
When the feature amount of the “original specific image” is input, the
In addition, when the conversion matrix A and the specific image ID of the similar specific image are input, the
具体的に再登録処理では、登録部28は、第3記憶部29の特定画像データ記憶領域290から、変換情報算出部27から入力された特定画像IDの画像データを読み出す。登録部28は、変換情報算出部27から入力された変換行列Aに基づいて、読み出した画像データの各座標を変換する。例えば、登録部28は、画像データの座標値に対して、行列Aを左から演算する。これにより、登録部28は、特定画像が撮影画像内に位置変換された場合の画像(特徴量抽出画像)を取得する。
この特徴量抽出画像は、例えば、図10に示すように、撮影画像データD(n)の画像に含まれる特定画像領域が特定画像に置き換えられるとともに、特定画像領域以外の画素値がNULLとなっている情報である。
Specifically, in the re-registration process, the
For example, as illustrated in FIG. 10, the feature amount extracted image has a specific image area included in the image of the captured image data D (n) replaced with a specific image, and pixel values other than the specific image area are NULL. Information.
登録部28は、取得した特徴量抽出画像を、新たな特定画像(再登録画像)とする。登録部28は、新たな特定画像IDを払い出し、払いだした特定画像IDと再登録画像の画像データとを対応付けて、第3記憶部29の特定画像データ記憶領域290へ記憶させる。
登録部28は、特徴量抽出画像に基づいて、特定画像特徴量情報を算出する。登録部28は、算出した特定画像特徴量情報を、払いだした特定画像IDと対応づけて、第2記憶部25の特定画像特徴量テーブル250へ記憶させる。ここで、登録部28は、払いだした特定画像IDと対応づけて、変換行列Aを記憶させてもよい。
The
The
なお、登録部28は、特徴量抽出画像(例えば、図10の画像)を平行移動又は拡大した後の画像(例えば、図12の画像)を、特徴量抽出画像としてもよい。また、登録部28は、位置を平行移動又は拡大させる行列(又は乗数)を、変換行列Aに対して左から乗算し、乗算後の行列A’を変換行列Aとしてもよい。この場合、登録部28は、まず、行列A’に基づいて、類似特定画像の画像データの各座標を変換することで、特徴量抽出画像を取得する。登録部28は、この特徴量抽出画像に基づいて、上記の処理(再登録画像の取得、特定画像特徴量情報の算出)を行う。このように、登録部28は、例えば特定画像と同じ大きさの再登録画像を登録できるので、再登録画像が特定画像よりも縮小してしまう場合と比較して、鮮明な画像を再登録画像として登録できる。これにより、画像検索表示システムでは、再登録を行う場合でも、鮮明な画像に基づいて特徴量を比較でき、また、鮮明な特定画像を撮影画像に重畳できる。
また、登録部28は、撮影画像内の画像(類似画像)を、特徴量抽出画像としてもよい。
Note that the
Further, the
図3に戻って、第3記憶部29は、オリジナルの特定画像や特徴量抽出画像の画像データを記憶する領域である特定画像データ記憶領域290を備える。この特定画像データ記憶領域290には、例えば、特定画像IDと、オリジナルの特定画像データが記憶される。ここで、オリジナルの特定画像データには、再登録画像の画像データが含まれている。つまり、オリジナルの特定画像データは、特定画像データが表わされたポスターや大型ディスプレイが設置されている場所で、例えば、表示装置1の撮影部12により実際に撮影された画像に、相当する画像(形状や歪みが一致する画像)である。
Returning to FIG. 3, the
第4記憶部31は、例えば表示画像検索装置2の管理者により予め登録された特定画像付加情報テーブル310を記憶する。
この特定画像付加情報テーブル310は、図8に示す通り、特定画像IDと、特定画像に関連する付加情報を示す特定画像付加情報と、この特定画像IDに対応する特定画像付加情報を撮影時の条件に応じてさらに特定するための情報である撮影条件情報とを対応付けるテーブルである。この撮影条件情報は、緯度と、経度と、高度と、位置誤差許容距離と、年/月/日と、時刻とを含む。特定画像付加情報は、例えば、コンテンツURLと、動画ファイル名と、スライドショー画像数と、スライドショー画像表示フレームレートとを含む。
The
As shown in FIG. 8, the specific image additional information table 310 includes a specific image ID, specific image additional information indicating additional information related to the specific image, and specific image additional information corresponding to the specific image ID. It is a table which matches imaging condition information which is information for further specifying according to conditions. This photographing condition information includes latitude, longitude, altitude, allowable position error distance, year / month / day, and time. The specific image additional information includes, for example, a content URL, a moving image file name, the number of slide show images, and a slide show image display frame rate.
緯度、経度、高度、位置誤差許容距離は、特定画像IDに対応する特定画像付加情報を撮影時の位置に応じてさらに特化させることを可能にするための情報である。
年/月/日と、時刻は、特定画像IDに対応する特定画像付加情報を撮影時の日時に応じてさらに特化させることを可能にするための情報である。
コンテンツURLは、特定画像と関連するコンテンツをインターネットを介して提供するURL( Uniform Resource Locator )である。
動画ファイル名は、特定画像と関連する動画ファイルを示す情報である。なお、この動画ファイル名で示す動画ファイルは、第4の記憶部31に保存されている。
スライドショー画像数と、スライドショー画像表示フレームレートは、特定画像と関連するスライドショーの画像枚数と、このスライドショーを表示させる際のフレームレートを示す情報である。
The latitude, longitude, altitude, and position error allowable distance are information for allowing the specific image additional information corresponding to the specific image ID to be further specialized according to the position at the time of shooting.
The year / month / day and time are information for allowing the specific image additional information corresponding to the specific image ID to be further specialized according to the date and time at the time of shooting.
The content URL is a URL (Uniform Resource Locator) that provides content related to a specific image via the Internet.
The moving image file name is information indicating a moving image file associated with the specific image. Note that the moving image file indicated by the moving image file name is stored in the
The number of slide show images and the slide show image display frame rate are information indicating the number of slide show images associated with the specific image and the frame rate for displaying the slide show.
特定画像付加情報取得部32は、特定画像データ記憶領域290から、変換情報算出部27から入力された特定画像IDに対応する特定画像データを読み出す。特定画像付加情報取得部32は、特定画像付加情報テーブル310から、変換情報算出部27から入力された特定画像IDに対応する特定画像付加情報を読み出す。また、特定画像付加情報取得部32は、特定画像付加情報テーブル310から、通信部21から入力された撮影位置情報と撮影日時情報に対応する特定画像付加情報を読み出す。
特定画像付加情報取得部32は、変換情報算出部27から入力された変換行列Aを表示位置情報とし、表示位置情報と、読み出した特定画像データと、特定画像付加情報とを、通信部21に出力する。
通信部21は、特定画像付加情報取得部32から入力された特定画像データと特定画像付加情報と表示位置情報を表示装置1に送信する。
The specific image additional
The specific image additional
The
次に、図14を参照して、本実施形態に係る画像検索表示システムにおける処理方法の一例について説明する。
図14は、本実施形態に係る画像検索表示システムにおける処理方法の一例について説明するためのフローチャートである。
図14に示す通り、大きく分けて、準備期間に実施される登録処理および再登録処理と、サービス期間中に実施される検索処理とがある。
Next, an example of a processing method in the image search / display system according to the present embodiment will be described with reference to FIG.
FIG. 14 is a flowchart for explaining an example of a processing method in the image search / display system according to the present embodiment.
As shown in FIG. 14, there are roughly divided a registration process and a re-registration process performed during the preparation period, and a search process performed during the service period.
はじめに、準備期間に実施される登録処理および再登録処理について説明する。
(ステップST101)
準備期間において、表示画像検索装置2は、オリジナルの特定画像についての登録処理を実行する。この表示画像検索装置2の登録部28は、入力された特定画像の画像データを第3記憶部29の特定画像データ記憶領域290に格納する。また、表示画像検索装置2は、オリジナルの特定画像から特徴量を算出し、特定画像特徴量テーブル250に書き込む。さらに、表示画像検索装置2は、入力された特定画像に関連する情報を特定画像付加情報テーブル310に格納する。具体的に説明すると、表示画像検索装置2は、特定画像IDと、特定画像に関連する付加情報を示す特定画像付加情報と、この特定画像IDに対応する特定画像付加情報を撮影時の条件に応じてさらに特定するための情報である撮影条件情報とをそれぞれ対応付けて、特定画像付加情報テーブル310に書き込む。
(ステップST102)
次いで、表示画像検索装置2は、撮影された特定画像についての再登録処理を実行する。この表示画像検索装置2は、入力された特定画像を撮影した撮影画像データD(n)から特徴量を算出する。
First, a registration process and a re-registration process performed during the preparation period will be described.
(Step ST101)
In the preparation period, the display
(Step ST102)
Next, the display
次に、サービス期間中に実施される検索処理について説明する。
(ステップST103)
例えば、表示装置1の撮影部12がリアルタイム再生画像データを取得して、端末制御部11が表示部15にリアルタイム再生画像データに基づく画像を表示している。ここでは、例えば、図2に示したような風景が表示部15に表示される。
この状態において、ユーザが操作部18のシャッターボタンを押下すると、撮影部12が、リアルタイム再生画像データに対応する画像を撮影する。つまり、撮影部12は、特定画像を含む風景を撮影し、撮影画像データD(n)を取得して、端末制御部11に出力する。
(ステップST104)
そして、表示装置1は、撮影画像データD(n)を表示画像検索装置2に送信する。
Next, a search process performed during the service period will be described.
(Step ST103)
For example, the photographing
In this state, when the user presses the shutter button of the
(Step ST104)
Then, the
(ステップST105)
表示画像検索装置2は、表示装置1から撮影画像データD(n)を受信する。
(ステップST106)
そして、表示画像検索装置2は、撮影画像データD(n)に基づき、この画像の特徴を示す撮影画像特徴量を算出する。なお、表示画像検索装置2は、特定画像位置テーブル220を参照して、表示装置1から受信した撮影位置情報P(n)に基づき、特定画像位置テーブル220に示された緯度、経度、高度を中心とし位置誤差許容距離を半径とする特定画像範囲内に、撮影位置情報P(n)が示す位置を含む特定画像データを検索する。例えば、位置情報比較部24は、撮影位置情報P(n)に対応する特定画像データとして、特定画像ID1〜10の特定画像データを検索によって得る。
(Step ST105)
The display
(Step ST106)
Then, the display
(ステップST107)
次いで、表示画像検索装置2は、特定画像特徴量テーブル250を参照して、検索によって得られた特定画像データの特徴量と、画像特徴量算出部23によって算出された撮影画像データD(n)の撮影画像特徴量とを比較して、撮影画像データD(n)の撮影画像特徴量に対応する特定画像を検出する。
なお、本実施形態では、準備期間において、オリジナルの特定画像についての登録処理と、撮影画像についての再登録処理が実行されているため、特定画像特徴量テーブル250には、再登録画像(特徴量抽出画像)の特徴量も登録されている。つまり、表示画像検索装置2は、撮影画像データD(n)から、一致するあるいは類似する特定画像、又は、一致するあるいは類似する特徴量抽出画像に対応する特定画像を検出する。
(ステップST108)
そして、表示画像検索装置2は、特定画像特徴量テーブル250を参照して、撮影画像データD(n)内に含まれる特定画像を検出し、その特定画像とオリジナルの特定画像との位置の対応関係を示す変換行列Aを算出する。つまり、表示画像検索装置2は、検出した特定画像の撮影画像内における位置を算出することにもなる。
(ステップST109)
次いで、表示画像検索装置2は、変換行列Aを示す表示位置情報を表示装置1に送信する。
(ステップST110)
表示装置1は、撮影画像内における表示位置情報を表示画像検索装置2から受信する。
(Step ST107)
Next, the display
In the present embodiment, since the registration process for the original specific image and the re-registration process for the photographed image are executed in the preparation period, the re-registered image (feature quantity) is stored in the specific image feature quantity table 250. The feature amount of the extracted image) is also registered. That is, the display
(Step ST108)
Then, the display
(Step ST109)
Next, the display
(Step ST110)
The
(ステップST111)
また、表示画像検索装置2の特定画像付加情報取得部32は、特定画像付加情報テーブル310を参照して、撮影画像データD(n)に含まれる特定画像に対応する特定画像付加情報を検索によって得る。この特定画像付加情報取得部32は、検索によって得られた特定画像付加情報を、通信部21に出力する。通信部21は、特定画像付加情報を表示装置1に送信する。
(ステップST112)
表示装置1は、表示画像検索装置2から特定画像付加情報を受信する。
(ステップST113)
そして、表示装置1は、特定画像の位置とコンテンツを組み合わせて表示する。例えば、表示装置1は、表示画像検索装置2から受信した表示位置情報が示す変換行列Aに基づいて、特定画像データを変換する。端末制御部11は、撮影画像データ内に、変換後の特定画像データの画像を重畳して表示部15に表示させる。
(Step ST111)
Further, the specific image additional
(Step ST112)
The
(Step ST113)
The
<撮影画像に基づく再登録処理の処理フローの例(1)>
次に、図15を参照して、本実施形態に係る表示画像検索装置2による再登録処理の処理フローの一例について説明する。図15は、本実施形態に係る表示画像検索装置2による再登録処理の処理フローの一例を示すフローチャートである。
(ステップST201)
例えば、表示画像検索装置2は、表示装置1から、撮影部12によって撮影された撮影画像データD(n)を入力される。なお、ここでは、サービス期間中に実際に特定画像が撮影される環境を想定して、この撮影画像データD(n)の撮影を行うことが好ましい。例えば、図2のような画像が撮影されることが想定されるならば、実際に、図2のような画像を撮影する。あるいは特定画像であるポスターを掲げるのがサービス期間の直前であり、準備期間に図2のような実際の画像を用意することが困難である場合には、紙に印刷した上で想定の角度付近から撮影するなどして近似的に図2のような画像を作成してもよい。
<Example of processing flow of re-registration processing based on photographed image (1)>
Next, an example of a processing flow of re-registration processing by the display
(Step ST201)
For example, the display
また、表示画像検索装置2は、他のカメラ(図示せず)で撮影された撮影画像データをインターフェースとして機能する通信部21を介して取り込ませる。ここで、撮影画像データの取り込みは、カメラと表示画像検索装置2の通信部21とをケーブルで接続し、カメラの撮影画像データを第3記憶部29の特定画像データ記憶領域290に転送してもよい。また、カメラの撮影画像データが記憶されているメモリカード等の記憶媒体を表示画像検索装置2に装着して、カメラの撮影画像データを第3記憶部29の特定画像データ記憶領域290に転送してもよい。さらに、カメラとしてネットワーク接続機能を有する端末を用い、カメラの撮影画像データを、ネットワークを介して表示画像検索装置2の通信部21に転送するようにしてもよい。
In addition, the display
(ステップST202)
撮影部12あるいは他のカメラで実際に撮影された撮影画像データが第3記憶部29の特定画像データ記憶領域290に取り込まれたら、例えば、オペレータが、表示画像検索装置2に搭載される所定の操作入力部(図示せず)を操作して、これらの画像の中から、再登録画像として登録するための撮影画像を指定する。指定された撮影画像のデータは、第3記憶部29の特定画像データ記憶領域290から画像特徴量算出部23に出力される。なお、本発明はこれに限られず、オペレータの指示によらず、順次、第3記憶部29の特定画像データ記憶領域290から画像特徴量算出部23に出力されるものであってもよい。
ここでは、撮影部12によって撮影された撮影画像データD(n)が入力された例について説明する。
(Step ST202)
When photographed image data actually photographed by the photographing
Here, an example in which captured image data D (n) captured by the capturing
(ステップST203)
画像特徴量算出部23は、撮影画像データD(n)の特徴量を算出する。
(ステップST204)
次いで、画像特徴量比較部26は、ステップST203で算出された特徴量に基づき、特定画像特徴量テーブル250を参照して、撮影画像データD(n)内に特定画像が含まれているか否かを判定する。つまり、画像特徴量比較部26は、撮影画像データの中から、特定画像特徴量テーブル250に登録されている特定画像を検索する。
(Step ST203)
The image feature
(Step ST204)
Next, the image feature
(ステップST205)
画像特徴量算出部23によって算出された特徴量と一致あるいは類似する特定画像が特定画像特徴量テーブル250に登録されている場合、画像特徴量比較部26は、撮影画像データD(n)の中にこの特定画像が含まれていると判定する。
撮影画像データD(n)の中に特定画像が含まれていると判定された場合、画像特徴量比較部26は、撮影画像データD(n)の中に含まれる特定画像の特定画像IDを取得する。なお、複数の類似する特定画像を取得した場合、画像特徴量比較部26は、類似度を算出する等により、一致するあるいは最も類似する特定画像の特定画像IDを取得する。
例えば、ステップST202において、図2に示すような撮影画像が指定されたとする。この画像中には、ビルの大型ディスプレイの部分に、図5(a)に示すような特定画像が含まれている。図5(a)に示したように、この特定画像の特定画像IDは、(ID=ID:2)である。よって、この場合、ステップST205では、特定画像ID(ID=ID:2)が取得されることになる。
(Step ST205)
When a specific image that matches or is similar to the feature amount calculated by the image feature
When it is determined that the specific image is included in the captured image data D (n), the image feature
For example, assume that a captured image as shown in FIG. 2 is designated in step ST202. In this image, a specific image as shown in FIG. 5A is included in the large display portion of the building. As shown in FIG. 5A, the specific image ID of this specific image is (ID = ID: 2). Therefore, in this case, in step ST205, the specific image ID (ID = ID: 2) is acquired.
(ステップST206)
また、変換情報算出部27は、検索により取得した特定画像の特徴点の座標値(x,y)と、類似画像の特徴点の座標値(X,Y)とに基づき、式(1)の変換行列Aを算出する。
(ステップST207)
そして、登録部28は、変換情報算出部27から入力された変換行列Aに基づき、オリジナルの特定画像を、撮影画像の位置に変換した特徴量抽出画像(図10参照)を生成する。
(Step ST206)
Moreover, the conversion
(Step ST207)
Then, based on the conversion matrix A input from the conversion
(ステップST208)
次いで、登録部28は、特徴量抽出画像に基づき、この特徴量抽出画像の特徴量を算出する。
(ステップST209)
そして、登録部28は、新たな特定画像IDを割り当てて、ステップST208において算出した特徴量抽出画像の特徴量を示す情報とを、それぞれ対応付けて、特定画像特徴量テーブル250に書き込む。
また、登録部28は、特徴量抽出画像の特徴量とともに、変換行列Aを特定画像特徴量テーブル250に書き込んでもよい。このとき、特定画像特徴量テーブル250は、例えば、再登録画像1の画像データと、元の特定画像からの変換行列をAと、を対応付けて記憶する。類似特定画像として再登録画像1が検出され、変換情報算出部27が変換行列Bを算出した場合、登録部28は、元の特定画像の画像データの座標値に対して、行列(B・A)を左から演算する(式(8)参照)ことで、特徴量抽出画像を取得してもよい。つまり、登録部28は、記憶された変換行列をAを用いることで、再登録画像1からではなく、元の特定画像から特徴量抽出画像を取得できる。これにより、画像検索表示システムでは、例えば、再登録画像1が鮮明な画像でない場合でも、元の特定画像から特徴量抽出画像を取得できる。つまり、画像検索表示システムでは、再登録の後、さらに再登録を行う場合でも、鮮明な画像に基づいて特徴量を比較でき、また、鮮明な特定画像を撮影画像に重畳できる。
(Step ST208)
Next, the
(Step ST209)
Then, the
The
(ステップST210)
なお、画像特徴量算出部23によって算出された特徴量と類似する特定画像が特定画像特徴量テーブル250に登録されていない場合、画像特徴量比較部26は、撮影画像データD(n)の中にこの特定画像が含まれていないと判定する。そして、画像特徴量比較部26は、この判定結果を画像特徴量算出部23に出力する。この画像特徴量算出部23は、登録処理を終了するか否かを判定する。例えば、画像特徴量算出部23は、特徴量を算出していない次の撮影画像データD(n+1)が特定画像データ記憶領域290に格納されているか否かを判定する。この撮影画像データD(n+1)が特定画像データ記憶領域290に格納されている場合、画像特徴量算出部23は、登録を終了しないと判定し、ステップST211に移行する。
(ステップST211)
そして、画像特徴量算出部23は、次の撮影画像データD(n+1)を特定画像データ記憶領域290から読み出し、ステップST203に移行して、撮影画像データD(n+1)の特徴量を算出する。
(Step ST210)
When a specific image similar to the feature amount calculated by the image feature
(Step ST211)
Then, the image feature
このように、本実施形態では、実際に撮影した画像を基に生成された特定画像特徴量を特定画像特徴量テーブル250に登録している。これにより、画像を撮影する角度が異なっているような場合でも、認識率が低下することを防止できる。 As described above, in this embodiment, the specific image feature value generated based on the actually captured image is registered in the specific image feature value table 250. Thereby, even when the angle at which an image is taken is different, the recognition rate can be prevented from decreasing.
また、上述の実施形態では、既に登録されているオリジナルの特定画像を位置変換して、特定画像特徴量テーブル250に登録している。これは、既に登録されているオリジナルな特定画像は、理想的な撮影状態であるのに対して、実際に撮影される画像は、ピントが合っていなかったり、手振りが発生したりしているからである。これにより、図11に示すような、撮影画像がボヤケているような場合でも、登録される特定画像は、ピントの合った理想的なものとなる。 In the above-described embodiment, the original specific image that has already been registered is converted in position and registered in the specific image feature amount table 250. This is because an original specific image that has already been registered is in an ideal shooting state, whereas an image that is actually shot is out of focus or a hand shake occurs. It is. As a result, even when the photographed image is blurred as shown in FIG. 11, the registered specific image becomes an ideal image in focus.
以上のように、本実施形態の画像検索表示システムでは、特定画像IDに対応する特定画像特徴量と、画像特徴量算出部23によって算出された撮影画像特徴量とを比較して、撮影画像データD(n)の画像内に含まれる特定画像を検出している。画像検索表示システムでは、実際に撮影した画像を基に生成された特定画像特徴量を特定画像特徴量テーブル250に再登録することで、画像特徴量比較部26での認識率を向上させるようにしている。
As described above, in the image search and display system according to the present embodiment, the specific image feature amount corresponding to the specific image ID is compared with the captured image feature amount calculated by the image feature
つまり、表示装置1によりユーザが撮影する画像は、図2に示すように、斜め上方向に見上げて撮影した歪んだ画像であったり、図13に示すように、全体的に暗い画面になっていたりする場合がある。また、夕日を浴びて赤くなっていたり、周囲の照明が映り込んで、色が変わっている場合がある。さらに、ユーザが撮影画像を印刷してカメラで再度撮影する際に、色を変換する場合が考えられる。このように、画像を撮影する角度が異なっていたり、明るさや色が異なっていたりすると、撮影画像から抽出された撮影画像特徴量と、特定画像特徴量テーブル250に保存されている特定画像特徴量とが異なり、認識率が低下する。
In other words, the image captured by the user by the
そこで、画像検索表示システムでは、実際に撮影されるであろう角度や照明条件を考慮し、想定される角度や照明条件で予め実際に画像を撮影しておき、この実際に撮影した画像を基に特定画像特徴量を求め、特定画像特徴量テーブル250に再登録する。これにより、画像検索表示システムでは、撮影された画像に対応する画像を検索する際に、撮影画像と特定画像とのマッチングの精度を向上させ、認識率の向上を図ることができる In view of this, the image search and display system takes into consideration the angle and lighting conditions that will be actually shot, and actually takes images in advance at the assumed angles and lighting conditions, and based on these actually shot images. The specific image feature amount is obtained and re-registered in the specific image feature amount table 250. Thereby, in the image search and display system, when searching for an image corresponding to the photographed image, the accuracy of matching between the photographed image and the specific image can be improved, and the recognition rate can be improved.
<第2実施形態>
以下、本発明の第2実施形態による画像検索表示システムの一例について説明する。本実施形態に係る画像検索表示システムは、色補正を実行する。
本実施形態に係る画像検索表示システムでは、位置の変換と共に、色も再登録画像と同様になるように変換することで、実際の環境と同じ色で、解像度の高い特徴量抽出画像を生成することができるようにしている。
Second Embodiment
Hereinafter, an example of the image search and display system according to the second embodiment of the present invention will be described. The image search and display system according to the present embodiment performs color correction.
In the image search and display system according to the present embodiment, a feature quantity extraction image having a high resolution and the same color as the actual environment is generated by converting the color to be the same as the re-registered image along with the position conversion. To be able to.
次に、図16を参照して、本実施形態に係る表示画像検索装置2’の一例について説明する。図16は、本実施形態に係る表示画像検索装置2’の一例を示すブロック図である。
図16に示す通り、本実施形態係る表示画像検索装置2’は、通信部21と、第1記憶部22と、画像特徴量算出部23と、位置情報比較部24と、第2記憶部25と、画像特徴量比較部26と、変換情報算出部27’と、登録部28と、第3記憶部29と、第4記憶部31と、特定画像付加情報取得部32と、を備える。
図16に示すように、本実施形態に係る表示画像検索装置2’は、第1実施形態に係る表示画像検索装置2に含まれる変換情報算出部27に代えて、変換情報算出部27’を備える。他の構成については、図3に示した第1実施形態と同様であり、同一の符号を付して、それらの詳細な説明を省略する。
Next, an example of the display
As illustrated in FIG. 16, the display
As shown in FIG. 16, the display
変換情報算出部27’は、第1実施形態に係る変換情報算出部27が持つ機能に加えて、以下の機能を持つ。
この変換情報算出部27’は、特定画像と、その類似画像と、の色の対応関係を示す変換行列Aを算出する。ここで、変換情報算出部27’は、変換行列(Ac・As)を、変換行列Aとして算出する。ここで、行列Asは、位置の対応関係を示す変換行列(第1の実施形態)であり、行列Acは、色の対応関係を示す変換行列である。なお、(Ac・As)は、行列Asで変換された座標各々の色情報に対して、Acを演算することを表す。、
The conversion
This conversion
具体的に説明すると、変換情報算出部27’は、オリジナルの特定画像とその類似画像とから、色補正のためのサンプル点を抽出する。本実施形態において、変換情報算出部27’は、図17(a)に示すように、特定画像上において定義されるサンプル点p1,p2、p3・・・に基づき、撮影画像データD(n)の中から、図17(b)に示すように、サンプル点p1,p2、p3・・・に対応するサンプル点P1,P2、P3・・・を求める。なお、サンプル点P1の(X,Y)座標値は、(x,y)座標値に左から行列Asを演算することで得られる。
More specifically, the conversion
また、変換情報算出部27’は、特定画像におけるサンプル点p1,p2、p3・・・の色情報(r1,g1,b1)、(r2,g2,b2)、(r3,g3,b3)・・・の色変換を実施する。具体的説明すると、変換情報算出部27’は、これら色情報(r1,g1,b1)、(r2,g2,b2)、(r3,g3,b3)・・・を、それぞれ対応するサンプル点P1,P2、P3・・・の色情報(R1,G1,B1)、(R2,G2,B2)、(R3,G3,B3)・・・に変換するような行列Acを算出する。
以下、変換情報算出部27’による行列Acの算出方法の一例について説明する。
例えば、特定画像におけるサンプル点p1,p2の色情報(r1,g1,b1)、(r2,g2,b2)を、以下のように示すものとする。
Further, the conversion
Hereinafter, an example of a method of calculating the matrix A c by the conversion information calculation section 27 '.
For example, the color information (r 1 , g 1 , b 1 ) and (r 2 , g 2 , b 2 ) of the sample points p1 and p2 in the specific image are shown as follows.
また、例えば、撮影画像データD(n)に含まれる特定画像におけるサンプル点P1,P2の色情報(R1,G1,B1)、(R2,G2,B2)を、以下のように示すものとする。 Further, for example, the color information (R 1 , G 1 , B 1 ) and (R 2 , G 2 , B 2 ) of the sample points P1 and P2 in the specific image included in the captured image data D (n) are It shall be shown as follows.
変換情報算出部27’は、それぞれ対応するサンプル点p1の色情報とP1の色情報、p2の色情報とP2の色情報とをそれぞれ近づけるようにする色補正変換係数Fを算出する。
なお、以下の式(4)によって、それぞれ対応するサンプル点p1の色情報とP1の色情報、p2の色情報とP2の色情報とが関連づけられる。
The conversion
Note that the following equation (4) associates the color information of the corresponding sample point p1 with the color information of P1, and the color information of p2 and the color information of P2.
変換情報算出部27’は、以下に示す式(5)を最小化する行列Eを算出することにより、以下に示す式(6)の行列Cと、式(7)の行列Dとに対して、以下に示す式(8)の擬似逆行列を用いて、式(9)の行列Acの最適解を算出する。変換情報算出部27’は、行列(Ac・As)を、変換行列Aとして算出する。
The conversion
図18は、本実施形態に係る表示画像検索装置2’の処理を示すフローチャートである。
図18において、ステップST201からステップST207までの処理は、図15におけるステップST201からステップST207までの処理と同様で有り、その説明を省略する。
FIG. 18 is a flowchart showing processing of the display
In FIG. 18, the process from step ST201 to step ST207 is the same as the process from step ST201 to step ST207 in FIG.
(ステップST407)
変換情報算出部27’は、色補正のためのサンプル点を抽出する。変換情報算出部27’は、行列Asを算出する(第1実施形態の変換行列A)。変換情報算出部27’は、算出した行列Asに基づいて、検出された特定画像において予め決められているサンプル点p1,p2、p3・・・に対応するサンプル点P1,P2、P3・・・を抽出する。
(ステップST408)
そして、変換情報算出部27’は、サンプル点p1,p2、p3・・・の色情報(r1,g1,b1)、(r2,g2,b2)、(r3,g3,b3)・・・を、それぞれ対応するサンプル点P1,P2、P3・・・の色情報(R1,G1,B1)、(R2,G2,B2)、(R3,G3,B3)・・・に変換するような行列Acを算出する。変換情報算出部27’は、行列(Ac・As)を、変換行列Aとして算出する。
(Step ST407)
The conversion
(Step ST408)
Then, the conversion
(ステップST409)
次いで、登録部28は、変換情報算出部27’から入力された変換行列Aに基づき、撮影画像データD(n)に含まれる特定画像をオリジナルの特定画像に置き換えるとともに、置き換えたオリジナルの特定画像の色を撮影画像データD(n)に含まれる特定画像の色に類似する色に補正された特徴量抽出画像を生成する。
(Step ST409)
Next, the
(ステップST410)
次いで、登録部28は、ステップST409で生成された特徴量抽出画像に基づき、この特徴量抽出画像の特徴量を算出する。
(ステップST411)
そして、登録部28は、新たな特定画像IDを割り当てて、ステップST410において算出した特徴量抽出画像の特徴量を示す情報と、それぞれ対応付けて、特定画像特徴量テーブル250に書き込む。
ここで、登録部28は、第1の実施形態と同様に、特徴量抽出画像の特徴量とともに、変換行列Aを特定画像特徴量テーブル250に書き込んでもよい。
(Step ST410)
Next, the
(Step ST411)
Then, the
Here, the
(ステップST412)
なお、画像特徴量算出部23によって算出された特徴量と類似する特定画像が特定画像特徴量テーブル250に登録されていない場合、画像特徴量比較部26は、撮影画像データD(n)の中にこの特定画像が含まれていないと判定する。そして、画像特徴量比較部26は、この判定結果を画像特徴量算出部23に出力する。この画像特徴量算出部23は、登録処理を終了するか否かを判定する。例えば、画像特徴量算出部23は、特徴量を算出していない次の撮影画像データD(n+1)が特定画像データ記憶領域290に格納されているか否かを判定する。この撮影画像データD(n+1)が特定画像データ記憶領域290に格納されている場合、画像特徴量算出部23は、登録を終了しないと判定し、ステップST411に移行する。
(ステップST413)
そして、画像特徴量算出部23は、次の撮影画像データD(n+1)を特定画像データ記憶領域290から読み出し、ステップST203に移行して、撮影画像データD(n+1)の特徴量を算出する。
(Step ST412)
When a specific image similar to the feature amount calculated by the image feature
(Step ST413)
Then, the image feature
なお、実際に撮影された画像を基に、特定画像特徴量テーブル250に特定画像特徴量を再登録する際に、関連情報を登録しておくようにしてもよい。例えば、所定時間毎に、実際に撮影された画像を基に、特定画像特徴量テーブル250に特定画像特徴量を再登録しておき、撮影された時間を関連情報として登録しておく。このようにすると、表示装置1から送られてきた撮影画像特徴量と特定画像特徴量テーブル250の特定画像特徴量とを比較する際に、時間情報を基にして、特定画像の候補を選択することができ、精度の向上を図ることができると共に、処理時間の短縮を図れる。
Note that related information may be registered when the specific image feature value is re-registered in the specific image feature value table 250 based on the actually captured image. For example, the specific image feature amount is re-registered in the specific image feature amount table 250 based on the actually captured image at every predetermined time, and the captured time is registered as related information. In this way, when the captured image feature amount sent from the
また、上述の例では、実際に撮影された画像を基に、特定画像の位置変換と色補正とを行っているが、さらに、円柱状の物体に特定画像が設けられた場合を考慮して、曲率変換をするようにしてもよい。 In the above example, the position conversion and color correction of the specific image are performed based on the actually captured image. However, in consideration of the case where the specific image is provided on the cylindrical object. The curvature may be converted.
上述のように、本実施形態では、特定画像特徴量テーブル250には、各種の環境下で実際に撮影された画像に基づいて、各種の特定画像が登録される。本実施形態では、表示装置1で撮影された画像の特徴量がどの特定画像に類似しているかを判定することで、撮影画像中の特定画像の位置を求めることができる。
As described above, in the present embodiment, various specific images are registered in the specific image feature amount table 250 based on images actually taken under various environments. In the present embodiment, the position of the specific image in the captured image can be obtained by determining which specific image the feature quantity of the image captured by the
例えば、特定画像特徴量テーブル250に、図19に示すように、Aの文字の画像に対する特定画像として、インデックス(特定画像ID)“001”、“002”、“003”のような画像に対応する特定画像特徴量が登録され、Bの文字の画像に対する特定画像として、インデックス“004”、“005”のような画像に対応する特定画像特徴量が登録されているとする。インデックス“002”および“003”のような画像は、インデックス“001”の画像に対して、見る方向を変えて撮影したものである。インデックス“005”の画像は、インデックス“004”の画像に対して、見る方向を変えて撮影したものである。このように、本実施形態においては、特定画像特徴量テーブル250には、方向や、色、明るさ等、様々な環境下で撮影された画像に基づく特定画像特徴量が登録されている。 For example, the specific image feature table 250 corresponds to images such as indexes (specific image IDs) “001”, “002”, and “003” as specific images for the image of the letter A as shown in FIG. It is assumed that a specific image feature amount corresponding to an image such as an index “004” or “005” is registered as a specific image for the B character image. Images such as indexes “002” and “003” are images taken with the viewing direction changed from the image of index “001”. The image with the index “005” is obtained by changing the viewing direction with respect to the image with the index “004”. As described above, in the present embodiment, the specific image feature quantity table 250 registers specific image feature quantities based on images taken under various environments such as direction, color, and brightness.
ここで、表示装置1で図20に示すような画像が撮影され、このような撮影画像が表示画像検索装置2’に送られてきたとする。この場合、表示画像検索装置2’の画像特徴量比較部26で、特定画像特徴量テーブル250の特定画像特徴量と、撮影画像特徴量とを比較する。一致と見なされた特徴点の数が閾値以上(例えば10以上)で画像の内部に特定画像を検出したと認定する場合、Aの文字の画像から2つの画像が検出されることになる。インデックス“001”よりはインデックス“002”の方が一致する特徴点が大きいので、この場合は、インデックス“002”が検出されたと見なすことにする。
Bの文字の画像の場合は、一致した特徴点数が同じものが検出された、この場合はどちらか一方が検出されたと見なす。ここでは、インデックス“004”が検出されたものとする。
Here, it is assumed that an image as shown in FIG. 20 is captured by the
In the case of the image of the letter B, it is considered that one having the same number of matched feature points has been detected. In this case, either one is detected. Here, it is assumed that the index “004” is detected.
本実施形態では、このように、見る角度が異なる多数の特定画像が特定画像特徴量テーブル250に登録されているため、撮影画像特徴量がどの特定画像特徴量と最も類似しているかを判定することで、撮影画像のどの部分に特定画像があるかを判定できる。 In the present embodiment, since a large number of specific images with different viewing angles are registered in the specific image feature amount table 250 as described above, it is determined which specific image feature amount the captured image feature amount is most similar to. Thus, it can be determined which part of the captured image has the specific image.
つまり、撮影画像での特定画像の位置は、ステップST107で示したような変換を行えば求めることができる。さらに、特定画像が再登録された生成された画像の場合には、特定画像を生成したときの変換と組み合わせて、以下のようにして、撮影画像での特定画像の位置を求めることができる。 That is, the position of the specific image in the captured image can be obtained by performing conversion as shown in step ST107. Further, in the case of a generated image in which the specific image is re-registered, the position of the specific image in the captured image can be obtained in the following manner in combination with the conversion when the specific image is generated.
次に、上述の表示画像検索システムを利用して、ユーザにコンテンツ等を提供する際の流れについて説明する。図22は、このコンテンツ等を提供する際に表示装置1に表示される画像の一例を説明する図である。
図22(a)は、被写体を撮影した際の撮影画像データの一例を示す図である。例えば、表示装置1の撮影部12が、図22(a)に示すようなポスターを含む風景を被写体として撮影する。ここで、表示装置1の端末制御部11は、ARモードが設定されており、撮影により生成された撮影画像データと、撮影時に位置情報検出部13により検出された撮影位置情報と、撮影時に計時部14により計時された撮影日時情報を、表示画像検索装置2に送信する。
Next, a flow when providing content etc. to a user using the above-described display image search system will be described. FIG. 22 is a diagram illustrating an example of an image displayed on the
FIG. 22A is a diagram illustrating an example of photographed image data when a subject is photographed. For example, the photographing
次に、上述の表示画像検索システムを利用して、ユーザにコンテンツ等を提供する際の流れについて説明する。図21は、このコンテンツ等を提供する際に表示装置1に表示される画像の一例を説明する図である。
図21(a)は、被写体を撮影した際の撮影画像データの一例を示す図である。例えば、表示装置1の撮影部12が、図21(a)に示すようなポスターを含む風景を被写体として撮影する。表示装置1は、撮影した撮影画像データD(n)を表示画像検索装置2へ送信した結果、特定画像付加情報と表示位置情報と特定画像データを受信する。
表示装置1は、受信した情報に基づいて、図21(b)に示すように、特定画像領域R13に特定画像データの画像(コンテンツ)を重畳して表示する。このコンテンツは、例えば、ポスターに掲載されている企業や映画等のテレビCMの動画等である。
Next, a flow when providing content etc. to a user using the above-described display image search system will be described. FIG. 21 is a diagram illustrating an example of an image displayed on the
FIG. 21A is a diagram illustrating an example of photographed image data when a subject is photographed. For example, the photographing
Based on the received information, the
コンテンツ関連情報を閲覧することを指示する操作(例えば、タップ)がユーザから操作部18に入力すると、端末制御部11は、表示画像検索装置2から受信した特定画像付加情報にコンテンツ関連情報が含まれている場合、このコンテンツ関連情報を表示部15に表示する。例えば、コンテンツURLやスライドスライドショーに関する情報がコンテンツ関連情報である。
これにより、表示装置1の端末制御部11は、通信部16を介して、コンテンツURLにアクセスしてコンテンツ関連情報をダウンロードし、図21(c)に示すように、コンテンツ関連情報を表示部15に表示する。このコンテンツ関連情報は、例えば、ポスターに掲載されている企業や映画等とタイアップしているキャンペーン等に関する情報である。
When an operation (for example, a tap) for instructing to browse the content related information is input from the user to the
Thereby, the
このように、表示装置1は、特定画像を含む風景を撮影することで、この特定画像に対応するコンテンツを、撮影した画像のうち特定画像に対応する部分に表示することができる。これにより、マーカ等をポスターの全面に表示せずとも、ARを利用したコンテンツ提供を実現することができる。
よって、ポスターの内容としては、マーカに限られず、ARを利用したコンテンツの提供を受けないユーザも認識できるようなデザイン性の高い写真や文字等を利用することができる。これにより、特定画像をポスターや大型ディスプレイに表示して、本実施形態に係るARモードを利用したコンテンツを配信サービスの提供を受けないユーザに対しても、認識できる画像を表示することができる。また、ARモードを利用したコンテンツの配信サービスの提供を受けるためにユーザが意識的にマーカを撮影せずとも、このARモードを設定しておき、撮影した画像内に特定画像が含まれていれば、関連するコンテンツの提供をうけることができる。
これにより、撮影画像データに特定画像に類似する画像が含まれていれば、特定画像付加情報が特定画像領域に重畳されて表示される。よって、特定画像付加情報が動画ファイルの場合、撮影した静止画の撮影画像データの一部に、動画が重畳して表示されるため、撮影した静止画が目の前で動き出したような画像を表示部15に表示することができる。
As described above, the
Therefore, the content of the poster is not limited to the marker, and it is possible to use highly-designed photographs and characters that can be recognized by users who do not receive provision of content using AR. Thereby, a specific image can be displayed on a poster or a large display, and a recognizable image can be displayed even for a user who is not provided with a distribution service for content using the AR mode according to the present embodiment. In addition, in order to receive provision of a content distribution service using the AR mode, the AR mode is set without the user consciously shooting the marker, and a specific image is included in the shot image. For example, you can receive related content.
Thus, if the captured image data includes an image similar to the specific image, the specific image additional information is displayed superimposed on the specific image area. Therefore, when the specific image additional information is a moving image file, the moving image is superimposed and displayed on a part of the captured image data of the captured still image. It can be displayed on the
また、表示画像検索装置2は、画像特徴量に基づき、撮影画像データ内における特定画像に類似する画像を特定画像候補として検出するとともに、複数の特定画像候補が検出された場合、オブジェクト類似度を算出して、最も類似する特定画像を決定する。この構成により、画像特徴量による類似度の判定では、その類似とする範囲を広く規定しておき、類似する複数の特定画像を特定画像候補として検出し、これらからオブジェクトに基づきその類似とする範囲を絞ることができる。
このように、本発明は、画像識別処理による「画像の特徴量」の類似度に、「画像が撮影された位置情報」および「特定画像に含まれる文字情報や画像情報等のオブジェクトならびにそれらの画像内における座標情報」を組み合わせて、撮影画像データと特定画像を比較処理する。この比較方法の採用により、従来方式に比べて誤識別や識別不可能となる場合を低減でき、従来よりも正確にモバイルデバイスで撮影された空間に付加情報の表示を可能とする。
Further, the display
As described above, according to the present invention, the similarity of the “image feature amount” obtained by the image identification processing is determined based on the “position information where the image is captured” and the “text information and image information included in the specific image, and the objects thereof. The captured image data and the specific image are compared with each other by combining the “coordinate information in the image”. By adopting this comparison method, it is possible to reduce the case of erroneous identification or inability to be identified as compared with the conventional method, and it is possible to display the additional information in the space photographed by the mobile device more accurately than the conventional method.
例えば、撮影条件が悪く撮影画像データにノイズが含まれる場合、撮影画像に含まれる特定画像の特徴量と、テーブルにおいて規定されている特定画像の特徴量とが大きく異なる場合がある。この場合、撮影画像の被写体として特定画像を含んでいるにも関わらず、撮影画像から特定画像を認識できない場合や、誤って他の特定画像を認識してしまう場合がある。
本願発明によれば、このような誤認識や認識不可能等の発生を防止し、撮影画像データに含まれる特定画像の検索精度を向上させることができる。また、特定画像が、撮影された画像内の仮想空間において、どの領域に存在するのか特定することができ、仮想空間内において特定画像が存在する領域に対応するコンテンツを表示することができる。
For example, when the shooting conditions are bad and noise is included in the captured image data, the feature amount of the specific image included in the captured image may be greatly different from the feature amount of the specific image defined in the table. In this case, although the specific image is included as the subject of the captured image, the specific image may not be recognized from the captured image, or another specific image may be erroneously recognized.
According to the present invention, it is possible to prevent the occurrence of such misrecognition and unrecognition, and improve the search accuracy of the specific image included in the captured image data. In addition, it is possible to specify in which region the specific image exists in the captured virtual space, and it is possible to display content corresponding to the region in which the specific image exists in the virtual space.
また、特定画像付加情報テーブル310において、コンテンツ等を規定する特定画像付加情報に加え、撮影条件情報を特定IDに対応付けておき、特定画像付加情報取得部32が、入力された撮影位置情報や撮影日時情報に対応する特定画像付加情報を検索する。これにより、同一の特定画像が検索によって得られた場合であっても、撮影時の位置や日時に応じて、配信するコンテンツを変更することができる。これにより、配信するコンテンツの属性に応じてコンテンツを配信することができる。
In addition, in the specific image additional information table 310, in addition to the specific image additional information that defines the content and the like, the shooting condition information is associated with the specific ID, and the specific image additional
次に、図22を参照して、コンテンツを提供するサービスの一例について説明する。図22は、本実施形態に係る表示画像検索システムを利用したサービスの一例を説明するための図である。
例えば、図22(a)に示す通り、雑誌や新聞等の媒体に特定画像を掲載しておくことで、この特定画像に関連する広告のコンテンツや、ショッピングサイトのURLを、コンテンツやコンテンツ関連情報として提供することができる。
また、図22(b)に示す通り、ビルの大型ディスプレイや貸広告スペース等に特定画像である映画のポスターを表示することで、この風景を撮影した場合、映画の予告編の動画やこの映画が上映されている映画館の情報を、コンテンツやコンテンツ関連情報として提供することができる。この場合、特定画像付加情報テーブル310において、撮影条件情報として、各映画館の位置に応じた緯度、経度、高度で示される位置情報を設定して、特定画像付加情報と対応付けるデータを予め用意しておく。これにより、特定画像位置テーブル220に規定されている位置情報においては同一の範囲内とされる複数の映画館であって、撮影時にユーザが存在している位置により近い映画館の情報を配信することができる。
Next, an example of a service that provides content will be described with reference to FIG. FIG. 22 is a diagram for explaining an example of a service using the display image search system according to the present embodiment.
For example, as shown in FIG. 22 (a), by placing a specific image in a medium such as a magazine or a newspaper, the content of the advertisement related to the specific image or the URL of the shopping site can be changed to the content or content related information. Can be offered as.
Also, as shown in FIG. 22B, when this landscape is shot by displaying a movie poster as a specific image on a large display of a building, a rental advertisement space or the like, a movie trailer movie or this movie is displayed. Information about the movie theater being screened can be provided as content or content-related information. In this case, in the specific image additional information table 310, position information indicated by latitude, longitude, and altitude corresponding to the position of each movie theater is set as shooting condition information, and data associated with the specific image additional information is prepared in advance. Keep it. As a result, information on a plurality of movie theaters within the same range in the position information defined in the specific image position table 220 and closer to the position where the user exists at the time of shooting is distributed. be able to.
なお、本発明は上述の実施形態に限られず、例えば、以下のような構成であってもよい。
例えば、特定画像の形状は、上述の四角形や台形に限られず、円や三角形等の形状であってもよい。
In addition, this invention is not restricted to the above-mentioned embodiment, For example, the following structures may be sufficient.
For example, the shape of the specific image is not limited to the square or trapezoid described above, and may be a shape such as a circle or a triangle.
また、上述のフローチャートに示す各ステップを実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、また、図1、3に示す表示装置1および表示画像検索装置2(あるいは、図16に示す表示画像検索装置2’)の機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することにより、検出対象物の形状情報の推定値を算出する処理を行ってもよい。
また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ROM、フラッシュメモリ等の書き込み可能な不揮発性メモリ、CD−ROM等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。
Further, a program for realizing each step shown in the flowchart is recorded on a computer-readable recording medium, and the
The “computer-readable recording medium” means a flexible disk, a magneto-optical disk, a ROM, a writable nonvolatile memory such as a flash memory, a portable medium such as a CD-ROM, a hard disk built in a computer system, etc. This is a storage device.
さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムが送信された場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリ(例えばDRAM(Dynamic Random Access Memory))のように、一定時間プログラムを保持しているものも含むものとする。
また、上記プログラムは、このプログラムを記憶装置等に格納したコンピュータシステムから、伝送媒体を介して、あるいは、伝送媒体中の伝送波により他のコンピュータシステムに伝送されてもよい。ここで、プログラムを伝送する「伝送媒体」は、インターネット等のネットワーク(通信網)や電話回線等の通信回線(通信線)のように情報を伝送する機能を有する媒体のことをいう。
また、上記プログラムは、前述した機能の一部を実現するためのものであっても良い。さらに、前述した機能をコンピュータシステムに既に記録されているプログラムとの組合せで実現できるもの、いわゆる差分ファイル(差分プログラム)であっても良い。
Further, the “computer-readable recording medium” means a volatile memory (for example, DRAM (Dynamic DRAM) in a computer system that becomes a server or a client when a program is transmitted through a network such as the Internet or a communication line such as a telephone line. Random Access Memory)), etc., which hold programs for a certain period of time.
The program may be transmitted from a computer system storing the program in a storage device or the like to another computer system via a transmission medium or by a transmission wave in the transmission medium. Here, the “transmission medium” for transmitting the program refers to a medium having a function of transmitting information, such as a network (communication network) such as the Internet or a communication line (communication line) such as a telephone line.
The program may be for realizing a part of the functions described above. Furthermore, what can implement | achieve the function mentioned above in combination with the program already recorded on the computer system, and what is called a difference file (difference program) may be sufficient.
11・・・端末制御部、12・・・撮影部、13・・・位置情報検出部、14・・・計時部、15・・・表示部、16・・・通信部、17・・・記憶部、18・・・操作部、21・・・通信部、22・・・第1記憶部、23・・・画像特徴量算出部、24・・・位置情報比較部、25・・・第2記憶部、26・・・画像特徴量比較部、27・・・変換情報算出部、28・・・登録部、29・・・第3記憶部、31・・・第4記憶部、32・・・特定画像付加情報取得部
DESCRIPTION OF
Claims (7)
前記画像データに基づき、当該撮影画像の特徴を示す撮影画像特徴量を算出する画像特徴量算出部と、
検索対象である特定画像の特徴を示す特定画像特徴量と前記撮影画像特徴量に基づいて、前記撮影画像において前記特定画像と特徴の一致又は類似する類似画像を検出する比較部と、
前記類似画像に関連する再登録情報を取得し、取得した再登録情報を記憶部に登録する登録部と、
を備え、
前記比較部は、記憶部に登録した再登録情報に基づいて、類似画像を検出することを特徴とする検索画像登録装置。 An input unit for inputting image data of a photographed image taken by the photographing unit;
An image feature amount calculation unit that calculates a captured image feature amount indicating the feature of the captured image based on the image data;
A comparison unit that detects a similar image similar to or similar to the specific image in the captured image based on the specific image feature amount indicating the characteristic of the specific image to be searched and the captured image feature amount;
A registration unit that acquires re-registration information related to the similar image, and registers the acquired re-registration information in a storage unit;
With
The comparison image registration device, wherein the comparison unit detects a similar image based on re-registration information registered in a storage unit.
前記特定画像特徴量と前記撮影画像特徴量に基づいて前記類似画像と前記特定画像の変換規則を取得し、
前記特定画像を前記変換規則に基づいて変換した画像を新たな特定画像とし、前記新たな特定画像に関する情報を再登録情報として登録することを特徴とする請求項1に記載の検索画像登録装置。 The registration unit
Based on the specific image feature amount and the captured image feature amount, obtain a conversion rule for the similar image and the specific image,
The search image registration apparatus according to claim 1, wherein an image obtained by converting the specific image based on the conversion rule is used as a new specific image, and information relating to the new specific image is registered as re-registration information.
前記特定画像特徴量と前記撮影画像特徴量に基づいて、前記類似画像と前記特定画像の色情報の変換規則を取得し、
前記変換規則に基づいて、再登録情報を登録することを特徴とする請求項1又は2に記載の検索画像登録装置。 The registration unit
Based on the specific image feature amount and the captured image feature amount, obtain a conversion rule for color information of the similar image and the specific image,
The search image registration apparatus according to claim 1, wherein re-registration information is registered based on the conversion rule.
前記特定画像特徴量と前記撮影画像特徴量に基づいて前記類似画像と前記特定画像の変換規則を取得し、
前記特定画像を前記変換規則に基づいて変換した画像を新たな特定画像とし、前記新たな特定画像の特徴量を示す特定画像特徴量を再登録情報として登録することを特徴とする請求項1から3のうちいずれか一項に記載の検索画像登録装置。 The registration unit
Based on the specific image feature amount and the captured image feature amount, obtain a conversion rule for the similar image and the specific image,
The image obtained by converting the specific image based on the conversion rule is used as a new specific image, and the specific image feature amount indicating the feature amount of the new specific image is registered as re-registration information. The search image registration device according to any one of 3.
前記検索画像登録装置とネットワークを介して接続され、前記撮影部を備える表示装置と、を備えることを特徴とする検索画像表示システム。 The search image registration device according to any one of claims 1 to 4,
A search image display system comprising: a display device connected to the search image registration device via a network and provided with the photographing unit.
撮影部が撮影した撮影画像の画像データを入力する入力過程と、
前記画像データに基づき、当該撮影画像の特徴を示す撮影画像特徴量を算出する画像特徴量算出過程と、
検索対象である特定画像の特徴を示す特定画像特徴量と前記撮影画像特徴量に基づいて、前記撮影画像において前記特定画像と特徴の一致又は類似する類似画像を検出する第1の比較過程と、
前記類似画像に関連する再登録情報を取得し、取得した再登録情報を記憶部に登録する登録過程と、
記憶部に登録した再登録情報に基づいて、類似画像を検出する第2の比較過程と、
を有することを特徴とする検索画像登録方法。 A search image registration method in a search image registration apparatus,
An input process for inputting image data of a photographed image taken by the photographing unit;
Based on the image data, an image feature amount calculating process for calculating a captured image feature amount indicating the feature of the captured image;
A first comparison process for detecting a similar image similar to or similar to the specific image in the captured image based on the specific image feature amount indicating the characteristic of the specific image to be searched and the captured image feature amount;
A registration process for acquiring re-registration information related to the similar image and registering the acquired re-registration information in a storage unit;
A second comparison process for detecting a similar image based on the re-registration information registered in the storage unit;
A search image registration method characterized by comprising:
撮影部が撮影した撮影画像の画像データを入力する入力手段、
前記画像データに基づき、当該撮影画像の特徴を示す撮影画像特徴量を算出する画像特徴量算出手段、
検索対象である特定画像の特徴を示す特定画像特徴量と前記撮影画像特徴量に基づいて、前記撮影画像において前記特定画像と特徴の一致又は類似する類似画像を検出する第1の比較手段、
前記類似画像に関連する再登録情報を取得し、取得した再登録情報を記憶部に登録する登録手段、
記憶部に登録した再登録情報に基づいて、類似画像を検出する第2の比較手段、
を実行させるためのプログラム。 On the computer,
Input means for inputting image data of a photographed image photographed by the photographing unit;
An image feature amount calculating means for calculating a photographed image feature amount indicating a feature of the photographed image based on the image data;
First comparison means for detecting a similar image similar to or similar to the specific image in the captured image based on the specific image feature amount indicating the characteristic of the specific image to be searched and the captured image feature amount;
Registration means for acquiring re-registration information related to the similar image and registering the acquired re-registration information in a storage unit;
Second comparison means for detecting a similar image based on re-registration information registered in the storage unit;
A program for running
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2012082428A JP2013210974A (en) | 2012-03-30 | 2012-03-30 | Retrieval image registration device, retrieval image display system, retrieval image registration method and program |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2012082428A JP2013210974A (en) | 2012-03-30 | 2012-03-30 | Retrieval image registration device, retrieval image display system, retrieval image registration method and program |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2013210974A true JP2013210974A (en) | 2013-10-10 |
Family
ID=49528705
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2012082428A Pending JP2013210974A (en) | 2012-03-30 | 2012-03-30 | Retrieval image registration device, retrieval image display system, retrieval image registration method and program |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2013210974A (en) |
Cited By (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2016066146A (en) * | 2014-09-24 | 2016-04-28 | 株式会社T.J.Promotion | Display system, display method, computer program, and computer-readable storage medium |
JP2016134134A (en) * | 2015-01-22 | 2016-07-25 | 株式会社デンソーアイティーラボラトリ | Image searching device, image searching method, and image searching program |
WO2017081870A1 (en) * | 2015-11-12 | 2017-05-18 | パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ | Display method, program and display device |
US9871587B2 (en) | 2013-11-22 | 2018-01-16 | Panasonic Intellectual Property Corporation Of America | Information processing method for generating encoded signal for visible light communication |
JP2018518742A (en) * | 2015-08-03 | 2018-07-12 | グーグル エルエルシー | Fixing a facility with images located using geolocation |
US10142020B2 (en) | 2014-11-14 | 2018-11-27 | Panasonic Intellectual Property Corporation Of America | Reproduction method for reproducing contents |
WO2022113653A1 (en) * | 2020-11-24 | 2022-06-02 | 株式会社ダイカン | Designed article recognition information providing system, designed article recognition information providing method, and designed article recognition information providing program |
US11490025B2 (en) | 2012-12-27 | 2022-11-01 | Panasonic Intellectual Property Corporation Of America | Information communication method |
-
2012
- 2012-03-30 JP JP2012082428A patent/JP2013210974A/en active Pending
Cited By (15)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US11659284B2 (en) | 2012-12-27 | 2023-05-23 | Panasonic Intellectual Property Corporation Of America | Information communication method |
US11490025B2 (en) | 2012-12-27 | 2022-11-01 | Panasonic Intellectual Property Corporation Of America | Information communication method |
US9871587B2 (en) | 2013-11-22 | 2018-01-16 | Panasonic Intellectual Property Corporation Of America | Information processing method for generating encoded signal for visible light communication |
JP2016066146A (en) * | 2014-09-24 | 2016-04-28 | 株式会社T.J.Promotion | Display system, display method, computer program, and computer-readable storage medium |
US10142020B2 (en) | 2014-11-14 | 2018-11-27 | Panasonic Intellectual Property Corporation Of America | Reproduction method for reproducing contents |
US10389446B2 (en) | 2014-11-14 | 2019-08-20 | Panasonic Intellectual Property Corporation Of America | Reproduction method for reproducing contents |
JP2016134134A (en) * | 2015-01-22 | 2016-07-25 | 株式会社デンソーアイティーラボラトリ | Image searching device, image searching method, and image searching program |
JP2018518742A (en) * | 2015-08-03 | 2018-07-12 | グーグル エルエルシー | Fixing a facility with images located using geolocation |
US10467284B2 (en) | 2015-08-03 | 2019-11-05 | Google Llc | Establishment anchoring with geolocated imagery |
US11232149B2 (en) | 2015-08-03 | 2022-01-25 | Google Llc | Establishment anchoring with geolocated imagery |
JPWO2017081870A1 (en) * | 2015-11-12 | 2018-08-30 | パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカPanasonic Intellectual Property Corporation of America | Display method, program and display device |
US10263701B2 (en) | 2015-11-12 | 2019-04-16 | Panasonic Intellectual Property Corporation Of America | Display method, non-transitory recording medium, and display device |
US10951309B2 (en) | 2015-11-12 | 2021-03-16 | Panasonic Intellectual Property Corporation Of America | Display method, non-transitory recording medium, and display device |
WO2017081870A1 (en) * | 2015-11-12 | 2017-05-18 | パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ | Display method, program and display device |
WO2022113653A1 (en) * | 2020-11-24 | 2022-06-02 | 株式会社ダイカン | Designed article recognition information providing system, designed article recognition information providing method, and designed article recognition information providing program |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP2013210974A (en) | Retrieval image registration device, retrieval image display system, retrieval image registration method and program | |
US9754183B2 (en) | System and method for providing additional information using image matching | |
AU2014354947B2 (en) | Preferred image retrieval | |
US9471986B2 (en) | Image-based georeferencing | |
CN106462728B (en) | System and method for the identification based on characteristics of image | |
US20180188033A1 (en) | Navigation method and device | |
KR100982192B1 (en) | A Method for Geo-tagging of Pictures and Apparatus thereof | |
JP5544250B2 (en) | Display image search method | |
US8953900B2 (en) | Increased quality of image objects based on depth in scene | |
KR20090019184A (en) | Image reproducing apparatus which uses the image files comprised in the electronic map, image reproducing method for the same, and recording medium which records the program for carrying the same method | |
US8194156B2 (en) | EXIF object coordinates | |
US20090005078A1 (en) | Method and apparatus for connecting a cellular telephone user to the internet | |
JPWO2007116500A1 (en) | Information presentation system, information presentation terminal and server | |
US8933929B1 (en) | Transfer of annotations from panaromic imagery to matched photos | |
CN107430498A (en) | Extend the visual field of photo | |
JP6171660B2 (en) | Information processing apparatus, information processing system, and program | |
Schaffland et al. | An interactive web application for the creation, organization, and visualization of repeat photographs | |
CN104871179A (en) | Method and system for image capture and facilitated annotation | |
JP6591594B2 (en) | Information providing system, server device, and information providing method | |
Kim et al. | Dewarping book page spreads captured with a mobile phone camera | |
JP2013214158A (en) | Display image retrieval device, display control system, display control method, and program | |
US9311562B2 (en) | Image retrieval system, information processing apparatus, image retrieval method, and non-transitory computer readable medium | |
KR101136944B1 (en) | Contents providing system and method by using mobile terminal | |
JPWO2006008992A1 (en) | Web site connection method using portable information communication terminal with camera | |
KR101640020B1 (en) | Augmentated image providing system and method thereof |