JP2011223250A - Photographing assisting apparatus, photographing assisting method, and program used therewith - Google Patents
Photographing assisting apparatus, photographing assisting method, and program used therewith Download PDFInfo
- Publication number
- JP2011223250A JP2011223250A JP2010089474A JP2010089474A JP2011223250A JP 2011223250 A JP2011223250 A JP 2011223250A JP 2010089474 A JP2010089474 A JP 2010089474A JP 2010089474 A JP2010089474 A JP 2010089474A JP 2011223250 A JP2011223250 A JP 2011223250A
- Authority
- JP
- Japan
- Prior art keywords
- information
- image
- photographing
- candidates
- presentation
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Indication In Cameras, And Counting Of Exposures (AREA)
- Studio Devices (AREA)
Abstract
Description
本発明は、画像撮影を支援する撮影支援装置、撮影支援方法および撮影支援用プログラムに関する。特に、撮影支援のための情報を提示するインターフェイスを備える撮影支援装置、撮影支援方法並びにそのプログラムに関する。 The present invention relates to a shooting support apparatus, a shooting support method, and a shooting support program that support image shooting. In particular, the present invention relates to an imaging support apparatus, an imaging support method, and a program thereof that include an interface for presenting information for imaging support.
ユーザに対して行われる撮影支援は、ユーザにとっていい構図が得られやすくなるという意味で重要である。そのような構図を得るために、画像処理の手法を利用する従来の撮影支援システムの一例が、特許文献１に開示されている。
この撮影支援システムには、差分抽出部１３４と撮像パラメータ作成部１３６が構成要素として含まれている（特許文献１、図９参照）。差分抽出部１３４はユーザが仮撮像した画像とデータベース内の画像の差分を抽出する。撮像パラメータ作成部１３６は抽出された差分に基づいて撮像パラメータを作成するように構成されている。
ここで、差分抽出部１３４は、ヒストグラム情報、輪郭情報、色情報サンプルといったパラメータ（段落番号００６８〜００６９）を比較し、例えば、画角、配置などの差を抽出してもよい（段落００８５）と記載されている。また、撮像パラメータ作成部１３６は、差分に基づいて仮撮像データの構図を変更するために、撮像装置３００の画角、撮像方向を変更する情報を含む制御情報を作成しても良い（００８８）と記載されている。
The shooting support performed for the user is important in the sense that it is easy to obtain a good composition for the user. In order to obtain such a composition, an example of a conventional imaging support system that uses an image processing technique is disclosed in
This imaging support system includes a difference extraction unit 134 and an imaging parameter creation unit 136 as constituent elements (see
Here, the difference extraction unit 134 may compare parameters (paragraph numbers 0068 to 0069) such as histogram information, contour information, and color information sample, and extract differences such as angle of view and arrangement (paragraph 0085). It is described. Further, the imaging parameter creation unit 136 may create control information including information for changing the angle of view and the imaging direction of the imaging apparatus 300 in order to change the composition of the provisional imaging data based on the difference (0088). It is described.
ここで、ユーザに適切な構図から写真を撮影させることを支援するための一連の処理により、その副次的な効果として、データベース内に格納されている画像（以下、登録画像と呼ぶ）との画像照合が精度良く行えるようになることが挙げられる。そのため、登録画像に所望の情報（以下、案内文と呼ぶ）を関連付けておけば、ユーザが撮影した写真が対応する登録画像を画像照合によって求め、求められた登録画像に関連付けられた情報をユーザに提供することができる。例えばユーザに提供する情報としては案内文があり、当該案内文は、登録画像内に写っている何らかの興味対象に関する名称、属性、付随情報などであってもよいし、さらにそれらをさまざまな言語で表現しておいてもよい。このような仕組みは、例えば、電子図鑑、案内情報提供装置などに利用できる。また、対象物が文字列を含んでいる場合、さまざまな言語で表現された情報を提示できることを利用すれば、このような仕組みは文字列の情報を翻訳してユーザに提示することができる翻訳装置としても利用可能である。 Here, as a secondary effect of a series of processes for supporting the user to take a photograph from an appropriate composition, an image stored in the database (hereinafter referred to as a registered image) is used. It is mentioned that image collation can be performed with high accuracy. Therefore, if desired information (hereinafter referred to as “guidance”) is associated with the registered image, the registered image corresponding to the photograph taken by the user is obtained by image matching, and the information associated with the obtained registered image is obtained by the user. Can be provided. For example, there is a guide sentence as information to be provided to the user, and the guide sentence may be a name, an attribute, an accompanying information, etc. relating to some interesting object shown in the registered image. You may express it. Such a mechanism can be used for an electronic pictorial book, a guidance information providing device, and the like. In addition, when the object contains a character string, such a mechanism can translate the information on the character string and present it to the user by using the fact that information expressed in various languages can be presented. It can also be used as a device.
また、撮影支援に関わる装置またはシステムの従来例として、特許文献２、特許文献３、特許文献４、特許文献５が開示されている。
特許文献２に開示される画像検索装置は、異なる向きの複数のカメラで撮影された画像の中から、検索に適したとしてユーザに選択された画像を利用して検索に用いる画像検索装置である。
特許文献３に開示されるカメラ装置は、被写体識別に関して、複数の対象物が候補として取得された場合に、候補を絞り込むための部位を特定してユーザに提示し、撮影された部位特定画像を利用して候補の絞込みを行うカメラ装置である。再撮影指示の一例として、特許文献３中の段落００８５には、『制御部２５（特定部位指示部５５）は、候補の絞り込みに必要な検索キー（部位の特徴）が「葉の形状」であることを表示部２９において表示し、ユーザに対して部位「葉」が認証できる画像を撮影できるように促す』と記載されている。
Further,
The image search device disclosed in
With respect to subject identification, the camera device disclosed in
また、特許文献４に開示される画像情報提供システムは、検索候補が複数存在するときに、ユーザにその相違点が判別できるような画像の撮影を行わせるための再撮影指示を行う画像情報提供システムである。再撮影指示の一例として、特許文献４中の段落００６１には、『例えば、「ハナショウブ」と「カキツバタ」の相違点は、花中心部の色コードであるので、再撮影指示は花中心部の撮影を行う旨の指示となり、表示部１５には、「花中心部を拡大撮影してください」と表示される』と記載されている。
特許文献２、特許文献３、特許文献４に共通しているのは、所望の目的に適した画像の選択または再撮影において、ユーザ自身に構図を判断させることにより可能ならしめるものである。
また、特許文献５には、位置、時刻、日付といった撮影条件を取得し、構図に関する適正なお手本画像を表示する撮影情報提示システムが開示されている。
In addition, the image information providing system disclosed in
What is common to
Patent Document 5 discloses a photographing information presentation system that acquires photographing conditions such as position, time, date, and displays a proper model image related to composition.
ここで、上述の技術では以下の問題がある。
第１の問題点は、従来の撮影支援システムの提示する情報が、必ずしもユーザの再撮影を支援するための情報として適切ではないということである。ここで、再撮影とは、ある適当な時間をおいて再度撮影することを意図している。例えば、ある時間を経過したときに自動的に撮影を行う制御が行われる場合も含むし（この場合、自動的に撮影されたすべての画像を利用する必要はない。）、ユーザがシャッターを押すなどの行為により手動で撮影を行う制御が行われる場合も含む。そして、ユーザの再撮影を支援する情報として、撮影支援装置、もしくは撮影支援装置が組み込まれている撮影装置の推奨移動方向、推奨回転方向などに関する情報を提示できれば望ましいが、前述した各特許文献に記された技術ではそのような情報を提示できるかどうか不明である。
例えば、特許文献１では、ヒストグラム情報、輪郭情報、色情報サンプルといったパラメータを用いているが、それを利用して、撮像装置３００の画角、撮像方向を変更する情報を含む制御情報を精度よく生成できるかどうかは必ずしも明らかではなく、具体的な作成方法に関する説明は開示されていない。
また、特許文献５では、構図に関する適正なお手本画像は表示されるものの、その構図を得るために必要なカメラの移動方向、回転方向に関する指示は提示されていない。
また、特許文献２、３、４にも、カメラの撮影位置や撮影方向に関する情報の提示をする旨の記述はない。
Here, the above-described technique has the following problems.
The first problem is that the information presented by the conventional photographing support system is not necessarily appropriate as information for supporting the user's re-photographing. Here, re-photographing is intended to re-photograph after a certain appropriate time. For example, it includes a case where control is automatically performed when a certain time elapses (in this case, it is not necessary to use all images automatically captured), and the user presses the shutter. It also includes the case where control is performed to manually take a picture by such an action. It is desirable if information relating to the recommended movement direction, recommended rotation direction, and the like of the imaging support apparatus or the imaging apparatus incorporating the imaging support apparatus can be presented as information for supporting the user's re-imaging. It is unclear whether the described technology can present such information.
For example, in
In Patent Document 5, an appropriate model image relating to composition is displayed, but an instruction regarding the moving direction and rotation direction of the camera necessary to obtain the composition is not presented.
Also,
ここで、ユーザに撮影位置や撮影方向を自ら判断させるような情報を提示する撮影支援装置の場合には、例えば、適切な構図を得るために、あとどのくらいの情報を撮影支援装置に入力する必要があるか等に関する必要最小限の情報をユーザに与えることが重要である。冗長な情報や、ユーザの判断に多くの時間がかかるような情報を提示することはあまり望ましくない。あとどの程度の情報を撮影支援装置に入力する必要があるかどうかを提示する単純な情報として、被検索対象候補である登録画像の数が考えられる。被検索対象候補である登録画像の数は、１になれば被検索対象が抽出できたことを意味する。従って、被検索対象候補である登録画像の数は、ユーザが撮影位置、撮影方向の試行錯誤を支援するための情報となり得る。（つまり、ユーザはこの値が１になることを目指して試行錯誤すればよい。）従って、ユーザの試行錯誤により適切な位置、方位から撮影できると考えられ、参照データとして複雑な３Ｄモデルを持つ必要なく、２次元の登録画像を用意するだけで撮影支援が可能になる。 Here, in the case of a shooting support apparatus that presents information that allows the user to determine the shooting position and shooting direction, for example, how much information needs to be input to the shooting support apparatus in order to obtain an appropriate composition. It is important to give the user the minimum necessary information regarding whether or not there is any. It is not desirable to present redundant information or information that takes a long time for the user's judgment. The number of registered images that are candidates for search can be considered as simple information that indicates how much information needs to be input to the imaging support apparatus. If the number of registered images as search target candidates is 1, it means that the search target has been extracted. Therefore, the number of registered images that are search target candidates can be information for the user to support trial and error in the shooting position and shooting direction. (That is, the user only needs to make a trial and error aiming at this value being 1.) Therefore, it is considered that the user can shoot from an appropriate position and orientation by the trial and error of the user, and has a complicated 3D model as reference data. There is no need to provide shooting support simply by preparing a two-dimensional registered image.
そこでこの発明は、撮影した画像に関連する情報を出力する撮影支援装置において、より少ない情報の提示により、撮影画像が何であるか特定するためにどのような撮影を行えばよいかの支援を行うことができる撮影支援装置、撮影支援方法並びにそのプログラムを提供することを目的としている。 Therefore, the present invention supports what kind of shooting should be performed in order to identify what the shot image is by presenting less information in the shooting support apparatus that outputs information related to the shot image. An object of the present invention is to provide a photographing support device, a photographing support method, and a program thereof.
上記目的を達成するために、本発明は、撮影に応じて１つ又は複数の撮影対象の撮影画像を受け付け、当該撮影画像によって作成された検索画像と、複数の登録画像との類似度を画像照合によりそれぞれ求め、当該類似度に基づいて前記検索画像に類似する候補となる登録画像の候補数を計算する候補数計算手段と、前記候補数が１つであるかを判定し、１つである場合に当該登録画像の案内情報を提示する案内情報提示モードであると判定する提示情報判定手段と、前記案内情報提示モードであると判定された場合に、前記登録画像の案内情報を作成して出力する提示情報作成手段と、を備え、前記提示情報作成手段は、前記候補数が２つ以上または０である場合には他の角度からの前記撮影対象の再撮影情報を出力することを特徴とする撮影支援装置である。 In order to achieve the above object, the present invention accepts one or a plurality of photographic images to be photographed according to photographing, and displays the similarity between a search image created by the photographic image and a plurality of registered images. A candidate number calculating means for calculating the number of registered image candidates that are similar to the search image based on the similarity and determining whether the number of candidates is one. If it is determined that the guidance information presentation mode is present, the presentation information determination means for determining the guidance information presentation mode for presenting the guidance information of the registered image is generated. Presenting information creation means for outputting the information, and when the number of candidates is two or more or 0, the presentation information creation means outputs the re-shooting information of the shooting target from another angle. Characterize It is a shadow support device.
また本発明は、撮影支援装置における撮影支援方法であって、前記撮影支援装置の候補数計算手段は、撮影に応じて１つ又は複数の撮影対象の撮影画像を受け付け、当該撮影画像によって作成された検索画像と、複数の登録画像との類似度を画像照合によりそれぞれ求め、当該類似度に基づいて前記検索画像に類似する候補となる登録画像の候補数を計算し、前記撮影支援装置の提示情報判定手段は、前記候補数が１つであるかを判定し、１つである場合に当該登録画像の案内情報を提示する案内情報提示モードであると判定し、前記撮影支援装置の提示情報作成手段は、前記案内情報提示モードであると判定された場合に、前記登録画像の案内情報を作成して出力し、前記撮影支援装置の前記提示情報作成手段は、前記候補数が２つ以上または０である場合には他の角度からの前記撮影対象の再撮影情報を出力することを特徴とする撮影支援方法である。 The present invention is also a shooting support method in a shooting support apparatus, wherein the number calculation means of the shooting support apparatus accepts one or a plurality of shooting images to be shot according to shooting, and is created from the shooting images. The similarity between the retrieved image and the plurality of registered images is obtained by image matching, the number of registered image candidates that are candidates similar to the retrieved image is calculated based on the similarity, and the imaging support apparatus presents The information determination unit determines whether the number of candidates is one, determines that the number is one, and determines that it is a guidance information presentation mode for presenting guidance information of the registered image, and presents information of the photographing support apparatus The creation means creates and outputs the guide information of the registered image when it is determined that the guide information presentation mode is selected, and the presentation information creation means of the photographing support apparatus has two or more candidates. Ma Is a photographic support method and outputting the re-imaging information of the shooting target from other angles if it is 0.
また本発明は、撮影支援装置のコンピュータを、撮影に応じて１つ又は複数の撮影対象の撮影画像を受け付け、当該撮影画像によって作成された検索画像と、複数の登録画像との類似度を画像照合によりそれぞれ求め、当該類似度に基づいて前記検索画像に類似する候補となる登録画像の候補数を計算する候補数計算手段、前記候補数が１つであるかを判定し、１つである場合に当該登録画像の案内情報を提示する案内情報提示モードであると判定する提示情報判定手段、前記案内情報提示モードであると判定された場合に、前記登録画像の案内情報を作成して出力し、前記候補数が２つ以上または０である場合には他の角度からの前記撮影対象の再撮影情報を出力する提示情報作成手段、として機能させることを特徴するプログラムである。 According to another aspect of the present invention, the computer of the photographing support apparatus accepts one or a plurality of photographed images according to photographing, and the similarity between the search image created by the photographed image and the plurality of registered images is imaged. Candidate number calculating means for calculating the number of registered image candidates that are similar to the search image based on the similarity, and determining whether the number of candidates is one. Presenting information determining means for determining that it is a guidance information presentation mode for presenting the guidance information of the registered image, and generating and outputting the guidance information of the registered image when it is determined that it is the guidance information presentation mode. When the number of candidates is two or more or 0, the program is made to function as presentation information creating means for outputting re-shooting information of the shooting target from another angle.
本発明の撮影支援装置によれば、撮影支援の情報として検出待ち情報、類似度情報を出力するように構成されている。従って、ユーザに提示される情報が少なく済むようになる。
また本発明によれば、推奨カメラ移動方向および、推奨カメラ回転方向が計算され、出力されるように構成されている。これにより、ユーザが適切な位置、方向から再撮影を支援することが可能になる。
According to the photographing support apparatus of the present invention, detection waiting information and similarity information are output as photographing support information. Therefore, less information is presented to the user.
According to the present invention, the recommended camera movement direction and the recommended camera rotation direction are calculated and output. Thereby, it becomes possible for the user to support re-shooting from an appropriate position and direction.
以下、本発明の一実施形態による撮影支援装置を図面を参照して説明する。
図１は、本発明の第１の実施形態に係る撮影支援装置１の構成を示すブロック図である。
図１で示すように、撮影支援装置１は、例えばＣＰＵなどに代表される演算装置（以下、単にＣＰＵと呼ぶ）と、記憶媒体３と、入出力インターフェイス４とから構成されている。ＣＰＵ２は、各種ソフトウエア・プログラム（コンピュータ・プログラム）を実行することにより、撮影支援装置１の全体的な動作を司る。また記憶媒体３は各種ソフトウェア・プログラムとその実行に必要なデータを格納するためのものである。入出力インターフェイス４は、撮影支援装置１の外部とのデータ通信を行う。通信されるデータの例としては、例えば、撮影支援装置１外部の撮像装置からの入力画像データ（以下、検索画像と呼ぶ）、出力表示データがあるが、これらに限られない。入出力インターフェイス４は、少なくともＣＰＵ２との通信ができればよく、例えば、外部からの信号を伝達できる通信線を接続するコネクタや、無線信号を受信する機器などである。または、撮影支援装置１内部の信号伝達経路の一部を入出力インターフェイス４として用いるようにしてもよい。
A photographing support apparatus according to an embodiment of the present invention will be described below with reference to the drawings.
FIG. 1 is a block diagram showing a configuration of a photographing
As shown in FIG. 1, the photographing
また、上記検索画像は、静止画像であっても、静止画の集合であっても、動画像であっても良い。通常、静止画像の集合が動画像であることが好適であるが、時間的に連続でない静止画像の集合でもよい。動画像は、各フレームを静止画像と考えると、時間的に連続な複数枚の静止画像の列（集合）と考えることができる。そこで、説明を簡単にするために、以下の説明では、動画像は静止画像の集合であるとみなして説明を行うこととし、当該検索画像は、ｆ枚（ｆ≧１）の静止画像の集合であるとする。なお、ｆの値は固定である必要はなく、撮影支援装置１に入力される画像の数などに応じて変動させても良い。
The search image may be a still image, a set of still images, or a moving image. Usually, the set of still images is preferably a moving image, but may be a set of still images that are not temporally continuous. When considering each frame as a still image, a moving image can be considered as a sequence (set) of a plurality of still images that are temporally continuous. Therefore, in order to simplify the description, in the following description, it is assumed that the moving image is a set of still images, and the search image is a set of f still images (f ≧ 1). Suppose that Note that the value of f does not need to be fixed, and may be varied according to the number of images input to the photographing
図２は、本発明の第１の実施形態に係る撮影支援装置の機能構成を示すブロック図である。
本実施形態において、ＣＰＵ２は、記憶媒体３に記憶される情報、入出力インターフェイス４から送受信される情報を適宜参照しながら、図２に示される各種モジュール等のソフトウェア・プログラムを実行する。図２に示される各種モジュール等は概略次のように動作する。
制御モジュール１１は、主に撮影支援装置１の動作を制御するモジュールである。入力された画像を基に、検索画像の作成も行う。
登録画像・案内文データベース（以下、単にＤＢと呼ぶ。）１２は、登録画像および登録画像に付随する案内文が格納されているデータベースである。
候補数計算モジュール１３は、検索画像と登録画像との類似度を計算すると共に、計算された類似度を基に検索画像に類似する登録画像の数を計算する。以下、検索画像に類似する登録画像を「候補」と呼び、検索画像に類似する登録画像の数を「候補数」と呼ぶ。
提示情報判定モジュール１４は、候補数計算モジュール１３により計算された候補数を基に、提示すべき情報の種別（以下、情報提示モードと呼ぶ）を判定する。本実施形態においては、（モード１）検索画像に対する類似登録画像の検出待ちを行っている旨の情報を提示するモード、（モード２）候補数を提示するモード、（モード３）案内情報を提示するモード、の３つの情報提示モードの中から、類似度もしくは検索画像が連続的に入力されている時間などを利用して、情報提示モードを判定するものとする。具体的な判定方法の説明は、後述の動作の説明で行うこととする。
提示情報作成モジュール１５は、提示情報判定モジュール１４が判定する情報提示モードを入力として、実際に提示する情報を作成する。
FIG. 2 is a block diagram showing a functional configuration of the photographing support apparatus according to the first embodiment of the present invention.
In the present embodiment, the
The
A registered image / guide text database (hereinafter simply referred to as DB) 12 is a database in which registered images and guide text accompanying the registered images are stored.
The candidate
The presentation
The presentation
図３は、ＤＢ１２に格納されるデータの一例を示す図である。
次に、図３を用いて上述したＤＢに格納されるデータについて説明する。
図３を参照すると、ＤＢ１２には、画像ＩＤ（Ｉ１、Ｉ２、…Ｉｎ）、登録画像データ（Ｉｍ１、Ｉｍ２、…、Ｉｍｎ）、が格納されている。また当該ＤＢ１２には各画像ＩＤに対応付けられて案内文が格納されているものとする。登録画像データは静止画像のデータであるものとする。この例では、登録画像数ｎ（ｎは１以上の整数）であり、一つの画像ＩＤに対して、一つの案内文と一つの画像データが関連付けられるものとするが、必ずしも１対１対応でなくてもよい。画像ＩＤとは、撮影支援装置１内部で画像を一意に特徴付ける情報であればよい。例えば、数値（番号）、画像ファイル名などが考えられるが、これらに限られない。また、画像データそのものを画像ＩＤとして用いても良く、この場合は画像ＩＤと画像データのいずれか一方のみを格納しておいてもよい。
FIG. 3 is a diagram illustrating an example of data stored in the
Next, data stored in the above-described DB will be described with reference to FIG.
Referring to FIG. 3, the
図４は、本発明の第１の実施形態に係る候補数計算モジュールの構成を示すブロック図である。
次に、図４を用いて上述した候補数計算モジュール１３の詳細について説明する。
図４で示すように、候補数計算モジュール１３は、類似度計算モジュール１３１と候補判定モジュール１３２とから構成される。
類似度計算モジュール１３１は、検索画像と登録画像との類似度を計算する。ｆ＝１の場合に、類似度を計算する際の最も単純な例の一つは、検索画像と登録画像からそれぞれ特徴ベクトルを計算し、両ベクトル間で計算される距離、ノルム、正規化相関値、内積値、両ベクトルが成す角度などを類似度とする方法である。特徴ベクトルは画像そのものとしても良いし、各画像から画像処理に関する既知の手法などを用いて計算してもよい。例えば、特表２００９−５３５６８０号公報、ＷＯ２００６−０９２９５７号パンフレット、ＷＯ２００８−０６６１５２号パンフレット、特開２００１−９２９６３号公報で開示される方法のように、局所領域から計算される特徴量に基づいて類似度を計算してもよい。また、これらの類似度計算手法の複数を利用して、それぞれ計算された値を複数計算しておき、それらの値から計算される値を類似度としても良い。ｆ＞１の場合は、ｆ枚の静止画像のそれぞれに対して上述の方法を用いて類似度を計算しておき、それらの値に基づいて計算すればよい。例えば、ｆ枚の静止画像のそれぞれに対して計算された類似度の平均値、中央値、上位ｑ番目の値（ｑは予め与えられた定数であり、ｆ＞ｑ≧１）などを類似度とすればよい。また、これらの方法に限らず、例えば、動画像に関する既知の画像処理手法を用いて計算しても良い。
FIG. 4 is a block diagram showing the configuration of the candidate number calculation module according to the first embodiment of the present invention.
Next, details of the candidate
As shown in FIG. 4, the candidate
The
図５は候補数計算モジュールにより計算される類似度と画像との関係を表した図である。
図５を参照すると、１つの画像ＩＤについて、１つの類似度が計算されている。計算される類似度は１つに限られないが、説明を簡略化するため、以下では１つの画像ＩＤについて１つの類似度が計算されている場合の例について説明する。
FIG. 5 is a diagram showing the relationship between the similarity calculated by the candidate number calculation module and the image.
Referring to FIG. 5, one similarity is calculated for one image ID. Although the calculated similarity is not limited to one, in order to simplify the description, an example in which one similarity is calculated for one image ID will be described below.
候補判定モジュール１３２は、類似度計算モジュール１３１により計算された類似度を基に、各登録画像が検索画像と類似しているか（候補であるか）どうかを判定し、候補数を計算する。各登録画像が検索画像と類似しているかどうかの判定は既知の方法を用いればよい。例えば、類似度に関して予め定めておいた閾値と比較することにより判定する方法、各登録画像に対して計算される類似度を相対的に比較することにより判定する方法、類似度が大きい順に上位ｐ位（ｐ≧１）までを候補として判定する方法などがあるが、これらに限られない。
The
図６は、本発明の第１の実施形態に係る提示情報作成モジュールの構成を示すブロック図である。
次に、図６を用いて提示情報作成モジュール１５の詳細について説明する。
図６で示すように、提示情報作成モジュール１５は、情報提示モード認識モジュール１５１と、検出待ち情報作成モジュール１５２と、候補数情報作成モジュール１５３と、案内情報作成モジュール１５４とから構成される。
情報提示モード認識モジュール１５１は、入力される情報提示モードを基に、検出待ち情報を提示するか、候補数情報を提示するか、案内情報を提示するかを判定する。この判定結果に応じて、検出待ち情報作成モジュール１５２、候補数情報作成モジュール１５３、案内情報作成モジュール１５４のいずれかが動作する。
検出待ち情報作成モジュール１５２は、候補（検索画像に対する類似登録画像）の検出待ちを行っている旨の情報を作成する。情報はどのような形式の情報でもよく、例えば、テキスト形式の情報でもよいし、検出待ちを行っている旨の情報を含む画像データであってもよい。検出待ちを行っている旨の情報と共に、さまざまな角度からの撮影を支援するように、例えば、「さまざまな方向からカメラを向けてみてください」という旨の情報を作成しても良い。
候補数情報作成モジュール１５３は、候補数計算モジュール１３により計算された候補数を基に、候補数情報を作成する。当該候補数情報はどのような形式の情報でもよく、例えば、テキスト形式の情報でもよいし、候補数情報を含む画像データであってもよい。
案内情報作成モジュール１５４は、候補数計算モジュール１３により計算された類似度と候補を基に、案内情報を作成する。当該案内情報はどのような形式の情報でもよく、例えば、テキスト形式の情報でもよいし、案内情報を含む画像データであってもよい。候補に関する案内情報は、ＤＢ１２に格納されている案内文を利用して作成するのが好適な一例であるが、これに限られない。
FIG. 6 is a block diagram showing the configuration of the presentation information creation module according to the first embodiment of the present invention.
Next, details of the presentation
As shown in FIG. 6, the presentation
The information presentation
The detection waiting
The candidate number
The guidance
図７、図８、図９は、それぞれ、検出待ち情報、候補数情報、案内情報に基づいて、撮影支援装置が出力する表示機能付き撮影装置が表示するメッセージの一例である。メッセージ中の画像は、登録画像、検索画像のうち適当な１枚を利用すればよい。 7, 8, and 9 are examples of messages displayed by the imaging device with a display function that is output from the imaging support device based on the detection waiting information, the number of candidates information, and the guidance information, respectively. As the image in the message, an appropriate one of the registered image and the search image may be used.
次に、本発明の第１の実施形態の動作について、図面を参照して詳細に説明する。
図１０は、本発明の第１の実施形態に係る撮影支援装置が実行する撮影支援処理のフローチャートである。
係るフローチャートは、図１に示す撮影支援装置１において、ＣＰＵ２が実行するソフトウェア・プログラムの処理手順を表す。
まず、制御モジュール１１は、検索画像として利用される画像の入力を図１に図示される表示機能付き撮影装置から受け、後段の処理のための検索画像を作成する（ステップＳ１０１）。例えば、ｆ＝１の場合は、新たに入力された画像を検索画像とすればよい。ｆ≧２の場合は、入力として受けた画像の中で新しい方からｆ枚を選択する、または、前回の検索にて類似度最小となった画像を新たに入力された画像で置き換える、などの方法により、検索画像として用いるｆ枚の画像の集合を作成すればよい。
次に、候補数計算モジュール１３は、検索画像と各登録画像との候補数を計算する（ステップＳ１０２）。
そして、次に、提示情報判定モジュール１４は、候補数計算モジュール１３により計算された候補数を基に、情報提示モードを判定する（ステップＳ１０３）。
Next, the operation of the first exemplary embodiment of the present invention will be described in detail with reference to the drawings.
FIG. 10 is a flowchart of a shooting support process executed by the shooting support apparatus according to the first embodiment of the present invention.
The flowchart represents the processing procedure of the software program executed by the
First, the
Next, the candidate
Next, the presentation
図１１は、本発明の第１の実施形態に係る撮影支援装置が実行する撮影支援処理のステップＳ１０３の動作を示すフローチャートである。
図１１で示すように、まず、提示情報判定モジュール１４が、類似度による候補判定を行うための開始条件を満たしているかどうかを判定する（ステップＳ１０３１）。一連の撮影支援処理の開始直後は、表示機能付き撮影装置から入力する画像がすくないため、比較的少数の検索画像しか存在しない。したがって提示情報判定モジュール１４は、登録画像と一致すると判定される検索画像が少ないことが想定される。従って、必ずしも必須な処理ではないが、ある程度多くの検索画像が入力されるまで候補判定を行わないでいることが望ましい。ステップＳ１０３１は、このような動機に基づいて行われる処理である。具体的には、例えば、あらかじめ定めておいた一定枚数以上の画像入力があった場合に開始条件を満足したと判定するようにすればよい。または、予め定めておいた一定時間以上連続して画像入力を受け付けていることを開始条件としても良い。開始条件を満足している場合はステップＳ１０３３の処理を行い、満足していない場合にはステップＳ１０３２の処理を行う。
FIG. 11 is a flowchart showing the operation of step S103 of the shooting support process executed by the shooting support apparatus according to the first embodiment of the present invention.
As shown in FIG. 11, first, the presentation
ステップＳ１０３２の処理は、提示情報判定モジュール１４が情報提示モードをモード1と決定する処理である。
ステップＳ１０３３の処理は、提示情報判定モジュール１４が候補数＝０であるかどうかを判定する処理である。ＹＥＳであればステップＳ１０３２の処理を行い、ＮＯであればステップＳ１０３４の処理を行う。
ステップＳ１０３４の処理は、提示情報判定モジュール１４が候補数＞１であるかどうかを判定する処理である。ＹＥＳであればステップＳ１０３５の処理を行い、ＮＯであればステップＳ１０３６の処理を行う。
ステップＳ１０３５の処理は、提示情報判定モジュール１４が情報提示モードをモード２と決定する処理である。
ステップＳ１０３６の処理は、提示情報判定モジュール１４が情報提示モードをモード３と決定する処理である。
The process of step S1032 is a process in which the presentation
The process of step S1033 is a process in which the presentation
The process of step S1034 is a process for determining whether or not the presentation
The process of step S1035 is a process in which the presentation
The process of step S1036 is a process in which the presentation
次に、図１０の説明に戻り、情報提示モード認識モジュール１５１は、情報提示モードが３であるかどうかを判定する（ステップＳ１０４）。ＹＥＳであればステップＳ１０５の処理が行われ、ＮＯであればＳ１０６の処理が行われる。
ステップＳ１０５は、案内情報を作成した後、作成された案内情報を出力する処理である。具体的には、まず提示情報作成モジュール１５内部の案内情報作成モジュール１５４が案内情報を作成し、その後に、制御モジュール１１が作成された案内情報を図1に図示される表示機能付き撮影装置へ出力する。
ステップＳ１０６は、情報提示モード認識モジュール１５１が、情報提示モードが２であるかどうかを判定する処理である。ＹＥＳであればステップＳ１０７の処理が行われ、ＮＯであればＳ１０８の処理が行われる。
ステップＳ１０７は、候補数情報を作成した後、作成された候補数情報を出力する処理である。具体的には、まず提示情報作成モジュール１５内部の候補数情報作成モジュール１５３が候補数情報を作成し、その後に、制御モジュール１１が作成された候補数情報を図1に図示される表示機能付き撮影装置へ出力する。
ステップＳ１０８は、検出待ち情報を作成した後、作成された検出待ち情報を出力する処理である。具体的には、まず提示情報作成モジュール１５内部の検出待ち情報作成モジュール１５２が検出待ち情報を作成し、その後に、制御モジュール１１が作成された検出待ち情報を図1に図示される表示機能付き撮影装置へ出力する。
ステップＳ１０９は、制御モジュール１１が撮影支援の終了を判定する処理である。例えば、撮影支援装置１外部からの終了要求がなされたとき、あるいは、案内情報が出力されたときに終了と判定する。
Next, returning to the description of FIG. 10, the information presentation
Step S105 is a process of outputting the created guidance information after creating the guidance information. Specifically, first, the guide
Step S106 is processing in which the information presentation
Step S107 is a process of outputting the created candidate number information after creating the candidate number information. Specifically, the candidate number
Step S108 is processing to output the created detection wait information after creating the detection wait information. Specifically, the detection wait
Step S109 is processing in which the
次に、本発明の第1の実施形態の効果について説明する。
ここで、ユーザに撮影位置や撮影方向を自ら判断させるような情報を提示する撮影支援装置の場合には、撮影支援装置の内部状態（例えば、適切な構図を得るために、あとどのくらいの情報を撮影支援装置に入力する必要があるか）に関する必要最小限の情報をユーザに与えることが重要である。冗長な情報や、ユーザの判断に多くの時間がかかるような情報を提示することはあまり望ましくない。本実施形態では、撮影支援の情報として検出待ち情報、類似度情報を出力するように構成されている。従って、ユーザに提示される情報が少なく済むようになる。（ここで、「ユーザに提示される情報が少なく済む」とは撮影支援装置が出力する情報の容量のことではなく、ユーザに提示される情報が本質的に少ないということを意図している。）
本実施の形態の撮影支援装置を組み込んだ撮影装置を案内情報支援装置、電子図鑑などといった用途に応用する場合、本実施の形態の撮影支援装置によれば、画像照合のために利用する参照データ（登録画像）が２次元で実現可能となる。従って、参照データが３次元の場合と比較して、必要な参照データの容量が削減できる利点がある。
Next, effects of the first exemplary embodiment of the present invention will be described.
Here, in the case of a shooting support apparatus that presents information that allows the user to determine the shooting position and shooting direction, the internal state of the shooting support apparatus (for example, how much information is required to obtain an appropriate composition). It is important to provide the user with the minimum necessary information regarding whether it is necessary to input to the photographing support apparatus. It is not desirable to present redundant information or information that takes a long time for the user's judgment. In the present embodiment, detection waiting information and similarity information are output as photographing support information. Therefore, less information is presented to the user. (Here, “the amount of information presented to the user is small” is not the amount of information output by the imaging support apparatus, but is intended to mean that the amount of information presented to the user is essentially small). )
When the imaging apparatus incorporating the imaging support apparatus of the present embodiment is applied to uses such as a guidance information support apparatus and an electronic pictorial book, according to the imaging support apparatus of the present embodiment, reference data used for image collation (Registered image) can be realized in two dimensions. Therefore, there is an advantage that the capacity of necessary reference data can be reduced as compared with the case where the reference data is three-dimensional.
（第２の実施形態）
次に、本発明の第２の実施形態について図面を参照して詳細に説明する。
本発明の第１の実施形態と比較して異なる部分について特に詳細に説明する。
本発明の第２の実施形態の撮影支援装置２０の構成は、図１に示す、第１の実施形態に係る撮影支援装置１の構成と同一である。
第１の実施形態と同様に、検索画像は、静止画像であっても、静止画の集合であっても、動画像であっても良い。
(Second Embodiment)
Next, a second embodiment of the present invention will be described in detail with reference to the drawings.
A different part compared with the 1st Embodiment of this invention is demonstrated in detail especially.
The configuration of the imaging support apparatus 20 according to the second embodiment of the present invention is the same as the configuration of the
Similar to the first embodiment, the search image may be a still image, a set of still images, or a moving image.
図１２は第２の実施形態に係る撮影支援装置の機能構成を示すブロック図である。
本実施形態において、ＣＰＵ２は、本発明の第１の実施形態と同様に、記憶媒体３に記憶される情報、入出力インターフェイス４から送受信される情報を適宜参照しながら、図１２に示される各種モジュール等のソフトウェア・プログラムを実行する。ただし、図１２に示すソフトウェア・モジュールの構成は、第１の実施形態の撮影支援装置１におけるソフトウェア・モジュールの構成（図２）とは一部異なる部分がある。
FIG. 12 is a block diagram illustrating a functional configuration of the photographing support apparatus according to the second embodiment.
In this embodiment, as in the first embodiment of the present invention, the
制御モジュール２１は、主に撮影支援装置２０の動作を制御するモジュールである。入力された画像を基に、検索画像の作成も行う。また、残存候補数計算モジュール２３内で参照される「禁止フラグ」の管理も行う。「禁止フラグ」の説明は、後述の残存候補数計算モジュール２３の説明の際に行う。
登録画像・案内文データベース（以下、単にＤＢと呼ぶ。）２２は、本発明の第１の実施形態のＤＢ１２と同一であるので説明を省略する。
残存候補数計算モジュール２３は、第１の実施形態の候補数計算モジュール１３と同様、検索画像と登録画像との類似度を計算すると共に、計算された類似度を入力に検索画像に類似する登録画像の数を計算する。残存候補数計算モジュール２３が第１の実施形態の候補数計算モジュール１３と異なる点は、検索画像に類似する登録画像の数を類似度だけでなく、各登録画像のそれぞれに関連付けられて図示しない格納領域に格納されるフラグ（禁止フラグ）をさらに参照して定めることである。この理由は、動作の説明の際に述べることとする。
第１の実施形態で述べた「候補」、「候補数」という用語と区別するため、以下では、残存候補数計算モジュール２３により計算された検索画像に類似する登録画像を「残存候補」と呼び、検索画像に類似する登録画像の数を「残存候補数」と呼ぶ。
The
Since the registered image / guidance sentence database (hereinafter simply referred to as DB) 22 is the same as the
Similar to the candidate
In order to distinguish from the terms “candidate” and “number of candidates” described in the first embodiment, a registered image similar to the search image calculated by the remaining candidate
図１３は、本発明の第２の実施形態に係る残存候補数計算モジュールの構成を示すブロック図である。
図１３で示すように、残存候補数計算モジュール２３は、類似度計算モジュール２３１と残存候補判定モジュール２３２とから構成される。
類似度計算モジュール２３１は、第１の実施形態の類似度計算モジュール１３１と同一であるので、説明を省略する。
残存候補判定モジュール２３２は、類似度計算モジュール２３１により計算された類似度と禁止フラグを基に、各登録画像が残存候補であるかどうかを判定する。
FIG. 13 is a block diagram showing the configuration of the remaining candidate number calculation module according to the second embodiment of the present invention.
As shown in FIG. 13, the remaining candidate
Since the
The remaining
図１４は、類似度計算モジュールにより計算される各登録画像に対する類似度と、各登録画像に対する禁止フラグの例を示す図である。
残存候補判定モジュール２３２が、第１の実施形態の候補判定モジュール１３２と同様に「候補」と判定した登録画像のうち、図１４で示すような禁止フラグが０（禁止しない）となっている登録画像のみを残存候補と判定し、その後、類似度計算モジュール２３１がその残存候補数を計算する。
FIG. 14 is a diagram illustrating an example of a similarity for each registered image calculated by the similarity calculation module and a prohibition flag for each registered image.
Of the registered images that the remaining
提示情報判定モジュール２４は、残存候補数計算モジュール２３により計算された残存候補数を基に、提示すべき情報の種別（以下、情報提示モードと呼ぶ）を判定する。本実施形態においては、（モード１）検索画像に対する類似登録画像の検出待ちを行っている旨の情報を提示するモード、（モード２）残存候補数を提示するモード、（モード３）案内情報を提示するモード、（モード４）推奨カメラ移動・回転方向を提示するモード、の４つの情報提示モードの中から、類似度もしくは検索画像が連続的に入力されている時間などを利用して、情報提示モードを判定するものとする。具体的な判定方法の説明は、後述の動作の説明で行うこととする。なお、カメラの移動・回転を提示するモードとは、すくなくとも移動または回転の何れか（移動かつ回転を含む）一方の情報を提示するモードである。
提示情報作成モジュール２５は、提示情報判定モジュール２４が判定する情報提示モードを入力として、実際に提示する情報を作成する。
The presentation
The presentation
図１５は、本発明の第２の実施形態に係る提示情報作成モジュールの構成を示すブロック図である。
図１５で示すように、提示情報作成モジュール２５は、情報提示モード認識モジュール２５１と、検出待ち情報作成モジュール２５２と、残存候補数情報作成モジュール２５３と、案内情報作成モジュール２５４と、推奨カメラ移動・回転方向情報作成モジュール２５５から構成される。
情報提示モード認識モジュール２５１と、検出待ち情報作成モジュール２５２と、案内情報作成モジュール２５４は、それぞれ、本発明の第１の実施形態に係る情報提示モード認識モジュール１５１と、検出待ち情報作成モジュール１５２と、案内情報作成モジュール１５４と同一であるので説明を省略する。
残存候補数情報作成モジュール２５３は、残存候補数計算モジュール２３により計算された残存候補数を基に、残存候補数情報を作成する。当該残存候補数情報はどのような形式の情報でもよく、例えば、テキスト形式の情報でもよいし、残存候補数情報を含む画像データであってもよい。
FIG. 15 is a block diagram showing a configuration of a presentation information creation module according to the second embodiment of the present invention.
As shown in FIG. 15, the presentation
The information presentation
The remaining candidate number
推奨カメラ移動・回転方向情報作成モジュール２５５は、残存候補数計算モジュール２３により計算された類似度と残存候補、および、変換パラメータ計算モジュール２６により計算された「変換パラメータ」を基に、推奨カメラ移動・回転方向情報を作成する。当該推奨カメラ移動・回転方向情報はどのような形式の情報でもよく、例えば、テキスト形式の情報でもよいし、変換パラメータに関する数値データでもよいし、案内情報を含む画像データであってもよい。なお、「変換パラメータ」については、次に説明する変換パラメータ計算モジュール２６の構成の説明であわせて説明する。
The recommended camera movement / rotation direction
変換パラメータ計算モジュール２６は、検索画像と登録画像とを比較することで、検索画像を撮影したカメラ位置及びカメラ方向（以下、検索画像視点と呼ぶ。）に対して、どのような並進とどのような回転をカメラに加えれば登録画像を撮影した際のカメラ位置、方向（以下、登録画像視点と呼ぶ）から撮影することができるかを計算するための変換パラメータを計算するモジュールである。登録画像を撮影した視点と同一視点、もしくは撮影対象物と登録画像を撮影した視点を結ぶ直線上から、検索画像として用いるために撮影対象の物体を撮影することにより、一般的には登録画像と検索画像の照合を用意に行いやすくなる。検索画像がｆ≧２枚の時は、例えば、類似度が最大となった検索画像を対象にすればよい。検索画像枚数ｆ＝１の場合、登録画像および検索画像中の撮影対象物が剛体であることを仮定すると、登録画像視点と検索画像視点との間の並進ベクトルｔと回転行列Ｒを求めることができることが知られている（例えば、特開２００７−２６３６６９号公報参照）。このｔとＲを本実施の形態における「変換パラメータ」と呼ぶこととする。
検索画像枚数ｆ≧２の場合は、例えば、類似度が最大となった検索画像、もしくは時間的に最も新しい検索画像を対象にして、ｆ＝１の場合と同様の計算を行えばよい。
The conversion
When the number of search images f ≧ 2, for example, the same calculation as in the case of f = 1 may be performed on the search image with the maximum similarity or the latest search image in terms of time.
図１６は、カメラ移動・回転方向情報作成モジュール２５５が作成するカメラ移動・回転方向情報に基づいて、撮影支援装置２０が出力する表示機能付き撮影装置が表示するメッセージの一例である。
ここでは、変換パラメータを計算した基となる検索画像のカメラ座標系に基づいた表示としている。例えば、カメラの撮像面がｘ−ｙ平面、ｘ−ｙ平面に垂直かつ物体が撮像される方向にz軸の正の値をとるような座標系とすると、回転方向を示すには、カメラ座標系の直線ｘ＝ｙ＝０を回転行列Ｒで変換した結果を示せばよい。また、移動方向を示すにはカメラ座標系原点（ｘ−ｙ平面とｚ軸の交点）からの移動方向を並進ベクトルｔにより示せばよい。メッセージ中の画像は、登録画像、検索画像のうち適当な１枚を利用すればよい。
FIG. 16 is an example of a message displayed by the photographing apparatus with a display function output by the photographing support apparatus 20 based on the camera movement / rotation direction information created by the camera movement / rotation direction
Here, the display based on the camera coordinate system of the search image that is the basis for calculating the conversion parameter is used. For example, assuming that the camera imaging plane is a xy plane, a coordinate system that is perpendicular to the xy plane and has a positive z-axis value in the direction in which an object is imaged, What is necessary is just to show the result of transforming the system straight line x = y = 0 by the rotation matrix R. In order to indicate the moving direction, the moving direction from the camera coordinate system origin (the intersection of the xy plane and the z axis) may be indicated by a translation vector t. As the image in the message, an appropriate one of the registered image and the search image may be used.
次に、本発明の第２の実施形態の動作について、図面を参照して詳細に説明する。
図１７は、本発明の第２の実施形態に係る撮影支援装置が実行する撮影支援処理のフローチャートである。
係るフローチャートは、図２に示す撮影支援装置２０において、ＣＰＵ２が実行するソフトウェア・プログラムの処理手順を表す。
図１７で示すように、まず、制御モジュール２１が初期化を行う（ステップＳ２０１）。
Next, the operation of the second exemplary embodiment of the present invention will be described in detail with reference to the drawings.
FIG. 17 is a flowchart of a shooting support process executed by the shooting support apparatus according to the second embodiment of the present invention.
The flowchart represents the processing procedure of the software program executed by the
As shown in FIG. 17, first, the
図１８は、本発明の第２の実施形態に係る撮影支援装置が実行する撮影支援処理のステップＳ２０１の動作を示すフローチャートである。
図１８で示すように、ステップＳ２０１では、まず制御モジュール２１が、対象検索画像の作成を行う（ステップＳ２０１１）。この処理は、第１の実施形態におけるステップＳ１０１の動作と同一である。次に、制御モジュール２１が禁止フラグの更新を行う（ステップＳ２０１２）。禁止フラグは、多くの場合０（禁止しない）に設定される。しかしながら、推奨カメラ移動・回転方向情報が作成された対象の登録画像に関する過去の推奨カメラ移動・回転方向情報に基づいてユーザが視点の変更を行ったにもかかわらず、類似度が十分高くならなかった（例えば、あらかじめ定められた閾値を越えなかった）と判定される場合には少なくとも一時的に候補から除外すべきと考えられる。そこで、そのような場合には、禁止フラグを１（禁止する）にセットすることで、当該登録画像が残存候補に入らないような工夫をする。この判定は、回転行列Ｒが恒等変換を表す行列もしくはその定数倍に近い行列になるかどうかで判定される。例えば、３つの対角要素のうちの最大値−最小値が一定の範囲内の値となるかどうか、と、要素以外の要素が予め定められた０に近い一定範囲内の値となるかどうかを検証してもよいが、これには限られない。ここで、回転行列は必ずしも一時点前の回転行列であっても良いが、そうである必要はない。例えば、一度１にセットされた禁止フラグは、一定時間を経過するまで、あるいは、対象検索画像が一定枚数更新されるまで、１のまま保持しておいても良い。
FIG. 18 is a flowchart showing the operation of step S201 of the shooting support process executed by the shooting support apparatus according to the second embodiment of the present invention.
As shown in FIG. 18, in step S201, the
次に、残存候補数計算モジュール２３は、検索画像と各登録画像との残存候補数を計算する（ステップＳ２０２）。次に、提示情報判定モジュール２４は、残存候補数計算モジュール２３により計算された候補数を基に、情報提示モードを判定する（ステップＳ２０３）。
Next, the remaining candidate
図１９は、本発明の第２の実施形態に係る撮影支援装置が実行する撮影支援処理のステップＳ２０３の動作を示すフローチャートである。
図１９を参照すると、まず、提示情報判定モジュール２４が、類似度による候補判定を行うための開始条件を満たしているかどうかを判定する（ステップＳ２０３１）。開始条件を満足している場合はステップＳ２０３３の処理を行い、満足していない場合にはステップＳ２０３２の処理を行う。
ステップＳ２０３１の処理は、本発明の第１の実施形態のステップＳ１０３１と同一の処理なので、詳細な説明を省略する。
ステップＳ２０３２の処理は、提示情報判定モジュール２４が情報提示モードをモード1と決定する処理である。
ステップＳ２０３３の処理は、提示情報判定モジュール２４が残存候補数＝０であるかどうかを判定する処理である。ＹＥＳであればステップＳ２０３２の処理を行い、ＮＯであればステップＳ２０３４の処理を行う。
FIG. 19 is a flowchart showing the operation of step S203 of the shooting support process executed by the shooting support apparatus according to the second embodiment of the present invention.
Referring to FIG. 19, first, the presentation
Since the process of step S2031 is the same process as step S1031 of the first embodiment of the present invention, detailed description thereof is omitted.
The process of step S2032 is a process in which the presentation
The process of step S2033 is a process in which the presentation
ステップＳ２０３４の処理は、提示情報判定モジュール２４が残存候補数＞１であるかどうかを判定する処理である。ＹＥＳであればステップＳ２０３５の処理を行い、ＮＯであればステップＳ２０３８の処理を行う。
ステップＳ２０３５の処理は、残存候補に対して計算されている類似度の中で最大となる類似度の値が大きいかどうかを判定する。ＹＥＳであればステップＳ２０３６の処理を行い、ＮＯであればステップＳ２０３７の処理を行う。ステップＳ２０３５の処理は、例えば、あらかじめ定められた所定の値と比較して大きいかどうか、もしくは、最大類似度値から残存候補に対して計算されている類似度の中で２番目に大きい値となる類似度値の値を減じた値が予め定められた所定の値と比較して大きいか、に基づいて判定する。ステップＳ２０３５の処理が行われる条件は、ある程度大きな類似度が計算された残存候補が複数存在しているケースである。従って、推奨カメラ位置・方向情報を提示する場合には、カメラ位置・方向を変更することにより、より類似度が高くなることが見込まれる（すなわち、モード３の情報提示が行われる）ことが望ましい。ステップＳ２０３５は、類似度によってこのような見込みを行う処理の一例である。
The process of step S2034 is a process of determining whether or not the presentation
The processing in step S2035 determines whether the maximum similarity value among the similarities calculated for the remaining candidates is large. If YES, the process of step S2036 is performed, and if NO, the process of step S2037 is performed. The process of step S2035 is, for example, whether it is larger than a predetermined value determined in advance, or the second largest value among the similarities calculated for the remaining candidates from the maximum similarity value. It is determined based on whether the value obtained by subtracting the similarity value is larger than a predetermined value. The condition for performing the process of step S2035 is a case where there are a plurality of remaining candidates for which a certain degree of similarity is calculated. Therefore, when the recommended camera position / direction information is presented, it is desirable that the similarity be expected to be higher by changing the camera position / direction (that is, information presentation in
ステップＳ２０３６の処理は、提示情報判定モジュール２４が情報提示モードをモード４と決定する処理である。
ステップＳ２０３７の処理は、提示情報判定モジュール２４が情報提示モードをモード２と決定する処理である。
ステップＳ２０３８の処理は、提示情報判定モジュール２４が情報提示モードをモード３と決定する処理である。
The process of step S2036 is a process in which the presentation
The process of step S2037 is a process in which the presentation
The process of step S2038 is a process in which the presentation
次に、情報提示モード認識モジュール２５１は、情報提示モードがモード３であるかどうかを判定する（ステップＳ２０４）。ＹＥＳならステップＳ２０５の処理を行い、ＮＯならステップＳ２０６の処理を行う。
ステップＳ２０５は、案内情報を作成した後、作成された案内情報を出力する処理である。具体的には、まず提示情報作成モジュール２５内部の案内情報作成モジュール２５４が案内情報を作成し、その後に、制御モジュール２１が作成された案内情報を図1に図示される表示機能付き撮影装置へ出力する。
ステップＳ２０６は、情報提示モード認識モジュール２５１は、情報提示モードがモード４であるかどうかを判定する処理である。ＹＥＳならステップＳ２０７の処理を行い、ＮＯならステップＳ２０８の処理を行う。
Next, the information presentation
Step S205 is processing to output the created guidance information after creating the guidance information. Specifically, first, the guide
Step S206 is processing in which the information presentation
ステップＳ２０７は、推奨カメラ移動・回転方向情報を作成した後、作成された推奨カメラ移動・回転方向情報を出力する処理である。具体的には、まず提示情報作成モジュール２５内部の推奨カメラ移動・回転方向情報作成モジュール２５５が推奨カメラ移動・回転方向情報を作成し、その後に、制御モジュール２１が作成された推奨カメラ移動・回転方向情報を図1に図示される表示機能付き撮影装置へ出力する。
ステップＳ２０８は、情報提示モード認識モジュール２５１は、情報提示モードがモード２であるかどうかを判定する処理である。ＹＥＳならステップＳ２０９の処理を行い、ＮＯならステップＳ２１０の処理を行う。
ステップＳ２０９は、残存候補数情報を作成した後、作成された残存候補数情報を出力する処理である。具体的には、まず提示情報作成モジュール２５内部の残存候補数情報作成モジュール２５３が残存候補数情報を作成し、その後に、制御モジュール２１が作成された残存候補数情報を図1に図示される表示機能付き撮影装置へ出力する。
Step S207 is processing for generating the recommended camera movement / rotation direction information after generating the recommended camera movement / rotation direction information. Specifically, first, the recommended camera movement / rotation direction
Step S208 is processing in which the information presentation
Step S209 is processing for generating the remaining candidate number information after generating the remaining candidate number information. Specifically, first, the remaining candidate number
ステップＳ２１０は、検出待ち情報を作成した後、作成された検出待ち情報を出力する処理である。具体的には、まず提示情報作成モジュール２５内部の検出待ち情報作成モジュール２５２が検出待ち情報を作成し、その後に、制御モジュール２１が作成された検出待ち情報を図1に図示される表示機能付き撮影装置へ出力する。
ステップＳ２１１は、制御モジュール２１が撮影支援の終了を判定する処理である。例えば、撮影支援装置２０外部からの終了要求がなされたとき、あるいは、案内情報が出力されたときに終了と判定する。
Step S210 is a process of outputting the created detection wait information after creating the detection wait information. Specifically, first the detection wait
Step S211 is processing in which the
本発明の第２の実施形態においては、禁止フラグを利用している。これは、撮影支援装置２０により推奨された位置及び方向から撮影したにもかかわらず類似度がそれほど高くならない場合には、別の位置および方向から撮影することにより別の登録画像との類似度がより高くなる可能性があるためである。このような場合は、依然として類似度が高かったとしても、その類似度が計算されている登録画像を、（少なくとも）一時的に位置及び方向を推奨する対象から外すことが望ましい。禁止フラグはこのことを可能にするために機能している。 In the second embodiment of the present invention, a prohibition flag is used. This is because, when the degree of similarity is not so high despite being photographed from the position and direction recommended by the photographing support device 20, the degree of similarity with another registered image is obtained by photographing from another position and direction. This is because it may be higher. In such a case, even if the degree of similarity is still high, it is desirable to exclude (at least) the registered image for which the degree of similarity is calculated from a target whose position and direction are temporarily recommended. The prohibit flag works to make this possible.
次に、本発明の第２の実施形態の効果について説明する。
本発明の第２の実施形態では、推奨カメラ移動方向および、推奨カメラ回転方向が計算され、出力されるように構成されている。これにより、ユーザが適切な位置、方向から再撮影を支援することが可能になる。
尚、撮影支援装置２０の内部に画像取得モジュールや表示モジュールを含むように構成しても良い。
ＤＢには案内文を含んでも良い。この場合、案内情報提供装置、電子図鑑などとしても機能する。案内文を様々な言語で記述しておけば、翻訳機能の付いた案内情報提供装置、電子図鑑などとして機能する。
撮影対象物が平面の場合は、２つの視点間で同一平面が撮影された画像を視点変換するパラメータであるホモグラフィー行列を推定して、推奨カメラ位置および方向を計算しても良い。
カメラの方位、移動量などを計測できるセンサを使って、計算された変形パラメータに相当する視点変更ができているかどうかを検証しても良い。
登録画像の代わりに登録画像から計算された特徴量データを格納しておいても良い。
検索画像の代わりに検索画像から計算された特徴量データを通信その他の手段により入力しても良い。
上記で説明した実施例においては、少なくともカメラの移動方向またはカメラの回転方向のいずれか（移動方向かつ回転方向を含む）を提示するように説明した。しかしながら、これらは対象物とカメラの相対的な関係に基づいている。すなわち、少なくともカメラの移動方向またはカメラの回転方向のいずれか（移動方向かつ回転方向を含む）を提示するかわりに、対象物を少なくとも移動もしくは回転（移動かつ回転を含む）させるための方向に関する情報を提示することも可能である。これは、撮影しようとする対象物の可搬性が高い場合に特に有効である。
Next, effects of the second exemplary embodiment of the present invention will be described.
In the second embodiment of the present invention, the recommended camera movement direction and the recommended camera rotation direction are calculated and output. Thereby, it becomes possible for the user to support re-shooting from an appropriate position and direction.
Note that the imaging support apparatus 20 may be configured to include an image acquisition module and a display module.
The DB may include a guidance sentence. In this case, it also functions as a guidance information providing device, an electronic pictorial book, and the like. If the guide sentence is described in various languages, it functions as a guide information providing device with a translation function, an electronic picture book, and the like.
When the imaging target is a plane, a recommended camera position and direction may be calculated by estimating a homography matrix that is a parameter for viewpoint conversion of an image in which the same plane is captured between two viewpoints.
It may be verified whether a viewpoint change corresponding to the calculated deformation parameter has been made using a sensor capable of measuring the camera orientation, movement amount, and the like.
Instead of the registered image, feature amount data calculated from the registered image may be stored.
Instead of the search image, feature data calculated from the search image may be input by communication or other means.
In the embodiment described above, at least one of the moving direction of the camera and the rotating direction of the camera (including the moving direction and the rotating direction) has been described. However, these are based on the relative relationship between the object and the camera. That is, instead of presenting at least either the moving direction of the camera or the rotating direction of the camera (including the moving direction and the rotating direction), information on the direction for moving or rotating (including moving and rotating) the object at least It is also possible to present. This is particularly effective when the object to be photographed is highly portable.
尚、上述した各実施形態を例に説明した本発明は、上述した撮影支援装置に対して、その説明において参照したフローチャート（図１０、図１７等）の機能を実現可能なコンピュータ・プログラムを供給した後、そのコンピュータ・プログラムを、当該装置のＣＰＵ２に読み出して実行することによって達成される。
また、当該装置内に供給されたコンピュータ・プログラムは、読み書き可能なメモリまたはハードディスク装置等の記憶デバイス（記憶媒体）に格納すれば良い。そして、このような場合において、本発明は、係るコンピュータ・プログラムのコード或いは記憶媒体によって構成される。
以上、上述した実施形態では、ＣＰＵ２が実行する各モジュールを、一例として、ソフトウェア・プログラムとして説明した。しかしながら、上述した各モジュールは、上述した撮影支援装置を実現する場合において、ソフトウェア・プログラムおよびハードウェアの少なくとも何れかによって実現される所定の機能単位として認識することができる。従って、これら各モジュールの一部または全部を、ハードウェアとして実現してもよい。
以上、本発明の撮影支援装置の一例を示した。上述した実施形態はあくまで実施形態の一例であり、本実施形態に限定されるべきではなく、わずかに相違する実施形態を本撮影支援装置から排除するものではない。
The present invention described by taking each of the embodiments described above as an example supplies a computer program capable of realizing the functions of the flowcharts (FIGS. 10, 17, etc.) referred to in the description to the above-described photographing support apparatus. Thereafter, the computer program is read out and executed by the
The computer program supplied to the apparatus may be stored in a readable / writable memory or a storage device (storage medium) such as a hard disk device. In such a case, the present invention is constituted by the code of the computer program or a storage medium.
In the above-described embodiment, each module executed by the
Heretofore, an example of the photographing support apparatus of the present invention has been shown. The above-described embodiment is merely an example of the embodiment, and should not be limited to the present embodiment. The slightly different embodiment is not excluded from the photographing support apparatus.
本発明の撮影支援装置は、撮影装置に組み込まれる撮影支援装置といった用途に適用可能である。また、電子図鑑、案内情報支援装置、翻訳装置といった用途にも適用可能である。 The photographing support apparatus of the present invention can be applied to uses such as a photographing support apparatus incorporated in a photographing apparatus. Moreover, it is applicable also to uses, such as an electronic picture book, a guidance information assistance apparatus, and a translation apparatus.
１，２０・・・撮影支援装置
２・・・ＣＰＵ
３・・・記憶媒体
４・・・入出力インターフェィス
１１，２１・・・制御モジュール
１２，２２・・・登録画像・案内文ＤＢ
１３・・・候補数計算モジュール
１４，２４・・・提示情報判定モジュール
１５，２５・・・提示情報作成モジュール
２３・・・残存候補数計算モジュール
２６・・・変換パラメータ計算モジュール
1, 20 ...
3 ...
13 ... candidate
Claims (6)
前記候補数が１つであるかを判定し、１つである場合に当該登録画像の案内情報を提示する案内情報提示モードであると判定する提示情報判定手段と、
前記案内情報提示モードであると判定された場合に、前記登録画像の案内情報を作成して出力する提示情報作成手段と、を備え、
前記提示情報作成手段は、前記候補数が２つ以上または０である場合には他の角度からの前記撮影対象の再撮影情報を出力する
ことを特徴とする撮影支援装置。 One or a plurality of photographic images to be photographed are received according to the photographing, the similarity between the search image created by the photographic image and the plurality of registered images is obtained by image matching, and based on the similarity Candidate number calculating means for calculating the number of registered image candidates that are candidates similar to the search image;
A presentation information determination unit that determines whether the number of candidates is one, and determines that it is a guidance information presentation mode that presents guidance information of the registered image when the number is one;
When it is determined that the guidance information presentation mode, it is provided with presentation information creating means for creating and outputting the guidance information of the registered image,
When the number of candidates is two or more or 0, the presentation information creation unit outputs re-shooting information of the shooting target from another angle.
前記提示情報作成手段は、
前記候補数提示モードと判定された場合には、前記撮影対象の再撮影を指示する情報とともに前記候補数計算手段が計算した前記候補数を出力し、
前記類似登録画像検出待ちモードと判定された場合には、前記撮影対象の再撮影情報とともに検出待ちを示す情報を出力する
ことを特徴とする請求項１に記載の撮影支援装置。 The presentation information determination unit determines the candidate number presentation mode when the number of candidates is two or more, or determines the similar registered image detection waiting mode when the number of candidates is zero,
The presentation information creating means includes:
If the candidate number presentation mode is determined, the candidate number calculation unit outputs the candidate number together with information for instructing re-shooting of the shooting target;
The imaging support apparatus according to claim 1, wherein when the similar registered image detection waiting mode is determined, information indicating the detection waiting is output together with the re-photographing information of the imaging target.
前記提示情報判定手段は、前記候補数が２つ以上であって、それら候補数で示される登録画像と前記検索画像との間の最も大きい類似度が所定の値以上である場合には、移動・回転方向提示モードと判定し、
前記提示情報作成手段は、前記移動・回転方向提示モードと判定された場合には、前記変換パラメータに基づいて、再撮影時に撮影する前記角度の移動・回転方向情報を出力する
ことを特徴とする請求項１または請求項２に記載の撮影支援装置。 Conversion parameter calculation means for obtaining a conversion parameter indicating at least one of a translation vector t and a rotation matrix R between the viewpoint of the search image and the viewpoint of the registered image,
When the number of candidates is two or more and the maximum similarity between the registered image indicated by the number of candidates and the search image is a predetermined value or more, the presentation information determination unit moves・ Determine the rotation direction presentation mode,
The presentation information creation means outputs the movement / rotation direction information of the angle to be photographed at the time of re-photographing based on the conversion parameter when it is determined as the movement / rotation direction presentation mode. The imaging support apparatus according to claim 1 or 2.
ことを特徴とする請求項３に記載の撮影支援装置。 When the similarity between the search image created by the captured image received after the output of the movement / rotation direction information and the registered image as the candidate does not exceed a predetermined threshold, the registered image is The imaging support apparatus according to claim 3, wherein the imaging support apparatus is excluded from candidates similar to the search image.
前記撮影支援装置の候補数計算手段は、撮影に応じて１つ又は複数の撮影対象の撮影画像を受け付け、当該撮影画像によって作成された検索画像と、複数の登録画像との類似度を画像照合によりそれぞれ求め、当該類似度に基づいて前記検索画像に類似する候補となる登録画像の候補数を計算し、
前記撮影支援装置の提示情報判定手段は、前記候補数が１つであるかを判定し、１つである場合に当該登録画像の案内情報を提示する案内情報提示モードであると判定し、
前記撮影支援装置の提示情報作成手段は、前記案内情報提示モードであると判定された場合に、前記登録画像の案内情報を作成して出力し、
前記撮影支援装置の前記提示情報作成手段は、前記候補数が２つ以上または０である場合には他の角度からの前記撮影対象の再撮影情報を出力する
ことを特徴とする撮影支援方法。 A shooting support method in a shooting support apparatus,
The number-of-candidate calculation means of the photographing support apparatus accepts one or a plurality of photographing images according to photographing, and performs image matching on the similarity between the search image created by the photographing image and the plurality of registered images. And calculating the number of registered image candidates that are candidates similar to the search image based on the similarity,
The presentation information determination unit of the photographing support apparatus determines whether the number of candidates is one, and determines that it is a guidance information presentation mode in which guidance information of the registered image is presented when the number is one,
The presentation information creating means of the photographing support device creates and outputs guidance information of the registered image when it is determined that the guidance information presentation mode is set,
The presenting information creating means of the photographing support apparatus outputs re-photographing information of the photographing target from another angle when the number of candidates is two or more or zero.
撮影に応じて１つ又は複数の撮影対象の撮影画像を受け付け、当該撮影画像によって作成された検索画像と、複数の登録画像との類似度を画像照合によりそれぞれ求め、当該類似度に基づいて前記検索画像に類似する候補となる登録画像の候補数を計算する候補数計算手段、
前記候補数が１つであるかを判定し、１つである場合に当該登録画像の案内情報を提示する案内情報提示モードであると判定する提示情報判定手段、
前記案内情報提示モードであると判定された場合に、前記登録画像の案内情報を作成して出力し、前記候補数が２つ以上または０である場合には他の角度からの前記撮影対象の再撮影情報を出力する提示情報作成手段、
として機能させることを特徴するプログラム。 The computer of the shooting support device,
One or a plurality of photographic images to be photographed are received according to the photographing, the similarity between the search image created by the photographic image and the plurality of registered images is obtained by image matching, and based on the similarity Candidate number calculating means for calculating the number of registered image candidates that are candidates similar to the search image;
A presentation information determination unit that determines whether the number of candidates is one and determines that it is a guidance information presentation mode that presents guidance information of the registered image when the number is one;
When it is determined that the guide information presentation mode is selected, the guide information of the registered image is generated and output. When the number of candidates is two or more or zero, the photographing target from another angle is generated. Presentation information creation means for outputting re-shooting information;
A program characterized by functioning as
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2010089474A JP2011223250A (en) | 2010-04-08 | 2010-04-08 | Photographing assisting apparatus, photographing assisting method, and program used therewith |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2010089474A JP2011223250A (en) | 2010-04-08 | 2010-04-08 | Photographing assisting apparatus, photographing assisting method, and program used therewith |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2011223250A true JP2011223250A (en) | 2011-11-04 |
Family
ID=45039665
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2010089474A Pending JP2011223250A (en) | 2010-04-08 | 2010-04-08 | Photographing assisting apparatus, photographing assisting method, and program used therewith |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2011223250A (en) |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104065877A (en) * | 2014-05-29 | 2014-09-24 | 小米科技有限责任公司 | Picture pushing method, picture pushing device and terminal equipment |
| JP2018191311A (en) * | 2018-07-11 | 2018-11-29 | オリンパス株式会社 | Imaging apparatus, communication system, and imaging method |
| WO2020145004A1 (en) * | 2019-01-10 | 2020-07-16 | 日本電気株式会社 | Photography guide device |
| WO2022174432A1 (en) * | 2021-02-20 | 2022-08-25 | Guangdong Oppo Mobile Telecommunications Corp., Ltd. | Method of suggesting shooting position for electronic device and electronic device |
| US11775618B2 (en) | 2019-03-26 | 2023-10-03 | Fujifilm Corporation | Image processing device, image processing method, and image processing program for deciding a similarity between a captured image and a sample image |
-
2010
- 2010-04-08 JP JP2010089474A patent/JP2011223250A/en active Pending
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104065877A (en) * | 2014-05-29 | 2014-09-24 | 小米科技有限责任公司 | Picture pushing method, picture pushing device and terminal equipment |
| JP2018191311A (en) * | 2018-07-11 | 2018-11-29 | オリンパス株式会社 | Imaging apparatus, communication system, and imaging method |
| WO2020145004A1 (en) * | 2019-01-10 | 2020-07-16 | 日本電気株式会社 | Photography guide device |
| JPWO2020145004A1 (en) * | 2019-01-10 | 2021-10-28 | 日本電気株式会社 | Shooting guide device |
| US11775618B2 (en) | 2019-03-26 | 2023-10-03 | Fujifilm Corporation | Image processing device, image processing method, and image processing program for deciding a similarity between a captured image and a sample image |
| WO2022174432A1 (en) * | 2021-02-20 | 2022-08-25 | Guangdong Oppo Mobile Telecommunications Corp., Ltd. | Method of suggesting shooting position for electronic device and electronic device |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN107990899B (en) | Positioning method and system based on SLAM | |
| CN111199564B (en) | Indoor positioning method and device of intelligent mobile terminal and electronic equipment | |
| JP7282851B2 (en) | Apparatus, method and program | |
| CN101950351B (en) | Method of identifying target image using image recognition algorithm | |
| JP6144826B2 (en) | Interactive and automatic 3D object scanning method for database creation | |
| US8971641B2 (en) | Spatial image index and associated updating functionality | |
| US9852358B2 (en) | Information processing device, information processing method, and information processing system | |
| US10558851B2 (en) | Image processing apparatus and method of generating face image | |
| US11094079B2 (en) | Determining a pose of an object from RGB-D images | |
| JP5631086B2 (en) | Information processing apparatus, control method therefor, and program | |
| JP2010519629A (en) | Method and device for determining the pose of a three-dimensional object in an image and method and device for creating at least one key image for object tracking | |
| JP6046501B2 (en) | Feature point output device, feature point output program, feature point output method, search device, search program, and search method | |
| KR102090779B1 (en) | Image-based indoor position detection apparatus and detection method | |
| JP2011223250A (en) | Photographing assisting apparatus, photographing assisting method, and program used therewith | |
| CN113190120B (en) | Pose acquisition method and device, electronic equipment and storage medium | |
| CN111784776A (en) | Visual positioning method and device, computer readable medium and electronic equipment | |
| JP2007249592A (en) | Three-dimensional object recognition system | |
| JP2000322577A (en) | Device and method for collating image and recording medium with its control program recorded thereon | |
| CN112215964A (en) | Scene navigation method and device based on AR | |
| CN112230765A (en) | AR display method, AR display device, and computer-readable storage medium | |
| CN115699096B (en) | Tracking augmented reality devices | |
| KR20160046399A (en) | Method and Apparatus for Generation Texture Map, and Database Generation Method | |
| JP5734000B2 (en) | Object identification system and method, and feature point position extraction system and method | |
| KR20190115161A (en) | 3d object creation apparatus | |
| JP2006113832A (en) | Stereoscopic image processor and program |