JP2012253669A - Photographing support system and imaging apparatus - Google Patents
Photographing support system and imaging apparatus Download PDFInfo
- Publication number
- JP2012253669A JP2012253669A JP2011126451A JP2011126451A JP2012253669A JP 2012253669 A JP2012253669 A JP 2012253669A JP 2011126451 A JP2011126451 A JP 2011126451A JP 2011126451 A JP2011126451 A JP 2011126451A JP 2012253669 A JP2012253669 A JP 2012253669A
- Authority
- JP
- Japan
- Prior art keywords
- image
- information
- reference composition
- imaging device
- position information
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Landscapes
- Studio Devices (AREA)
- Details Of Cameras Including Film Mechanisms (AREA)
- Television Signal Processing For Recording (AREA)
Abstract
Description
本発明は、撮影者の撮影を支援する撮影支援システム及び撮像装置に関する。 The present invention relates to a shooting support system and an imaging apparatus that support shooting of a photographer.
撮影支援システムとして、例えば、撮影場所や撮影日時などの撮影情報が撮像装置から画像処理サーバへ送信され、その画像処理サーバにおいて画像データベースから撮影情報の条件に近い画像が参考構図画像として複数抽出され、その抽出された複数の参考構図画像が画像処理サーバから撮像装置へ送信され撮像者に提示されるものがある（例えば、特許文献１参照）。撮影者は、それら参考構図画像を参考にして撮影を行うことができる。 As a shooting support system, for example, shooting information such as a shooting location and shooting date / time is transmitted from the imaging apparatus to the image processing server, and a plurality of images close to the shooting information conditions are extracted from the image database as reference composition images in the image processing server. Some of the extracted reference composition images are transmitted from the image processing server to the imaging device and presented to the photographer (see, for example, Patent Document 1). The photographer can take a picture with reference to these reference composition images.
しかしながら、上述の撮影支援システムでは、画像データベースに記憶されている画像が多いと、互いに似たような画像も多くなるため、画像データベースから撮影情報に近い画像が参考構図画像として複数抽出される際、互いに似たような画像ばかりが抽出されて撮影の支援にあまり適していない参考構図画像が撮像者に提示されてしまうおそれがある。 However, in the above-described photographing support system, if there are many images stored in the image database, there are many images similar to each other. Therefore, when a plurality of images close to photographing information are extracted as reference composition images from the image database. There is a possibility that only a similar image is extracted and a reference composition image that is not very suitable for shooting support is presented to the photographer.
そこで、本発明は、画像データベースに記憶されている画像が多くても、撮影者の撮影を支援するために適した画像を撮影者に提示することが可能な撮影支援システム及び撮像装置を提供することを目的とする。 Accordingly, the present invention provides an imaging support system and an imaging apparatus capable of presenting a photographer with an image suitable for assisting the photographer even when there are many images stored in an image database. For the purpose.
本発明の撮影支援システムは、撮像装置と画像処理サーバとが互いにデータを送受信するシステムである。 The imaging support system of the present invention is a system in which an imaging apparatus and an image processing server transmit and receive data to and from each other.
前記撮像装置は、前記撮像装置の位置情報を取得する位置取得手段と、前記撮像装置の位置情報を前記画像処理サーバへ送信し、前記画像処理サーバから送信される参考構図画像を受信する第１の通信手段と、前記参考構図画像を用いて撮影支援画面を作成する撮影支援画面作成手段と、前記撮影支援画面を表示する表示手段とを備える。 The image capturing apparatus transmits position information of the image capturing apparatus to the image processing server, and receives a reference composition image transmitted from the image processing server. Communication means, photography support screen creation means for creating a photography support screen using the reference composition image, and display means for displaying the photography support screen.
前記画像処理サーバは、少なくとも画像データ及びその画像データの撮影位置情報からなる画像情報を複数記憶する記憶手段と、前記記憶手段に記憶される複数の画像情報の各画像データのそれぞれの特徴量を算出する特徴量算出手段と、前記特徴量に基づいて、前記記憶手段に記憶される複数の画像情報を複数の類似画像群に分類する類似画像分類手段と、前記複数の類似画像群からそれぞれ代表画像情報を抽出する代表画像抽出手段と、前記撮像装置の位置情報に近い撮影位置情報に対応する画像データを前記参考構図画像として前記複数の代表画像情報から抽出する参考構図画像抽出手段と、前記参考構図画像抽出手段により抽出される参考構図画像を前記撮像装置へ送信し、前記撮像装置から送信される前記撮像装置の位置情報を受信する第２の通信手段とを備える。 The image processing server stores a plurality of image information including at least image data and shooting position information of the image data, and a feature amount of each image data of the plurality of image information stored in the storage unit. Representative from each of the plurality of similar image groups, a feature amount calculating means for calculating, a similar image classification means for classifying a plurality of pieces of image information stored in the storage means into a plurality of similar image groups based on the feature amounts, Representative image extraction means for extracting image information, reference composition image extraction means for extracting image data corresponding to shooting position information close to the position information of the imaging device from the plurality of representative image information as the reference composition image, and The reference composition image extracted by the reference composition image extracting means is transmitted to the imaging device, and the position information of the imaging device transmitted from the imaging device is received. And a second communication means for.
また、本発明の撮像装置は、当該撮像装置の位置情報を取得する位置取得手段と、少なくとも画像データ及びその画像データの撮影位置情報からなる画像情報を複数記憶する記憶手段と、前記記憶手段に記憶される複数の画像情報の各画像データのそれぞれの特徴量を算出する特徴量算出手段と、前記特徴量に基づいて、前記記憶手段に記憶される複数の画像情報を複数の類似画像群に分類する類似画像分類手段と、前記複数の類似画像群からそれぞれ代表画像情報を抽出する代表画像抽出手段と、当該撮像装置の位置情報に近い撮影位置情報に対応する画像データを参考構図画像として前記複数の代表画像情報から抽出する参考構図画像抽出手段と、前記参考構図画像抽出手段により抽出された参考構図画像を用いて撮影支援画面を作成する撮影支援画面作成手段と、前記撮影支援画面を表示する表示手段とを備える。 The image pickup apparatus according to the present invention includes a position acquisition unit that acquires position information of the image pickup device, a storage unit that stores at least a plurality of pieces of image information including image data and shooting position information of the image data, and the storage unit. A feature amount calculation unit that calculates each feature amount of each piece of image data of a plurality of stored image information, and a plurality of pieces of image information stored in the storage unit based on the feature amount are grouped into a plurality of similar image groups. Similar image classification means for classifying, representative image extraction means for extracting representative image information from each of the plurality of similar image groups, and image data corresponding to shooting position information close to position information of the imaging device as the reference composition image A reference composition image extraction unit that extracts from a plurality of representative image information and a reference composition image extracted by the reference composition image extraction unit create a shooting support screen. Comprising a photographic support screen creating means, and display means for displaying the photographic support screen.
本発明によれば、撮影者の撮影を支援する撮影支援システム及び撮像装置において、画像データベースに記憶されている画像が多くても、撮影者の撮影を支援するために適した画像を撮影者に提示することができる。 According to the present invention, in a photographing support system and an imaging apparatus that support photographing by a photographer, even if there are many images stored in an image database, an image suitable for supporting photographing by the photographer is provided to the photographer. Can be presented.
図１は、本発明の第１実施形態の撮影支援システムの一例を示す図である。 FIG. 1 is a diagram showing an example of a photographing support system according to the first embodiment of the present invention.
図１に示す第１実施形態の撮影支援システムは、撮像装置１００と、その撮像装置１００とデータの送受信を行う画像処理サーバ２００とを備える。 The imaging support system according to the first embodiment illustrated in FIG. 1 includes an imaging device 100 and an image processing server 200 that transmits and receives data to and from the imaging device 100.
撮像装置１００は、例えば、デジタルカメラ、カメラ付き携帯電話、又はスマートフォンなどの持ち運び可能な装置であって、撮像部１０１と、表示部１０２（表示手段）と、撮影位置取得部１０３（位置取得手段）と、通信部１０４（第１の通信手段）と、記憶部１０５と、演算部１０６とを備える。本実施形態において、撮像装置１００は、デジタルカメラとする。 The imaging device 100 is a portable device such as a digital camera, a camera-equipped mobile phone, or a smartphone, and includes an imaging unit 101, a display unit 102 (display unit), and a shooting position acquisition unit 103 (position acquisition unit). ), A communication unit 104 (first communication means), a storage unit 105, and a calculation unit 106. In the present embodiment, the imaging device 100 is a digital camera.
撮像部１０１は、デジタルカメラなどに通常備えられているものであって、例えば、鏡胴内のレンズによってＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）などの撮像素子に結像される被写体像をその撮像素子において電気信号に変換し画像データとする。また、撮像部１０１は、例えば、シャープネス補正回路、コントラスト補正回路、輝度・色差信号生成回路、及びホワイトバランス補正回路などを備え、画像データに対して各種画像処理を行う。 The image pickup unit 101 is normally provided in a digital camera or the like. For example, an object image formed on an image pickup device such as a CCD (Charge Coupled Device) by a lens in a lens barrel is electrically connected to the image pickup device. It is converted into a signal and used as image data. In addition, the imaging unit 101 includes, for example, a sharpness correction circuit, a contrast correction circuit, a luminance / color difference signal generation circuit, a white balance correction circuit, and the like, and performs various types of image processing on image data.
表示部１０２は、例えば、液晶や有機ＥＬなどで構成されるディスプレイ（例えば、タッチパネルディスプレイなど）であって、撮像部１０１で取得される画像データ、撮像装置１００を操作するためのＧＵＩ（Ｇｒａｐｈｉｃａｌ Ｕｓｅｒ Ｉｎｔｅｒｆａｃｅ）、又は撮影者の撮影を支援するための撮影支援画面などを表示する。例えば、表示部１０２に表示される撮影支援モードの開始ボタンが撮影者によりタッチされると、撮像装置１００において「撮影支援処理」が実行されるものとする。 The display unit 102 is, for example, a display (for example, a touch panel display) configured by liquid crystal or organic EL, and includes image data acquired by the imaging unit 101 and a GUI (Graphical User) for operating the imaging device 100. Interface) or a shooting support screen for supporting shooting by the photographer. For example, it is assumed that “shooting support process” is executed in the imaging apparatus 100 when a photographer touches a shooting support mode start button displayed on the display unit 102.
撮影位置取得部１０３は、例えば、ＧＰＳ（Ｇｌｏｂａｌ Ｐｏｓｉｔｉｏｎｉｎｇ Ｓｙｓｔｅｍ）や無線ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）などを使用して撮像装置１００の現在の位置情報を取得する。 The imaging position acquisition unit 103 acquires the current position information of the imaging apparatus 100 using, for example, a GPS (Global Positioning System) or a wireless LAN (Local Area Network).
通信部１０４は、後述する画像処理サーバ２００の通信部２０１とインターネットなどのネットワークを介してデータの送受信を行う。 The communication unit 104 transmits and receives data to and from the communication unit 201 of the image processing server 200 described later via a network such as the Internet.
記憶部１０５は、例えば、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）やＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）などにより構成され、演算部１０６で実行されるオペレーションシステムのプログラム及び各種アプリケーションソフトなどや撮像部１０１で取得される画像データや画像処理サーバ２００から送信される複数の参考構図画像などを記憶する。 The storage unit 105 includes, for example, a ROM (Read Only Memory), a RAM (Random Access Memory), and the like, and an operation system program executed by the calculation unit 106, various application software, and an image acquired by the imaging unit 101 Data and a plurality of reference composition images transmitted from the image processing server 200 are stored.
演算部１０６は、例えば、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）やマイクロコンピュータなどにより構成され、記憶部１０５に記憶されているオペレーションシステムのプログラムや各種アプリケーションソフトを実行することにより撮像装置１００全体の動作制御を行う。また、演算部１０６は、撮影支援画面作成部１０７（撮影支援画像作成手段）を備える。例えば、記憶部１０５に記憶される各種アプリケーションソフトの１つである「撮影支援処理」が演算部１０６により実行されると、撮影支援画面作成部１０７が構成されるものとする。 The calculation unit 106 is configured by, for example, a CPU (Central Processing Unit), a microcomputer, and the like, and performs operation control of the entire imaging apparatus 100 by executing an operation system program and various application software stored in the storage unit 105. Do. The calculation unit 106 includes a shooting support screen creation unit 107 (shooting support image creation means). For example, it is assumed that when the “shooting support process”, which is one of various application software stored in the storage unit 105, is executed by the calculation unit 106, the shooting support screen creation unit 107 is configured.
撮影支援画面作成部１０７は、撮像部１０１で取得される画像データや画像処理サーバ２００から送信される複数の参考構図画像などを用いて、表示部１０２に表示させる撮影支援画面を作成する。 The imaging support screen creation unit 107 creates an imaging support screen to be displayed on the display unit 102 using image data acquired by the imaging unit 101, a plurality of reference composition images transmitted from the image processing server 200, and the like.
画像処理サーバ２００は、通信部２０１（第２の通信手段）と、記憶部２０２（記憶手段）と、演算部２０３とを備える。なお、画像処理サーバ２００は、物理的に１台のサーバであるとは限らず、互いにネットワークに接続された複数のパーソナルコンピュータやクラウドサーバなどにより構成されてもよい。本実施形態において、画像処理サーバ２００は、ネットワークに接続された計算サーバとする。 The image processing server 200 includes a communication unit 201 (second communication unit), a storage unit 202 (storage unit), and a calculation unit 203. Note that the image processing server 200 is not necessarily a single physical server, and may be configured by a plurality of personal computers or cloud servers connected to a network. In this embodiment, the image processing server 200 is a calculation server connected to a network.
記憶部２０２は、例えば、ＲＯＭ、ＲＡＭ、又はＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）などにより構成され、演算部２０３で実行されるオペレーションシステムのプログラム及び各種アプリケーションソフトなどや複数の画像情報（レコード）を有する画像データベース（画像ＤＢ）を記憶する。 The storage unit 202 includes, for example, a ROM, a RAM, or an HDD (Hard Disk Drive) and the like, and includes an operation system program executed by the calculation unit 203, various application software, and a plurality of image information (records). A database (image DB) is stored.
図２は、画像データベースの一例を示す図である。 FIG. 2 is a diagram illustrating an example of an image database.
図２に示す画像データベースは、画像情報名が格納される画像情報名領域５０と、画像データが格納される画像データ領域５１と、位置情報が格納される位置情報領域５２と、画像情報が後述する代表画像情報であるか否かを示すフラグ情報が格納されるフラグ領域５３とからなる画像情報５４を複数有している。例えば、図２において、画像情報５４−１００の画像情報名領域５０には、画像情報名として「ｉｍｇ１００」が格納され、画像データ領域５１には画像データ（例えば、ＪＰＥＧファイルなど）として「ｄａｔａ０」が格納され、位置情報領域５２には「ｄａｔａ０」の撮影位置を示す撮影位置情報（例えば、緯度、経度）として「Ｘ０、Ｙ０」が格納され、フラグ領域５３には「ｉｍｇ１００」が代表画像情報であることを示す「Ｔ」が格納されている。なお、画像情報が代表画像情報でないことを示す場合、フラグ領域５３には、「Ｆ」が格納されているものとする。また、画像データベースに有する複数の画像情報は、例えば、インターネット上に存在する画像群などに基づいて作成されるものとする。 The image database shown in FIG. 2 includes an image information name area 50 for storing image information names, an image data area 51 for storing image data, a position information area 52 for storing position information, and image information described later. A plurality of pieces of image information 54 including a flag region 53 in which flag information indicating whether or not representative image information is stored is stored. For example, in FIG. 2, “img100” is stored as the image information name in the image information name area 50 of the image information 54-100, and “data0” is stored as the image data (for example, JPEG file) in the image data area 51. “X0, Y0” is stored in the position information area 52 as shooting position information (for example, latitude and longitude) indicating the shooting position of “data0”, and “img100” is representative image information in the flag area 53. “T” indicating that it is stored. When the image information indicates that it is not representative image information, “F” is stored in the flag area 53. In addition, the plurality of pieces of image information included in the image database are created based on, for example, an image group existing on the Internet.
また、図１において、演算部２０３は、例えば、ＣＰＵやマイクロコンピュータなどにより構成され、記憶部２０２に記憶されているオペレーションシステムのプログラムや各種アプリケーションソフトを実行することにより画像処理サーバ２００全体の動作制御を行う。また、演算部２０３は、特徴量算出部２０４（特徴量算出手段）、類似画像分類部２０５（類似画像分類手段）、代表画像抽出部２０６（代表画像抽出手段）、及び参考構図画像抽出部２０７（参考構図画像抽出手段）を備える。例えば、記憶部２０２に記憶される各種アプリケーションソフトの１つである「撮影支援処理」が演算部２０３により実行されると、特徴量算出部２０４、類似画像分類部２０５、代表画像抽出部２０６、及び参考構図画像抽出部２０７が構成されるものとする。 In FIG. 1, the calculation unit 203 is configured by, for example, a CPU or a microcomputer, and the operation of the entire image processing server 200 by executing an operation system program and various application software stored in the storage unit 202. Take control. In addition, the calculation unit 203 includes a feature amount calculation unit 204 (feature amount calculation unit), a similar image classification unit 205 (similar image classification unit), a representative image extraction unit 206 (representative image extraction unit), and a reference composition image extraction unit 207. (Reference composition image extracting means). For example, when the “shooting support process”, which is one of various application software stored in the storage unit 202, is executed by the calculation unit 203, a feature amount calculation unit 204, a similar image classification unit 205, a representative image extraction unit 206, The reference composition image extraction unit 207 is configured.
特徴量算出部２０４は、記憶部２０２の画像データベースから複数の画像情報を読み出し、それら画像情報の各画像データのそれぞれの特徴量を算出する。 The feature amount calculation unit 204 reads a plurality of pieces of image information from the image database in the storage unit 202, and calculates each feature amount of each image data of the image information.
類似画像分類部２０５は、特徴量算出部２０４で算出された各特徴量に基づいて、特徴量算出部２０４で読み出された複数の画像情報を複数の類似画像群１〜ｍに分類する。 The similar image classifying unit 205 classifies the plurality of pieces of image information read out by the feature amount calculating unit 204 into a plurality of similar image groups 1 to m based on the feature amounts calculated by the feature amount calculating unit 204.
代表画像抽出部２０６は、類似画像分類部２０５で分類された複数の類似画像群１〜ｍにおいて、それぞれ、代表画像を抽出する。 The representative image extraction unit 206 extracts a representative image from each of the plurality of similar image groups 1 to m classified by the similar image classification unit 205.
参考構図画像抽出部２０７は、代表画像抽出部２０６で抽出された代表画像１〜ｍから所定数ｎの参考構図画像を抽出し、通信部２０１により撮像装置１００へ送信させる。 The reference composition image extraction unit 207 extracts a predetermined number n of reference composition images from the representative images 1 to m extracted by the representative image extraction unit 206 and causes the communication unit 201 to transmit the reference composition images to the imaging device 100.
図３は、撮像装置１００における演算部１０６の動作を説明するためのフローチャートである。 FIG. 3 is a flowchart for explaining the operation of the calculation unit 106 in the imaging apparatus 100.
まず、演算部１０６は、表示部１０２に表示される撮影支援モードの開始ボタンが撮影者によりタッチされるなどして、撮影支援モードを開始する旨の指示があると（Ｓ１００がＹｅｓ）、「撮影支援処理」を実行するとともに、撮影位置取得部１０３により現在の撮像装置１００の位置情報を取得させ、その撮像装置１００の位置情報を画像処理サーバ２００へ送信する（Ｓ１０１）。例えば、図４に示すように、撮像装置１００が金閣寺周辺のある場所に位置している場合、撮像装置１００は、撮影位置取得部１０３により取得される位置情報として「金閣寺周辺のある場所の緯度・経度」を画像処理サーバ２００へ送信する。 First, when there is an instruction to start the shooting support mode by touching the start button of the shooting support mode displayed on the display unit 102 by the photographer or the like (S100 is Yes), the calculation unit 106 displays “ The “shooting support process” is executed, the current position information of the imaging apparatus 100 is acquired by the shooting position acquisition unit 103, and the position information of the imaging apparatus 100 is transmitted to the image processing server 200 (S101). For example, as illustrated in FIG. 4, when the imaging device 100 is located at a certain location around the Kinkakuji, the imaging device 100 uses “latitude of a location around the Kinkakuji as location information acquired by the imaging location acquisition unit 103. “Longitude” is transmitted to the image processing server 200.
次に、演算部１０６は、画像処理サーバ２００から送信される所定数ｎの参考構図画像を受信したか否かを判断する（Ｓ１０２）。なお、所定数ｎは、撮像装置１００と画像処理サーバ２００との間で予め設定されていてもよいし、撮像装置１００から画像処理サーバ２００へ撮像装置１００の位置情報とともに送信されてもよい。 Next, the arithmetic unit 106 determines whether or not a predetermined number n of reference composition images transmitted from the image processing server 200 have been received (S102). The predetermined number n may be set in advance between the imaging device 100 and the image processing server 200, or may be transmitted from the imaging device 100 to the image processing server 200 together with the position information of the imaging device 100.
次に、演算部１０６の撮影支援画面作成部１０７は、所定数ｎの参考構図画像を受信したと判断すると（Ｓ１０２がＹｅｓ）、その所定数ｎの参考構図画像などを用いて撮影支援画面を作成し（Ｓ１０３）、その作成した撮影支援画面を表示部１０２に表示させる（Ｓ１０４）。例えば、図４に示すように、画像処理サーバ２００から撮像装置１００へ４枚の参考構図画像１〜４が送信されると、撮影支援画面作成部１０７は、それら参考構図画像１〜４と、そのときに撮像装置１００により撮像されている画像データ（スルー画）とを用いて撮影支援画面を作成し、表示部１０２に表示させる。 Next, when the shooting support screen creation unit 107 of the calculation unit 106 determines that a predetermined number n of reference composition images have been received (Yes in S102), the shooting support screen is displayed using the predetermined number n of reference composition images. The screen is created (S103), and the created shooting support screen is displayed on the display unit 102 (S104). For example, as illustrated in FIG. 4, when four reference composition images 1 to 4 are transmitted from the image processing server 200 to the imaging apparatus 100, the shooting support screen creation unit 107 includes the reference composition images 1 to 4 and At that time, a shooting support screen is created using the image data (through image) captured by the imaging device 100 and displayed on the display unit 102.
なお、図３に示すフローチャートのＳ１０１及びＳ１０２は、撮影支援モードの開始する旨の指示がなくても、バックグランドで行われていてもよい。 Note that S101 and S102 in the flowchart shown in FIG. 3 may be performed in the background without an instruction to start the shooting support mode.
また、スルー画のみからなる画面と、参考構図画像のみからなる撮影支援画面とを切り替えて表示部１０２に表示させてもよい。 In addition, a screen including only a through image and a photographing support screen including only a reference composition image may be switched and displayed on the display unit 102.
また、スルー画と複数の参考構図画像のうちの何れかの参考構図画像とが類似したとき、その旨を撮影者に知らせるように構成してもよい。 Further, when the through image and the reference composition image of any of the plurality of reference composition images are similar, the photographer may be informed to that effect.
また、撮像装置１００に受信される複数の参考構図画像のうちの一部の参考構図画像を用いた撮影支援画像を表示部１０２に表示させているとき、撮影者から他の参考構図画像を見たい旨の要求（例えば、撮影者による右送りの操作）があると、その他の参考構図画像を用いた撮影支援画像を表示部１０２に表示させるように構成してもよい。 In addition, when a shooting support image using some reference composition images among a plurality of reference composition images received by the imaging apparatus 100 is displayed on the display unit 102, another reference composition image can be viewed from the photographer. If there is a request to do so (for example, a right-handed operation by the photographer), a photographing support image using another reference composition image may be displayed on the display unit 102.
図５は、画像処理サーバ２００の演算部２０３の動作を説明するためのフローチャートである。 FIG. 5 is a flowchart for explaining the operation of the calculation unit 203 of the image processing server 200.
まず、演算部２０３は、記憶部２０２に記憶される画像データベースから複数の画像情報を抽出する（Ｓ２００）。例えば、演算部２０３は、図６Ａに示すように、撮影位置情報が「地域Ａ」に属する全ての画像情報（例えば、図２に示す画像データベースの「ｉｍｇ１００」〜「ｉｍｇ１２２」）を画像データベースから取り出す。 First, the calculation unit 203 extracts a plurality of pieces of image information from the image database stored in the storage unit 202 (S200). For example, as illustrated in FIG. 6A, the calculation unit 203 obtains all image information (for example, “img100” to “img122” in the image database illustrated in FIG. 2) belonging to the “region A” from the image database. Take out.
次に、演算部２０３の特徴量算出部２０４は、取り出した複数の画像情報の各画像データの特徴量をそれぞれ算出する（Ｓ２０１）。特徴量としては、例えば、色ヒストグラム等の色情報やＳＩＦＴ（Ｓｃａｌｅ Ｉｎｖａｒｉａｎｔ Ｆｅａｔｕｒｅ Ｔｒａｎｓｆｏｒｍ）等により求められる形状情報、又、撮影位置情報が考えられる。 Next, the feature amount calculation unit 204 of the calculation unit 203 calculates the feature amount of each image data of the plurality of extracted image information (S201). As the feature amount, for example, color information such as a color histogram, shape information obtained by SIFT (Scale Invariant Feature Transform), or photographing position information can be considered.
次に、演算部２０３の類似画像分類部２０５は、算出した各画像データの特徴量に基づいて、Ｓ２００で取り出した複数の画像情報を複数の類似画像群１〜ｍに分類する（Ｓ２０２）。例えば、類似画像分類部２０５は、図６Ｂに示すように、Ｓ２００で読み出した複数の画像情報（ｉｍｇ１００〜ｉｍｇ１２２）を５つの類似画像群１〜５に分類する。なお、このとき利用される分類法（パターン認識手法）は、特に限定されない。例えば、類似画像分類部２０５は、Ｓ２０１で算出した各画像データの特徴量（上記色情報、形状情報、及び撮影位置情報など）に基づいて、特徴空間における各特徴量間のユークリッド距離を求め、それらユークリッド距離のうち、閾値以下のユークリッド距離同士で構成される画像情報の複数の集まりを類似画像群１〜ｍとしてもよい。 Next, the similar image classification unit 205 of the calculation unit 203 classifies the plurality of pieces of image information extracted in S200 into a plurality of similar image groups 1 to m based on the calculated feature amount of each image data (S202). For example, as shown in FIG. 6B, the similar image classification unit 205 classifies the plurality of pieces of image information (img100 to img122) read out in S200 into five similar image groups 1 to 5. The classification method (pattern recognition method) used at this time is not particularly limited. For example, the similar image classification unit 205 obtains the Euclidean distance between the feature amounts in the feature space based on the feature amounts (the color information, the shape information, the shooting position information, etc.) of each image data calculated in S201. Among these Euclidean distances, a plurality of sets of image information composed of Euclidean distances that are equal to or less than a threshold may be used as the similar image groups 1 to m.
次に、演算部２０３の代表画像抽出部２０６は、各類似画像群１〜ｍにおいて、それぞれ、代表画像情報を抽出する（Ｓ２０３）。例えば、代表画像抽出部２０６は、各類似画像群１〜ｍにおいて、類似画像群に含まれる複数の画像情報のそれぞれの画像データの特徴量の平均を求め、その平均に最も近い特徴量の画像データに対応する画像情報を代表画像情報とする。このとき、例えば、図２に示す画像データベースのフラグ領域５３に格納されるフラグ情報を「Ｆ」から「Ｔ」に変更する。 Next, the representative image extraction unit 206 of the calculation unit 203 extracts representative image information in each of the similar image groups 1 to m (S203). For example, the representative image extraction unit 206 obtains the average of the feature amounts of the image data of the plurality of pieces of image information included in the similar image group in each of the similar image groups 1 to m, and the image having the feature amount closest to the average. The image information corresponding to the data is set as representative image information. At this time, for example, the flag information stored in the flag area 53 of the image database shown in FIG. 2 is changed from “F” to “T”.
次に、演算部２０３の参考構図画像抽出部２０７は、撮像装置１００の位置情報を受信すると（Ｓ２０４がＹｅｓ）、撮像装置１００の位置情報に近い撮影位置情報に対応する画像データを参考構図画像として代表画像情報１〜ｍから抽出し（Ｓ２０５）、その抽出した参考構図画像を撮像装置１００へ送信する（Ｓ２０６）。例えば、参考構図画像抽出部２０７は、図６Ｃに示すように、撮像装置１００の位置情報に近い撮影位置情報に対応する画像データを参考構図画像として代表画像情報１〜４（所定数ｎ：４）からそれぞれ抽出し、その抽出した参考構図画像１〜４を撮像装置１００へ送信する。 Next, when the reference composition image extraction unit 207 of the calculation unit 203 receives the position information of the imaging device 100 (Yes in S204), the reference composition image is obtained by using the image data corresponding to the shooting position information close to the position information of the imaging device 100. Are extracted from the representative image information 1 to m (S205), and the extracted reference composition image is transmitted to the imaging apparatus 100 (S206). For example, as illustrated in FIG. 6C, the reference composition image extraction unit 207 uses the image data corresponding to the shooting position information close to the position information of the imaging apparatus 100 as the reference composition image, and the representative image information 1 to 4 (predetermined number n: 4). ) And the extracted reference composition images 1 to 4 are transmitted to the imaging apparatus 100.
なお、図５に示すフローチャートにおいて、Ｓ２０１とＳ２０２とを次の様に行ってもよい。すなわち、撮影位置情報に基づいて、Ｓ２００で取り出した複数の画像情報を複数の類似画像群１〜ｍに分類し、それら類似画像群１〜ｍにおいて、複数の画像情報の各画像データのそれぞれの特徴量に基づいて、各画像データ間の類似度を算出し、類似度が低い画像データに対応する画像情報を類似画像群から除外するように構成してもよい。 In the flowchart shown in FIG. 5, S201 and S202 may be performed as follows. That is, based on the shooting position information, the plurality of pieces of image information extracted in S200 are classified into a plurality of similar image groups 1 to m, and each of the image data of the plurality of pieces of image information in the similar image groups 1 to m is obtained. A similarity between image data may be calculated based on the feature amount, and image information corresponding to image data with a low similarity may be excluded from the similar image group.
また、図５に示すフローチャートでは、Ｓ２００〜Ｓ２０３を、位置情報を受信する前に行う構成であり、撮像装置１００における位置情報の送信から画像処理サーバ２００における参考構図画像の送信までにかかる時間の短縮化を図っているが、位置情報を受信した後にＳ２００〜Ｓ２０３及びＳ２０５〜Ｓ２０６を行うように構成してもよい。 In the flowchart shown in FIG. 5, S200 to S203 are performed before the position information is received, and the time taken from the transmission of the position information in the imaging apparatus 100 to the transmission of the reference composition image in the image processing server 200 is shown. Although shortening is aimed at, after receiving positional information, you may comprise so that S200-S203 and S205-S206 may be performed.
また、図５に示すフローチャートでは、Ｓ２０６において、所定数ｎの参考構図画像がまとめて画像処理サーバ２００から撮像装置１００へ送信される構成であるが、Ｓ２０６において、代表画像情報１〜ｍから参考構図画像が抽出される毎に順次、参考構図画像が画像処理サーバ２００から撮像装置１００へ送信されるように構成してもよい。 In the flowchart illustrated in FIG. 5, a predetermined number n of reference composition images are collectively transmitted from the image processing server 200 to the imaging apparatus 100 in S206. In S206, reference image information 1 to m is used as a reference. The reference composition image may be sequentially transmitted from the image processing server 200 to the imaging apparatus 100 each time the composition image is extracted.
図７は、参考構図画像の抽出処理（Ｓ２０５）のさらに詳細な動作の一例を示すフローチャートである。 FIG. 7 is a flowchart showing an example of a more detailed operation of the reference composition image extraction process (S205).
まず、参考構図画像抽出部２０７は、撮像装置１００から送信される要求画像枚数ｎ（所定数ｎでもよい）及び撮像装置１００の位置情報を受信する（Ｓ２０５１）。 First, the reference composition image extraction unit 207 receives the requested image number n (which may be a predetermined number n) and the position information of the imaging device 100 transmitted from the imaging device 100 (S2051).
次に、参考構図画像抽出部２０７は、撮像装置１００の位置情報と代表画像情報の撮影位置情報との間のユークリッド距離を、Ｓ２０３で抽出した代表画像情報１〜ｍについてそれぞれ算出する（Ｓ２０５２）。例えば、撮像装置１００の位置情報を（ｄｃａ＿ｘ，ｄｃａ＿ｙ）とし、代表画像情報ｉ（ｉ：１〜ｍ）の撮影位置情報を（ｄｉｘ，ｄｉｙ）とすると、撮像装置１００の位置情報と代表画像情報ｉの撮影位置情報との間のユークリッド距離ｄｉｓ１は、下記式１により求めることができる。 Next, the reference composition image extraction unit 207 calculates the Euclidean distance between the position information of the imaging device 100 and the shooting position information of the representative image information for each of the representative image information 1 to m extracted in S203 (S2052). . For example, assuming that the position information of the imaging apparatus 100 is (dca_x, dca_y) and the shooting position information of the representative image information i (i: 1 to m) is (dix, diy), the position information and the representative image information of the imaging apparatus 100. The Euclidean distance dis1 between i and the shooting position information can be obtained by the following equation 1.
次に、参考構図画像抽出部２０７は、Ｓ２０５２で算出した各ユークリッド距離を昇順に並び替え、その並び替えた複数のユークリッド距離において最も小さいものから順に要求画像枚数ｎ分選択し、その選択した各ユークリッド距離に対応する代表画像情報をＳ２０３で抽出した代表画像情報１〜ｍから抽出する（Ｓ２０５３）。 Next, the reference composition image extraction unit 207 rearranges the Euclidean distances calculated in S2052 in ascending order, selects the requested image number n in order from the smallest of the rearranged Euclidean distances, and selects each of the selected images. Representative image information corresponding to the Euclidean distance is extracted from the representative image information 1 to m extracted in S203 (S2053).
そして、参考構図画像抽出部２０７は、Ｓ２０５３で抽出した要求画像枚数ｎの代表画像情報のそれぞれの画像データを参考構図画像とする（Ｓ２０５４）。 Then, the reference composition image extraction unit 207 sets each image data of the representative image information of the required number of images n extracted in S2053 as a reference composition image (S2054).
このように、第１実施形態の撮影支援システムでは、撮像装置１００の位置情報に基づく参考構図画像が画像処理サーバ２００から撮像装置１００へ送信され、その参考構図画像が撮像装置１００の表示部１０２に表示される構成であるため、撮影者が表示部１０２に表示される参考構図画像を参考にしながら撮影を行うことができる As described above, in the photographing support system of the first embodiment, the reference composition image based on the position information of the imaging device 100 is transmitted from the image processing server 200 to the imaging device 100, and the reference composition image is displayed on the display unit 102 of the imaging device 100. Therefore, the photographer can take a picture while referring to the reference composition image displayed on the display unit 102.
また、第１実施形態の撮影支援システムでは、画像データベースから参考構図画像を抽出する際、画像データベースの複数の画像データを互いに類似している画像データ同士でまとめて複数の類似画像群をつくり、それら複数の類似画像群のそれぞれの代表画像から参考構図画像を抽出する構成であるため、参考構図画像として互いに類似しているものばかりが抽出されることを低減することができる。これにより、撮影者の撮影を支援する際、撮影者へ提示される複数の参考構図画像をできるだけ互いに類似させないようにすることができる。そのため、互いに類似した参考構図画像が撮影者へ提示される場合に比べて、撮影者に新たな「気付き」を与える機会を減らしてしまうことを低減することができる。 In the imaging support system of the first embodiment, when extracting a reference composition image from an image database, a plurality of similar image groups are created by combining a plurality of image data in the image database with similar image data, Since the reference composition image is extracted from the representative images of the plurality of similar image groups, it is possible to reduce the extraction of only similar reference composition images. Accordingly, when supporting the photographing of the photographer, a plurality of reference composition images presented to the photographer can be made as similar as possible to each other. Therefore, it is possible to reduce the chance of giving a new “awareness” to the photographer as compared to a case where reference composition images similar to each other are presented to the photographer.
また、第１実施形態の撮影支援システムでは、画像処理サーバ２００において参考構図画像の抽出処理が行なわれる構成であるため、画像データベースから参考構図画像を抽出するために撮像装置１００にかかる負担を軽減することができる。 In the photographing support system according to the first embodiment, since the reference composition image is extracted in the image processing server 200, the burden on the imaging apparatus 100 for extracting the reference composition image from the image database is reduced. can do.
図８は、第１実施形態の撮影支援システムの変形例を示す図である。なお、図１に示す構成と同じ構成には同じ符号を付している。 FIG. 8 is a diagram illustrating a modification of the imaging support system according to the first embodiment. In addition, the same code | symbol is attached | subjected to the same structure as the structure shown in FIG.
図８に示す撮影支援システムにおいて、図１に示す第１実施形態の撮影支援システムと異なる点は、撮像装置１００にさらに姿勢取得部１０８を備えている点である。 The imaging support system shown in FIG. 8 is different from the imaging support system according to the first embodiment shown in FIG. 1 in that the imaging apparatus 100 further includes a posture acquisition unit 108.
姿勢取得部１０８は、例えば、ジャイロセンサなどにより構成され、撮像装置１００の姿勢情報（例えば、横角（ｙａｗ）、縦角（ｐｉｔｃｈ）、回転（ｒｏｌｌ））を取得する。姿勢取得部１０８により取得された姿勢情報は、通信部１０４により画像処理サーバ２００へ送信される。 The posture acquisition unit 108 includes, for example, a gyro sensor, and acquires posture information (for example, a horizontal angle (yaw), a vertical angle (pitch), and a rotation (roll)) of the imaging apparatus 100. The posture information acquired by the posture acquisition unit 108 is transmitted to the image processing server 200 by the communication unit 104.
図９は、参考構図画像の抽出処理（図５のＳ２０５）のさらに詳細な動作の他の例を示すフローチャートである。 FIG. 9 is a flowchart showing another example of further detailed operation of the reference composition image extraction process (S205 in FIG. 5).
まず、参考構図画像抽出部２０７は、撮像装置１００から送信される要求画像枚数ｎ、姿勢情報、及び撮像装置１００の位置情報を受信する（Ｓ２０６１）。 First, the reference composition image extraction unit 207 receives the requested number of images n, the posture information, and the position information of the imaging device 100 transmitted from the imaging device 100 (S2061).
次に、参考構図画像抽出部２０７は、撮像装置１００の位置情報と、代表画像情報の撮影位置情報と、撮像装置１００の姿勢情報と、代表画像情報の撮影姿勢情報との間のユークリッド距離を、Ｓ２０３で抽出した代表画像情報１〜ｍについてそれぞれ算出する（Ｓ２０６２）。例えば、撮像装置１００の位置情報を（ｄｃａ＿ｘ，ｄｃａ＿ｙ，ｄｃａ＿ｚ）とし、代表画像情報ｉ（ｉ：１〜ｍ）の撮影位置情報を（ｄｉｘ，ｄｉｙ，ｄｉｚ）とし、撮像装置１００の姿勢情報を（ｄｃａ＿ｙａｗ，ｄｃａ＿ｐｉｔｃｈ，ｄｃａ＿ｒｏｌｌ）とし、代表画像情報ｉの姿勢情報を（ｄｉｙａｗ，ｄｉｐｉｔｃｈ，ｄｉｒｏｌｌ）とすると、撮像装置１００の位置情報と、代表画像情報ｉの撮影位置情報と、撮像装置１００の姿勢情報と、代表画像情報ｉの撮影姿勢情報との間のユークリッド距離ｄｉｓ２は、下記式２により求めることができる。なお、代表画像情報ｉの撮影姿勢情報は、例えば、図２に示す画像データベースの各画像情報の姿勢領域に格納されているものとする。 Next, the reference composition image extraction unit 207 calculates the Euclidean distance between the position information of the imaging device 100, the shooting position information of the representative image information, the posture information of the imaging device 100, and the shooting posture information of the representative image information. , Each of the representative image information 1 to m extracted in S203 is calculated (S2062). For example, the position information of the imaging apparatus 100 is (dca_x, dca_y, dca_z), the imaging position information of the representative image information i (i: 1 to m) is (dix, diy, diz), and the attitude information of the imaging apparatus 100 is When (dca_yaw, dca_pitch, dca_roll) and the posture information of the representative image information i are (dayau, dipitch, dirroll), the position information of the imaging device 100, the shooting position information of the representative image information i, and the posture of the imaging device 100 The Euclidean distance dis2 between the information and the shooting posture information of the representative image information i can be obtained by the following equation 2. Note that the shooting posture information of the representative image information i is stored, for example, in the posture region of each image information in the image database shown in FIG.
次に、参考構図画像抽出部２０７は、Ｓ２０６２で算出した各ユークリッド距離を昇順に並び替え、その並び替えた複数のユークリッド距離において最も小さいものから順に要求画像枚数ｎ分選択し、その選択した各ユークリッド距離に対応する代表画像情報をＳ２０３で抽出した代表画像情報１〜ｍから抽出する（Ｓ２０６３）。 Next, the reference composition image extraction unit 207 rearranges the Euclidean distances calculated in S2062 in ascending order, and selects the requested image number n in order from the smallest of the rearranged Euclidean distances. Representative image information corresponding to the Euclidean distance is extracted from the representative image information 1 to m extracted in S203 (S2063).
そして、参考構図画像抽出部２０７は、Ｓ２０６３で抽出した要求画像枚数ｎの代表画像情報のそれぞれの画像データを参考構図画像とする（Ｓ２０６４）。 Then, the reference composition image extraction unit 207 sets each image data of the representative image information of the required number of images n extracted in S2063 as a reference composition image (S2064).
このように、第１実施形態の撮影支援システムの変形例の撮影支援システムでは、代表画像情報１〜ｍから参考構図画像を抽出する際、撮像装置１００の位置情報の他にさらに撮像装置１００の姿勢情報も考慮することにより、撮像装置１００が現在取得している画像データの構図により近い構図の参考構図画像を代表画像情報１〜ｍから抽出することができる。 As described above, in the imaging support system according to the modification of the imaging support system of the first embodiment, when extracting the reference composition image from the representative image information 1 to m, in addition to the position information of the imaging apparatus 100, the imaging apparatus 100 further includes Considering the posture information, it is possible to extract the reference composition image having a composition closer to the composition of the image data currently acquired by the imaging apparatus 100 from the representative image information 1 to m.
図１０は、第２実施形態の撮影支援システムの一例を示す図である。なお、図１に示す構成と同じ構成には同じ符号を付している。 FIG. 10 is a diagram illustrating an example of a shooting support system according to the second embodiment. In addition, the same code | symbol is attached | subjected to the same structure as the structure shown in FIG.
図１０に示す撮影支援システムにおいて、図１に示す撮影支援システムと異なる点は、画像処理サーバ２００の演算部２０３がさらに優先度設定部２０８（優先度設定手段）を備えている点である。なお、優先度設定部２０８は、記憶部２０２に記憶される各種アプリケーションソフトの１つである「撮影支援処理」が演算部２０３により実行されることにより構成されてもよい。 The imaging support system shown in FIG. 10 is different from the imaging support system shown in FIG. 1 in that the calculation unit 203 of the image processing server 200 further includes a priority setting unit 208 (priority setting means). Note that the priority setting unit 208 may be configured by causing the computing unit 203 to execute “shooting support processing” that is one of various application software stored in the storage unit 202.
優先度設定部２０８は、代表画像抽出部２０６で抽出された各代表画像情報にそれぞれ優先度を設定する。 The priority setting unit 208 sets a priority for each representative image information extracted by the representative image extraction unit 206.
図１１は、第２実施形態の撮影支援システムにおける撮像装置１００の演算部１０６の動作を説明するためのフローチャートである。なお、図１１に示すＳ１００〜Ｓ１０２の処理は、図３に示すＳ１００〜Ｓ１０２の処理と同様であるため、説明を省略する。 FIG. 11 is a flowchart for explaining the operation of the arithmetic unit 106 of the imaging apparatus 100 in the imaging support system of the second embodiment. Note that the processing of S100 to S102 shown in FIG. 11 is the same as the processing of S100 to S102 shown in FIG.
演算部１０６の撮影支援画面作成部１０７は、所定数ｎの参考構図画像を受信したと判断すると（Ｓ１０２がＹｅｓ）、それら参考構図画像の優先度を考慮しつつ、それら参考構図画像を用いて撮影支援画面を作成し（Ｓ１０３１）、その作成した撮影支援画面を表示部１０２に表示させる（Ｓ１０４）。例えば、撮影支援画面作成部１０７は、図１２に示すように、右から左へ優先度の高い順に参考構図画像１〜４を並べることにより撮影支援画面を作成してもよい。また、例えば、撮影支援画面作成部１０７は、図１３に示すように、参考構図画像１〜４にそれぞれ優先度を示す優先度メータ１３０を重ねて表示してもよい。なお、優先度メータ１３０の斜線部分が大きい程、優先度が高いことを示しているものとする。また、他にも、優先度に応じて各参考構図画像のそれぞれの表示サイズを変更したり、優先度メータ１３０以外の優先度を示すエフェクトを撮影支援画面に表示したりしてもよい。 When the photographing support screen creation unit 107 of the calculation unit 106 determines that a predetermined number n of reference composition images have been received (Yes in S102), the priority of the reference composition images is taken into account and the reference composition images are used. A shooting support screen is created (S1031), and the created shooting support screen is displayed on the display unit 102 (S104). For example, the shooting support screen creation unit 107 may create the shooting support screen by arranging the reference composition images 1 to 4 in descending order of priority from right to left as shown in FIG. Further, for example, as illustrated in FIG. 13, the photographing support screen creation unit 107 may display a priority meter 130 indicating the priority on each of the reference composition images 1 to 4. It is assumed that the priority is higher as the shaded portion of the priority meter 130 is larger. In addition, the display size of each reference composition image may be changed according to the priority, or an effect indicating a priority other than the priority meter 130 may be displayed on the photographing support screen.
図１４は、第２実施形態の撮影支援システムにおける画像処理サーバ２００の演算部２０３の動作を説明するためのフローチャートである。なお、図１４に示すＳ２００〜Ｓ２０３の処理は、図５に示すＳ２００〜Ｓ２０３の処理と同様であるため、説明を省略する。 FIG. 14 is a flowchart for explaining the operation of the calculation unit 203 of the image processing server 200 in the photographing support system of the second embodiment. Note that the processing of S200 to S203 shown in FIG. 14 is the same as the processing of S200 to S203 shown in FIG.
優先度設定部２０８は、Ｓ２０３で抽出した代表画像情報１〜ｍにそれぞれ優先度を設定する（Ｓ２０３１）。例えば、優先度設定部２０８は、類似画像分類部２０５で分類される類似画像群に含まれる画像情報（画像データ）が多い程、その類似画像群から抽出された代表画像情報の優先度を高くする。すなわち、例えば、類似画像群ｉ（ｉ：１〜ｍ）に含まれる画像情報の数をｘとすると、代表画像情報ｉ（ｉ：１〜ｍ）の優先度ｐｉは、下記式３により求めることができる。なお、Ｃ１は所定の係数とする。また、代表画像情報ｉの優先度ｐｉは、例えば、図２に示す画像データベースの各画像情報の優先度領域に格納されているものとする。 The priority setting unit 208 sets priorities for the representative image information 1 to m extracted in S203 (S2031). For example, the priority setting unit 208 increases the priority of the representative image information extracted from the similar image group as the image information (image data) included in the similar image group classified by the similar image classifying unit 205 increases. To do. That is, for example, when the number of image information included in the similar image group i (i: 1 to m) is x, the priority pi of the representative image information i (i: 1 to m) is obtained by the following equation 3. Can do. C1 is a predetermined coefficient. The priority pi of the representative image information i is stored in the priority area of each image information in the image database shown in FIG. 2, for example.
ｐｉ＝Ｃ１ｘ ・・・式３ pi = C1x Equation 3
次に、参考構図画像抽出部２０７は、撮像装置１００の位置情報を受信すると（Ｓ２０４がＹｅｓ）、その位置情報に基づいて参考構図画像を代表画像情報１〜ｍから抽出し（Ｓ２０５）、その抽出した参考構図画像を優先度とともに撮像装置１００へ送信する（Ｓ２０６）。 Next, when receiving the position information of the imaging device 100 (Yes in S204), the reference composition image extraction unit 207 extracts reference composition images from the representative image information 1 to m based on the position information (S205). The extracted reference composition image is transmitted to the imaging apparatus 100 together with the priority (S206).
このように、第２実施形態の撮影支援システムでは、類似画像群に含まれる画像情報が多い程、その類似画像群から抽出される代表画像情報の優先度を高くする構成であるため、人気がありネットワーク上などにたくさん存在する定番の構図の画像データを参考構図画像として撮影者に提示することができる。 Thus, in the imaging support system of the second embodiment, the more image information included in the similar image group, the higher the priority of the representative image information extracted from the similar image group. It is possible to present the photographer with image data of a standard composition that exists in large numbers on a network as a reference composition image.
なお、優先度設定部２０８は、Ｓ２０５で抽出した参考構図画像の撮影位置情報が撮像装置１００の位置情報に近い程、その参考構図画像に対応する代表画像情報の優先度をさらに高くしてもよい。すなわち、例えば、撮像装置１００の位置ベクトルをｄｃａ、代表画像情報ｉの位置ベクトルをｄｉ、更新前の代表画像情報ｉの優先度をｐｉｏｌｄとすると、更新後の代表画像ｉの優先度ｐｉは、下記式４により求めることができる。なお、Ｃ２は（ｄｃａ−ｄｉ）が小さくなる程、値が大きくなるような所定の係数ベクトルとする。 The priority setting unit 208 may increase the priority of the representative image information corresponding to the reference composition image as the shooting position information of the reference composition image extracted in S205 is closer to the position information of the imaging apparatus 100. Good. That is, for example, if the position vector of the imaging device 100 is dca, the position vector of the representative image information i is di, and the priority of the representative image information i before update is piold, the priority pi of the updated representative image i is It can obtain | require by the following formula 4. C2 is a predetermined coefficient vector whose value increases as (dca-di) decreases.
ｐｉ＝Ｃ２（ｄｃａ−ｄｉ）Ｐｉｏｌｄ ・・・式４ pi = C2 (dca-di) Piold Formula 4
このように、撮像装置１００の位置情報に近い程、代表画像情報の優先度を高くすることで、より高精度に撮影者が所望とする参考構図画像を撮影者に提示することができる。 In this way, by increasing the priority of the representative image information as it is closer to the position information of the imaging apparatus 100, it is possible to present the reference composition image desired by the photographer to the photographer with higher accuracy.
図１５は、第２実施形態の撮影支援システムの変形例を示す図である。なお、図１０に示す構成と同じ構成には同じ符号を付している。 FIG. 15 is a diagram illustrating a modification of the imaging support system according to the second embodiment. In addition, the same code | symbol is attached | subjected to the same structure as the structure shown in FIG.
図１５に示す撮影支援システムにおいて、図１０に示す撮影支援システムと異なる点は、撮像装置１００で現在撮像されている画像データ（スルー画）を画像処理サーバ２００へ送信し、その画像データを用いて優先度設定部２０８が優先度を設定する点である。 The imaging support system shown in FIG. 15 is different from the imaging support system shown in FIG. 10 in that image data (through image) currently captured by the imaging apparatus 100 is transmitted to the image processing server 200 and the image data is used. Thus, the priority setting unit 208 sets the priority.
図１６は、図１０に示す撮影支援システムにおける優先度設定部２０８の動作を説明するためのフローチャートである。なお、図１６に示すフローチャートは、例えば、図１４のＳ２０３１において行われるものとする。 FIG. 16 is a flowchart for explaining the operation of the priority setting unit 208 in the photographing support system shown in FIG. Note that the flowchart shown in FIG. 16 is performed, for example, in S2031 of FIG.
まず、優先度設定部２０８は、撮像装置１００から送信されるスルー画を受信し（Ｓ１６０１）、そのスルー画の特徴量を算出する（Ｓ１６０２）。 First, the priority setting unit 208 receives a through image transmitted from the imaging apparatus 100 (S1601), and calculates a feature amount of the through image (S1602).
次に、優先度設定部２０８は、その算出した特徴量に基づいて、スルー画と代表画像情報の画像データとの類似度を、代表画像情報１〜ｍそれぞれにおいて算出し（Ｓ１６０３）、その算出した各類似度に基づいて、代表画像情報１〜ｍのそれぞれの優先度を設定する（Ｓ１６０４）。 Next, the priority setting unit 208 calculates the similarity between the through image and the image data of the representative image information in each of the representative image information 1 to m based on the calculated feature amount (S1603). Based on the similarities, the priorities of the representative image information 1 to m are set (S1604).
例えば、撮像装置１００の位置ベクトルｄｃａと代表画像情報ｉの位置ベクトルｄｉとにより撮像装置１００と代表画像情報との距離を算出するための関数をＦ１、スルー画の特徴量ｆｃａと代表画像情報ｉの画像データの特徴量ｆｉとによりスルー画と代表画像情報ｉの画像データとの類似度を算出するための関数をＦ２、類似画像群ｉに含まれる画像情報の数をｘｉとすると、代表画像情報ｉ（ｉ：１〜ｍ）の優先度ｐｉは、下記式５により求めることができる。なお、Ｃ１は所定の係数とし、Ｃ２及びＣ３は所定の係数ベクトルとする。 For example, F1 is a function for calculating the distance between the imaging device 100 and the representative image information based on the position vector dca of the imaging device 100 and the position vector di of the representative image information i, and the through image feature amount fca and the representative image information i. If the function for calculating the similarity between the through image and the image data of the representative image information i is F2 and the number of image information included in the similar image group i is xi, The priority pi of the information i (i: 1 to m) can be obtained by the following formula 5. C1 is a predetermined coefficient, and C2 and C3 are predetermined coefficient vectors.
ｐｉ＝Ｃ１ｘｉ・Ｃ２Ｆ１（ｄｃａ，ｄｉ）・Ｃ３Ｆ２（ｆｃａ，ｆｉ） ・・・式５ pi = C1xi · C2F1 (dca, di) · C3F2 (fca, fi) Equation 5
このように、図１０に示す第２実施形態の撮影支援システムでは、撮像装置１００の位置情報と代表画像情報の撮影位置情報とが近い程、かつ、スルー画と代表画像情報の画像データとの類似度が高い程、その代表画像情報の優先度を高くする構成であるため、人気がありネットワーク上などにたくさん存在する定番の構図で、かつ、撮影者が所望する構図に近い画像データを参考構図画像として撮影者に提示することができる。 As described above, in the shooting support system of the second embodiment illustrated in FIG. 10, the closer the position information of the imaging device 100 and the shooting position information of the representative image information are, the closer the through image and the image data of the representative image information are. The higher the similarity is, the higher the priority of the representative image information is. Therefore, reference is made to image data that is popular and has a standard composition that exists in large numbers on the network and close to the composition desired by the photographer. It can be presented to the photographer as a composition image.
図１７は、本発明の実施形態の撮像装置を示す図である。なお、図１に示す構成と同じ構成には同じ符号を付している。 FIG. 17 is a diagram illustrating an imaging apparatus according to an embodiment of the present invention. In addition, the same code | symbol is attached | subjected to the same structure as the structure shown in FIG.
図１７に示す撮像装置１００は、図１に示す画像処理サーバ２００の演算部２０３の構成（特徴量算出部２０４、類似画像分類部２０５、代表画像抽出部２０６、参考構図画像抽出部２０７）を撮像装置１００の演算部１０６に含めていることを特徴とする。なお、記憶部２０２は、撮像装置１００が外部のコンピュータに接続された場合、そのコンピュータに備えられる記憶部としてもよい。 The imaging apparatus 100 illustrated in FIG. 17 includes the configuration of the calculation unit 203 (a feature amount calculation unit 204, a similar image classification unit 205, a representative image extraction unit 206, and a reference composition image extraction unit 207) of the image processing server 200 illustrated in FIG. It is included in the calculation part 106 of the imaging device 100. Note that when the imaging apparatus 100 is connected to an external computer, the storage unit 202 may be a storage unit provided in the computer.
このように構成することにより、撮像装置１００に通信機能を備える必要がなくなる。 With this configuration, the imaging apparatus 100 does not need to have a communication function.
なお、図１７に示す撮像装置１００は、演算部１０６に特徴量算出部２０４、類似画像分類部２０５、代表画像抽出部２０６、参考構図画像抽出部２０７を備える構成であるが、特徴量算出部２０４、類似画像分類部２０５、代表画像抽出部２０６を画像処理サーバ２００の演算部２０３に備え、参考構図画像抽出部２０７のみを演算部１０６に備えるように構成してもよい。この場合、記憶部２０２には、代表画像抽出部２０６で抽出された代表画像情報が記憶されていてもよい。これにより、記憶部２０２の容量を抑えることができる。 Note that the imaging apparatus 100 illustrated in FIG. 17 includes a feature amount calculation unit 204, a similar image classification unit 205, a representative image extraction unit 206, and a reference composition image extraction unit 207 in the calculation unit 106. 204, the similar image classification unit 205, and the representative image extraction unit 206 may be provided in the calculation unit 203 of the image processing server 200, and only the reference composition image extraction unit 207 may be provided in the calculation unit 106. In this case, the storage unit 202 may store representative image information extracted by the representative image extraction unit 206. Thereby, the capacity of the storage unit 202 can be suppressed.
また、図１７に示す撮像装置１００は、図１に示す画像処理サーバ２００の演算部２０３の構成を図１に示す撮像装置１００の演算部１０６に含めているが、図８に示す画像処理サーバ２００の演算部２０３の構成を図８に示す撮像装置１００の演算部１０６に含めてもよいし、図１０に示す画像処理サーバ２００の演算部２０３の構成を図１０に示す撮像装置１００の演算部１０６に含めてもよいし、図１５に示す画像処理サーバ２００の演算部２０３の構成を図１５に示す撮像装置１００の演算部１０６に含めてもよい。 17 includes the configuration of the calculation unit 203 of the image processing server 200 shown in FIG. 1 in the calculation unit 106 of the imaging device 100 shown in FIG. 1, but the image processing server shown in FIG. The configuration of the calculation unit 203 of 200 may be included in the calculation unit 106 of the imaging device 100 shown in FIG. 8, or the configuration of the calculation unit 203 of the image processing server 200 shown in FIG. 10 is calculated by the calculation of the imaging device 100 shown in FIG. The configuration may be included in the unit 106, or the configuration of the calculation unit 203 of the image processing server 200 illustrated in FIG. 15 may be included in the calculation unit 106 of the imaging device 100 illustrated in FIG.
図１８は、本発明の第３実施形態の撮影支援システムを示す図である。図１に示す構成と同じ構成には同じ符号を付している。 FIG. 18 is a diagram showing a photographing support system according to the third embodiment of the present invention. The same components as those shown in FIG.
図１８に示す撮影支援システムは、撮像装置１００や画像処理サーバ２００の他に、撮像装置１００や画像処理サーバ２００とデータの送受信を行う画像管理サーバ３００を備えていることを特徴とする。 The imaging support system illustrated in FIG. 18 includes an image management server 300 that transmits and receives data to and from the imaging device 100 and the image processing server 200 in addition to the imaging device 100 and the image processing server 200.
撮像装置１００は、撮像部１０１と、表示部１０２（表示手段）と、撮影位置取得部１０３（位置取得手段）と、通信部１０４（第１の通信手段）と、記憶部１０５と、演算部１０６とを備える。また、画像処理サーバ２００は、通信部２０１（第２の通信手段）と、記憶部２０２（第１の記憶手段）と、演算部２０３とを備える。また、画像管理サーバ３００は、通信部３０１（第３の通信手段）と、記憶部３０２（第２の記憶手段）と、演算部３０３とを備える。 The imaging apparatus 100 includes an imaging unit 101, a display unit 102 (display unit), a shooting position acquisition unit 103 (position acquisition unit), a communication unit 104 (first communication unit), a storage unit 105, and a calculation unit. 106. The image processing server 200 includes a communication unit 201 (second communication unit), a storage unit 202 (first storage unit), and a calculation unit 203. The image management server 300 includes a communication unit 301 (third communication unit), a storage unit 302 (second storage unit), and a calculation unit 303.
画像管理サーバ３００の演算部３０３は、例えば、ＣＰＵやマイクロコンピュータなどにより構成され、記憶部３０２に記憶されているオペレーションシステムのプログラムや各種アプリケーションソフトを実行することにより画像管理サーバ３００全体の動作制御を行う。また、演算部３０３は、特徴量算出部２０４（特徴量算出手段）、類似画像分類部２０５（類似画像分類手段）、及び代表画像抽出部２０６（代表画像抽出手段）を備える。例えば、記憶部３０２に記憶される各種アプリケーションソフトの１つである「撮影支援処理」が演算部３０３により実行されると、特徴量算出部２０４、類似画像分類部２０５、及び代表画像抽出部２０６が構成されるものとする。すなわち、特徴量算出部２０４は、記憶部３０２に記憶されている画像データベース（例えば、図２に示す画像データベース）から複数の画像情報を読み出し、それら画像情報の各画像データのそれぞれの特徴量を算出する。次に、類似画像分類部２０５は、それら各特徴量に基づいて、読み出した複数の画像情報を複数の類似画像群１〜ｍに分類する。そして、代表画像抽出部２０６は、それら類似画像群１〜ｍにおいて、それぞれ、代表画像を抽出する。 The calculation unit 303 of the image management server 300 is configured by, for example, a CPU or a microcomputer, and controls the operation of the entire image management server 300 by executing an operation system program and various application software stored in the storage unit 302. I do. The calculation unit 303 includes a feature amount calculation unit 204 (feature amount calculation unit), a similar image classification unit 205 (similar image classification unit), and a representative image extraction unit 206 (representative image extraction unit). For example, when the “photographing support process”, which is one of various application software stored in the storage unit 302, is executed by the calculation unit 303, the feature amount calculation unit 204, the similar image classification unit 205, and the representative image extraction unit 206. Is configured. That is, the feature amount calculation unit 204 reads a plurality of pieces of image information from an image database (for example, the image database shown in FIG. 2) stored in the storage unit 302, and calculates the feature amounts of the image data of the image information. calculate. Next, the similar image classifying unit 205 classifies the read plurality of pieces of image information into a plurality of similar image groups 1 to m based on the respective feature amounts. Then, the representative image extraction unit 206 extracts representative images in the similar image groups 1 to m, respectively.
通信部３０１は、代表画像抽出部２０６で抽出された代表画像１〜ｍを画像処理サーバ２００へ送信する。画像処理サーバ２００の通信部２０１は、画像管理サーバ３００から送信される代表画像１〜ｍを受信する。画像処理サーバ２００の演算部２０３は、通信部２０１で受信された代表画像１〜ｍを記憶部３０２に記憶する。また、画像処理サーバ２００の参考構図画像抽出部２０７は、記憶部２０２に記憶されている代表画像１〜ｍから所定数ｎの参考構図画像を抽出し、通信部２０１により撮像装置１００へ送信させる。 The communication unit 301 transmits the representative images 1 to m extracted by the representative image extraction unit 206 to the image processing server 200. The communication unit 201 of the image processing server 200 receives the representative images 1 to m transmitted from the image management server 300. The arithmetic unit 203 of the image processing server 200 stores the representative images 1 to m received by the communication unit 201 in the storage unit 302. The reference composition image extraction unit 207 of the image processing server 200 extracts a predetermined number n of reference composition images from the representative images 1 to m stored in the storage unit 202 and causes the communication unit 201 to transmit the reference composition images to the imaging apparatus 100. .
このように、記憶部３０２に記憶されている複数の画像情報から代表画像１〜ｍを抽出するまでの処理を画像管理サーバ３００で行い、その代表画像１〜ｍを画像処理サーバ２００の記憶部２０２に記憶しておき、画像処理サーバ２００において参考構図画像の抽出処理のみを行うようにしている。これにより、「撮影支援処理」を行う際に画像処理サーバ２００にかかる負担を軽減することができる。また、画像処理サーバ２００の記憶部２０２の記憶容量を低減することができる。 As described above, the image management server 300 performs processing until the representative images 1 to m are extracted from the plurality of pieces of image information stored in the storage unit 302, and the representative images 1 to m are stored in the storage unit of the image processing server 200. 202, and the image processing server 200 performs only the extraction process of the reference composition image. Thereby, it is possible to reduce the burden on the image processing server 200 when performing the “photographing support process”. In addition, the storage capacity of the storage unit 202 of the image processing server 200 can be reduced.
なお、参考構図画像抽出部２０７は、図８に示す撮像装置１００の姿勢取得部１０８で取得される姿勢情報も考慮して、代表画像１〜ｍから所定数ｎの参考構図画像を抽出してもよい。また、画像管理サーバ３００の演算部３０３は、図１０や図１５に示す優先度設定部２０８も備えるように構成してもよい。 The reference composition image extraction unit 207 extracts a predetermined number n of reference composition images from the representative images 1 to m in consideration of the posture information acquired by the posture acquisition unit 108 of the imaging apparatus 100 illustrated in FIG. Also good. Further, the calculation unit 303 of the image management server 300 may be configured to include a priority setting unit 208 illustrated in FIGS. 10 and 15.
１００ 撮像装置
１０１ 撮像部
１０２ 表示部
１０３ 撮影位置取得部
１０４ 通信部
１０５ 記憶部
１０６ 演算部
１０７ 撮影支援画面作成部
１０８ 姿勢取得部
２００ 画像処理サーバ
２０１ 通信部
２０２ 記憶部
２０３ 演算部
２０４ 特徴量算出部
２０５ 類似画像分類部
２０６ 代表画像抽出部
２０７ 参考構図画像抽出部
２０８ 優先度設定部
DESCRIPTION OF SYMBOLS 100 Imaging device 101 Imaging part 102 Display part 103 Shooting position acquisition part 104 Communication part 105 Storage part 106 Calculation part 107 Shooting assistance screen creation part 108 Posture acquisition part 200 Image processing server 201 Communication part 202 Storage part 203 Calculation part 204 Feature amount calculation Unit 205 similar image classification unit 206 representative image extraction unit 207 reference composition image extraction unit 208 priority setting unit
Claims (7)
前記撮像装置は、
前記撮像装置の位置情報を取得する位置取得手段と、
前記撮像装置の位置情報を前記画像処理サーバへ送信し、前記画像処理サーバから送信される参考構図画像を受信する第１の通信手段と、
前記参考構図画像を用いて撮影支援画面を作成する撮影支援画面作成手段と、
前記撮影支援画面を表示する表示手段と、
を備え、
前記画像処理サーバは、
少なくとも画像データ及びその画像データの撮影位置情報からなる画像情報を複数記憶する記憶手段と、
前記記憶手段に記憶される複数の画像情報の各画像データのそれぞれの特徴量を算出する特徴量算出手段と、
前記各特徴量に基づいて、前記記憶手段に記憶される複数の画像情報を複数の類似画像群に分類する類似画像分類手段と、
前記複数の類似画像群からそれぞれ代表画像情報を抽出する代表画像抽出手段と、
前記撮像装置の位置情報に近い撮影位置情報に対応する画像データを前記参考構図画像として前記複数の代表画像情報から抽出する参考構図画像抽出手段と、
前記参考構図画像抽出手段により抽出される参考構図画像を前記撮像装置へ送信し、前記撮像装置から送信される前記撮像装置の位置情報を受信する第２の通信手段と、
を備える撮影支援システム。 An imaging support system in which an imaging device and an image processing server exchange data with each other,
The imaging device
Position acquisition means for acquiring position information of the imaging device;
First communication means for transmitting position information of the imaging device to the image processing server and receiving a reference composition image transmitted from the image processing server;
Shooting support screen creation means for creating a shooting support screen using the reference composition image;
Display means for displaying the photographing support screen;
With
The image processing server
Storage means for storing a plurality of image information including at least image data and shooting position information of the image data;
Feature quantity calculating means for calculating the feature quantity of each image data of the plurality of image information stored in the storage means;
Similar image classification means for classifying a plurality of pieces of image information stored in the storage means into a plurality of similar image groups based on the feature amounts;
Representative image extraction means for extracting representative image information from each of the plurality of similar image groups,
Reference composition image extracting means for extracting image data corresponding to shooting position information close to the position information of the imaging device as the reference composition image from the plurality of representative image information;
Second communication means for transmitting the reference composition image extracted by the reference composition image extracting means to the imaging apparatus and receiving positional information of the imaging apparatus transmitted from the imaging apparatus;
A shooting support system.
前記撮像装置は、前記撮像装置の姿勢情報を取得する姿勢取得手段を備え、
前記第１の通信手段は、前記姿勢情報を前記画像処理サーバへ送信し、
前記第２の通信手段は、前記撮像装置から送信される前記姿勢情報を受信し、
前記記憶手段は、前記画像データ、前記撮影位置情報、及び前記画像データの撮影姿勢情報からなる画像情報を複数記憶し、
前記参考構図画像抽出手段は、前記撮像装置の位置情報に近い撮影位置情報で、かつ、前記撮像装置の姿勢情報に近い撮影姿勢情報に対応する画像データを前記参考構図画像として前記複数の代表画像情報から抽出する
ことを特徴とする撮影支援システム。 The imaging support system according to claim 1,
The imaging device includes posture acquisition means for acquiring posture information of the imaging device,
The first communication means transmits the posture information to the image processing server,
The second communication means receives the posture information transmitted from the imaging device,
The storage means stores a plurality of pieces of image information including the image data, the shooting position information, and shooting posture information of the image data,
The reference composition image extracting means uses the image data corresponding to shooting position information close to the position information of the imaging device and shooting position information close to the position information of the imaging device as the reference composition image as the plurality of representative images. A shooting support system characterized by extraction from information.
前記画像処理サーバは、前記類似画像群に含まれる画像情報が多い程、その類似画像群から抽出された代表画像情報の優先度を高く設定する優先度設定手段を備え、
前記撮影支援画面作成手段は、２以上の前記参考構図画像及びそれら前記参考構図画像にそれぞれ対応する優先度を用いて前記撮影支援画面を作成する
ことを特徴とする撮影支援システム。 The imaging support system according to claim 1,
The image processing server includes a priority setting unit that sets a higher priority of representative image information extracted from the similar image group as the image information included in the similar image group increases.
The photographing support screen creating means creates the photographing support screen using two or more reference composition images and priorities corresponding to the reference composition images, respectively.
前記優先度設定手段は、前記代表画像情報の撮影位置情報が前記撮像装置の位置情報に近い程、その代表画像情報の優先度をさらに高くする
ことを特徴とする撮影支援システム。 The imaging support system according to claim 3,
The priority setting means further increases the priority of the representative image information as the shooting position information of the representative image information is closer to the position information of the imaging device.
前記優先度設定手段は、前記撮像装置から送信される画像データと前記代表画像情報の画像データとの類似度が高い程、その代表画像情報の優先度をさらに高くする
ことを特徴とする撮影支援システム。 The imaging support system according to claim 4,
The priority setting means further increases the priority of the representative image information as the similarity between the image data transmitted from the imaging device and the image data of the representative image information is higher. system.
少なくとも画像データ及びその画像データの撮影位置情報からなる画像情報を複数記憶する記憶手段と、
前記記憶手段に記憶される複数の画像情報の各画像データのそれぞれの特徴量を算出する特徴量算出手段と、
前記各特徴量に基づいて、前記記憶手段に記憶される複数の画像情報を複数の類似画像群に分類する類似画像分類手段と、
前記複数の類似画像群からそれぞれ代表画像情報を抽出する代表画像抽出手段と、
当該撮像装置の位置情報に近い撮影位置情報に対応する画像データを参考構図画像として前記複数の代表画像情報から抽出する参考構図画像抽出手段と、
前記参考構図画像抽出手段により抽出された参考構図画像を用いて撮影支援画面を作成する撮影支援画面作成手段と、
前記撮影支援画面を表示する表示手段と、
を備える撮像装置。 Position acquisition means for acquiring position information of the imaging device;
Storage means for storing a plurality of image information including at least image data and shooting position information of the image data;
Feature quantity calculating means for calculating the feature quantity of each image data of the plurality of image information stored in the storage means;
Similar image classification means for classifying a plurality of pieces of image information stored in the storage means into a plurality of similar image groups based on the feature amounts;
Representative image extraction means for extracting representative image information from each of the plurality of similar image groups,
Reference composition image extraction means for extracting image data corresponding to shooting position information close to the position information of the imaging apparatus as a reference composition image from the plurality of representative image information;
Shooting support screen creating means for creating a shooting support screen using the reference composition image extracted by the reference composition image extracting means;
Display means for displaying the photographing support screen;
An imaging apparatus comprising:
前記撮像装置は、
前記撮像装置の位置情報を取得する位置取得手段と、
前記撮像装置の位置情報を前記画像処理サーバへ送信し、前記画像処理サーバから送信される参考構図画像を受信する第１の通信手段と、
前記参考構図画像を用いて撮影支援画面を作成する撮影支援画面作成手段と、
前記撮影支援画面を表示する表示手段と、
を備え、
前記画像処理サーバは、
前記参考構図画像を前記撮像装置へ送信し、前記撮像装置から送信される前記撮像装置の位置情報及び前記画像管理サーバから送信される複数の代表画像情報を受信する第２の通信手段と、
前記複数の代表画像情報を記憶する第１の記憶手段と、
前記撮像装置の位置情報に近い撮影位置情報に対応する画像データを前記参考構図画像として前記第１の記憶手段に記憶されている複数の代表画像情報から抽出する参考構図画像抽出手段と、
を備え、
前記画像管理サーバは、
少なくとも画像データ及びその画像データの撮影位置情報からなる画像情報を複数記憶する第２の記憶手段と、
前記第２の記憶手段に記憶される複数の画像情報の各画像データのそれぞれの特徴量を算出する特徴量算出手段と、
前記各特徴量に基づいて、前記第２の記憶手段に記憶される複数の画像情報を複数の類似画像群に分類する類似画像分類手段と、
前記複数の類似画像群からそれぞれ代表画像情報を抽出する代表画像抽出手段と、
前記代表画像抽出手段により抽出される複数の代表画像情報を前記画像処理サーバへ送信する第３の通信手段と、
を備える撮影支援システム。
An imaging support system in which an imaging device, an image processing server, and an image management server exchange data with each other,
The imaging device
Position acquisition means for acquiring position information of the imaging device;
First communication means for transmitting position information of the imaging device to the image processing server and receiving a reference composition image transmitted from the image processing server;
Shooting support screen creation means for creating a shooting support screen using the reference composition image;
Display means for displaying the photographing support screen;
With
The image processing server
A second communication means for transmitting the reference composition image to the imaging device, and receiving position information of the imaging device transmitted from the imaging device and a plurality of representative image information transmitted from the image management server;
First storage means for storing the plurality of representative image information;
Reference composition image extracting means for extracting image data corresponding to shooting position information close to the position information of the imaging device from a plurality of representative image information stored in the first storage means as the reference composition image;
With
The image management server
Second storage means for storing a plurality of image information including at least image data and shooting position information of the image data;
Feature amount calculating means for calculating each feature amount of each image data of a plurality of image information stored in the second storage means;
Similar image classification means for classifying a plurality of pieces of image information stored in the second storage means into a plurality of similar image groups based on the feature amounts;
Representative image extraction means for extracting representative image information from each of the plurality of similar image groups,
Third communication means for transmitting a plurality of representative image information extracted by the representative image extraction means to the image processing server;
A shooting support system.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2011126451A JP5739239B2 (en) | 2011-06-06 | 2011-06-06 | Imaging support system and imaging apparatus |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2011126451A JP5739239B2 (en) | 2011-06-06 | 2011-06-06 | Imaging support system and imaging apparatus |
Related Child Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2015088669A Division JP5932107B2 (en) | 2015-04-23 | 2015-04-23 | Image processing server and imaging apparatus |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2012253669A true JP2012253669A (en) | 2012-12-20 |
| JP5739239B2 JP5739239B2 (en) | 2015-06-24 |
Family
ID=47526036
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2011126451A Expired - Fee Related JP5739239B2 (en) | 2011-06-06 | 2011-06-06 | Imaging support system and imaging apparatus |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP5739239B2 (en) |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2014155789A1 (en) * | 2013-03-27 | 2014-10-02 | オリンパス株式会社 | Image pickup device, composition assist device, composition assist method, and composition assist program |
| JP2015012543A (en) * | 2013-07-01 | 2015-01-19 | キヤノン株式会社 | Photographing system, imaging device, and server |
| JP2015082822A (en) * | 2013-10-24 | 2015-04-27 | オリンパス株式会社 | Image display terminal, image display method, and program |
| CN113905174A (en) * | 2021-09-18 | 2022-01-07 | 咪咕文化科技有限公司 | Photographing gesture recommendation method, device, equipment and computer readable storage medium |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2008011316A (en) * | 2006-06-30 | 2008-01-17 | Casio Comput Co Ltd | Camera-apparatus and camera apparatus control program |
| JP2009267682A (en) * | 2008-04-24 | 2009-11-12 | Nikon Corp | Representative image determination device and camera |
| US20090278958A1 (en) * | 2008-05-08 | 2009-11-12 | Samsung Electronics Co., Ltd. | Method and an apparatus for detecting a composition adjusted |
| US20120133816A1 (en) * | 2010-11-30 | 2012-05-31 | Canon Kabushiki Kaisha | System and method for user guidance of photographic composition in image acquisition systems |
-
2011
- 2011-06-06 JP JP2011126451A patent/JP5739239B2/en not_active Expired - Fee Related
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2008011316A (en) * | 2006-06-30 | 2008-01-17 | Casio Comput Co Ltd | Camera-apparatus and camera apparatus control program |
| JP2009267682A (en) * | 2008-04-24 | 2009-11-12 | Nikon Corp | Representative image determination device and camera |
| US20090278958A1 (en) * | 2008-05-08 | 2009-11-12 | Samsung Electronics Co., Ltd. | Method and an apparatus for detecting a composition adjusted |
| US20120133816A1 (en) * | 2010-11-30 | 2012-05-31 | Canon Kabushiki Kaisha | System and method for user guidance of photographic composition in image acquisition systems |
Cited By (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2014155789A1 (en) * | 2013-03-27 | 2014-10-02 | オリンパス株式会社 | Image pickup device, composition assist device, composition assist method, and composition assist program |
| JP2014192743A (en) * | 2013-03-27 | 2014-10-06 | Olympus Corp | Imaging device, composition assisting device, composition assisting method, and composition assisting program |
| US9712760B2 (en) | 2013-03-27 | 2017-07-18 | Olympus Corporation | Imaging apparatus, composition assisting apparatus, composition assisting method, and non-transitory storage medium storing composition assisting program |
| JP2015012543A (en) * | 2013-07-01 | 2015-01-19 | キヤノン株式会社 | Photographing system, imaging device, and server |
| JP2015082822A (en) * | 2013-10-24 | 2015-04-27 | オリンパス株式会社 | Image display terminal, image display method, and program |
| WO2015060075A1 (en) * | 2013-10-24 | 2015-04-30 | オリンパス株式会社 | Image display terminal, image display method, and program |
| US10178320B2 (en) | 2013-10-24 | 2019-01-08 | Olympus Corporation | Image display terminal, image display method, and non-transitory computer readable recording medium storing program |
| CN113905174A (en) * | 2021-09-18 | 2022-01-07 | 咪咕文化科技有限公司 | Photographing gesture recommendation method, device, equipment and computer readable storage medium |
Also Published As
| Publication number | Publication date |
|---|---|
| JP5739239B2 (en) | 2015-06-24 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US8447769B1 (en) | System and method for real-time image collection and sharing | |
| KR101379066B1 (en) | Image processing device, image processing method, and recording medium | |
| US20120321131A1 (en) | Image-related handling support system, information processing apparatus, and image-related handling support method | |
| US9046996B2 (en) | Techniques for navigation among multiple images | |
| JP2014112302A (en) | Prescribed area management system, communication method, and program | |
| WO2015145769A1 (en) | Imaging device, information processing device, photography assistance system, photography assistance program, and photography assistance method | |
| JP5739239B2 (en) | Imaging support system and imaging apparatus | |
| JP5932107B2 (en) | Image processing server and imaging apparatus | |
| US8885952B1 (en) | Method and system for presenting similar photos based on homographies | |
| JP6323548B2 (en) | Imaging assistance system, imaging apparatus, information processing apparatus, imaging assistance program, and imaging assistance method | |
| JP6210807B2 (en) | Display control device and control method of display control device | |
| JP6171660B2 (en) | Information processing apparatus, information processing system, and program | |
| JP6115113B2 (en) | Predetermined area management system, predetermined area management method, and program | |
| JP6302421B2 (en) | Content search device, content search method, content storage device, and content storage method | |
| JP2015032248A (en) | Image search device, system and program for searching for data | |
| JP2017184021A (en) | Content providing device and content providing program | |
| JP6115673B2 (en) | Apparatus and program | |
| JP5651975B2 (en) | Image browsing device and camera | |
| CN112565586A (en) | Automatic focusing method and device | |
| KR20150106621A (en) | Terminal and service providing device, control method thereof, computer readable medium having computer program recorded therefor and image searching system | |
| JP6040336B1 (en) | Shooting target position specifying device, shooting target position specifying method, and program | |
| US9058674B1 (en) | Enhancing resolution of single images | |
| JP2018005611A (en) | Information processing equipment | |
| JP2013175956A (en) | Image pickup device, image pickup method, image processing device, image processing method and image processing system | |
| JP5655916B2 (en) | Image search system |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20140509 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20150213 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20150324 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20150423 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 5739239 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| S531 | Written request for registration of change of domicile |
Free format text: JAPANESE INTERMEDIATE CODE: R313531 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| LAPS | Cancellation because of no payment of annual fees |