JP2008148220A - Imaging apparatus, imaging method, and control program - Google Patents

Abstract

<P>PROBLEM TO BE SOLVED: To generate effective metadata to be imparted to imaging data without requiring manpower. <P>SOLUTION: A digital camera 1 includes a shutter button 4 for inputting imaging instruction by full depression operation; an imaging part 10 for implementing imaging in response to an input of imaging instruction from the shutter button 4 to generate imaged image data and previously implementing imaging prior to the input of the imaging instruction to generate preimaging data 80; and a metadeta generation part 12 for generating metadata to be imparted to the imaged image data on the basis of the preimaging data 80. <P>COPYRIGHT: (C)2008,JPO&INPIT

Description

本発明は、撮影データに付与されるメタデータの生成を可能にする撮影装置、撮影方法及び制御プログラムに関する。   The present invention relates to a photographing apparatus, a photographing method, and a control program that enable generation of metadata attached to photographing data.

近年、デジタルカメラ、デジタルビデオカメラ、カメラ機能付き携帯電話機の普及によって、個人でも大量の画像を撮影する環境が整ってきた。撮影者は、通常、撮影画像データをパーソナルコンピュータ等の記憶装置やコンパクトデスク、デジタルビデオデスク等の記憶媒体に格納し保存している。しかしながら、撮影画像の量が多くなると、後日、検索、整理、印刷などする場合に、所望のコンテンツを見つけ出すことが困難になるという問題がある。このため、標準化団体・組織である、ＭＰＥＧ−７（Multimedia Content Description Interface）や、TV Anytime Forumでは、画像データに検索用のメタデータ（以下、単に「メタデータ」と言う）を付与し、効率的な検索を可能にすることが検討されている。   In recent years, with the widespread use of digital cameras, digital video cameras, and mobile phones with camera functions, an environment has been prepared for individuals to shoot a large number of images. A photographer usually stores and saves photographed image data in a storage device such as a personal computer or a storage medium such as a compact desk or a digital video desk. However, when the amount of photographed images increases, there is a problem that it becomes difficult to find desired content when searching, organizing, printing, etc. at a later date. For this reason, MPEG-7 (Multimedia Content Description Interface) and TV Anytime Forum, which are standardization organizations / organizations, provide search metadata (hereinafter simply referred to as “metadata”) to image data for efficiency. To enable efficient search is being considered.

しかしながら、撮影者が撮影画像データに対するメタデータの付与を、撮影画像毎に手作業で行うと、多大な手間と時間を要してしまうという問題がある。これに対して、近年では、撮影日時や撮影条件（レンズの焦点距離、絞り、シャッタースピード等）等の情報を撮影時に自動的に撮影画像データに付加する、例えばＥｘｉｆ（Exchangeable Image File Format）規格が知られており、これらの情報をメタデータとすることで、撮影画像データへのメタデータ付与の手間を省くことが可能になる。さらに、近年では、撮影装置にＧＰＳ（Global Positioning System）受信機を搭載し、ＧＰＳを用いて撮影場所の緯度及び経度を取得し、撮影日時と共にメタデータとして撮影時に自動的に撮影画像データに付与する技術も提案されている（例えば、特許文献１参照）。
特開２００１−２９２４１１号公報 However, if the photographer manually assigns the metadata to the photographed image data for each photographed image, there is a problem that much time and effort are required. On the other hand, in recent years, information such as shooting date / time and shooting conditions (lens focal length, aperture, shutter speed, etc.) is automatically added to shot image data at the time of shooting, for example, the Exif (Exchangeable Image File Format) standard. By using these pieces of information as metadata, it is possible to save the trouble of adding metadata to the captured image data. Furthermore, in recent years, a GPS (Global Positioning System) receiver is installed in the photographing device, and the latitude and longitude of the photographing location are acquired using the GPS, and are automatically added to the photographed image data as metadata together with the photographing date and time. The technique to do is also proposed (for example, refer patent document 1).
JP 2001-292411 A

しかしながら、撮影画像データに対して、撮影場所を示す緯度及び経度や撮影時刻をメタデータとして付加したとしても、これらの数字から撮影者が具体的な撮影場所や撮影シーンを認識することは非常に困難であり、これらのメタデータは、利用者が撮影画像データの内容を認識し、所望の撮影画像データを見つけ出すために有益なメタデータとは言い難い。したがって、有益なメタデータを付与するためには、結局は、撮影者が、具体的な撮影場所や撮影シーンの情報をメタデータとして手作業で撮影画像データに付与する必要がある。なお、かかる問題は、撮影データが写真等の撮影画像データである場合に限らず、ホームビデオ等の撮影動画データであっても同様に生じる問題である。
本発明は、上述した事情に鑑みてなされたものであり、人手を煩わせずに、撮影データに付与する有益なメタデータを生成可能な撮影装置、撮影方法及び制御プログラムを提供することを目的とする。 However, even if the latitude and longitude indicating the shooting location and the shooting time are added as metadata to the shot image data, it is very difficult for the photographer to recognize the specific shooting location and shooting scene from these numbers. It is difficult, and it is difficult to say that these metadata are useful for the user to recognize the contents of the captured image data and find the desired captured image data. Therefore, in order to provide useful metadata, it is necessary for the photographer to manually add specific shooting location and shooting scene information to the captured image data as metadata. This problem is not limited to the case where the photographic data is photographed image data such as a photograph, but is a problem that occurs in the same manner even when the photographed video data is a home video.
The present invention has been made in view of the above-described circumstances, and an object thereof is to provide a photographing apparatus, a photographing method, and a control program capable of generating useful metadata to be added to photographing data without bothering human hands. And

上記目的を達成するために、本発明は、撮影指示を入力する操作部と、前記操作部からの撮影指示の入力に応じて撮影を実行し第１の撮影データを生成すると共に、前記撮影指示の入力に先立って予め撮影を実行し第２の撮影データを生成する撮影部と、前記第２の撮影データに基づいて前記第１の撮影データに付与するメタデータを生成するメタデータ生成部とを備えることを特徴とする撮影装置を提供する。   In order to achieve the above object, the present invention provides an operation unit for inputting a shooting instruction, and executes shooting in response to an input of the shooting instruction from the operation unit to generate first shooting data, and the shooting instruction. A shooting unit that executes shooting in advance prior to input and generates second shooting data; a metadata generation unit that generates metadata to be added to the first shooting data based on the second shooting data; An imaging device is provided.

本発明によれば、第１の撮影データの生成に先立って撮影が行われ第２の撮影データが生成される。一般に、撮影者が操作部を操作して撮影を開始する前には、被写体や構図を定めるために撮影アングルの調整を行っている。したがって、第２の撮影データには、撮影者が撮影しようとする被写体の周囲が撮影される。被写体の周囲には、撮影時の状況やシーンを示す情報が含まるため、この情報に基づいてメタデータが生成されることで、第１の撮影データ生成時の撮影状況やシーンを表す有益なメタデータを、人手を煩わすことなく自動で生成することが可能となる。   According to the present invention, shooting is performed prior to generation of the first shooting data, and second shooting data is generated. In general, before the photographer operates the operation unit to start photographing, the photographing angle is adjusted to determine the subject and the composition. Accordingly, the second image data captures the periphery of the subject that the photographer intends to photograph. Since information around the shooting situation and scene is included around the subject, the metadata is generated based on this information, which is useful for representing the shooting situation and scene when the first shooting data is generated. The metadata can be automatically generated without bothering people.

ここで、上記発明において、前記メタデータ生成部は、前記第２の撮影データに前記メタデータを生成可能な情報が含まれているか否かを判断する判断部と、前記判断部が前記第２の撮影データに前記メタデータを生成可能な情報が含まれていないと判断した場合に、その旨を報知する報知部とを備える構成としても良い。
この構成によれば、メタデータを生成可能な情報が第２の撮影データに含まれていないときには、その旨が撮影者に報知される。したがって、かかる報知がなされた場合、撮影者は、第１の撮影データに付与するメタデータの生成の可否を撮影時に知ることができ、撮影状況や撮影シーンを忘れないうちに、適切な情報を手入力する等してメタデータを第１の撮影データに付与することができる。また例えば、メタデータを生成可能な情報を含む第２の撮影データが取得されなかった場合、撮影者は、被写体の周囲を中心に比較的大きな範囲で撮影装置を動かすなどして、メタデータを生成可能な情報を含む第２の撮影データを再度取得させ、本撮影装置に自動でメタデータを生成させることも可能である。 Here, in the above invention, the metadata generation unit determines whether or not the second shooting data includes information capable of generating the metadata, and the determination unit includes the second imaging data. When it is determined that the information that can generate the metadata is not included in the shooting data, a notification unit that notifies the fact may be provided.
According to this configuration, when information capable of generating metadata is not included in the second image data, the photographer is notified of that fact. Therefore, when such a notification is made, the photographer can know whether or not the metadata to be added to the first shooting data can be generated at the time of shooting, and can provide appropriate information before forgetting the shooting situation and shooting scene. Metadata can be added to the first image data by manual input or the like. Also, for example, when the second shooting data including information that can generate metadata is not acquired, the photographer moves the shooting device within a relatively large range around the subject, so that the metadata is stored. It is also possible to acquire the second shooting data including information that can be generated again, and to automatically generate metadata in the imaging apparatus.

また上記発明において、前記メタデータ生成部は、前記第２の撮影データが撮影されたときの撮影方向を検出する方向検出部と、前記第２の撮影データが前記メタデータの生成に寄与する寄与度を判定する寄与度判定部と、複数の前記第２の撮影データの各々の寄与度及び撮影方向に基づいて、前記メタデータを生成可能な情報を含む撮影データを撮影可能な再撮影方向を決定する決定部とを有し、前記報知部は、前記決定部が決定した再撮影方向を報知する構成としても良い。   Further, in the above invention, the metadata generation unit includes a direction detection unit that detects a shooting direction when the second shooting data is shot, and a contribution that the second shooting data contributes to the generation of the metadata. A re-shooting direction in which shooting data including information capable of generating the metadata can be shot based on a contribution degree determination unit that determines the degree and a contribution degree and a shooting direction of each of the plurality of second shooting data It is good also as a structure which has a determination part to determine, and the said alerting | reporting part alert | reports the re-imaging direction determined by the said determination part.

この構成によれば、第２の撮影データの寄与度及び撮影方向に基づいて、メタデータを生成可能な情報を含む撮影データを撮影可能な再撮影方向を決定するため、寄与度の高い撮影データが得られる再撮影方向を決定することができる。さらに、この再撮影方向が前記報知部により撮影者に報知されるため、撮影者は、この再撮影方向の報知により、プレ撮影においてメタデータを生成可能な第２の撮影データを得られなかった旨を認識し、また、その再撮影方向に合わせて撮影を行うだけで、メタデータを容易に生成させることができる。   According to this configuration, since the re-shooting direction in which shooting data including information capable of generating metadata can be shot is determined based on the contribution level and shooting direction of the second shooting data, shooting data with a high contribution level is determined. Can be determined. Furthermore, since the re-shooting direction is notified to the photographer by the notification unit, the photographer cannot obtain the second shooting data that can generate metadata in the pre-shooting by the notification of the re-shooting direction. It is possible to easily generate metadata simply by recognizing the fact and performing shooting in accordance with the re-shooting direction.

また上記発明において、前記寄与度判定部は、前記第２の撮影データに対して画像認識を実行し、認識結果に基づいて前記寄与度を判定すると共に、前記メタデータ生成部は、前記画像認識により得られた情報に基づいて前記メタデータを生成する構成としても良い。
この構成によれば、被写体の周囲の看板や人物といった、撮影時の状況やシーンを表す物体が第２の撮影データに含まれているか否かが認識され、その物体に応じて、撮影時の状況やシーンを表す情報が得られるか、或いは、得られる可能性が高いか否かといった上記寄与度が判定される。これにより、撮影時の状況やシーンを反映した有益なメタデータが得られるか否かを正確に判定することが可能となり、また、このようにして得られた情報がメタデータ生成に有効活用される。 In the above invention, the contribution determination unit performs image recognition on the second captured data, determines the contribution based on a recognition result, and the metadata generation unit includes the image recognition. The metadata may be generated based on the information obtained by the above.
According to this configuration, it is recognized whether or not an object representing a situation or scene at the time of shooting, such as a signboard or a person around the subject, is included in the second shooting data, and depending on the object, The degree of contribution is determined as to whether information representing a situation or a scene can be obtained or whether the information is likely to be obtained. This makes it possible to accurately determine whether useful metadata reflecting the situation and scene at the time of shooting can be obtained, and the information obtained in this way is effectively used for metadata generation. The

また上記発明において、前記決定部は、前記第２の撮影データに前記メタデータを生成可能な情報が含まれていない場合、前記第２の撮影データの複数の撮影方向が近接、又は、同じになる方向を特定し、この方向を中心として所定の範囲を規定し、前記撮影方向が前記所定の範囲に含まれる前記第２の撮影データの中から前記寄与度の高い第２の撮影データの撮影方向を、前記再撮影方向に決定する構成としても良い。   In the above invention, the determination unit may be configured such that a plurality of shooting directions of the second shooting data are close or the same when the second shooting data does not include information capable of generating the metadata. A predetermined range centered on this direction is defined, and the second imaging data having a high contribution is selected from the second imaging data in which the imaging direction is included in the predetermined range. The direction may be determined as the re-shooting direction.

この構成によれば、第２の撮影データの複数の撮影方向が近接、又は、同じになる方向、すなわち、撮影者が撮影をしようとした、或いは、撮影した方向を中心とした所定の範囲内に撮影方向を有する第２の撮影データの中から寄与度の高い第２の撮影データが選択され、この第２の撮影データの再撮影方向として報知される。
これにより、撮影者が撮影をしようとした、或いは、撮影した方向に極力近い方向が再撮影方向となるため、撮影者が撮影装置の撮影方向を大きく変えることなく、メタデータ生成用の撮影データを撮影することができる。このとき、寄与度の高い第２の撮影データの撮影方向を再撮影方向とするため、メタデータが生成可能な撮影データをより確実に撮影することができる。 According to this configuration, the plurality of shooting directions of the second shooting data are close to or the same, that is, within a predetermined range centered on the shooting direction of the photographer or the shooting direction. The second shooting data having a high contribution is selected from the second shooting data having the shooting direction, and is notified as the re-shooting direction of the second shooting data.
As a result, the photographer tried to shoot or the direction as close as possible to the direction in which the photograph was taken becomes the re-shooting direction, so that the photographer does not greatly change the shooting direction of the shooting device, and the shooting data for generating the metadata. Can be taken. At this time, since the shooting direction of the second shooting data having a high contribution is set as the re-shooting direction, it is possible to more reliably shoot shooting data that can generate metadata.

また上記発明において、前記撮影部は、前記操作部に対して前記撮影指示の入力以外の操作がなされた場合に、前記第２の撮影データを生成する撮影を実行する構成としても良い。
さらに上記発明において、前記撮影部は、撮影方向の移動範囲が小さくなった場合に、前記第２の撮影データを生成する撮影を実行する構成としても良い。
これらの構成によれば、撮影指示の入力を正確に検出し、第２の撮影データ生成のための撮影を、当該撮影指示の入力に先立って効率良く実行することが可能となる。 In the above invention, the photographing unit may be configured to perform photographing for generating the second photographing data when an operation other than the input of the photographing instruction is performed on the operation unit.
Furthermore, in the above invention, the photographing unit may be configured to perform photographing for generating the second photographing data when a moving range in the photographing direction becomes small.
According to these configurations, it is possible to accurately detect the input of the shooting instruction and efficiently execute the shooting for generating the second shooting data prior to the input of the shooting instruction.

上記目的を達成するために、本発明は、撮影指示を入力する操作部と、前記操作部からの撮影指示の入力に応じて撮影を実行し第１の撮影データを生成すると共に、前記撮影指示の入力に先立って予め撮影を実行し、前記第１の撮影データに付与するメタデータを生成可能な情報を含み得る第２の撮影データを生成する撮影部とを備えることを特徴とする撮影装置を提供する。   In order to achieve the above object, the present invention provides an operation unit for inputting a shooting instruction, and executes shooting in response to an input of the shooting instruction from the operation unit to generate first shooting data, and the shooting instruction. An imaging device comprising: an imaging unit that executes imaging prior to input and generates second imaging data that can include information capable of generating metadata to be added to the first imaging data I will provide a.

本発明によれば、第１の撮影データの生成に先立って撮影が行われ、前記第１の撮影データに付与するメタデータを生成可能な情報を含み得る第２の撮影データが生成される。すなわち、一般に、撮影者が操作部を操作して撮影を開始する前には、被写体や構図を定めるために撮影アングルの調整を行っている。したがって、第２の撮影データには、撮影者が撮影しようとする被写体の周囲が撮影される。被写体の周囲には、撮影時の状況やシーンを示す情報が含まれ、このような情報を含む第２の撮影データが得られることとなる。そして、この第２の撮影データに基づいてメタデータを撮影装置、或いは、外部機器が生成し、第１の撮影データに付与することで、撮影時の状況やシーンを示すメタデータを撮影者の手を煩わすことなく自動で簡単に付与することが可能となる。   According to the present invention, shooting is performed prior to generation of the first shooting data, and second shooting data that can include information capable of generating metadata to be added to the first shooting data is generated. That is, generally, before the photographer operates the operation unit to start photographing, the photographing angle is adjusted to determine the subject and the composition. Accordingly, the second image data captures the periphery of the subject that the photographer intends to photograph. Information indicating the situation and scene at the time of shooting is included around the subject, and second shooting data including such information is obtained. Then, based on the second shooting data, metadata is generated by the shooting device or an external device and added to the first shooting data, so that the metadata indicating the situation and scene at the time of shooting can be obtained. It can be applied automatically and easily without trouble.

また上記目的を達成するために、本発明は、操作部から撮影指示が入力された場合に、撮影を実行し第１の撮影データを生成する撮影装置の撮影方法であって、前記撮影指示の入力に先立って予め撮影を実行し、前記第１の撮影データに付与するメタデータを生成可能な情報を含み得る第２の撮影データを生成することを特徴とする撮影方法を提供する。   In order to achieve the above object, the present invention provides a photographing method of a photographing apparatus that executes photographing and generates first photographing data when a photographing instruction is input from an operation unit, Provided is a photographing method characterized in that photographing is performed in advance prior to input, and second photographing data that can include information capable of generating metadata to be added to the first photographing data is generated.

また上記目的を達成するために、本発明は、操作部から撮影指示が入力された場合に、撮影を実行し第１の撮影データを生成する撮影装置の制御プログラムであって、前記撮影指示の入力に先立って予め撮影を実行し、前記第１の撮影データに付与するメタデータを生成可能な情報を含み得る第２の撮影データを生成することを特徴とする撮影装置の制御プログラムを提供する。   In order to achieve the above object, the present invention provides a control program for an imaging apparatus that executes imaging and generates first imaging data when an imaging instruction is input from an operation unit. Provided is a control program for a photographing apparatus, characterized in that photographing is performed in advance prior to input, and second photographing data that can include information capable of generating metadata to be added to the first photographing data is generated. .

以下、本発明に係る撮影装置についてデジタルカメラを例にして図面を参照して説明する。
図１は本実施形態に係るデジタルカメラ１の正面側の斜視図であり、図２はデジタルカメラ１の背面側の斜視図である。図１に示すように、デジタルカメラ１の装置本体２の正面にはズームレンズユニット３が設けられ、上面には、全押し操作によって撮影指示を入力するシャッターボタン４が設けられている。また、図２に示すように、装置本体２の背面には例えば液晶モニタから成る表示パネル５が設けられている。表示パネル５には、撮影された画像（以下、「撮影画像」と言う）の他、撮影前においては、ズームレンズユニット３が向けられている方向を撮影した映像が撮影フレーム６と共にリアルタイム表示され、ファインダーとして機能する。なお、本実施形態では、ズームレンズユニット３が向いている方向を撮影方向Ｄ１と定義し、この撮影方向Ｄ１を特定するために、図１に示すように、後に詳述するＧＰＳセンサ３０、方位センサ３１及びジャイロセンサ３２が装置本体２に内蔵されている。 Hereinafter, a photographing apparatus according to the present invention will be described with a digital camera as an example with reference to the drawings.
FIG. 1 is a perspective view of the front side of the digital camera 1 according to the present embodiment, and FIG. 2 is a perspective view of the back side of the digital camera 1. As shown in FIG. 1, a zoom lens unit 3 is provided on the front surface of the apparatus main body 2 of the digital camera 1, and a shutter button 4 for inputting a shooting instruction by a full-press operation is provided on the upper surface. As shown in FIG. 2, a display panel 5 made of, for example, a liquid crystal monitor is provided on the back surface of the apparatus main body 2. On the display panel 5, in addition to the captured image (hereinafter referred to as “captured image”), an image captured in the direction in which the zoom lens unit 3 is directed is displayed in real time together with the capture frame 6 before the capture. , Function as a viewfinder. In the present embodiment, the direction in which the zoom lens unit 3 is directed is defined as a shooting direction D1, and in order to specify the shooting direction D1, as shown in FIG. A sensor 31 and a gyro sensor 32 are built in the apparatus main body 2.

図３は、デジタルカメラ１の機能的構成を示すブロック図である。
デジタルカメラ１は、撮影部１０と、位置方向検出部１１と、メタデータ生成部１２と、上記表示パネル５を有した表示部１３とを備えている。
撮影部１０は、シャッターボタン４の操作に応じて撮影を行い、本撮影画像データを生成すると共に、この本撮影に先立ってプレ撮影を行いプレ撮影画像データ８０（図４参照）を生成するものであり、上記ズームレンズユニット３を含む撮影光学系２０と、イメージセンサ２１と、画像取得制御部２２と、内蔵メモリ２４と、計時部２５と、上記シャッターボタン４とを有している。 FIG. 3 is a block diagram illustrating a functional configuration of the digital camera 1.
The digital camera 1 includes a photographing unit 10, a position / direction detection unit 11, a metadata generation unit 12, and a display unit 13 having the display panel 5.
The photographing unit 10 performs photographing in accordance with the operation of the shutter button 4 to generate main photographing image data, and performs pre photographing before the main photographing to generate pre photographing image data 80 (see FIG. 4). And an imaging optical system 20 including the zoom lens unit 3, an image sensor 21, an image acquisition control unit 22, a built-in memory 24, a timer unit 25, and the shutter button 4.

撮影光学系２０は、撮影像をイメージセンサ２１に結像する光学系であり、イメージセンサ２１は、ＣＣＤ（Charge Coupled Devices）やＣＭＯＳ（Complementary Metal Oxide Semiconductor）等の光電変換素子がマトリクス状或いはハニカム状に配置されて成り、各光電変換素子が生成するアナログ信号をデジタルデータに変換して撮影画像データを生成し画像取得制御部２２に出力するものである。画像取得制御部２２は、シャッターボタン４が全押しされるごとにイメージセンサ２１から撮影画像データを取得し内蔵メモリ２４に本撮影画像データとして格納する。内蔵メモリ２４は例えばフラッシュＲＯＭ等の記録媒体である。また、計時部２５は、撮影日時を計時するものであり、撮影が行われるごとに撮影日時が画像取得制御部２２に出力され、本撮影画像データと対応付けられる。なお、上記内蔵メモリ２４に加え、装置本体２に対して着脱可能に構成され、本撮影画像データを記録可能な外部メモリを備える構成としても良い。   The photographing optical system 20 is an optical system that forms a photographed image on an image sensor 21. The image sensor 21 includes a photoelectric conversion element such as a CCD (Charge Coupled Device) or a CMOS (Complementary Metal Oxide Semiconductor) in a matrix or honeycomb. The analog signals generated by the photoelectric conversion elements are converted into digital data to generate photographed image data and output it to the image acquisition control unit 22. The image acquisition control unit 22 acquires captured image data from the image sensor 21 every time the shutter button 4 is fully pressed, and stores it in the built-in memory 24 as actual captured image data. The built-in memory 24 is a recording medium such as a flash ROM. The time counting unit 25 measures the shooting date and time, and whenever the shooting is performed, the shooting date and time is output to the image acquisition control unit 22 and associated with the actual captured image data. Note that, in addition to the built-in memory 24, an external memory configured to be detachable from the apparatus main body 2 and capable of recording actual captured image data may be used.

上記撮影部１０は、シャッターボタン４が半押し状態にされた場合、撮影光学系２０を駆動してオートフォーカス調整を実行し被写体に焦点を合わせる。すなわち、撮影者が本撮影に先立ってシャッターボタン４を半押し操作することで、被写体にピントの合った写真を簡単に撮影可能としている。さらに、シャッターボタン４が半押し操作されている間、撮影部１０は、上記オートフォーカス調整後に一定時間間隔で撮影を繰り返すプレ撮影を行い、これにより得られた複数のプレ撮影画像データ８０をプレ撮影画像群としてメタデータ生成部１２に出力する。これにより、撮影者が被写体に向けてデジタルカメラ１を構えたときから、シャッターボタン４を全押しして被写体を撮影するまでを画像に記録したプレ撮影画像群がメタデータ生成部１２に出力される。   When the shutter button 4 is half-pressed, the photographing unit 10 drives the photographing optical system 20 to perform autofocus adjustment to focus on the subject. In other words, the photographer can easily take a picture focused on the subject by pressing the shutter button 4 halfway before the actual photography. Further, while the shutter button 4 is pressed halfway, the photographing unit 10 performs pre-photographing that repeats photographing at regular time intervals after the autofocus adjustment, and pre-photographed image data 80 obtained thereby is preliminarily recorded. It outputs to the metadata production | generation part 12 as a picked-up image group. As a result, a pre-captured image group in which images from when the photographer holds the digital camera 1 toward the subject until the subject is photographed by pressing the shutter button 4 fully is output to the metadata generation unit 12. The

一般に、写真撮影においては、撮影者がデジタルカメラ１を構えてから即座に写真を撮ることは少なく、大抵の場合、表示パネル５（或いはファインダー）を見て所望の被写体がフレームに入っているか、或いは、写真の構図は適切かなどを確かめながらデジタルカメラ１の向きを変えながら、色々な構図を検討し、所望の構図が決定したときに、はじめてシャッターボタン４を全押しして本撮影を行う。したがって、上記プレ撮影画像群には、撮影者の本撮影までのフレーミングの試行錯誤の経過が画像として記録され、さらに、デジタルカメラ１の方向を変えている間も自動的に撮影が行われるため被写体の周辺の風景も共に記録されることになる。   In general, in photography, a photographer rarely takes a picture immediately after holding the digital camera 1. In most cases, the photographer looks at the display panel 5 (or viewfinder) to see whether a desired subject is in the frame, Alternatively, while confirming whether the composition of the photograph is appropriate, various orientations are examined while changing the orientation of the digital camera 1, and when the desired composition is determined, the shutter button 4 is fully depressed for the first time to perform the actual photographing. . Therefore, since the framing trial and error process until the actual shooting of the photographer is recorded as an image in the pre-shot image group, and further, the shooting is automatically performed while the direction of the digital camera 1 is changed. The scenery around the subject is also recorded.

次いで位置方向検出部１１は、デジタルカメラ１の撮影方向Ｄ１を特定するものであり、ＧＰＳ信号を受信して、デジタルカメラ１の現在位置Ｐ（図４参照）の経度及び緯度を算出するＧＰＳセンサ３０と、デジタルカメラ１のズームレンズユニット３が向いている方角を検出する方位センサ３１と、デジタルカメラ１の移動を検出するジャイロセンサ３２と、これらＧＰＳセンサ３０、方位センサ３１及びジャイロセンサ３２の検出値に基づいて、撮影方向Ｄ１を判定する方向判定部３３とを有している。なお、上記ジャイロセンサ３２は、３次元直交座標系におけるＸ軸、Ｙ軸及びＺ軸ごとに各軸周りの角速度を検出するＸ軸、Ｙ軸及びＺ軸ジャイロセンサ３２Ａ〜３２Ｃを有し、これらＸ軸、Ｙ軸及びＺ軸ジャイロセンサ３２Ａ〜３２Ｃの検出信号に基づいて、デジタルカメラ１の現在位置（経度、緯度）及び現在の方位を基準とした撮影方向Ｄ１が特定される。   Next, the position / direction detection unit 11 specifies the shooting direction D1 of the digital camera 1, receives a GPS signal, and calculates the longitude and latitude of the current position P (see FIG. 4) of the digital camera 1. 30, an orientation sensor 31 that detects the direction in which the zoom lens unit 3 of the digital camera 1 faces, a gyro sensor 32 that detects the movement of the digital camera 1, and the GPS sensor 30, the orientation sensor 31, and the gyro sensor 32. And a direction determining unit 33 that determines the shooting direction D1 based on the detected value. The gyro sensor 32 includes X-axis, Y-axis, and Z-axis gyro sensors 32A to 32C that detect angular velocities around each axis for each of the X-axis, Y-axis, and Z-axis in the three-dimensional orthogonal coordinate system. Based on the detection signals of the X-axis, Y-axis, and Z-axis gyro sensors 32A to 32C, the shooting direction D1 based on the current position (longitude, latitude) and the current direction of the digital camera 1 is specified.

上記撮影部１０の画像取得制御部２２は、シャッターボタン４が全押しされるごとに、本撮影画像データを取得すると共に、そのときの撮影方向Ｄ１を位置方向検出部１１の方向判定部３３から現在の撮影方向Ｄ１を取得し、さらに、計時部２５から撮影日時を取得する。そして、画像取得制御部２２は、これらの撮影日時及び撮影方向Ｄ１を本撮影画像データにＥｘｉｆ等の規格に基づいてメタデータとして付与し内蔵メモリ２４に格納する。
また、プレ撮影においては、画像取得制御部２２は、プレ撮影画像データ８０を得るごとに撮影方向Ｄ１及び撮影日時を同様にして取得し、プレ撮影画像データ８０、撮影方向Ｄ１及び撮影日時を対応付けてメタデータ生成部１２にプレ撮影画像群として順次出力する。 The image acquisition control unit 22 of the imaging unit 10 acquires the actual captured image data each time the shutter button 4 is fully pressed, and the current imaging direction D1 is determined from the direction determination unit 33 of the position / direction detection unit 11. The current shooting direction D1 is acquired, and the shooting date and time is acquired from the time measuring unit 25. Then, the image acquisition control unit 22 assigns the shooting date and time and the shooting direction D1 to the actual shooting image data as metadata based on a standard such as Exif, and stores the metadata in the built-in memory 24.
In pre-shooting, the image acquisition control unit 22 acquires the shooting direction D1 and shooting date / time in the same manner every time the pre-shot image data 80 is obtained, and corresponds to the pre-shooting image data 80, shooting direction D1 and shooting date / time. At the same time, it is sequentially output to the metadata generation unit 12 as a pre-photographed image group.

メタデータ生成部１２は、プレ撮影画像群のプレ撮影画像データ８０の中に、撮影状況やシーンを表す有益な情報（以下、「有益情報」と言う）を含むプレ撮影画像データ８０がある場合には、当該プレ撮影画像データ８０に基づいてメタデータを生成し、このようなプレ撮影画像データ８０がない場合には、メタデータ取得用画像の撮影をアドバイスし、その撮影により得られたメタデータ取得用画像データに基づいてメタデータを生成する。
具体的には、メタデータ生成部１２は、座標マッピング部４０と、画像認識部４１と、座標決定部４２と、移動方向指示部４３と、メタデータ取得画像判断部４４とを有している。 When the pre-photographed image data 80 of the pre-photographed image group includes pre-photographed image data 80 including useful information (hereinafter referred to as “beneficial information”) representing the photographing situation and scene. , Metadata is generated based on the pre-captured image data 80, and if there is no such pre-captured image data 80, it is advised to shoot a metadata acquisition image, and the metadata obtained by the capture is Metadata is generated based on the image data for data acquisition.
Specifically, the metadata generation unit 12 includes a coordinate mapping unit 40, an image recognition unit 41, a coordinate determination unit 42, a movement direction instruction unit 43, and a metadata acquisition image determination unit 44. .

座標マッピング部４０は、プレ撮影画像群の各プレ撮影画像データ８０の撮影方向Ｄ１を３次元的にマッピングするものである。画像認識部４１は、プレ撮影画像群のプレ撮影画像データ８０ごとにメタデータの生成に寄与する寄与度を画像認識処理の結果に基づいて判定し、その寄与度に応じて各プレ撮影画像データ８０を、Ａランク（最高ランク）からＣランク（最低ランク）までの３段階にランク付けを行うものである。このとき、画像認識により有益情報を取得可能なプレ撮影画像データ８０にはＡランクが付され、画像認識により有益情報を取得することはできないものの有益情報が含まれていると推定されるプレ撮影画像データ８０にはＢランクが付され、有益情報が含まれていないプレ撮影画像データ８０にはＣランクが付される。すなわち、Ａランクのプレ撮影画像データ８０が得られた場合には、その有益情報に基づいてメタデータが生成され、Ａランクのプレ撮影画像データ８０が得られていない場合には、メタデータ取得用画像の撮影をアドバイスが行われることとなる。   The coordinate mapping unit 40 three-dimensionally maps the photographing direction D1 of each pre-photographed image data 80 of the pre-photographed image group. The image recognition unit 41 determines a contribution level that contributes to the generation of metadata for each pre-captured image data 80 of the pre-captured image group based on the result of the image recognition process, and each pre-captured image data according to the contribution level. 80 is ranked in three stages from A rank (highest rank) to C rank (lowest rank). At this time, the pre-photographed image data 80 from which useful information can be acquired by image recognition is assigned an A rank, and pre-photographing that cannot be acquired by image recognition but is presumed to contain useful information is included. The image data 80 is assigned a B rank, and the pre-captured image data 80 not including useful information is assigned a C rank. That is, when the A-rank pre-captured image data 80 is obtained, metadata is generated based on the useful information. When the A-rank pre-captured image data 80 is not obtained, the metadata acquisition is performed. Advising to take a picture for the job will be made.

座標決定部４２は、Ａランクのプレ撮影画像データ８０が得られていない場合、すなわち、メタデータ取得用画像の撮影をアドバイスする際に、このメタデータ取得用画像を撮影可能な撮影方向（以下、「再撮影方向」と言う）Ｄ２を決定するものである。移動方向指示部４３は、現在の撮影方向Ｄ１を再撮影方向Ｄ２に誘導するための指示を行うものである。メタデータ取得画像判断部４４は、Ａランクのプレ撮影画像データ８０、及び、メタデータ取得用画像データに基づいてメタデータを生成し、本撮影画像データに付与すべく画像取得制御部２２に出力するものである。   When the A-rank pre-captured image data 80 is not obtained, that is, when advice is given to capture the metadata acquisition image, the coordinate determination unit 42 can capture the metadata acquisition image (hereinafter referred to as a capture direction). (Referred to as “re-photographing direction”). The movement direction instruction unit 43 gives an instruction for guiding the current shooting direction D1 to the re-shooting direction D2. The metadata acquisition image determination unit 44 generates metadata based on the A-ranked pre-captured image data 80 and the metadata acquisition image data, and outputs the metadata to the image acquisition control unit 22 to be added to the actual captured image data. To do.

メタデータ生成部１２の各部についてより詳細に説明する。
座標マッピング部４０は、図４に示すように、プレ撮影画像群の各プレ撮影画像データ８０が入力されると、各プレ撮影画像データ８０に対応付けられている撮影方向Ｄ１に基づいて、各プレ撮影画像データ８０の撮影アングルをデジタルカメラ１の現在位置Ｐを中心とし東西南北を軸とする仮想的な極座標８５上に３次元的にマッピングする。なお、マッピング時には現在位置Ｐから各プレ撮影画像データ８０までの距離は一定としている。また、図４においては、各プレ撮影画像データ８０の画角を四角形により模式的に示すものである。 Each unit of the metadata generation unit 12 will be described in more detail.
As shown in FIG. 4, when the pre-photographed image data 80 of the pre-photographed image group is input, the coordinate mapping unit 40 receives each pre-photographed image data 80 based on the photographing direction D <b> 1 associated with each pre-photographed image data 80. The photographing angle of the pre-photographed image data 80 is three-dimensionally mapped on virtual polar coordinates 85 with the current position P of the digital camera 1 as the center and the east, west, south, and north as axes. At the time of mapping, the distance from the current position P to each pre-captured image data 80 is constant. In FIG. 4, the angle of view of each pre-captured image data 80 is schematically shown by a rectangle.

画像認識部４１は、画像認識用辞書データの集合体たる認識用辞書４５を有し、この認識辞書を用いて、上記のようにしてマッピングされた各プレ撮影画像データ８０に対して画像認識処理を行う。すなわち、画像認識部４１は、図５に示すように、プレ撮影画像群のプレ撮影画像データ８０が入力されると、そのプレ撮影画像データ８０に対して領域分離処理を施し、そのプレ撮影画像データ８０に写っている物体ごとに領域を分離する。   The image recognition unit 41 has a recognition dictionary 45 that is a collection of image recognition dictionary data. Using this recognition dictionary, image recognition processing is performed on each pre-captured image data 80 mapped as described above. I do. That is, as shown in FIG. 5, when the pre-photographed image data 80 of the pre-photographed image group is input, the image recognition unit 41 performs region separation processing on the pre-photographed image data 80, and the pre-photographed image data A region is separated for each object shown in the data 80.

例えば、図５に示すように、看板９１の近くで２人の人物９２Ａ、９２Ｂが立っているところを撮影したプレ撮影画像データ８０が入力された場合、画像認識部４１は、領域分離処理により、看板９１を含む分離領域９３Ａ、２人の人物９２Ａ、９２Ｂを含む分離領域９３Ｂ、空等を含む分離領域９３Ｃ、及び、地面を含む分離領域９３Ｄ、９３Ｅに画像領域を分離する。そして、画像認識部４１は、各分離領域９３Ａ〜９３Ｅに対し、認識用辞書４５を参照しながら画像認識処理を施し、各分離領域９３Ａ〜９３Ｅに写っている物体が何であるかを推定する。同図に示す例では、分離領域９３Ａに対する画像認識処理により「看板」が推定され、また、分離領域９３Ｂに対する画像認識処理により「人物の集合」が推定される。   For example, as illustrated in FIG. 5, when pre-photographed image data 80 obtained by photographing a place where two persons 92 </ b> A and 92 </ b> B are standing near the signboard 91 is input, the image recognition unit 41 performs region separation processing. The image area is separated into a separation area 93A including a signboard 91, a separation area 93B including two persons 92A and 92B, a separation area 93C including the sky, and a separation areas 93D and 93E including the ground. Then, the image recognition unit 41 performs image recognition processing on each of the separation regions 93A to 93E while referring to the recognition dictionary 45, and estimates what the object is in each of the separation regions 93A to 93E. In the example shown in the figure, the “signboard” is estimated by the image recognition processing for the separation region 93A, and the “person set” is estimated by the image recognition processing for the separation region 93B.

次に画像認識部４１は、プレ撮影画像データ８０に写っている物体を推定した後、どのような物体が写っているかに基づいて、プレ撮影画像データ８０をランク付けする。例えば、「人物」が写っている場合は、撮影対象者を特定できる可能性があり、このような撮影対象者は、撮影時に一緒に行動していた人である可能性が高く、撮影シーンを表すのに有益な情報となる。また、「看板」や「標識」といった文字情報を含む物体が写っていた場合は、その撮影場所に密着した情報を特定できる可能性があり、メタデータとして用いるに有益な情報である。   Next, the image recognition unit 41 estimates the objects shown in the pre-captured image data 80, and then ranks the pre-captured image data 80 based on what kind of object is shown. For example, if “person” is shown, there is a possibility that the person to be photographed can be identified, and such a person to be photographed is likely to be a person who was acting together at the time of photographing. Useful information to represent. Further, when an object including character information such as “signboard” or “sign” is captured, there is a possibility that information closely attached to the shooting location can be specified, which is useful information for use as metadata.

画像認識部４１は、「人物」が識別可能であったり、また、「看板」や「標識」に描かれている文字が認識可能であるといったように、有益情報が画像認識により取得可能である場合には、プレ撮影画像データ８０のランクをＡランクとする。この結果、Ａランクのプレ撮影画像データ８０に対する画像認識により得られた有益情報に基づいて、例えば「人物名」、「地名」等を含むメタデータが生成される。
また、画像認識部４１は、有益情報になり得る物体が写っていると推定されるものの、ピントが合っていなかったり、像が途切れていたり、或いは、解像度が不足している等して、画像認識処理により、その物体が何であるかを識別できない場合には、プレ撮影画像データ８０のランクをＢランクとする。また、画像認識部４１は、青空や海を撮影したプレ撮影画像データ８０のように、撮影シーンや状況を表す有益な情報が得られる物体が写っていないと推定される場合は、そのプレ撮影画像データ８０のランクをＣランクとする。 The image recognition unit 41 can acquire useful information through image recognition such that “person” can be identified, and characters drawn on “signboards” and “signs” can be recognized. In this case, the rank of the pre-captured image data 80 is set to A rank. As a result, metadata including, for example, “person name”, “place name”, and the like is generated based on the useful information obtained by image recognition on the pre-captured image data 80 of rank A.
In addition, the image recognition unit 41 is estimated that an object that can be useful information is captured, but the image is not in focus, the image is interrupted, or the resolution is insufficient. If the recognition process cannot identify what the object is, the rank of the pre-captured image data 80 is set to B rank. In addition, when it is estimated that an object from which useful information representing a shooting scene or situation is obtained is not captured as in the pre-shot image data 80 obtained by shooting a blue sky or the sea, the image recognition unit 41 performs the pre-shooting. The rank of the image data 80 is C rank.

画像認識部４１によるランク付けの結果、前掲図４に示すように、各ランクのプレ撮影画像データ８０がデジタルカメラ１の現在位置Ｐに対して、どの方向に多く存在するかが特定可能となる。上述の通り、Ｂランクのプレ撮影画像データ８０は、画像が不鮮明等の理由で、物体が何であるかを認識こそ不可能なものの、有益情報が得られると推定される画像である。そこで、本実施形態では、Ａランクのプレ撮影画像データ８０がプレ撮影画像群に含まれていない場合には、Ｂランクのプレ撮影画像データ８０を再撮影することで、画像認識に耐え得る画質のメタデータ取得用画像を取得し、有益情報を得るようにしている。   As a result of ranking by the image recognition unit 41, as shown in FIG. 4 described above, in which direction the pre-captured image data 80 of each rank is present with respect to the current position P of the digital camera 1 can be specified. . As described above, the pre-captured image data 80 of rank B is an image that is estimated to be useful information although it is impossible to recognize what the object is for reasons such as blurring of the image. Therefore, in the present embodiment, when the A-rank pre-photographed image data 80 is not included in the pre-photographed image group, the image quality that can withstand image recognition is obtained by re-photographing the B-rank pre-photographed image data 80. The metadata acquisition image is acquired and useful information is obtained.

ただし、再撮影時に四方八方に点在するＢランクのプレ撮影画像データ８０の全てを撮影者に再撮影させるのは負担を強いることになる。そこで、Ｂランクのプレ撮影画像データ８０が密集し、少ない移動量で多くのＢランクのプレ撮影画像データ８０を再撮影可能なメタデータ取得領域４７を座標決定部４２が特定し、そのメタデータ取得領域４７に属するプレ撮影画像データ８０のうちＢランクのものだけをメタデータ取得用画像とし、メタデータ取得用画像の撮影方向を再撮影方向Ｄ２として決定する。   However, it is burdensome to have the photographer re-photograph all the B-rank pre-photographed image data 80 scattered in all directions when re-photographing. Therefore, the coordinate determination unit 42 identifies a metadata acquisition area 47 in which the pre-captured image data 80 of B rank is dense and a large amount of pre-captured image data 80 of B rank can be recaptured with a small amount of movement. Of the pre-captured image data 80 belonging to the acquisition area 47, only the data of rank B is set as the metadata acquisition image, and the shooting direction of the metadata acquisition image is determined as the re-shooting direction D2.

ここで、Ｂランクのプレ撮影画像データ８０が四方八方に広く一様に分布する場合、上記メタデータ取得領域４７の範囲決定が困難となる恐れがある。そこで、本実施形態では、プレ撮影において、撮影方向Ｄ１（撮影アングル）の停留時間が長い、或いは、撮影方向Ｄ１の変動が非常に遅い等して、同じ画角、又は、互いに重なる画角で撮影された重複画像データ８０Ａ（図４参照）を特定し、この重複画像データ８０Ａを基準として上記メタデータ取得領域４７を設定している。   Here, when the B-rank pre-photographed image data 80 is distributed widely and uniformly in all directions, it may be difficult to determine the range of the metadata acquisition region 47. Therefore, in the present embodiment, in the pre-shooting, the staying time in the shooting direction D1 (shooting angle) is long or the change in the shooting direction D1 is very slow. The captured duplicate image data 80A (see FIG. 4) is specified, and the metadata acquisition area 47 is set based on the duplicate image data 80A.

一般に、デジタルカメラ１の撮影方向Ｄ１は、撮影者が最終的に撮影した、或いは、撮影しようとした画角の撮影アングルに比較的長い時間固定される傾向があり、その撮影アングル近傍で重複画像データ８０Ａが複数得られるため、この重複画像データ８０Ａの画角が撮影者により撮影される画角と同じになる確率が高くなる。したがって、このような重複画像データ８０Ａの周囲のプレ撮影画像データ８０からメタデータを生成することで、撮影者が撮影したときの撮影シーンや状況をより顕著に表したメタデータが生成できる確率が高くなる。なお、重複画像データ８０Ａが複数存在する場合には、それらの重心位置を特定し、その重心位置を中心にメタデータ取得領域４７が設定される。   In general, the shooting direction D1 of the digital camera 1 tends to be fixed for a relatively long time to the shooting angle of the angle of view that the photographer finally shot or tried to shoot. Since a plurality of data 80A are obtained, the probability that the angle of view of the overlapping image data 80A is the same as the angle of view taken by the photographer increases. Therefore, by generating metadata from the pre-captured image data 80 around the overlapped image data 80A, there is a probability that metadata that more clearly represents the shooting scene and situation when the photographer has taken the image may be generated. Get higher. When there are a plurality of duplicate image data 80A, the center of gravity positions are specified, and the metadata acquisition area 47 is set around the center of gravity position.

また、メタデータ取得領域４７の設定の際には、重複画像データ８０Ａ、又は、複数の重複画像データ８０Ａの重心位置を中心７９とし、デジタルカメラ１の現在位置Ｐからの水平角θ、及び、仰角φが共に例えば±３０度の範囲がメタデータ取得領域４７の最大エリア４８として設定され、その最大エリア４８の中で、ランクＢのプレ撮影画像データ８０が多く含まれる領域がメタデータ取得領域４７として設定される。メタデータ取得領域４７をこのように設定することにより、撮影者が最終的に撮影した、或いは、撮影しようとしている撮影アングル（撮影方向Ｄ１）の近傍で再撮影されたメタデータ取得用画像データからメタデータが生成されることとなり、少ない撮影回数で効率よく、撮影シーンや状況をより顕著に表した有益情報を含むメタデータ取得用画像データが得られる。さらに、撮影者がデジタルカメラ１を構え、撮影しようとしている方向を中心にメタデータ取得領域４７が設定されるため、再撮影時にデジタルカメラ１を大きく移動させる必要が無く、撮影者にかかる負担を最小限に抑えることができる。   When setting the metadata acquisition area 47, the horizontal position θ from the current position P of the digital camera 1 with the center of gravity position of the overlapping image data 80A or the plurality of overlapping image data 80A as the center 79, and A range in which the elevation angle φ is both ± 30 degrees, for example, is set as the maximum area 48 of the metadata acquisition area 47, and an area including a large amount of pre-captured image data 80 of rank B is included in the metadata acquisition area 47. 47 is set. By setting the metadata acquisition area 47 in this way, it is possible to use the metadata acquisition image data that has been finally taken by the photographer or re-photographed in the vicinity of the shooting angle (shooting direction D1) to be shot. Metadata is generated, and image data for obtaining metadata including useful information that more effectively represents a shooting scene and situation can be obtained efficiently with a small number of shootings. Furthermore, since the photographer holds the digital camera 1 and the metadata acquisition area 47 is set around the direction in which the photographer intends to shoot, it is not necessary to move the digital camera 1 greatly during re-shooting, and the burden on the photographer is reduced. Can be minimized.

さて、上記移動方向指示部４３は、再撮影時に、メタデータ取得用画像の撮影が可能な再撮影方向Ｄ２を撮影者に示すべく、前掲図２に示すように、撮影方向Ｄ１を再撮影方向Ｄ２に合わせるための方向を誘導用矢印４６で表示パネル５に表示する。
さらに、移動方向指示部４３は、この誘導用矢印４６にしたがって、撮影者がデジタルカメラ１の向きを変え、撮影方向Ｄ１が再撮影方向Ｄ２に一致したときには、誘導用矢印４６の表示を消し、撮影を促す旨のメッセージを表示し、メタデータ取得用画像データを撮影者に撮影させる。このようにして撮影されたメタデータ取得用画像データは、画像認識部４１に入力されて画像認識処理が施され、有益情報が取得される。なお、現在の撮影方向Ｄ１と再撮影方向Ｄ２とのズレの大きさを、誘導用矢印４６の太さを変えるなどして撮影者に通知するようにしても良い。 The moving direction instructing unit 43 sets the photographing direction D1 to the re-photographing direction as shown in FIG. 2 in order to indicate to the photographer the re-photographing direction D2 in which the metadata acquisition image can be photographed. A direction for adjusting to D2 is displayed on the display panel 5 by a guiding arrow 46.
Further, the moving direction instruction unit 43 turns off the display of the guiding arrow 46 when the photographer changes the direction of the digital camera 1 according to the guiding arrow 46 and the photographing direction D1 matches the re-imaging direction D2. A message prompting the user to shoot is displayed, and the photographer is made to shoot the metadata acquisition image data. The metadata acquisition image data photographed in this way is input to the image recognition unit 41, subjected to image recognition processing, and useful information is acquired. Note that the photographer may be notified of the amount of deviation between the current shooting direction D1 and the re-shooting direction D2 by changing the thickness of the guide arrow 46, for example.

メタデータ取得画像判断部４４は、Ａランクのプレ撮影画像データ８０、又は、メタデータ取得用画像データに対する画像認識処理によって得られた有益情報に基づいて、有益なメタデータを生成し、撮影部１０の画像取得制御部２２に出力する。画像取得制御部２２は、入力されたメタデータを、そのとき撮影された本撮影画像データに付して内蔵メモリ２４に格納することになる。   The metadata acquisition image determination unit 44 generates useful metadata based on the useful information obtained by the image recognition processing for the pre-captured image data 80 of A rank or the image data for metadata acquisition, and the imaging unit 10 image acquisition control units 22. The image acquisition control unit 22 stores the input metadata in the built-in memory 24 with the actual captured image data captured at that time.

次いで、デジタルカメラ１を用いた撮影時の一連の動作について図６乃至図８を参照して説明する。
図６は、プレ撮影処理のフローチャートである。
デジタルカメラ１の画像取得制御部２２は、撮影者による写真撮影（本撮影）を検出するために、シャッターボタン４が半押しされたか否かを所定期間ごとに判定する（ステップＳａ１）。画像取得制御部２２は、シャッターボタン４が半押しされていない場合（ステップＳａ１：Ｎｏ）、本撮影が行われないため処理手順を戻す。一方、シャッターボタン４が半押された場合には（ステップＳａ１：Ｙｅｓ）、本撮影が行われる可能性が高いため、当該本撮影による本撮影画像データに付与する有益なメタデータを生成可能にすべく、画像取得制御部２２は、プレ撮影画像データ８０の取り込みを開始すると共に（ステップＳａ２）、位置方向検出部１１から撮影方向Ｄ１を取得し（ステップＳａ３）、プレ撮影画像データ８０に撮影方向Ｄ１を対応付けてメタデータ生成部１２にプレ撮影画像群として出力する（ステップＳａ４）。 Next, a series of operations at the time of shooting using the digital camera 1 will be described with reference to FIGS.
FIG. 6 is a flowchart of the pre-photographing process.
The image acquisition control unit 22 of the digital camera 1 determines whether or not the shutter button 4 has been half-pressed for every predetermined period in order to detect a photo shoot (main shooting) by the photographer (step Sa1). When the shutter button 4 is not half-pressed (step Sa1: No), the image acquisition control unit 22 returns the processing procedure because the main photographing is not performed. On the other hand, when the shutter button 4 is half-pressed (step Sa1: Yes), since there is a high possibility that the main shooting will be performed, it is possible to generate useful metadata to be added to the main shooting image data by the main shooting. Accordingly, the image acquisition control unit 22 starts to capture the pre-captured image data 80 (step Sa2), acquires the shooting direction D1 from the position / direction detection unit 11 (step Sa3), and captures the pre-captured image data 80. The direction D1 is associated and output to the metadata generation unit 12 as a pre-captured image group (step Sa4).

次いで、画像取得制御部２２は、シャッターボタン４の半押しが継続してなされているか（終了していないか）を判断し（ステップＳａ５）、半押しが継続されている場合（ステップＳａ５：ＹＥＳ）、プレ撮影画像データ８０の取り込みを継続すべく、処理手順をステップＳａ２に戻し、また、半押しがなされていない場合（ステップＳａ５：ＮＯ）、撮影者がシャッターボタン４から手を離し撮影を止めたか、或いは、シャッターボタン４を全押しして本撮影を行った事を示すため、プレ撮影処理を終了する。   Next, the image acquisition control unit 22 determines whether or not the shutter button 4 is half-pressed continuously (whether it has not been completed) (step Sa5), and when the half-press is continued (step Sa5: YES). ), The processing procedure is returned to step Sa2 in order to continue the capture of the pre-photographed image data 80. If the half-press is not made (step Sa5: NO), the photographer releases the shutter button 4 and takes a picture. The pre-photographing process is terminated to indicate that the main photographing has been performed by stopping the shutter button 4 or pressing the shutter button 4 fully.

図７は、上記プレ撮影処理により得られたプレ撮影画像群に基づいて有益なメタデータを生成するメタデータ生成処理のフローチャートである。
プレ撮影画像群が入力されると、メタデータ生成部１２の座標マッピング部４０は、プレ撮影画像群の各プレ撮影画像データ８０に付与された撮影方向Ｄ１に基づいて、デジタルカメラ１の現在位置Ｐを中心として各プレ撮影画像データ８０を仮想的な極座標８５上に３次元的にマッピングする（図４参照）（ステップＳｂ１）。次いで、座標決定部４２は、画角が同じ又は重複する重複画像データ８０Ａを特定し、その重複画像データ８０Ａの撮影方向Ｄ１を中心とした所定領域を、撮影者が撮影しようとしている撮影アングルを含む最大エリア４８として特定する（ステップＳｂ２）。 FIG. 7 is a flowchart of a metadata generation process for generating useful metadata based on the pre-photographed image group obtained by the pre-photographing process.
When the pre-photographed image group is input, the coordinate mapping unit 40 of the metadata generation unit 12 determines the current position of the digital camera 1 based on the photographing direction D1 assigned to each pre-photographed image data 80 of the pre-photographed image group. Each pre-photographed image data 80 is three-dimensionally mapped on the virtual polar coordinate 85 with reference to P (see FIG. 4) (step Sb1). Next, the coordinate determination unit 42 identifies overlapping image data 80A having the same or overlapping angle of view, and determines a shooting angle at which the photographer is shooting a predetermined area centered on the shooting direction D1 of the overlapping image data 80A. The maximum area 48 is specified (step Sb2).

そして、この最大エリア４８に属する各プレ撮影画像データ８０に対して、画像認識部４１が画像認識処理を実行し、プレ撮影画像データ８０のランク付けを行う（ステップＳｂ３）。このように、画像認識処理を行うプレ撮影画像データ８０を予め絞り込むことで処理時間が短縮される。
なお、上記ステップＳｂ２において、重複画像データ８０Ａが複数ある場合には、各々の重複画像データ８０Ａの重心位置が最大エリア４８の中心として規定される。また、重複画像データ８０Ａが存在しない場合には、所定の大きさごとに領域を区切り、プレ撮影画像データ８０が最も多く含む領域の中心が最大エリア４８の中心として規定される。 Then, the image recognition unit 41 executes image recognition processing for each pre-captured image data 80 belonging to the maximum area 48, and ranks the pre-captured image data 80 (step Sb3). In this way, the processing time is shortened by narrowing down the pre-captured image data 80 to be subjected to the image recognition processing in advance.
In step Sb2, when there are a plurality of overlapping image data 80A, the center of gravity of each overlapping image data 80A is defined as the center of the maximum area 48. In addition, when there is no overlapping image data 80A, the area is divided for each predetermined size, and the center of the area that the pre-captured image data 80 includes most is defined as the center of the maximum area 48.

次いで、メタデータ取得画像判断部４４は、最大エリア４８の中にランクＡのプレ撮影画像データ８０があるか否かを判断し（ステップＳｂ４）、ランクＡのプレ撮影画像データ８０がある場合には（ステップＳｂ４：Ｙｅｓ）、そのプレ撮影画像データ８０に対する画像認識処理によって得られた有益情報に基づいて、メタデータを生成し、画像取得制御部２２に出力する（ステップＳｂ５）。
また、最大エリア４８の中にランクＡのプレ撮影画像データ８０がない場合には（ステップＳｂ４：ＮＯ）、有益情報を含むメタデータ取得用画像データを取得するために次の処理を実行する。
すなわち、座標決定部４２は、最大エリア４８において、ランクＢのプレ撮影画像データ８０が密集する領域をメタデータ取得領域４７として決定し（ステップＳｂ６）、そのメタデータ取得領域４７のＢランクの各プレ撮影画像データ８０をメタデータ取得用画像として抽出し（ステップＳｂ７）、各メタデータ取得用画像の再撮影方向Ｄ２を特定する（ステップＳｂ８）。 Next, the metadata acquisition image determination unit 44 determines whether or not the pre-captured image data 80 of rank A exists in the maximum area 48 (step Sb4). (Step Sb4: Yes), metadata is generated based on the useful information obtained by the image recognition processing on the pre-captured image data 80, and is output to the image acquisition control unit 22 (Step Sb5).
If there is no rank A pre-captured image data 80 in the maximum area 48 (step Sb4: NO), the following processing is executed to acquire metadata acquisition image data including useful information.
That is, in the maximum area 48, the coordinate determination unit 42 determines an area where the pre-captured image data 80 of rank B is dense as the metadata acquisition area 47 (step Sb6), and each rank B of the metadata acquisition area 47 is determined. The pre-photographed image data 80 is extracted as a metadata acquisition image (step Sb7), and the re-photographing direction D2 of each metadata acquisition image is specified (step Sb8).

次に、移動方向指示部４３は、現在の撮影方向Ｄ１を位置方向検出部１１から取得し（ステップＳｂ９）、現在の撮影方向Ｄ１とメタデータ取得用画像の再撮影方向Ｄ２との差分を計算する（ステップＳｂ１０）。移動方向指示部４３は、この差分が「ゼロ」であるか否かを判断し（ステップＳｂ１１）、差分が「ゼロ」でない場合には（ステップＳｂ１１：ＮＯ）その差分に基づいて、メタデータ取得用画像の再撮影方向Ｄ２にガイドする誘導用矢印４６を表示パネル５に表示し（ステップＳｂ１２）、また、差分が「ゼロ」の場合には（ステップＳｂ１１：ＹＥＳ）、撮影を促すメッセージ（例えば「シャッターボタンを押してください」等）を表示パネル５に表示する（ステップＳｂ１３）。このメッセージに応答して撮影が行われた画像がメタデータ取得用画像データとして画像認識部４１に出力される。   Next, the movement direction instruction unit 43 acquires the current shooting direction D1 from the position / direction detection unit 11 (step Sb9), and calculates the difference between the current shooting direction D1 and the re-shooting direction D2 of the metadata acquisition image. (Step Sb10). The movement direction instruction unit 43 determines whether or not the difference is “zero” (step Sb11). If the difference is not “zero” (step Sb11: NO), the metadata acquisition is performed based on the difference. A guidance arrow 46 for guiding in the image re-shooting direction D2 is displayed on the display panel 5 (step Sb12). If the difference is “zero” (step Sb11: YES), a message prompting shooting (for example, “Please press the shutter button”) is displayed on the display panel 5 (step Sb13). An image taken in response to this message is output to the image recognition unit 41 as metadata acquisition image data.

次いで、移動方向指示部４３は、全てのメタデータ取得用画像について撮影が行われたか否かを判断し（ステップＳｂ１４）、撮影されていないメタデータ取得用画像がある場合には（ステップＳｂ１４：ＮＯ）、そのメタデータ取得用画像の撮影を支援すべく、処理手順をステップＳｂ９に戻す。また、全てのメタデータ取得用画像が撮影されている場合には（ステップＳｂ１４：ＹＥＳ）、このようにして取得されたメタデータ取得用画像データに対して画像認識部４１が画像認識処理を実行し（ステップＳｂ１５）、上記ステップＳｂ５に処理手順が進み、メタデータ取得画像判断部４４が、ステップＳｂ１５における認識結果に基づいてメタデータを生成する。   Next, the movement direction instructing unit 43 determines whether or not all of the metadata acquisition images have been captured (step Sb14). If there is a metadata acquisition image that has not been captured (step Sb14: NO), the processing procedure is returned to step Sb9 in order to support photographing of the metadata acquisition image. When all the metadata acquisition images have been captured (step Sb14: YES), the image recognition unit 41 performs image recognition processing on the metadata acquisition image data acquired in this way. (Step Sb15), the processing procedure proceeds to Step Sb5, and the metadata acquisition image determination unit 44 generates metadata based on the recognition result in Step Sb15.

なお、上記ステップＳｂ９〜ステップＳｂ１４の繰り返し処理により、全てのメタデータ取得用画像が撮影されるようにしているが、撮影者は、１枚或いは数枚の撮影だけで撮影を終了しても良く、この場合には、それまでに撮影されているメタデータ取得用画像に基づいてメタデータが生成されることとなる。   Note that all of the metadata acquisition images are photographed by repeating the above steps Sb9 to Sb14. However, the photographer may finish photographing with only one or several photographs. In this case, metadata is generated based on the metadata acquisition images that have been taken so far.

このように、本実施形態によれば、シャッターボタン４の全押し操作に先立ってプレ撮影を実行しプレ撮影画像データ８０を生成する構成としたため、本撮影画像データに付与するメタデータを生成可能な有益情報を含み得るプレ撮影画像データ８０が得られることとなる。そして、このプレ撮影画像データ８０に基づいてメタデータを生成し、本撮影画像データに付与することで、撮影時の状況やシーンを示すメタデータを撮影者の手を煩わすことなく自動で簡単に付与することが可能となる。   As described above, according to the present embodiment, since the pre-photographed image data 80 is generated by executing the pre-photographing prior to the full-pressing operation of the shutter button 4, it is possible to generate metadata to be added to the real-captured image data. Pre-photographed image data 80 that can contain useful information is obtained. Then, by generating metadata based on the pre-captured image data 80 and adding it to the main captured image data, metadata indicating the situation and scene at the time of shooting can be automatically and easily performed without bothering the photographer. It becomes possible to grant.

また、本実施形態によれば、プレ撮影画像データ８０に有益情報が含まれていない場合に、有益情報を含むメタデータ取得用画像を撮影可能な再撮影方向Ｄ２を表示により報知する構成としたため、撮影者は、この再撮影方向Ｄ２の報知により、プレ撮影においてメタデータを生成可能なプレ撮影画像データ８０を得られなかった旨を認識し、また、その再撮影方向Ｄ２に合わせて撮影を行うだけで、メタデータを容易に生成させることができる。   In addition, according to the present embodiment, when useful information is not included in the pre-captured image data 80, the re-capturing direction D2 in which a metadata acquisition image including useful information can be captured is notified by display. The photographer recognizes from the notification of the re-shooting direction D2 that the pre-shot image data 80 capable of generating metadata is not obtained in the pre-shooting, and takes a picture according to the re-shooting direction D2. You can easily generate metadata just by doing it.

また、本実施形態によれば、プレ撮影画像データ８０に有益情報が含まれていない場合、撮影方向Ｄ１（撮影アングル）の停留時間が長いために、同じ画角、又は、互いに重なる画角で撮影された重複画像データ８０Ａの撮影方向を基準として上記メタデータ取得領域４７を設定し、このメタデータ取得領域４７の中からメタデータ取得用画像の再撮影方向Ｄ２を決定する構成としたため、被写体の周辺がメタデータ取得領域４７に設定されるので、撮影シーンや状況をより顕著に表したメタデータ取得用画像が得られる。また、撮影者が撮影をしようとした、或いは、撮影した方向に極力近い方向が再撮影方向Ｄ２となるため、撮影者が撮影方向Ｄ１を大きく変えることなく、メタデータ取得用画像データを撮影することができる。
なお、本実施形態において、本撮影画像データが第１の撮影データに対応し、プレ撮影画像データ８０が第２の撮影データに対応する。 Further, according to the present embodiment, when the pre-photographed image data 80 does not include useful information, the staying time in the photographing direction D1 (photographing angle) is long, and therefore the same angle of view or the angle of view overlapping each other. The metadata acquisition area 47 is set based on the shooting direction of the captured duplicate image data 80A, and the re-shooting direction D2 of the metadata acquisition image is determined from the metadata acquisition area 47. Is set in the metadata acquisition area 47, a metadata acquisition image that more significantly represents the shooting scene and situation can be obtained. Further, since the photographer tried to photograph or the direction as close as possible to the photographing direction is the re-imaging direction D2, the photographer photographs the image data for metadata acquisition without largely changing the photographing direction D1. be able to.
In the present embodiment, the main captured image data corresponds to the first captured image data, and the pre-captured image data 80 corresponds to the second captured data.

また、上述した実施形態は、あくまでも本発明の一態様を示すものであり、本発明の範囲内で任意に変形および応用が可能である。
（変形例１）
例えば、上述した実施形態では、プレ撮影において撮影されたプレ撮影画像群が図４に示すようにデジタルカメラ１の全周囲にわたって点在する場合を説明した。しかしながら、一般に、撮影者が写真を撮影する際には、大抵は撮影アングルを左右に振って構図や被写体を決定することがほとんどであり、仰角の触れ幅は数十度程度である。 Further, the above-described embodiment is merely an aspect of the present invention, and can be arbitrarily modified and applied within the scope of the present invention.
(Modification 1)
For example, in the above-described embodiment, the case where the pre-photographed image group captured in the pre-photographing is scattered all around the digital camera 1 as illustrated in FIG. However, in general, when a photographer takes a picture, usually the composition angle and the subject are determined by swinging the shooting angle left and right, and the touch width of the elevation angle is about several tens of degrees.

すなわち、プレ撮影画像群の各プレ撮影画像データ８０をマッピングすると、図８に示すように、略全てのプレ撮影画像データ８０は、水平角θが約９０度の角度範囲、仰角φが±１０度の角度範囲の仮想２次元平面８６内にマッピングされる。換言すれば、プレ撮影において、撮影方向Ｄ１は、上記２次元平面８６の範囲内に収まることが多く、方位センサ３１及びジャイロセンサ３２の検出値のみで撮影方向Ｄ１を十分に特定可能であることを意味する。したがって、上述した実施形態では、３次元の極座標８５の中心をデジタルカメラ１の現在位置とするためにＧＰＳセンサ３０が現在位置を検出する構成としたが、このＧＰＳセンサ３０を省略し、方位センサ３１及びジャイロセンサ３２の検出値のみで撮影方向Ｄ１を特定する構成としても良い。   That is, when the pre-photographed image data 80 of the pre-photographed image group is mapped, as shown in FIG. 8, almost all of the pre-photographed image data 80 has an angle range in which the horizontal angle θ is about 90 degrees and the elevation angle φ is ± 10. It is mapped in a virtual two-dimensional plane 86 with an angular range of degrees. In other words, in pre-shooting, the shooting direction D1 often falls within the range of the two-dimensional plane 86, and the shooting direction D1 can be sufficiently specified only by the detection values of the direction sensor 31 and the gyro sensor 32. Means. Therefore, in the above-described embodiment, the GPS sensor 30 is configured to detect the current position in order to set the center of the three-dimensional polar coordinate 85 as the current position of the digital camera 1, but this GPS sensor 30 is omitted, and the direction sensor The photographing direction D <b> 1 may be specified only by the detection values of 31 and the gyro sensor 32.

なお、本変形例においては、上述した実施形態と同様に、重複画像データ８０Ａを基準にしてメタデータ取得領域４７が設定され、図８に示すように、このメタデータ取得領域４７に属する各プレ撮影画像データ８０に対してのみ画像認識処理を行ってランク付けが行われる。そして、Ａランクのプレ撮影画像データ８０が得られなかった場合には、そのメタデータ取得領域４７に属するＢランクのプレ撮影画像データ８０がメタデータ取得用画像として決定されることとなる。
このように、本変形例によれば、水平角θ及び仰角φが所定範囲の２次元平面８６内に撮影方向Ｄ１が収まるものとしたため、デジタルカメラ１の現在位置を検出するＧＰＳセンサ３０を備える必要がなく、また、３次元の極座標８５にマッピングする実施形態に比べて計算量を少なくすることができる。さらに、再撮影方向Ｄ２も上記２次元平面８６に制限されるため、撮影者は、再撮影時に撮影方向Ｄ１を大きく変えることなくメタデータ取得用画像を再撮影することができる。 In the present modification, as in the above-described embodiment, the metadata acquisition area 47 is set based on the duplicate image data 80A, and as shown in FIG. Only the photographed image data 80 is ranked by performing image recognition processing. If the A-rank pre-captured image data 80 is not obtained, the B-rank pre-captured image data 80 belonging to the metadata acquisition area 47 is determined as the metadata acquisition image.
As described above, according to the present modification, since the shooting direction D1 is within the two-dimensional plane 86 with the horizontal angle θ and the elevation angle φ within a predetermined range, the GPS sensor 30 that detects the current position of the digital camera 1 is provided. This is not necessary, and the amount of calculation can be reduced as compared with the embodiment in which mapping is made to the three-dimensional polar coordinate 85. Furthermore, since the re-imaging direction D2 is also limited to the two-dimensional plane 86, the photographer can re-photograph the metadata acquisition image without greatly changing the shooting direction D1 at the time of re-imaging.

（変形例２）
上述した実施形態では、メタデータの生成及び本撮影画像データへの付与をデジタルカメラ１が実行する構成としたが、これに限らない。すなわち、プレ撮影画像データ８０のランク付け、及び、メタデータ取得用画像の再撮影までをデジタルカメラ１が実行し、メタデータ取得用画像の画像認識やメタデータの生成を、例えばパーソナルコンピュータ等の外部機器が実行する構成としても良い。
この構成によれば、デジタルカメラ１よりも演算能力が高いパーソナルコンピュータを用いてメタデータ付与処理を実行することができるため、より高精度な画像認識アルゴリズムを用いてプレ撮影画像データ８０やメタデータ出力画像から有益情報を抽出することが可能となりメタデータの精度を高めることができる。
また、このように撮影後にメタデータを付与する場合であっても、メタデータを生成可能な有益情報は、プレ撮影画像データ８０又はメタデータ取得用画像データとして、撮影時に取得されているため、これらの画像データに基づいて、簡単にメタデータを生成し、付与することができる。 (Modification 2)
In the above-described embodiment, the digital camera 1 executes the generation of the metadata and the addition to the actual captured image data. However, the present invention is not limited to this. That is, the digital camera 1 executes the ranking of the pre-captured image data 80 and the recapture of the metadata acquisition image, and performs image recognition of the metadata acquisition image and generation of metadata, for example, a personal computer or the like The configuration may be executed by an external device.
According to this configuration, since the metadata adding process can be executed using a personal computer having a higher computing ability than the digital camera 1, the pre-captured image data 80 and metadata can be used using a more accurate image recognition algorithm. It is possible to extract useful information from the output image and improve the accuracy of the metadata.
Further, even when metadata is added after shooting in this manner, useful information that can generate metadata is acquired as pre-shot image data 80 or metadata acquisition image data at the time of shooting. Based on these image data, metadata can be easily generated and assigned.

（変形例３）
上述した実施形態では、シャッターボタン４が半押しされた場合に、プレ撮影を開始したが、これに限らない。すなわち、撮影者は、デジタルカメラ１を構えシャッターボタン４を半押しせずにフレーミングを試す場合もある。このとき、通常は、狭い範囲でデジタルカメラ１を移動させるため、デジタルカメラ１の移動範囲が狭くなる。そこで、位置方向検出部１１により検出される撮影方向Ｄ１の移動範囲が小さくなった場合に、撮影者がフレーミングしていると判断し、プレ撮影を開始する構成としても良い。 (Modification 3)
In the embodiment described above, the pre-photographing is started when the shutter button 4 is half-pressed, but the present invention is not limited to this. That is, the photographer may try framing without holding down the shutter button 4 while holding the digital camera 1. At this time, since the digital camera 1 is normally moved within a narrow range, the movement range of the digital camera 1 becomes narrow. Therefore, when the moving range of the shooting direction D1 detected by the position / direction detection unit 11 becomes small, it may be determined that the photographer is framing and starts pre-shooting.

（変形例４）
上述した実施形態では、表示パネル５に誘導用矢印４６を表示して、メタデータ取得用画像を撮影するときの再撮影方向Ｄ２を撮影者に報知する構成としたが、これに限らない。
例えば、装置本体２一部が突起、振動して再撮影方向Ｄ２を撮影者に示したり、装置本体２内で重なり等が移動して重心を変えることで擬似的な加速度を撮影者に感じさせ、その加速度方向により再撮影方向Ｄ２を撮影者に示唆するといったように種々の報知手法を選択的に採用することが可能であり、さらには、これらの報知手法を、撮影者の都合や好み等に応じて複数組み合わせて用いることができる構成としても良い。 (Modification 4)
In the above-described embodiment, the guide arrow 46 is displayed on the display panel 5 to notify the photographer of the re-shooting direction D2 when shooting the metadata acquisition image. However, the present invention is not limited to this.
For example, a part of the apparatus main body 2 protrudes and vibrates to indicate the re-photographing direction D2 to the photographer, or an overlap or the like moves within the apparatus main body 2 to change the center of gravity, thereby causing the photographer to feel pseudo acceleration It is possible to selectively employ various notification methods such as suggesting the re-photographing direction D2 to the photographer according to the acceleration direction. Furthermore, these notification methods are used for the convenience and preference of the photographer. It is good also as a structure which can be used combining two or more according to.

（変形例５）
上述した実施形態では、撮影装置の一態様として写真撮影に用いられるデジタルカメラを例示したが、これに限らず、静止画像データが連続する動画データを撮影データとして記録するビデオカメラにも本発明を適用可能である。 (Modification 5)
In the above-described embodiment, a digital camera used for photography is exemplified as one aspect of the photographing apparatus. However, the present invention is not limited to this, and the present invention is also applied to a video camera that records moving image data with continuous still image data as photographing data. Applicable.

本発明の実施形態に係るデジタルカメラの正面側の構成を示す斜視図。1 is a perspective view illustrating a configuration of a front side of a digital camera according to an embodiment of the present invention. 同デジタルカメラの背面側の構成を示す斜視図。The perspective view which shows the structure of the back side of the digital camera. 同デジタルカメラの機能的構成を示すブロック図。The block diagram which shows the functional structure of the digital camera. プレ撮影画像データの仮想３次元マッピングを模式的に示す図。The figure which shows typically the virtual three-dimensional mapping of pre imaging | photography image data. プレ撮影画像データに対する画像認識を説明するための図。The figure for demonstrating the image recognition with respect to pre imaging | photography image data. プレ撮影処理のフローチャート。The flowchart of a pre imaging | photography process. メタデータ生成処理のフローチャート。The flowchart of a metadata production | generation process. 本発明の変形例に係るプレ撮影画像データの２次元マッピングを模式的に示す図。The figure which shows typically the two-dimensional mapping of the pre picked-up image data which concerns on the modification of this invention.

符号の説明Explanation of symbols

１…デジタルカメラ、３…ズームレンズユニット、４…シャッターボタン、１０…撮影部、１１…位置方向検出部、１２…メタデータ生成部、１３…表示部、２２…画像取得制御部、３３…方向判定部、４１…画像認識部、４２…座標決定部、４３…移動方向指示部、４４…メタデータ取得画像判断部、４６…誘導用矢印、４７…メタデータ取得領域、８０…プレ撮影画像データ、８０Ａ…重複画像データ、Ｄ１…撮影方向、Ｄ２…再撮影方向。   DESCRIPTION OF SYMBOLS 1 ... Digital camera, 3 ... Zoom lens unit, 4 ... Shutter button, 10 ... Shooting part, 11 ... Position direction detection part, 12 ... Metadata production | generation part, 13 ... Display part, 22 ... Image acquisition control part, 33 ... Direction Determination unit 41... Image recognition unit 42. Coordinate determination unit 43. Movement direction instruction unit 44. Metadata acquisition image determination unit 46. Guide arrow 47. Metadata acquisition region 80. 80A ... Duplicate image data, D1 ... Shooting direction, D2 ... Re-shooting direction.

Claims (10)

撮影指示を入力する操作部と、
前記操作部からの撮影指示の入力に応じて撮影を実行し第１の撮影データを生成すると共に、前記撮影指示の入力に先立って予め撮影を実行し第２の撮影データを生成する撮影部と、
前記第２の撮影データに基づいて前記第１の撮影データに付与するメタデータを生成するメタデータ生成部と
を備えることを特徴とする撮影装置。 An operation unit for inputting shooting instructions;
A shooting unit that executes shooting in response to an input of a shooting instruction from the operation unit to generate first shooting data, and executes shooting in advance prior to the input of the shooting instruction to generate second shooting data; ,
An imaging apparatus comprising: a metadata generation unit that generates metadata to be added to the first imaging data based on the second imaging data. 請求項１に記載の撮影装置において、
前記メタデータ生成部は、
前記第２の撮影データに前記メタデータを生成可能な情報が含まれているか否かを判断する判断部と、
前記判断部が前記第２の撮影データに前記メタデータを生成可能な情報が含まれていないと判断した場合に、その旨を報知する報知部と
を備えることを特徴とする撮影装置。 The imaging device according to claim 1,
The metadata generation unit
A determination unit that determines whether or not the second photographing data includes information capable of generating the metadata;
When the determination unit determines that the second shooting data does not include information capable of generating the metadata, a notifying unit that notifies the fact is provided. 請求項２に記載の撮影装置において、
前記メタデータ生成部は、
前記第２の撮影データが撮影されたときの撮影方向を検出する方向検出部と、
前記第２の撮影データが前記メタデータの生成に寄与する寄与度を判定する寄与度判定部と、
複数の前記第２の撮影データの各々の寄与度及び撮影方向に基づいて、前記メタデータを生成可能な情報を含む撮影データを撮影可能な再撮影方向を決定する決定部とを有し、
前記報知部は、前記決定部が決定した再撮影方向を報知する
ことを特徴とする撮影装置。 The imaging device according to claim 2,
The metadata generation unit
A direction detection unit that detects a shooting direction when the second shooting data is shot;
A contribution determination unit that determines a contribution that the second image data contributes to the generation of the metadata;
A determination unit that determines a re-shooting direction in which shooting data including information that can generate the metadata is shot based on a contribution degree and a shooting direction of each of the plurality of second shooting data;
The notifying unit notifies the re-imaging direction determined by the determining unit. 請求項３に記載の撮影装置において、
前記寄与度判定部は、前記第２の撮影データに対して画像認識を実行し、認識結果に基づいて前記寄与度を判定すると共に、
前記メタデータ生成部は、前記画像認識により得られた情報に基づいて前記メタデータを生成することを特徴とする撮影装置。 In the imaging device according to claim 3,
The contribution determination unit performs image recognition on the second captured data, determines the contribution based on a recognition result,
The imaging apparatus, wherein the metadata generation unit generates the metadata based on information obtained by the image recognition. 請求項３又は４に記載の撮影装置において、
前記決定部は、
前記第２の撮影データに前記メタデータを生成可能な情報が含まれていない場合、
前記第２の撮影データの複数の撮影方向が近接、又は、同じになる方向を特定し、この方向を中心として所定の範囲を規定し、前記撮影方向が前記所定の範囲に含まれる前記第２の撮影データの中から前記寄与度の高い第２の撮影データの撮影方向を、前記再撮影方向に決定することを特徴とする撮影装置。 In the imaging device according to claim 3 or 4,
The determination unit is
When the second shooting data does not include information capable of generating the metadata,
A direction in which a plurality of shooting directions of the second shooting data are close or the same is specified, a predetermined range is defined with the direction as a center, and the shooting direction is included in the predetermined range. An imaging apparatus, wherein the imaging direction of the second imaging data having a high contribution is determined as the re-imaging direction from the imaging data. 請求項１乃至５のいずれかに記載の撮影装置において、
前記撮影部は、前記操作部に対して前記撮影指示の入力以外の操作がなされた場合に、前記第２の撮影データを生成する撮影を実行することを特徴とする撮影装置。 In the imaging device according to any one of claims 1 to 5,
The imaging device is configured to perform imaging for generating the second imaging data when an operation other than the input of the imaging instruction is performed on the operation unit. 請求項１乃至５のいずれかに記載の撮影装置において、
前記撮影部は、撮影方向の移動範囲が小さくなった場合に、前記第２の撮影データを生成する撮影を実行することを特徴とする撮影装置。 In the imaging device according to any one of claims 1 to 5,
The photographing apparatus, wherein the photographing unit performs photographing to generate the second photographing data when a moving range in a photographing direction becomes small. 撮影指示を入力する操作部と、
前記操作部からの撮影指示の入力に応じて撮影を実行し第１の撮影データを生成すると共に、前記撮影指示の入力に先立って予め撮影を実行し、前記第１の撮影データに付与するメタデータを生成可能な情報を含み得る第２の撮影データを生成する撮影部と
を備えることを特徴とする撮影装置。 An operation unit for inputting shooting instructions;
In response to an input of a shooting instruction from the operation unit, shooting is performed to generate first shooting data, and shooting is performed in advance prior to the input of the shooting instruction, and meta data assigned to the first shooting data is added. An imaging device comprising: an imaging unit that generates second imaging data that may include information capable of generating data. 操作部から撮影指示が入力された場合に、撮影を実行し第１の撮影データを生成する撮影装置の撮影方法であって、
前記撮影指示の入力に先立って予め撮影を実行し、前記第１の撮影データに付与するメタデータを生成可能な情報を含み得る第２の撮影データを生成することを特徴とする撮影方法。 An imaging method of an imaging apparatus that executes imaging and generates first imaging data when an imaging instruction is input from an operation unit,
Prior to inputting the photographing instruction, photographing is performed in advance, and second photographing data that can include information capable of generating metadata to be added to the first photographing data is generated. 操作部から撮影指示が入力された場合に、撮影を実行し第１の撮影データを生成する撮影装置の制御プログラムであって、
前記撮影指示の入力に先立って予め撮影を実行し、前記第１の撮影データに付与するメタデータを生成可能な情報を含み得る第２の撮影データを生成することを特徴とする撮影装置の制御プログラム。 When a shooting instruction is input from an operation unit, a control program for a shooting apparatus that executes shooting and generates first shooting data,
Prior to inputting the shooting instruction, shooting is performed in advance, and second shooting data that can include information that can generate metadata to be added to the first shooting data is generated. program.

Images