JP6780748B2 - Image processing device and image processing program - Google Patents

Image processing device and image processing program Download PDF

Info

Publication number
JP6780748B2
JP6780748B2 JP2019139423A JP2019139423A JP6780748B2 JP 6780748 B2 JP6780748 B2 JP 6780748B2 JP 2019139423 A JP2019139423 A JP 2019139423A JP 2019139423 A JP2019139423 A JP 2019139423A JP 6780748 B2 JP6780748 B2 JP 6780748B2
Authority
JP
Japan
Prior art keywords
image
subject
unit
image data
search
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2019139423A
Other languages
Japanese (ja)
Other versions
JP2020004418A (en
Inventor
静二 ▲高▼野
静二 ▲高▼野
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nikon Corp
Original Assignee
Nikon Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nikon Corp filed Critical Nikon Corp
Priority to JP2019139423A priority Critical patent/JP6780748B2/en
Publication of JP2020004418A publication Critical patent/JP2020004418A/en
Application granted granted Critical
Publication of JP6780748B2 publication Critical patent/JP6780748B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Landscapes

  • Processing Or Creating Images (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Studio Devices (AREA)

Description

本発明は、画像処理装置、画像生成装置、画像検索装置、画像処理プログラム、画像生成プログラム、及び画像検索プログラムに関する。 The present invention relates to an image processing device, an image generation device, an image search device, an image processing program, an image generation program, and an image search program.

画像を検索する装置として、例えば特許文献１に記載されたものがある。この装置においては、ＣＰＵが画像の中から人物の顔などの部分画像を抽出し、抽出した部分画像における目、鼻などの位置や位置関係などを数値化した数値データを算出する。そして、ＣＰＵは、数値データと検索情報に対応する数値データとを比較して画像検索を行う。また、ＣＰＵは、画像の撮影時におけるフォーカス位置（合焦位置）などに基づいて比較対象の部分画像を絞り込む。 As a device for searching an image, for example, there is one described in Patent Document 1. In this device, the CPU extracts a partial image such as a person's face from the image, and calculates numerical data in which the positions and positional relationships of the eyes, nose, etc. in the extracted partial image are quantified. Then, the CPU performs an image search by comparing the numerical data with the numerical data corresponding to the search information. Further, the CPU narrows down the partial image to be compared based on the focus position (focusing position) at the time of shooting the image.

特開２００５−８０２１６号公報Japanese Unexamined Patent Publication No. 2005-80216

しかし、上記した装置は、合焦位置を奥行き方向に変更可能な画像（リフォーカス画像という。）の検索には適しておらず、依然として改善の余地がある。 However, the above-mentioned device is not suitable for searching an image (referred to as a refocused image) whose focusing position can be changed in the depth direction, and there is still room for improvement.

本発明の態様では、合焦位置を奥行き方向に変更可能なリフォーカス画像に適した画像検索を行うことを目的とする。 An object of the present invention is to perform an image search suitable for a refocused image in which the focusing position can be changed in the depth direction.

本発明の態様によれば、焦点位置を変更した画像を生成可能な画像データを検索し、特定の被写体を含む画像を生成可能な画像データを特定する検索部を備える画像処理装置が提供される。
本発明の態様によれば、焦点位置を変更した画像を生成可能な画像データの中から特定の被写体を含む画像を生成可能な画像データを検索する検索部と、検索部により検索された画像データに基づいて、奥行き方向における、特定の被写体を含む所定の範囲の内で所定の位置に合焦している画像を生成する生成部と、を備える画像生成装置が提供される。
本発明の態様によれば、焦点位置を変更した画像を生成可能な画像データの中から特定の被写体を含む画像を生成可能な画像データを検索する検索部と、検索部により検索された画像データに基づいて、生成された画像を表示する表示部と、を備え、表示部に表示される画像は、特定の被写体が含まれた画像である画像検索装置が提供される。
本発明の第１態様によれば、合焦位置を奥行き方向に変更可能な画像データに含まれる被写体を検出するとともに、検出した被写体の奥行き方向の位置を検出する検出部と、検索対象の被写体に関する付随情報を指定する指定部と、指定部で指定された付随情報に対応する被写体を検索する検索部と、検索部で検索された被写体の奥行き方向の位置に応じて所定の合焦位置の画像データを生成する画像生成部と、を備える画像生成装置が提供される。 According to the aspect of the present invention, there is provided an image processing apparatus including a search unit that searches for image data capable of generating an image in which the focal position is changed and identifies image data capable of generating an image including a specific subject. ..
According to the aspect of the present invention, a search unit that searches for image data that can generate an image including a specific subject from image data that can generate an image whose focal position is changed, and image data that is searched by the search unit. Based on the above, an image generation device including a generation unit that generates an image that is in focus at a predetermined position within a predetermined range including a specific subject in the depth direction is provided.
According to the aspect of the present invention, a search unit that searches for image data that can generate an image including a specific subject from image data that can generate an image whose focal position is changed, and image data that is searched by the search unit. Based on the above, an image search device is provided which includes a display unit for displaying the generated image, and the image displayed on the display unit is an image including a specific subject.
According to the first aspect of the present invention, a detection unit that detects a subject included in image data whose focusing position can be changed in the depth direction, a detection unit that detects the position of the detected subject in the depth direction, and a subject to be searched. A designated unit that specifies incidental information about the subject, a search unit that searches for a subject corresponding to the incidental information specified in the specified unit, and a predetermined focusing position according to the position of the subject searched in the search unit in the depth direction. An image generation device including an image generation unit for generating image data is provided.

本発明の第２態様によれば、合焦位置を奥行き方向に変更可能な一又は複数の画像データに含まれる被写体を検出するとともに、検出した被写体の奥行き方向の位置を検出する検出部と、検索対象の被写体の奥行き方向の位置を指定する指定部と、指定部で指定された位置に対応する被写体を含む画像データを検索する検索部と、を備える画像検索装置が提供される。 According to the second aspect of the present invention, a detection unit that detects a subject included in one or more image data whose focusing position can be changed in the depth direction and detects the position of the detected subject in the depth direction. An image search device including a designated unit for designating a position of a subject to be searched in the depth direction and a search unit for searching image data including a subject corresponding to the position designated by the designated unit is provided.

本発明の態様によれば、コンピュータに、焦点位置を変更した画像を生成可能な画像データを検索し、特定の被写体を含む画像を生成可能な画像データを特定する処理を実行させる画像処理プログラムが提供される。
本発明の第３態様によれば、コンピュータに、合焦位置を奥行き方向に変更可能な画像データに含まれる被写体を検出するとともに、検出した被写体の奥行き方向の位置を検出する検出処理と、検索対象の被写体に関する付随情報を指定する指定処理と、指定処理で指定された付随情報に対応する被写体を検索する検索処理と、検索処理で検索された被写体の奥行き方向の位置に応じて所定の合焦位置の画像データを生成する画像生成処理と、を実行させる画像生成プログラムが提供される。 According to the aspect of the present invention, an image processing program that causes a computer to search for image data capable of generating an image in which the focal position is changed and to execute a process of specifying image data capable of generating an image including a specific subject. Provided.
According to the third aspect of the present invention, the computer detects a subject included in the image data whose focusing position can be changed in the depth direction, and detects the position of the detected subject in the depth direction, and searches. A specified process that specifies incidental information about the target subject, a search process that searches for a subject that corresponds to the incidental information specified in the specified process, and a predetermined combination according to the position of the subject searched in the search process in the depth direction. An image generation process for generating image data at the focal position and an image generation program for executing the image data are provided.

本発明の第４態様によれば、コンピュータに、合焦位置を奥行き方向に変更可能な一又は複数の画像データに含まれる被写体を検出するとともに、検出した被写体の奥行き方向の位置を検出する検出処理と、検索対象の被写体の奥行き方向の位置を指定する指定処理と、指定処理で指定された位置に対応する被写体を含む画像データを検索する検索処理と、を実行させる画像検索プログラムが提供される。 According to the fourth aspect of the present invention, the computer detects a subject included in one or more image data whose focusing position can be changed in the depth direction, and detects the position of the detected subject in the depth direction. An image search program is provided that executes processing, a specification process for specifying the position of the subject to be searched in the depth direction, and a search process for searching image data including the subject corresponding to the position specified in the specified process. To.

本発明の態様によれば、合焦位置を奥行き方向に変更可能なリフォーカス画像に適した画像検索を行うことができる。 According to the aspect of the present invention, it is possible to perform an image search suitable for a refocused image in which the focusing position can be changed in the depth direction.

画像検索・生成装置（画像検索装置）の構成を示すブロック図である。It is a block diagram which shows the structure of the image search / generation device (image search device). 撮像装置の一例であるライトフィールドカメラにおける光学系部分の概略構成を示す断面図である。It is sectional drawing which shows the schematic structure of the optical system part in the light field camera which is an example of an image pickup apparatus. 撮像素子の画素配列と入射領域とを説明する図である。It is a figure explaining the pixel arrangement of the image pickup element, and the incident area. ライトフィールドカメラの構成を示すブロック図である。It is a block diagram which shows the structure of a light field camera. 画像の再構成を説明する図である。It is a figure explaining the reconstruction of an image. 図１に示す演算部が実行する画像処理を説明するためのフローチャートである。It is a flowchart for demonstrating the image processing executed by the arithmetic unit shown in FIG. ライトフィールドカメラと各被写体との距離関係を示す図である。It is a figure which shows the distance relationship between a light field camera and each subject. 画像データに付加されるＥＸＩＦ情報の例を示す図である。It is a figure which shows the example of the EXIF information added to the image data. 記憶部に記憶されている画像の表示例を示す図である。It is a figure which shows the display example of the image stored in the storage part. 演算処理部が実行する画像検索・生成処理を説明するためのフローチャートである。It is a flowchart for demonstrating the image search / generation process executed by the arithmetic processing unit. 第１実施形態の画像検索画面の表示例を示す図である。It is a figure which shows the display example of the image search screen of 1st Embodiment. 第１実施形態の画像検索画面の表示例を示す図である。It is a figure which shows the display example of the image search screen of 1st Embodiment. 第１実施形態の画像検索画面の表示例を示す図である。It is a figure which shows the display example of the image search screen of 1st Embodiment. 第２実施形態の画像検索画面の表示例を示す図である。It is a figure which shows the display example of the image search screen of 2nd Embodiment. 視差を有する画像の表示例を示す図である。It is a figure which shows the display example of the image which has a parallax. 画像検索・生成システムの構成を示すブロック図である。It is a block diagram which shows the structure of an image search / generation system.

以下、本発明の実施形態について図面を参照して説明する。ただし、本発明はこれに限定されるものではない。また、図面においては、実施形態を説明するため、一部分を大きくまたは強調して記載するなど適宜縮尺を変更して表現する場合がある。 Hereinafter, embodiments of the present invention will be described with reference to the drawings. However, the present invention is not limited to this. In addition, in the drawings, in order to explain the embodiment, the scale may be changed as appropriate, such as drawing a part in a large or emphasized manner.

＜第１実施形態＞
図１は、画像検索・生成装置１０１の構成を示すブロック図である。図１に示すように、画像検索・生成装置（画像検索装置、画像生成装置）１０１は、撮像装置の一例であるライトフィールドカメラ１、表示装置１０２、キーボード１０３、及びマウス１０４と接続されている。ここで、ライトフィールドカメラ１は、撮像部がカメラに入射する多数の光線をライトフィールド（光線空間）として取得する。そして、ライトフィールドカメラ１は、取得したライトフィールドの情報に対して画像処理を施すことで合焦位置などを奥行き方向に変更したリフォーカス画像を生成する。以下の説明では、三次元空間の光線集合であるライトフィールドの情報を光線情報又はＲＡＷデータという。 <First Embodiment>
FIG. 1 is a block diagram showing a configuration of an image search / generation device 101. As shown in FIG. 1, the image search / generation device (image search device, image generation device) 101 is connected to a light field camera 1, a display device 102, a keyboard 103, and a mouse 104, which are examples of image pickup devices. .. Here, the light field camera 1 acquires a large number of light rays incident on the camera as a light field (light ray space) by the imaging unit. Then, the light field camera 1 generates a refocused image in which the in-focus position and the like are changed in the depth direction by performing image processing on the acquired light field information. In the following description, information on a light field, which is a set of rays in a three-dimensional space, is referred to as ray information or RAW data.

画像検索・生成装置１０１は、使用者により指定される情報に基づいて、ライトフィールドカメラ１で撮影された画像データに含まれる被写体を検索し、検索した被写体の奥行き方向の位置に合焦した画像データを生成する。なお、ライトフィールドカメラ１から被写体に向かう方向を奥側の方向といい、その反対側の方向を手前側の方向をいう。また、奥側の方向及び手前側の方向を奥行き方向という。 The image search / generation device 101 searches for a subject included in the image data taken by the light field camera 1 based on the information specified by the user, and focuses on the position of the searched subject in the depth direction. Generate data. The direction from the light field camera 1 toward the subject is referred to as the back side direction, and the opposite side direction is referred to as the front side direction. Further, the direction on the back side and the direction on the front side are called the depth direction.

画像検索・生成装置１０１は、例えば、パーソナルコンピュータで実現される。この画像検索・生成装置１０１は、図１に示すように、演算処理部１１０及び記憶部１２０を有している。演算処理部１１０は、画像データの検索及び生成に関する制御を司る。記憶部１２０は、ライトフィールドカメラ１で取得されたＲＡＷデータや、このＲＡＷデータから生成される画像データ（この画像データに付加される付随情報を含む）などを記憶する。なお、本実施形態では、画像データに付加される付随情報はＥＸＩＦ情報(Exchangeable Image file Format)である。ＥＸＩＦ情報には、例えば、画像データごとに付加される撮影シーンの情報（ポートレート、風景など）、画像データ中の被写体ごとに付加される、被写体の種別（種類）を示す被写体種別データ、画像データ中の被写体ごとに付加される、個々の被写体を識別するための被写体識別データ、被写体ごとに付加される、被写体の合焦位置の情報（つまりライトフィールドカメラ１から被写体までの距離を示す距離データ）が含まれる（後述する図８参照）。また、被写体識別データには、被写体の特徴点や被写体の名称などが含まれる。 The image search / generation device 101 is realized by, for example, a personal computer. As shown in FIG. 1, the image search / generation device 101 has an arithmetic processing unit 110 and a storage unit 120. The arithmetic processing unit 110 controls the search and generation of image data. The storage unit 120 stores RAW data acquired by the light field camera 1, image data generated from the RAW data (including incidental information added to the image data), and the like. In the present embodiment, the accompanying information added to the image data is EXIF information (Exchangeable Image file Format). The EXIF information includes, for example, shooting scene information (portrait, landscape, etc.) added for each image data, subject type data indicating the subject type (type) added for each subject in the image data, and an image. Subject identification data for identifying individual subjects added to each subject in the data, information on the focus position of the subject added for each subject (that is, the distance indicating the distance from the light field camera 1 to the subject) Data) is included (see FIG. 8 below). In addition, the subject identification data includes feature points of the subject, names of the subjects, and the like.

被写体の特徴点とは、被写体が同一の被写体であるか異なる被写体であるかを識別するための被写体の特徴的な情報のことをいう。例えば、被写体が人物の場合における人物の顔の形、目の形、目と鼻の位置関係などの情報が特徴点とされ、また、被写体が建物である場合における建物の色や形状などの情報が特徴点とされる。 The feature point of the subject refers to the characteristic information of the subject for identifying whether the subject is the same subject or a different subject. For example, information such as the shape of the person's face, the shape of the eyes, and the positional relationship between the eyes and the nose when the subject is a person is used as a feature point, and information such as the color and shape of the building when the subject is a building. Is a feature point.

演算処理部１１０は、図１に示すように、表示制御部１１１、画像入力部１１２、操作制御部１１３、及び演算部１１４を有している。表示制御部１１１は、例えば液晶表示ディスプレイのような表示装置１０２の表示画面５００に、使用者が画像データの検索を行うための画像検索画面（図１１〜図１３参照）を表示する制御を行う。画像検索画面は、使用者が画像を検索するときに用いるグラフィカルユーザインタフェイス（ＧＵＩ）である。また、表示制御部１１１は、複数の画像データに含まれる複数の被写体を検出し、検出した複数の被写体の画像データを切り出す。そして、表示制御部１１１は、切り出した複数の被写体の画像データに基づく画像を、表示装置１０２の表示画面５００の第１表示領域（被写体一覧を表示するための第１表示領域５０１；図１１参照）に表示する制御を行う。 As shown in FIG. 1, the arithmetic processing unit 110 includes a display control unit 111, an image input unit 112, an operation control unit 113, and an arithmetic unit 114. The display control unit 111 controls to display an image search screen (see FIGS. 11 to 13) for the user to search for image data on the display screen 500 of the display device 102 such as a liquid crystal display. .. The image search screen is a graphical user interface (GUI) used when a user searches for an image. In addition, the display control unit 111 detects a plurality of subjects included in the plurality of image data, and cuts out the image data of the detected plurality of subjects. Then, the display control unit 111 displays an image based on the image data of the plurality of subjects cut out in the first display area of the display screen 500 of the display device 102 (first display area 501 for displaying the subject list; see FIG. 11). ) Is displayed.

また、表示制御部１１１は、使用者によるマウス１０４などの操作（例えばドラッグアンドドロップ操作）によって、第１表示領域に表示されている複数の被写体の画像データに基づく画像を、表示装置１０２の表示画面５００の第２表示領域（検索対象の被写体を表示するための第２表示領域５０２；図１１参照）に移動させる制御を行う。また、表示制御部１１１は、使用者によるマウス１０４などの操作（例えばドラッグアンドドロップ操作）によって、複数の被写体の画像データに基づく画像の奥行き方向の表示位置を変更する制御を行う。 Further, the display control unit 111 displays an image based on the image data of a plurality of subjects displayed in the first display area by the operation of the mouse 104 or the like (for example, a drag and drop operation) by the display device 102. Control is performed to move the screen 500 to the second display area (second display area 502 for displaying the subject to be searched; see FIG. 11). Further, the display control unit 111 controls to change the display position in the depth direction of the image based on the image data of a plurality of subjects by the operation of the mouse 104 or the like by the user (for example, a drag and drop operation).

画像入力部１１２は、ライトフィールドカメラ１と接続されることにより、このライトフィールドカメラ１に記憶されているＲＡＷデータ及び画像データ（付随情報を含む）を入力する。この画像入力部１１２は、ライトフィールドカメラ１から入力したＲＡＷデータ及び画像データ（付随情報を含む）を記憶部１２０における画像データ記憶領域に記憶する。なお、画像入力部１１２は、インターネットなど通信ネットワーク（図示せず）を通じてＲＡＷデータなど（ＲＡＷデータ、画像データ）を取得し、取得したＲＡＷデータなどを記憶部１２０における画像データ記憶領域に記憶することも可能である。 The image input unit 112 inputs RAW data and image data (including accompanying information) stored in the light field camera 1 by being connected to the light field camera 1. The image input unit 112 stores RAW data and image data (including accompanying information) input from the light field camera 1 in the image data storage area of the storage unit 120. The image input unit 112 acquires RAW data (RAW data, image data) through a communication network (not shown) such as the Internet, and stores the acquired RAW data or the like in the image data storage area of the storage unit 120. Is also possible.

操作制御部１１３は、使用者が操作可能な操作部を構成するキーボード１０３及びマウス１０４と接続される。この操作制御部１１３は、使用者によるキーボード１０３やマウス１０４の操作に応じて情報を入力し、その情報を表示制御部１１１や演算部１１４に出力する。 The operation control unit 113 is connected to a keyboard 103 and a mouse 104 that form an operation unit that can be operated by the user. The operation control unit 113 inputs information in response to an operation of the keyboard 103 or the mouse 104 by the user, and outputs the information to the display control unit 111 or the calculation unit 114.

演算部１１４は、図１に示すように、画像生成部１１４ａ、検出部１１４ｂ、指定部１１４ｃ、及び検索部１１４ｄを備えている。画像生成部１１４ａは、ライトフィールドカメラ１からＲＡＷデータを取得した際に（図６のステップＳ１参照）、ＲＡＷデータに基づいて合焦位置が異なる複数の画像データを生成する。また、画像生成部１１４ａは、合焦位置が異なる複数の画像データに対して、色信号処理（色調補正）、ホワイトバランス調整、シャープネス調整、ガンマ補正、階調調整などの各種画像処理を実行する。また、画像生成部１１４ａは、後述する検索部１１４ｄが検索条件に対応する被写体（検索対象の被写体）を含む画像データを検索した際に（図１０のステップＳ１９参照）、ＲＡＷデータに基づいて検索部１１４ｄで検索された被写体の奥行き方向の位置に合焦した画像データを生成する。 As shown in FIG. 1, the calculation unit 114 includes an image generation unit 114a, a detection unit 114b, a designation unit 114c, and a search unit 114d. When the image generation unit 114a acquires RAW data from the light field camera 1 (see step S1 in FIG. 6), the image generation unit 114a generates a plurality of image data having different focusing positions based on the RAW data. Further, the image generation unit 114a executes various image processing such as color signal processing (color tone correction), white balance adjustment, sharpness adjustment, gamma correction, and gradation adjustment for a plurality of image data having different focusing positions. .. Further, the image generation unit 114a searches based on the RAW data when the search unit 114d, which will be described later, searches for image data including a subject (subject to be searched) corresponding to the search condition (see step S19 in FIG. 10). The image data focused on the position in the depth direction of the subject searched by the unit 114d is generated.

検出部１１４ｂは、ライトフィールドカメラ１からＲＡＷデータを取得した際に（図６のステップＳ１参照）、画像生成部１１４ａがＲＡＷデータに基づいて生成した画像データ中の１つ又は複数の被写体（以下、登録対象の被写体という。）を検出する。また、検出部１１４ｂは、検出した登録対象の被写体の特徴点を抽出する。そして、検出部１１４ｂは、抽出した登録対象の被写体の特徴点と、記憶部１２０に記憶されている１つ又は複数の画像データに含まれる複数の被写体の特徴点とを順次照合して、検出した登録対象の被写体と同じ被写体を含む画像データが記憶部１２０内に存在するか否かを判定する。 When the detection unit 114b acquires the RAW data from the light field camera 1 (see step S1 in FIG. 6), the detection unit 114b has one or a plurality of subjects (hereinafter, the following) in the image data generated by the image generation unit 114a based on the RAW data. , The subject to be registered.) Is detected. In addition, the detection unit 114b extracts the feature points of the detected subject to be registered. Then, the detection unit 114b sequentially collates the extracted feature points of the subject to be registered with the feature points of a plurality of subjects included in one or a plurality of image data stored in the storage unit 120, and detects the feature points. It is determined whether or not image data including the same subject as the subject to be registered is present in the storage unit 120.

検出部１１４ｂは、登録対象の被写体と同じ被写体を含む画像データが記憶部１２０内に存在しないと判定した場合は、登録対象の被写体を含む画像データのＥＸＩＦ情報に新たな被写体種別データ及び被写体識別データを被写体ごとに付加する。一方、検出部１１４ｂは、登録対象の被写体と同じ被写体を含む画像データが記憶部１２０内に存在すると判定した場合は、登録対象の被写体を含む画像データのＥＸＩＦ情報に、記憶部１２０内の画像データに付加されているＥＸＩＦ情報の被写体種別データ及び被写体識別データと同じデータを被写体ごとに付加する。なお、検出部１１４ｂは、登録対象の被写体を含む画像データのＥＸＩＦ情報に、画像データごとの撮影シーンの情報も付加する。 When the detection unit 114b determines that the image data including the same subject as the subject to be registered does not exist in the storage unit 120, the detection unit 114b adds new subject type data and subject identification to the EXIF information of the image data including the subject to be registered. Data is added for each subject. On the other hand, when the detection unit 114b determines that the image data including the same subject as the subject to be registered exists in the storage unit 120, the image in the storage unit 120 is added to the EXIF information of the image data including the subject to be registered. The same data as the subject type data and subject identification data of the EXIF information added to the data is added for each subject. The detection unit 114b also adds information on the shooting scene for each image data to the EXIF information of the image data including the subject to be registered.

また、検出部１１４ｂは、登録対象の被写体の奥行き方向の位置（被写体の合焦位置）を検出する。検出部１１４ｂは、登録対象の被写体を含む画像データのＥＸＩＦ情報に、登録対象の被写体の奥行き方向の位置を示す距離データ（合焦位置）を被写体ごとに付加する。演算部１１４は、ＲＡＷデータとともに、ＥＸＩＦ情報が付加された画像データを記憶部１２０に記憶する。 Further, the detection unit 114b detects the position of the subject to be registered in the depth direction (focus position of the subject). The detection unit 114b adds distance data (focus position) indicating the position of the subject to be registered in the depth direction to the EXIF information of the image data including the subject to be registered for each subject. The calculation unit 114 stores the image data to which the EXIF information is added in the storage unit 120 together with the RAW data.

指定部１１４ｃは、使用者が画像データを検索する際に、画像データの検索条件を指定する。具体的には、操作制御部１１３は、使用者が画像データを検索するためにキーボード１０３やマウス１０４の操作に合わせて入力する情報を演算部１１４に出力する。指定部１１４ｃは、操作制御部１１３からの情報を入力し、入力した情報を画像データの検索条件として指定する。検索条件は、上述した被写体種別データ（人物、家、木、山など）、被写体識別データ（被写体の特徴点、被写体の名称）、及び被写体の奥行き方向の位置のうちの少なくともいずれか１つの情報である。 The designation unit 114c specifies search conditions for image data when the user searches for image data. Specifically, the operation control unit 113 outputs to the calculation unit 114 the information that the user inputs in accordance with the operation of the keyboard 103 or the mouse 104 in order to search the image data. The designation unit 114c inputs information from the operation control unit 113, and designates the input information as a search condition for image data. The search condition is information on at least one of the above-mentioned subject type data (person, house, tree, mountain, etc.), subject identification data (subject feature point, subject name), and subject's position in the depth direction. Is.

検索部１１４ｄは、記憶部１２０に記憶されている画像データの中から、指定部１１４ｃで指定された検索条件に対応する被写体を含む画像データを検索する。なお、表示制御部１１１は、検索部１１４ｄの画像検索結果である画像の一覧を表示装置１０２の表示画面５００に表示する。 The search unit 114d searches for image data including a subject corresponding to the search condition specified by the designated unit 114c from the image data stored in the storage unit 120. The display control unit 111 displays a list of images that are the image search results of the search unit 114d on the display screen 500 of the display device 102.

なお、演算処理部１１０における表示制御部１１１、画像入力部１１２、操作制御部１１３、及び演算部１１４（画像生成部１１４ａ、検出部１１４ｂ、指定部１１４ｃ、検索部１１４ｄ）のそれぞれの構成は、ＣＰＵ（Central Processing Unit）などの制御装置が記憶部１２０に記憶されている制御プログラム（画像生成プログラム、画像検索プログラム）に従って実行する処理又は制御に相当する。 The configurations of the display control unit 111, the image input unit 112, the operation control unit 113, and the calculation unit 114 (image generation unit 114a, detection unit 114b, designation unit 114c, search unit 114d) in the calculation processing unit 110 are This corresponds to processing or control executed by a control device such as a CPU (Central Processing Unit) according to a control program (image generation program, image search program) stored in the storage unit 120.

記憶部１２０には、ＲＡＷデータ及び画像データ（付随情報）を記憶するための画像データ記憶領域が形成されている。また、記憶部１２０には、表示制御部１１１による画像検索画面などの表示に必要な各種情報が記憶されている。また、記憶部１２０には、上記したように、演算処理部１１０における表示制御部１１１、画像入力部１１２、操作制御部１１３、及び演算部１１４の処理を実行させるための制御プログラム（画像生成プログラム、画像検索プログラム）なども記憶されている。 An image data storage area for storing RAW data and image data (accompanying information) is formed in the storage unit 120. Further, the storage unit 120 stores various information necessary for displaying an image search screen or the like by the display control unit 111. Further, as described above, the storage unit 120 is a control program (image generation program) for executing the processing of the display control unit 111, the image input unit 112, the operation control unit 113, and the calculation unit 114 in the calculation processing unit 110. , Image search program), etc. are also stored.

次に、図１に示したライトフィールドカメラ１の構成について説明する。図２は、撮像装置の一例であるライトフィールドカメラ１における光学系部分の概略構成を示す断面図である。なお、図２において、紙面の右方向（光軸方向）をＸ軸とし、Ｘ軸と直交する紙面の上方向をＺ軸とし、Ｘ軸及びＺ軸と直交する紙面の裏から表に向かう方向をＹ軸としている。また、図２は、ライトフィールドカメラ１における光学系部分を光軸を含む面で切断したときの断面図である。 Next, the configuration of the light field camera 1 shown in FIG. 1 will be described. FIG. 2 is a cross-sectional view showing a schematic configuration of an optical system portion in a light field camera 1 which is an example of an imaging device. In FIG. 2, the right direction (optical axis direction) of the paper surface is the X-axis, the upper direction of the paper surface orthogonal to the X-axis is the Z-axis, and the X-axis and the direction from the back to the front of the paper surface orthogonal to the Z-axis. Is the Y-axis. Further, FIG. 2 is a cross-sectional view of the light field camera 1 when the optical system portion is cut along a surface including an optical axis.

なお、ライトフィールドカメラ１の代表的な機能としては、撮影後の後処理によって焦点距離を変更した画像を生成するリフォーカス機能がある。従って、ライトフィールドカメラ１はリフォーカスカメラとも呼ばれる。 A typical function of the light field camera 1 is a refocus function for generating an image in which the focal length is changed by post-processing after shooting. Therefore, the light field camera 1 is also called a refocus camera.

本実施形態のライトフィールドカメラ１は、その光学系部分として、撮影光学系（結像光学系）１１及びマイクロレンズアレイ１２を備えている。なお、図２には、ライトフィールドカメラ１における光学系部分以外の構成である撮像素子２０についても示している。 The light field camera 1 of the present embodiment includes a photographing optical system (imaging optical system) 11 and a microlens array 12 as its optical system portion. Note that FIG. 2 also shows an image sensor 20 having a configuration other than the optical system portion of the light field camera 1.

撮影光学系１１は、複数のレンズ群で構成される単焦点レンズである。撮影光学系１１は、被写体からの光束をその焦点面（結像面）近傍に結像する。また、撮影光学系１１は、撮影時に絞り値（Ｆ値）を制御する開口絞り（不図示）を備えている。なお、絞り値は撮影後の画像の再構成によって変更することができるため、開口絞りの開口径は固定でもよい。図２に示すように、撮影光学系１１の焦点面近傍にマイクロレンズアレイ１２と撮像素子２０とが順に配置されている。 The photographing optical system 11 is a single focus lens composed of a plurality of lens groups. The photographing optical system 11 forms a light beam from the subject in the vicinity of the focal plane (imaging plane) thereof. Further, the photographing optical system 11 includes an aperture diaphragm (not shown) that controls an aperture value (F value) at the time of photographing. Since the aperture value can be changed by reconstructing the image after shooting, the aperture diameter of the aperture aperture may be fixed. As shown in FIG. 2, the microlens array 12 and the image sensor 20 are arranged in order near the focal plane of the photographing optical system 11.

マイクロレンズアレイ１２は、正のパワーを有した複数のマイクロレンズ（正レンズ）が二次元状に配置された構成となっている。なお、図２に示すマイクロレンズアレイ１２においては、３つのマイクロレンズだけがＺ軸方向に配されているが、実際はＺ軸方向及びＹ軸方向に多数のマイクロレンズが配されている。 The microlens array 12 has a configuration in which a plurality of microlenses (positive lenses) having positive power are arranged two-dimensionally. In the microlens array 12 shown in FIG. 2, only three microlenses are arranged in the Z-axis direction, but in reality, a large number of microlenses are arranged in the Z-axis direction and the Y-axis direction.

撮像素子２０は、マイクロレンズアレイ１２の後側（撮影光学系１１の反対側）に若干の間隔をおいて配置されている。この撮像素子２０は、マイクロレンズアレイ１２の各マイクロレンズを通過した光束を複数の光電変換素子で受光し、各々の光電変換素子が受光した光束を光電変換して複数の画素信号を生成する。複数の光電変換素子はマトリックス状に配列され、各々の光電変換素子が画素を形成する。本実施形態では、撮像素子２０は、ＣＣＤ(Charge Coupled Device)やＣＭＯＳ(Complementary Metal-Oxide Semiconductor)などの二次元固体撮像素子で構成されている。 The image sensor 20 is arranged on the rear side of the microlens array 12 (opposite side of the photographing optical system 11) at a slight interval. The image sensor 20 receives the light flux passing through each microlens of the microlens array 12 by a plurality of photoelectric conversion elements, and photoelectrically converts the light flux received by each photoelectric conversion element to generate a plurality of pixel signals. A plurality of photoelectric conversion elements are arranged in a matrix, and each photoelectric conversion element forms a pixel. In the present embodiment, the image sensor 20 is composed of a two-dimensional solid-state image sensor such as a CCD (Charge Coupled Device) or a CMOS (Complementary Metal-Oxide Semiconductor).

図２の部分拡大図に示す例では、複数のマイクロレンズ１２ａ，１２ｂ，１２ｃの各々の後側に複数個ずつ画素が配列されている。具体的には、マイクロレンズ１２ａの後側に３つの画素２１ａ，２１ｂ，２１ｃが配列され、マイクロレンズ１２ｂの後側に３つの画素２２ａ，２２ｂ，２２ｃが配列され、マイクロレンズ１２ｃの後側に３つの画素２３ａ，２３ｂ，２３ｃが配列されている。 In the example shown in the partially enlarged view of FIG. 2, a plurality of pixels are arranged on the rear side of each of the plurality of microlenses 12a, 12b, and 12c. Specifically, three pixels 21a, 21b, 21c are arranged on the rear side of the microlens 12a, three pixels 22a, 22b, 22c are arranged on the rear side of the microlens 12b, and three pixels 22a, 22b, 22c are arranged on the rear side of the microlens 12c. Three pixels 23a, 23b, 23c are arranged.

３つの画素２１ａ，２１ｂ，２１ｃがマイクロレンズ１２ａに対応する画素２１であり、３つの画素２２ａ，２２ｂ，２２ｃがマイクロレンズ１２ｂに対応する画素２２であり、３つの画素２３ａ，２３ｂ，２３ｃがマイクロレンズ１２ｃに対応する画素２３である。なお、図２の部分拡大図では、各マイクロレンズ１２ａ，１２ｂ，１２ｃに対応する画素として３つの画素を示しているが、実際はＺ軸方向及びＹ軸方向に多数の画素が配列されている（後述する図３参照）。 The three pixels 21a, 21b, 21c are the pixels 21 corresponding to the microlens 12a, the three pixels 22a, 22b, 22c are the pixels 22 corresponding to the microlens 12b, and the three pixels 23a, 23b, 23c are micro. The pixel 23 corresponds to the lens 12c. In the partially enlarged view of FIG. 2, three pixels are shown as pixels corresponding to the respective microlenses 12a, 12b, and 12c, but in reality, a large number of pixels are arranged in the Z-axis direction and the Y-axis direction (). See FIG. 3 below).

次に、図２を参照してライトフィールドカメラ１によるライトフィールドの取得について簡単に説明する。図２において、Ａの位置にある被写体が撮影光学系１１によってマイクロレンズアレイ１２の位置に焦点を結ぶものとする。被写体上の点Ａ１からの光線は、撮影光学系１１の瞳上の部分領域１１ａを通過し、マイクロレンズ１２ａを通過して撮像素子２０の画素２１ｃで受光される。また、被写体上の点Ａ１からの他の光線は、撮影光学系１１の瞳上の部分領域１１ｂを通過し、マイクロレンズ１２ａを通過して撮像素子２０の画素２１ｂで受光される。また、被写体上の点Ａ１からの他の光線は、撮影光学系１１の瞳上の部分領域１１ｃを通過し、マイクロレンズ１２ａを通過して撮像素子２０の画素２１ａで受光される。 Next, acquisition of the light field by the light field camera 1 will be briefly described with reference to FIG. In FIG. 2, it is assumed that the subject at the position A focuses on the position of the microlens array 12 by the photographing optical system 11. The light beam from the point A1 on the subject passes through the partial region 11a on the pupil of the photographing optical system 11, passes through the microlens 12a, and is received by the pixel 21c of the image sensor 20. Further, other light rays from the point A1 on the subject pass through the partial region 11b on the pupil of the photographing optical system 11, pass through the microlens 12a, and are received by the pixels 21b of the image sensor 20. Further, other light rays from the point A1 on the subject pass through the partial region 11c on the pupil of the photographing optical system 11, pass through the microlens 12a, and are received by the pixel 21a of the image sensor 20.

同様に、被写体上の点Ａ２からの光線は、撮影光学系１１の瞳上の部分領域１１ａを通過し、マイクロレンズ１２ｂを通過して撮像素子２０の画素２２ｃで受光される。また、被写体上の点Ａ２からの他の光線は、撮影光学系１１の瞳上の部分領域１１ｂを通過し、マイクロレンズ１２ｂを通過して撮像素子２０の画素２２ｂで受光される。また、被写体上の点Ａ２からの他の光線は、撮影光学系１１の瞳上の部分領域１１ｃを通過し、マイクロレンズ１２ｂを通過して撮像素子２０の画素２２ａで受光される。 Similarly, the light beam from the point A2 on the subject passes through the partial region 11a on the pupil of the photographing optical system 11, passes through the microlens 12b, and is received by the pixel 22c of the image sensor 20. Further, other light rays from the point A2 on the subject pass through the partial region 11b on the pupil of the photographing optical system 11, pass through the microlens 12b, and are received by the pixel 22b of the image sensor 20. Further, other light rays from the point A2 on the subject pass through the partial region 11c on the pupil of the photographing optical system 11, pass through the microlens 12b, and are received by the pixel 22a of the image sensor 20.

さらに、被写体上の点Ａ３からの光線は、撮影光学系１１の瞳上の部分領域１１ａを通過し、マイクロレンズ１２ｃを通過して撮像素子２０の画素２３ｃで受光される。また、被写体上の点Ａ３からの他の光線は、撮影光学系１１の瞳上の部分領域１１ｂを通過し、マイクロレンズ１２ｃを通過して撮像素子２０の画素２３ｂで受光される。また、被写体上の点Ａ３からの他の光線は、撮影光学系１１の瞳上の部分領域１１ｃを通過し、マイクロレンズ１２ｃを通過して撮像素子２０の画素２３ａで受光される。このように、Ａの位置にある被写体からの光線は、マイクロレンズ１２ａ，１２ｂ，１２ｃの後側に位置する撮像素子２０の画素で受光されることによって明るさと進行方向とが光線情報として取得される。 Further, the light beam from the point A3 on the subject passes through the partial region 11a on the pupil of the photographing optical system 11, passes through the microlens 12c, and is received by the pixel 23c of the image pickup device 20. Further, other light rays from the point A3 on the subject pass through the partial region 11b on the pupil of the photographing optical system 11, pass through the microlens 12c, and are received by the pixels 23b of the image sensor 20. Further, other light rays from the point A3 on the subject pass through the partial region 11c on the pupil of the photographing optical system 11, pass through the microlens 12c, and are received by the pixel 23a of the image sensor 20. In this way, the light beam from the subject at position A is received by the pixels of the image sensor 20 located behind the microlenses 12a, 12b, and 12c, so that the brightness and the traveling direction are acquired as light ray information. To.

マイクロレンズ１２ａ，１２ｂ，１２ｃそれぞれに対応する３つの画素のうち、下側の画素２１ｃ，２２ｃ，２３ｃの画素信号で生成される画像は、部分領域１１ａを通過した光線による像である。また、真中の画素２１ｂ，２２ｂ，２３ｂの画素信号で生成される画像は、部分領域１１ｂを通過した光線による像である。また、上側の画素２１ａ，２２ａ，２３ａの画素信号で生成される画像は、部分領域１１ｃを通過した光線による像である。例えば各マイクロレンズに対応する画素数がＮ個である場合、マイクロレンズに対して同じ位置にある画素の画素値を配列して構成されるＮ個の再構成画像は、撮影光学系１１をＮ個の部分領域に分割して取得されるＮ個のステレオ画像群を形成する。 Of the three pixels corresponding to the microlenses 12a, 12b, and 12c, the image generated by the pixel signals of the lower pixels 21c, 22c, and 23c is an image of light rays passing through the partial region 11a. Further, the image generated by the pixel signals of the pixels 21b, 22b, and 23b in the middle is an image of light rays passing through the partial region 11b. Further, the image generated by the pixel signals of the upper pixels 21a, 22a, 23a is an image of light rays passing through the partial region 11c. For example, when the number of pixels corresponding to each microlens is N, the N reconstructed images formed by arranging the pixel values of the pixels at the same position with respect to the microlens have N of the photographing optical system 11. N stereo image groups acquired by dividing into individual subregions are formed.

図３は、撮像素子２０の画素配列と入射領域とを説明する図である。なお、図３では図２のＸ軸方向から撮像素子２０を観察した様子を示す。図３に示す撮像素子２０において、画素が配列された領域を画素領域２００という。画素領域２００には例えば１０００万個以上もの画素がマトリックス状に配列されている。画素領域２００における円形の領域は、１つのマイクロレンズを通過した光線が入射する領域である。従って、円形の領域は、複数のマイクロレンズごとに複数形成される。これらの領域を入射領域２０１，２０２・・・という。なお、マイクロレンズは例えば５８６×４４０個配置される。ただし、このような配置数は一例であって、これよりも多い数でも少ない数でもよい。図３に示す例では、１つのマイクロレンズの直径は１３画素分となっている。ただし、このような画素数分に限定されるわけではない。 FIG. 3 is a diagram for explaining the pixel arrangement of the image sensor 20 and the incident region. Note that FIG. 3 shows a state in which the image sensor 20 is observed from the X-axis direction of FIG. In the image sensor 20 shown in FIG. 3, a region in which pixels are arranged is referred to as a pixel region 200. For example, 10 million or more pixels are arranged in a matrix in the pixel area 200. The circular region in the pixel region 200 is a region where light rays that have passed through one microlens are incident. Therefore, a plurality of circular regions are formed for each of the plurality of microlenses. These regions are referred to as incident regions 201, 202 ... For example, 586 × 440 microlenses are arranged. However, the number of such arrangements is an example, and may be larger or smaller than this. In the example shown in FIG. 3, the diameter of one microlens is 13 pixels. However, it is not limited to such a number of pixels.

上述したように、ライトフィールドカメラ１は、すべてのマイクロレンズから入射領域における同じ位置（入射領域内におけるＹ軸方向及びＺ軸方向の同じ位置）にある画素の画素値を抽出して再構成する。このようにして得られた再構成画像群は、撮影光学系１１の異なる部分領域から被写体を観察した画像群に相当する。従って、これらの再構成画像群においては、部分領域の位置と被写体までの距離に応じた視差を有する。例えば、図３に示すように、入射領域２０１における画素２０１ａと同じ位置にある各マイクロレンズの画素の画素値から構成される再構成画像と、入射領域２０１における画素２０１ｂと同じ位置にある各マイクロレンズの画素の画素値から構成される再構成画像とで視差を有する。 As described above, the light field camera 1 extracts and reconstructs the pixel values of the pixels at the same position in the incident region (the same position in the Y-axis direction and the Z-axis direction in the incident region) from all the microlenses. .. The reconstructed image group thus obtained corresponds to an image group in which a subject is observed from different partial regions of the photographing optical system 11. Therefore, these reconstructed image groups have parallax according to the position of the partial region and the distance to the subject. For example, as shown in FIG. 3, a reconstructed image composed of pixel values of the pixels of each microlens at the same position as the pixel 201a in the incident region 201 and each micro at the same position as the pixel 201b in the incident region 201. It has a discrepancy with a reconstructed image composed of pixel values of the pixels of the lens.

図４は、ライトフィールドカメラ１の構成を示すブロック図である。図４に示すライトフィールドカメラ１は、撮像部１０、画像処理部３０、ワークメモリ４０、表示部５０、操作部５５、記録部６０、及びシステム制御部７０を備える。撮像部１０は、撮影光学系１１、マイクロレンズアレイ１２、駆動制御部１３、撮像素子２０、及び駆動部２４を有している。撮影光学系１１及びマイクロレンズアレイ１２は、図２において説明したため、図４においては説明を省略する。 FIG. 4 is a block diagram showing the configuration of the light field camera 1. The light field camera 1 shown in FIG. 4 includes an image pickup unit 10, an image processing unit 30, a work memory 40, a display unit 50, an operation unit 55, a recording unit 60, and a system control unit 70. The image pickup unit 10 includes a photographing optical system 11, a microlens array 12, a drive control unit 13, an image pickup element 20, and a drive unit 24. Since the photographing optical system 11 and the microlens array 12 have been described with reference to FIG. 2, the description thereof will be omitted in FIG.

撮像素子２０の撮像面には、例えばベイヤー配列のカラーフィルタアレイが配置されている。撮像素子２０は、撮影光学系１１及びマイクロレンズアレイ１２を通過した光束を入射する。撮像素子２０は、入射した光束を光電変換してアナログ信号の各画素の画素信号を生成する。撮像部１０において、不図示のアンプがアナログ信号の各画素の画素信号を所定の利得率（増幅率）で増幅する。また、不図示のＡ／Ｄ変換部がアンプにより増幅されたアナログ信号の各画素の画素信号をデジタル信号の各画素の画素信号に変換する。そして、撮像部１０は、デジタル信号の各画素の画素信号からなるＲＡＷデータを画像処理部３０に出力する。上記したライトフィールドカメラ１が取得する光線情報は、撮像部１０から出力されるＲＡＷデータで特定される。 For example, a Bayer-arranged color filter array is arranged on the image pickup surface of the image pickup device 20. The image sensor 20 incidents a light flux that has passed through the photographing optical system 11 and the microlens array 12. The image sensor 20 photoelectrically converts the incident luminous flux to generate a pixel signal of each pixel of the analog signal. In the imaging unit 10, an amplifier (not shown) amplifies the pixel signal of each pixel of the analog signal at a predetermined gain rate (amplification rate). Further, an A / D conversion unit (not shown) converts the pixel signal of each pixel of the analog signal amplified by the amplifier into the pixel signal of each pixel of the digital signal. Then, the image pickup unit 10 outputs RAW data composed of pixel signals of each pixel of the digital signal to the image processing unit 30. The ray information acquired by the light field camera 1 described above is specified by RAW data output from the imaging unit 10.

駆動制御部１３は、撮影光学系１１が備える開口絞りの開口径調節を行うために、システム制御部７０から送信される制御情報に基づいて開口絞りの駆動制御を実行する。駆動部２４は、システム制御部７０からの指示信号に基づいて設定される撮像条件で撮像素子２０の駆動を制御する制御回路である。撮像条件としては、例えば、露光時間（シャッター速度）、フレームレート、ゲインなどがあげられる。 The drive control unit 13 executes drive control of the aperture diaphragm based on the control information transmitted from the system control unit 70 in order to adjust the aperture diameter of the aperture diaphragm included in the photographing optical system 11. The drive unit 24 is a control circuit that controls the drive of the image pickup device 20 under imaging conditions set based on an instruction signal from the system control unit 70. Examples of the imaging conditions include exposure time (shutter speed), frame rate, gain, and the like.

ここで、露光時間とは、撮像素子２０の光電変換素子が入射光に応じた電荷の蓄積を開始してから終了するまでの時間のことをいう。また、フレームレートとは、動画において単位時間あたりに処理（表示又は記録）されるフレーム数を表す値のことをいう。フレームレートの単位はｆｐｓ（Frames Per Second）で表される。また、ゲインとは、画素信号を増幅するアンプの利得率（増幅率）のことをいう。このゲインを変更することにより、ＩＳＯ感度を変更することができる。このＩＳＯ感度は、ＩＳＯで策定された写真フィルムの規格であり、写真フィルムがどの程度弱い光まで記録することができるかを表す。ただし、一般に、撮像素子２０の感度を表現する場合もＩＳＯ感度が用いられる。この場合、ＩＳＯ感度は撮像素子２０が光をとらえる能力を表す値となる。 Here, the exposure time refers to the time from when the photoelectric conversion element of the image pickup device 20 starts to accumulate electric charges according to the incident light to when it ends. The frame rate is a value representing the number of frames processed (displayed or recorded) per unit time in a moving image. The unit of frame rate is fps (Frames Per Second). Further, the gain refers to the gain rate (amplification rate) of the amplifier that amplifies the pixel signal. By changing this gain, the ISO sensitivity can be changed. This ISO sensitivity is a standard for photographic film established by ISO, and indicates how weak a photographic film can record. However, in general, ISO sensitivity is also used when expressing the sensitivity of the image sensor 20. In this case, the ISO sensitivity is a value representing the ability of the image sensor 20 to capture light.

画像処理部３０は、各画素の画素信号からなるＲＡＷデータに対して種々の画像処理を施し、所定のファイル形式（例えば、ＪＰＥＧ形式等）の画像データを生成する。画像処理部３０が生成する画像データには、静止画、動画、ライブビュー画像の画像データが含まれる。ライブビュー画像は、画像処理部３０で生成された画像データを表示部５０に順次出力して表示部５０に表示される画像である。ライブビュー画像は、撮像部１０により撮像されている被写体の画像を使用者が確認するために用いられる。ライブビュー画像は、スルー画やプレビュー画像とも呼ばれる。 The image processing unit 30 performs various image processing on the RAW data composed of the pixel signals of each pixel to generate image data in a predetermined file format (for example, JPEG format). The image data generated by the image processing unit 30 includes image data of still images, moving images, and live view images. The live view image is an image in which the image data generated by the image processing unit 30 is sequentially output to the display unit 50 and displayed on the display unit 50. The live view image is used for the user to confirm the image of the subject captured by the imaging unit 10. The live view image is also called a through image or a preview image.

画像処理部３０は、ワークメモリ４０をワークスペースとして、各画素の画素信号からなるＲＡＷデータに対して所定の画像処理を施すことにより任意の焦点距離に設定された画像データを生成する。具体的には、画像処理部３０は、次に示す画像処理を施すことにより任意の焦点距離に設定された画像データを生成する。 The image processing unit 30 uses the work memory 40 as a workspace to generate image data set to an arbitrary focal length by performing predetermined image processing on RAW data composed of pixel signals of each pixel. Specifically, the image processing unit 30 generates image data set to an arbitrary focal length by performing the following image processing.

図５は、画像の再構成を説明する図である。図５に示すように、画像処理部３０は、画素領域２００における各入射領域２０１，２０２・・・に対して同じ位置にある画素２０１ａ，２０２ａ・・・の画素値（画素信号が示す値）を抽出する。画像処理部３０は、抽出した画素値を並べ直して再構成画像データ４００ａを生成する。各入射領域２０１，２０２・・・に対応する画素数がＮ個である場合、Ｎ個の再構成画像データが生成される。 FIG. 5 is a diagram illustrating the reconstruction of the image. As shown in FIG. 5, the image processing unit 30 has pixel values (values indicated by pixel signals) of pixels 201a, 202a ... At the same positions with respect to the incident regions 201, 202 ... In the pixel region 200. Is extracted. The image processing unit 30 rearranges the extracted pixel values to generate the reconstructed image data 400a. When the number of pixels corresponding to each incident region 201, 202 ... Is N, N reconstructed image data are generated.

画像処理部３０は、Ｎ個の再構成画像データ群を所定の焦点距離に合わせて所定量だけ平行移動させる。そして、画像処理部３０は、平行移動後のＮ個の再構成画像データ群を加算平均する。これにより、所定の焦点距離に設定された画像データが生成される。移動量に応じた奥行きに存在する被写体は像の位置が合うのでシャープな輪郭の像が形成される。移動量に応じた奥行きに存在しない被写体の像はぼける。なお、上記した画像処理は一例であって、画像処理部３０は上記した画像処理とは異なる画像処理を実行することにより、任意の焦点距離に設定された画像データを生成してもよい。例えば、画像処理部３０は、撮像素子２０の各画素が取得する光線を所定の演算を行うことによって算出する。そして、画像処理部３０は、算出した光線を所定の焦点距離に設定した仮想的な画像面に投影することにより、所定の焦点距離に設定された画像データを生成する。 The image processing unit 30 translates the N reconstructed image data groups by a predetermined amount according to a predetermined focal length. Then, the image processing unit 30 adds and averages the N reconstructed image data groups after the translation. As a result, image data set to a predetermined focal length is generated. A subject existing at a depth corresponding to the amount of movement is aligned with the image, so that an image with a sharp outline is formed. The image of the subject that does not exist at the depth according to the amount of movement is blurred. The above-mentioned image processing is an example, and the image processing unit 30 may generate image data set to an arbitrary focal length by executing an image processing different from the above-mentioned image processing. For example, the image processing unit 30 calculates the light rays acquired by each pixel of the image sensor 20 by performing a predetermined calculation. Then, the image processing unit 30 generates image data set to a predetermined focal length by projecting the calculated light beam onto a virtual image plane set to a predetermined focal length.

本実施形態においては、画像処理部３０は、最も手前の被写体に合焦した画像データ、最も奥の被写体に合焦した画像データ、中間位置の被写体に合焦した画像データなど、焦点位置（焦点距離）が異なる複数の画像データを生成する。 In the present embodiment, the image processing unit 30 has a focal position (focus) such as image data focused on the frontmost subject, image data focused on the innermost subject, and image data focused on the subject at the intermediate position. Generate multiple image data with different distances).

画像処理部３０は、ワークメモリ４０をワークスペースとして、任意の焦点に設定された画像データに対して種々の画像処理を施す。例えば、画像処理部３０は、ベイヤー配列で得られた信号に対して色信号処理（色調補正）を行うことによりＲＧＢ画像データを生成する。また、画像処理部３０は、ＲＧＢ画像データに対して、ホワイトバランス調整、シャープネス調整、ガンマ補正、階調調整などの画像処理を行う。また、画像処理部３０は、必要に応じて、所定の圧縮形式（ＪＰＥＧ形式、ＭＰＥＧ形式等）で圧縮する処理を行う。画像処理部３０は、生成した画像データを記録部６０に出力する。また、画像処理部３０は、生成した画像データを表示部５０に出力する。 The image processing unit 30 uses the work memory 40 as a workspace to perform various image processing on the image data set at an arbitrary focal point. For example, the image processing unit 30 generates RGB image data by performing color signal processing (color tone correction) on the signals obtained in the Bayer array. Further, the image processing unit 30 performs image processing such as white balance adjustment, sharpness adjustment, gamma correction, and gradation adjustment on the RGB image data. Further, the image processing unit 30 performs a process of compressing in a predetermined compression format (JPEG format, MPEG format, etc.) as necessary. The image processing unit 30 outputs the generated image data to the recording unit 60. Further, the image processing unit 30 outputs the generated image data to the display unit 50.

ワークメモリ４０は、画像処理部３０による画像処理が行われる際にＲＡＷデータや画像データなどを一時的に記憶する。表示部５０は、撮像部１０で撮像された画像や各種情報を表示する。この表示部５０は、例えば液晶表示パネルなどで構成された表示画面５１を有している。なお、表示部５０に表示される画像には、静止画、動画、ライブビュー画像が含まれる。 The work memory 40 temporarily stores RAW data, image data, and the like when image processing is performed by the image processing unit 30. The display unit 50 displays images and various information captured by the image pickup unit 10. The display unit 50 has a display screen 51 composed of, for example, a liquid crystal display panel. The image displayed on the display unit 50 includes a still image, a moving image, and a live view image.

操作部５５は、使用者によって操作されるレリーズスイッチ（静止画の撮影時に押されるスイッチ）、動画スイッチ（動画の撮影時に押されるスイッチ）、各種の操作スイッチなどである。この操作部５５は、使用者による操作に応じた信号をシステム制御部７０に出力する。記録部６０は、メモリカードなどの記憶媒体を装着可能なカードスロットを有する。記録部６０は、カードスロットに装着された記録媒体に画像処理部３０において生成された画像データや各種データを記憶する。また、記録部６０は、内部メモリを有する。記録部６０は、画像処理部３０において生成された画像データや各種データを内部メモリに記録することも可能である。 The operation unit 55 includes a release switch (a switch pressed when shooting a still image), a moving image switch (a switch pressed when shooting a moving image), and various operation switches operated by the user. The operation unit 55 outputs a signal corresponding to the operation by the user to the system control unit 70. The recording unit 60 has a card slot into which a storage medium such as a memory card can be mounted. The recording unit 60 stores the image data and various data generated by the image processing unit 30 in the recording medium installed in the card slot. Further, the recording unit 60 has an internal memory. The recording unit 60 can also record the image data and various data generated by the image processing unit 30 in the internal memory.

システム制御部７０は、ライトフィールドカメラ１の全体の処理及び動作を制御する。このシステム制御部７０はＣＰＵ（Central Processing Unit）を有する。システム制御部７０は、画像処理部３０で生成された画像データを表示部５０に出力させて、表示部５０の表示画面５１に画像（ライブビュー画像、静止画、動画）を表示させる制御を行う。また、システム制御部７０は、記録部６０に記録されている画像データを読み出して表示部５０に出力させ、表示部５０の表示画面５１に画像を表示させる制御を行う。 The system control unit 70 controls the overall processing and operation of the light field camera 1. The system control unit 70 has a CPU (Central Processing Unit). The system control unit 70 controls the display unit 50 to output the image data generated by the image processing unit 30 to display an image (live view image, still image, moving image) on the display screen 51 of the display unit 50. .. Further, the system control unit 70 controls to read the image data recorded in the recording unit 60, output the image data to the display unit 50, and display the image on the display screen 51 of the display unit 50.

また、システム制御部７０は、撮像素子２０の撮像面（画素領域２００）において所定の撮像条件（露光時間、フレームレート、ゲインなど）で撮像を行わせるために、所定の撮像条件を指示する指示信号を駆動部２４に対して出力する。また、システム制御部７０は、画像処理部３０に所定の制御パラメータ（色信号処理、ホワイトバランス調整、階調調整、圧縮率などの制御パラメータ）で画像処理を実行させるために、制御パラメータを指示する指示信号を画像処理部３０に出力する。また、システム制御部７０は、ＲＡＷデータを記録部６０に出力させて、記録部６０にＲＡＷデータを記録させる制御を行う。また、システム制御部７０は、画像処理部３０で生成された画像データを記録部６０に出力させて、記録部６０に画像データを記録させる制御を行う。なお、システム制御部７０は、上記の制御の他に、撮影光学系１１に備えられた開口絞りの開口径調節などの制御も行う。 In addition, the system control unit 70 gives an instruction to instruct predetermined imaging conditions in order to perform imaging under predetermined imaging conditions (exposure time, frame rate, gain, etc.) on the imaging surface (pixel region 200) of the image sensor 20. The signal is output to the drive unit 24. In addition, the system control unit 70 instructs the image processing unit 30 to perform image processing with predetermined control parameters (control parameters such as color signal processing, white balance adjustment, gradation adjustment, compression rate, etc.). The instruction signal to be output is output to the image processing unit 30. Further, the system control unit 70 controls the recording unit 60 to output the RAW data and causes the recording unit 60 to record the RAW data. Further, the system control unit 70 controls the recording unit 60 to output the image data generated by the image processing unit 30 and causes the recording unit 60 to record the image data. In addition to the above control, the system control unit 70 also performs control such as adjusting the aperture diameter of the aperture diaphragm provided in the photographing optical system 11.

次に、画像検索・生成装置１０１における演算処理部１１０の演算部１１４が実行する画像処理について説明する。図６は、図１に示す演算部１１４が実行する画像処理を説明するためのフローチャートである。なお、ライトフィールドカメラ１が画像検索・生成装置１０１に接続されることにより、ライトフィールドカメラ１の記録部６０に記録されたＲＡＷデータがライトフィールドカメラ１に出力され、画像入力部１１２を介して記憶部１２０の画像データ記憶領域に記憶される。 Next, the image processing executed by the arithmetic unit 114 of the arithmetic processing unit 110 in the image search / generation device 101 will be described. FIG. 6 is a flowchart for explaining the image processing executed by the calculation unit 114 shown in FIG. When the light field camera 1 is connected to the image search / generation device 101, the RAW data recorded in the recording unit 60 of the light field camera 1 is output to the light field camera 1 and is output to the light field camera 1 via the image input unit 112. It is stored in the image data storage area of the storage unit 120.

図６に示す処理において、演算部１１４の画像生成部１１４ａは、記憶部１２０の画像データ記憶領域に記憶されたＲＡＷデータを取得する（ステップＳ１）。そして、画像生成部１１４ａは、取得したＲＡＷデータに基づいて所定の合焦位置（焦点距離、焦点位置）の画像データを生成する（ステップＳ２）。ここで、画像生成部１１４ａは、画像処理部３０がＲＡＷデータに基づいて画像データを生成する方法（図５参照）と同様の方法を用いて、所定の合焦位置の画像データを生成する。 In the process shown in FIG. 6, the image generation unit 114a of the calculation unit 114 acquires the RAW data stored in the image data storage area of the storage unit 120 (step S1). Then, the image generation unit 114a generates image data at a predetermined focusing position (focal length, focal position) based on the acquired RAW data (step S2). Here, the image generation unit 114a generates image data at a predetermined in-focus position by using the same method as the method in which the image processing unit 30 generates image data based on RAW data (see FIG. 5).

具体的には、上述したように、画像生成部１１４ａは、図５で説明したように、画素領域２００における各入射領域に対して同じ位置にある画素の画素値を抽出し、抽出した画素値を再構成して複数個の再構成画像データ群を生成する。そして、画像生成部１１４ａは、複数個の再構成画像データ群を所定の合焦位置に合わせて平行移動させ、平行移動後の複数個の再構成画像データ群を加算平均する。これにより、所定の合焦位置に設定された画像データが生成される。ステップＳ２において、画像生成部１１４ａは、すべての被写体に対して合焦したパンフォーカスの画像データを生成する。また、ステップＳ２で生成される画像データは、静止画、動画、ライブビュー画像の画像データが含まれる。 Specifically, as described above, the image generation unit 114a extracts the pixel values of the pixels at the same position with respect to each incident region in the pixel region 200 as described with reference to FIG. 5, and the extracted pixel values. Is reconstructed to generate a plurality of reconstructed image data groups. Then, the image generation unit 114a translates the plurality of reconstructed image data groups in accordance with a predetermined focusing position, and adds and averages the plurality of reconstructed image data groups after the parallel movement. As a result, image data set at a predetermined focusing position is generated. In step S2, the image generation unit 114a generates pan-focus image data that is in focus for all the subjects. Further, the image data generated in step S2 includes image data of a still image, a moving image, and a live view image.

図７は、ライトフィールドカメラ１と各被写体Ｏ１〜Ｏ４との距離関係を示す図である。図７に示す例では、ライトフィールドカメラ１はカメラ位置ｄ０に位置している。また、被写体である人物Ｏ１は合焦位置ｄ１に位置している。また、被写体である人物Ｏ２は合焦位置ｄ２に位置し、被写体である木Ｏ３は合焦位置ｄ３に位置し、被写体である家Ｏ４は合焦位置ｄ４に位置している。なお、図７において、ライトフィールドカメラ１から被写体Ｏ１〜Ｏ４に向かう方向（矢印の方向）を奥側の方向といい、その反対側の方向を手前側の方向をいう。また、奥側の方向及び手前側の方向を奥行き方向という。画像生成部１１４ａは、ステップＳ２において、例えば各合焦位置ｄ１〜ｄ４における４つの画像データを生成する。 FIG. 7 is a diagram showing the distance relationship between the light field camera 1 and the subjects O1 to O4. In the example shown in FIG. 7, the light field camera 1 is located at the camera position d0. Further, the person O1 who is the subject is located at the focusing position d1. Further, the subject person O2 is located at the focusing position d2, the subject tree O3 is located at the focusing position d3, and the subject house O4 is located at the focusing position d4. In FIG. 7, the direction from the light field camera 1 toward the subjects O1 to O4 (direction of the arrow) is referred to as the back side direction, and the opposite side direction is referred to as the front side direction. Further, the direction on the back side and the direction on the front side are called the depth direction. In step S2, the image generation unit 114a generates, for example, four image data at each focusing position d1 to d4.

次に、画像生成部１１４ａは、ステップＳ２で生成した所定の合焦位置の画像データに対して、色信号処理（色調補正）、ホワイトバランス調整、シャープネス調整、ガンマ補正、階調調整などの各種画像処理を実行する（ステップＳ３）。なお、画像生成部１１４ａにより実行される各種画像処理は、上述した画像処理部３０により実行される各種画像処理と同様である。 Next, the image generation unit 114a has various types such as color signal processing (color tone correction), white balance adjustment, sharpness adjustment, gamma correction, and gradation adjustment for the image data at the predetermined in-focus position generated in step S2. Image processing is executed (step S3). The various image processes executed by the image generation unit 114a are the same as the various image processes executed by the image processing unit 30 described above.

また、検出部１１４ｂは、生成した画像データ（例えばパンフォーカスの画像データ）から１つ又は複数の被写体を検出する（ステップＳ４）。本実施形態では、検出部１１４ｂは、人物の被写体に対しては、公知の顔検出機能を用いて被写体の検出を行う。また、検出部１１４ｂは、人物以外の被写体に対しては、画像データにおける明部と暗部のコントラストや色変化に基づいて被写体の領域の境界を特定して被写体を検出する。なお、検出部１１４ｂは、移動する被写体（移動被写体）に対しては、時系列的に得られる複数の画像データを比較して移動被写体を検出してもよい。また、検出部１１４ｂは、顔検出に加えて、例えば特開２０１０−１６６２１号公報（ＵＳ２０１０／０００２９４０号）に記載されているように、画像データに含まれる人体を被写体として検出してもよい。 Further, the detection unit 114b detects one or more subjects from the generated image data (for example, pan-focus image data) (step S4). In the present embodiment, the detection unit 114b detects the subject of a person by using a known face detection function. Further, for a subject other than a person, the detection unit 114b identifies the boundary of the subject area based on the contrast and color change between the bright part and the dark part in the image data, and detects the subject. The detection unit 114b may detect the moving subject by comparing a plurality of image data obtained in time series with respect to the moving subject (moving subject). Further, in addition to face detection, the detection unit 114b may detect a human body included in the image data as a subject, for example, as described in Japanese Patent Application Laid-Open No. 2010-16621 (US2010 / 0002940).

また、検出部１１４ｂは、検出した登録対象の被写体の特徴点を抽出する。そして、検出部１１４ｂは、抽出した登録対象の被写体の特徴点と、記憶部１２０に記憶されている１つ又は複数の画像データに含まれる複数の被写体の特徴点とを順次照合して、検出した登録対象の被写体と同じ被写体を含む画像データが記憶部１２０内に存在するか否かを判定する（ステップＳ５）。そして、検出部１１４ｂは、その判定結果に基づいて、画像データにＥＸＩＦ情報を被写体ごとに付加する。 In addition, the detection unit 114b extracts the feature points of the detected subject to be registered. Then, the detection unit 114b sequentially collates the extracted feature points of the subject to be registered with the feature points of a plurality of subjects included in one or a plurality of image data stored in the storage unit 120, and detects the feature points. It is determined whether or not the image data including the same subject as the subject to be registered is present in the storage unit 120 (step S5). Then, the detection unit 114b adds EXIF information to the image data for each subject based on the determination result.

図８は、画像データに付加されるＥＸＩＦ情報の例を示す図である。なお、図８に示すＥＸＩＦ情報は、ライトフィールドカメラ１が図７に示す距離関係の被写体Ｏ１〜Ｏ４を撮像したときのＲＡＷデータに基づいて生成された画像データ（例えばＪＰＥＧ形式の画像データ）のＥＸＩＦ情報である。図８に示す例において、検出部１１４ｂは、登録対象の被写体Ｏ１，Ｏ２と同じ被写体を含む画像データが記憶部１２０内に存在する場合は、登録対象の被写体Ｏ１，Ｏ２を含む画像データのＥＸＩＦ情報に、記憶部１２０内の画像データに付加されているＥＸＩＦ情報の被写体種別データ（図８中「人物」）及び被写体識別データ（図８中「Ｘ、ａａ」「Ｙ、ｂｂ」）と同じデータを被写体Ｏ１，Ｏ２ごとにそれぞれ付加する。 FIG. 8 is a diagram showing an example of EXIF information added to the image data. The EXIF information shown in FIG. 8 is image data (for example, JPEG format image data) generated based on RAW data when the light field camera 1 captures the distance-related subjects O1 to O4 shown in FIG. 7. EXIF information. In the example shown in FIG. 8, when the image data including the same subject as the subjects O1 and O2 to be registered exists in the storage unit 120, the detection unit 114b EXIF of the image data including the subjects O1 and O2 to be registered. The information is the same as the subject type data (“person” in FIG. 8) and subject identification data (“X, aa” and “Y, bb” in FIG. 8) of the EXIF information added to the image data in the storage unit 120. Data is added to each of the subjects O1 and O2.

ここで、図８の「Ｘ」は人物Ｏ１の名称（例えば人物Ｏ１の名前、愛称）を示し、「ａａ」は人物Ｏ１の特徴点の情報を示す。また、「Ｙ」は人物Ｏ２の名称（例えば人物Ｏ２の名前、愛称）を示し、「ｂｂ」は人物Ｏ１の特徴点の情報を示す。 Here, "X" in FIG. 8 indicates the name of the person O1 (for example, the name or nickname of the person O1), and "aa" indicates information on the feature points of the person O1. Further, "Y" indicates the name of the person O2 (for example, the name or nickname of the person O2), and "bb" indicates information on the feature points of the person O1.

また、図８に示す例において、検出部１１４ｂは、登録対象の被写体Ｏ３，Ｏ４と同じ被写体が記憶部１２０内に存在しない場合は、登録対象の被写体Ｏ３，Ｏ４を含む画像データのＥＸＩＦ情報に新たな被写体種別データ（図８中「木」「家」）及び被写体識別データ（図８中「ｃｃ」「ｄｄ」）を被写体ごとにそれぞれ付加する。ここで、図８の「ｃｃ」は木Ｏ３の特徴点の情報を示す。また、「ｄｄ」は家Ｏ４の特徴点の情報を示す。なお、図８において、木Ｏ３及び家Ｏ４には名称が付加されていないが、検出部１１４ｂは自動的に又は使用者による操作に応じて木Ｏ３及び家Ｏ４に名称を付加してもよい。 Further, in the example shown in FIG. 8, when the same subject as the subject O3 and O4 to be registered does not exist in the storage unit 120, the detection unit 114b uses the EXIF information of the image data including the subject O3 and O4 to be registered as EXIF information. New subject type data (“tree” and “house” in FIG. 8) and subject identification data (“cc” and “dd” in FIG. 8) are added for each subject. Here, “cc” in FIG. 8 indicates information on the feature points of the tree O3. Further, "dd" indicates information on the feature points of the house O4. Although no name is added to the tree O3 and the house O4 in FIG. 8, the detection unit 114b may add a name to the tree O3 and the house O4 automatically or according to the operation by the user.

なお、検出部１１４ｂは、登録対象の被写体を含む画像データのＥＸＩＦ情報に、画像データごとの撮影シーンの情報も付加する。検出部１１４ｂは、公知のシーン認識技術により撮影シーンを判定し、判定した撮影シーンを画像データにＥＸＩＦ情報として登録する。図８に示す例では、撮影シーンの情報として「ポートレート」が登録されている。 The detection unit 114b also adds information on the shooting scene for each image data to the EXIF information of the image data including the subject to be registered. The detection unit 114b determines a shooting scene by a known scene recognition technique, and registers the determined shooting scene in the image data as EXIF information. In the example shown in FIG. 8, "portrait" is registered as information on the shooting scene.

次に、検出部１１４ｂは、登録対象の被写体までの距離（合焦位置、焦点距離）を検出する（ステップＳ６）。例えば、検出部１１４ｂは、複数の再構成画像データ（例えば入射領域における２つの特定位置の画素の画素値から構成される再構成画像データ）における各被写体の視差を検出し、検出した視差に基づいて各被写体までの距離を算出する。 Next, the detection unit 114b detects the distance (focus position, focal length) to the subject to be registered (step S6). For example, the detection unit 114b detects the parallax of each subject in a plurality of reconstructed image data (for example, reconstructed image data composed of pixel values of pixels at two specific positions in an incident region), and is based on the detected parallax. Calculate the distance to each subject.

図８に示す例では、検出部１１４ｂは、ライトフィールドカメラ１から人物Ｏ１までの距離をｄ１と検出し、ライトフィールドカメラ１から人物Ｏ２までの距離をｄ２と検出し、ライトフィールドカメラ１から木Ｏ３までの距離をｄ３と検出し、ライトフィールドカメラ１から家Ｏ４までの距離をｄ４と検出する。検出部１１４ｂは、被写体Ｏ１〜Ｏ４を含む画像データのＥＸＩＦ情報に、各被写体Ｏ１〜Ｏ４までの距離を示す距離データを被写体Ｏ１〜Ｏ４ごとに付加する。その後、演算部１１４は、ＲＡＷデータとともに、ＥＸＩＦ情報が付加された画像データを記憶部１２０に記憶する（ステップＳ７）。なお、ＲＡＷデータと画像データとは、演算部１１４により関連付けられて記憶部１２０に記憶される。 In the example shown in FIG. 8, the detection unit 114b detects the distance from the light field camera 1 to the person O1 as d1, detects the distance from the light field camera 1 to the person O2 as d2, and detects the distance from the light field camera 1 to the tree. The distance to O3 is detected as d3, and the distance from the light field camera 1 to the house O4 is detected as d4. The detection unit 114b adds distance data indicating the distance to each subject O1 to O4 to the EXIF information of the image data including the subjects O1 to O4 for each subject O1 to O4. After that, the calculation unit 114 stores the image data to which the EXIF information is added together with the RAW data in the storage unit 120 (step S7). The RAW data and the image data are associated with each other by the calculation unit 114 and stored in the storage unit 120.

次に、第１実施形態に係る演算処理部１１０による画像検索・生成処理について説明する。図９は、記憶部１２０に記憶されている画像６０１〜６０３の表示例を示す図である。図９（１）に示す画像６０１には、人物Ｏ１と人物Ｏ２と木Ｏ３と家Ｏ４とが写っている。なお、画像６０１は、ライトフィールドカメラ１が図７に示す距離関係の被写体Ｏ１〜Ｏ４を撮像したときの画像である。従って、画像６０１のＥＸＩＦ情報は図８に示す内容となっている。図９（２）に示す画像６０２には、人物Ｏ１と人物Ｏ２と山Ｏ５とが写っている。図９（２）に示すように、画像６０２において、人物Ｏ２が最も手前側に位置しており、人物Ｏ１は人物Ｏ２よりも奥側に位置しており、山Ｏ５が最も奥側に位置している。図９（３）に示す画像６０３には、木Ｏ３と山Ｏ５とが写っている。図９（３）に示すように、画像６０３において、木Ｏ３が手前側に位置しており、山Ｏ５が奥側に位置している。なお、図９（１）及び（２）に示す画像６０１，６０２は、撮影シーンが「ポートレート」であり、図９（３）に示す画像６０３は、撮影シーンが「風景」である。 Next, the image search / generation process by the arithmetic processing unit 110 according to the first embodiment will be described. FIG. 9 is a diagram showing a display example of images 601 to 603 stored in the storage unit 120. Image 601 shown in FIG. 9 (1) shows a person O1, a person O2, a tree O3, and a house O4. The image 601 is an image when the light field camera 1 captures the distance-related subjects O1 to O4 shown in FIG. 7. Therefore, the EXIF information of the image 601 has the contents shown in FIG. In the image 602 shown in FIG. 9 (2), the person O1, the person O2, and the mountain O5 are shown. As shown in FIG. 9 (2), in the image 602, the person O2 is located on the foremost side, the person O1 is located on the back side of the person O2, and the mountain O5 is located on the innermost side. ing. The tree O3 and the mountain O5 are shown in the image 603 shown in FIG. 9 (3). As shown in FIG. 9 (3), in the image 603, the tree O3 is located on the front side and the mountain O5 is located on the back side. In the images 601, 602 shown in FIGS. 9 (1) and 9 (2), the shooting scene is a "portrait", and in the image 603 shown in FIG. 9 (3), the shooting scene is a "landscape".

図１０は、演算処理部１１０が実行する画像検索・生成処理を説明するためのフローチャートである。図１０に示す処理において、使用者によるキーボード１０３やマウス１０４の操作に応じて、制御プログラム（例えば画像検索・生成を行うためのアプリケーションソフトウェア）が起動されると、表示制御部１１１は、画像検索画面を記憶部１２０から読み出して表示装置１０２の表示画面５００に表示させる（ステップＳ１１）。 FIG. 10 is a flowchart for explaining the image search / generation process executed by the arithmetic processing unit 110. In the process shown in FIG. 10, when a control program (for example, application software for performing image search / generation) is started in response to an operation of the keyboard 103 or the mouse 104 by the user, the display control unit 111 performs an image search. The screen is read from the storage unit 120 and displayed on the display screen 500 of the display device 102 (step S11).

図１１〜図１３は、第１実施形態の画像検索画面の表示例を示す図である。表示制御部１１１は、ステップＳ１１において、図１１（１）に示すような画像検索画面を表示装置１０２の表示画面５００に表示する。 11 to 13 are diagrams showing a display example of the image search screen of the first embodiment. In step S11, the display control unit 111 displays the image search screen as shown in FIG. 11 (1) on the display screen 500 of the display device 102.

次に、表示制御部１１１は、画像データ（ＥＸＩＦ情報が付加された画像データ）を記憶部１２０から読み出して取得し、演算部１１４は、ＲＡＷデータ及び画像データ（ＥＸＩＦ情報が付加された画像データ）を記憶部１２０から読み出して取得する（ステップＳ１２）。図９に示す例では、画像６０１〜６０３に対応する画像データが表示制御部１１１によって読み出され、画像６０１〜６０３に対応するＲＡＷデータ及び画像データが演算部１１４によって読み出される。 Next, the display control unit 111 reads out the image data (image data to which the EXIF information is added) from the storage unit 120 and acquires the image data, and the calculation unit 114 receives the RAW data and the image data (image data to which the EXIF information is added). ) Is read from the storage unit 120 and acquired (step S12). In the example shown in FIG. 9, the image data corresponding to the images 601 to 603 is read by the display control unit 111, and the RAW data and the image data corresponding to the images 601 to 603 are read out by the calculation unit 114.

表示制御部１１１は、複数の画像データに含まれる複数の被写体を検出し、検出した複数の被写体の画像データ（例えば被写体種別データ、被写体識別データ、距離データが付加された被写体の画像データ）を切り出す。そして、表示制御部１１１は、切り出した複数の被写体の画像データに基づく画像を、表示装置１０２の表示画面５００の第１表示領域５０１に一覧表示する（ステップＳ１３）。図１１（１）に示す例では、表示制御部１１１は、複数の画像６０１〜６０３に含まれる複数の被写体Ｏ１〜Ｏ５を検出し、検出した被写体Ｏ１〜Ｏ５の画像データを切り出す。そして、表示制御部１１１は、切り出した複数の被写体Ｏ１〜Ｏ５の画像データに基づく画像を第１表示領域５０１に一覧表示する。このとき、表示制御部１１１は、被写体ごとに付加される被写体識別データ（特徴点、名称）に基づいて、複数の画像データに別々に存在する同一の被写体を識別する。そして、表示制御部１１１は、同一の被写体については１つの画像だけを第１表示領域５０１に表示する。 The display control unit 111 detects a plurality of subjects included in the plurality of image data, and inputs the detected image data of the plurality of subjects (for example, subject type data, subject identification data, image data of the subject to which distance data is added). break the ice. Then, the display control unit 111 displays a list of images based on the image data of the plurality of subjects cut out in the first display area 501 of the display screen 500 of the display device 102 (step S13). In the example shown in FIG. 11 (1), the display control unit 111 detects a plurality of subjects O1 to O5 included in the plurality of images 601 to 603, and cuts out the image data of the detected subjects O1 to O5. Then, the display control unit 111 displays a list of images based on the image data of the plurality of subjects O1 to O5 cut out in the first display area 501. At this time, the display control unit 111 identifies the same subject that exists separately in the plurality of image data based on the subject identification data (feature points, names) added for each subject. Then, the display control unit 111 displays only one image for the same subject in the first display area 501.

使用者は、検索対象の被写体を指定する場合は、被写体の画像に対してマウス１０４のドラッグアンドドロップ操作を行うことにより、第１表示領域５０１に一覧表示されている被写体の画像の中から検索対象の被写体の画像を選択し、選択した被写体の画像を第２表示領域５０２に移動させる。なお、第２表示領域５０２は、検索対象の被写体を表示するための表示領域である。 When the user specifies the subject to be searched, the user performs a drag-and-drop operation of the mouse 104 on the image of the subject to search from the images of the subjects listed in the first display area 501. The image of the target subject is selected, and the image of the selected subject is moved to the second display area 502. The second display area 502 is a display area for displaying the subject to be searched.

このような使用者によるマウス１０４の操作に応じて、演算部１１４の指定部１１４ｃは、第２表示領域５０２に移動された被写体を検索対象の被写体として特定する。具体的には、指定部１１４ｃは、操作制御部１１３からの情報に基づいて、被写体が第２表示領域５０２に移動されたことを認識する。また、指定部１１４ｃは、第２表示領域５０２に移動された被写体の画像データに付加されている被写体識別データに基づいて被写体を識別する。そして、指定部１１４ｃは、識別した被写体の被写体識別データ（特徴点、名称）を検索対象の被写体として指定（設定）する。 In response to such an operation of the mouse 104 by the user, the designation unit 114c of the calculation unit 114 identifies the subject moved to the second display area 502 as the subject to be searched. Specifically, the designation unit 114c recognizes that the subject has been moved to the second display area 502 based on the information from the operation control unit 113. Further, the designation unit 114c identifies the subject based on the subject identification data added to the image data of the subject moved to the second display area 502. Then, the designation unit 114c designates (sets) the subject identification data (feature points, names) of the identified subject as the subject to be searched.

また、使用者によるマウス１０４の操作に応じて、表示制御部１１１は、第１表示領域５０１に表示されている被写体の画像を第２表示領域５０２に移動表示させる。図１１（２）に示す例では、人物Ｏ１の画像と人物Ｏ２の画像とが第１表示領域５０１から第２表示領域５０２に移動されている。この場合、画像の検索条件として、人物Ｏ１及び人物Ｏ２の画像を含む画像が指定されたことになる。 Further, in response to the operation of the mouse 104 by the user, the display control unit 111 moves and displays the image of the subject displayed in the first display area 501 in the second display area 502. In the example shown in FIG. 11 (2), the image of the person O1 and the image of the person O2 are moved from the first display area 501 to the second display area 502. In this case, an image including the images of the person O1 and the person O2 is specified as the image search condition.

表示制御部１１１は、検索対象の被写体が指定されたか否か（つまり、被写体の画像が第２表示領域５０２に移動されたか否か）を判定する（ステップＳ１４）。表示制御部１１１は、検索対象の被写体が指定されていないと判定した場合は、処理を終了する。一方、表示制御部１１１は、検索対象の被写体が指定されたと判定した場合は、操作制御部１１３からの情報に基づいて、画像検索画面の右上に配置されている詳細指定ボタン５０３が押されたか否か（マウス１０４でクリックされたか否か）を判定する（ステップＳ１５）。 The display control unit 111 determines whether or not the subject to be searched is specified (that is, whether or not the image of the subject is moved to the second display area 502) (step S14). When the display control unit 111 determines that the subject to be searched is not specified, the display control unit 111 ends the process. On the other hand, when the display control unit 111 determines that the subject to be searched is specified, is the detailed specification button 503 arranged at the upper right of the image search screen pressed based on the information from the operation control unit 113? It is determined whether or not (whether or not the mouse 104 has been clicked) (step S15).

表示制御部１１１は、詳細指定ボタン５０３が押されたと判定した場合は、図１２（３）に示すように、第１表示領域５０１を消去し、第２表示領域５０２を拡大し、さらに検索対象の被写体の画像を斜め上から俯瞰したときの俯瞰図３００を第２表示領域５０２に表示する（ステップＳ１６）。図１２（３）に示す例では、俯瞰図３００上に人物Ｏ１及び人物Ｏ２の画像が奥行き方向の中心位置付近に並んで表示されている。 When the display control unit 111 determines that the detailed specification button 503 has been pressed, as shown in FIG. 12 (3), the display control unit 111 erases the first display area 501, expands the second display area 502, and further searches. A bird's-eye view 300 when the image of the subject is viewed from diagonally above is displayed in the second display area 502 (step S16). In the example shown in FIG. 12 (3), the images of the person O1 and the person O2 are displayed side by side near the center position in the depth direction on the bird's-eye view 300.

使用者は、画像の検索条件として、複数の検索対象の被写体における奥行き方向の相対位置（ある被写体が他の被写体よりも奥行き方向の手前側か奥側か）を指定することができる。具体的には、使用者は、被写体の画像に対してマウス１０４のドラッグアンドドロップ操作を行うことにより、俯瞰図３００上における複数の検索対象の被写体のいずれか一方又は双方の奥行き方向の位置を移動させる。このような使用者によるマウス１０４の操作に応じて、表示制御部１１１は、俯瞰図３００上における検索対象の被写体の奥行き方向の表示位置を変更する（ステップＳ１７）。 As an image search condition, the user can specify a relative position in the depth direction of a plurality of subjects to be searched (whether a certain subject is on the front side or the back side in the depth direction with respect to another subject). Specifically, the user performs a drag-and-drop operation of the mouse 104 on the image of the subject to determine the position in the depth direction of one or both of the plurality of search target subjects on the bird's-eye view 300. Move it. In response to such an operation of the mouse 104 by the user, the display control unit 111 changes the display position in the depth direction of the subject to be searched on the bird's-eye view 300 (step S17).

図１２（４）に示す例では、使用者によるマウス１０４の操作によって、人物Ｏ１の画像が人物Ｏ２の画像よりも奥行き方向の手前側（近距離側）の位置に移動されている。これにより、画像の検索条件として、人物Ｏ１及び人物Ｏ２の画像を含み、かつ、人物Ｏ１の画像が人物Ｏ２の画像よりも手前側に位置していることが指定されたことになる。指定部１１４ｃは、複数の検索対象の被写体における奥行き方向の相対位置も検索条件として指定（設定）する。 In the example shown in FIG. 12 (4), the image of the person O1 is moved to a position closer to the front side (short distance side) in the depth direction than the image of the person O2 by the operation of the mouse 104 by the user. As a result, it is specified that the image search condition includes the images of the person O1 and the person O2, and the image of the person O1 is located in front of the image of the person O2. The designation unit 114c also specifies (sets) as a search condition relative positions in the depth direction of a plurality of search target subjects.

使用者は、画像の検索条件を指定した後に、画像の検索条件に適合した画像の検索を実行する場合は、画像検索画面の右下に配置されている検索ボタン５０４を押す（マウス１０４でクリックする）。検索部１１４ｄは、操作制御部１１３からの情報に基づいて、検索ボタン５０４が押されたか否か（マウス１０４でクリックされたか否か）を判定する（ステップＳ１８）。なお、使用者は、複数の検索対象の被写体における奥行き方向の位置を元の位置に戻したい場合は、図１２（４）に示す画像検索画面の右下に配置されている「元に戻す」ボタン５０５（検索ボタン５０４の横に配置されているボタン）をマウス１０４でクリックする。 After specifying the image search conditions, the user presses the search button 504 located at the lower right of the image search screen (click with the mouse 104) to execute an image search that matches the image search conditions. To do). The search unit 114d determines whether or not the search button 504 is pressed (whether or not it is clicked by the mouse 104) based on the information from the operation control unit 113 (step S18). If the user wants to return the position in the depth direction of a plurality of search target subjects to the original position, "Restore" is arranged at the lower right of the image search screen shown in FIG. 12 (4). The button 505 (the button arranged next to the search button 504) is clicked with the mouse 104.

検索部１１４ｄは、検索ボタン５０４が押されたと判定した場合は、画像検索を実行する（ステップＳ１９）。すなわち、検索部１１４ｄは、記憶部１２０に記憶されている画像データの中から、指定部１１４ｃにより指定された検索条件に適合する画像データを検索する。また、画像生成部１１４ａは、検索条件に対応する合焦位置及び被写界深度の範囲の画像データを生成する（ステップＳ２０）。なお、被写界深度とは、焦点が合っているように見える被写体の焦点距離の範囲のことをいう。具体的には、画像生成部１１４ａは、検索条件が人物Ｏ１及び人物Ｏ２を含むことである場合は、例えば図１３（５）に示すように、合焦位置は人物Ｏ１の合焦位置ｄ１と人物Ｏ２の合焦位置ｄ２との中間の位置ｄＡとし、また被写界深度の範囲が人物Ｏ１の合焦位置ｄ１と人物Ｏ２の合焦位置ｄ２とを含む範囲（位置ｄ１１から位置ｄ１２までの範囲）である画像データを生成する。これにより、使用者が確認したい被写体を直ちに表示させることができる。 When the search unit 114d determines that the search button 504 has been pressed, the search unit 114d executes an image search (step S19). That is, the search unit 114d searches for image data that matches the search conditions specified by the designated unit 114c from the image data stored in the storage unit 120. In addition, the image generation unit 114a generates image data in the range of the in-focus position and the depth of field corresponding to the search condition (step S20). The depth of field refers to the range of the focal length of a subject that appears to be in focus. Specifically, when the search condition includes the person O1 and the person O2, the image generation unit 114a sets the focusing position to the focusing position d1 of the person O1 as shown in FIG. 13 (5), for example. The position dA is intermediate between the focusing position d2 of the person O2, and the range of the depth of view includes the focusing position d1 of the person O1 and the focusing position d2 of the person O2 (from the position d11 to the position d12). Generate image data that is a range). As a result, the subject that the user wants to confirm can be displayed immediately.

そして、表示制御部１１１は、図１３（６）に示すように、検索部１１４ｄによる画像検索結果の画像（検索条件に適合する画像データに基づく画像）を、画像検索結果を表示するための第３表示領域５０６に表示する（ステップＳ２１）。図１３（６）に示す例では、画像検索の結果として、図９（１）に示した画像６０１が表示されている。この画像６０１は、人物Ｏ１及び人物Ｏ２の画像を含み、かつ、人物Ｏ１の画像が人物Ｏ２の画像よりも手前側に位置している画像である。 Then, as shown in FIG. 13 (6), the display control unit 111 displays the image of the image search result by the search unit 114d (an image based on the image data matching the search conditions) for displaying the image search result. 3 Display in the display area 506 (step S21). In the example shown in FIG. 13 (6), the image 601 shown in FIG. 9 (1) is displayed as a result of the image search. The image 601 includes images of the person O1 and the person O2, and the image of the person O1 is located in front of the image of the person O2.

その後、表示制御部１１１は、使用者によるマウス１０４の操作によって画像検索結果としての画像が選択されたか否かを判定する（ステップＳ２２）。画像が選択されたと判定した場合は、表示制御部１１１は、選択された画像を表示画面５００に表示する（ステップＳ２３）。 After that, the display control unit 111 determines whether or not the image as the image search result is selected by the operation of the mouse 104 by the user (step S22). If it is determined that the image has been selected, the display control unit 111 displays the selected image on the display screen 500 (step S23).

なお、画像生成部１１４ａは、ステップＳ２０において検索条件に応じた合焦位置及び被写界深度の画像データを生成する処理を行わずに、表示制御部１１１は、所定の合焦位置の画像をサムネイル表示してもよい。そして、画像生成部１１４ａは、ステップＳ２２において使用者により画像が選択されたときに、検索条件に応じた合焦位置及び被写界深度の画像データを生成し、表示制御部１１１が、その画像データに基づく画像を表示してもよい。なお、サムネイル表示される所定の合焦位置の画像としては、例えば、ステップＳ１２で取得された画像データ（パンフォーカスの画像データ）に基づく画像でもよく、また検索条件で指定された被写体（複数の被写体が指定された場合は複数の被写体のいずれか）に合焦した画像でもよい。 Note that the image generation unit 114a does not perform the process of generating image data of the in-focus position and the depth of field according to the search conditions in step S20, and the display control unit 111 produces an image at a predetermined in-focus position. You may display thumbnails. Then, when the image is selected by the user in step S22, the image generation unit 114a generates image data of the focusing position and the depth of field according to the search condition, and the display control unit 111 generates the image data. An image based on the data may be displayed. The image at the predetermined focusing position displayed as a thumbnail may be, for example, an image based on the image data (pan focus image data) acquired in step S12, or a subject (plurality of subjects) specified in the search condition. When a subject is specified, the image may be in focus on any of a plurality of subjects).

また、画像生成部１１４ａは、検索条件に応じた合焦位置及び被写界深度の画像データとして、検索条件として指定されたすべての被写体の位置が被写界深度の範囲内に含まれる画像データを生成していた。しかし、画像生成部１１４ａは、検索条件として指定された複数の被写体のうちのいずれか１つまたは複数の被写体の位置が被写界深度の範囲内に含まれる画像データを生成してもよい。また、画像生成部１１４ａは、検索条件として指定された複数の被写体のうちの最も手前の被写体に合焦した画像データを生成してもよい。 Further, the image generation unit 114a is image data in which the positions of all the subjects specified as the search conditions are included in the range of the depth of field as the image data of the focusing position and the depth of field according to the search condition. Was being generated. However, the image generation unit 114a may generate image data in which the position of any one or a plurality of subjects among the plurality of subjects designated as the search condition is included in the range of the depth of field. In addition, the image generation unit 114a may generate image data in focus on the foremost subject among the plurality of subjects designated as search conditions.

また、画像生成部１１４ａは、検索条件に応じた合焦位置及び被写界深度の画像データとして、パンフォーカスの画像を生成してもよい。また、検索部１１４ｄが検索条件に適合した画像データを検索することができなかった場合は、検索結果なしであることを報知する表示を行ってもよいし、また検索条件に類似する条件に適合した画像データを画像検索結果として表示してもよい。例えば、複数の被写体が検索条件として指定された場合は、そのうちの１つの被写体を含む画像データを画像検索結果として表示してもよい。 Further, the image generation unit 114a may generate a pan-focus image as image data of the focus position and the depth of field according to the search condition. If the search unit 114d cannot search for image data that matches the search conditions, it may display that there is no search result, or it matches the conditions similar to the search conditions. The image data may be displayed as an image search result. For example, when a plurality of subjects are specified as search conditions, image data including one of the subjects may be displayed as an image search result.

以上に説明したように、第１実施形態では、合焦位置を奥行き方向に変更可能な画像データに含まれる被写体を検出するとともに、検出した被写体の奥行き方向の位置を検出する検出部１１４ｂと、検索対象の被写体に関する付随情報（例えばＥＸＩＦ情報）を指定する指定部１１４ｃと、指定部１１４ｃで指定された付随情報に対応する被写体を検索する検索部１１４ｄと、検索部１１４ｄで検索された被写体の奥行き方向の位置に応じて所定の合焦位置の画像データを生成する画像生成部１１４ａとを備える。このような構成によれば、合焦位置を奥行き方向に変更可能な画像に適した画像検索を行うことができ、さらに、検索対象の被写体の奥行き方向の位置に応じた合焦位置の画像データを生成することができる。これにより、使用者は、検索結果の画像が表示されたときに検索対象の被写体を直ちに確認することができる。 As described above, in the first embodiment, the detection unit 114b that detects the subject included in the image data whose focusing position can be changed in the depth direction and detects the position of the detected subject in the depth direction, A designated unit 114c that specifies incidental information (for example, EXIF information) regarding the subject to be searched, a search unit 114d that searches for a subject corresponding to the incidental information specified by the designated unit 114c, and a subject searched by the search unit 114d. It includes an image generation unit 114a that generates image data at a predetermined focusing position according to a position in the depth direction. According to such a configuration, it is possible to perform an image search suitable for an image whose focusing position can be changed in the depth direction, and further, image data of the focusing position according to the position of the subject to be searched in the depth direction. Can be generated. As a result, the user can immediately confirm the subject to be searched when the image of the search result is displayed.

また、第１実施形態では、指定部１１４ｃは、付随情報として奥行き方向の位置を指定可能であり、検索部１１４ｄは、指定部１１４ｃで指定された位置に対応する被写体を検索する。このような構成によれば、使用者が検索対象の被写体に対して注目して撮影された画像を検索することができる。例えば、最も注目される主要被写体は最も手前に位置していることが多いので、検索対象の被写体が主要被写体となっている画像を検索することができる。 Further, in the first embodiment, the designation unit 114c can specify the position in the depth direction as incidental information, and the search unit 114d searches for the subject corresponding to the position designated by the designation unit 114c. According to such a configuration, the user can search for an image taken by paying attention to the subject to be searched. For example, since the main subject that attracts the most attention is often located in the foreground, it is possible to search for an image in which the subject to be searched is the main subject.

また、第１実施形態では、指定部１１４ｃは、複数の被写体における奥行き方向の相対位置を指定可能であり、検索部１１４ｄは、指定部１１４ｃで指定された相対位置に対応する複数の被写体を検索し、画像生成部１１４ａは、検索部１１４ｄで検索された複数の被写体のうちの少なくとも一方の奥行き方向の位置に合焦した画像データを生成する。このような構成によれば、より一層、複数の被写体の位置関係に着目した画像検索を行うことができるとともに、その検索結果を反映した画像データを生成することができる。 Further, in the first embodiment, the designation unit 114c can specify relative positions in the depth direction of a plurality of subjects, and the search unit 114d searches for a plurality of subjects corresponding to the relative positions designated by the designation unit 114c. Then, the image generation unit 114a generates image data focused on the position in the depth direction of at least one of the plurality of subjects searched by the search unit 114d. According to such a configuration, it is possible to further perform an image search focusing on the positional relationship of a plurality of subjects, and it is possible to generate image data reflecting the search result.

また、第１実施形態では、指定部１１４ｃは、複数の被写体における奥行き方向の相対位置を指定可能であり、検索部１１４ｄは、指定部１１４ｃで指定された相対位置に対応する複数の被写体を検索し、画像生成部１１４ａは、検索部１１４ｄで検索された複数の被写体の奥行き方向の位置を含む被写界深度の画像データを生成する。このような構成によれば、より一層、複数の被写体の位置関係に着目した画像検索を行うことができるとともに、その検索結果を反映した画像データを生成することができる。 Further, in the first embodiment, the designation unit 114c can specify relative positions in the depth direction of a plurality of subjects, and the search unit 114d searches for a plurality of subjects corresponding to the relative positions designated by the designation unit 114c. Then, the image generation unit 114a generates image data of the depth of field including the positions in the depth direction of the plurality of subjects searched by the search unit 114d. According to such a configuration, it is possible to further perform an image search focusing on the positional relationship of a plurality of subjects, and it is possible to generate image data reflecting the search result.

また、第１実施形態では、合焦位置を奥行き方向に変更可能な一又は複数の画像データに含まれる被写体を検出するとともに、検出した被写体の奥行き方向の位置を検出する検出部１１４ｂと、検索対象の被写体の奥行き方向の位置を指定する指定部１１４ｃと、指定部１１４ｃで指定された位置に対応する被写体を含む画像データを検索する検索部１１４ｄとを備える。このような構成によれば、合焦位置を奥行き方向に変更可能な画像に適した画像検索を行うことができる。また、使用者が検索対象の被写体に対して注目して撮影された画像を検索することができる。 Further, in the first embodiment, the detection unit 114b, which detects a subject included in one or more image data whose focusing position can be changed in the depth direction and detects the position of the detected subject in the depth direction, is searched. A designation unit 114c for designating a position of a target subject in the depth direction and a search unit 114d for searching image data including a subject corresponding to the position designated by the designation unit 114c are provided. According to such a configuration, it is possible to perform an image search suitable for an image whose focusing position can be changed in the depth direction. In addition, the user can search for an image taken by paying attention to the subject to be searched.

また、第１実施形態では、検出部１１４ｂで検出された複数の被写体を表示するとともに、指定部１１４ｃで指定される複数の被写体の相対位置に応じて該複数の被写体の表示位置を変更する表示制御部１１１を備える。このような構成によれば、使用者に対して複数の被写体の相対位置を明示することができ、使用者は複数の被写体の相対位置を確認しつつ検索条件を指定することができる。その結果、検索条件を指定する際の使用者の操作性が向上する。 Further, in the first embodiment, a plurality of subjects detected by the detection unit 114b are displayed, and the display positions of the plurality of subjects are changed according to the relative positions of the plurality of subjects designated by the designation unit 114c. A control unit 111 is provided. According to such a configuration, the relative positions of a plurality of subjects can be clearly indicated to the user, and the user can specify the search condition while confirming the relative positions of the plurality of subjects. As a result, the operability of the user when specifying the search condition is improved.

＜第２実施形態＞
上記した第１実施形態では、検索対象の被写体と検索対象の被写体の位置関係とが検索条件として指定されていた。これに対して、第２実施形態では、文字入力により検索条件が指定される。 <Second Embodiment>
In the first embodiment described above, the positional relationship between the subject to be searched and the subject to be searched is specified as a search condition. On the other hand, in the second embodiment, the search condition is specified by character input.

図１４は、第２実施形態の画像検索画面の表示例を示す図である。図１４に示すように、第２実施形態の画像検索画面においては、検索条件としての文字を入力する文字入力欄５１０が設けられている。図１４に示す例では、文字入力欄５１０には「人物」という文字が入力されている。 FIG. 14 is a diagram showing a display example of the image search screen of the second embodiment. As shown in FIG. 14, the image search screen of the second embodiment is provided with a character input field 510 for inputting characters as a search condition. In the example shown in FIG. 14, the character "person" is input in the character input field 510.

検索部１１４ｄは、文字入力欄５１０に「人物」が入力された場合は、ステップＳ１９において記憶部１２０に記憶されている画像データにおける被写体種別データが「人物」である画像データを検索する。そして、表示制御部１１１は、検索部１１４ｄによる画像検索結果を表示画面５００に表示する（ステップＳ２１）。図１４に示す例では、人物Ｏ１と人物Ｏ２の少なくとも一方を含む画像６０１，６０２が表示されている。 When the "person" is input in the character input field 510, the search unit 114d searches the image data in which the subject type data in the image data stored in the storage unit 120 in step S19 is the "person". Then, the display control unit 111 displays the image search result by the search unit 114d on the display screen 500 (step S21). In the example shown in FIG. 14, images 601, 602 including at least one of the person O1 and the person O2 are displayed.

なお、文字入力欄５１０には、例えば、人物Ｏ１の名称である「Ｘ」が入力されたときは、検索部１１４ｄによって人物Ｏ１を含む画像データが検索される。 When, for example, "X", which is the name of the person O1, is input to the character input field 510, the search unit 114d searches for image data including the person O1.

このように、検索部１１４ｄは文字入力によってもＥＸＩＦ情報（付随情報）に基づいて画像検索を行うことができる。なお、第２実施形態の画像検索と上記した第１実施形態の画像検索とを組み合わせて適用することができる。 In this way, the search unit 114d can perform an image search based on the EXIF information (accompanying information) even by inputting characters. The image search of the second embodiment and the image search of the first embodiment described above can be applied in combination.

図１５は、視差を有する画像の表示例を示す図である。図１５に示す例では、画像６０４においては、人物Ｏ１が左側に表示されている。また、棒Ｏ６が人物Ｏ１の右横に表示されている。また、人物Ｏ２が棒Ｏ６の斜め後ろに表示されている。また、木Ｏ３が右側に表示され、家Ｏ４が中心付近に表示されている。 FIG. 15 is a diagram showing a display example of an image having parallax. In the example shown in FIG. 15, in the image 604, the person O1 is displayed on the left side. Further, the bar O6 is displayed on the right side of the person O1. In addition, the person O2 is displayed diagonally behind the bar O6. In addition, the tree O3 is displayed on the right side, and the house O4 is displayed near the center.

上記したように、画像生成部１１４ａにより生成される再構成画像データ群は、被写体Ｏ１〜Ｏ４，Ｏ６に対して視差を有する。視差は、ライトフィールドカメラ１に近い被写体ほど大きく、ライトフィールドカメラ１に遠い被写体ほど小さくなる。従って、人物Ｏ１に対する視差が最も大きく、家Ｏ４に対する視差が最も小さい。図１５においては、人物Ｏ１及び棒Ｏ６における視差も示している。ある再構成画像データにおける人物Ｏ１’の位置と、他の再構成画像データにおける人物Ｏ１”の位置とが視差によって異なっている。また、ある再構成画像データにおける棒Ｏ６’の位置と、他の再構成画像データにおける棒Ｏ６”の位置とが視差によって異なっている。なお、図１５には示していないが、人物Ｏ２、木Ｏ３、及び家Ｏ４についても、複数の再構成画像データ間において視差を有する。 As described above, the reconstructed image data group generated by the image generation unit 114a has parallax with respect to the subjects O1 to O4 and O6. The parallax is larger for a subject closer to the light field camera 1 and smaller for a subject farther from the light field camera 1. Therefore, the parallax for the person O1 is the largest and the parallax for the house O4 is the smallest. FIG. 15 also shows the parallax between the person O1 and the rod O6. The position of the person O1'in some reconstructed image data and the position of the person O1'in other reconstructed image data differ depending on the parallax. Also, the position of the bar O6'in some reconstructed image data and another The position of the bar O6 "in the reconstructed image data differs depending on the parallax. Although not shown in FIG. 15, the person O2, the tree O3, and the house O4 also have parallax among the plurality of reconstructed image data.

このような視差を有する画像データに基づいて、画像生成部１１４ａは、検索対象の被写体の手前に位置し、検索対象の被写体を隠す被写体を削除することができる。すなわち、画像生成部１１４ａは、検索対象の被写体（例えば人物Ｏ２）を隠す被写体（例えば棒Ｏ６）を削除し、削除した被写体の領域の画像データを視差を有する画像データで補完する。このような構成によれば、検索対象の被写体をより一層注目させることができる。 Based on the image data having such parallax, the image generation unit 114a can delete the subject that is located in front of the subject to be searched and hides the subject to be searched. That is, the image generation unit 114a deletes the subject (for example, the bar O6) that hides the subject (for example, the person O2) to be searched, and complements the image data of the deleted subject area with the image data having parallax. With such a configuration, it is possible to draw more attention to the subject to be searched.

＜画像検索・生成システム＞
上記した各実施形態（第１実施形態、第２実施形態）及び変形例では、それぞれスタンドアローンの形態のシステムである。しかし、そのような形態のシステムには限定されない。例えばクライアントサーバシステムなどの通信ネットワークを通じて接続された画像表示システムＳＹＳについて説明する。以下の説明において、上記の第１〜第２実施形態と同一又は同等の構成部分については同一符号を付けて説明を省略または簡略化する。 <Image search / generation system>
In each of the above-described embodiments (first embodiment, second embodiment) and modified examples, the system is a stand-alone form. However, it is not limited to such a form of system. For example, an image display system SYS connected through a communication network such as a client-server system will be described. In the following description, the same or equivalent components as those in the first and second embodiments are designated by the same reference numerals to omit or simplify the description.

図１６は、画像表示システムＳＹＳの構成を示すブロック図である。図１６に示すように、この画像表示システムＳＹＳは、クライアント端末１０１Ｂの演算処理部１１０Ｂにおいて、表示制御部１１１、画像入力部１１２、操作制御部１１３、及び通信部１１５を有している。これら表示制御部１１１、画像入力部１１２、及び操作制御部１１３は、図１に示した表示制御部１１１、画像入力部１１２、及び操作制御部１１３に相当する。また、図１６に示す記憶部１２０Ｂは、図１に示した記憶部１２０に相当する。 FIG. 16 is a block diagram showing a configuration of the image display system SYS. As shown in FIG. 16, this image display system SYS has a display control unit 111, an image input unit 112, an operation control unit 113, and a communication unit 115 in the arithmetic processing unit 110B of the client terminal 101B. The display control unit 111, the image input unit 112, and the operation control unit 113 correspond to the display control unit 111, the image input unit 112, and the operation control unit 113 shown in FIG. Further, the storage unit 120B shown in FIG. 16 corresponds to the storage unit 120 shown in FIG.

図１６に示すように、クライアント端末１０１Ｂの演算処理部１１０Ｂは、通信ネットワーク１８０を介してサーバ（画像検索装置、画像生成装置）１０６とデータを送受信する通信部１１５を有している。また、サーバ１０６の演算処理部１６０は、通信ネットワーク１８０を介してクライアント端末１０１Ｂとデータを送受信する通信部１６１を有している。また、演算処理部１６０の演算部１６２は、クライアント端末１０１Ｂからの要求に応じて、クライアント端末１０１Ｂから送信されるＲＡＷデータ及び画像データを記憶部１７０に蓄積する。そして、演算部１６２は、図１に示した演算部１１４と同様に、ＲＡＷデータ及び画像データに基づいて画像検索及び画像生成の制御を実行する。 As shown in FIG. 16, the arithmetic processing unit 110B of the client terminal 101B has a communication unit 115 that transmits / receives data to / from the server (image search device, image generation device) 106 via the communication network 180. Further, the arithmetic processing unit 160 of the server 106 has a communication unit 161 that transmits / receives data to / from the client terminal 101B via the communication network 180. Further, the arithmetic unit 162 of the arithmetic processing unit 160 stores RAW data and image data transmitted from the client terminal 101B in the storage unit 170 in response to a request from the client terminal 101B. Then, the calculation unit 162 executes image search and image generation control based on the RAW data and the image data, similarly to the calculation unit 114 shown in FIG.

なお、通信部１１５の構成や、演算処理部１６０における通信部１６１及び演算部１６２の構成は、ＣＰＵなどの制御装置が記憶部１２０Ｂ，１７０に記憶されている制御プログラムに従って処理を実行することにより実現される。 The configuration of the communication unit 115 and the configurations of the communication unit 161 and the calculation unit 162 in the calculation processing unit 160 are obtained by executing processing by a control device such as a CPU according to a control program stored in the storage units 120B and 170. It will be realized.

このような構成によれば、クライアント端末１０１Ｂが大容量のデータを記憶しておく必要がなくなり、データ管理を一元化できるなど、コストを低減させることができる。また、クライアント端末１０１Ｂの処理負担も軽減させることができる。 According to such a configuration, it is not necessary for the client terminal 101B to store a large amount of data, data management can be centralized, and costs can be reduced. In addition, the processing load of the client terminal 101B can be reduced.

なお、図１６に示す画像表示システムＳＹＳでは、クライアント端末１０１Ｂの表示制御部１１１が表示制御を行っているが、これに限定されない。例えば、クライアント端末１０１Ｂは、ブラウザを備え、ブラウザを用いて図１１等に示すような画像検索画面の表示内容を表示装置１０２に表示させるようにしてもよい。 In the image display system SYS shown in FIG. 16, the display control unit 111 of the client terminal 101B performs display control, but the present invention is not limited to this. For example, the client terminal 101B may include a browser, and the display content 102 of the image search screen as shown in FIG. 11 or the like may be displayed by using the browser.

＜変形例＞
上記した構成においては、演算処理部１１０，１６０が記憶部１２０，１７０に記憶されている複数の画像データに付加されているＥＸＩＦ情報に基づいて、検索条件に対応する被写体を含む画像データの検索、検索条件に対応する画像データの生成、及び検索結果の画像の表示を行っていた。しかし、このような構成に限定されず、演算処理部１１０，１６０が記憶部１２０，１７０に設けられるデータベースに記憶されている情報に基づいて、検索条件に対応する被写体を含む画像データの検索、検索条件に対応する画像データの生成、及び検索結果の画像の表示を行ってもよい。 <Modification example>
In the above configuration, the arithmetic processing units 110 and 160 search for image data including a subject corresponding to the search condition based on EXIF information added to a plurality of image data stored in the storage units 120 and 170. , The image data corresponding to the search condition was generated, and the image of the search result was displayed. However, the present invention is not limited to such a configuration, and the arithmetic processing units 110 and 160 search for image data including a subject corresponding to the search condition based on the information stored in the database provided in the storage units 120 and 170. Image data corresponding to the search condition may be generated and the image of the search result may be displayed.

この場合、データベースには、複数の画像データそれぞれを識別するための画像識別データ（画像ＩＤ）、画像データごとに付加される撮影シーンの情報、各画像データ中の１つ又は複数の被写体の画像データ、各画像データ中の１つ又は複数の被写体の種別を示す被写体種別データ、各画像データ中の１つ又は複数の被写体を識別するための被写体識別データ（特徴点、名称など）、各画像データ中の１つ又は複数の被写体の距離データ（合焦位置の情報）がそれぞれ関連付けられて登録される。 In this case, the database contains image identification data (image ID) for identifying each of the plurality of image data, information on the shooting scene added for each image data, and an image of one or more subjects in each image data. Data, subject type data indicating the type of one or more subjects in each image data, subject identification data (feature points, names, etc.) for identifying one or more subjects in each image data, each image Distance data (focusing position information) of one or more subjects in the data are associated and registered.

演算処理部１１０，１６０（画像生成部１１４ａ、画像生成部１１４ａに相当する演算部１６２内の処理部）は、ＲＡＷデータを取得した後（ステップＳ１）、取得したＲＡＷデータに基づいて、合焦位置が異なる複数の画像データ（例えばＪＰＥＧ形式の画像データ）を生成する（ステップＳ２，Ｓ３）。演算処理部１１０，１６０（検出部１１４ｂ、検出部１１４ｂに相当する演算部１６２内の処理部）は、ステップＳ２，３で生成された複数の画像データに基づいて１つ又は複数の登録対象の被写体を検出する（ステップＳ４）。このように、演算処理部１１０，１６０が合焦位置の異なる複数の画像データに基づいて被写体を検出するので、被写体がぼけていない画像データを用いて被写体の検出を行うことができ、被写体の検出精度が向上する。 After acquiring the RAW data (step S1), the arithmetic processing units 110 and 160 (image generation unit 114a, processing unit in the arithmetic unit 162 corresponding to the image generation unit 114a) are focused based on the acquired RAW data. A plurality of image data having different positions (for example, image data in JPEG format) are generated (steps S2 and S3). The arithmetic processing units 110, 160 (the detection unit 114b, the processing unit in the arithmetic unit 162 corresponding to the detection unit 114b) are one or a plurality of registration targets based on the plurality of image data generated in steps S2 and S3. The subject is detected (step S4). In this way, since the arithmetic processing units 110 and 160 detect the subject based on a plurality of image data having different focusing positions, the subject can be detected using the image data in which the subject is not blurred, and the subject can be detected. Detection accuracy is improved.

演算処理部１１０，１６０は、ステップＳ４で検出した１つ又は複数の登録対象の被写体の画像データを切り出す。演算処理部１１０，１６０は、１つ又は複数の登録対象の被写体の特徴点を抽出する。演算処理部１１０，１６０は、抽出した１つ又は複数の登録対象の被写体の特徴点と、記憶部１２０内のデータベースに記憶されている複数の被写体の特徴点とを順次照合して、登録対象の被写体と同じ被写体がデータベースに登録されているか否かを判定する。 The arithmetic processing units 110 and 160 cut out the image data of one or a plurality of subjects to be registered detected in step S4. The arithmetic processing units 110 and 160 extract the feature points of one or a plurality of subjects to be registered. The arithmetic processing units 110 and 160 sequentially collate the extracted feature points of one or more subjects to be registered with the feature points of the plurality of subjects stored in the database in the storage unit 120, and register the subject. It is determined whether or not the same subject as the subject of is registered in the database.

演算処理部１１０，１６０は、登録対象の被写体と同じ被写体がデータベース内に登録されていない判定した場合は、画像識別データに対応付けて、被写体ごとの新たな被写体種別データ及び被写体識別データをデータベースに登録する。このとき、演算処理部１１０，１６０は、画像識別データに対応付けて、切り出した登録対象の被写体の画像データを被写体ごとに登録するとともに撮影シーンの情報も登録する。 When the arithmetic processing units 110 and 160 determine that the same subject as the subject to be registered is not registered in the database, they associate the image identification data with new subject type data and subject identification data for each subject in the database. Register with. At this time, the arithmetic processing units 110 and 160 register the image data of the cut-out subject to be registered for each subject in association with the image identification data, and also register the information of the shooting scene.

一方、演算処理部１１０，１６０は、登録対象の被写体と同じ被写体がデータベース内に登録されている判定した場合は、画像識別データに対応付けて、既にデータベースに登録されている被写体種別データ及び被写体識別データと同じデータを被写体ごとにデータベースに登録する。このときも、演算処理部１１０，１６０は、画像識別データに対応付けて、切り出した登録対象の被写体の画像データを登録するとともに撮影シーンの情報も登録する。 On the other hand, when the arithmetic processing units 110 and 160 determine that the same subject as the subject to be registered is registered in the database, the subject type data and the subject already registered in the database are associated with the image identification data. The same data as the identification data is registered in the database for each subject. At this time as well, the arithmetic processing units 110 and 160 register the image data of the subject to be registered, which has been cut out, in association with the image identification data, and also register the information of the shooting scene.

また、演算処理部１１０，１６０は、１つ又は複数の登録対象の被写体の奥行き方向の位置（被写体までの距離）を検出する（ステップＳ５）。検出部１１４ｂは、画像識別データに対応付けて、１つ又は複数の登録対象の被写体までの距離を示す距離データを被写体ごとにデータベースに登録する。そして、演算処理部１１０，１６０は、画像識別データに対応付けて、ＲＡＷデータ及び画像データを記憶部１２０，１７０の画像データ記憶領域に記憶する（ステップＳ７）。 Further, the arithmetic processing units 110 and 160 detect the position (distance to the subject) in the depth direction of one or a plurality of subjects to be registered (step S5). The detection unit 114b registers distance data indicating the distance to one or a plurality of subjects to be registered in the database for each subject in association with the image identification data. Then, the arithmetic processing units 110 and 160 store the RAW data and the image data in the image data storage area of the storage units 120 and 170 in association with the image identification data (step S7).

演算処理部１１０，１６０（表示制御部１１１、表示制御部１１１に相当する演算部１６２内の処理部）は、画像検索画面を表示し（ステップＳ１１）、記憶部１２０，１７０からＲＡＷデータ及び画像データを読み出して取得した後（ステップＳ１２）、データベースに登録されている複数の被写体の画像データを読み出して第１表示領域５０１に一覧表示する（ステップＳ１３）。そして、演算処理部１１０，１６０（表示制御部１１１、表示制御部１１１に相当する演算部１６２内の処理部、指定部１１４ｃ、指定部１１４ｃに相当する演算処理部１６０内の処理部）は、ステップＳ１４〜Ｓ１７の処理を実行する。 The arithmetic processing units 110 and 160 (display control unit 111, processing unit in the arithmetic unit 162 corresponding to the display control unit 111) display an image search screen (step S11), and RAW data and images are displayed from the storage units 120 and 170. After reading and acquiring the data (step S12), the image data of a plurality of subjects registered in the database is read out and displayed in a list in the first display area 501 (step S13). Then, the arithmetic processing units 110 and 160 (the display control unit 111, the processing unit in the arithmetic unit 162 corresponding to the display control unit 111, the designated unit 114c, and the processing unit in the arithmetic processing unit 160 corresponding to the designated unit 114c) are The processes of steps S14 to S17 are executed.

演算処理部１１０，１６０は、検索ボタン５０４が押されたと判定した場合は（ステップＳ１８のＹＥＳ）、記憶部１２０内のデータベースに登録されている情報と検索条件として指定された情報とを照合して、記憶部１２０内の画像データ記憶領域に記憶されている画像データの中から検索条件に適合する画像データを検索する（ステップＳ１９）。具体的には、演算処理部１１０，１６０は、検索条件として指定された被写体種別データなど（被写体種別データ、被写体識別データ、距離データ）と合致するデータをデータベース内で検索し、検索条件として指定された被写体種別データなどと合致するデータに対応付けられた画像識別データを選定する。そして、演算処理部１１０，１６０は、画像識別データに対応する画像データ記憶領域内の画像データを検索条件に適合する画像データとして検索する。その後、演算処理部１１０，１６０は、ステップＳ２０〜Ｓ２３の処理を実行する。 When it is determined that the search button 504 has been pressed (YES in step S18), the arithmetic processing units 110 and 160 collate the information registered in the database in the storage unit 120 with the information specified as the search condition. Then, the image data that matches the search condition is searched from the image data stored in the image data storage area in the storage unit 120 (step S19). Specifically, the arithmetic processing units 110 and 160 search the database for data that matches the subject type data (subject type data, subject identification data, distance data) specified as the search condition, and specify the data as the search condition. Select the image identification data associated with the data that matches the subject type data. Then, the arithmetic processing units 110 and 160 search for the image data in the image data storage area corresponding to the image identification data as image data matching the search conditions. After that, the arithmetic processing units 110 and 160 execute the processes of steps S20 to S23.

このような構成によれば、演算処理部１１０，１６０が予めデータベースに登録されている情報に基づいて検索条件に応じた画像の検索及び画像の生成を行うことができるため、画像の検索及び画像の生成を行う際の処理負担を軽減することができるとともに、画像の検索及び画像の生成を行う際の処理時間も軽減することができる。 According to such a configuration, since the arithmetic processing units 110 and 160 can search for an image and generate an image according to the search conditions based on the information registered in the database in advance, the image can be searched and the image can be generated. It is possible to reduce the processing load when performing the generation of the image, and also reduce the processing time when searching for the image and generating the image.

なお、上記した変形例において、検索対象の被写体が家族（例えば、父、母、息子、娘）などのように予め定まっている場合は、演算処理部１１０，１６０は、予め複数の被写体の被写体情報（被写体種別データ及び被写体識別データ（特徴点、名称など））をデータベースに登録しておいてもよい。また、演算処理部１１０，１６０は、予めデータベースに登録されている被写体についてだけを検索対象（検索候補）の被写体として指定し、予めデータベースに登録されている被写体の被写体情報だけに基づいて画像検索を行ってもよい。また、演算処理部１１０，１６０は、予めデータベースに登録されている被写体だけを画像検索画面に表示してもよい。また、演算処理部１１０，１６０は、予め複数の被写体の被写体情報（被写体種別データ及び被写体識別データ（特徴点、名称など））をデータベースに登録しておき、被写体識別データから被写体の名称を取得して、ＥＸＩＦ情報に被写体の名称を登録してもよい。 In the above-mentioned modified example, when the subject to be searched is predetermined such as a family (for example, father, mother, son, daughter), the arithmetic processing units 110 and 160 may perform subjects of a plurality of subjects in advance. Information (subject type data and subject identification data (feature points, names, etc.)) may be registered in the database. Further, the arithmetic processing units 110 and 160 specify only the subjects registered in the database in advance as the subjects to be searched (search candidates), and perform an image search based only on the subject information of the subjects registered in the database in advance. May be done. Further, the arithmetic processing units 110 and 160 may display only the subjects registered in the database in advance on the image search screen. Further, the arithmetic processing units 110 and 160 register subject information (subject type data and subject identification data (feature points, names, etc.)) of a plurality of subjects in a database in advance, and acquire the subject name from the subject identification data. Then, the name of the subject may be registered in the EXIF information.

また、データベースは、サーバ１０６の記憶部１７０に設けられる場合に限定されず、クライアント端末１０１Ｂの記憶部１２０Ｂに設けられてもよい。この場合、演算処理部１６０は、クライアント端末１０１Ｂの記憶部１２０Ｂ内のデータベースにアクセスして、画像生成や画像検索などの処理を行う。 Further, the database is not limited to the case where it is provided in the storage unit 170 of the server 106, and may be provided in the storage unit 120B of the client terminal 101B. In this case, the arithmetic processing unit 160 accesses the database in the storage unit 120B of the client terminal 101B and performs processing such as image generation and image search.

以上、本発明を実施の形態を用いて説明したが、本発明の技術的範囲は、上記実施の形態に記載の範囲には限定されない。本発明の趣旨を逸脱しない範囲で、上記実施の形態に、多様な変更または改良を加えることが可能である。また、上記の実施形態で説明した要件の１つ以上は、省略されることがある。そのような変更または改良、省略した形態も本発明の技術的範囲に含まれる。また、上記した実施形態や変形例の構成を適宜組み合わせて適用することも可能である。 Although the present invention has been described above using the embodiments, the technical scope of the present invention is not limited to the scope described in the above embodiments. Various changes or improvements can be made to the above-described embodiment without departing from the spirit of the present invention. In addition, one or more of the requirements described in the above embodiments may be omitted. Such modifications, improvements, or omitted forms are also included in the technical scope of the present invention. Further, it is also possible to appropriately combine and apply the configurations of the above-described embodiments and modifications.

例えば、上記した各実施形態では、撮像装置の一例としてライトフィールドカメラ１を挙げていたが、これに限定されず、例えば複数のカメラを配置したカメラアレイであってもよい。このようなカメラアレイにおいても視差を有する複数の画像を取得することができる。 For example, in each of the above-described embodiments, the light field camera 1 has been mentioned as an example of the imaging device, but the present invention is not limited to this, and for example, a camera array in which a plurality of cameras are arranged may be used. Even in such a camera array, it is possible to acquire a plurality of images having parallax.

また、上記した各実施形態では、演算部１１４（及び演算処理部１６０）は、ライトフィールドカメラ１が撮影したリフォーカス画像を用いて、合焦位置や被写界深度の範囲を変更していた。しかし、演算部１１４（及び演算処理部１６０）は、フォーカスブラケット機能を備えたデジタルカメラ（撮像装置）が撮影した複数の画像を用いて、合焦位置（焦点位置）や被写界深度の範囲を変更することが可能である。すなわち、上記した第１実施形態における「合焦位置を奥行き方向に変更可能な画像データ」には、デジタルカメラ（撮像装置）が合焦位置を変えながら撮像した、合焦位置の異なる複数の画像データに基づいて生成される画像データが含まれる。ここで、フォーカスブラケットとは、連写をしながら合焦位置を変えていき、合焦位置の異なる複数の画像を撮影することをいう。演算部１１４（及び演算処理部１６０）は、使用者によって指定された合焦位置や被写界深度に応じて、合焦位置の異なる複数の画像データを適宜選択し、選択した画像データを合成することにより、合焦位置や被写界深度の範囲を変更することができる。 Further, in each of the above-described embodiments, the arithmetic unit 114 (and the arithmetic processing unit 160) changes the focus position and the range of the depth of field by using the refocused image taken by the light field camera 1. .. However, the arithmetic unit 114 (and the arithmetic processing unit 160) uses a plurality of images taken by a digital camera (imaging device) having a focus bracket function to range the focus position (focus position) and the depth of field. It is possible to change. That is, the "image data in which the focusing position can be changed in the depth direction" in the first embodiment described above includes a plurality of images having different focusing positions, which are captured by a digital camera (imaging device) while changing the focusing position. Image data generated based on the data is included. Here, the focus bracket means to take a plurality of images having different focusing positions by changing the focusing position while continuously shooting. The calculation unit 114 (and the calculation processing unit 160) appropriately selects a plurality of image data having different focusing positions according to the focusing position and the depth of field specified by the user, and synthesizes the selected image data. By doing so, the focus position and the range of the depth of field can be changed.

また、上記した各実施形態では、検出部１１４ｂ（及び演算処理部１６０）が画像データから被写体を検出し、検出した被写体の距離を検出し、画像データに対してＥＸＩＦ情報を被写体ごとに付加していた。しかし、ライトフィールドカメラ１の画像処理部３０がこれらの処理を行い、演算部１１４は、ライトフィールドカメラ１からＥＸＩＦ情報が付加された画像データをＲＡＷデータとともに取得してもよい。 Further, in each of the above-described embodiments, the detection unit 114b (and the arithmetic processing unit 160) detects the subject from the image data, detects the distance of the detected subject, and adds EXIF information to the image data for each subject. Was there. However, the image processing unit 30 of the light field camera 1 may perform these processes, and the calculation unit 114 may acquire the image data to which the EXIF information is added from the light field camera 1 together with the RAW data.

また、上記した各実施形態では、画像生成部１１４ａ（及び演算処理部１６０）がＲＡＷデータに基づいて所定の合焦位置及び被写界深度の範囲の画像データを生成していたが、画像生成部１１４ａ（及び演算処理部１６０）が複数の画像データに対して距離に応じた重みを加えてから平均する加重平均処理を行うことで、所定の合焦位置及び被写界深度の範囲の画像データを生成してもよい。 Further, in each of the above-described embodiments, the image generation unit 114a (and the arithmetic processing unit 160) generate image data in a predetermined focus position and depth of field range based on the RAW data. By performing weighted averaging processing in which unit 114a (and arithmetic processing unit 160) adds weights according to distances to a plurality of image data and then averages them, an image in a predetermined focusing position and depth of field range is performed. Data may be generated.

また、画像生成部１１４ａ（及び演算処理部１６０）が検索対象の被写体を隠す被写体を削除していたが、表示制御部１１１（及び演算処理部１６０）は、その被写体を削除した画像と削除していない画像とを交互に表示するようにしてもよい。また、表示制御部１１１（及び演算処理部１６０）は、検索対象の被写体と、検索対象を隠す被写体とを交互に表示してもよい。この場合、より一層、検索対象の被写体に注目させることができる。また、容易に検索対象の被写体を確認することができる。 Further, the image generation unit 114a (and the arithmetic processing unit 160) deleted the subject that hides the subject to be searched, but the display control unit 111 (and the arithmetic processing unit 160) deletes the deleted image and the subject. Images that are not displayed may be displayed alternately. Further, the display control unit 111 (and the arithmetic processing unit 160) may alternately display the subject to be searched and the subject to hide the search target. In this case, the subject to be searched can be further focused on. In addition, the subject to be searched can be easily confirmed.

また、図４に示す画像処理部３０とシステム制御部７０は一体で構成されてもよい。この場合、１つのＣＰＵを有するシステム制御部が制御プログラムに基づいて処理を実行することにより画像処理部３０の機能とシステム制御部７０の機能を担う。 Further, the image processing unit 30 and the system control unit 70 shown in FIG. 4 may be integrally configured. In this case, the system control unit having one CPU takes on the functions of the image processing unit 30 and the system control unit 70 by executing the processing based on the control program.

また、上記した第１実施形態において、カラーフィルタの配列がベイヤー配列とされていたが、この配列以外の配列であってもよい。 Further, in the above-described first embodiment, the arrangement of the color filters is the Bayer arrangement, but an arrangement other than this arrangement may be used.

また、表示装置１０２は、画像検索画面を含む各種画像を２次元表示していたが３次元表示（３Ｄ表示）してもよい。特に、俯瞰図３００などを表示するときに３次元表示されている場合は、被写体の位置関係などが容易に認識されやすくなる。 Further, although the display device 102 displays various images including the image search screen in two dimensions, it may be displayed in three dimensions (3D display). In particular, when the bird's-eye view 300 or the like is displayed three-dimensionally, the positional relationship of the subject can be easily recognized.

また、画像の付随情報（例えば図８参照）の管理方法としては、以下に示す方法が考えられる。（１）上記した第１実施形態の場合のように、演算処理部１１０，１６０が１つの画像データ（パンフォーカスの画像データ）に付随情報を付加する方法である。（２）演算処理部１１０，１６０がステップＳ２において合焦位置の異なる複数の画像データを生成した場合は、それら複数の画像データそれぞれに付随情報（例えば同じ付随情報）を付加する方法である。この場合、複数の画像データのグループを管理するグループ識別情報が複数の画像データそれぞれに付加される。（３）演算処理部１１０，１６０がＲＡＷデータに付随情報を付加する方法である。（４）演算処理部１１０，１６０が画像データやＲＡＷデータとは異なるデータファイル（又はデータフォルダ）を設け、そのデータファイルに付随情報を付加し、そのデータファイルを画像データやＲＡＷデータに関連付ける方法である。この場合、データファイルはテキストファイルとされてもよい。 Further, as a method of managing the accompanying information of the image (see, for example, FIG. 8), the following method can be considered. (1) As in the case of the first embodiment described above, the arithmetic processing units 110 and 160 add incidental information to one image data (pan focus image data). (2) When the arithmetic processing units 110 and 160 generate a plurality of image data having different focusing positions in step S2, this is a method of adding incidental information (for example, the same incidental information) to each of the plurality of image data. In this case, group identification information for managing a group of a plurality of image data is added to each of the plurality of image data. (3) This is a method in which arithmetic processing units 110 and 160 add incidental information to RAW data. (4) A method in which arithmetic processing units 110 and 160 provide a data file (or data folder) different from image data and RAW data, add accompanying information to the data file, and associate the data file with image data and RAW data. is there. In this case, the data file may be a text file.

また、指定部１１４ｃ（及び演算処理部１６０）が検索条件として複数の条件を指定した場合、それらの条件はＡＮＤ条件としていたがＯＲ条件であってもよい。また、指定部１１４ｃ（及び演算処理部１６０）は、複数の被写体の相対位置を検索条件として指定していたが、１つ又は複数の被写体の絶対位置（例えばライトフィールドカメラ１から１００ｍ先の被写体）を指定してもよい。 Further, when the designation unit 114c (and the arithmetic processing unit 160) specifies a plurality of conditions as search conditions, those conditions are set to AND conditions, but may be OR conditions. Further, although the designation unit 114c (and the arithmetic processing unit 160) has specified the relative positions of a plurality of subjects as search conditions, the absolute positions of one or a plurality of subjects (for example, a subject 100 m ahead of the light field camera 1). ) May be specified.

また、ステップＳ２０において、画像生成部１１４ａ（及び演算処理部１６０）は、検索条件に対応する複数の被写体の合焦位置が異なる場合、検索条件に適合する合焦位置の画像データとして、検索条件に対応する複数の被写体それぞれに合焦した画像データを生成してもよい。この場合、画像生成部１１４ａ（及び演算処理部１６０）は、画像の領域を複数の被写体の領域ごとに分割して、分割した各領域ごとに被写体に合焦した画像データを生成してもよい。また、ステップＳ２０において、画像生成部１１４ａ（及び演算処理部１６０）は、検索条件に対応する複数の被写体の合焦位置が異なる場合、検索条件に適合する合焦位置の画像データとしてパンフォーカスの画像データを生成してもよい。また、ステップＳ２０において、画像生成部１１４ａ（及び演算処理部１６０）は、検索条件として被写体の奥行き方向の位置が指定された場合は、検索された画像データに対して、検索条件として指定された被写体に合焦した画像データを生成し、検索条件として被写体の奥行き方向の位置が指定されていない場合は、検索された画像データに対して、パンフォーカスの画像データを生成してもよい。また、ステップＳ２０において、画像生成部１１４ａ（及び演算処理部１６０）は、検索条件に対応する複数の被写体とは異なる被写体が画像データ内に存在する場合に、パンフォーカス画像を生成してもよい。 Further, in step S20, when the focusing positions of a plurality of subjects corresponding to the search conditions are different, the image generation unit 114a (and the arithmetic processing unit 160) sets the search conditions as image data of the focusing positions matching the search conditions. Image data in focus may be generated for each of a plurality of subjects corresponding to. In this case, the image generation unit 114a (and the arithmetic processing unit 160) may divide the image area into a plurality of subject areas and generate image data in focus on the subject in each of the divided areas. .. Further, in step S20, when the focusing positions of a plurality of subjects corresponding to the search conditions are different, the image generation unit 114a (and the arithmetic processing unit 160) pan-focuses the image data of the focusing positions that match the search conditions. Image data may be generated. Further, in step S20, when the position in the depth direction of the subject is specified as the search condition, the image generation unit 114a (and the arithmetic processing unit 160) is designated as the search condition for the searched image data. When the image data focused on the subject is generated and the position in the depth direction of the subject is not specified as the search condition, the pan-focus image data may be generated for the searched image data. Further, in step S20, the image generation unit 114a (and the arithmetic processing unit 160) may generate a pan-focus image when a subject different from the plurality of subjects corresponding to the search condition exists in the image data. ..

また、ステップＳ２０において、画像生成部１１４ａ（及び演算処理部１６０）は、検索条件に対応する複数の被写体とは異なる検索対象外の被写体が画像データ内に存在し、その検索対象外の被写体の奥行き方向の位置が検索条件に対応する複数の被写体の合焦位置の範囲内に存在する場合に、被写界深度の範囲を検索条件に対応する複数の被写体の位置を含む範囲とし、検索対象外の被写体を削除した画像データを生成してもよい。 Further, in step S20, the image generation unit 114a (and the arithmetic processing unit 160) has a subject in the image data that is different from the plurality of subjects corresponding to the search conditions and is not a search target. When the position in the depth direction exists within the range of the in-focus position of a plurality of subjects corresponding to the search condition, the range of the depth of field is set as the range including the positions of the plurality of subjects corresponding to the search condition, and the search target Image data in which the outside subject is deleted may be generated.

また、画像検索結果を表示するための第３表示領域５０６において、「焦点位置手前に移動」ボタンと「焦点位置奥側に移動」ボタンとを焦点位置切替ボタンとして設ける。そして、使用者が「焦点位置手前に移動」ボタンをクリックすることにより、画像生成部１１４ａ（及び演算処理部１６０）は、画像検索結果としての画像データの焦点位置を手前に変更し、使用者が「焦点位置奥側に移動」ボタンをクリックすることにより、画像生成部１１４ａ（及び演算処理部１６０）は、画像検索結果としての画像データの焦点位置を奥側に変更する構成でもよい。このとき、焦点位置の切り替えは、被写体単位で行われてもよい。また、検索対象の被写体として複数の被写体が指定された場合に、画像生成部１１４ａ（及び演算処理部１６０）は、焦点位置切替ボタンが使用者によりクリックされる度に、画像データにおける焦点位置を検索対象の位置に順に切り替える構成でもよい。 Further, in the third display area 506 for displaying the image search result, a "move to the front of the focus position" button and a "move to the back of the focus position" button are provided as focus position switching buttons. Then, when the user clicks the "move to focus position" button, the image generation unit 114a (and the arithmetic processing unit 160) changes the focus position of the image data as the image search result to the front, and the user The image generation unit 114a (and the arithmetic processing unit 160) may change the focus position of the image data as an image search result to the back side by clicking the "move to the back side of the focus position" button. At this time, the focus position may be switched for each subject. Further, when a plurality of subjects are designated as the subjects to be searched, the image generation unit 114a (and the arithmetic processing unit 160) determines the focus position in the image data each time the focus position switching button is clicked by the user. It may be configured to switch to the position to be searched in order.

なお、「合焦位置を奥行き方向に変更可能な画像データ」には、ＲＡＷデータ（光線情報）及びこのＲＡＷデータから画像生成部１１４ａ（演算処理部１６０）によって生成される１つ又は複数の画像データ（例えばパンフォーカスの画像データ、合焦位置の異なる複数の画像データ）が含まれる。 The "image data whose focusing position can be changed in the depth direction" includes RAW data (ray information) and one or a plurality of images generated by the image generation unit 114a (calculation processing unit 160) from the RAW data. Data (for example, pan-focus image data, a plurality of image data having different focusing positions) are included.

１…ライトフィールドカメラ（撮像装置）、１０１…画像検索・生成装置（画像生成装置、画像検索装置）、１０１Ｂ…クライアント端末、１０２…表示装置（表示部）、１０６…サーバ（画像生成装置、画像検索装置）、１１０，１１０Ｂ…演算処理部、１１１…表示制御部、１１２…画像入力部、１１３…操作制御部、１１４…演算部、１１４ａ…画像生成部、１１４ｂ…検出部、１１４ｃ…指定部、１１４ｄ…検索部、１１５…通信部、１２０，１２０Ｂ…記憶部、１６０…演算処理部、１６１…通信部、１６２…演算部、１７０…記憶部 1 ... Light field camera (imaging device), 101 ... Image search / generation device (image generation device, image search device), 101B ... Client terminal, 102 ... Display device (display unit), 106 ... Server (image generation device, image) Search device), 110, 110B ... Arithmetic processing unit, 111 ... Display control unit, 112 ... Image input unit, 113 ... Operation control unit, 114 ... Arithmetic unit, 114a ... Image generation unit, 114b ... Detection unit, 114c ... Designation unit , 114d ... Search unit, 115 ... Communication unit, 120, 120B ... Storage unit, 160 ... Calculation processing unit, 161 ... Communication unit, 162 ... Calculation unit, 170 ... Storage unit

Claims (9)

焦点位置を変更した画像を生成可能な画像データを検索し、特定の被写体を含む前記画像を生成可能な前記画像データを特定する検索部を備える、画像処理装置。 An image processing apparatus including a search unit that searches for image data capable of generating an image in which the focal position is changed, and identifies the image data capable of generating the image including a specific subject. 前記特定の被写体を指定する指定部を備える、請求項１に記載の画像処理装置。 The image processing apparatus according to claim 1, further comprising a designation unit for designating the specific subject. 前記検索部により特定された前記画像データに基づいて、奥行き方向における、前記特定の被写体を含む所定の範囲の内で所定の位置に合焦している前記画像を生成する生成部を備える、請求項１または請求項２に記載の画像処理装置。 A claim that includes a generation unit that generates the image that is in focus at a predetermined position within a predetermined range including the specific subject in the depth direction based on the image data specified by the search unit. The image processing apparatus according to claim 1 or 2. 前記所定の範囲は、被写界深度である請求項３に記載の画像処理装置。 The image processing apparatus according to claim 3, wherein the predetermined range is the depth of field. 前記特定の被写体は、複数の被写体である請求項３または請求項４に記載の画像処理装置。 The image processing apparatus according to claim 3 or 4, wherein the specific subject is a plurality of subjects. 前記複数の被写体の各々は、奥行き方向の各々の位置に存在する請求項５に記載の画像処理装置。 The image processing apparatus according to claim 5, wherein each of the plurality of subjects exists at each position in the depth direction. 前記複数の被写体に含まれる第１被写体は、前記第１被写体とは異なる第２被写体に比べて奥行き方向の手前に存在している請求項６に記載の画像処理装置。 The image processing apparatus according to claim 6, wherein the first subject included in the plurality of subjects exists in front of the second subject different from the first subject in the depth direction. 前記生成部は、前記検索部により検索された前記画像データに基づいて、前記複数の被写体に合焦している被写界深度の前記画像を生成する請求項５から請求項７のいずれか一項に記載の画像処理装置。 Any one of claims 5 to 7, wherein the generation unit generates the image having a depth of field in focus on the plurality of subjects based on the image data searched by the search unit. The image processing apparatus according to the section. 焦点位置を変更した画像を生成可能な画像データを検索し、特定の被写体を含む前記画像を生成可能な前記画像データを特定する処理をコンピュータに実行させる、画像処理プログラム。 An image processing program that searches a computer for image data capable of generating an image whose focal position has been changed, and causes a computer to execute a process of identifying the image data capable of generating the image including a specific subject.
JP2019139423A 2019-07-30 2019-07-30 Image processing device and image processing program Active JP6780748B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2019139423A JP6780748B2 (en) 2019-07-30 2019-07-30 Image processing device and image processing program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2019139423A JP6780748B2 (en) 2019-07-30 2019-07-30 Image processing device and image processing program

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
JP2018122886A Division JP6566091B2 (en) 2018-06-28 2018-06-28 Image generation device and image search device

Publications (2)

Publication Number Publication Date
JP2020004418A JP2020004418A (en) 2020-01-09
JP6780748B2 true JP6780748B2 (en) 2020-11-04

Family

ID=69100196

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019139423A Active JP6780748B2 (en) 2019-07-30 2019-07-30 Image processing device and image processing program

Country Status (1)

Country Link
JP (1) JP6780748B2 (en)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP4184910A4 (en) 2020-07-20 2024-01-17 Sony Group Corporation Information processing device, information processing method, and program

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5233458B2 (en) * 2008-07-15 2013-07-10 株式会社ニコン Image editing apparatus and image editing program
JP5657343B2 (en) * 2010-10-28 2015-01-21 株式会社ザクティ Electronics
JP5968102B2 (en) * 2012-06-15 2016-08-10 キヤノン株式会社 Image recording apparatus and image reproducing apparatus

Also Published As

Publication number Publication date
JP2020004418A (en) 2020-01-09

Similar Documents

Publication Publication Date Title
US10311649B2 (en) Systems and method for performing depth based image editing
US10049439B2 (en) Image processing method, image processing apparatus, image capturing apparatus and non-transitory computer-readable storage medium
JP2013201752A5 (en)
JP2013201752A (en) Image processing device, image pickup device, control method, and program
JP2016024489A (en) Image processing apparatus, imaging device, image processing method, and program
JP6552315B2 (en) Imaging device
JP2017060010A (en) Imaging device, method of controlling imaging device, and program
JP6780748B2 (en) Image processing device and image processing program
JP2013085176A (en) Image-capturing device
US8571404B2 (en) Digital photographing apparatus, method of controlling the same, and a computer-readable medium storing program to execute the method
JP6566091B2 (en) Image generation device and image search device
JP6361228B2 (en) Image generation apparatus and image generation program
JP2015198340A (en) Image processing system and control method therefor, and program
JP6491442B2 (en) Image processing apparatus, image processing method, program, and recording medium
JP6071714B2 (en) Image processing apparatus and control method thereof
JP6502640B2 (en) IMAGE PROCESSING APPARATUS, IMAGE PROCESSING METHOD, PROGRAM, AND RECORDING MEDIUM
JP2014116789A (en) Photographing device, control method therefor, and program
JP6074201B2 (en) Image processing apparatus, control method, and program
JP2015139018A (en) Electronic apparatus and control program
US11627245B2 (en) Focus adjustment device and focus adjustment method
JP7224811B2 (en) Image processing device and electronic equipment
JP2015139019A (en) Device and program for image composition
JP7242278B2 (en) Image processing device and its control method
JP6833772B2 (en) Image processing equipment, imaging equipment, image processing methods and programs
JP2019041401A (en) Image combining device and image combining program

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20190731

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20200630

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20200915

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20200928

R150 Certificate of patent or registration of utility model

Ref document number: 6780748

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250