JP6780748B2 - Image processing device and image processing program - Google Patents
Image processing device and image processing program Download PDFInfo
- Publication number
- JP6780748B2 JP6780748B2 JP2019139423A JP2019139423A JP6780748B2 JP 6780748 B2 JP6780748 B2 JP 6780748B2 JP 2019139423 A JP2019139423 A JP 2019139423A JP 2019139423 A JP2019139423 A JP 2019139423A JP 6780748 B2 JP6780748 B2 JP 6780748B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- subject
- unit
- image data
- search
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Landscapes
- Processing Or Creating Images (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
- Studio Devices (AREA)
Description
本発明は、画像処理装置、画像生成装置、画像検索装置、画像処理プログラム、画像生成プログラム、及び画像検索プログラムに関する。 The present invention relates to an image processing device, an image generation device, an image search device, an image processing program, an image generation program, and an image search program.
画像を検索する装置として、例えば特許文献1に記載されたものがある。この装置においては、CPUが画像の中から人物の顔などの部分画像を抽出し、抽出した部分画像における目、鼻などの位置や位置関係などを数値化した数値データを算出する。そして、CPUは、数値データと検索情報に対応する数値データとを比較して画像検索を行う。また、CPUは、画像の撮影時におけるフォーカス位置(合焦位置)などに基づいて比較対象の部分画像を絞り込む。 As a device for searching an image, for example, there is one described in Patent Document 1. In this device, the CPU extracts a partial image such as a person's face from the image, and calculates numerical data in which the positions and positional relationships of the eyes, nose, etc. in the extracted partial image are quantified. Then, the CPU performs an image search by comparing the numerical data with the numerical data corresponding to the search information. Further, the CPU narrows down the partial image to be compared based on the focus position (focusing position) at the time of shooting the image.
しかし、上記した装置は、合焦位置を奥行き方向に変更可能な画像(リフォーカス画像という。)の検索には適しておらず、依然として改善の余地がある。 However, the above-mentioned device is not suitable for searching an image (referred to as a refocused image) whose focusing position can be changed in the depth direction, and there is still room for improvement.
本発明の態様では、合焦位置を奥行き方向に変更可能なリフォーカス画像に適した画像検索を行うことを目的とする。 An object of the present invention is to perform an image search suitable for a refocused image in which the focusing position can be changed in the depth direction.
本発明の態様によれば、焦点位置を変更した画像を生成可能な画像データを検索し、特定の被写体を含む画像を生成可能な画像データを特定する検索部を備える画像処理装置が提供される。
本発明の態様によれば、焦点位置を変更した画像を生成可能な画像データの中から特定の被写体を含む画像を生成可能な画像データを検索する検索部と、検索部により検索された画像データに基づいて、奥行き方向における、特定の被写体を含む所定の範囲の内で所定の位置に合焦している画像を生成する生成部と、を備える画像生成装置が提供される。
本発明の態様によれば、焦点位置を変更した画像を生成可能な画像データの中から特定の被写体を含む画像を生成可能な画像データを検索する検索部と、検索部により検索された画像データに基づいて、生成された画像を表示する表示部と、を備え、表示部に表示される画像は、特定の被写体が含まれた画像である画像検索装置が提供される。
本発明の第1態様によれば、合焦位置を奥行き方向に変更可能な画像データに含まれる被写体を検出するとともに、検出した被写体の奥行き方向の位置を検出する検出部と、検索対象の被写体に関する付随情報を指定する指定部と、指定部で指定された付随情報に対応する被写体を検索する検索部と、検索部で検索された被写体の奥行き方向の位置に応じて所定の合焦位置の画像データを生成する画像生成部と、を備える画像生成装置が提供される。
According to the aspect of the present invention, there is provided an image processing apparatus including a search unit that searches for image data capable of generating an image in which the focal position is changed and identifies image data capable of generating an image including a specific subject. ..
According to the aspect of the present invention, a search unit that searches for image data that can generate an image including a specific subject from image data that can generate an image whose focal position is changed, and image data that is searched by the search unit. Based on the above, an image generation device including a generation unit that generates an image that is in focus at a predetermined position within a predetermined range including a specific subject in the depth direction is provided.
According to the aspect of the present invention, a search unit that searches for image data that can generate an image including a specific subject from image data that can generate an image whose focal position is changed, and image data that is searched by the search unit. Based on the above, an image search device is provided which includes a display unit for displaying the generated image, and the image displayed on the display unit is an image including a specific subject.
According to the first aspect of the present invention, a detection unit that detects a subject included in image data whose focusing position can be changed in the depth direction, a detection unit that detects the position of the detected subject in the depth direction, and a subject to be searched. A designated unit that specifies incidental information about the subject, a search unit that searches for a subject corresponding to the incidental information specified in the specified unit, and a predetermined focusing position according to the position of the subject searched in the search unit in the depth direction. An image generation device including an image generation unit for generating image data is provided.
本発明の第2態様によれば、合焦位置を奥行き方向に変更可能な一又は複数の画像データに含まれる被写体を検出するとともに、検出した被写体の奥行き方向の位置を検出する検出部と、検索対象の被写体の奥行き方向の位置を指定する指定部と、指定部で指定された位置に対応する被写体を含む画像データを検索する検索部と、を備える画像検索装置が提供される。 According to the second aspect of the present invention, a detection unit that detects a subject included in one or more image data whose focusing position can be changed in the depth direction and detects the position of the detected subject in the depth direction. An image search device including a designated unit for designating a position of a subject to be searched in the depth direction and a search unit for searching image data including a subject corresponding to the position designated by the designated unit is provided.
本発明の態様によれば、コンピュータに、焦点位置を変更した画像を生成可能な画像データを検索し、特定の被写体を含む画像を生成可能な画像データを特定する処理を実行させる画像処理プログラムが提供される。
本発明の第3態様によれば、コンピュータに、合焦位置を奥行き方向に変更可能な画像データに含まれる被写体を検出するとともに、検出した被写体の奥行き方向の位置を検出する検出処理と、検索対象の被写体に関する付随情報を指定する指定処理と、指定処理で指定された付随情報に対応する被写体を検索する検索処理と、検索処理で検索された被写体の奥行き方向の位置に応じて所定の合焦位置の画像データを生成する画像生成処理と、を実行させる画像生成プログラムが提供される。
According to the aspect of the present invention, an image processing program that causes a computer to search for image data capable of generating an image in which the focal position is changed and to execute a process of specifying image data capable of generating an image including a specific subject. Provided.
According to the third aspect of the present invention, the computer detects a subject included in the image data whose focusing position can be changed in the depth direction, and detects the position of the detected subject in the depth direction, and searches. A specified process that specifies incidental information about the target subject, a search process that searches for a subject that corresponds to the incidental information specified in the specified process, and a predetermined combination according to the position of the subject searched in the search process in the depth direction. An image generation process for generating image data at the focal position and an image generation program for executing the image data are provided.
本発明の第4態様によれば、コンピュータに、合焦位置を奥行き方向に変更可能な一又は複数の画像データに含まれる被写体を検出するとともに、検出した被写体の奥行き方向の位置を検出する検出処理と、検索対象の被写体の奥行き方向の位置を指定する指定処理と、指定処理で指定された位置に対応する被写体を含む画像データを検索する検索処理と、を実行させる画像検索プログラムが提供される。 According to the fourth aspect of the present invention, the computer detects a subject included in one or more image data whose focusing position can be changed in the depth direction, and detects the position of the detected subject in the depth direction. An image search program is provided that executes processing, a specification process for specifying the position of the subject to be searched in the depth direction, and a search process for searching image data including the subject corresponding to the position specified in the specified process. To.
本発明の態様によれば、合焦位置を奥行き方向に変更可能なリフォーカス画像に適した画像検索を行うことができる。 According to the aspect of the present invention, it is possible to perform an image search suitable for a refocused image in which the focusing position can be changed in the depth direction.
以下、本発明の実施形態について図面を参照して説明する。ただし、本発明はこれに限定されるものではない。また、図面においては、実施形態を説明するため、一部分を大きくまたは強調して記載するなど適宜縮尺を変更して表現する場合がある。 Hereinafter, embodiments of the present invention will be described with reference to the drawings. However, the present invention is not limited to this. In addition, in the drawings, in order to explain the embodiment, the scale may be changed as appropriate, such as drawing a part in a large or emphasized manner.
<第1実施形態>
図1は、画像検索・生成装置101の構成を示すブロック図である。図1に示すように、画像検索・生成装置(画像検索装置、画像生成装置)101は、撮像装置の一例であるライトフィールドカメラ1、表示装置102、キーボード103、及びマウス104と接続されている。ここで、ライトフィールドカメラ1は、撮像部がカメラに入射する多数の光線をライトフィールド(光線空間)として取得する。そして、ライトフィールドカメラ1は、取得したライトフィールドの情報に対して画像処理を施すことで合焦位置などを奥行き方向に変更したリフォーカス画像を生成する。以下の説明では、三次元空間の光線集合であるライトフィールドの情報を光線情報又はRAWデータという。
<First Embodiment>
FIG. 1 is a block diagram showing a configuration of an image search / generation device 101. As shown in FIG. 1, the image search / generation device (image search device, image generation device) 101 is connected to a light field camera 1, a display device 102, a keyboard 103, and a mouse 104, which are examples of image pickup devices. .. Here, the light field camera 1 acquires a large number of light rays incident on the camera as a light field (light ray space) by the imaging unit. Then, the light field camera 1 generates a refocused image in which the in-focus position and the like are changed in the depth direction by performing image processing on the acquired light field information. In the following description, information on a light field, which is a set of rays in a three-dimensional space, is referred to as ray information or RAW data.
画像検索・生成装置101は、使用者により指定される情報に基づいて、ライトフィールドカメラ1で撮影された画像データに含まれる被写体を検索し、検索した被写体の奥行き方向の位置に合焦した画像データを生成する。なお、ライトフィールドカメラ1から被写体に向かう方向を奥側の方向といい、その反対側の方向を手前側の方向をいう。また、奥側の方向及び手前側の方向を奥行き方向という。 The image search / generation device 101 searches for a subject included in the image data taken by the light field camera 1 based on the information specified by the user, and focuses on the position of the searched subject in the depth direction. Generate data. The direction from the light field camera 1 toward the subject is referred to as the back side direction, and the opposite side direction is referred to as the front side direction. Further, the direction on the back side and the direction on the front side are called the depth direction.
画像検索・生成装置101は、例えば、パーソナルコンピュータで実現される。この画像検索・生成装置101は、図1に示すように、演算処理部110及び記憶部120を有している。演算処理部110は、画像データの検索及び生成に関する制御を司る。記憶部120は、ライトフィールドカメラ1で取得されたRAWデータや、このRAWデータから生成される画像データ(この画像データに付加される付随情報を含む)などを記憶する。なお、本実施形態では、画像データに付加される付随情報はEXIF情報(Exchangeable Image file Format)である。EXIF情報には、例えば、画像データごとに付加される撮影シーンの情報(ポートレート、風景など)、画像データ中の被写体ごとに付加される、被写体の種別(種類)を示す被写体種別データ、画像データ中の被写体ごとに付加される、個々の被写体を識別するための被写体識別データ、被写体ごとに付加される、被写体の合焦位置の情報(つまりライトフィールドカメラ1から被写体までの距離を示す距離データ)が含まれる(後述する図8参照)。また、被写体識別データには、被写体の特徴点や被写体の名称などが含まれる。 The image search / generation device 101 is realized by, for example, a personal computer. As shown in FIG. 1, the image search / generation device 101 has an arithmetic processing unit 110 and a storage unit 120. The arithmetic processing unit 110 controls the search and generation of image data. The storage unit 120 stores RAW data acquired by the light field camera 1, image data generated from the RAW data (including incidental information added to the image data), and the like. In the present embodiment, the accompanying information added to the image data is EXIF information (Exchangeable Image file Format). The EXIF information includes, for example, shooting scene information (portrait, landscape, etc.) added for each image data, subject type data indicating the subject type (type) added for each subject in the image data, and an image. Subject identification data for identifying individual subjects added to each subject in the data, information on the focus position of the subject added for each subject (that is, the distance indicating the distance from the light field camera 1 to the subject) Data) is included (see FIG. 8 below). In addition, the subject identification data includes feature points of the subject, names of the subjects, and the like.
被写体の特徴点とは、被写体が同一の被写体であるか異なる被写体であるかを識別するための被写体の特徴的な情報のことをいう。例えば、被写体が人物の場合における人物の顔の形、目の形、目と鼻の位置関係などの情報が特徴点とされ、また、被写体が建物である場合における建物の色や形状などの情報が特徴点とされる。 The feature point of the subject refers to the characteristic information of the subject for identifying whether the subject is the same subject or a different subject. For example, information such as the shape of the person's face, the shape of the eyes, and the positional relationship between the eyes and the nose when the subject is a person is used as a feature point, and information such as the color and shape of the building when the subject is a building. Is a feature point.
演算処理部110は、図1に示すように、表示制御部111、画像入力部112、操作制御部113、及び演算部114を有している。表示制御部111は、例えば液晶表示ディスプレイのような表示装置102の表示画面500に、使用者が画像データの検索を行うための画像検索画面(図11〜図13参照)を表示する制御を行う。画像検索画面は、使用者が画像を検索するときに用いるグラフィカルユーザインタフェイス(GUI)である。また、表示制御部111は、複数の画像データに含まれる複数の被写体を検出し、検出した複数の被写体の画像データを切り出す。そして、表示制御部111は、切り出した複数の被写体の画像データに基づく画像を、表示装置102の表示画面500の第1表示領域(被写体一覧を表示するための第1表示領域501;図11参照)に表示する制御を行う。 As shown in FIG. 1, the arithmetic processing unit 110 includes a display control unit 111, an image input unit 112, an operation control unit 113, and an arithmetic unit 114. The display control unit 111 controls to display an image search screen (see FIGS. 11 to 13) for the user to search for image data on the display screen 500 of the display device 102 such as a liquid crystal display. .. The image search screen is a graphical user interface (GUI) used when a user searches for an image. In addition, the display control unit 111 detects a plurality of subjects included in the plurality of image data, and cuts out the image data of the detected plurality of subjects. Then, the display control unit 111 displays an image based on the image data of the plurality of subjects cut out in the first display area of the display screen 500 of the display device 102 (first display area 501 for displaying the subject list; see FIG. 11). ) Is displayed.
また、表示制御部111は、使用者によるマウス104などの操作(例えばドラッグアンドドロップ操作)によって、第1表示領域に表示されている複数の被写体の画像データに基づく画像を、表示装置102の表示画面500の第2表示領域(検索対象の被写体を表示するための第2表示領域502;図11参照)に移動させる制御を行う。また、表示制御部111は、使用者によるマウス104などの操作(例えばドラッグアンドドロップ操作)によって、複数の被写体の画像データに基づく画像の奥行き方向の表示位置を変更する制御を行う。 Further, the display control unit 111 displays an image based on the image data of a plurality of subjects displayed in the first display area by the operation of the mouse 104 or the like (for example, a drag and drop operation) by the display device 102. Control is performed to move the screen 500 to the second display area (second display area 502 for displaying the subject to be searched; see FIG. 11). Further, the display control unit 111 controls to change the display position in the depth direction of the image based on the image data of a plurality of subjects by the operation of the mouse 104 or the like by the user (for example, a drag and drop operation).
画像入力部112は、ライトフィールドカメラ1と接続されることにより、このライトフィールドカメラ1に記憶されているRAWデータ及び画像データ(付随情報を含む)を入力する。この画像入力部112は、ライトフィールドカメラ1から入力したRAWデータ及び画像データ(付随情報を含む)を記憶部120における画像データ記憶領域に記憶する。なお、画像入力部112は、インターネットなど通信ネットワーク(図示せず)を通じてRAWデータなど(RAWデータ、画像データ)を取得し、取得したRAWデータなどを記憶部120における画像データ記憶領域に記憶することも可能である。 The image input unit 112 inputs RAW data and image data (including accompanying information) stored in the light field camera 1 by being connected to the light field camera 1. The image input unit 112 stores RAW data and image data (including accompanying information) input from the light field camera 1 in the image data storage area of the storage unit 120. The image input unit 112 acquires RAW data (RAW data, image data) through a communication network (not shown) such as the Internet, and stores the acquired RAW data or the like in the image data storage area of the storage unit 120. Is also possible.
操作制御部113は、使用者が操作可能な操作部を構成するキーボード103及びマウス104と接続される。この操作制御部113は、使用者によるキーボード103やマウス104の操作に応じて情報を入力し、その情報を表示制御部111や演算部114に出力する。 The operation control unit 113 is connected to a keyboard 103 and a mouse 104 that form an operation unit that can be operated by the user. The operation control unit 113 inputs information in response to an operation of the keyboard 103 or the mouse 104 by the user, and outputs the information to the display control unit 111 or the calculation unit 114.
演算部114は、図1に示すように、画像生成部114a、検出部114b、指定部114c、及び検索部114dを備えている。画像生成部114aは、ライトフィールドカメラ1からRAWデータを取得した際に(図6のステップS1参照)、RAWデータに基づいて合焦位置が異なる複数の画像データを生成する。また、画像生成部114aは、合焦位置が異なる複数の画像データに対して、色信号処理(色調補正)、ホワイトバランス調整、シャープネス調整、ガンマ補正、階調調整などの各種画像処理を実行する。また、画像生成部114aは、後述する検索部114dが検索条件に対応する被写体(検索対象の被写体)を含む画像データを検索した際に(図10のステップS19参照)、RAWデータに基づいて検索部114dで検索された被写体の奥行き方向の位置に合焦した画像データを生成する。 As shown in FIG. 1, the calculation unit 114 includes an image generation unit 114a, a detection unit 114b, a designation unit 114c, and a search unit 114d. When the image generation unit 114a acquires RAW data from the light field camera 1 (see step S1 in FIG. 6), the image generation unit 114a generates a plurality of image data having different focusing positions based on the RAW data. Further, the image generation unit 114a executes various image processing such as color signal processing (color tone correction), white balance adjustment, sharpness adjustment, gamma correction, and gradation adjustment for a plurality of image data having different focusing positions. .. Further, the image generation unit 114a searches based on the RAW data when the search unit 114d, which will be described later, searches for image data including a subject (subject to be searched) corresponding to the search condition (see step S19 in FIG. 10). The image data focused on the position in the depth direction of the subject searched by the unit 114d is generated.
検出部114bは、ライトフィールドカメラ1からRAWデータを取得した際に(図6のステップS1参照)、画像生成部114aがRAWデータに基づいて生成した画像データ中の1つ又は複数の被写体(以下、登録対象の被写体という。)を検出する。また、検出部114bは、検出した登録対象の被写体の特徴点を抽出する。そして、検出部114bは、抽出した登録対象の被写体の特徴点と、記憶部120に記憶されている1つ又は複数の画像データに含まれる複数の被写体の特徴点とを順次照合して、検出した登録対象の被写体と同じ被写体を含む画像データが記憶部120内に存在するか否かを判定する。 When the detection unit 114b acquires the RAW data from the light field camera 1 (see step S1 in FIG. 6), the detection unit 114b has one or a plurality of subjects (hereinafter, the following) in the image data generated by the image generation unit 114a based on the RAW data. , The subject to be registered.) Is detected. In addition, the detection unit 114b extracts the feature points of the detected subject to be registered. Then, the detection unit 114b sequentially collates the extracted feature points of the subject to be registered with the feature points of a plurality of subjects included in one or a plurality of image data stored in the storage unit 120, and detects the feature points. It is determined whether or not image data including the same subject as the subject to be registered is present in the storage unit 120.
検出部114bは、登録対象の被写体と同じ被写体を含む画像データが記憶部120内に存在しないと判定した場合は、登録対象の被写体を含む画像データのEXIF情報に新たな被写体種別データ及び被写体識別データを被写体ごとに付加する。一方、検出部114bは、登録対象の被写体と同じ被写体を含む画像データが記憶部120内に存在すると判定した場合は、登録対象の被写体を含む画像データのEXIF情報に、記憶部120内の画像データに付加されているEXIF情報の被写体種別データ及び被写体識別データと同じデータを被写体ごとに付加する。なお、検出部114bは、登録対象の被写体を含む画像データのEXIF情報に、画像データごとの撮影シーンの情報も付加する。 When the detection unit 114b determines that the image data including the same subject as the subject to be registered does not exist in the storage unit 120, the detection unit 114b adds new subject type data and subject identification to the EXIF information of the image data including the subject to be registered. Data is added for each subject. On the other hand, when the detection unit 114b determines that the image data including the same subject as the subject to be registered exists in the storage unit 120, the image in the storage unit 120 is added to the EXIF information of the image data including the subject to be registered. The same data as the subject type data and subject identification data of the EXIF information added to the data is added for each subject. The detection unit 114b also adds information on the shooting scene for each image data to the EXIF information of the image data including the subject to be registered.
また、検出部114bは、登録対象の被写体の奥行き方向の位置(被写体の合焦位置)を検出する。検出部114bは、登録対象の被写体を含む画像データのEXIF情報に、登録対象の被写体の奥行き方向の位置を示す距離データ(合焦位置)を被写体ごとに付加する。演算部114は、RAWデータとともに、EXIF情報が付加された画像データを記憶部120に記憶する。 Further, the detection unit 114b detects the position of the subject to be registered in the depth direction (focus position of the subject). The detection unit 114b adds distance data (focus position) indicating the position of the subject to be registered in the depth direction to the EXIF information of the image data including the subject to be registered for each subject. The calculation unit 114 stores the image data to which the EXIF information is added in the storage unit 120 together with the RAW data.
指定部114cは、使用者が画像データを検索する際に、画像データの検索条件を指定する。具体的には、操作制御部113は、使用者が画像データを検索するためにキーボード103やマウス104の操作に合わせて入力する情報を演算部114に出力する。指定部114cは、操作制御部113からの情報を入力し、入力した情報を画像データの検索条件として指定する。検索条件は、上述した被写体種別データ(人物、家、木、山など)、被写体識別データ(被写体の特徴点、被写体の名称)、及び被写体の奥行き方向の位置のうちの少なくともいずれか1つの情報である。 The designation unit 114c specifies search conditions for image data when the user searches for image data. Specifically, the operation control unit 113 outputs to the calculation unit 114 the information that the user inputs in accordance with the operation of the keyboard 103 or the mouse 104 in order to search the image data. The designation unit 114c inputs information from the operation control unit 113, and designates the input information as a search condition for image data. The search condition is information on at least one of the above-mentioned subject type data (person, house, tree, mountain, etc.), subject identification data (subject feature point, subject name), and subject's position in the depth direction. Is.
検索部114dは、記憶部120に記憶されている画像データの中から、指定部114cで指定された検索条件に対応する被写体を含む画像データを検索する。なお、表示制御部111は、検索部114dの画像検索結果である画像の一覧を表示装置102の表示画面500に表示する。 The search unit 114d searches for image data including a subject corresponding to the search condition specified by the designated unit 114c from the image data stored in the storage unit 120. The display control unit 111 displays a list of images that are the image search results of the search unit 114d on the display screen 500 of the display device 102.
なお、演算処理部110における表示制御部111、画像入力部112、操作制御部113、及び演算部114(画像生成部114a、検出部114b、指定部114c、検索部114d)のそれぞれの構成は、CPU(Central Processing Unit)などの制御装置が記憶部120に記憶されている制御プログラム(画像生成プログラム、画像検索プログラム)に従って実行する処理又は制御に相当する。 The configurations of the display control unit 111, the image input unit 112, the operation control unit 113, and the calculation unit 114 (image generation unit 114a, detection unit 114b, designation unit 114c, search unit 114d) in the calculation processing unit 110 are This corresponds to processing or control executed by a control device such as a CPU (Central Processing Unit) according to a control program (image generation program, image search program) stored in the storage unit 120.
記憶部120には、RAWデータ及び画像データ(付随情報)を記憶するための画像データ記憶領域が形成されている。また、記憶部120には、表示制御部111による画像検索画面などの表示に必要な各種情報が記憶されている。また、記憶部120には、上記したように、演算処理部110における表示制御部111、画像入力部112、操作制御部113、及び演算部114の処理を実行させるための制御プログラム(画像生成プログラム、画像検索プログラム)なども記憶されている。 An image data storage area for storing RAW data and image data (accompanying information) is formed in the storage unit 120. Further, the storage unit 120 stores various information necessary for displaying an image search screen or the like by the display control unit 111. Further, as described above, the storage unit 120 is a control program (image generation program) for executing the processing of the display control unit 111, the image input unit 112, the operation control unit 113, and the calculation unit 114 in the calculation processing unit 110. , Image search program), etc. are also stored.
次に、図1に示したライトフィールドカメラ1の構成について説明する。図2は、撮像装置の一例であるライトフィールドカメラ1における光学系部分の概略構成を示す断面図である。なお、図2において、紙面の右方向(光軸方向)をX軸とし、X軸と直交する紙面の上方向をZ軸とし、X軸及びZ軸と直交する紙面の裏から表に向かう方向をY軸としている。また、図2は、ライトフィールドカメラ1における光学系部分を光軸を含む面で切断したときの断面図である。 Next, the configuration of the light field camera 1 shown in FIG. 1 will be described. FIG. 2 is a cross-sectional view showing a schematic configuration of an optical system portion in a light field camera 1 which is an example of an imaging device. In FIG. 2, the right direction (optical axis direction) of the paper surface is the X-axis, the upper direction of the paper surface orthogonal to the X-axis is the Z-axis, and the X-axis and the direction from the back to the front of the paper surface orthogonal to the Z-axis. Is the Y-axis. Further, FIG. 2 is a cross-sectional view of the light field camera 1 when the optical system portion is cut along a surface including an optical axis.
なお、ライトフィールドカメラ1の代表的な機能としては、撮影後の後処理によって焦点距離を変更した画像を生成するリフォーカス機能がある。従って、ライトフィールドカメラ1はリフォーカスカメラとも呼ばれる。 A typical function of the light field camera 1 is a refocus function for generating an image in which the focal length is changed by post-processing after shooting. Therefore, the light field camera 1 is also called a refocus camera.
本実施形態のライトフィールドカメラ1は、その光学系部分として、撮影光学系(結像光学系)11及びマイクロレンズアレイ12を備えている。なお、図2には、ライトフィールドカメラ1における光学系部分以外の構成である撮像素子20についても示している。 The light field camera 1 of the present embodiment includes a photographing optical system (imaging optical system) 11 and a microlens array 12 as its optical system portion. Note that FIG. 2 also shows an image sensor 20 having a configuration other than the optical system portion of the light field camera 1.
撮影光学系11は、複数のレンズ群で構成される単焦点レンズである。撮影光学系11は、被写体からの光束をその焦点面(結像面)近傍に結像する。また、撮影光学系11は、撮影時に絞り値(F値)を制御する開口絞り(不図示)を備えている。なお、絞り値は撮影後の画像の再構成によって変更することができるため、開口絞りの開口径は固定でもよい。図2に示すように、撮影光学系11の焦点面近傍にマイクロレンズアレイ12と撮像素子20とが順に配置されている。 The photographing optical system 11 is a single focus lens composed of a plurality of lens groups. The photographing optical system 11 forms a light beam from the subject in the vicinity of the focal plane (imaging plane) thereof. Further, the photographing optical system 11 includes an aperture diaphragm (not shown) that controls an aperture value (F value) at the time of photographing. Since the aperture value can be changed by reconstructing the image after shooting, the aperture diameter of the aperture aperture may be fixed. As shown in FIG. 2, the microlens array 12 and the image sensor 20 are arranged in order near the focal plane of the photographing optical system 11.
マイクロレンズアレイ12は、正のパワーを有した複数のマイクロレンズ(正レンズ)が二次元状に配置された構成となっている。なお、図2に示すマイクロレンズアレイ12においては、3つのマイクロレンズだけがZ軸方向に配されているが、実際はZ軸方向及びY軸方向に多数のマイクロレンズが配されている。 The microlens array 12 has a configuration in which a plurality of microlenses (positive lenses) having positive power are arranged two-dimensionally. In the microlens array 12 shown in FIG. 2, only three microlenses are arranged in the Z-axis direction, but in reality, a large number of microlenses are arranged in the Z-axis direction and the Y-axis direction.
撮像素子20は、マイクロレンズアレイ12の後側(撮影光学系11の反対側)に若干の間隔をおいて配置されている。この撮像素子20は、マイクロレンズアレイ12の各マイクロレンズを通過した光束を複数の光電変換素子で受光し、各々の光電変換素子が受光した光束を光電変換して複数の画素信号を生成する。複数の光電変換素子はマトリックス状に配列され、各々の光電変換素子が画素を形成する。本実施形態では、撮像素子20は、CCD(Charge Coupled Device)やCMOS(Complementary Metal-Oxide Semiconductor)などの二次元固体撮像素子で構成されている。 The image sensor 20 is arranged on the rear side of the microlens array 12 (opposite side of the photographing optical system 11) at a slight interval. The image sensor 20 receives the light flux passing through each microlens of the microlens array 12 by a plurality of photoelectric conversion elements, and photoelectrically converts the light flux received by each photoelectric conversion element to generate a plurality of pixel signals. A plurality of photoelectric conversion elements are arranged in a matrix, and each photoelectric conversion element forms a pixel. In the present embodiment, the image sensor 20 is composed of a two-dimensional solid-state image sensor such as a CCD (Charge Coupled Device) or a CMOS (Complementary Metal-Oxide Semiconductor).
図2の部分拡大図に示す例では、複数のマイクロレンズ12a,12b,12cの各々の後側に複数個ずつ画素が配列されている。具体的には、マイクロレンズ12aの後側に3つの画素21a,21b,21cが配列され、マイクロレンズ12bの後側に3つの画素22a,22b,22cが配列され、マイクロレンズ12cの後側に3つの画素23a,23b,23cが配列されている。 In the example shown in the partially enlarged view of FIG. 2, a plurality of pixels are arranged on the rear side of each of the plurality of microlenses 12a, 12b, and 12c. Specifically, three pixels 21a, 21b, 21c are arranged on the rear side of the microlens 12a, three pixels 22a, 22b, 22c are arranged on the rear side of the microlens 12b, and three pixels 22a, 22b, 22c are arranged on the rear side of the microlens 12c. Three pixels 23a, 23b, 23c are arranged.
3つの画素21a,21b,21cがマイクロレンズ12aに対応する画素21であり、3つの画素22a,22b,22cがマイクロレンズ12bに対応する画素22であり、3つの画素23a,23b,23cがマイクロレンズ12cに対応する画素23である。なお、図2の部分拡大図では、各マイクロレンズ12a,12b,12cに対応する画素として3つの画素を示しているが、実際はZ軸方向及びY軸方向に多数の画素が配列されている(後述する図3参照)。 The three pixels 21a, 21b, 21c are the pixels 21 corresponding to the microlens 12a, the three pixels 22a, 22b, 22c are the pixels 22 corresponding to the microlens 12b, and the three pixels 23a, 23b, 23c are micro. The pixel 23 corresponds to the lens 12c. In the partially enlarged view of FIG. 2, three pixels are shown as pixels corresponding to the respective microlenses 12a, 12b, and 12c, but in reality, a large number of pixels are arranged in the Z-axis direction and the Y-axis direction (). See FIG. 3 below).
次に、図2を参照してライトフィールドカメラ1によるライトフィールドの取得について簡単に説明する。図2において、Aの位置にある被写体が撮影光学系11によってマイクロレンズアレイ12の位置に焦点を結ぶものとする。被写体上の点A1からの光線は、撮影光学系11の瞳上の部分領域11aを通過し、マイクロレンズ12aを通過して撮像素子20の画素21cで受光される。また、被写体上の点A1からの他の光線は、撮影光学系11の瞳上の部分領域11bを通過し、マイクロレンズ12aを通過して撮像素子20の画素21bで受光される。また、被写体上の点A1からの他の光線は、撮影光学系11の瞳上の部分領域11cを通過し、マイクロレンズ12aを通過して撮像素子20の画素21aで受光される。 Next, acquisition of the light field by the light field camera 1 will be briefly described with reference to FIG. In FIG. 2, it is assumed that the subject at the position A focuses on the position of the microlens array 12 by the photographing optical system 11. The light beam from the point A1 on the subject passes through the partial region 11a on the pupil of the photographing optical system 11, passes through the microlens 12a, and is received by the pixel 21c of the image sensor 20. Further, other light rays from the point A1 on the subject pass through the partial region 11b on the pupil of the photographing optical system 11, pass through the microlens 12a, and are received by the pixels 21b of the image sensor 20. Further, other light rays from the point A1 on the subject pass through the partial region 11c on the pupil of the photographing optical system 11, pass through the microlens 12a, and are received by the pixel 21a of the image sensor 20.
同様に、被写体上の点A2からの光線は、撮影光学系11の瞳上の部分領域11aを通過し、マイクロレンズ12bを通過して撮像素子20の画素22cで受光される。また、被写体上の点A2からの他の光線は、撮影光学系11の瞳上の部分領域11bを通過し、マイクロレンズ12bを通過して撮像素子20の画素22bで受光される。また、被写体上の点A2からの他の光線は、撮影光学系11の瞳上の部分領域11cを通過し、マイクロレンズ12bを通過して撮像素子20の画素22aで受光される。 Similarly, the light beam from the point A2 on the subject passes through the partial region 11a on the pupil of the photographing optical system 11, passes through the microlens 12b, and is received by the pixel 22c of the image sensor 20. Further, other light rays from the point A2 on the subject pass through the partial region 11b on the pupil of the photographing optical system 11, pass through the microlens 12b, and are received by the pixel 22b of the image sensor 20. Further, other light rays from the point A2 on the subject pass through the partial region 11c on the pupil of the photographing optical system 11, pass through the microlens 12b, and are received by the pixel 22a of the image sensor 20.
さらに、被写体上の点A3からの光線は、撮影光学系11の瞳上の部分領域11aを通過し、マイクロレンズ12cを通過して撮像素子20の画素23cで受光される。また、被写体上の点A3からの他の光線は、撮影光学系11の瞳上の部分領域11bを通過し、マイクロレンズ12cを通過して撮像素子20の画素23bで受光される。また、被写体上の点A3からの他の光線は、撮影光学系11の瞳上の部分領域11cを通過し、マイクロレンズ12cを通過して撮像素子20の画素23aで受光される。このように、Aの位置にある被写体からの光線は、マイクロレンズ12a,12b,12cの後側に位置する撮像素子20の画素で受光されることによって明るさと進行方向とが光線情報として取得される。 Further, the light beam from the point A3 on the subject passes through the partial region 11a on the pupil of the photographing optical system 11, passes through the microlens 12c, and is received by the pixel 23c of the image pickup device 20. Further, other light rays from the point A3 on the subject pass through the partial region 11b on the pupil of the photographing optical system 11, pass through the microlens 12c, and are received by the pixels 23b of the image sensor 20. Further, other light rays from the point A3 on the subject pass through the partial region 11c on the pupil of the photographing optical system 11, pass through the microlens 12c, and are received by the pixel 23a of the image sensor 20. In this way, the light beam from the subject at position A is received by the pixels of the image sensor 20 located behind the microlenses 12a, 12b, and 12c, so that the brightness and the traveling direction are acquired as light ray information. To.
マイクロレンズ12a,12b,12cそれぞれに対応する3つの画素のうち、下側の画素21c,22c,23cの画素信号で生成される画像は、部分領域11aを通過した光線による像である。また、真中の画素21b,22b,23bの画素信号で生成される画像は、部分領域11bを通過した光線による像である。また、上側の画素21a,22a,23aの画素信号で生成される画像は、部分領域11cを通過した光線による像である。例えば各マイクロレンズに対応する画素数がN個である場合、マイクロレンズに対して同じ位置にある画素の画素値を配列して構成されるN個の再構成画像は、撮影光学系11をN個の部分領域に分割して取得されるN個のステレオ画像群を形成する。 Of the three pixels corresponding to the microlenses 12a, 12b, and 12c, the image generated by the pixel signals of the lower pixels 21c, 22c, and 23c is an image of light rays passing through the partial region 11a. Further, the image generated by the pixel signals of the pixels 21b, 22b, and 23b in the middle is an image of light rays passing through the partial region 11b. Further, the image generated by the pixel signals of the upper pixels 21a, 22a, 23a is an image of light rays passing through the partial region 11c. For example, when the number of pixels corresponding to each microlens is N, the N reconstructed images formed by arranging the pixel values of the pixels at the same position with respect to the microlens have N of the photographing optical system 11. N stereo image groups acquired by dividing into individual subregions are formed.
図3は、撮像素子20の画素配列と入射領域とを説明する図である。なお、図3では図2のX軸方向から撮像素子20を観察した様子を示す。図3に示す撮像素子20において、画素が配列された領域を画素領域200という。画素領域200には例えば1000万個以上もの画素がマトリックス状に配列されている。画素領域200における円形の領域は、1つのマイクロレンズを通過した光線が入射する領域である。従って、円形の領域は、複数のマイクロレンズごとに複数形成される。これらの領域を入射領域201,202・・・という。なお、マイクロレンズは例えば586×440個配置される。ただし、このような配置数は一例であって、これよりも多い数でも少ない数でもよい。図3に示す例では、1つのマイクロレンズの直径は13画素分となっている。ただし、このような画素数分に限定されるわけではない。 FIG. 3 is a diagram for explaining the pixel arrangement of the image sensor 20 and the incident region. Note that FIG. 3 shows a state in which the image sensor 20 is observed from the X-axis direction of FIG. In the image sensor 20 shown in FIG. 3, a region in which pixels are arranged is referred to as a pixel region 200. For example, 10 million or more pixels are arranged in a matrix in the pixel area 200. The circular region in the pixel region 200 is a region where light rays that have passed through one microlens are incident. Therefore, a plurality of circular regions are formed for each of the plurality of microlenses. These regions are referred to as incident regions 201, 202 ... For example, 586 × 440 microlenses are arranged. However, the number of such arrangements is an example, and may be larger or smaller than this. In the example shown in FIG. 3, the diameter of one microlens is 13 pixels. However, it is not limited to such a number of pixels.
上述したように、ライトフィールドカメラ1は、すべてのマイクロレンズから入射領域における同じ位置(入射領域内におけるY軸方向及びZ軸方向の同じ位置)にある画素の画素値を抽出して再構成する。このようにして得られた再構成画像群は、撮影光学系11の異なる部分領域から被写体を観察した画像群に相当する。従って、これらの再構成画像群においては、部分領域の位置と被写体までの距離に応じた視差を有する。例えば、図3に示すように、入射領域201における画素201aと同じ位置にある各マイクロレンズの画素の画素値から構成される再構成画像と、入射領域201における画素201bと同じ位置にある各マイクロレンズの画素の画素値から構成される再構成画像とで視差を有する。 As described above, the light field camera 1 extracts and reconstructs the pixel values of the pixels at the same position in the incident region (the same position in the Y-axis direction and the Z-axis direction in the incident region) from all the microlenses. .. The reconstructed image group thus obtained corresponds to an image group in which a subject is observed from different partial regions of the photographing optical system 11. Therefore, these reconstructed image groups have parallax according to the position of the partial region and the distance to the subject. For example, as shown in FIG. 3, a reconstructed image composed of pixel values of the pixels of each microlens at the same position as the pixel 201a in the incident region 201 and each micro at the same position as the pixel 201b in the incident region 201. It has a discrepancy with a reconstructed image composed of pixel values of the pixels of the lens.
図4は、ライトフィールドカメラ1の構成を示すブロック図である。図4に示すライトフィールドカメラ1は、撮像部10、画像処理部30、ワークメモリ40、表示部50、操作部55、記録部60、及びシステム制御部70を備える。撮像部10は、撮影光学系11、マイクロレンズアレイ12、駆動制御部13、撮像素子20、及び駆動部24を有している。撮影光学系11及びマイクロレンズアレイ12は、図2において説明したため、図4においては説明を省略する。 FIG. 4 is a block diagram showing the configuration of the light field camera 1. The light field camera 1 shown in FIG. 4 includes an image pickup unit 10, an image processing unit 30, a work memory 40, a display unit 50, an operation unit 55, a recording unit 60, and a system control unit 70. The image pickup unit 10 includes a photographing optical system 11, a microlens array 12, a drive control unit 13, an image pickup element 20, and a drive unit 24. Since the photographing optical system 11 and the microlens array 12 have been described with reference to FIG. 2, the description thereof will be omitted in FIG.
撮像素子20の撮像面には、例えばベイヤー配列のカラーフィルタアレイが配置されている。撮像素子20は、撮影光学系11及びマイクロレンズアレイ12を通過した光束を入射する。撮像素子20は、入射した光束を光電変換してアナログ信号の各画素の画素信号を生成する。撮像部10において、不図示のアンプがアナログ信号の各画素の画素信号を所定の利得率(増幅率)で増幅する。また、不図示のA/D変換部がアンプにより増幅されたアナログ信号の各画素の画素信号をデジタル信号の各画素の画素信号に変換する。そして、撮像部10は、デジタル信号の各画素の画素信号からなるRAWデータを画像処理部30に出力する。上記したライトフィールドカメラ1が取得する光線情報は、撮像部10から出力されるRAWデータで特定される。 For example, a Bayer-arranged color filter array is arranged on the image pickup surface of the image pickup device 20. The image sensor 20 incidents a light flux that has passed through the photographing optical system 11 and the microlens array 12. The image sensor 20 photoelectrically converts the incident luminous flux to generate a pixel signal of each pixel of the analog signal. In the imaging unit 10, an amplifier (not shown) amplifies the pixel signal of each pixel of the analog signal at a predetermined gain rate (amplification rate). Further, an A / D conversion unit (not shown) converts the pixel signal of each pixel of the analog signal amplified by the amplifier into the pixel signal of each pixel of the digital signal. Then, the image pickup unit 10 outputs RAW data composed of pixel signals of each pixel of the digital signal to the image processing unit 30. The ray information acquired by the light field camera 1 described above is specified by RAW data output from the imaging unit 10.
駆動制御部13は、撮影光学系11が備える開口絞りの開口径調節を行うために、システム制御部70から送信される制御情報に基づいて開口絞りの駆動制御を実行する。駆動部24は、システム制御部70からの指示信号に基づいて設定される撮像条件で撮像素子20の駆動を制御する制御回路である。撮像条件としては、例えば、露光時間(シャッター速度)、フレームレート、ゲインなどがあげられる。 The drive control unit 13 executes drive control of the aperture diaphragm based on the control information transmitted from the system control unit 70 in order to adjust the aperture diameter of the aperture diaphragm included in the photographing optical system 11. The drive unit 24 is a control circuit that controls the drive of the image pickup device 20 under imaging conditions set based on an instruction signal from the system control unit 70. Examples of the imaging conditions include exposure time (shutter speed), frame rate, gain, and the like.
ここで、露光時間とは、撮像素子20の光電変換素子が入射光に応じた電荷の蓄積を開始してから終了するまでの時間のことをいう。また、フレームレートとは、動画において単位時間あたりに処理(表示又は記録)されるフレーム数を表す値のことをいう。フレームレートの単位はfps(Frames Per Second)で表される。また、ゲインとは、画素信号を増幅するアンプの利得率(増幅率)のことをいう。このゲインを変更することにより、ISO感度を変更することができる。このISO感度は、ISOで策定された写真フィルムの規格であり、写真フィルムがどの程度弱い光まで記録することができるかを表す。ただし、一般に、撮像素子20の感度を表現する場合もISO感度が用いられる。この場合、ISO感度は撮像素子20が光をとらえる能力を表す値となる。 Here, the exposure time refers to the time from when the photoelectric conversion element of the image pickup device 20 starts to accumulate electric charges according to the incident light to when it ends. The frame rate is a value representing the number of frames processed (displayed or recorded) per unit time in a moving image. The unit of frame rate is fps (Frames Per Second). Further, the gain refers to the gain rate (amplification rate) of the amplifier that amplifies the pixel signal. By changing this gain, the ISO sensitivity can be changed. This ISO sensitivity is a standard for photographic film established by ISO, and indicates how weak a photographic film can record. However, in general, ISO sensitivity is also used when expressing the sensitivity of the image sensor 20. In this case, the ISO sensitivity is a value representing the ability of the image sensor 20 to capture light.
画像処理部30は、各画素の画素信号からなるRAWデータに対して種々の画像処理を施し、所定のファイル形式(例えば、JPEG形式等)の画像データを生成する。画像処理部30が生成する画像データには、静止画、動画、ライブビュー画像の画像データが含まれる。ライブビュー画像は、画像処理部30で生成された画像データを表示部50に順次出力して表示部50に表示される画像である。ライブビュー画像は、撮像部10により撮像されている被写体の画像を使用者が確認するために用いられる。ライブビュー画像は、スルー画やプレビュー画像とも呼ばれる。 The image processing unit 30 performs various image processing on the RAW data composed of the pixel signals of each pixel to generate image data in a predetermined file format (for example, JPEG format). The image data generated by the image processing unit 30 includes image data of still images, moving images, and live view images. The live view image is an image in which the image data generated by the image processing unit 30 is sequentially output to the display unit 50 and displayed on the display unit 50. The live view image is used for the user to confirm the image of the subject captured by the imaging unit 10. The live view image is also called a through image or a preview image.
画像処理部30は、ワークメモリ40をワークスペースとして、各画素の画素信号からなるRAWデータに対して所定の画像処理を施すことにより任意の焦点距離に設定された画像データを生成する。具体的には、画像処理部30は、次に示す画像処理を施すことにより任意の焦点距離に設定された画像データを生成する。 The image processing unit 30 uses the work memory 40 as a workspace to generate image data set to an arbitrary focal length by performing predetermined image processing on RAW data composed of pixel signals of each pixel. Specifically, the image processing unit 30 generates image data set to an arbitrary focal length by performing the following image processing.
図5は、画像の再構成を説明する図である。図5に示すように、画像処理部30は、画素領域200における各入射領域201,202・・・に対して同じ位置にある画素201a,202a・・・の画素値(画素信号が示す値)を抽出する。画像処理部30は、抽出した画素値を並べ直して再構成画像データ400aを生成する。各入射領域201,202・・・に対応する画素数がN個である場合、N個の再構成画像データが生成される。 FIG. 5 is a diagram illustrating the reconstruction of the image. As shown in FIG. 5, the image processing unit 30 has pixel values (values indicated by pixel signals) of pixels 201a, 202a ... At the same positions with respect to the incident regions 201, 202 ... In the pixel region 200. Is extracted. The image processing unit 30 rearranges the extracted pixel values to generate the reconstructed image data 400a. When the number of pixels corresponding to each incident region 201, 202 ... Is N, N reconstructed image data are generated.
画像処理部30は、N個の再構成画像データ群を所定の焦点距離に合わせて所定量だけ平行移動させる。そして、画像処理部30は、平行移動後のN個の再構成画像データ群を加算平均する。これにより、所定の焦点距離に設定された画像データが生成される。移動量に応じた奥行きに存在する被写体は像の位置が合うのでシャープな輪郭の像が形成される。移動量に応じた奥行きに存在しない被写体の像はぼける。なお、上記した画像処理は一例であって、画像処理部30は上記した画像処理とは異なる画像処理を実行することにより、任意の焦点距離に設定された画像データを生成してもよい。例えば、画像処理部30は、撮像素子20の各画素が取得する光線を所定の演算を行うことによって算出する。そして、画像処理部30は、算出した光線を所定の焦点距離に設定した仮想的な画像面に投影することにより、所定の焦点距離に設定された画像データを生成する。 The image processing unit 30 translates the N reconstructed image data groups by a predetermined amount according to a predetermined focal length. Then, the image processing unit 30 adds and averages the N reconstructed image data groups after the translation. As a result, image data set to a predetermined focal length is generated. A subject existing at a depth corresponding to the amount of movement is aligned with the image, so that an image with a sharp outline is formed. The image of the subject that does not exist at the depth according to the amount of movement is blurred. The above-mentioned image processing is an example, and the image processing unit 30 may generate image data set to an arbitrary focal length by executing an image processing different from the above-mentioned image processing. For example, the image processing unit 30 calculates the light rays acquired by each pixel of the image sensor 20 by performing a predetermined calculation. Then, the image processing unit 30 generates image data set to a predetermined focal length by projecting the calculated light beam onto a virtual image plane set to a predetermined focal length.
本実施形態においては、画像処理部30は、最も手前の被写体に合焦した画像データ、最も奥の被写体に合焦した画像データ、中間位置の被写体に合焦した画像データなど、焦点位置(焦点距離)が異なる複数の画像データを生成する。 In the present embodiment, the image processing unit 30 has a focal position (focus) such as image data focused on the frontmost subject, image data focused on the innermost subject, and image data focused on the subject at the intermediate position. Generate multiple image data with different distances).
画像処理部30は、ワークメモリ40をワークスペースとして、任意の焦点に設定された画像データに対して種々の画像処理を施す。例えば、画像処理部30は、ベイヤー配列で得られた信号に対して色信号処理(色調補正)を行うことによりRGB画像データを生成する。また、画像処理部30は、RGB画像データに対して、ホワイトバランス調整、シャープネス調整、ガンマ補正、階調調整などの画像処理を行う。また、画像処理部30は、必要に応じて、所定の圧縮形式(JPEG形式、MPEG形式等)で圧縮する処理を行う。画像処理部30は、生成した画像データを記録部60に出力する。また、画像処理部30は、生成した画像データを表示部50に出力する。 The image processing unit 30 uses the work memory 40 as a workspace to perform various image processing on the image data set at an arbitrary focal point. For example, the image processing unit 30 generates RGB image data by performing color signal processing (color tone correction) on the signals obtained in the Bayer array. Further, the image processing unit 30 performs image processing such as white balance adjustment, sharpness adjustment, gamma correction, and gradation adjustment on the RGB image data. Further, the image processing unit 30 performs a process of compressing in a predetermined compression format (JPEG format, MPEG format, etc.) as necessary. The image processing unit 30 outputs the generated image data to the recording unit 60. Further, the image processing unit 30 outputs the generated image data to the display unit 50.
ワークメモリ40は、画像処理部30による画像処理が行われる際にRAWデータや画像データなどを一時的に記憶する。表示部50は、撮像部10で撮像された画像や各種情報を表示する。この表示部50は、例えば液晶表示パネルなどで構成された表示画面51を有している。なお、表示部50に表示される画像には、静止画、動画、ライブビュー画像が含まれる。 The work memory 40 temporarily stores RAW data, image data, and the like when image processing is performed by the image processing unit 30. The display unit 50 displays images and various information captured by the image pickup unit 10. The display unit 50 has a display screen 51 composed of, for example, a liquid crystal display panel. The image displayed on the display unit 50 includes a still image, a moving image, and a live view image.
操作部55は、使用者によって操作されるレリーズスイッチ(静止画の撮影時に押されるスイッチ)、動画スイッチ(動画の撮影時に押されるスイッチ)、各種の操作スイッチなどである。この操作部55は、使用者による操作に応じた信号をシステム制御部70に出力する。記録部60は、メモリカードなどの記憶媒体を装着可能なカードスロットを有する。記録部60は、カードスロットに装着された記録媒体に画像処理部30において生成された画像データや各種データを記憶する。また、記録部60は、内部メモリを有する。記録部60は、画像処理部30において生成された画像データや各種データを内部メモリに記録することも可能である。 The operation unit 55 includes a release switch (a switch pressed when shooting a still image), a moving image switch (a switch pressed when shooting a moving image), and various operation switches operated by the user. The operation unit 55 outputs a signal corresponding to the operation by the user to the system control unit 70. The recording unit 60 has a card slot into which a storage medium such as a memory card can be mounted. The recording unit 60 stores the image data and various data generated by the image processing unit 30 in the recording medium installed in the card slot. Further, the recording unit 60 has an internal memory. The recording unit 60 can also record the image data and various data generated by the image processing unit 30 in the internal memory.
システム制御部70は、ライトフィールドカメラ1の全体の処理及び動作を制御する。このシステム制御部70はCPU(Central Processing Unit)を有する。システム制御部70は、画像処理部30で生成された画像データを表示部50に出力させて、表示部50の表示画面51に画像(ライブビュー画像、静止画、動画)を表示させる制御を行う。また、システム制御部70は、記録部60に記録されている画像データを読み出して表示部50に出力させ、表示部50の表示画面51に画像を表示させる制御を行う。 The system control unit 70 controls the overall processing and operation of the light field camera 1. The system control unit 70 has a CPU (Central Processing Unit). The system control unit 70 controls the display unit 50 to output the image data generated by the image processing unit 30 to display an image (live view image, still image, moving image) on the display screen 51 of the display unit 50. .. Further, the system control unit 70 controls to read the image data recorded in the recording unit 60, output the image data to the display unit 50, and display the image on the display screen 51 of the display unit 50.
また、システム制御部70は、撮像素子20の撮像面(画素領域200)において所定の撮像条件(露光時間、フレームレート、ゲインなど)で撮像を行わせるために、所定の撮像条件を指示する指示信号を駆動部24に対して出力する。また、システム制御部70は、画像処理部30に所定の制御パラメータ(色信号処理、ホワイトバランス調整、階調調整、圧縮率などの制御パラメータ)で画像処理を実行させるために、制御パラメータを指示する指示信号を画像処理部30に出力する。また、システム制御部70は、RAWデータを記録部60に出力させて、記録部60にRAWデータを記録させる制御を行う。また、システム制御部70は、画像処理部30で生成された画像データを記録部60に出力させて、記録部60に画像データを記録させる制御を行う。なお、システム制御部70は、上記の制御の他に、撮影光学系11に備えられた開口絞りの開口径調節などの制御も行う。 In addition, the system control unit 70 gives an instruction to instruct predetermined imaging conditions in order to perform imaging under predetermined imaging conditions (exposure time, frame rate, gain, etc.) on the imaging surface (pixel region 200) of the image sensor 20. The signal is output to the drive unit 24. In addition, the system control unit 70 instructs the image processing unit 30 to perform image processing with predetermined control parameters (control parameters such as color signal processing, white balance adjustment, gradation adjustment, compression rate, etc.). The instruction signal to be output is output to the image processing unit 30. Further, the system control unit 70 controls the recording unit 60 to output the RAW data and causes the recording unit 60 to record the RAW data. Further, the system control unit 70 controls the recording unit 60 to output the image data generated by the image processing unit 30 and causes the recording unit 60 to record the image data. In addition to the above control, the system control unit 70 also performs control such as adjusting the aperture diameter of the aperture diaphragm provided in the photographing optical system 11.
次に、画像検索・生成装置101における演算処理部110の演算部114が実行する画像処理について説明する。図6は、図1に示す演算部114が実行する画像処理を説明するためのフローチャートである。なお、ライトフィールドカメラ1が画像検索・生成装置101に接続されることにより、ライトフィールドカメラ1の記録部60に記録されたRAWデータがライトフィールドカメラ1に出力され、画像入力部112を介して記憶部120の画像データ記憶領域に記憶される。 Next, the image processing executed by the arithmetic unit 114 of the arithmetic processing unit 110 in the image search / generation device 101 will be described. FIG. 6 is a flowchart for explaining the image processing executed by the calculation unit 114 shown in FIG. When the light field camera 1 is connected to the image search / generation device 101, the RAW data recorded in the recording unit 60 of the light field camera 1 is output to the light field camera 1 and is output to the light field camera 1 via the image input unit 112. It is stored in the image data storage area of the storage unit 120.
図6に示す処理において、演算部114の画像生成部114aは、記憶部120の画像データ記憶領域に記憶されたRAWデータを取得する(ステップS1)。そして、画像生成部114aは、取得したRAWデータに基づいて所定の合焦位置(焦点距離、焦点位置)の画像データを生成する(ステップS2)。ここで、画像生成部114aは、画像処理部30がRAWデータに基づいて画像データを生成する方法(図5参照)と同様の方法を用いて、所定の合焦位置の画像データを生成する。 In the process shown in FIG. 6, the image generation unit 114a of the calculation unit 114 acquires the RAW data stored in the image data storage area of the storage unit 120 (step S1). Then, the image generation unit 114a generates image data at a predetermined focusing position (focal length, focal position) based on the acquired RAW data (step S2). Here, the image generation unit 114a generates image data at a predetermined in-focus position by using the same method as the method in which the image processing unit 30 generates image data based on RAW data (see FIG. 5).
具体的には、上述したように、画像生成部114aは、図5で説明したように、画素領域200における各入射領域に対して同じ位置にある画素の画素値を抽出し、抽出した画素値を再構成して複数個の再構成画像データ群を生成する。そして、画像生成部114aは、複数個の再構成画像データ群を所定の合焦位置に合わせて平行移動させ、平行移動後の複数個の再構成画像データ群を加算平均する。これにより、所定の合焦位置に設定された画像データが生成される。ステップS2において、画像生成部114aは、すべての被写体に対して合焦したパンフォーカスの画像データを生成する。また、ステップS2で生成される画像データは、静止画、動画、ライブビュー画像の画像データが含まれる。 Specifically, as described above, the image generation unit 114a extracts the pixel values of the pixels at the same position with respect to each incident region in the pixel region 200 as described with reference to FIG. 5, and the extracted pixel values. Is reconstructed to generate a plurality of reconstructed image data groups. Then, the image generation unit 114a translates the plurality of reconstructed image data groups in accordance with a predetermined focusing position, and adds and averages the plurality of reconstructed image data groups after the parallel movement. As a result, image data set at a predetermined focusing position is generated. In step S2, the image generation unit 114a generates pan-focus image data that is in focus for all the subjects. Further, the image data generated in step S2 includes image data of a still image, a moving image, and a live view image.
図7は、ライトフィールドカメラ1と各被写体O1〜O4との距離関係を示す図である。図7に示す例では、ライトフィールドカメラ1はカメラ位置d0に位置している。また、被写体である人物O1は合焦位置d1に位置している。また、被写体である人物O2は合焦位置d2に位置し、被写体である木O3は合焦位置d3に位置し、被写体である家O4は合焦位置d4に位置している。なお、図7において、ライトフィールドカメラ1から被写体O1〜O4に向かう方向(矢印の方向)を奥側の方向といい、その反対側の方向を手前側の方向をいう。また、奥側の方向及び手前側の方向を奥行き方向という。画像生成部114aは、ステップS2において、例えば各合焦位置d1〜d4における4つの画像データを生成する。 FIG. 7 is a diagram showing the distance relationship between the light field camera 1 and the subjects O1 to O4. In the example shown in FIG. 7, the light field camera 1 is located at the camera position d0. Further, the person O1 who is the subject is located at the focusing position d1. Further, the subject person O2 is located at the focusing position d2, the subject tree O3 is located at the focusing position d3, and the subject house O4 is located at the focusing position d4. In FIG. 7, the direction from the light field camera 1 toward the subjects O1 to O4 (direction of the arrow) is referred to as the back side direction, and the opposite side direction is referred to as the front side direction. Further, the direction on the back side and the direction on the front side are called the depth direction. In step S2, the image generation unit 114a generates, for example, four image data at each focusing position d1 to d4.
次に、画像生成部114aは、ステップS2で生成した所定の合焦位置の画像データに対して、色信号処理(色調補正)、ホワイトバランス調整、シャープネス調整、ガンマ補正、階調調整などの各種画像処理を実行する(ステップS3)。なお、画像生成部114aにより実行される各種画像処理は、上述した画像処理部30により実行される各種画像処理と同様である。 Next, the image generation unit 114a has various types such as color signal processing (color tone correction), white balance adjustment, sharpness adjustment, gamma correction, and gradation adjustment for the image data at the predetermined in-focus position generated in step S2. Image processing is executed (step S3). The various image processes executed by the image generation unit 114a are the same as the various image processes executed by the image processing unit 30 described above.
また、検出部114bは、生成した画像データ(例えばパンフォーカスの画像データ)から1つ又は複数の被写体を検出する(ステップS4)。本実施形態では、検出部114bは、人物の被写体に対しては、公知の顔検出機能を用いて被写体の検出を行う。また、検出部114bは、人物以外の被写体に対しては、画像データにおける明部と暗部のコントラストや色変化に基づいて被写体の領域の境界を特定して被写体を検出する。なお、検出部114bは、移動する被写体(移動被写体)に対しては、時系列的に得られる複数の画像データを比較して移動被写体を検出してもよい。また、検出部114bは、顔検出に加えて、例えば特開2010−16621号公報(US2010/0002940号)に記載されているように、画像データに含まれる人体を被写体として検出してもよい。 Further, the detection unit 114b detects one or more subjects from the generated image data (for example, pan-focus image data) (step S4). In the present embodiment, the detection unit 114b detects the subject of a person by using a known face detection function. Further, for a subject other than a person, the detection unit 114b identifies the boundary of the subject area based on the contrast and color change between the bright part and the dark part in the image data, and detects the subject. The detection unit 114b may detect the moving subject by comparing a plurality of image data obtained in time series with respect to the moving subject (moving subject). Further, in addition to face detection, the detection unit 114b may detect a human body included in the image data as a subject, for example, as described in Japanese Patent Application Laid-Open No. 2010-16621 (US2010 / 0002940).
また、検出部114bは、検出した登録対象の被写体の特徴点を抽出する。そして、検出部114bは、抽出した登録対象の被写体の特徴点と、記憶部120に記憶されている1つ又は複数の画像データに含まれる複数の被写体の特徴点とを順次照合して、検出した登録対象の被写体と同じ被写体を含む画像データが記憶部120内に存在するか否かを判定する(ステップS5)。そして、検出部114bは、その判定結果に基づいて、画像データにEXIF情報を被写体ごとに付加する。 In addition, the detection unit 114b extracts the feature points of the detected subject to be registered. Then, the detection unit 114b sequentially collates the extracted feature points of the subject to be registered with the feature points of a plurality of subjects included in one or a plurality of image data stored in the storage unit 120, and detects the feature points. It is determined whether or not the image data including the same subject as the subject to be registered is present in the storage unit 120 (step S5). Then, the detection unit 114b adds EXIF information to the image data for each subject based on the determination result.
図8は、画像データに付加されるEXIF情報の例を示す図である。なお、図8に示すEXIF情報は、ライトフィールドカメラ1が図7に示す距離関係の被写体O1〜O4を撮像したときのRAWデータに基づいて生成された画像データ(例えばJPEG形式の画像データ)のEXIF情報である。図8に示す例において、検出部114bは、登録対象の被写体O1,O2と同じ被写体を含む画像データが記憶部120内に存在する場合は、登録対象の被写体O1,O2を含む画像データのEXIF情報に、記憶部120内の画像データに付加されているEXIF情報の被写体種別データ(図8中「人物」)及び被写体識別データ(図8中「X、aa」「Y、bb」)と同じデータを被写体O1,O2ごとにそれぞれ付加する。 FIG. 8 is a diagram showing an example of EXIF information added to the image data. The EXIF information shown in FIG. 8 is image data (for example, JPEG format image data) generated based on RAW data when the light field camera 1 captures the distance-related subjects O1 to O4 shown in FIG. 7. EXIF information. In the example shown in FIG. 8, when the image data including the same subject as the subjects O1 and O2 to be registered exists in the storage unit 120, the detection unit 114b EXIF of the image data including the subjects O1 and O2 to be registered. The information is the same as the subject type data (“person” in FIG. 8) and subject identification data (“X, aa” and “Y, bb” in FIG. 8) of the EXIF information added to the image data in the storage unit 120. Data is added to each of the subjects O1 and O2.
ここで、図8の「X」は人物O1の名称(例えば人物O1の名前、愛称)を示し、「aa」は人物O1の特徴点の情報を示す。また、「Y」は人物O2の名称(例えば人物O2の名前、愛称)を示し、「bb」は人物O1の特徴点の情報を示す。 Here, "X" in FIG. 8 indicates the name of the person O1 (for example, the name or nickname of the person O1), and "aa" indicates information on the feature points of the person O1. Further, "Y" indicates the name of the person O2 (for example, the name or nickname of the person O2), and "bb" indicates information on the feature points of the person O1.
また、図8に示す例において、検出部114bは、登録対象の被写体O3,O4と同じ被写体が記憶部120内に存在しない場合は、登録対象の被写体O3,O4を含む画像データのEXIF情報に新たな被写体種別データ(図8中「木」「家」)及び被写体識別データ(図8中「cc」「dd」)を被写体ごとにそれぞれ付加する。ここで、図8の「cc」は木O3の特徴点の情報を示す。また、「dd」は家O4の特徴点の情報を示す。なお、図8において、木O3及び家O4には名称が付加されていないが、検出部114bは自動的に又は使用者による操作に応じて木O3及び家O4に名称を付加してもよい。 Further, in the example shown in FIG. 8, when the same subject as the subject O3 and O4 to be registered does not exist in the storage unit 120, the detection unit 114b uses the EXIF information of the image data including the subject O3 and O4 to be registered as EXIF information. New subject type data (“tree” and “house” in FIG. 8) and subject identification data (“cc” and “dd” in FIG. 8) are added for each subject. Here, “cc” in FIG. 8 indicates information on the feature points of the tree O3. Further, "dd" indicates information on the feature points of the house O4. Although no name is added to the tree O3 and the house O4 in FIG. 8, the detection unit 114b may add a name to the tree O3 and the house O4 automatically or according to the operation by the user.
なお、検出部114bは、登録対象の被写体を含む画像データのEXIF情報に、画像データごとの撮影シーンの情報も付加する。検出部114bは、公知のシーン認識技術により撮影シーンを判定し、判定した撮影シーンを画像データにEXIF情報として登録する。図8に示す例では、撮影シーンの情報として「ポートレート」が登録されている。 The detection unit 114b also adds information on the shooting scene for each image data to the EXIF information of the image data including the subject to be registered. The detection unit 114b determines a shooting scene by a known scene recognition technique, and registers the determined shooting scene in the image data as EXIF information. In the example shown in FIG. 8, "portrait" is registered as information on the shooting scene.
次に、検出部114bは、登録対象の被写体までの距離(合焦位置、焦点距離)を検出する(ステップS6)。例えば、検出部114bは、複数の再構成画像データ(例えば入射領域における2つの特定位置の画素の画素値から構成される再構成画像データ)における各被写体の視差を検出し、検出した視差に基づいて各被写体までの距離を算出する。 Next, the detection unit 114b detects the distance (focus position, focal length) to the subject to be registered (step S6). For example, the detection unit 114b detects the parallax of each subject in a plurality of reconstructed image data (for example, reconstructed image data composed of pixel values of pixels at two specific positions in an incident region), and is based on the detected parallax. Calculate the distance to each subject.
図8に示す例では、検出部114bは、ライトフィールドカメラ1から人物O1までの距離をd1と検出し、ライトフィールドカメラ1から人物O2までの距離をd2と検出し、ライトフィールドカメラ1から木O3までの距離をd3と検出し、ライトフィールドカメラ1から家O4までの距離をd4と検出する。検出部114bは、被写体O1〜O4を含む画像データのEXIF情報に、各被写体O1〜O4までの距離を示す距離データを被写体O1〜O4ごとに付加する。その後、演算部114は、RAWデータとともに、EXIF情報が付加された画像データを記憶部120に記憶する(ステップS7)。なお、RAWデータと画像データとは、演算部114により関連付けられて記憶部120に記憶される。 In the example shown in FIG. 8, the detection unit 114b detects the distance from the light field camera 1 to the person O1 as d1, detects the distance from the light field camera 1 to the person O2 as d2, and detects the distance from the light field camera 1 to the tree. The distance to O3 is detected as d3, and the distance from the light field camera 1 to the house O4 is detected as d4. The detection unit 114b adds distance data indicating the distance to each subject O1 to O4 to the EXIF information of the image data including the subjects O1 to O4 for each subject O1 to O4. After that, the calculation unit 114 stores the image data to which the EXIF information is added together with the RAW data in the storage unit 120 (step S7). The RAW data and the image data are associated with each other by the calculation unit 114 and stored in the storage unit 120.
次に、第1実施形態に係る演算処理部110による画像検索・生成処理について説明する。図9は、記憶部120に記憶されている画像601〜603の表示例を示す図である。図9(1)に示す画像601には、人物O1と人物O2と木O3と家O4とが写っている。なお、画像601は、ライトフィールドカメラ1が図7に示す距離関係の被写体O1〜O4を撮像したときの画像である。従って、画像601のEXIF情報は図8に示す内容となっている。図9(2)に示す画像602には、人物O1と人物O2と山O5とが写っている。図9(2)に示すように、画像602において、人物O2が最も手前側に位置しており、人物O1は人物O2よりも奥側に位置しており、山O5が最も奥側に位置している。図9(3)に示す画像603には、木O3と山O5とが写っている。図9(3)に示すように、画像603において、木O3が手前側に位置しており、山O5が奥側に位置している。なお、図9(1)及び(2)に示す画像601,602は、撮影シーンが「ポートレート」であり、図9(3)に示す画像603は、撮影シーンが「風景」である。 Next, the image search / generation process by the arithmetic processing unit 110 according to the first embodiment will be described. FIG. 9 is a diagram showing a display example of images 601 to 603 stored in the storage unit 120. Image 601 shown in FIG. 9 (1) shows a person O1, a person O2, a tree O3, and a house O4. The image 601 is an image when the light field camera 1 captures the distance-related subjects O1 to O4 shown in FIG. 7. Therefore, the EXIF information of the image 601 has the contents shown in FIG. In the image 602 shown in FIG. 9 (2), the person O1, the person O2, and the mountain O5 are shown. As shown in FIG. 9 (2), in the image 602, the person O2 is located on the foremost side, the person O1 is located on the back side of the person O2, and the mountain O5 is located on the innermost side. ing. The tree O3 and the mountain O5 are shown in the image 603 shown in FIG. 9 (3). As shown in FIG. 9 (3), in the image 603, the tree O3 is located on the front side and the mountain O5 is located on the back side. In the images 601, 602 shown in FIGS. 9 (1) and 9 (2), the shooting scene is a "portrait", and in the image 603 shown in FIG. 9 (3), the shooting scene is a "landscape".
図10は、演算処理部110が実行する画像検索・生成処理を説明するためのフローチャートである。図10に示す処理において、使用者によるキーボード103やマウス104の操作に応じて、制御プログラム(例えば画像検索・生成を行うためのアプリケーションソフトウェア)が起動されると、表示制御部111は、画像検索画面を記憶部120から読み出して表示装置102の表示画面500に表示させる(ステップS11)。 FIG. 10 is a flowchart for explaining the image search / generation process executed by the arithmetic processing unit 110. In the process shown in FIG. 10, when a control program (for example, application software for performing image search / generation) is started in response to an operation of the keyboard 103 or the mouse 104 by the user, the display control unit 111 performs an image search. The screen is read from the storage unit 120 and displayed on the display screen 500 of the display device 102 (step S11).
図11〜図13は、第1実施形態の画像検索画面の表示例を示す図である。表示制御部111は、ステップS11において、図11(1)に示すような画像検索画面を表示装置102の表示画面500に表示する。 11 to 13 are diagrams showing a display example of the image search screen of the first embodiment. In step S11, the display control unit 111 displays the image search screen as shown in FIG. 11 (1) on the display screen 500 of the display device 102.
次に、表示制御部111は、画像データ(EXIF情報が付加された画像データ)を記憶部120から読み出して取得し、演算部114は、RAWデータ及び画像データ(EXIF情報が付加された画像データ)を記憶部120から読み出して取得する(ステップS12)。図9に示す例では、画像601〜603に対応する画像データが表示制御部111によって読み出され、画像601〜603に対応するRAWデータ及び画像データが演算部114によって読み出される。 Next, the display control unit 111 reads out the image data (image data to which the EXIF information is added) from the storage unit 120 and acquires the image data, and the calculation unit 114 receives the RAW data and the image data (image data to which the EXIF information is added). ) Is read from the storage unit 120 and acquired (step S12). In the example shown in FIG. 9, the image data corresponding to the images 601 to 603 is read by the display control unit 111, and the RAW data and the image data corresponding to the images 601 to 603 are read out by the calculation unit 114.
表示制御部111は、複数の画像データに含まれる複数の被写体を検出し、検出した複数の被写体の画像データ(例えば被写体種別データ、被写体識別データ、距離データが付加された被写体の画像データ)を切り出す。そして、表示制御部111は、切り出した複数の被写体の画像データに基づく画像を、表示装置102の表示画面500の第1表示領域501に一覧表示する(ステップS13)。図11(1)に示す例では、表示制御部111は、複数の画像601〜603に含まれる複数の被写体O1〜O5を検出し、検出した被写体O1〜O5の画像データを切り出す。そして、表示制御部111は、切り出した複数の被写体O1〜O5の画像データに基づく画像を第1表示領域501に一覧表示する。このとき、表示制御部111は、被写体ごとに付加される被写体識別データ(特徴点、名称)に基づいて、複数の画像データに別々に存在する同一の被写体を識別する。そして、表示制御部111は、同一の被写体については1つの画像だけを第1表示領域501に表示する。 The display control unit 111 detects a plurality of subjects included in the plurality of image data, and inputs the detected image data of the plurality of subjects (for example, subject type data, subject identification data, image data of the subject to which distance data is added). break the ice. Then, the display control unit 111 displays a list of images based on the image data of the plurality of subjects cut out in the first display area 501 of the display screen 500 of the display device 102 (step S13). In the example shown in FIG. 11 (1), the display control unit 111 detects a plurality of subjects O1 to O5 included in the plurality of images 601 to 603, and cuts out the image data of the detected subjects O1 to O5. Then, the display control unit 111 displays a list of images based on the image data of the plurality of subjects O1 to O5 cut out in the first display area 501. At this time, the display control unit 111 identifies the same subject that exists separately in the plurality of image data based on the subject identification data (feature points, names) added for each subject. Then, the display control unit 111 displays only one image for the same subject in the first display area 501.
使用者は、検索対象の被写体を指定する場合は、被写体の画像に対してマウス104のドラッグアンドドロップ操作を行うことにより、第1表示領域501に一覧表示されている被写体の画像の中から検索対象の被写体の画像を選択し、選択した被写体の画像を第2表示領域502に移動させる。なお、第2表示領域502は、検索対象の被写体を表示するための表示領域である。 When the user specifies the subject to be searched, the user performs a drag-and-drop operation of the mouse 104 on the image of the subject to search from the images of the subjects listed in the first display area 501. The image of the target subject is selected, and the image of the selected subject is moved to the second display area 502. The second display area 502 is a display area for displaying the subject to be searched.
このような使用者によるマウス104の操作に応じて、演算部114の指定部114cは、第2表示領域502に移動された被写体を検索対象の被写体として特定する。具体的には、指定部114cは、操作制御部113からの情報に基づいて、被写体が第2表示領域502に移動されたことを認識する。また、指定部114cは、第2表示領域502に移動された被写体の画像データに付加されている被写体識別データに基づいて被写体を識別する。そして、指定部114cは、識別した被写体の被写体識別データ(特徴点、名称)を検索対象の被写体として指定(設定)する。 In response to such an operation of the mouse 104 by the user, the designation unit 114c of the calculation unit 114 identifies the subject moved to the second display area 502 as the subject to be searched. Specifically, the designation unit 114c recognizes that the subject has been moved to the second display area 502 based on the information from the operation control unit 113. Further, the designation unit 114c identifies the subject based on the subject identification data added to the image data of the subject moved to the second display area 502. Then, the designation unit 114c designates (sets) the subject identification data (feature points, names) of the identified subject as the subject to be searched.
また、使用者によるマウス104の操作に応じて、表示制御部111は、第1表示領域501に表示されている被写体の画像を第2表示領域502に移動表示させる。図11(2)に示す例では、人物O1の画像と人物O2の画像とが第1表示領域501から第2表示領域502に移動されている。この場合、画像の検索条件として、人物O1及び人物O2の画像を含む画像が指定されたことになる。 Further, in response to the operation of the mouse 104 by the user, the display control unit 111 moves and displays the image of the subject displayed in the first display area 501 in the second display area 502. In the example shown in FIG. 11 (2), the image of the person O1 and the image of the person O2 are moved from the first display area 501 to the second display area 502. In this case, an image including the images of the person O1 and the person O2 is specified as the image search condition.
表示制御部111は、検索対象の被写体が指定されたか否か(つまり、被写体の画像が第2表示領域502に移動されたか否か)を判定する(ステップS14)。表示制御部111は、検索対象の被写体が指定されていないと判定した場合は、処理を終了する。一方、表示制御部111は、検索対象の被写体が指定されたと判定した場合は、操作制御部113からの情報に基づいて、画像検索画面の右上に配置されている詳細指定ボタン503が押されたか否か(マウス104でクリックされたか否か)を判定する(ステップS15)。 The display control unit 111 determines whether or not the subject to be searched is specified (that is, whether or not the image of the subject is moved to the second display area 502) (step S14). When the display control unit 111 determines that the subject to be searched is not specified, the display control unit 111 ends the process. On the other hand, when the display control unit 111 determines that the subject to be searched is specified, is the detailed specification button 503 arranged at the upper right of the image search screen pressed based on the information from the operation control unit 113? It is determined whether or not (whether or not the mouse 104 has been clicked) (step S15).
表示制御部111は、詳細指定ボタン503が押されたと判定した場合は、図12(3)に示すように、第1表示領域501を消去し、第2表示領域502を拡大し、さらに検索対象の被写体の画像を斜め上から俯瞰したときの俯瞰図300を第2表示領域502に表示する(ステップS16)。図12(3)に示す例では、俯瞰図300上に人物O1及び人物O2の画像が奥行き方向の中心位置付近に並んで表示されている。 When the display control unit 111 determines that the detailed specification button 503 has been pressed, as shown in FIG. 12 (3), the display control unit 111 erases the first display area 501, expands the second display area 502, and further searches. A bird's-eye view 300 when the image of the subject is viewed from diagonally above is displayed in the second display area 502 (step S16). In the example shown in FIG. 12 (3), the images of the person O1 and the person O2 are displayed side by side near the center position in the depth direction on the bird's-eye view 300.
使用者は、画像の検索条件として、複数の検索対象の被写体における奥行き方向の相対位置(ある被写体が他の被写体よりも奥行き方向の手前側か奥側か)を指定することができる。具体的には、使用者は、被写体の画像に対してマウス104のドラッグアンドドロップ操作を行うことにより、俯瞰図300上における複数の検索対象の被写体のいずれか一方又は双方の奥行き方向の位置を移動させる。このような使用者によるマウス104の操作に応じて、表示制御部111は、俯瞰図300上における検索対象の被写体の奥行き方向の表示位置を変更する(ステップS17)。 As an image search condition, the user can specify a relative position in the depth direction of a plurality of subjects to be searched (whether a certain subject is on the front side or the back side in the depth direction with respect to another subject). Specifically, the user performs a drag-and-drop operation of the mouse 104 on the image of the subject to determine the position in the depth direction of one or both of the plurality of search target subjects on the bird's-eye view 300. Move it. In response to such an operation of the mouse 104 by the user, the display control unit 111 changes the display position in the depth direction of the subject to be searched on the bird's-eye view 300 (step S17).
図12(4)に示す例では、使用者によるマウス104の操作によって、人物O1の画像が人物O2の画像よりも奥行き方向の手前側(近距離側)の位置に移動されている。これにより、画像の検索条件として、人物O1及び人物O2の画像を含み、かつ、人物O1の画像が人物O2の画像よりも手前側に位置していることが指定されたことになる。指定部114cは、複数の検索対象の被写体における奥行き方向の相対位置も検索条件として指定(設定)する。 In the example shown in FIG. 12 (4), the image of the person O1 is moved to a position closer to the front side (short distance side) in the depth direction than the image of the person O2 by the operation of the mouse 104 by the user. As a result, it is specified that the image search condition includes the images of the person O1 and the person O2, and the image of the person O1 is located in front of the image of the person O2. The designation unit 114c also specifies (sets) as a search condition relative positions in the depth direction of a plurality of search target subjects.
使用者は、画像の検索条件を指定した後に、画像の検索条件に適合した画像の検索を実行する場合は、画像検索画面の右下に配置されている検索ボタン504を押す(マウス104でクリックする)。検索部114dは、操作制御部113からの情報に基づいて、検索ボタン504が押されたか否か(マウス104でクリックされたか否か)を判定する(ステップS18)。なお、使用者は、複数の検索対象の被写体における奥行き方向の位置を元の位置に戻したい場合は、図12(4)に示す画像検索画面の右下に配置されている「元に戻す」ボタン505(検索ボタン504の横に配置されているボタン)をマウス104でクリックする。 After specifying the image search conditions, the user presses the search button 504 located at the lower right of the image search screen (click with the mouse 104) to execute an image search that matches the image search conditions. To do). The search unit 114d determines whether or not the search button 504 is pressed (whether or not it is clicked by the mouse 104) based on the information from the operation control unit 113 (step S18). If the user wants to return the position in the depth direction of a plurality of search target subjects to the original position, "Restore" is arranged at the lower right of the image search screen shown in FIG. 12 (4). The button 505 (the button arranged next to the search button 504) is clicked with the mouse 104.
検索部114dは、検索ボタン504が押されたと判定した場合は、画像検索を実行する(ステップS19)。すなわち、検索部114dは、記憶部120に記憶されている画像データの中から、指定部114cにより指定された検索条件に適合する画像データを検索する。また、画像生成部114aは、検索条件に対応する合焦位置及び被写界深度の範囲の画像データを生成する(ステップS20)。なお、被写界深度とは、焦点が合っているように見える被写体の焦点距離の範囲のことをいう。具体的には、画像生成部114aは、検索条件が人物O1及び人物O2を含むことである場合は、例えば図13(5)に示すように、合焦位置は人物O1の合焦位置d1と人物O2の合焦位置d2との中間の位置dAとし、また被写界深度の範囲が人物O1の合焦位置d1と人物O2の合焦位置d2とを含む範囲(位置d11から位置d12までの範囲)である画像データを生成する。これにより、使用者が確認したい被写体を直ちに表示させることができる。 When the search unit 114d determines that the search button 504 has been pressed, the search unit 114d executes an image search (step S19). That is, the search unit 114d searches for image data that matches the search conditions specified by the designated unit 114c from the image data stored in the storage unit 120. In addition, the image generation unit 114a generates image data in the range of the in-focus position and the depth of field corresponding to the search condition (step S20). The depth of field refers to the range of the focal length of a subject that appears to be in focus. Specifically, when the search condition includes the person O1 and the person O2, the image generation unit 114a sets the focusing position to the focusing position d1 of the person O1 as shown in FIG. 13 (5), for example. The position dA is intermediate between the focusing position d2 of the person O2, and the range of the depth of view includes the focusing position d1 of the person O1 and the focusing position d2 of the person O2 (from the position d11 to the position d12). Generate image data that is a range). As a result, the subject that the user wants to confirm can be displayed immediately.
そして、表示制御部111は、図13(6)に示すように、検索部114dによる画像検索結果の画像(検索条件に適合する画像データに基づく画像)を、画像検索結果を表示するための第3表示領域506に表示する(ステップS21)。図13(6)に示す例では、画像検索の結果として、図9(1)に示した画像601が表示されている。この画像601は、人物O1及び人物O2の画像を含み、かつ、人物O1の画像が人物O2の画像よりも手前側に位置している画像である。 Then, as shown in FIG. 13 (6), the display control unit 111 displays the image of the image search result by the search unit 114d (an image based on the image data matching the search conditions) for displaying the image search result. 3 Display in the display area 506 (step S21). In the example shown in FIG. 13 (6), the image 601 shown in FIG. 9 (1) is displayed as a result of the image search. The image 601 includes images of the person O1 and the person O2, and the image of the person O1 is located in front of the image of the person O2.
その後、表示制御部111は、使用者によるマウス104の操作によって画像検索結果としての画像が選択されたか否かを判定する(ステップS22)。画像が選択されたと判定した場合は、表示制御部111は、選択された画像を表示画面500に表示する(ステップS23)。 After that, the display control unit 111 determines whether or not the image as the image search result is selected by the operation of the mouse 104 by the user (step S22). If it is determined that the image has been selected, the display control unit 111 displays the selected image on the display screen 500 (step S23).
なお、画像生成部114aは、ステップS20において検索条件に応じた合焦位置及び被写界深度の画像データを生成する処理を行わずに、表示制御部111は、所定の合焦位置の画像をサムネイル表示してもよい。そして、画像生成部114aは、ステップS22において使用者により画像が選択されたときに、検索条件に応じた合焦位置及び被写界深度の画像データを生成し、表示制御部111が、その画像データに基づく画像を表示してもよい。なお、サムネイル表示される所定の合焦位置の画像としては、例えば、ステップS12で取得された画像データ(パンフォーカスの画像データ)に基づく画像でもよく、また検索条件で指定された被写体(複数の被写体が指定された場合は複数の被写体のいずれか)に合焦した画像でもよい。 Note that the image generation unit 114a does not perform the process of generating image data of the in-focus position and the depth of field according to the search conditions in step S20, and the display control unit 111 produces an image at a predetermined in-focus position. You may display thumbnails. Then, when the image is selected by the user in step S22, the image generation unit 114a generates image data of the focusing position and the depth of field according to the search condition, and the display control unit 111 generates the image data. An image based on the data may be displayed. The image at the predetermined focusing position displayed as a thumbnail may be, for example, an image based on the image data (pan focus image data) acquired in step S12, or a subject (plurality of subjects) specified in the search condition. When a subject is specified, the image may be in focus on any of a plurality of subjects).
また、画像生成部114aは、検索条件に応じた合焦位置及び被写界深度の画像データとして、検索条件として指定されたすべての被写体の位置が被写界深度の範囲内に含まれる画像データを生成していた。しかし、画像生成部114aは、検索条件として指定された複数の被写体のうちのいずれか1つまたは複数の被写体の位置が被写界深度の範囲内に含まれる画像データを生成してもよい。また、画像生成部114aは、検索条件として指定された複数の被写体のうちの最も手前の被写体に合焦した画像データを生成してもよい。 Further, the image generation unit 114a is image data in which the positions of all the subjects specified as the search conditions are included in the range of the depth of field as the image data of the focusing position and the depth of field according to the search condition. Was being generated. However, the image generation unit 114a may generate image data in which the position of any one or a plurality of subjects among the plurality of subjects designated as the search condition is included in the range of the depth of field. In addition, the image generation unit 114a may generate image data in focus on the foremost subject among the plurality of subjects designated as search conditions.
また、画像生成部114aは、検索条件に応じた合焦位置及び被写界深度の画像データとして、パンフォーカスの画像を生成してもよい。また、検索部114dが検索条件に適合した画像データを検索することができなかった場合は、検索結果なしであることを報知する表示を行ってもよいし、また検索条件に類似する条件に適合した画像データを画像検索結果として表示してもよい。例えば、複数の被写体が検索条件として指定された場合は、そのうちの1つの被写体を含む画像データを画像検索結果として表示してもよい。 Further, the image generation unit 114a may generate a pan-focus image as image data of the focus position and the depth of field according to the search condition. If the search unit 114d cannot search for image data that matches the search conditions, it may display that there is no search result, or it matches the conditions similar to the search conditions. The image data may be displayed as an image search result. For example, when a plurality of subjects are specified as search conditions, image data including one of the subjects may be displayed as an image search result.
以上に説明したように、第1実施形態では、合焦位置を奥行き方向に変更可能な画像データに含まれる被写体を検出するとともに、検出した被写体の奥行き方向の位置を検出する検出部114bと、検索対象の被写体に関する付随情報(例えばEXIF情報)を指定する指定部114cと、指定部114cで指定された付随情報に対応する被写体を検索する検索部114dと、検索部114dで検索された被写体の奥行き方向の位置に応じて所定の合焦位置の画像データを生成する画像生成部114aとを備える。このような構成によれば、合焦位置を奥行き方向に変更可能な画像に適した画像検索を行うことができ、さらに、検索対象の被写体の奥行き方向の位置に応じた合焦位置の画像データを生成することができる。これにより、使用者は、検索結果の画像が表示されたときに検索対象の被写体を直ちに確認することができる。 As described above, in the first embodiment, the detection unit 114b that detects the subject included in the image data whose focusing position can be changed in the depth direction and detects the position of the detected subject in the depth direction, A designated unit 114c that specifies incidental information (for example, EXIF information) regarding the subject to be searched, a search unit 114d that searches for a subject corresponding to the incidental information specified by the designated unit 114c, and a subject searched by the search unit 114d. It includes an image generation unit 114a that generates image data at a predetermined focusing position according to a position in the depth direction. According to such a configuration, it is possible to perform an image search suitable for an image whose focusing position can be changed in the depth direction, and further, image data of the focusing position according to the position of the subject to be searched in the depth direction. Can be generated. As a result, the user can immediately confirm the subject to be searched when the image of the search result is displayed.
また、第1実施形態では、指定部114cは、付随情報として奥行き方向の位置を指定可能であり、検索部114dは、指定部114cで指定された位置に対応する被写体を検索する。このような構成によれば、使用者が検索対象の被写体に対して注目して撮影された画像を検索することができる。例えば、最も注目される主要被写体は最も手前に位置していることが多いので、検索対象の被写体が主要被写体となっている画像を検索することができる。 Further, in the first embodiment, the designation unit 114c can specify the position in the depth direction as incidental information, and the search unit 114d searches for the subject corresponding to the position designated by the designation unit 114c. According to such a configuration, the user can search for an image taken by paying attention to the subject to be searched. For example, since the main subject that attracts the most attention is often located in the foreground, it is possible to search for an image in which the subject to be searched is the main subject.
また、第1実施形態では、指定部114cは、複数の被写体における奥行き方向の相対位置を指定可能であり、検索部114dは、指定部114cで指定された相対位置に対応する複数の被写体を検索し、画像生成部114aは、検索部114dで検索された複数の被写体のうちの少なくとも一方の奥行き方向の位置に合焦した画像データを生成する。このような構成によれば、より一層、複数の被写体の位置関係に着目した画像検索を行うことができるとともに、その検索結果を反映した画像データを生成することができる。 Further, in the first embodiment, the designation unit 114c can specify relative positions in the depth direction of a plurality of subjects, and the search unit 114d searches for a plurality of subjects corresponding to the relative positions designated by the designation unit 114c. Then, the image generation unit 114a generates image data focused on the position in the depth direction of at least one of the plurality of subjects searched by the search unit 114d. According to such a configuration, it is possible to further perform an image search focusing on the positional relationship of a plurality of subjects, and it is possible to generate image data reflecting the search result.
また、第1実施形態では、指定部114cは、複数の被写体における奥行き方向の相対位置を指定可能であり、検索部114dは、指定部114cで指定された相対位置に対応する複数の被写体を検索し、画像生成部114aは、検索部114dで検索された複数の被写体の奥行き方向の位置を含む被写界深度の画像データを生成する。このような構成によれば、より一層、複数の被写体の位置関係に着目した画像検索を行うことができるとともに、その検索結果を反映した画像データを生成することができる。 Further, in the first embodiment, the designation unit 114c can specify relative positions in the depth direction of a plurality of subjects, and the search unit 114d searches for a plurality of subjects corresponding to the relative positions designated by the designation unit 114c. Then, the image generation unit 114a generates image data of the depth of field including the positions in the depth direction of the plurality of subjects searched by the search unit 114d. According to such a configuration, it is possible to further perform an image search focusing on the positional relationship of a plurality of subjects, and it is possible to generate image data reflecting the search result.
また、第1実施形態では、合焦位置を奥行き方向に変更可能な一又は複数の画像データに含まれる被写体を検出するとともに、検出した被写体の奥行き方向の位置を検出する検出部114bと、検索対象の被写体の奥行き方向の位置を指定する指定部114cと、指定部114cで指定された位置に対応する被写体を含む画像データを検索する検索部114dとを備える。このような構成によれば、合焦位置を奥行き方向に変更可能な画像に適した画像検索を行うことができる。また、使用者が検索対象の被写体に対して注目して撮影された画像を検索することができる。 Further, in the first embodiment, the detection unit 114b, which detects a subject included in one or more image data whose focusing position can be changed in the depth direction and detects the position of the detected subject in the depth direction, is searched. A designation unit 114c for designating a position of a target subject in the depth direction and a search unit 114d for searching image data including a subject corresponding to the position designated by the designation unit 114c are provided. According to such a configuration, it is possible to perform an image search suitable for an image whose focusing position can be changed in the depth direction. In addition, the user can search for an image taken by paying attention to the subject to be searched.
また、第1実施形態では、検出部114bで検出された複数の被写体を表示するとともに、指定部114cで指定される複数の被写体の相対位置に応じて該複数の被写体の表示位置を変更する表示制御部111を備える。このような構成によれば、使用者に対して複数の被写体の相対位置を明示することができ、使用者は複数の被写体の相対位置を確認しつつ検索条件を指定することができる。その結果、検索条件を指定する際の使用者の操作性が向上する。 Further, in the first embodiment, a plurality of subjects detected by the detection unit 114b are displayed, and the display positions of the plurality of subjects are changed according to the relative positions of the plurality of subjects designated by the designation unit 114c. A control unit 111 is provided. According to such a configuration, the relative positions of a plurality of subjects can be clearly indicated to the user, and the user can specify the search condition while confirming the relative positions of the plurality of subjects. As a result, the operability of the user when specifying the search condition is improved.
<第2実施形態>
上記した第1実施形態では、検索対象の被写体と検索対象の被写体の位置関係とが検索条件として指定されていた。これに対して、第2実施形態では、文字入力により検索条件が指定される。
<Second Embodiment>
In the first embodiment described above, the positional relationship between the subject to be searched and the subject to be searched is specified as a search condition. On the other hand, in the second embodiment, the search condition is specified by character input.
図14は、第2実施形態の画像検索画面の表示例を示す図である。図14に示すように、第2実施形態の画像検索画面においては、検索条件としての文字を入力する文字入力欄510が設けられている。図14に示す例では、文字入力欄510には「人物」という文字が入力されている。 FIG. 14 is a diagram showing a display example of the image search screen of the second embodiment. As shown in FIG. 14, the image search screen of the second embodiment is provided with a character input field 510 for inputting characters as a search condition. In the example shown in FIG. 14, the character "person" is input in the character input field 510.
検索部114dは、文字入力欄510に「人物」が入力された場合は、ステップS19において記憶部120に記憶されている画像データにおける被写体種別データが「人物」である画像データを検索する。そして、表示制御部111は、検索部114dによる画像検索結果を表示画面500に表示する(ステップS21)。図14に示す例では、人物O1と人物O2の少なくとも一方を含む画像601,602が表示されている。 When the "person" is input in the character input field 510, the search unit 114d searches the image data in which the subject type data in the image data stored in the storage unit 120 in step S19 is the "person". Then, the display control unit 111 displays the image search result by the search unit 114d on the display screen 500 (step S21). In the example shown in FIG. 14, images 601, 602 including at least one of the person O1 and the person O2 are displayed.
なお、文字入力欄510には、例えば、人物O1の名称である「X」が入力されたときは、検索部114dによって人物O1を含む画像データが検索される。 When, for example, "X", which is the name of the person O1, is input to the character input field 510, the search unit 114d searches for image data including the person O1.
このように、検索部114dは文字入力によってもEXIF情報(付随情報)に基づいて画像検索を行うことができる。なお、第2実施形態の画像検索と上記した第1実施形態の画像検索とを組み合わせて適用することができる。 In this way, the search unit 114d can perform an image search based on the EXIF information (accompanying information) even by inputting characters. The image search of the second embodiment and the image search of the first embodiment described above can be applied in combination.
図15は、視差を有する画像の表示例を示す図である。図15に示す例では、画像604においては、人物O1が左側に表示されている。また、棒O6が人物O1の右横に表示されている。また、人物O2が棒O6の斜め後ろに表示されている。また、木O3が右側に表示され、家O4が中心付近に表示されている。 FIG. 15 is a diagram showing a display example of an image having parallax. In the example shown in FIG. 15, in the image 604, the person O1 is displayed on the left side. Further, the bar O6 is displayed on the right side of the person O1. In addition, the person O2 is displayed diagonally behind the bar O6. In addition, the tree O3 is displayed on the right side, and the house O4 is displayed near the center.
上記したように、画像生成部114aにより生成される再構成画像データ群は、被写体O1〜O4,O6に対して視差を有する。視差は、ライトフィールドカメラ1に近い被写体ほど大きく、ライトフィールドカメラ1に遠い被写体ほど小さくなる。従って、人物O1に対する視差が最も大きく、家O4に対する視差が最も小さい。図15においては、人物O1及び棒O6における視差も示している。ある再構成画像データにおける人物O1’の位置と、他の再構成画像データにおける人物O1”の位置とが視差によって異なっている。また、ある再構成画像データにおける棒O6’の位置と、他の再構成画像データにおける棒O6”の位置とが視差によって異なっている。なお、図15には示していないが、人物O2、木O3、及び家O4についても、複数の再構成画像データ間において視差を有する。 As described above, the reconstructed image data group generated by the image generation unit 114a has parallax with respect to the subjects O1 to O4 and O6. The parallax is larger for a subject closer to the light field camera 1 and smaller for a subject farther from the light field camera 1. Therefore, the parallax for the person O1 is the largest and the parallax for the house O4 is the smallest. FIG. 15 also shows the parallax between the person O1 and the rod O6. The position of the person O1'in some reconstructed image data and the position of the person O1'in other reconstructed image data differ depending on the parallax. Also, the position of the bar O6'in some reconstructed image data and another The position of the bar O6 "in the reconstructed image data differs depending on the parallax. Although not shown in FIG. 15, the person O2, the tree O3, and the house O4 also have parallax among the plurality of reconstructed image data.
このような視差を有する画像データに基づいて、画像生成部114aは、検索対象の被写体の手前に位置し、検索対象の被写体を隠す被写体を削除することができる。すなわち、画像生成部114aは、検索対象の被写体(例えば人物O2)を隠す被写体(例えば棒O6)を削除し、削除した被写体の領域の画像データを視差を有する画像データで補完する。このような構成によれば、検索対象の被写体をより一層注目させることができる。 Based on the image data having such parallax, the image generation unit 114a can delete the subject that is located in front of the subject to be searched and hides the subject to be searched. That is, the image generation unit 114a deletes the subject (for example, the bar O6) that hides the subject (for example, the person O2) to be searched, and complements the image data of the deleted subject area with the image data having parallax. With such a configuration, it is possible to draw more attention to the subject to be searched.
<画像検索・生成システム>
上記した各実施形態(第1実施形態、第2実施形態)及び変形例では、それぞれスタンドアローンの形態のシステムである。しかし、そのような形態のシステムには限定されない。例えばクライアントサーバシステムなどの通信ネットワークを通じて接続された画像表示システムSYSについて説明する。以下の説明において、上記の第1〜第2実施形態と同一又は同等の構成部分については同一符号を付けて説明を省略または簡略化する。
<Image search / generation system>
In each of the above-described embodiments (first embodiment, second embodiment) and modified examples, the system is a stand-alone form. However, it is not limited to such a form of system. For example, an image display system SYS connected through a communication network such as a client-server system will be described. In the following description, the same or equivalent components as those in the first and second embodiments are designated by the same reference numerals to omit or simplify the description.
図16は、画像表示システムSYSの構成を示すブロック図である。図16に示すように、この画像表示システムSYSは、クライアント端末101Bの演算処理部110Bにおいて、表示制御部111、画像入力部112、操作制御部113、及び通信部115を有している。これら表示制御部111、画像入力部112、及び操作制御部113は、図1に示した表示制御部111、画像入力部112、及び操作制御部113に相当する。また、図16に示す記憶部120Bは、図1に示した記憶部120に相当する。 FIG. 16 is a block diagram showing a configuration of the image display system SYS. As shown in FIG. 16, this image display system SYS has a display control unit 111, an image input unit 112, an operation control unit 113, and a communication unit 115 in the arithmetic processing unit 110B of the client terminal 101B. The display control unit 111, the image input unit 112, and the operation control unit 113 correspond to the display control unit 111, the image input unit 112, and the operation control unit 113 shown in FIG. Further, the storage unit 120B shown in FIG. 16 corresponds to the storage unit 120 shown in FIG.
図16に示すように、クライアント端末101Bの演算処理部110Bは、通信ネットワーク180を介してサーバ(画像検索装置、画像生成装置)106とデータを送受信する通信部115を有している。また、サーバ106の演算処理部160は、通信ネットワーク180を介してクライアント端末101Bとデータを送受信する通信部161を有している。また、演算処理部160の演算部162は、クライアント端末101Bからの要求に応じて、クライアント端末101Bから送信されるRAWデータ及び画像データを記憶部170に蓄積する。そして、演算部162は、図1に示した演算部114と同様に、RAWデータ及び画像データに基づいて画像検索及び画像生成の制御を実行する。 As shown in FIG. 16, the arithmetic processing unit 110B of the client terminal 101B has a communication unit 115 that transmits / receives data to / from the server (image search device, image generation device) 106 via the communication network 180. Further, the arithmetic processing unit 160 of the server 106 has a communication unit 161 that transmits / receives data to / from the client terminal 101B via the communication network 180. Further, the arithmetic unit 162 of the arithmetic processing unit 160 stores RAW data and image data transmitted from the client terminal 101B in the storage unit 170 in response to a request from the client terminal 101B. Then, the calculation unit 162 executes image search and image generation control based on the RAW data and the image data, similarly to the calculation unit 114 shown in FIG.
なお、通信部115の構成や、演算処理部160における通信部161及び演算部162の構成は、CPUなどの制御装置が記憶部120B,170に記憶されている制御プログラムに従って処理を実行することにより実現される。 The configuration of the communication unit 115 and the configurations of the communication unit 161 and the calculation unit 162 in the calculation processing unit 160 are obtained by executing processing by a control device such as a CPU according to a control program stored in the storage units 120B and 170. It will be realized.
このような構成によれば、クライアント端末101Bが大容量のデータを記憶しておく必要がなくなり、データ管理を一元化できるなど、コストを低減させることができる。また、クライアント端末101Bの処理負担も軽減させることができる。 According to such a configuration, it is not necessary for the client terminal 101B to store a large amount of data, data management can be centralized, and costs can be reduced. In addition, the processing load of the client terminal 101B can be reduced.
なお、図16に示す画像表示システムSYSでは、クライアント端末101Bの表示制御部111が表示制御を行っているが、これに限定されない。例えば、クライアント端末101Bは、ブラウザを備え、ブラウザを用いて図11等に示すような画像検索画面の表示内容を表示装置102に表示させるようにしてもよい。 In the image display system SYS shown in FIG. 16, the display control unit 111 of the client terminal 101B performs display control, but the present invention is not limited to this. For example, the client terminal 101B may include a browser, and the display content 102 of the image search screen as shown in FIG. 11 or the like may be displayed by using the browser.
<変形例>
上記した構成においては、演算処理部110,160が記憶部120,170に記憶されている複数の画像データに付加されているEXIF情報に基づいて、検索条件に対応する被写体を含む画像データの検索、検索条件に対応する画像データの生成、及び検索結果の画像の表示を行っていた。しかし、このような構成に限定されず、演算処理部110,160が記憶部120,170に設けられるデータベースに記憶されている情報に基づいて、検索条件に対応する被写体を含む画像データの検索、検索条件に対応する画像データの生成、及び検索結果の画像の表示を行ってもよい。
<Modification example>
In the above configuration, the arithmetic processing units 110 and 160 search for image data including a subject corresponding to the search condition based on EXIF information added to a plurality of image data stored in the storage units 120 and 170. , The image data corresponding to the search condition was generated, and the image of the search result was displayed. However, the present invention is not limited to such a configuration, and the arithmetic processing units 110 and 160 search for image data including a subject corresponding to the search condition based on the information stored in the database provided in the storage units 120 and 170. Image data corresponding to the search condition may be generated and the image of the search result may be displayed.
この場合、データベースには、複数の画像データそれぞれを識別するための画像識別データ(画像ID)、画像データごとに付加される撮影シーンの情報、各画像データ中の1つ又は複数の被写体の画像データ、各画像データ中の1つ又は複数の被写体の種別を示す被写体種別データ、各画像データ中の1つ又は複数の被写体を識別するための被写体識別データ(特徴点、名称など)、各画像データ中の1つ又は複数の被写体の距離データ(合焦位置の情報)がそれぞれ関連付けられて登録される。 In this case, the database contains image identification data (image ID) for identifying each of the plurality of image data, information on the shooting scene added for each image data, and an image of one or more subjects in each image data. Data, subject type data indicating the type of one or more subjects in each image data, subject identification data (feature points, names, etc.) for identifying one or more subjects in each image data, each image Distance data (focusing position information) of one or more subjects in the data are associated and registered.
演算処理部110,160(画像生成部114a、画像生成部114aに相当する演算部162内の処理部)は、RAWデータを取得した後(ステップS1)、取得したRAWデータに基づいて、合焦位置が異なる複数の画像データ(例えばJPEG形式の画像データ)を生成する(ステップS2,S3)。演算処理部110,160(検出部114b、検出部114bに相当する演算部162内の処理部)は、ステップS2,3で生成された複数の画像データに基づいて1つ又は複数の登録対象の被写体を検出する(ステップS4)。このように、演算処理部110,160が合焦位置の異なる複数の画像データに基づいて被写体を検出するので、被写体がぼけていない画像データを用いて被写体の検出を行うことができ、被写体の検出精度が向上する。 After acquiring the RAW data (step S1), the arithmetic processing units 110 and 160 (image generation unit 114a, processing unit in the arithmetic unit 162 corresponding to the image generation unit 114a) are focused based on the acquired RAW data. A plurality of image data having different positions (for example, image data in JPEG format) are generated (steps S2 and S3). The arithmetic processing units 110, 160 (the detection unit 114b, the processing unit in the arithmetic unit 162 corresponding to the detection unit 114b) are one or a plurality of registration targets based on the plurality of image data generated in steps S2 and S3. The subject is detected (step S4). In this way, since the arithmetic processing units 110 and 160 detect the subject based on a plurality of image data having different focusing positions, the subject can be detected using the image data in which the subject is not blurred, and the subject can be detected. Detection accuracy is improved.
演算処理部110,160は、ステップS4で検出した1つ又は複数の登録対象の被写体の画像データを切り出す。演算処理部110,160は、1つ又は複数の登録対象の被写体の特徴点を抽出する。演算処理部110,160は、抽出した1つ又は複数の登録対象の被写体の特徴点と、記憶部120内のデータベースに記憶されている複数の被写体の特徴点とを順次照合して、登録対象の被写体と同じ被写体がデータベースに登録されているか否かを判定する。 The arithmetic processing units 110 and 160 cut out the image data of one or a plurality of subjects to be registered detected in step S4. The arithmetic processing units 110 and 160 extract the feature points of one or a plurality of subjects to be registered. The arithmetic processing units 110 and 160 sequentially collate the extracted feature points of one or more subjects to be registered with the feature points of the plurality of subjects stored in the database in the storage unit 120, and register the subject. It is determined whether or not the same subject as the subject of is registered in the database.
演算処理部110,160は、登録対象の被写体と同じ被写体がデータベース内に登録されていない判定した場合は、画像識別データに対応付けて、被写体ごとの新たな被写体種別データ及び被写体識別データをデータベースに登録する。このとき、演算処理部110,160は、画像識別データに対応付けて、切り出した登録対象の被写体の画像データを被写体ごとに登録するとともに撮影シーンの情報も登録する。 When the arithmetic processing units 110 and 160 determine that the same subject as the subject to be registered is not registered in the database, they associate the image identification data with new subject type data and subject identification data for each subject in the database. Register with. At this time, the arithmetic processing units 110 and 160 register the image data of the cut-out subject to be registered for each subject in association with the image identification data, and also register the information of the shooting scene.
一方、演算処理部110,160は、登録対象の被写体と同じ被写体がデータベース内に登録されている判定した場合は、画像識別データに対応付けて、既にデータベースに登録されている被写体種別データ及び被写体識別データと同じデータを被写体ごとにデータベースに登録する。このときも、演算処理部110,160は、画像識別データに対応付けて、切り出した登録対象の被写体の画像データを登録するとともに撮影シーンの情報も登録する。 On the other hand, when the arithmetic processing units 110 and 160 determine that the same subject as the subject to be registered is registered in the database, the subject type data and the subject already registered in the database are associated with the image identification data. The same data as the identification data is registered in the database for each subject. At this time as well, the arithmetic processing units 110 and 160 register the image data of the subject to be registered, which has been cut out, in association with the image identification data, and also register the information of the shooting scene.
また、演算処理部110,160は、1つ又は複数の登録対象の被写体の奥行き方向の位置(被写体までの距離)を検出する(ステップS5)。検出部114bは、画像識別データに対応付けて、1つ又は複数の登録対象の被写体までの距離を示す距離データを被写体ごとにデータベースに登録する。そして、演算処理部110,160は、画像識別データに対応付けて、RAWデータ及び画像データを記憶部120,170の画像データ記憶領域に記憶する(ステップS7)。 Further, the arithmetic processing units 110 and 160 detect the position (distance to the subject) in the depth direction of one or a plurality of subjects to be registered (step S5). The detection unit 114b registers distance data indicating the distance to one or a plurality of subjects to be registered in the database for each subject in association with the image identification data. Then, the arithmetic processing units 110 and 160 store the RAW data and the image data in the image data storage area of the storage units 120 and 170 in association with the image identification data (step S7).
演算処理部110,160(表示制御部111、表示制御部111に相当する演算部162内の処理部)は、画像検索画面を表示し(ステップS11)、記憶部120,170からRAWデータ及び画像データを読み出して取得した後(ステップS12)、データベースに登録されている複数の被写体の画像データを読み出して第1表示領域501に一覧表示する(ステップS13)。そして、演算処理部110,160(表示制御部111、表示制御部111に相当する演算部162内の処理部、指定部114c、指定部114cに相当する演算処理部160内の処理部)は、ステップS14〜S17の処理を実行する。 The arithmetic processing units 110 and 160 (display control unit 111, processing unit in the arithmetic unit 162 corresponding to the display control unit 111) display an image search screen (step S11), and RAW data and images are displayed from the storage units 120 and 170. After reading and acquiring the data (step S12), the image data of a plurality of subjects registered in the database is read out and displayed in a list in the first display area 501 (step S13). Then, the arithmetic processing units 110 and 160 (the display control unit 111, the processing unit in the arithmetic unit 162 corresponding to the display control unit 111, the designated unit 114c, and the processing unit in the arithmetic processing unit 160 corresponding to the designated unit 114c) are The processes of steps S14 to S17 are executed.
演算処理部110,160は、検索ボタン504が押されたと判定した場合は(ステップS18のYES)、記憶部120内のデータベースに登録されている情報と検索条件として指定された情報とを照合して、記憶部120内の画像データ記憶領域に記憶されている画像データの中から検索条件に適合する画像データを検索する(ステップS19)。具体的には、演算処理部110,160は、検索条件として指定された被写体種別データなど(被写体種別データ、被写体識別データ、距離データ)と合致するデータをデータベース内で検索し、検索条件として指定された被写体種別データなどと合致するデータに対応付けられた画像識別データを選定する。そして、演算処理部110,160は、画像識別データに対応する画像データ記憶領域内の画像データを検索条件に適合する画像データとして検索する。その後、演算処理部110,160は、ステップS20〜S23の処理を実行する。 When it is determined that the search button 504 has been pressed (YES in step S18), the arithmetic processing units 110 and 160 collate the information registered in the database in the storage unit 120 with the information specified as the search condition. Then, the image data that matches the search condition is searched from the image data stored in the image data storage area in the storage unit 120 (step S19). Specifically, the arithmetic processing units 110 and 160 search the database for data that matches the subject type data (subject type data, subject identification data, distance data) specified as the search condition, and specify the data as the search condition. Select the image identification data associated with the data that matches the subject type data. Then, the arithmetic processing units 110 and 160 search for the image data in the image data storage area corresponding to the image identification data as image data matching the search conditions. After that, the arithmetic processing units 110 and 160 execute the processes of steps S20 to S23.
このような構成によれば、演算処理部110,160が予めデータベースに登録されている情報に基づいて検索条件に応じた画像の検索及び画像の生成を行うことができるため、画像の検索及び画像の生成を行う際の処理負担を軽減することができるとともに、画像の検索及び画像の生成を行う際の処理時間も軽減することができる。 According to such a configuration, since the arithmetic processing units 110 and 160 can search for an image and generate an image according to the search conditions based on the information registered in the database in advance, the image can be searched and the image can be generated. It is possible to reduce the processing load when performing the generation of the image, and also reduce the processing time when searching for the image and generating the image.
なお、上記した変形例において、検索対象の被写体が家族(例えば、父、母、息子、娘)などのように予め定まっている場合は、演算処理部110,160は、予め複数の被写体の被写体情報(被写体種別データ及び被写体識別データ(特徴点、名称など))をデータベースに登録しておいてもよい。また、演算処理部110,160は、予めデータベースに登録されている被写体についてだけを検索対象(検索候補)の被写体として指定し、予めデータベースに登録されている被写体の被写体情報だけに基づいて画像検索を行ってもよい。また、演算処理部110,160は、予めデータベースに登録されている被写体だけを画像検索画面に表示してもよい。また、演算処理部110,160は、予め複数の被写体の被写体情報(被写体種別データ及び被写体識別データ(特徴点、名称など))をデータベースに登録しておき、被写体識別データから被写体の名称を取得して、EXIF情報に被写体の名称を登録してもよい。 In the above-mentioned modified example, when the subject to be searched is predetermined such as a family (for example, father, mother, son, daughter), the arithmetic processing units 110 and 160 may perform subjects of a plurality of subjects in advance. Information (subject type data and subject identification data (feature points, names, etc.)) may be registered in the database. Further, the arithmetic processing units 110 and 160 specify only the subjects registered in the database in advance as the subjects to be searched (search candidates), and perform an image search based only on the subject information of the subjects registered in the database in advance. May be done. Further, the arithmetic processing units 110 and 160 may display only the subjects registered in the database in advance on the image search screen. Further, the arithmetic processing units 110 and 160 register subject information (subject type data and subject identification data (feature points, names, etc.)) of a plurality of subjects in a database in advance, and acquire the subject name from the subject identification data. Then, the name of the subject may be registered in the EXIF information.
また、データベースは、サーバ106の記憶部170に設けられる場合に限定されず、クライアント端末101Bの記憶部120Bに設けられてもよい。この場合、演算処理部160は、クライアント端末101Bの記憶部120B内のデータベースにアクセスして、画像生成や画像検索などの処理を行う。 Further, the database is not limited to the case where it is provided in the storage unit 170 of the server 106, and may be provided in the storage unit 120B of the client terminal 101B. In this case, the arithmetic processing unit 160 accesses the database in the storage unit 120B of the client terminal 101B and performs processing such as image generation and image search.
以上、本発明を実施の形態を用いて説明したが、本発明の技術的範囲は、上記実施の形態に記載の範囲には限定されない。本発明の趣旨を逸脱しない範囲で、上記実施の形態に、多様な変更または改良を加えることが可能である。また、上記の実施形態で説明した要件の1つ以上は、省略されることがある。そのような変更または改良、省略した形態も本発明の技術的範囲に含まれる。また、上記した実施形態や変形例の構成を適宜組み合わせて適用することも可能である。 Although the present invention has been described above using the embodiments, the technical scope of the present invention is not limited to the scope described in the above embodiments. Various changes or improvements can be made to the above-described embodiment without departing from the spirit of the present invention. In addition, one or more of the requirements described in the above embodiments may be omitted. Such modifications, improvements, or omitted forms are also included in the technical scope of the present invention. Further, it is also possible to appropriately combine and apply the configurations of the above-described embodiments and modifications.
例えば、上記した各実施形態では、撮像装置の一例としてライトフィールドカメラ1を挙げていたが、これに限定されず、例えば複数のカメラを配置したカメラアレイであってもよい。このようなカメラアレイにおいても視差を有する複数の画像を取得することができる。 For example, in each of the above-described embodiments, the light field camera 1 has been mentioned as an example of the imaging device, but the present invention is not limited to this, and for example, a camera array in which a plurality of cameras are arranged may be used. Even in such a camera array, it is possible to acquire a plurality of images having parallax.
また、上記した各実施形態では、演算部114(及び演算処理部160)は、ライトフィールドカメラ1が撮影したリフォーカス画像を用いて、合焦位置や被写界深度の範囲を変更していた。しかし、演算部114(及び演算処理部160)は、フォーカスブラケット機能を備えたデジタルカメラ(撮像装置)が撮影した複数の画像を用いて、合焦位置(焦点位置)や被写界深度の範囲を変更することが可能である。すなわち、上記した第1実施形態における「合焦位置を奥行き方向に変更可能な画像データ」には、デジタルカメラ(撮像装置)が合焦位置を変えながら撮像した、合焦位置の異なる複数の画像データに基づいて生成される画像データが含まれる。ここで、フォーカスブラケットとは、連写をしながら合焦位置を変えていき、合焦位置の異なる複数の画像を撮影することをいう。演算部114(及び演算処理部160)は、使用者によって指定された合焦位置や被写界深度に応じて、合焦位置の異なる複数の画像データを適宜選択し、選択した画像データを合成することにより、合焦位置や被写界深度の範囲を変更することができる。 Further, in each of the above-described embodiments, the arithmetic unit 114 (and the arithmetic processing unit 160) changes the focus position and the range of the depth of field by using the refocused image taken by the light field camera 1. .. However, the arithmetic unit 114 (and the arithmetic processing unit 160) uses a plurality of images taken by a digital camera (imaging device) having a focus bracket function to range the focus position (focus position) and the depth of field. It is possible to change. That is, the "image data in which the focusing position can be changed in the depth direction" in the first embodiment described above includes a plurality of images having different focusing positions, which are captured by a digital camera (imaging device) while changing the focusing position. Image data generated based on the data is included. Here, the focus bracket means to take a plurality of images having different focusing positions by changing the focusing position while continuously shooting. The calculation unit 114 (and the calculation processing unit 160) appropriately selects a plurality of image data having different focusing positions according to the focusing position and the depth of field specified by the user, and synthesizes the selected image data. By doing so, the focus position and the range of the depth of field can be changed.
また、上記した各実施形態では、検出部114b(及び演算処理部160)が画像データから被写体を検出し、検出した被写体の距離を検出し、画像データに対してEXIF情報を被写体ごとに付加していた。しかし、ライトフィールドカメラ1の画像処理部30がこれらの処理を行い、演算部114は、ライトフィールドカメラ1からEXIF情報が付加された画像データをRAWデータとともに取得してもよい。 Further, in each of the above-described embodiments, the detection unit 114b (and the arithmetic processing unit 160) detects the subject from the image data, detects the distance of the detected subject, and adds EXIF information to the image data for each subject. Was there. However, the image processing unit 30 of the light field camera 1 may perform these processes, and the calculation unit 114 may acquire the image data to which the EXIF information is added from the light field camera 1 together with the RAW data.
また、上記した各実施形態では、画像生成部114a(及び演算処理部160)がRAWデータに基づいて所定の合焦位置及び被写界深度の範囲の画像データを生成していたが、画像生成部114a(及び演算処理部160)が複数の画像データに対して距離に応じた重みを加えてから平均する加重平均処理を行うことで、所定の合焦位置及び被写界深度の範囲の画像データを生成してもよい。 Further, in each of the above-described embodiments, the image generation unit 114a (and the arithmetic processing unit 160) generate image data in a predetermined focus position and depth of field range based on the RAW data. By performing weighted averaging processing in which unit 114a (and arithmetic processing unit 160) adds weights according to distances to a plurality of image data and then averages them, an image in a predetermined focusing position and depth of field range is performed. Data may be generated.
また、画像生成部114a(及び演算処理部160)が検索対象の被写体を隠す被写体を削除していたが、表示制御部111(及び演算処理部160)は、その被写体を削除した画像と削除していない画像とを交互に表示するようにしてもよい。また、表示制御部111(及び演算処理部160)は、検索対象の被写体と、検索対象を隠す被写体とを交互に表示してもよい。この場合、より一層、検索対象の被写体に注目させることができる。また、容易に検索対象の被写体を確認することができる。 Further, the image generation unit 114a (and the arithmetic processing unit 160) deleted the subject that hides the subject to be searched, but the display control unit 111 (and the arithmetic processing unit 160) deletes the deleted image and the subject. Images that are not displayed may be displayed alternately. Further, the display control unit 111 (and the arithmetic processing unit 160) may alternately display the subject to be searched and the subject to hide the search target. In this case, the subject to be searched can be further focused on. In addition, the subject to be searched can be easily confirmed.
また、図4に示す画像処理部30とシステム制御部70は一体で構成されてもよい。この場合、1つのCPUを有するシステム制御部が制御プログラムに基づいて処理を実行することにより画像処理部30の機能とシステム制御部70の機能を担う。 Further, the image processing unit 30 and the system control unit 70 shown in FIG. 4 may be integrally configured. In this case, the system control unit having one CPU takes on the functions of the image processing unit 30 and the system control unit 70 by executing the processing based on the control program.
また、上記した第1実施形態において、カラーフィルタの配列がベイヤー配列とされていたが、この配列以外の配列であってもよい。 Further, in the above-described first embodiment, the arrangement of the color filters is the Bayer arrangement, but an arrangement other than this arrangement may be used.
また、表示装置102は、画像検索画面を含む各種画像を2次元表示していたが3次元表示(3D表示)してもよい。特に、俯瞰図300などを表示するときに3次元表示されている場合は、被写体の位置関係などが容易に認識されやすくなる。 Further, although the display device 102 displays various images including the image search screen in two dimensions, it may be displayed in three dimensions (3D display). In particular, when the bird's-eye view 300 or the like is displayed three-dimensionally, the positional relationship of the subject can be easily recognized.
また、画像の付随情報(例えば図8参照)の管理方法としては、以下に示す方法が考えられる。(1)上記した第1実施形態の場合のように、演算処理部110,160が1つの画像データ(パンフォーカスの画像データ)に付随情報を付加する方法である。(2)演算処理部110,160がステップS2において合焦位置の異なる複数の画像データを生成した場合は、それら複数の画像データそれぞれに付随情報(例えば同じ付随情報)を付加する方法である。この場合、複数の画像データのグループを管理するグループ識別情報が複数の画像データそれぞれに付加される。(3)演算処理部110,160がRAWデータに付随情報を付加する方法である。(4)演算処理部110,160が画像データやRAWデータとは異なるデータファイル(又はデータフォルダ)を設け、そのデータファイルに付随情報を付加し、そのデータファイルを画像データやRAWデータに関連付ける方法である。この場合、データファイルはテキストファイルとされてもよい。 Further, as a method of managing the accompanying information of the image (see, for example, FIG. 8), the following method can be considered. (1) As in the case of the first embodiment described above, the arithmetic processing units 110 and 160 add incidental information to one image data (pan focus image data). (2) When the arithmetic processing units 110 and 160 generate a plurality of image data having different focusing positions in step S2, this is a method of adding incidental information (for example, the same incidental information) to each of the plurality of image data. In this case, group identification information for managing a group of a plurality of image data is added to each of the plurality of image data. (3) This is a method in which arithmetic processing units 110 and 160 add incidental information to RAW data. (4) A method in which arithmetic processing units 110 and 160 provide a data file (or data folder) different from image data and RAW data, add accompanying information to the data file, and associate the data file with image data and RAW data. is there. In this case, the data file may be a text file.
また、指定部114c(及び演算処理部160)が検索条件として複数の条件を指定した場合、それらの条件はAND条件としていたがOR条件であってもよい。また、指定部114c(及び演算処理部160)は、複数の被写体の相対位置を検索条件として指定していたが、1つ又は複数の被写体の絶対位置(例えばライトフィールドカメラ1から100m先の被写体)を指定してもよい。 Further, when the designation unit 114c (and the arithmetic processing unit 160) specifies a plurality of conditions as search conditions, those conditions are set to AND conditions, but may be OR conditions. Further, although the designation unit 114c (and the arithmetic processing unit 160) has specified the relative positions of a plurality of subjects as search conditions, the absolute positions of one or a plurality of subjects (for example, a subject 100 m ahead of the light field camera 1). ) May be specified.
また、ステップS20において、画像生成部114a(及び演算処理部160)は、検索条件に対応する複数の被写体の合焦位置が異なる場合、検索条件に適合する合焦位置の画像データとして、検索条件に対応する複数の被写体それぞれに合焦した画像データを生成してもよい。この場合、画像生成部114a(及び演算処理部160)は、画像の領域を複数の被写体の領域ごとに分割して、分割した各領域ごとに被写体に合焦した画像データを生成してもよい。また、ステップS20において、画像生成部114a(及び演算処理部160)は、検索条件に対応する複数の被写体の合焦位置が異なる場合、検索条件に適合する合焦位置の画像データとしてパンフォーカスの画像データを生成してもよい。また、ステップS20において、画像生成部114a(及び演算処理部160)は、検索条件として被写体の奥行き方向の位置が指定された場合は、検索された画像データに対して、検索条件として指定された被写体に合焦した画像データを生成し、検索条件として被写体の奥行き方向の位置が指定されていない場合は、検索された画像データに対して、パンフォーカスの画像データを生成してもよい。また、ステップS20において、画像生成部114a(及び演算処理部160)は、検索条件に対応する複数の被写体とは異なる被写体が画像データ内に存在する場合に、パンフォーカス画像を生成してもよい。 Further, in step S20, when the focusing positions of a plurality of subjects corresponding to the search conditions are different, the image generation unit 114a (and the arithmetic processing unit 160) sets the search conditions as image data of the focusing positions matching the search conditions. Image data in focus may be generated for each of a plurality of subjects corresponding to. In this case, the image generation unit 114a (and the arithmetic processing unit 160) may divide the image area into a plurality of subject areas and generate image data in focus on the subject in each of the divided areas. .. Further, in step S20, when the focusing positions of a plurality of subjects corresponding to the search conditions are different, the image generation unit 114a (and the arithmetic processing unit 160) pan-focuses the image data of the focusing positions that match the search conditions. Image data may be generated. Further, in step S20, when the position in the depth direction of the subject is specified as the search condition, the image generation unit 114a (and the arithmetic processing unit 160) is designated as the search condition for the searched image data. When the image data focused on the subject is generated and the position in the depth direction of the subject is not specified as the search condition, the pan-focus image data may be generated for the searched image data. Further, in step S20, the image generation unit 114a (and the arithmetic processing unit 160) may generate a pan-focus image when a subject different from the plurality of subjects corresponding to the search condition exists in the image data. ..
また、ステップS20において、画像生成部114a(及び演算処理部160)は、検索条件に対応する複数の被写体とは異なる検索対象外の被写体が画像データ内に存在し、その検索対象外の被写体の奥行き方向の位置が検索条件に対応する複数の被写体の合焦位置の範囲内に存在する場合に、被写界深度の範囲を検索条件に対応する複数の被写体の位置を含む範囲とし、検索対象外の被写体を削除した画像データを生成してもよい。 Further, in step S20, the image generation unit 114a (and the arithmetic processing unit 160) has a subject in the image data that is different from the plurality of subjects corresponding to the search conditions and is not a search target. When the position in the depth direction exists within the range of the in-focus position of a plurality of subjects corresponding to the search condition, the range of the depth of field is set as the range including the positions of the plurality of subjects corresponding to the search condition, and the search target Image data in which the outside subject is deleted may be generated.
また、画像検索結果を表示するための第3表示領域506において、「焦点位置手前に移動」ボタンと「焦点位置奥側に移動」ボタンとを焦点位置切替ボタンとして設ける。そして、使用者が「焦点位置手前に移動」ボタンをクリックすることにより、画像生成部114a(及び演算処理部160)は、画像検索結果としての画像データの焦点位置を手前に変更し、使用者が「焦点位置奥側に移動」ボタンをクリックすることにより、画像生成部114a(及び演算処理部160)は、画像検索結果としての画像データの焦点位置を奥側に変更する構成でもよい。このとき、焦点位置の切り替えは、被写体単位で行われてもよい。また、検索対象の被写体として複数の被写体が指定された場合に、画像生成部114a(及び演算処理部160)は、焦点位置切替ボタンが使用者によりクリックされる度に、画像データにおける焦点位置を検索対象の位置に順に切り替える構成でもよい。 Further, in the third display area 506 for displaying the image search result, a "move to the front of the focus position" button and a "move to the back of the focus position" button are provided as focus position switching buttons. Then, when the user clicks the "move to focus position" button, the image generation unit 114a (and the arithmetic processing unit 160) changes the focus position of the image data as the image search result to the front, and the user The image generation unit 114a (and the arithmetic processing unit 160) may change the focus position of the image data as an image search result to the back side by clicking the "move to the back side of the focus position" button. At this time, the focus position may be switched for each subject. Further, when a plurality of subjects are designated as the subjects to be searched, the image generation unit 114a (and the arithmetic processing unit 160) determines the focus position in the image data each time the focus position switching button is clicked by the user. It may be configured to switch to the position to be searched in order.
なお、「合焦位置を奥行き方向に変更可能な画像データ」には、RAWデータ(光線情報)及びこのRAWデータから画像生成部114a(演算処理部160)によって生成される1つ又は複数の画像データ(例えばパンフォーカスの画像データ、合焦位置の異なる複数の画像データ)が含まれる。 The "image data whose focusing position can be changed in the depth direction" includes RAW data (ray information) and one or a plurality of images generated by the image generation unit 114a (calculation processing unit 160) from the RAW data. Data (for example, pan-focus image data, a plurality of image data having different focusing positions) are included.
1…ライトフィールドカメラ(撮像装置)、101…画像検索・生成装置(画像生成装置、画像検索装置)、101B…クライアント端末、102…表示装置(表示部)、106…サーバ(画像生成装置、画像検索装置)、110,110B…演算処理部、111…表示制御部、112…画像入力部、113…操作制御部、114…演算部、114a…画像生成部、114b…検出部、114c…指定部、114d…検索部、115…通信部、120,120B…記憶部、160…演算処理部、161…通信部、162…演算部、170…記憶部 1 ... Light field camera (imaging device), 101 ... Image search / generation device (image generation device, image search device), 101B ... Client terminal, 102 ... Display device (display unit), 106 ... Server (image generation device, image) Search device), 110, 110B ... Arithmetic processing unit, 111 ... Display control unit, 112 ... Image input unit, 113 ... Operation control unit, 114 ... Arithmetic unit, 114a ... Image generation unit, 114b ... Detection unit, 114c ... Designation unit , 114d ... Search unit, 115 ... Communication unit, 120, 120B ... Storage unit, 160 ... Calculation processing unit, 161 ... Communication unit, 162 ... Calculation unit, 170 ... Storage unit
Claims (9)
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019139423A JP6780748B2 (en) | 2019-07-30 | 2019-07-30 | Image processing device and image processing program |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019139423A JP6780748B2 (en) | 2019-07-30 | 2019-07-30 | Image processing device and image processing program |
Related Parent Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2018122886A Division JP6566091B2 (en) | 2018-06-28 | 2018-06-28 | Image generation device and image search device |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2020004418A JP2020004418A (en) | 2020-01-09 |
JP6780748B2 true JP6780748B2 (en) | 2020-11-04 |
Family
ID=69100196
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2019139423A Active JP6780748B2 (en) | 2019-07-30 | 2019-07-30 | Image processing device and image processing program |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6780748B2 (en) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP4184910A4 (en) | 2020-07-20 | 2024-01-17 | Sony Group Corporation | Information processing device, information processing method, and program |
Family Cites Families (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP5233458B2 (en) * | 2008-07-15 | 2013-07-10 | 株式会社ニコン | Image editing apparatus and image editing program |
JP5657343B2 (en) * | 2010-10-28 | 2015-01-21 | 株式会社ザクティ | Electronics |
JP5968102B2 (en) * | 2012-06-15 | 2016-08-10 | キヤノン株式会社 | Image recording apparatus and image reproducing apparatus |
-
2019
- 2019-07-30 JP JP2019139423A patent/JP6780748B2/en active Active
Also Published As
Publication number | Publication date |
---|---|
JP2020004418A (en) | 2020-01-09 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10311649B2 (en) | Systems and method for performing depth based image editing | |
US10049439B2 (en) | Image processing method, image processing apparatus, image capturing apparatus and non-transitory computer-readable storage medium | |
JP2013201752A5 (en) | ||
JP2013201752A (en) | Image processing device, image pickup device, control method, and program | |
JP2016024489A (en) | Image processing apparatus, imaging device, image processing method, and program | |
JP6552315B2 (en) | Imaging device | |
JP2017060010A (en) | Imaging device, method of controlling imaging device, and program | |
JP6780748B2 (en) | Image processing device and image processing program | |
JP2013085176A (en) | Image-capturing device | |
US8571404B2 (en) | Digital photographing apparatus, method of controlling the same, and a computer-readable medium storing program to execute the method | |
JP6566091B2 (en) | Image generation device and image search device | |
JP6361228B2 (en) | Image generation apparatus and image generation program | |
JP2015198340A (en) | Image processing system and control method therefor, and program | |
JP6491442B2 (en) | Image processing apparatus, image processing method, program, and recording medium | |
JP6071714B2 (en) | Image processing apparatus and control method thereof | |
JP6502640B2 (en) | IMAGE PROCESSING APPARATUS, IMAGE PROCESSING METHOD, PROGRAM, AND RECORDING MEDIUM | |
JP2014116789A (en) | Photographing device, control method therefor, and program | |
JP6074201B2 (en) | Image processing apparatus, control method, and program | |
JP2015139018A (en) | Electronic apparatus and control program | |
US11627245B2 (en) | Focus adjustment device and focus adjustment method | |
JP7224811B2 (en) | Image processing device and electronic equipment | |
JP2015139019A (en) | Device and program for image composition | |
JP7242278B2 (en) | Image processing device and its control method | |
JP6833772B2 (en) | Image processing equipment, imaging equipment, image processing methods and programs | |
JP2019041401A (en) | Image combining device and image combining program |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20190731 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20200630 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20200915 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20200928 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6780748 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |