JP2017163412A

JP2017163412A - Image processing system, its control method, imaging apparatus, and program

Info

Publication number: JP2017163412A
Application number: JP2016047321A
Authority: JP
Inventors: 文貴中山; Fumitaka Nakayama
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 2016-03-10
Filing date: 2016-03-10
Publication date: 2017-09-14
Anticipated expiration: 2036-03-10
Also published as: JP6639276B2

Abstract

PROBLEM TO BE SOLVED: To form an image focused on a subject by processing, according to the display capability of a display device, an image of the subject photographed at different focusing positions or diaphragm values.SOLUTION: An image processing system (digital camera 100) comprises an imaging section 102 that acquires a plurality of images relating to a subject photographed at different focusing positions and diaphragm values. A control section 106 forms a focus image focused on the entire subject by controlling an image processing section 103 through combining or selecting images corresponding to a display resolution and display screen size of a display section 109. When performing a process of combining a plurality of images, the control section 106 determines a combination ratio of each image. When a plurality of images of different diaphragm values are used, the control section 106 calculates a diaphragm value at which the range of distance of a main subject in the direction of depth lies within the depth of the subject, and selects an image photographed at the diaphragm value. The image processing section 103 creates image data for display. The communication section 108 transmits image data for display to the display section 109.SELECTED DRAWING: Figure 1

Description

本発明は、異なる合焦位置または絞り値で撮影された複数の画像から被写体全体に合焦した画像を生成する画像処理技術に関する。 The present invention relates to an image processing technique for generating an image focused on an entire subject from a plurality of images taken at different focus positions or aperture values.

デジタルカメラで近距離にある被写体を撮影する場合、被写界深度が浅くなると、被写体全体に合焦している画像を取得することが難しいという課題がある。そこで、被写体の合焦位置を変えて撮影した複数の画像を合成し、被写体全体に合焦している画像を生成する技術が特許文献１および特許文献２に開示されている。 When photographing a subject at a short distance with a digital camera, there is a problem that when the depth of field becomes shallow, it is difficult to acquire an image focused on the entire subject. Therefore, Patent Literature 1 and Patent Literature 2 disclose a technique in which a plurality of images captured by changing the focus position of a subject are combined to generate an image focused on the entire subject.

特開２０１４−１７５３９号公報JP 2014-17539 A 特開２０１３−２１４０７号公報JP 2013-21407 A 特開２００８−１５７５４号公報JP 2008-15754 A 特開２００７−１１０６３８号公報JP 2007-110638 A

ところで、ユーザが上記技術を用いて生成された画像を視聴する環境は様々である。特定の表示装置の画面上で被写体全体に焦点が合っているように見える画像でも、別の表示装置の画面上では被写体の一部に焦点が合っていないという状況が起こりうる。一例として、デジタルカメラのＥＶＦ（電子ビューファインダ）やスマートフォン等の小型モニタでユーザが画像を視聴した場合、被写体全体に合焦しているように見える。しかし、ユーザがＰＣ（パーソナルコンピュータ）のモニタや大画面テレビ等の大型モニタで画像を視聴した場合、被写体の一部が合焦していないことがある。 By the way, there are various environments in which a user views an image generated using the above technique. Even an image that appears to be in focus on the entire subject on the screen of a particular display device may cause a situation where some of the subject is not in focus on the screen of another display device. As an example, when a user views an image on a small monitor such as an EVF (electronic viewfinder) of a digital camera or a smartphone, it appears that the entire subject is in focus. However, when a user views an image on a large monitor such as a PC (personal computer) monitor or a large screen television, a part of the subject may not be in focus.

本発明の目的は、異なる合焦位置または絞り値で撮影された被写体の画像を、表示装置の表示能力に応じて処理して、被写体に焦点を合わせた画像を生成する画像処理装置およびその制御方法を提供することである。 An object of the present invention is to process an image of a subject photographed at different in-focus positions or aperture values according to the display capability of the display device, and generate an image focused on the subject, and control thereof Is to provide a method.

本発明の一実施形態に係る装置は、異なる合焦位置または絞り値で撮影された被写体に係る複数の画像を処理して前記被写体に焦点を合わせた合焦画像を生成する画像処理装置であって、前記複数の画像を取得する取得手段と、前記複数の画像から表示用の画像を生成する制御を行う制御手段と、前記制御手段の指示にしたがって前記表示用の画像を生成する生成手段と、前記生成手段により生成された前記表示用の画像を表示手段に出力する出力手段と、を有する。前記制御手段は、表示解像度または表示画面サイズが異なる前記表示手段ごとに前記複数の画像を合成した画像または前記複数の画像から選択した画像にしたがって前記生成手段により前記合焦画像を生成する制御を行う。 An apparatus according to an embodiment of the present invention is an image processing apparatus that processes a plurality of images related to a subject photographed at different focus positions or aperture values and generates a focused image focused on the subject. Acquisition means for acquiring the plurality of images, control means for performing control for generating a display image from the plurality of images, and generation means for generating the display image in accordance with instructions from the control means; Output means for outputting the display image generated by the generating means to the display means. The control means controls the generation means to generate the focused image according to an image obtained by combining the plurality of images or an image selected from the plurality of images for each of the display means having different display resolutions or display screen sizes. Do.

本発明によれば、異なる合焦位置または絞り値で撮影された被写体の画像を、表示装置の表示能力に応じて処理して、被写体に焦点を合わせた画像を生成する画像処理装置およびその制御方法を提供することができる。 According to the present invention, an image processing apparatus that processes images of a subject photographed at different in-focus positions or aperture values according to the display capability of the display device to generate an image focused on the subject, and control thereof A method can be provided.

本発明の第１実施形態に係る画像処理装置の構成図である。1 is a configuration diagram of an image processing apparatus according to a first embodiment of the present invention. 第１実施形態の処理を説明するフローチャートである。It is a flowchart explaining the process of 1st Embodiment. 第１実施形態における撮影被写体の構図を説明する図である。It is a figure explaining the composition of the photography subject in a 1st embodiment. 第１実施形態における各画像に対する合成比率を説明する図である。It is a figure explaining the synthetic | combination ratio with respect to each image in 1st Embodiment. 第１実施形態における合成比率の計算方法を説明する図である。It is a figure explaining the calculation method of the synthetic | combination ratio in 1st Embodiment. 第２実施形態の処理を説明するフローチャートである。It is a flowchart explaining the process of 2nd Embodiment. 第３実施形態に係るシステムの構成図である。It is a block diagram of the system which concerns on 3rd Embodiment. 第３実施形態の処理を説明するフローチャートである。It is a flowchart explaining the process of 3rd Embodiment. 第３実施形態における画像拡大を説明する図である。It is a figure explaining the image expansion in 3rd Embodiment. 解像度について具体例を説明する図である。It is a figure explaining a specific example about resolution. 主被写体距離情報の算出を説明する図である。It is a figure explaining calculation of main subject distance information.

以下、本発明の好適な実施形態について、図面を参照して説明する。なお、以下に説明する各実施形態では、画像処理装置をデジタルカメラに適用した例において、異なる合焦位置または絞り値で撮影した画像を用いて被写体全体に合焦した画像を生成する。生成された画像は、表示能力の異なる複数の表示装置に出力可能である。 Preferred embodiments of the present invention will be described below with reference to the drawings. In each embodiment described below, in an example in which the image processing apparatus is applied to a digital camera, an image focused on the entire subject is generated using images captured at different focus positions or aperture values. The generated image can be output to a plurality of display devices having different display capabilities.

［第１実施形態］
図１は、本発明の第１実施形態に係るデジタルカメラ１００の機能構成を例示するブロック図である。各部は内部バス１１０を介して相互に通信する。
撮影光学系１０１は、被写体の光学像（被写体像）を撮像部１０２に結像する。撮像部１０２は、ＣＣＤ（電荷結合素子）イメージセンサやＣＭＯＳ（相補型金属酸化膜半導体）イメージセンサ等の撮像素子を備える。撮像素子は、撮影光学系１０１により結像された光学像を光電変換し、電気信号を出力する。撮像部１０２のＡ／Ｄ変換部は、得られたアナログ画像信号をデジタル画像データに変換処理し、ＲＡＭ（ランダム・アクセス・メモリ）１０４に出力して記憶させる。ＲＡＭ１０４は書き換え可能な揮発性メモリであり、デジタルカメラ１００が備える各ブロックの動作において出力されたデータの一時的な記憶領域として用いられる。 [First Embodiment]
FIG. 1 is a block diagram illustrating a functional configuration of a digital camera 100 according to the first embodiment of the present invention. Each unit communicates with each other via the internal bus 110.
The photographing optical system 101 forms an optical image of the subject (subject image) on the imaging unit 102. The imaging unit 102 includes an imaging element such as a CCD (charge coupled device) image sensor or a CMOS (complementary metal oxide semiconductor) image sensor. The image sensor photoelectrically converts the optical image formed by the photographing optical system 101 and outputs an electrical signal. The A / D conversion unit of the imaging unit 102 converts the obtained analog image signal into digital image data, and outputs the digital image data to a RAM (Random Access Memory) 104 for storage. The RAM 104 is a rewritable volatile memory, and is used as a temporary storage area for data output in the operation of each block included in the digital camera 100.

制御部１０６は、例えばＣＰＵ（中央演算処理装置）を備える。制御部１０６は、デジタルカメラ１００が備える各ブロックの動作プログラムをＲＯＭ（リード・オンリ・メモリ）１０５から読み出し、ＲＡＭ１０４に展開して実行する。これによりデジタルカメラ１００が備える各ブロックの動作制御が行われる。ＲＯＭ１０５は書き換え可能な不揮発性メモリであり、デジタルカメラ１００が備える各ブロックの動作プログラムに加え、各ブロックの動作に必要なパラメータ等を記憶している。また、制御部１０６は撮影光学系１０１のフォーカスレンズの駆動制御を行い、フォーカスレンズ駆動量を指示することで、異なる合焦位置で被写体を撮影することが可能である。 The control unit 106 includes, for example, a CPU (Central Processing Unit). The control unit 106 reads out an operation program for each block included in the digital camera 100 from a ROM (Read Only Memory) 105, expands it in the RAM 104, and executes it. Thereby, the operation control of each block provided in the digital camera 100 is performed. The ROM 105 is a rewritable nonvolatile memory, and stores parameters necessary for the operation of each block in addition to the operation program for each block provided in the digital camera 100. Further, the control unit 106 can drive the focus lens of the photographing optical system 101 and instruct the focus lens drive amount to photograph the subject at different in-focus positions.

画像処理部１０３は、ＲＡＭ１０４に記憶されている画像データに対して、ホワイトバランス調整、色補間、縮小／拡大、フィルタリング等の様々な画像処理を行う。また画像処理部１０３は、後述する画像の合成処理を行う。記録部１０７は、ＲＡＭ１０４に記憶されている画像データ（画像処理部１０３で処理された画像データ）を、記録画像や合成画像として記録媒体に記録する処理を行う。 The image processing unit 103 performs various image processing such as white balance adjustment, color interpolation, reduction / enlargement, and filtering on the image data stored in the RAM 104. The image processing unit 103 performs image composition processing, which will be described later. The recording unit 107 performs processing for recording image data (image data processed by the image processing unit 103) stored in the RAM 104 on a recording medium as a recorded image or a composite image.

表示部１０９は、例えばＰＣモニタ、テレビジョン装置、スマートフォン等の表示媒体である。通信部１０８は、ＨＤＭＩ（登録商標）, High-Definition Multimedia Interface等のケーブルや無線通信装置を備え、ＲＡＭ１０４に記憶されている表示用の画像データを表示部１０９に送信する。表示部１０９は受信した画像データにしたがって画像表示を行う。また通信部１０８は、表示部１０９から表示画面の解像度やサイズ（インチ数等）の情報を取得して、制御部１０６へ出力するインターフェース部を備える。 The display unit 109 is a display medium such as a PC monitor, a television device, or a smartphone. The communication unit 108 includes a cable such as HDMI (registered trademark), High-Definition Multimedia Interface, and a wireless communication device, and transmits display image data stored in the RAM 104 to the display unit 109. The display unit 109 displays an image according to the received image data. The communication unit 108 includes an interface unit that acquires information about the resolution and size (number of inches, etc.) of the display screen from the display unit 109 and outputs the information to the control unit 106.

次に、図２から図５、図１１を用いて本実施形態の動作について説明する。図２は本実施形態の処理を説明するフローチャートである。図３は、デジタルカメラ１００によって撮影する被写体の構図を例示した模式図である。 Next, the operation of this embodiment will be described with reference to FIGS. 2 to 5 and FIG. FIG. 2 is a flowchart for explaining the processing of this embodiment. FIG. 3 is a schematic view illustrating the composition of a subject photographed by the digital camera 100.

図３（Ａ）は、撮影対象の被写体３００として、主被写体３０１と、背景被写体３０２、３０３を示す。図３（Ｂ）は、各被写体を奥行き方向に表示した例３１０を示す。被写体３１１と３０１、被写体３１２と３０２、被写体３１３と３０３がそれぞれ同じ被写体である。図３（Ｂ）には奥行き方向にてデジタルカメラ３１４から各被写体までの距離（被写体距離）を示している。 FIG. 3A shows a main subject 301 and background subjects 302 and 303 as the subject 300 to be photographed. FIG. 3B shows an example 310 in which each subject is displayed in the depth direction. The subjects 311 and 301, the subjects 312 and 302, and the subjects 313 and 303 are the same subject. FIG. 3B shows distances (subject distances) from the digital camera 314 to each subject in the depth direction.

図３（Ｂ）では、デジタルカメラ３１４の位置を基準とする被写体距離として、被写体３１１が最も近く、その次に被写体３１２が位置し、被写体３１３が最も遠くに位置している。複数の合焦位置３１５、３１６を小三角形の記号でそれぞれ示す。主被写体３１１は位置３１７と位置３１８との間に存在する。つまり、位置３１７におけるＤ_ｍｓがデジタルカメラ３１４から主被写体３１１の前部までの距離を表し、位置３１８におけるＤ_ｍｅがデジタルカメラ３１４から主被写体３１１の後部までの距離を表している。主被写体３１１に関する距離情報３１９（主被写体距離範囲）をＤ_ｍと表記すると、「Ｄ_ｍ＝Ｄ_ｍｅ−Ｄ_ｍｓ」である。 In FIG. 3B, the subject 311 is closest, the subject 312 is located next, and the subject 313 is located farthest as the subject distance based on the position of the digital camera 314. A plurality of in-focus positions 315 and 316 are indicated by small triangle symbols, respectively. The main subject 311 exists between the position 317 and the position 318. That is, D _{ms at} the position 317 represents the distance from the digital camera 314 to the front of the main subject 311, and D _{me at} the position 318 represents the distance from the digital camera 314 to the rear of the main subject 311. When distance information 319 (main subject distance range) regarding the main subject 311 is expressed as D _m , “D _m = D _me −D _ms ”.

図４は、表示装置に応じた合成比率を例示した図である。図４（Ａ）は、高解像度モニタに画像を表示する際の合成比率４００を示す。図４（Ｂ）は、低解像度モニタに画像を表示する際の合成比率４１０を示す。横軸はカメラから被写体までの距離（被写体距離）を表し、縦軸は合成比率を表す。 FIG. 4 is a diagram illustrating an example of the combination ratio according to the display device. FIG. 4A shows a composition ratio 400 when an image is displayed on a high-resolution monitor. FIG. 4B shows a composition ratio 410 when an image is displayed on a low resolution monitor. The horizontal axis represents the distance from the camera to the subject (subject distance), and the vertical axis represents the composition ratio.

図４（Ａ）において、各画像に対する合成比率４０１を台形状のグラフでそれぞれ示している。例えば、グラフの上辺部の合成比率の値は１．０であり、その左右の斜辺部では合成比率の値が１．０未満である。各画像の合焦位置を小三角形の記号で示す。黒塗された小三角形で示す合焦位置（例えば４０２、４０５）は、主被写体に焦点が合った画像の合焦位置を表す。また白塗された小三角形で示す合焦位置（例えば４０３）は、主被写体以外の対象に焦点を合わせたときの画像の合焦位置を表す。各合焦位置における被写界深度４０４を矩形領域でそれぞれ示す。図４（Ａ）は、主被写体距離範囲に亘る７つの合成比率を例示する。 In FIG. 4A, the composition ratio 401 for each image is shown by a trapezoidal graph. For example, the value of the composition ratio at the upper side of the graph is 1.0, and the value of the composition ratio is less than 1.0 at the left and right oblique sides. The focus position of each image is indicated by a small triangle symbol. In-focus positions indicated by black small triangles (for example, 402 and 405) represent in-focus positions of the image focused on the main subject. A focus position (for example, 403) indicated by a small white triangle represents the focus position of the image when focused on an object other than the main subject. The depth of field 404 at each focus position is indicated by a rectangular area. FIG. 4A illustrates seven composition ratios over the main subject distance range.

図４（Ｂ）において、各画像に対する合成比率４１１を台形状のグラフでそれぞれ示している。小三角形の記号の意味は図４（Ａ）の場合と同じである。黒塗の小三角形で示す合焦位置（４１２、４１６、４１７）は主被写体に焦点を合わせた画像の合焦位置を表す。白塗の小三角形で示す合焦位置（４１３）は主被写体以外の対象に焦点を合わせた画像の合焦位置を表す。各合焦位置における被写界深度４１４を矩形領域でそれぞれ示す。図４（Ｂ）は、主被写体距離範囲に亘る３つの合成比率を例示する。 In FIG. 4B, the composition ratio 411 for each image is shown by a trapezoidal graph. The meaning of the small triangle symbol is the same as in FIG. In-focus positions (412, 416, 417) indicated by black small triangles represent in-focus positions of the image focused on the main subject. A focus position (413) indicated by a small white triangle represents the focus position of an image focused on an object other than the main subject. The depth of field 414 at each in-focus position is indicated by a rectangular area. FIG. 4B illustrates three composition ratios over the main subject distance range.

図５は、各合成比率の算出方法を示す図である。図５にて、横軸は被写体距離を表し、縦軸は合成比率を表す。合成比率のグラフ５０１において、Ｄ_ｐで示す合焦位置５０２を小三角形の記号で示している。合焦位置５０２に対する、前方被写界深度５０３をＤ_ｆｓと表記し、後方被写界深度５０４をＤ_ｆｅと表記し、被写界深度５０５をＤｆと表記する。台形状のグラフ５０１の区間５０６、５０７、５０８はそれぞれ、左側斜辺部、上辺部、右側斜辺部の区間に相当する。合成比率の値が最も大きい区間５０７の距離をＤ_ａと表記する。 FIG. 5 is a diagram illustrating a method for calculating each composition ratio. In FIG. 5, the horizontal axis represents the subject distance, and the vertical axis represents the composition ratio. In the graph 501 of the synthesis ratios, it is shown in-focus position 502 of the small triangle symbol indicated by D _p. The front depth of field 503 for the in-focus position 502 is denoted as D _fs , the rear depth of field 504 is denoted as D _fe, and the depth of field 505 is denoted as Df. The sections 506, 507, and 508 of the trapezoidal graph 501 correspond to sections of the left oblique side, the upper side, and the right oblique side, respectively. The distance value of the composite ratio is largest section 507 is denoted by D _a.

図１１は主被写体距離の算出方法を説明する図である。図１１は図３と同一の構図である。図１１（Ａ）は、後述する距離情報生成部が生成した距離情報１１００を、グレースケールで示す。白から黒になるに連れて、カメラ位置を基準する距離が大きくなり、被写体が遠いことを示す。図１１（Ｂ）は、距離情報１１１０において、後述する主被写体検出部が生成した主被写体検出領域１１１１を示す。図１１（Ｃ）は、図１１（Ａ）の距離情報１１００と図１１（Ｂ）の距離情報１１１０との論理積を計算した結果を例示し、主被写体領域のみの距離情報１１２０を示している。図１１（Ｄ）は、主被写体領域の距離情報をヒストグラム化したグラフ１１３０を示す。横軸は被写体距離を表し、縦軸は距離情報の頻度を表す。ヒストグラムの極小点近傍に囲まれたＤ_ｍｓからＤ_ｍｅまでの距離区間が主被写体距離範囲Ｄ_ｍである。 FIG. 11 is a diagram for explaining a method of calculating the main subject distance. FIG. 11 is the same composition as FIG. FIG. 11A shows distance information 1100 generated by a distance information generation unit described later in gray scale. As the color changes from white to black, the distance based on the camera position increases, indicating that the subject is far away. FIG. 11B shows a main subject detection area 1111 generated by a main subject detection unit described later in the distance information 1110. FIG. 11C illustrates the result of calculating the logical product of the distance information 1100 in FIG. 11A and the distance information 1110 in FIG. 11B, and shows distance information 1120 only for the main subject region. . FIG. 11D shows a graph 1130 in which the distance information of the main subject region is converted into a histogram. The horizontal axis represents the subject distance, and the vertical axis represents the frequency of distance information. A distance section from D _ms to D _me surrounded by the minimum point of the histogram is the main subject distance range D _m .

次に、図２のフローチャートに則って本実施形態の動作を説明する。以下の処理は制御部１０６のＣＰＵがメモリから読み出して実行するプログラムにしたがって実現される。
Ｓ２０１で制御部１０６は、撮影光学系１０１の駆動制御を行い、可動レンズを移動させる。撮像部１０２は合焦位置の異なる複数の画像を取得し、記録部１０７は画像の記録処理を行う。なお、画像の取得方法としては、例えば単眼カメラにおいてフォーカスレンズの駆動制御を行い、合焦位置または絞り値を変更して複数の画像を取得する方法のみに限定されない。この他には、多眼カメラで同時に被写体を撮影する方法がある。合焦位置または絞り値の異なる複数の撮影光学系により結像される被写体の光学像から複数の画像を取得できる。またはライトフィールドカメラで撮影する方法がある。ライトフィールドカメラは、撮影光学系と撮像素子との間にマイクロレンズアレイが配置されている。撮像素子の複数の光電変換部に対して１つのマイクロレンズを対応させ、マイクロレンズを通過した光を複数の光電変換部に入射させることにより、光線の強度分布と入射方向の情報を取得できる。各光電変換部の出力信号は入射方向ごとに取得された情報を含み、当該情報を用いて距離情報が取得される。ライトフィールドデータの処理にて、マイクロレンズアレイのレンズ頂点面からの距離が異なる焦点面での像は、各マイクロレンズの光軸からの偏心量に対応した位置にある光電変換部の各出力を合成することで得られる。ライトフィールドデータに含まれる光線情報と方向情報を取得し、光線の並べ替えと計算処理を行うこと（再構成）により、任意の合焦位置での画像データを生成することができる。 Next, the operation of this embodiment will be described according to the flowchart of FIG. The following processing is realized according to a program that the CPU of the control unit 106 reads out from the memory and executes.
In step S201, the control unit 106 performs drive control of the photographing optical system 101 and moves the movable lens. The imaging unit 102 acquires a plurality of images with different in-focus positions, and the recording unit 107 performs image recording processing. Note that the image acquisition method is not limited to a method of acquiring a plurality of images by changing the focus position or the aperture value by performing drive control of the focus lens in a monocular camera, for example. In addition, there is a method of photographing a subject simultaneously with a multi-lens camera. A plurality of images can be acquired from an optical image of a subject formed by a plurality of photographing optical systems having different in-focus positions or aperture values. Or there is a method of shooting with a light field camera. In the light field camera, a microlens array is disposed between the photographing optical system and the image sensor. By associating one microlens with a plurality of photoelectric conversion units of the image sensor and allowing light that has passed through the microlens to enter the plurality of photoelectric conversion units, it is possible to obtain information on the intensity distribution and the incident direction of light rays. The output signal of each photoelectric conversion unit includes information acquired for each incident direction, and distance information is acquired using the information. In the processing of the light field data, images on focal planes with different distances from the lens apex surface of the micro lens array are obtained by outputting each output of the photoelectric conversion unit at a position corresponding to the amount of eccentricity from the optical axis of each micro lens. Obtained by synthesis. Image data at an arbitrary in-focus position can be generated by acquiring light ray information and direction information included in the light field data, and rearranging and calculating light rays (reconstruction).

Ｓ２０２で通信部１０８は、表示部１０９の画面の解像度やサイズ等の情報を取得して、ＲＡＭ１０４に記憶する。Ｓ２０３で制御部１０６は、主被写体の距離情報であるＤ_ｍｓとＤ_ｍｅを取得する処理を行う。主被写体の距離情報は、図１１で説明した方法により算出することが可能である。距離情報生成部と主被写体検出部については、公知技術を適用すればよい。例えば、距離情報生成処理については特許文献３にて、瞳分割タイプの撮像素子を用いる方法が開示されている。具体的には、撮像部１０２内の撮像素子は、複数のマイクロレンズと各マイクロレンズが対応する複数の光電変換部を備えている。各光電変換部は、撮影光学系１０１の異なる瞳領域から到来する光束が生ずる複数の被写体像にそれぞれ対応する画素信号を出力する。複数の被写体像に対して像信号の相関演算処理が実行される。取得される画像は視点の異なる画像であり、複数の画像間の視差量を算出する処理が行われる。撮像素子の画素ピッチ（撮像素子を構成する画素部の画素間距離）と、一対の測距瞳を通過する光束の重心の開き角の大きさによって決まる変換係数を用いて、結像面に対するデフォーカス量、すなわち距離情報を算出することができる。被写体の距離情報は、画角内の距離分布の情報であって、画角内の被写体の深さに対応し、少なくとも深さの相対関係を表す情報である。瞳分割画像の視差から距離を算出する例に限定されることなく、例えばコントラストＡＦ（オートフォーカス）評価値等を用いて距離情報を取得してもよい。また、次元として距離に換算されていなくても、例えば瞳分割画像の視差量の分布情報(視差マップ、像ずれマップ)やデフォーカス量の分布情報（デフォーカスマップ）の形態であっても被写体の深さ方向の相対関係はわかるため、本発明が適用可能である。本実施形態ではかかる分布情報を総括して被写体の距離情報と呼ぶことにする。 In step S 202, the communication unit 108 acquires information such as the screen resolution and size of the display unit 109 and stores the information in the RAM 104. In step S 203, the control unit 106 performs processing for acquiring D _ms and D _me that are distance information of the main subject. The distance information of the main subject can be calculated by the method described in FIG. A known technique may be applied to the distance information generation unit and the main subject detection unit. For example, Patent Document 3 discloses a method using a pupil division type imaging device for distance information generation processing. Specifically, the imaging element in the imaging unit 102 includes a plurality of microlenses and a plurality of photoelectric conversion units corresponding to the microlenses. Each photoelectric conversion unit outputs pixel signals respectively corresponding to a plurality of subject images in which light beams coming from different pupil regions of the photographing optical system 101 are generated. Image signal correlation calculation processing is executed for a plurality of subject images. The acquired images are images with different viewpoints, and processing for calculating the amount of parallax between the plurality of images is performed. Using the conversion coefficient determined by the pixel pitch of the image sensor (inter-pixel distance of the pixel portion constituting the image sensor) and the opening angle of the center of gravity of the light beam passing through the pair of distance measuring pupils, A focus amount, that is, distance information can be calculated. The distance information of the subject is information on the distance distribution within the angle of view and corresponds to the depth of the subject within the angle of view and represents at least the relative relationship of the depth. The distance information may be acquired using, for example, a contrast AF (autofocus) evaluation value without being limited to the example of calculating the distance from the parallax of the pupil-divided image. Even if the distance is not converted as a dimension, the subject can be in the form of disparity amount distribution information (parallax map, image shift map) or defocus amount distribution information (defocus map) of a pupil-divided image, for example. Since the relative relationship in the depth direction is known, the present invention is applicable. In the present embodiment, such distribution information is collectively referred to as subject distance information.

一方、主被写体検出処理については特許文献４に開示された方法がある。この方法は撮影画像から色情報を取得し、それらのヒストグラムを所定の分布範囲に区分けし、その区域を一つの被写体として分類して被写体を検出する方法である。なお、本実施形態において主被写体の検出方法は特定の方法に限定されない。 On the other hand, there is a method disclosed in Patent Document 4 for the main subject detection process. In this method, color information is acquired from a photographed image, the histograms thereof are divided into predetermined distribution ranges, the areas are classified as one subject, and the subject is detected. In the present embodiment, the main subject detection method is not limited to a specific method.

Ｓ２０４で制御部１０６は、各合焦画像の合焦距離であるＤ_ｐを算出する。具体的には、撮影時の測距枠と同一座標にある距離情報が合焦距離Ｄ_ｐとして算出される。なお、測距枠は複数の画素のブロックで形成される。このため、距離情報についても測距枠内に含まれる距離情報の平均値または最頻値を代表値として合焦距離Ｄ_ｐが決定される。 Control unit 106 in S204 calculates the _{D p} is a focal distance of the respective focusing image. Specifically, the distance information in the same coordinates and measurement frame at the time of photographing is calculated as the distance D _p focus. The distance measurement frame is formed of a plurality of pixel blocks. For this reason, the focus distance _Dp is determined using the average value or the mode value of the distance information included in the distance measurement frame as the representative value.

Ｓ２０５で主被写体全体に合焦しているか否かの判定処理である。これは、主被写体全体に合焦させる際、主被写体以外に合焦している画像を合成に使用しないようにするために行う判定処理である。制御部１０６は、各撮影画像の主被写体に合焦しているか否かを判定する。具体的には、Ｓ２０４で算出された各撮影画像の合焦距離Ｄ_ｐが、Ｓ２０３で算出された主被写体距離情報Ｄ_ｍｓとＤ_ｍｅとの間である場合、現在の画像において主被写体に合焦していると判定される。Ｓ２０５で、主被写体に合焦していると判定された場合、Ｓ２０６に処理を進める。また主被写体に合焦していないと判定された場合には、後述する合成比率の値を０に設定して、Ｓ２０４に戻る。 In S205, whether or not the entire main subject is in focus is determined. This is a determination process that is performed so that an image focused on other than the main subject is not used for synthesis when the entire main subject is focused. The control unit 106 determines whether or not the main subject of each captured image is in focus. Specifically, when the in-focus distance D _p of each captured image calculated in S204 is between the main subject distance information D _ms and D _me calculated in S203, the current subject is focused on the main subject. It is determined to be in focus. If it is determined in S205 that the main subject is in focus, the process proceeds to S206. On the other hand, if it is determined that the main subject is not in focus, the value of a composition ratio described later is set to 0, and the process returns to S204.

Ｓ２０６で制御部１０６は、各撮影画像（合焦画像）の被写界深度である前方被写界深度Ｄ_ｆｓと後方被写界深度Ｄ_ｆｅを算出する。被写界深度は下記式（１）および（２）を用いて算出される。

ここで、δは許容錯乱円径、Ｆは絞り値、ｆは焦点距離であり、単位はすべて「ｍｍ」である。なお、δの値は撮像部１０２の画素ピッチによって決まる。 Control unit 106 in S206 calculates the forward depth of field _{D fs} and rear depth of field _{D fe} is the depth of field of the captured image (focus image). The depth of field is calculated using the following equations (1) and (2).

Here, δ is an allowable circle of confusion, F is an aperture value, f is a focal length, and all units are “mm”. Note that the value of δ is determined by the pixel pitch of the imaging unit 102.

Ｓ２０７で制御部１０６は、合焦距離Ｄ_ｐ、前方被写界深度Ｄ_ｆｓ、後方被写界深度Ｄ_ｆｅを用いて、各画像に対する合成比率を算出する。図５に例示するように、合焦距離Ｄ_ｐを中心とした所定距離の区間５０７に対する合成比率の値は１．０である。区間５０７から被写体距離が離れる区間５０６、５０８では合成比率の値が減少する。具体例として、下記式（３）を用いて合成比率の値が算出される。画像内の各画素位置に対応する距離をｄと表記し、ｎ番目の合焦画像に対する合成比率をＷ（ｎ,ｄ）と表記する。図５で合成比率の値が１．０となる距離区間をＤ_ａとする。
if( d < D_fs) W(n,d) = 0
else if(d <(D_p-D_a/2)) W(n,d)=k1 * d + B
else if(d < (D_p+D_f/2) W(n,d)=1.0
else if(d<D_fe) W(n,d) =-k2 * d + C
else W(n,d)=0.0 ・・・（３）
if（）内の不等式は条件式を示す。k1,k2は各区間５０６、５０８の傾き（係数）であり、B,Cはｙ切片である（合成比率の軸をｙ軸と定義する）。 In step S207, the control unit 106 calculates a composition ratio for each image using the in-focus distance D _p , the front depth of field D _fs , and the rear depth of field D _fe . As illustrated in FIG. 5, the value of the composite ratio section 507 a predetermined distance around the focusing distance D _p is 1.0. In the sections 506 and 508 where the subject distance is away from the section 507, the value of the composition ratio decreases. As a specific example, the value of the composition ratio is calculated using the following formula (3). The distance corresponding to each pixel position in the image is denoted by d, and the composition ratio for the nth focused image is denoted by W (n, d). The distance interval which the value of synthesis ratio is 1.0 in FIG. 5 and D _a.
if (d <D _fs ) W (n, d) = 0
else if (d <(D _p -D _a / 2)) W (n, d) = k1 * d + B
else if (d <(D _p + D _f / 2) W (n, d) = 1.0
else if (d <D _fe ) W (n, d) = -k2 * d + C
else W (n, d) = 0.0 (3)
Inequalities in if () indicate conditional expressions. k1 and k2 are slopes (coefficients) of the respective sections 506 and 508, and B and C are y-intercepts (the composite ratio axis is defined as the y-axis).

Ｓ２０８で制御部１０６は、Ｓ２０２で取得した情報を用いて表示部１０９の表示解像度（または表示画面サイズ）について判断する。合成処理後の画像を表示する表示部１０９にて高解像度の表示が可能である（または表示画面サイズが大きい）と判断された場合、Ｓ２０９へ進み、そうでない場合（低解像度の表示または表示画面サイズが小さい場合）にはＳ２１０に移行する。表示部１０９の解像度の判断処理にて制御部１０６は、撮影画像の画素数、表示部１０９の解像度であるＰＰＩ（ＰｉｘｅｌＰｅｒＩｎｃｈ）、出力画素数と表示画素数との比を用いる。なお、ＰＰＩは対角画素数を対角のインチ数で除算した比である。一般的に、ＰＰＩが高い場合に高解像度の表示部と言えるが、出力画素数が表示部の画素数と異なると、表示部の画素数に合うように拡縮処理を行うか、画像の一部を表示する処理が行われることになる。このため、その表示のさせ方も考慮する必要がある。例えば、出力画素数に対して表示画素数が小さい場合、「表示画素数／出力画素数」分の縮小処理が行われて画像が表示されるので、縮小処理に伴う表示解像力の低下が発生する。そこで、本実施形態では、表示部のＰＰＩに出力画素数と表示画素数との比を乗算した値を解像度と定義する。その値が所定の閾値以上である場合に制御部１０６は高解像度と判断し、所定の閾値より小さい場合には低解像度と判断する。図１０を参照して具体例を説明する。 In step S208, the control unit 106 determines the display resolution (or display screen size) of the display unit 109 using the information acquired in step S202. If it is determined that the display unit 109 that displays the combined image can display a high resolution (or the display screen size is large), the process proceeds to S209, and if not (a low resolution display or display screen) If the size is small, the process proceeds to S210. In the resolution determination process of the display unit 109, the control unit 106 uses the number of pixels of the captured image, PPI (Pixel Per Inch) which is the resolution of the display unit 109, and the ratio between the number of output pixels and the number of display pixels. Note that PPI is a ratio obtained by dividing the number of diagonal pixels by the number of diagonal inches. Generally, when the PPI is high, it can be said to be a high-resolution display unit. However, if the number of output pixels is different from the number of pixels in the display unit, enlargement / reduction processing is performed so as to match the number of pixels in the display unit, or part of the image Is displayed. For this reason, it is necessary to consider how to display it. For example, when the number of display pixels is smaller than the number of output pixels, a reduction process corresponding to “the number of display pixels / the number of output pixels” is performed and an image is displayed, so that a reduction in display resolution accompanying the reduction process occurs. . Therefore, in this embodiment, a value obtained by multiplying the PPI of the display unit by the ratio between the number of output pixels and the number of display pixels is defined as resolution. The control unit 106 determines that the resolution is high when the value is equal to or greater than a predetermined threshold, and determines that the resolution is low when the value is smaller than the predetermined threshold. A specific example will be described with reference to FIG.

図１０は、様々な表示部の画面サイズと画素数の画像を、具体的な数字で示している。出力画像は図３に示す被写体３００の画像と同一の構図の画像である。出力画像の画素数を水平方向にて４０００画素であって垂直方向にて２０００画素の、合計８００万画素とする。各画像１０００から１００５の詳細は、下記表１のとおりである。 FIG. 10 shows images of screen sizes and pixel numbers of various display portions with specific numbers. The output image is an image having the same composition as the image of the subject 300 shown in FIG. The number of pixels in the output image is 4000 pixels in the horizontal direction and 2000 pixels in the vertical direction, for a total of 8 million pixels. Details of the images 1000 to 1005 are as shown in Table 1 below.

画像１０００、１００１は、出力画像（撮影画像）の解像度と表示部の解像度が同じであり、ピクセル等倍表示の画像である。画像１００２、１００３は、出力画像の解像度より表示部の解像度が低い全体縮小表示の画像である。さらに、画像１００４、１００５では、出力画像の解像度より表示部の解像度が低くても、ピクセル等倍表示が可能である。ただし、その際には画像の一部のみが表示されることになる。 The images 1000 and 1001 have the same resolution of the output image (captured image) and the resolution of the display unit, and are images with the same pixel display. Images 1002 and 1003 are whole reduced display images in which the resolution of the display unit is lower than the resolution of the output image. Further, the images 1004 and 1005 can be displayed in the same pixel size even when the resolution of the display unit is lower than the resolution of the output image. However, at that time, only a part of the image is displayed.

表示部が画像１０００を表示する場合の表示解像度は１８６であり、出力画素数と表示画素数が同一である。表示解像度に対して、出力画素数と表示画素数との比を乗算した値として定義される解像度は、１８６ＰＰＩのままである。同様の考え方により、画像１００１を表示する際の解像度は、７４５ＰＰＩである。一方、画像１００２を表示する場合、出力解像度は９３であり、表示部の画素数（表示解像度４６．５）に合わせて１／２の縮小処理が行われる。よって、定義された解像度は、９３×（１／２）＝４６．５ＰＰＩとなる。画像１００３を表示する場合、定義された解像度は、３７３×（１／２）＝１８６．５ＰＰＩとなる。一方で、画像１００４、１００５のように、出力画素数が表示部の画素数より大きいが、ピクセル等倍で表示部が表示している場合、縮小処理は伴わず、定義された解像度はそれぞれ、９３ＰＰＩ、３７３ＰＰＩとなる。 When the display unit displays the image 1000, the display resolution is 186, and the number of output pixels is the same as the number of display pixels. The resolution defined as a value obtained by multiplying the display resolution by the ratio of the number of output pixels and the number of display pixels remains 186 PPI. Based on the same concept, the resolution when displaying the image 1001 is 745 PPI. On the other hand, when the image 1002 is displayed, the output resolution is 93, and 1/2 reduction processing is performed in accordance with the number of pixels of the display unit (display resolution 46.5). Therefore, the defined resolution is 93 × (1/2) = 46.5 PPI. When the image 1003 is displayed, the defined resolution is 373 × (1/2) = 186.5 PPI. On the other hand, when the display unit displays the number of output pixels larger than the number of pixels of the display unit, such as images 1004 and 1005, but with the same pixel magnification, no reduction process is involved, and the defined resolutions are respectively 93 PPI and 373 PPI.

図２のＳ２０９で制御部１０６は、高解像度の表示部に画像を表示する場合の合成比率の制御を行う。高解像度の表示部では合焦の外れが目立ちやすいため、制御部１０６は被写体の合焦距離に極力近い領域のみを合成するように合成比率を変更する。具体的には、式（３）において、合成比率の値が１．０となる距離区間Ｄ_ａ（図５）を狭くし、各区間の傾きk1およびk2が急峻になるように合成比率が制御される（図４（Ａ）参照）。 In step S209 of FIG. 2, the control unit 106 controls the composition ratio when an image is displayed on the high-resolution display unit. Since the out-of-focus state is easily noticeable in the high-resolution display unit, the control unit 106 changes the combining ratio so as to combine only the region as close as possible to the in-focus distance of the subject. Specifically, in Equation (3), the distance ratio D _a (FIG. 5) where the value of the composition ratio is 1.0 is narrowed, and the composition ratio is controlled so that the slopes k1 and k2 of each section become steep. (See FIG. 4A).

またＳ２１０で制御部１０６は、低解像度の表示部に画像を表示する場合の合成比率の制御を行う。低解像度の表示部では合焦の外れが目立ちにくいため、制御部１０６は被写体の合焦距離に近い領域だけでなく合焦距離から離れた領域を合成するように合成比率を変更する。具体的には、式（３）において、合成比率の値が１．０となる距離区間Ｄ_ａを広くし、各区間の傾きk1およびk2が緩やかになるように合成比率が制御される（図４（Ｂ）参照）。 In step S210, the control unit 106 controls a composition ratio when an image is displayed on a low-resolution display unit. Since the out-of-focus state is less noticeable in the low-resolution display unit, the control unit 106 changes the combination ratio so as to combine not only the region close to the in-focus distance of the subject but also the region away from the in-focus distance. Specifically, in equation (3), the value of the combination ratio is large the distance interval D _a to be 1.0, combining ratio so that the inclination k1 and k2 becomes gentle in each section is controlled (Fig. 4 (B)).

このような制御を行うと、図４（Ａ）の合成比率４００に示すように各画像の合成比率４０１の値が１．０となる区間は狭くなり、図４（Ｂ）の合成比率４１０に示すように各画像の合成比率４１１の値が１．０となる区間は広くなる。また、低解像度の表示部により画像を表示する際には、白塗の小三角形で示す位置４１５において、黒塗の小三角形で示す合焦位置４１６、４１７にそれぞれ対応するグラフの合成比率の値が共に０以上となるように設定される。つまり、合焦位置４１６に対応するグラフの右側斜辺部と合焦位置４１７に対応するグラフの左側斜辺部との交点の位置が、ほぼ位置４１５に一致し、当該位置で読み取れる合成比率の値は０より大きい（αと記す）。位置４１５に対応する撮像画像は、合成に使用しないように除外することができる。これが位置４１５を白塗の小三角形で示している理由である。なお、低解像度の表示部に出力する場合、主被写体領域を引き立たせるために背景領域を検出して、背景領域にぼけを付与する処理が行われる。背景をぼかす処理は制御部１０６の指示を受けて画像処理部１０３が行う。 When such control is performed, the interval where the value of the composition ratio 401 of each image is 1.0 is narrowed as shown in the composition ratio 400 of FIG. 4A, and the composition ratio 410 of FIG. As shown, the interval where the value of the composition ratio 411 of each image is 1.0 becomes wider. Further, when an image is displayed by the low-resolution display unit, the value of the composition ratio of the graph corresponding to the in-focus positions 416 and 417 indicated by the black small triangles at the position 415 indicated by the white small triangles, respectively. Are set to be 0 or more. That is, the position of the intersection of the right oblique side of the graph corresponding to the in-focus position 416 and the left oblique side of the graph corresponding to the in-focus position 417 substantially coincides with the position 415, and the value of the composite ratio that can be read at that position is Greater than 0 (denoted as α). The captured image corresponding to the position 415 can be excluded so as not to be used for composition. This is the reason why the position 415 is indicated by a small white triangle. Note that when outputting to a low-resolution display unit, processing for detecting the background region and adding blur to the background region is performed in order to enhance the main subject region. The processing for blurring the background is performed by the image processing unit 103 in response to an instruction from the control unit 106.

図２のＳ２０９またはＳ２１０の処理後にＳ２１１へ進む。Ｓ２１１で制御部１０６は、撮影された全ての合焦画像に対する合成比率の算出が終了したか否かを判断する。全ての画像に対する合成比率の算出が終了した場合、Ｓ２１２に処理を進め、算出処理が終了していない場合にはＳ２０４に処理を戻して、次の画像の合成比率算出処理を継続する。 After the process of S209 or S210 in FIG. In step S 211, the control unit 106 determines whether the calculation of the composition ratio for all captured in-focus images has been completed. If the calculation of the composition ratio for all images has been completed, the process proceeds to S212. If the calculation process has not been completed, the process returns to S204 to continue the composition ratio calculation process for the next image.

Ｓ２１２において画像処理部１０３および制御部１０６は、決定した各合焦画像に対する合成比率を用いて画像の合成処理を行う。その際、合成比率の合計値を１以下に抑えるために、最終的な合成比率は、下記式（４）に基づいて正規化される。

ここで、Nは撮影画像の総数である。 In step S212, the image processing unit 103 and the control unit 106 perform image synthesis processing using the determined synthesis ratio for each focused image. At that time, in order to suppress the total value of the synthesis ratio to 1 or less, the final synthesis ratio is normalized based on the following formula (4).

Here, N is the total number of captured images.

Ｓ２１３で通信部１０８は、Ｓ２１２で合成処理によって生成された表示用画像のデータを表示部１０９に出力する処理を行い、一連の処理を終了する。
本実施形態では、被写体全体に合焦した画像を生成する際、表示装置の表示能力に応じて合成処理方法を変更して表示用画像を生成する。これにより、ユーザがどの視聴環境で画像を視聴しても被写体全体に焦点の合った合焦画像を生成することができる。 In S213, the communication unit 108 performs a process of outputting the display image data generated by the synthesis process in S212 to the display unit 109, and ends the series of processes.
In this embodiment, when an image focused on the entire subject is generated, a display processing image is generated by changing the composition processing method according to the display capability of the display device. Thereby, it is possible to generate a focused image that is focused on the entire subject regardless of the viewing environment in which the user views the image.

［第２実施形態］
次に本発明の第２実施形態を説明する。本実施形態では、絞り値（Ｆ値）を変化させた複数の画像を用いて、主被写体全体に合焦した画像を選択して、表示能力の異なる複数の表示装置に出力する形態を説明する。なお、本実施形態にて第１実施形態の場合と同様の構成については既に使用した符号を用いることでそれらの詳細な説明を省略し、主に相違点を説明する。このような説明の省略については後述の実施形態でも同じである。 [Second Embodiment]
Next, a second embodiment of the present invention will be described. In the present embodiment, an embodiment will be described in which an image focused on the entire main subject is selected using a plurality of images with different aperture values (F values) and output to a plurality of display devices having different display capabilities. . In addition, about the structure similar to the case of 1st Embodiment in this embodiment, those detailed description is abbreviate | omitted by using the code | symbol already used, and a difference is mainly demonstrated. Omitting such description is the same in the embodiments described later.

図６のフローチャートに則って、本実施形態の動作を説明する。
Ｓ６０１で制御部１０６は、撮影光学系１０１の絞りを駆動制御し、Ｆ値の異なる複数の画像を取得して、画像信号を記録部１０７に記録する制御を行う。この場合、取得されるすべての画像は主被写体の任意の領域に合焦している画像であるものとする。Ｓ６０２で制御部１０６は、表示部１０９の表示解像度や表示画面サイズ等の情報を、通信部１０８から取得してＲＡＭ１０４に記憶する。 The operation of this embodiment will be described with reference to the flowchart of FIG.
In step S 601, the control unit 106 performs drive control of the aperture of the photographing optical system 101, acquires a plurality of images having different F values, and performs control to record the image signal in the recording unit 107. In this case, it is assumed that all the acquired images are images focused on an arbitrary area of the main subject. In step S 602, the control unit 106 acquires information such as the display resolution and display screen size of the display unit 109 from the communication unit 108 and stores the information in the RAM 104.

Ｓ６０３で制御部１０６は、Ｓ６０２で取得した情報を用いて表示解像度（または表示画面サイズ）について判断する。表示部１０９の表示解像度が高解像度である（または表示画面サイズが大きい）と判断された場合、Ｓ６０４へ進み、そうでない場合にはＳ６０７に移行する。Ｓ６０４で制御部１０６は、主被写体距離情報であるＤ_ｍｓとＤ_ｍｅを取得する。 In step S603, the control unit 106 determines the display resolution (or display screen size) using the information acquired in step S602. If it is determined that the display resolution of the display unit 109 is high (or the display screen size is large), the process proceeds to S604, and if not, the process proceeds to S607. In step S604, the control unit 106 acquires D _ms and D _me that are main subject distance information.

Ｓ６０５で制御部１０６は式（１）、（２）により、各画像の被写界深度である前方被写界深度Ｄ_ｆｓと後方被写界深度Ｄ_ｆｅを算出する。Ｓ６０６で制御部１０６は、主被写体距離情報Ｄ_ｍｓ、Ｄ_ｍｅと、前方被写界深度Ｄ_ｆｓ、後方被写界深度Ｄ_ｆｅを比較し、Ｆ値の異なる複数の画像（Ｆ値画像）から、画像を選択する。具体的には、複数のＦ値画像のうち、ｎ番目の画像に対する主被写体距離をＤ_ｍｓ(F)、Ｄ_ｍｅ(F)と表記する。前方被写界深度Ｄ_ｆｓが前方被写体距離Ｄ_ｍｓ(F)より短く、後方被写界深度Ｄ_ｆｅが後方被写体距離Ｄ_ｍｅ(F)より長くなるＦ値画像を選択する処理が行われるようにする。つまり、主被写体が被写界深度内におさまるＦ値画像が選択される。 In step S 605, the control unit 106 calculates the front depth of field D _fs and the rear depth of field D _fe that are the depth of field of each image according to equations (1) and (2). Control unit 106 in step S606, the main subject distance information _D _ms, and _{D me,} forward depth of field _{D fs,} to compare the backward depth of field _{D fe,} from different images F value (F value image) , Select an image. Specifically, the main subject distance with respect to the nth image among a plurality of F value images is denoted as D _ms (F) and D _me (F). Processing for selecting an F-number image in which the front depth of field _Dfs is shorter than the front subject distance _Dms (F) and the rear depth of field _Dfe is longer than the rear subject distance _Dme (F) is performed. To do. That is, an F-number image in which the main subject is within the depth of field is selected.

Ｓ６０７で制御部１０６は、撮影した複数のＦ値画像の中から最もＦ値の大きい画像を選択する。Ｆ値が大きくなると、回折ぼけの影響や、露光時間が長くなることで蓄積ブレの影響を受ける可能性がある。そのため、Ｓ６０１での撮影時にＦ値を変化させる際、Ｆ値の上限を決めることで、これらの影響を回避することが可能である。 In step S 607, the control unit 106 selects an image having the largest F value from a plurality of photographed F value images. When the F value is increased, there is a possibility that the influence of diffraction blur and the influence of accumulated blur due to the longer exposure time may occur. Therefore, when changing the F value during shooting in S601, it is possible to avoid these effects by determining the upper limit of the F value.

Ｓ６０６またはＳ６０７の後、Ｓ６０８に処理を進める。Ｓ６０８で制御部１０６は、Ｓ６０６またはＳ６０７で選択した画像を表示部１０９に表示させる制御を行う。その後に処理を終了する。
本実施形態では、被写体全体に合焦した画像を生成する際、表示装置の表示能力に応じて、Ｆ値の異なる複数の画像から選択した画像を表示装置へ出力する処理が行われる。 After S606 or S607, the process proceeds to S608. In step S608, the control unit 106 performs control to display the image selected in step S606 or S607 on the display unit 109. Thereafter, the process is terminated.
In the present embodiment, when an image focused on the entire subject is generated, a process of outputting an image selected from a plurality of images having different F values to the display device according to the display capability of the display device is performed.

［第３実施形態］
次に本発明の第３実施形態を説明する。第１および第２実施形態では、デジタルカメラ内で処理した画像を、表示装置に出力して表示させる形態を説明した。本実施形態では、表示装置（外部装置）が画像の合成および表示処理を行う形態について、図７から図９を用いて説明する。 [Third Embodiment]
Next, a third embodiment of the present invention will be described. In the first and second embodiments, a mode has been described in which an image processed in a digital camera is output and displayed on a display device. In the present embodiment, a mode in which a display device (external device) performs image composition and display processing will be described with reference to FIGS.

図７は、本実施形態に係る機能構成を示すブロック図である。デジタルカメラ７００と、外部装置であるスマートフォン７１０を例示し、第１実施形態で説明した合焦位置の異なる複数の画像の合成をスマートフォン７１０が行う。なお、デジタルカメラ７００の各構成部７０１から７０８はそれぞれ、図１の各構成部１０１から１０８と同様であるため説明を省略する。 FIG. 7 is a block diagram showing a functional configuration according to the present embodiment. The digital camera 700 and the smartphone 710 that is an external device are exemplified, and the smartphone 710 combines a plurality of images with different in-focus positions described in the first embodiment. Note that the components 701 to 708 of the digital camera 700 are the same as the components 101 to 108 in FIG.

スマートフォン７１０内の画像処理部７１３は、第１実施形態で説明した画像の合成処理を行い、合成後の画像信号をＲＡＭ７１４に記憶させる。制御部７１６は、例えばＣＰＵを有し、スマートフォン７１０が備える各ブロックの動作プログラムをＲＯＭ７１５から読み出し、ＲＡＭ７１４に展開して実行する。記録部７１７は画像処理部７１３により処理された画像データ等を記録媒体に記録する処理を行う。 The image processing unit 713 in the smartphone 710 performs the image combining process described in the first embodiment, and stores the combined image signal in the RAM 714. The control unit 716 includes, for example, a CPU, reads out the operation program of each block included in the smartphone 710 from the ROM 715, expands it in the RAM 714, and executes it. The recording unit 717 performs processing for recording the image data and the like processed by the image processing unit 713 on a recording medium.

通信部７１８は、デジタルカメラ７００と通信する。通信部７０８と通信部７１８は、ＨＤＭＩ（登録商標）等のケーブルや無線ＬＡＮ（Local Area Network）等のデータインターフェース部である。例えば、通信部７０８は、ＲＡＭ７０４に記憶されている画像信号を読み出して、スマートフォン７１０へ送信する。また通信部７１８は、スマートフォン７１０が備える表示部７１９の表示解像度や表示画面サイズ等の情報をデジタルカメラ７００へ送信する。 A communication unit 718 communicates with the digital camera 700. The communication unit 708 and the communication unit 718 are data interface units such as cables such as HDMI (registered trademark) and wireless LAN (Local Area Network). For example, the communication unit 708 reads an image signal stored in the RAM 704 and transmits the image signal to the smartphone 710. In addition, the communication unit 718 transmits information such as the display resolution and display screen size of the display unit 719 included in the smartphone 710 to the digital camera 700.

表示部７１９は、ＲＡＭ７１４から読み出された画像信号にしたがって画像を表示するモニタ部である。タッチパネルを用いたＵＩ（ユーザインターフェース）部７２０は、ユーザの操作指示を受け付け、操作指示信号を制御部７１６に出力する。 The display unit 719 is a monitor unit that displays an image according to the image signal read from the RAM 714. A UI (user interface) unit 720 using a touch panel receives a user operation instruction and outputs an operation instruction signal to the control unit 716.

図８は本実施形態のフローチャートである。図９は、スマートフォン７１０の表示部７１９の画面例を示す。図９（Ａ）に示す撮影被写体の画像９００は図３と同一の構図であり、主被写体９０１、背景被写体９０２、９０３を示す。図９（Ｂ）の画像９１０は、図９（Ａ）の画像９００の一部（点線の矩形枠９０４内）を拡大した画像である。 FIG. 8 is a flowchart of this embodiment. FIG. 9 shows a screen example of the display unit 719 of the smartphone 710. A photographed subject image 900 shown in FIG. 9A has the same composition as FIG. 3 and shows a main subject 901 and background subjects 902 and 903. An image 910 in FIG. 9B is an enlarged image of a part of the image 900 in FIG. 9A (within the dotted rectangular frame 904).

図８のフローチャートに則って動作を説明する。
Ｓ８０１からＳ８０４の処理はそれぞれ、図２のＳ２０１、Ｓ２０３からＳ２０５の処理と同様である。Ｓ８０１で合焦位置の異なる複数の画像が取得されて記録部１０７が画像信号を記録する。Ｓ８０２では、主被写体距離情報Ｄ_ｍｓおよびＤ_ｍｅが取得される。Ｓ８０３で制御部７０６は、各合焦画像の合焦距離Ｄ_ｐを算出し、Ｓ８０４では、各撮影画像にて主被写体に合焦しているか否かを判定する。 The operation will be described with reference to the flowchart of FIG.
The processing of S801 to S804 is the same as the processing of S201 and S203 to S205 of FIG. In S801, a plurality of images having different in-focus positions are acquired, and the recording unit 107 records an image signal. In S802, main subject distance information D _ms and D _me is acquired. Control unit 706 in S803 calculates the focus distance D _p of the respective focusing image, determines whether or not focused on the main subject at the S804, the captured image.

Ｓ８０４で主被写体に合焦していると判断された場合、Ｓ８０５に処理を進め、主被写体に合焦していないと判断された場合にはＳ８０３に処理を戻す。Ｓ８０５で通信部７０８は、Ｓ８０４で主被写体に合焦していると判断された画像のデータのみ、スマートフォン７１０へ送信する。この送信は、合成に使用する可能性がある画像のみを転送することを目的としている。 If it is determined in S804 that the main subject is in focus, the process proceeds to S805, and if it is determined that the main subject is not in focus, the process returns to S803. In step S 805, the communication unit 708 transmits only the image data determined to be focused on the main subject in step S 804 to the smartphone 710. This transmission is intended to transfer only images that may be used for composition.

Ｓ８０６、Ｓ８０７の各処理は、図２のＳ２０６、Ｓ２０７の各処理と同様である。Ｓ８０６で制御部７１６は前方被写界深度Ｄ_ｆｓと後方被写界深度Ｄ_ｆｅを算出し、Ｓ８０７では、合焦距離Ｄ_ｐ、前方被写界深度Ｄ_ｆｓ、後方被写界深度Ｄ_ｆｅを用いて、各画像に対する合成比率を算出する。Ｓ８０８で制御部７１６は合成比率の制御を行う。ユーザがスマートフォン等の小型モニタで画像を視聴する場合には合焦の外れが目立ちにくい。このため、被写体の合焦距離に近い領域だけでなく、合焦距離から離れた領域を合成する処理が行われる。制御部７１６は合成比率が最大となる範囲が広くなるように合成比率を変更する。例えば、図４（Ｂ）に示した合成比率４１０となるように合成比率の制御が行われる。 Each process of S806 and S807 is the same as each process of S206 and S207 of FIG. Control unit 716 in S806 calculates the forward depth of field _{D fs} and rear depth of field _{D fe,} in S807, the focusing distance _{D p,} the front depth of field _{D fs,} the rear depth of field _{D fe} Use to calculate the composition ratio for each image. In step S808, the control unit 716 controls the composition ratio. When a user views an image on a small monitor such as a smartphone, it is difficult for the focus to be out of focus. For this reason, processing for combining not only the area close to the in-focus distance of the subject but also the area away from the in-focus distance is performed. The control unit 716 changes the composition ratio so that the range in which the composition ratio is maximized becomes wide. For example, the composition ratio is controlled so that the composition ratio 410 shown in FIG.

Ｓ８０９で画像処理部７１３および制御部７１６は、決定した各合焦画像に対する合成比率を用いて画像の合成を行う。Ｓ８１０で表示部７１９は、合成された画像を表示する。Ｓ８１１で制御部７１６は、ユーザがＵＩ部７２０の操作により拡大指示の操作を行ったか否かを判断する。拡大指示の操作が行われた場合、Ｓ８１２へ進み、拡大指示の操作が行われない場合にはＳ８１４に移行する。ユーザの操作指示方法の１つとして、タッチパネルのピンチアウト操作（拇指と人差し指との間隔を拡げる操作）がある。図９は画像の一部を拡大して表示する処理の説明図である。ピンチアウト操作によって、図９（Ａ）の矩形枠９０４内の画像領域が拡大され、図９（Ｂ）の画像９１０の画角で表示される。 In step S809, the image processing unit 713 and the control unit 716 combine images using the determined combination ratio for each focused image. In step S810, the display unit 719 displays the combined image. In step S811, the control unit 716 determines whether the user has performed an enlargement instruction operation by operating the UI unit 720. If an enlargement instruction operation is performed, the process proceeds to S812. If an enlargement instruction operation is not performed, the process proceeds to S814. As one of the user operation instruction methods, there is a touch panel pinch-out operation (an operation for widening the interval between the thumb and index finger). FIG. 9 is an explanatory diagram of processing for enlarging and displaying a part of an image. By the pinch-out operation, the image area in the rectangular frame 904 in FIG. 9A is enlarged and displayed at the angle of view of the image 910 in FIG. 9B.

Ｓ８１２で制御部７１６は合成比率が最大となる範囲が狭くなるように合成比率を変更し、被写体の合焦距離に近い領域だけを合成する制御を行う。画像を拡大した場合、大型モニタでの視聴と同様に、合焦の外れが目立ちやすくなる。このため、例えば、図４（Ａ）に示した合成比率４００となるように合成比率の制御が行われる。 In step S812, the control unit 716 changes the composition ratio so that the range in which the composition ratio is maximum is narrowed, and performs control to combine only the region close to the in-focus distance of the subject. When the image is enlarged, the out-of-focus state is easily noticeable as in viewing on a large monitor. For this reason, for example, the composition ratio is controlled so that the composition ratio 400 shown in FIG.

Ｓ８１３で画像処理部７１３および制御部７１６は、出力画角のみでの合成処理を行う。撮影された画像全体に対して合成処理を行うのではなく、最終的な出力画角に相当する領域（図９（Ａ）の矩形枠９０４の画像領域）のみ、画像が合成されるので、処理負荷を低減することができる。Ｓ８１４で制御部７１６は、画像処理部７１３によりＳ８１３で処理された画像のデータを表示部７１９に出力する制御を行う。表示部７１９は画像を表示し、処理を終了する。
本実施形態では、撮像装置と通信する表示装置において、表示装置の表示能力および出力画角に応じて合成比率が変更されて表示用画像が生成される。 In step S813, the image processing unit 713 and the control unit 716 perform synthesis processing using only the output field angle. Rather than performing the compositing process on the entire captured image, the image is composed only in the area corresponding to the final output field angle (the image area of the rectangular frame 904 in FIG. 9A). The load can be reduced. In step S 814, the control unit 716 performs control to output the image data processed in step S 813 by the image processing unit 713 to the display unit 719. The display unit 719 displays an image and ends the process.
In the present embodiment, in the display device that communicates with the imaging device, the combination ratio is changed according to the display capability and the output angle of view of the display device, and a display image is generated.

［その他の実施形態］
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。 [Other Embodiments]
The present invention supplies a program that realizes one or more functions of the above-described embodiments to a system or apparatus via a network or a storage medium, and one or more processors in a computer of the system or apparatus read and execute the program This process can be realized. It can also be realized by a circuit (for example, ASIC) that realizes one or more functions.

１００・・・デジタルカメラ、１０１・・・撮影光学系、１０２・・・撮像部、１０３・・・画像処理部、１０６・・・制御部、１０８・・・通信部、１０９・・・表示部

DESCRIPTION OF SYMBOLS 100 ... Digital camera, 101 ... Imaging optical system, 102 ... Imaging part, 103 ... Image processing part, 106 ... Control part, 108 ... Communication part, 109 ... Display part

Claims

異なる合焦位置または絞り値で撮影された被写体に係る複数の画像を処理して前記被写体に焦点を合わせた合焦画像を生成する画像処理装置であって、
前記複数の画像を取得する取得手段と、
前記複数の画像から表示用の画像を生成する制御を行う制御手段と、
前記制御手段の指示にしたがって前記表示用の画像を生成する生成手段と、
前記生成手段により生成された前記表示用の画像を表示手段に出力する出力手段と、を有し、
前記制御手段は、表示解像度または表示画面サイズが異なる前記表示手段ごとに前記複数の画像を合成した画像または前記複数の画像から選択した画像にしたがって前記生成手段により前記合焦画像を生成する制御を行うことを特徴とする画像処理装置。 An image processing apparatus that processes a plurality of images related to a subject photographed at different in-focus positions or aperture values to generate a focused image focused on the subject,
Obtaining means for obtaining the plurality of images;
Control means for performing control to generate an image for display from the plurality of images;
Generating means for generating the display image in accordance with an instruction of the control means;
Output means for outputting the display image generated by the generation means to the display means,
The control means controls the generation means to generate the focused image according to an image obtained by combining the plurality of images or an image selected from the plurality of images for each of the display means having different display resolutions or display screen sizes. An image processing apparatus that performs the processing.

前記制御手段は、前記表示手段の表示解像度または表示画面サイズの情報を取得して前記複数の画像に対するそれぞれの合成比率を決定することを特徴とする請求項１に記載の画像処理装置。 2. The image processing apparatus according to claim 1, wherein the control unit acquires information on a display resolution or a display screen size of the display unit and determines respective composition ratios for the plurality of images.

前記制御手段は、第１の表示手段に画像を表示する場合、前記複数の画像に対する合成比率が高い範囲を、第２の表示手段に画像を表示する場合よりも狭く設定することを特徴とする請求項２に記載の画像処理装置。 The control means, when displaying an image on the first display means, sets a range with a high composition ratio to the plurality of images narrower than when displaying an image on the second display means. The image processing apparatus according to claim 2.

前記第１の表示手段は、前記第２の表示手段よりも表示解像度が高いか、または表示画面サイズが大きいことを特徴とする請求項３に記載の画像処理装置。 The image processing apparatus according to claim 3, wherein the first display unit has a higher display resolution or a larger display screen size than the second display unit.

前記制御手段は、前記表示手段に画像を拡大して表示する場合、前記複数の画像に対する合成比率が高い範囲を、前記画像を拡大して表示しない場合よりも狭く設定することを特徴とする請求項２に記載の画像処理装置。 The control means, when displaying an enlarged image on the display means, sets a range having a high composition ratio for the plurality of images narrower than a case where the image is not enlarged and displayed. Item 3. The image processing apparatus according to Item 2.

前記生成手段は、前記表示手段に画像を拡大して表示する場合、拡大による出力画角の画像領域にて画像の合成を行うことを特徴とする請求項５に記載の画像処理装置。 The image processing apparatus according to claim 5, wherein when the image is enlarged and displayed on the display unit, the generation unit synthesizes the image in an image region having an output angle of view by enlargement.

前記生成手段は、前記第２の表示手段に画像を表示する場合、前記複数の画像における背景領域の画像をぼかす処理を行うことを特徴とする請求項４に記載の画像処理装置。 5. The image processing apparatus according to claim 4, wherein when the image is displayed on the second display unit, the generation unit performs a process of blurring an image of a background area in the plurality of images.

前記制御手段は、異なる絞り値で撮影された前記複数の画像から画像を選択する場合に前記被写体の距離情報を取得して当該被写体の奥行き方向の距離範囲が被写界深度内に収まる絞り値を算出し、算出された当該絞り値で撮影された画像を選択することを特徴とする請求項１に記載の画像処理装置。 The control means obtains distance information of the subject when selecting an image from the plurality of images photographed with different aperture values, and an aperture value in which the distance range in the depth direction of the subject falls within the depth of field The image processing apparatus according to claim 1, wherein an image captured at the calculated aperture value is selected.

前記制御手段は、第１の表示手段に画像を表示する場合、算出された前記絞り値で撮影された画像を選択し、第２の表示手段に画像を表示する場合、最も大きい絞り値で撮影された画像を選択することを特徴とする請求項８に記載の画像処理装置。 The control means selects an image shot with the calculated aperture value when displaying an image on the first display means, and takes an image with the largest aperture value when displaying an image on the second display means. The image processing apparatus according to claim 8, wherein the selected image is selected.

前記第１の表示手段は、前記第２の表示手段よりも表示解像度が高いか、または表示画面サイズが大きいことを特徴とする請求項９に記載の画像処理装置。 The image processing apparatus according to claim 9, wherein the first display unit has a higher display resolution or a larger display screen size than the second display unit.

請求項１から１０のいずれか１項に記載の画像処理装置と、撮像部を備える撮像装置。 An imaging apparatus comprising: the image processing apparatus according to claim 1; and an imaging unit.

前記撮像部は、１つの撮影光学系の駆動制御により合焦位置もしくは絞り値を変更して撮影した前記複数の画像を取得するか、または合焦位置もしくは絞り値の異なる複数の撮影光学系によりそれぞれ結像される前記被写体の光学像から前記複数の画像を取得することを特徴とする請求項１１に記載の撮像装置。 The imaging unit acquires the plurality of images captured by changing a focus position or an aperture value by driving control of one imaging optical system, or by a plurality of imaging optical systems having different focus positions or aperture values. The imaging apparatus according to claim 11, wherein the plurality of images are acquired from optical images of the subject that are respectively formed.

前記撮像部は、複数のマイクロレンズと、各マイクロレンズが対応する複数の光電変換部を有する撮像素子を備え、前記撮像素子により前記複数の画像を取得することを特徴とする請求項１１に記載の撮像装置。 The image pickup unit includes an image pickup device including a plurality of microlenses and a plurality of photoelectric conversion units corresponding to the microlenses, and the image pickup device acquires the plurality of images. Imaging device.

異なる合焦位置または絞り値で撮影された被写体に係る複数の画像を取得する取得手段と、
前記複数の画像から表示用の画像を生成する制御を行う制御手段と、
前記制御手段の指示にしたがって前記表示用の画像を生成する生成手段と、
前記生成手段により生成された前記表示用の画像を表示手段に出力する出力手段と、を有し、前記被写体に焦点を合わせた合焦画像を生成する画像処理装置にて実行される制御方法であって、
前記表示手段の表示解像度または表示画面サイズの情報を前記制御手段が取得するステップと、
前記表示手段ごとに前記複数の画像を合成した画像または前記複数の画像から選択した画像にしたがって前記生成手段により前記合焦画像を生成する制御を前記制御手段が行うステップと、を有することを特徴とする画像処理装置の制御方法。 Acquisition means for acquiring a plurality of images relating to a subject photographed at different in-focus positions or aperture values;
Control means for performing control to generate an image for display from the plurality of images;
Generating means for generating the display image in accordance with an instruction of the control means;
Output means for outputting the display image generated by the generating means to the display means, and a control method executed by an image processing apparatus that generates a focused image focused on the subject. There,
The control means obtaining information of the display resolution or display screen size of the display means;
The control means performing control to generate the focused image by the generation means according to an image obtained by combining the plurality of images for each display means or an image selected from the plurality of images. A control method of the image processing apparatus.

請求項１４に記載の各ステップを画像処理装置のコンピュータに実行させるプログラム。

A program for causing a computer of an image processing apparatus to execute each step according to claim 14.