JP6576155B2 - Image processing apparatus, imaging apparatus, and image display system - Google Patents
Image processing apparatus, imaging apparatus, and image display system Download PDFInfo
- Publication number
- JP6576155B2 JP6576155B2 JP2015156950A JP2015156950A JP6576155B2 JP 6576155 B2 JP6576155 B2 JP 6576155B2 JP 2015156950 A JP2015156950 A JP 2015156950A JP 2015156950 A JP2015156950 A JP 2015156950A JP 6576155 B2 JP6576155 B2 JP 6576155B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- confusion
- focus detection
- circle
- defocus amount
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Landscapes
- Focusing (AREA)
- Automatic Focus Adjustment (AREA)
- Studio Devices (AREA)
Description
本発明は、画像処理装置、撮像装置、および画像表示システムに関する。 The present invention relates to an image processing device, an imaging device, and an image display system.
近年、静止画撮影を行う際だけでなく、動画撮影を行う際にもオートフォーカス（以下、ＡＦという）の機能を用いてピント調整を行うことが多くなってきている。撮影した動画から静止画を切り出すことで、撮影が難しい瞬間を狙った静止画を撮影することも可能となり、撮影の幅が広がっている。 In recent years, not only when taking still images, but also when taking moving images, focus adjustment is often performed using an autofocus (hereinafter referred to as AF) function. By cutting out still images from captured videos, it is possible to shoot still images that aim at the moments when shooting is difficult.
一般的に、静止画撮影と動画撮影では、ＡＦ時に異なる方法でレンズを移動させる。静止画撮影の場合、被写体に対してより速く合焦する位置までレンズを駆動することが重要である。一方、動画撮影の場合、レンズを移動させる過程も動画記録として保存されるため、レンズを速く移動させることよりも被写体に対しスムーズにレンズを駆動することが重要である。また、動画を撮影する際にユーザが不満を感じる例として、レンズが合焦点を通り過ぎた後、戻ってくる動作が挙げられる。そのため、動画用ＡＦでは、合焦点を飛び越えないように、レンズを合焦点に近づくにつれ減速させる。動画用ＡＦを用いて撮影した動画から静止画を切り出すと、被写体が動いている（ピント位置が変動している）場合があるため、被写体に対してはピント位置がずれていることが多い。すなわち、動画用ＡＦを用いて撮影した動画から切り出した静止画は、静止画用ＡＦを用いて撮影した静止画と比べるとピントの精度が良好でない。ピント精度が良好でない静止画をプリントしたり、ディスプレイにて拡大表示したりすると、ピントのズレが目立ってしまう。 Generally, in still image shooting and moving image shooting, the lens is moved by different methods during AF. In the case of still image shooting, it is important to drive the lens to a position where the subject is focused more quickly. On the other hand, in the case of moving image shooting, since the process of moving the lens is also stored as a moving image recording, it is important to drive the lens smoothly with respect to the subject rather than moving the lens faster. In addition, as an example in which the user feels dissatisfied when shooting a moving image, there is an operation of returning after the lens passes the focal point. Therefore, in the moving image AF, the lens is decelerated as it approaches the focal point so as not to jump over the focal point. When a still image is cut out from a moving image shot using the moving image AF, the subject may be moving (the focus position fluctuates), so the focus position is often shifted with respect to the subject. That is, a still image cut out from a moving image shot using the moving image AF has a poor focus accuracy compared to a still image shot using the still image AF. If you print a still image with poor focus accuracy or display an enlarged image on the display, the focus shift will be noticeable.
そこで、特許文献１のカメラでは、撮影後に画像を印刷する印刷用紙サイズや表示部の画面大きさなど、再生出力時の画像サイズに応じて、許容ブレ量を算出し、それに基づいてブレ軽減撮影を行う。また、特許文献２の撮像装置では、撮影時の合焦精度に応じて、スライドショーでの表示や印刷の際に警告表示を行う。 Therefore, in the camera of Patent Document 1, an allowable blur amount is calculated according to the image size at the time of reproduction output, such as the size of a printing paper on which an image is printed after shooting or the screen size of the display unit, and based on this, the blur reduction shooting is performed. I do. Further, in the imaging apparatus disclosed in Patent Document 2, a warning is displayed during slide show display or printing according to the focusing accuracy at the time of shooting.
しかしながら、特許文献１のカメラでは、観賞サイズをあらかじめカメラに入力する必要があるため、撮影後の観賞サイズの自由度がなくなってしまう。また、特許文献２の撮像装置では、合焦しているか否かを元に印刷・表示を禁止するので、ピントずれが気にならない観賞サイズでも警告表示を行う。また、合焦と判定され警告表示を行わない場合であっても、非常に大きい観賞サイズではわずかなピントずれが気になる場合もあり、結果として合焦度合いに応じた印刷・表示の自由度が削がれている。 However, in the camera of Patent Document 1, since the viewing size needs to be input to the camera in advance, the degree of freedom of viewing size after shooting is lost. In addition, since the image pickup apparatus of Patent Document 2 prohibits printing / displaying based on whether or not the subject is in focus, warning display is performed even in an ornamental size in which focus deviation is not a concern. Even if it is determined that the subject is in focus and no warning is displayed, there may be a slight focus shift at very large viewing sizes. As a result, the degree of freedom of printing and display depending on the degree of focus Is shaved.
このような課題に鑑みて、本発明は、合焦度合いに応じた適正な印刷・表示サイズをユーザが知ることができ、印刷ミスなどを事前に防ぐことが可能な画像処理装置、撮像装置、および画像表示システムを提供することを目的とする。 In view of such a problem, the present invention enables an image processing apparatus, an imaging apparatus, and the like that can allow a user to know an appropriate print / display size according to the degree of focus and prevent printing mistakes in advance. It is another object of the present invention to provide an image display system.
本発明の一側面としての画像処理装置は、撮影された画像のデフォーカス量を算出する第１の算出手段と、前記デフォーカス量に基づいて、撮像素子上の第１の錯乱円径を算出する第２の算出手段と、前記第１の錯乱円径に基づいて、前記画像の出力面上の第２の錯乱円径を算出する第３の算出手段と、前記第２の錯乱円径が所定の閾値よりも大きい場合、前記画像の前記出力面への出力を制限する制限手段と、を有することを特徴とする。 An image processing apparatus according to an aspect of the present invention calculates a first circle of confusion on an image sensor based on a first calculation unit that calculates a defocus amount of a captured image and the defocus amount. Second calculating means, third calculating means for calculating a second circle of confusion on the output surface of the image based on the first circle of confusion, and a diameter of the second circle of confusion. Limiting means for restricting the output of the image to the output surface when larger than a predetermined threshold value.
また、本発明の他の側面としての撮像装置は、それぞれの画素が第１の焦点検出画素と第２の焦点検出画素を備え、画像を生成する撮像素子と、前記第１および第２の焦点検出画素から取得された信号に基づいて、撮影された画像のデフォーカス量を算出する第１の算出手段と、前記デフォーカス量に基づいて、撮像素子上の第１の錯乱円径を算出する第２の算出手段と、前記第１の錯乱円径に基づいて、前記画像の出力面上の第２の錯乱円径を算出する第３の算出手段と、前記第２の錯乱円径が所定の閾値よりも大きい場合、前記画像の前記出力面への出力を制限する制限手段と、を有することを特徴とする。 According to another aspect of the present invention, there is provided an imaging device in which each pixel includes a first focus detection pixel and a second focus detection pixel, an image sensor that generates an image, and the first and second focus points. Based on a signal acquired from the detection pixel, a first calculation unit that calculates a defocus amount of the captured image, and a first circle of confusion on the image sensor is calculated based on the defocus amount. Second calculation means, third calculation means for calculating a second circle of confusion on the output surface of the image based on the first circle of confusion, and a diameter of the second circle of confusion are predetermined. Limiting means for limiting the output of the image to the output surface.
本発明によれば、合焦度合いに応じた適正な印刷・表示サイズをユーザが知ることができ、印刷ミスなどを事前に防ぐことが可能な画像処理装置、撮像装置、および画像表示システムを提供することができる。 According to the present invention, it is possible to provide an image processing apparatus, an imaging apparatus, and an image display system that allow a user to know an appropriate print / display size according to the degree of focus and prevent printing mistakes in advance. can do.
以下、本発明の実施例について、図面を参照しながら詳細に説明する。各図において、同一の部材については同一の参照番号を付し、重複する説明は省略する。［全体構成］
図１を参照して、本発明の実施形態に係る画像処理装置を備える撮像装置について説明する。図１（ａ）は、撮像装置の構成を示すブロック図である。第１レンズ群１０１は、撮像光学系を構成する複数のレンズ群のうち最も前端（被写体側）に位置し、光軸ＯＡに沿って移動可能な状態でレンズ鏡筒に保持される。絞り兼用シャッタ１０２は、その開口径を調節することで撮影時の光量調節を行うとともに、静止画撮影時には露光秒時調節用シャッタとして機能する。第２レンズ群１０３は、絞り兼用シャッタ１０２と一体的に光軸ＯＡに沿って移動し、第１レンズ群１０１の移動と連動して変倍動作を行うズーム機能を有する。第３レンズ群１０５は、光軸ＯＡに沿って移動することで焦点調節を行うフォーカスレンズ群である。光学的ローパスフィルター１０６は、撮影画像の偽色やモアレを軽減するための光学素子である。撮像素子１０７は、例えば、ＣＭＯＳセンサまたはＣＣＤセンサ、および、その周辺回路により構成され、被写体像（光学像）の光電変換を行う。
Hereinafter, embodiments of the present invention will be described in detail with reference to the drawings. In each figure, the same members are denoted by the same reference numerals, and redundant description is omitted. [overall structure]
With reference to FIG. 1, an imaging apparatus including an image processing apparatus according to an embodiment of the present invention will be described. FIG. 1A is a block diagram illustrating a configuration of the imaging apparatus. The first lens group 101 is positioned at the foremost end (subject side) of the plurality of lens groups constituting the imaging optical system, and is held by the lens barrel so as to be movable along the optical axis OA. The aperture / shutter 102 adjusts the aperture diameter to adjust the amount of light during shooting, and also functions as an exposure time adjustment shutter during still image shooting. The second lens group 103 has a zoom function that moves along the optical axis OA integrally with the diaphragm / shutter 102 and performs a zooming operation in conjunction with the movement of the first lens group 101. The third lens group 105 is a focus lens group that performs focus adjustment by moving along the optical axis OA. The optical low-pass filter 106 is an optical element for reducing false colors and moire in the captured image. The image sensor 107 is constituted by, for example, a CMOS sensor or a CCD sensor and its peripheral circuit, and performs photoelectric conversion of a subject image (optical image).
ズームアクチュエータ１１１は、カム筒（不図示）を回動することで、第１レンズ群１０１または第２レンズ群１０３を光軸に沿って移動させることにより変倍動作を行う。絞りシャッタアクチュエータ１１２は、絞り兼用シャッタ１０２の開口径を制御して撮影時の光量を調節するとともに、静止画撮影時の露光時間の制御を行う。フォーカスアクチュエータ１１４は、第３レンズ群１０５を光軸ＯＡに沿って移動させることで焦点調節を行う。 The zoom actuator 111 performs a scaling operation by moving the first lens group 101 or the second lens group 103 along the optical axis by rotating a cam cylinder (not shown). The aperture shutter actuator 112 controls the aperture diameter of the aperture / shutter 102 to adjust the amount of light at the time of shooting, and also controls the exposure time at the time of still image shooting. The focus actuator 114 performs focus adjustment by moving the third lens group 105 along the optical axis OA.
電子フラッシュ１１５は、撮影時に被写体を照明するために用いられる。電子フラッシュ１１５には、キセノン管を備えた閃光照明装置または連続発光するＬＥＤ（発光ダイオード）を備えた照明装置が用いられる。ＡＦ補助光部１１６は、所定の開口パターンを有するマスクの像を、投光レンズを介して、被写界に投影する。これにより、暗い被写体や低コントラストの被写体に対する焦点検出能力を向上させることができる。 The electronic flash 115 is used to illuminate the subject during shooting. As the electronic flash 115, a flash illumination device including a xenon tube or an illumination device including a continuously emitting LED (light emitting diode) is used. The AF auxiliary light unit 116 projects an image of a mask having a predetermined opening pattern onto the object field via a light projection lens. As a result, the focus detection capability for a dark subject or a low-contrast subject can be improved.
ＣＰＵ（画像処理装置）１２１は、撮像装置内の種々の制御を司る。ＣＰＵ１２１は、演算部、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、Ａ／Ｄコンバータ、Ｄ／Ａコンバータ、通信インターフェイス回路などを有する。ＣＰＵ１２１は、ＲＯＭに記憶された所定のプログラムに基づいて、各部を駆動し、焦点検出、撮影、画像処理、または記録などの一連の動作を制御する。図１（ｂ）に示されるように、ＣＰＵ１２１は、焦点検出部（第１の算出手段）１２１ａ、第１錯乱円径算出部（第２の算出手段）、第２錯乱円径算出部（第３の算出手段）１２１ｃ、判定部１２１ｄおよび制限部（制限手段）１２１ｅを備える。本実施形態ではＣＰＵ１２１は撮像装置内に設けられているが、ＣＰＵ１２１を他の装置に設けてもよい。その場合、ＣＰＵ１２１を備えた装置を印刷装置、表示装置（ディスプレイ）、または照射装置といった画像形成装置に接続することで、画像表示システムとして使用することができる。 A CPU (image processing apparatus) 121 manages various controls in the imaging apparatus. The CPU 121 includes a calculation unit, a ROM (Read Only Memory), a RAM (Random Access Memory), an A / D converter, a D / A converter, a communication interface circuit, and the like. The CPU 121 drives each unit based on a predetermined program stored in the ROM, and controls a series of operations such as focus detection, photographing, image processing, or recording. As shown in FIG. 1B, the CPU 121 includes a focus detection unit (first calculation unit) 121a, a first confusion circle diameter calculation unit (second calculation unit), and a second confusion circle diameter calculation unit (first calculation unit). 3 calculation means) 121c, a determination part 121d, and a restriction part (restriction means) 121e. In this embodiment, the CPU 121 is provided in the imaging apparatus, but the CPU 121 may be provided in another apparatus. In that case, by connecting an apparatus including the CPU 121 to an image forming apparatus such as a printing apparatus, a display apparatus (display), or an irradiation apparatus, the apparatus can be used as an image display system.
電子フラッシュ制御回路１２２は、撮影動作に同期して照明手段１１５の点灯制御を行う。補助光回路１２３は、焦点検出動作に同期してＡＦ補助光部１１６の点灯制御を行う。撮像素子駆動回路１２４は、撮像素子１０７の撮像動作を制御するとともに、取得した画像信号をＡ／Ｄ変換してＣＰＵ１２１に送信する。画像処理回路１２５は、撮像素子１０７が取得した画像のγ変換、カラー補間、またはＪＰＥＧ（Ｊｏｉｎｔ Ｐｈｏｔｏｇｒａｐｈｉｃ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ）圧縮などの処理を行う。 The electronic flash control circuit 122 performs lighting control of the illumination unit 115 in synchronization with the photographing operation. The auxiliary light circuit 123 performs lighting control of the AF auxiliary light unit 116 in synchronization with the focus detection operation. The image sensor driving circuit 124 controls the image capturing operation of the image sensor 107, A / D converts the acquired image signal, and transmits it to the CPU 121. The image processing circuit 125 performs processing such as γ conversion, color interpolation, or JPEG (Joint Photographic Experts Group) compression of the image acquired by the image sensor 107.
フォーカス駆動回路１２６は、焦点検出結果に基づいてフォーカスアクチュエータ１１４を駆動制御し、第３レンズ群１０５を光軸に沿って移動させることで焦点調節を行う。絞りシャッタ駆動回路１２８は、絞りシャッタアクチュエータ１１２を駆動して絞り兼用シャッタ１０２の開口径を制御する。ズーム駆動回路１２９は、撮影者のズーム操作に応じてズームアクチュエータ１１１を駆動する。 The focus drive circuit 126 controls the focus actuator 114 based on the focus detection result, and adjusts the focus by moving the third lens group 105 along the optical axis. The aperture shutter drive circuit 128 controls the aperture diameter of the aperture / shutter 102 by driving the aperture shutter actuator 112. The zoom drive circuit 129 drives the zoom actuator 111 according to the zoom operation of the photographer.
表示器１３１は、例えばＬＣＤ（液晶表示装置）を備えて構成される。表示器１３１は、撮影モードに関する情報、撮影前のプレビュー画像、撮影後の確認用画像、または焦点検出時の合焦状態表示画像などを表示する。操作スイッチ群１３２は、電源スイッチ、レリーズ（撮影トリガ）スイッチ、ズーム操作スイッチ、および撮影モード選択スイッチなどを備えて構成される。フラッシュメモリ１３３は、例えば撮像装置に着脱可能であり、撮影済み画像を記録する。
［撮像素子］
図２を参照して、撮像素子１０７の構造について説明する。図２は、撮像素子１０７の構造を示す図である。図２（ａ）は撮像素子１０７の画素配列の説明図、図２（ｂ）は画素２００Ｇの拡大図、図２（ｃ）は図２（ｂ）のａ−ａ線断面図である。
The display 131 includes, for example, an LCD (Liquid Crystal Display). The display 131 displays information related to the shooting mode, a preview image before shooting, a confirmation image after shooting, a focus state display image at the time of focus detection, and the like. The operation switch group 132 includes a power switch, a release (shooting trigger) switch, a zoom operation switch, a shooting mode selection switch, and the like. The flash memory 133 is detachable from, for example, an imaging device, and records captured images.
[Image sensor]
The structure of the image sensor 107 will be described with reference to FIG. FIG. 2 is a diagram illustrating the structure of the image sensor 107. 2A is an explanatory diagram of a pixel array of the image sensor 107, FIG. 2B is an enlarged view of the pixel 200G, and FIG. 2C is a cross-sectional view taken along the line aa in FIG. 2B.
図２（ａ）は、撮像素子１０７の画素配列を４列×４行の画素範囲で示している。画素群２００の配列は２列×２行であり、ベイヤー配列が採用されている。対角方向の２画素として、Ｇ（緑）の分光感度を有する画素２００Ｇが配置されている。また、他の２画素として、Ｒ（赤）の分光感度を有する画素２００Ｒ、およびＢ（青）の分光感度を有する画素２００Ｂがそれぞれ配置されている。各画素は、２列×１行に配列された第１焦点検出画素２０１と第２焦点検出画素２０２を有する。 FIG. 2A shows the pixel array of the image sensor 107 in a pixel range of 4 columns × 4 rows. The arrangement of the pixel group 200 is 2 columns × 2 rows, and a Bayer arrangement is adopted. As two pixels in the diagonal direction, a pixel 200G having a spectral sensitivity of G (green) is arranged. Further, as the other two pixels, a pixel 200R having a spectral sensitivity of R (red) and a pixel 200B having a spectral sensitivity of B (blue) are respectively arranged. Each pixel has a first focus detection pixel 201 and a second focus detection pixel 202 arranged in 2 columns × 1 row.
撮像素子１０７は、４列×４行の画素配列（８列×４行の焦点検出画素）を面上に多数配置し、撮像画像（焦点検出信号）を取得する。本実施形態の撮像素子１０７では、画素の周期は４μｍ、画素数は約２０７５万画素（＝横５５７５列×縦３７２５行）、焦点検出画素の列方向周期は２μｍ、焦点検出画素数は約４１５０万画素（＝横１１１５０列×縦３７２５行）である。 The image sensor 107 arranges a large number of 4 × 4 pixel arrays (8 columns × 4 rows of focus detection pixels) on the surface, and acquires a captured image (focus detection signal). In the image sensor 107 of the present embodiment, the pixel cycle is 4 μm, the number of pixels is about 20.75 million pixels (= 5575 columns × 3725 rows), the column direction cycle of the focus detection pixels is 2 μm, and the number of focus detection pixels is about 4150. 10,000 pixels (= 11,150 columns × 3,725 rows).
図２（ｂ）に示されるように、画素２００Ｇは、第１焦点検出画素２０１に対応する光電変換部３０１と、第２焦点検出画素２０２に対応する光電変換部３０２を備える。図２（ｃ）に示されるように、マイクロレンズ３０５は、画素ごとに設けられる。マイクロレンズ３０５は、画素の受光側に配置され、入射光を集光する。カラーフィルター３０６は、マイクロレンズ３０５と画素との間に配置される。なお、必要に応じて、焦点検出画素ごとにカラーフィルター３０６の分光透過率を変えてもよいし、カラーフィルター３０６を省略してもよい。 As shown in FIG. 2B, the pixel 200G includes a photoelectric conversion unit 301 corresponding to the first focus detection pixel 201 and a photoelectric conversion unit 302 corresponding to the second focus detection pixel 202. As shown in FIG. 2C, the microlens 305 is provided for each pixel. The micro lens 305 is disposed on the light receiving side of the pixel and collects incident light. The color filter 306 is disposed between the microlens 305 and the pixel. If necessary, the spectral transmittance of the color filter 306 may be changed for each focus detection pixel, or the color filter 306 may be omitted.
画素２００Ｇに入射した光は、マイクロレンズ３０５により集光され、カラーフィルター３０６で分光された後、光電変換部３０１，３０２で受光される。光電変換部３０１，３０２では、受光量に応じて電子とホールが対生成し、空乏層で分離された後、負電荷の電子はｎ型層（不図示）に蓄積され、ホールは定電圧源（不図示）に接続されたｐ型層を通じて撮像素子１０７の外部に排出される。光電変換部３０１，３０２のｎ型層に蓄積された電子は、転送ゲートを介して、静電容量部（ＦＤ）に転送され、電圧信号に変換される。光電変換部３０１，３０２は、ｐ型層とｎ型層の間にイントリンシック層を挟んだｐｉｎ構造フォトダイオードとしてもよいし、イントリンシック層を省略し、ｐｎ接合フォトダイオードとしてもよい。 The light incident on the pixel 200 </ b> G is collected by the microlens 305, dispersed by the color filter 306, and then received by the photoelectric conversion units 301 and 302. In the photoelectric conversion units 301 and 302, a pair of electrons and holes are generated according to the amount of received light, separated by a depletion layer, and then negatively charged electrons are accumulated in an n-type layer (not shown). It is discharged to the outside of the image sensor 107 through a p-type layer connected to (not shown). The electrons accumulated in the n-type layers of the photoelectric conversion units 301 and 302 are transferred to the electrostatic capacitance unit (FD) via the transfer gate and converted into a voltage signal. The photoelectric conversion units 301 and 302 may be a pin structure photodiode in which an intrinsic layer is sandwiched between a p-type layer and an n-type layer, or may be a pn junction photodiode without the intrinsic layer.
図３は、撮像素子１０７の瞳分割機能の説明図であり、画素２００Ｇにおける瞳分割の様子を示している。瞳領域５００は、光電変換部３０１と光電変換部３０２を全て合わせた際の画素２００Ｇ全体で受光可能な瞳領域である。第１瞳部分領域５０１は、重心が−ｘ方向に偏心している光電変換部３０１の受光面と、マイクロレンズ３０５によって、概ね、共役関係になっており、第１焦点検出画素２０１で受光可能な瞳領域である。また、第２瞳部分領域５０２は、重心が＋ｘ方向に偏心している光電変換部３０２の受光面と、マイクロレンズ３０５によって、概ね、共役関係になっており、第２焦点検出画素２０２で受光可能な瞳領域である。 FIG. 3 is an explanatory diagram of the pupil division function of the image sensor 107, and shows a state of pupil division in the pixel 200G. The pupil region 500 is a pupil region that can receive light in the entire pixel 200G when the photoelectric conversion unit 301 and the photoelectric conversion unit 302 are all combined. The first pupil partial region 501 is generally conjugate with the light receiving surface of the photoelectric conversion unit 301 whose center of gravity is decentered in the −x direction and the microlens 305, and can be received by the first focus detection pixel 201. This is the pupil area. In addition, the second pupil partial region 502 is generally conjugate with the light receiving surface of the photoelectric conversion unit 302 whose center of gravity is decentered in the + x direction and the microlens 305, and can be received by the second focus detection pixel 202. This is a pupil area.
図４は、撮像素子１０７と瞳分割との対応関係を示した概略図である。撮像素子１０７は、撮像面８００に配置される。瞳部分領域を通過した光束はそれぞれ、撮像素子１０７の各画素に異なる角度で入射する。各画素において、第１焦点検出画素は第１瞳部分領域５０１を通過する光束を受光し、第２焦点検出画素は第２瞳部分領域５０２を通過する光束を受光する。各画素の第１焦点検出画素２０１の受光信号を集めて第１焦点検出信号を生成し、各画素の第２焦点検出画素２０２の受光信号を集めて第２焦点検出信号を生成することで、焦点検出を行う。また、撮像素子の画素ごとに、第１焦点検出画素２０１と第２焦点検出画素２０２の信号を加算することで、有効画素数Ｎの解像度の撮像信号（撮像画像）を生成する。本実施形態では、第１および第２瞳部分領域５０１，５０２を合わせた瞳領域を通過する光束を受光する撮像画素は、第１および第２焦点検出画素２０１，２０２を有する。しかしながら、撮像画素と、第１および第２焦点検出画素２０１，２０２を個別の画素構成とし、撮像画素配列の一部に第１および第２焦点検出画素を部分的に配置してもよい。また、本実施形態では、瞳領域を水平方向に２つに瞳分割しているが、必要に応じて、垂直方向に瞳分割してもよい。
［デフォーカス量と像ずれ量の関係］
図５を参照して、撮像素子１０７により取得される第１焦点検出信号と第２焦点検出信号のデフォーカス量と像ずれ量の関係について説明する。図５は、第１焦点検出信号と第２焦点検出信号のデフォーカス量と像ずれ量の説明図である。撮像素子１０７は撮像面８００に配置され、撮像光学系の射出瞳は第１瞳部分領域５０１と第２瞳部分領域５０２に分割される。
FIG. 4 is a schematic diagram showing the correspondence between the image sensor 107 and pupil division. The image sensor 107 is disposed on the imaging surface 800. The light beams that have passed through the pupil partial area are incident on the pixels of the image sensor 107 at different angles. In each pixel, the first focus detection pixel receives a light beam that passes through the first pupil partial region 501, and the second focus detection pixel receives a light beam that passes through the second pupil partial region 502. By collecting the light reception signals of the first focus detection pixels 201 of each pixel to generate a first focus detection signal, and collecting the light reception signals of the second focus detection pixels 202 of each pixel to generate a second focus detection signal, Perform focus detection. Further, by adding the signals of the first focus detection pixel 201 and the second focus detection pixel 202 for each pixel of the imaging element, an imaging signal (captured image) having a resolution of N effective pixels is generated. In the present embodiment, an imaging pixel that receives a light beam that passes through a pupil region that is a combination of the first and second pupil partial regions 501 and 502 includes first and second focus detection pixels 201 and 202. However, the imaging pixels and the first and second focus detection pixels 201 and 202 may be configured as separate pixels, and the first and second focus detection pixels may be partially arranged in a part of the imaging pixel array. In this embodiment, the pupil region is divided into two pupils in the horizontal direction, but may be divided in the vertical direction as necessary.
[Relationship between defocus amount and image shift amount]
With reference to FIG. 5, the relationship between the defocus amount and the image shift amount of the first focus detection signal and the second focus detection signal acquired by the image sensor 107 will be described. FIG. 5 is an explanatory diagram of the defocus amount and the image shift amount of the first focus detection signal and the second focus detection signal. The imaging element 107 is disposed on the imaging plane 800, and the exit pupil of the imaging optical system is divided into a first pupil partial region 501 and a second pupil partial region 502.
デフォーカス量ｄは、被写体の結像位置から撮像面８００までの距離であり、被写体の結像位置が撮像面８００より被写体側にある前ピン状態を負符号、被写体の結像位置が撮像面８００より被写体の反対側にある後ピン状態を正符号として表される。被写体の結像位置が撮像面（合焦位置）に位置する合焦状態のとき、デフォーカス量ｄは０である。被写体が位置８０１に位置するとき合焦状態（ｄ＝０）であり、位置８０２に位置するとき前ピン状態（ｄ＜０）である。前ピン状態（ｄ＜０）と後ピン状態（ｄ＞０）を合わせて、デフォーカス状態（｜ｄ｜＞０）とする。 The defocus amount d is a distance from the imaging position of the subject to the imaging surface 800, a negative sign indicates a front pin state where the imaging position of the subject is on the subject side of the imaging surface 800, and the imaging position of the subject is the imaging surface. The rear pin state on the opposite side of the subject from 800 is represented as a positive sign. The defocus amount d is 0 when the imaging position of the subject is in the in-focus state located on the imaging surface (focus position). When the subject is located at position 801, it is in focus (d = 0), and when it is located at position 802, it is in the front pin state (d <0). The front pin state (d <0) and the rear pin state (d> 0) are combined to form a defocus state (| d |> 0).
前ピン状態（ｄ＜０）では、位置８０２に位置する被写体からの光束のうち第１瞳部分領域５０１（第２瞳部分領域５０２）を通過した光束は一度集光する。その後、撮像面８００で光束の重心位置Ｇ１（Ｇ２）を中心としてボケ幅Γ１（Γ２）だけ広がったボケた像となる。ボケた像は、第１焦点検出画素２０１（第２焦点検出画素２０２）により受光され、第１焦点検出信号（第２焦点検出信号）が生成される。よって、第１焦点検出信号（第２焦点検出信号）は、位置８０２に位置する被写体が撮像面８００上の重心位置Ｇ１（Ｇ２）に幅Γ１（Γ２）にボケた被写体像として記録される。被写体像のボケ幅Γ１（Γ２）は、デフォーカス量ｄの大きさが増えると増加する。同様に、第１焦点検出信号と第２焦点検出信号の間の被写体像の像ずれ量ｐ（＝光束の重心位置の差Ｇ１−Ｇ２）の大きさも、デフォーカス量ｄの大きさが増えると増加する。後ピン状態（ｄ＞０）も第１焦点検出信号と第２焦点検出信号の間の被写体像の像ずれ方向が前ピン状態と反対となるだけで前ピン状態と同様である。 In the front pin state (d <0), the luminous flux that has passed through the first pupil partial area 501 (second pupil partial area 502) out of the luminous flux from the subject located at the position 802 is once condensed. After that, a blurred image that spreads by the blur width Γ1 (Γ2) about the gravity center position G1 (G2) of the light beam on the imaging surface 800 is obtained. The blurred image is received by the first focus detection pixel 201 (second focus detection pixel 202), and a first focus detection signal (second focus detection signal) is generated. Therefore, the first focus detection signal (second focus detection signal) is recorded as a subject image in which the subject located at the position 802 is blurred at the center of gravity G1 (G2) on the imaging surface 800 by the width Γ1 (Γ2). The blur width Γ1 (Γ2) of the subject image increases as the defocus amount d increases. Similarly, when the defocus amount d increases, the image shift amount p of the subject image between the first focus detection signal and the second focus detection signal (= difference G1-G2 in the center of gravity of the light beam) also increases. To increase. The rear pin state (d> 0) is also the same as the front pin state except that the image shift direction of the subject image between the first focus detection signal and the second focus detection signal is opposite to the front pin state.
したがって、本発明では、第１焦点検出信号、第２焦点検出信号、または第１焦点検出信号と第２焦点検出信号を加算した撮像信号のデフォーカス量の大きさが増えると、第１焦点検出信号と第２焦点検出信号の間の像ずれ量の大きさが増加する。
［焦点検出］
図６を参照して、デフォーカス量の検出方法について説明する。本実施形態では、撮影した動画から静止画を切り出した場合を想定している。なお、図６の動作は、ＣＰＵ１２１の焦点検出部（第１の算出手段）１２１ａによって実行される。
Therefore, in the present invention, when the defocus amount of the first focus detection signal, the second focus detection signal, or the imaging signal obtained by adding the first focus detection signal and the second focus detection signal increases, the first focus detection signal is detected. The magnitude of the image shift amount between the signal and the second focus detection signal increases.
[Focus detection]
A defocus amount detection method will be described with reference to FIG. In the present embodiment, it is assumed that a still image is cut out from a captured moving image. The operation of FIG. 6 is executed by the focus detection unit (first calculation unit) 121a of the CPU 121.
図６（ａ）に示されるように、デフォーカス量の検出を開始すると、ステップＳ１０１ではユーザが動画を撮影する。ステップＳ１０２ではユーザが撮影した動画から所望のシーンにおける静止画を切り出し、ステップＳ１０３では、デフォーカス量の算出を行う。 As shown in FIG. 6A, when detection of the defocus amount is started, the user captures a moving image in step S101. In step S102, a still image in a desired scene is cut out from the moving image captured by the user, and in step S103, the defocus amount is calculated.
図６（ｂ）に示されるように、デフォーカス量の算出を開始すると、ステップＳ１１０では、撮像素子１０７の有効画素領域の中から焦点調節を行う焦点検出領域を設定する。焦点検出領域において、第１焦点検出画素の受光信号から第１焦点検出信号を生成し、第２焦点検出画素の受光信号から第２焦点検出信号を生成する。 As shown in FIG. 6B, when the calculation of the defocus amount is started, in step S110, a focus detection area for performing focus adjustment is set from the effective pixel area of the image sensor 107. In the focus detection region, a first focus detection signal is generated from the light reception signal of the first focus detection pixel, and a second focus detection signal is generated from the light reception signal of the second focus detection pixel.
ステップＳ１２０では、信号データ量を抑制するために、第１焦点検出信号と第２焦点検出信号をそれぞれ列方向に３画素加算処理を行い、さらに、ＲＧＢ信号を輝度Ｙ信号にするためにベイヤー（ＲＧＢ）加算処理を行う。これら２つの加算処理を合わせて画素加算処理とする。 In step S120, in order to suppress the amount of signal data, the first focus detection signal and the second focus detection signal are each subjected to a three-pixel addition process in the column direction, and further, the Bayer ( RGB) addition processing is performed. These two addition processes are combined into a pixel addition process.
ステップＳ１３０では、第１および第２焦点検出信号にシェーディング補正処理（光学補正処理）を行う。図７を参照して、第１および第２焦点検出信号の瞳ずれによるシェーディングについて説明する。図７は、第１焦点検出信号と第２焦点検出信号の瞳ずれによるシェーディングの説明図である。図７（ａ）は、撮像光学系の射出瞳距離Ｄｌと撮像素子１０７の設定瞳距離Ｄｓが同じ場合である。このとき、第１瞳部分領域５０１と第２瞳部分領域５０２により、撮像光学系の射出瞳４００が均等に瞳分割される。図７（ｂ）は、撮像光学系の射出瞳距離Ｄｌが撮像素子１０７の設定瞳距離Ｄｓより短い場合である。このとき、撮像素子１０７の周辺像高では撮像光学系の射出瞳４００と撮像素子１０７の入射瞳が瞳ずれを生じるため、撮像光学系の射出瞳４００が不均一に瞳分割されてしまう。図７（ｃ）は、撮像光学系の射出瞳距離Ｄｌが撮像素子１０７の設定瞳距離Ｄｓより長い場合である。撮像素子１０７の周辺像高では撮像光学系の射出瞳４００と撮像素子１０７の入射瞳が瞳ずれを生じるため、撮像光学系の射出瞳４００が不均一に瞳分割されてしまう。周辺像高で瞳分割が不均一になると、第１焦点検出信号または第２焦点検出信号のいずれか一方の強度が大きくなり、他方の強度が小さくなるシェーディングが発生する。 In step S130, shading correction processing (optical correction processing) is performed on the first and second focus detection signals. With reference to FIG. 7, the shading by the pupil shift of the first and second focus detection signals will be described. FIG. 7 is an explanatory diagram of shading due to pupil misalignment between the first focus detection signal and the second focus detection signal. FIG. 7A shows a case where the exit pupil distance Dl of the imaging optical system and the set pupil distance Ds of the imaging element 107 are the same. At this time, the exit pupil 400 of the imaging optical system is equally divided by the first pupil partial region 501 and the second pupil partial region 502. FIG. 7B shows a case where the exit pupil distance Dl of the imaging optical system is shorter than the set pupil distance Ds of the image sensor 107. At this time, at the peripheral image height of the imaging element 107, the exit pupil 400 of the imaging optical system and the entrance pupil of the imaging element 107 cause a pupil shift, so that the exit pupil 400 of the imaging optical system is non-uniformly pupil-divided. FIG. 7C shows a case where the exit pupil distance Dl of the imaging optical system is longer than the set pupil distance Ds of the image sensor 107. At the peripheral image height of the image sensor 107, the exit pupil 400 of the image pickup optical system and the entrance pupil of the image sensor 107 cause a pupil shift, so that the exit pupil 400 of the image pickup optical system is non-uniformly pupil-divided. When pupil division becomes nonuniform at the peripheral image height, shading occurs in which the intensity of either the first focus detection signal or the second focus detection signal increases and the other intensity decreases.
ステップＳ１３０では、焦点検出領域の像高と、撮像光学系のＦ値および射出瞳距離に応じて、第１焦点検出信号の第１シェーディング補正係数と、第２焦点検出信号の第２シェーディング補正係数をそれぞれ生成する。第１シェーディング補正係数を第１焦点検出信号に乗算し、第２シェーディング補正係数を第２焦点検出信号に乗算して、第１焦点検出信号と第２焦点検出信号のシェーディング補正処理を行う。位相差方式の焦点検出方法では、焦点検出性能を良好とするために、シェーディング補正処理を行うことが望ましい。 In step S130, the first shading correction coefficient of the first focus detection signal and the second shading correction coefficient of the second focus detection signal according to the image height of the focus detection area, the F value of the imaging optical system, and the exit pupil distance. Are generated respectively. The first focus detection signal is multiplied by the first focus detection signal, the second shading correction coefficient is multiplied by the second focus detection signal, and shading correction processing of the first focus detection signal and the second focus detection signal is performed. In the phase difference type focus detection method, it is desirable to perform shading correction processing in order to improve the focus detection performance.
ステップＳ１４０では、第１焦点検出信号と第２焦点検出信号にフィルター処理を行う。図８は、フィルター周波数帯域例である。図８において、実線はフィルター処理の通過帯域例を示している。本実施形態では、デフォーカス量が大きい状態で焦点検出を行うため、フィルター処理の通過帯域は低周波帯域を含むように構成される。デフォーカス量が大きい状態からデフォーカス量が小さい状態まで焦点調節を行う際に、デフォーカス状態に応じてフィルター処理の通過帯域を図８に示されるようにより高周波帯域に調整してもよい。 In step S140, the first focus detection signal and the second focus detection signal are filtered. FIG. 8 shows an example of the filter frequency band. In FIG. 8, the solid line shows an example of the pass band of the filter processing. In the present embodiment, since focus detection is performed in a state where the defocus amount is large, the pass band of the filter processing is configured to include a low frequency band. When performing focus adjustment from a state where the defocus amount is large to a state where the defocus amount is small, the pass band of the filter processing may be adjusted to a high frequency band as shown in FIG. 8 according to the defocus state.
ステップＳ１５０では、第１焦点検出信号と第２焦点検出信号を相対的に瞳分割方向にシフトさせるシフト処理を行い、信号の一致度を表す相関量（評価値）を算出する。フィルター処理後のｋ番目の第１焦点検出信号をＡ（ｋ）、第２焦点検出信号をＢ（ｋ）、焦点検出領域に対応する番号ｋの範囲をＷとする。また、シフト処理によるシフト量をｓ１、シフト量ｓ１のシフト範囲をΓ１とすると、相関量ＣＯＲは式（１）により算出される。 In step S150, a shift process for relatively shifting the first focus detection signal and the second focus detection signal in the pupil division direction is performed to calculate a correlation amount (evaluation value) representing the degree of coincidence of the signals. The filtered k-th first focus detection signal is A (k), the second focus detection signal is B (k), and the range of number k corresponding to the focus detection area is W. Further, when the shift amount by the shift process is s1 and the shift range of the shift amount s1 is Γ1, the correlation amount COR is calculated by the equation (1).
シフト量ｓ１のシフト処理により、ｋ番目の第１焦点検出信号Ａ（ｋ）とｋ−ｓ１番目の第２焦点検出信号Ｂ（ｋ−ｓ１）を対応させ減算し、シフト減算信号を生成する。生成されたシフト減算信号の絶対値を計算し、焦点検出領域に対応する範囲Ｗ内で番号ｋの和を取ることで相関量ＣＯＲ（ｓ１）を算出する。必要に応じて、各行ごとに算出された相関量をシフト量ごとに複数行に渡って加算してもよい。 By the shift process of the shift amount s1, the k-th first focus detection signal A (k) and the k-s1th second focus detection signal B (k-s1) are subtracted to generate a shift subtraction signal. The absolute value of the generated shift subtraction signal is calculated, and the correlation amount COR (s1) is calculated by taking the sum of the numbers k within the range W corresponding to the focus detection area. If necessary, the correlation amount calculated for each row may be added over a plurality of rows for each shift amount.
ステップＳ１６０では、ステップＳ１０５で算出された相関量ＣＯＲ（ｓ１）から、サブピクセル演算により、相関量が最小値となる実数値のシフト量を算出して像ずれ量ｐ１とする。像ずれ量ｐ１に焦点検出領域の像高と、撮像光学系のＦ値および射出瞳距離に応じた変換係数Ｋ１をかけることでデフォーカス量が算出される。 In step S160, from the correlation amount COR (s1) calculated in step S105, a real-valued shift amount at which the correlation amount is the minimum value is calculated by subpixel calculation, and is set as the image shift amount p1. The defocus amount is calculated by multiplying the image shift amount p1 by the image height of the focus detection area, the F value of the imaging optical system, and the conversion coefficient K1 according to the exit pupil distance.
なお、本実施形態では撮像面位相差ＡＦ方式を用いてデフォーカス量を算出しているが、本発明ではこれに限らずデフォーカス量を算出可能な方式であればどの方式を用いてもよい。例えば、撮像装置の外部に取り付けられた焦点検出手段によって記録されたデフォーカス情報から静止画切り出し位置でのデフォーカス量を参照する方式を用いてもよい。 In this embodiment, the defocus amount is calculated using the imaging surface phase difference AF method. However, the present invention is not limited to this, and any method may be used as long as the defocus amount can be calculated. . For example, a method of referring to the defocus amount at the still image cutout position from the defocus information recorded by the focus detection unit attached outside the imaging apparatus may be used.
ステップＳ１０４では、ステップＳ２０３で算出したデフォーカス量を静止画のＥｘｉｆｊ情報に記録する。 In step S104, the defocus amount calculated in step S203 is recorded in the Exifj information of the still image.
次に、図９を参照して、印刷・表示処理について説明する。図９は、印刷・表示処理を示すフローチャートである。 Next, the print / display process will be described with reference to FIG. FIG. 9 is a flowchart showing the print / display process.
ステップＳ２０１ではユーザが印刷・表示するサイズや観賞距離を設定する。ステップＳ２０２では、Ｅｘｉｆ情報からデフォーカス量を読み取る。ステップＳ２０３では、ＣＰＵ１２１の第１錯乱円径算出部１２１ｂが撮像素子上の錯乱円径Ｄを算出する。錯乱円径Ｄは、一般的に式（２）により求められる。 In step S201, the user prints and displays the size and viewing distance. In step S202, the defocus amount is read from the Exif information. In step S203, the first circle of confusion diameter calculation unit 121b of the CPU 121 calculates the circle of confusion diameter D on the image sensor. The confusion circle diameter D is generally obtained by the equation (2).
Ｄ＝ｄｅｆ／Ｆ （２）
式（２）において、例えば、デフォーカス量が０．０４ｍｍ、Ｆ値が２であったとき、錯乱円径Ｄは２０μｍである。なお、算出する錯乱円径Ｄは撮像装置内で算出されてもよいし、印刷・表示を行う際に印刷装置や表示装置等の画像形成装置で算出されてもよい。撮像装置内で算出した場合は、錯乱円径Ｄをデフォーカス情報とともに画像のＥｘｉｆ情報に記録してもよい。
D = def / F (2)
In Formula (2), for example, when the defocus amount is 0.04 mm and the F value is 2, the circle of confusion D is 20 μm. Note that the circle of confusion diameter D to be calculated may be calculated in the imaging apparatus, or may be calculated by an image forming apparatus such as a printing apparatus or a display apparatus when performing printing / display. When calculated in the imaging apparatus, the confusion circle diameter D may be recorded in the Exif information of the image together with the defocus information.
ステップＳ２０４では、画像の拡大率ｖを算出する。図１０は、撮像素子１０７上の錯乱円径Ｄを２０μｍとしたときに、撮像素子１０７に記録された画像をそのまま印刷・表示すると画像形成装置の画像を出力する面（出力面）上の錯乱円径Ｄｐがどのようなサイズになるかを示した図である。撮像素子１０７のサイズは、長辺が３６ｍｍのフルサイズと呼ばれる一般的なサイズである。図１１の第２列目には、各用紙サイズの長辺の長さが示してある。撮像素子１０７で記録された画像をそのまま各用紙サイズに引き伸ばして印刷されるとすると、画像の拡大率ｖは図１１の第３列に示した値となる。 In step S204, the image enlargement ratio v is calculated. FIG. 10 shows the confusion on the surface (output surface) for outputting the image of the image forming apparatus when the image recorded on the image sensor 107 is printed and displayed as it is when the circle of confusion D on the image sensor 107 is 20 μm. It is the figure which showed what kind of size the circular diameter Dp becomes. The size of the image sensor 107 is a general size called a full size having a long side of 36 mm. The second column in FIG. 11 shows the length of the long side of each paper size. If the image recorded by the image sensor 107 is enlarged and printed as it is for each paper size, the image enlargement ratio v is the value shown in the third column of FIG.
ステップＳ２０５では、ＣＰＵ１２１の第２錯乱円径算出部１２１ｃが出力面上の錯乱円径Ｄｐを算出する。撮像素子面における錯乱円径ＤはステップＳ２０４で算出された拡大率ｖに従って拡大されるため、出力面上の錯乱円径Ｄｐは式（３）により算出される。それぞれの用紙における錯乱円径Ｄｐは、図１１の第４列に示した値となる。 In step S205, the second circle of confusion diameter calculation unit 121c of the CPU 121 calculates the circle of confusion circle diameter Dp on the output surface. Since the confusion circle diameter D on the image pickup element surface is enlarged according to the enlargement factor v calculated in step S204, the confusion circle diameter Dp on the output surface is calculated by Expression (3). The confusion circle diameter Dp for each sheet is the value shown in the fourth column of FIG.
Ｄｐ＝Ｄ×ｖ （３）
ステップＳ２０６では、許容錯乱円径（所定の閾値）Ｄｔｈが設定される。ユーザが直接入力して許容錯乱円径Ｄｔｈを設定してもよいし、ステップＳ２０２で設定された鑑賞距離から許容錯乱円径Ｄｔｈを算出してもよい。
Dp = D × v (3)
In step S206, an allowable confusion circle diameter (predetermined threshold) Dth is set. The user may directly input and set the allowable confusion circle diameter Dth, or the allowable confusion circle diameter Dth may be calculated from the viewing distance set in step S202.
ステップＳ２０７では、ＣＰＵ１２１の判定部１２１ｄが出力面上の錯乱円径Ｄｐが許容錯乱円径Ｄｔｈよりも小さいかどうかを判定する。錯乱円径Ｄｐが許容錯乱円径Ｄｔｈよりも小さい場合ステップＳ２０８に進み、錯乱円径Ｄｐが許容錯乱円径Ｄｔｈよりも大きい場合ステップＳ２０９に進む。 In step S207, the determination unit 121d of the CPU 121 determines whether or not the confusion circle diameter Dp on the output surface is smaller than the allowable confusion circle diameter Dth. If the confusion circle diameter Dp is smaller than the allowable confusion circle diameter Dth, the process proceeds to step S208. If the confusion circle diameter Dp is larger than the allowable confusion circle diameter Dth, the process proceeds to step S209.
ステップＳ２０８では、ＣＰＵ１２１の制限部（制限手段）１２１ｅが画像形成装置による画像の印刷・表示を許可する。そのため、画像形成装置による画像の印刷・表示、例えば、印刷装置による印刷用紙等の記録媒体への印刷や、表示装置への画像の表示が行われる。 In step S208, the restriction unit (restriction unit) 121e of the CPU 121 permits the image forming apparatus to print and display an image. For this reason, printing and display of an image by the image forming apparatus, for example, printing on a recording medium such as printing paper by the printing apparatus, and display of an image on the display apparatus are performed.
ステップＳ２０９では、画像の印刷・表示を行うと、ピントのズレによるボケが視認され、画像の品位を落としてしまうので、制限部１２１ｅが画像形成装置による画像の印刷・表示を制限する。制限部１２１ｅの制限方法としては、例えば、印刷装置の設定画面、表示装置の表示面、または投射装置の照射面に警告を出したり、画像の印刷・表示を禁止したりする。 In step S209, when the image is printed / displayed, the blur due to the focus shift is visually recognized and the quality of the image is deteriorated. Therefore, the restriction unit 121e restricts the image printing / display by the image forming apparatus. As a restricting method of the restricting unit 121e, for example, a warning is issued on the setting screen of the printing device, the display surface of the display device, or the irradiation surface of the projection device, or printing / displaying of images is prohibited.
本実施形態の許容錯乱円径Ｄｔｈの算出について説明する。前述したように、用紙のサイズに応じて出力面上の錯乱円径Ｄｐの大きさが変化するが、ユーザの目から紙、または表示媒体までの距離は多少変化するもののリニアな関係になるというわけではない。例えば、Ｌ版サイズのような小さな紙に印刷した場合に接近して見るとは限らず、Ａ３サイズやＡ２サイズのような大きな紙に印刷した場合に離れて見るとは限らない。 The calculation of the allowable confusion circle diameter Dth of this embodiment will be described. As described above, the size of the confusion circle diameter Dp on the output surface changes according to the size of the paper, but the distance from the user's eyes to the paper or the display medium changes somewhat, but has a linear relationship. Do not mean. For example, it does not always look close when printed on a small paper such as L size, and does not always look away when printed on a large paper such as A3 size or A2 size.
そこで、本実施形態では、許容錯乱円径Ｄｔｈを印刷・表示のサイズではなく観賞距離に比例するように設定する。図１１は、観賞距離と許容錯乱円径の関係を示す図である。鑑賞距離が近づくほど、許容錯乱円径は小さくなっていく。この図にしたがって、ユーザが指定した鑑賞距離における許容錯乱円径Ｄｔｈを算出する。例えば、鑑賞者が最短で３０ｃｍの鑑賞距離まで接近して画像を観賞する可能性がある場合、０．３ｍｍよりも大きい用紙上の錯乱円径Ｄｐではピントのボケが視認されてしまう。その場合、Ａ２のサイズに引き伸ばして印刷・表示したとすると、錯乱円径Ｄｐが０．３３ｍｍとなって、許容錯乱円径Ｄｔｈを超えるため、ピントのボケが視認される。よって、この場合は、Ａ２サイズ以上の大きさで印刷・表示することを禁止する、もしくは注意を促すことが望ましい。 Therefore, in the present embodiment, the allowable circle of confusion diameter Dth is set to be proportional to the viewing distance rather than the print / display size. FIG. 11 is a diagram showing the relationship between the viewing distance and the allowable circle of confusion. As the viewing distance gets closer, the permissible circle of confusion decreases. The permissible circle of confusion Dth at the viewing distance designated by the user is calculated according to this figure. For example, when there is a possibility that the viewer approaches the viewing distance as short as 30 cm and appreciates the image, the blurring of the confusion circle diameter Dp on the paper larger than 0.3 mm is visually recognized. In this case, assuming that the size of A2 is enlarged and printed / displayed, the circle of confusion Dp is 0.33 mm, which exceeds the allowable circle of confusion Dth, so that the out-of-focus blur is visually recognized. Therefore, in this case, it is desirable to prohibit printing or displaying at A2 size or larger, or to call attention.
以上説明した方法を用いることにより、ユーザは所定の鑑賞距離よりも離れた位置で見た際に、常にピントのあった画像を鑑賞することが可能となる。 By using the method described above, the user can always appreciate a focused image when viewed from a position away from a predetermined viewing distance.
本実施例では、撮像素子で記録された画像をそのまま印刷・表示を行う方法を示したが、本発明はこれに限らず、ユーザがトリミングを行った画像を印刷・表示を行う方法に適用してもよい。ユーザは撮影後、撮影意図に応じて画像の一部を切り抜き、切り抜き後の画像を本データとするトリミングを行うことがある。これは同時に画像を拡大することを意味し、その拡大率はトリミングを行う際のサイズに応じて変化する。そこで、撮像素子１０７で記録された画像をトリミングした画像を印刷・表示する場合はトリミング後の撮像素子１０７上での長辺の長さで割った数を拡大率ｖ’として用いればよい。トリミング後の撮像素子１０７上での画像サイズは撮像素子のサイズよりおのずと小さくなるため、拡大率ｖ’は撮像素子１０７で記録された画像を印刷・表示する場合の拡大率ｖに比べ大きくなる。つまり、表示上の錯乱円径Ｄｐは、トリミングしなかった時と比べ大きくなるため、許容錯乱円径Ｄｔｈにより近づくことになる。 In the present embodiment, the method of printing / displaying the image recorded by the image sensor as it is is shown, but the present invention is not limited to this, and is applied to the method of printing / displaying the image trimmed by the user. May be. After shooting, the user may cut out part of the image according to the shooting intention and perform trimming using the cut-out image as main data. This means that the image is enlarged at the same time, and the enlargement ratio changes according to the size when trimming is performed. Therefore, when printing and displaying an image obtained by trimming an image recorded by the image sensor 107, the number divided by the length of the long side on the image sensor 107 after trimming may be used as the enlargement ratio v '. Since the image size on the image sensor 107 after trimming is naturally smaller than the size of the image sensor, the enlargement factor v ′ is larger than the enlargement factor v when an image recorded by the image sensor 107 is printed and displayed. In other words, the confusion circle diameter Dp on the display is larger than that when the trimming is not performed, and therefore, the circle is closer to the allowable confusion circle diameter Dth.
また、本実施形態では出力面上の錯乱円径Ｄｐを算出し、印刷・表示する際のサイズに応じて警告を出す方式であったが、本発明はこれに限らない。例えば、同様の方法で算出した表示上の錯乱円径Ｄｐを元に、撮像装置、または印刷・表示を行う装置上で、あらかじめ表示できる最大サイズを算出し、図１２に示されるようにユーザに対して提示することもできる。なお、上述の方式を用いる場合、撮像装置は一眼レフカメラ、コンパクトカメラ、ビデオカメラ等を用いることが可能である。また、印刷・表示方式も、インクジェットプリンタ、レーザープリンタ、またはディスプレイ、プロジェクタによる表示など、表示するサイズが分かるものであれば何であってもよい。 In this embodiment, the confusion circle diameter Dp on the output surface is calculated and a warning is issued according to the size when printing / displaying. However, the present invention is not limited to this. For example, based on the confusion circle diameter Dp on the display calculated by the same method, the maximum size that can be displayed in advance is calculated on the imaging device or the device that performs printing and display, and the user is prompted as shown in FIG. It can also be presented. Note that when the above-described method is used, a single-lens reflex camera, a compact camera, a video camera, or the like can be used as the imaging device. The printing / display method may be anything as long as the size to be displayed is known, such as an inkjet printer, a laser printer, or a display or a projector.
以上、本発明の好ましい実施形態について説明したが、本発明はこれらの実施形態に限定されず、その要旨の範囲内で種々の変形及び変更が可能である。 As mentioned above, although preferable embodiment of this invention was described, this invention is not limited to these embodiment, A various deformation | transformation and change are possible within the range of the summary.
１２１ ＣＰＵ（画像処理装置）
１２１ａ 焦点検出部（第１の算出手段）
１２１ｂ 第１錯乱円径算出部（第２の算出手段）
１２１ｃ 第２錯乱円径算出部（第３の算出手段）
１２１ｅ 制限部（制限手段）
121 CPU (image processing apparatus)
121a Focus detection unit (first calculation means)
121b 1st circle of confusion diameter calculation part (2nd calculation means)
121c 2nd confusion circle diameter calculation part (3rd calculation means)
121e Restriction part (restriction means)
Claims (9)
前記デフォーカス量に基づいて、撮像素子上の第１の錯乱円径を算出する第２の算出手段と、
前記第１の錯乱円径に基づいて、前記画像の出力面上の第２の錯乱円径を算出する第３の算出手段と、
前記第２の錯乱円径が所定の閾値よりも大きい場合、前記画像の前記出力面への出力を制限する制限手段と、を有することを特徴とする画像処理装置。 First calculating means for calculating a defocus amount of a captured image;
Second calculating means for calculating a first circle of confusion on the image sensor based on the defocus amount;
Third calculation means for calculating a second circle of confusion on the output surface of the image based on the first circle of confusion;
An image processing apparatus comprising: a restricting unit that restricts output of the image to the output surface when the second circle of confusion is larger than a predetermined threshold value.
前記第１および第２の焦点検出画素から取得された信号に基づいて、撮影された画像のデフォーカス量を算出する第１の算出手段と、
前記デフォーカス量に基づいて、撮像素子上の第１の錯乱円径を算出する第２の算出手段と、
前記第１の錯乱円径に基づいて、前記画像の出力面上の第２の錯乱円径を算出する第３の算出手段と、
前記第２の錯乱円径が所定の閾値よりも大きい場合、前記画像の前記出力面への出力を制限する制限手段と、を有することを特徴とする撮像装置。 Each pixel includes a first focus detection pixel and a second focus detection pixel, and an image sensor that generates an image;
First calculation means for calculating a defocus amount of a captured image based on signals acquired from the first and second focus detection pixels;
Second calculating means for calculating a first circle of confusion on the image sensor based on the defocus amount;
Third calculation means for calculating a second circle of confusion on the output surface of the image based on the first circle of confusion;
An imaging apparatus comprising: a restricting unit that restricts output of the image to the output surface when the second circle of confusion is larger than a predetermined threshold value.
前記出力面に画像形成を行う画像形成装置と、を有することを特徴とする画像表示システム。 The image processing apparatus according to any one of claims 1 to 6 ,
And an image forming apparatus that forms an image on the output surface.
9. The image according to claim 8, wherein the image forming apparatus is a printing apparatus that forms an image on a recording medium, an image display system that forms an image on a display, or a projection apparatus that forms an image on an irradiation surface. Display system.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2015156950A JP6576155B2 (en) | 2015-08-07 | 2015-08-07 | Image processing apparatus, imaging apparatus, and image display system |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2015156950A JP6576155B2 (en) | 2015-08-07 | 2015-08-07 | Image processing apparatus, imaging apparatus, and image display system |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2017038131A JP2017038131A (en) | 2017-02-16 |
| JP6576155B2 true JP6576155B2 (en) | 2019-09-18 |
Family
ID=58048765
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2015156950A Active JP6576155B2 (en) | 2015-08-07 | 2015-08-07 | Image processing apparatus, imaging apparatus, and image display system |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP6576155B2 (en) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP7175704B2 (en) * | 2018-10-18 | 2022-11-21 | キヤノン株式会社 | Imaging device and its control method |
-
2015
- 2015-08-07 JP JP2015156950A patent/JP6576155B2/en active Active
Also Published As
| Publication number | Publication date |
|---|---|
| JP2017038131A (en) | 2017-02-16 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US10545312B2 (en) | Focus detection apparatus, control method thereof, and storage medium storing program | |
| US8804027B2 (en) | Imaging apparatus | |
| JP6249825B2 (en) | Imaging device, control method thereof, and control program | |
| JP6239857B2 (en) | Imaging apparatus and control method thereof | |
| JP6174940B2 (en) | Imaging device and imaging apparatus | |
| JP2010026177A (en) | Phase difference detection device, imaging apparatus, phase difference detection method, and phase difference detection program | |
| JP2011023823A (en) | Apparatus and method for processing image | |
| JP2018107654A (en) | Image processing apparatus, image processing method, program, and storage medium | |
| JP6381266B2 (en) | IMAGING DEVICE, CONTROL DEVICE, CONTROL METHOD, PROGRAM, AND STORAGE MEDIUM | |
| JP5164707B2 (en) | Phase difference detection apparatus, imaging apparatus, signal level correction method for phase difference detection apparatus, and signal level correction program | |
| JP6436816B2 (en) | Imaging apparatus and driving method thereof | |
| CN110312957B (en) | Focus detection apparatus, focus detection method, and computer-readable storage medium | |
| US10063764B2 (en) | Control apparatus, image pickup apparatus, control method, and non-transitory computer-readable storage medium for performing focus detection | |
| JP2017032646A (en) | Image-capturing device and method for controlling the same | |
| JP2014130231A (en) | Imaging apparatus, method for controlling the same, and control program | |
| JP6576155B2 (en) | Image processing apparatus, imaging apparatus, and image display system | |
| JP7019337B2 (en) | Image stabilization device, lens device and their control method | |
| JP6639326B2 (en) | Control device, imaging device, control method, program, and storage medium | |
| JP7309383B2 (en) | Imaging device | |
| JP2015145970A (en) | Imaging device, control method of the same, program abd recording medium | |
| JP2017219782A (en) | Control device, imaging device, control method, program, and storage medium | |
| JP6671868B2 (en) | Control device, imaging device, control method, program, and storage medium | |
| JP2014211589A (en) | Focus adjustment device and imaging device | |
| JP7005209B2 (en) | Image pickup device and its control method | |
| JP6415350B2 (en) | Imaging apparatus and control method thereof |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20180802 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20190408 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20190514 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20190710 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20190723 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20190820 |
|
| R151 | Written notification of patent or utility model registration |
Ref document number: 6576155 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |