JP2010279054A - Image pickup device, image processing device, image pickup method, and image processing method - Google Patents
Image pickup device, image processing device, image pickup method, and image processing method Download PDFInfo
- Publication number
- JP2010279054A JP2010279054A JP2010160850A JP2010160850A JP2010279054A JP 2010279054 A JP2010279054 A JP 2010279054A JP 2010160850 A JP2010160850 A JP 2010160850A JP 2010160850 A JP2010160850 A JP 2010160850A JP 2010279054 A JP2010279054 A JP 2010279054A
- Authority
- JP
- Japan
- Prior art keywords
- image
- main subject
- focus position
- sharpness
- focus
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Abstract
Description
本発明は撮像装置、画像処理装置、撮像方法、及び画像処理方法に係り、特に焦点位置の異なる複数の画像を合成することにより、ぼけ強調画像を得る撮像装置、画像処理装置、撮像方法、及び画像処理方法に関する。 The present invention relates to an imaging apparatus, an image processing apparatus, an imaging method, and an image processing method, and in particular, an imaging apparatus, an image processing apparatus, an imaging method, and an imaging apparatus that obtain a blur-emphasized image by combining a plurality of images having different focal positions. The present invention relates to an image processing method.
従来より、写真撮影において、絞りを開放側に設定して被写界深度を浅くすることにより主要被写体だけに焦点を合わせ、主要被写体以外の他の部分を意図的にぼかす撮影方法が行われてきた。しかし、このような撮影方法が可能なのは、絞りをマニュアルで調節可能な一眼レフカメラ等の大型カメラに限られ、またコンパクトカメラ等では撮像素子が小さいために、絞りを自動的に開放側に制御しても主要被写体以外の部分をぼかすのは困難であった。 Conventionally, in photography, a method has been used in which only the main subject is focused by intentionally blurring other parts other than the main subject by setting the aperture to the open side and reducing the depth of field. It was. However, this type of photography is possible only for large cameras, such as single-lens reflex cameras, where the aperture can be adjusted manually, and because the image sensor is small for compact cameras, the aperture is automatically controlled to the open side. Even so, it was difficult to blur areas other than the main subject.
このような課題を解決するために、撮影した画像データに対して画像処理を行うことにより、ぼけ強調画像を得る技術が知られている。特許文献１には、撮影した画像データから非合焦領域を検出し、非合焦領域に対してデジタル信号処理によってぼかし処理を行うデジタルカメラが開示されている。特許文献１のデジタルカメラによれば、被写界深度が深い画像を撮影した場合であっても、ぼかし処理により被写界深度を浅く撮影した画像と同様な、主要被写体以外の他の部分を意図的にぼかした画像を得ることができる。
In order to solve such a problem, a technique for obtaining a blur-enhanced image by performing image processing on captured image data is known.
しかしながら、特許文献１に記載のデジタルカメラにおいては、被写体の周波数特性を考慮せずに光強度変化等で非合焦領域を判断しているため、もともと周波数の低い被写体なのか、非合焦により周波数が低くなっているかの区別がつかず、良好な非合焦領域の判断ができなかった。このため、ぼかしたい領域を適切にぼかすことができない場合があるという欠点があった。
However, in the digital camera described in
本発明はこのような事情に鑑みてなされたもので、被写界深度の浅い画像を撮影することが困難なコンパクトカメラ等においても、ぼかしたい領域を適切にぼかした、意図したぼけ強調画像を得ることができる撮像装置、画像処理装置、撮像方法、及び画像処理方法を提供することを目的とする。 The present invention has been made in view of such circumstances, and in a compact camera or the like where it is difficult to capture an image with a shallow depth of field, an intended blur-enhanced image obtained by appropriately blurring a region to be blurred is provided. An object is to provide an imaging device, an image processing device, an imaging method, and an image processing method that can be obtained.
前記目的を達成するために本発明に係る撮像装置は、画像データに基づいて主要被写体の合焦位置を判断する自動合焦位置判断手段と、予め定められた移動量で離散的に焦点位置を移動して順次画像を撮影することにより複数の画像を得るフォーカスブラケット撮影手段と、前記移動する焦点位置が前記自動合焦位置判断手段により判断された前記主要被写体の合焦位置とその前後の焦点位置を含むように制御する焦点位置制御手段と、前記主要被写体の合焦位置で撮影された画像及び前記主要被写体の合焦位置の前後の焦点位置で撮影された画像を含む前記フォーカスブラケット撮影手段により撮影された複数の画像間の対応する座標の画素の鮮鋭度を算出する鮮鋭度算出手段と、前記複数の画像を合成する画像合成手段と、前記画像合成手段により得られた画像を記録媒体に記録する記録手段とを備え、前記画像合成手段は、前記複数画像間の対応する座標の画素において、前記主要被写体の合焦位置で撮影された画素の鮮鋭度が最大の場合はその画素を選択し、前記主要被写体の合焦位置よりも前の焦点位置で撮影された画素の鮮鋭度が最大の場合は前記主要被写体の合焦位置よりも後の焦点位置で撮影された画素を選択し、前記主要被写体の合焦位置よりも後の焦点位置で撮影された画素の鮮鋭度が最大の場合は前記主要被写体の合焦位置よりも前の焦点位置で撮影された画素を選択して画像合成することを特徴とする。 In order to achieve the above object, an imaging apparatus according to the present invention includes an automatic focusing position determination unit that determines a focusing position of a main subject based on image data, and discretely sets a focal position with a predetermined amount of movement. A focus bracket photographing unit that obtains a plurality of images by moving and sequentially capturing images, and a focus position of the main subject in which the moving focus position is determined by the automatic focus position determination unit and a focus before and after the focus position A focus position control means for controlling to include a position; and the focus bracket photographing means including an image photographed at a focus position of the main subject and an image photographed at a focus position before and after the focus position of the main subject. Sharpness calculation means for calculating the sharpness of pixels of corresponding coordinates between a plurality of images taken by the image, image composition means for combining the plurality of images, and the image composition Recording means for recording the image obtained by the stage on a recording medium, wherein the image synthesizing means is configured to sharpen pixels photographed at the in-focus position of the main subject in pixels corresponding to coordinates between the plurality of images. When the degree is the maximum, the pixel is selected, and when the sharpness of the pixel photographed at the focal position before the focus position of the main subject is the maximum, the focus after the focus position of the main subject is selected. If the pixel captured at the position is selected and the sharpness of the pixel captured at the focal position after the focus position of the main subject is the maximum, the focus position before the focus position of the main subject is selected. It is characterized in that photographed pixels are selected and an image is synthesized.
これにより、ぼけ強調画像を得ることができる。 Thereby, a blur-emphasized image can be obtained.
また、ぼかしたい領域を適切なぼかし量でぼかすことができ、意図したぼけ強調画像を得ることができる。 In addition, it is possible to blur an area to be blurred with an appropriate blur amount, and an intended blur-enhanced image can be obtained.
前記主要被写体の合焦位置で撮影された画像内の被写体の特徴点を抽出する特徴点抽出手段と、前記主要被写体の合焦位置の前後の焦点位置で撮影された画像内の前記特徴点に対応する被写体の対応点を検出する対応点検出手段と、前記対応点の座標がそれぞれ対応する前記特徴点の座標に一致するように前記主要被写体の合焦位置の前後の焦点位置で撮影された画像を変形する画像変形手段とを備え、前記鮮鋭度算出手段は、前記主要被写体の合焦位置で撮影された画像及び前記変形された主要被写体の合焦位置の前後の焦点位置で撮影された画像の複数の画像間の対応する座標の画素の鮮鋭度を算出することが好ましい。 Feature point extraction means for extracting a feature point of a subject in an image photographed at the focus position of the main subject, and the feature point in an image photographed at a focal position before and after the focus position of the main subject. Corresponding point detection means for detecting corresponding points of the corresponding subject, and images taken at focal positions before and after the in-focus position of the main subject so that the coordinates of the corresponding points coincide with the coordinates of the corresponding feature points, respectively. An image deformation means for deforming an image, wherein the sharpness calculation means is photographed at an image photographed at a focus position of the main subject and at a focal position before and after the focus position of the deformed main subject. It is preferable to calculate the sharpness of the pixel at the corresponding coordinates between a plurality of images.
前記焦点位置制御手段は、撮影時の絞り及び撮影時の焦点距離のうち少なくとも一方に基づいて、前記移動する焦点位置を制御することが好ましい。 It is preferable that the focal position control means controls the moving focal position based on at least one of a diaphragm at the time of photographing and a focal length at the time of photographing.
これにより、被写界深度に応じたフォーカスブラケット撮影が可能になる。 This makes it possible to perform focus bracket shooting according to the depth of field.
ぼけ強調度を設定するぼけ強調度設定手段を備え、前記焦点位置制御手段は、前記主要被写体の合焦位置より前の焦点位置を複数含むように制御するとともに前記主要被写体の後の焦点位置を複数含むように制御し、前記画像合成手段は、前記複数画像間の対応する座標の画素において、前記主要被写体の合焦位置よりも前の焦点位置で撮影された画素の鮮鋭度が最大の場合は前記主要被写体の合焦位置よりも後の焦点位置で撮影された複数の画像から前記ぼけ強調度に応じた画素を選択し、前記主要被写体の合焦位置よりも後の焦点位置で撮影された画素の鮮鋭度が最大の場合は前記主要被写体の合焦位置よりも前の焦点位置で撮影された複数の画像から前記ぼけ強調度に応じた画素を選択して画像合成してもよい。 A blur enhancement level setting unit configured to set a blur enhancement level, wherein the focus position control unit performs control so as to include a plurality of focus positions before the focus position of the main subject, and sets a focus position after the main subject. A plurality of images, and the image composition means has a maximum sharpness of a pixel photographed at a focal position before the in-focus position of the main subject in pixels corresponding to coordinates between the plurality of images. Selects a pixel corresponding to the degree of blur enhancement from a plurality of images taken at a focal position after the focus position of the main subject, and is taken at a focus position after the focus position of the main subject. If the sharpness of the pixel is maximum, the image may be synthesized by selecting pixels corresponding to the blur enhancement degree from a plurality of images taken at a focal position before the focus position of the main subject.
これにより、ユーザが好みに応じたぼけ量のぼけ強調画像を撮影することができる。 As a result, a blur-enhanced image with a blur amount according to the user's preference can be taken.
前記目的を達成するために請求項５に記載の画像処理装置は、主要被写体の合焦位置で撮影された画像と前記主要被写体の合焦位置の前後の焦点位置で撮影された画像を含むそれぞれ異なる焦点位置で撮影された同一シーンの複数の画像を入力させる入力手段と、前記複数の画像間の対応する座標の画素の鮮鋭度を算出する鮮鋭度算出手段と、前記複数の画像を合成する画像合成手段と、前記画像合成手段により得られた画像を出力する出力手段とを備え、前記画像合成手段は、前記複数画像間の対応する座標の画素において、前記主要被写体の合焦位置で撮影された画素の鮮鋭度が最大の場合はその画素を選択し、前記主要被写体の合焦位置よりも前の焦点位置で撮影された画素の鮮鋭度が最大の場合は前記主要被写体の合焦位置よりも後の焦点位置で撮影された画素を選択し、前記主要被写体の合焦位置よりも後の焦点位置で撮影された画素の鮮鋭度が最大の場合は前記主要被写体の合焦位置よりも前の焦点位置で撮影された画素を選択して画像合成することを特徴とする。 In order to achieve the object, the image processing apparatus according to claim 5 includes an image photographed at a focus position of a main subject and an image photographed at a focal position before and after the focus position of the main subject. An input unit that inputs a plurality of images of the same scene photographed at different focal positions, a sharpness calculation unit that calculates the sharpness of pixels at corresponding coordinates between the plurality of images, and the plurality of images are combined. An image synthesizing unit; and an output unit that outputs the image obtained by the image synthesizing unit, wherein the image synthesizing unit captures an image at a focus position of the main subject in a pixel of corresponding coordinates between the plurality of images. When the sharpness of the captured pixel is maximum, the pixel is selected, and when the sharpness of the pixel photographed at the focal position before the focus position of the main subject is maximum, the focus position of the main subject is selected. After When a pixel photographed at a focal position is selected and the sharpness of a pixel photographed at a focal position after the focal position of the main subject is maximum, the focal position before the focal position of the main subject The pixel photographed in step (b) is selected and combined.
前記目的を達成するために請求項６に記載の撮像方法は、画像データに基づいて主要被写体の合焦位置を判断する自動合焦位置判断工程と、予め定められた移動量で離散的に焦点位置を移動して順次画像を撮影することにより複数の画像を得るフォーカスブラケット撮影工程と、前記移動する焦点位置が前記自動合焦位置判断工程により判断された前記主要被写体の合焦位置と前記主要被写体の合焦位置の前後の焦点位置を含むように制御する焦点位置制御工程と、前記主要被写体の合焦位置で撮影された画像及び前記主要被写体の合焦位置の前後の焦点位置で撮影された画像を含む前記フォーカスブラケット撮影工程により撮影された複数の画像間の対応する座標の画素の鮮鋭度を算出する鮮鋭度算出工程と、前記複数の画像を合成する画像合成工程と、前記画像合成工程により得られた画像を記録媒体に記録する記録工程とを備え、前記画像合成工程は、前記複数画像間の対応する座標の画素において、前記主要被写体の合焦位置で撮影された画素の鮮鋭度が最大の場合はその画素を選択し、前記主要被写体の合焦位置よりも前の焦点位置で撮影された画素の鮮鋭度が最大の場合は前記主要被写体の合焦位置よりも後の焦点位置で撮影された画素を選択し、前記主要被写体の合焦位置よりも後の焦点位置で撮影された画素の鮮鋭度が最大の場合は前記主要被写体の合焦位置よりも前の焦点位置で撮影された画素を選択して画像合成することを特徴とする。
In order to achieve the above object, the imaging method according to claim 6 includes an automatic in-focus position determining step of determining an in-focus position of a main subject based on image data, and discrete focusing with a predetermined amount of movement. A focus bracket imaging step of obtaining a plurality of images by moving the position and sequentially capturing images; and a focus position of the main subject in which the moving focus position is determined by the automatic focus position determination step; A focus position control step for controlling the focus position before and after the focus position of the subject, an image shot at the focus position of the main subject, and a focus position before and after the focus position of the main subject. A sharpness calculating step for calculating the sharpness of pixels at corresponding coordinates between the plurality of images photographed by the focus bracket photographing step including the image, and an image for combining the plurality of images. A synthesizing step; and a recording step of recording the image obtained by the image synthesizing step on a recording medium, wherein the image synthesizing step includes a focus position of the main subject at pixels of corresponding coordinates between the plurality of images. When the sharpness of the pixel photographed in
前記目的を達成するために請求項７に記載の画像処理方法は、主要被写体の合焦位置で撮影された画像と前記主要被写体の合焦位置の前後の焦点位置で撮影された画像を含むそれぞれ異なる焦点位置で撮影された同一シーンの複数の画像を入力させる入力工程と、前記複数の画像間の対応する座標の画素の鮮鋭度を算出する鮮鋭度算出工程と、前記複数の画像を合成する画像合成工程と、前記画像合成工程により得られた画像を出力する出力工程とを備え、前記画像合成工程は、前記複数画像間の対応する座標の画素において、前記主要被写体の合焦位置で撮影された画素の鮮鋭度が最大の場合はその画素を選択し、前記主要被写体の合焦位置よりも前の焦点位置で撮影された画素の鮮鋭度が最大の場合は前記主要被写体の合焦位置よりも後の焦点位置で撮影された画素を選択し、前記主要被写体の合焦位置よりも後の焦点位置で撮影された画素の鮮鋭度が最大の場合は前記主要被写体の合焦位置よりも前の焦点位置で撮影された画素を選択して画像合成することを特徴とする。 In order to achieve the object, an image processing method according to claim 7 includes an image photographed at a focus position of a main subject and an image photographed at a focal position before and after the focus position of the main subject. An input step for inputting a plurality of images of the same scene photographed at different focal positions, a sharpness calculation step for calculating a sharpness of a pixel at a corresponding coordinate between the plurality of images, and a combination of the plurality of images. An image synthesizing step, and an output step for outputting the image obtained by the image synthesizing step, wherein the image synthesizing step is performed at a focus position of the main subject in pixels of corresponding coordinates between the plurality of images. When the sharpness of the captured pixel is maximum, the pixel is selected, and when the sharpness of the pixel photographed at the focal position before the focus position of the main subject is maximum, the focus position of the main subject is selected. After When a pixel photographed at a focal position is selected and the sharpness of a pixel photographed at a focal position after the focal position of the main subject is maximum, the focal position before the focal position of the main subject The pixel photographed in step (b) is selected and combined.
本発明によれば、通常撮影よりも自然なぼけ強調された画像を得ることができる。これにより、コンパクトカメラのように撮像素子が小さいカメラを用いて、一眼レフのように撮像素子が大きいカメラで撮影されるような被写界深度の浅い、ぼけ味のある画像を得る撮像装置、画像処理装置、撮像方法、及び画像処理方法を提供することができる。 According to the present invention, it is possible to obtain a blur-enhanced image that is more natural than normal shooting. Thereby, using a camera with a small imaging device such as a compact camera, an imaging device that obtains a shallow, blurred image with a shallow depth of field such as a single-lens reflex camera that is photographed with a large imaging device, An image processing apparatus, an imaging method, and an image processing method can be provided.
以下、添付図面に従って本発明を実施するための最良の形態について説明する。 The best mode for carrying out the present invention will be described below with reference to the accompanying drawings.
＜第１の実施の形態＞
図１は、本発明に係る第１の実施の形態のデジタルカメラ１の内部構成の一例を示すブロック図である。
<First Embodiment>
FIG. 1 is a block diagram showing an example of the internal configuration of the
ＣＰＵ２４は、シャッタースイッチを含む操作部２３の入力に基づいてデジタルカメラ１内の各回路を統括制御するもので、カメラ制御プログラムにしたがった処理を実行する。
The
このＣＰＵ２４の各回路の制御は、アドレスバス２５及びデータバス２６を介しておこなう。またＣＰＵ２４は、メインメモリ２８との間で、必要なデータの授受を行う。メインメモリ２８の内部はＲＯＭ領域とＲＡＭ領域に分かれており、このＲＯＭ領域には、カ
メラ制御プログラム、起動時のオープニング画像、停止時のエンディング画像、デジタルカメラ１の操作に使用するメニュー画像等のＧＵＩ用の画像、スクリーンセイバー用の画像、処理中のプログレス表示用の画像（目盛りが変化する砂時計の画像等）、キー操作音（シャッター音等）、警告音、及びエラー音等を示す音声データ等が記録されている。
Control of each circuit of the
デジタルカメラ１に電源が投入されると、ＣＰＵ２４はこれを検出し、一定期間メインメモリ２８のＲＯＭ領域に格納されているオープニング画像を表示部３５に表示した後、撮影モードで撮影スタンバイ状態にする。この撮影スタンバイ状態では、ＣＰＵ２４は、表示部３５に動画（スルー画）を表示させる。
When the
ユーザ（撮影者）は、表示部３５に表示されるスルー画を見ながらフレーミングしたり、撮影したい被写体を確認したり、撮影後の画像を確認したり、撮影条件を設定したりする。
The user (photographer) performs framing while viewing the through image displayed on the
上記撮影スタンバイ状態時に操作部２３の図示しないシャッタースイッチが押されると、ＣＰＵ２４は、積算部３１で算出したＡＦ評価値に基づいて合焦位置を判断し、レンズ駆動部１６を介してレンズ１１を駆動しフォーカス制御を行い、絞り駆動部１７を介して絞り１２を駆動し露出制御を行い、レンズ１１、絞り１２、Ｉｒカットフィルタ１３、及び光学ローパスフィルタ１４を介して固体撮像素子１５の受光面上に被写体像を結像させる。ここで、必要であればストロボ１９を撮影補助光として発光させる。またこのとき、受光部２０によりストロボ１９の発光量を制御する。固体撮像素子１５の受光面に結像された被写体像をその光量に応じた量の信号電荷に変換し、この信号電荷はＣＰＵ２４の指令に従い撮像素子駆動部１８から与えられる駆動パルスに基づいてアナログ信号処理部２１に送られ、ここで相関二重サンプリング処理された後に増幅され、Ａ／Ｄ変換器２２に加えられる。
When a shutter switch (not shown) of the
Ａ／Ｄ変換器２２によってデジタル信号に変換された点順次のＲ、Ｇ、Ｂ信号は、メインメモリ制御部２７を介してメインメモリ２８のＲＡＭ領域に記憶される。
The dot sequential R, G, B signals converted into digital signals by the A /
デジタル信号処理部２９は、上記メインメモリ２８のＲＡＭ領域に格納されたＲ、Ｇ、Ｂの生データを読み出し、これらに光源種に応じたデジタルゲインをかけることでホワイトバランス調整を行うとともに、ガンマ（階調変換）処理、シャープネス処理等を行ってＲ、Ｇ、Ｂ信号を生成する。更にＹＣ信号処理して輝度信号Ｙとクロマ信号Ｃｒ、Ｃｂ（ＹＣ信号）を生成し再びメインメモリ２８のＲＡＭ領域に格納する。
The digital
上記のようにしてメインメモリ２８のＲＡＭ領域に格納されたＹＣ信号は、圧縮伸張処理部３０により所定のフォーマットに圧縮されたのち、メモリ制御部３２を介して、デジタルカメラ１に着脱自在な記録媒体３３に記録される。
The YC signal stored in the RAM area of the
また各種操作部２３を操作して再生モードが選択されると、記録メディアに記録されている最終コマの画像ファイルがメモリ制御部３２を介して読み出される。この読み出された画像ファイルの圧縮データは、圧縮伸張処理部３０により非圧縮のＹＣ信号に伸張される。伸張されたＹＣ信号は、表示用の信号形式に変換されて表示部３５に出力される。これにより、表示部３５には記録メディアに記録されている最終コマの画像が表示される。
When the playback mode is selected by operating the
次に、デジタルカメラ１における全焦点画像撮影について説明する。図２は、全焦点画像を撮影するための全焦点画像撮影モードの動作を示すフローチャートである。本発明に係るデジタルカメラ１の全焦点画像撮影モードでは、フォーカスブラケット撮影を行い、各撮影画像の対応点を検出し、対応点の位置が一致するように各撮影画像を変形し、変形した画像を合成することにより全焦点画像を得る。
Next, omnifocal image shooting in the
操作部２３の図示しないモードスイッチを操作することにより全焦点画像撮影モードが設定され、さらに操作部２３のシャッタースイッチが押されると、ＣＰＵ２４はこれらの操作に基づいて、焦点位置を設定し（ステップＳ２１）、撮影を行う（ステップＳ２２）。次に撮影した回数の判定を行う（ステップＳ２３）。所定回数に満たない場合は、異なる焦点位置に設定し（ステップＳ２１）、さらに撮影を行う（ステップＳ２２）。このように異なる焦点位置での撮影を繰り返し、所定回数の撮影を行う（フォーカスブラケット撮影）。各撮影画像は、メインメモリ２８のＲＡＭ領域に格納される。
When an omnifocal image capturing mode is set by operating a mode switch (not shown) of the
ここで、所定回数については、デジタルカメラ１内において予め定められた回数でもよいし、ユーザが設定できるようにしてもよい。また、撮影条件で決まる被写界深度を判断し、この被写界深度に応じて決定してもよい。全焦点画像を得るためには、画像内の全ての被写体において、いずれか１枚の画像においては合焦していることが必要である。よって、被写界深度が浅い場合は焦点位置の移動量を少なくして撮影枚数を多くする必要がある。また被写界深度が深い場合は焦点位置の移動量を多くして撮影枚数を少なくすることにより、無駄に多くの枚数を撮影してメモリを消費したり、処理負荷を増やすことを防止することができる。
Here, the predetermined number of times may be a predetermined number in the
また、この焦点位置の移動については、焦点距離が近い位置から遠い位置へ移動しても、遠い位置から近い位置へ移動しても、又はランダムに移動してもよい。 Further, regarding the movement of the focal position, the focal position may be moved from a position where the focal distance is close to a far position, may be moved from a far position to a close position, or may be moved randomly.
所定回数の撮影が終了すると、各撮影画像における対応点の検出を行う（ステップＳ２４）。 When the predetermined number of times of shooting is completed, corresponding points in each shot image are detected (step S24).
ここで、画像内の対応点の検出について説明する。対応点検出は、複数画像間で対応する点の位置関係を求めるものである。図３は、フォーカスブラケット撮影から得られた画像を示す図である。対応点検出部３６が、図３（ａ）に示す基準画像から特徴点を抽出し、その特徴点が図３（ｂ）に示す追跡画像のどの位置に移動したかを追跡することにより、対応点の検出を行う。図４は、デジタルカメラ１の対応点検出の動作について示すフローチャートである。
Here, detection of corresponding points in the image will be described. Corresponding point detection is to obtain the positional relationship of corresponding points between a plurality of images. FIG. 3 is a diagram illustrating an image obtained from the focus bracket shooting. Corresponding
まず、ＣＰＵ２４は、対応点検出部３６へフォーカスブラケット撮影を行った複数画像を入力する（ステップＳ４１）。次に、対応点検出部３６は、この複数画像の中から基準画像を選択し（ステップＳ４２）、この基準画像から特徴点の抽出を行う（ステップＳ４３）。基準画像の選択については、デジタルカメラ１内において予め定められた方法に基づいて選択してもよいし、ユーザが選択してもよい。ここでは、最初に撮影した画像を基準画像とする。特徴点抽出の手法は種々のものが提案されているが、ここでは、ある点を中心とする所定領域内の輝度の標準偏差が所定値以上の場合に、その点を特徴点として抽出する。図３（ａ）における丸印が、図３（ａ）の画像における特徴点を示す。特徴点は多いほうが以後の処理を精度よく行うことができるが、特徴点が多くなると処理負荷が増大するため、特徴点の数はハード性能から適宜決めればよい。
First, the
次に、追跡画像の選択を行う（ステップＳ４４）。ステップＳ４１で入力された複数画像のうち、基準画像以外の画像を選択する。 Next, a tracking image is selected (step S44). Of the plurality of images input in step S41, an image other than the reference image is selected.
選択した追跡画像において、基準画像から抽出された特徴点の１つを選択し（ステップＳ４５）、この特徴点がどの位置へ移動したかを追跡する（ステップＳ４６）。追跡手法についても種々のものが提案されているが、ここではその点を中心とする所定領域内の相互相関係数が最小となるような座標を見つける手法（ブロックマッチング法）を用いて追跡を行う。なお、本発明ではフォーカスブラケット撮影を行っているので、焦点位置が移動することによって対応点が移動する方向、及び移動する量は予測可能である。焦点位置の移動による対応点の移動は、画面中心から放射方向へ、又はその逆方向への移動であり、これは焦点位置の移動方向から予測可能である。またその移動量も焦点位置の移動量から予測可能である。よって、これらを考慮して対応点を検出することで、精度、速度ともに対応点検出性能を向上させることができる。 In the selected tracking image, one of the feature points extracted from the reference image is selected (step S45), and the position to which the feature point has moved is tracked (step S46). Various tracking methods have also been proposed. Here, tracking is performed using a method (block matching method) that finds coordinates that minimize the cross-correlation coefficient within a predetermined area centered on that point. Do. Since focus bracket photography is performed in the present invention, the direction and amount of movement of the corresponding point as the focal position moves can be predicted. The movement of the corresponding point by the movement of the focal position is a movement from the center of the screen in the radial direction or in the opposite direction, and this can be predicted from the movement direction of the focal position. The amount of movement can also be predicted from the amount of movement of the focal position. Therefore, by detecting the corresponding points in consideration of these, the corresponding point detection performance can be improved in both accuracy and speed.
特徴点の追跡が終了すると、全特徴点に対して処理を行ったか否かの判定を行う（ステップＳ４７）。処理を行っていない特徴点がある場合は、その特徴点を選択し（ステップＳ４５）、追跡を行う（ステップＳ４６）。このように全ての特徴点において、追跡を行う。 When the tracking of feature points is completed, it is determined whether or not processing has been performed for all feature points (step S47). If there is a feature point that has not been processed, the feature point is selected (step S45), and tracking is performed (step S46). In this way, tracking is performed for all feature points.
全ての特徴点に対して処理を行うと、次に全ての追跡画像に対してこの処理を行ったか否かの判定を行う（ステップＳ４７）。前述したように、この処理は基準画像以外の画像について行う。処理を行っていない追跡画像がある場合は、その追跡画像において同様の処理を行う。全ての追跡画像に対して処理が終了すると、対応点検出処理が終了する。 If processing has been performed for all feature points, it is next determined whether or not this processing has been performed for all tracking images (step S47). As described above, this process is performed for images other than the reference image. If there is a tracking image that has not been processed, the same processing is performed on the tracking image. When the process is finished for all the tracking images, the corresponding point detection process is finished.
対応点検出処理が終了すると、次に画像変形を行う（ステップＳ２５）。この画像変形処理は、対応点検出処理で得られた各追跡画像の対応点が基準画像の対応点の位置に極力一致するように、画像変形部３７が追跡画像を変形する。図５は、画像変形について示す図である。図５（ａ）に示す基準画像に対して、図５（ｂ）に示すように各対応点が平行移動している場合は、平行移動を行う。また図５（ｃ）に示すように各対応点が回転移動している場合は、回転移動を行う。また図５（ｄ）に示すように各対応点が拡大（縮小）している場合は、縮小（拡大）を行う。これらの画像変形は、複数組の対応点の距離の総和が最小となるように移動ベクトルを決めればよい。なお、これらの平行移動、回転、及び拡大・縮小処理は、アフィン変換により行う。
When the corresponding point detection process is completed, the image is then deformed (step S25). In this image deformation process, the
また図５（ｅ）に示すように基準画像と追跡画像との間に複雑な動きが生じている場合は、全ての対応点をより精度よく一致させるためにはワーピングを行う。ワーピングは全ての対応点の組を完全に一致するような移動ベクトルを選択するとともに、その周囲の点も補間により求めるものである。 Further, as shown in FIG. 5E, when a complicated movement occurs between the reference image and the tracking image, warping is performed in order to match all corresponding points more accurately. In the warping, a movement vector that completely matches a set of all corresponding points is selected, and surrounding points are also obtained by interpolation.
このように対応点の位置を極力一致させた複数画像に対して、画像合成を行う（ステップＳ２６）。図６は、画像合成処理の動作を示すフローチャートである。画像合成処理では、複数画像において最も鮮鋭度が高い画像、即ち最も焦点の合った画像の画素値を選択し、合成することにより、最終画像として画面内のどの位置においても鮮鋭度が高い画像、即ち全焦点画像を得る。 In this way, image synthesis is performed on a plurality of images in which the positions of corresponding points are matched as much as possible (step S26). FIG. 6 is a flowchart showing the operation of the image composition process. In the image composition process, an image having the highest sharpness in a plurality of images, that is, an image having a high sharpness at any position in the screen as a final image by selecting and synthesizing the pixel values of the most focused image, That is, an omnifocal image is obtained.
まず、画像合成部３８が、処理を行う画素の選択を行う（ステップＳ６１）。この画素の選択の順序については、画面の端から順に行えばよく、また他の順序でも構わない。次に、画像の選択を行い（ステップＳ６２）、選択した画像における、ステップＳ６１で選択された画素の鮮鋭度を算出する（ステップＳ６３）。
First, the
鮮鋭度の算出については、ラプラシアンフィルタ処理による出力値の絶対値を算出することにより行う。図７は、ラプラシアンフィルタのフィルタ行列を示す図である。ラプラシアンフィルタ処理を行うことによりエッジ検出をすることができ、この出力値の絶対値が鮮鋭度を示す。画像のぼけと鮮鋭度に関しては、画像のぼけが小さい画素ほど鮮鋭度が高く、ぼけが大きくなるほど鮮鋭度が低くなるという関係がある。なお、ラプラシアンフィルタのカーネルはこの例に限定されるものではなく、またラプラシアンフィルタ以外の鮮鋭度算出フィルタを用いてもよい。 The sharpness is calculated by calculating the absolute value of the output value by Laplacian filter processing. FIG. 7 is a diagram illustrating a filter matrix of a Laplacian filter. Edge detection can be performed by performing Laplacian filter processing, and the absolute value of the output value indicates the sharpness. Regarding the blur and sharpness of an image, there is a relationship in which a pixel having a smaller blur of the image has a higher sharpness and a sharper the lower the blur is. The kernel of the Laplacian filter is not limited to this example, and a sharpness calculation filter other than the Laplacian filter may be used.
次に、全画像に対して鮮鋭度の算出が終了したか否かの判定を行う（ステップＳ６４）。鮮鋭度の算出をしていない画像が有る場合には、再び画像の選択を行い（ステップＳ６２）、選択した画像における、ステップＳ６１で選択された画素の鮮鋭度を算出する（ステップＳ６３）。このように、全画像に対して、ステップＳ６１で選択された画素の鮮鋭度を算出する。 Next, it is determined whether or not the sharpness calculation has been completed for all images (step S64). If there is an image whose sharpness is not calculated, the image is selected again (step S62), and the sharpness of the pixel selected in step S61 in the selected image is calculated (step S63). In this way, the sharpness of the pixel selected in step S61 is calculated for all images.
次に、鮮鋭度が最大となる画像の画素値を出力する（ステップＳ６５）。ステップＳ６３において算出した、各画像のステップＳ６１で選択した画素のラプラシアンフィルタ処理における出力値の絶対値を比較し、最大の値である画像の画素値を出力画素して採用する。また、鮮鋭度の高い画像の画素値に対する重みを大きくして加重平均を算出し、これを出力してもよい。 Next, the pixel value of the image with the maximum sharpness is output (step S65). The absolute value of the output value in the Laplacian filter processing of the pixel selected in step S61 of each image calculated in step S63 is compared, and the pixel value of the image that is the maximum value is used as the output pixel. Alternatively, the weighted average may be calculated by increasing the weight for the pixel value of the image with high sharpness, and this may be output.
以上の処理を全ての画素に対して行う。全画素に対して処理が行われたか否かを判定し、全画素に対して終了した場合は、画像合成処理が終了する。 The above processing is performed for all pixels. It is determined whether or not processing has been performed for all pixels, and when the processing has been completed for all pixels, the image composition processing ends.
画像合成処理が終了すると、ＣＰＵ２４は画像合成部３８の出力画像をメモリ制御部３２を介して記録媒体３３に記録して、全焦点画像撮影が終了する（ステップＳ２７）。
When the image composition process is completed, the
この画像合成部３８の出力画像は、記録媒体３３に保存せずに、表示制御部３４を介して表示部３５に表示するだけでもよいし、図示しない外部インターフェースを用いて、外部モニタに表示したり、プリンタ等に印刷物として出力してもよい。
The output image of the
このようにして、被写体ブレや手ブレがあっても、全焦点画像を得ることができる。 In this way, an omnifocal image can be obtained even when there is subject blur or camera shake.
特徴点の抽出方法や、特徴点の追跡方法、画像の変形方法、及び画素の鮮鋭度の算出方法については、本実施の形態の方法に限定されず、どの手法を用いても構わない。 The feature point extraction method, the feature point tracking method, the image deformation method, and the pixel sharpness calculation method are not limited to the method of the present embodiment, and any method may be used.
＜第２の実施の形態＞
次に、デジタルカメラ１におけるぼけ強調撮影について説明する。図８は、ぼけ強調画像を撮影するためのぼけ強調撮影モードの動作を示すフローチャートである。なお、図２のフローチャートと共通する部分には同一の符号を付し、その詳細な説明は省略する。
<Second Embodiment>
Next, blur enhanced shooting in the
本発明に係るデジタルカメラ１のぼけ強調画像撮影モードでは、オートフォーカスにより主要被写体の合焦位置とその前後の焦点位置での撮影を含むフォーカスブラケット撮影を行い、各撮影画像の対応点を検出し、対応点の位置が一致するように各撮影画像を変形し、変形した画像を合成することによりぼけ強調画像を得る。
In the blur-enhanced image shooting mode of the
まず操作部２３のモードスイッチを操作することにより、ぼけ強調画像撮影モードに設定される。次に操作部２３におけるシャッターボタンが押されると、まず主要被写体に対して自動合焦位置判断（ＡＦ）を行う（ステップＳ８１）。このＡＦについては、通常撮影の際に行われるＡＦと同じものでよく、撮影に先立ってレンズの焦点位置を駆動させ、その都度積算部３１でバンドパスフィルタの出力値等のＡＦ評価値を算出し、ＣＰＵにて最もＡＦ評価値の高い焦点位置を合焦位置と判断する。
First, the blur-enhanced image shooting mode is set by operating the mode switch of the
ぼけ強調画像撮影モードでのフォーカスブラケット撮影においては、主要被写体のＡＦ合焦位置と主要被写体のＡＦ合焦位置の前後の焦点位置を含むように焦点位置を移動させて撮影を行う。図９は、デジタルカメラ１の各焦点位置を横軸に、各焦点位置における主要被写体に対するＡＦ評価値を縦軸に表したグラフである。最もＡＦ評価値の高い焦点位置が主要被写体の合焦位置であり、この主要被写体の合焦位置をＢとすると、本実施の形態のフォーカスブラケット撮影においては、合焦位置Ｂと、その前後に所定距離ｄだけ離れた焦点位置Ａ及びＣの３点を撮影の際の焦点位置とする。このｄについては、予めデジタルカメラ１内に記憶された固定値でもよいし、ユーザが設定してもよい。また被写界深度を判断し、この被写界深度によって異ならせてもよい。被写界深度によりぼけの度合いが異なるため、被写界深度によりｄの値を変更することにより、適切なぼけ具合の意図する画像を得ることが可能となる。
In focus bracket shooting in the blur-enhanced image shooting mode, shooting is performed by moving the focus position to include the AF focus position of the main subject and the focus positions before and after the AF focus position of the main subject. FIG. 9 is a graph in which each focal position of the
このように決められた焦点位置において、第１の実施の形態の全焦点画像撮影モードと同様に、フォーカスブラケット撮影を行う（ステップＳ２１〜Ｓ２３）。各撮影画像は、メインメモリ２８のＲＡＭ領域に格納される。
At the focal position determined in this way, focus bracket shooting is performed in the same manner as in the omnifocal image shooting mode of the first embodiment (steps S21 to S23). Each captured image is stored in the RAM area of the
フォーカスブラケット撮影が終了すると、各撮影画像における対応点の検出を行う（ステップＳ２４）。ここでは、基準画像を主要被写体の合焦位置Ｂで撮影された画像とする。対応点検出は第１の実施の形態と同様に行う。 When focus bracket photography is completed, corresponding points in each photographed image are detected (step S24). Here, it is assumed that the reference image is an image taken at the in-focus position B of the main subject. Corresponding point detection is performed in the same manner as in the first embodiment.
対応点検出処理が終了すると、次に画像変形を行う（ステップＳ２５）。画像変形においても、第１の実施の形態と同様に行う。 When the corresponding point detection process is completed, the image is then deformed (step S25). The image deformation is performed in the same manner as in the first embodiment.
画像変形処理が終了すると、次に画像合成を行う。図１０は第２の実施の形態における画像合成処理の動作のフローチャートである。なお、図６のフローチャートと共通する部分には同一の符号を付し、その詳細な説明は省略する。本発明の第２の実施の形態のデジタルカメラ１のぼけ強調画像撮影モードにおいては、画像合成処理において、複数画像において基準画像が最も鮮鋭度が高い場合は基準画像の画素を選択し、基準画像以外の画像が最も鮮鋭度が高い場合は、主要被写体の合焦位置に関して、画素の鮮鋭度が最大の焦点位置と対称となる焦点位置で撮影された画像の画素を選択することにより、ぼけ強調画像を得る。
When the image transformation process is completed, image composition is performed next. FIG. 10 is a flowchart of the operation of the image composition process in the second embodiment. In addition, the same code | symbol is attached | subjected to the part which is common in the flowchart of FIG. 6, and the detailed description is abbreviate | omitted. In the blur-enhanced image shooting mode of the
第１の実施の形態と同様に、画像合成部３８は、処理を行う画素の選択を行い（ステップＳ６１）、この選択された画素の各画像の鮮鋭度を算出する（ステップＳ６２〜Ｓ６４）。図１１は、主要被写体の合焦位置Ｂで撮影された画像と、その合焦位置の前後の焦点位置であるＡ及びＣで撮影された画像の、鮮鋭度の関係を示すグラフである。フォーカスブラケット撮影で３枚の画像を撮影した場合、このＡ、Ｂ、及びＣの焦点位置で撮影された画像の鮮鋭度の関係は、図１１（ａ）に示すＣが最大の場合、図１１（ｂ）に示すＢが最大の場合、及び図１１（ｃ）に示すＡが最大の場合の３種類に分類することができる。
Similar to the first embodiment, the
全画像において選択された画素の鮮鋭度を算出すると、この算出された鮮鋭度に基づいて、基準画像の鮮鋭度が最大であるか否か、即ち鮮鋭度が図１１（ｂ）に示す関係であるか否かの判定を行う（ステップＳ１０１）。基準画像の鮮鋭度が最大の場合は、基準画像の画素値を出力する（ステップＳ１０２）。基準画像の鮮鋭度が最大でない場合は、主要被写体の合焦位置より遠い側の画像の鮮鋭度が最大であるか否か、即ち鮮鋭度が図１１（ａ）に示す関係であるか否かの判定を行う（ステップＳ１０３）。主要被写体の合焦位置より遠い側の画像の鮮鋭度が最大の場合は、主要被写体の合焦位置より近い側の画像の画素値を出力する（ステップＳ１０４）。また逆に、主要被写体の合焦位置より遠い側の画像の鮮鋭度が最大でない場合は、主要被写体の合焦位置より近い側の画像の鮮鋭度が最大である、即ち鮮鋭度が図１１（ｃ）に示す関係であるので、主要被写体の合焦位置より遠い側の画像の画素値を出力する（ステップＳ１０５）。 When the sharpness of the selected pixel in all the images is calculated, based on the calculated sharpness, whether or not the sharpness of the reference image is the maximum, that is, the sharpness is in the relationship shown in FIG. It is determined whether or not there is (step S101). If the sharpness of the reference image is maximum, the pixel value of the reference image is output (step S102). When the sharpness of the reference image is not the maximum, whether the sharpness of the image farther from the in-focus position of the main subject is the maximum, that is, whether the sharpness has the relationship shown in FIG. Is determined (step S103). When the sharpness of the image farther from the focus position of the main subject is maximum, the pixel value of the image closer to the focus position of the main subject is output (step S104). On the contrary, when the sharpness of the image farther from the in-focus position of the main subject is not the maximum, the sharpness of the image closer to the in-focus position of the main subject is the maximum, that is, the sharpness is as shown in FIG. Because of the relationship shown in c), the pixel value of the image farther from the focus position of the main subject is output (step S105).
この処理を、全ての画素について行う。全画素に対して処理が終了したと判断すると（ステップＳ１０６）、画像合成処理が終了する。 This process is performed for all pixels. When it is determined that the processing has been completed for all the pixels (step S106), the image composition processing ends.
画像合成処理が終了すると、ＣＰＵ２４は画像合成部３８の出力画像をメモリ制御部３
２を介して記録媒体３３に記録して（ステップＳ２７）、ぼけ強調画像撮影が終了する。
When the image composition processing is completed, the
2 is recorded on the recording medium 33 (step S27), and blur-emphasized image shooting is completed.
このように、主要被写体の合焦位置Ｂで撮影された画像の鮮鋭度が低い画素の座標において、ぼけが強くなる画素値を選択することにより、ぼけ強調が可能となる。焦点位置が３点を超える場合でも、鮮鋭度の最大値を取る焦点位置と合焦位置を挟んで反対側の焦点位置にある複数画像から、ぼけ強調度合いに応じて選択すればよい。つまり、よりぼけを強調したい場合には、より鮮鋭度の低い画像の画素値を出力すればよい。 As described above, blur enhancement can be performed by selecting a pixel value at which blur is strong in the coordinates of a pixel having low sharpness in an image photographed at the in-focus position B of the main subject. Even when the focal position exceeds three points, selection may be made according to the degree of blur enhancement from a plurality of images at opposite focal positions across the focal position and the focal position where the maximum sharpness is obtained. That is, when it is desired to emphasize blur, it is only necessary to output pixel values of an image with lower sharpness.
なお、本実施の形態においては主要被写体の合焦位置と、合焦位置に対してｄだけ離れたＡ及びＣにおいてフォーカスブラケット撮影を行ったが、Ａ及びＣはＢに対して対称でなく、ｄとｄ’のように合焦位置からの距離が異なってもよい。 In this embodiment, focus bracket shooting was performed at the in-focus position of the main subject and at A and C separated by d from the in-focus position. However, A and C are not symmetrical with respect to B. The distance from the in-focus position may be different as d and d ′.
また、本実施の形態の図１０に示す画像合成処理は、対応点検出及び画像変形を行わない画像に対して行ってもよい。即ち、フォーカスブラケット撮影した複数画像において、直接この画像合成処理を行ってもよい。 Further, the image composition processing shown in FIG. 10 of the present embodiment may be performed on an image that is not subjected to corresponding point detection and image deformation. In other words, this image composition processing may be performed directly on a plurality of images taken with focus bracketing.
＜第３の実施の形態＞
本発明に係る第３の実施の形態のぼけ強調撮影について説明する。図１２は、本発明に係る第３の実施の形態のデジタルカメラ１の内部構成の一例を示すブロック図である。図１に示すブロック図とは、画像合成部３８の代わりにフィルタ処理部４０を備えたところだけが異なる。
<Third Embodiment>
The blur-enhanced shooting according to the third embodiment of the present invention will be described. FIG. 12 is a block diagram showing an example of the internal configuration of the
図１３は、デジタルカメラ１のぼけ強調撮影モードの動作を示すフローチャートである。なお、図２及び図８のフローチャートと共通する部分には同一の符号を付し、その詳細な説明は省略する。本発明の第３の実施の形態のデジタルカメラ１のぼけ強調画像撮影モードでは、オートフォーカスにより主要被写体の合焦位置とその前後の焦点位置での撮影を含むフォーカスブラケット撮影を行い、各撮影画像の対応点を検出し、対応点の位置が一致するように各撮影画像を変形し、変形した画像から各画素の鮮鋭度を算出し、鮮鋭度に基づいたフィルタ係数で基準画像にフィルタ処理を施すことによりぼけ強調画像を得る。
FIG. 13 is a flowchart showing the operation of the blur enhancement shooting mode of the
これまでと同様に、ぼけ強調撮影モードにおいて操作部２３のシャッターボタンが押されると、主要被写体に対して自動合焦位置判断を行い（ステップＳ８１）、次に焦点位置間隔ｄを決定する（ステップＳ１６１）。
As before, when the shutter button of the
本実施の形態では、フォーカスブラケット撮影の際に設定される焦点位置には、主要被写体の合焦位置と、その前後の焦点位置を含むようにする。ここでは図１４に示すように、主要被写体の合焦位置Ｆ３、主要被写体の合焦位置から前後に焦点間隔ｄだけ離れた焦点位置Ｆ２及びＦ４、さらに主要被写体の合焦位置Ｆ３から遠ざかる方向に、焦点位置Ｆ２及びＦ４から焦点間隔ｄだけ離れた焦点位置のＦ１及びＦ５、の計５点をフォーカスブラケット撮影の際の焦点位置とする。なお、焦点位置の端から順に、Ｆ１で撮影された画像の番号を１、Ｆ２で撮影された画像の番号を２、・・・、Ｆ５で撮影された画像の番号を５、とする。 In the present embodiment, the focus position set at the time of focus bracket shooting includes the focus position of the main subject and the focus positions before and after the focus position. Here, as shown in FIG. 14, the focus position F3 of the main subject, the focus positions F2 and F4 that are separated from the focus position of the main subject by the focal interval d, and further away from the focus position F3 of the main subject. A total of five points, F1 and F5 at focal positions separated from the focal positions F2 and F4 by a focal distance d, are taken as focal positions for focus bracket photography. Note that in order from the end of the focal position, the number of the image captured at F1 is 1, the number of the image captured at F2 is 2,..., And the number of the image captured at F5 is 5.
図１５は、撮影時の絞りと焦点距離、及びフォーカスブラケット撮影時の焦点位置の間隔ｄの関係を３次元的に示したグラフである。このように、絞りのＦ値が小さい場合や焦点距離が長い場合など、被写界深度が浅い場合はｄを小さく、逆に絞りのＦ値が大きい場合や焦点距離が短い場合など、被写界深度が深い場合はｄを大きくするように設定されている。ＣＰＵ２４は、メインメモリ２８のＲＯＭ領域に記憶されたこの設定に基づいて焦点間隔ｄを決定する。これにより、任意の絞りと焦点距離において、ぼけ強調に適した焦
点の異なる画像を得ることができる。なお、焦点間隔ｄは一定でなくてもよく、例えば主要被写体の合焦位置から見てＮＥＡＲ側とＦＡＲ側で変えるようにしてもよい。
FIG. 15 is a graph three-dimensionally showing the relationship between the aperture and focal length at the time of shooting, and the distance d between the focal positions at the time of focus bracket shooting. Thus, when the depth of field is shallow, such as when the F value of the diaphragm is small or when the focal length is long, d is small, and conversely, when the F value of the diaphragm is large or the focal length is short, the object is captured. When the depth of field is deep, d is set to be large. The
以上のように撮影時の絞りと焦点距離から焦点間隔ｄを決定すると、次にＦ１〜Ｆ５の焦点位置において、フォーカスブラケット撮影を行う（ステップＳ２１〜Ｓ２３）。この撮影の順序に関しては、適宜決めてよい。各撮影画像は、メインメモリ２８のＲＡＭ領域に格納される。
When the focal distance d is determined from the aperture and focal length at the time of photographing as described above, focus bracket photographing is performed at the focal positions F1 to F5 (steps S21 to S23). The order of shooting may be determined as appropriate. Each captured image is stored in the RAM area of the
フォーカスブラケット撮影が終了すると、主要被写体の合焦位置で撮影された画像を基準画像として、各撮影画像における対応点の検出を行う（ステップＳ２４）。対応点の検出は、第一の実施の形態と同様に行う。対応点検出処理が終了すると、次に画像変形を行う（ステップＳ２５）。 When focus bracket shooting is completed, the corresponding points in each captured image are detected using the image captured at the in-focus position of the main subject as a reference image (step S24). Corresponding points are detected in the same manner as in the first embodiment. When the corresponding point detection process is completed, the image is then deformed (step S25).
画像変形処理が終了すると、次にぼかし量算出を行う（ステップＳ１６２）。図１６は、ぼかし量算出処理の動作を示すフローチャートである。なお、図６のフローチャートと共通する部分には同一の符号を付し、その詳細な説明は省略する。 When the image transformation process is completed, the blur amount is calculated (step S162). FIG. 16 is a flowchart showing the operation of the blur amount calculation process. In addition, the same code | symbol is attached | subjected to the part which is common in the flowchart of FIG. 6, and the detailed description is abbreviate | omitted.
最初に、フィルタ処理部４０が、処理を行う画素の選択を行う（ステップＳ６１）。次に、画像の選択を行い（ステップＳ６２）、選択した画像における、ステップＳ６１で選択された画素の鮮鋭度を算出する（ステップＳ６３）。鮮鋭度の算出においては、第１の実施の形態と同様に、ラプラシアンフィルタ処理における出力値の絶対値を算出することにより行う。全画像に対して、ステップＳ６１で選択された画素の鮮鋭度を算出する。
First, the
全画像に対して鮮鋭度の算出が終了したと判断すると（ステップＳ６４）、次に算出した鮮鋭度が最大である画像番号ｎを算出し（ステップＳ１９１）、ぼかし量ｋを算出する（ステップＳ１９２）。 When it is determined that the calculation of the sharpness has been completed for all the images (step S64), the next image number n having the maximum calculated sharpness is calculated (step S191), and the blurring amount k is calculated (step S192). ).
ここで、主要被写体の合焦位置で撮影された画像番号をｃとすると、ぼかし量ｋは以下の式で表される。 Here, if the image number taken at the in-focus position of the main subject is c, the blur amount k is expressed by the following equation.
（数１）
ｋ＝ｕ×（ｎーｃ）
ここで、ｕはユーザが指定したぼけ強調度合いであり、ｕが１．０よりも大きければ基準設定よりもぼけが強調され、ｕが１．０未満の場合は基準設定よりもぼけが緩和される画像となる。なお、ぼけ強調度合いｕは、ユーザが操作部２３を操作することにより設定が可能となっている。また、本実施の形態ではｃ＝３である。
(Equation 1)
k = u × (nc)
Here, u is the degree of blur enhancement specified by the user. If u is larger than 1.0, the blur is emphasized more than the standard setting, and if u is less than 1.0, the blur is reduced more than the standard setting. Image. Note that the blur enhancement degree u can be set by the user operating the
このぼかし量ｋの算出を全ての画素について行う。全ての画素について終了したと判断すると（ステップＳ６６）、ぼかし量算出処理が終了する。 This blur amount k is calculated for all pixels. If it is determined that all the pixels have been completed (step S66), the blurring amount calculation process ends.
ぼかし量算出処理が終了すると、次にぼかし処理を行う（ステップＳ１６３）。図１７は、ぼかし処理の動作を示すフローチャートである。本実施の形態では、ぼかし処理にガウシアンフィルタを用いる。 When the blur amount calculation process ends, the blur process is performed (step S163). FIG. 17 is a flowchart showing the operation of the blurring process. In this embodiment, a Gaussian filter is used for the blurring process.
まずフィルタ処理部４０が、画素の選択を行い（ステップＳ６１）、選択した画素のぼかし量ｋを選択する。図１６のステップＳ１９２で算出された各画素のぼかし量ｋは、メインメモリ２８のＲＡＭ領域に記憶されており、これを読み出す。
First, the
次に、読み出したぼかし量の絶対値｜ｋ｜と所定の閾値Ｔｈとの比較を行う（ステップＳ２０２）。所定の閾値Ｔｈの方が大きい場合は、この画素を合焦領域とみなして被写体の合焦位置Ｆ３で撮影した画素値を出力する（ステップＳ１４６）。ぼかし量の絶対値｜ｋ｜の方が大きい場合は、この画素をぼけ強調すべき領域とみなしてフィルタ係数を決定する（ステップＳ２０３）。 Next, the absolute value | k | of the read blur amount is compared with a predetermined threshold Th (step S202). If the predetermined threshold Th is larger, this pixel is regarded as a focus area, and a pixel value photographed at the focus position F3 of the subject is output (step S146). If the absolute value | k | of the blurring amount is larger, this pixel is regarded as a region to be blurred and emphasized, and a filter coefficient is determined (step S203).
前述したように、本実施の形態では、このフィルタ処理にガウシアンフィルタを用いる。図１８は、ぼかし量の絶対値｜ｋ｜と、ガウシアンフィルタのσパラメータの関係を示したグラフである。図１８に示すように、ぼかし量の絶対値｜ｋ｜が所定の閾値Ｔｈ以上のとき、ぼかし量の絶対値｜ｋ｜と比例関係にあるガウシアンフィルタのσパラメータが求められ、このσパラメータに応じたガウシアンフィルタ係数ｆ（ｘ）を決定する。ＣＰＵ２４は、メインメモリ２８のＲＡＭ領域に記憶されたこの関係に基づいてσパラメータを決定する。
As described above, in this embodiment, a Gaussian filter is used for this filter processing. FIG. 18 is a graph showing the relationship between the absolute value | k | of the blur amount and the σ parameter of the Gaussian filter. As shown in FIG. 18, when the absolute value | k | of the blur amount is equal to or greater than a predetermined threshold Th, a σ parameter of a Gaussian filter that is proportional to the absolute value | k | of the blur amount is obtained. A corresponding Gaussian filter coefficient f (x) is determined. The
図１８（ｂ）は、注目画素からの距離ｘとガウシアンフィルタのフィルタ係数ｆ（ｘ）の関係を示したグラフである。図１８（ｂ）に示すように、ガウシアンフィルタはσパラメータが大きいほど周辺画素の重みを大きくして加重平均をとる。よってぼかし量の絶対値｜ｋ｜の大きさに応じてσパラメータを大きくすることにより、ぼかし量の絶対値｜ｋ｜が大きいほど平滑化の度合いを大きくすることができる。 FIG. 18B is a graph showing the relationship between the distance x from the target pixel and the filter coefficient f (x) of the Gaussian filter. As shown in FIG. 18B, the Gaussian filter takes a weighted average by increasing the weight of surrounding pixels as the σ parameter increases. Therefore, by increasing the σ parameter in accordance with the magnitude of the absolute value | k | of the blur amount, the degree of smoothing can be increased as the absolute value | k | of the blur amount increases.
このように求められたσパラメータからフィルタ係数ｆ（ｘ）を算出するには、[数２]を用いて演算を行い、算出されたフィルタ係数の総和が１になるように正規化を行う。 In order to calculate the filter coefficient f (x) from the σ parameter thus obtained, calculation is performed using [Equation 2], and normalization is performed so that the total sum of the calculated filter coefficients becomes 1.
デジタルフィルタの場合は注目画素を中心とした離散位置ごとにｆ（ｘ）が決定される。例えば５タップフィルタの場合は、ｆ（ｘ）＝{０．１、０．２、０．４、０．２、０．１}などとなる。なお一般には画像の明るさが変動しないよう、各係数の総和が１．０になるように正規化される。またここでは１次元のフィルタ係数で表現しているが、このフィルタを水平方向と垂直方向に順に施すことにより２次元のフィルタ処理を行うことができる。 In the case of a digital filter, f (x) is determined for each discrete position centered on the target pixel. For example, in the case of a 5-tap filter, f (x) = {0.1, 0.2, 0.4, 0.2, 0.1}. In general, normalization is performed so that the sum of the coefficients is 1.0 so that the brightness of the image does not fluctuate. In addition, although it is expressed by a one-dimensional filter coefficient here, two-dimensional filter processing can be performed by sequentially applying this filter in the horizontal direction and the vertical direction.
このように、選択した画素について、ぼかし量に応じたフィルタ処理を行い、出力画素値を算出する（ステップＳ１４５）。この処理を全画素について行い、全画素に対して処理が終了したと判断すると（ステップＳ６６）、ぼかし処理が終了する。このように、主要被写体の合焦位置Ｂで撮影された基準画像に対してフィルタ処理を行うことにより、より自然なぼけ強調が可能となる。 As described above, the selected pixel is subjected to the filtering process according to the blur amount, and the output pixel value is calculated (step S145). This process is performed for all pixels, and if it is determined that the process has been completed for all pixels (step S66), the blurring process is terminated. As described above, by performing the filtering process on the reference image captured at the in-focus position B of the main subject, more natural blur enhancement can be performed.
なお、このフィルタ処理に用いるフィルタはガウシアンフィルタに限られるものではなく、ローパスフィルタなら他のフィルタでも構わない。例えば絞りやレンズの特性に応じたぼけ形状を持ったフィルタを用いてもよい。 Note that the filter used for this filter processing is not limited to the Gaussian filter, and other filters may be used as long as they are low-pass filters. For example, a filter having a blur shape corresponding to the characteristics of the diaphragm or lens may be used.
ぼかし処理が終了すると、ＣＰＵ２４はフィルタ処理部４０の出力画像をメモリ制御部３２を介して記録媒体３３に記録して、全焦点画像撮影が終了する（ステップＳ２７）。
When the blurring process ends, the
このようにして、ぼけ強調画像を得ることができる。 In this way, a blur-emphasized image can be obtained.
なお、本実施の形態の図１６及び図１７に示すぼかし処理は、対応点検出及び画像変形を行わない画像に対して行ってもよい。即ち、フォーカスブラケット撮影した複数画像において、直接この画像合成処理を行ってもよい。 Note that the blurring process shown in FIGS. 16 and 17 of the present embodiment may be performed on an image that is not subjected to corresponding point detection and image deformation. In other words, this image composition processing may be performed directly on a plurality of images taken with focus bracketing.
１…デジタルカメラ、１１…撮影レンズ、１２…絞り、１３…Ｉｒカットフィルタ、１４…光学ローパスフィルタ、１５…固体撮像素子、２３…操作部、２４…ＣＰＵ、２５…アドレスバス、２６…データバス、２７…メインメモリ制御部、２８…メインメモリ、３２…メモリ制御部、３３…記録媒体、３６…対応点検出部、３７…画像変形部、３８…画像合成部、４０…フィルタ処理部
DESCRIPTION OF
Claims (7)
予め定められた移動量で離散的に焦点位置を移動して順次画像を撮影することにより複数の画像を得るフォーカスブラケット撮影手段と、
前記移動する焦点位置が前記自動合焦位置判断手段により判断された前記主要被写体の合焦位置とその前後の焦点位置を含むように制御する焦点位置制御手段と、
前記主要被写体の合焦位置で撮影された画像及び前記主要被写体の合焦位置の前後の焦点位置で撮影された画像を含む前記フォーカスブラケット撮影手段により撮影された複数の画像間の対応する座標の画素の鮮鋭度を算出する鮮鋭度算出手段と、
前記複数の画像を合成する画像合成手段と、
前記画像合成手段により得られた画像を記録媒体に記録する記録手段と、
を備え、
前記画像合成手段は、前記複数画像間の対応する座標の画素において、前記主要被写体の合焦位置で撮影された画素の鮮鋭度が最大の場合はその画素を選択し、前記主要被写体の合焦位置よりも前の焦点位置で撮影された画素の鮮鋭度が最大の場合は前記主要被写体の合焦位置よりも後の焦点位置で撮影された画素を選択し、前記主要被写体の合焦位置よりも後の焦点位置で撮影された画素の鮮鋭度が最大の場合は前記主要被写体の合焦位置よりも前の焦点位置で撮影された画素を選択して画像合成することを特徴とする撮像装置。 Automatic focus position determination means for determining the focus position of the main subject based on the image data;
Focus bracket photographing means for obtaining a plurality of images by moving the focal position discretely with a predetermined amount of movement and sequentially photographing images;
Focus position control means for controlling the moving focus position to include the focus position of the main subject determined by the automatic focus position determination means and the focus positions before and after the focus position;
Corresponding coordinates between a plurality of images photographed by the focus bracket photographing means including an image photographed at a focus position of the main subject and an image photographed at a focal position before and after the focus position of the main subject. Sharpness calculation means for calculating the sharpness of the pixel;
Image combining means for combining the plurality of images;
Recording means for recording the image obtained by the image synthesizing means on a recording medium;
With
The image synthesizing unit selects, when the sharpness of the pixel photographed at the in-focus position of the main subject among the pixels of the corresponding coordinates between the plurality of images is maximum, and selects the focus of the main subject. When the sharpness of the pixel photographed at the focal position before the position is maximum, the pixel photographed at the focal position after the in-focus position of the main subject is selected, and from the in-focus position of the main subject. When the sharpness of a pixel photographed at a later focal position is maximum, an image pickup apparatus is provided that selects and synthesizes an image photographed at a focal position before the focal position of the main subject. .
前記主要被写体の合焦位置の前後の焦点位置で撮影された画像内の前記特徴点に対応する被写体の対応点を検出する対応点検出手段と、
前記対応点の座標がそれぞれ対応する前記特徴点の座標に一致するように前記主要被写体の合焦位置の前後の焦点位置で撮影された画像を変形する画像変形手段と、
を備え、
前記鮮鋭度算出手段は、前記主要被写体の合焦位置で撮影された画像及び前記変形された主要被写体の合焦位置の前後の焦点位置で撮影された画像の複数の画像間の対応する座標の画素の鮮鋭度を算出することを特徴とする請求項１に記載の撮像装置。 A feature point extracting means for extracting a feature point of a subject in an image photographed at an in-focus position of the main subject;
Corresponding point detection means for detecting corresponding points of the subject corresponding to the feature points in the image taken at the focal position before and after the focus position of the main subject;
Image deformation means for deforming an image photographed at a focal position before and after the in-focus position of the main subject so that the coordinates of the corresponding points coincide with the coordinates of the corresponding feature points, respectively.
With
The sharpness calculation means is configured to calculate corresponding coordinates between a plurality of images of an image photographed at a focus position of the main subject and an image photographed at a focal position before and after the focus position of the deformed main subject. The imaging device according to claim 1, wherein the sharpness of the pixel is calculated.
前記焦点位置制御手段は、前記主要被写体の合焦位置より前の焦点位置を複数含むように制御するとともに前記主要被写体の後の焦点位置を複数含むように制御し、
前記画像合成手段は、前記複数画像間の対応する座標の画素において、前記主要被写体の合焦位置よりも前の焦点位置で撮影された画素の鮮鋭度が最大の場合は前記主要被写体の合焦位置よりも後の焦点位置で撮影された複数の画像から前記ぼけ強調度に応じた画素を選択し、前記主要被写体の合焦位置よりも後の焦点位置で撮影された画素の鮮鋭度が最大の場合は前記主要被写体の合焦位置よりも前の焦点位置で撮影された複数の画像から前記ぼけ強調度に応じた画素を選択して画像合成することを特徴とする請求項１から３のいずれかに記載の撮像装置。 A blur enhancement setting means for setting the blur enhancement;
The focal position control means controls to include a plurality of focal positions before the focusing position of the main subject and includes a plurality of focal positions after the main subject;
The image synthesizing unit is configured to focus the main subject when the sharpness of the pixel photographed at the focal position before the in-focus position of the main subject is the maximum at the corresponding coordinate pixel between the plurality of images. A pixel corresponding to the blur enhancement degree is selected from a plurality of images photographed at a focal position after the position, and the sharpness of the pixel photographed at the focal position after the focus position of the main subject is maximum. 4. In the case of (1), the image is synthesized by selecting pixels corresponding to the degree of blur enhancement from a plurality of images taken at a focal position before the focus position of the main subject. The imaging device according to any one of the above.
前記複数の画像間の対応する座標の画素の鮮鋭度を算出する鮮鋭度算出手段と、
前記複数の画像を合成する画像合成手段と、
前記画像合成手段により得られた画像を出力する出力手段と、
を備え、
前記画像合成手段は、前記複数画像間の対応する座標の画素において、前記主要被写体の合焦位置で撮影された画素の鮮鋭度が最大の場合はその画素を選択し、前記主要被写体の合焦位置よりも前の焦点位置で撮影された画素の鮮鋭度が最大の場合は前記主要被写体の合焦位置よりも後の焦点位置で撮影された画素を選択し、前記主要被写体の合焦位置よりも後の焦点位置で撮影された画素の鮮鋭度が最大の場合は前記主要被写体の合焦位置よりも前の焦点位置で撮影された画素を選択して画像合成することを特徴とする画像処理装置。 Input means for inputting a plurality of images of the same scene captured at different focal positions, including an image captured at the focus position of the main subject and images captured at focal positions before and after the focus position of the main subject. When,
Sharpness calculation means for calculating the sharpness of pixels of corresponding coordinates between the plurality of images;
Image combining means for combining the plurality of images;
Output means for outputting an image obtained by the image composition means;
With
The image synthesizing unit selects, when the sharpness of the pixel photographed at the in-focus position of the main subject among the pixels of the corresponding coordinates between the plurality of images is maximum, and selects the focus of the main subject. When the sharpness of the pixel photographed at the focal position before the position is maximum, the pixel photographed at the focal position after the in-focus position of the main subject is selected, and from the in-focus position of the main subject. In addition, when the sharpness of a pixel photographed at a later focal position is maximum, the image photographed by selecting a pixel photographed at a focal position before the in-focus position of the main subject and combining the images. apparatus.
予め定められた移動量で離散的に焦点位置を移動して順次画像を撮影することにより複数の画像を得るフォーカスブラケット撮影工程と、
前記移動する焦点位置が前記自動合焦位置判断工程により判断された前記主要被写体の合焦位置と前記主要被写体の合焦位置の前後の焦点位置を含むように制御する焦点位置制御工程と、
前記主要被写体の合焦位置で撮影された画像及び前記主要被写体の合焦位置の前後の焦点位置で撮影された画像を含む前記フォーカスブラケット撮影工程により撮影された複数の画像間の対応する座標の画素の鮮鋭度を算出する鮮鋭度算出工程と、
前記複数の画像を合成する画像合成工程と、
前記画像合成工程により得られた画像を記録媒体に記録する記録工程と、
を備え、
前記画像合成工程は、前記複数画像間の対応する座標の画素において、前記主要被写体の合焦位置で撮影された画素の鮮鋭度が最大の場合はその画素を選択し、前記主要被写体の合焦位置よりも前の焦点位置で撮影された画素の鮮鋭度が最大の場合は前記主要被写体の合焦位置よりも後の焦点位置で撮影された画素を選択し、前記主要被写体の合焦位置よりも後の焦点位置で撮影された画素の鮮鋭度が最大の場合は前記主要被写体の合焦位置よりも前の焦点位置で撮影された画素を選択して画像合成することを特徴とする撮像方法。 An automatic in-focus position determining step for determining the in-focus position of the main subject based on the image data;
A focus bracket photographing step of obtaining a plurality of images by moving the focal position discretely by a predetermined amount of movement and sequentially photographing images;
A focus position control step for controlling the moving focus position to include a focus position of the main subject determined by the automatic focus position determination step and a focus position before and after the focus position of the main subject;
Corresponding coordinates between a plurality of images photographed by the focus bracket photographing process including an image photographed at a focus position of the main subject and an image photographed at a focal position before and after the focus position of the main subject. A sharpness calculation step for calculating the sharpness of the pixel;
An image synthesis step of synthesizing the plurality of images;
A recording step of recording an image obtained by the image synthesis step on a recording medium;
With
The image compositing step selects, when the sharpness of a pixel photographed at the in-focus position of the main subject among the pixels of corresponding coordinates between the plurality of images is the maximum, and selects the focus of the main subject When the sharpness of the pixel photographed at the focal position before the position is maximum, the pixel photographed at the focal position after the in-focus position of the main subject is selected, and from the in-focus position of the main subject. If the sharpness of a pixel photographed at a later focal position is the maximum, an image capturing method comprising selecting a pixel photographed at a focal position before the in-focus position of the main subject and combining the images. .
前記複数の画像間の対応する座標の画素の鮮鋭度を算出する鮮鋭度算出工程と、
前記複数の画像を合成する画像合成工程と、
前記画像合成工程により得られた画像を出力する出力工程と、
を備え、
前記画像合成工程は、前記複数画像間の対応する座標の画素において、前記主要被写体の合焦位置で撮影された画素の鮮鋭度が最大の場合はその画素を選択し、前記主要被写体の合焦位置よりも前の焦点位置で撮影された画素の鮮鋭度が最大の場合は前記主要被写体の合焦位置よりも後の焦点位置で撮影された画素を選択し、前記主要被写体の合焦位置よりも後の焦点位置で撮影された画素の鮮鋭度が最大の場合は前記主要被写体の合焦位置よりも前の焦点位置で撮影された画素を選択して画像合成することを特徴とする画像処理方法。 An input step of inputting a plurality of images of the same scene captured at different focal positions, including an image captured at the focus position of the main subject and images captured at focal positions before and after the focus position of the main subject. When,
A sharpness calculation step of calculating the sharpness of pixels of corresponding coordinates between the plurality of images;
An image synthesis step of synthesizing the plurality of images;
An output step of outputting an image obtained by the image synthesis step;
With
The image compositing step selects, when the sharpness of a pixel photographed at the in-focus position of the main subject among the pixels of corresponding coordinates between the plurality of images is the maximum, and selects the focus of the main subject When the sharpness of the pixel photographed at the focal position before the position is maximum, the pixel photographed at the focal position after the in-focus position of the main subject is selected, and from the in-focus position of the main subject. In addition, when the sharpness of a pixel photographed at a later focal position is maximum, the image photographed by selecting a pixel photographed at a focal position before the in-focus position of the main subject and combining the images. Method.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2010160850A JP5144724B2 (en) | 2010-07-15 | 2010-07-15 | Imaging apparatus, image processing apparatus, imaging method, and image processing method |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2010160850A JP5144724B2 (en) | 2010-07-15 | 2010-07-15 | Imaging apparatus, image processing apparatus, imaging method, and image processing method |
Related Parent Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2007112147A Division JP4582423B2 (en) | 2007-04-20 | 2007-04-20 | Imaging apparatus, image processing apparatus, imaging method, and image processing method |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2010279054A true JP2010279054A (en) | 2010-12-09 |
| JP5144724B2 JP5144724B2 (en) | 2013-02-13 |
Family
ID=43425508
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2010160850A Expired - Fee Related JP5144724B2 (en) | 2010-07-15 | 2010-07-15 | Imaging apparatus, image processing apparatus, imaging method, and image processing method |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP5144724B2 (en) |
Cited By (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2014119715A (en) * | 2012-12-19 | 2014-06-30 | Casio Comput Co Ltd | Imaging apparatus, imaging method and program |
| KR20140094791A (en) * | 2013-01-23 | 2014-07-31 | 삼성전자주식회사 | Apparatus and method for processing image of mobile terminal comprising camera |
| JP2015216678A (en) * | 2015-07-09 | 2015-12-03 | カシオ計算機株式会社 | Imaging apparatus, imaging method and program |
| JP2015213615A (en) * | 2014-05-09 | 2015-12-03 | 学校法人 名城大学 | Image generating method, image generating device, and endoscopic examining apparatus including the same |
| JP2017525228A (en) * | 2014-06-17 | 2017-08-31 | ゼットティーイー コーポレーションＺｔｅ Ｃｏｒｐｏｒａｔｉｏｎ | Camera autofocus optimization method and camera |
| JP2018005008A (en) * | 2016-07-04 | 2018-01-11 | 株式会社ニコン | Camera body and interchangeable lens |
| JP2019103097A (en) * | 2017-12-07 | 2019-06-24 | キヤノン株式会社 | Imaging apparatus, imaging method, and program |
Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH10290389A (en) * | 1997-04-16 | 1998-10-27 | Toyota Motor Corp | Multi-focus image formation method and image formation device |
-
2010
- 2010-07-15 JP JP2010160850A patent/JP5144724B2/en not_active Expired - Fee Related
Patent Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH10290389A (en) * | 1997-04-16 | 1998-10-27 | Toyota Motor Corp | Multi-focus image formation method and image formation device |
Cited By (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2014119715A (en) * | 2012-12-19 | 2014-06-30 | Casio Comput Co Ltd | Imaging apparatus, imaging method and program |
| US9386213B2 (en) | 2012-12-19 | 2016-07-05 | Casio Computer Co., Ltd. | Image capture apparatus that can determine appropriate focus position, image capture method, and storage medium |
| KR20140094791A (en) * | 2013-01-23 | 2014-07-31 | 삼성전자주식회사 | Apparatus and method for processing image of mobile terminal comprising camera |
| KR102022892B1 (en) * | 2013-01-23 | 2019-11-04 | 삼성전자 주식회사 | Apparatus and method for processing image of mobile terminal comprising camera |
| JP2015213615A (en) * | 2014-05-09 | 2015-12-03 | 学校法人 名城大学 | Image generating method, image generating device, and endoscopic examining apparatus including the same |
| JP2017525228A (en) * | 2014-06-17 | 2017-08-31 | ゼットティーイー コーポレーションＺｔｅ Ｃｏｒｐｏｒａｔｉｏｎ | Camera autofocus optimization method and camera |
| JP2015216678A (en) * | 2015-07-09 | 2015-12-03 | カシオ計算機株式会社 | Imaging apparatus, imaging method and program |
| JP2018005008A (en) * | 2016-07-04 | 2018-01-11 | 株式会社ニコン | Camera body and interchangeable lens |
| JP2019103097A (en) * | 2017-12-07 | 2019-06-24 | キヤノン株式会社 | Imaging apparatus, imaging method, and program |
Also Published As
| Publication number | Publication date |
|---|---|
| JP5144724B2 (en) | 2013-02-13 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP4582423B2 (en) | Imaging apparatus, image processing apparatus, imaging method, and image processing method | |
| JP4678603B2 (en) | Imaging apparatus and imaging method | |
| JP6271990B2 (en) | Image processing apparatus and image processing method | |
| JP4665718B2 (en) | Imaging device | |
| US8629915B2 (en) | Digital photographing apparatus, method of controlling the same, and computer readable storage medium | |
| JP5484631B2 (en) | Imaging apparatus, imaging method, program, and program storage medium | |
| US9489747B2 (en) | Image processing apparatus for performing object recognition focusing on object motion, and image processing method therefor | |
| WO2017045558A1 (en) | Depth-of-field adjustment method and apparatus, and terminal | |
| JP5831033B2 (en) | Imaging apparatus and distance information acquisition method | |
| JP5144724B2 (en) | Imaging apparatus, image processing apparatus, imaging method, and image processing method | |
| JP5453573B2 (en) | Imaging apparatus, imaging method, and program | |
| JP2013005091A (en) | Imaging apparatus and distance information acquisition method | |
| KR101728042B1 (en) | Digital photographing apparatus and control method thereof | |
| KR20130061083A (en) | Image pickup apparatus, control method for image pickup apparatus, and storage medium | |
| JP2018107526A (en) | Image processing device, imaging apparatus, image processing method and computer program | |
| JP2015040941A (en) | Image-capturing device, control method therefor, and program | |
| JP2013041117A (en) | Imaging apparatus and distance information acquisition method | |
| JP2009284056A (en) | Image processing apparatus, method, and program | |
| JP2011066827A (en) | Image processing apparatus, image processing method and program | |
| JP6645711B2 (en) | Image processing apparatus, image processing method, and program | |
| JP2016059051A (en) | Imaging device and distance information acquisition method | |
| JP4888829B2 (en) | Movie processing device, movie shooting device, and movie shooting program | |
| JP7204387B2 (en) | Image processing device and its control method | |
| JP2014131188A (en) | Imaging apparatus, control method of the same, and control program | |
| JP2014138378A (en) | Image pickup device, control method thereof, and control program thereof |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20121002 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20121024 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20121109 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20121122 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20151130 Year of fee payment: 3 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 5144724 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| LAPS | Cancellation because of no payment of annual fees |