JP2016082279A

JP2016082279A - Imaging device, imaging method and program

Info

Publication number: JP2016082279A
Application number: JP2014208657A
Authority: JP
Inventors: 篤志松谷; Atsushi Matsutani
Original assignee: Ricoh Imaging Co Ltd
Current assignee: Ricoh Imaging Co Ltd
Priority date: 2014-10-10
Filing date: 2014-10-10
Publication date: 2016-05-16
Anticipated expiration: 2034-10-10
Also published as: JP6500384B2

Abstract

PROBLEM TO BE SOLVED: To provide an imaging device, an imaging method and a program that can optimally set an optical low-pass filter effect according to an imaging scene without forcing a user (photographer) to make a difficult situation determination and perform complex setting operation.SOLUTION: An imaging device has an image sensor for converting a subject image formed by an imaging optical system to an electrical pixel signal to perform imaging, a driving mechanism for making at least one of an optical element constituting at least a part of the imaging optical system and the image sensor serve as a moving member, driving the moving member in a direction different from the optical axis of the imaging optical system to make a subject light flux incident to plural pixels of the image sensor, and achieving an optical low-pass filter effect, a scene recognizer for recognizing an imaging scene picked up by the imaging sensor, and a controller for controlling the optical low-pass filter effect based on the driving of the moving member through the driving mechanism according to the imaging scene recognized by the scene recognizer.SELECTED DRAWING: Figure 1

Description

本発明は、移動部材（振れ補正部材）を撮影光学系の光軸と異なる方向に（例えば光軸直交平面内で）駆動することで光学的なローパスフィルタ効果を得る撮影装置、撮影方法及びプログラムに関する。 The present invention relates to a photographing apparatus, a photographing method, and a program for obtaining an optical low-pass filter effect by driving a moving member (shake correction member) in a direction different from the optical axis of the photographing optical system (for example, in a plane orthogonal to the optical axis). About.

特許文献１には、撮影光学系の一部をなす移動部材（振れ補正光学系）を光軸直交平面内で駆動（微小振動）することで、光学的なローパスフィルタ効果を得る撮影装置が開示されている。 Patent Document 1 discloses a photographing apparatus that obtains an optical low-pass filter effect by driving (microvibration) a moving member (shake correction optical system) forming a part of a photographing optical system in a plane orthogonal to the optical axis. Has been.

特許文献１は、専ら、静止画撮影を行う場合に移動部材をどのように駆動して光学的なローパスフィルタ効果を得るかに主眼を置いたものであり、しかも、移動部材の駆動による光学的なローパスフィルタ効果をどのように設定するか（例えば光学的なローパスフィルタ効果のオンオフ設定や大小設定）については完全にユーザ（撮影者）の手腕に委ねられている。 Patent Document 1 mainly focuses on how to move a moving member to obtain an optical low-pass filter effect when taking a still image, and in addition to optical by driving the moving member. How to set the low-pass filter effect (for example, on / off setting or large / small setting of the optical low-pass filter effect) is completely left to the user (photographer).

さらに、実際の撮影シーンでは、被写体の配置や動き、背景とのバランス、色と感性の表現等のあらゆる点でユーザ（撮影者）の状況判断が要求されるため、これが、移動部材の駆動による光学的なローパスフィルタ効果をどのように設定するかをより一層難しくさせている。 Furthermore, in an actual shooting scene, the user (photographer) needs to judge the situation in all respects such as the arrangement and movement of the subject, the balance with the background, the expression of color and sensitivity, and this is due to the driving of the moving member. How to set the optical low-pass filter effect is made more difficult.

例えば、モアレや偽色が出る被写体の場合はローパスフィルタ効果を得たいが、モアレや偽色が出ない被写体の場合は解像度を維持するためにローパスフィルタ効果をなくしたい。そのため、撮影後の画像を確認してモアレや偽色の有無及び解像度の落ちを確認して満足がいかないようであれば再撮影することになり、これがユーザ（撮影者）のストレスになる。 For example, it is desirable to obtain a low-pass filter effect for a subject that produces moiré or false color, but to eliminate the low-pass filter effect for a subject that does not produce moiré or false color in order to maintain resolution. For this reason, if the image after photographing is confirmed and the presence or absence of moiré or false color and the resolution drop are not satisfied and the user is not satisfied, re-photographing is performed, which causes stress on the user (photographer).

本出願人は、特願２０１４−１３０８５号において、ローパスフィルタ効果のオンオフ設定や大小設定を切り替えながら複数回の撮影を実行するブラケット撮影機能を用いることを提案しているが、この場合も選別作業は必要であり、またオートでしか撮影できない初心者もいる。 In Japanese Patent Application No. 2014-13085, the present applicant has proposed to use a bracket photographing function for performing photographing a plurality of times while switching the on / off setting and the magnitude setting of the low-pass filter effect. Is necessary, and some beginners can only shoot with auto.

特開２００２−３５４３３６号公報JP 2002-354336 A

本発明は、以上の問題意識に基づいてなされたものであり、ユーザ（撮影者）に対して難しい状況判断や煩雑な設定操作を強いることなく、撮影シーンに応じて光学的なローパスフィルタ効果を最適設定することができる撮影装置、撮影方法及びプログラムを得ることを目的とする。 The present invention has been made on the basis of the above problem awareness, and provides an optical low-pass filter effect according to the shooting scene without forcing the user (photographer) to make difficult situation determinations and complicated setting operations. It is an object to obtain a photographing apparatus, a photographing method and a program that can be optimally set.

本発明の撮影装置は、撮影光学系により形成された被写体像を電気的な画素信号に変換することで撮影を行うイメージセンサと、前記撮影光学系の少なくとも一部をなす光学要素と前記イメージセンサの少なくとも一方を移動部材とし、この移動部材を前記撮影光学系の光軸と異なる方向に駆動することにより、被写体光束を前記イメージセンサの複数の画素に入射させて、光学的なローパスフィルタ効果を得る駆動機構と、前記イメージセンサで撮影する撮影シーンを認識するシーン認識部と、前記シーン認識部が認識した撮影シーンに応じて、前記駆動機構を介した前記移動部材の駆動による光学的なローパスフィルタ効果を制御する制御部と、を有することを特徴としている。 An imaging apparatus according to the present invention includes an image sensor that performs imaging by converting a subject image formed by an imaging optical system into an electrical pixel signal, an optical element that forms at least a part of the imaging optical system, and the image sensor. The moving member is driven in a direction different from the optical axis of the photographing optical system, so that the subject luminous flux is incident on a plurality of pixels of the image sensor, and an optical low-pass filter effect is obtained. A driving mechanism to obtain, a scene recognition unit for recognizing a shooting scene shot by the image sensor, and an optical low-pass by driving the moving member via the driving mechanism according to the shooting scene recognized by the scene recognition unit And a control unit for controlling the filter effect.

前記シーン認識部は、前記撮影シーンが人物を含んでいるか否かを認識することができる。 The scene recognition unit can recognize whether or not the shooting scene includes a person.

本発明の撮影装置は、前記撮影シーンが人物を含んでいると前記シーン認識部が認識したときに、撮影画像中のその人物の顔のサイズを検出する顔サイズ検出部をさらに有し、前記制御部は、前記顔サイズ検出部が検出した人物の顔のサイズに基づいて、前記駆動機構を介した前記移動部材の駆動による光学的なローパスフィルタ効果を制御することができる。 The photographing apparatus of the present invention further includes a face size detection unit that detects the size of the face of the person in the photographed image when the scene recognition unit recognizes that the photographing scene includes a person, The control unit can control an optical low-pass filter effect by driving the moving member via the driving mechanism based on the size of the human face detected by the face size detecting unit.

本発明の撮影装置は、前記顔サイズ検出部が検出した人物の顔のサイズが所定サイズより大きいか否かを判定する顔サイズ判定部をさらに有し、前記制御部は、前記顔サイズ検出部が検出した人物の顔のサイズが所定サイズより大きいと前記顔サイズ判定部が判定したとき、前記駆動機構を介した前記移動部材の駆動による光学的なローパスフィルタ効果を相対的に小さくし、前記顔サイズ検出部が検出した人物の顔のサイズが所定サイズより大きくないと前記顔サイズ判定部が判定したとき、前記駆動機構を介した前記移動部材の駆動による光学的なローパスフィルタ効果を相対的に大きくすることができる。 The photographing apparatus of the present invention further includes a face size determination unit that determines whether or not the face size of the person detected by the face size detection unit is larger than a predetermined size, and the control unit includes the face size detection unit When the face size determination unit determines that the size of the detected human face is larger than a predetermined size, the optical low-pass filter effect due to driving of the moving member via the driving mechanism is relatively reduced, When the face size determination unit determines that the face size of the person detected by the face size detection unit is not larger than a predetermined size, the optical low-pass filter effect by driving the moving member via the drive mechanism is relatively Can be large.

前記制御部は、前記顔サイズ検出部が検出した人物の顔のサイズが所定サイズより大きいと前記顔サイズ判定部が判定したとき、前記駆動機構を介した前記移動部材の駆動による光学的なローパスフィルタ効果をオフにすることができる。 When the face size determination unit determines that the face size of the person detected by the face size detection unit is larger than a predetermined size, the control unit performs an optical low pass by driving the moving member via the drive mechanism. The filter effect can be turned off.

前記制御部は、前記撮影シーンが人物を含んでいると前記シーン認識部が認識したとき、前記駆動機構を介した前記移動部材の駆動による光学的なローパスフィルタ効果をオンにすることができる。 The controller can turn on an optical low-pass filter effect by driving the moving member via the drive mechanism when the scene recognition unit recognizes that the shooting scene includes a person.

あるいは、前記制御部は、前記撮影シーンが人物を含んでいると前記シーン認識部が認識したとき、前記駆動機構を介した前記移動部材の駆動による光学的なローパスフィルタ効果をオフにすることもできる。 Alternatively, the control unit may turn off the optical low-pass filter effect by driving the moving member via the driving mechanism when the scene recognition unit recognizes that the shooting scene includes a person. it can.

前記シーン認識部は、前記撮影シーンが夜景シーンと風景シーンと標準シーンのいずれかであるか否かを認識し、前記制御部は、前記撮影シーンが夜景シーンと風景シーンと標準シーンのいずれかであると前記シーン認識部が認識したとき、前記駆動機構を介した前記移動部材の駆動による光学的なローパスフィルタ効果をオンにすることができる。 The scene recognition unit recognizes whether or not the shooting scene is a night scene, a landscape scene, or a standard scene, and the control unit determines whether the shooting scene is a night scene, a landscape scene, or a standard scene. When the scene recognition unit recognizes that the optical low-pass filter effect by driving the moving member via the driving mechanism can be turned on.

前記シーン認識部は、前記撮影シーンが接写シーンと自然シーンのいずれかであるか否かを認識し、前記制御部は、前記撮影シーンが接写シーンと自然シーンのいずれかであると前記シーン認識部が認識したとき、前記駆動機構を介した前記移動部材の駆動による光学的なローパスフィルタ効果をオフにすることができる。 The scene recognition unit recognizes whether or not the shooting scene is a close-up scene or a natural scene, and the control unit recognizes the scene recognition that the shooting scene is either a close-up scene or a natural scene. When the unit recognizes, the optical low-pass filter effect due to the driving of the moving member via the driving mechanism can be turned off.

本発明の撮影方法は、撮影光学系により形成された被写体像を電気的な画素信号に変換することで撮影を行うイメージセンサと、前記撮影光学系の少なくとも一部をなす光学要素と前記イメージセンサの少なくとも一方を移動部材とし、この移動部材を前記撮影光学系の光軸と異なる方向に駆動することにより、被写体光束を前記イメージセンサの複数の画素に入射させて、光学的なローパスフィルタ効果を得る駆動機構と、を有する撮影装置による撮影方法であって、前記イメージセンサで撮影する撮影シーンを認識するシーン認識ステップと、前記シーン認識ステップで認識した撮影シーンに応じて、前記駆動機構を介した前記移動部材の駆動による光学的なローパスフィルタ効果を制御する制御ステップと、を有することを特徴としている。 The imaging method of the present invention includes an image sensor that performs imaging by converting a subject image formed by an imaging optical system into an electrical pixel signal, an optical element that forms at least a part of the imaging optical system, and the image sensor. The moving member is driven in a direction different from the optical axis of the photographing optical system, so that the subject luminous flux is incident on a plurality of pixels of the image sensor, and an optical low-pass filter effect is obtained. A driving mechanism, and a scene recognition step for recognizing a shooting scene to be shot by the image sensor, and depending on the shooting scene recognized in the scene recognition step, the driving mechanism. And a control step for controlling an optical low-pass filter effect by driving the moving member. That.

本発明のプログラムは、撮影光学系により形成された被写体像を電気的な画素信号に変換することで撮影を行うイメージセンサと、前記撮影光学系の少なくとも一部をなす光学要素と前記イメージセンサの少なくとも一方を移動部材とし、この移動部材を前記撮影光学系の光軸と異なる方向に駆動することにより、被写体光束を前記イメージセンサの複数の画素に入射させて、光学的なローパスフィルタ効果を得る駆動機構と、を有する撮影装置を制御するためのプログラムであって、前記イメージセンサで撮影する撮影シーンを認識するシーン認識ステップと、前記シーン認識ステップで認識した撮影シーンに応じて、前記駆動機構を介した前記移動部材の駆動による光学的なローパスフィルタ効果を制御する制御ステップと、をコンピュータに実現させることを特徴としている。 The program of the present invention includes an image sensor that performs imaging by converting a subject image formed by the imaging optical system into an electrical pixel signal, an optical element that forms at least a part of the imaging optical system, and the image sensor. At least one of the moving members is used as a moving member, and the moving member is driven in a direction different from the optical axis of the photographing optical system so that the subject luminous flux is incident on a plurality of pixels of the image sensor, thereby obtaining an optical low-pass filter effect. A drive mechanism for controlling a photographing apparatus, a scene recognizing step for recognizing a photographing scene photographed by the image sensor, and the driving mechanism according to the photographing scene recognized by the scene recognizing step. A control step for controlling an optical low-pass filter effect by driving the moving member via It is characterized in that to realize the data.

本発明によれば、ユーザ（撮影者）に対して難しい状況判断や煩雑な設定操作を強いることなく、撮影シーンに応じて光学的なローパスフィルタ効果を最適設定することができる撮影装置、撮影方法及びプログラムが得られる。 According to the present invention, a photographing apparatus and a photographing method capable of optimally setting an optical low-pass filter effect according to a photographing scene without forcing a user (photographer) to make difficult situation determinations or complicated setting operations. And a program is obtained.

本発明によるデジタルカメラの要部構成を示すブロック図である。It is a block diagram which shows the principal part structure of the digital camera by this invention. 本発明によるデジタルカメラの像振れ補正装置の要部構成を示すブロック図である。1 is a block diagram illustrating a main configuration of an image shake correction apparatus for a digital camera according to the present invention. 本発明によるデジタルカメラの像振れ補正装置の構成を示す側面図である。1 is a side view illustrating a configuration of an image shake correction apparatus for a digital camera according to the present invention. 図４（Ａ）、（Ｂ）は所定軌跡を描くようにイメージセンサを駆動することで光学的なローパスフィルタ効果を与えるための動作を示す図であり、図４（Ａ）は撮影光学系の光軸を中心とする回転対称な正方形軌跡を描くようにイメージセンサを駆動する場合、図４（Ｂ）は撮影光学系の光軸を中心とする回転対称な円形軌跡を描くようにイメージセンサを駆動する場合をそれぞれ示している。4A and 4B are diagrams showing an operation for giving an optical low-pass filter effect by driving the image sensor so as to draw a predetermined locus, and FIG. 4A is a diagram of the photographing optical system. When the image sensor is driven to draw a rotationally symmetric square locus centered on the optical axis, FIG. 4B shows the image sensor being drawn so as to draw a rotationally symmetric circular locus centered on the optical axis of the imaging optical system. Each case of driving is shown. ＬＰＦ効果をオンにした場合とＬＰＦ効果をオフにした場合におけるイメージセンサの光軸直交平面内での動きを示す図である。It is a figure which shows the motion in the optical axis orthogonal plane of the image sensor in the case where the LPF effect is turned on and the case where the LPF effect is turned off. シーン認識部が認識する撮影シーンとこれに対応するローパスフィルタ効果との関係を一覧で示す図である。It is a figure which shows the relationship between the imaging | photography scene which a scene recognition part recognizes, and the low-pass filter effect corresponding to this in a list. 図７（Ａ）は撮影画像中の人物の顔のサイズが所定サイズより大きい場合を示す図であり、図７（Ｂ）は撮影画像中の人物の顔のサイズが所定サイズより小さい場合を示す図である。FIG. 7A is a diagram illustrating a case where the size of a person's face in the captured image is larger than a predetermined size, and FIG. 7B illustrates a case where the size of the person's face in the captured image is smaller than a predetermined size. FIG.

図１〜図７を参照して、本発明によるデジタルカメラ（撮影装置）１０の一実施形態について説明する。 An embodiment of a digital camera (photographing device) 10 according to the present invention will be described with reference to FIGS.

本明細書で「被写体の画像を撮像する（撮像）」とは、被写体の画像をメモリ等の記憶手段（画像メモリ２５）に記憶する「撮影」及び被写体の画像をモニタ等の表示手段（ＬＣＤ２４）にリアルタイムで表示する「スルー画撮影（ライブビュー撮影）」の双方を含む概念で使用する。 In this specification, “capturing an image of a subject (imaging)” means “photographing” in which a subject image is stored in a storage unit (image memory 25) such as a memory and a display unit (LCD 24) such as a monitor. ) Is used in a concept that includes both “through image shooting (live view shooting)” that is displayed in real time.

図１に示すように、デジタルカメラ１０は、ボディ本体２０と、このボディ本体２０に着脱可能（レンズ交換可能）な撮影レンズ３０とを備えている。撮影レンズ３０は、被写体側（図１中の左側）から像面側（図１中の右側）に向かって順に、撮影レンズ群（撮影光学系、移動部材、振れ補正部材）３１と、絞り（撮影光学系）３２とを備えている。ボディ本体２０は、被写体側（図１中の左側）から像面側（図１中の右側）に向かって順に、シャッタ（撮影光学系）２１と、イメージセンサ（移動部材、振れ補正部材）２２とを備えている。またボディ本体２０は、撮影レンズ３０への装着状態で絞り３２とシャッタ２１を駆動制御する絞り／シャッタ駆動回路２３を備えている。撮影レンズ群３１から入射し、絞り３２とシャッタ２１を通った被写体光束による被写体像が、イメージセンサ２２の受光面上に形成される。イメージセンサ２２の受光面上に形成された被写体像は、マトリックス状に配置された多数の画素によって、電気的な画素信号に変換され、画像データとしてＤＳＰ（コンピュータ）４０に出力される。ＤＳＰ４０は、イメージセンサ２２から入力した画像データに所定の画像処理を施して、これをＬＣＤ２４に表示し、画像メモリ２５に記憶する。なお、図１では、撮影レンズ群３１が単レンズからなるように描いているが、実際の撮影レンズ群３１は、例えば、固定レンズ、変倍時に移動する変倍レンズ、フォーカシング時に移動するフォーカシングレンズなどの複数枚のレンズからなる。 As shown in FIG. 1, the digital camera 10 includes a body main body 20 and a photographing lens 30 that can be attached to and detached from the body main body 20 (lens exchangeable). The photographic lens 30 includes, in order from the subject side (left side in FIG. 1) to the image plane side (right side in FIG. 1), a photographic lens group (photographic optical system, moving member, shake correction member) 31, and aperture ( Photographing optical system) 32. The body main body 20 has a shutter (photographing optical system) 21 and an image sensor (moving member, shake correction member) 22 in order from the subject side (left side in FIG. 1) to the image plane side (right side in FIG. 1). And. The body body 20 also includes a diaphragm / shutter drive circuit 23 that controls driving of the diaphragm 32 and the shutter 21 in a state where the body body 20 is attached to the photographing lens 30. A subject image is formed on the light receiving surface of the image sensor 22 by the subject light flux that enters from the photographing lens group 31 and passes through the aperture 32 and the shutter 21. The subject image formed on the light receiving surface of the image sensor 22 is converted into an electrical pixel signal by a large number of pixels arranged in a matrix, and is output to a DSP (computer) 40 as image data. The DSP 40 performs predetermined image processing on the image data input from the image sensor 22, displays it on the LCD 24, and stores it in the image memory 25. In FIG. 1, the photographic lens group 31 is depicted as a single lens. However, the actual photographic lens group 31 may be, for example, a fixed lens, a variable magnification lens that moves during zooming, or a focusing lens that moves during focusing. It consists of multiple lenses.

図示は省略しているが、イメージセンサ２２は、パッケージと、このパッケージに収納される固定撮像素子チップと、この固体撮像素子チップを密封保護するようにパッケージに固定される蓋部材とを含む複数の構成要素からなる。本明細書において、「イメージセンサ（移動部材）２２を撮影光学系の光軸と直交する平面内で駆動する」とは、イメージセンサ（移動部材）２２の複数の構成要素のうち被写体光束が通過する少なくとも一部を撮影光学系の光軸と直交する平面内で駆動することを意味する。 Although not shown, the image sensor 22 includes a plurality of packages, a fixed image sensor chip housed in the package, and a lid member fixed to the package so as to hermetically protect the solid-state image sensor chip. It consists of the following components. In this specification, “the image sensor (moving member) 22 is driven in a plane orthogonal to the optical axis of the imaging optical system” means that the subject light beam passes among a plurality of components of the image sensor (moving member) 22. This means that at least a part of the driving is driven in a plane orthogonal to the optical axis of the photographing optical system.

撮影レンズ３０は、撮影レンズ群３１の解像力（ＭＴＦ）情報や絞り３２の開口径（絞り値）情報などの各種情報を記憶した通信用メモリ３３を搭載している。撮影レンズ３０をボディ本体２０に装着した状態では、通信用メモリ３３が記憶した各種情報がＤＳＰ４０に読み込まれる。 The photographic lens 30 includes a communication memory 33 that stores various information such as resolving power (MTF) information of the photographic lens group 31 and aperture diameter (aperture value) information of the diaphragm 32. In a state where the photographic lens 30 is attached to the body main body 20, various information stored in the communication memory 33 is read into the DSP 40.

ボディ本体２０は、ＤＳＰ４０に接続させて、撮影操作スイッチ２６とローパスフィルタ操作スイッチ２７を備えている。撮影操作スイッチ２６は、電源スイッチやレリーズスイッチなどの各種スイッチからなる。ローパスフィルタ操作スイッチ２７は、イメージセンサ２２を撮影光学系の光軸Ｚと直交する平面内（以下、光軸直交平面内と呼ぶことがある）で駆動するローパスフィルタ動作のオンオフの切替え、ローパスフィルタ動作に関する各種設定などを行うためのスイッチである。またローパスフィルタ操作スイッチ２７は、後述するシーン認識部４２による撮影シーンの認識結果に応じてローパスフィルタ効果を自動制御するための「ＬＰＦ自動制御モード」を設定することができる。イメージセンサ２２のローパスフィルタ動作については後に詳細に説明する。 The body main body 20 includes a photographing operation switch 26 and a low-pass filter operation switch 27 connected to the DSP 40. The photographing operation switch 26 includes various switches such as a power switch and a release switch. The low-pass filter operation switch 27 switches on / off the low-pass filter operation for driving the image sensor 22 in a plane orthogonal to the optical axis Z of the imaging optical system (hereinafter sometimes referred to as an optical axis orthogonal plane). It is a switch for performing various settings related to operation. Further, the low-pass filter operation switch 27 can set an “LPF automatic control mode” for automatically controlling the low-pass filter effect in accordance with a recognition result of a photographic scene by a scene recognition unit 42 described later. The low-pass filter operation of the image sensor 22 will be described in detail later.

ボディ本体２０は、ＤＳＰ４０に接続させて、ジャイロセンサ（振れ検出部）２８を備えている。ジャイロセンサ２８は、ボディ本体２０に加わる移動角速度（Ｘ軸とＹ軸周り）を検出することで、該ボディ本体２０の光軸直交平面内の振れを示す振れ検出信号を検出する。 The body main body 20 includes a gyro sensor (a shake detection unit) 28 connected to the DSP 40. The gyro sensor 28 detects a shake detection signal indicating a shake in the plane orthogonal to the optical axis of the body body 20 by detecting a moving angular velocity (around the X axis and the Y axis) applied to the body body 20.

図１ないし図３に示すように、イメージセンサ２２は、撮影光学系の光軸Ｚと直交するＸ軸方向とＹ軸方向（直交二方向）に移動可能に像振れ補正装置（駆動機構）５０に搭載されている。像振れ補正装置５０は、ボディ本体２０のシャーシなどの構造物に固定される固定支持基板５１と、イメージセンサ２２を固定した、固定支持基板５１に対してスライド可能な可動ステージ５２と、固定支持基板５１の可動ステージ５２との対向面に固定した磁石Ｍ１、Ｍ２、Ｍ３と、固定支持基板５１に可動ステージ５２を挟んで各磁石Ｍ１、Ｍ２、Ｍ３と対向させて固定した、各磁石Ｍ１、Ｍ２、Ｍ３との間に磁気回路を構成する磁性体からなるヨークＹ１、Ｙ２、Ｙ３と、可動ステージ５２に固定した、前記磁気回路の磁界内において電流を受けることにより駆動力を発生する駆動用コイルＣ１、Ｃ２、Ｃ３を有し、駆動用コイルＣ１、Ｃ２、Ｃ３に交流駆動信号（交流電圧）を流す（印加する）ことにより、固定支持基板５１に対して可動ステージ５２（イメージセンサ２２）が光軸直交平面内で駆動するようになっている。駆動用コイルＣ１、Ｃ２、Ｃ３に流す交流駆動信号は、ＤＳＰ４０による制御の下、イメージセンサ駆動回路６０（図１）によって生成される。 As shown in FIGS. 1 to 3, the image sensor 22 is an image blur correction device (drive mechanism) 50 that is movable in the X-axis direction and the Y-axis direction (two orthogonal directions) orthogonal to the optical axis Z of the photographing optical system. It is mounted on. The image shake correction apparatus 50 includes a fixed support substrate 51 fixed to a structure such as a chassis of the body main body 20, a movable stage 52 that fixes the image sensor 22 and is slidable with respect to the fixed support substrate 51, and fixed support. Magnets M1, M2, M3 fixed on the surface of the substrate 51 facing the movable stage 52, and each magnet M1, fixed on the fixed support substrate 51 with the movable stage 52 sandwiched between the magnets M1, M2, M3, For driving to generate a driving force by receiving a current in a magnetic field of the magnetic circuit fixed to the movable stage 52 and the yokes Y1, Y2, Y3 made of a magnetic material constituting the magnetic circuit between M2 and M3 The coils C1, C2, and C3 are provided, and an AC drive signal (AC voltage) is passed (applied) to the drive coils C1, C2, and C3, whereby the fixed support substrate 51 is applied. Movable stage 52 (image sensor 22) is adapted to drive the optical axis orthogonal plane. The AC drive signal that flows through the drive coils C1, C2, and C3 is generated by the image sensor drive circuit 60 (FIG. 1) under the control of the DSP 40.

本実施形態では、磁石Ｍ１、ヨークＹ１及び駆動用コイルＣ１からなる磁気駆動手段と、磁石Ｍ２、ヨークＹ２及び駆動用コイルＣ２からなる磁気駆動手段（２組の磁気駆動手段）とがイメージセンサ２２の長手方向（水平方向、Ｘ軸方向）に所定間隔で配置され、磁石Ｍ３、ヨークＹ３及び駆動用コイルＣ３からなる磁気駆動手段（１組の磁気駆動手段）がイメージセンサ２２の長手方向と直交する短手方向（鉛直（垂直）方向、Ｙ軸方向）に配置されている。 In the present embodiment, the image sensor 22 includes a magnetic driving unit including the magnet M1, the yoke Y1, and the driving coil C1, and a magnetic driving unit (two sets of magnetic driving units) including the magnet M2, the yoke Y2, and the driving coil C2. Are arranged at predetermined intervals in the longitudinal direction (horizontal direction, X-axis direction), and magnetic drive means (a set of magnetic drive means) including the magnet M3, the yoke Y3, and the drive coil C3 are orthogonal to the longitudinal direction of the image sensor 22. Are arranged in the short direction (vertical (vertical) direction, Y-axis direction).

さらに固定支持基板５１には、各駆動用コイルＣ１、Ｃ２、Ｃ３の近傍（中央空間部）に、磁石Ｍ１、Ｍ２、Ｍ３の磁力を検出して可動ステージ５２（イメージセンサ２２）の光軸直交平面内の位置を示す位置検出信号を検出するホールセンサ（位置検出部）Ｈ１、Ｈ２、Ｈ３が配置されている。ホールセンサＨ１、Ｈ２により可動ステージ５２（イメージセンサ２２）のＹ軸方向位置及び傾き（回転）が検出され、ホールセンサＨ３により可動ステージ５２（イメージセンサ２２）のＸ軸方向位置が検出される。ＤＳＰ４０は、イメージセンサ駆動回路６０を介して、ジャイロセンサ２８が検出したボディ本体２０の光軸直交平面内の振れを示す振れ検出信号と、ホールセンサＨ１、Ｈ２、Ｈ３が検出したイメージセンサ２２の光軸直交平面内の位置を示す位置検出信号とに基づいて、像振れ補正装置５０によってイメージセンサ２２を光軸直交平面内で駆動する。これにより、イメージセンサ２２上への被写体像の結像位置を変位させて、手振れに起因する像振れを補正することができる。本実施形態ではこの動作を「イメージセンサ２２の像振れ補正動作（像振れ補正駆動）」と呼ぶ。 Further, the fixed support substrate 51 detects the magnetic force of the magnets M1, M2, and M3 in the vicinity (central space) of each of the driving coils C1, C2, and C3, and is orthogonal to the optical axis of the movable stage 52 (image sensor 22). Hall sensors (position detection units) H1, H2, and H3 for detecting a position detection signal indicating a position in the plane are arranged. The position and tilt (rotation) of the movable stage 52 (image sensor 22) are detected by the hall sensors H1 and H2, and the position of the movable stage 52 (image sensor 22) is detected by the hall sensor H3. The DSP 40 detects, through the image sensor drive circuit 60, a shake detection signal indicating a shake in the plane orthogonal to the optical axis of the body main body 20 detected by the gyro sensor 28, and the image sensor 22 detected by the hall sensors H1, H2, and H3. Based on the position detection signal indicating the position in the optical axis orthogonal plane, the image blur correction device 50 drives the image sensor 22 in the optical axis orthogonal plane. Thereby, the image formation position of the subject image on the image sensor 22 can be displaced, and the image shake due to the camera shake can be corrected. In the present embodiment, this operation is referred to as “image blur correction operation (image blur correction drive) of the image sensor 22”.

本実施形態の像振れ補正装置５０は、撮影光学系の光軸Ｚと直交する平面内において所定軌跡を描くようにイメージセンサ２２を駆動して、被写体光束をイメージセンサ２２の検出色の異なる複数の画素に入射させることにより、光学的なローパスフィルタ効果（以下、ＬＰＦ効果と呼ぶことがある）を与える。本実施形態ではこの動作を「イメージセンサ２２のローパスフィルタ動作（ＬＰＦ動作、ＬＰＦ駆動）」と呼ぶ。 The image shake correction apparatus 50 according to the present embodiment drives the image sensor 22 so as to draw a predetermined locus in a plane orthogonal to the optical axis Z of the photographing optical system, and the subject light flux is detected in a plurality of different colors detected by the image sensor 22. In this case, an optical low-pass filter effect (hereinafter sometimes referred to as an LPF effect) is given. In the present embodiment, this operation is referred to as “low-pass filter operation (LPF operation, LPF drive) of the image sensor 22”.

本実施形態の像振れ補正装置５０は、イメージセンサ２２をその像振れ補正動作範囲（像振れ補正駆動範囲）の中央位置で保持する「イメージセンサ２２の中央保持動作（中央保持駆動）」を実行する。例えば、「イメージセンサ２２の像振れ補正動作（像振れ補正駆動）」と「イメージセンサ２２のＬＰＦ動作（ＬＰＦ駆動）」がともにオフの場合には、「イメージセンサ２２の中央保持動作（中央保持駆動）」のみをオンにして撮影が行われる（像振れ補正を行わなくても中央保持は行う）。 The image shake correction apparatus 50 according to the present embodiment executes “center holding operation (center holding drive) of the image sensor 22” that holds the image sensor 22 at the center position of the image shake correction operation range (image shake correction drive range). To do. For example, when “image blur correction operation of image sensor 22 (image blur correction drive)” and “LPF operation of image sensor 22 (LPF drive)” are both off, “center holding operation of image sensor 22 (center holding operation”). (Driving) "is turned on, and shooting is performed (the center is maintained without image blur correction).

「イメージセンサ２２の像振れ補正動作（像振れ補正駆動）」、「イメージセンサ２２のＬＰＦ動作（ＬＰＦ駆動）」及び「イメージセンサ２２の中央保持動作（中央保持駆動）」は、これらの合成動作（合成駆動）として像振れ補正装置５０によって実現される態様、あるいは、これらのいずれか１つの動作（駆動）のみが単独で像振れ補正装置５０によって実現される態様が可能である。 “Image sensor 22 image blur correction operation (image blur correction drive)”, “image sensor 22 LPF operation (LPF drive)” and “center holding operation (center holding drive) of image sensor 22” are combined operations of these. A mode realized by the image blur correction device 50 as (combining drive) or a mode in which only one of these operations (drive) is realized by the image blur correction device 50 alone is possible.

図４（Ａ）、（Ｂ）を参照して、像振れ補正装置５０が、所定軌跡を描くようにイメージセンサ２２を駆動して、該イメージセンサ２２によってＬＰＦ効果を与えるＬＰＦ動作について説明する。同図において、イメージセンサ２２は、受光面にマトリックス状に所定の画素ピッチＰで配置された多数の画素２２ａを備え、各画素２２ａの前面にベイヤ配列のカラーフィルタＲ、Ｇ、Ｂのいずれかが配置されている。各画素２２ａは、前面のいずれかのカラーフィルタＲ、Ｇ、Ｂを透過して入射した被写体光線の色を検出、つまり、色成分（色帯域）の光を光電変換し、その強さ（輝度）に応じた電荷を蓄積する。 With reference to FIGS. 4A and 4B, an LPF operation in which the image blur correction apparatus 50 drives the image sensor 22 so as to draw a predetermined locus and gives the LPF effect by the image sensor 22 will be described. In the figure, an image sensor 22 includes a large number of pixels 22a arranged in a matrix at a predetermined pixel pitch P on the light receiving surface, and any one of the color filters R, G, and B in a Bayer array on the front surface of each pixel 22a. Is arranged. Each pixel 22a detects the color of the subject light beam that has passed through one of the color filters R, G, and B on the front surface, that is, photoelectrically converts light of a color component (color band), and the intensity (luminance) ) Is stored.

図４（Ａ）は、イメージセンサ２２を、撮影光学系の光軸Ｚを中心とする回転対称な正方形軌跡を描くように駆動する場合を示している。この正方形軌跡は、例えば、イメージセンサ２２の画素ピッチＰを一辺とした正方形の閉じた経路とすることができる。図４（Ａ）では、イメージセンサ２２を、画素２２ａの互いに直交する並び方向の一方（鉛直方向）と平行なＹ軸方向、他方（水平方向）と平行なＸ軸方向に１画素ピッチＰ単位で交互にかつ正方形経路となるように移動させている。 FIG. 4A shows a case where the image sensor 22 is driven so as to draw a rotationally symmetric square locus centering on the optical axis Z of the photographing optical system. This square locus can be, for example, a square closed path with the pixel pitch P of the image sensor 22 as one side. In FIG. 4A, the image sensor 22 is arranged in units of one pixel pitch P in the Y-axis direction parallel to one (vertical direction) of the pixels 22a orthogonal to each other and in the X-axis direction parallel to the other (horizontal direction). Are alternately moved to form a square path.

図４（Ｂ）は、イメージセンサ２２を、撮影光学系の光軸Ｚを中心とする回転対称な円形軌跡を描くように駆動する場合を示している。この円形軌跡は、イメージセンサ２２の画素ピッチＰの２^1/2／２倍を半径ｒとする円形の閉じた経路とすることができる。 FIG. 4B shows a case where the image sensor 22 is driven to draw a rotationally symmetric circular locus centering on the optical axis Z of the photographing optical system. This circular locus can be a circular closed path having a radius r of 2 ^1/2 / 2 times the pixel pitch P of the image sensor 22.

図４（Ａ）、（Ｂ）のように、露光中にイメージセンサ２２を正方形または円形の所定軌跡を描くように駆動すると、各カラーフィルタＲ、Ｇ、Ｂ（画素２２ａ）の中央に入射した被写体光線（光束）が、４個のカラーフィルタＲ、Ｇ、Ｂ、Ｇに均等に入射するので、光学的なローパスフィルタと同等の効果が得られる。つまり、どのカラーフィルタＲ、Ｇ、Ｂ、Ｇ（画素２２ａ）に入射した光線も、必ずその周辺のカラーフィルタＲ、Ｇ、Ｂ、Ｇ（画素２２ａ）に入射するので、恰も光学的なローパスフィルタを光線が通過したのと同等の効果（ＬＰＦ効果）が得られる。 As shown in FIGS. 4A and 4B, when the image sensor 22 is driven so as to draw a square or circular predetermined locus during exposure, the light enters the center of each color filter R, G, B (pixel 22a). Since the subject light beam (light beam) is equally incident on the four color filters R, G, B, and G, the same effect as the optical low-pass filter can be obtained. In other words, since light rays incident on any color filter R, G, B, G (pixel 22a) are necessarily incident on the surrounding color filters R, G, B, G (pixel 22a), the optical low-pass filter is also very much optical. The same effect (LPF effect) as the light beam passed through is obtained.

さらに、イメージセンサ２２の駆動範囲を段階的に切り替える（正方形軌跡の場合は一辺の長さを異ならせ、円形軌跡の場合は半径ｒを異ならせる）ことで、イメージセンサ２２によるＬＰＦ効果の強弱を段階的に切り替えることができる。つまり、正方形軌跡の一辺または円形軌跡の半径ｒを長くする（被写体光線が入射するイメージセンサ２２の検出色の異なる画素２２ａ（カラーフィルタＲ、Ｇ、Ｂ、Ｇ）に入射する画素２２ａの範囲を拡大する）ことでＬＰＦ効果が強くなり、一方、正方形軌跡の一辺または円形軌跡の半径ｒを短くする（被写体光線が入射するイメージセンサ２２の検出色の異なる画素２２ａ（カラーフィルタＲ、Ｇ、Ｂ、Ｇ）に入射する画素２２ａの範囲を縮小する）ことでＬＰＦ効果が弱くなる。表１に示すように、本実施形態では、イメージセンサ２２の駆動範囲ならびにＬＰＦ効果を「ＯＦＦ」、「小」、「中」、「大」の４段階で切り替えることができる。イメージセンサ２２の駆動範囲ならびにＬＰＦ効果が「ＯＦＦ」とは、イメージセンサ２２を駆動することなく、従ってＬＰＦ効果が得られない状態を意味する。

Further, by switching the driving range of the image sensor 22 in stages (in the case of a square locus, the length of one side is varied, and in the case of a circular locus, the radius r is varied), the intensity of the LPF effect by the image sensor 22 can be increased. It can be switched in stages. That is, the radius r of one side of the square locus or the circular locus is increased (the range of the pixel 22a incident on the pixel 22a (color filter R, G, B, G) having a different detection color of the image sensor 22 on which the subject light ray is incident). By enlarging, the LPF effect is strengthened, while the radius r of one side of the square locus or the circular locus is shortened (pixels 22a (color filters R, G, and B) having different detection colors of the image sensor 22 on which the subject ray is incident. , G)), the LPF effect is weakened. As shown in Table 1, in the present embodiment, the driving range of the image sensor 22 and the LPF effect can be switched in four stages of “OFF”, “small”, “medium”, and “large”. The driving range of the image sensor 22 and the LPF effect being “OFF” mean that the image sensor 22 is not driven and therefore the LPF effect cannot be obtained.

図５は、ＬＰＦ効果をオンにした場合とＬＰＦ効果をオフにした場合におけるイメージセンサ２２の光軸直交平面内での動きを示している。同図において、横軸は時間、縦軸は移動量を示しており、縦軸の移動量についてはＸ方向移動量とＹ方向移動量に分けて示している。同図に明らかなように、ＬＰＦ効果がオフの場合には、ジャイロセンサ２８から求められる制御目標に追従してイメージセンサ２２が駆動される。一方、ＬＰＦ効果がオンの場合には、ジャイロセンサ２８から求められる制御目標にＬＰＦ駆動用の微小振動用信号が重畳されて、イメージセンサ２２が駆動される。 FIG. 5 shows the movement of the image sensor 22 in the plane orthogonal to the optical axis when the LPF effect is turned on and when the LPF effect is turned off. In the figure, the horizontal axis represents time, and the vertical axis represents the movement amount. The movement amount on the vertical axis is divided into an X-direction movement amount and a Y-direction movement amount. As can be seen from the figure, when the LPF effect is off, the image sensor 22 is driven following the control target obtained from the gyro sensor 28. On the other hand, when the LPF effect is ON, the image sensor 22 is driven by superimposing the LPF driving minute vibration signal on the control target obtained from the gyro sensor 28.

本実施形態のデジタルカメラ１０は、様々な撮影シーンに応じてローパスフィルタ効果を自動制御する「ＬＰＦ自動制御」を実行する機能を搭載している。以下ではこの「ＬＰＦ自動制御」を実行するためのデジタルカメラ１０のＤＳＰ（コンピュータ）４０の構成について詳細に説明する。 The digital camera 10 of the present embodiment is equipped with a function of executing “LPF automatic control” for automatically controlling the low-pass filter effect according to various shooting scenes. Hereinafter, the configuration of the DSP (computer) 40 of the digital camera 10 for executing the “LPF automatic control” will be described in detail.

ＤＳＰ４０は、該ＤＳＰ４０のチップに組み込まれた機能構成要素として、シーン認識部４２と、顔サイズ検出部４４と、顔サイズ判定部４６と、ＬＰＦ制御部（制御部）４８とを有している。これらの構成要素４２、４４、４６、４８に各種の処理ステップを実行させるためのプログラムは、デジタルカメラ１０の内部のプログラム記憶手段（図示せず）に格納されている。 The DSP 40 has a scene recognition unit 42, a face size detection unit 44, a face size determination unit 46, and an LPF control unit (control unit) 48 as functional components incorporated in the chip of the DSP 40. . A program for causing these components 42, 44, 46 and 48 to execute various processing steps is stored in a program storage means (not shown) inside the digital camera 10.

シーン認識部４２は、画像信号や輝度値などの各種パラメータに基づいて、イメージセンサ２２で撮影する撮影シーンを認識する。ＤＳＰ４０は、シーン認識部４２が認識した撮影シーンに応じて、例えば、人物を重視するようにオートフォーカスを働かせる、画面内で動き回る被写体を追尾する、明るい部分と暗い部分の面積や分布から露出を計算する、色バランス（例えばホワイトバランス）を補正するといった撮影条件を自動で設定する。 The scene recognition unit 42 recognizes a shooting scene shot by the image sensor 22 based on various parameters such as an image signal and a luminance value. The DSP 40 uses, for example, autofocus so as to place importance on the person according to the photographic scene recognized by the scene recognition unit 42, tracks a subject moving around in the screen, and exposes exposure from the areas and distributions of bright and dark parts. Shooting conditions such as calculation and correction of color balance (for example, white balance) are automatically set.

図６に示すように、本実施形態のシーン認識部４２は、撮影シーンが夜景である「夜景シーン」であるか否か、撮影シーンが人物を含む「人物シーン」であるか否か、撮影シーンが夜景であり且つ人物を含む「夜景＆人物シーン」であるか否か、撮影シーンが接写である「接写シーン」であるか否か、撮影シーンが風景である「風景シーン」であるか否か、撮影シーンが自然である「自然シーン」であるか否か、撮影シーンが標準である「標準シーン」であるか否かを認識する。つまりシーン認識部４２は、「夜景シーン」、「人物シーン」、「夜景＆人物シーン」、「接写シーン」、「風景シーン」、「自然シーン」、「標準シーン」の７種類の撮影シーンのうちのいずれか１つを認識する。 As shown in FIG. 6, the scene recognition unit 42 of the present embodiment determines whether or not the shooting scene is a “night scene” that is a night view, whether or not the shooting scene is a “person scene” including a person, Whether the scene is a night view and a “night scene & person scene” including a person, whether the shooting scene is a close-up “close-up scene”, and whether the shooting scene is a “landscape scene” No, whether the shooting scene is a natural “natural scene” or not, and whether the shooting scene is a standard “standard scene” is recognized. That is, the scene recognizing unit 42 has seven types of shooting scenes of “night scene”, “person scene”, “night scene & portrait scene”, “close-up scene”, “landscape scene”, “natural scene”, and “standard scene”. Recognize one of them.

顔サイズ検出部４４は、シーン認識部４２が撮影シーンとして「人物シーン」または「夜景＆人物シーン」を認識したときに、撮影画像中のその人物の顔のサイズを検出する。 The face size detection unit 44 detects the size of the face of the person in the captured image when the scene recognition unit 42 recognizes “person scene” or “night scene & portrait scene” as the shooting scene.

顔サイズ判定部４６は、顔サイズ検出部４４が検出した撮影画像中の人物の顔のサイズが所定サイズより大きいか否かを判定する。図７（Ａ）は、顔サイズ検出部４４が検出した撮影画像中の人物の顔のサイズが所定サイズより大きい場合を示しており、図７（Ｂ）は、顔サイズ検出部４４が検出した撮影画像中の人物の顔のサイズが所定サイズより小さい（大きくない）場合を示している。 The face size determination unit 46 determines whether or not the face size of the person in the captured image detected by the face size detection unit 44 is larger than a predetermined size. FIG. 7A shows a case where the size of a person's face in the captured image detected by the face size detection unit 44 is larger than a predetermined size. FIG. 7B shows the case where the face size detection unit 44 detects This shows a case where the size of the face of the person in the captured image is smaller (not larger) than the predetermined size.

ＬＰＦ制御部４８は、シーン認識部４２が認識した撮影シーンに応じて、像振れ補正装置（駆動機構）５０を介したイメージセンサ２２の駆動による光学的なローパスフィルタ効果（以下、ＬＰＦ効果）を制御する。 The LPF control unit 48 performs an optical low-pass filter effect (hereinafter referred to as an LPF effect) by driving the image sensor 22 via the image blur correction device (drive mechanism) 50 in accordance with the shooting scene recognized by the scene recognition unit 42. Control.

ＬＰＦ制御部４８は、図６に示すように、シーン認識部４２が撮影シーンとして「夜景シーン」、「風景シーン」または「標準シーン」を認識したときに、ＬＰＦ効果をオン（表１の小、中、大のいずれか）に設定する。これらの撮影シーンでは人工物が写ってモアレや偽色が出る頻度が高いため、ＬＰＦ効果をオンにしてモアレや偽色を積極的に除去した撮影画像を得ることができる。 As shown in FIG. 6, the LPF control unit 48 turns on the LPF effect when the scene recognition unit 42 recognizes a “night scene”, “landscape scene”, or “standard scene” as a photographic scene (small values in Table 1). , Medium, or large). In these photographic scenes, artifacts appear and moiré and false colors are frequently generated. Therefore, it is possible to obtain a photographic image in which the moiré and false colors are positively removed by turning on the LPF effect.

ＬＰＦ制御部４８は、図６に示すように、シーン認識部４２が撮影シーンとして「接写シーン」または「自然シーン」を認識したときに、ＬＰＦ効果をオフに設定する。「接写シーン」は細かい周期パターンが出にくく解像度を重視する機会が多いこと、「自然シーン」は人工物が写り込む可能性が低いことから、ＬＰＦ効果をオフにして解像度を重視した撮影画像を得ることができる。 As shown in FIG. 6, the LPF control unit 48 sets the LPF effect to OFF when the scene recognition unit 42 recognizes “close-up scene” or “natural scene” as the shooting scene. Since “close-up scenes” are difficult to produce a fine periodic pattern and there are many opportunities to place importance on resolution, and “natural scenes” have a low possibility of artifacts being captured, so images taken with an emphasis on resolution can be selected with the LPF effect turned off. Can be obtained.

ＬＰＦ制御部４８は、図６に示すように、シーン認識部４２が撮影シーンとして「人物シーン」または「夜景＆人物シーン」を認識したときには、顔サイズ検出部４４による検出結果と顔サイズ判定部４６による判定結果に基づいて、ＬＰＦ効果をオン（表１の小、中、大のいずれか）またはオフに設定する。 As shown in FIG. 6, when the scene recognition unit 42 recognizes “person scene” or “night scene & person scene” as the shooting scene, the LPF control unit 48 detects the detection result by the face size detection unit 44 and the face size determination unit. Based on the determination result of 46, the LPF effect is set to ON (small, medium, or large in Table 1) or OFF.

より具体的に、ＬＰＦ制御部４８は、顔サイズ検出部４４が検出した撮影画像中の人物の顔のサイズが所定サイズより大きいと顔サイズ判定部４６が判定したとき（図７（Ａ））、ＬＰＦ効果を相対的に小さくし、顔サイズ検出部４４が検出した撮影画像中の人物の顔のサイズが所定サイズより小さい（大きくない）と顔サイズ判定部４６が判定したとき（図７（Ｂ））、ＬＰＦ効果を相対的に大きくする。 More specifically, when the face size determination unit 46 determines that the face size of the person in the captured image detected by the face size detection unit 44 is larger than a predetermined size, the LPF control unit 48 (FIG. 7A). When the face size determination unit 46 determines that the LPF effect is relatively small and the face size of the person in the captured image detected by the face size detection unit 44 is smaller (not larger) than the predetermined size (FIG. 7 ( B)), relatively increasing the LPF effect.

例えば、ＬＰＦ制御部４８は、顔サイズ検出部４４が検出した撮影画像中の人物の顔のサイズが所定サイズより大きいと顔サイズ判定部４６が判定したとき（図７（Ａ））、ＬＰＦ効果をオフに設定し、顔サイズ検出部４４が検出した撮影画像中の人物の顔のサイズが所定サイズより小さい（大きくない）と顔サイズ判定部４６が判定したとき（図７（Ｂ））、ＬＰＦ効果をオン（表１の小、中、大のいずれか）に設定する。 For example, when the face size determination unit 46 determines that the face size of the person in the captured image detected by the face size detection unit 44 is larger than a predetermined size (FIG. 7A), the LPF control unit 48 performs the LPF effect. When the face size determination unit 46 determines that the face size of the person in the captured image detected by the face size detection unit 44 is smaller (not larger) than the predetermined size (FIG. 7B). Set the LPF effect to on (small, medium or large in Table 1).

これにより、細かい表情や毛束のリアル感など特に顔に意識が向けられる場合には、ＬＰＦ効果をオフにして解像度を上げることができ、体も含めた人物全体に意識が向けられる場合には、ＬＰＦ効果をオンにして衣服のモアレや偽色を効果的に抑えることができる。また、衣服の繊維の周期パターンによるモアレは寄った撮影（撮影距離が短い撮影）では出にくく、引いた撮影（撮影距離が長い撮影）の方が出る傾向があるため、この観点でも人物のアップでＬＰＦ効果をオフにするのが良い。 This makes it possible to increase the resolution by turning off the LPF effect, especially when the consciousness is directed to the face, such as a fine facial expression or a realistic feeling of hair bundles, and when the consciousness is directed to the entire person including the body. By turning on the LPF effect, it is possible to effectively suppress moiré and false colors of clothes. Also, moire due to the periodic pattern of clothing fibers is less likely to occur when shooting with a short distance (shooting with a short shooting distance), and there is a tendency for subtracted shooting (shooting with a long shooting distance). It is better to turn off the LPF effect.

このように本実施形態によれば、シーン認識部４２が、イメージセンサ２２で撮影する撮影シーンを認識し、ＬＰＦ制御部（制御部）４８が、シーン認識部４２が認識した撮影シーンに応じてＬＰＦ効果を制御（自動制御）するので、ユーザ（撮影者）に対して難しい状況判断や煩雑な設定操作を強いることなく、撮影シーンに応じて光学的なローパスフィルタ効果を最適設定することができる。 As described above, according to the present embodiment, the scene recognition unit 42 recognizes a shooting scene shot by the image sensor 22, and the LPF control unit (control unit) 48 corresponds to the shooting scene recognized by the scene recognition unit 42. Since the LPF effect is controlled (automatically controlled), the optical low-pass filter effect can be optimally set according to the shooting scene without forcing the user (photographer) to make difficult situation determinations or complicated setting operations. .

以上の実施形態では、シーン認識部４２が撮影シーンとして「人物シーン」または「夜景＆人物シーン」を認識したとき、顔サイズ検出部４４による検出結果と顔サイズ判定部４６による判定結果をさらに考慮して、ＬＰＦ効果をオン（表１の小、中、大のいずれか）またはオフに設定する場合を例示して説明した。 In the above embodiment, when the scene recognition unit 42 recognizes “person scene” or “night scene & person scene” as a shooting scene, the detection result by the face size detection unit 44 and the determination result by the face size determination unit 46 are further considered. Then, the case where the LPF effect is set to on (any of small, medium, and large in Table 1) or off has been described as an example.

しかし、ＬＰＦ制御部４８は、シーン認識部４２が撮影シーンとして「人物シーン」または「夜景＆人物シーン」を認識したことだけを以って、ＬＰＦ効果をオン（表１の小、中、大のいずれか）に設定することができる。この場合、被写体である人物の衣服や背景からモアレや偽色を取り除いた全体として美しい撮影画像を得ることができる。 However, the LPF control unit 48 turns on the LPF effect only when the scene recognition unit 42 recognizes “person scene” or “night scene & person scene” as a shooting scene (small, medium, large in Table 1). Any one). In this case, a beautiful photographed image as a whole can be obtained by removing moire and false colors from the clothes and background of the person who is the subject.

これとは逆に、ＬＰＦ制御部４８は、シーン認識部４２が撮影シーンとして「人物シーン」または「夜景＆人物シーン」を認識したことだけを以って、ＬＰＦ効果をオフに設定することもできる。この場合、被写体である人物の細かい表情や毛束のリアル感などを強調した綺麗な顔の撮影画像を得ることができる。仮に、被写体である人物の衣服や背景にモアレや偽色が発生したときには、モアレ低減等の画像処理を事後的に施したり、モアレ発生部をトリミング等で画像から切り出したりすることも可能である。 On the contrary, the LPF control unit 48 may set the LPF effect to OFF only by the fact that the scene recognition unit 42 recognizes “person scene” or “night scene & person scene” as the shooting scene. it can. In this case, it is possible to obtain a photographed image of a beautiful face that emphasizes the fine expression of the person who is the subject and the realistic feeling of the hair bundle. If moiré or false color occurs in the clothes or background of the person who is the subject, it is possible to perform image processing such as moiré reduction or to cut out the moiré occurrence part from the image by trimming or the like. .

ここで、上記段落００５６と００５７は真逆の実施例であるが、これらを実行するための機能を事前にカメラにインストールしておき、カメラの設定画面からユーザが選択的に設定することができる。これにより、１台のカメラで、「モアレや偽色の除去をメインに考える（優先する）ユーザ」と「解像度をメインに考える（優先する）ユーザ」の両方に応えることができる（ユーザの撮影趣向に柔軟に応えることができる）。 Here, the above paragraphs 0056 and 0057 are the opposite embodiments, but a function for executing these can be installed in the camera in advance and the user can selectively set it from the camera setting screen. . Thus, one camera can respond to both “users who mainly consider (priority) removal of moire and false colors” and “users who mainly consider (priority) resolution” (user's photography). Can respond flexibly to preferences).

以上の実施形態では、イメージセンサ２２を「移動部材」として、このイメージセンサ２２を光軸直交平面内で駆動する態様を例示して説明したが、本発明はこれに限定されるものではない。例えば、撮影レンズ群（撮影光学系）３１の少なくとも一部をなすレンズ（光学要素）を「移動部材」として、このレンズ（光学要素）を撮影レンズ３０内に設けたボイスコイルモータ（駆動機構）によって光軸直交平面内で駆動する態様も可能である。あるいは、イメージセンサ２２と撮影レンズ群（撮影光学系）３１の少なくとも一部をなすレンズ（光学要素）の双方を「移動部材」として、これらを光軸直交平面内で駆動する態様も可能である。いずれの態様であっても、イメージセンサ２２上への被写体像の結像位置を変位させて像振れを補正するとともに、被写体光束をイメージセンサ２２の検出色の異なる複数の画素に入射させて光学的なローパスフィルタ効果を得ることができる。 In the above embodiment, the image sensor 22 is assumed to be the “moving member” and the image sensor 22 is driven in the plane orthogonal to the optical axis. However, the present invention is not limited to this. For example, a voice coil motor (driving mechanism) in which a lens (optical element) forming at least a part of the photographic lens group (photographic optical system) 31 is a “moving member” and the lens (optical element) is provided in the photographic lens 30. It is possible to drive in the plane orthogonal to the optical axis. Alternatively, a mode is also possible in which both the image sensor 22 and the lens (optical element) constituting at least a part of the photographing lens group (photographing optical system) 31 are “moving members” and are driven in a plane orthogonal to the optical axis. . In any embodiment, the image blur is corrected by displacing the imaging position of the subject image on the image sensor 22, and the subject light flux is incident on a plurality of pixels having different detection colors of the image sensor 22 to optically. A typical low-pass filter effect can be obtained.

以上の実施形態では、単一（共通）の像振れ補正装置（駆動機構）５０を介してイメージセンサ２２を光軸直交平面内で駆動することで、イメージセンサ２２による像振れ補正動作とＬＰＦ動作を実行する場合を例示して説明したが、ＬＰＦ動作を実行させるための駆動系をピエゾ駆動装置などによって独立して設ける態様も可能である。 In the above embodiment, the image sensor 22 is driven in the plane orthogonal to the optical axis via the single (common) image blur correction device (drive mechanism) 50, whereby the image blur correction operation and the LPF operation by the image sensor 22 are performed. However, a mode in which a drive system for executing the LPF operation is independently provided by a piezo drive device or the like is also possible.

以上の実施形態では、ＤＳＰ４０とイメージセンサ駆動回路６０を別々の構成要素（ブロック）として描いているが、これらを単一の構成要素（ブロック）として実現する態様も可能である。 In the above embodiment, the DSP 40 and the image sensor drive circuit 60 are drawn as separate components (blocks), but an aspect in which these are realized as a single component (block) is also possible.

以上の実施形態では、像振れ補正装置（駆動機構）５０の構成として、固定支持基板５１に磁石Ｍ１、Ｍ２、Ｍ３及びヨークＹ１、Ｙ２、Ｙ３を固定し、可動ステージ５２に駆動用コイルＣ１、Ｃ２、Ｃ３を固定した場合を例示して説明したが、この位置関係を逆にして、可動ステージに磁石及びヨークを固定し、固定支持基板に駆動用コイルを固定する態様も可能である。 In the above embodiment, the image blur correction device (drive mechanism) 50 is configured such that the magnets M1, M2, M3 and the yokes Y1, Y2, Y3 are fixed to the fixed support substrate 51, and the drive coil C1, The case where C2 and C3 are fixed has been described as an example. However, it is also possible to reverse this positional relationship, fix the magnet and the yoke to the movable stage, and fix the driving coil to the fixed support substrate.

以上の実施形態では、イメージセンサ２２が描く所定軌跡を、撮影光学系の光軸Ｚを中心とする回転対称な正方形軌跡または円形軌跡とした場合を例示して説明したが、これに限定されず、例えば、撮影光学系の光軸Ｚと直交する平面内における直線往復移動軌跡としてもよい。 In the above embodiment, the case where the predetermined trajectory drawn by the image sensor 22 is a rotationally symmetric square trajectory or a circular trajectory centered on the optical axis Z of the photographing optical system has been described as an example. However, the present invention is not limited to this. For example, it may be a linear reciprocating movement locus in a plane orthogonal to the optical axis Z of the photographing optical system.

以上の実施形態では、ボディ本体２０と撮影レンズ３０を着脱可能（レンズ交換可能）とする態様を例示して説明したが、ボディ本体２０と撮影レンズ３０を着脱不能（レンズ交換不能）とする態様も可能である。 In the above embodiment, the mode in which the body main body 20 and the photographic lens 30 are detachable (lens exchangeable) has been described as an example, but the mode in which the body main body 20 and the photographic lens 30 are detachable (lens exchangeable) is not possible. Is also possible.

以上の実施形態では、像ぶれ補正動作とＬＰＦ動作を実行するために、像ぶれ補正装置（駆動機構）５０を介してイメージセンサ（移動部材）２２を光軸直交平面内で駆動する場合を例示して説明したが、イメージセンサ（移動部材）２２を駆動する方向はこれに限定されず、撮影光学系の光軸と異なる方向であればよい。 In the above embodiment, in order to execute the image blur correction operation and the LPF operation, the case where the image sensor (moving member) 22 is driven in the optical axis orthogonal plane via the image blur correction device (drive mechanism) 50 is illustrated. However, the direction in which the image sensor (moving member) 22 is driven is not limited to this, and may be any direction different from the optical axis of the photographing optical system.

１０デジタルカメラ（撮影装置）
２０ボディ本体
２１シャッタ（撮影光学系）
２２イメージセンサ（移動部材、振れ補正部材）
２２ａ画素
ＲＧＢカラーフィルタ
２３絞り／シャッタ駆動回路
２４ＬＣＤ
２５画像メモリ
２６撮影操作スイッチ
２７ローパスフィルタ操作スイッチ（ＬＰＦ自動制御モード設定スイッチ）
２８ジャイロセンサ（振れ検出部）
３０撮影レンズ
３１撮影レンズ群（撮影光学系、移動部材、振れ補正部材）
３２絞り（撮影光学系）
３３通信用メモリ
４０ＤＳＰ（コンピュータ）
４２シーン認識部
４４顔サイズ検出部
４６顔サイズ判定部
４８ＬＰＦ制御部（制御部）
５０像振れ補正装置（駆動機構）
５１固定支持基板
５２可動ステージ
Ｍ１Ｍ２Ｍ３磁石
Ｙ１Ｙ２Ｙ３ヨーク
Ｃ１Ｃ２Ｃ３駆動用コイル
Ｈ１Ｈ２Ｈ３ホールセンサ（位置検出部）
６０イメージセンサ駆動回路 10 Digital camera (photographing device)
20 Body body 21 Shutter (shooting optical system)
22 Image sensor (moving member, shake correction member)
22a Pixel RGB color filter 23 Aperture / shutter drive circuit 24 LCD
25 Image memory 26 Shooting operation switch 27 Low-pass filter operation switch (LPF automatic control mode setting switch)
28 Gyro sensor (runout detector)
30 Shooting lens 31 Shooting lens group (shooting optical system, moving member, shake correction member)
32 Aperture (Optical system)
33 Communication memory 40 DSP (computer)
42 Scene recognition unit 44 Face size detection unit 46 Face size determination unit 48 LPF control unit (control unit)
50 Image shake correction device (drive mechanism)
51 Fixed support substrate 52 Movable stage M1 M2 M3 Magnet Y1 Y2 Y3 Yoke C1 C2 C3 Driving coil H1 H2 H3 Hall sensor (position detection unit)
60 Image sensor drive circuit

Claims

撮影光学系により形成された被写体像を電気的な画素信号に変換することで撮影を行うイメージセンサと、
前記撮影光学系の少なくとも一部をなす光学要素と前記イメージセンサの少なくとも一方を移動部材とし、この移動部材を前記撮影光学系の光軸と異なる方向に駆動することにより、被写体光束を前記イメージセンサの複数の画素に入射させて、光学的なローパスフィルタ効果を得る駆動機構と、
前記イメージセンサで撮影する撮影シーンを認識するシーン認識部と、
前記シーン認識部が認識した撮影シーンに応じて、前記駆動機構を介した前記移動部材の駆動による光学的なローパスフィルタ効果を制御する制御部と、
を有することを特徴とする撮影装置。 An image sensor for taking a picture by converting a subject image formed by the taking optical system into an electrical pixel signal;
At least one of the optical element that forms at least a part of the photographing optical system and the image sensor is a moving member, and the moving member is driven in a direction different from the optical axis of the photographing optical system, so that the subject light flux is emitted from the image sensor. A drive mechanism for obtaining an optical low-pass filter effect by being incident on a plurality of pixels,
A scene recognition unit for recognizing a shooting scene shot by the image sensor;
A control unit that controls an optical low-pass filter effect by driving the moving member via the drive mechanism in accordance with a shooting scene recognized by the scene recognition unit;
A photographing apparatus comprising:

請求項１記載の撮影装置において、
前記シーン認識部は、前記撮影シーンが人物を含んでいるか否かを認識する撮影装置。 The imaging device according to claim 1,
The scene recognition unit is a photographic device that recognizes whether or not the photographic scene includes a person.

請求項２記載の撮影装置において、
前記撮影シーンが人物を含んでいると前記シーン認識部が認識したときに、撮影画像中のその人物の顔のサイズを検出する顔サイズ検出部をさらに有し、
前記制御部は、前記顔サイズ検出部が検出した人物の顔のサイズに基づいて、前記駆動機構を介した前記移動部材の駆動による光学的なローパスフィルタ効果を制御する撮影装置。 The imaging device according to claim 2,
When the scene recognition unit recognizes that the shooting scene includes a person, the face recognition unit further includes a face size detection unit that detects the size of the face of the person in the shot image;
The imaging device controls the optical low-pass filter effect by driving the moving member via the driving mechanism based on the size of the human face detected by the face size detecting unit.

請求項３記載の撮影装置において、
前記顔サイズ検出部が検出した人物の顔のサイズが所定サイズより大きいか否かを判定する顔サイズ判定部をさらに有し、
前記制御部は、前記顔サイズ検出部が検出した人物の顔のサイズが所定サイズより大きいと前記顔サイズ判定部が判定したとき、前記駆動機構を介した前記移動部材の駆動による光学的なローパスフィルタ効果を相対的に小さくし、前記顔サイズ検出部が検出した人物の顔のサイズが所定サイズより大きくないと前記顔サイズ判定部が判定したとき、前記駆動機構を介した前記移動部材の駆動による光学的なローパスフィルタ効果を相対的に大きくする撮影装置。 In the imaging device according to claim 3,
A face size determination unit for determining whether or not the face size of the person detected by the face size detection unit is larger than a predetermined size;
When the face size determination unit determines that the face size of the person detected by the face size detection unit is larger than a predetermined size, the control unit performs an optical low pass by driving the moving member via the drive mechanism. When the face size determination unit determines that the filter effect is relatively small and the face size of the person detected by the face size detection unit is not larger than a predetermined size, the moving member is driven via the driving mechanism. An imaging device that relatively increases the optical low-pass filter effect of the camera.

請求項４記載の撮影装置において、
前記制御部は、前記顔サイズ検出部が検出した人物の顔のサイズが所定サイズより大きいと前記顔サイズ判定部が判定したとき、前記駆動機構を介した前記移動部材の駆動による光学的なローパスフィルタ効果をオフにする撮影装置。 The imaging device according to claim 4, wherein
When the face size determination unit determines that the face size of the person detected by the face size detection unit is larger than a predetermined size, the control unit performs an optical low pass by driving the moving member via the drive mechanism. An imaging device that turns off the filter effect.

請求項２記載の撮影装置において、
前記制御部は、前記撮影シーンが人物を含んでいると前記シーン認識部が認識したとき、前記駆動機構を介した前記移動部材の駆動による光学的なローパスフィルタ効果をオンにする撮影装置。 The imaging device according to claim 2,
When the scene recognizing unit recognizes that the shooting scene includes a person, the control unit turns on an optical low-pass filter effect by driving the moving member via the driving mechanism.

請求項２記載の撮影装置において、
前記制御部は、前記撮影シーンが人物を含んでいると前記シーン認識部が認識したとき、前記駆動機構を介した前記移動部材の駆動による光学的なローパスフィルタ効果をオフにする撮影装置。 The imaging device according to claim 2,
When the scene recognizing unit recognizes that the shooting scene includes a person, the control unit turns off the optical low-pass filter effect by driving the moving member via the driving mechanism.

請求項１ないし７のいずれか１項記載の撮影装置において、
前記シーン認識部は、前記撮影シーンが夜景シーンと風景シーンと標準シーンのいずれかであるか否かを認識し、
前記制御部は、前記撮影シーンが夜景シーンと風景シーンと標準シーンのいずれかであると前記シーン認識部が認識したとき、前記駆動機構を介した前記移動部材の駆動による光学的なローパスフィルタ効果をオンにする撮影装置。 The photographing apparatus according to any one of claims 1 to 7,
The scene recognition unit recognizes whether the shooting scene is a night scene, a landscape scene, or a standard scene;
The control unit, when the scene recognition unit recognizes that the shooting scene is one of a night scene, a landscape scene, and a standard scene, an optical low-pass filter effect by driving the moving member via the drive mechanism Shooting device to turn on.

請求項１ないし７のいずれか１項記載の撮影装置において、
前記シーン認識部は、前記撮影シーンが接写シーンと自然シーンのいずれかであるか否かを認識し、
前記制御部は、前記撮影シーンが接写シーンと自然シーンのいずれかであると前記シーン認識部が認識したとき、前記駆動機構を介した前記移動部材の駆動による光学的なローパスフィルタ効果をオフにする撮影装置。 The photographing apparatus according to any one of claims 1 to 7,
The scene recognition unit recognizes whether the shooting scene is a close-up scene or a natural scene,
When the scene recognizing unit recognizes that the shooting scene is either a close-up scene or a natural scene, the control unit turns off the optical low-pass filter effect by driving the moving member via the driving mechanism. Shooting device to do.

撮影光学系により形成された被写体像を電気的な画素信号に変換することで撮影を行うイメージセンサと、
前記撮影光学系の少なくとも一部をなす光学要素と前記イメージセンサの少なくとも一方を移動部材とし、この移動部材を前記撮影光学系の光軸と異なる方向に駆動することにより、被写体光束を前記イメージセンサの複数の画素に入射させて、光学的なローパスフィルタ効果を得る駆動機構と、
を有する撮影装置による撮影方法であって、
前記イメージセンサで撮影する撮影シーンを認識するシーン認識ステップと、
前記シーン認識ステップで認識した撮影シーンに応じて、前記駆動機構を介した前記移動部材の駆動による光学的なローパスフィルタ効果を制御する制御ステップと、
を有することを特徴とする撮影方法。 An image sensor for taking a picture by converting a subject image formed by the taking optical system into an electrical pixel signal;
At least one of the optical element that forms at least a part of the photographing optical system and the image sensor is a moving member, and the moving member is driven in a direction different from the optical axis of the photographing optical system, so that the subject light flux is emitted from the image sensor. A drive mechanism for obtaining an optical low-pass filter effect by being incident on a plurality of pixels,
A photographing method using a photographing device having
A scene recognition step for recognizing a shooting scene shot by the image sensor;
A control step for controlling an optical low-pass filter effect by driving the moving member via the drive mechanism in accordance with the shooting scene recognized in the scene recognition step;
A photographing method characterized by comprising:

撮影光学系により形成された被写体像を電気的な画素信号に変換することで撮影を行うイメージセンサと、
前記撮影光学系の少なくとも一部をなす光学要素と前記イメージセンサの少なくとも一方を移動部材とし、この移動部材を前記撮影光学系の光軸と異なる方向に駆動することにより、被写体光束を前記イメージセンサの複数の画素に入射させて、光学的なローパスフィルタ効果を得る駆動機構と、
を有する撮影装置を制御するためのプログラムであって、
前記イメージセンサで撮影する撮影シーンを認識するシーン認識ステップと、
前記シーン認識ステップで認識した撮影シーンに応じて、前記駆動機構を介した前記移動部材の駆動による光学的なローパスフィルタ効果を制御する制御ステップと、
をコンピュータに実現させることを特徴とするプログラム。 An image sensor for taking a picture by converting a subject image formed by the taking optical system into an electrical pixel signal;
At least one of the optical element that forms at least a part of the photographing optical system and the image sensor is a moving member, and the moving member is driven in a direction different from the optical axis of the photographing optical system, so that the subject light flux is emitted from the image sensor. A drive mechanism for obtaining an optical low-pass filter effect by being incident on a plurality of pixels,
A program for controlling a photographing apparatus having
A scene recognition step for recognizing a shooting scene shot by the image sensor;
A control step for controlling an optical low-pass filter effect by driving the moving member via the drive mechanism in accordance with the shooting scene recognized in the scene recognition step;
A program characterized by causing a computer to realize.