JP2019029832A - Imaging apparatus - Google Patents
Imaging apparatus Download PDFInfo
- Publication number
- JP2019029832A JP2019029832A JP2017147728A JP2017147728A JP2019029832A JP 2019029832 A JP2019029832 A JP 2019029832A JP 2017147728 A JP2017147728 A JP 2017147728A JP 2017147728 A JP2017147728 A JP 2017147728A JP 2019029832 A JP2019029832 A JP 2019029832A
- Authority
- JP
- Japan
- Prior art keywords
- edge enhancement
- lens
- image
- tilt
- tilt lens
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Landscapes
- Adjustment Of Camera Lenses (AREA)
- Studio Devices (AREA)
Abstract
Description
本発明は、デジタルカメラ等の軸対称な光学系を有する撮像装置に関する。 The present invention relates to an imaging apparatus having an axially symmetric optical system such as a digital camera.
デジタルカメラ等の撮像装置では、一般に一つの光軸に対し、軸対称な形状を持つレンズ等の撮像光学系が用いられる。このような撮像光学系の結像光学特性は、基本的に、撮像面上では画面の中心(光軸と撮像面との交点)から動径方向への距離(像高)に依存している。この像高に依存した結像光学特性として、球面収差、非点収差、コマ収差、像面湾曲、及び色収差があり、これらの収差が大きくなるに従って画像が劣化する。 In an imaging apparatus such as a digital camera, an imaging optical system such as a lens having an axisymmetric shape with respect to one optical axis is generally used. The imaging optical characteristics of such an imaging optical system basically depend on the distance (image height) in the radial direction from the center of the screen (intersection of the optical axis and the imaging surface) on the imaging surface. . The imaging optical characteristics depending on the image height include spherical aberration, astigmatism, coma aberration, field curvature, and chromatic aberration, and the image deteriorates as these aberrations increase.
従来、これらの収差によって劣化した画像を補正するために、収差が最小値を示すようにレンズ等の撮像光学系の構成を最適化している。また、従来は画像処理によって劣化した画像の補正も行っており、エッジを強調するなどの処理を実施することにより、収差によって生じるコントラストの低下を防止する等の対応がとられている。 Conventionally, in order to correct an image deteriorated by these aberrations, the configuration of an imaging optical system such as a lens is optimized so that the aberration shows a minimum value. Conventionally, an image deteriorated by image processing is also corrected, and measures such as enhancement of edges are performed to prevent a reduction in contrast caused by aberrations.
エッジを強調する場合には、画面上の水平方向のエッジを強調するエッジ強調手段と垂直方向のエッジを強調するエッジ強調手段とを備えた撮像装置を用いるのが一般的である。このような撮像装置では、上述の像高に応じた収差によって画像が劣化することに対応するために、この二種類のエッジを強調する際の強度を像高に応じて変化するように画像処理を実施する。 When emphasizing an edge, it is common to use an imaging device that includes an edge emphasizing unit that emphasizes a horizontal edge on the screen and an edge emphasizing unit that emphasizes an edge in the vertical direction. In such an imaging apparatus, in order to cope with the deterioration of the image due to the aberration according to the above-described image height, image processing is performed so that the intensity at the time of enhancing these two types of edges changes according to the image height. To implement.
より具体的には、画面中心付近で調整されたエッジを強調する際の強度に対し、各像高で所定のゲインを乗算したエッジを強調する際の強度を算出して画像処理を行う。これにより、像高毎の収差に対応した画像の劣化を抑制することができる。 More specifically, the image processing is performed by calculating the intensity at the time of emphasizing an edge obtained by multiplying each image height by a predetermined gain with respect to the intensity at the time of enhancing the edge adjusted near the center of the screen. As a result, it is possible to suppress image degradation corresponding to the aberration for each image height.
特許文献1には、撮像光学系の動径方向に垂直なエッジを強調するエッジ強調手段と方位角方向に垂直なエッジを強調するエッジ強調手段との二種類のエッジ強調手段を有する画像処理装置が開示されている。 Patent Document 1 discloses an image processing apparatus having two types of edge enhancement means, an edge enhancement means for enhancing an edge perpendicular to the radial direction of an imaging optical system and an edge enhancement means for enhancing an edge perpendicular to the azimuth direction. Is disclosed.
特許文献1に開示されている2つのエッジ強調手段には、二種類のバンドパスフィルターが用意されている。そして、動径、方位角、画角、絞り、もしくは、被写体距離の大きさによってこの二種類のエッジ強調手段の比率を変化させることにより、収差(特に非点収差)によって生じる画像の劣化をより抑制できるとしている。 Two types of bandpass filters are prepared for the two edge enhancement means disclosed in Patent Document 1. Then, by changing the ratio of these two types of edge enhancement means according to the radius, azimuth, angle of view, aperture, or subject distance, image degradation caused by aberrations (particularly astigmatism) can be further reduced. It can be suppressed.
ところが、従来方法や特許文献1に記載の方法では、像高に応じて適応的にエッジ強調量を調整するエッジ強調処理(以後、Radius_APCパラメータと表記)を適用した場合でも、画素によっては良好な解像感を維持することができない場合が生じるという問題があった。より詳細に調べたところ、手振れ補正のための防振機能を適用した場合に上述の不都合が観測されており、特に、大きく手振れしたときに解像感が劣化してしまうという課題があった。 However, in the conventional method and the method described in Patent Document 1, even when edge enhancement processing (hereinafter referred to as a Radius_APC parameter) that adaptively adjusts the edge enhancement amount according to the image height is applied, it may be good depending on the pixel. There was a problem that the resolution could not be maintained. When examined in more detail, the above-mentioned inconvenience was observed when the image stabilization function for camera shake correction was applied, and in particular, there was a problem that the sense of resolution deteriorated when the camera shake greatly.
本発明の目的は、手振れ補正のための防振機能を適用した場合でも、レンズ中心からレンズ周辺までの解像感を良好に保つことができる撮像装置を提供することである。 An object of the present invention is to provide an imaging apparatus that can maintain a good resolution from the center of the lens to the periphery of the lens even when an image stabilization function for correcting camera shake is applied.
上記目的を達成するため、本発明に係る撮像装置は、レンズをチルトさせるチルト機構、及び、該チルト機構により駆動するチルトレンズと、該チルトレンズの位置を検出する位置検出手段の出力結果から、前記チルトレンズの姿勢を検知するチルトレンズ姿勢検知手段と、前記チルトレンズの姿勢を補正するチルトレンズ姿勢補正手段と、前記チルトレンズ姿勢検知手段の検出結果から、前記チルトレンズ姿勢補正手段に設定すべきチルトレンズ補正値を導出して、該チルトレンズ補正値を前記チルトレンズ姿勢補正手段に設定して前記チルトレンズを駆動させるチルトレンズ補正制御機構と、を有する撮像装置であって、像高毎にエッジ強調パラメータを設定することができる画像処理装置を備え、前記チルトレンズ補正値に応じて、前記像高毎のエッジ強調パラメータを変更して画像処理を行うことを特徴とする。 In order to achieve the above object, an imaging apparatus according to the present invention includes a tilt mechanism that tilts a lens, a tilt lens that is driven by the tilt mechanism, and an output result of a position detection unit that detects the position of the tilt lens. The tilt lens attitude detecting means for detecting the attitude of the tilt lens, the tilt lens attitude correcting means for correcting the attitude of the tilt lens, and the detection result of the tilt lens attitude detecting means are set in the tilt lens attitude correcting means. A tilt lens correction control mechanism for deriving a power tilt lens correction value, setting the tilt lens correction value in the tilt lens attitude correction means, and driving the tilt lens; An image processing device capable of setting an edge enhancement parameter in front of the tilt lens according to the tilt lens correction value. And performing image processing by changing the edge enhancement parameters of each image height.
本発明によれば、手振れ補正のための防振機能を適用した場合でも、レンズ中心からレンズ周辺までの解像感を良好に保つことができる撮像装置を提供することができる。 According to the present invention, it is possible to provide an imaging apparatus capable of maintaining a good resolution from the lens center to the lens periphery even when the image stabilization function for correcting camera shake is applied.
(第1の実施形態)
以下、本発明の第1の実施形態について、図面を参照しながら説明する。図1は、本実施形態におけるデジタルカメラ100の概略構成例を示すブロック図である。図1において、光学系101は、少なくともズームレンズ、フォーカスレンズ、及び、光学的な防振機能を持たせるための防振レンズ(チルトレンズ)から構成されるレンズ群、絞り装置を備えている。この光学系101は、撮像素子102に到達する被写体像の倍率や、ピント位置、手振れなどによるブレ画像出力の抑制、あるいは、光量を調整している。
(First embodiment)
Hereinafter, a first embodiment of the present invention will be described with reference to the drawings. FIG. 1 is a block diagram illustrating a schematic configuration example of a digital camera 100 according to the present embodiment. In FIG. 1, the optical system 101 includes at least a zoom lens, a focus lens, and a lens group including an anti-vibration lens (tilt lens) for providing an optical anti-vibration function, and an aperture device. This optical system 101 controls the magnification of the subject image reaching the image sensor 102, the suppression of blur image output due to the focus position, camera shake, or the like, or the amount of light.
特に、本実施形態においては、防振レンズにおける防振機能が特徴となっており、図2を用いて、さらに詳細に説明する。図2は、本実施形態における光学系101の概略構成例を示すブロック図である。 In particular, the present embodiment is characterized by the anti-vibration function of the anti-vibration lens, and will be described in more detail with reference to FIG. FIG. 2 is a block diagram illustrating a schematic configuration example of the optical system 101 in the present embodiment.
本実施形態の光学系101は、図2に示すように、ズームレンズ201、防振レンズ202、フォーカスレンズ203、及び、絞り装置204の順番で光学系を構成しおり、被写体像は前述の順番で各レンズ、及び、絞り装置を介して撮像素子102に到達する。また、防振レンズ202は、撮像素子102の撮像面に対してチルト方向にチルトさせる不図示のチルト手段により、可動することができ、本実施形態の特徴の一つとなっている。 As shown in FIG. 2, the optical system 101 of the present embodiment constitutes an optical system in the order of a zoom lens 201, an anti-vibration lens 202, a focus lens 203, and a diaphragm device 204, and subject images are in the order described above. It reaches the image sensor 102 via each lens and the diaphragm device. Further, the image stabilizing lens 202 can be moved by a tilting unit (not shown) that tilts in the tilt direction with respect to the imaging surface of the image sensor 102, and is one of the features of this embodiment.
また、本実施形態のデジタルカメラ100には、図2に示すように、デジタルカメラ100の姿勢を検知するジャイロセンサ205が内蔵されている。そして、ジャイロセンサ205の出力結果から、防振機能を動作させた場合の防振レンズ202をどの程度チルト方向にチルトさせるべきかの補正値(以下、IS補正値と記載)を導出することができる。 Further, as shown in FIG. 2, the digital camera 100 of the present embodiment incorporates a gyro sensor 205 that detects the attitude of the digital camera 100. Then, from the output result of the gyro sensor 205, it is possible to derive a correction value (hereinafter referred to as IS correction value) indicating how much the anti-vibration lens 202 should be tilted when the anti-vibration function is operated. it can.
このようにして導出されたIS補正値により前述の不図示のチルト手段を動作させて、防振レンズ202を駆動し、ジャイロセンサ205の出力、つまり、カメラの姿勢に応じたレンズの姿勢制御を行うことができ、手振れなどによる防振を可能にする。 The tilt means (not shown) is operated according to the IS correction value derived in this way to drive the anti-vibration lens 202 and control the lens attitude in accordance with the output of the gyro sensor 205, that is, the attitude of the camera. It can be performed and enables vibration prevention due to camera shake.
次に、再び図1を用いて説明すると、撮像素子102はCCD(Charge Coupled Device)やCMOS(Complementary Metal Oxide Semiconductor)センサー等の光電変換素子であり、被写体像を電気信号に変換して画像信号を生成する。本実施形態では、撮像素子102はCCDで構成されているものとする。A/D変換器103は、撮像素子102から出力されたアナログの画像信号をデジタルの画像信号に変換する。 Next, referring again to FIG. 1, the image sensor 102 is a photoelectric conversion element such as a CCD (Charge Coupled Device) or a CMOS (Complementary Metal Oxide Semiconductor) sensor. Is generated. In the present embodiment, it is assumed that the image sensor 102 is composed of a CCD. The A / D converter 103 converts the analog image signal output from the image sensor 102 into a digital image signal.
画像処理回路104は、画像信号に対して、ホワイトバランス処理、ノイズ抑圧処理、階調変換処理、エッジ強調処理などを行い、画像信号を輝度信号Yおよび色差信号U、Vとして出力する。また、画像処理回路104は、画像信号から被写体の輝度値や被写体のピント状態を示す合焦値も算出する。なお、画像処理回路104は、A/D変換器103から出力された画像信号のみでなく、記録媒体108から読み出した画像信号に対しても同様の画像処理を行うことができる。 The image processing circuit 104 performs white balance processing, noise suppression processing, gradation conversion processing, edge enhancement processing, and the like on the image signal, and outputs the image signal as a luminance signal Y and color difference signals U and V. The image processing circuit 104 also calculates a brightness value of the subject and a focus value indicating the focus state of the subject from the image signal. Note that the image processing circuit 104 can perform similar image processing not only on the image signal output from the A / D converter 103 but also on the image signal read from the recording medium 108.
制御回路105は、本実施形態のデジタルカメラ100を構成する各回路を制御して、デジタルカメラ100の動作を統括し、光学系101や撮像素子102の駆動制御も行う。また、制御回路105は、後述するエッジを強調するためのパラメータを算出する処理も行う。 The control circuit 105 controls each circuit constituting the digital camera 100 of the present embodiment, controls the operation of the digital camera 100, and also controls the drive of the optical system 101 and the image sensor 102. The control circuit 105 also performs processing for calculating a parameter for enhancing an edge, which will be described later.
表示メモリ106は、表示装置107に表示する画像の元になる画像信号を一時的に記憶するメモリである。表示装置107は、液晶ディスプレイや有機EL(Electro Luminescence)ディスプレイで構成され、撮像素子102で生成された画像信号や、記録媒体108から読み出した画像信号に係る画像を表示する。撮像素子102から読み出される連続した画像信号を、随時更新して表示することにより、電子的なビューファインダーとして機能することが可能である。 The display memory 106 is a memory that temporarily stores an image signal that is a source of an image displayed on the display device 107. The display device 107 is configured by a liquid crystal display or an organic EL (Electro Luminescence) display, and displays an image signal generated by the image sensor 102 or an image related to an image signal read from the recording medium 108. By updating and displaying continuous image signals read from the image sensor 102 as needed, it can function as an electronic viewfinder.
記録媒体108は、このデジタルカメラ100に着脱可能に構成されたものであっても、デジタルカメラ100に内蔵されたものであってもよい。操作部材109は、ユーザーがデジタルカメラ100に指示を送るために操作する部材である。バス110は、画像処理回路104、制御回路105、表示メモリ106、および記録媒体108の間で画像信号をやり取りするために用いられる。 The recording medium 108 may be configured to be detachable from the digital camera 100 or may be built in the digital camera 100. The operation member 109 is a member that the user operates to send an instruction to the digital camera 100. The bus 110 is used to exchange image signals among the image processing circuit 104, the control circuit 105, the display memory 106, and the recording medium 108.
次に、本実施形態におけるデジタルカメラ100の撮影時の動作の一例について説明する。ユーザーによって操作部材109が操作され、撮影準備を開始する指示が入力されると、制御回路105がそれぞれの回路の動作の制御を開始する。 Next, an example of an operation at the time of shooting of the digital camera 100 in the present embodiment will be described. When the operation member 109 is operated by the user and an instruction to start photographing preparation is input, the control circuit 105 starts controlling the operation of each circuit.
まず、撮像素子102は、光学系101を透過した被写体像を光電変換してアナログの画像信号を生成し、A/D変換器103がアナログの画像信号をデジタル化する。画像処理回路104は、A/D変換器103から出力された画像信号に対して、ホワイトバランス処理、ノイズ抑圧処理、階調変換処理、エッジ強調処理などを行う。 First, the image sensor 102 photoelectrically converts a subject image transmitted through the optical system 101 to generate an analog image signal, and the A / D converter 103 digitizes the analog image signal. The image processing circuit 104 performs white balance processing, noise suppression processing, gradation conversion processing, edge enhancement processing, and the like on the image signal output from the A / D converter 103.
画像処理回路104で処理された画像信号は、表示メモリ106を介して、表示装置107に画像として表示される。上述したように、撮像素子102で連続的に画像信号を生成し、読み出される連続した画像信号を用いて、被写体の画像をリアルタイムで更新して表示装置107に表示することにより表示装置107は電子的なビューファインダーとして機能する。 The image signal processed by the image processing circuit 104 is displayed as an image on the display device 107 via the display memory 106. As described above, the image pickup device 102 continuously generates image signals, updates the image of the subject in real time using the read continuous image signals, and displays the image on the display device 107 so that the display device 107 is electronic. Functions as a typical viewfinder.
そして、ユーザーが操作部材109に含まれるシャッターボタンを操作するまで、これらの処理を繰り返す。ユーザーがシャッターボタンを操作すると、制御回路105は画像処理回路104で得られた輝度値や合焦値に基づいて光学系101の動作を再調整して静止画の撮影を行う。画像処理回路104が、この静止画の画像信号に対して種々の画像処理を行う。そして、記録媒体108には画像処理回路104から出力された画像信号が記録される。 These processes are repeated until the user operates the shutter button included in the operation member 109. When the user operates the shutter button, the control circuit 105 re-adjusts the operation of the optical system 101 based on the luminance value and the focus value obtained by the image processing circuit 104 and shoots a still image. The image processing circuit 104 performs various image processing on the still image signal. The image signal output from the image processing circuit 104 is recorded on the recording medium 108.
本実施形態では、従来の画像処理パラメータを用いて、画像処理回路104、及び、制御回路105でエッジを強調するためのパラメータ(以下、エッジ強調パラメータ)を算出する。ここで、従来の画像処理パラメータとは、エッジ強調以外のパラメータであるホワイトバランス等の色に関する画像処理パラメータや、従来の軸上(撮像中心)付近のエッジを強調するために用いられるエッジ強調パラメータ等の画像処理パラメータのことを指す。 In the present embodiment, a parameter (hereinafter referred to as an edge enhancement parameter) for emphasizing an edge by the image processing circuit 104 and the control circuit 105 is calculated using a conventional image processing parameter. Here, the conventional image processing parameter is an image processing parameter related to a color such as white balance, which is a parameter other than edge enhancement, and an edge enhancement parameter used for enhancing an edge near the conventional axis (imaging center). It refers to image processing parameters such as.
また、エッジ強調パラメータに関し、さらに詳細に、以下に記す。エッジ強調パラメータとしては、方位角上どの方向、及び、どの周波数帯域の画像エッジを強調するかのバンドパスフィルター設定値や、エッジ強調度の調整のためのゲイン設定値、ノイズ成分抑圧のためのベースクリップ設定値などが挙げられる。 Further, the edge enhancement parameters will be described in detail below. Edge enhancement parameters include the bandpass filter setting value for which direction and the frequency band in which azimuth is emphasized, the gain setting value for adjusting the edge enhancement degree, and noise component suppression. For example, base clip setting value.
本実施形態では、撮像素子102における撮像面上の画素毎の光学結像性能に応じたエッジ強調パラメータを算出する。より具体的には、制御回路105を用いて画素毎にゲインGを求め画像処理回路104に入力し、上述した軸上のエッジ強調パラメータに対してゲインGを乗算したものを、所定の画素のエッジ強調パラメータとして画像処理時に用いる。画素毎のゲインGは、以下の手順により導出することができる。 In the present embodiment, an edge enhancement parameter corresponding to the optical imaging performance for each pixel on the imaging surface in the imaging element 102 is calculated. More specifically, a gain G is obtained for each pixel using the control circuit 105 and input to the image processing circuit 104, and the result obtained by multiplying the edge enhancement parameter on the axis described above by the gain G is a predetermined pixel. Used as an edge enhancement parameter during image processing. The gain G for each pixel can be derived by the following procedure.
まず、撮像面上の全画素位置における解像性能を求め、続いて撮像光学系の光軸と撮像面との交点である撮像中心の解像性能と、それ以外の各画素位置での解像性能との差分を用いることにより画素毎のゲインGを算出することができる。ここで解像性能は、例えば画像処理を含めた空間周波数応答を表すSFR(Spatial Frequency Response)、又はレンズ単体に係る変調伝達関数を表すMTF(Modulation Transfer Function)を用いる。また、これらの値は、光学設計による設計値として予め求めることができる。 First, the resolution performance at all pixel positions on the imaging surface is obtained, and then the resolution performance at the imaging center that is the intersection of the optical axis of the imaging optical system and the imaging surface, and the resolution at each other pixel position. The gain G for each pixel can be calculated by using the difference from the performance. Here, the resolution performance uses, for example, SFR (Spatial Frequency Response) representing a spatial frequency response including image processing or MTF (Modulation Transfer Function) representing a modulation transfer function related to a single lens. These values can be obtained in advance as design values by optical design.
以下、解像性能をSFRとした場合の例について説明する。ここで、撮像面における各画素位置を極座標(r,φ)で表し、撮像光学系の光軸と撮像面との交点である撮像中心の解像性能をSFR(r=0)とし、それ以外の各画素位置での解像性能をSFRn(r,φ)とする。rは撮像中心から各画素位置までの動径方向の長さであり、φは撮像中心を回転中心とする方位角φである。このとき、上述の解像性能の差分値ΔSFR(r,φ)は、以下の式(1)により算出される。 Hereinafter, an example in which the resolution performance is SFR will be described. Here, each pixel position on the imaging surface is represented by polar coordinates (r, φ), and the resolution performance at the imaging center, which is the intersection of the optical axis of the imaging optical system and the imaging surface, is SFR (r = 0). Let SFRn (r, φ) be the resolution performance at each pixel position. r is the length in the radial direction from the imaging center to each pixel position, and φ is the azimuth angle φ with the imaging center as the rotation center. At this time, the above-described difference value ΔSFR (r, φ) of the resolution performance is calculated by the following equation (1).
ΔSFR(r,φ)={SFR(r=0)−SFRn(r,φ)}/SFR(r=0)
・・・式(1)
続いて、算出した解像性能の差分値ΔSFRを用いて、以下の式(2)により、各画素位置のゲインG(r,φ)を算出する。
ΔSFR (r, φ) = {SFR (r = 0) −SFRn (r, φ)} / SFR (r = 0)
... Formula (1)
Subsequently, the gain G (r, φ) at each pixel position is calculated by the following equation (2) using the calculated difference value ΔSFR of the resolution performance.
G(r,φ)=α×ΔSFR(r,φ)+1 ・・・式(2)
(α:任意の比例定数)
本実施形態では、α=1.7としてG(r,φ)を導出した。また、本実施形態ではゲインG(r,φ)を算出する式として1次関数を用いたが、これに限るものではなく、ΔSFR(r,φ)=0の時にG=1であれば、2次関数などの多次元の関数を用いてもよい。
G (r, φ) = α × ΔSFR (r, φ) +1 (2)
(Α: Arbitrary proportional constant)
In this embodiment, G (r, φ) is derived with α = 1.7. In this embodiment, a linear function is used as an expression for calculating the gain G (r, φ). However, the present invention is not limited to this, and if ΔSFR (r, φ) = 0, and G = 1, A multidimensional function such as a quadratic function may be used.
また一方、本実施形態では、求めるG(r,φ)として、サジタル方向、及び、メリジオナル方向のエッジに対して強調するパラメータを導出する。これにより、撮像中心から同一距離rの画素位置であれば、方位角φによらず同一のゲインG(r,φ)を設定すればよい。すなわち、サジタル方向のゲインG(r,φ)=G_s(r)、及び、メリジオナル方向のゲインG(r,φ)=G_m(r)と表すことができ、2種類のゲインを導出するだけで良いことになる。つまり、手振れ補正なし(IS補正値=0)の状態の、サジタル方向、及び、メリジオナル方向のRadius_APCパラメータとして、像高に対する関数であるゲインG_s(r)とG_m(r)が求まるのである。 On the other hand, in this embodiment, as G (r, φ) to be obtained, a parameter to be emphasized for edges in the sagittal direction and the meridional direction is derived. Thus, if the pixel position is the same distance r from the imaging center, the same gain G (r, φ) may be set regardless of the azimuth angle φ. That is, it can be expressed as a sagittal gain G (r, φ) = G_s (r) and a meridional gain G (r, φ) = G_m (r). It will be good. That is, gains G_s (r) and G_m (r), which are functions for the image height, are obtained as Radius_APC parameters in the sagittal direction and the meridional direction in the state where there is no camera shake correction (IS correction value = 0).
一方で、図3の上段の図に示すように、手振れ補正におけるIS補正値(θ)により、解像性能(SFR)の像高特性が異なる。従って、本実施形態ではこのIS補正値による解像性能の像高特性の違いに応じて、図3の下段の図に示すような、前述のゲインG_s(r)とG_m(r)を変更して設定する。 On the other hand, as shown in the upper diagram of FIG. 3, the image height characteristic of the resolution performance (SFR) varies depending on the IS correction value (θ) in the camera shake correction. Therefore, in the present embodiment, the above-described gains G_s (r) and G_m (r) are changed according to the difference in image height characteristics of the resolution performance depending on the IS correction value, as shown in the lower diagram of FIG. To set.
すなわち、IS補正値毎にサジタル方向、及び、メリジオナル方向のRadius_APCパラメータを不図示の記憶装置に格納しており、撮影時にはIS補正値を検出して、これに応じたRadius_APCパラメータを設定して、これを用いて所定の演算を経て画像処理を実施する。以上のことより、IS補正値(θ)毎のサジタル方向、及び、メリジオナル方向のRadius_APCパラメータに関しては、以後、ゲインG_s(r,θ)とG_m(r,θ)と表記する。一方、画像処理回路104での画像処理の直前における、制御回路105を用いての演算処理に関しては、後述する。 That is, for each IS correction value, the radius_APC parameter in the sagittal direction and the meridional direction is stored in a storage device (not shown), and at the time of shooting, the IS correction value is detected, and the Radius_APC parameter corresponding to this is set, Using this, image processing is performed through a predetermined calculation. As described above, the Radius_APC parameter in the sagittal direction and the meridional direction for each IS correction value (θ) is hereinafter referred to as gains G_s (r, θ) and G_m (r, θ). On the other hand, the arithmetic processing using the control circuit 105 immediately before the image processing in the image processing circuit 104 will be described later.
また、図3の上段の図で示すように、本実施形態においては、IS補正値によらず、撮像中心の解像性能が最も高く、解像性能の像高特性は撮像中心に対し点対称性を示す特徴がある。これは、本実施形態で採用した光学系において、チルト手段による防振レンズ202を用いた防振機能を搭載していることが作用している。 As shown in the upper diagram of FIG. 3, in this embodiment, the resolution performance at the imaging center is the highest regardless of the IS correction value, and the image height characteristic of the resolution performance is point-symmetric with respect to the imaging center. There is a characteristic that shows sex. This is because the anti-vibration function using the anti-vibration lens 202 by the tilt means is mounted in the optical system employed in the present embodiment.
防振機能で一般的に良く用いられているシフトレンズを備えた光学系では、前述の解像性能が最も高くなる位置はIS補正値が大きくなるにつれて、撮像中心からずれる傾向にある。このような解像性能の像高特性を示す撮像装置に対し、前述のRadius_APCパラメータを適用しようとした場合、撮像中心からのずれ量を考慮した仕組み(パラメータ数の増加等)を新たに設ける必要があり、ハード的な負荷の増大を招く。 In an optical system equipped with a shift lens that is generally used for the image stabilization function, the position where the resolution performance is highest tends to shift from the imaging center as the IS correction value increases. When the above-mentioned Radius_APC parameter is applied to an imaging apparatus that exhibits such image height characteristics of resolution performance, it is necessary to newly provide a mechanism (such as an increase in the number of parameters) that takes into account the amount of deviation from the imaging center. There is an increase in hardware load.
また、レンズや撮像素子の取り付け誤差などの製造誤差などにより、同一動径の位置であっても方位角によって結像性能が異なってしまうことがある。これがいわゆる「片ボケ」という現象であり、この場合、本実施形態のチルト手段による防振レンズ202を用いた防振機能を搭載したとしても、前述の解像性能が最も高くなる位置は撮像中心からずれることがある。故に、本実施形態では、なるべく「片ボケ」させないように製造することで、上述の撮像中心からのずれ量を小さくすることができ、好ましい。 In addition, imaging performance may vary depending on the azimuth angle even at the same moving radius position due to manufacturing errors such as mounting errors of lenses and image sensors. This is a so-called “single blur” phenomenon. In this case, even if the image stabilization function using the image stabilization lens 202 by the tilt means of this embodiment is mounted, the position where the above-described resolution performance is the highest is the center of the imaging. May deviate from. Therefore, in the present embodiment, it is preferable that the amount of deviation from the above-described imaging center can be reduced by manufacturing so as to prevent “single blurring” as much as possible.
以上、本実施形態においては、このハード的な負荷を最小限にするために、解像性能が最も高くなる位置と撮像中心とのずれ量が比較的小さい、チルト手段により可動する防振レンズ202を用いた防振機能を採用した。また、「片ボケ」に関しても、「片ボケ」がほとんど生じないように製作した。これにより、1つのIS補正値に対し、1対のサジタル方向、及び、メリジオナル方向のRadius_APCパラメータを導出するだけでよく、必要数のIS補正値毎に2種類のRadius_APCパラメータを記憶装置に格納している。 As described above, in the present embodiment, in order to minimize the hardware load, the image stabilizing lens 202 that is movable by the tilt unit and has a relatively small amount of deviation between the position where the resolution performance is highest and the imaging center. The vibration-proof function using is adopted. In addition, “single blur” was produced so that “single blur” hardly occurred. Thus, only one pair of sagittal and meridional Radius_APC parameters needs to be derived for one IS correction value, and two types of Radius_APC parameters are stored in the storage device for each required number of IS correction values. ing.
具体的には、本実施形態ではIS補正値の最小値(=0)から最大値の間、等間隔で5ポイントのIS補正値に対し、各IS補正値毎に2種類のRadius_APCパラメータを導出し、合計5×2=10種類のRadius_APCパラメータを記憶装置に格納している。そして、撮影の際にRadius_APCパラメータ設定のないIS補正値を検出した場合には、設定のある前後のIS補正値におけるRadius_APCパラメータを抽出し、このRadius_APCパラメータを用いて、所定の近似(補間処理)によりRadius_APCパラメータを求めることができる。 Specifically, in this embodiment, two types of Radius_APC parameters are derived for each IS correction value with respect to IS correction values of 5 points at regular intervals between the minimum value (= 0) and the maximum value of the IS correction value. In total, 5 × 2 = 10 types of Radius_APC parameters are stored in the storage device. When an IS correction value without Radius_APC parameter setting is detected at the time of shooting, the Radius_APC parameter in the IS correction value before and after the setting is extracted, and a predetermined approximation (interpolation process) is performed using the Radius_APC parameter. Thus, the Radius_APC parameter can be obtained.
以上の補間処理を用いれば、予め、全IS補正値に関するRadius_APCパラメータを導出して、記憶装置に記憶する必要もなく、さらなるハード負荷の削減を実現することが出来る。 If the above interpolation processing is used, it is not necessary to derive Radius_APC parameters relating to all IS correction values in advance and store them in the storage device, thereby realizing further reduction in hardware load.
以上のようにして求めたIS補正値毎のRadius_APCパラメータを用いて、画像処理回路104で画像処理を実施するが、次に、この画像処理回路104への画質パラメータ(エッジ強調パラメータ)の設定に関して以下に記載する。 The image processing circuit 104 performs image processing using the Radius_APC parameter for each IS correction value obtained as described above. Next, regarding the setting of image quality parameters (edge enhancement parameters) in the image processing circuit 104. Described below.
画像処理回路104では、撮影画像に対し、水平方向のエッジを強調するエッジ強調手段と垂直方向のエッジを強調するエッジ強調手段が具備されている。これらのエッジ強調手段には、撮像中心付近の水平方向、及び、垂直方向のエッジを強調するためのエッジ強調パラメータが設定されている。 The image processing circuit 104 includes edge enhancement means for enhancing horizontal edges and edge enhancement means for enhancing vertical edges of a captured image. These edge enhancement means are set with edge enhancement parameters for enhancing horizontal and vertical edges in the vicinity of the imaging center.
以上の撮像中心付近の水平方向、及び、垂直方向のエッジ強調パラメータに対し、水平方向、及び、垂直方向のRadius_APCパラメータであるゲインを乗算して画像処理回路104に設定することにより、周辺像高に関しても、良好な解像性能が得られる。ここでのゲインは、IS補正値(θ)、像高(r)、及び、方位角(φ)に依存するため、、水平方向のRadius_APCパラメータをG_h(r,θ,φ)、垂直方向のRadius_APCパラメータをG_v(r,θ,φ)と表記する。 By multiplying the horizontal and vertical edge enhancement parameters in the vicinity of the imaging center by the gain that is the Radius_APC parameter in the horizontal and vertical directions and setting the gain in the image processing circuit 104, the peripheral image height is set. As for the above, good resolution performance can be obtained. Since the gain here depends on the IS correction value (θ), the image height (r), and the azimuth angle (φ), the Radius_APC parameter in the horizontal direction is set to G_h (r, θ, φ) and the vertical direction is set. The Radius_APC parameter is expressed as G_v (r, θ, φ).
一方、IS補正値(θ)、像高(r)に依存する、サジタル方向、及び、メリジオナル方向のRadius_APCパラメータは、前述の通りゲインG_s(r,θ)、G_m(r,θ)であり、 G_h(r,θ,φ)、及び、G_v(r,θ,φ)とは以下の関係式を有する(図4参照)。
G_h(r,θ,φ)=a×G_s(r,θ)×sinφ+b×G_m(r,θ)×cosφ・・・式(3)
G_v(r,θ,φ)=c×G_s(r,θ)×cosφ+d×G_m(r,θ)×sinφ・・・式(4)
(a,b,c,d:任意の比例定数)
ここで、本実施形態ではa=b=c=0.5、d=−0.5とし、制御回路105を用いての演算処理を実施し、この演算結果を画像処理回路104に入力して画像処理を行う。すなわち、制御回路105を用いて、式(3)、(4)から各画素位置(r,φ)におけるG_h(r,θ,φ)、G_v(r,θ,φ)を導出した後に、この値を画像処理回路104で撮像中心付近の水平方向、及び、垂直方向のエッジ強調パラメータに対し乗算して、画像処理に用いる。
On the other hand, the Radius_APC parameters in the sagittal direction and the meridional direction depending on the IS correction value (θ) and the image height (r) are the gains G_s (r, θ) and G_m (r, θ) as described above. G_h (r, θ, φ) and G_v (r, θ, φ) have the following relational expressions (see FIG. 4).
G_h (r, θ, φ) = a × G_s (r, θ) × sin φ + b × G_m (r, θ) × cos φ (3)
G_v (r, θ, φ) = c × G_s (r, θ) × cos φ + d × G_m (r, θ) × sin φ Expression (4)
(A, b, c, d: any proportional constant)
Here, in this embodiment, a = b = c = 0.5 and d = −0.5, and the arithmetic processing using the control circuit 105 is performed, and the calculation result is input to the image processing circuit 104. Perform image processing. That is, after deriving G_h (r, θ, φ) and G_v (r, θ, φ) at each pixel position (r, φ) from the equations (3) and (4) using the control circuit 105, The value is multiplied by the edge enhancement parameters in the horizontal and vertical directions near the imaging center by the image processing circuit 104 and used for image processing.
以上のように画像処理を実施することにより、手振れ補正のための防振機能を適用した場合でも、手振れ補正量に応じてRadius_APCパラメータを更新して画像処理が実施できるため、常に、レンズ中心からレンズ周辺までの解像感を良好に保つことができる。また、画像処理装置の記憶装置に格納して用いる、手振れ補正値量に応じたRadius_APCパラメータ数を最小限にすることができ、ハード的な負荷(メモリ容量等)も最小限にできるため、装置のコストアップも最小限に留めることができる。 By performing image processing as described above, even when the image stabilization function for camera shake correction is applied, the Radius_APC parameter can be updated according to the camera shake correction amount, so that the image processing can always be performed from the lens center. The resolution up to the lens periphery can be kept good. Further, the number of Radius_APC parameters corresponding to the amount of camera shake correction value stored and used in the storage device of the image processing apparatus can be minimized, and hardware load (memory capacity, etc.) can be minimized. The cost increase can be kept to a minimum.
100 デジタルカメラ
101 光学系
102 撮像素子
103 A/D変換機
104 画像処理回路
105 制御回路
106 表示メモリ
107 表示装置
108 記録媒体
109 操作部材
201 ズームレンズ
202 防振レンズ
203 フォーカスレンズ
204 絞り装置
205 ジャイロセンサ
DESCRIPTION OF SYMBOLS 100 Digital camera 101 Optical system 102 Image pick-up element 103 A / D converter 104 Image processing circuit 105 Control circuit 106 Display memory 107 Display apparatus 108 Recording medium 109 Operation member 201 Zoom lens 202 Anti-vibration lens 203 Focus lens 204 Diaphragm apparatus 205 Gyro sensor
Claims (5)
該チルトレンズの位置を検出する位置検出手段の出力結果から、前記チルトレンズの姿勢を検知するチルトレンズ姿勢検知手段と、
前記チルトレンズの姿勢を補正するチルトレンズ姿勢補正手段と、
前記チルトレンズ姿勢検知手段の検出結果から、前記チルトレンズ姿勢補正手段に設定すべきチルトレンズ補正値を導出して、該チルトレンズ補正値を前記チルトレンズ姿勢補正手段に設定して前記チルトレンズを駆動させるチルトレンズ補正制御機構と、
を有する撮像装置であって、
像高毎にエッジ強調パラメータを設定することができる画像処理装置を備え、前記チルトレンズ補正値に応じて、前記像高毎のエッジ強調パラメータを変更して画像処理を行うことを特徴とする撮像装置。 A tilt mechanism for tilting the lens, and a tilt lens driven by the tilt mechanism;
A tilt lens attitude detection means for detecting an attitude of the tilt lens from an output result of the position detection means for detecting the position of the tilt lens;
Tilt lens attitude correction means for correcting the attitude of the tilt lens;
A tilt lens correction value to be set in the tilt lens attitude correction unit is derived from the detection result of the tilt lens attitude detection unit, the tilt lens correction value is set in the tilt lens attitude correction unit, and the tilt lens is set. A tilt lens correction control mechanism to be driven;
An imaging device having
An image processing apparatus capable of setting an edge enhancement parameter for each image height, and performing image processing by changing the edge enhancement parameter for each image height according to the tilt lens correction value apparatus.
前記第1の算出手段によって算出されたゲインと、前記撮像中心でのエッジ強調パラメータとを用いて、前記所定の画素位置でのエッジ強調パラメータを算出する第2の算出手段と、
を備え、前記像高毎のエッジ強調パラメータを用いて画像処理を行うことを特徴とする、請求項1に記載の撮像装置。 The difference between the resolution performance at the imaging center on the imaging surface and the resolution performance at a predetermined pixel position away from the imaging center on the imaging surface is calculated, and the predetermined pixel is calculated from the calculated difference function. First calculating means for calculating a gain at a position;
Second calculation means for calculating an edge enhancement parameter at the predetermined pixel position using the gain calculated by the first calculation means and an edge enhancement parameter at the imaging center;
The image pickup apparatus according to claim 1, wherein image processing is performed using an edge enhancement parameter for each image height.
予め、前記補正値毎の前記エッジ強調パラメータを記憶する付属の記憶装置を備え、
前記画像処理部は、
前記補正値により、前記記憶装置に格納された複数のエッジ強調パラメータから所定のエッジ強調パラメータを選択し、前記所定のエッジ強調パラメータを用いて任意の方位角での、水平方向及び垂直方向に関する像高毎のエッジ強調パラメータを算出して、算出された水平方向及び垂直方向に関する像高毎のエッジ強調パラメータを用いて前記画像処理を行うことを特徴とする、請求項1または2に記載の撮像装置。 The edge enhancement parameter for each image height is an edge enhancement parameter for image edges in the sagittal direction and the meridional direction,
An auxiliary storage device that stores the edge enhancement parameter for each correction value in advance is provided,
The image processing unit
A predetermined edge enhancement parameter is selected from a plurality of edge enhancement parameters stored in the storage device according to the correction value, and an image relating to a horizontal direction and a vertical direction at an arbitrary azimuth angle using the predetermined edge enhancement parameter. The imaging according to claim 1, wherein an edge enhancement parameter for each height is calculated, and the image processing is performed using the calculated edge enhancement parameter for each image height in the horizontal direction and the vertical direction. apparatus.
G_h(r,θ,φ)=a×G_s(r,θ) ×sinφ+b×G_m(r,θ) ×cosφ
G_v(r,θ,φ)=c×G_s(r,θ) ×cosφ+d×G_m(r,θ) ×sinφ
(a,b,c,d:任意の比例定数)
このとき、方位角φ=0°が水平方向、φ=90°が垂直方向と定義する。 The image height is r, the azimuth angle is φ, the correction value is θ, the gain in the edge enhancement parameter in the sagittal direction is G_s (r, θ), the gain in the edge enhancement parameter in the meridional direction is G_m (r, θ), and the horizontal When the gain in the edge enhancement parameter in the direction is G_h (r, θ, φ) and the gain in the edge enhancement parameter in the vertical direction is G_v (r, θ, φ), the edge at the pixel at an arbitrary position (r, φ) The enhancement parameter is a product in each direction of a gain in the horizontal direction and a vertical direction expressed by the following relational expression and an edge enhancement parameter in the horizontal direction and the vertical direction at the imaging center. The imaging device described in 1.
G_h (r, θ, φ) = a × G_s (r, θ) × sin φ + b × G_m (r, θ) × cos φ
G_v (r, θ, φ) = c × G_s (r, θ) × cos φ + d × G_m (r, θ) × sin φ
(A, b, c, d: any proportional constant)
At this time, the azimuth angle φ = 0 ° is defined as the horizontal direction, and φ = 90 ° is defined as the vertical direction.
前記補正値によらず、前記撮像素子上の画角中心のSFRもしくはMTFが最も高く、SFRもしくはMTFの像高特性は画角中心に対し点対称性を示す光学系と、
を有することを特徴とする、請求項1乃至4のいずれか1項に記載の撮像装置。 An image sensor;
Regardless of the correction value, the SFR or MTF at the center of the angle of view on the image sensor is the highest, and the image height characteristic of the SFR or MTF is an optical system exhibiting point symmetry with respect to the center of the angle of view.
The imaging apparatus according to claim 1, wherein the imaging apparatus includes:
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017147728A JP2019029832A (en) | 2017-07-31 | 2017-07-31 | Imaging apparatus |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017147728A JP2019029832A (en) | 2017-07-31 | 2017-07-31 | Imaging apparatus |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2019029832A true JP2019029832A (en) | 2019-02-21 |
Family
ID=65478905
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2017147728A Pending JP2019029832A (en) | 2017-07-31 | 2017-07-31 | Imaging apparatus |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2019029832A (en) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2021161664A1 (en) * | 2020-02-14 | 2021-08-19 | 株式会社Jvcケンウッド | Image processing device and image processing method |
CN114175616A (en) * | 2019-07-24 | 2022-03-11 | 索尼集团公司 | Image processing apparatus, image processing method, and program |
-
2017
- 2017-07-31 JP JP2017147728A patent/JP2019029832A/en active Pending
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114175616A (en) * | 2019-07-24 | 2022-03-11 | 索尼集团公司 | Image processing apparatus, image processing method, and program |
WO2021161664A1 (en) * | 2020-02-14 | 2021-08-19 | 株式会社Jvcケンウッド | Image processing device and image processing method |
JP2021129244A (en) * | 2020-02-14 | 2021-09-02 | 株式会社Jvcケンウッド | Image processing device and image processing method |
CN114982219A (en) * | 2020-02-14 | 2022-08-30 | Jvc建伍株式会社 | Image processing apparatus, image processing method, and program |
CN114982219B (en) * | 2020-02-14 | 2023-08-08 | Jvc建伍株式会社 | Image processing apparatus and image processing method |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6327922B2 (en) | Image processing apparatus, image processing method, and program | |
US8537225B2 (en) | Image pickup apparatus and image conversion method | |
JP5011387B2 (en) | Imaging device | |
JP6351321B2 (en) | Optical apparatus, control method therefor, and control program | |
JP5959976B2 (en) | Image processing method, image processing program, image processing apparatus, and imaging apparatus | |
JP4818957B2 (en) | Imaging apparatus and method thereof | |
US10778896B2 (en) | Image processing apparatus and image processing method | |
US8724008B2 (en) | Image processing apparatus, image pickup apparatus, image processing method, and program for performing image restoration | |
JP2016213702A (en) | Image processing system, control method thereof, and control program | |
US20130141631A1 (en) | Auto-focus apparatus, image pick-up apparatus, and auto-focus method | |
JP2005252626A (en) | Image pickup device and image processing method | |
JP5887465B2 (en) | IMAGING DEVICE, IMAGING DEVICE DRIVE METHOD, IMAGING DEVICE CONTROL PROGRAM | |
JP6526273B2 (en) | Image processing apparatus, image processing method, and imaging apparatus | |
JP2019029832A (en) | Imaging apparatus | |
JP2008245266A (en) | Imaging apparatus and method | |
WO2020132917A1 (en) | Imaging device, image stabilization device, imaging method and image stabilization method | |
JP5404160B2 (en) | Imaging system and imaging method | |
JP6559011B2 (en) | Image processing apparatus and image processing method | |
JP6436840B2 (en) | Image processing apparatus, imaging apparatus, image processing method, image processing program, and storage medium | |
JP7134666B2 (en) | Image processing device, image processing method, and program | |
JP6433163B2 (en) | Image processing apparatus, imaging apparatus, image processing method, image processing program, and storage medium | |
JP2015231193A (en) | Imaging apparatus, control method of the same, program, and storage medium | |
JP6491445B2 (en) | Image processing apparatus, imaging apparatus, image processing method, and program | |
WO2021065065A1 (en) | Imaging device | |
JP2009159404A (en) | Image processing method, image processing device, and image formation device |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
RD01 | Notification of change of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7421 Effective date: 20191125 |