JP2009246676A

JP2009246676A - Image processing apparatus and method, and program

Info

Publication number: JP2009246676A
Application number: JP2008090760A
Authority: JP
Inventors: Toru Nishi; 亨西; Mitsuyasu Asano; 光康浅野
Original assignee: Sony Corp
Current assignee: Sony Corp
Priority date: 2008-03-31
Filing date: 2008-03-31
Publication date: 2009-10-22

Abstract

<P>PROBLEM TO BE SOLVED: To suppress image deterioration (blurred images) caused by an imaging blur. <P>SOLUTION: An imaging blur correction amount determination unit 21 outputs a signal T1 obtained by performing HPF processing on an image signal T0 as a correction signal for suppressing image blur. An addition unit 22 adds the correction signal T1 to the image signal T0, and outputs an output signal T2 obtained as a result. A frequency switching unit 24 converts a moving speed MV0 into a moving speed MV1 corresponding to a display speed. An LPF unit 23 determines the number of taps of a moving average filter based upon the converted moving speed MV1. Then the LPF unit 23 performs processing by the moving average filter on a corrected image signal T2, and outputs an image signal T3 obtained as a result. Characteristics of the signal T3 match characteristics of a hold blur. The present invention is applicable to a television system. <P>COPYRIGHT: (C)2010,JPO&INPIT

Description

本発明は、画像処理装置および方法並びにプログラムに関し、特に、色々な表示速度が混在しても、同一装置で撮像ボケを抑制することができるようになった画像処理装置および方法並びにプログラムに関する。 The present invention relates to an image processing apparatus, method, and program, and more particularly, to an image processing apparatus, method, and program that can suppress imaging blur in the same apparatus even when various display speeds are mixed.

本発明人は、撮影時に発生する動きボケ（以下、撮像ボケと称する）に起因する画像劣化（ボケ画像）を抑制できる画像処理装置等を発明した（例えば特許文献１参照）。 The inventor has invented an image processing apparatus and the like that can suppress image deterioration (blurred image) caused by motion blur (hereinafter referred to as imaging blur) that occurs during shooting (see, for example, Patent Document 1).

この従来の画像処理装置等は、撮像された映像に撮像ボケがどの程度加わっているのかを示すパラメータを用いて、その映像を補正する手法を採用している。この補正手法としては例えば、撮像後の物体がどれだけ移動しているのかという情報を用いてボケ量を類推し、そのボケ量に基づいて周波数特性を算出し、算出した周波数特性の逆特性のフィルタをかけることにより補正を行う、という手法が採用される。
特開２００６−０８１１５０号公報 This conventional image processing apparatus or the like employs a technique of correcting a video using a parameter indicating how much imaging blur is added to the captured video. As this correction method, for example, the amount of blur is estimated by using information on how much the imaged object is moving, the frequency characteristic is calculated based on the amount of blur, and the inverse characteristic of the calculated frequency characteristic is calculated. A method of performing correction by applying a filter is employed.
JP 2006-081150 A

しかしながら、従来の画像処理装置等は、表示出力周波数（表示速度）に依存する構成を取っていた。ところが、近い将来、色々な表示速度が混在することが予想され、これらにフレキシブルに対応することが要求されている。現状、この要求に十分に応えることができない状況である。 However, a conventional image processing apparatus or the like has a configuration that depends on a display output frequency (display speed). However, in the near future, various display speeds are expected to be mixed, and it is required to respond flexibly to these. At present, this is a situation where this demand cannot be fully met.

本発明は、このような状況に鑑みてなされたものであり、色々な表示速度が混在しても、同一装置で撮像ボケを抑制することができるようにするものである。 The present invention has been made in view of such a situation, and is capable of suppressing imaging blur with the same device even when various display speeds are mixed.

本発明の一側面の画像処理装置は、所定の撮影装置により撮影された動画像に対応する画像信号について、前記撮影装置により前記動画像が撮影されるときに発生する撮像ボケを抑制する目的の補正を行う撮像ボケ補正手段と、前記撮像ボケ補正手段により補正された前記画像信号に対して、タップ数が可変の移動平均フィルタをかけることで、前記画像信号の特性を、人間が前記動画像に含まれる動物体を追従視することによるホールドボケを示す特性と等価にさせる移動平均フィルタ手段と、前記動画像の移動速度を、前記動画像の表示速度に応じた移動速度に変換し、変換後の移動速度を、前記移動平均フィルタのタップ数を決定するパラメータとして前記移動平均フィルタ手段に提供する移動速度変換手段とを備える。 An image processing apparatus according to an aspect of the present invention is directed to suppressing imaging blur that occurs when the moving image is captured by the imaging device with respect to an image signal corresponding to the moving image captured by a predetermined imaging device. An image blur correction unit that performs correction, and a moving average filter with a variable number of taps applied to the image signal that has been corrected by the image blur correction unit, thereby allowing a human to determine the characteristics of the image signal. A moving average filter means for equalizing a characteristic indicating hold blur by following the moving object included in the moving object, and converting the moving speed of the moving image into a moving speed corresponding to the display speed of the moving image, Moving speed conversion means for providing the moving speed filter to the moving average filter means as a parameter for determining the number of taps of the moving average filter.

前記撮像ボケ補正手段は、前記撮像ボケを示すローパスフィルタに対して逆特性を有する逆フィルタを、前記画像信号にかけることで前記補正を行う。 The imaging blur correction unit performs the correction by applying an inverse filter having an inverse characteristic to a low-pass filter indicating the imaging blur to the image signal.

本発明の一側面の画像処理方法およびプログラムは、上述した本発明の一側面の画像処理装置に対応する方法およびプログラムである。 An image processing method and program according to one aspect of the present invention are a method and program corresponding to the above-described image processing apparatus according to one aspect of the present invention.

本発明の一側面の画像処理装置および方法並びにプログラムにおいては、所定の撮影装置により撮影された動画像に対応する画像信号について、前記撮影装置により前記動画像が撮影されるときに発生する撮像ボケを抑制する目的の補正が行われ、補正された前記画像信号に対して移動平均フィルタがかけられることで、前記画像信号の特性が、人間が前記動画像に含まれる動物体を追従視することによるホールドボケを示す特性と等価になる。その際、前記動画像の移動速度が、前記動画像の表示速度に応じた移動速度に変換され、変換後の移動速度に基づいて、前記移動平均フィルタのタップ数が決定される。 In the image processing apparatus, method, and program according to one aspect of the present invention, an imaging blur that occurs when the moving image is captured by the imaging device with respect to an image signal corresponding to the moving image captured by a predetermined imaging device. Correction for the purpose of suppressing the image is performed, and a moving average filter is applied to the corrected image signal, so that the characteristic of the image signal allows a human to follow the moving object included in the moving image. Equivalent to the characteristic indicating hold blur caused by. At this time, the moving speed of the moving image is converted into a moving speed corresponding to the display speed of the moving image, and the number of taps of the moving average filter is determined based on the converted moving speed.

以上説明した本発明の一側面の画像処理装置等は、例えば、テレビジョンシステム全体またはその一構成要素として利用可能である。テレビジョンシステムとは、テレビジョン放送受像機を含む１以上のＡＶ（Audio and Visual）機器からなるシステムを指す。 The above-described image processing apparatus according to one aspect of the present invention can be used as, for example, the entire television system or one component thereof. The television system refers to a system composed of one or more AV (Audio and Visual) devices including a television broadcast receiver.

以上のごとく、本発明によれば、撮像ボケに起因する画像劣化（ボケ画像）を抑制することができる。特に、色々な表示速度が混在しても、同一装置で撮像ボケを抑制することができる。 As described above, according to the present invention, it is possible to suppress image deterioration (blurred image) due to imaging blur. In particular, even if various display speeds are mixed, it is possible to suppress imaging blur with the same device.

図１は、本発明が適用される画像処理装置の一実施の形態を示している。 FIG. 1 shows an embodiment of an image processing apparatus to which the present invention is applied.

図１の例の画像処理装置１１は、撮像ボケ補正量決定部２１、加算部２２、ＬＰＦ部２３、および、周波数切り替え部２４から構成されている。 The image processing apparatus 11 in the example of FIG. 1 includes an imaging blur correction amount determination unit 21, an addition unit 22, an LPF unit 23, and a frequency switching unit 24.

図１の例の画像処理装置１１には、画像信号Ｔ０が入力される。この画像信号Ｔ０は、カメラ等により撮影された動画像を構成するデータを含む信号である。 An image signal T0 is input to the image processing apparatus 11 in the example of FIG. The image signal T0 is a signal including data constituting a moving image taken by a camera or the like.

撮像ボケ補正量決定部２１は、画像信号Ｔ０に対して例えばＨＰＦ(High Pass Filter)処理を施し、その結果得られる信号Ｔ１を加算部２２に提供する。この信号Ｔ１の信号レベルが、撮像ボケを抑制するための補正量となる。そこで、以下、信号Ｔ１を、補正信号Ｔ１と称する。 The imaging blur correction amount determination unit 21 performs, for example, HPF (High Pass Filter) processing on the image signal T 0, and provides a signal T 1 obtained as a result to the addition unit 22. The signal level of the signal T1 is a correction amount for suppressing imaging blur. Therefore, hereinafter, the signal T1 is referred to as a correction signal T1.

加算部２２は、画像信号Ｔ０に対して補正信号Ｔ１を加算し、その結果得られる信号Ｔ０＋Ｔ１を出力信号Ｔ２として出力する。 The adder 22 adds the correction signal T1 to the image signal T0, and outputs a signal T0 + T1 obtained as a result as an output signal T2.

ここで、撮像ボケ補正量決定部２１がＨＰＦ処理を施す理由について説明する。 Here, the reason why the imaging blur correction amount determination unit 21 performs the HPF process will be described.

後述する図２の周波数特性Ｈ２乃至Ｈ４の形態からわかるように、画像信号Ｔ０の撮像ボケの特性は空間領域で表現すると、移動平均フィルタ（ローパスフィルタ）で表すことができる。 As can be seen from the forms of frequency characteristics H2 to H4 in FIG. 2 to be described later, the imaging blur characteristic of the image signal T0 can be expressed by a moving average filter (low-pass filter) in the spatial domain.

ここで、この移動平均フィルタを示す伝達関数（以下、撮像ボケの伝達関数と称する）をＨと記述する。撮像ボケが仮に発生しなかった場合の理想的な画像信号（以下、撮像ボケ前の信号と称する）を周波数領域でＦと記述する。カメラから出力される実際の画像信号、即ち、撮像ボケが発生した画像信号（以下、撮像ボケ後の信号と称する）を周波数領域でＨと記述する。すると、撮像ボケ後の信号Ｇは、次の式（１）のように表される。 Here, a transfer function indicating the moving average filter (hereinafter referred to as an imaging blur transfer function) is described as H. An ideal image signal (hereinafter referred to as a signal before imaging blur) when imaging blur does not occur is described as F in the frequency domain. An actual image signal output from the camera, that is, an image signal in which imaging blur occurs (hereinafter referred to as a signal after imaging blur) is described as H in the frequency domain. Then, the signal G after the imaging blur is expressed as the following equation (1).

G ＝ H×F ・・・（１） G = H x F (1)

本発明においては撮像ボケを取り除く（抑制する）ことが目的とされている。よって、本発明の目的を達成するためには、既知である撮像ボケ後の信号Ｇと、既知である撮像ボケの伝達関数Ｈとから、撮像ボケ前の信号Ｆを予測演算すればよい。即ち、次の式（２）の予測演算が実行されればよい。 An object of the present invention is to remove (suppress) imaging blur. Therefore, in order to achieve the object of the present invention, the signal F before the imaging blur may be predicted and calculated from the known signal G after the imaging blur and the transfer function H of the known imaging blur. That is, the prediction calculation of the following equation (2) may be executed.

F ＝ inv(H)×G ・・・（２） F = inv (H) x G (2)

式（２）において、inv(H)は、撮像ボケの伝達関数Ｈの逆関数を示している。上述したように撮像ボケの伝達関数Ｈがローパスフィルタの特性を持つことから、その逆関数inv(H)も、当然ながらハイパスフィルタの特性を持つ。 In equation (2), inv (H) represents the inverse function of the transfer function H of imaging blur. As described above, since the transfer function H of the imaging blur has the characteristics of a low-pass filter, the inverse function inv (H) naturally has the characteristics of a high-pass filter.

ここで、画像信号Ｔ０が、撮像ボケ後の周波数領域の上述した式（２）の信号Ｇに対応する空間領域の信号である。そこで、撮像ボケ補正量決定部２１は、画像信号Ｔ０に対してハイパスフィルタ（逆移動平均フィルタ）をかけることで、撮像ボケ抑制のための補正信号Ｔ１を求めるのである。 Here, the image signal T0 is a signal in the spatial domain corresponding to the signal G in the above-described equation (2) in the frequency domain after imaging blur. Therefore, the imaging blur correction amount determination unit 21 obtains a correction signal T1 for suppressing imaging blur by applying a high-pass filter (reverse moving average filter) to the image signal T0.

ただし、撮像ボケの伝達関数Ｈの特性（以下、撮像ボケの特性と称する）は、被写体についての移動ベクトルの絶対値（以下、移動速度と称する）に応じて変化するという特徴がある。そこで、以下、かかる特徴について説明する。 However, the characteristic of the transfer function H of the imaging blur (hereinafter referred to as the imaging blur characteristic) is characterized by changing according to the absolute value of the movement vector (hereinafter referred to as the movement speed) for the subject. Therefore, such features will be described below.

即ち、撮像ボケの特性は、一般的に被写体の移動速度に依存した形態で表すことが可能である。 That is, the characteristics of imaging blur can be generally expressed in a form depending on the moving speed of the subject.

なお、被写体の移動速度とは、実空間において被写体自体が移動してカメラが固定されている場合に、その被写体がカメラで撮影されたときの、フレーム又はフィールド（以下、フレームについてのみ言及する）内での被写体（画像）の移動速度を当然ながら含む。さらに、ここでいう被写体の移動速度とは、実空間において被写体が固定されてカメラが手振れ等により移動した場合、または、実空間において被写体とカメラとが共に移動した場合に、その被写体がカメラで撮影されたときの、フレーム内での被写体（画像）の相対的な移動速度も含む。 The moving speed of the subject is a frame or field (hereinafter, only the frame is referred to) when the subject is photographed by the camera when the subject moves in real space and the camera is fixed. Naturally, the moving speed of the subject (image) in the camera is included. Furthermore, the moving speed of the subject here means that the subject is a camera when the subject is fixed in real space and the camera moves due to camera shake or when the subject and the camera move together in real space. It also includes the relative moving speed of the subject (image) within the frame when the image is taken.

従って、撮像ボケの特性は、被写体の画像を構成する各画素における移動速度に依存した形態で表すことができる。 Therefore, the characteristics of the imaging blur can be expressed in a form depending on the moving speed of each pixel constituting the subject image.

画素における移動速度とは、処理対象のフレーム内の画素と、それよりも前のフレーム内の対応する画素（対応点）との間の空間的な距離を指す。例えば、処理対象のフレーム内の画素と、その直前（時間的に１つ前）のフレーム内の対応する画素（対応点）との間の空間的な距離が、Ｋ（Ｋは、０以上の任意の整数値）画素分である場合、その画素における移動速度とは、Ｋ［画素/フレーム］になる。 The moving speed of a pixel refers to a spatial distance between a pixel in a frame to be processed and a corresponding pixel (corresponding point) in a previous frame. For example, the spatial distance between the pixel in the processing target frame and the corresponding pixel (corresponding point) in the immediately preceding frame (temporarily before) is K (K is 0 or more). In the case of an arbitrary integer value) pixel, the moving speed of the pixel is K [pixel / frame].

この場合、被写体の画像を構成する各画素のうちの所定の１つが注目画素に設定されているとする。すると、注目画素における撮像ボケの特性は、注目画素における移動速度Ｋ［画素/フレーム］の大小に依存した形態で表すことができる。 In this case, it is assumed that a predetermined one of the pixels constituting the subject image is set as the target pixel. Then, the characteristics of the imaging blur at the target pixel can be expressed in a form depending on the magnitude of the moving speed K [pixel / frame] at the target pixel.

より具体的には例えば、注目画素の移動速度が２，３，４［画素/フレーム］のそれぞれの場合、注目画素における撮像ボケの各特性は、図２の曲線Ｈ２乃至Ｈ４のそれぞれにより表すことができる。 More specifically, for example, when the moving speed of the target pixel is 2, 3, 4 [pixel / frame], each characteristic of the imaging blur at the target pixel is represented by each of the curves H2 to H4 in FIG. Can do.

即ち、図２は、注目画素における移動速度が２，３，４［画素/フレーム］のそれぞれの場合についての、注目画素における撮像ボケの各特性を示している。図２において、横軸は周波数を、縦軸はゲイン（振幅）のそれぞれを示している。ただし、横軸の各値は、ナイキスト周波数が１とされた場合の相対値を示している。 That is, FIG. 2 shows each characteristic of imaging blur at the target pixel when the moving speed at the target pixel is 2, 3, and 4 [pixel / frame]. In FIG. 2, the horizontal axis represents frequency, and the vertical axis represents gain (amplitude). However, each value on the horizontal axis represents a relative value when the Nyquist frequency is 1.

ここで、補正信号Ｔ１、即ち撮像ボケ補正量決定部２１の出力信号Ｔ１は、移動速度が考慮されていない補正信号となっている。よって、移動速度に応じた撮像ボケの特性の変化を考慮して、加算部２２の出力信号Ｔ２、即ち画像信号Ｔ０が補正された後の信号Ｔ２をさらに調整する必要がある。そこで、加算部２２の出力信号Ｔ２に対してＬＰＦ（Low Pass Filter)処理を施すＬＰＦ部２３においては、そのタップ数(tap)が移動速度ＭＶ１に応じて変更するようになされているのである。即ち、ＬＰＦ部２３は、例えば図３に示されるような関数ｆ（α）を保持している。そこで、ＬＰＦ部２３は、移動速度ＭＶ１を入力値αとして関数f(α)に代入して、その出力値f(MV1)をタップ数（tap）として決定する。なお、この移動速度ＭＶ１は、後述する周波数切り替え部２４から提供される。 Here, the correction signal T1, that is, the output signal T1 of the imaging blur correction amount determination unit 21 is a correction signal in which the moving speed is not taken into consideration. Therefore, it is necessary to further adjust the output signal T2 of the adder 22, that is, the signal T2 after the image signal T0 is corrected, in consideration of the change in imaging blur characteristics according to the moving speed. Therefore, in the LPF unit 23 that performs LPF (Low Pass Filter) processing on the output signal T2 of the adding unit 22, the number of taps (tap) is changed according to the moving speed MV1. That is, the LPF unit 23 holds a function f (α) as shown in FIG. 3, for example. Therefore, the LPF unit 23 substitutes the moving speed MV1 as an input value α for the function f (α), and determines the output value f (MV1) as the number of taps (tap). The moving speed MV1 is provided from a frequency switching unit 24 described later.

ここで、ＬＰＦ部２３の存在意義について説明する。 Here, the existence significance of the LPF unit 23 will be described.

即ち、ここまでは、撮像ボケのみについて言及してきた。しかしながら、図示せぬ表示装置に表示される動画像が人間の網膜上に像として形成される際にその人間に認識されるボケは、その人間が動画像に含まれる動物体を追従視することによるホールドボケと、その動画像の撮像時に加わる上述した撮像ボケとを組み合わせたものである。 That is, so far, only the imaging blur has been mentioned. However, when a moving image displayed on a display device (not shown) is formed as an image on the human retina, the blur recognized by the human makes the human follow the moving object included in the moving image. Is combined with the above-described imaging blur applied at the time of capturing the moving image.

ここでいう撮像ボケの特性は、図２を参照して上述したように、ローパスフィルタとして表される。即ち、撮像ボケ後の画像信号とは、撮像ボケ前の画像信号（理想的な画像信号）に対してこのローパスフィルタがかけられた信号と等価な信号である。従って、撮像ボケ後の画像信号は、撮像ボケ前の画像信号と比較して、その周波数特性が落ちてしまう。即ち、撮像ボケ後の画像信号においては、撮像ボケ前の画像信号と比較して、高周波数になればなる程ゲインが一般的に落ちてしまう。 The characteristic of imaging blur here is expressed as a low-pass filter as described above with reference to FIG. That is, the image signal after imaging blur is a signal equivalent to a signal obtained by applying this low-pass filter to the image signal (ideal image signal) before imaging blur. Therefore, the frequency characteristic of the image signal after the imaging blur is deteriorated as compared with the image signal before the imaging blur. That is, in the image signal after the imaging blur, the gain generally decreases as the frequency becomes higher than the image signal before the imaging blur.

ここでいうホールドボケの特性もまた、撮像ボケの特性と同様にローパスフィルタとして表される。即ち、ホールドボケ後の画像信号とは、ホールドボケ前の画像信号（撮像ボケ後の画像信号）に対してこのローパスフィルタがかけられた信号と等価な信号である。従って、ホールドボケ後の画像信号は、ホールドボケ前の画像信号と比較して、その周波数特性が落ちてしまう。即ち、ホールドボケ後の画像信号においては、ホールドボケ前の画像信号と比較して、高周波数になればなる程ゲインが一般的に落ちてしまう。ただし、ホールドボケは、表示装置が固定画素(ホールド)表示装置の時にのみ発生する。 The hold blur characteristic here is also expressed as a low-pass filter in the same manner as the imaging blur characteristic. That is, the image signal after hold blur is a signal equivalent to a signal obtained by applying this low-pass filter to the image signal before hold blur (image signal after imaging blur). Therefore, the frequency characteristic of the image signal after hold blur is deteriorated as compared with the image signal before hold blur. That is, in the image signal after hold blur, the gain generally decreases as the frequency becomes higher than the image signal before hold blur. However, the hold blur occurs only when the display device is a fixed pixel (hold) display device.

さらに、図４を参照して、撮像ボケとホールドボケとの関係について説明する。 Furthermore, the relationship between imaging blur and hold blur will be described with reference to FIG.

図４は、カメラの撮影範囲内で移動速度４［画素/フレーム］で移動している実物体を撮影した時における、人間の網膜上で形成される像のボケの周波数特性を示している。図４において、横軸は周波数を、縦軸はゲインのそれぞれを示している。ただし、横軸の各値は、ナイキスト周波数が１とされた場合の相対値を示している。 FIG. 4 shows the frequency characteristics of blurring of an image formed on the human retina when a real object moving at a moving speed of 4 [pixel / frame] within the imaging range of the camera is imaged. In FIG. 4, the horizontal axis represents frequency, and the vertical axis represents gain. However, each value on the horizontal axis represents a relative value when the Nyquist frequency is 1.

図４において、同図中実線で示される曲線h2は、動画像の表示速度がFVであって、撮像ボケを抑制する補正処理が施された場合における、人間の網膜上で形成される像のボケの周波数特性を示している。即ち、カメラからの動画像が、撮像ボケを抑制するための補正処理が施された上で表示装置に提供されて、その表示装置で表示された場合に、人間がその動画像を見たときに網膜上で形成される像のボケの周波数特性が、曲線h2である。 In FIG. 4, a curve h2 indicated by a solid line in FIG. 4 indicates an image formed on the human retina when the display speed of the moving image is FV and correction processing for suppressing imaging blur is performed. The frequency characteristics of the blur are shown. That is, when a moving image from a camera is provided to a display device after being subjected to correction processing for suppressing imaging blur and displayed on the display device, when a human views the moving image The frequency characteristic of the blur of the image formed on the retina is the curve h2.

同図中点線で示される曲線h1は、動画像の表示速度がFVであって、撮像ボケを抑制する補正処理が施されていない場合における、人間の網膜上で形成される像のボケの周波数特性を示している。即ち、カメラからの動画像（ただし、表示速度がFVの動画像）がそのまま表示装置に提供されて表示された場合に、人間がその動画像を見たときに網膜上で形成される像のボケの周波数特性が、曲線h1である。 A curve h1 indicated by a dotted line in the figure indicates the frequency of blurring of an image formed on the human retina when the display speed of the moving image is FV and correction processing for suppressing imaging blur is not performed. The characteristics are shown. That is, when a moving image from a camera (however, a moving image having a display speed of FV) is provided and displayed as it is on a display device, an image formed on the retina when a human views the moving image. The frequency characteristic of the blur is a curve h1.

同図中一点鎖線で示される曲線h0は、動画像の表示速度がFV/2であって（FVの半分の表示速度であって）、撮像ボケを抑制する補正処理が施されていない場合における、人間の網膜上で形成される像のボケの周波数特性を示している。即ち、カメラからの動画像（ただし、表示速度がFV/2の動画像）がそのまま表示装置に提供されて表示された場合に、人間がその動画像を見たときに網膜上で形成される像のボケの周波数特性が、曲線h0である。 The curve h0 indicated by the alternate long and short dash line in the figure shows the case where the display speed of the moving image is FV / 2 (the display speed is half that of FV) and correction processing for suppressing imaging blur is not performed. FIG. 5 shows the frequency characteristics of blurring of an image formed on a human retina. That is, when a moving image from a camera (however, a moving image having a display speed of FV / 2) is provided and displayed as it is on a display device, it is formed on the retina when the human views the moving image. The frequency characteristic of image blur is a curve h0.

このように、撮像ボケを抑制する補正処理を施すことで、人間の網膜上で形成される像のボケの周波数特性は、曲線h1から曲線h2に改善することは確かである。しかしながら、曲線h2であっても、いまだローパスフィルタの特性となっていることに注目すべきである。即ち、ボケの特性とは、上述したように、ホールドボケと撮像ボケとの組み合わせである。よって、撮像ボケのみをいくら改善したとしても、結局、人間の網膜上では、ホールドボケは残ることになる。即ち、図４には図示はしないが、ホールドボケが存在しないと仮定したならば、撮像ボケを抑制する補正処理を施すことで、人間の網膜上におけるボケの特性は、曲線h2よりもさらに改善しているはずである（高周波数のゲインがさらに上がっているはずである）。しかしながら、実際にはホールドボケが存在するために、撮像ボケの改善をいくらしても、人間の網膜上におけるボケの特性の改善度合は、曲線h2程度の改善に留まることに注意すべきである。 As described above, it is certain that the frequency characteristic of the blur of the image formed on the human retina is improved from the curve h1 to the curve h2 by performing the correction process for suppressing the imaging blur. However, it should be noted that even the curve h2 is still a low-pass filter characteristic. In other words, the blur characteristic is a combination of hold blur and imaging blur as described above. Therefore, no matter how much the imaging blur is improved, the hold blur remains on the human retina after all. That is, although not shown in FIG. 4, if it is assumed that there is no hold blur, the blur characteristic on the human retina is further improved over the curve h2 by performing a correction process for suppressing the imaging blur. (High frequency gain should have increased further). However, since hold blur is actually present, it should be noted that the degree of improvement in blur characteristics on the human retina is only improved to the curve h2 no matter how much the imaging blur is improved. .

つまり、仮に撮像ボケを完全に無くす補正ができたとしても、ホールドボケ（網膜残像）により画像は劣化してしまうことになる。よって、撮像ボケの補正の改善度合は、最低限、ホールドボケの劣化と同レベルであれば足りると考えられる。 In other words, even if correction that completely eliminates imaging blur is possible, the image is degraded by hold blur (retinal afterimage). Therefore, it is considered that the improvement degree of the correction of the imaging blur is at least the same level as the deterioration of the hold blur.

また、撮像ボケを改善するための補正をかけすぎると、ノイズやリンギング等の副作用が大きくなってしまう。 Also, if correction for improving imaging blur is applied excessively, side effects such as noise and ringing increase.

そこで、ＬＰＦ部２３は、加算部２２の出力信号Ｔ２、即ち、撮像ボケ補正後の画像信号Ｔ２に対して移動平均フィルタ（ローパフィルタ）をかける。これにより、撮像ボケ補正後の劣化度合いが、ホールドボケ（網膜残像）の劣化度合いと合致した信号Ｔ３が得られる。即ち、信号Ｔ３の特性は、ホールドボケを示す特性と等価になる。かかる特性の信号Ｔ３が、画像処理装置１１の最終出力信号として出力されるのである。 Therefore, the LPF unit 23 applies a moving average filter (ropa filter) to the output signal T2 of the addition unit 22, that is, the image signal T2 after the imaging blur correction. Thereby, a signal T3 in which the degree of deterioration after the imaging blur correction matches the degree of deterioration of hold blur (retinal afterimage) is obtained. That is, the characteristic of the signal T3 is equivalent to the characteristic indicating the hold blur. The signal T3 having such characteristics is output as the final output signal of the image processing apparatus 11.

このように、撮像ボケの補正の改善度合は、最低限、ホールドボケの劣化と同レベルであれば足りるので、撮像ボケ補正量決定部２１は撮像ボケを高精度（完全）に補正する必要がなくなる。よって、撮像ボケ補正量決定部２１を、簡易な構成でそれゆえ安価に具現化することが可能になる。また、撮像ボケの補正後の信号Ｔ２、即ち、ノイズやリンギング等を含む信号Ｔ２は、ＬＰＦ部２３において移動平均フィルタがかけられる。よって、撮像ボケ補正の効果を維持しつつ、ノイズやリンギング等を抑制することができるようになる。 As described above, since the improvement degree of the correction of the imaging blur is at least the same level as the deterioration of the hold blur, the imaging blur correction amount determination unit 21 needs to correct the imaging blur with high accuracy (complete). Disappear. Therefore, the imaging blur correction amount determination unit 21 can be realized with a simple configuration and at a low cost. The LPF unit 23 applies a moving average filter to the signal T2 after the imaging blur correction, that is, the signal T2 including noise and ringing. Therefore, it is possible to suppress noise, ringing, and the like while maintaining the effect of image blur correction.

即ち、撮像ボケ補正量決定部２１では、ハイパスフィルタを利用する。このハイパスフィルタの求め方は、撮像ボケの伝達関数Ｈをフーリエ変換により周波数表示してその逆数を算出して逆フーリエ変換することで求めることができる。具体的にはウィーナーフィルタとして求めることができる。ただし、上述した図２の撮像ボケの各特性Ｈ２乃至Ｈ４の形態からわかるように、ゲインが０になる周波数帯域が存在するため、それらの完全な逆フィルタを作ることは困難である。このため、従来では、様々な工夫をして逆フィルタを生成していた。しかしながら、かかる工夫をした逆フィルタを採用すると、ノイズやリンギング等の副作用が生じてしまう場合もあった。 That is, the imaging blur correction amount determination unit 21 uses a high-pass filter. This high-pass filter can be obtained by frequency-displaying the transfer function H of the imaging blur by Fourier transform, calculating the reciprocal thereof, and performing inverse Fourier transform. Specifically, it can be obtained as a Wiener filter. However, as can be seen from the above-described characteristics H2 to H4 of the imaging blur in FIG. 2, there is a frequency band in which the gain becomes 0, and it is difficult to make a perfect inverse filter thereof. For this reason, conventionally, various devices have been used to generate an inverse filter. However, if an inverse filter with such a device is adopted, side effects such as noise and ringing may occur.

これに対して、本実施の形態では、撮像ボケ補正後の劣化度合いは、最終的に、ホールドボケ（網膜残像）の劣化度合いと合致させれば足りる。よって、当然ながら、完全な逆フィルタを作る必要もなく、ホールドボケ（網膜残像）の劣化度合いよりも改善効果のある適当な逆フィルタを作れば足りることになる。また、加算部２２の出力信号Ｔ２の段階でノイズやリンギング等を含んでいても、その出力信号Ｔ２に対してＬＰＦ部２３による移動平均フィルタがかけられるので、そのノイズやリンギング等が抑制される。即ち、画像処理装置１１は、撮像ボケ補正の効果を維持しつつ、ノイズやリンギング等を抑制された信号Ｔ３を最終的に出力することができるのである。 On the other hand, in the present embodiment, it is sufficient that the degree of deterioration after the imaging blur correction finally matches the degree of deterioration of hold blur (retinal afterimage). Therefore, naturally, it is not necessary to create a perfect inverse filter, and it is sufficient to create an appropriate inverse filter that has an improvement effect over the degree of deterioration of hold blur (retinal afterimage). Further, even if noise or ringing is included in the stage of the output signal T2 of the adder 22, since the moving average filter is applied to the output signal T2 by the LPF 23, the noise or ringing is suppressed. . That is, the image processing apparatus 11 can finally output the signal T3 in which noise, ringing, and the like are suppressed while maintaining the effect of the imaging blur correction.

ただし、図４の曲線h0と曲線h1とを比較するとわかるように、動画像の表示速度に応じて、ホールドボケの特性は変化する。そこで、周波数切り替え部２４は、撮影時の移動速度ＭＶ０を、表示速度に応じた移動速度ＭＶ１に変換して、ＬＰＦ部２３に提供しているのである。そして、ＬＰＦ部２３は、図３を用いて上述したように、移動速度ＭＶ１に基づいてタップ数(tap)を決定しているのである。 However, as can be seen by comparing the curve h0 and the curve h1 in FIG. 4, the characteristics of hold blur change according to the display speed of the moving image. Therefore, the frequency switching unit 24 converts the moving speed MV0 at the time of photographing into a moving speed MV1 corresponding to the display speed, and provides it to the LPF unit 23. Then, as described above with reference to FIG. 3, the LPF unit 23 determines the number of taps (tap) based on the moving speed MV1.

具体的には例えば、周波数切り替え部２４は、図５に示されるような関数g（β）を保持している。そこで、周波数切り替え部２４は、移動速度ＭＶ０を入力値βとして関数g(β)に代入して、その出力値g（MV0)を移動速度ＭＶ１として決定する。ここで、関数g（β）は固定の関数ではなく、表示速度に応じて「傾き」が変化する関数である。即ち、この「傾き」は、例えば60/表示速度とされており、外部から与えられる表示速度により変化する。 Specifically, for example, the frequency switching unit 24 holds a function g (β) as shown in FIG. Therefore, the frequency switching unit 24 substitutes the moving speed MV0 as the input value β for the function g (β) and determines the output value g (MV0) as the moving speed MV1. Here, the function g (β) is not a fixed function, but a function whose “slope” changes according to the display speed. That is, the “tilt” is, for example, 60 / display speed, and varies depending on the display speed given from the outside.

この移動速度ＭＶ１は、上述したように、周波数切り替え部２４からＬＰＦ部２３に提供される。そして、図３を用いて上述したように、移動速度ＭＶ１に基づいてＬＰＦ部２３のタップ数が決定される。してみると、元の移動速度ＭＶ０が同一であっても、表示速度に応じて移動速度ＭＶ１が変化するので、その結果、表示速度に応じてＬＰＦ部２３のタップ数が変化することになる。即ち、ＬＰＦ部２３のタップ数が、ホールドボケの特性の変化に対応して変化するので、撮像ボケ補正後の劣化度合いがホールドボケ（網膜残像）の劣化度合いと合致した信号Ｔ３が得られるのである。 The moving speed MV1 is provided from the frequency switching unit 24 to the LPF unit 23 as described above. Then, as described above with reference to FIG. 3, the number of taps of the LPF unit 23 is determined based on the moving speed MV1. As a result, even if the original movement speed MV0 is the same, the movement speed MV1 changes according to the display speed. As a result, the number of taps of the LPF unit 23 changes according to the display speed. . That is, since the number of taps of the LPF unit 23 changes corresponding to the change in the hold blur characteristic, a signal T3 in which the degree of deterioration after the imaging blur correction matches the degree of hold blur (retinal afterimage) deterioration is obtained. is there.

このように、周波数切り替え部２４が設けられているので、表示速度（表示出力周波数）が異なる表示装置が複数種類存在しても、１台の画像処理装置１１だけで、それらの全種類の表示装置に対応できるようになる。換言すると、周波数切り替え部２４が存在しない場合には、表示速度が異なる複数の表示装置のそれぞれの種類に対して専用の画像処理装置を個別に作成する必要がある。これでは、画像処理装置の自由度が少ないということになる。これに対して、図１の例では、周波数切り替え部２４が設けられているので、表示装置の種類全てに対して１台の画像処理装置１１で対応できるようになるのである。即ち、画像処理装置１１は自由度が大きいといえる。 As described above, since the frequency switching unit 24 is provided, even if there are a plurality of types of display devices having different display speeds (display output frequencies), only one image processing device 11 can display all of them. It becomes possible to correspond to the device. In other words, when the frequency switching unit 24 does not exist, it is necessary to individually create a dedicated image processing device for each type of a plurality of display devices having different display speeds. This means that the degree of freedom of the image processing apparatus is small. On the other hand, in the example of FIG. 1, since the frequency switching unit 24 is provided, all the types of display devices can be handled by one image processing device 11. That is, it can be said that the image processing apparatus 11 has a high degree of freedom.

同様に、表示装置の中には、表示速度を切り替えることができるものも存在する。よって、このような表示装置に対しても、全く同様な議論が成立する。即ち、周波数切り替え部２４が存在しない場合には、切り替え対象の複数の表示速度毎に、専用の画像処理装置を個別に作成する必要がある。これでは、画像処理装置の自由度が少ないということになる。これに対して、図１の例では、周波数切り替え部２４が設けられているので、表示速度の種類全てに対して１台の画像処理装置１１で対応できるようになるのである。即ち、画像処理装置１１は自由度が大きいといえる。 Similarly, some display devices can switch the display speed. Therefore, the same argument holds for such a display device. That is, when the frequency switching unit 24 does not exist, it is necessary to individually create a dedicated image processing apparatus for each of a plurality of display speeds to be switched. This means that the degree of freedom of the image processing apparatus is small. On the other hand, in the example of FIG. 1, since the frequency switching unit 24 is provided, all the types of display speed can be handled by one image processing apparatus 11. That is, it can be said that the image processing apparatus 11 has a high degree of freedom.

ところで、上述した一連の処理（或いはそのうちの一部分の処理）は、ハードウエアにより実行させることもできるが、ソフトウエアにより実行させることもできる。 By the way, the above-described series of processes (or a part of them) can be executed by hardware, but can also be executed by software.

この場合、図１の画像処理装置１１全体若しくはその一部分は、例えば、図６に示されるようなコンピュータで構成することができる。 In this case, the entire image processing apparatus 11 in FIG. 1 or a part thereof can be configured by a computer as shown in FIG. 6, for example.

図６において、CPU（Central Processing Unit）１０１は、ROM（Read Only Memory）１０２に記録されているプログラム、または記憶部１０８からRAM（Random Access Memory）１０３にロードされたプログラムに従って各種の処理を実行する。RAM１０３にはまた、CPU１０１が各種の処理を実行する上において必要なデータなども適宜記憶される。 In FIG. 6, a CPU (Central Processing Unit) 101 executes various processes according to a program recorded in a ROM (Read Only Memory) 102 or a program loaded from a storage unit 108 to a RAM (Random Access Memory) 103. To do. The RAM 103 also appropriately stores data necessary for the CPU 101 to execute various processes.

CPU１０１、ROM１０２、およびRAM１０３は、バス１０４を介して相互に接続されている。このバス１０４にはまた、入出力インタフェース１０５も接続されている。 The CPU 101, ROM 102, and RAM 103 are connected to each other via a bus 104. An input / output interface 105 is also connected to the bus 104.

入出力インタフェース１０５には、キーボード、マウスなどよりなる入力部１０６、ディスプレイなどよりなる出力部１０７、ハードディスクなどより構成される記憶部１０８、および、モデム、ターミナルアダプタなどより構成される通信部１０９が接続されている。通信部１０９は、インターネットを含むネットワークを介して他の画像処理装置との通信処理を行う。 The input / output interface 105 includes an input unit 106 including a keyboard and a mouse, an output unit 107 including a display, a storage unit 108 including a hard disk, and a communication unit 109 including a modem and a terminal adapter. It is connected. The communication unit 109 performs communication processing with other image processing apparatuses via a network including the Internet.

入出力インタフェース１０５にはまた、必要に応じてドライブ１１０が接続され、磁気ディスク、光ディスク、光磁気ディスク、或いは半導体メモリなどよりなるリムーバブルメディア１１１が適宜装着され、それらから読み出されたコンピュータプログラムが、必要に応じて記憶部１０８にインストールされる。 A drive 110 is connected to the input / output interface 105 as necessary, and a removable medium 111 made up of a magnetic disk, an optical disk, a magneto-optical disk, a semiconductor memory, or the like is appropriately attached, and a computer program read from them is loaded. These are installed in the storage unit 108 as necessary.

一連の処理をソフトウエアにより実行させる場合には、そのソフトウエアを構成するプログラムが、専用のハードウエアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどに、ネットワークや記録媒体からインストールされる。 When a series of processing is executed by software, a program constituting the software executes various functions by installing a computer incorporated in dedicated hardware or various programs. For example, a general-purpose personal computer is installed from a network or a recording medium.

このようなプログラムを含む記録媒体は、図６に示されるように、装置本体とは別に、ユーザにプログラムを提供するために配布される、プログラムが記録されている磁気ディスク（フロッピディスクを含む）、光ディスク（CD-ROM(Compact Disk-Read Only Memory),DVD(Digital Versatile Disk)を含む）、光磁気ディスク（ＭＤ（Mini-Disk）を含む）、もしくは半導体メモリなどよりなるリムーバブルメディア（パッケージメディア）１１１により構成されるだけでなく、装置本体に予め組み込まれた状態でユーザに提供される、プログラムが記録されているROM１０２や、記憶部１０８に含まれるハードディスクなどで構成される。 As shown in FIG. 6, the recording medium including such a program is distributed to provide a program to the user separately from the apparatus main body, and a magnetic disk (including a floppy disk) on which the program is recorded. , Removable media (package media) consisting of optical disks (including compact disk-read only memory (CD-ROM), DVD (digital versatile disk)), magneto-optical disks (including MD (mini-disk)), or semiconductor memory ) 111 as well as a ROM 102 on which a program is recorded and a hard disk included in the storage unit 108 provided to the user in a state of being incorporated in the apparatus main body in advance.

本発明が適用される画像処理装置の機能的構成の一例を示すブロック図である。It is a block diagram which shows an example of a functional structure of the image processing apparatus to which this invention is applied. 移動速度に応じた撮像ボケの周波数特性を示す図である。It is a figure which shows the frequency characteristic of the imaging blur according to a moving speed. 図１のＬＰＦ部のタップを決定するための関数の一例を示す図である。It is a figure which shows an example of the function for determining the tap of the LPF part of FIG. 人間の網膜上で形成される像のボケの周波数特性を示す図である。It is a figure which shows the frequency characteristic of the blur of the image formed on a human retina. 図１の周波数切り替え部が保有している関数の一例を示す図である。It is a figure which shows an example of the function which the frequency switching part of FIG. 1 has. 本発明が適用される画像処理装置の全部または一部分のハードウエア構成の一例を示すブロック図である。It is a block diagram which shows an example of the hardware constitutions of all or one part of the image processing apparatus with which this invention is applied.

符号の説明Explanation of symbols

１１画像処理装置，２１撮像ボケ補正量決定部，２２加算部，２３ＬＰＦ部，２４周波数切り替え部，１０１ＣＰＵ，１０２ＲＯＭ，１０３ＲＡＭ，１０８記憶部，１１１リムーバブルメディア DESCRIPTION OF SYMBOLS 11 Image processing apparatus, 21 Imaging blur correction amount determination part, 22 Adder part, 23 LPF part, 24 Frequency switching part, 101 CPU, 102 ROM, 103 RAM, 108 memory | storage part, 111 Removable media

Claims

所定の撮影装置により撮影された動画像に対応する画像信号について、前記撮影装置により前記動画像が撮影されるときに発生する撮像ボケを抑制する目的の補正を行う撮像ボケ補正手段と、
前記撮像ボケ補正手段により補正された前記画像信号に対して、タップ数が可変の移動平均フィルタをかけることで、前記画像信号の特性を、人間が前記動画像に含まれる動物体を追従視することによるホールドボケを示す特性と等価にさせる移動平均フィルタ手段と、
前記動画像の移動速度を、前記動画像の表示速度に応じた移動速度に変換し、変換後の移動速度を、前記移動平均フィルタのタップ数を決定するパラメータとして前記移動平均フィルタ手段に提供する移動速度変換手段と
を備える画像処理装置。 An imaging blur correction unit that performs correction for the purpose of suppressing imaging blur that occurs when the moving image is captured by the imaging device, with respect to an image signal corresponding to the moving image captured by a predetermined imaging device;
By applying a moving average filter with a variable number of taps to the image signal corrected by the imaging blur correction unit, a human follows a moving object included in the moving image. A moving average filter means for equalizing the characteristic indicating hold blur caused by
The moving speed of the moving image is converted into a moving speed corresponding to the display speed of the moving image, and the converted moving speed is provided to the moving average filter means as a parameter for determining the number of taps of the moving average filter. An image processing apparatus comprising: a moving speed conversion unit.

前記撮像ボケ補正手段は、前記撮像ボケを示すローパスフィルタに対して逆特性を有する逆フィルタを、前記画像信号にかけることで前記補正を行う
請求項１に記載の画像処理装置。 The image processing apparatus according to claim 1, wherein the imaging blur correction unit performs the correction by applying, to the image signal, an inverse filter having an inverse characteristic with respect to a low-pass filter indicating the imaging blur.

画像処理装置が、
所定の撮影装置により撮影された動画像に対応する画像信号について、前記撮影装置により前記動画像が撮影されるときに発生する撮像ボケを抑制する目的の補正を行い、
前記動画像の移動速度を、前記動画像の表示速度に応じた移動速度に変換し、
変換後の移動速度に基づいて移動平均フィルタのタップ数を決定し、
補正後の前記画像信号に対して前記移動平均フィルタをかけることで、前記画像信号の特性を、人間が前記動画像に含まれる動物体を追従視することによるホールドボケを示す特性と等価にさせる
ステップを含む情報処理方法。 The image processing device
For an image signal corresponding to a moving image shot by a predetermined shooting device, correction for the purpose of suppressing imaging blur that occurs when the moving image is shot by the shooting device,
Converting the moving speed of the moving image into a moving speed corresponding to the display speed of the moving image;
Determine the number of taps of the moving average filter based on the moving speed after conversion,
By applying the moving average filter to the corrected image signal, the characteristic of the image signal is made equivalent to a characteristic indicating hold blur caused by a human following the moving object included in the moving image. An information processing method including steps.

コンピュータが実行するステップとして、
所定の撮影装置により撮影された動画像に対応する画像信号について、前記撮影装置により前記動画像が撮影されるときに発生する撮像ボケを抑制する目的の補正を行い、
前記動画像の移動速度を、前記動画像の表示速度に応じた移動速度に変換し、
変換後の移動速度に基づいて移動平均フィルタのタップ数を決定し、
補正後の前記画像信号に対して前記移動平均フィルタをかけることで、前記画像信号の特性を、人間が前記動画像に含まれる動物体を追従視することによるホールドボケを示す特性と等価にさせる
ステップを含むプログラム。 As steps that the computer performs:
For an image signal corresponding to a moving image shot by a predetermined shooting device, correction for the purpose of suppressing imaging blur that occurs when the moving image is shot by the shooting device,
Converting the moving speed of the moving image into a moving speed corresponding to the display speed of the moving image;
Determine the number of taps of the moving average filter based on the moving speed after conversion,
By applying the moving average filter to the corrected image signal, the characteristic of the image signal is made equivalent to a characteristic indicating hold blur caused by a human following the moving object included in the moving image. A program that includes steps.