JPH11284944A - Image processing method and system - Google Patents
Image processing method and systemInfo
- Publication number
- JPH11284944A JPH11284944A JP10087645A JP8764598A JPH11284944A JP H11284944 A JPH11284944 A JP H11284944A JP 10087645 A JP10087645 A JP 10087645A JP 8764598 A JP8764598 A JP 8764598A JP H11284944 A JPH11284944 A JP H11284944A
- Authority
- JP
- Japan
- Prior art keywords
- blur
- image processing
- pixel value
- interest
- value
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
Landscapes
- Studio Devices (AREA)
- Television Signal Processing For Recording (AREA)
Abstract
Description
【０００１】[0001]
【発明の属する技術分野】本発明は、例えば手持ちカメ
ラ等で撮影された画像を、ブレを補正して鮮明にする画
像処理方法及び装置に関するものである。[0001] 1. Field of the Invention [0002] The present invention relates to an image processing method and apparatus for correcting an image captured by, for example, a hand-held camera or the like by correcting blur and clearing the image.
【０００２】[0002]
【従来の技術】従来、銀塩カメラやビデオカメラ等にお
いて、ブレを補正する装置やブレ情報を検出して所定の
記録媒体に記録する装置が多く提案されている。これら
は、例えば、加速度センサなどを用いてカメラの振動
（ブレ）を検出し、検出されたブレ情報に基づいて撮影
光学系を駆動することにより被写体像がブレるのを防
ぐ。あるいは、カメラ等の撮影装置に被写体の画像を読
み取るためのブレ情報検出用の撮影部を備え、検出され
たブレ情報をフィルム等の記録媒体に記録して、記録媒
体に記録されたブレ情報に基づき、再生装置側で画像処
理によってブレ画像を補正している。またビデオカメラ
においては、上記の方法と同様にブレを検出し、ビデオ
テープやフロッピーディスクの所定領域（例えば音声ト
ラック等）にブレ情報を記録して、再生時に記録された
ブレ情報を読み取ってブレを補正したり、撮影光学系を
駆動する代わりに、撮影センサの画像読み出し範囲をブ
レの方向・速度にあわせてシフトさせる方法も提案され
ている。この方法は、ビデオカメラでは撮影時に被写体
が移動した場合、被写体像は撮影領域内の所定の画像読
み出し範囲外にシフトして結像されるから、このシフト
した画像が撮影センサの撮影領域内にある場合は、画像
読み出し範囲を上記にシフトした量だけずらせて撮影画
像を読み出すようにしたものである。2. Description of the Related Art Conventionally, in a silver halide camera, a video camera, and the like, there have been proposed many devices for correcting blurring and devices for detecting blurring information and recording it on a predetermined recording medium. In these methods, for example, vibration (blurring) of a camera is detected using an acceleration sensor or the like, and a subject image is prevented from blurring by driving a photographing optical system based on the detected blurring information. Alternatively, an imaging device such as a camera is provided with an imaging unit for detecting blur information for reading an image of a subject, and the detected blur information is recorded on a recording medium such as a film, and the detected blur information is recorded on a recording medium such as a film. Based on this, the blurring image is corrected by image processing on the reproduction device side. In a video camera, blur is detected in the same manner as described above, blur information is recorded in a predetermined area (for example, an audio track) of a video tape or a floppy disk, and blur information recorded at the time of reproduction is read. There is also proposed a method of shifting the image reading range of the photographing sensor in accordance with the direction and speed of blurring, instead of correcting image blur or driving the photographing optical system. According to this method, when a subject moves at the time of shooting with a video camera, the subject image is shifted and formed outside a predetermined image reading range in the shooting area, so that the shifted image is stored in the shooting area of the shooting sensor. In some cases, the captured image is read by shifting the image reading range by the amount shifted as described above.
【０００３】[0003]
【発明が解決しようとする課題】しかしながらこれらの
ブレ補正装置やブレ情報を検出するための装置はいずれ
もカメラに備えられていた。ブレ補正装置やブレ情報を
検出するための装置をカメラに設ける場合、補正のため
の光学系やその駆動装置、ブレ情報検出用の撮影部を設
けなければならず、カメラの大型化や重量の増大という
問題があった。However, these shake correction devices and devices for detecting shake information have all been provided in cameras. When a camera is provided with a shake correction device or a device for detecting shake information, an optical system for correction and a driving device thereof, and a photographing unit for detecting shake information must be provided. There was a problem of increase.
【０００４】また、上記の撮影センサの画像読み出し範
囲をシフトさせる方法においても、ブレ補正のためのシ
フト量の検出及びシフト量に応じた読み出し範囲の変更
制御を要するため、制御や構成が複雑化し、カメラの高
価格化という問題があった。In the above-described method of shifting the image reading range of the photographing sensor, detection of a shift amount for blur correction and control of changing the reading range in accordance with the shift amount require control and configuration. However, there is a problem that the price of the camera is high.
【０００５】また従来は、ブレの方向やブレの幅を検出
する方法やブレを補正する方法として、ＲＧＢ等の画像
情報を一度周波数領域に変換してから求めていたが、演
算処理の複雑化や、メモリ容量の不足により、演算処理
時間が長くなるなどの問題があった。Conventionally, as a method of detecting the direction or width of a blur or a method of correcting a blur, image information such as RGB is once converted into a frequency domain, but is obtained. In addition, there is a problem that the calculation processing time becomes longer due to lack of memory capacity.
【０００６】本発明は上述の従来例に鑑みてなされたも
ので、カメラの大型化や高価格化をもたらすことなく、
再生時にブレを補正でき、再生時においてもブレ補正の
ために画像処理時間の増大や画像処理装置のメモリ容量
の不足を招くことなく、短時間にブレ画像を補正するこ
とができる画像処理方法を提供することを目的とする。The present invention has been made in view of the above-described conventional example, and does not increase the size and cost of the camera.
An image processing method that can correct blur during reproduction and that can correct a blur image in a short time without causing an increase in image processing time and a shortage of memory capacity of the image processing apparatus for blur correction even during reproduction. The purpose is to provide.
【０００７】[0007]
【課題を解決するための手段】上記目的を達成するため
に、本発明の画像処理方法は次のような構成からなる。
すなわち、デジタル画像情報に含まれるぶれ成分を補正
する画像処理方法であって、（ａ）元のデジタル画像情
報を所定サイズのブロック群に分割し、（ｂ）分割した
各ブロックごとにエッジ成分を検出し、（ｃ）ブロック
群の中から、エッジ成分を最も多く含むブロックを特徴
領域として選択し、（ｄ）前記特徴領域の画像データか
らぶれ方向を検出し、（ｅ）前記特徴領域の画像データ
からぶれ量を検出し、（ｆ）前記ぶれ方向とぶれ量に基
づき、劣化関数を求め、（ｇ）元のデジタル画像情報を
第二のブロック群に分割し、（ｈ）前記第二のブロック
群の各ブロックに対して、前記劣化関数を用いてぶれ補
正演算を施し、（ｉ）補正演算の施された前記第二の小
ブロック群の各ブロックを合成する。To achieve the above object, an image processing method according to the present invention has the following arrangement.
That is, this is an image processing method for correcting a blur component included in digital image information, wherein (a) the original digital image information is divided into blocks of a predetermined size, and (b) an edge component is divided for each of the divided blocks. (C) selecting a block containing the largest number of edge components from the block group as a characteristic region; (d) detecting a blur direction from image data of the characteristic region; and (e) detecting an image of the characteristic region. Detecting the blur amount from the data; (f) obtaining a deterioration function based on the blur direction and the blur amount; (g) dividing the original digital image information into a second block group; A blur correction operation is performed on each block of the block group using the deterioration function, and (i) each block of the second small block group subjected to the correction operation is synthesized.
【０００８】あるいは、デジタル画像情報に含まれるぶ
れ成分を補正する画像処理方法であって、（ａ）デジタ
ル画像情報において、注目方向に沿った注目画素を含む
所定数の画素の平均値を、所定の領域について前記注目
方向をかえつつ画像処理後の注目画素値として算出し、
前記画像処理後の注目画素値と元の注目画素値との差が
最大の方向をブレ方向として検出し、（ｂ）デジタル画
像情報において、工程ａにおいて検出された方向に沿っ
た注目画素を含むＸ個の画素の平均値を、所定の領域全
体についてＸの値を変えつつ画像処理後の注目画素値と
して算出し、前記画像処理後の注目画素値のばらつき、
あるいは、前記画像処理後の注目画素値と元の注目画素
値との差のばらつきが急増する直前のＸの値をブレ量と
して検出し、（ｃ）前記ぶれ方向とぶれ量とから求めら
れる劣化関数を用いて前記デジタル画像情報にぶれ補正
演算を施す。Alternatively, there is provided an image processing method for correcting a blur component included in digital image information, wherein (a) in the digital image information, an average value of a predetermined number of pixels including a target pixel along a target direction is determined by a predetermined value. Is calculated as the pixel value of interest after image processing while changing the direction of interest for the region of
The direction in which the difference between the target pixel value after the image processing and the original target pixel value is the largest is detected as the blur direction, and (b) the digital image information includes the target pixel along the direction detected in step a. The average value of the X pixels is calculated as the target pixel value after image processing while changing the value of X for the entire predetermined area, and the variation of the target pixel value after the image processing is calculated.
Alternatively, the value of X immediately before the variation in the difference between the target pixel value after the image processing and the original target pixel value sharply increases is detected as the blur amount, and (c) the deterioration obtained from the blur direction and the blur amount A blur correction operation is performed on the digital image information using a function.
【０００９】また、本発明の画像処理装置は次のような
構成からなる。すなわち、デジタル画像情報に含まれる
ぶれ成分を補正する画像処理装置であって、元のデジタ
ル画像情報を所定サイズのブロック群に分割する分割手
段と、分割した各ブロックごとにエッジ成分を検出する
エッジ検出手段と、ブロック群の中から、エッジ成分を
最も多く含むブロックを特徴領域として選択する特徴領
域選択手段と、前記特徴領域の画像データからぶれ方向
を検出する方向検出手段と、前記特徴領域の画像データ
からぶれ量を検出するブレ量検出手段と、前記ぶれ方向
とぶれ量に基づき、劣化関数を求める劣化関数決定手段
と、元のデジタル画像情報を第二のブロック群に分割す
る第２分割手段と、前記第二のブロック群の各ブロック
に対して、前記劣化関数を用いてぶれ補正演算を施す補
正手段と、補正演算の施された前記第二の小ブロック群
の各ブロックを合成する合成手段とを備える。Further, the image processing apparatus of the present invention has the following configuration. That is, an image processing apparatus that corrects a blur component included in digital image information, a dividing unit that divides the original digital image information into a block group of a predetermined size, and an edge that detects an edge component for each of the divided blocks Detecting means, a characteristic area selecting means for selecting a block containing the largest number of edge components from the block group as a characteristic area, a direction detecting means for detecting a blur direction from image data of the characteristic area, Blur amount detection means for detecting a shake amount from image data, deterioration function determination means for obtaining a deterioration function based on the shake direction and the shake amount, and second division for dividing the original digital image information into a second block group Means, correction means for performing a shake correction operation on each block of the second block group using the deterioration function, And a synthesizing means for synthesizing the blocks of the second sub-block group.
【００１０】あるいは、デジタル画像情報に含まれるぶ
れ成分を補正する画像処理装置であって、デジタル画像
情報において、注目方向に沿った注目画素を含む所定数
の画素の平均値を、所定の領域について前記注目方向を
かえつつ画像処理後の注目画素値として算出し、前記画
像処理後の注目画素値と元の注目画素値との差が最大の
方向をブレ方向として検出する方向検出手段と、デジタ
ル画像情報において、前記方向検出手段により検出され
た方向に沿った注目画素を含むＸ個の画素の平均値を、
所定の領域全体についてＸの値を変えつつ画像処理後の
注目画素値として算出し、前記画像処理後の注目画素値
のばらつき、あるいは、前記画像処理後の注目画素値と
元の注目画素値との差のばらつきが急増する直前のＸの
値をブレ量として検出するブレ量検出手段と、前記ぶれ
方向とぶれ量とから求められる劣化関数を用いて前記デ
ジタル画像情報にぶれ補正演算を施す補正手段とを備え
る。Alternatively, there is provided an image processing apparatus for correcting a blur component included in digital image information, wherein an average value of a predetermined number of pixels including a pixel of interest along a direction of interest is determined for the predetermined area in the digital image information. A direction detecting unit that calculates a target pixel value after image processing while changing the target direction, and detects a direction in which a difference between the target pixel value after image processing and the original target pixel value is the largest as a blur direction; In the image information, the average value of X pixels including the target pixel along the direction detected by the direction detection unit is calculated as
The target pixel value after image processing is calculated as the target pixel value after image processing while changing the value of X for the entire predetermined area, or the target pixel value after image processing and the original target pixel value And a correction for performing a shake correction operation on the digital image information using a deterioration function obtained from the shake direction and the shake amount. Means.
【００１１】また、本発明のコンピュータ可読メモリは
次のような構成からなる。すなわち、コンピュータによ
り、元のデジタル画像情報を所定サイズのブロック群に
分割する分割手段と、分割した各ブロックごとにエッジ
成分を検出するエッジ検出手段と、ブロック群の中か
ら、エッジ成分を最も多く含むブロックを特徴領域とし
て選択する特徴領域選択手段と、前記特徴領域の画像デ
ータからぶれ方向を検出する方向検出手段と、前記特徴
領域の画像データからぶれ量を検出するブレ量検出手段
と、前記ぶれ方向とぶれ量に基づき、劣化関数を求める
劣化関数決定手段と、元のデジタル画像情報を第二のブ
ロック群に分割する第２分割手段と、前記第二のブロッ
ク群の各ブロックに対して、前記劣化関数を用いてぶれ
補正演算を施す補正手段と、補正演算の施された前記第
二の小ブロック群の各ブロックを合成する合成手段とを
実現させるためのプログラムを格納する。The computer-readable memory according to the present invention has the following configuration. That is, the computer divides the original digital image information into a block group of a predetermined size, an edge detection unit that detects an edge component for each of the divided blocks, A feature area selecting means for selecting a block including the feature area as a feature area; a direction detecting means for detecting a blur direction from the image data of the feature area; a blur amount detecting means for detecting a blur amount from the image data of the feature area; A deterioration function determining unit for obtaining a deterioration function based on a blur direction and a blur amount; a second dividing unit for dividing the original digital image information into a second block group; Correction means for performing a shake correction operation using the deterioration function, and synthesis for synthesizing each block of the second small block group subjected to the correction operation. Storing a program for implementing the stage.
【００１２】あるいは、コンピュータにより、デジタル
画像情報において、注目方向に沿った注目画素を含む所
定数の画素の平均値を、所定の領域について前記注目方
向をかえつつ画像処理後の注目画素値として算出し、前
記画像処理後の注目画素値と元の注目画素値との差が最
大の方向をブレ方向として検出する方向検出手段と、デ
ジタル画像情報において、前記方向検出手段により検出
された方向に沿った注目画素を含むＸ個の画素の平均値
を、所定の領域全体についてＸの値を変えつつ画像処理
後の注目画素値として算出し、前記画像処理後の注目画
素値のばらつき、あるいは、前記画像処理後の注目画素
値と元の注目画素値との差のばらつきが急増する直前の
Ｘの値をブレ量として検出するブレ量検出手段と、前記
ぶれ方向とぶれ量とから求められる劣化関数を用いて前
記デジタル画像情報にぶれ補正演算を施す補正手段とを
実現させる。Alternatively, in a digital image information, an average value of a predetermined number of pixels including a target pixel along a target direction is calculated as a target pixel value after image processing in a predetermined area while changing the target direction in the digital image information. A direction detection unit that detects a direction in which the difference between the pixel value of interest after the image processing and the original pixel value of interest is the largest as a blur direction; and in digital image information, a direction along the direction detected by the direction detection unit. The average value of X pixels including the target pixel is calculated as the target pixel value after image processing while changing the value of X for the entire predetermined area, and the variation of the target pixel value after image processing, or A blur amount detecting means for detecting, as a blur amount, a value of X immediately before a variation in a difference between the pixel value of interest after image processing and the original pixel value of interest sharply increases; Using a degradation function obtained from realizing a correction means for performing a shake correction operation on the digital image information.
【００１３】[0013]
【発明の実施の形態】［第１の実施の形態］ ＜画像再生装置の構成＞本発明の第１の実施形態である
画像再生装置を説明する。図２はその構成を示すブロッ
ク図である。図において、入力部１０１は、カメラ等で
記録された、デジタル化されたデジタル画像情報を取り
込む。例えばカメラがデジタルスチルカメラやデジタル
ビデオカメラなど、画像をデジタル画像情報として記憶
する装置であるなら、記録されたデジタル画像情報をカ
メラからそのまま読み込めばよい。また、銀塩カメラな
どであれば、いったん画像をデジタル化する工程を経
て、デジタル画像情報が入力される。DETAILED DESCRIPTION OF THE PREFERRED EMBODIMENTS First Embodiment <Configuration of Image Reproducing Apparatus> An image reproducing apparatus according to a first embodiment of the present invention will be described. FIG. 2 is a block diagram showing the configuration. In the figure, an input unit 101 captures digitized digital image information recorded by a camera or the like. For example, if the camera is a device that stores an image as digital image information, such as a digital still camera or a digital video camera, the recorded digital image information may be directly read from the camera. In the case of a silver halide camera or the like, digital image information is input once through a process of digitizing an image.
【００１４】ＣＰＵ１０２は後述するブレ補正の処理を
含む処理を、プログラムメモリ１０５に格納されたプロ
グラムに従って実行し、画像再生装置全体を制御する。
記憶部１０３は、フレキシブルディスクや光ディスク、
光磁気ディスクなどといった取り外し可能な記憶媒体か
らデジタルデータを読み出したり、あるいは書き込んだ
りする。この記憶媒体に格納されるデータは、デジタル
画像情報や後述するブレ補正手順を実行するためのプロ
グラム等のファイルである。画像メモリ１０４には、処
理中のデジタル画像情報が展開される。表示部１０６
は、必要に応じて、画像メモリ１０４に展開されたデジ
タル画像情報を可視画像として表示する。The CPU 102 executes a process including a blur correction process, which will be described later, according to a program stored in the program memory 105, and controls the entire image reproducing apparatus.
The storage unit 103 includes a flexible disk, an optical disk,
Read or write digital data from removable storage media such as magneto-optical disks. The data stored in the storage medium is files such as digital image information and a program for executing a blur correction procedure described later. Digital image information being processed is expanded in the image memory 104. Display unit 106
Displays the digital image information developed in the image memory 104 as a visible image as necessary.
【００１５】この図２の画像再生装置の構成要素は、汎
用のコンピュータが備える構成要素でもあるので、この
画像再生装置は汎用デジタルコンピュータによっても実
現できる。 ＜ブレ補正の原理＞ここでブレ補正について説明する。
ブレの補正はＲＧＢ色空間においてＲＧＢそれぞれの色
成分について行うが、簡単のため以降はＲ成分に対する
画像処理演算について説明する。従って、後述の画像
（画素）データやブレデータ、あるいは劣化関数などは
いずれもＲ成分に関するものである。Ｇ，Ｂ成分につい
ては、Ｒ成分と全く同様の方法で画像処理演算が行われ
るので説明を省略する。Since the components of the image reproducing apparatus shown in FIG. 2 are also included in a general-purpose computer, the image reproducing apparatus can be realized by a general-purpose digital computer. <Principle of Shake Correction> Here, shake correction will be described.
The blur correction is performed for each of the RGB color components in the RGB color space, but for simplicity, the image processing calculation for the R component will be described below. Therefore, image (pixel) data, blur data, and a deterioration function, which will be described later, all relate to the R component. For the G and B components, the image processing operation is performed in exactly the same way as for the R component, and thus the description is omitted.
【００１６】原画像をｆ(x,y)、ブレ画像をｇ(x,y)、原
画像からブレ画像への変換を表わす劣化関数をｈ(x,y)
とすると、これらの画像間には以下のような関係が成り
立つ。The original image is represented by f (x, y), the blurred image is represented by g (x, y), and the deterioration function representing the conversion from the original image to the blurred image is represented by h (x, y).
Then, the following relationship is established between these images.
【００１７】[0017]
【数１】 (Equation 1)
【００１８】デジタル画像処理では以下の式で表され
る。In digital image processing, it is expressed by the following equation.
【００１９】[0019]
【数２】 (Equation 2)
【００２０】ただし、However,
【００２１】[0021]
【数３】 (Equation 3)
【００２２】である。これらの式は、ブレ画像の画素デ
ータｇ(i,j)は、原画像における画素データｆ(i,j)が位
置(i,j)以外の位置(k,l)の画素データｆ(k,l)の影響を
受けて生成されることを示している。上記劣化関数ｈij
は、原画像において画像データｆ(k,l)が画像データｆ
(i,j)に与える影響の割合を示すものである。## EQU1 ## These expressions indicate that the pixel data g (i, j) of the blurred image is the pixel data f (k, l) of the position (k, l) other than the position (i, j) of the pixel data f (i, j) in the original image. , l). The degradation function hij
Means that the image data f (k, l) in the original image is the image data f
It shows the ratio of the effect on (i, j).
【００２３】ところでブレ画像の画素データは、原画像
の周囲の画素データの影響を受けて生成されたものであ
るから、原画像を構成する画素データ数は、ブレ画像を
構成するデータ数よりも大きくなる。すなわち原画像の
サイズはブレ画像のサイズよりも大きくなる。このため
ブレ画像と重複しない領域の画素データが未知数として
含まれ、全未知数が連立方程式の数より多くなり解を求
めることができなくなる。従って上記未知画素データの
ダミーデータとしてブレ画像の両端の画素データを代入
して、連立方程式の解を求めるものとする。Since the pixel data of the blurred image is generated under the influence of the pixel data around the original image, the number of pixel data constituting the original image is smaller than the number of data constituting the blurred image. growing. That is, the size of the original image is larger than the size of the blurred image. For this reason, pixel data in an area that does not overlap with the blurred image is included as an unknown number, and the number of all unknowns exceeds the number of simultaneous equations, making it impossible to obtain a solution. Therefore, the solution of the simultaneous equations is obtained by substituting the pixel data at both ends of the blurred image as the dummy data of the unknown pixel data.
【００２４】ブレ画像がｍ×ｎ個の画素を有していると
き、一画素を構成する要素に注目して連立方程式をたて
ると、原画像をｘとし劣化関数をｂとすれば、ブレ画像
ｘ’は以下の式で表される。ただし、ダミーデータを横
方向にｄ画素、縦方向にｅ画素代入するものとする。When a blurred image has m × n pixels, and a simultaneous equation is established by focusing on elements constituting one pixel, if the original image is x and the deterioration function is b, The image x 'is represented by the following equation. However, the dummy data is substituted for d pixels in the horizontal direction and e pixels in the vertical direction.
【００２５】[0025]
【数４】 (Equation 4)
【００２６】上記の式で示されるブレ画像から原画像を
復元するには、ブレ画像に対して再び劣化関数を施す。In order to restore the original image from the blurred image represented by the above equation, a deterioration function is applied to the blurred image again.
【００２７】これを具体例を用いて説明する。図５はブ
レ補正の一例を説明するための図である。ここでは簡単
のためブレ画像のブロックを３行３列の行列としてお
り、左上の要素から右及び下方向に向かってＸ０，Ｘ
１，…，Ｘ８とする。ブレ方向が水平方向に対して０
[度]、ブレ量が２[画素]のとき、注目画素には水平方向
に隣接する画素成分から影響を受ける。処理の簡素化の
ためにブレが撮影装置の等速運動によって引き起こされ
るものと想定すれば、注目画素に及ぼす影響は均等であ
るから、この場合の劣化関数は、This will be described using a specific example. FIG. 5 is a diagram for explaining an example of shake correction. Here, for the sake of simplicity, the blurred image block is a matrix of 3 rows and 3 columns, and X0, X
1, ..., X8. The blur direction is 0 with respect to the horizontal direction
[Degree], when the blur amount is 2 [pixels], the pixel of interest is affected by pixel components adjacent in the horizontal direction. Assuming that blurring is caused by the constant-velocity motion of the imaging device for simplicity of processing, the effect on the target pixel is equal, so the deterioration function in this case is
【００２８】[0028]
【数５】 (Equation 5)
【００２９】となる。行列の中央の画素Ｘ４に注目して
劣化関数を施すと、ぶれた注目画素Ｘ４’は、数式４よ
り X4'=b0・X0+b1・X1+b2・X2+b3・X3+b4・X4+b5・X5+b6・X6+b7・X
7+b8・X8 となる。この劣化関数として数式５を適用すると、 x4'=b0・X0+b1・X1+b2・X2+b3・X3+b4・X4+b5・X5+b6・X6+b7・X7+b8・X8 =0・X0+0・X1+0・X2+(1/3)・X3+(1/3)・X4+(1/3)・X5+0・X6+0・X7+0・X8 =(1/3)・(X3+X4+X5) となる。## EQU1 ## When the deterioration function is performed by paying attention to the pixel X4 at the center of the matrix, the blurred pixel of interest X4 'can be calculated by the following equation (4): X4' = b0X0 + b1X1 + b2X2 + b3X3 + b4 b5 ・ X5 + b6 ・ X6 + b7 ・ X
7 + b8 ・ X8. When Equation 5 is applied as this deterioration function, x4 ′ = b0 · X0 + b1 · X1 + b2 · X2 + b3 · X3 + b4 · X4 + b5 · X5 + b6 · X6 + b7 · X7 + b8 · X8 = 0・ X0 + 0 ・ X1 + 0 ・ X2 + (1/3) ・ X3 + (1/3) ・ X4 + (1/3) ・ X5 + 0 ・ X6 + 0 ・ X7 + 0 ・ X8 = (1/3) ・(X3 + X4 + X5).
【００３０】さて、ここでこのブレ画像に対して再び同
一の劣化関数を施すと、 x4"=(1/3)・(X3'+X4'+X5') となる。X4'と同様の要領で、X3'=(1/3)・(X2+X3+X4)，X
5'=(1/3)・(X4+X5+X6)と与えられるから、 x4"=(1/3){(1/3)・(X2+X3+X4)+(1/3)・(X3+X4+X5)+(1/3)・(X4+X5+X6)} =(1/9)(X2+2・X3+3・X4+2・X5+X6) となる。すなわち、画素Ｘ４に劣化関数を施してえられ
たブレ画像の画素Ｘ４’に、同じ劣化関数を再び施して
得られる画素Ｘ４”は、原画像の注目画素Ｘ４に近い値
として復元される。When the same degradation function is applied to this blurred image again, x4 "= (1/3). (X3 '+ X4' + X5 '). The same procedure as that for X4' X3 '= (1/3) ・ (X2 + X3 + X4), X
5 '= (1/3) ・ (X4 + X5 + X6) x4''= (1/3) {(1/3) ・ (X2 + X3 + X4) + (1/3) ・(X3 + X4 + X5) + (1/3) · (X4 + X5 + X6)} = (1/9) (X2 + 2 · X3 + 3 · X4 + 2 · X5 + X6). The pixel X4 ″ obtained by applying the same deterioration function again to the pixel X4 ′ of the blurred image obtained by applying the deterioration function to the pixel X4 is restored as a value close to the target pixel X4 of the original image.
【００３１】これを図５のブレ画像に適用すると、画像
処理演算の結果は、 x4"=0x60+0x70+0x50+(1/3)x45+(1/3)x65+(1/3)x55+0x65+0x75+0x55 =55 となり、これが復元された画素Ｘ４の輝度値となる。以
上は一例であり、この復元の原理はブレの量や方向に関
わらず適用できる。 ＜ブレ補正処理手順＞図７〜図１０を画像の例として、
図１及び図３〜４のフローチャートを参照しながら画像
のブレ補正の手順について説明する。なお、説明におい
ては、図では画像そのものが示されているが、処理にお
いてはその画像に対応するデジタル画像情報が処理され
る。When this is applied to the blurred image of FIG. 5, the result of the image processing operation is x4 "= 0x60 + 0x70 + 0x50 + (1/3) x45 + (1/3) x65 + (1/3) x55 + 0x65 + 0x75 + 0x55 = 55, which is the restored luminance value of the pixel X4.The above is an example, and the principle of this restoration can be applied irrespective of the amount and direction of the shake. FIG. 10 is an example of an image.
The procedure of image blur correction will be described with reference to the flowcharts of FIGS. 1 and 3 and 4. In the description, an image is shown in the figure, but digital image information corresponding to the image is processed in the processing.
【００３２】図７はフィルム等の記録媒体に記録された
ブレ画像を示している。これを、画像メモリ１０４に格
納するなどして、 図８に示すように、Ｋ[画素]× Ｌ
[画素]（Ｋ，Ｌは整数） の小ブロックに分割し（ステ
ップＳ１）、各ブロックのデジタル画像情報を輝度値に
変換する。 （１．特徴領域の決定）輝度値に変換されたデジタル画
像情報に対してFIG. 7 shows a blurred image recorded on a recording medium such as a film. This is stored in the image memory 104, for example, as shown in FIG.
It is divided into small blocks of [pixels] (K and L are integers) (step S1), and the digital image information of each block is converted into a luminance value. (1. Determination of characteristic region) For digital image information converted into a luminance value
【００３３】[0033]
【数６】 (Equation 6)
【００３４】のラプラシアン・フィルタを施し、エッジ
成分を検出する。次に各ブロック毎にエッジ成分の和を
求めてその合計値が大きいブロックを特徴領域とする
（ステップＳ２及び図３のステップＳ２０１）。 （２．ブレ方向の検出）上記で求めた特徴領域におい
て、水平方向に対してＸ［度］（Ｘは整数）毎に劣化関
数を用いた画像処理演算を施す。この処理は、注目画素
を、想定したブレ方向について想定したブレ範囲に含ま
れる画素の平均輝度値に変換する処理である。例えば、
ブレ量を２[画素]とすると、注目画素から２画素分のず
れがあるから、劣化関数を３行３列の行列である。この
劣化関数の行列は、水平方向に対して例えばＸ＝０度で
あれば、The Laplacian filter is applied to detect an edge component. Next, the sum of the edge components is calculated for each block, and a block having a large total value is set as a feature region (step S2 and step S201 in FIG. 3). (2. Detection of Shake Direction) In the characteristic region obtained above, an image processing operation using a deterioration function is performed for each X [degrees] (X is an integer) in the horizontal direction. This process is a process of converting a target pixel into an average luminance value of pixels included in an assumed blur range in an assumed blur direction. For example,
Assuming that the blur amount is 2 [pixels], there is a shift of 2 pixels from the pixel of interest, so the deterioration function is a matrix of 3 rows and 3 columns. The matrix of this degradation function is, for example, if X = 0 degrees with respect to the horizontal direction,
【００３５】[0035]
【数７】 (Equation 7)
【００３６】であるし、Ｘ＝９０度であれば、And if X = 90 degrees,
【００３７】[0037]
【数８】 (Equation 8)
【００３８】である。同様にして、Ｘ＝４５度や１３５
度としても演算を行うことができる。こうすれば、斜め
方向のブレを検出できる。Is as follows. Similarly, X = 45 degrees or 135
The calculation can also be performed as a degree. In this way, the oblique blur can be detected.
【００３９】ブレ量＝２画素と想定した場合、この劣化
行列を用いた画像処理演算の結果、注目画素は、例えば
Ｘ＝０度であれば注目画素とその両隣の画素との平均値
となり、Ｘ＝９０度であれば、注目画素とその上下の画
素との平均値となる。また、Ｘ＝４５度，１３５度であ
れば、斜め方向の画素の並びについて輝度の平均値が得
られる。Assuming that the blur amount is 2 pixels, as a result of the image processing operation using this deterioration matrix, the target pixel becomes, for example, the average value of the target pixel and its neighboring pixels if X = 0 degrees, If X = 90 degrees, it is the average value of the target pixel and the pixels above and below it. If X = 45 degrees and 135 degrees, an average value of luminance is obtained for the arrangement of pixels in the oblique direction.
【００４０】このようにしてＸの値を変えて各方向につ
いて劣化関数を施して得られたデジタル画像情報と、画
像処理演算前の元のデジタル画像情報との輝度値の差の
絶対値の２乗の和を求める。撮影された画像がぶれてい
る場合、注目画素はブレの方向に沿ってブレ幅に含まれ
る画素の成分を含んでいるはずである。例えば水平方向
にぶれていれば、注目画素は水平方向に隣接する画素の
輝度値を含んでいるはずである。従って、想定したブレ
方向と実際のブレ方向（元の画像の撮影時のブレ方向）
とが一致していれば、劣化関数を施す前と後の画素の輝
度値の差は少ないはずである。そこで、劣化関数を施し
て得られたデジタル画像情報と、画像処理演算前の元の
デジタル画像情報との輝度値の差が大きく、しかもその
差にばらつきが少ない劣化関数に対応するＸをブレ方向
と決定する。そのために、劣化関数を施して得られたデ
ジタル画像情報と、画像処理演算前の元のデジタル画像
情報との輝度値の差の絶対値の二乗の和を計算し、その
値が最大となるような劣化関数に対応するＸをブレ方向
とする（ステップＳ３）。 （３．ブレ量の検出）さて、特徴領域とブレ方向とが特
定されたなら、ステップＳ３で求めたブレ方向におい
て、ステップＳ２で求めた特徴領域に対してＹ[画素]
（Ｙは整数）毎に画像処理演算を施す。演算を施した各
画素について、該画像処理演算前と該画像処理演算結果
との輝度値の差の絶対値を算出し、それらの二乗の和を
求める。この二乗の和の値を、ブレ量を変化させなが
ら、すなわち劣化関数の行列サイズを変化させながら算
出し、その値が急激に変化する直前のブレ量をその画像
のブレ量とする（ステップＳ４及び図８のステップＳ４
０１）。As described above, the absolute value of the difference between the luminance value of the digital image information obtained by applying the deterioration function in each direction while changing the value of X and the original digital image information before the image processing operation is calculated. Find the sum of the powers. If the captured image is blurred, the target pixel should include the components of the pixels included in the blur width along the blur direction. For example, if the pixel is blurred in the horizontal direction, the target pixel should include the luminance value of a pixel adjacent in the horizontal direction. Therefore, the assumed blur direction and the actual blur direction (the blur direction at the time of shooting the original image)
Should match, the difference between the luminance values of the pixels before and after applying the degradation function should be small. Therefore, X corresponding to the deterioration function in which the difference between the luminance value of the digital image information obtained by applying the deterioration function and the original digital image information before the image processing operation is large, and the difference is small, is set in the blur direction. Is determined. For this purpose, the sum of the squares of the absolute values of the differences between the luminance values of the digital image information obtained by performing the deterioration function and the original digital image information before the image processing operation is calculated so that the maximum value is obtained. X corresponding to the various deterioration functions is set as the blurring direction (step S3). (3. Detection of Shake Amount) When the characteristic region and the blur direction are specified, Y [pixel] is calculated for the characteristic region obtained in step S2 in the blur direction obtained in step S3.
An image processing operation is performed for each (Y is an integer). For each pixel subjected to the operation, the absolute value of the difference between the luminance values before the image processing operation and the result of the image processing operation is calculated, and the sum of the squares is calculated. The value of the sum of the squares is calculated while changing the blur amount, that is, while changing the matrix size of the deterioration function, and the blur amount immediately before the value sharply changes is set as the blur amount of the image (step S4). And step S4 in FIG.
01).
【００４１】例えば、ステップＳ２においてブレ方向が
０度と判定されたなら、ブレ量１（劣化関数は２×２）
からはじめて、ブレ量２（劣化関数は３×３），ブレ量
３（劣化関数は４×４）のように変化させつつＹ画素お
きに特徴領域内の画素に劣化関数を施し、その前後の差
分の二乗和を算出して、急激な変化の直前のブレ量をそ
の画像のブレ量とする。こうしてブレ方向とブレ量とが
決定される。 （４．劣化関数の決定）次に、求められたブレ方向とブ
レ量とから劣化関数を決定する。ブレ方向から劣化関数
（行列）の要素の配列を決定し、ブレ量から劣化関数
（行列）の大きさを決定する（ステップＳ５）。ただ
し、本方法では、カメラ等の撮影装置のブレはその撮影
装置が露光時間内で等速に直線的に運動し、画像の位置
によってブレ方向が変化しないものとして考えている。
次に劣化関数を求める方法を具体例を用いて説明する。For example, if the blur direction is determined to be 0 degree in step S2, the blur amount is 1 (the deterioration function is 2 × 2).
First, the deterioration function is applied to the pixels in the feature region every Y pixels while changing the blur amount 2 (the deterioration function is 3 × 3) and the blur amount 3 (the deterioration function is 4 × 4). The sum of squares of the difference is calculated, and the blur amount immediately before the rapid change is defined as the blur amount of the image. Thus, the blur direction and the blur amount are determined. (4. Determination of Deterioration Function) Next, a degradation function is determined from the obtained blur direction and blur amount. The arrangement of the elements of the deterioration function (matrix) is determined from the blur direction, and the magnitude of the deterioration function (matrix) is determined from the blur amount (step S5). However, in the present method, it is considered that the blur of the photographing device such as a camera is such that the photographing device moves linearly at a constant speed within the exposure time, and the blur direction does not change depending on the position of the image.
Next, a method for obtaining the deterioration function will be described using a specific example.
【００４２】ブレ方向が水平方向に対して０度で、ブレ
の幅が２ピクセルのとき、ブレ方向が０度の行列の配列
は、When the blur direction is 0 degrees with respect to the horizontal direction and the blur width is 2 pixels, the array of the matrix whose blur direction is 0 degrees is as follows.
【００４３】[0043]
【数９】 (Equation 9)
【００４４】となり、ブレ量が２ピクセルの行列は３行
３列の行列となるため、劣化関数はSince the matrix having a blur amount of 2 pixels is a matrix of 3 rows and 3 columns, the deterioration function is
【００４５】[0045]
【数１０】 (Equation 10)
【００４６】となる。ブレ方向が水平方向に対して４５
度で、ブレの幅が２ピクセルのとき、ブレ方向が４５度
の行列の配列は、Is as follows. The blur direction is 45 with respect to the horizontal direction.
When the blur width is 2 pixels and the blur direction is 45 degrees,
【００４７】[0047]
【数１１】 [Equation 11]
【００４８】となり、ブレ量が２ピクセルの行列は３行
３列の行列となるため、劣化関数は[0048] Since the matrix with the blur amount of 2 pixels is a matrix with 3 rows and 3 columns, the deterioration function is
【００４９】[0049]
【数１２】 (Equation 12)
【００５０】となる。ブレ方向が水平方向に対して９０
度で、ブレの幅が２ピクセルのとき、ブレ方向が９０度
の行列の配列は、Is as follows. The blur direction is 90 with respect to the horizontal direction.
When the blur width is 2 pixels and the blur direction is 90 degrees,
【００５１】[0051]
【数１３】 (Equation 13)
【００５２】となり、ブレ量が２ピクセルの行列は３行
３列の行列となるため、劣化関数はSince the matrix having a blur amount of 2 pixels is a matrix of 3 rows and 3 columns, the deterioration function is
【００５３】[0053]
【数１４】 [Equation 14]
【００５４】となる。 （５．原画像の再ブロック化及び復元）このようにして
劣化関数が決まったなら、メモリ容量の節約と処理時間
の短縮のために、処理対象のデジタル画像情報を、互い
に横方向にｑ画素、縦方向にｒ画素ずつ重複したＭ[画
素]× Ｎ[画素]（Ｍ、Ｎは整数）の小ブロックに分割し
て（ステップＳ６）、各ブロック毎にブレを補正する
（ステップＳ７）。ブレの補正には上記の方法で求めた
劣化関数を用いて、数式４や数式５で説明した要領で各
画素に劣化関数を施し、画素を復元する。 （６．画像の再構成）次に、こうして復元されたブロッ
クを、図９に示すように横方向にｑ[画素]（ｑは整
数）、縦方向にｒ[画素]（ｒは整数）ずつオーバーラッ
プさせ重ね合わせる。この際、ブロック間のつなぎ目を
平滑化するために重ねられる部分は重み付け平均され
る。つまり重み関数を重ね合わさる画素に掛けて加算す
る。まず、１次元の重み関数t1(i)を次式で与える。Is as follows. (5. Re-blocking and Restoration of Original Image) Once the degradation function is determined in this way, in order to save memory capacity and shorten processing time, the digital image information to be processed is horizontally divided by q pixels. Then, the image data is divided into small blocks of M [pixels] × N [pixels] (M and N are integers) which are overlapped by r pixels in the vertical direction (step S6), and blur is corrected for each block (step S7). For the blur correction, the degradation function obtained by the above method is used, and the degradation function is applied to each pixel in the manner described in Expressions 4 and 5 to restore the pixels. (6. Image Reconstruction) Next, as shown in FIG. 9, the blocks thus reconstructed are each q [pixels] (q is an integer) in the horizontal direction and r [pixels] (r is an integer) in the vertical direction. Overlap and overlap. At this time, the overlapped portion for smoothing the joint between the blocks is weighted and averaged. That is, the weighted function is multiplied by the superimposed pixels and added. First, a one-dimensional weight function t1 (i) is given by the following equation.
【００５５】[0055]
【数１５】 (Equation 15)
【００５６】２次元の重み関数ｔ2(i,j)は、１次元の重
み関数の積の形で表される。The two-dimensional weight function t2 (i, j) is expressed as a product of the one-dimensional weight function.
【００５７】[0057]
【数１６】 (Equation 16)
【００５８】ただし、t1(j)については、式中のＭはＮ
に置き換えられる。この重み関数を用いて、重ね合わせ
処理により画像を復元する（ステップＳ８）。なお、
ｉ，ｊは、Ｍ×Ｎブロック内における画素位置を表わ
す。However, for t1 (j), M in the equation is N
Is replaced by Using this weight function, an image is restored by a superposition process (step S8). In addition,
i and j represent pixel positions in the M × N block.
【００５９】重ねあわせる部分は、経験的には横方向に
Ｍ／２、縦方向にＮ／２が用いられる。また、数式１
５，１６の意味は、重ねあわせるブロックの端ほど重み
を軽くする、というもので、これによりブロックの輪郭
が平滑にされる。As an empirical part, M / 2 is used in the horizontal direction and N / 2 is used in the vertical direction. Equation 1
The meaning of 5 and 16 is that the weight is lighter at the end of the block to be superimposed, thereby smoothing the outline of the block.
【００６０】図１０は以上のようにしてブレを補正した
画像を示している。FIG. 10 shows an image whose blur has been corrected as described above.
【００６１】以上説明したように、本発明にかかる画像
処理方法によれば、カメラ等の撮影装置の側で対応して
いなくても、再生装置側の処理でブレを補正することが
できる。また、ブロックごとに補正するために、ブレ補
正のためのメモリ容量を大量に必要としない。 [第２の実施の形態］本発明の第２の実施形態として、
特徴領域の決定時にラプラシアンフィルタの代わりにグ
ラディエントフィルタを用いた手順を図面を参照しなが
ら説明する。その他の手順は第１の実施形態と同様であ
るが、本実施形態ではブレ量を変えた例で説明する。As described above, according to the image processing method of the present invention, the blurring can be corrected by the processing of the reproducing apparatus even if the image processing apparatus such as a camera does not support the processing. Further, since the correction is performed for each block, a large amount of memory capacity for blur correction is not required. [Second Embodiment] As a second embodiment of the present invention,
A procedure using a gradient filter instead of a Laplacian filter when determining a characteristic region will be described with reference to the drawings. Other procedures are the same as those of the first embodiment, but in the present embodiment, an example in which the amount of shake is changed will be described.
【００６２】まず、 図８に示すように、該画像をＫ[画
素] Ｌ[画素] （Ｋ、Ｌは整数） の小ブロックに分割し
て（ステップＳ１）、各ブロックのデジタル画像情報を
ＲＧＢの色空間からＬ*ａ*ｂ*色空間に変換する。Ｌ*ａ
*ｂ*空間に変換したデジタル画像情報に対してFirst, as shown in FIG. 8, the image is divided into small blocks of K [pixels] L [pixels] (K and L are integers) (step S1), and the digital image information of each block is divided into RGB. Is converted to the L * a * b * color space. L * a
For digital image information converted to * b * space
【００６３】[0063]
【数１７】 [Equation 17]
【００６４】のグラディアント・フィルタを施し、エッ
ジ成分を検出する。次に各ブロック毎にエッジ成分の和
を求めてその合計値が大きいブロックを特徴領域とする
（ステップＳ２及び図３におけるステップＳ２０２）。The gradient filter is applied to detect an edge component. Next, the sum of the edge components is obtained for each block, and a block having a large total value is set as a feature region (step S2 and step S202 in FIG. 3).
【００６５】上記で求めた特徴領域において、水平方向
に対してＸ［度］（Ｘは整数）毎に画像処理演算を施
す。ただしブレ量を４[画素]として劣化関数を５行５列
の行列とする。該画像処理演算前のデジタル画像情報と
該画像処理演算結果のデジタル画像情報との輝度値の差
の絶対値の二乗の和を求めて、その値が最大となるＸの
値をブレ方向とする（ステップＳ３）。In the characteristic region obtained as described above, an image processing operation is performed every X [degrees] (X is an integer) in the horizontal direction. However, it is assumed that the blurring amount is 4 [pixels] and the deterioration function is a matrix of 5 rows and 5 columns. The sum of the square of the absolute value of the difference between the luminance values of the digital image information before the image processing operation and the digital image information of the image processing operation result is obtained, and the value of X having the maximum value is defined as the blur direction. (Step S3).
【００６６】次に、上記の演算による原画像の復元動作
を具体例を用いて説明する。図６は画像処理演算の一例
を説明するための例を示す図である。ここでは簡単のた
めブレ画像のブロックを５行５列の行列としている。ブ
レ方向が水平方向に対して９０[度]、ブレ量が４[画素]
のとき劣化関数はNext, the operation of restoring the original image by the above calculation will be described using a specific example. FIG. 6 is a diagram illustrating an example for explaining an example of the image processing operation. Here, for simplicity, the blocks of the blurred image are a matrix of 5 rows and 5 columns. The blur direction is 90 [degree] with respect to the horizontal direction, and the blur amount is 4 [pixel]
Then the degradation function is
【００６７】[0067]
【数１８】 (Equation 18)
【００６８】となり、画像処理演算の結果は、 x4'=b0・X0+b1・X1+b2・X2+b3・X3+b4・X4+...+b22・X22+b23・X23+b24・X24 =0x60+0x70+(1/5)x45+0x65+0x55+...+0x75+0x55 =55 となる。このようにして画像はぶれを補正され、復元さ
れる。The result of the image processing operation is x4 '= b0.X0 + b1.X1 + b2.X2 + b3.X3 + b4.X4 + ... + b22.X22 + b23.X23 + b24.X24 = 0x60 + 0x70 + (1/5) x45 + 0x65 + 0x55 + ... + 0x75 + 0x55 = 55. In this manner, the image is corrected for blur and restored.
【００６９】さて、上述のようにして求めたブレ方向に
おいて、特徴領域に対してＹ[画素]（Ｙは整数）毎にブ
レを補正する。この際、ブレ量を変えながら、ブレ量に
応じた大きさの劣化関数の行列を用いて画像処理を施
し、画像処理演算前と画像処理演算結果との輝度値の差
の絶対値の二乗の和を求める。この二乗の和が急激に変
化する直前のブレ量を、処理対象の画像のブレ量とする
（ステップＳ４、図４のステップＳ４０２）。In the blur direction obtained as described above, blur is corrected for each Y [pixel] (Y is an integer) with respect to the characteristic region. At this time, image processing is performed using a matrix of a deterioration function of a size corresponding to the amount of blur while changing the amount of blur, and the square of the absolute value of the difference between the luminance values before and after the image processing operation is calculated. Find the sum. The blur amount immediately before the sum of the squares changes abruptly is defined as the blur amount of the image to be processed (step S4, step S402 in FIG. 4).
【００７０】次に、求められたブレ方向とブレ量より劣
化関数を求める。該ブレ方向から劣化関数（行列）の要
素の配列を決定して、該ブレ量から劣化関数（行列）の
大きさを決定する（ステップＳ５）。ただし、本方法で
は、カメラ等の撮影装置のブレはカメラ等の撮影装置が
露光時間内で等速に直線的に運動し、画像の位置によっ
てブレ方向が変化しないものとして考えている。Next, a deterioration function is obtained from the obtained blur direction and blur amount. The arrangement of the elements of the degradation function (matrix) is determined from the blur direction, and the magnitude of the degradation function (matrix) is determined from the blur amount (step S5). However, in the present method, it is considered that the blur of the photographing device such as a camera is such that the photographing device such as the camera linearly moves at a constant speed within the exposure time, and the blur direction does not change depending on the position of the image.
【００７１】次に上記の劣化関数を求める方法を具体例
を用いて説明する。Next, a method of obtaining the above-mentioned deterioration function will be described using a specific example.
【００７２】ブレ方向が水平方向に対して０度で、ブレ
量が４ピクセルのとき、ブレ方向が０度の行列の配列
は、When the blur direction is 0 ° with respect to the horizontal direction and the blur amount is 4 pixels, the array of the matrix whose blur direction is 0 ° is as follows.
【００７３】[0073]
【数１９】 [Equation 19]
【００７４】となり、ブレ量が４ピクセルの行列は５行
５列の行列となるため、劣化関数はSince the matrix with the blur amount of 4 pixels is a matrix with 5 rows and 5 columns, the deterioration function is
【００７５】[0075]
【数２０】 (Equation 20)
【００７６】となる。ブレ方向が水平方向に対して４５
度で、ブレ量が４ピクセルのとき、ブレ方向が４５度の
行列の配列は、Is obtained. The blur direction is 45 with respect to the horizontal direction.
When the blur amount is 4 pixels and the blur direction is 45 degrees,
【００７７】[0077]
【数２１】 (Equation 21)
【００７８】となり、ブレ量が４ピクセルの行列は５行
５列の行列となるため、劣化関数はSince the matrix having a blur amount of 4 pixels is a matrix of 5 rows and 5 columns, the deterioration function is
【００７９】[0079]
【数２２】 (Equation 22)
【００８０】となる。ブレ方向が水平方向に対して９０
度で、ブレ量が４ピクセルのとき、ブレ方向が９０度の
行列の配列は、Is obtained. The blur direction is 90 with respect to the horizontal direction.
When the blur amount is 4 pixels and the blur direction is 90 degrees,
【００８１】[0081]
【数２３】 (Equation 23)
【００８２】となり、ブレ量が４ピクセルの行列は５行
５列の行列となるため、劣化関数はSince the matrix having a blur amount of 4 pixels is a matrix of 5 rows and 5 columns, the deterioration function is
【００８３】[0083]
【数２４】 (Equation 24)
【００８４】となる。Is obtained.
【００８５】この補正アルゴリズムでは、メモリ容量の
節約と処理時間の短縮のために、画像をＭ[画素] Ｎ[画
素]（Ｍ、Ｎは整数）の小ブロックに分割して（ステッ
プＳ６）、各ブロック毎にブレを補正する（ステップＳ
７）。ブレの補正には上記の方法で求めた劣化関数を用
いる。In this correction algorithm, the image is divided into small blocks of M [pixels] and N [pixels] (M and N are integers) in order to save the memory capacity and shorten the processing time (step S6). Correct blur for each block (step S
7). For the blur correction, the deterioration function obtained by the above method is used.
【００８６】上記の方法で復元されたブロックは、図４
に示すように横方向にｑ[画素]（ｑは整数）、縦方向に
ｒ[画素]（ｒは整数）ずつオーバーラップさせ重ね合わ
せ、各ブロックを重み付け平均する。第１の実施の形態
と同様に、数式１５及び数式１６の重み関数を用いて重
みづけし、ブロックを重ねあわせる。The block reconstructed by the above method is shown in FIG.
As shown in (1), q [pixels] (q is an integer) in the horizontal direction and r [pixels] (r is an integer) in the vertical direction are overlapped, and each block is weighted and averaged. As in the first embodiment, weighting is performed using the weighting functions of Expressions 15 and 16, and blocks are overlapped.
【００８７】以上の手順により、第１の実施の形態と同
様の効果を達成することができる。 [第３の実施の形態]第３の実施形態を図面を参照しなが
ら説明する。According to the above procedure, the same effect as in the first embodiment can be achieved. Third Embodiment A third embodiment will be described with reference to the drawings.
【００８８】図８に示すように、該画像をＫ[画素] Ｌ
[画素] （Ｋ、Ｌは整数） の小ブロックに分割して（ス
テップＳ１）、各ブロックのデジタル画像情報をＲＧＢ
の色空間からＬ*ａ*ｂ*色空間に変換する。 Ｌ*ａ*ｂ*
空間に変換したデジタル画像情報に対して、数式６に示
したラプラシアン・フィルタを施し、エッジ成分を検出
する。次に各ブロック毎にエッジ成分の和を求めてその
合計値が大きいブロックを特徴領域とする（ステップＳ
２及び図３ステップＳ２０３）。As shown in FIG. 8, the image is represented by K [pixel] L
[Pixel] (K and L are integers) (step S1), and the digital image information of each block is
Is converted to the L * a * b * color space. L * a * b *
The Laplacian filter shown in Expression 6 is applied to the digital image information converted into the space, and an edge component is detected. Next, the sum of the edge components is obtained for each block, and the block having the larger total value is set as a feature region (step S
2 and step S203 in FIG. 3).
【００８９】上記で求めた特徴領域において、水平方向
に対してＸ［度］（Ｘは整数）毎に画像処理演算を施
す。ただしここではブレ量を２[画素]として劣化関数を
３行３列の行列とする。該画像処理演算前のデジタル画
像情報と該画像処理演算結果のデジタル画像情報との輝
度値の差の絶対値の二乗の和を求めて、該絶対値の二乗
の和が最大となる点をブレ方向とする（ステップＳ
３）。これは第１及び第２の実施の形態と同様である。In the feature region obtained above, an image processing operation is performed every X [degrees] (X is an integer) in the horizontal direction. However, here, the blurring amount is 2 [pixels] and the deterioration function is a matrix of 3 rows and 3 columns. The sum of the square of the absolute value of the difference between the luminance values of the digital image information before the image processing operation and the digital image information of the image processing operation result is obtained, and the point at which the sum of the squares of the absolute value is maximum is blurred. Direction (step S
3). This is the same as in the first and second embodiments.
【００９０】次に、上記の演算による原画像の復元動作
を具体例を用いて説明する。図５はブレ補正の一例を説
明するための図である。ここでは簡単のためブレ画像の
ブロックを３行３列の行列としている。ブレ方向が水平
方向に対して０[度]、ブレ量が２[画素]のとき劣化関数
は数式５と同様なので、画像処理演算の結果は、 x4"=0x60+0x70+0x50+(1/3)x45+(1/3)x65+(1/3)x55+0x65+0x75+0x55 =55 となる。Next, the operation of restoring the original image by the above calculation will be described using a specific example. FIG. 5 is a diagram for explaining an example of shake correction. Here, for the sake of simplicity, the blurred image block is a matrix of 3 rows and 3 columns. When the blur direction is 0 [degree] with respect to the horizontal direction and the blur amount is 2 [pixels], the deterioration function is the same as Equation 5, and the result of the image processing operation is x4 "= 0x60 + 0x70 + 0x50 + (1/3 ) x45 + (1/3) x65 + (1/3) x55 + 0x65 + 0x75 + 0x55 = 55.
【００９１】上記で求めたブレ方向において、該特徴領
域に対してＹ[画素] （Ｙは整数）毎に、ブレ量を変え
ながら、それに対応させて劣化関数の行列のサイズを変
え画像処理演算を施す。画像処理演算結果の輝度値の絶
対値の二乗の和を求めて、その二乗の和が急激に変化す
る直前のブレ量を、処理対象の画像のブレ量とする（ス
テップＳ４及び図４のステップＳ４０３）。In the blur direction obtained above, while changing the blur amount for each Y [pixel] (Y is an integer) with respect to the feature area, the size of the matrix of the deterioration function is changed correspondingly to the image processing operation. Is applied. The sum of the squares of the absolute values of the luminance values of the image processing calculation results is obtained, and the blur amount immediately before the sum of the squares changes abruptly is set as the blur amount of the image to be processed (step S4 and the step in FIG. S403).
【００９２】次に、求められたブレ方向とブレ量より劣
化関数を求める。ブレ方向から劣化関数（行列）の要素
の配列を決定して、ブレ量から劣化関数（行列）の大き
さを決定する（ステップＳ５）。ただし、本方法では、
カメラ等の撮影装置のブレはカメラ等の撮影装置が露光
時間内で等速に直線的に運動し、画像の位置によってブ
レ方向が変化しないものとして考えている。Next, a deterioration function is determined from the determined blur direction and blur amount. The arrangement of the elements of the deterioration function (matrix) is determined from the blur direction, and the magnitude of the deterioration function (matrix) is determined from the blur amount (step S5). However, in this method,
The blurring of a photographing device such as a camera is considered to be such that the photographing device such as a camera moves linearly at a constant speed within the exposure time, and the direction of the blur does not change depending on the position of the image.
【００９３】次に上記の劣化関数を求める方法を具体例
を用いて説明する。Next, a method for obtaining the above-mentioned deterioration function will be described using a specific example.
【００９４】ブレ方向が水平方向に対して０度で、ブレ
の幅が２ピクセルのとき、ブレ方向が０度の行列の配列
は数式９と同様の行列となり、ブレ量が２ピクセルの行
列は３行３列の行列となるため、劣化関数は数式１０と
同様となる。ブレ方向が水平方向に対して４５度で、ブ
レの幅が２ピクセルのとき、ブレ方向が４５度の行列の
配列は、数式１１と同様の行列となり、ブレ量が２ピク
セルの行列は３行３列の行列となるため、劣化関数は数
式１２と同様となる。ブレ方向が水平方向に対して９０
度で、ブレの幅が２ピクセルのとき、ブレ方向が９０度
の行列の配列は、数式１３と同様の行列となり、ブレ量
が２ピクセルの行列は３行３列の行列となるため、劣化
関数は数式１４と同様となる。When the blur direction is 0 degrees with respect to the horizontal direction and the width of the blur is 2 pixels, the array of the matrix having the blur direction of 0 degrees is the same as the matrix of Expression 9, and the matrix of the blur amount of 2 pixels is Since the matrix has three rows and three columns, the deterioration function is the same as that of Expression 10. When the blur direction is 45 degrees with respect to the horizontal direction and the width of the blur is 2 pixels, the array of the matrix with the blur direction of 45 degrees is the same matrix as in Expression 11, and the matrix with the blur amount of 2 pixels is 3 rows. Since the matrix has three columns, the deterioration function is the same as that of Expression 12. The blur direction is 90 with respect to the horizontal direction.
When the blur width is 2 pixels, the array of the matrix having the blur direction of 90 degrees is the same as the matrix of Expression 13, and the matrix of the blur amount of 2 pixels is a matrix of 3 rows and 3 columns. The function is similar to Equation 14.
【００９５】この補正アルゴリズムではメモリ容量の節
約と処理時間の短縮のために、該画像をＭ[画素] Ｎ[画
素]（Ｍ、Ｎは整数）の小ブロックに分割して（ステッ
プＳ６）、各ブロック毎にブレを補正する（ステップＳ
７）。ブレの補正には上記の方法で求めた劣化関数を用
いる。In this correction algorithm, in order to save memory capacity and shorten processing time, the image is divided into small blocks of M [pixels] and N [pixels] (M and N are integers) (step S6). Correct blur for each block (step S
7). For the blur correction, the deterioration function obtained by the above method is used.
【００９６】上記の方法で復元されたブロックを図４に
示すように横方向にｑ[画素]（ｑは整数）、縦方向にｒ
[画素]（ｒは整数）ずつオーバーラップさせ重ね合わ
せ、各ブロックを重み付け平均する。つまり重み関数を
重ね合わさるブロックに掛けて和をとる。重みつけ関数
としては、数式１５及び数式１６と同様の関数が用いら
れる。As shown in FIG. 4, blocks reconstructed by the above method are q [pixels] (q is an integer) in the horizontal direction and r in the vertical direction.
Each pixel is overlapped by overlapping (r is an integer), and each block is weighted and averaged. That is, the weight function is applied to the blocks to be superimposed to obtain a sum. As the weighting function, a function similar to Equations 15 and 16 is used.
【００９７】以上のブレ補正方法によっても、第１及び
第２の実施の形態と同じく、カメラ等の撮影装置の側で
対応していなくても、再生装置側の処理でブレを補正す
ることができる。また、ブロックごとに補正するため
に、ブレ補正のためのメモリ容量を大量に必要としな
い。また、ブレ量の検出時の計算が第１あるいは第２の
実施形態と比べて簡単なため、迅速に処理を行うことが
できる。According to the above-described blur correction method, similarly to the first and second embodiments, the blur can be corrected by the processing of the reproducing apparatus even if the photographing apparatus such as a camera does not support the processing. it can. Further, since the correction is performed for each block, a large amount of memory capacity for blur correction is not required. Further, since the calculation at the time of detecting the blur amount is simpler than in the first or second embodiment, the processing can be performed quickly.
【００９８】[0098]
【発明の効果】以上説明したように、本発明は、デジタ
ル画像情報からブレ方向とブレ量を検出し画像のブレを
補正して鮮明な画像を得ることができる。従って、従来
のように撮影装置にブレ補正装置やブレ情報の検出装置
を設ける必要は無く、撮影装置の大型化、重量の増大
化、あるいは高価格化という問題を解決することができ
る。また画像を分割してブレを補正するので演算時間の
短縮と処理に必要なメモリ容量の節約が図れる。As described above, according to the present invention, a clear image can be obtained by detecting a blur direction and a blur amount from digital image information and correcting the blur of the image. Therefore, it is not necessary to provide a blur correction device or a shake information detecting device in the photographing apparatus as in the related art, and it is possible to solve the problems of increasing the size, weight, and cost of the photographing apparatus. Further, since the image is divided to correct the blur, the calculation time can be reduced and the memory capacity required for the processing can be saved.
【００９９】[0099]
【図面の簡単な説明】[Brief description of the drawings]
【図１】画像のブレ補正手順のフローチャートである。FIG. 1 is a flowchart of an image blur correction procedure.
【図２】画像のぶれ補正をおこなう画像再生装置のブロ
ック図である。FIG. 2 is a block diagram of an image reproducing apparatus that performs image blur correction.
【図３】画像のブレ補正手順のフローチャートである。FIG. 3 is a flowchart of an image blur correction procedure.
【図４】画像のブレ補正手順のフローチャートである。FIG. 4 is a flowchart of an image blur correction procedure.
【図５】ブレ画像及びブレが補正された復元画像の例を
示す図である。FIG. 5 is a diagram illustrating an example of a blurred image and a restored image in which the blur has been corrected.
【図６】ブレ画像及びブレが補正された復元画像の例を
示す図である。FIG. 6 is a diagram illustrating an example of a blurred image and a restored image in which the blur has been corrected.
【図７】ブレ画像の例を示す図である。FIG. 7 is a diagram illustrating an example of a blurred image.
【図８】ブレ画像から特徴領域を決定する手順を説明す
る図である。FIG. 8 is a diagram illustrating a procedure for determining a characteristic region from a blurred image.
【図９】補正された画像を再合成する手順を説明する図
である。FIG. 9 is a diagram illustrating a procedure for recombining a corrected image.
【図１０】補正された画像の例を示す図である。FIG. 10 is a diagram illustrating an example of a corrected image.
Claims (22)
補正する画像処理方法であって、（ａ）元のデジタル画
像情報を所定サイズのブロック群に分割し、（ｂ）分割
した各ブロックごとにエッジ成分を検出し、（ｃ）ブロ
ック群の中から、エッジ成分を最も多く含むブロックを
特徴領域として選択し、（ｄ）前記特徴領域の画像デー
タからぶれ方向を検出し、（ｅ）前記特徴領域の画像デ
ータからぶれ量を検出し、（ｆ）前記ぶれ方向とぶれ量
に基づき、劣化関数を求め、（ｇ）元のデジタル画像情
報を第二のブロック群に分割し、（ｈ）前記第二のブロ
ック群の各ブロックに対して、前記劣化関数を用いてぶ
れ補正演算を施し、（ｉ）補正演算の施された前記第二
の小ブロック群の各ブロックを合成することを特徴とす
る画像処理方法。1. An image processing method for correcting a blur component included in digital image information, comprising: (a) dividing original digital image information into a group of blocks of a predetermined size; Detecting an edge component, (c) selecting a block including the largest number of edge components from a group of blocks as a characteristic region, (d) detecting a blur direction from image data of the characteristic region, and (e) detecting a blur direction. Detecting the blur amount from the image data of the area, (f) calculating a deterioration function based on the blur direction and the blur amount, (g) dividing the original digital image information into a second block group, and (h) A blur correction operation is performed on each block of the second block group using the deterioration function, and (i) each block of the second small block group subjected to the correction operation is synthesized. Image processing method.
る微分演算を行ってエッジ成分を検出することを特徴と
する請求項１に記載の画像処理方法。2. The image processing method according to claim 1, wherein in the step (b), an edge component is detected by performing a differential operation using a mask filter.
分演算結果の絶対値の和を比較して、該和の値が最大の
ブロックを特徴領域とすることを特徴とする請求項２に
記載の画像処理方法。3. The configuration c according to claim 2, wherein the sum of the absolute values of the differential operation results for each block is compared, and the block having the largest sum is defined as a feature area. Image processing method.
て、注目方向に沿った注目画素を含む所定数の画素の平
均値を、特徴領域全体について前記注目方向をかえつつ
画像処理後の注目画素値として算出し、前記画像処理後
の注目画素値と元の注目画素値との差が最大の方向をブ
レ方向として検出することを特徴とする請求項１に記載
の画像処理方法。4. In a step d, for the characteristic region, an average value of a predetermined number of pixels including a pixel of interest along the direction of interest is calculated for the entirety of the characteristic region. 2. The image processing method according to claim 1, wherein a direction in which a difference between the target pixel value after the image processing and the original target pixel value is the largest is detected as a blur direction.
て、工程ｄにおいて検出された方向に沿った注目画素を
含むＸ個の画素の平均値を、特徴領域全体についてＸの
値を変えつつ画像処理後の注目画素値として算出し、前
記画像処理後の注目画素値と元の注目画素値との差のば
らつきが急増する直前のＸの値をブレ量として検出する
ことを特徴とする請求項１に記載の画像処理方法。5. In a step e, the average value of X pixels including the pixel of interest along the direction detected in the step d is changed for the characteristic region, and the image processing is performed while changing the value of X for the entire characteristic region. 2. The value of X calculated immediately before the pixel value of interest after the image processing and the variation of the difference between the pixel value of interest and the original pixel value of interest sharply increases is detected as a pixel value of interest. The image processing method according to 1.
て、工程ｄにおいて検出された方向に沿った注目画素を
含むＸ個の画素の平均値を、特徴領域全体についてＸの
値を変えつつ画像処理後の注目画素値として算出し、前
記画像処理後の注目画素値のばらつきが急増する直前の
Ｘの値をブレ量として検出することを特徴とする請求項
１に記載の画像処理方法。6. In the step e, the average value of X pixels including the pixel of interest along the direction detected in the step d is changed with respect to the characteristic region, and the average value of the X pixels is changed for the entire characteristic region. The image processing method according to claim 1, wherein the value of X is calculated as a target pixel value after the image processing, and the value of X immediately before the variation of the target pixel value after the image processing sharply increases is detected as a blur amount.
れたブレ方向を劣化関数の行列の要素配列の方向とし、
工程ｅにより検出されたブレ量を劣化関数の行列の大き
さとすることを特徴とする請求項１に記載の画像処理方
法。7. In a step f, the blur direction detected in the step d is set as a direction of an element array of a matrix of a deterioration function,
2. The image processing method according to claim 1, wherein the blur amount detected in the step e is set as a size of a matrix of the deterioration function.
各ブロックを、各ブロック同士が所定画素ずつ重複する
ように合成することを特徴とする請求項１に記載の画像
処理方法。8. The image processing method according to claim 1, wherein in the step i, the blocks of the second block group are combined such that the blocks overlap by a predetermined pixel.
については、重複する画素間で重み付き平均を与えるこ
とを特徴とする請求項８に記載の画像処理方法。9. The image processing method according to claim 8, wherein in the step i, a weighted average is given to the pixels in the overlapping portion between the overlapping pixels.
を補正する画像処理方法であって、（ａ）デジタル画像
情報において、注目方向に沿った注目画素を含む所定数
の画素の平均値を、所定の領域について前記注目方向を
かえつつ画像処理後の注目画素値として算出し、前記画
像処理後の注目画素値と元の注目画素値との差が最大の
方向をブレ方向として検出し、（ｂ）デジタル画像情報
において、工程ａにおいて検出された方向に沿った注目
画素を含むＸ個の画素の平均値を、所定の領域全体につ
いてＸの値を変えつつ画像処理後の注目画素値として算
出し、前記画像処理後の注目画素値のばらつき、あるい
は、前記画像処理後の注目画素値と元の注目画素値との
差のばらつきが急増する直前のＸの値をブレ量として検
出し、（ｃ）前記ぶれ方向とぶれ量とから求められる劣
化関数を用いて前記デジタル画像情報にぶれ補正演算を
施すことを特徴とする画像処理方法。10. An image processing method for correcting a blur component included in digital image information, comprising: (a) calculating, in the digital image information, an average value of a predetermined number of pixels including a target pixel along a target direction; Is calculated as a target pixel value after image processing while changing the target direction with respect to the region, and the direction in which the difference between the target pixel value after image processing and the original target pixel value is the largest is detected as the blur direction, In the digital image information, the average value of X pixels including the target pixel along the direction detected in step a is calculated as the target pixel value after image processing while changing the value of X for the entire predetermined area. The value of X immediately before the variation of the pixel value of interest after the image processing or the variation of the difference between the pixel value of interest after the image processing and the original pixel value of interest sharply increases is detected as the blur amount, ) An image processing method, wherein a blur correction operation is performed on the digital image information using a deterioration function obtained from a blur direction and a blur amount.
を補正する画像処理装置であって、元のデジタル画像情
報を所定サイズのブロック群に分割する分割手段と、分
割した各ブロックごとにエッジ成分を検出するエッジ検
出手段と、ブロック群の中から、エッジ成分を最も多く
含むブロックを特徴領域として選択する特徴領域選択手
段と、前記特徴領域の画像データからぶれ方向を検出す
る方向検出手段と、前記特徴領域の画像データからぶれ
量を検出するブレ量検出手段と、前記ぶれ方向とぶれ量
に基づき、劣化関数を求める劣化関数決定手段と、元の
デジタル画像情報を第二のブロック群に分割する第２分
割手段と、前記第二のブロック群の各ブロックに対し
て、前記劣化関数を用いてぶれ補正演算を施す補正手段
と、補正演算の施された前記第二の小ブロック群の各ブ
ロックを合成する合成手段とを備えることを特徴とする
画像処理装置。11. An image processing apparatus for correcting a blur component included in digital image information, comprising: a dividing unit configured to divide original digital image information into a block group having a predetermined size; and an edge component for each divided block. Edge detecting means for detecting, a characteristic area selecting means for selecting a block containing the largest number of edge components from a group of blocks as a characteristic area, direction detecting means for detecting a blur direction from image data of the characteristic area, A blur amount detecting means for detecting a blur amount from the image data of the characteristic area, a deterioration function determining means for obtaining a deterioration function based on the blur direction and the blur amount, and dividing the original digital image information into a second block group A second dividing unit, a correcting unit that performs a blur correction operation on each block of the second block group using the deterioration function, and a correction unit that performs the correction operation. A synthesizing unit for synthesizing each block of the second small block group.
ごとの微分演算結果の絶対値の和を比較して、該和の値
が最大のブロックを特徴領域とすることを特徴とする請
求項１１に記載の画像処理装置。12. The feature area selecting means compares a sum of absolute values of a differential operation result for each block, and determines a block having the largest sum as a feature area. An image processing apparatus according to claim 1.
ついて、注目方向に沿った注目画素を含む所定数の画素
の平均値を、特徴領域全体について前記注目方向をかえ
つつ画像処理後の注目画素値として算出し、前記画像処
理後の注目画素値と元の注目画素値との差が最大の方向
をブレ方向として検出することを特徴とする請求項１１
に記載の画像処理装置。13. The method according to claim 1, wherein the direction detecting unit calculates an average value of a predetermined number of pixels including a pixel of interest along the direction of interest for the characteristic region, and changes the pixel of interest after image processing while changing the direction of interest for the entire characteristic region. 12. The method according to claim 11, wherein a direction in which the difference between the target pixel value after the image processing and the original target pixel value is the largest is detected as a blur direction.
An image processing apparatus according to claim 1.
について、前記方向検出手段により検出された方向に沿
った注目画素を含むＸ個の画素の平均値を、特徴領域全
体についてＸの値を変えつつ画像処理後の注目画素値と
して算出し、前記画像処理後の注目画素値のばらつき、
あるいは、前記画像処理後の注目画素値と元の注目画素
値との差のばらつきが急増する直前のＸの値をブレ量と
して検出することを特徴とする請求項１１に記載の画像
処理装置。14. The blur amount detection means calculates an average value of X pixels including a pixel of interest along a direction detected by the direction detection means for the characteristic region, and calculates an X value for the entire characteristic region. Calculated as the pixel value of interest after image processing while changing, the variation of the pixel value of interest after image processing,
12. The image processing apparatus according to claim 11, wherein a value of X immediately before a variation in a difference between the target pixel value after the image processing and the original target pixel value sharply increases is detected as a blur amount.
ブレ方向を劣化関数の行列の要素配列の方向とし、検出
されたブレ量を劣化関数の行列の大きさとすることを特
徴とする請求項１１に記載の画像処理装置。15. The deterioration function determining means sets a detected blur direction as a direction of an element array of a matrix of the deterioration function, and sets a detected blur amount as a size of the matrix of the deterioration function. 12. The image processing device according to 11.
を補正する画像処理装置であって、 デジタル画像情報において、注目方向に沿った注目画素
を含む所定数の画素の平均値を、所定の領域について前
記注目方向をかえつつ画像処理後の注目画素値として算
出し、前記画像処理後の注目画素値と元の注目画素値と
の差が最大の方向をブレ方向として検出する方向検出手
段と、 デジタル画像情報において、前記方向検出手段により検
出された方向に沿った注目画素を含むＸ個の画素の平均
値を、所定の領域全体についてＸの値を変えつつ画像処
理後の注目画素値として算出し、前記画像処理後の注目
画素値のばらつき、あるいは、前記画像処理後の注目画
素値と元の注目画素値との差のばらつきが急増する直前
のＸの値をブレ量として検出するブレ量検出手段と、 前記ぶれ方向とぶれ量とから求められる劣化関数を用い
て前記デジタル画像情報にぶれ補正演算を施す補正手段
とを備えることを特徴とする画像処理装置。16. An image processing apparatus for correcting a blur component included in digital image information, wherein an average value of a predetermined number of pixels including a pixel of interest along a direction of interest is determined for the predetermined area in the digital image information. A direction detecting unit that calculates a target pixel value after image processing while changing the target direction, and detects a direction in which the difference between the target pixel value after image processing and the original target pixel value is the largest as a blur direction; In the image information, the average value of X pixels including the target pixel along the direction detected by the direction detection unit is calculated as the target pixel value after image processing while changing the value of X for the entire predetermined area. The value of X immediately before the variation of the pixel value of interest after the image processing or the variation of the difference between the pixel value of interest after the image processing and the original pixel value of interest sharply increases is detected as the blur amount. The image processing apparatus characterized by comprising: a shake detecting means, and correction means for performing correction calculation blur the digital image information using the degradation function determined from said shake direction and shake amount.
する分割手段と、 分割した各ブロックごとにエッジ成分を検出するエッジ
検出手段と、 ブロック群の中から、エッジ成分を最も多く含むブロッ
クを特徴領域として選択する特徴領域選択手段と、 前記特徴領域の画像データからぶれ方向を検出する方向
検出手段と、 前記特徴領域の画像データからぶれ量を検出するブレ量
検出手段と、 前記ぶれ方向とぶれ量に基づき、劣化関数を求める劣化
関数決定手段と、 元のデジタル画像情報を第二のブロック群に分割する第
２分割手段と、 前記第二のブロック群の各ブロックに対して、前記劣化
関数を用いてぶれ補正演算を施す補正手段と、 補正演算の施された前記第二の小ブロック群の各ブロッ
クを合成する合成手段とを実現させるためのプログラム
を格納することを特徴とするコンピュータ可読記憶媒
体。17. A computer for dividing original digital image information into a group of blocks of a predetermined size, an edge detecting unit for detecting an edge component for each of the divided blocks, and an edge component from the group of blocks. Region selecting means for selecting a block including the largest number as a characteristic region; direction detecting means for detecting a blur direction from the image data of the characteristic region; and blur amount detecting means for detecting a blur amount from the image data of the characteristic region. A deterioration function determining unit that obtains a deterioration function based on the blur direction and the blur amount; a second dividing unit that divides the original digital image information into a second block group; and each block of the second block group And correction means for performing a shake correction operation using the deterioration function, and each block of the second small block group having been subjected to the correction operation. A computer-readable storage medium for storing a program for realizing a synthesizing unit.
ごとの微分演算結果の絶対値の和を比較して、該和の値
が最大のブロックを特徴領域とすることを特徴とする請
求項１７に記載のコンピュータ可読記憶媒体。18. The feature area selecting means compares the sum of absolute values of the differential operation result for each block, and determines a block having the largest sum as a feature area. A computer-readable storage medium according to claim 1.
ついて、注目方向に沿った注目画素を含む所定数の画素
の平均値を、特徴領域全体について前記注目方向をかえ
つつ画像処理後の注目画素値として算出し、前記画像処
理後の注目画素値と元の注目画素値との差が最大の方向
をブレ方向として検出することを特徴とする請求項１７
に記載のコンピュータ可読記憶媒体。19. The direction detecting means calculates an average value of a predetermined number of pixels including a pixel of interest along a direction of interest for the characteristic region, and calculates a pixel of interest after image processing while changing the direction of interest for the entire characteristic region. 18. A direction in which the difference between the target pixel value after the image processing and the original target pixel value is maximum is detected as a blur direction.
A computer-readable storage medium according to claim 1.
について、前記方向検出手段により検出された方向に沿
った注目画素を含むＸ個の画素の平均値を、特徴領域全
体についてＸの値を変えつつ画像処理後の注目画素値と
して算出し、前記画像処理後の注目画素値のばらつき、
あるいは、前記画像処理後の注目画素値と元の注目画素
値との差のばらつきが急増する直前のＸの値をブレ量と
して検出することを特徴とする請求項１７に記載のコン
ピュータ可読記憶媒体。20. The blur amount detecting means calculates an average value of X pixels including a pixel of interest along a direction detected by the direction detecting means for the characteristic region, and calculates an X value for the entire characteristic region. Calculated as the pixel value of interest after image processing while changing, the variation of the pixel value of interest after image processing,
18. The computer-readable storage medium according to claim 17, wherein a value of X immediately before a variation in a difference between the target pixel value after the image processing and the original target pixel value sharply increases is detected as a blur amount. .
ブレ方向を劣化関数の行列の要素配列の方向とし、検出
されたブレ量を劣化関数の行列の大きさとすることを特
徴とする請求項１７に記載のコンピュータ可読記憶媒
体。21. The deterioration function determining means sets a detected blur direction as a direction of an element array of a deterioration function matrix, and sets the detected blur amount as a size of the deterioration function matrix. 18. The computer-readable storage medium according to claim 17.
を含む所定数の画素の平均値を、所定の領域について前
記注目方向をかえつつ画像処理後の注目画素値として算
出し、前記画像処理後の注目画素値と元の注目画素値と
の差が最大の方向をブレ方向として検出する方向検出手
段と、 デジタル画像情報において、前記方向検出手段により検
出された方向に沿った注目画素を含むＸ個の画素の平均
値を、所定の領域全体についてＸの値を変えつつ画像処
理後の注目画素値として算出し、前記画像処理後の注目
画素値のばらつき、あるいは、前記画像処理後の注目画
素値と元の注目画素値との差のばらつきが急増する直前
のＸの値をブレ量として検出するブレ量検出手段と、 前記ぶれ方向とぶれ量とから求められる劣化関数を用い
て前記デジタル画像情報にぶれ補正演算を施す補正手段
とを実現させるためのプログラムを格納することを特徴
とするコンピュータ可読記憶媒体。22. A computer calculates, in digital image information, an average value of a predetermined number of pixels including a target pixel along a target direction as a target pixel value after image processing while changing the target direction in a predetermined region. A direction detecting unit that detects a direction in which the difference between the pixel value of interest after the image processing and the original pixel value of interest is the largest as a blur direction; and in digital image information, a direction along the direction detected by the direction detecting unit. The average value of X pixels including the target pixel is calculated as the target pixel value after image processing while changing the value of X for the entire predetermined area, and the variation of the target pixel value after image processing, or A blur amount detecting means for detecting, as a blur amount, the value of X immediately before the variation in the difference between the pixel value of interest after image processing and the original pixel value of interest sharply increases; A computer-readable storage medium storing a program for realizing a correction unit for performing a blur correction operation on the digital image information using a calculated deterioration function.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP10087645A JPH11284944A (en) | 1998-03-31 | 1998-03-31 | Image processing method and system |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP10087645A JPH11284944A (en) | 1998-03-31 | 1998-03-31 | Image processing method and system |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JPH11284944A true JPH11284944A (en) | 1999-10-15 |
Family
ID=13920725
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP10087645A Withdrawn JPH11284944A (en) | 1998-03-31 | 1998-03-31 | Image processing method and system |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JPH11284944A (en) |
Cited By (17)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2001309204A (en) * | 2000-04-20 | 2001-11-02 | Synthesis Corp | Image processing method |
| JP2003079620A (en) * | 2001-09-14 | 2003-03-18 | Aloka Co Ltd | Ultrasonic panorama image forming system |
| JP2005122721A (en) * | 2003-09-25 | 2005-05-12 | Fuji Photo Film Co Ltd | Image processing method, device, and program |
| EP1548645A1 (en) * | 2003-12-19 | 2005-06-29 | AgfaPhoto GmbH | Method of processing digital image data from motion blurred exposures |
| JP2006011352A (en) * | 2004-05-26 | 2006-01-12 | Seiko Epson Corp | Method and device for correcting image blurred due to camera shake and computer program |
| US6987530B2 (en) * | 2001-05-29 | 2006-01-17 | Hewlett-Packard Development Company, L.P. | Method for reducing motion blur in a digital image |
| JP2006024192A (en) * | 2004-06-10 | 2006-01-26 | Sony Corp | Image processing device and method, recording medium, and program |
| KR100844824B1 (en) | 2006-11-06 | 2008-07-09 | 엘지전자 주식회사 | Method for indicating image moving using a blur, and terminal thereof |
| JP2009088935A (en) * | 2007-09-28 | 2009-04-23 | Sanyo Electric Co Ltd | Image recording apparatus, image correcting apparatus, and image pickup apparatus |
| US7551791B2 (en) | 2004-11-16 | 2009-06-23 | Seiko Epson Corporation | Image evaluation method, image evaluation device, and storage medium having program stored thereon |
| US7720302B2 (en) | 2003-09-25 | 2010-05-18 | Fujifilm Corporation | Method, apparatus and program for image processing |
| JP2011514097A (en) * | 2008-03-06 | 2011-04-28 | 株式会社ニコン | A method for estimating the direction of motion blur in an image |
| KR20110055145A (en) * | 2009-11-19 | 2011-05-25 | 삼성전자주식회사 | List searching method and portable device using the same |
| US8064717B2 (en) * | 2005-10-28 | 2011-11-22 | Texas Instruments Incorporated | Digital camera and method |
| US8073280B2 (en) | 2006-05-16 | 2011-12-06 | Panasonic Corporation | Image processing apparatus and image processing program for correcting image degradation |
| KR101117146B1 (en) * | 2004-06-10 | 2012-03-07 | 소니 주식회사 | Image processing device and method, recording medium |
| JP2013192227A (en) * | 2012-03-13 | 2013-09-26 | Samsung Electronics Co Ltd | Method and apparatus for deblurring non-uniform motion blur in large scale input image on the basis of tile unit |
-
1998
- 1998-03-31 JP JP10087645A patent/JPH11284944A/en not_active Withdrawn
Cited By (22)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2001309204A (en) * | 2000-04-20 | 2001-11-02 | Synthesis Corp | Image processing method |
| US6987530B2 (en) * | 2001-05-29 | 2006-01-17 | Hewlett-Packard Development Company, L.P. | Method for reducing motion blur in a digital image |
| JP2003079620A (en) * | 2001-09-14 | 2003-03-18 | Aloka Co Ltd | Ultrasonic panorama image forming system |
| JP4704630B2 (en) * | 2001-09-14 | 2011-06-15 | アロカ株式会社 | Ultrasonic panoramic image forming device |
| US7720302B2 (en) | 2003-09-25 | 2010-05-18 | Fujifilm Corporation | Method, apparatus and program for image processing |
| JP2005122721A (en) * | 2003-09-25 | 2005-05-12 | Fuji Photo Film Co Ltd | Image processing method, device, and program |
| JP4515208B2 (en) * | 2003-09-25 | 2010-07-28 | 富士フイルム株式会社 | Image processing method, apparatus, and program |
| EP1548645A1 (en) * | 2003-12-19 | 2005-06-29 | AgfaPhoto GmbH | Method of processing digital image data from motion blurred exposures |
| JP2006011352A (en) * | 2004-05-26 | 2006-01-12 | Seiko Epson Corp | Method and device for correcting image blurred due to camera shake and computer program |
| JP4725059B2 (en) * | 2004-05-26 | 2011-07-13 | セイコーエプソン株式会社 | Camera shake image correction apparatus, camera shake image correction method, and computer program |
| JP2006024192A (en) * | 2004-06-10 | 2006-01-26 | Sony Corp | Image processing device and method, recording medium, and program |
| KR101117146B1 (en) * | 2004-06-10 | 2012-03-07 | 소니 주식회사 | Image processing device and method, recording medium |
| US7551791B2 (en) | 2004-11-16 | 2009-06-23 | Seiko Epson Corporation | Image evaluation method, image evaluation device, and storage medium having program stored thereon |
| US8064717B2 (en) * | 2005-10-28 | 2011-11-22 | Texas Instruments Incorporated | Digital camera and method |
| US8073280B2 (en) | 2006-05-16 | 2011-12-06 | Panasonic Corporation | Image processing apparatus and image processing program for correcting image degradation |
| KR100844824B1 (en) | 2006-11-06 | 2008-07-09 | 엘지전자 주식회사 | Method for indicating image moving using a blur, and terminal thereof |
| JP2009088935A (en) * | 2007-09-28 | 2009-04-23 | Sanyo Electric Co Ltd | Image recording apparatus, image correcting apparatus, and image pickup apparatus |
| JP2011514097A (en) * | 2008-03-06 | 2011-04-28 | 株式会社ニコン | A method for estimating the direction of motion blur in an image |
| KR20110055145A (en) * | 2009-11-19 | 2011-05-25 | 삼성전자주식회사 | List searching method and portable device using the same |
| US9190015B2 (en) | 2009-11-19 | 2015-11-17 | Samsung Electronics Co., Ltd. | List searching method and portable device using the same |
| US9747864B2 (en) | 2009-11-19 | 2017-08-29 | Samsung Electronics Co., Ltd. | List searching method and portable device using the same |
| JP2013192227A (en) * | 2012-03-13 | 2013-09-26 | Samsung Electronics Co Ltd | Method and apparatus for deblurring non-uniform motion blur in large scale input image on the basis of tile unit |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JPH11284944A (en) | Image processing method and system | |
| JP4815807B2 (en) | Image processing apparatus, image processing program, and electronic camera for detecting chromatic aberration of magnification from RAW data | |
| US8587712B2 (en) | Image processing apparatus and method of correcting image quality degradation caused by aberrations due to optical system | |
| JP2004328506A (en) | Imaging apparatus and image recovery method | |
| JP4454657B2 (en) | Blur correction apparatus and method, and imaging apparatus | |
| US20120243746A1 (en) | Image processor, image processing method, and program | |
| JP2000196939A (en) | Device and method for forming image without distortion and facial direction chromatic aberration | |
| JP2005252626A (en) | Image pickup device and image processing method | |
| WO2004088992A1 (en) | Image processing device and image processing program | |
| JP4124096B2 (en) | Image processing method, image processing apparatus, and program | |
| JP5137380B2 (en) | Blur correction apparatus and method | |
| JP2009088935A (en) | Image recording apparatus, image correcting apparatus, and image pickup apparatus | |
| JP2007048257A (en) | Signal processor | |
| JP6020123B2 (en) | Image processing apparatus, image processing method, and program | |
| JPH04207481A (en) | Movement detector | |
| JP6415330B2 (en) | Image processing apparatus, imaging apparatus, and image processing method | |
| JP5645704B2 (en) | Image processing apparatus and control method thereof | |
| JP2007281654A (en) | Image reproducing apparatus | |
| JP4598623B2 (en) | Image processing device | |
| JP2009088933A (en) | Image recording apparatus, image correcting apparatus and image pickup apparatus | |
| JP3209785B2 (en) | Motion vector detection device | |
| JP3600750B2 (en) | Image compression device and image decompression device | |
| JP4769880B2 (en) | Image processing apparatus and method | |
| JP3303311B2 (en) | Image vibration correction apparatus and image vibration correction method | |
| JP5769790B2 (en) | Image processing apparatus and image processing method |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A300 | Application deemed to be withdrawn because no request for examination was validly filed |
Free format text: JAPANESE INTERMEDIATE CODE: A300 Effective date: 20050607 |