JP2008017109A - Portable imaging device - Google Patents

Portable imaging device Download PDF

Info

Publication number
JP2008017109A
JP2008017109A JP2006185445A JP2006185445A JP2008017109A JP 2008017109 A JP2008017109 A JP 2008017109A JP 2006185445 A JP2006185445 A JP 2006185445A JP 2006185445 A JP2006185445 A JP 2006185445A JP 2008017109 A JP2008017109 A JP 2008017109A
Authority
JP
Japan
Prior art keywords
camera shake
evaluation function
imaging device
image
correction
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2006185445A
Other languages
Japanese (ja)
Inventor
Koichi Ikuta
剛一 生田
Toshiyuki Tamura
俊之 田村
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Renesas Technology Corp
Original Assignee
Renesas Technology Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Renesas Technology Corp filed Critical Renesas Technology Corp
Priority to JP2006185445A priority Critical patent/JP2008017109A/en
Publication of JP2008017109A publication Critical patent/JP2008017109A/en
Pending legal-status Critical Current

Links

Images

Landscapes

  • Studio Devices (AREA)

Abstract

<P>PROBLEM TO BE SOLVED: To provide a portable imaging device capable of reducing an influence of a hand shake. <P>SOLUTION: The extent of the hand shake is evaluated by calculating the average (average square error) of square errors of pixel values between frame application parts after and before correction processing is performed with a hand shake correcting function. Namely, average square errors generated when the correction processing is performed by using a plurality of evaluation functions prepared in an evaluation function set part 13 as the hand shake correcting function are calculated respectively, and an evaluation function having the largest calculated average square error is selected and held as an evaluation function having an optimum parameter set. <P>COPYRIGHT: (C)2008,JPO&INPIT

Description

本発明は、静止画像を撮像する携帯型撮像装置に関し、特に、手ぶれの影響を軽減するための技術に関する。   The present invention relates to a portable imaging device that captures a still image, and more particularly to a technique for reducing the influence of camera shake.

従来の手ぶれ補正技術では、光学的な手法により手ぶれ補正機構を構成する例が多い。例えば、特許文献１に記載の技術では、手ぶれ方向を検知し、この手ぶれ方向に連動してレンズ機構の光軸合わせを行っている。   In the conventional camera shake correction technology, there are many examples in which the camera shake correction mechanism is configured by an optical method. For example, in the technique described in Patent Document 1, the direction of camera shake is detected, and the optical axis of the lens mechanism is aligned in conjunction with the direction of camera shake.

また、動画像を構成する複数個の静止画像の中から特定の静止画像（画像フレーム）を選択し電子的な手法により手ぶれ補正を行う例もある。例えば、特許文献２に記載の技術では、動画像の中から、様々な評価関数に基づいて、手ぶれの影響が小さい画像フレームを最適静止画像として選択する処理を行っている。   There is also an example in which a specific still image (image frame) is selected from a plurality of still images constituting a moving image, and camera shake correction is performed by an electronic method. For example, in the technique described in Patent Document 2, an image frame that is less affected by camera shake is selected as an optimal still image from moving images based on various evaluation functions.

特許第３４２４４０号公報Japanese Patent No. 342440 特開２００３−２５９２９１号公報JP 2003-259291 A

しかしながら、光学的な手法を用いる特許文献１では、小型化が難しいので、携帯型撮像装置には適用が困難であるという問題点があった。   However, Patent Document 1 using an optical technique has a problem that it is difficult to reduce the size, and thus it is difficult to apply to a portable imaging device.

また、特許文献２は、動画像から静止画像への変換装置に関するものであり、手ぶれ補正を本来の目的とするものではないので、選択された静止画像に対して手ぶれ補正処理を行っていない。それ故に、携帯型撮像装置のように手ぶれが生じやすい装置では、得られる静止画像における手ぶれの影響が大きくなってしまうという問題点があった。   Further, Patent Document 2 relates to a conversion device from a moving image to a still image, and does not intend to perform camera shake correction. Therefore, camera shake correction processing is not performed on a selected still image. For this reason, there is a problem that the influence of camera shake on the obtained still image becomes large in an apparatus that is likely to cause camera shake, such as a portable imaging apparatus.

本発明は以上の問題点を解決するためになされたものであり、手ぶれの影響を軽減できる携帯型撮像装置を提供することを目的とする。   The present invention has been made to solve the above-described problems, and an object thereof is to provide a portable imaging device that can reduce the influence of camera shake.

本発明に係る携帯型撮像装置は、複数個の静止画像を動画像として連続的に撮像する撮像手段と、撮像手段において撮像された動画像から手ぶれの影響が最も小さい最適静止画像を選択する選択手段と、選択手段において選択された最適静止画像に対して手ぶれ補正を行う手ぶれ補正手段とを備える。   The portable imaging device according to the present invention includes an imaging unit that continuously captures a plurality of still images as moving images, and a selection that selects an optimal still image that has the least influence of camera shake from the moving images captured by the imaging unit. And a camera shake correction unit that performs camera shake correction on the optimum still image selected by the selection unit.

本発明に係る携帯型撮像装置は、複数個の静止画像を動画像として連続的に撮像する撮像手段と、撮像手段において撮像された動画像から手ぶれの影響が最も小さい最適静止画像を選択する選択手段と、選択手段において選択された最適静止画像に対して手ぶれ補正を行う手ぶれ補正手段とを備える。従って、手ぶれの影響を軽減できる。   The portable imaging device according to the present invention includes an imaging unit that continuously captures a plurality of still images as moving images, and a selection that selects an optimal still image that has the least influence of camera shake from the moving images captured by the imaging unit. And a camera shake correction unit that performs camera shake correction on the optimum still image selected by the selection unit. Therefore, the influence of camera shake can be reduced.

＜実施の形態１＞
図１は、実施の形態１に係る携帯型撮像装置に搭載可能な手ぶれ補正画像処理システム（以下では、単に手ぶれ補正システムと呼ぶ）１００の概略構成を示すブロック図である。図１においては、画像データの流れが実線で、制御信号の流れが点線で、それぞれ示されている。 <Embodiment 1>
FIG. 1 is a block diagram illustrating a schematic configuration of a camera shake correction image processing system (hereinafter simply referred to as a camera shake correction system) 100 that can be mounted on the portable imaging apparatus according to the first embodiment. In FIG. 1, the flow of image data is indicated by a solid line, and the flow of control signals is indicated by a dotted line.

手ぶれ補正システム１００には、稼働時には、リアルタイムな動画像（連続して撮像される複数個の静止画像）の画像データ（以下では、動画データと呼ぶ）を撮像する動画データ撮像部１１（撮像手段）により動画データが取得され続けている。取得された動画データにおいて、シャッターを開き静止画像の画像データ（以下では、静止画データ、または画像フレーム、あるいは単にフレームとも呼ぶ）の撮像を開始する開始点は、撮像タイミング決定部１２（タイミング決定手段）により決定できるようになっている。手ぶれ補正システム１００は、開始点が撮像タイミング決定部１２により決定されると、この開始点から比較的に短い所定の時間（例えば、１ｓｅｃ）後に、シャッターを閉じ撮像を終了する終了点を定め、開始点から終了点までのこの所定の時間を撮像時間範囲（撮像タイミング）とする。手ぶれ補正システム１００は、この撮像時間範囲内において、手ぶれの影響が最も小さい１個の最適静止画像（手ぶれ補正処理部１６において補正処理を施すことにより最も良好な画質が得られるもの）を選択し、この最適静止画像に補正処理を施して出力する。なお、上記の終了点（すなわち撮像時間範囲）は、ユーザの目的に応じて自由に設定してもよい。   The image stabilization system 100 includes a moving image data imaging unit 11 (imaging means) that captures image data (hereinafter referred to as moving image data) of a real-time moving image (a plurality of still images captured continuously) during operation. ) Continues to acquire video data. In the acquired moving image data, the starting point at which the shutter is opened and the image data of a still image (hereinafter referred to as still image data, an image frame, or simply a frame) is started is the imaging timing determination unit 12 (timing determination). Means). When the start point is determined by the imaging timing determination unit 12, the camera shake correction system 100 determines an end point at which the shutter is closed and the imaging is ended after a relatively short predetermined time (for example, 1 sec) from the start point, This predetermined time from the start point to the end point is defined as an imaging time range (imaging timing). The camera shake correction system 100 selects one optimum still image that has the smallest effect of camera shake within this imaging time range (the one that can obtain the best image quality by performing correction processing in the camera shake correction processing unit 16). Then, the optimum still image is subjected to correction processing and output. The end point (that is, the imaging time range) may be freely set according to the user's purpose.

動画データ撮像部１１には、動画データ撮像部１１によって入力された動画データの中から手ぶれの影響が最も小さいフレームを特定するための評価関数セット部１３が接続されている。この評価関数セット部１３は、定められた撮像時間範囲に動画データ撮像部１１で撮像された動画データをフレーム単位で解析しこれらの中から手ぶれの影響が最も小さいフレームを撮像候補フレームとして選択するための評価関数を備えている。   The moving image data imaging unit 11 is connected to an evaluation function setting unit 13 for identifying a frame having the smallest influence of camera shake from moving image data input by the moving image data imaging unit 11. The evaluation function setting unit 13 analyzes the moving image data captured by the moving image data imaging unit 11 within a predetermined imaging time range in units of frames, and selects a frame with the smallest influence of camera shake from these as an imaging candidate frame. An evaluation function is provided.

また動画データ撮像部１１には、インターフェース部１４が接続されている。上述したように、開始点から終了点までの撮像時間範囲をユーザの目的に応じて自由に設定する場合に、シャッターを開き撮像を開始した後に、ユーザーから入力された撮像時間範囲指定信号がインターフェース部１４を介して動画データ撮像部１１に入力されるようになっている。   Further, an interface unit 14 is connected to the moving image data imaging unit 11. As described above, when the imaging time range from the start point to the end point is freely set according to the user's purpose, the imaging time range designation signal input from the user is input after the shutter is opened and imaging is started. It is input to the moving image data imaging unit 11 via the unit 14.

評価関数適用部１５では、撮像時間範囲内に撮像された動画データに含まれる各フレームに対して、評価計算が行われる。   The evaluation function application unit 15 performs evaluation calculation for each frame included in the moving image data captured within the imaging time range.

次に、評価関数セット部１３および評価関数適用部１５（選択手段）の一構成例について説明する。評価関数セット部１３には、予め、手ぶれに関する複数個のパラメータ（パラメータセット）を設定可能な手ぶれ補正関数が複数個（手ぶれ補正関数セット）用意されている。本発明は、補正を行うためのこれらの手ぶれ補正関数セットを、静止画データを評価し選択するための評価関数セットとして評価関数適用部１５において適用させることを特徴とする。なお、評価関数適用部１５においては、各フレームで画像全体にこの評価関数セットを適用すると処理時間がかかり過ぎる場合には、画像の一部の領域に対してのみ評価関数セットを適用しても、同様の効果を奏する（以下では、評価関数セットを適用する領域をフレーム適用部と呼ぶ）。   Next, a configuration example of the evaluation function setting unit 13 and the evaluation function application unit 15 (selection unit) will be described. In the evaluation function set unit 13, a plurality of camera shake correction functions (camera shake correction function sets) capable of setting a plurality of parameters (parameter sets) relating to camera shake are prepared in advance. The present invention is characterized in that these camera shake correction function sets for correction are applied in the evaluation function application unit 15 as an evaluation function set for evaluating and selecting still image data. Note that the evaluation function application unit 15 may apply the evaluation function set only to a partial region of the image if the processing time is too long if the evaluation function set is applied to the entire image in each frame. The same effect is obtained (hereinafter, an area to which the evaluation function set is applied is referred to as a frame application unit).

ここで、評価関数セット部１３において評価関数（すなわち手ぶれ補正関数）に設定可能なパラメータとしては、手ぶれの度合いを示すスカラー信号だけではなく、手ぶれの方向、手ぶれの強さ、または手ぶれの大きさ（画像中での長さ）に関する情報についても、含めて構成することができる。   Here, parameters that can be set in the evaluation function (that is, the camera shake correction function) in the evaluation function setting unit 13 are not only scalar signals indicating the degree of camera shake, but also the direction of camera shake, the strength of camera shake, or the size of camera shake. Information on (length in image) can also be configured.

図２は、手ぶれの評価および補正を一次元のみに限定した場合の評価関数（フィルタ）を示す図である。図２（ａ）にはフィルタ（評価関数）Ａが、図２（ｂ）にはフィルタ（評価関数）Ｂが、図２（ｃ）にはフィルタ（評価関数）Ｃが、示されている。フィルタＡ〜Ｃは、それぞれ、９個の重み付け係数から構成される一次元フィルタであり、フィルタＡ〜Ｃの順に手ぶれの度合いが大きくなっている。図２のような一次元フィルタを用いることにより、以下で図３を用いて説明するように、ラインメモリしか持たない装置においても、手ぶれ補正が可能となる。   FIG. 2 is a diagram illustrating an evaluation function (filter) when the evaluation and correction of camera shake are limited to only one dimension. 2A shows a filter (evaluation function) A, FIG. 2B shows a filter (evaluation function) B, and FIG. 2C shows a filter (evaluation function) C. Each of the filters A to C is a one-dimensional filter including nine weighting coefficients, and the degree of camera shake increases in the order of the filters A to C. By using a one-dimensional filter as shown in FIG. 2, camera shake correction is possible even in an apparatus having only a line memory, as will be described below with reference to FIG.

図３は、本発明を具現化する一例を示した構成図である。ラインメモリ３１には、画像データが行単位で入力され、複数行分（ここでは、（Ｎ−２）行目からＮ行目までの３行分）が一時的に格納される。評価関数適用部１５は、ラインメモリ３１内の画像の一部（フレーム適用部）の画素データを読み出し、評価関数を適用する。そして、後述する手法を用いて最適な評価関数を選択し、手ぶれ補正処理部１６（手ぶれ補正手段）へ通知する。手ぶれ補正処理部１６は、ラインメモリ３１から直接に入力された画素データに対して、評価関数適用部１５から通知された最適な評価関数（すなわち最適な手ぶれ補正関数）を用いて手ぶれ補正処理を施した後、画素データを列単位で出力する。   FIG. 3 is a block diagram showing an example embodying the present invention. In the line memory 31, image data is input in units of lines, and a plurality of lines (here, three lines from the (N-2) th line to the Nth line) are temporarily stored. The evaluation function application unit 15 reads out pixel data of a part of the image (frame application unit) in the line memory 31 and applies the evaluation function. Then, an optimum evaluation function is selected using a method described later, and notified to the camera shake correction processing unit 16 (camera shake correcting means). The camera shake correction processing unit 16 performs the camera shake correction process on the pixel data directly input from the line memory 31 using the optimal evaluation function (that is, the optimal camera shake correction function) notified from the evaluation function application unit 15. Then, pixel data is output in units of columns.

なお、上述においては、手ぶれ処理を一次元で行う場合について説明したが、これに限らず、大きなフレームバッファを構成できる装置では、評価関数およびフレーム適用部を二次元的に設定することにより、斜め方向の手ぶれに対してもより有効な補正を行うことが可能となる。すなわち、手ぶれ補正処理部１６において動作する手ぶれ補正プログラムは、様々な種類のものを予め記録媒体に記録しておき、所望のものを携帯型撮像装置に読み込むようにしてもよい。   In the above description, the case where the camera shake processing is performed one-dimensionally has been described. However, the present invention is not limited to this, and in an apparatus that can configure a large frame buffer, the evaluation function and the frame application unit are set in a two-dimensional manner. It is possible to perform more effective correction for the direction of camera shake. In other words, various types of camera shake correction programs operating in the camera shake correction processing unit 16 may be recorded in advance on a recording medium, and desired ones may be read into the portable imaging device.

図４は、手ぶれの度合いの評価手法を示すイメージ図である。手ぶれの度合いの評価は、評価関数すなわち手ぶれ補正関数により補正処理を施した後のフレーム適用部と補正処理を施す前のフレーム適用部との間の画素値の自乗誤差の平均（平均自乗誤差）を算出することにより行われる。すなわち、以下の式（１）に示されるように、評価関数セット部１３に用意されている複数個の評価関数を手ぶれ補正関数として用いて補正処理を施した場合の平均自乗誤差をそれぞれ算出し、算出された平均自乗誤差が最も大きい評価関数（ここでは評価関数Ｃ）を、最適なパラメータセットを持つ評価関数として選択し保持する。なお、式（１）に示されるように、評価関数Ｃは、画像のピクセル位置（ベクトル量）ｘと、領域のピクセル数ｎと、手ぶれ補正処理を施す前の画像の輝度値Ｉ（ｘ）と、手ぶれ補正処理を施した（フィルタｋを適用した）後の画像の輝度値Ｉk（ｘ）とに基づき選択される。 FIG. 4 is an image diagram illustrating a method for evaluating the degree of camera shake. The evaluation of the degree of camera shake is the average of the square error of the pixel values (mean square error) between the frame application unit after performing the correction process by the evaluation function, ie, the camera shake correction function, and the frame application unit before performing the correction process. This is done by calculating That is, as shown in the following equation (1), the mean square error when the correction process is performed using a plurality of evaluation functions prepared in the evaluation function set unit 13 as a camera shake correction function is calculated. The evaluation function having the largest calculated mean square error (in this case, the evaluation function C) is selected and held as an evaluation function having an optimal parameter set. As shown in Expression (1), the evaluation function C includes the pixel position (vector amount) x of the image, the number of pixels n in the region, and the luminance value I (x) of the image before the camera shake correction process is performed. And the luminance value I k (x) of the image after the camera shake correction process (applying the filter k) is selected.

Figure 2008017109
Figure 2008017109

例えば、原画像を画像Ａとし、画像Ａが手ぶれにより暈けた暈け画像を画像Ｂし、画像Ａ，Ｂにそれぞれ補正関数Ｘを適用して生成される補正画像を画像Ａ’，Ｂ’とすると、補正関数Ｘの補正能力が高いほど、（Ａ−Ｂ’）の平均自乗誤差が小さくなると考えられる。しかし、（Ａ−Ｂ’）の平均自乗誤差を算出することはできない（画像Ａが分からない）ので、本発明においては、（Ａ−Ｂ’）に代えて（Ｂ−Ｂ’）の平均自乗誤差を算出する（言い換えれば、画像Ａに代えて画像Ｂを画像Ｂ’と比較する）。すなわち、本発明は、フレームにおける平均自乗誤差をそのフレームの手ぶれ評価値とし、この手ぶれ評価値が最も大きな評価関数が最適であると判断することを特徴とするものである。   For example, an original image is an image A, an image A is a blurred image obtained by camera shake, an image B, and correction images generated by applying the correction function X to the images A and B are images A ′ and B ′. Then, it can be considered that the higher the correction capability of the correction function X, the smaller the mean square error of (AB ′). However, since the mean square error of (AB ′) cannot be calculated (image A is not known), in the present invention, the mean square of (BB ′) is substituted for (AB ′). The error is calculated (in other words, the image B is compared with the image B ′ instead of the image A). That is, the present invention is characterized in that a mean square error in a frame is used as a camera shake evaluation value of the frame, and it is determined that an evaluation function having the largest camera shake evaluation value is optimal.

なお、これらの評価関数（フィルタ）としては、図２に示されるように、重み付け係数の和が１であるものを使用するとより効果的である。例えば、重み付け係数の和が０であるものを使用すると、評価関数適用前画像の輝度値のＤＣ成分がなくなりエッジ抽出のような状態となるが、重み付け係数の和が１であるものを使用することにより、評価関数適用前画像の輝度値のＤＣ成分を保持できるので、より自然な画像を得ることができる。実験の結果、重み付け係数の和が１であるような補正関数Ｘ（言い換えれば、エッジを強調するタイプのフィルタ）を使用した場合には、（Ａ−Ｂ）が最小となる補正関数Ｘの近傍で（Ｂ−Ｂ’）が最大となる傾向があることが分かっている。これは、定性的には、暈けを修正する能力が高いほど画像Ｂ’が画像Ｂから離れるためと考えられる。但し、この補正関数Ｘとしては、どのようなものであっても上記の結果が得られるというわけではなく、暈けを補正する補正関数およびそのバリエーションに限定される。   As these evaluation functions (filters), it is more effective to use those having a sum of weighting coefficients of 1, as shown in FIG. For example, if the sum of the weighting coefficients is 0, the DC component of the luminance value of the image before application of the evaluation function is eliminated and the edge extraction is performed, but the sum of the weighting coefficients is 1 is used. As a result, the DC component of the luminance value of the image before the evaluation function application can be held, so that a more natural image can be obtained. As a result of the experiment, when a correction function X having a sum of weighting coefficients of 1 (in other words, a filter of a type that emphasizes edges) is used, the vicinity of the correction function X that minimizes (AB). It is known that (BB ′) tends to be maximum. Qualitatively, it is considered that the higher the ability to correct blur, the farther the image B ′ is from the image B. However, the correction function X is not limited to the above result, and is limited to a correction function for correcting blur and variations thereof.

また、上述したように、これらの評価関数（フィルタ）は、手ぶれ補正関数としても機能するものである必要がある。   Further, as described above, these evaluation functions (filters) need to function as camera shake correction functions.

式（１）に示されるような、平均自乗誤差が最大値を記録した評価関数Ｃは、手ぶれ補正処理部１６で手ぶれ補正処理を施すときの手ぶれ補正関数として使用される。   The evaluation function C in which the mean square error has a maximum value as shown in the equation (1) is used as a camera shake correction function when the camera shake correction processing unit 16 performs the camera shake correction process.

評価関数セット部１３に用意する評価関数の個数が多くなると処理時間が長くなるので、あまり多くの評価関数を用意できない場合には、次のような手法を用いてもよい。すなわち、平均自乗誤差が最も大きい評価関数に加えて、平均自乗誤差が２番目に大きい評価関数を用いて、これらの評価関数間でパラメータ補間を行うことにより、実際には処理（評価）していないパラメータを推定し最適な手ぶれ補正関数として用いてもよい。これにより、処理時間を短縮することが可能となる。   If the number of evaluation functions prepared in the evaluation function set unit 13 increases, the processing time becomes long. Therefore, when a large number of evaluation functions cannot be prepared, the following method may be used. In other words, in addition to the evaluation function having the largest mean square error, the evaluation function having the second largest mean square error is used, and parameter interpolation is performed between these evaluation functions to actually process (evaluate). None of the parameters may be estimated and used as an optimal camera shake correction function. As a result, the processing time can be shortened.

なお、上記のパラメータ補間は、評価関数セット部１３に十分多い評価関数を用意できる場合にも用いてもよい。これにより、手ぶれ補正の精度を高めることが可能となる。   Note that the above parameter interpolation may be used even when a sufficiently large number of evaluation functions can be prepared in the evaluation function set unit 13. Thereby, it is possible to improve the accuracy of camera shake correction.

また、上述においては、補正処理を施した後のフレーム適用部と補正処理を施す前のフレーム適用部との間において、平均自乗誤差を算出し手ぶれ評価値として用いる場合について説明したが、フレーム適用部間の平均自乗誤差に限らず、フレーム適用部間の差分の絶対値の和や、フレーム適用部間の内積、フレーム適用部間の相関係数など、フレーム適用部間のデータの近さを表す他の尺度を用いてもよい。   In the above description, the case where the mean square error is calculated and used as the camera shake evaluation value between the frame application unit after performing the correction process and the frame application unit before performing the correction process has been described. Not only the mean square error between parts, but also the closeness of data between frame application parts, such as the sum of absolute values of differences between frame application parts, the inner product between frame application parts, the correlation coefficient between frame application parts, etc. Other measures that represent may be used.

上述したように、図１の評価関数適用部１５は、撮像時間範囲内の各フレームに対して、評価関数を適用することにより出力された結果が最適なもの（上述の例では、平均自乗誤差が最も大きいもの）に対応するフレームを選択することにより最適静止画像を選択するが、このとき、撮像時間範囲内に撮像された全てのフレームは、手ぶれ補正システム１００に内蔵されるメモリーバッファ（図示しない）に記憶されているものとする。   As described above, the evaluation function application unit 15 in FIG. 1 has an optimum result output by applying the evaluation function to each frame within the imaging time range (in the above example, the mean square error). The optimum still image is selected by selecting the frame corresponding to the one having the largest image capture time). At this time, all frames captured within the imaging time range are stored in a memory buffer (illustrated in the camera shake correction system 100). Not stored).

上記のメモリーバッファが十分にない構成の場合には、最後のフレームが評価される時点でメモリーバッファにあるフレームの中で最良の評価値を持つフレームを選択する。また、メモリーバッファが画像１枚分の評価結果しか持てない構成の場合には、最後のフレームを選択する。   If the memory buffer is not sufficient, the frame having the best evaluation value is selected from the frames in the memory buffer when the last frame is evaluated. If the memory buffer is configured to have only one image evaluation result, the last frame is selected.

図１の手ぶれ補正処理部１６は、評価関数適用部１５で選択された撮像候補フレームに、評価関数適用部１５で選択された最適な手ぶれ補正関数（評価関数）を用いて、手ぶれ補正処理を施す。上述したようなパラメータ補間を行う場合には、最適なパラメータを推定しこれらを設定した手ぶれ補正関数（評価関数）が用いられる。なお、これらのパラメータとしては、上述したように、手ぶれの強さ、手ぶれの方向、または手ぶれの大きさ（画像中での長さ）に関する情報を含めてもよい。   1 uses the optimum camera shake correction function (evaluation function) selected by the evaluation function application unit 15 for the imaging candidate frame selected by the evaluation function application unit 15 to perform the camera shake correction process. Apply. When performing parameter interpolation as described above, an image stabilization function (evaluation function) in which optimum parameters are estimated and set is used. Note that, as described above, these parameters may include information on the strength of camera shake, the direction of camera shake, or the size of camera shake (length in the image).

また、図２を用いて上述したように、携帯型撮像装置の撮像デバイスに搭載されるメモリにおいて大きなフレームバッファを構成できない場合には、フィルタ（手ぶれ補正関数すなわち評価関数）を、縦方向のみまたは横方向のみの一次元フィルタとすることも可能である。   In addition, as described above with reference to FIG. 2, when a large frame buffer cannot be configured in the memory mounted on the imaging device of the portable imaging apparatus, the filter (camera shake correction function, that is, the evaluation function) is set only in the vertical direction or It is also possible to use a one-dimensional filter only in the horizontal direction.

手ぶれ補正処理部１６により手ぶれ補正された撮像候補フレームは、図１の撮像フレーム表示部１７に表示される。   The imaging candidate frame whose camera shake is corrected by the camera shake correction processing unit 16 is displayed on the imaging frame display unit 17 in FIG.

このように、本実施の形態に係る携帯型撮像装置は、動画データ撮像部１１において撮像された動画データから、手ぶれの影響が最も小さい最適静止画像を評価関数適用部１５において撮像候補フレームとして選択し、手ぶれ補正処理部１６で手ぶれ補正を施す。従って、特許文献２等に記載の従来の装置に比べて、手ぶれの影響を軽減できるという効果を奏する。   As described above, the portable imaging device according to the present embodiment selects, from the moving image data captured by the moving image data imaging unit 11, the optimum still image with the least influence of camera shake as the imaging candidate frame in the evaluation function application unit 15. The camera shake correction processing unit 16 performs camera shake correction. Therefore, compared with the conventional apparatus described in Patent Document 2 and the like, there is an effect that the influence of camera shake can be reduced.

実施の形態１に係る携帯型撮像装置に搭載可能な手ぶれ補正画像処理システムの概略構成を示すブロック図である。1 is a block diagram illustrating a schematic configuration of a camera shake correction image processing system that can be mounted on a portable imaging device according to Embodiment 1. FIG. 実施の形態１に係る携帯型撮像装置において手ぶれの評価および補正を一次元のみに限定した場合の評価関数を示す図である。6 is a diagram illustrating an evaluation function when camera shake evaluation and correction are limited to only one dimension in the portable imaging apparatus according to Embodiment 1. FIG. 実施の形態１に係る携帯型撮像装置を具現化する一例を示した構成図である。1 is a configuration diagram illustrating an example that embodies a portable imaging device according to Embodiment 1. FIG. 実施の形態１に係る携帯型撮像装置において手ぶれの度合いの評価手法を示すイメージ図である。FIG. 3 is an image diagram illustrating an evaluation method of a degree of camera shake in the portable imaging device according to the first embodiment.

符号の説明Explanation of symbols

１１ 動画データ撮像部、１２ 撮像タイミング決定部、１３ 評価関数セット部、１４ インターフェース部、１５ 評価関数適用部、１６ 手ぶら補正処理部、１７ 撮像フレーム表示部、３１ ラインメモリ、１００ 手ぶれ補正システム。
DESCRIPTION OF SYMBOLS 11 Moving image data imaging part, 12 Imaging timing determination part, 13 Evaluation function set part, 14 Interface part, 15 Evaluation function application part, 16 Hand shake correction process part, 17 Imaging frame display part, 31 Line memory, 100 Camera shake correction system

Claims (5)

複数個の静止画像を動画像として連続的に撮像する撮像手段と、
前記撮像手段において撮像された前記動画像から手ぶれの影響が最も小さい最適静止画像を選択する選択手段と、
前記選択手段において選択された前記最適静止画像に対して手ぶれ補正を行う手ぶれ補正手段と
を備える携帯型撮像装置。 Imaging means for continuously capturing a plurality of still images as moving images;
Selecting means for selecting an optimum still image with the least influence of camera shake from the moving image imaged by the imaging means;
A portable imaging apparatus comprising: an image stabilization unit that performs image stabilization on the optimum still image selected by the selection unit. 請求項１に記載の携帯型撮像装置であって、
前記撮像手段における撮像を開始するタイミングを決定するタイミング決定手段
をさらに備える携帯型撮像装置。 The portable imaging device according to claim 1,
A portable imaging apparatus further comprising timing determining means for determining timing for starting imaging in the imaging means. 請求項１又は請求項２に記載の携帯型撮像装置であって、
前記選択手段は、手ぶれの強さ、手ぶれの方向、または手ぶれの大きさに基づき前記手ぶれの影響の評価を行う
携帯型撮像装置。 The portable imaging device according to claim 1 or 2, wherein
The selection unit is a portable imaging device that evaluates the influence of the camera shake based on the strength of the camera shake, the direction of the camera shake, or the magnitude of the camera shake. 請求項３に記載の携帯型撮像装置であって、
前記手ぶれ補正手段は、前記選択手段における前記評価に基づき前記手ぶれ補正を行う携帯型撮像装置。 The portable imaging device according to claim 3,
The camera shake correction unit is a portable imaging device that performs the camera shake correction based on the evaluation by the selection unit. 請求項１乃至請求項４のいずれかに記載の携帯型撮像装置であって、
前記手ぶれ補正手段は補正プログラムを用いて実現され、前記補正プログラムはその複数個を記録した記録媒体から所望のものを選択可能である
携帯型撮像装置。
A portable imaging device according to any one of claims 1 to 4,
The camera shake correction means is realized by using a correction program, and the correction program can select a desired one from a plurality of recording media on which a plurality of the correction programs are recorded.
JP2006185445A 2006-07-05 2006-07-05 Portable imaging device Pending JP2008017109A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2006185445A JP2008017109A (en) 2006-07-05 2006-07-05 Portable imaging device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2006185445A JP2008017109A (en) 2006-07-05 2006-07-05 Portable imaging device

Publications (1)

Publication Number Publication Date
JP2008017109A true JP2008017109A (en) 2008-01-24

Family

ID=39073730

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2006185445A Pending JP2008017109A (en) 2006-07-05 2006-07-05 Portable imaging device

Country Status (1)

Country Link
JP (1) JP2008017109A (en)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012212343A (en) * 2011-03-31 2012-11-01 Sony Corp Display control device, display control method, and program

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012212343A (en) * 2011-03-31 2012-11-01 Sony Corp Display control device, display control method, and program
US9373195B2 (en) 2011-03-31 2016-06-21 Sony Corporation Display control device, display control method, and program
US10198867B2 (en) 2011-03-31 2019-02-05 Sony Corporation Display control device, display control method, and program

Similar Documents

Publication Publication Date Title
JP5346082B2 (en) Image processing device
JP4656216B2 (en) Imaging apparatus, image processing apparatus, image processing method, program, and recording medium
JP4454657B2 (en) Blur correction apparatus and method, and imaging apparatus
JP4345940B2 (en) Camera shake image correction method, recording medium, and imaging apparatus
JP2006129236A (en) Ringing eliminating device and computer readable recording medium with ringing elimination program recorded thereon
JP2011130383A (en) Image capturing apparatus and method of controlling the same
TWI469085B (en) Image processing apparatus, image processing method and computer readable storage medium
JP4958806B2 (en) Blur detection device, blur correction device, and imaging device
JP4245045B2 (en) Imaging apparatus, imaging signal processing method, and program
JP5177284B2 (en) Subject motion detection apparatus and method
JP2009088935A (en) Image recording apparatus, image correcting apparatus, and image pickup apparatus
JP5211589B2 (en) Image processing apparatus, electronic camera, and image processing program
JP5044922B2 (en) Imaging apparatus and program
US8243154B2 (en) Image processing apparatus, digital camera, and recording medium
JP2006332809A (en) Imaging apparatus
JP2008017109A (en) Portable imaging device
JP4052348B2 (en) Image processing apparatus and image processing method
JP2007129354A (en) Image processing apparatus
JP2019016893A (en) Image processing apparatus, control method therefor, and program
JP2009153046A (en) Blur correcting device and method, and imaging apparatus
JP2009258284A (en) Image processing device, imaging apparatus, image processing method, and program
JP2005004287A (en) Face image detecting device and its control method
JP2008072428A (en) Image processor, electronic camera, and image processing program
JP2009088933A (en) Image recording apparatus, image correcting apparatus and image pickup apparatus
US20080284861A1 (en) Image processing method and apparatus thereof

Legal Events

Date Code Title Description
RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20080611