JP2006246270A - 画像処理装置、画像表示装置、画像撮像装置、画像処理方法、プログラムおよび記録媒体 - Google Patents
画像処理装置、画像表示装置、画像撮像装置、画像処理方法、プログラムおよび記録媒体 Download PDFInfo
- Publication number
- JP2006246270A JP2006246270A JP2005061726A JP2005061726A JP2006246270A JP 2006246270 A JP2006246270 A JP 2006246270A JP 2005061726 A JP2005061726 A JP 2005061726A JP 2005061726 A JP2005061726 A JP 2005061726A JP 2006246270 A JP2006246270 A JP 2006246270A
- Authority
- JP
- Japan
- Prior art keywords
- image
- fixed amount
- motion vector
- correction
- amount
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Studio Devices (AREA)
Abstract
【解決手段】画像処理装置は、動画像または時系列に連続する静止画像から一定量の画像を取得し、該取得した一定量の画像について、所定の画像を切り出して補正画像を生成する。画像取得部110によって、時系列順に一定量の画像毎に、動きベクトル検出部120によって、n(nは1以上の整数)番目の一定量の画像の動きベクトルが検出される。そして、次画像動きベクトル予測部によって、(n+1)番目の一定量の画像の予測動きベクトルが算出され、補正位置算出部によって、算出された(n+1)番目の一定量の画像の予測動きベクトルを用いて、前記(n+1)番目の一定量の画像について、前記所定の画像を切り出す位置を示す補正位置ベクトルが算出される。これらは、n番目の一定量の画像を取得している間に行われる。
【選択図】図2
Description
V(n+1)=V0(n)+α×(V0(n)−V0(n−1))
V(n+1)は、(n+1)番目の一定量の画像の予測動きベクトル
V0(n−1)は、(n−1)番目の一定量の画像の動きベクトル
V0(n)は、n番目の一定量の画像の動きベクトル
α:|V0(n)−V0(n−1)|を変数とする0以上1以下の値の補正係数
で示される演算式を用いて、(n+1)番目の一定量の画像の予測動きベクトルを求めることが好ましい。
(A)S26、S30、S35、S40における処理
ステップS26において、m=1か否かが判定され、m=1の場合(S26、YES)には、ステップS80に進む。
V(n+1)=V0(n)+α×(V0(n)−V0(n−1))
を用いて(n+1)番目のフレーム画像の予測動きベクトルを求める。
また、補正係数αは|V0(n)−V0(n−1)|を変数とする0以上1以下の値で、変数|V0(n)−V0(n−1)|の値が大きくなるほど、αの値は同じか小さくなる(すなわち、単調減少する)。
V1y(n)=V0y(n)−Sy(n)
図7及び図8を参照して説明したように算出され、RAM102などのメモリ126に格納される。
「減衰係数決定方法の第1実施例」
前フレーム画像を補正した補正フレーム画像(以下、単に「前補正フレーム画像」と称する)について算出した画像の移動量と、注目するフレーム画像の移動量との大小によって、減衰係数K、Dの値を決定する。さらに、注目するフレーム画像の移動量が、前補正フレーム画像の移動量以上の場合、注目するフレーム画像の予測動きベクトルの方向と、前補正フレーム画像の補正動きベクトルの方向とに基づいて減衰係数K、Dの値を決定する方法。
「減衰係数決定方法の第2実施例」
補正可能範囲を示す補正限界値に対する前フレーム画像の補正量の比率と、前フレーム画像の補正量が「増加」か「減少」かの判断とによって、減衰係数K、Dの値を決定する方法。
「減衰係数決定方法の第3実施例」
補正可能範囲である補正限界値と、前フレーム画像の補正量との差分量に対して、注目するフレーム画像の予測動きベクトルと、前フレーム画像の補正動きベクトルとの差分量が、どれくらいの割合にあるかによって、減衰係数K、Dの値を決定する方法。
「第1の実施例」
まず、ステップS440(図9)にて行われる処理について、第1の実施例における減衰係数K、Dの決定処理の詳細を、図10に示した処理フローチャートを用いて説明する。第1の実施例での減衰係数K、Dの値の決定方法は、注目するフレーム画像の予測動きベクトルの大きさ及び向きと、時系列順一つ前の補正フレーム画像の大きさ及び向きとから補正量を算出し、予測動きベクトルの方向変化と大きさにあわせて注目するフレーム画像の補正量を算出しようとするものである。なお、ここでは、注目するフレーム画像のX成分についての処理を説明するが、処理ステップS440ではY成分についても図10に示したX成分の処理と同様の処理を行い、X成分、Y成分それぞれについて減衰係数K、Dの値を決定する。そして、後述する次の処理ステップS490(図9)において、補正位置ベクトルのX成分とY成分を所定の演算式にて算出する際、それぞれ決定した減衰係数K、Dの値を用いるのである。
「第2の実施例」
次に、第2の実施例における減衰係数K、Dの決定処理の詳細を、図12に示した処理フローチャートを用いて説明する。第2の実施例での減衰係数K、Dの値の決定方法は、補正限界値に近いか否かを所定の比率RSによって補正量を算出し、さらに、所定の演算式によって補正量が増加か減少かを判断して注目するフレーム画像の補正量を算出しようとするものである。なお、ここでも、注目するフレーム画像のX成分についての処理を説明するが、処理ステップS440ではY成分についても図12に示したX成分の処理と同様の処理を行い、X成分、Y成分それぞれについて減衰係数K、Dの値を決定する。そして、後述する次の処理ステップS490(図9)にて、補正位置ベクトルのX成分とY成分を所定の演算式にて算出する際に、それぞれ決定した減衰係数K、Dの値を用いるのである。
次に、ステップS457にて、傾向値KHxが0以上か否かの判定処理を行う。そして、YESの場合は、ステップS459にて補正は「増加」と判断し、NOの場合はステップS458にて「減少」と判断する処理を行う。Sx(n)つまり前フレーム画像の補正位置ベクトルに基づく補正方向と、Vx(n+1)−V1x(n)つまり注目するフレーム画像の予測動きベクトルと前フレーム画像の補正ベクトルとの差に基づく画像の移動方向とを比べて、それぞれの向きが逆方向の場合は増加、同じ方向の場合は減少と判断するのである。
「第3の実施例」
次に、第3の実施例における減衰係数K、Dの決定処理の詳細を、図14に示した処理フローチャートを用いて説明する。第3の実施例での減衰係数K、Dの値の決定方法は、注目するフレーム画像の補正量を算出する際、時系列順で一つ前の補正フレーム画像の補正量で補正したとき、補正限界値まで何回補正可能かを調べて注目するフレーム画像の補正量を算出しようとするものである。なお、ここでも、注目するフレーム画像のX成分についての処理を説明するが、処理ステップS440ではY成分についても図14に示したX成分の処理と同様の処理を行い、X成分、Y成分それぞれについて減衰係数K、Dの値を決定する。そして、後述する次の処理ステップS490(図9)にて、補正位置ベクトルのX成分とY成分を所定の演算式にて算出する際に、それぞれ決定した減衰係数K、Dの値を用いるのである。
次に、ステップS466にて、「式3」より補正残量値SZTの算出処理を行う。
次に、ステップS467にて、「式4」より補正限界フレーム数Tの算出処理を行う。
ステップS467にて算出された補正限界フレーム数Tの値から、ステップS468にて、減衰係数テーブルGKT3を用いて減衰係数K、Dの値を決定する。減衰係数テーブルGKT3の一例を図15に示す。減衰係数テーブルGKT3はハードディスク105などに格納され、補正限界フレーム数Tのデータから、CPU103は、減衰係数テーブルGKT3より該当するアドレスの値を読み出し、減衰係数K、Dの値を決定する。
補正位置ベクトルS(n+1)は、具体的には「式5」を用いて、X成分およびY成分についての補正位置ベクトルSx(n+1)およびSy(n+1)をそれぞれ算出することによって求められる。
n=2の場合は、S(2)=K×0+D×(V(2)−0)=D×V(2)
n=3の場合は、S(3)=K×S(2)+D×(V(3)−V1(2))
によって、補正位置ベクトルが算出される。
(B)S28およびS50における処理
次に、図3に戻り、前記(A)S26、S30、S35およびS40における処理および(C)S65およびS70における処理と並行して行われるS28およびS50における処理について説明する。
(C)S65およびS70における処理
次に、図3に戻り、前記(A)S26、S30、S35およびS40における処理および(B)S28およびS50における処理と並行して行われるS65およびS70における処理について説明する。
Claims (12)
- 動画像または時系列に連続する静止画像から一定量の画像を取得し、該取得した一定量の画像について、所定の画像を切り出して補正画像を生成する画像処理装置であって、
時系列順に一定量の画像毎に、当該一定量の画像を順次取得する画像取得部と、
前記順次取得した一定量の画像のうち、n(nは1以上の整数)番目の一定量の画像の動きベクトルを、n番目の一定量の画像より時系列順で一つ前の(n−1)番目の一定量の画像を用いて検出する動きベクトル検出部と、
当該検出されたn番目の一定量の画像の動きベクトルと、(n−1)番目の一定量の画像の動きベクトルとを用いて、n番目の一定量の画像より時系列順で一つ後の(n+1)番目の一定量の画像の予測動きベクトルを算出する次画像動きベクトル予測部と、
当該算出された(n+1)番目の一定量の画像の予測動きベクトルを用いて、前記(n+1)番目の一定量の画像について、前記所定の画像を切り出す位置を示す補正位置ベクトルを算出する補正位置算出部と、
を備え、
前記動きベクトル検出部によるn番目の一定量の画像の動きベクトルの検出と、前記次画像動きベクトル予測部による(n+1)番目の一定量の画像の予測動きベクトルの算出と、前記補正位置算出部による(n+1)番目の一定量の画像についての補正位置ベクトルの算出とを、前記画像取得部がn番目の一定量の画像を取得している間に行う、画像処理装置。 - 請求項1に記載の画像処理装置であって、
前記算出された補正位置ベクトルに基づいて、前記取得された一定量の画像についての補正画像を生成する補正画像生成部をさらに備え、
当該補正画像生成部は、前記画像取得部が(n+1)番目の一定量の画像を取得している間に、前記補正位置算出部によって算出された(n+1)番目の一定量の画像についての補正位置ベクトルを用いて、(n+1)番目の一定量の画像についての補正画像を生成する、画像処理装置。 - 請求項1または2に記載の画像処理装置であって、
所定の補正画像の拡大率に基づいて、前記補正画像を拡大して出力する画像出力部をさらに備え、
当該画像出力部は、前記画像取得部が(n+1)番目の一定量の画像を取得している間に、前記補正画像生成部によって生成されたn番目の一定量の画像についての補正画像を拡大して出力する、画像処理装置。 - 請求項1乃至3のいずれか一項に記載の画像処理装置であって、
前記次画像動きベクトル予測部は、予測動きベクトルの算出において、
V(n+1)=V0(n)+α×(V0(n)−V0(n−1))
V(n+1)は、(n+1)番目の一定量の画像の予測動きベクトル
V0(n−1)は、(n−1)番目の一定量の画像の動きベクトル
V0(n)は、n番目の一定量の画像の動きベクトル
α:|V0(n)−V0(n−1)|を変数とする0以上1以下の値の補正係数
で示される演算式を用いて、(n+1)番目の一定量の画像の予測動きベクトルを求める、画像処理装置。 - 請求項4に記載の画像処理装置であって、
変数|V0(n)−V0(n−1)|の値が大きくなるほど、補正係数αの値は同じか小さくなる、画像処理装置。 - 請求項1乃至5のいずれか一項に記載の画像処理装置であって、
前記動きベクトル検出部は、(n−1)番目の一定量の画像における複数のサンプリングポイントのデータと、当該サンプリングポイントに対応するn番目の一定量の画像における差分算出領域内の各画素データとの差分値に基づき、n番目の一定量の画像の動きベクトルを検出する、画像処理装置。 - 請求項6に記載の画像処理装置であって、
前記差分値の絶対値を、各サンプリングポイントに対して同一の位置関係にある対応成分毎に加算して、加算結果が最小値となる成分のサンプリングポイントからの位置(ベクトル)を、n番目の一定量の画像の動きベクトルとして検出する、画像処理装置。 - 動画像または時系列に連続する静止画像から一定量の画像を取得し、該取得した一定量の画像について、所定の画像を切り出して補正画像を生成して表示する画像表示装置であって、
時系列順に一定量の画像毎に、当該一定量の画像を順次取得する画像取得部と、
前記順次取得した一定量の画像のうち、n(nは1以上の整数)番目の一定量の画像の動きベクトルを、n番目の一定量の画像より時系列順で一つ前の(n−1)番目の一定量の画像を用いて検出する動きベクトル検出部と、
当該検出されたn番目の一定量の画像の動きベクトルと、(n−1)番目の一定量の画像の動きベクトルとを用いて、n番目の一定量の画像より時系列順で一つ後の(n+1)番目の一定量の画像の予測動きベクトルを算出する次画像動きベクトル予測部と、
当該算出された(n+1)番目の一定量の画像の予測動きベクトルを用いて、前記(n+1)番目の一定量の画像について、前記所定の画像を切り出す位置を示す補正位置ベクトルを算出する補正位置算出部と、
を備え、
前記動きベクトル検出部によるn番目の一定量の画像の動きベクトルの検出と、前記次画像動きベクトル予測部による(n+1)番目の一定量の画像の予測動きベクトルの算出と、前記補正位置算出部による(n+1)番目の一定量の画像についての補正位置ベクトルの算出とを、前記画像取得部がn番目の一定量の画像を取得している間に行う、画像表示装置。 - 動画像または時系列に連続する静止画像から一定量の画像を取得し、該取得した一定量の画像について、所定の画像を切り出して補正画像を生成する画像撮像装置であって、
時系列順に一定量の画像毎に、当該一定量の画像を順次取得する画像取得部と、
前記順次取得した一定量の画像のうち、n(nは1以上の整数)番目の一定量の画像の動きベクトルを、n番目の一定量の画像より時系列順で一つ前の(n−1)番目の一定量の画像を用いて検出する動きベクトル検出部と、
当該検出されたn番目の一定量の画像の動きベクトルと、(n−1)番目の一定量の画像の動きベクトルとを用いて、n番目の一定量の画像より時系列順で一つ後の(n+1)番目の一定量の画像の予測動きベクトルを算出する次画像動きベクトル予測部と、
当該算出された(n+1)番目の一定量の画像の予測動きベクトルを用いて、前記(n+1)番目の一定量の画像について、前記所定の画像を切り出す位置を示す補正位置ベクトルを算出する補正位置算出部と、
を備え、
前記動きベクトル検出部によるn番目の一定量の画像の動きベクトルの検出と、前記次画像動きベクトル予測部による(n+1)番目の一定量の画像の予測動きベクトルの算出と、前記補正位置算出部による(n+1)番目の一定量の画像についての補正位置ベクトルの算出とを、前記画像取得部がn番目の一定量の画像を取得している間に行う、画像撮像装置。 - 動画像または時系列に連続する静止画像から一定量の画像を取得し、該取得した一定量の画像について、所定の画像を切り出して補正画像を生成する画像処理方法であって、
時系列順に一定量の画像毎に、当該一定量の画像を順次取得する画像取得工程と、
前記順次取得した一定量の画像のうち、n(nは1以上の整数)番目の一定量の画像の動きベクトルを、n番目の一定量の画像より時系列順で一つ前の(n−1)番目の一定量の画像を用いて検出する動きベクトル検出工程と、
当該検出されたn番目の一定量の画像の動きベクトルと、(n−1)番目の一定量の画像の動きベクトルとを用いて、n番目の一定量の画像より時系列順で一つ後の(n+1)番目の一定量の画像の予測動きベクトルを算出する次画像動きベクトル予測工程と、
当該算出された(n+1)番目の一定量の画像の予測動きベクトルを用いて、前記(n+1)番目の一定量の画像について、前記所定の画像を切り出す位置を示す補正位置ベクトルを算出する補正位置算出工程と、
を備え、
前記動きベクトル検出工程によるn番目の一定量の画像の動きベクトルの検出と、前記次画像動きベクトル予測工程による(n+1)番目の一定量の画像の予測動きベクトルの算出と、前記補正位置算出工程による(n+1)番目の一定量の画像についての補正位置ベクトルの算出とを、前記画像取得工程がn番目の一定量の画像を取得している間に行う、画像処理方法。 - 動画像または時系列に連続する静止画像から一定量の画像を取得し、該取得した一定量の画像について、所定の画像を切り出して補正画像を生成する処理をコンピュータに実行させるためのプログラムであって、
時系列順に一定量の画像毎に、当該一定量の画像を順次取得する画像取得処理と、
前記順次取得した一定量の画像のうち、n(nは1以上の整数)番目の一定量の画像の動きベクトルを、n番目の一定量の画像より時系列順で一つ前の(n−1)番目の一定量の画像を用いて検出する動きベクトル検出処理と、
当該検出されたn番目の一定量の画像の動きベクトルと、(n−1)番目の一定量の画像の動きベクトルとを用いて、n番目の一定量の画像より時系列順で一つ後の(n+1)番目の一定量の画像の予測動きベクトルを算出する次画像動きベクトル予測処理と、
当該算出された(n+1)番目の一定量の画像の予測動きベクトルを用いて、前記(n+1)番目の一定量の画像について、前記所定の画像を切り出す位置を示す補正位置ベクトルを算出する補正位置算出処理と、
を備え、
前記動きベクトル検出処理によるn番目の一定量の画像の動きベクトルの検出と、前記次画像動きベクトル予測処理による(n+1)番目の一定量の画像の予測動きベクトルの算出と、前記補正位置算出処理による(n+1)番目の一定量の画像についての補正位置ベクトルの算出とを、前記画像取得処理がn番目の一定量の画像を取得している間に行う、プログラム。 - 動画像または時系列に連続する静止画像から一定量の画像を取得し、該取得した一定量の画像について、所定の画像を切り出して補正画像を生成する処理をコンピュータに実行させるためのプログラムを記録したコンピュータによって読取可能な記録媒体であって、
時系列順に一定量の画像毎に、当該一定量の画像を順次取得する画像取得処理と、
前記順次取得した一定量の画像のうち、n(nは1以上の整数)番目の一定量の画像の動きベクトルを、n番目の一定量の画像より時系列順で一つ前の(n−1)番目の一定量の画像を用いて検出する動きベクトル検出処理と、
当該検出されたn番目の一定量の画像の動きベクトルと、(n−1)番目の一定量の画像の動きベクトルとを用いて、n番目の一定量の画像より時系列順で一つ後の(n+1)番目の一定量の画像の予測動きベクトルを算出する次画像動きベクトル予測処理と、
当該算出された(n+1)番目の一定量の画像の予測動きベクトルを用いて、前記(n+1)番目の一定量の画像について、前記所定の画像を切り出す位置を示す補正位置ベクトルを算出する補正位置算出処理と、
を備え、
前記動きベクトル検出処理によるn番目の一定量の画像の動きベクトルの検出と、前記次画像動きベクトル予測処理による(n+1)番目の一定量の画像の予測動きベクトルの算出と、前記補正位置算出処理による(n+1)番目の一定量の画像についての補正位置ベクトルの算出とを、前記画像取得処理がn番目の一定量の画像を取得している間に行う、プログラムを記録したコンピュータによって読取可能な記録媒体。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2005061726A JP2006246270A (ja) | 2005-03-07 | 2005-03-07 | 画像処理装置、画像表示装置、画像撮像装置、画像処理方法、プログラムおよび記録媒体 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2005061726A JP2006246270A (ja) | 2005-03-07 | 2005-03-07 | 画像処理装置、画像表示装置、画像撮像装置、画像処理方法、プログラムおよび記録媒体 |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2006246270A true JP2006246270A (ja) | 2006-09-14 |
Family
ID=37052174
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2005061726A Pending JP2006246270A (ja) | 2005-03-07 | 2005-03-07 | 画像処理装置、画像表示装置、画像撮像装置、画像処理方法、プログラムおよび記録媒体 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2006246270A (ja) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7956899B2 (en) | 2007-08-29 | 2011-06-07 | Sanyo Electric Co., Ltd. | Imaging device and image processing apparatus |
-
2005
- 2005-03-07 JP JP2005061726A patent/JP2006246270A/ja active Pending
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7956899B2 (en) | 2007-08-29 | 2011-06-07 | Sanyo Electric Co., Ltd. | Imaging device and image processing apparatus |
US8411172B2 (en) | 2007-08-29 | 2013-04-02 | Sanyo Electric Co., Ltd. | Imaging device and image processing apparatus |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US8072511B2 (en) | Noise reduction processing apparatus, noise reduction processing method, and image sensing apparatus | |
US8274570B2 (en) | Image processing apparatus, image processing method, hand shake blur area estimation device, hand shake blur area estimation method, and program | |
US9743000B2 (en) | Moving image processing apparatus, imaging apparatus, and moving image processing method | |
JP5189678B2 (ja) | 動画像の手ぶれ補正装置及び方法 | |
JP6500535B2 (ja) | 画像処理装置、画像処理方法及びプログラム | |
US20050122403A1 (en) | Image processing apparatus | |
JP4482933B2 (ja) | 動きベクトル検出装置、画像表示装置、画像撮像装置、動きベクトル検出方法、プログラムおよび記録媒体 | |
US20090323814A1 (en) | Tracking point detection apparatus and method, program, and recording medium | |
JP5841345B2 (ja) | 画像処理装置、画像処理方法、画像処理プログラム、及び、撮像装置 | |
JP2007028251A (ja) | 画像処理装置、画像処理方法、プログラムおよび記録媒体 | |
US7522189B2 (en) | Automatic stabilization control apparatus, automatic stabilization control method, and computer readable recording medium having automatic stabilization control program recorded thereon | |
JP5015089B2 (ja) | フレームレート変換装置、フレームレート変換方法、テレビジョン受像機、フレームレート変換プログラムおよび該プログラムを記録した記録媒体 | |
KR101012481B1 (ko) | 동영상 손떨림 보정 장치 및 방법 | |
JP5300413B2 (ja) | 動きベクトル検出装置及び動きベクトル検出方法及び撮像装置及びプログラム | |
JP6245968B2 (ja) | 画像処理装置、撮像装置および制御方法 | |
JP2007267232A (ja) | 電子的手振れ補正方法及びその装置並びに撮像装置 | |
JP2006246270A (ja) | 画像処理装置、画像表示装置、画像撮像装置、画像処理方法、プログラムおよび記録媒体 | |
JP2003078808A (ja) | 動きベクトル検出装置および方法、手振れ補正装置および方法、並びに撮像装置 | |
JP2015079329A (ja) | 画像処理装置、画像処理方法およびプログラム | |
JP2006285655A (ja) | 画像処理装置、画像処理方法及び画像処理プログラム | |
JP2006235689A (ja) | 画像処理装置、画像表示装置、画像撮像装置、画像処理方法、プログラムおよび記録媒体 | |
JP4597073B2 (ja) | 手ブレ補正方法、手ブレ補正装置、および撮像装置 | |
KR20160036974A (ko) | 고해상도 영상 획득 장치 및 방법 | |
JP2006186762A (ja) | 画像処理装置、画像処理方法及び画像処理プログラム | |
JP2017220800A (ja) | 再生装置およびその制御方法、プログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20071217 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20090602 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20090616 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20090811 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20090901 |