JP3621256B2

JP3621256B2 - 動き劣化補正処理装置及びその方法

Info

Publication number: JP3621256B2
Application number: JP13219298A
Authority: JP
Inventors: 睦渡辺; 利一松井; 一則小野口; 宏章中井; 恭弘谷口; 英治田中
Original assignee: Toshiba Corp
Current assignee: Toshiba Corp
Priority date: 1998-05-14
Filing date: 1998-05-14
Publication date: 2005-02-16
Anticipated expiration: 2018-05-14
Also published as: JPH11331643A

Description

【０００１】
【発明の属する技術分野】
本発明は、例えば動画像を表示する装置または方法において、動きによる劣化を取り除いた明瞭な画像として表示するための動き劣化補正処理装置、その方法及びそれを記録した記録媒体に関する。
【０００２】
【従来の技術】
テレビカメラで撮影された動画像を逐時表示する際には、画像情報を表す電気信号を電子ビームの加速電圧または偏向強度に変換して蛍光面上に可視化するＣＲＴ（ＣａｔｈｏｄｅＲａｙＴｕｂｅ）を用いるのが一般的である。
【０００３】
ＣＲＴへの動画表示方法としては、ランダム走査方式、ラスタ走査方式があるが、いずれも毎秒３０フレームのレートで表示し、一回の走査で走査線を１本おきにフィールド走査し２回のフィールド走査で１フレームの画像を表示するインタレース（飛び越し）走査方式が標準的に採用されている。
【０００４】
また、近年、半導体材料に電圧を印加して発行させることによるプラズマディスプレイ、液晶ディスプレイなどの平面ディスプレイが利用されるようになってきている。
【０００５】
画像を入力するＴＶカメラとしては、ＣＣＤ（ＣｈａｒｇｅＣｏｕｐｌｅｄＤｅｖｉｃｅ）撮像デバイスの上に画像を結像させ、電子的走査を行って得られた電気信号の形で画像の入力を行うＣＣＤ固体撮像素子が産業用、民生用に広く普及している。一方、計算機の能力が上がっても画像の取り込み速度がネックとなり、画像情報に基づいた高速な機器の制御を実現することは困難である。
【０００６】
これに対して、感度可変素子を利用した新しいタイプのセンサを提案している（特開平６−１３９３６１号）。
【０００７】
この感度可変素子には、画像処理回路が搭載されており、簡単な画像処理を行なった結果を１秒間に１００枚程度の割合で出力することが可能である。
【０００８】
しかし、チップに搭載されているのはアナログの処理回路であり、処理可能な演算は比較的簡単なものである。例えば、画像ラボ１９９８年３月号に掲載された“ジェスチャー入力型インタラクティブゲーム”では３２画素×３２画素の人工網膜チップを利用して対象物体の動きを求めているが、得られる動き情報は精度、個数とも複雑な画像処理に利用するには不十分である。
【０００９】
また、画像ラボ１９９７年１２月号では、スマート・ビジョン・センサが紹介されている。このスマート・ビジョン・センサはデジタル回路を使って画像を処理しており、領域のラベリングや重心計算などの簡単な画像処理を高速に行なうことができる。
【００１０】
しかし、このセンサはライン毎の並列処理性能に重点がおかれており、２次元に広がる領域内の動き情報を高速に精度良く求めることは困難である。
【００１１】
さらに、応用物理学会誌第６７巻第１号に掲載された超並列・超高速視覚情報処理システム（石川その他著）は、デジタル処理を行なう回路をセンサに搭載して２次元画像内の領域を１秒間に１０００枚の速度で追跡することが可能である。
【００１２】
しかし、このシステムは近傍演算のみですべての画像処理を行うように設計されているため、対象物体の複雑さや速度が増すと十分な精度の演算結果を得ることが出来ない可能性がある。
【００１３】
【発明が解決しようとする課題】
現在普及しているＣＣＤ方式のＴＶカメラ・ＣＲＴシステムで高速に動く対象を含むシーンを撮影・表示しようとすると、動きにより撮像面上の電荷蓄積位置が広がることによる輪郭の劣化・薄れが画像に重畳してしまうという問題点がある。
【００１４】
また、インタレース走査方法では、偶数フィールドと奇数フィールドの間で輪郭位置がずれるため、ちらつき・揺らぎが生じる。
【００１５】
このような効果は、動物体の視認性の劣化、目の疲れの原因となるといった課題があった。
【００１６】
リフレッシュサイクルを２倍に高めたノンインタレース走査方式による画像表示装置も存在するが、価格が高く、かつ高速に動く対象の輪郭の劣化・薄れの問題は解決できない。
【００１７】
一方、各画像に対して動き劣化を補正するフィルタを施すことにより対処しようという試みもある。
【００１８】
例えば、ｆ（ｘ，ｙ）を本来の明度関数とし、蓄積時間Ｔの間にｘ，ｙ方向に各々α（ｔ），β（ｔ）の関数で与えられる移動をしたとすると、実際に得られる劣化画像は、
【数１】

となる。
【００１９】
この両辺をフーリエ変換した結果は、
Ｇ（ｕ，ｖ）＝Ｆ（ｕ，ｖ）Ｈ（ｕ，ｖ）
となる。ここでＨ（ｕ，ｖ）は伝達関数で、
【数２】

で与えられる。
【００２０】
従って、劣化の無い理想画像はこの伝達関数Ｈ（ｕ，ｖ）の逆関数を計算し、観測結果をフーリエ変換した結果Ｇ（ｕ，ｖ）に乗じた後、逆フーリエ変換することによって求められる。
【００２１】
例えば、動きがｘ方向に速度Ｖの直線運動をする場合は、
α（ｔ）＝Ｖｔ
β（ｔ）＝０
となり、伝達関数は、
Ｈ（ｘ，ｙ）＝（ｓｉｎ（πｕＶＴ））／πｕＶ＝Ｔｓｉｎｃ（πｕＶＴ）
となる。
【００２２】
しかし、このようなフィルタリングで補正できるものは、動きが一定でモデル化できる単純な対象に限定される。対象の動きが既知でないとフィルタの設計が困難になる。更に、シーンに動物体が複数存在する場合は、これらを個別に切り出し独立にフィルタリングせねばならず、計算コストが増加するという問題点がある。
【００２３】
一方、今後はポストＣＣＤとして前記のようなデジタル処理回路を搭載したセンサの開発が更に進むと考えられ、１秒間に１０００枚以上の速度でカラーや濃淡の画像を処理した結果を出力することが実現できる。しかし、このようなセンサを用いても単純に間引いて表示するだけでは、ちらつきは無くなるものの、動き領域部分の薄れなどの劣化・ＳＮ劣化は補正できない。
【００２４】
本発明は以上の点を鑑み、高いフレームレートで撮影が可能な画像入力装置から得られた時系列画像群を動画像処理することにより、表示する際、動きによる劣化を取り除いた明瞭な画像とするための画像処理方法及びその装置を提供することを目的とする。
【００２５】
【課題を解決するための手段】
請求項１の発明は、時系列においてフレームレート９００以上で連続して撮影した動画像を、フレームレート３０の表示装置で出力する場合に、前記動画像の動き劣化を補正する動き劣化補正処理装置において、前記動画像の各画像上に局所領域を設定し、この設定した各局所領域毎に動きベクトルを抽出する動きベクトル抽出手段と、時系列において１秒間に９００枚以上の連続した動画像の各画像上に局所領域を設定し、この設定した各局所領域毎に動きベクトルを抽出する動きベクトル抽出手段と、一定時間中における前記各局所領域毎の動きベクトル群を解析することにより、この一定時間中における移動軌跡を前記各局所領域毎に求める移動軌跡抽出手段と、前記各局所領域の移動軌跡に基づき、動き劣化を補正した画像を生成する劣化補正画像生成手段と、を具備し、前記劣化補正画像生成手段は、表示位置計算手段で計算した表示位置と表示明度計算手段で求めた明度から１枚の画像を生成するものであり、前記表示位置計算手段は、前記動き劣化の点を含む局所領域の移動軌跡を求め、この移動軌跡における初期位置と最終到達位置に基づいて表示位置を計算するものであり、前記表示明度計算手段は、前記動き劣化の点を含む局所領域の移動軌跡を求め、この移動軌跡の各点の総和を正規化した明度を求めるものである
ことを特徴とする動き劣化補正処理装置である。なお、動き劣化とは、動きボケともいえる。
【００２９】
本発明を用いることにより、フレームレート３０のＣＲＴ等の標準の画像出力装置を用いても動き劣化が補正された動画像を逐時表示する装置を簡便に実施することが可能となる。
【００３０】
請求項２の発明は、時系列においてフレームレート９００以上で連続して撮影した動画像を、フレームレート３０の表示装置で出力する場合に、前記動画像の動き劣化を補正する動き劣化補正処理方法において、前記動画像の各画像上に局所領域を設定し、この設定した各局所領域毎に動きベクトルを抽出する動きベクトル抽出ステップと、一定時間中における前記各局所領域毎の動きベクトル群を解析することにより、この一定時間中における移動軌跡を前記各局所領域毎に求める移動軌跡抽出ステップと、前記各局所領域の移動軌跡に基づき、動き劣化を補正した画像を生成する劣化補正画像生成ステップとを具備し、前記劣化補正画像生成ステップは、表示位置計算ステップで計算した表示位置と表示明度計算ステップで求めた明度から１枚の画像を生成するものであり、前記表示位置計算ステップは、前記動き劣化の点を含む局所領域の移動軌跡を求め、この移動軌跡における初期位置と最終到達位置に基づいて表示位置を計算するものであり、前記表示明度計算ステップは、前記動き劣化の点を含む局所領域の移動軌跡を求め、この移動軌跡の各点の総和を正規化した明度を求めるものであることを特徴とする動き劣化補正処理方法である。
【００３１】
請求項３の発明は、時系列においてフレームレート９００以上で連続して撮影した動画像を、フレームレート３０の表示装置で出力する場合に、前記動画像の動き劣化を補正する動き劣化補正処理方法を記録した記録媒体において、前記動画像の各画像上に局所領域を設定し、この設定した各局所領域毎に動きベクトルを抽出する動きベクトル抽出機能と、一定時間中における前記各局所領域毎の動きベクトル群を解析することにより、この一定時間中における移動軌跡を前記各局所領域毎に求める移動軌跡抽出機能と、前記各局所領域の移動軌跡に基づき、動き劣化を補正した画像を生成する劣化補正画像生成機能と、を記録した記録媒体よりなり、前記劣化補正画像生成機能は、表示位置計算機能で計算した表示位置と表示明度計算機能で求めた明度から１枚の画像を生成するものであり、前記表示位置計算機能は、前記動き劣化の点を含む局所領域の移動軌跡を求め、この移動軌跡における初期位置と最終到達位置に基づいて表示位置を計算するものであり、前記表示明度計算機能は、前記動き劣化の点を含む局所領域の移動軌跡を求め、この移動軌跡の各点の総和を正規化した明度を求めるものであることを特徴とする動き劣化補正処理方法を記録した記録媒体である。
【００３７】
【発明の実施の形態】
以下、本発明の一実施形態について、図１〜図４を用いて説明する。
【００３８】
図１に本実施形態の動き劣化補正処理装置の構成を示す。
【００３９】
動きベクトル抽出部１は、高いフレームレート（例えば、フレームレート９００）で撮影が可能な画像入力装置から得られる画像信号をディジタル化して取り込み、この各入力画像中に設定した各局所領域毎に、連続画像間の動きベクトルを抽出する。
【００４０】
移動軌跡抽出部２は、一定時間内における前記連続画像間の動きベクトルを用いて、この時間内における移動軌跡を前記各局所領域毎に求める。
【００４１】
劣化補正画像生成部３は、前記各局所領域の移動軌跡に基づき、動き劣化を補正した画像を生成する。
【００４２】
以下、各部の具体的な構成例について述べる。
【００４３】
（動きベクトル抽出部１）
図２に、動きベクトル抽出部１の構成例を示す。
【００４４】
ディジタル画像入力部４は、高いフレームレートで撮影が可能な画像入力装置から得られる画像信号を逐時ディジタル化して取り込む。例えばフレームレート９００の画像入力装置の場合は、従来の秒３０フレームのＴＶカメラの場合に比べて３０倍のタイムサンプル画像が得られる。
【００４５】
局所部分領域分割部５は、これら各入力画像の一部、または全体を、動き補正を行う単位の複数個の局所領域に分割する。この部分領域はＮ画素×Ｎ画素の正方領域と設定することが可能である。Ｎは２以上画像標本化サイズ以下の自然数である。またＮ＝１として画素そのものを用いてもよい。各部分領域の配置は、互いに重複しないように設定してもよい。またこの一部が重なるように設定することも可能である。
【００４６】
類似度計算部６は、この設定された各局所領域毎に、時系列において連続画像間の類似度を計算する。類似度として、本実施形態では、局所領域間の対応する画素の明度の差の絶対値の和を採ることとする。この類似指標は、連続画像間で類似した明度分布を持つ局所領域間では小さい値を持つ特性がある。これを各局所領域の組み合わせ毎に計算する。
【００４７】
動きベクトル抽出部７は、前記各局所領域の組み合わせ毎に得られた類似度のうちで最小値となる局所領域の重心（領域の中心）の位置の差を計算し、該局所領域の動きベクトル値として記憶する。
【００４８】
（移動軌跡抽出部２）
図３に、移動軌跡抽出部２の構成例を示す。
【００４９】
領域動きベクトル読み出し部８は、動きベクトル抽出部７で求めた各局所領域の動きベクトルを基に、この領域の各タイムサンプル画像における動きを求める。
【００５０】
具体的には、次のように継続している。
【００５１】
領域Ｒ（ｘ，ｙ）のタイムサンプリングｔにおける動きベクトルを（ｕ（ｔ），ｖ（ｔ））とする。
【００５２】
タイムサンプリングｔ＋１では、領域Ｒ（ｘ＋ｕ（ｔ），ｙ＋ｖ（ｔ））の動きベクトル（ｕ（ｔ＋１），ｖ（ｔ＋１））を読む。
【００５３】
タイムサンプリングｔ＋２では、領域Ｒ（ｘ＋ｕ（ｔ）＋ｕ（ｔ＋１），ｙ＋ｖ（ｔ）＋ｖ（ｔ＋１））の動きベクトル（ｕ（ｔ＋２），ｖ（ｔ＋２））を読む、というように継続している。
【００５４】
移動軌跡記録部９は、前記の移動軌跡を記録し、この時間範囲における最終到達領域Ｒ（ｘ＋ Σｕ（ｔ），ｙ＋ Σｖ（ｔ））を求める。
【００５５】
（劣化補正画像生成部３）
ここで、画像の劣化を補正する基本的な考え方を説明する。
【００５６】
例えば、物体が移動して劣化ている場合には、高いフレームレート（例えば、フレームレート９００）の画像を用いている場合には、その１のフレームレートの画像を使用すれば、移動による位置ずれが全くなく、いわゆる劣化は発生していない。ところが、この１のフレームレートの画像においては、移動している物体の明度は低く、それをそのまま使用することはできない。
【００５７】
したがって、画像の劣化を補正するには、第１に表示位置を補正し、第２に表示明度を補正（明度を上げる）する必要がある。
【００５８】
そのために、劣化補正画像生成部３は上記２点の基本的考え方に基づいて動作する。
【００５９】
図４に、劣化補正画像生成部３の構成例を示す。
【００６０】
表示位置計算部１０は、移動軌跡抽出部９で得られた各局所領域の移動軌跡に基づき、劣化を取り除き表示するための表示位置をこの局所領域の各画素毎に求める。
【００６１】
具体的には例えば、各点の初期位置（ｘ（０），ｙ（０））と前記最終到達位置（ｘ（０）＋Σｕ（ｔ），ｙ（０）＋Σｖ（ｔ））との中点（ｘ（０）＋１／２ Σｕ（ｔ），ｙ（０）＋１／２ Σｖ（ｔ））を表示位置にとることが可能である。
【００６２】
表示明度計算部１１は、前記各点の表示位置に出力すべき画像明度を計算する。各タイムサンプル画像は、動きによる投影位置のズレのため明度値が低下し、ＳＮ比が劣化している。
【００６３】
これを補正する方法として例えば、前記各タイムサンプル画像におけるこの点の軌跡を用いて各対応点の総和を各々計算し、この最大値が表示可能な最大輝度になるように正規化した値を用いることが可能である。この場合、ＳＮ比は加算（タイムサンプル）枚数をＮとするとＮ^１／２倍向上する。
【００６４】
劣化補正画像出力部１２は、表示位置計算部１０、表示明度計算部１１で得られた結果を１枚の画像として作成し、標準出力装置に送信する。
【００６５】
この結果、例えば標準出力装置として従来のフレームレート３０のＣＲＴを用いた場合でも、動きによる劣化・ちらつきのない明瞭な動画像が表示できることになる。
【００６６】
変更例
なお、本発明は前記実施形態に記載した内容に限定されるものではない。
【００６７】
例えば、動きベクトル抽出部１において、動きベクトルを求めるための連続画像間の類似度として、本実施形態では、局所領域間の対応する画素の明度の差の絶対値の和を用いたが、この代りに、明度の差の２乗和、または相関係数値などの指標を用いてもよい。また、動きベクトルを求める際、実施形態で述べたブロックマッチング方式の代りに、勾配法など別種の方式によるオプティカルフローを採用することも可能である。
【００６８】
また、劣化補正画像生成部３における表示位置計算部１０で、各局所領域の移動軌跡に基づき、劣化を取り除き表示するための表示位置をこの局所領域の各画素毎に求める際、各点の初期位置（ｘ（０），ｙ（０））と前記最終到達位置（ｘ（０）＋Σｕ（ｔ），ｙ（０）＋Σｖ（ｔ））との中点（ｘ（０）＋１／２ Σｕ（ｔ），ｙ（０）＋１／２ Σｖ（ｔ））を表示位置にとる方式を用いたが、この代りに、各タイムサンプル間の動きベクトルの長さの差を計算し、これが最小になる点の位置を用いてもよい。これにより各点毎に加速度が最小になる位置を表示することが可能になる。
【００６９】
また、このように各時相Ｔで固定的な表示方式を採る代りに、（ｘ（０）＋ａ（Ｔ），Ｙ（０）＋ｂ（Ｔ））のように時相Ｔ毎に表示位置をずらしてもよい。ここで、ａ（Ｔ），ｂ（Ｔ）は時相Ｔの関数である。このように表示位置を変化させることで、例えば高速に推移する周期的な現象を、少しずつ位相をずらして見易く表示することが可能となる。
【００７０】
また、劣化補正画像生成部３における表示明度計算部１１で、前記各タイムサンプル画像における各点の軌跡を用いて得られる各対応点の総和を正規化した明度を用いたが、この代りに、対応点の明度が最大となるタイムサンプル画像における明度値など、任意時点の画像における、前記表示位置に対応する明度値を用いることも可能である。
【００７１】
さらに、上記の動きベクトル抽出部１と移動軌跡抽出部２と劣化補正画像生成部３の機能を実現するためのプログラムをＦＤ，ＤＶＤ，ＣＤ−ＲＯＭに記憶させておき、これをパソコンに記憶させて、上記劣化補正を実現してもよい。
【００７２】
以上のように、本発明はその趣旨を逸脱しない範囲で種々変形して実施できる。
【００７３】
【発明の効果】
本発明を用いることにより、フレームレート３０のＣＲＴ等の標準の画像出力装置を用いても動き劣化が補正された動画像を逐時表示する装置及び方法を簡便に実施することが可能となり、この実用的効果は多大である。
【図面の簡単な説明】
【図１】本実施形態の劣化補正処理装置の構成である。
【図２】動きベクトル抽出部１の構成例である。
【図３】移動軌跡抽出部２の構成例である。
【図４】劣化補正画像生成部３の構成例である。
【符号の説明】
１動きベクトル抽出部
２移動軌跡抽出部
３劣化補正画像生成部
４ディジタル画像入力部
５局所部分領域分割部
６類似度計算部
７動きベクトル抽出部
８領域動きベクトル読み出し部
９移動軌跡抽出部
１０表示位置計算部
１１表示明度計算部
１２劣化補正画像出力部

Claims

時系列においてフレームレート９００以上で連続して撮影した動画像を、フレームレート３０の表示装置で出力する場合に、前記動画像の動き劣化を補正する動き劣化補正処理装置において、
前記動画像の各画像上に局所領域を設定し、この設定した各局所領域毎に動きベクトルを抽出する動きベクトル抽出手段と、
一定時間中における前記各局所領域毎の動きベクトル群を解析することにより、この一定時間中における移動軌跡を前記各局所領域毎に求める移動軌跡抽出手段と、
前記各局所領域の移動軌跡に基づき、動き劣化を補正した画像を生成する劣化補正画像生成手段と、
を具備し、
前記劣化補正画像生成手段は、表示位置計算手段で計算した表示位置と表示明度計算手段で求めた明度から１枚の画像を生成するものであり、
前記表示位置計算手段は、
前記動き劣化の点を含む局所領域の移動軌跡を求め、この移動軌跡における初期位置と最終到達位置に基づいて表示位置を計算するものであり、
前記表示明度計算手段は、
前記動き劣化の点を含む局所領域の移動軌跡を求め、この移動軌跡の各点の総和を正規化した明度を求めるものである
ことを特徴とする動き劣化補正処理装置。
時系列においてフレームレート９００以上で連続して撮影した動画像を、フレームレート３０の表示装置で出力する場合に、前記動画像の動き劣化を補正する動き劣化補正処理方法において、
前記動画像の各画像上に局所領域を設定し、この設定した各局所領域毎に動きベクトルを抽出する動きベクトル抽出ステップと、
一定時間中における前記各局所領域毎の動きベクトル群を解析することにより、この一定時間中における移動軌跡を前記各局所領域毎に求める移動軌跡抽出ステップと、
前記各局所領域の移動軌跡に基づき、動き劣化を補正した画像を生成する劣化補正画像生成ステップと、
を具備し、
前記劣化補正画像生成ステップは、表示位置計算ステップで計算した表示位置と表示明度計算ステップで求めた明度から１枚の画像を生成するものであり、
前記表示位置計算ステップは、
前記動き劣化の点を含む局所領域の移動軌跡を求め、この移動軌跡における初期位置と最終到達位置に基づいて表示位置を計算するものであり、
前記表示明度計算ステップは、
前記動き劣化の点を含む局所領域の移動軌跡を求め、この移動軌跡の各点の総和を正規化した明度を求めるものである
ことを特徴とする動き劣化補正処理方法。
時系列においてフレームレート９００以上で連続して撮影した動画像を、フレームレート３０の表示装置で出力する場合に、前記動画像の動き劣化を補正する動き劣化補正処理方法を記録した記録媒体において、
前記動画像の各画像上に局所領域を設定し、この設定した各局所領域毎に動きベクトルを抽出する動きベクトル抽出機能と、
一定時間中における前記各局所領域毎の動きベクトル群を解析することにより、この一定時間中における移動軌跡を前記各局所領域毎に求める移動軌跡抽出機能と、
前記各局所領域の移動軌跡に基づき、動き劣化を補正した画像を生成する劣化補正画像生成機能と、
を記録した記録媒体よりなり、
前記劣化補正画像生成機能は、表示位置計算機能で計算した表示位置と表示明度計算機能で求めた明度から１枚の画像を生成するものであり、
前記表示位置計算機能は、
前記動き劣化の点を含む局所領域の移動軌跡を求め、この移動軌跡における初期位置と最終到達位置に基づいて表示位置を計算するものであり、
前記表示明度計算機能は、
前記動き劣化の点を含む局所領域の移動軌跡を求め、この移動軌跡の各点の総和を正規化した明度を求めるものである
ことを特徴とする動き劣化補正処理方法を記録した記録媒体。