JP5202246B2 - 動画像処理装置、及び方法、プログラム - Google Patents

Description

本発明は、フレームレートを変換する動画像処理装置に関する。

１つの入力フレームから複数のサブフレームを生成し、それらを順次再生することでフレームレートを上げる倍速駆動方式が知られている。

また、倍速駆動方式において、入力フレーム内の画像の動きによって知覚される擬似輪郭を低減するための方法として、例えば特許文献１が知られている。特許文献１には、入力フレーム内の画像の動きが大きい場合に、入力フレームから生成される２つのサブフレームのうち一方の高周波成分を低減させることが記載されている。
特開２００２−３５１３８２号公報

しかしながら、入力フレームによっては、サブフレームを表示させた場合に、視聴者が違和感を感じてしまう恐れがあった。

つまり、例えば、入力フレーム内の画像の動きが大きい場合に、サブフレームの高周波成分を低減しても、サブフレームに残った輝度成分により、尾引きが発生してしまう恐れがあった。

本発明は、上記の問題点に鑑みてなされたものであり、その目的は、入力フレームから生成されたサブフレームを表示させることによる表示画像の違和感を低減することである。

上記目的を達成するため、本発明の動画像処理装置は、例えば、以下の構成を有する。即ち、１つの入力フレームから複数の出力フレームを生成する動画像処理装置であって、第１の入力フレーム、及び前記第１の入力フレームに続く第２の入力フレームを入力する入力手段と、前記第１の入力フレームから対応する少なくとも第１及び第２の出力フレームを生成するために用いる分配比率であって前記第１の入力フレームの画素値を分配する所定の第１の分配比率、及び第２の入力フレームに続く第３の入力フレームと前記第２の入力フレームとの差分によって検出される第２の入力フレーム内の画像の動きに応じて、前記第２の入力フレームから対応する少なくとも第３及び第４の出力フレームを生成するために用いる分配比率であって前記第２の入力フレームの画素値を分配する第２の分配比率を決定する決定手段と、前記第１の入力フレームから前記第１及び第２の出力フレームを前記第１の分配比率に基づいて生成し、前記第２の入力フレームから前記第３及び第４の出力フレームを前記第２の分配比率に基づいて生成する生成手段とを有し、前記決定手段は、前記第１の分配比率及び許容変化時間に基づいて、前記第２の分配比率の許容変化量を設定し、前記設定された許容変化量に収まるように、前記第２の分配比率を決定することを特徴とする。

また、本発明の動画像処理方法は、１つの入力フレームから複数の出力フレームを生成する動画像処理装置が行う動画像処理方法であって、第１の入力フレーム、及び前記第１の入力フレームに続く第２の入力フレームを入力する入力工程と、前記第１の入力フレームから対応する少なくとも第１及び第２の出力フレームを生成するために用いる分配比率であって前記第１の入力フレームの画素値を分配する所定の第１の分配比率、及び第２の入力フレームに続く第３の入力フレームと前記第２の入力フレームとの差分によって検出される第２の入力フレーム内の画像の動きに応じて、前記第２の入力フレームから対応する少なくとも第３及び第４の出力フレームを生成するために用いる前記第２の入力フレームの画素値を分配する第２の分配比率を決定する決定工程と、
前記第１の入力フレームから前記第１及び第２の出力フレームを前記第１の分配比率に基づいて生成し、前記第２の入力フレームから前記第３及び第４の出力フレームを前記第２の分配比率に基づいて生成する生成工程とを有し、前記決定工程は、前記第１の分配比率及び許容変化時間に基づいて、前記第２の分配比率の許容変化量を設定し、前記設定された許容変化量に収まるように、前記第２の分配比率を決定することを特徴とする。

本発明によれば、入力フレームから生成されたサブフレームを表示させることによる表示画像の違和感を低減することができる。

以下、添付の図面を参照して、本発明をその好適な実施形態に基づいて詳細に説明する。なお、以下の実施形態において示す構成は一例に過ぎず、本発明は図示された構成に限定されるものではない。

＜実施形態１＞
図１は、本発明の実施形態１に係る動画像処理装置の主要部の構成を示すブロック図である。本形態の動画像処理装置は、分配比率算出部１０１と、分配比率補正部１０２と分配比率保存部１０３と分配処理部１０４と差分処理部１０５と切替器１０６とを備える。また、本実施形態の動画像処理装置は、動画像を入力する動画像入力装置（例えばビデオカメラ）、及び、動画像を表示する表示装置（例えばデジタルテレビ）と接続されている。尚、動画像処理装置が、動画像入力装置や表示装置に組み込まれていても良い。

また、本実施形態の動画像処理装置は、決定された分配比率に基づいて１つの入力フレームから複数のサブフレーム（出力フレーム）を生成する。そして、これらのサブフレームを順次表示させることにより、入力フレームのフレームレートを複数倍にする（倍速駆動）。つまり、本実施形態では、決定された分配比率が、例えば８：２であった場合、１つの入力フレームの画素値を０．８倍した第１のサブフレーム、入力フレームの画素値を０．２倍した第２のサブフレームを生成する。

尚、本形態の動画像処理装置は、入力フレーム内の動き量に応じて算出された分配比率を、過去の分配比率に応じて補正する。つまり、分配比率算出部１０１は、各入力フレーム間で検出される動き量に基づいて分配比率Ｒ´を算出する。そして、分配比率補正部１０２は、分配比率算出部１０１によって算出された分配比率Ｒ´を、分配比率保存部１０３に保存された過去の入力フレームの分配比率に応じて補正する。そして、分配処理部１０４、及び、差分処理部１０５は、分配比率補正部１０２によって補正された分配比率Ｒに応じて、入力フレームからサブフレームを生成する。

また、本実施形態では、入力フレームのフレームレート（６０フレーム／秒）を、出力フレームのフレームレート（１２０フレーム／秒）に変換する場合について説明するが、これに限らない。また、１つの入力フレームから３つ以上のサブフレームを生成する形態にも本発明は適用できる。

分配比率算出部１０１は、時刻ｔにおいて、動画像入力装置からの入力フレームＦｔ、及び入力フレームＦｔ＋１を入力する。尚、本形態の分配比率算出部１０１には、時刻ｔ−１において、入力フレームＦｔの前に再生すべき入力フレームＦｔ−１、及び入力フレームＦｔも、入力されている。即ち、分配比率算出部１０１は、第１の入力フレーム（入力フレームＦｔ−１）、及び、第１の入力フレームに続く第２の入力フレーム（入力フレームＦｔ）を入力する。また、分配比率算出部１０１は、第３の入力フレーム（入力フレームＦｔ＋１）を入力する。そして、分配比率算出部１０１は、入力されたフレームのうち、入力フレームＦｔ、及びＦｔ＋１に応じて、入力フレームＦｔの分配比率Ｒ´ｔを算出する。

ここで、入力フレームＦｔは、時刻ｔに再生させるべきフレームのデータであり、入力フレームＦｔ＋１は、入力フレームＦｔの次（時刻ｔ＋１）に再生させるべきフレームのデータである。ただし、本実施形態では、入力フレームから生成されたサブフレームが再生される。

また、本形態において、入力フレームＦｔの分配比率が、６：４であるとは、入力フレームＦｔから生成される２つのサブフレーム（Ｐｔ、Ｑｔ）のうち、サブフレームＰｔの画素値が、入力フレームＦｔの０．６倍、サブフレームＱｔの画素値が、入力フレームＦｔの０．４倍であることを意味する。尚、サブフレームＰｔは、サブフレームＱｔの前に再生されるサブフレームである。また、本形態では、分配比率を、サブフレームＱと入力フレームＦとの画素値の比に基づいて表わす。すなわち、例えば、入力フレームＦｔの分配比率が７：３の場合、サブフレームＰｔは入力フレームＦｔの０．７倍の画素値、サブフレームＱｔは入力フレームＦｔの０．３倍の画素値となるが、このときの分配比率を０．３と表わす。同様に、例えば、分配比率が９：１の場合は分配比率が０．１、分配比率が６：４の場合は分配比率が０．４であるというように分配比率を表わす。

また、本実施形態では、サブフレームＰのほうが、サブフレームＱよりも画素値が高くなるように、サブフレームの分配比率を決定する。従って、分配比率がとる値の範囲は、０．０から０．５となる。ただし、分配比率をより細かく決定するようにしても良いし、サブフレームＱのほうがサブフレームＰよりも画素値が高くなるように分配比率を決定するようにしても良い。

また、上述のように、本実施形態の動画像処理装置は、フレームレートが６０フレーム／秒から、１２０フレーム／秒になるように、入力フレームから２つの出力フレーム（サブフレームＰ、Ｑ）を生成する。

また、分配比率算出部１０１は、各入力フレーム間で検出される動き量に基づいて分配比率Ｒ´を算出する。つまり、分配比率算出部１０１は、入力フレームＦｔと入力フレームＦｔ＋１との差分を取ることによって、入力フレームＦｔにおける動き領域、及び、動き領域の動き量を検出する。そして、検出された動き量が大きい場合は、生成される複数のサブフレーム（Ｐ、Ｑ）の画素値の差が大きくなるように、入力フレームＦｔの分配比率Ｒ´ｔを算出する。

このように、動き量に応じて分配比率を算出するのは以下の理由による。すなわち、入力フレームＦｔの動き量が大きい場合、サブフレームＰｔとＱｔの画素値の差が小さいと、動きボケが目立ってしまう可能性が高い。これに対し、入力フレーム間の動き量が大きくても、サブフレームＰｔに対してサブフレームＱｔの画素値が十分に低ければ、サブフレームＱｔを表示させることによって生じる動きボケが目立たなくなる可能性が高い。そこで、本実施形態の分配比率算出部１０１は、動き量が大きいほど、サブフレームＰｔ、Ｑｔの画素値の差が大きくなるように、入力フレームＦｔの分配比率Ｒ´ｔを算出する。尚、本形態において、サブフレームＰｔとサブフレームＱｔの画素値の差が最も大きくなる分配比率は１０：０（０．０）である。

また、動き量の取得方法は、差分値による方法に限らず、例えば、動きベクトル情報のような動き情報から求めるようにしても良い。分配比率算出部１０１は、算出した分配比率Ｒ´ｔを分配比率補正部１０２に出力する。

分配比率補正部１０２は、分配比率算出部１０１から出力された分配比率Ｒ´ｔを、これまでの分配比率に応じて補正する。つまり、分配比率補正部１０２は、例えば、入力フレームＦｔの分配比率Ｒ´ｔを、入力フレームＦｔ−１の分配比率Ｒｔ−１に応じて補正する。ここで、分配比率補正部１０２による補正後の分配比率をＲｔとする。また、分配比率Ｒｔ−１は、入力フレームＦｔと、その前に入力された入力フレームＦｔ−１とに基づいて算出された分配比率Ｒ´ｔ−１を、分配比率補正部１０２が補正した分配比率である。分配比率補正部１０２は、入力フレームＦｔの分配比率Ｒｔと、過去の入力フレームに対して決定された分配比率の差分が、所定範囲内となるように、算出された分配比率Ｒ´ｔを補正する。分配比率補正部１０２による分配比率の補正処理の詳細は、図３を用いて後述する。分配比率補正部１０２は、補正した分配比率Ｒｔを、分配比率保存部１０３、及び、分配処理部１０４に出力する。動画像入力装置から入力された最初の入力フレームの分配比率は、分配比率算出部１０１の出力を、補正せずに、分配処理部１０４に出力すればよい。

分配比率保存部１０３は、これまでに入力された入力フレームの補正後の分配比率Ｒを保存する。また、分配比率保存部１０３は、保存されている分配比率Ｒを分配比率補正部１０２に出力する。

分配処理部１０４は、入力フレームの画素値と補正後の分配比率とに応じて、サブフレームＱを生成する。つまり、例えば、入力フレームＦｔの補正後の分配比率が７：３（０．３）であった場合、入力フレームＦｔの画素値を０．３倍することによってサブフレームＱｔを生成する。分配処理部１０４は、生成されたサブフレームＱのデータを切替器１０６を介して出力する。

差分処理部１０５は、サブフレームＱと入力フレームＦとに基づいてサブフレームＰを生成する。つまり、例えば、入力フレームＦｔの補正後の分配比率が７：３（０．３）であった場合、入力フレームＦｔと、サブフレームＱｔとの差分を取ることによってサブフレームＰｔを生成する。上述のように、サブフレームＱｔは、分配処理部１０４が、入力フレームＦｔの画素値を０．３倍することによって生成される。サブフレームＰは、入力フレームＦｔを０．７倍することにより生成してもよい。分配処理部１０４は、得られたサブフレームＰのデータを切替器１０６を介して出力する。

即ち、分配処理部１０４、及び差分処理部１０５は、第１の入力フレーム（入力フレームＦｔ−１）から第１の出力フレーム（サブフレームＰｔ−１）及び第２の出力フレーム（サブフレームＱｔ−１）を第１の分配比率（Ｒｔ−１）に基づいて生成する。また、分配処理部１０４、及び差分処理部１０５は、第２の入力フレーム（入力フレームＦｔ）から第３の出力フレーム（サブフレームＰｔ）、及び第４の出力フレーム（サブフレームＱｔ）を第２の分配比率（Ｒｔ）に基づいて生成する。

切替器１０６は、サブフレームＰとサブフレームＱとが順次出力されるように、交互に出力を切り替える切替器である。尚、上述のように、入力フレームＦｔから生成されるサブフレームは、サブフレームＰｔ、サブフレームＱｔの順に出力される。また、サブフレームＱｔの次は、入力フレームＦｔ＋１から生成されるサブフレームＰｔ＋１、サブフレームＱｔ＋１が順次、出力される。

また、本実施形態において、１つの入力フレームから生成される複数のサブフレームの画素値を合計すると、入力フレームの画素値に一致する。つまり、例えば、サブフレームＰｔとサブフレームＱｔの画素値を足し合わせると、入力フレームＦｔと一致する。ただし、例えば、差分処理部１０５に信号を変換する機能を持たせることなどにより、サブフレームの信号値の合計と入力フレームの信号値が一致しないようにすることも可能である。

次に、本実施形態の処理の概要について、図２を用いて説明する。

図２は、本実施形態の動画像処理装置が行う処理を示すフローチャートである。

尚、本形態では、図１に示した各部をハードウェアによって構成した場合の処理の流れを説明する。ただし、動画像処理装置全体を制御するＣＰＵが、本実施形態に係るプログラムを記憶媒体から適宜ＲＡＭに読み出して実行することによって、図２に示す処理を実現することも可能である。

図２の処理は、例えば、デジタルテレビ等の表示装置の電源を入れたことにより開始される。あるいは、表示装置において、倍速駆動を実行するモードが設定されたことに応じて行うようにしても良い。

ステップｆ１０１（入力手順）において、分配比率算出部１０１は、動画像入力装置から複数の入力フレームを入力する。ここでは、入力フレームＦｔとＦｔ＋１が入力されたものとする。ただし、３つ以上の入力フレームを入力するようにしても良い。分配比率算出部１０１が複数の入力フレームを入力すると、ステップｆ１０２に進む。

ステップｆ１０２において、分配比率算出部１０１は、ステップｆ１０１で受信された複数の入力フレーム（Ｆｔ、Ｆｔ＋１）から分配比率Ｒ´ｔを算出する。上述のように、分配比率算出部１０１は、入力フレームＦｔ、及びＦｔ＋１の差分から検出される、入力フレームＦｔ内の動き量に応じて、入力フレームＦｔの分配比率Ｒ´ｔを算出する。

尚、ステップｆ１０２で、分配比率算出部１０１は、第２の入力フレーム（Ｆｔ）に続く第３の入力フレーム（Ｆｔ＋１）と第２の入力フレームの差分によって検出された動き領域の移動量に基づいて、第２の入力フレーム内の画像の動きを決定する。ただし、フレーム内の画像の動きは、そのフレームの次のフレーム、あるいは、前のフレーム、前後両方のフレームから検出してもよい。また、動き量は、例えば動きベクトル情報などの動き情報から取得するようにしても良い。この場合、ステップｆ１０１において複数の入力フレームを受信しなくても良い。分配比率算出部１０１が算出した入力フレームＦｔの分配比率Ｒ´ｔを分配比率補正部１０２に出力すると、ステップｆ１０３に進む。

ステップｆ１０３（決定手順）において、分配比率補正部１０２は、分配比率算出部１０１から出力された入力フレームＦｔの分配比率Ｒ´ｔを、過去の分配比率に応じて補正し、入力フレームＦｔの分配比率Ｒｔを決定する。つまり、分配比率補正部１０２は、入力フレームＦｔの分配比率Ｒｔと、過去の入力フレームに対して決定された分配比率の差分が、所定範囲内となるように、算出された分配比率Ｒ´ｔを補正する。即ち、分配比率補正部１０２は、ステップｆ１０３において、第２の入力フレーム（入力フレームＦｔ）から対応する第３の出力フレーム（サブフレームＰｔ）、及び第４の出力フレーム（サブフレームＱｔ）を生成するための分配比率Ｒｔを決定する。また、分配比率補正部１０２は、これまでに、第１の入力フレーム（入力フレームＦｔ−１）から対応する第１の出力フレーム（サブフレームＰｔ−１）、及び、第２の出力フレーム（サブフレームＱｔ−１）を生成するための分配比率Ｒｔ−１を決定している。また、分配比率補正部１０２は、第１及び第２の出力フレーム（サブフレームＰｔ−１、Ｑｔ−１）に対応する画像信号の比率、及び第２の入力フレーム（入力フレームＦｔ）内の画像の動きに応じて、第３、及び第４の出力フレーム（サブフレームＰｔ、Ｑｔ）に対応する画像信号の比率Ｒｔを決定する。そして、補正後の分配比率Ｒｔを分配比率保存部１０３、及び、分配処理部１０４に出力し、ステップｆ１０４に進む。分配比率補正部１０２による分配比率の補正処理の詳細は、図３を用いて後述する。

ステップｆ１０４（生成手順）において、分配処理部１０４は、入力フレームＦｔ、及び、分配比率補正部１０２から出力された分配比率Ｒｔに基づいて、サブフレームＱｔを生成する。つまり、分配処理部１０４は、例えば、入力フレームＦｔの補正後の分配比率Ｒｔが７：３（０．３）であった場合、入力フレームＦｔの画素値を０．３倍したものをサブフレームＱｔとする。分配処理部１０４は生成したサブフレームＱｔを、差分処理部１０５に出力する。また、分配処理部１０４によって生成されたサブフレームＱｔは、切替器１０６を介して外部に出力される。ここで、外部とは、例えば、ディスプレイ等の表示装置やハードディスクドライブのような記憶装置等がある。ただし、これらに限らない。分配処理部１０４がサブフレームＱｔを差分処理部１０５へ出力すると、ステップｆ１０５に進む。

ステップｆ１０５（生成手順）において、差分処理部１０５は、入力フレームＦｔ、及び、分配処理部１０４から出力されたサブフレームＱｔとに基づいて、サブフレームＰｔを生成する。つまり、差分処理部１０５は、入力フレームＦｔと、サブフレームＱｔとの差分を、サブフレームＰｔとして生成する。したがって、入力フレームＦｔの補正後の分配比率Ｒｔが例えば７：３（０．３）であった場合、入力フレームＦｔの画素値を０．７倍したものが、サブフレームＰｔとなる。差分処理部１０５によって生成されたサブフレームＰｔは、切替器１０６を介して外部に出力される。差分処理部１０５がサブフレームＰｔを生成すると、ステップｆ１０１に戻り、入力フレームｔ＋１、ｔ＋２に基づいて、入力フレームｔ＋１の分配比率の決定、及び、サブフレームＰｔ＋１、Ｑｔ＋１の生成、出力を行う。

＜分配比率の補正処理＞
次に、分配比率の補正処理について、図３を用いて説明する。

図３は、分配比率補正部１０２が行う、分配比率Ｒ´の補正処理を示すフローチャートである。尚、図３の処理は、図２のステップｆ１０３の処理に対応する。また、本実施形態では、入力フレームＦｔの分配比率Ｒ´ｔを補正する場合について説明する。また、上述のように、本形態では、分配比率を、サブフレームＱと入力フレームＦとの画素値の比に基づいて表わす。すなわち、例えば、入力フレームＦｔの分配比率が７：３の場合、サブフレームＰｔは入力フレームＦｔの０．７倍の画素値、サブフレームＱｔは入力フレームＦｔの０．３倍の画素値となるが、このときの分配比率を０．３と表わす。

また、本実施形態では、サブフレームＰが、サブフレームＱよりも画素値が高くなるように、サブフレームの分配比率を決定する。また、本形態では、分配比率が０．１よりも０．２のほうが、より分配比率が高いと表現する。つまり、分配比率が高い場合、サブフレームＰの画素値とサブフレームＱの画素値が近くなる。

ステップｆ２００において、分配比率補正部１０２は、分配比率算出部１０１から、入力フレームＦｔの分配比率Ｒ´ｔを取得する。また、分配比率補正部１０２は、分配比率保存部１０３から過去の分配比率Ｒｔ−１を取得する。ここで、分配比率Ｒｔ−１は、入力フレームＦｔの前に入力された入力フレームＦｔ−１の、分配比率補正部１０２による補正後の分配比率である。すなわち、分配比率保存部１０３には、実際に再生されるサブフレームの生成に用いられた分配比率のデータが保存されている。

尚、本実施形態では、入力フレームＦｔ−１の補正後の分配比率のみを取得するが、複数の過去の分配比率を取得しても良い。つまり、例えば、入力フレームＦｔ−２の分配比率Ｒｔ−２や、入力フレームＦｔ−３の分配比率Ｒｔ−３も、あわせて取得するようにしても良い。分配比率補正部１０２が分配比率Ｒ´ｔと過去の分配比率Ｒｔ−１を取得すると、ステップｆ２０１に進む。

ステップｆ２０１において、分配比率補正部１０２は、過去の分配比率Ｒｐａｓｔを算出する。本形態では、ステップｆ２００において、入力フレームＦｔ−１の分配比率Ｒｔ−１のみを取得しているので、Ｒｐａｓｔは、Ｒｔ−１と同値となる。ただし、複数の入力フレームの分配比率を取得している場合、各分配比率に、入力フレームＦｔとの再生順序の近さに応じた重み付けをしてＲｐａｓｔを求める。つまり、例えば、ステップｆ２０１に示したａ１，，，ａｎの値の合計が１となるように、各ａの値を設定し、Ｒｐａｓｔを求める。分配比率補正部１０２が過去の分配比率Ｒｐａｓｔを算出すると、ステップｆ２０２に進む。

ステップｆ２０２において、分配比率補正部１０２は、分配比率Ｒ´ｔ、過去の分配比率Ｒｐａｓｔ、許容変化時間ＴＨＴ、及び仮の許容変化量ＴＨＬ´を用いて、分配比率の許容変化量ＴＨＬｔを算出する。以下、分配比率の許容変化量ＴＨＬｔの算出方法について説明する。なお、許容変化時間ＴＨＴは、予め設定された値（例えば、２フレーム時間）を有する。

まず、分配比率補正部１０２は、算出された分配比率Ｒ´ｔと過去の分配比率Ｒｐａｓｔとの差の絶対値を算出する。これにより、動き量に応じて算出された分配比率Ｒ´ｔと、過去の入力フレームの分配比率Ｒｐａｓｔとの差がわかる。そして、その差を仮の許容変化量ＴＨＬ´で除算することによって、分配比率Ｒ´ｔと分配比率Ｒｐａｓｔの差を埋めるために必要な最小のフレーム数がわかる。つまり、例えば、動き量に応じて算出された入力フレームＦｔの分配比率Ｒ´ｔが０．５であり、過去の入力フレームの分配比率Ｒｐａｓｔが０．２であった場合、その差の絶対値は、０．３となる。そして、仮の許容変化量ＴＨＬ´が０．１であった場合、この許容変化量ＴＨＬ´に従えば、入力フレームＦｔの分配比率は０．１〜０．３の範囲に収める必要がある。つまり、入力フレームＦｔの分配比率Ｒｔは、過去の入力フレームの分配比率Ｒｐａｓｔ（０．２）よりも０．１大きい値（０．３）と、０．１小さい値（０．１）の範囲内に収める必要がある。また、過去のフレームの分配比率Ｒｐａｓｔを、仮の許容変化量ＴＨＴ´（０．１）ずつ増やしていくと、３入力フレーム後（入力フレームＦｔ＋２）の分配比率が、算出された分配比率Ｒ´ｔに到達することがわかる。このようにして算出された最小のフレーム数から、許容変化時間ＴＨＴに対応するフレーム数を差し引くことによって、許容変化時間内に、算出された分配比率Ｒｔに到達するか判定することができる。例えば、上記の例において、許容変化時間ＴＨＴが２フレーム時間であった場合、許容変化時間内に分配比率Ｒ´ｔに到達しないと判定される。

このような場合、分配比率補正部１０２は、ＬＵＴ（Ｌｏｏｋ Ｕｐ Ｔａｂｌｅ）を参照することによって、許容変化量ＴＨＬを決定する。つまり、ＬＵＴは、仮の許容変化量ＴＨＬ´で分配比率を変化させていけば、許容変化時間ＴＨＴ内に分配比率Ｒ´ｔに到達する場合は、「１」を出力する。つまり、仮の許容変化量ＴＨＬ´をそのまま許容変化量ＴＨＬとする。一方、仮の許容変化量ＴＨＬ´が示す範囲内で分配比率を変化させると、許容変化時間ＴＨＴ以内に、分配比率Ｒ´ｔに達しない場合は、ＬＵＴは、１より大きいの値を出力する。許容変化量ＴＨＬは、仮の許容変化量にＬＵＴの出力値を掛け合わせた値にする。このようにすることにより、許容変化量ＴＨＬが、仮の許容変化量ＴＨＬ´よりも大きな値となる。つまり、本形態の分配比率補正部１０２は、ＬＵＴにより、許容変化量と許容変化時間のどちらを優先させるかを決定する。このように、ＬＵＴが１よりも大きい値を出力した場合、仮の許容変化量ＴＨＬ´は無視される。

尚、許容変化量と許容変化時間のうち、どちらを優先させるかは、ユーザによる設定に基づいて決めることができる。すなわち、例えば、分配比率の急激な変動による表示画面の明るさの変化を抑制する設定がされていた場合、許容変化時間ＴＨＴ内に分配比率Ｒ´ｔが実現しない場合であっても、「１」を出力するようにしても良い。このように、本形態の分配比率補正部１０２は、ＬＵＴにより、許容変化量と許容変化時間のどちらを優先させるかを決定する。分配比率補正部１０２が分配比率の許容変化量ＴＨＬｔを算出すると、ステップｆ２０３に進む。

ステップｆ２０３において、分配比率補正部１０２は、過去の分配比率Ｒｐａｓｔとステップｆ２０１で算出された許容変化量ＴＨＬｔの和と、分配比率算出部１０１によって算出された分配比率Ｒ´ｔを比較する。すなわち、分配比率補正部１０２は、分配比率Ｒ´ｔが、過去の分配比率Ｒｐａｓｔと変化許容量ＴＨＬｔとの和よりも高いか否かを判定する。分配比率Ｒ´ｔが分配比率Ｒｐａｓｔと変化許容量ＴＨＬｔとの和よりも高いと判定された場合はステップｆ２０５へ、分配比率Ｒ´ｔが分配比率Ｒｐａｓｔと変化許容量ＴＨＬｔとの和以下であると判定された場合はステップｆ２０４に進む。

ステップｆ２０５において、分配比率補正部１０２は、過去の分配比率Ｒｐａｓｔと変化許容量ＴＨＬｔとの和を、入力フレームＦｔの補正後の分配比率Ｒｔとする。つまり、分配比率算出部１０１によって算出された分配比率Ｒ´ｔが、過去の入力フレームの分配比率Ｒｐａｓｔと変化許容量ＴＨＬｔの和よりも高いと判定された場合、以下のように補正後の分配比率Ｒｔを決定する。すなわち、分配比率補正部１０２は、許容する変化量内において最も高い分配比率となるように、分配比率Ｒ´ｔを補正し、分配比率Ｒｔを決定する。分配比率Ｒｔを決定すると、ステップｆ２０８に進む。

ステップｆ２０４において、分配比率補正部１０２は、過去の分配比率Ｒｐａｓｔからステップｆ２０１で算出された許容変化量ＴＨＬｔを差し引いた値と、分配比率算出部１０１によって算出された分配比率Ｒ´ｔとを比較する。すなわち、分配比率補正部１０２は、分配比率Ｒ´ｔが、過去の分配比率Ｒｐａｓｔから変化許容量ＴＨＬｔを差し引いた値よりも低いか否かを判定する。分配比率Ｒ´ｔが分配比率Ｒｐａｓｔから変化許容量ＴＨＬｔを差し引いた値よりも低いと判定された場合はステップｆ２０５へ進む。一方、分配比率Ｒ´ｔが分配比率Ｒｐａｓｔから変化許容量ＴＨＬｔを差し引いた値以上であると判定された場合はステップｆ２０７に進む。

ステップｆ２０６において、分配比率補正部１０２は、過去の分配比率Ｒｐａｓｔから変化許容量ＴＨＬｔを差し引いた値を、入力フレームＦｔの補正後の分配比率Ｒｔとする。つまり、分配比率算出部１０１によって算出された分配比率Ｒ´ｔが、過去の入力フレームの分配比率Ｒｐａｓｔから変化許容量ＴＨＬｔを差し引いた値よりも低いと判定された場合、以下のように補正後の分配比率Ｒｔを決定する。すなわち、分配比率補正部１０２は、許容する変化量内において最も低い分配比率となるように、分配比率Ｒ´ｔを補正し、分配比率Ｒｔを決定する。補正後の分配比率Ｒｔを決定すると、ステップｆ２０８に進む。

ステップｆ２０７において、分配比率補正部１０２は、分配比率Ｒ´ｔを補正後の分配比率Ｒｔとして決定する。つまり、分配比率補正部１０２は、分配比率算出部１０１によって算出された分配比率Ｒ´ｔを補正しない。このように、本形態の分配比率補正部１０２は、分配比率算出部１０１によって算出された分配比率Ｒ´ｔが、過去の分配比率Ｒｐａｓｔの許容変化量の範囲内である場合、分配比率を補正しない。分配比率Ｒｔを決定するとステップｆ２０８に進む。

以上のように、ステップｆ２０４〜ｆ２０７において、分配比率補正部１０２は、第３の出力フレーム（サブフレームＰｔ）に対応する画像信号と第４の出力フレーム（サブフレームＱｔ）に対応する画像信号の比率（第２の比率）を以下のように決定する。つまり、分配比率補正部１０２は、第１の出力フレームに対応する画像信号と第２の出力フレームに対応する画像信号の比率（第１の比率）と、第２の比率との違いが、所定値以下となるように、分配比率Ｒｔを決定する。ここで、第１の出力フレームはサブフレームＰｔ−１に、第２の出力フレームはサブフレームＱｔ−１にそれぞれ対応する。

また、分配比率算出部１０１は、第１及び第２の出力フレーム（サブフレームＰｔ−１、Ｑｔ−１）に対応する画像信号の比率に基づいて、第３及び第４の出力フレーム（サブフレームＰｔ、Ｑｔ）に対応する画像信号の比率の許容範囲を設定する。本実施形態において、この許容範囲は、Ｒｐａｓｔ−ＴＨＬからＲｐａｓｔ＋ＴＨＬまでの範囲である。そして、分配比率補正部１０２は、設定された許容範囲と第２の入力フレーム（入力フレームＦｔ）内の画像の動きに応じて、第３及び第４の出力フレームに対応する画像信号の比率を算出する。

また、分配比率算出部１０１は、入力フレームＦｔ内の画像の動きが大きいほど、サブフレーム（Ｐｔ、Ｑｔ）の差分が大きくなるように、分配比率Ｒ´ｔを算出する。従って、分配比率補正部１０２によって決定される分配比率Ｒｔも、入力フレームＦｔ内の動きが小さい場合よりも大きい場合のほうが、サブフレーム（Ｐｔ、Ｑｔ）の差分が大きくなるように決定される。即ち、分配比率補正部１０２は、第２の入力フレーム（入力フレームＦｔ）内の画像の動きの大きさが第１の大きさの場合、第３の出力フレーム（サブフレームＰｔ）及び第４の出力フレーム（サブフレームＱｔ）の画像信号の分配比率を以下のように決定する。すなわち、第３及び第４の出力フレームの画像信号の差分が、第２の入力フレーム内の動きの大きさが第１の大きさよりも小さい第２の大きさの場合に決定される第３及び第４の出力フレームの画像信号の差分よりも大きくなるように決定する。尚、第３及び第４の出力フレームは、第２の入力フレーム（Ｆｔ）から生成されるサブフレームである。また、第４の出力フレーム（Ｑｔ）は、第３の出力フレーム（Ｐｔ）の後に再生される出力フレームである。

ステップｆ２０８において、分配比率補正部１０２は、決定された分配比率Ｒｔを分配比率保存部１０３、及び、分配処理部１０４に出力し、分配比率の補正処理を終了する。

上記のような処理により補正された分配比率Ｒに基づく分配比率の推移を図５、図６に示す。図５に示すように、補正後の分配比率は、１入力フレーム前の分配比率との変化量が変化許容量ＴＨＬ以下になっている。また、図６には、分配比率算出部１０１によって算出された分配比率Ｒ´ｔが、変化許容時間ＴＨＴで示されるフレーム数以内の入力フレームの分配比率となることが示されている。つまり、分配比率補正部１０２は、分配比率算出部１０１によって算出された分配比率Ｒ´ｔが、過去の分配比率からの変化許容量ＴＨＬの範囲を超えた場合でも、変化許容時間ＴＨＬ以内に、分配比率Ｒ´ｔが実現するように、段階的に分配比率を変更する。ただし、分配比率Ｒ´ｔと、変化許容量ＴＨＬによっては、どちらかの条件しか満たせない場合がある。その場合、分配比率補正部１０２は、ＬＵＴ（Ｌｏｏｋ Ｕｐ Ｔａｂｌｅ）によってどちらを優先的させるかを決定する。尚、ステップｆ２０２で説明したように、許容変化量と許容変化時間のうち、どちらを優先させるかは、ユーザによる設定に基づいて決めることができる。すなわち、例えば、分配比率の急激な変動による表示画面の明るさの変化を抑制する設定がされていた場合、許容変化時間ＴＨＴ内に分配比率Ｒ´ｔが実現しない場合であっても、１を出力するようにしても良い。つまり、ＬＵＴの出力の最大値を１にする。一方、許容変化時間を優先させる設定がなされていた場合は、許容変化時間内に分配比率Ｒ´ｔが実現するように、ＬＵＴの出力の最大値を１よりも大きな値にする。このように、本形態の分配比率補正部１０２は、ＬＵＴにより、許容変化量と許容変化時間のどちらを優先させるかを決定する。

また、図６のように分配比率を補正した場合の表示画面上における見た目の明るさの変化の例を図７に示す。同図に示すように、見た目の明るさの変化が許容変化量ＴＨＬ以下になっていることがわかる。一方、図１７のように、分配比率を補正しない場合では、分配比率が急激に変化した場合、その変化した時点において、明るさが急激に変化したと感じられる。なぜなら、視聴者は、再生順序が連続するサブフレームの輝度の合計値が高いほど、その画面が明るいと感じるからである。図１７の例においては、８枚目のサブフレームを表示するところまでは、分配比率の変化による画面の明るさの変化はない。しかし、９枚目のサブフレームを表示させたとき、８枚目と９枚目のサブフレームの輝度の合計値が、これまでの再生順序が連続するサブフレームの輝度の合計よりも高くなると、急激に画面が明るくなったと感じる。図１７のように分配比率を変更した場合における表示画面の明るさの変化の例を図１８に示す。

以上、分配比率をフレームごとに制御する場合について説明した。

＜領域ごとの分配比率決定処理＞
次に、分配比率をフレーム内の領域ごとに制御する場合について、図４を用いて説明する。

図４は領域単位で分配比率を制御する場合の分配比率補正部１０２の処理のフローチャートである。本形態において、分配比率補正部１０２は、分配比率算出部１０１から、入力フレームＦｔの領域ごとの分配比率［Ｒ´ｔ］を受け取り、補正後の分配比率［Ｒｔ］を分配比率保存部１０３、及び、分配処理部１０４に出力する。

図４の処理は、領域ごとに分配比率を設定するモードが指示されたことによって開始される。ただし、映像の再生開始と共に処理をはじめるようにしても良い。

ステップｆ３００において、分配比率補正部１０２は、分配比率算出部１０１から入力フレームＦｔの領域ごとの分配比率［Ｒ´ｔ］、及び、分配比率保存部１０３から過去の入力フレームＦｔ−１の領域ごとの分配比率［Ｒｔ−１］を受け取る。尚、過去の領域ごとの分配比率［Ｒｔ−１］は、補正後の分配比率である。また、本形態の分配比率算出部１０１は、領域ごとの分配比率［Ｒ´ｔ］の算出を、領域内の動き量に応じて算出する。すなわち、分配比率算出部１０１は、入力フレームＦｔ内の領域と入力フレームＦｔ＋１の対応する領域との差分を取ることによって、該領域内に動き領域があるか判断する。また、動き領域があると判断される場合は、動き領域における動き量を取得する。そして、その動き量に応じて、入力フレームＦｔ内の領域の分配比率を算出する。分配比率補正部１０２は、上記のようにして算出された入力フレームＦｔの領域ごとの分配比率［Ｒ´ｔ］を、分配比率算出部１０１から受け取る。

ステップｆ３０１において、分配比率補正部１０２は、過去の分配比率の平均値Ｒｐａｓｔａｖｅを算出する。つまり、まず、過去の分配比率として、複数の入力フレームの領域ごとの分配比率を用いる場合、図４のステップｆ３０１の上側に示した式のように、領域ごとの過去の分配比率［Ｒｐａｓｔ］を求める。［Ｒｐａｓｔ］は、入力フレームＦｔに再生時刻が近い入力フレームの分配比率ほど、重み付けが大きくなるように、ａの値を設定して求めるようにすることができる。ただし、本形態では、過去の分配比率として、入力フレームＦｔの１フレーム前に入力された入力フレームＦｔ−１の分配比率［Ｒｔ−１］を用いるため、［Ｒｔ−１］がそのまま［Ｒｐａｓｔ］となる。そして、ステップｆ３０１において、分配比率補正部１０２は、領域ごとの過去の分配比率［Ｒｐａｓｔ］の平均値からＲｐａｓｔａｖｅを求めて、ステップｆ３０２に進む。

ステップｆ３０２において、分配比率補正部１０２は、分配比率Ｒ´ｔａｖｅ、ステップｆ３０１で算出された過去の分配比率Ｒｐａｓｔａｖｅ、許容変化時間ＴＨＴ、及び仮の許容変化量ＴＨＬ´を用いて、分配比率の許容変化量ＴＨＬｔを算出する。尚、Ｒ´ｔａｖｅは、領域ごとに算出された分配比率［Ｒ´ｔ］の平均値である。また、分配比率補正部１０２は、許容変化量ＴＨＬを、ステップｆ２０２と同様に算出する。すなわち、まず、分配比率補正部１０２は、算出された分配比率Ｒ´ｔと過去の分配比率Ｒｐａｓｔａｖｅとの差の絶対値を算出する。そして、その差を仮の許容変化量ＴＨＬ´で除算し、分配比率Ｒ´ｔと分配比率Ｒｐａｓｔａｖｅの差を埋めるために必要な最小のフレーム数を算出する。そして、算出された最小のフレーム数と、許容変化時間ＴＨＴで示されるフレーム数の差を算出し、その値をＬＵＴの入力として、許容変化量ＴＨＬを決定する。分配比率補正部１０２が分配比率の許容変化量ＴＨＬｔを算出すると、ステップｆ３０３に進む。

ステップｆ３０３において、分配比率補正部１０２は、過去の分配比率 Ｒｐａｓｔａｖｅとステップｆ３０２で算出された許容変化量ＴＨＬの和と、入力フレームＦｔの分配比率の平均値Ｒ´ｔａｖｅを比較する。すなわち、分配比率補正部１０２は、分配比率の平均値Ｒ´ｔａｖｅが、領域ごとの過去の分配比率の平均値Ｒｐａｓｔａｖｅと変化許容量ＴＨＬとの和よりも高いか否かを判定する。ステップｆ３０３において、分配比率Ｒ´ｔａｖｅが、過去の分配比率Ｒｐａｓｔａｖｅと変化許容量ＴＨＬとの和よりも高いと判定された場合はステップｆ３０５へ進む。一方、分配比率Ｒ´ｔａｖｅが過去の分配比率Ｒｐａｓｔａｖｅと変化許容量ＴＨＬとの和以下であると判定された場合はステップｆ３０４に進む。

ステップｆ３０５において、分配比率補正部１０２は、領域ごとの過去の分配比率［Ｒｐａｓｔ］と変化許容量ＴＨＬとの和を、入力フレームＦｔの各領域の分配比率［Ｒｔ］とする。つまり、分配比率補正部１０２は、領域ごとに算出された入力フレームの分配比率の平均が、領域ごとの過去の分配比率の平均Ｒｐａｓｔａｖｅと変化許容量ＴＨＬとの和よりも高いと判定された場合、以下のように分配比率［Ｒｔ］を決定する。すなわち、分配比率補正部１０２は、フレームＦｔ内の各領域に対応する領域の過去の分配比率の許容する変化量内において、最も高い分配比率となるように、領域ごとの分配比率［Ｒｔ］を決定する。例えば、フレームＦｔ内のある領域（第１の領域）の補正後の分配比率Ｒｔ（１）が、許容する変化量内において最も高い分配比率となるように、Ｒ´ｔ（１）を補正する。分配比率補正部１０２は、フレームＦｔ内のすべての領域に対して分配比率Ｒ´ｔを補正し、分配比率［Ｒｔ］を決定すると、ステップｆ３０８に進む。

ステップｆ３０４において、分配比率補正部１０２は、過去の分配比率 Ｒｐａｓｔａｖｅから、ステップｆ３０２で算出された許容変化量ＴＨＬを差し引いた値と、算出された入力フレームＦｔの分配比率［Ｒ´ｔ］の平均値Ｒ´ｔａｖｅとを比較する。そして、分配比率Ｒ´ｔａｖｅが過去の分配比率Ｒｐａｓｔａｖｅから変化許容量ＴＨＬを差し引いた値よりも低いと判定された場合はステップｆ３０６へ進む。一方、分配比率Ｒ´ｔａｖｅが過去の分配比率Ｒｐａｓｔａｖｅから変化許容量ＴＨＬを差し引いた値以上であると判定された場合はステップｆ３０７に進む。

ステップｆ３０６において、分配比率補正部１０２は、領域ごとの過去の分配比率［Ｒｐａｓｔ］から変化許容量ＴＨＬを差し引いた値を、入力フレームＦｔの各領域の分配比率［Ｒｔ］とする。つまり、分配比率補正部１０２は、領域ごとに算出された入力フレームの分配比率の平均が、領域ごとの過去の分配比率の平均Ｒｐａｓｔａｖｅから変化許容量ＴＨＬを差し引いた値よりも低いと判定された場合、以下のように分配比率［Ｒｔ］を決定する。すなわち、分配比率補正部１０２は、入力フレームＦｔ内の各領域に対応する領域の過去の分配比率の変化許容内において、最も低い分配比率となるように、領域ごとの分配比率［Ｒｔ］を決定する。例えば、フレームＦｔ内のある領域（第１の領域）の補正後の分配比率Ｒｔ（１）が、許容する変化量内において最も低い分配比率となるように、Ｒ´ｔ（１）を補正する。分配比率補正部１０２は、フレームＦｔ内のすべての領域に対して分配比率Ｒ´ｔを補正し、分配比率［Ｒｔ］を決定すると、ステップｆ３０８に進む。

ステップｆ３０７において、分配比率補正部１０２は、分配比率［Ｒ´ｔ］を補正後の分配比率［Ｒｔ］とする。つまり、分配比率補正部１０２は、分配比率算出部１０１によって算出された分配比率［Ｒ´ｔ］を補正しない。このように、本形態の分配比率補正部１０２は、分配比率算出部１０１によって領域ごとに算出された分配比率［Ｒ´ｔ］の平均が、領域ごとの過去の分配比率の平均Ｒｐａｓｔａｖｅの許容変化量の範囲内である場合、分配比率を［Ｒ´ｔ］と決定する。分配比率補正部１０２が分配比率［Ｒｔ］を決定するとステップｆ３０８に進む。

このように、分配比率補正部１０２は、過去に入力された入力フレーム（例えば、入力フレームＦｔ−１）の分配比率を領域ごとに決定している。そして、分配比率補正部１０２は、決定されている領域ごとの分配比率［Ｒｔ−１］に応じて、入力フレームＦｔの領域ごとの分配比率［Ｒｔ］を決定する（ステップｆ３０３〜ｆ３０７）。即ち、分配比率補正部１０２は、第１及び第２の出力フレーム（サブフレームＰｔ−１、Ｑｔ−１）の分配比率を領域ごとに決定する。そして、領域ごとに決定された分配比率に応じて、第３の出力フレーム（サブフレームＰｔ）に対応する画像信号と第４の出力フレーム（サブフレームＱｔ）に対応する画像信号の分配比率を領域ごとに決定する。

ステップｆ３０８において、分配比率補正部１０２は、決定された分配比率［Ｒｔ］を分配比率保存部１０３、及び、分配処理部１０４に出力し、入力フレームＦｔの分配比率の補正処理を終了する。

以上説明したように、本実施形態の動画像処理装置は、入力フレームの領域ごとに分配比率を決定する場合であっても、動き量に応じて算出された分配比率を先に入力された入力フレームの分配比率に応じて補正することができる。また、本形態では、領域ごとに算出された入力フレームの分配比率の平均値と、領域ごとに算出された過去の分配比率の平均値を用いて、分配比率の補正処理を行っている。このようにすることにより、領域ごとに算出された分配比率［Ｆ´ｔ］のそれぞれを、領域ごとの過去の分配比率［Ｒｐａｓｔ］を用いて補正するよりも、少ない計算量で行うことができる。ただし、入力フレームＦｔの領域ごとに、許容変化量を算出し、分配比率を補正するようにしても良い。このようにすれば、例えば、入力フレームＦｔ内に、動き量が大きく変化した領域と動き量の変化が小さい領域が存在する場合に、よりきめ細かく分配比率の制御を行うことができる。

また、図１に示す動画像処理装置にＬＰＦ（ローパスフィルタ）１０８を追加してもよい。ＬＰＦ１０８は、映像信号の低周波成分のみを通過させるフィルタである。すなわち、ＬＰＦ１０８は、雑音となりやすい高周波数成分を除去する機能を果たす。ＬＰＦ１０８は、例えば、動画像入力装置と分配処理部１０４との間に設けられ、分配処理部１０４に入力される入力フレームの信号から高周波成分を除去する。このように構成した場合の、各サブフレームの出力は、図１６のようになる。また、ＬＰＦ１０８を設けない場合の各サブフレームの出力は、例えば図１４、図１５のようになる。尚、図１４は、図１５の例と比較して、入力フレームから生成される各サブフレームの画素値の違いが小さいため、擬似輪郭が目立ってしまっていることを示している。また、図１６は、図１５のサブフレームの分配比率に対して、さらにＬＰＦ１０８を設けた場合に出力されるサブフレームの例を示している。

図１６におけるサブフレームＱは、分配処理部１０４に入力される入力フレームから高周波成分が除去されたフレームデータと、補正後の分配比率Ｒとによって生成されたフレームとなる。したがって、サブフレームＱは、高周波成分が除去されたサブフレームとなる。また、サブフレームＰは、入力フレームＦと、サブフレームＱとの差分によって生成されたフレームとなる。したがって、サブフレームＰは、高周波成分がより強調されたサブフレームとなる。このように、サブフレームＱの高周波成分を除去することにより、倍速駆動において発生する擬似輪郭を目立たなくすることができる。

つまり、例えば、動き量に応じて算出された分配比率Ｒ´ｔが、過去の分配比率と、その許容変化量の和よりも高くなってしまう場合、分配比率Ｒ´ｔを補正すると共に、サブフレームＱの高周波成分を除去することができる。このようにすれば、見た目の明るさの変化を抑えつつ、倍速駆動で表示させる映像の画質を上げることができる。

＜実施形態２＞
次に実施形態２について、実施形態１との差異を中心に説明する。実施形態２では、入力フレームに応じて許容変化量を制御する形態について説明する。

図８は、本発明の実施形態２に係る動画像処理装置の主要部の構成を示すブロック図である。動画像処理装置は、分配比率算出部９０１と、許容量算出部９０７と、分配比率補正部９０２と分配比率保存部９０３と分配処理部９０４と差分処理部９０５と切替器９０６とを有する。尚、実施形態１と同様の部分については、説明を省略する。また、本実施形態も、実施形態１と同様に、入力フレームのフレームレート（６０フレーム／秒）を出力フレームのフレームレート（１２０フレーム／秒）に変換する場合について説明する。

許容量算出部９０７は、外部から入力される入力フレームＦｔ、及びＦｔ＋１に応じて、分配比率の変化許容量を算出する。許容量算出部９０７による変化許容量の算出方法について、図１１を用いて説明する。

図１１は、許容量算出部９０７の入出力の例である。例えば、図１１（ａ）に示すように、許容量算出部９０７は、複数の入力フレーム（入力フレームＦｔ、入力フレームＦｔ＋１）間の画素値の差分の合計値が大きいほど、許容変化量ＴＨＬが大きくなるように許容変化量ＴＨＬを算出する。ただし、画素値の差分の合計値に限らず、例えば、最大値や平均値を用いるようにしても良い。

また、図１１（ｂ）に示すように、許容量算出部９０７は、例えば、入力フレームＦｔと入力フレームＦｔ＋１の画像信号から、それぞれ空間周波数成分を算出する。そして、算出された空間周波数成分の差分の合計値が大きいほど、許容変化量ＴＨＬが大きくなるように許容変化量を算出する。ただし、合計値に限らず、例えば、最大値や平均値を用いるようにしても良い。

また、図１１（ｃ）に示すように、許容量算出部９０７は、例えば、入力フレームＦｔと入力フレームＦｔ＋１のそれぞれのヒストグラムで示される度数の差分の合計値が大きいほど、許容変化量ＴＨＬが大きくなるように、許容変化量を算出する。ただし、合計値に限らず、例えば、度数の差分の最大値や平均値を用いるようにしても良い。

つまり、複数の入力フレームの差分が大きいほど、表示画面全体で画像が変化している可能性が高い。また、このような場合、例えば、シーンチェンジが発生している可能性もある。このような、表示画面全体が変化している場合においては、画面の明るさの変化の感度が低くなる。つまり、表示画面内の動き領域の動き量が大きくても、表示画面全体が変化していない場合は、画面の明るさが急激に変化するとそのことが知覚されやすいが、表示画面全体の変化が大きい場合は、画面の明るさの変化が知覚されにくい。そこで、本実施形態の許容量算出部９０７は、フレーム間の差分が大きいほど、許容変化量ＴＨＬが大きくなるように、許容変化量ＴＨＬを算出する。

尚、図１１（ａ）のように、入力フレーム間の画素値の差分の大きさに応じて許容変化量ＴＨＬを算出するようにすれば、空間周波数成分やヒストグラムの差分を算出するよりも少ない計算量で許容変化量を算出することができる。また、入力フレーム間の空間周波数成分やヒストグラムの差分の大きさに応じて許容変化量ＴＨＬを算出するようにすれば、例えば、パン、チルト等によってゆっくりと画面が移動している場合に、許容変化量が大きく算出されてしまうことを防げる。また、画素の差分値、空間周波数成分の差分値、ヒストグラムの差分値のいずれかを用いて許容変化量を算出するようにしても、複数の差分情報を組み合わせて許容変化量を算出するようにしても良い。例えば、入力フレーム間の画素の差分値が大きい場合にのみ、空間周波数成分を比較するようにすれば、少ない計算量で、よりシーンチェンジ等の発生を精度良く推定することができる。

分配比率補正部９０２は、分配比率算出部９０１によって算出された分配比率Ｒ´ｔ、許容量算出部９０７によって算出された許容変化量ＴＨＬ、分配比率保存部９０３によって保存されている過去の分配比率Ｒｔ−１に基づいて、分配比率Ｒ´ｔを補正する。分配比率補正部９０２による分配比率の補正処理については、図１０を用いて後述する。

次に、本実施形態における動画像処理装置の処理の概要について図９を用いて説明する。

図９は、本実施形態における動画像処理装置の処理を示すフローチャートである。

尚、本形態では、図９に示す処理を、動画像処理装置全体を制御するＣＰＵが、本実施形態に係るプログラムを記憶媒体から適宜ＲＡＭに読み出して実行する場合について説明する。ただし、図８に示した各部をハードウェアによって構成し、本発明を実現することも可能である。

図９の処理は、例えば、デジタルテレビ等の表示装置の電源を入れたことにより開始される。あるいは、表示装置において、倍速駆動を実行するモードが設定されたことに応じて行うようにしても良い。

ステップｆ４０１において、分配比率算出部９０１は、複数の入力フレームを入力する。ここでは、入力フレームＦｔとＦｔ＋１が入力されるものとする。ただし、２つ以上の入力フレームが入力されるようにしても良い。分配比率算出部９０１が複数の入力フレームを入力すると、ステップｆ４０２に進む。

ステップｆ４０２において、分配比率算出部９０１は、ステップｆ４０１で入力された複数の入力フレーム（Ｆｔ、Ｆｔ＋１）から分配比率Ｒ´ｔを算出する。上述のように、分配比率算出部９０１は、入力フレームＦｔ、及びＦｔ＋１の差分から、入力フレームＦｔ内の動き領域を検出する。そして、動き領域の動き量に応じて、入力フレームＦｔの分配比率Ｒ´ｔを算出する。ただし、動き量は、例えば動きベクトル情報などの動き情報から取得するようにしても良い。分配比率算出部９０１が算出した入力フレームＦｔの分配比率Ｒ´ｔを分配比率補正部９０２に出力すると、ステップｆ４０３に進む。

ステップｆ４０３において、許容量算出部９０７は、入力フレームＦｔ、及びＦｔ＋１から、図１１を用いて説明したような方法により、変化許容量ＴＨＬを算出する。許容量算出部９０７が算出した変化許容量ＴＨＬを分配比率補正部１０２に出力すると、ステップｆ４０４に進む。ただし、ステップｆ４０２とステップｆ４０３の処理の順序は、逆であっても、並行して行っても良い。

ステップｆ４０４において、分配比率補正部９０２は、分配比率算出部９０１から出力された入力フレームＦｔの分配比率Ｒ´ｔを、過去の分配比率Ｒｔ−１、及び、算出された変化許容量ＴＨＬに応じて補正する。そして、補正後の分配比率Ｒｔを分配比率保存部９０３、及び、分配処理部９０４に出力し、ステップｆ４０５に進む。分配比率補正部９０２による分配比率の補正処理の詳細は、図１０を用いて後述する。

ステップｆ４０５において、分配処理部９０４は、入力フレームＦｔ、及び、分配比率補正部９０２から出力された入力フレームＦｔの分配比率Ｒｔに基づいて、サブフレームＱｔを生成する。つまり、分配処理部１０４は、例えば、入力フレームＦｔの補正後の分配比率Ｒｔが７：３（０．３）であった場合、入力フレームＦｔの信号値を０．３倍したものをサブフレームＱｔとする。分配処理部９０４は算出したサブフレームＱｔを、差分処理部９０５に出力する。また、分配処理部９０４によって生成されたサブフレームＱｔは、切替器９０６を介して外部に出力される。分配処理部９０４がサブフレームＱｔを差分処理部９０５に出力すると、ステップｆ４０６に進む。

ステップｆ４０６において、差分処理部９０５は、入力フレームＦｔ、及び、分配処理部９０４から出力されたサブフレームＱｔとに基づいて、サブフレームＰｔを生成する。つまり、差分処理部１０５は、入力フレームＦｔと、サブフレームＱｔとの差分を、サブフレームＰｔとして生成する。したがって、入力フレームＦｔの補正後の分配比率が７：３（０．３）であった場合、入力フレームＦｔの画素値を０．７倍したものが、サブフレームＰｔとなる。差分処理部９０５によって生成されたサブフレームＰｔは、切替器９０６を介して外部に出力される。差分処理部９０５がサブフレームＰｔを生成すると、ステップｆ４０１に戻り、入力フレームｔ＋１、ｔ＋２に基づいて、入力フレームｔ＋１の分配比率の決定、及び、サブフレームの生成、出力を行う。

次に、本実施形態における分配比率の補正処理について図１０を用いて説明する。

図１０は、分配比率補正部９０２が行う、分配比率Ｒ´の補正処理を示すフローチャートである。

尚、図１０の処理は、図９のステップｆ４０４の処理に対応する。また、本実施形態では、入力フレームＦｔの分配比率Ｒ´ｔを補正する場合について説明する。また、本形態では、上述のように、分配比率を、サブフレームＱと入力フレームＦとの画素値の比に基づいて表わす。すなわち、例えば、入力フレームＦの分配比率が７：３の場合、サブフレームＰは入力フレームＦの０．７倍の画素値、サブフレームＱは入力フレームＦの０．３倍の画素値となるが、このときの分配比率を０．３と表わす。

ステップｆ５００において、分配比率補正部９０２は、分配比率算出部９０１から、入力フレームＦｔの分配比率Ｒ´ｔを取得する。また、分配比率補正部９０２は、分配比率保存部１０３から過去の分配比率Ｒｔ−１を取得する。ここで、分配比率Ｒｔ−１は、入力フレームＦｔの前に入力された入力フレームＦｔ−１の、分配比率補正部９０２による補正後の分配比率である。本形態では、過去の分配比率として、入力フレームＦｔ−１の補正後の分配比率を用いるが、過去の複数の入力フレームの補正後の分配比率を用いるようにしても良い。また、分配比率補正部９０２は、ステップｆ５００において、許容量算出部９０７から入力フレームＦｔの変化許容量ＴＨＬを取得する。許容量算出部９０７による許容変化量ＴＨＬの算出方法は、図１１を用いて説明した通りである。分配比率補正部９０２が分配比率Ｒ´ｔ、過去の分配比率Ｒｔ−１、変化許容量ＴＨＬを取得すると、ステップｆ５０１に進む。

ステップｆ５０１において、分配比率補正部９０２は、過去の分配比率Ｒｐａｓｔを算出する。本形態では、入力フレームＦｔ−１の分配比率のみを用いるので、Ｒｐａｓｔは、Ｒｔ−１と同値となる。ただし、複数の入力フレームの補正後の分配比率を用いる場合、その分配比率に、入力フレームＦｔとの再生順序の近さに応じた重み付けをしてＲｐａｓｔを求めるようにしても良い。分配比率補正部９０２が過去の分配比率Ｒｐａｓｔを算出すると、ステップｆ５０２に進む。

ステップｆ５０２において、分配比率補正部９０２は、過去の分配比率Ｒｐａｓｔとステップｆ５００で算出された許容変化量ＴＨＬの和と、分配比率算出部９０１によって算出された分配比率Ｒ´ｔを比較する。すなわち、分配比率補正部９０２は、分配比率Ｒ´ｔが、過去の分配比率Ｒｐａｓｔと変化許容量ＴＨＬとの和よりも高いか否かを判定する。分配比率Ｒ´ｔが分配比率Ｒｐａｓｔと変化許容量ＴＨＬとの和よりも高いと判定された場合はステップｆ５０４へ、分配比率Ｒ´ｔが分配比率Ｒｔ−１と変化許容量ＴＨＬとの和以下であると判定された場合はステップｆ５０３に進む。

ステップｆ５０３において、分配比率補正部９０２は、過去の分配比率Ｒｐａｓｔと変化許容量ＴＨＬとの和を、入力フレームＦｔの補正後の分配比率Ｒｔとする。つまり、ステップｆ５０３において、分配比率算出部９０１によって算出された分配比率Ｒ´ｔが、過去の入力フレームの分配比率Ｒｐａｓｔと変化許容量ＴＨＬの和よりも高いと判定された場合、以下のように補正後の分配比率Ｒｔを決定する。すなわち、分配比率補正部９０２は、許容する変化量内において最も高い分配比率となるように、分配比率Ｒ´ｔを補正し、分配比率Ｒｔを決定する。補正後の分配比率Ｒｔを決定すると、ステップｆ５０７に進む。

ステップｆ５０４において、分配比率補正部９０２は、過去の分配比率Ｒｐａｓｔからステップｆ５０１で算出された許容変化量ＴＨＬを差し引いた値と、分配比率算出部９０１によって算出された分配比率Ｒ´ｔとを比較する。すなわち、分配比率補正部９０２は、分配比率Ｒ´ｔが、過去の分配比率Ｒｔ−１から変化許容量ＴＨＬを差し引いた値よりも低いか否かを判定する。分配比率Ｒ´ｔが分配比率Ｒｐａｓｔから変化許容量ＴＨＬを差し引いた値よりも低いと判定された場合はステップｆ５０５へ進む。一方、分配比率Ｒ´ｔが分配比率Ｒｐａｓｔから変化許容量ＴＨＬを差し引いた値以上であると判定された場合はステップｆ５０６に進む。

ステップｆ５０５において、分配比率補正部９０２は、過去の分配比率Ｒｐａｓｔから変化許容量ＴＨＬを差し引いた値を、入力フレームＦｔの補正後の分配比率Ｒｔとする。つまり、ステップｆ５０３において、分配比率算出部９０１によって算出された分配比率Ｒ´ｔが、過去の入力フレームの分配比率Ｒｐａｓｔから変化許容量ＴＨＬを差し引いた値よりも低いと判定された場合、以下のように補正後の分配比率Ｒｔを決定する。すなわち、分配比率補正部９０２は、許容する変化量内において最も低い分配比率となるように、分配比率Ｒ´ｔを補正し、分配比率Ｒｔを決定する。補正後の分配比率Ｒｔを決定すると、ステップｆ５０７に進む。

ステップｆ５０６において、分配比率補正部９０２は、分配比率Ｒ´ｔを補正後の分配比率Ｒｔとして分配比率を決定する。つまり、分配比率補正部９０２は、分配比率算出部９０１によって算出された分配比率Ｒ´ｔを補正しない。このように、本形態の分配比率補正部９０２は、分配比率算出部９０１によって算出された分配比率Ｒ´ｔが、過去の分配比率Ｒｐａｓｔの許容変化量の範囲内である場合、分配比率を補正しない。分配比率Ｒｔを決定するとステップｆ５０７に進む。

このように、分配比率補正部９０２は、入力フレームＦｔの分配比率Ｒｔが取り得る範囲（許容範囲）を設定している。本形態において、分配比率Ｒｔの許容範囲は、Ｒｐａｓｔ−ＴＨＬからＲｐａｓｔ＋ＴＨＬまでの範囲である。即ち、分配比率補正部９０２は、第１及び第２の入力フレームの差分、及び、第１及び第２の出力フレームに対応する画像信号の比率に基づいて、第３及び第４の出力フレームに対応する画像信号の比率の許容範囲を設定する。そして、分配比率補正部９０２は、設定された許容範囲、及び、第２の入力フレーム内の画像の動きに応じて、第３及び第４の出力フレームに対応する画像信号の比率を算出する（ステップｆ５０２〜ｆ５０６）。尚、上述のように、許容量算出部９０７は、入力フレームの差分が大きいほど、許容範囲が広くなるように、許容範囲を算出する。即ち、許容量算出部９０７は、第１及び第２の入力フレームの差分の大きさが第１の大きさの場合の許容範囲（第１の許容範囲）が、第１の大きさよりも小さい第２の大きさの場合の許容範囲（第２の許容範囲）よりも広くなるように許容範囲を設定する。

ステップｆ５０７において、分配比率補正部９０２は、取得された分配比率Ｒｔを分配比率保存部９０３、及び、分配処理部９０４に出力し、分配比率の補正処理を終了する。

以上説明したように、本実施形態の動画像処理装置は、入力フレームに応じて許容変化量を設定する。つまり、入力フレーム間の差分が小さい場合は過去の分配比率からの許容変化量が小さくなるように許容変化量を算出し、入力フレーム間の差分が大きい場合は許容変化量が大きくなるように許容変化量を算出する。このようにすることにより、映像内のオブジェクトに動きがない場合のような、明るさの変化が目立つ映像において、分配比率の変化を小さくすることができる。一方、映像内の変化が激しい場合や、シーンチェンジの場合のような、明るさの変化が目立ちにくい映像においては、分配比率の変化を大きくさせることができる。入力フレーム間の差分が小さい場合に出力されるサブフレームの例を図１２に示す。このように、入力フレーム間の差分が小さい場合は、分配比率が大きく変化しないようにしているため、表示画面の明るさの変化が抑制されている。一方、入力フレーム間の差分が大きい場合に出力されるサブフレームの例を図１３に示す。このように、入力フレーム間の差分が大きい場合は、分配比率を大きく変化できるようにしているため、入力フレームの動き量に応じた分配比率により近い分配比率でサブフレームを生成することができる。

なお、実施形態２の分配比率の補正方法を、領域毎の分配比率の設定に用いることも可能である。この場合、許容量算出部９０７は、入力フレームの領域ごとに、入力フレーム間の差分情報に基づいて変化許容量ＴＨＬを算出する。そして、分配比率補正部９０２は、算出された変化許容量と、入力フレームＦｔの各領域の分配比率［Ｒ´ｔ］に基づいて、領域ごとの分配比率［Ｒｔ］を決定する。また、ＬＰＦを付加することによる効果も、実施形態１と同様に得られる。

＜その他の実施形態＞
なお、本発明は、複数の機器から構成されるシステムの１部として適用しても、１つの機器からなる装置の１部に適用してもよい。

また、本発明は上記実施形態を実現するための装置及び方法のみに限定されるものではない。

例えば、上記システム又は装置内のコンピュータ（ＣＰＵ或いはＭＰＵ）に、上記実施形態を実現するためのソフトウェアのプログラムコードを供給するものも本発明の範疇に含まれる。また、このプログラムコードに従って上記システム或いは装置のコンピュータが上記各種デバイスを動作させることにより上記実施例を実現する場合も本発明の範疇に含まれる。

この場合、前記ソフトウェアのプログラムコード自体が上記実施形態の機能を実現することになる。即ち、そのプログラムコード自体、及びそのプログラムコードをコンピュータに供給するための手段、具体的には上記プログラムコードを格納した記憶媒体も本発明の範疇に含まれる。

この様なプログラムコードを格納する記憶媒体としては、例えばフロッピー（登録商標）ディスク、ハードディスク、光ディスク、光磁気ディスク、ＣＤ−ＲＯＭ、ＤＶＤ、磁気テープ、不揮発性のメモリカード、ＲＯＭ等を用いることができる。

また、本発明は上記プログラムコードのみに従って各種デバイスを制御することにより、上記実施形態の機能が実現される場合に限らない。例えば、上記プログラムコードがコンピュータ上で稼働しているＯＳ（オペレーティングシステム）、或いは他のアプリケーションソフト等と共同して上記実施形態が実現される場合も本発明の範疇に含まれる。

更に、コンピュータの機能拡張ボードに備わるメモリに格納された上記プログラムコードの指示に基づいて、その機能拡張ボードに備わるＣＰＵ等が実際の処理の一部または全部を行う場合なども本発明の範疇に含まれる。

実施形態１における動画像処理装置のブロック図 実施形態１における動画像処理装置が行う処理のフローチャート 実施形態１における分配比率補正部が行う処理のフローチャート 実施形態１における領域ごとに分配比率を設定する場合のフローチャート 補正後の分配比率に応じた出力の例（１） 補正後の分配比率に応じた出力の例（２） 補正後の分配比率に応じた出力を目視した際の画面の明るさの例 実施形態２における動画像処理装置のブロック図 実施形態２における動画像処理装置が行う処理のフローチャート 実施形態２における分配比率補正部が行う処理のフローチャート 実施形態２における許容量算出部の入出力例 実施形態２における補正後の分配比率に応じた出力を目視した際画面の明るさの例（１） 実施形態２における補正後の分配比率に応じた出力を目視した際の画面の明るさの例（２） 分配比率が５対５の場合の表示出力概要とそれを視覚により捉えた見え方の概要の一例を示す図 分配比率が９対１の場合の表示出力概要とそれを視覚により捉えた見え方の概要の一例を示す図 ＬＰＦを備えた構成における表示出力概要とそれを視覚により捉えた見え方の概要の一例を示す図 動き量に応じて決定された分配比率によるサブフレームの出力例 動き量に応じて決定された分配比率によるサブフレームの出力を目視した際の画面の明るさの例

符号の説明

１０１、９０１ 分配比率算出部
１０２、９０２ 分配比率補正部
１０３、９０３ 分配比率保存部
１０４、９０４ 分配処理部
１０５、９０５ 差分処理部
１０６、９０６ 切替器
９０７ 許容量算出部
１０８ ローパスフィルタ

Claims (6)

1. １つの入力フレームから複数の出力フレームを生成する動画像処理装置であって、
   第１の入力フレーム、及び前記第１の入力フレームに続く第２の入力フレームを入力する入力手段と、
   前記第１の入力フレームから対応する少なくとも第１及び第２の出力フレームを生成するために用いる分配比率であって前記第１の入力フレームの画素値を分配する所定の第１の分配比率、及び第２の入力フレームに続く第３の入力フレームと前記第２の入力フレームとの差分によって検出される第２の入力フレーム内の画像の動きに応じて、前記第２の入力フレームから対応する少なくとも第３及び第４の出力フレームを生成するために用いる分配比率であって前記第２の入力フレームの画素値を分配する第２の分配比率を決定する決定手段と、
   前記第１の入力フレームから前記第１及び第２の出力フレームを前記第１の分配比率に基づいて生成し、前記第２の入力フレームから前記第３及び第４の出力フレームを前記第２の分配比率に基づいて生成する生成手段と、
   を有し、
   前記決定手段は、前記第１の分配比率及び許容変化時間に基づいて、前記第２の分配比率の許容変化量を設定し、前記設定された許容変化量に収まるように、前記第２の分配比率を決定する
   ことを特徴とする動画像処理装置。
2. 前記決定手段は、前記第１の分配比率と、前記第２の分配比率の差が、所定値以下となるように、前記第２の分配比率を決定する
   ことを特徴とする請求項１記載の動画像処理装置。
3. 前記決定手段は、前記第２の入力フレーム内の画像の動きの大きさが第１の大きさの場合、前記第２の入力フレームから生成される出力フレームのうち、前記第２の入力フレームから前記第３の出力フレームへの分配量と前記第４の出力フレームへの分配量の差が、前記動きの大きさが前記第１の大きさよりも小さい第２の大きさの場合の前記第２の入力フレームから前記第３の出力フレームの分配量と前記第４の出力フレームの分配量の差よりも大きくなるように、前記第２の分配比率を決定する
   ことを特徴とする請求項１記載の動画像処理装置。
4. 前記決定手段は、
   前記第１及び第２の入力フレームの差分の大きさが第１の大きさであった場合の第１の許容変化量が、
   前記第１及び第２の入力フレームの差分の大きさが前記第１の大きさよりも小さい第２の大きさであった場合の第２の許容変化量よりも広くなるように、前記許容変化量を設定することを特徴とする請求項１記載の動画像処理装置。
5. １つの入力フレームから複数の出力フレームを生成する動画像処理装置が行う動画像処理方法であって、
   第１の入力フレーム、及び前記第１の入力フレームに続く第２の入力フレームを入力する入力工程と、
   前記第１の入力フレームから対応する少なくとも第１及び第２の出力フレームを生成するために用いる分配比率であって前記第１の入力フレームの画素値を分配する所定の第１の分配比率、及び第２の入力フレームに続く第３の入力フレームと前記第２の入力フレームとの差分によって検出される第２の入力フレーム内の画像の動きに応じて、前記第２の入力フレームから対応する少なくとも第３及び第４の出力フレームを生成するために用いる分配比率であって前記第２の入力フレームの画素値を分配する第２の分配比率を決定する決定工程と、
   前記第１の入力フレームから前記第１及び第２の出力フレームを前記第１の分配比率に基づいて生成し、
   前記第２の入力フレームから前記第３及び第４の出力フレームを前記第２の分配比率に基づいて生成する生成工程と
   を有し、
   前記決定工程は、前記第１の分配比率及び許容変化時間に基づいて、前記第２の分配比率の許容変化量を設定し、前記設定された許容変化量に収まるように、前記第２の分配比率を決定する
   ことを特徴とする動画像処理方法。
6. １つの入力フレームから複数の出力フレームを生成するコンピュータに、
   第１の入力フレーム、及び前記第１の入力フレームに続く第２の入力フレームを入力する入力手順と、
   前記第１の入力フレームから対応する少なくとも第１及び第２の出力フレームを生成するために用いる分配比率であって前記第１の入力フレームの画素値を分配する所定の第１の分配比率、及び第２の入力フレームに続く第３の入力フレームと前記第２の入力フレームとの差分によって検出される第２の入力フレーム内の画像の動きに応じて、前記第２の入力フレームから対応する少なくとも第３及び第４の出力フレームを生成するために用いる分配比率であって前記第２の入力フレームの画素値を分配する第２の分配比率を決定する決定手順と、
   前記第１の入力フレームから前記第１及び第２の出力フレームを前記第１の分配比率に基づいて生成し、
   前記第２の入力フレームから前記第３及び第４の出力フレームを前記第２の分配比率に基づいて生成する生成手順と、
   を実行させ、
   前記決定手順は、前記第１の分配比率及び許容変化時間に基づいて、前記第２の分配比率の許容変化量を設定し、前記設定された許容変化量に収まるように、前記第２の分配比率を決定する
   ことを特徴とするプログラム。

Images