JP5107179B2

JP5107179B2 - フレームレート変換装置、映像変換装置、制御プログラム、コンピュータ読み取り可能な記録媒体およびフレームレート変換方法

Info

Publication number: JP5107179B2
Application number: JP2008220244A
Authority: JP
Inventors: 直治和泉; 理朗向井; 良一栗原
Original assignee: Sharp Corp
Current assignee: Sharp Corp
Priority date: 2008-08-28
Filing date: 2008-08-28
Publication date: 2012-12-26
Anticipated expiration: 2028-08-28
Also published as: JP2010056943A

Description

本発明は、フレームレート変換を行うフレームレート変換装置、映像変換装置、制御プログラム、コンピュータ読み取り可能な記録媒体およびフレームレート変換方法に関する。

従来、種々の映像ソースをプログレッシブ変換したり、フレームレート変換したりする技術が広く用いられている。また、字幕情報を映像信号に付加しテレビジョン（以降、ＴＶと称する）受像機等において表示する技術も知られている。以下その特性について順に説明する。

〔プログレッシブ変換〕
一般的なテレビジョン放送には、毎秒３０フレーム（６０フィールド)の映像信号が用いられる。

一方、一般的に、映画フィルムは、毎秒２４コマ（フレーム）で記録され、また、ＣＧ映像等は、毎秒３０コマで記録される。このため、これらの映像をテレビジョン放送に利用するためには、２４コマ／秒で記録された映像および３０コマ／秒の映像から、３０フレーム（６０フィールド)／秒の映像信号を生成する処理が必要になる。このような処理はプルダウン処理と呼ばれている。プルダウン処理としては、３２プルダウン方式や、２２プルダウン方式等が知られている。

３２プルダウン方式は、２４コマ／秒で記録された映像の２コマから、５フレーム分の映像信号を生成する方式である。また、２２プルダウン方式は、３０コマ／秒で記録された映像の１コマから、２フレーム分の映像信号を生成する方式である。以降、このようなプルダウン処理によって生成された映像信号をプルダウン信号と呼称し、テレビカメラ等により作成されたビデオ信号（標準テレビジョン信号）と区別する。

また、テレビジョン（以降、ＴＶと称する）放送で用いられる映像信号フォーマットには、インタレース（飛び越し走査）方式とノンインタレース（順次走査）方式とがある。

インタレース方式は、奇数フィールドの走査と、偶数フィールドの走査とに分けて、２回の走査で１フレームを走査し、映像信号を再生する方式である。奇数フィールド、偶数フィールド各々の走査では、ＴＶ受像機の画面が備える走査線の奇数番目、偶数番目の走査が行われる。

一方、ノンインタレース方式とは、１フレームを順次走査し、１回の走査で映像信号の再生を行う方式である。また、このノンインタレース方式は、プログレッシブ方式とも呼ばれる。

近年では、ＴＶ受像機が大画面化・高画質化しており、インタレース方式の映像信号をそのままＴＶ受像機に表示すると走査線が目立ってしまう。また、ＰＣ（Personal Computer）の表示装置としての利用も増えてきている。このような理由から、インタレースの映像信号をＴＶ受像機に表示する際にノンインタレースの映像信号に変換する、いわゆるプログレッシブ変換を行うことが多い。インタレースの映像信号を、ノンインタレースの映像信号に変換する場合のプログレッシブ変換は、とくにＩＰ（インタレースプログレッシブ）変換と呼ばれる。

ここで、ＩＰ変換の一例について説明すると次のとおりである。まず、各フィールド内の映像信号において、各々の走査線上の映像信号を一つ下の走査線にコピーしてプログレッシブ方式の映像信号を得る変換がある。また、連続した奇数フィールドおよび偶数フィールドの映像信号を蓄積し、これらの映像信号を重ね合わせることでプログレッシブ方式の映像信号を得る変換がある。しかし、これらの変換では、画像の垂直方向の解像度が低下する。

２４コマ／秒の映像および３０コマ／秒の映像からプログレッシブ方式の映像信号を生成することもしばしば行われる。２４コマ／秒の映像および３０コマ／秒の映像からプログレッシブ変換する場合、良好な画質を得るために、前述のＩＰ変換のような処理ではなく、３２プルダウン処理、２２プルダウン処理などの処理が行われる。

このように、プログレッシブ変換の処理は、フィルムモードに応じて行われることが多い。近年では、３２プルダウン方式の映像信号、２２プルダウン方式の映像信号および標準映像信号などのフィルムモードを自動的に検出し、当該フィルムモードの映像信号に応じた変換を行うような技術が提案されている。

以上のようなプログレッシブ変換によって、いずれも６０フレーム／秒のプログレッシブ映像信号（以降、６０Ｐと称する）が得られる。以後、プルダウン処理して得たプログレッシブ信号を、それぞれ３２プルダウン６０Ｐおよび２２プルダウン６０Ｐと称する。また、６０Ｐのうち、プルダウン処理をされたものではなく毎フレーム異なる画像が含まれるような映像信号を、とくに標準６０Ｐと称する。

〔フレームレート変換〕
また、従来、フレームレートを上げる技術が知られている。フレームレートとは、１秒間のフレームの数のことである。例えば、前述のＩＰ変換・プログレッシブ変換によって得られた６０Ｐを、１２０フレーム／秒のプログレッシブ映像信号（以降、１２０Ｐと称する）にフレームレート変換する技術が挙げられる。

通常、このフレームレート変換では、６０Ｐの各フレーム間に、前後のフレームに基づいて生成した内挿フレームを挿入して１２０Ｐにする処理が行われる。この内挿フレームは、例えば、前後のフレームから検出された動きベクトルを用いて生成される。

ここで、図２を用いて、６０Ｐを１２０Ｐにフレームレート変換する方法について説明する。図２は、６０Ｐを１２０Ｐに変換するフレームレート変換処理の具体例について説明した説明図である。

図２に示すように、６０Ｐを１２０Ｐに変換するフレームレート変換では、６０Ｐを構成する各フレームの間に、内挿フレームが１ずつ挿入される。すなわち、６０Ｐの各フレームＡ１、Ａ２、Ａ３、Ａ４、Ａ５、…が、１２０ＰのフレームＡ１１、Ａ２１、Ａ３１、Ａ４１、Ａ５１、…、として出力されるとともに、フレームＡ１１、Ａ２１、Ａ３１、Ａ４１、Ａ５１、…、の間に、内挿フレームＩＡ１、ＩＡ２、ＩＡ３、ＩＡ４、…、が挿入される。

ここで、フレームＡ１が含む画像は、そのまま、フレームＡ１１が含む画像になる。また、フレームＩＡ１が含む画像は、フレームＡ１１が含む画像とフレームＡ２１が含む画像とに基づいて生成された内挿画像である。このほかのフレームについても同様である。６０Ｐを１２０Ｐに変換する以上のようなフレームレート変換処理を、以後、ビデオ処理と称する。

これに対して、３２プルダウン６０Ｐおよび２２プルダウン６０Ｐを１２０Ｐにフレームレート変換する場合は、もともと、プルダウン処理された映像信号には、繰り返しのコマが存在するので、上記のビデオ処理によりフレームレートを変換すると、映像のブレ、いわゆるジャダを生じる。

このため、３２プルダウン６０Ｐおよび２２プルダウン６０Ｐを１２０Ｐにフレームレート変換する場合は、繰り返しによって得たコマは出力せず、その代わりに内挿フレームを挿入する処理を行う。このような処理のことをデジャダ処理と呼ぶ。図３および図４を用いて、２２プルダウン６０Ｐに対するデジャダ処理、および、３２プルダウンに対するデジャダ処理について説明すると以下のとおりである。

図３は、２２プルダウン６０Ｐに対するデジャダ処理の具体例について示した説明図である。同図に示すとおり、２２プルダウン６０Ｐに含まれるフレームＢ１、Ｂ２、Ｂ３、Ｂ４、Ｂ５、…において、フレーム群ＧＢ１に属するフレームＢ１、Ｂ２は、同じ画像を含むフレームである。また、フレーム群ＧＢ２に属するフレームＢ３、Ｂ４は、同じ画像を含むフレームである。このように、２２プルダウン６０Ｐにおいては、同一画像を含む２つのフレームからなるフレーム群が繰り返し現れる。

２２プルダウン６０Ｐに対するデジャダ処理においては、各フレーム群から最後のフレームが選択され、選択されたフレーム間に内挿される３枚の内挿フレームが生成される。例えば、フレーム群ＧＢ１からフレームＢ２が、また、フレーム群ＧＢ２からフレームＢ４が選択され、選択されたフレームＢ２とフレームＢ４との間に内挿される３枚の内挿フレームＩＢ２〜ＩＢ４が生成される。このようにして、選択されたフレームと、生成された内挿フレームとにより１２０Ｐが構成される。

また、図４は、３２プルダウン６０Ｐに対するデジャダ処理の具体例について示した説明図である。

図４に示すとおり、３２プルダウン６０Ｐに含まれるフレームＣ１、Ｃ２、Ｃ３、Ｃ４、Ｃ５、…において、フレーム群ＧＣ１に属するフレームＣ１およびＣ２は、同じ画像を含むフレームである。また、フレーム群ＧＣ２に含まれるフレームＣ３、Ｃ４、Ｃ５は、それぞれ同じ画像を含むフレームである。このように、３２プルダウン６０Ｐにおいては、同一画像を含む２つのフレームからなるフレーム群と、同一画像を含む３つのフレームからなるフレーム群とが交互に繰り返し現れる。

３２プルダウン６０Ｐに対するデジャダ処理においては、２つのフレームからなるフレーム群からは最後のフレームが選択され、３つのフレームからなるフレーム群からは中央のフレームが選択される。そして、選択されたフレーム間に内挿される内挿される４枚、又は３枚の内挿フレームが生成される。例えば、フレーム群ＧＣ１からフレームＣ２が、また、フレーム群ＧＣ２からフレームＣ４が選択され、選択されたフレームＣ２、Ｃ４間に内挿される内挿フレームＩＣ２〜ＩＣ５が生成される。このようにして、選択されたフレームと生成された内挿フレームとにより、１２０Ｐが構成される。

以後、図３において示した２２プルダウン６０Ｐに対するデジャダ処理、および、図４において示した３２プルダウン６０Ｐに対するデジャダ処理をまとめてフィルム処理と称する。

〔テロップの付加〕
ところで、ＴＶ受像機の画面に表示を行う際には、映像信号に加えて字幕情報、いわゆるテロップを合成して表示することがある。

通常、このテロップは、標準６０Ｐに相当し、また、テロップが映像信号に付加されるタイミングは、６０Ｐを１２０Ｐにフレームレート変換する前である。なお、プルダウン処理を行って６０Ｐを得る場合において、テロップが映像信号に付加されるタイミングはプルダウン処理を行った後である。このため、プルダウン処理を行って得た６０Ｐの場合、テロップ以外の部分は同一のフレーム群に属するフレーム間で共通であるのに対し、テロップ部分は同一のフレーム群に属するフレーム間であっても共通でない。

このとき、フレームレート変換処理において、前述したように生成した内挿フレームを挿入すると次のような問題を生じる。すなわち、内挿フレームを生成する際に、動きベクトルの検出が正しく行えない場合、コーミング等の現象によりテロップ部分の画像が崩れる可能性がある。概して、人は、文字以外の画像の崩れに比べて文字の崩れを意識しやすい。よって、テロップ部分の画像が乱れると、その部分の乱れが非常に目立ってしまう。

従来、このようなテロップ部分の崩れを解消するために、次のような技術が提案されている。すなわち、特許文献１では、ＩＰ変換時にテロップ部分のエッジを検出し、テロップ部分をぼかす処理を行う技術が開示されている。

また、テロップ部を特定し、処理を行う技術として次のような提案がされている。

まず、特許文献２では、エッジを検出し、３枚以上のフレームを判定することで、テロップの移動量を検出し、テロップの位置を特定する技術が開示されている。

また、特許文献３では、ＩＰ変換時に動画像データに字幕が付加されている場合、動画像データの特定のエリアを検出範囲から外すことで、処理シーケンスに破綻を起こすことなく符号化処理を行えるようにする技術が開示されている。
特開２００３−２７４３７１号公報（２００３年９月２６日公開）特開２００７−６２１６号公報（２００７年１月１１日公開）特開平１１−２２０７３７号公報（１９９９年８月１０日公開）

しかしながら、上記従来の構成では、次のような問題を生じる。

まず、特許文献１記載の技術においては、ブロックマッチング法によりテロップの移動量を検出していため、テロップの移動量が予想外に大きい場合、テロップを検出することができない。すなわち、テロップの移動量が予想外に大きい場合には、テロップが無いと判定してしまい、テロップ部分の画像が崩れることになる。

特許文献２記載の技術も、テロップの移動量が予想外に大きい場合には、テロップの位置を検出することができない。さらに、特許文献２記載の技術は、エッジを検出するような輝度差の大きい物体が画面上を等速で移動すると、その物体をテロップと誤認する可能性がある。また、特許文献２では、このような誤認を回避するには、判定するフレームを増やせばよいとしている。

具体的には、入力画像のフレームレートが秒３０枚であるならば、少なくとも６０枚のフレーム画像を用いることが望ましいとの記載がある。しかし、一般的に、テロップの速度は、８〜３２ｐｉｃ／フレームである。よって、６０フレームのうちに、４８０〜１９２０画素分移動することになる。

ところで、ＨＤＴＶ（High Definition Television）には、画素数が水平：１９２０×垂直：１０８０のビデオフォーマットがある。このビデオフォーマットで表示を行うことにした場合、テロップ判定をしている間に、テロップが、画面端から、画面上の中央あるいはそれ以上まで移動してしまうことになる。すなわち、テロップ判定に時間がかかってしまうという問題がある。

そして、特許文献３記載の技術は、特定のエリアから外れた部分に、テロップが付加されていた場合には意味をなさない。

本発明は、上記の課題点に鑑みてなされたものであり、その目的は、フレームレート変換時における映像内のテロップ崩れを低減することができるフレームレート変換装置、映像変換装置、制御プログラム、コンピュータ読み取り可能な記録媒体およびフレームレート変換方法を実現することにある。

本発明に係るフレームレート変換装置は、上記課題を解決するために、入力映像に含まれる入力フレームを参照して該入力フレーム間に内挿する内挿フレームを生成することによって、該入力映像のフレームレートを変換するフレームレート変換装置において、フレーム全体に関する入力フレーム間の相関の大きさを示す全体相関値を算出する第１の相関値算出手段と、フレームを分割して得られる複数の領域の各々に関する入力フレーム間の相関の大きさを示す部分相関値を算出する第２の相関値算出手段と、上記入力映像において同一画像を含む入力フレームが出現する出現パターンを、上記第１の相関値算出手段にて算出された全体相関値に基づいて判定するパターン判定手段と、上記第２の相関値算出手段にて算出された部分相関値の各々を、上記第１の相関値算出手段にて算出された全体相関値と比較することによって、入力フレーム間の相関に偏りがあるか否かを判定する偏り判定手段と、内挿フレームを生成するために参照する入力フレームを選択する参照フレーム選択手段であって、互いに異なる画像を含む入力フレームを参照して内挿フレームを生成するよう、上記パターン判定手段にて得られた判定結果に応じた入力フレームを選択する参照フレーム選択手段と、を備えており、上記参照フレーム選択手段は、上記偏り判定手段にて入力フレーム間の相関に偏りがあると判定された場合、内挿フレームを生成するために参照する入力フレーム数を増加させる、ことを特徴としている。

また、本発明に係るフレームレート変換方法は、上記課題を解決するために、入力映像に含まれる入力フレームを参照して該入力フレーム間に内挿する内挿フレームを生成することによって、フレームレート変換装置にて該入力映像のフレームレートを変換するフレームレート変換方法において、フレーム全体に関する入力フレーム間の相関の大きさを示す全体相関値を算出する第１の相関値算出ステップと、フレームを分割して得られる複数の領域の各々に関する入力フレーム間の相関の大きさを示す部分相関値を算出する第２の相関値算出ステップと、上記入力映像において同一画像を含む入力フレームが出現する出現パターンを、上記第１の相関値算出ステップにて算出された全体相関値に基づいて判定するパターン判定ステップと、上記第２の相関値算出ステップにて算出された部分相関値の各々を、上記第１の相関値算出ステップにて算出された全体相関値と比較することによって、入力フレーム間の相関に偏りがあるか否かを判定する偏り判定ステップと、内挿フレームを生成するために参照する入力フレームを選択する参照フレーム選択ステップであって、互いに異なる画像を含む入力フレームを参照して内挿フレームを生成するよう、上記パターン判定ステップにて得られた判定結果に応じた入力フレームを選択する参照フレーム選択ステップと、を備えており、上記参照フレーム選択ステップでは、上記偏り判定ステップにて入力フレーム間の相関に偏りがあると判定された場合、内挿フレームを生成するために参照する入力フレーム数を増加させる、ことを特徴としている。

上記構成によれば、第１の相関値算出手段が、フレーム全体に関する入力フレーム間の相関の大きさを示す全体相関値を算出し、第２の相関値算出手段が、フレームを分割して得られる複数の領域の各々に関する入力フレーム間の相関の大きさを示す部分相関値を算出する。

パターン判定手段は、上記入力映像において同一画像を含む入力フレームが出現する出現パターンを、上記第１の相関値算出手段にて算出された全体相関値に基づいて判定する。例えば、ビデオ信号では、フレーム毎に含まれる映像が異なるのに対し、プルダウン信号では、同一画像を含むフレームが繰り返される。この場合、パターン判定手段は、入力映像がビデオ信号に対応するものであるのか、あるいは、プルダウン信号に対応するものであるのかを判定することができる。

参照フレーム選択手段は、互いに異なる画像を含む入力フレームを参照して内挿フレームを生成するよう、上記パターン判定手段にて得られた判定結果に応じた入力フレームを選択する。例えば、プルダウン信号のように、同一の画像を含む入力フレームが繰り返される場合には、入力フレームの全部を参照フレームとして選択するのではなく、入力フレームの一部を参照フレームとして選択する。

ところで、プルダウン信号のように、同一の画像を含む入力フレームが繰り返される映像の特定の領域に、フレーム毎に異なるテロップ等の文字情報を付加した映像を入力映像とした場合、入力フレームの一部を参照フレームとして選択するとテロップ崩れが生じる。入力映像の特定の領域にテロップが付加されている場合、当該入力映像の特定の領域についての入力フレーム間の相関は、他の領域についての入力フレーム間の相関に比べて低くなる傾向を示す。すなわち、入力映像の特定の領域にテロップが付加されている場合、入力フレーム間の相関に偏りを示すようになる。そこで、偏り判定手段は、上記第２の相関値算出手段にて算出された部分相関値の各々を、上記第１の相関値算出手段にて算出された全体相関値と比較することによって、入力フレーム間の相関に偏りがあるか否かを判定する。このようにして、偏り判定手段は、テロップが含まれると推測されるか否かを判定できる。

そして、上記参照フレーム選択手段は、上記偏り判定手段にて入力フレーム間の相関に偏りがあると判定された場合、内挿フレームを生成するために参照する入力フレーム数を増加させる。このため、入力映像の特定の領域にテロップが付加されている場合であっても、フレームレート変換時における映像内のテロップ崩れを低減することができるという効果を奏する。

さらに、上記特許文献が持つ個々の課題に応じて説明すると以下のとおりである。まず、本発明に係る偏り判定手段は、入力フレーム間の相関に偏りがあるか否かによって、テロップが含まれると推測されるか否かを判定できるので、動きベクトルの検出し失敗し、テロップが崩れるという特許文献１に記載の技術の課題点を解消している。

そして、テロップ判定に時間がかかってしまうという特許文献２の課題点を解消している。すなわち、本発明に係る偏り判定手段では、動きベクトルを検出し、テロップが含まれると推測されるか否かを判定する場合に比べて、少ないフレーム数で判定を行うことができる。

また、本発明に係る偏り判定手段では、部分相関値の各々を、全体相関値と比較するので、特定のエリアから外れた部分に、テロップが付加されていた場合には意味をなさないという特許文献３記載の技術の課題点も解消している。

本発明に係るフレームレート変換装置では、上記第１の相関値算出手段は、各画素に関する入力フレーム間の相関の有無を判定するとともに、上記全体相関値を、相関があると判定された画素の画素数または相関がないと判定された画素の画素数をカウントすることによって算出する、ことが好ましい。

上記構成によれば、上記第１の相関値算出手段が、各画素に関する入力フレーム間の相関の有無を判定するとともに、上記全体相関値を、相関があると判定された画素の画素数または相関がないと判定された画素の画素数をカウントすることによって算出する。

ここで、相関があると判定された画素の画素数をカウントして全体相関値とする場合、フレーム間の相関が大きくなればなるほど、大きな全体相関値が得られる。また、相関がないと判定された画素の画素数をカウントして全体相関値とする場合、フレーム間の相関が全体相関値が大きくなればなるほど、小さな全体相関値が得られる。いずれの場合においても、入力フレーム間の相関の大きさを示す全体相関値が得られる。

このように、全体相関値は、相関があると判定された画素の画素数または相関がないと判定された画素の画素数をカウントするだけで比較的簡易に求めることができる。

この結果、第１の相関値算出手段を実現するための回路規模は、特別に複雑なものを用いなくてもよくなるというさらなる効果を奏する。

本発明に係るフレームレート変換装置では、上記第２の相関値算出手段は、各画素に関する入力フレーム間の相関の有無を判定するとともに、上記複数の領域の各々に対する部分相関値を、当該領域内および当該領域の近傍に位置する領域内の画素のうち、相関があると判定された画素の画素数または相関がないと判定された画素の画素数をカウントすることによって算出する、ことが好ましい。

上記構成によれば、上記第２の相関値算出手段は、各画素に関する入力フレーム間の相関の有無を判定するとともに、上記複数の領域の各々に対する部分相関値を、当該領域内および当該領域の近傍に位置する領域内の画素のうち、相関があると判定された画素の画素数または相関がないと判定された画素の画素数をカウントすることによって算出する。

このように、複数の領域の各々に対する部分相関値についても、当該領域内および当該領域の近傍に位置する領域内の画素のうち、相関があると判定された画素の画素数または相関がないと判定された画素の画素数をカウントするだけで比較的簡易に求めることができる。

この結果、第２の相関値算出手段を実現するための回路規模は、特別に複雑なものを用いなくてもよくなるというさらなる効果を奏する。

本発明に係るフレームレート変換装置では、上記偏り判定手段は、上記第２の相関値算出手段にて算出された部分相関値の何れかが、上記第１の相関値算出手段にて算出された全体相関値に係数を乗じた積よりも大きいときに、入力フレーム間の相関に偏りがあると判定する、ことが好ましい。

上記構成によれば、上記偏り判定手段は、上記第２の相関値算出手段にて算出された部分相関値の何れかが、上記第１の相関値算出手段にて算出された全体相関値に係数を乗じた積よりも大きいときに、入力フレーム間の相関に偏りがあると判定することができる。

このように、偏り判定手段は、比較的簡単に入力フレーム間の相関に偏りの判定を行うことができ、偏り判定手段を実現するための回路規模の小型化を図ることができるというさらなる効果を奏する。

本発明に係るフレームレート変換装置では、上記係数を設定する係数設定手段を更に備えている、ことが好ましい。

上記構成によれば、上記偏り判定手段は、係数によって、比較的簡易に、入力フレーム間の相関に偏りがあるか否かの判定を調節することができる。これにより、フレームレート変換後の映像の質や、テロップ崩れの低減の度合いを容易に変更することができ、ユーザの多様な要求に応じることができるというさらなる効果を奏する。

本発明に係るフレームレート変換装置では、上記参照フレーム選択手段は、上記偏り判定手段にて入力フレーム間の相関に偏りがあると判定された場合、内挿フレームを生成するために参照する入力フレームとして、入力映像に含まれる全てのフレームを選択する、ことが好ましい。

上記構成によれば、参照フレーム選択手段は、全てのフレームの間に内挿フレームを生成する。

この結果、フレームレート変換時における映像内のテロップ崩れをより低減することができるというさらなる効果を奏する。

本発明に係るフレームレート変換装置では、上記偏り判定手段は、さらに、上記第２の相関値算出手段にて算出された部分相関値が、所定の閾値以下であれば、入力フレーム間の相関に偏りなしと判定する、ことが好ましい。

上記偏り判定手段は、画像のノイズ等が存在すると、入力フレーム間の相関に偏りがあると誤って判定する場合がある。

上記構成によれば、上記偏り判定手段は、上記第２の相関値算出手段にて算出された部分相関値の各々を、上記第１の相関値算出手段にて算出された全体相関値と比較した結果、入力フレーム間の相関に偏り有りの判定であっても、上記第２の相関値算出手段にて算出された部分相関値が、所定の閾値以下であれば、最終的には、入力フレーム間の相関に偏りなしと判定する。このため、上記偏り判定手段は、画像のノイズ等により、入力フレーム間の相関に偏りがある場合でも、上記第２の相関値算出手段にて算出された部分相関値が、所定の閾値以下であれば、最終的には、入力フレーム間の相関に偏りなしと判定する。この結果、上記偏り判定手段による判定が、画像のノイズ等の影響を受けにくくなるという効果を奏する。

本発明に係るフレームレート変換装置では、上記参照フレーム選択手段は、上記偏り判定手段にて入力フレーム間の相関に偏りがあると複数回連続して判定された場合、内挿フレームを生成するために参照する入力フレーム数を増加させる、ことが好ましい。

上記偏り判定手段は、画像のノイズ等により、入力フレーム間の相関に偏りがあると誤って判定する場合がある。

これに対して、上記構成によれば、上記参照フレーム選択手段は、上記偏り判定手段にて入力フレーム間の相関に偏りがあると複数回連続して判定された場合、内挿フレームを生成するために参照する入力フレーム数を増加させる。

このため、上記参照フレーム選択手段は、上記偏り判定手段が、入力フレーム間の相関に偏りがあると誤って判定しても、直ちに内挿フレームを生成するために参照する入力フレーム数を増加させることはしない。

この結果、入力フレームの画像がノイズを含んでいる場合の影響を受けにくくなるというさらなる効果を奏する。なお、上記参照フレーム選択手段が、上記判定が何回連続した場合に、内挿フレームを生成するために参照する入力フレーム数を増加させるかは予め設定しておいた回数を用いることができる。

本発明に係るフレームレート変換装置では、上記偏り判定手段は、上記パターン判定手段が、上記入力映像において同一画像を含む入力フレームが出現する出現パターンを判定したあと、所定のフレームの間は判定を行わないことが好ましい。

上記構成によれば、上記偏り判定手段は、上記パターン判定手段が、上記入力映像において同一画像を含む入力フレームが出現する出現パターンを判定するようになってから、所定のフレームの間は判定を行わない。このため、入力フレームの画像がノイズを含んでいる場合の影響を受けにくくなるというさらなる効果を奏する。

本発明に係るフレームレート変換装置では、さらに、入力フレームに含まれる画像を、内挿フレームに含める画像とすることが好ましい。

上記構成によれば、フレームレート変換装置は、入力フレームに含まれる画像を含む内挿フレームを生成する。このような構成によっても、フレームレート変換時における映像内のテロップ崩れを低減することができるという効果を奏することができる。

本発明に係るフレームレート変換装置では、上記偏り判定手段は、フレームを分割して得られる複数の領域の中から入力フレーム間の相関に偏りがある領域を特定し、上記参照フレーム選択手段は、上記偏り判定手段が特定した領域について、内挿フレームを生成するために参照する入力フレーム数を増加させる、ことが好ましい。

上記構成によれば、上記偏り判定手段は、フレームを分割して得られる複数の領域の中から入力フレーム間の相関に偏りがある領域を特定し、上記参照フレーム選択手段は、上記偏り判定手段が特定した領域について、する入力フレーム数を選択増加させる。

よって、上記偏り判定手段は、入力フレーム間の相関に偏りがある領域について、当該領域に適した処理を行うことができる。これにより、テロップが付加されている領域についてはテロップの崩れを低減でき、テロップが付加されていない領域については、画質の向上が見込めるというさらなる効果を奏する。

本発明に係るフレームレート変換装置では、さらに、各フレームに含まれる画像について、上記偏り判定手段が特定した領域と、それ以外の領域の境界を中心として、ぼかし処理を施す境界ぼかし処理手段を備えることが好ましい。

上記構成によれば、さらに、各フレームに含まれる画像について、上記偏り判定手段が特定した領域と、それ以外の領域の境界を中心として、ぼかし処理を施す。このため、テロップが付加されている領域と、テロップが付加されていない領域との境界付近の画像を滑らかにつなげることができるというさらなる効果を奏する。

また、本発明に係る映像変換装置では、フィールド単位に入力される入力映像を、フィールド内補間、フィールド間補間、又は、フィールド内補間とフィールド間補間との組み合わせによって、フレーム単位の入力映像に変換する映像変換手段を備える映像変換装置において、フィールド単位に入力される入力映像を、フィールド内補間によってフレーム単位の入力映像に変換する映像補間手段と、上記映像補間手段が変換した入力映像に含まれる入力フレーム間のフレーム全体に関する相関の大きさを示す全体相関値を算出する第１の相関値算出手段と、フレームを分割して得られる複数の領域の各々に関する入力フレーム間の相関の大きさを示す部分相関値を算出する第２の相関値算出手段と、上記入力映像において同一画像を含む入力フレームが出現する出現パターンを、上記第１の相関値算出手段にて算出された全体相関値に基づいて判定するパターン判定手段と、上記第２の相関値算出手段にて算出された部分相関値の各々を、上記第１の相関値算出手段にて算出された全体相関値と比較することによって、入力フレーム間の相関に偏りがあるか否かを判定する偏り判定手段と、上記偏り判定手段の判定結果に基づいて、上記映像変換手段が変換に用いる変換方法を選択する変換方法選択手段を備える、ことを特徴としている。

上記構成によれば、映像変換手段が、フィールド単位に入力される入力映像を、フレーム単位の入力映像に変換する際、フィールド内補間によって得たフレーム単位の入力映像を偏り判定手段によって判定し、入力フレーム間の相関に偏りがあるか否か判定できる。

このため、変換方法選択手段が、入力フレーム間の相関の偏りに応じた変換方法を選択することができる。フィールド単位に入力される入力映像に含まれる入力フレームを、フレーム単位の入力映像に変換する方法としては、公知の技術を用いることができる。例えば、フィールド間で映像を補間する方法、フィールド内で映像を補間する方法、および、これらの方法の組み合わせ等が挙げられる。

この結果、入力フレーム間の相関の偏りに応じて適切な映像変換方法、いわゆるＩＰ変換方法を選択することができ、ＩＰ変換による文字・映像の崩れを防ぐことができるという効果を奏する。

また、上記フレームレート変換装置における各手段を、制御プログラムによりコンピュータに実行させることができる。さらに、制御プログラムをコンピュータ読み取り可能な記録媒体に記憶させることにより、任意のコンピュータ上で上記制御プログラムを実行させることができる。

本発明に係るフレームレート変換装置は、フレーム全体に関する入力フレーム間の相関の大きさを示す全体相関値を算出する第１の相関値算出手段と、フレームを分割して得られる複数の領域の各々に関する入力フレーム間の相関の大きさを示す部分相関値を算出する第２の相関値算出手段と、入力映像において同一画像を含む入力フレームが出現する出現パターンを、上記第１の相関値算出手段にて算出された全体相関値に基づいて判定するパターン判定手段と、上記第２の相関値算出手段にて算出された部分相関値の各々を、上記第１の相関値算出手段にて算出された全体相関値と比較することによって、入力フレーム間の相関に偏りがあるか否かを判定する偏り判定手段と、内挿フレームを生成するために参照する入力フレームを選択する参照フレーム選択手段であって、互いに異なる画像を含む入力フレームを参照して内挿フレームを生成するよう、上記パターン判定手段にて得られた判定結果に応じた入力フレームを選択する参照フレーム選択手段と、を備えており、上記参照フレーム選択手段は、上記偏り判定手段にて入力フレーム間の相関に偏りがあると判定された場合、内挿フレームを生成するために参照する入力フレーム数を増加させる構成である。

また、本発明に係るフレームレート変換方法は、フレーム全体に関する入力フレーム間の相関の大きさを示す全体相関値を算出する第１の相関値算出ステップと、フレームを分割して得られる複数の領域の各々に関する入力フレーム間の相関の大きさを示す部分相関値を算出する第２の相関値算出ステップと、入力映像において同一画像を含む入力フレームが出現する出現パターンを、上記第１の相関値算出ステップにて算出された全体相関値に基づいて判定するパターン判定ステップと、上記第２の相関値算出ステップにて算出された部分相関値の各々を、上記第１の相関値算出ステップにて算出された全体相関値と比較することによって、入力フレーム間の相関に偏りがあるか否かを判定する偏り判定ステップと、内挿フレームを生成するために参照する入力フレームを選択する参照フレーム選択ステップであって、互いに異なる画像を含む入力フレームを参照して内挿フレームを生成するよう、上記パターン判定ステップにて得られた判定結果に応じた入力フレームを選択する参照フレーム選択ステップと、を備えており、上記参照フレーム選択ステップでは、上記偏り判定ステップにて入力フレーム間の相関に偏りがあると判定された場合、内挿フレームを生成するために参照する入力フレーム数を増加させることを含む方法である。

この結果、フレームレート変換時における映像内のテロップ崩れを低減することができるという効果を奏する。

また、本発明に係る映像変換装置は、フィールド単位に入力される入力映像を、フィールド内補間によってフレーム単位の入力映像に変換する映像補間手段と、上記映像補間手段が変換した入力映像に含まれる入力フレーム間のフレーム全体に関する相関の大きさを示す全体相関値を算出する第１の相関値算出手段と、フレームを分割して得られる複数の領域の各々に関する入力フレーム間の相関の大きさを示す部分相関値を算出する第２の相関値算出手段と、上記入力映像において同一画像を含む入力フレームが出現する出現パターンを、上記第１の相関値算出手段にて算出された全体相関値に基づいて判定するパターン判定手段と、上記第２の相関値算出手段にて算出された部分相関値の各々を、上記第１の相関値算出手段にて算出された全体相関値と比較することによって、入力フレーム間の相関に偏りがあるか否かを判定する偏り判定手段と、上記偏り判定手段の判定結果に基づいて、映像変換手段が変換に用いる変換方法を決定する変換方法決定手段を備える構成である。

〔実施の形態１〕
本発明の一実施の形態について図１ないし図１５に基づいて説明すると以下の通りである。以下では、プログレッシブ変換された映像信号のフレームレート変換を行うレート変換画像生成装置の一実施の形態について説明する。

まず、図５（ａ）〜（ｃ）を用いて、映像信号の各フレームにおける画像にテロップが付加される場合について説明する。図５（ａ）〜（ｃ）は、画像に付加されるテロップについて示した説明図である。

図５（ａ）に示す画像３０は、テロップが付加される前の原画像である。また、図５（ｂ）は、テロップの一例を示している。図５（ｂ）に示すテロップＴ１は、アルファベット“ＡＢＣ”の３文字を示している。また、同図に示すように、テロップＴ１は横書きの文字である。以下では、テロップが横書きである場合について説明していく。

そして、図５（ｃ）は、図５（ａ）に示す画像３０に、図５（ｂ）に示すテロップＴ１を付加したテロップ付画像３１を示している。すなわち、図５（ｃ）に示すテロップ付画像３１は、画像３０の右下の箇所にテロップ“ＡＢＣ”を付加して生成されたものである。このテロップ“ＡＢＣ”が画像付加されるタイミングは、前述のとおり、プログレッシブ変換が行われた後、フレームレート変換が行われる前である。

図５（ｃ）に示す例では、テロップ付画像３１において、テロップは右下に付加されていたが、これに限られない。テロップ付画像３１を生成する際、テロップＴ１を付加する位置は、画像３０上のいずれの箇所であってもよい。

「背景技術」の欄でも述べたように、プルダウン処理を行って得た６０Ｐの場合、テロップ以外の部分は同一のフレーム群に属するフレーム間で共通であるのに対し、テロップ部分は同一のフレーム群に属するフレーム間であっても共通でない。

以後、このような２２プルダウン６０Ｐまたは３２プルダウン６０Ｐを構成するフレームに含まれる画像であって、テロップが付加されている画像のことをＭＩＸ画像と称する。

（従来技術の詳細）
次に、図６を用いて、テロップが付加されている６０Ｐを１２０Ｐに変換する従来のフレームレート変換処理について説明する。

図６は、テロップが付加されている２２プルダウン６０Ｐを１２０Ｐに変換する従来のフレームレート変換処理の具体例を示した説明図である。同図に示す、入力フレームのフレームＤ１、Ｄ２、Ｄ３、…、が含む画像はＭＩＸ画像である。また、フレームＤ１とフレームＤ２とが含む画像は、同じ原画像をプルダウン処理することによって得られた画像にテロップを付加して得られたＭＩＸ画像である。

フレームＤ１が含む画像には、テロップ“ＡＢ”が付加されている。また、フレームＤ２には、テロップ“ＡＢＣ”が付加されている。また、フレームＤ３が含む画像には、テロップ“ＡＢＣＤ”が付加されている。フレームＤ１が含む画像およびフレームＤ２が含む画像は、テロップ部分以外は、同じ画像となっている。

また、テロップの動作は、フレームが進むにつれて、アルファベット“ＡＢＣＤ”が、画面右端から、左端にかけて画面横方向に順に移動していくというものである。

ここで、テロップが付加されている６０Ｐを１２０Ｐに変換するフレームレート変換処理は、図３において述べたような手順で行われる。

まず、フレームＤ１から、フレームＤ１１が生成される。そして、フレームＤ３から、フレームＤ２１が生成される。ここで、フレームＤ２が含む画像は、テロップが付加されてはいるが、もともとフレームＤ１と同じ原画像をプルダウン処理して得られた画像であるため使用されない。

そして、フレームＤ１１と、フレームＤ２１との間には、挿入フレームが３フレーム挿入される。この挿入フレームは、フレームＤ１が含む画像およびフレームＤ３が含む画像の間を補間する内挿画像を含む。内挿画像は、既に説明したとおり、２つの画像間の動きを検出し、補間処理を行うことで生成される。

このように、テロップが後から付加されていても、もともとプルダウン処理によって得られた画像を含むフレームについては、フレームレート変換において使用されない場合があった。このことは、図４において説明した、３２プルダウン６０Ｐを１２０Ｐに変換する従来のフレームレート変換処理の場合も同様である。

図２２を用いて、このような、フレームレート変換処理を実現する従来のレート変換画像生成装置について説明すると以下のとおりである。図２２は、従来のレート変換画像生成装置の要部構成を示したブロック図である。

図２２に示すように、従来のレート変換画像生成装置１００は、変換画像生成部１と、フィルムモード判定部２と、画像制御部３とを備える構成である。また、従来のレート変換画像生成装置１００は、上記の構成により、フレームごとに入力された入力画像５０を処理して出力画像５１を出力する装置である。

入力画像５０としては、２２プルダウン処理によって得られた２２プルダウン画像、３２プルダウン処理によって得られた３２プルダウン画像、および、それ以外の一般的なテレビジョン放送のように毎フレームの画像が異なる標準ビデオ画像等が挙げられる。

フィルムモード判定部２は、入力画像５０が、２２プルダウン画像、または、３２プルダウン画像、あるいは、標準ビデオ画像のいずれかのフィルムモードを判定し、当該判定の結果を画像制御部３に送信するものである。

画像制御部３は、フィルムモード判定部２が判定したフィルムモードに応じて、入力画像５０に対して、適切な出力画像５１を得られるように変換画像生成部１を制御するものである。

変換画像生成部１は、内挿画像生成部１０と、ＳＷ（スイッチ）１１とを有する。内挿画像生成部１０は、画像制御部３の制御に応じて、入力画像５０から、フレームレート変換に必要な画像を生成し、当該生成した画像を出力画像５１として出力する。ここで、内挿画像生成部１０は、２つの画像から内挿画像を生成するものである。

内挿画像生成部１０が、内挿画像を生成するには、例えば、次のような手法が採用される。まず、あるフレームが含む画像と、次のフレームが含む画像との間で、画像上の物体が、どの位置に移動したかの尺度を示す動きベクトルをブロックマッチング法や勾配法等により算出する。そして、算出した動きベクトルの向き、動きベクトルが示す移動量および時間間隔等に基づく内挿画像を生成する。

ＳＷ１１は、入力画像５０または内挿画像生成部１０が生成した内挿画像のどちらを出力画像５１として出力するかを切り替えるための機構である。

以上のような構成により、画像制御部３は、変換画像生成部１に対して次のような制御を行う。すなわち、画像制御部３は、フィルムモード判定部２の判定結果が２２プルダウン画像であった場合は、内挿画像を３枚生成し、生成した内挿画像と入力画像とを出力するよう変換画像生成部１を制御する。

また、画像制御部３は、フィルムモード判定部２の判定結果が３２プルダウン画像であった場合は、図４を参照して説明したとおり、内挿画像を４枚生成し、生成した内挿画像と入力画像とを出力するよう変換画像生成部１を制御する。

また、画像制御部３は、フィルムモード判定部２の判定結果が標準ビデオ画像であった場合は、内挿画像を１枚生成し、生成した内挿画像と入力画像とを出力するよう変換画像生成部１を制御する。

このようにして、フレームレート変換を行った場合、テロップが崩れる理由について以下に説明する。内挿画像生成部１０が、動きベクトルが正確に求められた場合は、図６に示すように、テロップの崩れは生じない。しかし、往々にして動きベクトルを正確に求められない場合がある。

例えば、動きベクトルの向きが正しく算出できなかった場合、すなわち、横方向に移動するテロップに対し、動きベクトルの向きが斜め方向に算出されてしまった場合などである。また、動きベクトルが示す移動量が、実際のテロップの移動量よりも、大きく、または、小さく算出されてしまった場合もテロップが崩れてしまう。

そして、このように動きベクトルを正確に求められなかった場合、元になる画像から、時間軸上遠くなるにつれて、内挿画像のテロップの崩れも大きくなる傾向がある。すなわち、図６において、元になるフレームＤ１１（Ｄ１）に対して、内挿フレームＩＤ１、ＩＤ２、ＩＤ３となるにつれて、時間軸上遠くなるので、内挿画像がより崩れる傾向を示す。

以上のことから、２２プルダウン画像が入力の場合のフレームレート変換処理および３２プルダウン画像が入力の場合のフレームレート変換処理では、標準ビデオ画像が入力の場合のフレームレート変換処理よりも内挿画像のテロップの崩れが顕著になるといえる。

（レート変換画像生成装置の詳細）
次に本発明に係るレート変換画像生成装置の一実施の形態について以下に詳細に説明する。まず、図１、７、８および９を用いて、レート変換画像生成装置の構成について説明する。

図１は、レート変換画像生成装置（フレームレート変換装置）の要部構成を示すブロック図である。同図に示すように、レート変換画像生成装置５００は、変換画像生成部（参照フレーム選択手段）１と、フィルムモード判定部（パターン判定手段）２と、第２の相関判定部（第２の相関値算出手段）２１と、偏り判定部（偏り判定手段）２２と、画像制御部（参照フレーム選択手段）２３とを備える構成である。

また、レート変換画像生成装置５００は、上記の構成により、フレームごとに入力される入力画像５０から、フレームレート変換に必要な画像を生成し、生成した画像を出力画像５１として出力する装置である。

変換画像生成部１は、フレームレート変換処理を実行するものである。変換画像生成部１は、内挿画像生成部（参照フレーム選択手段）１０（図示しない）を有し、複数のフレームレート変換処理を実行可能に構成されている。具体的には、変換画像生成部１は、（１）６０Ｐの各フレーム間に、前後のフレームに基づいて生成された１枚の内挿フレームを挿入して１２０Ｐを生成するビデオ処理と、（２）６０Ｐのフレーム２枚を一組とし、各組から１枚ずつ選択されたフレームの間に、これらのフレームに基づいて生成された３枚の内挿フレームを挿入して１２０Ｐを生成するデジャダ処理と、（３）６０Ｐのフレーム２枚または３枚を一組とし（フレーム２枚からなる組と、フレーム３枚からなる組とを交互に設ける）、各組から１枚ずつ選択されたフレーム間に、これらのフレームに基づいて生成された４枚または３枚の内挿フレームを挿入することによって１２０Ｐを生成するデジャダ処理とを実行可能に構成されている。変換画像生成部１がどのフレームレート変換処理を実行するかは、画像制御部２３によって制御されている。

フィルムモード判定部２は、詳細には、第１の相関判定部（第１の相関値算出手段）２０を含む構成である。また、フィルムモード判定部２は、入力画像５０のフィルムモードを判定し、フィルムモード判定結果５３を画像制御部２３に送信するものである。フィルムモード判定部２は、第１の相関判定部２０において現フレームと、前フレームとにおける入力画像５０の画像全体から算出される全体相関計算結果に基づいて、フィルムモードを判定する。また、第１の相関判定部２０が算出する全体相関計算結果５２は偏り判定部２２に送信される。

第２の相関判定部２１は、現フレームと、前フレームとにおける入力画像５０から、画像の部分的な部分相関を算出し、当該部分相関計算結果５４および部分領域識別信号５５を偏り判定部２２に送信するものである。

偏り判定部２２は、第１の相関判定部２０から送信される全体相関計算結果５２と、第２の相関判定部２１から送信される部分相関計算結果５４とを比較し、画像の相関の偏りを判定し、当該偏り判定結果５６を画像制御部２３に送信するものである。

画像制御部２３は、フィルムモード判定部２から送信されるフィルムモード判定結果５３と、偏り判定部２２から送信される偏り判定結果５６に基づいて生成した制御信号５７を、変換画像生成部１に対し送信し、変換画像生成部１におけるフレームレート変換画像の生成処理を制御するものである。

上記構成について詳細について、以下に説明する。

（第１の相関判定部の詳細）
次に、図７を用いて、フィルムモード判定部２が有する第１の相関判定部２０の詳細について以下に説明する。

図７は、第１の相関判定部２０の構成を詳細に示したブロック図である。同図に示すように、第一の相関判定部２０は、画像記憶部２００と、第１の比較部２０１と、第２の比較部２０２と、パラメータ制御部２０３とを含む構成である。また、第１の相関判定部２０は、入力画像５０を受信し、全体相関計算結果５２と、相関判定結果５３とを出力するものである。

画像記憶部２００は、入力画像５０を記憶するためのフレームメモリである。画像記憶部２００は、１フレーム前の入力画像を記憶する。また、画像記憶部２００は、入力画像を画素単位で記憶する。

しかしながらこれに限られず、画像記憶部２００は、入力画像を画素単位で記憶するのではなく、数画素の画像情報毎に平均値を算出し、当該算出結果を記憶するようにしてもよい。例えば、隣接する２、４、８、１６画素単位に上記平均値を算出した結果を記憶するようにしてもよい。

また、画像記憶部２００は、各画素のＲＧＢ値等、種々の画像情報を記憶してもよい。また、画像記憶部２００は、数フレーム分の入力画像５０を記憶するようにしてもよい。

第１の比較部２０１は、次の手順により、現フレームの入力画像５０と、画像記憶部２００に記憶されている１フレーム前の入力画像との画像全体の全体相関計算結果を算出するものである。

まず、第１の比較部２０１は、現フレームの入力画像５０および画像記憶部２００に記憶されている１フレーム前の入力画像を読出す。次に、第１の比較部２０１は、フレーム内の全ての画素について、画像間の輝度値の差分を画素ごとに算出する。

そして、第１の比較部２０１は、パラメータ制御部２０３から供給される閾値Ｐ１と、算出した差分とを画素ごと比較する。比較結果は、輝度差の差分が閾値Ｐ１以上なら値‘１’（相関なし）を、閾値Ｐ１より小さければ値‘０’（相関あり）を有する、２値化された差分値として表現される。

そして、第１の比較部２０１は、各画素の相関値をフレーム全体に渡って累積（積分）することによって、相関値が‘１’である画素（相関のない画素）の数をカウントする。そして、第１の比較部２０１は、相関のない画素の数を全体相関計算結果５２として出力するとともに、当該算出結果を第２の比較部２０２に送信する。

また、当該算出結果は、図示しない平均値計算回路によって蓄積され、当該蓄積された算出結果から数フレーム分の平均値が算出される。

第２の比較部２０２は、次のような手順により、前フレームと、現フレームとの間に相関があるか否かを判定するための比較を行う。

まず、第２の比較部２０２は、第１の比較部２０１から送信される上記算出結果と、パラメータ制御部２０３から供給される閾値Ｐ２とを比較する。第２の比較部２０２は、当該比較の結果、算出結果が閾値Ｐ２以上なら、‘０’（相関有り）を、閾値Ｐ１より小さければ‘１’（相関無し）を相関判定結果とする。

こうして比較して得た相関判定結果は、判定結果メモリ（図示しない）に数フレーム分蓄積される。そして、判定回路（図示しない）は判定結果メモリが蓄積している数フレーム分の相関判定結果のパターンを解析しフィルムモードを判定する。例えば、判定回路（図示しない）は、相関判定結果のパターンが、“１０１０１０”であれば、“２２プルダウン画像”と判定し、“１０１００”であれば、“３２プルダウン画像”と判定する。それ以外の場合には、判定回路は、“標準ビデオ画像”と判定する。第２の比較部２０２は、このようにして判定したフィルムモードの判定結果を、フィルムモード判定結果５３として出力する。

パラメータ制御部２０３は、第１の比較部２０１および第２の比較部２０２に対して、それぞれの構成が必要とするパラメータを供給するものである。

第１の比較部２０１に対しては、閾値Ｐ１を供給する。閾値Ｐ１は、第１の比較部２０１が相関の前フレームの画像および現フレームの画像の同じ位置の画素間における相関有無を比較するための基準となる値である。この閾値Ｐ１は、予め決めておくことができる。

第２の比較部２０２に対しては、閾値Ｐ２を供給する。閾値Ｐ２は、前フレームと、現フレームとの間に相関があるか否かを判定するための基準となる値である。閾値Ｐ２には、前述した平均値計算回路（図示しない）が算出した平均値を採用することができる。

（第２の相関判定部の詳細）
次に、図８を用いて、第２の相関判定部２１の詳細について以下に説明する。

図８は、第２の相関判定部２１の構成を詳細に示したブロック図である。同図に示すように、第２の相関判定部２１は、第３の比較部２０４と、部分領域積算部２０５と、画像記憶部２０６と、パラメータ制御部２０７とを備える。

画像記憶部２０６は、入力画像５０を記憶するためのフレームメモリである。画像記憶部２００は、１フレーム前の入力画像を記憶する。また、画像記憶部２０６の替わりに第１の相関判定部２０の画像記憶部２００を共用する構成としてもよい。

第３の比較部２０４は、次の手順により、現フレームの入力画像５０と、画像記憶部２０６に記憶されている１フレーム前の入力画像とを分割して得られる区画の各々についての部分相関を算出するものである。

ここで、まず図１０を用いて入力画像の分割について説明する。図１０は、入力画像を分割して得られる区画について説明した説明図である。同図に示すように、第３の比較部２０４によって、入力画像５０は、区画ＹＤ０〜ＹＤ７までの８つの区画に分割される。また、第３の比較部２０４は、入力画像５０を、テロップの進行方向に沿って、すなわち、入力画像５０に対して水平に分割している。同図に示すように、入力画像５０の区画ＹＤ６およびＹＤ７には、テロップが付加されている。

なお、区画を分割する数には特に制限はなく、Ｎ分割（Ｎは正の整数）してもよい。レート変換画像生成装置５００の各構成を実現する回路の性能に応じて、例えば、１６分割、３２分割、６４分割としてもよい。また、分割方向についても、特に制限はなく、テロップの進行方向が縦方向であれば、入力画像５０に対して垂直に分割してもかまわない。

第３の比較部２０４は、現フレームの入力画像５０と、画像記憶部２０６に記憶されている１フレーム前の入力画像とを区画ＹＤ０〜ＹＤ７に分割し、区画ＹＤ０〜ＹＤ７に含まれる各画素ついて輝度の差分値を計算する。

次に、第３の比較部２０４は、パラメータ制御部２０７から供給される閾値Ｐ１と、各区画ＹＤ０〜ＹＤ７の各画素について得られた差分値とを順番に比較していく。なお、この閾値Ｐ１は、前述のパラメータ制御部２０３が供給する閾値Ｐ１と同一であってもよい。比較結果は、輝度差の差分が閾値Ｐ１以上なら値‘１’（相関なし）を、閾値Ｐ１より小さければ値‘０’（相関あり）を有する、２値化された差分値として表現される。そして、第３の比較部２０４は、各画素の相関値を区画全体に渡って累積（積分）することによって、区間内に相関値が‘１’である画素（相関のない画素）がいくつあるかをカウントする。そして、区間内にある相関のない画素の画素数を、その区画の部分相関算出値として出力する。

以後、このようにして得られた区画ＹＤ０〜ＹＤ７の差分値に基づく部分相関算出値を、Ｄ（ＹＤ０）〜Ｄ（ＹＤ７）と表記する。

第３の比較部２０４は、算出した部分相関算出値Ｄ（ＹＤ０）〜Ｄ（ＹＤ７）を部分領域積算部２０５に送信する。

部分領域積算部２０５は、部分相関算出値Ｄ（ＹＤ０）〜Ｄ（ＹＤ７）から、複数の区画からなる領域について部分領域積算値Ｓを算出し、部分領域識別信号５５とともに、部分相関計算結果５４として出力するものである。

部分領域積算部２０５の具体的な動作について以下に説明する。まず、図１１を用いて、領域について説明する。図１１は、領域の構成例について説明した説明図である。同図に示すように、領域ＹＡ０〜ＹＡ７は連続する４つの区画から構成される。すなわち、区画ＹＤ０、区画ＹＤ１、…、ＹＤ７は連続する区画である。例えば、領域ＹＡ０は、区画ＹＤ０、ＹＤ１、ＹＤ２およびＹＤ３から構成される。ここで、区画ＹＤ７と、区画ＹＤ０との間は連続しているものとして取り扱う。例えば、領域ＹＡ５は、区画ＹＤ５、ＹＤ６、ＹＤ７およびＹＤ０から構成される。しかしながら、これに限られず、各領域は、Ｍ個（Ｎ＞Ｍ）の区画から構成されるようにしてもかまわない。

次に、領域ＹＡ０〜ＹＡ７について部分領域積算部２０５が算出する部分領域積算値Ｓ（ＹＡ０）〜Ｓ（ＹＡ７）について説明する。部分領域積算値Ｓ（ＹＡ０）〜Ｓ（ＹＡ７）は、以下の式によって求められる。

［部分領域積算値Ｓ］
Ｓ（ＹＡ０）＝Ｄ（ＹＤ０）＋Ｄ（ＹＤ１）＋Ｄ（ＹＤ２）＋Ｄ（ＹＤ３）
Ｓ（ＹＡ１）＝Ｄ（ＹＤ１）＋Ｄ（ＹＤ２）＋Ｄ（ＹＤ３）＋Ｄ（ＹＤ４）
Ｓ（ＹＡ２）＝Ｄ（ＹＤ２）＋Ｄ（ＹＤ３）＋Ｄ（ＹＤ４）＋Ｄ（ＹＤ５）
Ｓ（ＹＡ３）＝Ｄ（ＹＤ３）＋Ｄ（ＹＤ４）＋Ｄ（ＹＤ５）＋Ｄ（ＹＤ６）
Ｓ（ＹＡ４）＝Ｄ（ＹＤ４）＋Ｄ（ＹＤ５）＋Ｄ（ＹＤ６）＋Ｄ（ＹＤ７）
Ｓ（ＹＡ５）＝Ｄ（ＹＤ５）＋Ｄ（ＹＤ６）＋Ｄ（ＹＤ７）＋Ｄ（ＹＤ０）
Ｓ（ＹＡ６）＝Ｄ（ＹＤ６）＋Ｄ（ＹＤ７）＋Ｄ（ＹＤ０）＋Ｄ（ＹＤ１）
Ｓ（ＹＡ７）＝Ｄ（ＹＤ７）＋Ｄ（ＹＤ０）＋Ｄ（ＹＤ１）＋Ｄ（ＹＤ２）
部分領域積算部２０５は、上記式により部分領域積算値Ｓ（ＹＡ０）〜Ｓ（ＹＡ７）を算出し、部分相関計算結果５４として出力する。このとき、部分領域積算値Ｓ（ＹＡ０）〜Ｓ（ＹＡ７）各々の値を識別するために部分領域識別信号５５が対応付けられて出力される。部分領域識別信号５５は、例えば、３ビットの信号によって構成することができる。この場合、“０００”〜“１１１”までの値と、領域ＹＡ０〜ＹＡ７を対応付ければよい。

なお、部分領域積算部２０５は、前述した全体相関計算結果５２を第１の比較部２０１とは別に独自に算出してもよい。説明の都合上、計算式において用いる場合は、全体相関計算結果５２を全体相関値ＹＤと表記する。この場合、全体相関値ＹＤは、次のような式により算出することができる。

［全体相関値ＹＤ］
ＹＤ＝Ｄ（ＹＤ０）＋Ｄ（ＹＤ１）＋Ｄ（ＹＤ２）＋Ｄ（ＹＤ３）＋Ｄ（ＹＤ４）＋Ｄ（ＹＤ５）＋Ｄ（ＹＤ６）＋Ｄ（ＹＤ７）
上記のように、部分領域積算部２０５において、全体相関値ＹＤを算出する場合は、区画ごとの相関を積算すればよい。第１の比較部２０１または部分領域積算部２０５で算出した全体相関計算結果５２（全体相関値ＹＤ）を適宜採用することができる。

パラメータ制御部２０７は、第３の比較部２０４および部分領域積算部２０５に各種パラメータおよび制御信号を供給するものである。また、パラメータ制御部２０７の替わりに第１の相関判定部２０のパラメータ制御部２０３を共用とする構成にしてもよい。

（偏り判定部の詳細）
次に、図９を用いて、偏り判定部２２の詳細について説明する。図９は、偏り判定部２２の構成を詳細に示したブロック図である。同図に示すとおり、偏り判定部２２は、係数乗算部２０８と、第４の比較部２０９と、パラメータ制御部２１０とを備える構成である。

係数乗算部２０８は、パラメータ制御部２１０が供給する閾値Ｐ３と、第１の比較部２０１の出力した全体相関計算結果５２（全体相関値ＹＤ）とを乗算し、当該乗算結果を第４の比較部２０９に送信するものである。ここで、閾値Ｐ３は、具体的には、全体相関値ＹＤを調整するための係数Ｋであり、例えば、０．５〜１．０の値を想定している。以下、係数乗算部２０８の乗算結果を、Ｋ＊ＹＤと表記する。

第４の比較部２０９は、係数乗算部２０８から受信したＫ＊ＹＤと、部分領域積算部２０５が出力した部分相関計算結果５４および部分領域識別信号５５とに基づいて、各領域の相関の偏りを算出し、当該算出結果から入力画像５０がＭＩＸ画像であるか否かを判定し、当該偏り判定結果５６を画像制御部２３に送信するものである。

第４の比較部２０９の具体的な動作について以下に説明する。まず、第４の比較部２０９は、部分領域積算部２０５が出力した部分相関計算結果５４および部分領域識別信号５５から、部分領域積算値Ｓ（ＹＡ０）〜Ｓ（ＹＡ７）を得る。そして、第４の比較部２０９は、部分領域積算値Ｓ（ＹＡ０）〜Ｓ（ＹＡ７）と、係数乗算部２０８から受信したＫ＊ＹＤとに基づいて以下の（１）〜（８）の条件比較を行う。

［条件比較］
（１）Ｓ（ＹＡ０）＞Ｋ＊ＹＤ
（２）Ｓ（ＹＡ１）＞Ｋ＊ＹＤ
（３）Ｓ（ＹＡ２）＞Ｋ＊ＹＤ
（４）Ｓ（ＹＡ３）＞Ｋ＊ＹＤ
（５）Ｓ（ＹＡ４）＞Ｋ＊ＹＤ
（６）Ｓ（ＹＡ５）＞Ｋ＊ＹＤ
（７）Ｓ（ＹＡ６）＞Ｋ＊ＹＤ
（８）Ｓ（ＹＡ７）＞Ｋ＊ＹＤ
すなわち、上記（１）〜（８）は、全体相関値ＹＤと、部分領域積算値Ｓ（ＹＡ０）〜Ｓ（ＹＡ７）との比が、係数Ｋより大きいか否かを比較している。ここで、（１）〜（８）の条件比較結果は８ビットの信号であらわすことができる。すなわち、（１）〜（８）比較結果の真偽値を、各ビットに対応づければよい。例えば、（１）〜（８）の比較において、当該比較式が真であれば“１”（偏りあり）、偽であれば“０”（偏りなし）を各ビットに対応づければよい。

ここで、さらに、下位ビットから順番に、（１）〜（８）の真偽値を対応付けている場合の例を以下に示す。（１）のみ真であれば、８ビット目の値を“１”（偏りあり）に設定し、条件比較結果として、“０００００００１”の出力を得る。この場合、領域ＹＡ０相関の偏りがあると判定する。

また、（２）のみ真であれば、７ビット目の値を“１”（偏りあり）に設定し、条件比較結果として、“００００００１０”の出力を得る。この場合、領域ＹＡ１相関の偏りがあると判定する。

そして、（２）および（４）のみが真であれば、４ビット目および７ビット目の値を“１”（偏りあり）に設定し、条件比較結果として、“０００１００１０”の出力を得る。この場合、領域ＹＡ１およびＹＡ４に相関の偏りがあると判定する。

第４の比較部２０９は、上記の条件比較結果から入力画像５０がＭＩＸ画像か否かを判定する。具体的には、第４の比較部２０９は、（１）〜（８）の比較において、一つでも真の結果が得られた場合、入力画像５０が“ＭＩＸ画像である”と判定する。すなわち、条件比較結果として、１ビットでも“１”の値をとるビットがあれば“ＭＩＸ画像である”と判定する。全てのビットが“０”であった場合、第４の比較部２０９は、“ＭＩＸ画像でない”と判定する。当該ＭＩＸ画像判定の結果は、例えば、“１”（ＭＩＸ画像である）、“０”（ＭＩＸ画像でない）のバイナリ値であってもよい。

第４の比較部２０９は、以上のようにして得たＭＩＸ画像判定結果を偏り判定結果５６として画像制御部２３に送信する。

パラメータ制御部２１０は、第４の比較部２０９に閾値Ｐ３を供給するものである。この閾値Ｐ３は、より具体的には、予め設定された値をとる係数Ｋである。前述のとおり、係数Ｋは、全体相関値ＹＤを調整するための値である。なお、このようなパラメータ制御部２１０の機能は、パラメータ制御部２０３等に統合してもかまわない。

（画像制御部の詳細）
次に、画像制御部２３の動作詳細について以下に説明する。画像制御部２３は、第２の比較部２０２から送信されるフィルムモード判定結果５３と、第４の比較部２０９から送信される偏り判定結果５６とに基づいて、変換画像生成部１を制御するための制御信号５７を生成し、当該制御信号５７によって変換画像生成部１におけるフレームレート変換画像の生成処理を制御する。画像制御部２３が行う制御の詳細は次のとおりである。

まず、画像制御部２３は、フィルムモード判定結果が”標準ビデオ画像”であった場合は、ビデオ処理を行うよう変換画像生成部１を制御する。すなわち、画像制御部２３は、内挿画像を１枚生成するように変換画像生成部１を制御する。

また、フィルムモード判定結果が”プルダウン画像”であった場合、すなわち、“２２プルダウン画像”または“３２プルダウン画像”であった場合、画像制御部２３は、次の制御を行う。

画像制御部２３は、偏り判定結果５６が“ＭＩＸ画像である”であれば、内挿画像を１枚生成するビデオ処理を行うように変換画像生成部１を制御する。一方、偏り判定結果５６が“ＭＩＸ画像でない”であれば、フィルム処理を行うよう変換画像生成部１を制御する。すなわち、画像制御部２３は、偏り判定結果５６が“ＭＩＸ画像でない”のとき、２２プルダウン画像に対しては、２２プルダウン処理前の原画像間に３枚内挿画像を生成するように変換画像生成部１を制御し、３２プルダウン画像に対しては、３２プルダウン処理前の原画像間に４枚内挿画像を生成するように変換画像生成部１を制御する。

ここで、図１２および１３を用いて、フィルムモード判定結果が”２２プルダウン画像”であった場合、かつ、偏り判定結果５６を判定が“ＭＩＸ画像である”であった場合にについて具体的に説明する。図１２は、フィルムモード判定結果が”２２プルダウン画像”であった場合、かつ、偏り判定結果５６を判定が“ＭＩＸ画像である”であった場合における画像制御部２３の制御について説明する説明図である。

図１２に示す、フレーム群ＧＤ１に属するフレームＤ１およびＤ２、フレーム群ＧＤ２に属するＤ３、…は、図６を用いて説明したとおりであるのでその説明を省略する。

図１２において、図６と異なる点は、入力フレームＤ２が含む画像が、ＭＩＸ画像である、すなわち、プルダウン画像であるにもかかわらず、出力画像となっている点である。すなわち、フレームＥ２が含む画像は、フレームＤ２が含む画像である。また、フレームＥ２が含む画像は、ＭＩＸ画像である。そして、フレームＥ１と、フレームＥ２との間に、内挿フレームＩＥ１が内挿されている。内挿フレームＩＥ１が含む画像は、フレームＥ１が含む画像と、フレームＥ２が含む画像との間の内挿画像である。そして、フレームＥ２と、フレームＥ３との間にも内挿フレームＩＥ２が内挿されている。内挿フレームＩＥ２が含む画像は、フレームＥ２が含む画像と、フレームＥ３が含む画像との間の内挿画像である。

以上のように、画像制御部２３は、フィルムモード判定結果が”プルダウン画像”であった場合で、かつ、偏り判定結果５６が“ＭＩＸ画像である”であった場合には、入力画像であるプルダウン画像をそのまま使用して内挿画像を生成することによりテロップの崩れを防ぐ。以上のように６０Ｐから１２０Ｐのフレームレート変換時であれば、画像制御部２３が変換画像生成部１に生成させる内挿画像は１枚である。

なお、画像制御部２３は、変換画像生成部１を制御して内挿画像を１枚生成させる替わりに、入力画像であるそのまま２枚繰り返し生成させるようにしてもよい。このような構成でも、画像制御部２３が、変換画像生成部１にフィルム処理させる場合よりもテロップの崩れを低減できる。図１３を用いて説明すると以下のとおりである。図１３は、フレームレート変換時に入力画像であるプルダウン画像を２枚生成する場合について例示した説明図である。

図１３に示す、フレーム群ＧＤ１に属するフレームＤ１およびＤ２、フレーム群ＧＤ２に属するＤ３、…は、図６を用いて説明したとおりであるのでその説明を省略する。図１３において、図１２と異なる点は、フレームＤ１が含む画像に基づいて、フレームＦ１に含める画像およびフレームＦ１´に含める画像が生成されている点、フレームＤ２が含む画像に基づいて、フレームＦ２に含める画像およびフレームＦ２´に含める画像が生成されている点である。このように、内挿画像を生成するのではなく、入力画像、すなわち、フレームＤ１、Ｄ２が含む画像を２枚繰り返し出力してもかまわない。

（処理の流れ）
次に、図１５に示すフローチャートを参照しながら、レート変換画像生成装置５００の動作について説明する。同図はレート変換画像生成装置５００の動作の詳細について説明したフローチャートである。

まず、第１の相関判定部２０が、入力画像のフィルムモードを判定する（Ｓ１０１）。

次に、第２の相関判定部２０が、前フレームの入力画像と、現フレームの入力画像とをそれぞれ８つの区画に分割する。そして、第２の相関判定部２０は、前フレームと、現フレームとにおける各区画について輝度差を計算し、閾値Ｐ２を用いて各区画について部分相関値を算出する（Ｓ１０２）。さらに、第２の相関判定部２０は、前フレームの入力画像と、現フレームの入力画像との画面全体の輝度差を計算し、閾値Ｐ１を用いて全体相関値を算出する（Ｓ１０３）。

次に、第２の相関判定部２０は、所定の区画を含む領域について部分領域積算値を算出する。すなわち、第２の相関判定部２０は、領域に含まれる各区画の部分相関値を積算し、各領域について部分領域積算値を算出する（Ｓ１０４）。

次に、偏り判定部２２が、全体相関値および閾値Ｐ３を乗算したＫ＊ＹＤを算出する。そして、Ｋ＊ＹＤと、各領域の部分領域積算値とを比較し、ＭＩＸ画像判定を行う（Ｓ１０５）。

ここで、Ｓ１０１における、フィルムモード判定が“標準ビデオ画像”であった場合（Ｓ１０６において“標準ビデオ画像”）、画像制御部２３は、ビデオ処理を行うよう変換画像生成部１を制御する（Ｓ１０８）。

これに対して、Ｓ１０１における、フィルムモード判定が“プルダウン画像”であった場合（Ｓ１０６において“２２プルダウン画像ｏｒ３２プルダウン画像”）、画像制御部２３は、さらに偏り判定結果５６を判定する（Ｓ１０７）。ここで、偏り判定結果５６が“ＭＩＸ画像である”であった場合（Ｓ１０７においてＹＥＳ）、画像制御部２３は、ビデオ処理を行うよう変換画像生成部１を制御する（Ｓ１０８）。一方、偏り判定結果５６が“ＭＩＸ画像でない”であった場合（Ｓ１０７においてＹＥＳ）、画像制御部２３は、フィルム処理を行うよう変換画像生成部１を制御する（Ｓ１０９）。

以上のように、変換画像生成部１においてビデオ処理またはフィルム処理が行われる。その後処理は終了する。

なお、Ｓ１０８においては、上記のように、ビデオ処理、すなわち、内挿画像を生成する処理ではなく、入力画像を２枚繰り返し出力する処理を行ってもかまわない。

本実施の形態に係るレート変換画像生成装置５００は、第１の相関判定部２０が全体相関計算結果５２を算出し、第２の相関判定部２１が部分相関計算結果５４を算出し、フィルムモード判定部２がフィルムモードを判定し、さらに偏り判定部２２が部分相関計算結果５４の各々を、全体相関計算結果５２と比較することによって、入力フレーム間の相関に偏りがあるか否かを判定すると、フィルムモード判定結果５３に応じて画像制御部２３は、互いに異なる画像を含む入力フレームを参照して内挿フレームを生成するよう内挿画像生成部１０を制御する一方で、偏り判定部２２にて入力フレーム間の相関に偏りがあると判定された場合、内挿フレームを生成するために参照する入力フレーム数を増加させるよう内挿画像生成部１０を制御する。

このため、フレームレート変換時における映像内のテロップ崩れを低減することができるという効果を奏する。

（変形例１）
続いて、本実施の形態に係るレート変換画像生成装置５００の好ましい変形例について説明する。再び図８を用いながら、部分領域積算部２０５を、パラメータ制御部２０７からの区画制御信号を用いて制御する例について説明する。

部分領域積算部２０５が、［全体相関値ＹＤ］を計算する場合、まず、部分相関算出値Ｄ（ＹＤ０）〜Ｄ（ＹＤ７）を算出する必要がある。このとき、部分領域積算部２０５を以下のように構成することで、回路の規模を小さくすることができる。

すなわち、区画ＹＤ０〜ＹＤ７について、一斉に部分相関算出値Ｄ（ＹＤ０）〜Ｄ（ＹＤ７）を求めるのではなく、パラメータ制御部２０７から、部分相関算出値Ｄを求めるべき区画を示す区画制御信号を部分領域積算部２０５に供給し、部分領域積算部２０５が部分相関算出値Ｄを１区画ずつ求めるように制御すればよい。

ここで、区画制御信号は、８ビットの制御信号として構成することができる。区画制御信号の下位ビットから順番に、部分相関算出値Ｄを求めるべき区画に対応付ければよい。すなわち、下位ビットから順番に、区画ＹＤ０〜ＹＤ７に対応付けられる。具体的には、ビット列“０００００００１”は、区画ＹＤ０に対応付けられる。パラメータ制御部２０７は、部分領域積算部２０５に対し、区画制御信号として、“０００００００１”から、“１０００００００”までのビット列を順番に供給する。部分領域積算部２０５は、区画制御信号に応じて、区画ＹＤ０〜ＹＤ７の部分相関算出値Ｄを順番に算出すればよい。

このように構成すれば、一斉に部分相関算出値Ｄ（ＹＤ０）〜Ｄ（ＹＤ７）を求めるための回路を設けなくてもよい。すなわち、部分領域積算部２０５を実現する回路の規模を小さくすることができる。

（変形例２）
以下に、本実施の形態に係るレート変換画像生成装置５００の別の変形例について説明する。第４の比較部２０９は、上記の算出結果から入力画像５０がＭＩＸ画像か否かを判定する。これまで、第４の比較部２０９が、（１）〜（８）の条件比較結果において、一つでも真の結果が得られた場合、入力画像５０が“ＭＩＸ画像である”と判定することを示した。

本変形例では、第４の比較部２０９が、入力画像５０がＭＩＸ画像か否かを判定する際に、［条件比較］に加えてさらなる条件を課すことについて説明する。

すなわち、第４の比較部２０９は、部分相関算出値Ｄ（ＹＤ０）〜Ｄ（ＹＤ７）の最小値、ｍｉｎ（Ｄ）が、所定の閾値以上であることを条件とすることができる。

上記構成によれば、フレームレート変換において、入力画像５０がノイズを含んでいることにより算出される輝度差の影響を低減することができる。

例えば、区画ＹＤ０の部分相関算出値Ｄ（ＹＤ０）のみが“０”でなく、区画ＹＤ１〜ＹＤ７の部分相関算出値Ｄ（ＹＤ０）〜ＹＤ７が“０”であった場合、Ｄ（ＹＤ０）は、全体相関値ＹＤに等しくなる。この場合、Ｄ（ＹＤ０）が小さい値であっても、全体相関値ＹＤに対する影響は大きくなる。具体的には、ノイズが原因で、Ｄ（ＹＤ０）＝１０という値を算出した場合でも、全体相関値ＹＤ＝Ｄ（ＹＤ０）＝１０であるので、第４の比較部２０９は、上記［条件比較］により、誤って、入力画像５０が“ＭＩＸ画像である”と判定してしまう。

このような場合、閾値Ｋｍｉｎ＝１０００として、第４の比較部２０９が、比較式：ｍｉｎ（Ｄ）＞Ｋｍｉｎを満たすか否かを判定するようにすればよい。この場合、上記比較式は、“偽”であるので、第４の比較部２０９は、入力画像５０が“ＭＩＸ画像でない”と判定する。

以上のように、第４の比較部２０９において入力画像５０がＭＩＸ画像か否かを判定する際に、比較式：ｍｉｎ（Ｄ）＞Ｋｍｉｎの判定をすることで、入力画像５０がノイズを含んでいる場合においても、第４の比較部２０９が判定を誤る可能性を低減できる。

なお、上記所定の閾値は、パラメータ制御部２０７等によって供給されてもよい。

〔実施の形態２〕
本発明のさらなる実施の形態について図１８ないし図１９に基づいて説明すると以下の通りである。以下では、プログレッシブ変換された映像信号のフレームレート変換を行うレート変換画像生成装置のさらなる実施の形態について説明する。本実施の形態では、フレームレート変換におけるテロップの崩れを防ぎ、さらに、ジャダも低減することのできるレート変換画像生成装置について説明する。

まず、図１８を用いて、レート変換画像生成装置の構成について説明する。図１８は、レート変換画像生成装置５００の要部構成を示すブロック図である。同図は、図１と比べて、係数制御機能付きＬＰＦ（Low-Pass Filter）４が追加されている点で異なる。なお、図１で説明した構成と同様の機能を有する構成には同一の符号を付して、その説明を省略する。

係数制御機能付きＬＰＦ４は、変換画像生成部１が生成した出力画像５１に、ぼかし処理を施し、補正後出力画像６０を出力する。ここで、再び、図１０を用いて、係数制御機能付きＬＰＦ４が、ぼかし処理を施す理由について説明する。前述のとおり、同図に示す入力画像５０において、区画ＹＤ６およびＹＤ７には、テロップ“ＡＢ”が付加されている。また、入力画像５０がプルダウン画像であった場合でも、テロップ部分は、標準ビデオ画像に相当するＭＩＸ画像である。

前述のように、フレームレート変換時には、プルダウン画像に対して、フィルム処理を行ったほうが、ジャダが低減でき画質の向上が見込める。一方で、テロップが付加されている画像については、ビデオ処理を行ったほうが、テロップの崩れを防ぐことができる。

そこで、本実施の形態におけるレート変換画像生成装置では、区画ＹＤ６およびＹＤ７のテロップ部分には、ビデオ処理を行いテロップの崩れを防ぎつつ、区画ＹＤ０〜ＹＤ５については、フィルム処理を行い画質の向上を図る。

ここで、図１４を用いて、テロップ部分にビデオ処理を行い、それ以外の部分は、フィルム処理を行う場合の例について説明する。図１４は、入力画像のテロップ部分にビデオ処理を行い、それ以外の部分は、フィルム処理を行う場合について説明した説明図である。

図１４に示すフレーム群ＧＤ１に属するフレームＤ１およびＤ２、フレーム群ＧＤ２に属するＤ３、…は、図１２を用いて説明したとおりであるのでその説明を省略する。同図において、記載の都合上、符号ＹＤ０〜ＹＤ７がフレームＤ１にのみ付されているが、フレームＤ２およびＤ３においても同様に付されているものとする。フレームＨ１〜Ｈ５についても同様である。

同図に示すように、フレームＤ１〜Ｄ３が含む画像の区画ＹＤ６およびＹＤ７にはテロップが付加されている。また、フレームＤ１〜Ｄ３が含む画像は２２プルダウン画像である。

本実施の形態におけるレート変換画像生成装置は、フレームレート変換時において、フレームＤ１〜Ｄ３が含む画像の区画ＹＤ０〜ＹＤ５については、フィルム処理を行い、区画ＹＤ６およびＹＤ７には、ビデオ処理を行う。このようにしてフレームレート変換され、得られたフレームがフレームＨ１〜Ｈ５である。

フレームＨ１が含む画像は、フレームＤ１が含む画像である。また、フレームＨ５が含む画像は、フレームＤ３が含む画像である。フレームＨ２〜Ｈ４が含む画像の区画ＹＤ０〜ＹＤ５は、フレームＤ１が含む画像の区画ＹＤ０〜ＹＤ５と、フレームＤ３が含む画像の区画ＹＤ０〜ＹＤ５との補間によって得られた画像である。すなわちフレームＨ２〜Ｈ４が含む画像の区画ＹＤ０〜ＹＤ５は、フィルム処理によって得られた画像である。

一方、フレームＨ２〜Ｈ４が含む画像の区画ＹＤ６およびＹＤ７は、ビデオ処理によって得られた画像である。すなわち、フレームＨ３が含む画像の区画ＹＤ６およびＹＤ７は、フレームＤ２が含む画像の区画ＹＤ６およびＹＤ７となっている。

フレームＨ２が含む画像の区画ＹＤ６およびＹＤ７は、フレームＤ１が含む画像の区画ＹＤ６およびＹＤ７と、フレームＤ２が含む画像の区画ＹＤ６およびＹＤ７との補間によって得られた画像である。

また、フレームＨ４が含む画像の区画ＹＤ６およびＹＤ７は、フレームＤ２が含む画像の区画ＹＤ６およびＹＤ７と、フレームＤ３が含む画像の区画ＹＤ６およびＹＤ７との補間によって得られた画像である。

ところで、以上のような処理を行った場合、ビデオ処理する区画と、フィルム処理する区画との境界が不自然な画像になる可能性がある。すなわち、行う処理が区画ＹＤ６およびＹＤ７と、区画ＹＤ０〜ＹＤ５とで異なるため、区画ＹＤ５および区画ＹＤ６の境界において、画像が滑らかにつながらないことが懸念される。

このような理由から、係数制御機能付きＬＰＦ４は、ビデオ処理する区画およびフィルム処理する区画の境界に対しぼかし処理を施す。

上記の構成を実現するべく、本実施の形態における偏り判定部２２が備える第４の比較部２０９および画像制御部２３は、次のように動作する。

まず、第４の比較部２０９の動作について説明する。第４の比較部２０９は、部分領域積算部２０５が出力した部分相関計算結果５４および部分領域識別信号５５から、部分領域積算値Ｓ（ＹＡ０）〜Ｓ（ＹＡ７）を得る。ここで、第４の比較部２０９は、前述の［条件比較］に加えて、さらに、次のような条件判定を行う。

［条件判定］
（イ）まず、［条件比較］の条件比較結果が“１”（偏りあり）となる領域を特定する。
（ロ）次に、条件比較結果、複数の領域が特定された場合、特定された領域において共通に含まれる区画があるか否かを判定する。
（ハ）特定された領域において共通に含まれる区画があれば、その区画にテロップが付加されていると判定する。

ここで、（イ）〜（ハ）の条件判定結果は８ビットの制御信号であらわすことができる。すなわち、８ビットの各桁に、入力画像５０の各区画ＹＤ０〜ＹＤ７を対応づければよい。そして、テロップが付加されている区画については、“１”（テロップあり）、テロップが付加されていない区画については“０”（テロップなし）の値を設定すればよい。例えば、下位ビットから順番に、各区画ＹＤ０〜ＹＤ７を割り当てることができる。このようにして、いずれの区画にテロップが付加されているかを示すテロップ区画制御信号を構成することができる。

以下に、条件判定および条件判定結果の具体例を示す。すなわち、例えば、［条件比較］において、「（１）Ｓ（ＹＡ０）＞Ｋ＊ＹＤ」、「（２）Ｓ（ＹＡ１）＞Ｋ＊ＹＤ」および「（３）Ｓ（ＹＡ２）＞Ｋ＊ＹＤ」の条件比較結果のみが“１”（偏りあり）であった場合、領域ＹＡ０、ＹＡ１およびＹＡ２に共通に含まれる区画は、図１１を参照すると、区画ＹＤ２およびＹＤ３である。このとき、第４の比較部２０９は、区画ＹＤ２およびＹＤ３にテロップが付加されていると判定する。また、テロップ区画制御信号として、“００００１１００”を出力する。

また、例えば、［条件比較］において、「（１）Ｓ（ＹＡ４）＞Ｋ＊ＹＤ」、「（２）Ｓ（ＹＡ５）＞Ｋ＊ＹＤ」および「（３）Ｓ（ＹＡ６）＞Ｋ＊ＹＤ」の条件比較結果のみが“１”（偏りあり）であった場合、領域ＹＡ４、ＹＡ５およびＹＡ６に共通に含まれる区画は、図１１を参照すると、区画ＹＤ６およびＹＤ７である。このとき、第４の比較部２０９は、区画ＹＤ６およびＹＤ７にテロップが付加されていると判定する。また、テロップ区画制御信号として、“１１００００００”を出力する。

なお、［条件判定］（イ）〜（ハ）の結果、複数の領域に共通に含まれる区画が無い場合には、テロップなしと判定してもよい。例えば、［条件比較］において、「（１）Ｓ（ＹＡ０）＞Ｋ＊ＹＤ」、「（２）Ｓ（ＹＡ４）＞Ｋ＊ＹＤ」の条件比較結果のみが“１”（偏りあり）であった場合などである。

第４の比較部２０９は、ＭＩＸ画像判定結果に加えて、テロップ区画制御信号を偏り判定結果５６に含めて画像制御部２３に送信する。

次に、画像制御部２３の動作について説明する。画像制御部２３は、第２の比較部２０２から送信されるフィルムモード判定結果と、第４の比較部２０９から送信される偏り判定結果５６とに基づいて、変換画像生成部１を制御するための制御信号５８を生成し、当該制御信号５８を変換画像生成部１に送信することによって、変換画像生成部１におけるフレームレート変換画像の生成処理を制御する。さらに、画像制御部２３は、ＬＰＦ制御信号５９を生成し、当該ＬＰＦ制御信号５９を係数制御機能付きＬＰＦ４に送信し、フィルム処理を行う区画と、ビデオ処理を行う区画との境界部分のぼかし処理を施すよう係数制御機能付きＬＰＦ４を制御する。

画像制御部２３が変換画像生成部１および係数制御機能付きＬＰＦ４に対して行う制御の詳細は次のとおりである。

まず、画像制御部２３が変換画像生成部１に対して行う制御について説明する。

画像制御部２３は、フィルムモード判定結果が”標準ビデオ画像”であった場合は、ビデオ処理を行うよう変換画像生成部１を制御する。すなわち、画像制御部２３は、変換画像生成部１において、内挿画像を１枚生成するように変換画像生成部１を制御する。

画像制御部２３は、偏り判定結果５６に含まれるテロップ区画制御信号を解析し、“１”（テロップあり）が設定されている区画および“０”（テロップなし）が設定されている区画を判定する。例えば、テロップ区画制御信号が、“１１００００００”である場合、画像制御部２３は、入力画像５０の区画ＹＤ６およびＹＤ７にテロップが付加されていると判定する。また、それ以外の区画には、テロップが付加されていると判定する。

そして、上記の判定の結果、画像制御部２３は、テロップが付加されている区画には、ビデオ処理を行うよう変換画像生成部１を制御する。また、テロップが付加されていない区画には、フィルム処理を行うよう変換画像生成部１を制御する。例えば、テロップ区画制御信号が、“１１００００００”である場合、画像制御部２３は、入力画像５０の区画ＹＤ６およびＹＤ７に対してビデオ処理を行うよう変換画像生成部１を制御する。また、それ以外の区画は、フィルム処理を行うよう変換画像生成部１を制御する。

画像制御部２３は、変換画像生成部１を制御し、フィルム処理および／またはビデオ処理を入力画像に対して行うことにより出力画像５１を出力させたら、次に係数制御機能付きＬＰＦ４を制御し、出力画像５１に対してぼかし処理を施すよう制御する。画像制御部２３が行う制御には、上記テロップ区画制御信号が用いられる。

画像制御部２３が係数制御機能付きＬＰＦ４に対して行う制御について以下に説明する。係数制御機能付きＬＰＦ４は、画像制御部２３から、テロップ区画制御信号を受信し、当該テロップ区画制御信号を解析することで、テロップが付加されている区画と、テロップが付加されていない区画の境界を認識する。

ここで、図１６を用いて係数制御機能付きＬＰＦ４が、出力画像５１に対して施すぼかし処理の例ついて詳細に説明する。図１６は、出力画像５１に対して施すぼかし処理について例示した説明図である。同図は、係数制御機能付きＬＰＦ４が、テロップ区画制御信号“１１００００００”を受信した場合について説明している。すなわち、テロップが付加されている区画はＹＤ６およびＹＤ７であり、ビデオ処理を行った区画と、フィルム処理を行った区画との境界は、区画ＹＤ５およびＹＤ６の間である。また、出力画像５１のビデオフォーマットは、ＨＤＴＶの水平：１９２０×垂直：１０８０であるとする。すなわち、各区画の縦方向のサイズは、１３５画素分である。

図１６に示すように、区画ＹＤ５およびＹＤ６の境界はＴＨ＝８１０ラインになる。そして、係数制御機能付きＬＰＦ４が、ぼかし処理を施す領域をさらに定めている。すなわち、ＴＨＵ＝７７０ラインが、上の境界であり、ＴＨＬ＝８１０ラインが、下の境界である。

係数制御機能付きＬＰＦ４が、は、ＴＨ＝８１０ラインを中心として、４０ラインの幅で、すなわち、ＴＨ＝８１０ラインを中心としたＴＨＵ＝７７０ラインまでの領域と、ＴＨＬ＝８１０ラインまでの領域とに対し、段階的にぼかし処理を施す。なお、ぼかし処理を施す領域のライン幅には、とくに制限はない。

ここで、図１７を用いて、係数制御機能付きＬＰＦ４が、ぼかし処理を施す際に使用するフィルタについて説明する。図１７は、ぼかし処理のためのフィルタの一例を示す説明図である。同図に示す対象画素ＹＣが、ぼかし処理を施す対象の画素の中心である。係数制御機能付きＬＰＦ４は、この対象画素ＹＣを中心とした周辺の８画素を用いてぼかし処理を施す。係数制御機能付きＬＰＦ４は、ぼかし処理において、各画素の画素値に乗算するための係数Ｋ０、Ｋ１、Ｋ２を用いる。

係数制御機能付きＬＰＦ４が施すぼかし処理の詳細は次のとおりである。まず、係数制御機能付きＬＰＦ４がぼかし処理を施す際に用いる係数Ｋ１、Ｋ２を、対象画素ＹＣのラインによって次のように変化させる。なお、係数Ｋ０は、対象画素ＹＣのラインに関係なく、Ｋ０＝１／４で固定とする。

［係数Ｋ１、Ｋ２］
（Ａ）770〜774ライン/845〜850ライン：K1=1/128、K2=1/64
（Ｂ）775〜779ライン/840〜844ライン：K1=2/128、K2=2/64
（Ｃ）780〜784ライン/835〜839ライン：K1=3/128、K2=3/64
（Ｄ）785〜789ライン/830〜834ライン：K1=4/128、K2=4/64
（Ｅ）790〜794ライン/825〜829ライン：K1=5/128、K2=5/64
（Ｆ）795〜799ライン/820〜824ライン：K1=6/128、K2=6/64
（Ｇ）800〜804ライン/815〜819ライン：K1=7/128、K2=7/64
（Ｈ）805〜814ライン：K1=8/128（=1/16）、K2=8/64（=1/8）
また、対象画素ＹＣに施すぼかし処理は次の式で与えられる。
［ぼかし処理］
ＹＣ＝Ｋ１＊Ｙ１＋Ｋ２＊Ｙ２＋Ｋ１＊Ｙ３
＋Ｋ２＊Ｙ４＋Ｋ０＊Ｙ５＋Ｋ２＊Ｙ６
＋Ｋ１＊Ｙ７＋Ｋ２＊Ｙ８＋Ｋ１＊Ｙ９
上記のように、ぼかし処理を構成し、対象画素ＹＣのラインによって、係数Ｋ１、Ｋ２を変化させればＴＨ＝８１０ラインにおいて、最もぼかし処理を強く施し、ＴＨＵ＝７７０ライン、または、ＴＨＬ＝８５０ラインにかけて段階的にぼかし処理を弱く施していくことになる。これにより、ビデオ処理を行った区画およびフィルム処理を行った区画の境界を目立たなくすることができる。

（処理の流れ）
次に、図１９に示すフローチャートを参照しながら、レート変換画像生成装置５００の動作について説明する。図１９はレート変換画像生成装置５００の動作の詳細について説明したフローチャートである。なお、Ｓ２０１〜Ｓ２０４の動作については、図１５を用いて説明したＳ１０１〜Ｓ１０４と同様であるので、その説明を省略する。

以下において、図１９に示すＳ２０５以降の処理の流れについて説明する。

Ｓ２０５において、第４の比較部２０９は、全体相関値および閾値Ｐ３を乗算したＫ＊ＹＤを算出する。そして、Ｋ＊ＹＤと、各領域の部分領域積算値とを比較する条件比較を行う。さらに、条件比較の結果に基づいて、入力画像５０のテロップが付加されている区画を判定する。

次に、画像制御部２３は、入力画像５０のテロップが付加されている区画については、ビデオ処理を行うよう変換画像生成部１を制御する一方、入力画像５０のテロップが付加されていない区画については、フィルム処理を行うよう変換画像生成部１を制御することで出力画像５１を得る（Ｓ２０６）。

そして、係数制御機能付きＬＰＦ４が、画像制御部２３のＬＰＦ制御信号５９を受信し、出力画像５１においてビデオ処理を行った区画と、フィルム処理を行った区画との間の境界周辺にぼかし処理を施し、補正後出力画像６０を得る（Ｓ２０７）。その後処理は終了する。

なお、Ｓ２０６からＳ２０７にかけては、入力画像５０のテロップが付加されている区画について、上記のように、ビデオ処理ではなく、入力画像の部分で当該区画と対応する部分を２枚繰り返し出力する処理を行ってもかまわない。

本実施の形態に係るレート変換画像生成装置５００は、以上のように、入力画像が、フィルム画像であり、かつ、テロップが付加されたＭＩＸ画像であった場合には、テロップが付加された区画については、ビデオ処理を行い、テロップが付加されていない区画については、フィルム処理を行う。また、ビデオ処理を行う区画と、フィルム処理を行う区画の境界周辺にはぼかし処理を施す。
このため、フレームレート変換時における映像内のテロップ崩れを低減する効果に加え、画質の向上を図ることができるというさらなる効果を奏する。

（変形例３）
以下に、本実施の形態に係るレート変換画像生成装置５００のさらに別の変形例について説明する。第１の相関判定部２０は、入力画像５０のフィルムモードを逐次判定している。ところで、第１の相関判定部２０が出力するフィルムモード判定結果５３は、フレームレート変換の途中で変化することも考えられる。例えば、第１の相関判定部２０が出力するフィルムモード判定結果５３が、“標準ビデオ画像”から、“３２プルダウン画像”または“２２プルダウン画像”に変化することも考えられる。

このとき、ノイズ等の理由により、第４の比較部２０９が、テロップの条件判定を誤ると、画像制御部２３が正しく制御を行えず出力画像が崩れるおそれがある。

そこで、第４の比較部２０９は、フィルムモード判定結果５３が“３２プルダウン画像”または“２２プルダウン画像”に変化した場合でも、数フレームの間、条件判定を行わないようにしてもよい。

上記構成によれば、ノイズ等の理由により、第４の比較部２０９が判定を誤ってしまい、画像制御部２３が正しく制御を行えず出力画像が崩れてしまう可能性を低減することができるという効果を奏する。

また、上記所定のフレーム数は、パラメータ制御部２０３等によって供給されてもよい。

また、フィルムモード判定部２は、フィルムモードの判定に用いるフレームのフレーム数を可変にしてもよい。この場合、第４の比較部２０９は、上記フレーム数に応じて、第４の比較部２０９がテロップの条件判定に用いるフレームのフレーム数を変化させてもよい。

〔実施の形態３〕
本発明に係る映像変換装置の実施の形態について図２０ないし図２１に基づいて説明すると以下の通りである。

以上の説明では、ＭＩＸ画像判定をＩＰ変換に応用する場合について説明する。すなわち、以下では、入力画像５０が、インタレース信号で表現される画像である場合について説明する。

図２０は、第１の相関判定部２０の構成を変形したものである。同図は、図７と比べて、第１の比較部２０１の直前に、垂直ＬＰＦ２１１および２１２が追加されている点で異なる。なお、図７で説明した構成と同様の機能を有する構成には同一の符号を付して、その説明を省略する。

また、図２１は、第２の相関判定部２１の構成を変形したものである。同図は、図８と比べて、第３の比較部２０４の直前に、垂直ＬＰＦ（映像補間手段）２１３および２１４が追加されている点で異なる。なお、図８で説明した構成と同様の機能を有する構成には同一の符号を付して、その説明を省略する。

第１の相関判定部２０の構成に垂直ＬＰＦ２１１、２１２が追加され、第２の相関判定部２１の構成に垂直ＬＰＦ２１３、２１４が追加されている理由について以下に説明する。

入力画像５０は、インタレース信号で表現される画像である。インタレース信号で表現される画素において、現フィールドの画素と、前フィールドの画素とは、対応する走査線が異なるため、そのままでは画素単位の輝度差を算出することができない。すなわち、現フィールドの画素は、奇数番目および偶数番目のいずれか一方の走査線に対応しており、前フィールドの画素は、現フィールドの画素と異なる方の走査線に対応しているからである。

そこで、画素単位の輝度差を算出できるようにするため、垂直ＬＰＦ２１１〜２１４が設けられている。

垂直ＬＰＦ２１１および２１３は、入力画像５０、すなわち、現フィールドの画像を垂直方向に補間する。また、垂直ＬＰＦ２１２および２１４は、入力画像５０または画像記憶部２００、２０６に記憶されている画像、すなわち、前フィールドの画素を垂直方向に補間する。ここで、画像記憶部２００、２０６にはフィールドメモリを用いてもよい。

なお、本実施に係る映像変換装置は、図１で示したレート変換画像生成装置の画像制御部（変換方法選択手段）２３において、変換画像生成部（映像変換手段）１が、偏り判定結果５６に応じたＩＰ変換を行なうよう制御するための制御信号５７を生成するようにしたものである。なお、このＩＰ変換には公知の技術を用いることができる。

本実施に係る映像変換装置の動作について説明すると以下のとおりである。まず、垂直ＬＰＦ２１１〜２１４が行う補間によって、インタレース信号で表現される画像は、プログレッシブ信号で表現される画像に相当するものになる。以後のＭＩＸ画像判定の動作については既に述べたとおりである。そして、変換画像生成部１では、制御信号５７に応じて、入力画像５０をＩＰ変換する。

従来のＩＰ変換では、“５フィールドに１回同じ画像が入力される”というような入力画像５０の規則性を判定することによりフィルムモードの判定を行っていた。また、映像変換装置のようなＭＩＸ判定も行なっていなかった。よって、画面上に毎フレーム移動する文字であるテロップが流れた場合に、誤動作し文字が崩れる事があった。

一方、本発明に係る映像変換装置によれば、入力フレーム間の相関の偏りに応じて適切な映像変換方法、いわゆるＩＰ変換方法を決定することができ、ＩＰ変換による文字・映像の崩れを防ぐことができる。従って、本発明を適用する事によりＩＰ変換の誤動作を防ぐことができるという効果を奏する。

本発明は上述した各実施の形態に限定されるものではなく、請求項に示した範囲で種々の変更が可能であり、異なる実施の形態にそれぞれ開示された技術的手段を適宜組み合わせて得られる実施の形態についても本発明の技術的範囲に含まれる。

なお、レート変換画像生成装置の各ブロック、および、映像変換装置の各ブロック、特に、第１の相関判定部２０、第２の相関判定部２１、偏り判定部２２および画像制御部２３は、ハードウェアロジックによって構成してもよいし、次のようにＣＰＵを用いてソフトウェアによって実現してもよい。

すなわち、第１の相関判定部２０、第２の相関判定部２１、偏り判定部２２および画像制御部２３は、各機能を実現する制御プログラムの命令を実行するＣＰＵ（central processing unit）、上記プログラムを格納したＲＯＭ（read only memory）、上記プログラムを展開するＲＡＭ（random access memory）、上記プログラムおよび各種データを格納するメモリ等の記憶装置（記録媒体）などを備えている。そして、本発明の目的は、上述した機能を実現するソフトウェアである第１の相関判定部２０、第２の相関判定部２１、偏り判定部２２および画像制御部２３の制御プログラムのプログラムコード（実行形式プログラム、中間コードプログラム、ソースプログラム）をコンピュータで読み取り可能に記録した記録媒体を、上記第１の相関判定部２０、第２の相関判定部２１、偏り判定部２２および画像制御部２３に供給し、そのコンピュータ（またはＣＰＵやＭＰＵ）が記録媒体に記録されているプログラムコードを読み出し実行することによっても、達成可能である。

上記記録媒体としては、例えば、磁気テープやカセットテープ等のテープ系、フロッピー（登録商標）ディスク／ハードディスク等の磁気ディスクやＣＤ−ＲＯＭ／ＭＯ／ＭＤ／ＤＶＤ／ＣＤ−Ｒ等の光ディスクを含むディスク系、ＩＣカード（メモリカードを含む）／光カード等のカード系、あるいはマスクＲＯＭ／ＥＰＲＯＭ／ＥＥＰＲＯＭ／フラッシュＲＯＭ等の半導体メモリ系などを用いることができる。

また、第１の相関判定部２０、第２の相関判定部２１、偏り判定部２２および画像制御部２３を通信ネットワークと接続可能に構成し、上記プログラムコードを通信ネットワークを介して供給してもよい。この通信ネットワークとしては、特に限定されず、例えば、インターネット、イントラネット、エキストラネット、ＬＡＮ、ＩＳＤＮ、ＶＡＮ、ＣＡＴＶ通信網、仮想専用網（virtual private network）、電話回線網、移動体通信網、衛星通信網等が利用可能である。また、通信ネットワークを構成する伝送媒体としては、特に限定されず、例えば、ＩＥＥＥ１３９４、ＵＳＢ、電力線搬送、ケーブルＴＶ回線、電話線、ＡＤＳＬ回線等の有線でも、ＩｒＤＡやリモコンのような赤外線、Ｂｌｕｅｔｏｏｔｈ（登録商標）、８０２．１１無線、ＨＤＲ、携帯電話網、衛星回線、地上波デジタル網等の無線でも利用可能である。なお、本発明は、上記プログラムコードが電子的な伝送で具現化された、搬送波に埋め込まれたコンピュータデータ信号の形態でも実現され得る。

最後に、本発明に係るレート変換画像生成装置は、以下の（付記１）〜（付記１４）に記載のように表現することもできる。

（付記１）時間的に1画面ずつ連続して入力される入力画像に対し画像間の相関を判定する相関判定手段を用いたモード判定手段と、レート変換画像を生成する変換画像生成手段とを有するレート変換画像生成装置であって、モード判定手段は画面全体の相関を求める第１の相関判定手段と、画面の部分的な相関を求める第２の相関判定手段と、第１と第２の相関判定手段の結果を用いて相関の偏りを計算する偏り判定手段と、第１の相関判定手段の判定結果と偏り判定手段の判定結果により変換画像生成手段の制御を行う画像制御手段とを備え、偏りの有無、画像間の規則性にもとづいて、画像制御手段により変換画像生成手段を制御し、出力画像の出力レートを変える事を特徴とするレート変換画像生成装置。

本発明に係るレート変換画像生成装置は、上記のように、前画面との相関を取り、さらに過去数枚の画面の相関値を使用してフィルム（プルダウン画像）と標準ビデオ画像のモード判定を行い、画像間の相関と画面を分割した各領域の相関の偏りを計算し、偏りの割合が一定値を超えた場合に２２又は３２プルダウン画像にテロップが流れていると判断し、選択的に原画像と内挿画像の種類と枚数を制御する事によりフィルムモード判定に簡単な回路を追加するだけでテロップが流れる事によるモードの誤判定によるテロップの文字の崩れを防ぐ事ができる。

（付記２）レート変換画像生成装置において、前記第１の相関判定手段は入力画像の前画面の画像を蓄える画像記憶手段と、現画面の画像と前画面の画像との相関をパラメータ制御手段から設定する閾値１と比較する第１の比較手段と、第１の比較手段の過去からの比較結果を累積した結果をパラメータ制御手段から設定する閾値２と比較する第２の比較手段とを備え、画像間の相関判定を行う事を特徴とするレート変換画像生成装置。

本発明に係るレート変換画像生成装置では、上記のように、前画面との相関を取り、さらに過去数枚の画面の相関値を使用して、簡単な回路でフィルムモードの判定ができ、さらにレート変換画像のユーザの色々な要求に対応できる様にフィルムモード判定のパラメータを変える事ができる様にした。

（付記３）レート変換画像生成装置において、前記第２の相関判定手段は入力画像の前画面の画像を蓄える画像記憶手段と、現画面の画像と前画面の画像との相関をパラメータ制御手段から設定する閾値１と比較する第３の比較手段と、第３の比較手段の比較結果をパラメータ制御手段から設定する領域制御信号により画面の部分的な相関判定結果を積算する部分領域積算手段とを備え、画面の部分的な領域毎に画像間の相関判定を行う事を特徴とするレート変換画像生成装置。

本発明に係るレート変換画像生成装置は、上記のように、簡単な回路で画面を分割した各領域の相関を計算する事ができる。

（付記４）レート変換画像生成装置において、前記偏り判定手段は前記第１の相関判定手段から出力される画像間の相関判定結果にパラメータ制御手段により所定の係数を掛けた出力信号を出す係数乗算手段と、係数乗算手段出力と第２の相関判定結果とを比較して画面のある領域に相関の偏りが有る事を判定する第４の比較手段とを備える事を特徴とするレート変換画像生成装置。

本発明に係るレート変換画像生成装置では、上記のように、画面全体の相関計算結果と画面を分割した各領域の相関の計算結果から偏りを計算し、偏りの割合が一定値を超えた場合に２２又は３２プルダウン画像にテロップが流れていると判断し、簡単な回路でＭＩＸ画像（プルダウン画像＋ビデオ（テロップ）画像）の判定ができ、さらにレート変換画像のユーザの色々な要求に対応できる様にフィルムモード判定のパラメータを変える事ができる様にした。

（付記５）レート変換画像生成装置において、前記画像制御手段は前記偏り判定手段から出力される偏りの判定結果にもとづいて変換画像生成手段の出力画像の原画又は内挿画像及び内挿画像の原画と原画の間の内挿枚数を制御する事を特徴とするレート変換画像生成装置。

本発明に係るレート変換画像生成装置は、上記のように、偏りの判定結果にもとづいてＭＩＸ画像と判定された場合、フィルム処理（原画と原画の間に内挿画像３枚又は４枚）を止めて、ビデオ処理（原画と原画の間に内挿画像１枚）又は同一画像２回出し（同じ原画を２回ずつ出力する）を行う。

（付記６）レート変換画像生成装置において、パラメータ制御手段を設け、その制御手段により偏り判定手段の偏り判定の係数を変える事を特徴とするレート変換画像生成装置。

本発明に係るレート変換画像生成装置では、上記のように、ＭＩＸ画像と判定される条件を易しくしたり、厳しくしたりする事ができる様にした。

（付記７）レート変換画像生成装置において、パラメータ制御手段を設け、その制御手段により閾値を設定し、画像を分割した領域の現画面の画像と前画面の画像との差分の積算値と閾値とを比較し、ある領域が閾値より大きい時のみ偏り有りと判定する事を特徴とするレート変換画像生成装置。

（付記８）レート変換画像生成装置において、パラメータ制御手段を設け、その制御手段により第１の相関判定手段のフィルム判定後の経過フレーム数を設定し、そのフレーム数経過しないと偏り有りと判定しない様にして、偏り判定の判定フレーム数を変える事を特徴とするレート変換画像生成装置。

（付記９）レート変換画像生成装置において、入力画像がインタレース画像であり、前フィールドと現フィールドの差分を計算する際にフィールドの違いを吸収する吸収手段を持つ事を特徴とするレート変換画像生成装置。

本発明に係るレート変換画像生成装置では、上記のように、本発明をIP変換回路に適用する場合に、フィールド間の差分を吸収する手段を設けてインタレース画像に適用する事により、吸収できない差分を過去数枚の画面の相関値を使用して吸収すれば、IP変換回路におけるフィルム判定及びＭＩＸ判定動作がより安定する。

（付記１０）レート変換画像生成装置のモード判定手段において、入力画像がインタレース信号の場合の画像の差分の吸収手段として現フィールド用に第１の垂直方向LPF、前フィールド用に第２の垂直方向LPFを持ち入力画像がインタレース信号でも入力画像がプルダウン信号かビデオ信号かを判定できる事を特徴とするレート変換画像生成装置。

本発明に係るレート変換画像生成装置では、上記のように、本発明をIP変換回路に適用する場合に、垂直方向のLPFを設けて前フィールドとの差分を取る時に、静止画であっても垂直高域に差分が出る不具合を過去数枚の画面の相関値を使用して吸収すれば、IP変換回路におけるフィルム判定及びＭＩＸ判定動作がより安定する。

（付記１１）レート変換画像生成装置において偏りの有無、画像間の規則性にもとづいて、画像制御手段により変換画像生成手段を制御し、出力画像の出力レートを画面を分割した領域毎に変える事を特徴とするレート変換画像生成装置。

本発明に係るレート変換画像生成装置では、上記のように、プルダウン画像とテロップ画像の部分を別々に処理を行う事によりプルダウン画像もテロップ画像も破綻しないようにレート変換画像の生成が可能となる。

（付記１２）レート変換画像生成装置において係数を制御可能なフィルタを備え、
前記フィルタにより前画像と現画像間に偏りが有る領域とそれ以外の領域において選択的に原画像と内挿画像の種類と枚数を制御する場合の領域の境界においてフィルタの係数を段階的に制御する事を特徴とするレート変換画像生成装置。

本発明に係るレート変換画像生成装置は、上記のように、プルダウン画像とビデオ（テロップ）画像の部分を別々に処理を行う場合に、境界が目立たないように境界の周辺を段階的に強度（係数）を調整可能なフィルタでぼかす事により画像の見栄えを向上させる。

（付記１３）レート変換画像生成装置において、入力画像がインタレース画像であり、前フィールドと現フィールドの差分を計算する際にフィールドの違いを吸収する吸収手段を持つ事を特徴とするレート変換画像生成装置。

（付記１４）レート変換画像生成装置のモード判定手段において、入力画像がインタレース信号の場合の画像の差分の吸収手段として現フィールド用に第１の垂直方向LPF、前フィールド用に第２の垂直方向LPFを持ち入力画像がインタレース信号でも入力画像がプルダウン信号かビデオ信号かを判定できる事を特徴とするレート変換画像生成装置。

本発明によると、フレームレート変換装置において、テロップが付加されているプルダウン画像をフレームレート変換するとき、テロップの崩れを低減することができる。このため、各種映像再生装置などに、広く好適に使用できる。

本発明の実施の形態を示すものであり、レート変換画像生成装置の要部構成を示すブロック図である。標準６０Ｐを１２０Ｐに変換するフレームレート変換処理の具体例について説明した説明図である。２２プルダウン６０Ｐを１２０Ｐに変換するフレームレート変換処理の具体例について示した説明図である。３２プルダウン６０Ｐを１２０Ｐに変換するフレームレート変換処理の具体例について示した説明図である。本発明の実施の形態を示すものであり、（ａ）〜（ｃ）は、画像に付加されるテロップについて示した説明図である。テロップが付加されている２２プルダウン６０Ｐを１２０Ｐに変換する従来のフレームレート変換処理の具体例を示した説明図である。第１の相関判定部の構成を詳細に示したブロック図である。第２の相関判定部の構成を詳細に示したブロック図である。偏り判定部の構成を詳細に示したブロック図である。入力画像を分割して得られる区画について説明した説明図である。領域の構成例について説明した説明図である。画像制御部の制御の具体例について説明する説明図である。フレームレート変換時に入力画像であるプルダウン画像を２枚生成する場合について例示した説明図である。入力画像のテロップ部分にビデオ処理を行い、それ以外の部分は、フィルム処理を行う場合について説明した説明図である。本発明の実施の形態を示すものであり、レート変換画像生成装置の動作の詳細について説明したフローチャートである。出力画像５１に対して施すぼかし処理について例示した説明図である。ぼかし処理のためのフィルタの一例を示す説明図である。本発明の他の実施の形態を示すものであり、レート変換画像生成装置の要部構成を示すブロック図である。本発明の他の実施の形態を示すものであり、レート変換画像生成装置の動作の詳細について説明したフローチャートである。映像変換装置が備える第１の相関判定部の構成例である。映像変換装置が備える第２の相関判定部の構成例である。従来のレート変換画像生成装置の要部構成を示したブロック図である。

符号の説明

１変換画像生成部（参照フレーム選択手段）
２フィルムモード判定部（パターン判定手段）
１０内挿画像生成部（参照フレーム選択手段）
１１ＳＷ（スイッチ）
２０第１の相関判定部（第１の相関値算出手段）
２１第２の相関判定部（第２の相関値算出手段）
２２偏り判定部（偏り判定手段）
２３画像制御部（参照フレーム選択手段）
２００画像記憶部
２０１第１の比較部
２０２第２の比較部
２０３パラメータ制御部
２０４第３の比較部
２０５部分領域積算部
２０６画像記憶部
２０７パラメータ制御部
２０８係数乗算部
２０９第４の比較部
２１０パラメータ制御部
５００レート変換画像生成装置（フレームレート変換装置）

Claims

入力映像に含まれる入力フレームを参照して該入力フレーム間に内挿する内挿フレームを生成することによって、該入力映像のフレームレートを変換するフレームレート変換装置において、
フレーム全体に関する入力フレーム間の相関の大きさを示す全体相関値を算出する第１の相関値算出手段と、
フレームを分割して得られる複数の領域の各々に関する入力フレーム間の相関の大きさを示す部分相関値を算出する第２の相関値算出手段と、
上記入力映像において同一画像を含む入力フレームが出現する出現パターンを、上記第１の相関値算出手段にて算出された全体相関値に基づいて判定するパターン判定手段と、
上記第２の相関値算出手段にて算出された部分相関値の各々を、上記第１の相関値算出手段にて算出された全体相関値と比較することによって、入力フレーム間の相関に偏りがあるか否かを判定する偏り判定手段と、
内挿フレームを生成するために参照する入力フレームを選択する参照フレーム選択手段であって、互いに異なる画像を含む入力フレームを参照して内挿フレームを生成するよう、上記パターン判定手段にて得られた判定結果に応じた入力フレームを選択する参照フレーム選択手段と、を備えており、
上記参照フレーム選択手段は、上記偏り判定手段にて入力フレーム間の相関に偏りがあると判定された場合、内挿フレームを生成するために参照する入力フレーム数を増加させる、ことを特徴とするフレームレート変換装置。
上記第１の相関値算出手段は、各画素に関する入力フレーム間の相関の有無を判定するとともに、上記全体相関値を、相関があると判定された画素の画素数または相関がないと判定された画素の画素数をカウントすることによって算出する、ことを特徴とする請求項１に記載のフレームレート変換装置。
上記第２の相関値算出手段は、各画素に関する入力フレーム間の相関の有無を判定するとともに、上記複数の領域の各々に対する部分相関値を、当該領域内および当該領域の近傍に位置する領域内の画素のうち、相関があると判定された画素の画素数または相関がないと判定された画素の画素数をカウントすることによって算出する、ことを特徴とする請求項１または２に記載のフレームレート変換装置。
上記偏り判定手段は、上記第２の相関値算出手段にて算出された部分相関値の何れかが、上記第１の相関値算出手段にて算出された全体相関値に係数を乗じた積よりも大きいときに、入力フレーム間の相関に偏りがあると判定する、ことを特徴とする請求項１から３のうち何れか１項に記載のフレームレート変換装置。
上記係数を設定する係数設定手段を更に備えている、ことを特徴とする請求項４に記載のフレームレート変換装置。
上記参照フレーム選択手段は、上記偏り判定手段にて入力フレーム間の相関に偏りがあると判定された場合、内挿フレームを生成するために参照する入力フレームとして、入力映像に含まれる全てのフレームを選択する、ことを特徴とすることを特徴とする請求項１から５のうち何れか１項に記載のフレームレート変換装置。
上記偏り判定手段は、さらに、上記第２の相関値算出手段にて算出された部分相関値が、所定の閾値以下であれば、入力フレーム間の相関に偏りなしと判定する、ことを特徴とする請求項１から６のうち何れか１項に記載のフレームレート変換装置。
上記参照フレーム選択手段は、上記偏り判定手段にて入力フレーム間の相関に偏りがあると複数回連続して判定された場合、内挿フレームを生成するために参照する入力フレーム数を増加させる、ことを特徴とする請求項１から７のうち何れか１項に記載のフレームレート変換装置。
上記偏り判定手段は、上記パターン判定手段が、上記入力映像において同一画像を含む入力フレームが出現する出現パターンを判定したあと、所定のフレームの間は判定を行わないことを特徴とする請求項１から８のうち何れか１項に記載のフレームレート変換装置。
さらに、入力フレームに含まれる画像を、内挿フレームに含める画像とすることを特徴とする請求項１から９のうち何れか１項に記載のフレームレート変換装置。
上記偏り判定手段は、フレームを分割して得られる複数の領域の中から入力フレーム間の相関に偏りがある領域を特定し、
上記参照フレーム選択手段は、上記偏り判定手段が特定した領域について、内挿フレームを生成するために参照する入力フレーム数を増加させる、ことを特徴とする請求項１から１０のうち何れか１項に記載のフレームレート変換装置。
さらに、画像に対してぼかし処理を施す境界ぼかし処理手段を備え、
上記偏り判定手段は、フレームを分割して得られる複数の領域の中から入力フレーム間の相関に偏りがある領域を特定し、
上記境界ぼかし処理手段は、各フレームに含まれる画像について、上記偏り判定手段が特定した領域と、それ以外の領域の境界を中心として、ぼかし処理を施すことを特徴とする請求項１から１０のうち何れか１項に記載のフレームレート変換装置。
フィールド単位に入力される入力映像を、フィールド内補間、フィールド間補間、又は、フィールド内補間とフィールド間補間との組み合わせによって、フレーム単位の入力映像に変換する映像変換手段を備える映像変換装置において、
フィールド単位に入力される入力映像を、フィールド内補間によってフレーム単位の入力映像に変換する映像補間手段と、
上記映像補間手段が変換した入力映像に含まれる入力フレーム間のフレーム全体に関する相関の大きさを示す全体相関値を算出する第１の相関値算出手段と、
フレームを分割して得られる複数の領域の各々に関する入力フレーム間の相関の大きさを示す部分相関値を算出する第２の相関値算出手段と、
上記第２の相関値算出手段にて算出された部分相関値の各々を、上記第１の相関値算出手段にて算出された全体相関値と比較することによって、入力フレーム間の相関に偏りがあるか否かを判定する偏り判定手段と、
上記偏り判定手段の判定結果に基づいて、上記映像変換手段が変換に用いる変換方法を選択する変換方法選択手段を備える、ことを特徴とする映像変換装置。
請求項１から１２までの何れか１項に記載のフレームレート変換装置を動作させる制御プログラムであって、コンピュータを上記の各手段として機能させるための制御プログラム。
請求項１４に記載の制御プログラムを記録したコンピュータ読み取り可能な記録媒体。
入力映像に含まれる入力フレームを参照して該入力フレーム間に内挿する内挿フレームを生成することによって、フレームレート変換装置にて該入力映像のフレームレートを変換するフレームレート変換方法において、
フレーム全体に関する入力フレーム間の相関の大きさを示す全体相関値を算出する第１の相関値算出ステップと、
フレームを分割して得られる複数の領域の各々に関する入力フレーム間の相関の大きさを示す部分相関値を算出する第２の相関値算出ステップと、
上記入力映像において同一画像を含む入力フレームが出現する出現パターンを、上記第１の相関値算出ステップにて算出された全体相関値に基づいて判定するパターン判定ステップと、
上記第２の相関値算出ステップにて算出された部分相関値の各々を、上記第１の相関値算出ステップにて算出された全体相関値と比較することによって、入力フレーム間の相関に偏りがあるか否かを判定する偏り判定ステップと、
内挿フレームを生成するために参照する入力フレームを選択する参照フレーム選択ステップであって、互いに異なる画像を含む入力フレームを参照して内挿フレームを生成するよう、上記パターン判定ステップにて得られた判定結果に応じた入力フレームを選択する参照フレーム選択ステップと、を備えており、
上記参照フレーム選択ステップでは、上記偏り判定ステップにて入力フレーム間の相関に偏りがあると判定された場合、内挿フレームを生成するために参照する入力フレーム数を増加させる、ことを特徴とするフレームレート変換方法。