JP4947349B2

JP4947349B2 - 画像処理装置、画像処理方法、およびプログラム

Info

Publication number: JP4947349B2
Application number: JP2006305751A
Authority: JP
Inventors: 弘章伊藤; 泰成畠澤
Original assignee: Sony Corp
Current assignee: Sony Corp
Priority date: 2006-11-10
Filing date: 2006-11-10
Publication date: 2012-06-06
Anticipated expiration: 2026-11-10
Also published as: CN101179664B; US20080111918A1; US8212919B2; TW200835333A; JP2008124741A; CN101179664A; TWI358947B

Description

本発明は、画像処理装置、画像処理方法、およびプログラムに関し、特に、例えば、映画のフィルムなどを、再生形態に応じて適切にテレシネ変換することができるようにする画像処理装置、画像処理方法、およびプログラムに関する。

例えば、劇場などで上映される映画は、フィルムにとられた連続した毎秒２４コマの映像信号であるので、これを例えばテレビジョン放送の番組として放送したり、ビデオパッケージにして販売したりする場合には、テレビジョン放送用の電気信号としての毎秒３０フレーム(６０フィールド)の映像信号にテレシネ変換する必要がある。

このテレシネ変換の方法として、３−２プルダウン（または２−３プルダウン）と呼ばれる技術が広く用いられている。

例えば３−２プルダウンは、３―２プルダウンされる素材（以下、適宜、３−２プルダウン素材と称する）であるフィルムの映像信号を構成する各コマ（すなわち、サンプルされた時刻が同じであるいわゆるプログレッシブピクチャ）について、奇数番目のピクチャから２個のフィールドを形成し、偶数番目のコマから３個のフィールドを形成することにより、毎秒２４ピクチャを毎秒６０フィールドにレート変換するものである（特許文献１参照）。

具体的には、図１に示すように、奇数番目のピクチャＰ１，Ｐ３，・・・から、そのピクチャを構成するトップフィールドとボトムフィールドの２個のフィールド（すなわちフィールドＦ１−１，Ｆ１−２、フィールドＦ３−１，Ｆ３−２、・・・）が形成され、偶数番目のピクチャＰ２，Ｐ４，・・・から、そのピクチャを構成するトップフィールド、ボトムフィールド、およびトップフィールドまたはボトムフィールドの３個のフィールド（すなわちフィールドＦ２−１，Ｆ２−２，Ｆ２−３、フィールドＦ４−１，Ｆ４−２，Ｆ４−３、・・・）が形成される。すなわち５フィールドに１回、２フィールド前と同一のフィールドが繰り返されるようにしてレート変換が行われる。

ところでこのように３−２プルダウンによりレート変換された映像信号は、図１に示すように、同じ時間のフィールドをインターリーブしてフレーム画像が形成されて再生される。

図１の例では、フィールドＦ１−１(Top)とフィールドＦ１−２(Btm)がインターリーブされて実質同じ画像の２個のフレームＱ１が形成され、フィールドＦ２−１(Top)とフィールドＦ２−２(Btm)またはフィールドＦ２−３(Top)とフィールドＦ２−２(Btm)がインターリーブされて実質同じ画像の３個のフレームＱ２が形成され、フィールドＦ３−２(Top)とフィールドＦ３−１(Btm)がインターリーブされて実質同じ画像の２個のフレームＱ３が形成され、そしてフィールドＦ４−２(Top)とフィールドＦ４−１(Btm)またはフィールドＦ４−２(Top)とフィールドＦ４−３(Btm)がインターリーブされて実質同じ画像の３個のフレームＱ４が形成される。

すなわち図１の例では、フレームＱ１，Ｑ１，Ｑ２，Ｑ２，Ｑ２，Ｑ３，Ｑ３，Ｑ４，Ｑ４，Ｑ４がそれぞれ順次再生される。

しかしながら上記のように３−２プルダウンした各フィールドから得られたフレームを出力する場合において、例えばスロー再生を行うとき、再生速度を落としても、各フレームＱの再生は、図１の例の場合、図２の矢印が示すように、２個のフレームＱ１と３個のフレームＱ２のように、２個の同一フレームと３個の同一フレームが交互に再生されるので、スロー再生スピードが一定しない。

また、５フィールドに１回、２フィールド前と同一のフィールドを繰り返すために、２フィールド前のフィールドをコピーなどで作成する必要があるため、その複製フィールドを含めた表示スピードを一定にするための同期制御が複雑になる問題があった。

また図３Ａに示すような３−２プルダウンの結果得られたフィールドには、図３Ｂに示す所定のフラグが付されており、これらのフラグを利用してインターリーブするフィールドが選択等されるが、ピクチャを区別するためのフラグが存在しない。したがってコマ送りやコマ戻し再生において異なるピクチャを再生するような制御を行うことができない。

例えば、図４の矢印が示すように１フレームずつコマ送り再生する場合、第２番目のフレームＱ１から１コマ送りされるとき、第１番目のフレームＱ２が再生されるので、表示画像が変更するが、第１番目のフレームＱ１から１コマ送りされるとき、第２番目のフレームＱ１が再生され、実際の表示画像は変更されない。

なお図３中のプログレッシブフレームフラグ（Progressive Frame Flag）ＰＦｒは、同一時間のフレームを構成するフィールド画像信号が揃っている場合にはオン（“１”）となり、そうでない場合には、オフ（“０ ”）となるフラグである。

リピートファーストフィールドフラグ（Repeat First FieldFlag）ＲＦＦは、繰り返しフィールド（リピートフィールド）を含むフレーム部分においてオン（“１”）となり、そうでない部分ではオフ（“０”）となるフラグである。

本発明は、このような状況に鑑みてなされたものであり、スロー再生やコマ送り等の特殊再生においても適切な画像再生が行われるようにテレシネ変換するものである。

本発明の一側面の画像処理装置は、通常再生において、３−２プルダウン素材を３−２プルダウンしてフィールド画像を形成するとともに、形成した各フィールド画像に、３−２プルダウン素材に付加されているフラグ情報に基づいてフィールド画像からフレーム画像を生成するのに必要なフラグ情報を付加するフィールド形成手段と、前記フィールド形成手段により形成された前記フィールド画像から、そのフィールド画像に付加されたフラグ情報に基づいてフレーム画像を生成する生成手段とを備える画像処理装置において、前記フィールド形成手段は、スロー再生、スロー逆再生、コマ送り再生またはコマ戻し再生が指示された場合は、前記３−２プルダウン素材の各ピクチャからそれぞれ２フィールドのフィールド画像を形成し、Ｎ倍速再生が指示された場合は、形成されるフィールド画像の数が３−２プルダウンする場合に比べ１／Ｎとなるよう、前記３−２プルダウン素材における特定のピクチャについてはフィールド画像の形成をスキップし、残りの各ピクチャからそれぞれ２フィールドのフィールド画像を形成して、それぞれ形成した各フィールド画像に、そのフィールド画像に対応する前記３−２プルダウン素材を３−２プルダウンして形成され得るフィールド画像に付されるべきフラグ情報を付加し、前記生成手段は、前記フィールド画像に付されたフラグ情報に基づいて、前記フィールド画像からフレーム画像を生成する。

前記生成手段は、前記フィールド形成手段により形成された前記フィールド画像に付されたフラグ情報に基づいて、前記フィールド画像が前記３−２プルダウン素材から形成されたものであるか否かを判定し、前記フィールド画像が前記３−２プルダウン素材から形成されたものであると判定したとき、前記フィールド画像に付されたフラグ情報に基づいて、前記フィールド画像からフレーム画像を生成することができる。

本発明の一側面の画像処理方法は、通常再生において、３−２プルダウン素材を３−２プルダウンしてフィールド画像を形成するとともに、形成した各フィールド画像に、３−２プルダウン素材に付加されているフラグ情報に基づいてフィールド画像からフレーム画像を生成するのに必要なフラグ情報を付加するフィールド形成ステップと、前記フィールド形成ステップの処理で形成された前記フィールド画像から、そのフィールド画像に付加されたフラグ情報に基づいてフレーム画像を生成する生成ステップとを含む画像処理方法において、前記フィールド形成ステップは、スロー再生、スロー逆再生、コマ送り再生またはコマ戻し再生が指示された場合は、前記３−２プルダウン素材の各ピクチャからそれぞれ２フィールドのフィールド画像を形成し、Ｎ倍速再生が指示された場合は、形成されるフィールド画像の数が３−２プルダウンする場合に比べ１／Ｎとなるよう、前記３−２プルダウン素材における特定のピクチャについてはフィールド画像の形成をスキップし、残りの各ピクチャからそれぞれ２フィールドのフィールド画像を形成して、それぞれ形成した各フィールド画像に、そのフィールド画像に対応する前記３−２プルダウン素材を３−２プルダウンして形成され得るフィールド画像に付されるべきフラグ情報を付加し、前記生成ステップは、前記フィールド画像に付されたフラグ情報に基づいて、前記フィールド画像からフレーム画像を生成する。

本発明の一側面のプログラムは、通常再生において、３−２プルダウン素材を３−２プルダウンしてフィールド画像を形成するとともに、形成した各フィールド画像に、３−２プルダウン素材に付加されているフラグ情報に基づいてフィールド画像からフレーム画像を生成するのに必要なフラグ情報を付加するフィールド形成ステップと、前記フィールド形成ステップの処理で形成された前記フィールド画像から、そのフィールド画像に付加されたフラグ情報に基づいてフレーム画像を生成する生成ステップとを含む画像処理をコンピュータに実行させるプログラムであって、前記フィールド形成ステップは、スロー再生、スロー逆再生、コマ送り再生またはコマ戻し再生が指示された場合は、前記３−２プルダウン素材の各ピクチャからそれぞれ２フィールドのフィールド画像を形成し、Ｎ倍速再生が指示された場合は、形成されるフィールド画像の数が３−２プルダウンする場合に比べ１／Ｎとなるよう、前記３−２プルダウン素材における特定のピクチャについてはフィールド画像の形成をスキップし、残りの各ピクチャからそれぞれ２フィールドのフィールド画像を形成して、それぞれ形成した各フィールド画像に、そのフィールド画像に対応する前記３−２プルダウン素材を３−２プルダウンして形成され得るフィールド画像に付されるべきフラグ情報を付加し、前記生成ステップは、前記フィールド画像に付されたフラグ情報に基づいて、前記フィールド画像からフレーム画像を生成する。

本発明の一側面の画像処理装置、画像処理方法、またはプログラムにおいては、通常再生において、３−２プルダウン素材を３−２プルダウンしてフィールド画像が形成されるとともに、形成された各フィールド画像に、３−２プルダウン素材に付加されているフラグ情報に基づいてそのフィールド画像からフレーム画像を生成するのに必要なフラグ情報が付加され、形成された前記フィールド画像から、そのフィールド画像に付加されたフラグ情報に基づいてフレーム画像が生成される場合において、スロー再生、スロー逆再生、コマ送り再生またはコマ戻し再生が指示された場合は、３−２プルダウン素材の各ピクチャからそれぞれ２フィールドのフィールド画像が形成され、Ｎ倍速再生が指示された場合は、形成されるフィールド画像の数が３−２プルダウンする場合に比べ１／Ｎとなるよう、前記３−２プルダウン素材における特定のピクチャについてはフィールド画像の形成をスキップし、残りの各ピクチャからそれぞれ２フィールドのフィールド画像が形成されて、それぞれ形成した各フィールド画像に、そのフィールド画像に対応する前記３−２プルダウン素材を３−２プルダウンして形成され得るフィールド画像に付されるべきフラグ情報が付加され、前記フィールド画像に付されたフラグ情報に基づいて、前記フィールド画像からフレーム画像が生成される。

本発明によれば、３−２プルダウン素材のスロー再生やコマ送り等の特殊再生においても適切な画像再生を行うことができる。

図５は、本発明を適用した画像処理装置１の構成例を示している。

表示制御部１１には、３−２プルダウン素材である劇場などで上映される映画の映像を構成する、フィルムにとられた連続した毎秒２４コマ（プログレッシブピクチャ）が入力される。

表示制御部１１にはまた、図示せぬ操作部から、その操作部に対するユーザの操作に対応する指令（例えば、通常再生、スロー再生、倍速再生等の再生形態に応じた再生指令）が入力される。

表示制御部１１は、通常再生の指令が入力された場合、図６Ａに示したように、例えば図中奇数番目のピクチャから２個のフィールドを形成し、偶数番目のピクチャから３個のフィールドを形成して、３−２プルダウンを実行する。

表示制御部１１は、各ピクチャからフィールドを形成するとき、形成したフィールドに、プログレッシブピクチャに付加されているフラグ情報に基づいて、図６Ｂに示すフラグを付加する。

プログレッシブフレームフラグＰＦｒは、３−２プルダウンされて形成されたフィールドにおいて、同一時間のフレームを構成するフィールドが揃っている部分とそうでない部分とを区別するものである。図６Ａの例のように、同一時間のフレームを構成するフィールドが揃っている場合には、図６Ｂに示すように、全てのフィールドにおいて１となる。

リピートファーストフィールドフラグＲＦＦは、３−２プルダウンする際の繰り返しフィールドを含んでいるピクチャに関して１となるものである。図６の例の場合、ピクチャＰ２から形成されたフィールドＦ２−１，Ｆ２−２，Ｆ２−３、およびピクチャＰ４から形成されたフィールドＦ４−１，Ｆ４−２，Ｆ４−３では１となる。

なおプログレッシブフレームフラグＰＦｒおよびリピートファーストフィールドフラグＲＦＦは、プログレッシブピクチャにフラグ情報として付加されている。

ピクチャリニューアルフラグＰｍは、ピクチャが更新された際に１となり、同じピクチャから形成されたフィールドは０となる。図６の例の場合、各ピクチャの最初のフィールドであるフィールドＦ１−１、フィールドＦ２−１、フィールドＦ３−１、フィールドＦ４−１で１となり，それ以外のフィールドでは０となる。

ピクチャ番号ＰＮｍは、ピクチャごとの固有の値であり、同じピクチャから生成されたフィールドでは同じピクチャ番号となる。なおこの番号は連続している必要はないが、判別時に参照するピクチャ全てに関して異なるピクチャ間で同じピクチャ番号とならないことが必要である。

フィールドＩＤ（ＦＩＤ）は、表示制御部１１が出力するフィールドがTopかBottomかを表すフラグであり、TopフィールドとBottomフィールドで０と１を割り当てる必要があり、重複してはいけない。例えばTopフィールド出力時を１、Bottomフィールド出力時を０とした場合、図６に示すようになる。

表示制御部１１は、通常再生以外の再生（すなわち特殊再生）の再生指令が入力された場合、その特殊再生に応じて、ピクチャから形成するフィールドを変更する。この処理については後述する。

図５に戻り表示制御部１１は、形成したフィールドを、３−２プルダウン検出部１２に供給する。

３−２プルダウン検出部１２は、表示制御部１１から供給されるフィールドに付されているフラグを参照し、そのフィールドが３−２プルダウン素材から形成されたものであるか否かを判定し、その判定結果をフレーム生成部１３に通知する。

具体的には、３−２プルダウン素材を３−２プルダウンして形成された各フィールドには、図６Ｂに示したフラグが付されているので、フラグ（ＰＦｒ，ＲＦＦ，Ｐｍ）についてみれば、（１，０，１）、（１，０，０）、（１，１，１）、（１，１，０）、（１，１，０）が繰り返されるので、その３個のフラグを参照することにより、３−２プルダウン素材から形成されたものであるか否かの判定を行うことができる。

なおフラグ（ＰＦｒ，ＲＦＦ）でも一定の規則性があるので、フラグ（ＰＦｒ，ＲＦＦ）を参照することによっても、３−２プルダウン素材から形成されたものであるか否かの判定を行うことができる。

再度図５に戻りフレーム生成部１３は、３−２プルダウン検出部１２から表示制御部１１から出力されたフィールドが３−２プルダウン素材から形成されたものである旨の通知を受けた場合、表示制御部１１から供給されたフィールドに付されたフラグを参照してインターリーブするフィールドを選択し、選択したそれらをインターリーブしてフレームを生成する。すなわち表示制御部１１から出力されたフィールドが３−２プルダウン素材から形成されたものである旨の通知は、表示制御部１１から供給されたフィールドから、フィールドに付されたフラグを利用してフレームを生成することができることを意味している。

例えば図６の例において表示制御部１１からフィールドＦ１−１およびフィールドＦ１−２が供給された場合、フィールドＦ１−１とインターリーブするフィールドとして、フィールドＦ−１と同じピクチャ番号ＰＮｍ（１）を有するフィールドＦ１−２が選択されて、図７に示すように、第１番目のフレームＱ１が生成される。また同様にフィールドＦ１−２とインターリーブするフィールドとして、フィールドＦ１−２と同じピクチャ番号ＰＮｍ（１）を有するフィールドＦ１−１が選択されて、図７に示すように、第２番目のフレームＱ１が生成される。

またフレーム生成部１３は、ピクチャ番号ＰＮｍとフラグＦＩＤを参照することにより、各フィールドが、そのピクチャのトップフィールドであるかまたはボトムフィールドであるかを認識することができるので、正確に位相判別を行うことができる。

なお３−２プルダウン検出部１２は、表示制御部１１から供給されるフィールドについて、それに付されているフラグを参照して、そのフィールドが３−２プルダウン素材から形成されたものであるか否かを判定するが、そのフラグが表示制御部１１において適切に付加されないために、３−２プルダウン素材から形成されたものであるか否かを適切に判定することができないことがある。

そこでフレーム生成部１３は、３−２プルダウン検出部１２から、３−２プルダウンされたものではない旨の通知を受けた場合においても、３−２プルダウンされて形成されるフィールドの特徴（規則性）に基づいて、３−２プルダウン素材から形成されたものであるかの判定や、インターリーブするフィールドの検出を行うことができる。なおこの処理の詳細は、特許文献１に詳細に記載されている。

次にスロー再生の再生指令がなされた場合の各部の動作を説明する。

通常再生の場合は、表示制御部１１は、図７に示すように、５フィールドに１回、２フィールド前と同一のフィールド（リピートフィールド）を形成するが、スロー再生の場合、そのリピートフィールドの形成を停止し（すなわち３−２プルダウンを行わず）、各ピクチャのそれぞれから２フィールドを形成するようにする。

すなわち図８に示すように、通常再生の際には形成されていた、図中、破線で示されている左から第５番目のフィールドＦ２−３、第１０番目のフィールドＦ４−３等は形成されず、各ピクチャＰからそれぞれ２個のフィールドＦが形成される。

３−２プルダウン検出部１２は、この場合、表示制御部１１から供給される各フィールドには、図８Ｂに示すようなフラグが付されており、フラグ（ＰＦｒ，ＲＦＦ，Ｐｍ）についてみれば、（１，０，１）、（１，０，０）、（１，１，１）、（１，１，０）が繰り返されるので、その３個のフラグを参照することにより、表示制御部１１から供給されたフィールドが３−２プルダウン素材から形成されたものであるか否かを判定する。

フレーム生成部１３は、基本的は、通常再生と同様に、表示制御部１１から供給されたフィールドに付されたピクチャ番号ＰＮｍを検出し、そのピクチャ番号ＰＮｍに基づいてインターリーブするフィールドを選択し、インターリーブを実行する。

すなわちこの場合、図９に示すように、それぞれ２個ずつのフレームＱ１，Ｑ２，Ｑ３，Ｑ４，・・・が生成されるので、スロー再生時においては、各フレームＱの画像が均等に表示され、スロー再生スピードが一定となる。

なおここではスロー再生を例として説明したが、スロー逆再生についても基本的に同様に行われる。

次に１．５倍速再生の再生指令がなされた場合の各部の動作を説明する。

この場合、表示制御部１１は、図１０に示すように、スロー再生の場合と同様に３−２プルダウンせずに、各ピクチャのそれぞれから２個のフィールドを形成するが、例えば連続する１２個のピクチャを１つの組として、その組における第７番目のピクチャ（図１０の例の場合、ピクチャＰ７）および第１１番目のピクチャ（図１０の例の場合、ピクチャＰ１１）からのフィールド形成をスキップする。すなわち、図１０中、通常再生では生成されていた破線で示されるフィールドが形成されない。

表示制御部１１から供給される各フィールドには、その図示は省略するが、一定の規則に従ったフラグ（ＰＦｒ，ＲＦＦ，Ｐｍ）が付されているので、３−２プルダウン検出部１２は、その３個のフラグを参照することにより、表示制御部１１から供給されたフィールドが３−２プルダウン素材から形成されたものであるか否かを判定する。

すなわちこの場合、図１１に示すような、１２個のピクチャＰ１乃至Ｐ１２からは、２０個のフレームＱが生成されて再生されるので、本来であれば３０フレーム再生される場合に対して、１．５の速度で再生される。

なおここでは１．５倍再生を例として説明したが、他の速度での再生についても基本的に同様に行われる。

すなわちＮ倍速の場合は、３−２プルダウンして形成され得るフィールドの数とＮ倍再生に応じて、前記３−２プルダウン素材から形成した所定のフィールドの数との比がＮとなるように、前記３−２プルダウン素材からフィールドを形成することにより、Ｎ倍速再生を実現することができる。

次にコマ送り再生の再生指令が入力された場合の各部の動作を説明する。

この場合、表示制御部１１は、図８に示した、スロー再生の場合と同様に３−２プルダウンせずに、各ピクチャから２個のフィールドを形成する。

３−２プルダウン検出部１２は、スロー再生の場合と同様にして、フラグ（ＰＦｒ，ＲＦＦ，Ｐｍ）を参照することにより、表示制御部１１から供給されたフィールドが３−２プルダウン素材から形成されたものであるか否かを判定する。

フレーム生成部１３は、例えば図１２に示すように、第１番目のフレームＱ１からの１コマ送り再生を行う場合、第１番目のフレームＱ１以降のフレームを構成するフィールドであって、ピクチャリニューアルフラグＰｍが１となっているフィールドＦ２−１を利用してフレームＱ２を生成して（すなわち、フィールドＦ２−１とフィールドＦ２−２をインターリーブしてフレームＱ２を生成して）再生する。

また例えば図１２に示すように、第２番目のフレームＱ１からの１コマ送り再生を行う場合も同様に、フレーム生成部１３は、第２番目のフレームＱ１以降のフレームを構成するフィールドであって、ピクチャリニューアルフラグＰｍが１となっているフィールドＦ２−１を利用してフレームＱ２を生成して（すなわち、フィールドＦ２−１とフィールドＦ２−２をインターリーブしてフレームＱ２を生成して）再生する。

このようにコマ送り再生が指示されたフレームとは異なるフレームが再生されるようにしたので、異なるピクチャがコマ送りされるように制御することができる。

なおここではコマ送り再生を例として説明したが、コマ戻し再生も基本的に同様に実行される。

次に、上述した画像処理装置１の再生動作を、図１３のフローチャートを参照してまとめて説明する。

表示制御部１１に再生指令が入力されると、ステップＳ１において、表示制御部１１は、その指令が通常再生の指令であるか否かを判定し、通常再生の指令であると判定した場合、ステップＳ２に進む。

ステップＳ２において、表示制御部１１は、図６に示したように３−２プルダウンを実行し、各ピクチャから所定のフィールドを形成し、３−２プルダウン検出部１２は、表示制御部１１から供給されるフィールドに付されているフラグを参照し、そのフィールドが３−２プルダウン素材から形成されたものであるか否かを判定し、その判定結果をフレーム生成部１３に通知する。

フレーム生成部１３は、３−２プルダウン検出部１２から、表示制御部１１から出力されたフィールドが３−２プルダウン素材から形成されたものである旨の通知を受けた場合、表示制御部１１から供給されたフィールドに付されたフラグを参照してインターリーブするフィールドを選択し、図７に示すように、選択したそれらをインターリーブしてフレームを生成する。

ステップＳ１で、通常再生ではないと判定された場合、ステップＳ３に進み、表示制御部１１乃至フレーム生成部１３は、再生形態に応じた処理を実行する。

すなわち例えば指令された再生がスロー再生である場合、図８および図９を参照して説明した処理が表示制御部１１乃至フレーム生成部１３において実行される。

また１．５倍再生である場合、図１０および図１１を参照して説明した処理が表示制御部１１乃至フレーム生成部１３において実行される。

またコマ送り再生である場合、図１２を参照して説明した処理が表示制御部１１乃至フレーム生成部１３において実行させる。

ステップＳ２で３−２プルダウン再生が開始され、またはステップＳ３で再生形態に応じた処理が開始されたとき、ステップＳ４において、再生終了の指令が入力されるまで待機し（すなわち、再生処理が継続され）、再生終了の指令が入力されたとき、実行している再生処理が終了する。

次に、上述した一連の処理は、ハードウェアにより行うこともできるし、ソフトウェアにより行うこともできる。一連の処理をソフトウェアによって行う場合には、そのソフトウェアを構成するプログラムが、汎用のコンピュータ等にインストールされる。

そこで、図１４は、上述した一連の処理を実行するプログラムがインストールされるコンピュータの一実施の形態の構成例を示している。

プログラムは、コンピュータに内蔵されている記録媒体としてのハードディスク１０５やROM１０３に予め記録しておくことができる。

あるいはまた、プログラムは、フレキシブルディスク、CD-ROM(Compact Disc Read Only Memory)，MO(Magneto Optical)ディスク，DVD(Digital Versatile Disc)、磁気ディスク、半導体メモリなどのリムーバブル記録媒体１１１に、一時的あるいは永続的に格納（記録）しておくことができる。このようなリムーバブル記録媒体１１１は、いわゆるパッケージソフトウエアとして提供することができる。

なお、プログラムは、上述したようなリムーバブル記録媒体１１１からコンピュータにインストールする他、ダウンロードサイトから、デジタル衛星放送用の人工衛星を介して、コンピュータに無線で転送したり、LAN(Local Area Network)、インターネットといったネットワークを介して、コンピュータに有線で転送し、コンピュータでは、そのようにして転送されてくるプログラムを、通信部１０８で受信し、内蔵するハードディスク１０５にインストールすることができる。

コンピュータは、CPU(Central Processing Unit)１０２を内蔵している。CPU１０２には、バス１０１を介して、入出力インタフェース１１０が接続されており、CPU１０２は、入出力インタフェース１１０を介して、ユーザによって、キーボードや、マウス、マイク等で構成される入力部１０７が操作等されることにより指令が入力されると、それにしたがって、ROM(Read Only Memory)１０３に格納されているプログラムを実行する。あるいは、また、CPU１０２は、ハードディスク１０５に格納されているプログラム、衛星若しくはネットワークから転送され、通信部１０８で受信されてハードディスク１０５にインストールされたプログラム、またはドライブ１０９に装着されたリムーバブル記録媒体１１１から読み出されてハードディスク１０５にインストールされたプログラムを、RAM(Random Access Memory)１０４にロードして実行する。これにより、CPU１０２は、上述したフローチャートにしたがった処理、あるいは上述したブロック図の構成により行われる処理を行う。そして、CPU１０２は、その処理結果を、必要に応じて、例えば、入出力インタフェース１１０を介して、LCD(Liquid Crystal Display)やスピーカ等で構成される出力部１０６から出力、あるいは、通信部１０８から送信、さらには、ハードディスク１０５に記録等させる。

ここで、本明細書において、コンピュータに各種の処理を行わせるためのプログラムを記述する処理ステップは、必ずしもフローチャートとして記載された順序に沿って時系列に処理する必要はなく、並列的あるいは個別に実行される処理（例えば、並列処理あるいはオブジェクトによる処理）も含むものである。

また、プログラムは、１のコンピュータにより処理されるものであっても良いし、複数のコンピュータによって分散処理されるものであっても良い。さらに、プログラムは、遠方のコンピュータに転送されて実行されるものであっても良い。

なお、本発明の実施の形態は、上述した実施の形態に限定されるものではなく、本発明の要旨を逸脱しない範囲において種々の変更が可能である。

３−２プルダウンを説明するための図である。３−２プルダウン時のスロー再生を説明する図である。３−２プルダウンにより形成されたフィールドに付されるフラグを説明する図である。３−２プルダウン時のコマ送り再生を説明する図である。本発明を適用した画像処理装置１の構成例を示すブロック図である。通常再生を実行する場合の図５の画像処理装置１の動作を説明するための図である。通常再生を実行する場合の図５の画像処理装置１の動作を説明するための他の図である。スロー再生を実行する場合の図５の画像処理装置１の動作を説明するための図である。スロー再生を実行する場合の図５の画像処理装置１の動作を説明するための他の図である。１．５倍再生を実行する場合の図５の画像処理装置１の動作を説明するための図である。１．５倍再生を実行する場合の図５の画像処理装置１の動作を説明するための他の図である。コマ送り再生を実行する場合の図５の画像処理装置１の動作を説明するための図である。図５の画像処理装置の再生処理を説明するフローチャートである。本発明を適用したコンピュータの一実施の形態の構成例を示すブロック図である。

符号の説明

１画像処理装置，１１表示制御部，１２３−２プルダウン検出部，１３フレーム生成部

Claims

通常再生において、３−２プルダウン素材を３−２プルダウンしてフィールド画像を形成するとともに、形成した各フィールド画像に、３−２プルダウン素材に付加されているフラグ情報に基づいてフィールド画像からフレーム画像を生成するのに必要なフラグ情報を付加するフィールド形成手段と、
前記フィールド形成手段により形成された前記フィールド画像から、そのフィールド画像に付加されたフラグ情報に基づいてフレーム画像を生成する生成手段と
を備える画像処理装置において、
前記フィールド形成手段は、
スロー再生、スロー逆再生、コマ送り再生またはコマ戻し再生が指示された場合は、前記３−２プルダウン素材の各ピクチャからそれぞれ２フィールドのフィールド画像を形成し、
Ｎ倍速再生が指示された場合は、形成されるフィールド画像の数が３−２プルダウンする場合に比べ１／Ｎとなるよう、前記３−２プルダウン素材における特定のピクチャについてはフィールド画像の形成をスキップし、残りの各ピクチャからそれぞれ２フィールドのフィールド画像を形成して、
それぞれ形成した各フィールド画像に、そのフィールド画像に対応する前記３−２プルダウン素材を３−２プルダウンして形成され得るフィールド画像に付されるべきフラグ情報を付加し、
前記生成手段は、前記フィールド画像に付されたフラグ情報に基づいて、前記フィールド画像からフレーム画像を生成する
画像処理装置。
前記生成手段は、前記フィールド形成手段により形成された前記フィールド画像に付されたフラグ情報に基づいて、前記フィールド画像が前記３−２プルダウン素材から形成されたものであるか否かを判定し、
前記フィールド画像が前記３−２プルダウン素材から形成されたものであると判定したとき、前記フィールド画像に付されたフラグ情報に基づいて、前記フィールド画像からフレーム画像を生成する
請求項１に記載の画像処理装置。
通常再生において、３−２プルダウン素材を３−２プルダウンしてフィールド画像を形成するとともに、形成した各フィールド画像に、３−２プルダウン素材に付加されているフラグ情報に基づいてフィールド画像からフレーム画像を生成するのに必要なフラグ情報を付加するフィールド形成ステップと、
前記フィールド形成ステップの処理で形成された前記フィールド画像から、そのフィールド画像に付加されたフラグ情報に基づいてフレーム画像を生成する生成ステップと
を含む画像処理方法において、
前記フィールド形成ステップは、
スロー再生、スロー逆再生、コマ送り再生またはコマ戻し再生が指示された場合は、前記３−２プルダウン素材の各ピクチャからそれぞれ２フィールドのフィールド画像を形成し、
Ｎ倍速再生が指示された場合は、形成されるフィールド画像の数が３−２プルダウンする場合に比べ１／Ｎとなるよう、前記３−２プルダウン素材における特定のピクチャについてはフィールド画像の形成をスキップし、残りの各ピクチャからそれぞれ２フィールドのフィールド画像を形成して、
それぞれ形成した各フィールド画像に、そのフィールド画像に対応する前記３−２プルダウン素材を３−２プルダウンして形成され得るフィールド画像に付されるべきフラグ情報を付加し、
前記生成ステップは、前記フィールド画像に付されたフラグ情報に基づいて、前記フィールド画像からフレーム画像を生成する
画像処理方法。
通常再生において、３−２プルダウン素材を３−２プルダウンしてフィールド画像を形成するとともに、形成した各フィールド画像に、３−２プルダウン素材に付加されているフラグ情報に基づいてフィールド画像からフレーム画像を生成するのに必要なフラグ情報を付加するフィールド形成ステップと、
前記フィールド形成ステップの処理で形成された前記フィールド画像から、そのフィールド画像に付加されたフラグ情報に基づいてフレーム画像を生成する生成ステップと
を含む画像処理をコンピュータに実行させるプログラムにおいて、
前記フィールド形成ステップは、
スロー再生、スロー逆再生、コマ送り再生またはコマ戻し再生が指示された場合は、前記３−２プルダウン素材の各ピクチャからそれぞれ２フィールドのフィールド画像を形成し、
Ｎ倍速再生が指示された場合は、形成されるフィールド画像の数が３−２プルダウンする場合に比べ１／Ｎとなるよう、前記３−２プルダウン素材における特定のピクチャについてはフィールド画像の形成をスキップし、残りの各ピクチャからそれぞれ２フィールドのフィールド画像を形成して、
それぞれ形成した各フィールド画像に、そのフィールド画像に対応する前記３−２プルダウン素材を３−２プルダウンして形成され得るフィールド画像に付されるべきフラグ情報を付加し、
前記生成ステップは、前記フィールド画像に付されたフラグ情報に基づいて、前記フィールド画像からフレーム画像を生成する
画像処理をコンピュータに実行させるプログラム。