JP4517311B2 - 情報処理装置および方法、並びにプログラム - Google Patents

情報処理装置および方法、並びにプログラム Download PDF

Info

Publication number
JP4517311B2
JP4517311B2 JP2008100451A JP2008100451A JP4517311B2 JP 4517311 B2 JP4517311 B2 JP 4517311B2 JP 2008100451 A JP2008100451 A JP 2008100451A JP 2008100451 A JP2008100451 A JP 2008100451A JP 4517311 B2 JP4517311 B2 JP 4517311B2
Authority
JP
Japan
Prior art keywords
pull
video signal
pattern
signal
thinning
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2008100451A
Other languages
English (en)
Other versions
JP2009253738A (ja
Inventor
敏之 山内
修利 志田
寛 合間
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Priority to JP2008100451A priority Critical patent/JP4517311B2/ja
Priority to TW098110771A priority patent/TWI398167B/zh
Priority to US12/418,918 priority patent/US8564719B2/en
Publication of JP2009253738A publication Critical patent/JP2009253738A/ja
Application granted granted Critical
Publication of JP4517311B2 publication Critical patent/JP4517311B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/01—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
    • H04N7/0117—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level involving conversion of the spatial resolution of the incoming video signal
    • H04N7/012—Conversion between an interlaced and a progressive signal
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/01—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
    • H04N7/0112—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level one of the standards corresponding to a cinematograph film standard
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/01—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
    • H04N7/0127—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level by changing the field or frame frequency of the incoming video signal, e.g. frame rate converter
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/01—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
    • H04N7/0135—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level involving interpolation processes
    • H04N7/0147—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level involving interpolation processes the interpolation using an indication of film mode or an indication of a specific pattern, e.g. 3:2 pull-down pattern

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Graphics (AREA)
  • Television Systems (AREA)
  • Television Signal Processing For Recording (AREA)

Description

本発明は、情報処理装置および方法、並びにプログラムに関し、特に、より少ない劣化でI/P変換することができるようにした情報処理装置および方法、並びにプログラムに関する。
図１に示すように、例えば、デコーダを含むフロントエンドにおいて、60Hzの映像信号が符号化された信号をデコードし、そのデコードされた60Hzの映像信号を59.94Hzの映像信号としてフロントエンドから出力したい場合、フロントエンド内でフレームレート変換を行う必要がある。そのフレームレート変換のひとつの方法として、デコード画の特定回数目のフレームまたはフィールドの間引き（スキップ）をする方法がある。例えば、60Hzの映像信号から59.94Hzの映像信号に変換する場合、60Hzのデコード画を約1001フレームごとに1フレーム分間引くことで、59.94Hzのフレームレートに乗り換えて出力させる方法（60*1000/1001≒59.94）がある。
図１においては、24p信号に対して3:2プルダウン処理を施すことで得られた3:2プルダウン信号（60i信号）を、59.94i信号に変換するとき、図中の「Skip」により指し示した映像信号Ｄで表す２つのフレーム（フィールド）をスキップすることで、フレームレート変換が実現される。
一方、図２に示すように、例えば、デコーダを含むフロントエンドにおいて、59.94Hzの映像信号が符号化された信号をデコードし、そのデコードされた59.94Hzの映像信号を、60Hzの映像信号としてフロントエンドから出力したい場合、フロントエンド内でフレームレート変換を行う必要がある。そのフレームレート変換のひとつの方法として、デコード画の特定回数目のフレームまたはフィールドの繰り返し（リピート）をする方法がある。例えば、59.94Hzの映像信号を60Hzの映像信号に変換する場合、59.94Hzのデコード画を約1000フレームごとに1フレーム分繰り返すことで、60Hzのフレームレートに乗り換えて出力させる方法（59.94*1001/1000≒60）がある。
図２においては、23.976p信号に対して3:2プルダウン処理を施すことで得られた3:2プルダウン信号（59.94i信号）を、60i信号に変換するとき、図中の「Repeat」により指し示した映像信号Ｃ，Ｄで表すフレームをリピートすることで、フレームレート変換が実現される。
ところで、図３に示すように、23.976p信号に対してプルダウン処理を施すことで得られた3:2プルダウン信号（59.94i信号）をプログレッシブ信号に変換する場合、フレームレート変換などの要因によりスキップやリピートが行われていないため、I/P（Interlace/Progressive）変換によって、完全なプログレッシブ信号である59.94p信号が得られる。
このようなプログレッシブ変換に関する技術としては、例えば、特許文献１で開示されている技術が知られている。
特開平１１−８８８４５号公報
しかしながら、特許文献１を含む従来技術においては、フレームレート変換などの要因によって、スキップやリピートを行うことになるが、I/P変換を意識せずにスキップやリピートを行ってしまうと、スキップやリピートされた箇所でプルダウンシーケンスが崩れてしまい、撮像時間の異なるフィールドが混ざったプログレッシブ画に変換されてしまう、という問題があった。
例えば、図４に示すように、23.976p信号に対してプルダウン処理を施すことで得られた3:2プルダウン信号（59.94i信号）を、60i信号に変換するとき、図中の「Repeat」により指し示した映像信号Ａ，Ｂで表すフレームをリピートすることで、フレームレート変換が行われる場合がある。その後、フレームレート変換により得られた60i信号をI/P変換することで、プログレッシブ信号である60p信号が得られるが、図４の60p信号の映像信号Ｂ'，Ａ'，Ｂ'，Ｂ'で表すフレームで示すように、映像信号Ａ，Ｂで表すフレームをリピートした範囲において、プルダウンシーケンスが崩れてしまうことになる。
その結果、プルダウンシーケンスが崩れた範囲においては、プルダウン信号ではないので、フィールドからの予測補間となり、撮像時間が異なるフィールドが混ざったプログレッシブ画に変換されてしまい、完全なプログレッシブ画を作成できないことになる。
本発明はこのような状況に鑑みてなされたものであり、より少ない劣化でI/P変換することができるようにするものである。
本発明の一側面の情報処理装置は、入力される映像信号を格納するフレームバッファと、前記フレームバッファから入力される前記映像信号と非同期のタイミングで映像信号を読み出し、読み出された前記映像信号をインターレース信号からプログレッシブ信号にI/P変換するI/P変換手段とを有する情報処理装置において、入力される前記映像信号がプルダウン処理により元の映像信号の間引きまたは繰り返しの処理が施されているか否かを判定するプルダウン判定手段と、入力される前記映像信号に対して間引きまたは繰り返しの処理が施されていると判定された場合、前記I/P変換手段で対応しているプルダウンパターンを取得する取得手段と、取得された前記I/P変換手段で対応しているプルダウンパターンと、入力される前記映像信号のプルダウンパターンを間引くか、または繰り返すかによって変換されうるすべてのプルダウンパターンとのマッチング処理を行うマッチング手段と、前記I/P変換手段によって、読み出された前記映像信号をインターレース信号からプログレッシブ信号に変換するとき、マッチングの結果に基づいて、前記I/P変換手段で対応しているプルダウンパターンとなるように、読み出された前記映像信号に対する間引きまたは繰り返しの処理を制御する制御手段とを備える。
前記マッチングの結果としては、１つのパターンだけマッチングする場合、複数のパターンがマッチングする場合、または１つのパターンもマッチングしない場合があり、前記マッチングの結果に対応する間引きまたは繰り返しのパターンを選択する選択手段をさらに備える。
前記選択手段は、前記マッチングの結果として、１つのパターンだけマッチングした場合、間引きまたは繰り返しのパターンとして、その１つだけマッチングしたパターンを選択する。
前記選択手段は、前記マッチングの結果として、複数のパターンがマッチングした場合、間引きまたは繰り返しのパターンとして、複数マッチングしたパターンのなかから、あらかじめ定義された所定のパターンを選択する。
前記選択手段は、前記マッチングの結果として、１つのパターンもマッチングしない場合、間引きまたは繰り返しのパターンとして、入力される前記映像信号のプルダウンパターンを間引くか、または繰り返すかによって変換されうるすべてのプルダウンパターンのなかから、あらかじめ定義された所定のパターンを選択する。
読み出された前記映像信号に対する間引きまたは繰り返しの処理を実行するタイミングであるか否かを判定するタイミング判定手段をさらに備え、前記制御手段は、読み出された前記映像信号に対する間引きまたは繰り返しの処理を実行するタイミングであると判定された場合、読み出された前記映像信号に対する間引きまたは繰り返しの処理を実行させる。
前記プルダウン判定手段は、前記I/P変換手段からのプルダウン情報に基づいて、入力される前記映像信号に対して前記プルダウン処理が施されているか否かを判定する。
本発明の一側面の情報処理方法は、入力される映像信号を格納するフレームバッファを有し、前記フレームバッファから入力される前記映像信号と非同期のタイミングで映像信号を読み出し、読み出された前記映像信号をインターレース信号からプログレッシブ信号にI/P変換するI/P変換手段とを有する情報処理装置の情報処理方法において、入力される前記映像信号がプルダウン処理により元の映像信号の間引きまたは繰り返しの処理が施されているか否かを判定し、入力される前記映像信号に対して間引きまたは繰り返しの処理が施されていると判定された場合、前記I/P変換手段で対応しているプルダウンパターンを取得し、取得された前記I/P変換手段で対応しているプルダウンパターンと、入力される前記映像信号のプルダウンパターンを間引くか、または繰り返すかによって変換されうるすべてのプルダウンパターンとのマッチング処理を行い、前記I/P変換手段によって、読み出された前記映像信号をインターレース信号からプログレッシブ信号に変換するとき、マッチングの結果に基づいて、前記I/P変換手段で対応しているプルダウンパターンとなるように、読み出された前記映像信号に対する間引きまたは繰り返しの処理を制御するステップを含む。
本発明の一側面のプログラムは、上述した本発明の一側面の情報処理方法に対応するプログラムである。
本発明の一側面の情報処理装置および方法、並びにプログラムにおいては、入力される映像信号がプルダウン処理により元の映像信号の間引きまたは繰り返しの処理が施されているか否かが判定され、入力される映像信号に対して間引きまたは繰り返しの処理が施されていると判定された場合、I/P変換手段で対応しているプルダウンパターンが取得され、取得されたI/P変換手段で対応しているプルダウンパターンと、入力される映像信号のプルダウンパターンを間引くか、または繰り返すかによって変換されうるすべてのプルダウンパターンとのマッチング処理が行われ、I/P変換手段によって、読み出された映像信号をインターレース信号からプログレッシブ信号に変換するとき、マッチングの結果に基づいて、I/P変換手段で対応しているプルダウンパターンとなるように、読み出された映像信号に対する間引きまたは繰り返しの処理が制御される。
以上のように、本発明の一側面によれば、より少ない劣化でI/P変換することができる。
以下、図面を参照しながら本発明の実施の形態について説明する。
図５は、本発明を適用した映像信号処理装置の一実施の形態の構成を示す図である。
図５に示すように、映像信号処理装置１は、デコーダ１１、ビデオフレームバッファ１２、表示画制御部１３、I/P変換部１４、および出力バッファ１５を含むようにして構成される。なお、本実施の形態においては、図５の点線で囲まれた領域で示すように、デコーダ１１と表示画制御部１３をまとめてフロントエンドと称し、プルダウン検出部２１を含むようにして構成されるI/P変換部１４をバックエンドと称して説明する。
順不同に説明すると、デコーダ１１には、画像信号が圧縮された符号化データが入力される。デコーダ１１は、入力される符号化データから復号化処理に必要となる画像形成情報を抽出して解析する。そして、デコーダ１１は、画像形成情報の解析結果に基づいて、符号化データを映像信号に復号する。
また、デコーダ１１は、復号された映像信号１をビデオフレームバッファ１２に格納し、映像信号１を格納したビデオフレームバッファ１２のアドレスや画像形成情報の解析結果の一部を復号画像情報として、ビデオフレーム情報１に載せて、表示画制御部１３に出力する。なお、ビデオフレーム情報１の詳細については、後述する。
ビデオフレームバッファ１２は、デコーダ１１により復号された映像信号１を格納するバッファ（フレームメモリ）である。
表示画制御部１３には、デコーダ１１からのビデオフレーム情報１と、I/P変換部１４からの対応プルダウンパターン情報が入力される。表示画制御部１３は、ビデオフレーム情報１および対応プルダウンパターン情報に基づいて、ビデオフレームバッファ１２からI/P変換部１４へ供給する映像信号２を決定し、ビデオフレーム情報２によりI/P変換部１４に通知する。なお、対応プルダウンパターン情報の詳細については、後述する。
I/P変換部１４は、表示画制御部１３から通知されるビデオフレーム情報２に基づいて、デコーダ１１により復号された復号画像である映像信号２をビデオフレームバッファ１２から取得する。I/P変換部１４は、取得した映像信号２がインターレース信号の場合には、ビデオフレーム情報２および後述するプルダウン検出部２１により得られる映像信号２のプルダウン検出結果に基づいて、映像信号２を、プログレッシブの映像信号に変換する。
ここで、I/P変換部１４は、ある特定のプルダウン信号を認識可能であり、そのプルダウン信号の画質劣化を最小限に止めて、インターレース信号をプログレッシブ信号に変換する。
本実施の形態においては、かかるI/P変換部１４によって認識可能であって、画質劣化を最小にしてプログレッシブ信号に変換できるプルダウン信号のパターンを、「I/P変換部１４が対応するプルダウンパターン」と定義し、これが上記の対応プルダウンパターン情報に相当する。例えば、I/P変換部１４が、3:2プルダウン信号と、2:2プルダウン信号を認識可能であり、画質劣化を最小にしてプログレッシブ信号に変換可能であるとすれば、対応プルダウンパターン情報は、3:2プルダウンパターンと、2:2プルダウンパターンとなる。
また、図５に示すように、I/P変換部１４は、プルダウン検出部２１を含むようにして構成される。
プルダウン検出部２１は、ビデオフレームバッファ１２からI/P変換部１４に入力された映像信号２のフレーム差分信号を解析する。プルダウン検出部２１は、その解析結果に基づいて、入力された映像信号２がプルダウン信号であるか否かを判定する。そして、プルダウン検出部２１は、映像信号２のプルダウン検出結果をI/P変換部１４に供給する。
I/P変換部１４によって変換されたプログレッシブの映像信号は、映像信号３として、出力バッファ１５に格納される。そして、出力バッファ１５に格納された映像信号３は、映像信号４として、後段のブロック（図示せず）に出力される。
このように、復号された映像信号１を格納するビデオフレームバッファ１２を有する映像信号処理装置１においては、表示画制御部１３からのビデオフレーム情報２に応じて動作するIP変換部１４によって、ビデオフレームバッファ１２に格納された映像信号１と非同期のタイミングで映像信号２が読み出され、読み出された映像信号２がインターレース信号からプログレッシブ信号に変換される。
次に、上述した、ビデオフレーム情報（以下、ビデオフレーム情報１と、ビデオフレーム情報２とを区別する必要がない場合には、単に、ビデオフレーム情報と称する）の詳細について説明する。ビデオフレーム情報は、各映像信号に付随した情報であって、下記の復号画像情報と、表示画制御情報とで構成される情報である。
復号画像情報は、デコーダ１１により復号された映像信号に対応する復号画像に関する情報であって、次の（１）から（３），（６）の情報を含んでいる。
（１）復号画像が格納されたビデオフレームバッファ１２のポインタ。
（２）復号画像がインターレース画像であるか、あるいはプログレッシブ画像であるかを示すI/P情報。
（３）復号画像がトップ画であるか、あるいはボトム画であるかを示すフィールド情報。
（６）復号画像がプルダウン信号であるか否かを判定するための情報。例えば、MPEG方式が採用されている場合には、progressive_frame，top_field_first（以下、TFFと称する），repeat_first_field（以下、RFFと称する）などがこれに相当する。
また、表示画制御情報は、表示画を制御するための情報であって、次の（４）から（６）の情報を含んでいる。
（４）フレームレート変換などの要因により出力画を繰り返し表示させる必要があるか、あるいは、出力画を間引いて表示させる必要があるかを示すスキップ・リピート情報。
（５）スキップまたはリピートを実施するタイミングを示すスキップ・リピート実施タイミング情報。
（６）プルダウンパターンの何番目のフィールドであるかを示すプルダウンパターンフィールド識別番号の情報。
以下、上記の（１）から（６）は、それぞれ、単に、（１）ビデオフレームバッファのポインタ、（２）I/P情報、（３）フィールド情報、（４）スキップ・リピート情報、（５）スキップ・リピート実施タイミング情報、（６）プルダウン情報と称して説明する。
なお、本実施の形態においては、説明の都合上、復号画像情報の（６）と、表示画制御情報の（６）は、まとめて、（６）プルダウン情報であるとして説明する。つまり、（６）プルダウン情報には、例えば、TFF，RFFフラグや、プルダウンパターンフィールド識別番号などが含まれる。
以上のような、（１）ビデオフレームバッファのポインタ乃至（６）プルダウン情報を含むようにして、ビデオフレーム情報は構成される。
すなわち、表示画制御部１３は、かかるビデオフレーム情報１と、I/P変換部１４から供給される対応プルダウンパターン情報に基づいて、I/P変換部１４に供給する映像信号２を決定する処理を実行する。
図６は、かかる表示画制御部１３の詳細な構成の例を示す図である。
図６に示すように、表示画制御部１３は、スキップ・リピート判定部３１、プルダウン判定部３２、プルダウンパターンマッチング部３３、スキップ・リピートパターン選択部３４、スキップ・リピート実施タイミング判定部３５、スキップ・リピート制御部３６、ビデオフレーム情報格納バッファ３７、およびバッファ３８を含むようにして構成される。
なお、図６においては、スキップ・リピート判定部３１乃至スキップ・リピート制御部３６のそれぞれを結んでいる実線の矢印は、表示画制御部１３において行われる表示画制御処理の処理またはデータの流れを意味している。また、スキップ・リピート判定部３１、プルダウン判定部３２、プルダウンパターンマッチング部３３、スキップ・リピート実施タイミング判定部３５、およびスキップ・リピート制御部３６のそれぞれと、ビデオフレーム情報格納バッファ３７とを結んでいる点線の矢印（但し、プルダウンパターンマッチング部３３からの点線の矢印は省略している）は、各ブロックによって、ビデオフレーム情報格納バッファ３７に格納されたビデオフレーム情報を、読み出したり書き込んだりすることを意味している。
すなわち、ビデオフレーム情報格納バッファ３７には、（１）ビデオフレームバッファのポインタ乃至（６）プルダウン情報が格納され、必要に応じてそれらのビデオフレーム情報を用いた各種の処理が実行される。
以下、表示画制御部１３において行われる表示画制御処理の処理の流れに沿って、かかる処理を実行する各ブロックについて説明する。
スキップ・リピート判定部３１は、スキップ・リピート判定処理を行う。
ここで、スキップ・リピート判定処理とは、例えばフレームレート変換やデコードエラーなどの要因により、復号画像の映像信号１を繰り返し表示させる必要があるか、あるいは、映像信号１を間引いて表示させる必要があるか否かを判定する処理である。スキップ・リピート判定部３１は、スキップ・リピートの判定結果を、ビデオフレーム情報（表示画制御情報）の（４）スキップ・リピート情報として、ビデオフレーム情報格納バッファ３７に格納する。
プルダウン判定部３２は、スキップ・リピート判定部３１により求められた（４）スキップ・リピート情報がスキップまたはリピートをする必要があることを示している場合、ビデオフレーム情報格納バッファ３７に格納されているビデオフレーム情報のなかの復号画像情報（（２）I/P情報、（３）フィールド情報、（６）プルダウン情報）に基づいて、デコーダ１１から出力される映像信号１がプルダウン信号であるか否かを判定する。
プルダウン判定部３２は、映像信号１がプルダウン信号であると判定した場合、デコーダ１１から出力されるプルダウン信号のパターンを判定する。例えば、プルダウン判定部３２は、デコーダ１１からのプルダウン信号が、3:2プルダウン信号、2:2プルダウン信号、またはその他のプルダウン信号となるかを判定する。また、プルダウン判定部３２は、判定されたプルダウンパターンにおいて何番目のフィールドとなるかも判定する。
そして、プルダウン判定部３２は、それらの判定結果を、ビデオフレーム情報（表示画制御情報）の（６）プルダウン情報として、ビデオフレーム情報格納バッファ３７に格納する。
プルダウンパターンマッチング部３３は、ビデオフレーム情報格納バッファ３７に格納されているビデオフレーム情報のなかの表示画制御情報（（４）スキップ・リピート情報）に基づいて、映像信号１をスキップするのか、あるいはリピートするのかを判定する。
そして、プルダウンパターンマッチング部３３は、スキップ・リピートの判定結果がスキップであると判定された場合、デコーダ１１が出力する映像信号１のプルダウンパターンをスキップすることで変換されうるすべてのプルダウンパターンと、バッファ３８に格納された対応プルダウンパターン情報とのマッチング処理を行う。なお、バッファ３８には、I/P変換部１４からの対応プルダウンパターン情報が格納されている。
一方、プルダウンパターンマッチング部３３は、スキップ・リピートの判定結果がリピートであると判定された場合、デコーダ１１が出力する映像信号１のプルダウンパターンをリピートすることで変換されうるすべてのプルダウンパターンと、バッファ３８に格納された対応プルダウンパターン情報とのマッチング処理を行う。
なお、かかるすべてのプルダウンパターンは、フロントエンドが落とし込めるプルダウンパターン、すなわち、例えば、5:2パターン、3:4パターン、4:3パターン、・・・などの有限個のプルダウンパターンとなる。
プルダウンパターンマッチング部３３は、マッチング処理により得られたマッチング結果を、スキップ・リピートパターン選択部３４に供給する。
スキップ・リピートパターン選択部３４は、プルダウンパターンマッチング部３３から供給されるマッチング結果のなかから、スキップまたはリピートで落とし込むプルダウンパターンを選択する。
ここで、落とし込むプルダウンパターンとは、マッチング結果のなかから適切に選択されたプルダウンパターンであって、例えば、マッチング処理によって、１つだけマッチングしたパターンが得られた場合、そのパターンが落とし込むプルダウンパターンとなる。同様に、マッチング処理によって、複数マッチングしたパターンが得られた場合や、マッチング結果が得られなかった場合においても、適切なプルダウンパターンが、落とし込むプルダウンパターンとして選択される。
スキップ・リピートパターン選択部３４は、選択したプルダウンの落とし込みパターンを、スキップ・リピート実施タイミング判定部３５に供給する。
スキップ・リピート実施タイミング判定部３５は、スキップ・リピートパターン選択部３４からのプルダウンの落とし込みパターンと、ビデオフレーム情報に格納されている表示画制御情報（（４）スキップ・リピート情報、（６）プルダウン情報のプルダウンパターンフィールド識別番号）に基づいて、スキップまたはリピートを行うタイミングであるか否かを判定する。
スキップ・リピート実施タイミング判定部３５は、スキップ・リピートの実施タイミングの判定結果を、ビデオフレーム情報（表示画制御情報）の（５）スキップ・リピート実施タイミング情報として、ビデオフレーム情報格納バッファ３７に格納する。
スキップ・リピート制御部３６は、ビデオフレーム情報格納バッファ３７に格納されているビデオフレーム情報のなかの表示画制御情報（（５）スキップ・リピート実施タイミング情報）を取得する。スキップ・リピート制御部３６は、（５）スキップ・リピート実施タイミング情報に基づいて、スキップまたはリピートの実施タイミングであれば、（１）ビデオフレームバッファのポインタを書き換え、（６）プルダウン情報とともに、ビデオフレーム情報格納バッファ３７に格納する。
その後、I/P変換部１４は、ビデオフレーム情報格納バッファ３７に格納されたビデオフレーム情報（（１）ビデオフレームバッファのポインタ）を取得し、（１）ビデオフレームバッファのポインタに基づいて、ビデオフレームバッファ１２から映像信号２を読み出す。I/P変換部１４は、ビデオフレーム情報格納バッファ３７に格納されたビデオフレーム情報２およびプルダウン検出部２１からのプルダウン検出結果に基づいて、インターレース信号である映像信号２を、プログレッシブ信号に変換し、映像信号３として、出力バッファ１５に出力する。
以上のようにして、表示画制御部１３は、構成される。
次に、図７のフローチャートを参照して、図５の映像信号処理装置１によって行われる映像信号処理について説明する。
なお、図７のフローチャートに示す映像信号処理においては、かかる処理の内容を具体的に説明するために、デコーダ１１へ入力される符号化データが、3:2プルダウン処理された59.94Hzのインターレース信号を、MPEG2に準拠した符号化方法で符号化したものであって、かかる符号化データには、TFFやRFFなどのプルダウン情報が含まれているものとして説明する。
また、I/P変換部１４は、3:2プルダウン信号と、3:4プルダウン信号を認識可能であり、認識可能なプルダウン信号ならば、プルダウン処理される前のプログレシブ画像に画が混じることなく、完全に復元できるものとする。
ステップＳ１１において、デコーダ１１は、画像信号が圧縮された符号化データから復号化処理に必要な画像形成情報を抽出して解析し、画像形成情報の解析結果に基づいて、符号化データを映像信号に復号する。
デコーダ１１によって、復号により得られた映像信号１が、ビデオフレームバッファ１２に出力されると、ステップＳ１２において、ビデオフレームバッファ１２は、デコーダ１１から出力された映像信号１を格納する。
また、デコーダ１１は、映像信号１を格納したビデオフレームバッファ１２のアドレスや画像形成情報の解析結果の一部を復号画像情報としてビデオフレーム情報１に載せて、表示画制御部１３に供給する。
ステップＳ１３において、I/P変換部１４は、例えば、3:2プルダウンパターンおよび3:4プルダウンパターンに対応していることを示す対応プルダウンパターン情報を表示画制御部１３に出力する。
ステップＳ１４において、表示画制御部１３は、デコーダ１１からのビデオフレーム情報１と、I/P変換部１４からの対応プルダウンパターン情報に基づいて、I/P変換部１４に供給される映像信号２を決定する処理である表示画制御処理を行う。
ここで、図８のフローチャートを参照して、図７のステップＳ１４の処理に対応する、図６の表示画制御部１３によって行われる表示画制御処理の詳細について説明する。
スキップ・リピート判定部３１は、ステップＳ３１において、スキップ・リピート判定処理を行い、その判定結果に基づいて、ステップＳ３２において、スキップまたはリピートさせる必要があるか否かを判定する。
ステップＳ３２において、スキップまたはリピートさせる必要がないと判定された場合、スキップまたはリピート時の処理を行う必要がないので、後述するステップＳ３３乃至ステップＳ４４をスキップして、処理は、ステップＳ４５に進む。
一方、ステップＳ３２において、スキップまたはリピートさせる必要があると判定された場合、ステップＳ３３において、プルダウン判定部３２は、デコーダ１１から入力されたビデオフレーム情報１に格納されたTFFフラグやRFFフラグなどのプルダウン情報を取得する。
例えば、図９に示すように、デコーダ１１のプルダウン処理後の出力が、23.976p信号に対して3:2プルダウン処理を施した後の3:2プルダウン信号（59.94i信号）のうち、図中の点線で囲まれた映像信号Ａ３で表すフレームに相当するとした場合、スキップ・リピート判定部３１によって、リピートであると判定される。この場合、プルダウン判定部３２は、ビデオフレーム情報格納バッファ３７に格納されたTFFフラグおよびRFFフラグを取得する。
図８のフローチャートに戻り、ステップＳ３４において、プルダウン判定部３２は、ビデオフレーム情報格納バッファ３７に格納されているビデオフレーム情報のなかの復号画像情報に基づいて、デコーダ１１が出力する映像信号１がプルダウン信号であるか否かを判定する。
ステップＳ３４において、デコーダ１１が出力する映像信号１がプルダウン信号ではないと判定された場合、スキップまたはリピート時の処理を行う必要がないので、処理は、ステップＳ４４の処理に進む。
一方、ステップＳ３４において、プルダウン信号であると判定された場合、ステップＳ３５において、プルダウンパターンマッチング部３３は、バックエンドが完備しているプルダウンパターン、すなわち、I/P変換部１４から出力され、バッファ３８に格納されている対応プルダウンパターン情報を取得する。
例えば、デコーダ１１のプルダウン処理後の出力が図９の映像信号Ａ３で表すフレームである場合、プルダウン判定部３２によって、プルダウン信号であると判定される。そして、プルダウンパターンマッチング部３３によって、I/P変換部１４から出力され、バッファ３８に格納されている3:2プルダウンパターンおよび3:4プルダウンパターンに対応していることを示す対応プルダウンパターン情報が取得される。
図８のフローチャートに戻り、ステップＳ３６において、プルダウンパターンマッチング部３３は、フロントエンドが落とし込めるプルダウンパターンと、バックエンドが完備しているプルダウンパターンとのマッチング処理を行う。そして、ステップＳ３７において、かかるマッチング処理の結果に基づいた分岐処理が行われる。
例えば、図９に示すように、デコーダ１１によって3:2プルダウン処理された信号がリピートされる場合、そのリピートのパターンとしては、例えば、5:2パターン、3:4パターン、4:3パターン、・・・などのように有限個のリピートパターンが考えられる。プルダウンパターンマッチング部３３においては、これらの有限個のリピートパターンと、I/P変換部１４の対応プルダウンパターン情報とのマッチングが行われる。そして、この場合のマッチングの結果としては、例えば、3:4パターンが得られる。
図８のフローチャートに戻り、ステップＳ３７において、マッチングの結果として、１つだけマッチングしたと判定された場合、ステップＳ３８において、スキップ・リピートパターン選択部３４は、間引き・繰り返しパターンとして、唯一マッチングしたスキップ・リピートパターンが選択される。
例えば、マッチングの結果として、3:4パターンのみが得られた場合には、スキップ・リピートパターン選択部３４によって、リピートパターンとして、3:4パターンが選択される。
一方、ステップＳ３７において、マッチングの結果として、複数マッチングしたと判定された場合、処理は、ステップＳ３９に進む。
ステップＳ３９において、スキップ・リピートパターン選択部３４は、間引き・繰り返しパターンとして、複数マッチングしたパターンのなかから、スキップ時には、後述する［スキップ１］または［スキップ２］に合致するものを選択する。また、スキップ・リピートパターン選択部３４は、リピート時には、複数マッチングしたパターンのなかから、後述する［リピート１］または［リピート２］に合致するものを選択する。
ここで、［スキップ１］、［スキップ２］、［リピート１］、［リピート２］は、例えば、次に示す内容で定義される。
［スキップ１］
復号された映像信号１が、ｐ：ｑプルダウン信号（但し、ｐ≧２，ｑ≧２）であって、ｐ：ｑプルダウン信号をフレームレート変換時に、１フレーム分間引き出力させなければならないとき、ｐ回繰り返しフィールド（以下、ｐシーケンスと称する）とｑ回繰り返しフィールド（ｑシーケンスと称する）のうち、繰り返し回数の多いシーケンスのフレームを１フレーム分間引いて出力させる。
［スキップ２］
復号された映像信号１が、ｐ：ｑプルダウン信号（但し、ｐ＝ｑ≧２）であって、ｐ：ｑプルダウン信号をフレームレート変換時に、１フレーム分間引き出力させなければならないとき、ｐシーケンスとｑシーケンス、または、ｑシーケンスとｐシーケンスとの間で、２フィールド分間引いて出力させる。
［リピート１］
復号された映像信号１が、ｐ：ｑプルダウン信号（但し、ｐ≧２，ｑ≧２）であって、ｐ：ｑプルダウン信号をフレームレート変換時に、１フレーム分繰り返して出力させなければならないとき、ｐシーケンスとｑシーケンスのうち、繰り返し回数の少ないシーケンスのフレームを１フレーム分繰り返して出力させる。
［リピート２］
復号された映像信号１が、ｐ：ｑプルダウン信号（但し、ｐ＝ｑ≧２）であって、ｐ：ｑプルダウン信号をフレームレート変換時に、１フレーム分繰り返して出力させなければならないとき、ｐシーケンスとｑシーケンス、または、ｑシーケンスとｐシーケンスとの間で、２フィールド分繰り返して出力させる。
以上のようにして、［スキップ１］乃至［リピート２］は定義される。
図８のフローチャートに戻り、ステップＳ３７において、マッチングの結果として、マッチングしなかったと判定された場合、処理は、ステップＳ４０に進む。
ステップＳ４０において、スキップ・リピートパターン選択部３４は、間引き・繰り返しパターンとして、フロントエンドが落とし込めるプルダウンパターンのなかから、スキップ時には、［スキップ１］または［スキップ２］に合致するものを選択する。また、スキップ・リピートパターン選択部３４は、リピート時には、フロントエンドが落とし込めるプルダウンパターンのなかから、［リピート１］または［リピート２］に合致するものを選択する。
その後、ステップＳ３８乃至ステップＳ４０の処理のいずれかが終了すると、処理は、ステップＳ４１に進む。
ステップＳ４１において、スキップ・リピート実施タイミング判定部３５は、ビデオフレーム情報格納バッファ３７に格納されている（６）プルダウン情報のプルダウンパターンフィールド識別番号に基づいて、スキップ・リピートを実施するタイミング、すなわち、間引き・繰り返しを行うタイミングであるか否かを判定する。
ステップＳ４１において、間引き・繰り返しを行うタイミングであると判定された場合、ステップＳ４２において、スキップ・リピート制御部３６は、選択されたパターンに従って、フレーム（フィールド）の間引き・繰り返しを実行する。つまり、この場合、スキップ・リピート制御部３６によって、即座にスキップ・リピート処理が実行される。
一方、ステップＳ４１において、間引き・繰り返しを行うタイミングではないと判定された場合、ステップＳ４３において、スキップ・リピート制御部３６は、Ｎフレーム（フィールド）後に、選択されたパターンに従って、間引き・繰り返しを実行する。つまり、この場合、スキップ・リピートの実施タイミングで指示されるまで待った後に、スキップ・リピート制御部３６によって、スキップ・リピート処理が実行される。
例えば、図９に示すように、いま、現フィールドが映像信号Ａ３である状態を考えると、3:4パターンにするためには、図中の「Repeat」により指し示した映像信号Ｂ２の後に、映像信号Ｂ１と映像信号Ｂ２を繰り返さなければならない。そのため、現フィールド、つまり、映像信号Ａ３は、リピートタイミングではないと判定される。その後、リピートタイミングであると判定される映像信号Ｂ２まで、２フィールド分のリピート処理を持ち越す処理が行われる。言い換えれば、図中の点線で囲った映像信号Ａ２と映像信号Ａ３においては、リピートをシフトさせている。
その後、現フィールドが映像信号Ｂ２となったとき、スキップ・リピート実施タイミング判定部３５によって、リピートタイミングであると判定される。そして、映像信号Ｂ２のリピートタイミングとなったとき、スキップ・リピート制御部３６によって、映像信号Ｂ１と映像信号Ｂ２とが繰り返されるように、ビデオフレームバッファ１２のポインタが調整される。これにより、映像信号Ｂ１と映像信号Ｂ２のリピート処理が実行される。
図８のフローチャートに戻り、また、上述した、ステップＳ３４において、デコーダ１１が出力する映像信号１がプルダウン信号ではないと判定された場合は、ステップＳ４４において、スキップ・リピート制御部３６によって、フレーム（フィールド）の間引き・繰り返しの処理が実行される。すなわち、この場合、スキップまたはリピート時の処理を行う必要がないので、スキップ・リピート制御部３６によって、プルダウン信号を意識しないスキップ・リピート処理が実行される。
ステップＳ４２乃至ステップＳ４４の処理のいずれかが終了すると、処理は、ステップＳ４５に進む。
ステップＳ４５において、スキップ・リピート判定部３１乃至スキップ・リピート制御部３６のいずれかは、フロントエンドのステート情報を、ビデオフレーム情報格納バッファ３７に格納することで、後段のバックエンドに伝達する。
ここで、ステート情報には、例えば、スキップ・リピート情報、マッチング結果、特殊再生の有無などの、バックエンドにおいて行われる、I/P変換やハイフレームレート変換などのバックエンド処理を実行するために必要となる情報が含まれる。
例えば、リピート処理が実行されると、スキップ・リピート制御部３６によって、ビデオフレーム情報格納バッファ３７に格納されたビデオフレーム情報の（６）プルダウン情報は、そのリピート処理により一時的に3:4プルダウン信号に変換されていることを示す情報に書き換えられる。そして、その書き換えられたビデオフレーム情報が、ステート情報（ビデオフレーム情報２）として、バックエンドとしてのI/P変換部１４に伝達される。
ステップＳ４５の処理が終了すると、表示画制御部１３による表示画制御処理は終了し、その後、処理は、図７のステップＳ１５の処理に戻る。
ステップＳ１５において、I/P変換部１４は、例えば、I/P変換やハイフレームレート変換などのバックエンド処理を行う。
具体的には、I/P変換部１４は、表示画制御部１３による表示画制御処理により得られたビデオフレーム情報２に基づいて、ビデオフレームバッファ１２に格納された映像信号１のなかから映像信号２を取得する。そして、I/P変換部１４は、取得した映像信号２がインターレース画像の場合には、ビデオフレーム情報２に基づいて、映像信号２をプログレッシブ画像に変換する。
すなわち、このとき、I/P変換部１４においては、フロントエンドから伝達されるステート情報（ビデオフレーム情報２）によって、例えば、3:2プルダウン信号が一時的に3:4プルダウン信号として入力されていることが判別できる。その結果、I/P変換部１４は、図９の60iに対してI/P変換を施した後の60p信号で示すように、撮像時間の異なるフィールドの混じっていない、完全なプログレッシブ画を生成することが可能となる。
I/P変換部１４は、映像信号２をプログレッシブ画像に変換することで得られる映像信号を、映像信号３として、出力バッファ１５に出力する。
ステップＳ１６において、出力バッファ１５は、I/P変換部１４からの映像信号３を格納し、映像信号４として出力する。
ステップＳ１７において、フロントエンドは、入力される符号化データが終了したか否かを判定する。ステップＳ１７において、入力される符号化データが終了していないと判定された場合、ステップＳ１１に戻り、上述したステップＳ１１乃至ステップＳ１７の処理が繰り返され、映像信号処理が行われる。
一方、ステップＳ１７において、入力される符号化データが終了したと判定された場合、映像信号処理は終了する。
以上のようにして、図５の映像信号処理装置１によって映像信号処理が行われる。
このように、映像信号処理装置１によれば、入力信号がプルダウン信号であって、そのプルダウン信号をフレームレート変換などの要因で、フレーム（フィールド）の間引き（スキップ）や繰り返し（リピート）を行う場合において、I/P変換部１４への入力を一時的に、I/P変換部１４が対応する別のプルダウン信号に変換することができるので、リピートが行われた場合には、I/P変換部１４において、フィールド間予測による補間画ではなく、隣接逆フィールドのコピー処理により完全なプログレッシブ画を復元可能となる。
また、スキップが行われた場合には、リピートの場合と同じように、隣接逆フィールドのコピー処理により完全なプログレッシブ画を復元するか、あるいは、隣接逆フィールドのコピー処理ができないのでフィールド間予測による補間画が作成される場合であっても、プルダウン処理の前の信号でのコマ落ちを防ぐような間引きが行われるために、プルダウンを意識しない間引きが行われた場合のI/P変換時よりも補間画作成のための情報量が増え、より滑らかな補間画が作成される。
さらに、I/P変換部１４においては、１フィールド分のコピー処理で逆フィールドの画を作成することが可能となるので、フィールド間予測による補間画作成よりも、メモリアクセスが削減される。
また、フロントエンドが出力する映像信号の情報をステート情報（ビデオフレーム情報２）として、バックエンドに伝達することで、バックエンドにおけるプルダウン誤検出を減らすことができるため、結果として、意図しない画作りが行われることを防止することができる。
なお、映像信号処理装置１であるが、図５に示した構成は一例であって、例えば、図１０または図１１に示すような構成であってもよい。
すなわち、図５の映像信号処理装置１において、I/P変換部１４から出力され、出力バッファ１５に格納される映像信号３は、I/P変換されたプログレッシブの映像信号となるが、入力された映像信号の反対フィールドの映像信号がI/P変換部１４の出力として、出力バッファ１５に格納される構成としてもよい。その場合、図１０に示すように、出力バッファ１５から出力される映像信号３は、ビデオフレームバッファ１２からの映像信号と合成され、映像信号４として、後段のブロックに出力される。なお、図１０の映像信号処理装置１において、その他の構成は、図５の映像信号処理装置１と同様である。
また、図１１に示すように、フロントエンドがビデオフレームバッファ１２を含み、さらに、バックエンドが出力バッファ１５を含む構成とすることも可能である。この場合、図１１の映像信号処理装置１において、バックエンドは、直接、ビデオフレームバッファ１２へメモリアクセスするのではなく、フロントエンドとバックエンドとの間のインターフェースを介してビデオフレームバッファ１２からの映像信号を取得することになる。
ところで、表示画制御部１３では、例えばMPEG方式で圧縮された画像信号において、TFFやRFFなどのプルダウン情報をデコーダ１１から取得できない場合も考えられる。この場合、図１２の映像信号処理装置５１の構成例に示すように、I/P変換部１４に設けられたプルダウン検出部７１により検出されたプルダウン情報のフィードバックを行うことで、表示画制御部６１によって、入力された映像信号がプルダウン信号となるか否かの判定処理を行うことが可能となる。
そこで、次に、図１２乃至図１６を参照して、プルダウン検出部７１からフィードバックされたプルダウン情報を用いて、プルダウン信号の判定処理を行う場合の例について説明する。
なお、図１２および図１３においては、図５および図６と同様の箇所には、同一の符号が付してあり、処理が同じ部分に関しては、その説明は繰り返しになるので省略する。この例においては、図５の表示画制御部１３およびプルダウン検出部２１の代わりに、表示画制御部６１およびプルダウン検出部７１が設けられている。
プルダウン検出部７１は、ビデオフレームバッファ１２からI/P変換部１４に入力された映像信号２のフレーム差分信号を解析し、入力された映像信号２がプルダウン信号であるか否かを判定して検出する。プルダウン検出部７１は、プルダウン信号の検出結果を、プルダウン情報として、表示画制御部６１にフィードバックする。
表示画制御部６１は、プルダウン検出部７１からフィードバックされたプルダウン情報に基づいて、入力された映像信号がプルダウン信号であるか否かの判定処理を行う。
具体的には、図１３に示すように、表示画制御部６１においては、図６の表示画制御部１３と比較して、プルダウン検出部７１からフィードバックされたプルダウン情報を格納するバッファ８１が追加して設けられている。図１３において、プルダウン判定部３２は、バッファ８１に格納されているプルダウン情報に基づいて、デコーダ１１が出力する映像信号１がプルダウン信号であるか否かの判定処理を行う。プルダウン判定部３２は、判定結果を、ビデオフレーム情報（表示画制御情報）の（６）プルダウン情報として、ビデオフレーム情報格納バッファ３７に格納する。
なお、図１２および図１３において、その他の構成は、図５および図６における場合と同様である。
次に、図１４のフローチャートを参照して、図１２の映像信号処理装置１によって行われる映像信号処理について説明する。
ステップＳ５１およびステップＳ５２において、図７のステップＳ１１およびステップＳ１２における場合と同様に、フロントエンドによる符号化データを映像信号に復号する処理などのフロントエンド処理が行われる。
ステップＳ５３において、I/P変換部１４は、対応プルダウンパターン情報を、プルダウン検出部７１はプルダウン情報を、それぞれ、表示画制御部６１に出力する。
ステップＳ５４において、表示画制御部６１は、デコーダ１１からのビデオフレーム情報１、I/P変換部１４からの対応プルダウンパターン情報、および、プルダウン検出部７１からのプルダウン情報に基づいて、I/P変換部１４に供給される映像信号２を決定する処理である表示画制御処理を行う。
ここで、図１５のフローチャートを参照して、図１４のステップＳ５４の処理に対応する、図１３の表示画制御部６１によって行われる表示画制御処理の詳細について説明する。
ステップＳ７１およびステップＳ７２の処理において、図８のステップＳ３１およびステップＳ３２における場合と同様に、スキップ・リピート判定部３１によるスキップ・リピート判定処理が行われる。
スキップ・リピート判定処理によって、スキップまたはリピートさせる必要があると判定された場合、ステップＳ７３において、プルダウン判定部３２は、デコーダ１１からプルダウン情報を取得できるか否かを判定する。
ステップＳ７３において、デコーダ１１からプルダウン情報を取得できると判定された場合、ステップＳ７４において、プルダウン判定部３２は、デコーダ１１から入力されたビデオフレーム情報１に格納されたTFFフラグやRFFフラグなどのプルダウン情報を取得する。
一方、ステップＳ７３において、デコーダ１１からプルダウン情報を取得できないと判定された場合、ステップＳ７５において、プルダウン判定部３２は、バッファ８１に格納されたバックエンド（プルダウン検出部７１）からのプルダウン情報を取得する。つまり、このプルダウン情報は、プルダウン検出部７１からフィードバックされたものであって、例えば、プログレッシブシーケンス、TFFフラグ、RFFフラグに相当する情報が含まれている。
そして、ステップＳ７６において、図８のステップＳ３４の処理における場合と同様に、プルダウン判定部３２によって、ステップＳ７４またはステップＳ７５の処理によって取得されたプルダウン情報を用いて、プルダウン信号であるか否かを判定する処理が行われる。
ステップＳ７７乃至ステップＳ８７の処理において、図８のステップＳ３５乃至ステップＳ４５における場合と同様に、プルダウン判定部３２乃至スキップ・リピート制御部３６による、マッチング結果に応じたフレームの間引き・繰り返し処理が行われる。
ステップＳ８７の処理が終了すると、表示画制御部６１による表示画制御処理は終了し、その後、処理は、図１４のステップＳ５５の処理に戻る。
ステップＳ５５乃至ステップＳ５７において、図７のステップＳ１５乃至ステップＳ１７における場合と同様に、バックエンドによるバックエンド処理が行われ、ステップＳ５７において、入力される符号化データが終了したと判定されるまで、ステップＳ５１乃至ステップＳ５７の処理が繰り返し行われる。
以上のように、映像信号処理装置５１によれば、プルダウン情報をデコーダ１１から取得できない場合であっても、プルダウン検出部７１によって検出されたプルダウン情報をフィードバックすることで、入力された映像信号がプルダウン信号となるか否かの判定処理を行うことが可能となる。
なお、映像信号処理装置５１であるが、図１２に示した構成は一例であって、例えば、図１６に示すような構成であってもよい。
図１６の映像信号処理装置５１においては、図１２の映像信号処理装置５１と比べて、デコーダ１１の代わりに、信号処理部９１が設けられており、この信号処理部９１には、映像信号０が入力される。つまり、映像信号処理装置５１は、TFF/RFFなどのプルダウン情報をデコーダ１１から取得できない場合の例であるので、フロントエンドへの入力は、図１６に示すように、符号化データに限らず、映像信号が入力されてもよいことになる。但し、この場合、I/P情報については、映像信号０と一緒にデータとしてもらうか、または、信号処理部９１において、インターレースか、あるいはプログレッシブかの判定を行う必要が出てくる。
このように、本発明によれば、圧縮された映像信号を復号してI/P変換を行う映像信号処理装置において、フレームレート変換などの要因により、プルダウン処理されたインターレース信号のフレームの間引きや繰り返しを行う必要があるとき、フロントエンドは、対応プルダウンパターン情報のいずれかになるように、フレームの間引きや繰り返しの方法を決定し、決定された方法にしたがって、フレームの間引きや繰り返しを実行させる。これにより、I/P変換部へ入力される映像信号は、デコーダによってフレームの間引きや繰り返しが実行されたとしても、I/P変換部が対応する他のプルダウンパターンに変換されているため、I/P変換部においては、インターレースのプルダウン信号をより少ない劣化でプログレッシブのプルダウン信号に変換することが可能となる。
また、従来の技術では、デコーダへの入力信号がプルダウン信号（例えば、24p，23.976p信号をプルダウン処理したもの）でないにもかかわらず、スキップ・リピートや特殊再生を行った結果がプルダウンシーケンスに陥ることがあり、プルダウン信号を検出する側の装置においてプルダウン信号であると誤判定されてしまう場合があった。そして、その誤判定が原因で、I/P変換装置にて、意図しない画作り（プルダウンシーケンス時の画作り）が行われてしまう、という問題もあったが、フロントエンドが出力する映像信号の情報を、ステート情報（ビデオフレーム情報２）として、バックエンドに伝達することで、バックエンドにおけるプルダウンの誤検出を減らすことができ、結果として、意図しない画作りが行われるのを防ぐことができる。
なお、図５または図１２の実施の形態では、フロントエンド、バックエンド、ビデオフレームバッファ１２、出力バッファ１５によって、１つの装置である映像信号処理装置１または映像信号処理装置５１を構成するようにしたが、フロントエンド、バックエンドを構成するブロックは、それぞれ、独立した１つの装置とすることが可能である。
上述した一連の処理は、ハードウェアにより実行させることもできるし、ソフトウェアにより実行させることもできる。一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムが、専用のハードウェアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータ等に、プログラム記録媒体からインストールされる。
図１７は、上述した一連の処理をプログラムにより実行するパーソナルコンピュータの構成の例を示すブロック図である。CPU（Central Processing Unit）１１１は、ROM（Read Only Memory）１１２、または記録部１１８に記録されているプログラムに従って各種の処理を実行する。RAM（Random Access Memory）１１３には、CPU１１１が実行するプログラムやデータ等が適宜記憶される。これらのCPU１１１、ROM１１２、およびRAM１１３は、バス１１４により相互に接続されている。
CPU１１１にはまた、バス１１４を介して入出力インターフェース１１５が接続されている。入出力インターフェース１１５には、マイクロホン等よりなる入力部１１６、ディスプレイ、スピーカ等よりなる出力部１１７が接続されている。CPU１１１は、入力部１１６から入力される指令に対応して各種の処理を実行する。そして、CPU１１１は、処理の結果を出力部１１７に出力する。
入出力インターフェース１１５に接続されている記録部１１８は、例えばハードディスクからなり、CPU１１１が実行するプログラムや各種のデータを記録する。通信部１１９は、インターネットやローカルエリアネットワーク等のネットワークを介して外部の装置と通信する。
また、通信部１１９を介してプログラムを取得し、記録部１１８に記録してもよい。
入出力インターフェース１１５に接続されているドライブ１２０は、磁気ディスク、光ディスク、光磁気ディスク、或いは半導体メモリ等のリムーバブルメディア１２１が装着されたとき、それらを駆動し、そこに記録されているプログラムやデータ等を取得する。取得されたプログラムやデータは、必要に応じて記録部１１８に転送され、記録される。
コンピュータにインストールされ、コンピュータによって実行可能な状態とされるプログラムを格納するプログラム記録媒体は、図１７に示すように、磁気ディスク（フレキシブルディスクを含む）、光ディスク（CD-ROM(Compact Disc-Read Only Memory),DVD(Digital Versatile Disc)を含む）、光磁気ディスク、もしくは半導体メモリ等よりなるパッケージメディアであるリムーバブルメディア１２１、または、プログラムが一時的もしくは永続的に格納されるROM１１２や、記録部１１８を構成するハードディスク等により構成される。プログラム記録媒体へのプログラムの格納は、必要に応じてルータ、モデム等のインターフェースである通信部１１９を介して、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の通信媒体を利用して行われる。
なお、本明細書において、記録媒体に格納されるプログラムを記述するステップは、記載された順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。
また、本発明の実施の形態は、上述した実施の形態に限定されるものではなく、本発明の要旨を逸脱しない範囲において種々の変更が可能である。
フレームの間引きを説明する図である。 フレームの繰り返しを説明する図である。 I/P変換を説明する図である。 従来のI/P変換の問題点を説明する図である。 本発明を適用した映像信号処理装置の一実施の形態の構成を示す図である。 表示画制御部の詳細な構成を示す図である。 図５の映像信号処理装置による映像信号処理を説明するフローチャートである。 図６の表示画制御部による表示画制御処理を説明するフローチャートである。 処理結果を説明する図である。 図５の映像信号処理装置の他の構成の例を示す図である。 図５の映像信号処理装置の他の構成の例を示す図である。 本発明を適用した映像信号処理装置の一実施の形態の他の構成を示す図である。 表示画制御部の詳細な他の構成を示す図である。 図１２の映像信号処理装置による映像信号処理を説明するフローチャートである。 図１３の表示画制御部による表示画制御処理を説明するフローチャートである。 図１２の映像信号処理装置の他の構成の例を示す図である。 本発明が適用される情報処理をソフトウェアで実行するコンピュータの構成例を示すブロック図である。
符号の説明
１ 映像信号処理装置， １１ デコーダ， １２ ビデオフレームバッファ， １３ 表示画制御部， １４ I/P変換部， １５ 出力バッファ， ２１ プルダウン検出部， ３１ スキップ・リピート判定部， ３２ プルダウン判定部， ３３ プルダウンパターンマッチング部， ３４ スキップ・リピートパターン選択部， ３５ スキップ・リピート実施タイミング判定部， ３６ スキップ・リピート制御部， ３７ ビデオフレーム情報格納バッファ， ３８ バッファ， ５１ 映像信号処理装置， ６１ 表示画制御部， ７１ プルダウン検出部， ８１ バッファ， ９１ 信号処理部

Claims (9)

  1. 入力される映像信号を格納するフレームバッファと、前記フレームバッファから入力される前記映像信号と非同期のタイミングで映像信号を読み出し、読み出された前記映像信号をインターレース信号からプログレッシブ信号にI/P変換するI/P変換手段とを有する情報処理装置において、
    入力される前記映像信号がプルダウン処理により元の映像信号の間引きまたは繰り返しの処理が施されているか否かを判定するプルダウン判定手段と、
    入力される前記映像信号に対して間引きまたは繰り返しの処理が施されていると判定された場合、前記I/P変換手段で対応しているプルダウンパターンを取得する取得手段と、
    取得された前記I/P変換手段で対応しているプルダウンパターンと、入力される前記映像信号のプルダウンパターンを間引くか、または繰り返すかによって変換されうるすべてのプルダウンパターンとのマッチング処理を行うマッチング手段と、
    前記I/P変換手段によって、読み出された前記映像信号をインターレース信号からプログレッシブ信号に変換するとき、マッチングの結果に基づいて、前記I/P変換手段で対応しているプルダウンパターンとなるように、読み出された前記映像信号に対する間引きまたは繰り返しの処理を制御する制御手段と
    を備える情報処理装置。
  2. 前記マッチングの結果としては、１つのパターンだけマッチングする場合、複数のパターンがマッチングする場合、または１つのパターンもマッチングしない場合があり、
    前記マッチングの結果に対応する間引きまたは繰り返しのパターンを選択する選択手段をさらに備える
    請求項１に記載の情報処理装置。
  3. 前記選択手段は、前記マッチングの結果として、１つのパターンだけマッチングした場合、間引きまたは繰り返しのパターンとして、その１つだけマッチングしたパターンを選択する
    請求項２に記載の情報処理装置。
  4. 前記選択手段は、前記マッチングの結果として、複数のパターンがマッチングした場合、間引きまたは繰り返しのパターンとして、複数マッチングしたパターンのなかから、あらかじめ定義された所定のパターンを選択する
    請求項２に記載の情報処理装置。
  5. 前記選択手段は、前記マッチングの結果として、１つのパターンもマッチングしない場合、間引きまたは繰り返しのパターンとして、入力される前記映像信号のプルダウンパターンを間引くか、または繰り返すかによって変換されうるすべてのプルダウンパターンのなかから、あらかじめ定義された所定のパターンを選択する
    請求項２に記載の情報処理装置。
  6. 読み出された前記映像信号に対する間引きまたは繰り返しの処理を実行するタイミングであるか否かを判定するタイミング判定手段をさらに備え、
    前記制御手段は、読み出された前記映像信号に対する間引きまたは繰り返しの処理を実行するタイミングであると判定された場合、読み出された前記映像信号に対する間引きまたは繰り返しの処理を実行させる
    請求項１に記載の情報処理装置。
  7. 前記プルダウン判定手段は、前記I/P変換手段からのプルダウン情報に基づいて、入力される前記映像信号に対して前記プルダウン処理が施されているか否かを判定する
    請求項１に記載の情報処理装置。
  8. 入力される映像信号を格納するフレームバッファと、前記フレームバッファから入力される前記映像信号と非同期のタイミングで映像信号を読み出し、読み出された前記映像信号をインターレース信号からプログレッシブ信号にI/P変換するI/P変換手段とを有する情報処理装置の情報処理方法において、
    入力される前記映像信号がプルダウン処理により元の映像信号の間引きまたは繰り返しの処理が施されているか否かを判定し、
    入力される前記映像信号に対して間引きまたは繰り返しの処理が施されていると判定された場合、前記I/P変換手段で対応しているプルダウンパターンを取得し、
    取得された前記I/P変換手段で対応しているプルダウンパターンと、入力される前記映像信号のプルダウンパターンを間引くか、または繰り返すかによって変換されうるすべてのプルダウンパターンとのマッチング処理を行い、
    前記I/P変換手段によって、読み出された前記映像信号をインターレース信号からプログレッシブ信号に変換するとき、マッチングの結果に基づいて、前記I/P変換手段で対応しているプルダウンパターンとなるように、読み出された前記映像信号に対する間引きまたは繰り返しの処理を制御する
    ステップを含む情報処理方法。
  9. 入力される映像信号を格納するフレームバッファと、前記フレームバッファから入力される前記映像信号と非同期のタイミングで映像信号を読み出し、読み出された前記映像信号をインターレース信号からプログレッシブ信号にI/P変換するI/P変換手段とを有する機器を制御するコンピュータに実行させるプログラムであって、
    入力される前記映像信号がプルダウン処理により元の映像信号の間引きまたは繰り返しの処理が施されているか否かを判定し、
    入力される前記映像信号に対して間引きまたは繰り返しの処理が施されていると判定された場合、前記I/P変換手段で対応しているプルダウンパターンを取得し、
    取得された前記I/P変換手段で対応しているプルダウンパターンと、入力される前記映像信号のプルダウンパターンを間引くか、または繰り返すかによって変換されうるすべてのプルダウンパターンとのマッチング処理を行い、
    前記I/P変換手段によって、読み出された前記映像信号をインターレース信号からプログレッシブ信号に変換するとき、マッチングの結果に基づいて、前記I/P変換手段で対応しているプルダウンパターンとなるように、読み出された前記映像信号に対する間引きまたは繰り返しの処理を制御する
    ステップを含むプログラム。
JP2008100451A 2008-04-08 2008-04-08 情報処理装置および方法、並びにプログラム Expired - Fee Related JP4517311B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2008100451A JP4517311B2 (ja) 2008-04-08 2008-04-08 情報処理装置および方法、並びにプログラム
TW098110771A TWI398167B (zh) 2008-04-08 2009-03-31 資訊處理設備，資訊處理方法，及資訊處理程式
US12/418,918 US8564719B2 (en) 2008-04-08 2009-04-06 Information processing apparatus, information processing method, and information processing program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2008100451A JP4517311B2 (ja) 2008-04-08 2008-04-08 情報処理装置および方法、並びにプログラム

Publications (2)

Publication Number Publication Date
JP2009253738A JP2009253738A (ja) 2009-10-29
JP4517311B2 true JP4517311B2 (ja) 2010-08-04

Family

ID=41132909

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2008100451A Expired - Fee Related JP4517311B2 (ja) 2008-04-08 2008-04-08 情報処理装置および方法、並びにプログラム

Country Status (3)

Country Link
US (1) US8564719B2 (ja)
JP (1) JP4517311B2 (ja)
TW (1) TWI398167B (ja)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011009949A (ja) * 2009-06-24 2011-01-13 Toshiba Corp 映像処理装置及び映像処理方法
WO2012137269A1 (ja) * 2011-04-01 2012-10-11 パナソニック株式会社 映像信号のフレームレート変換装置及びその方法、そのフレームレート変換を用いた映像処理装置
US20150296101A1 (en) * 2014-04-09 2015-10-15 Tao Han Universal Film mode detection for interlaced video stream

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002094949A (ja) * 2000-09-18 2002-03-29 Toshiba Corp 映像情報再生装置及び再生方法
JP2008060767A (ja) * 2006-08-30 2008-03-13 Sony Corp 映像処理方法、映像処理プログラムおよび映像処理装置、ならびに、再生方法、再生プログラムおよび再生装置

Family Cites Families (36)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5398071A (en) * 1993-11-02 1995-03-14 Texas Instruments Incorporated Film-to-video format detection for digital television
US5828786A (en) * 1993-12-02 1998-10-27 General Instrument Corporation Analyzer and methods for detecting and processing video data types in a video data stream
GB9401897D0 (en) * 1994-02-01 1994-03-30 Snell & Wilcox Ltd Video processing
US6222589B1 (en) * 1996-08-08 2001-04-24 Yves C. Faroudja Displaying video on high-resolution computer-type monitors substantially without motion discontinuities
JPH1188845A (ja) * 1997-09-04 1999-03-30 Matsushita Electric Ind Co Ltd 動画像走査変換装置
US7215376B2 (en) * 1997-10-06 2007-05-08 Silicon Image, Inc. Digital video system and methods for providing same
US6111610A (en) * 1997-12-11 2000-08-29 Faroudja Laboratories, Inc. Displaying film-originated video on high frame rate monitors without motions discontinuities
US6670996B2 (en) * 1998-08-20 2003-12-30 Intel Corporation Apparatus and method for display of progressive and interland video content
US6262763B1 (en) * 1999-07-01 2001-07-17 Sony Corporation Actual size image display
JP2001218172A (ja) 2000-01-31 2001-08-10 Nec Corp 動画像復号器におけるフレームレート変換装置、フレームレート変換方法、およびその記録媒体、集積回路装置
KR100327377B1 (ko) * 2000-03-06 2002-03-06 구자홍 디지털 영상 수신기와 디지털 디스플레이 장치 사이에서디지털 영상 신호를 디스플레이 하는 방법
US6597402B1 (en) * 2000-05-10 2003-07-22 Sage, Inc. Reduced television display flicker and perceived line structure with low horizontal scan rates
CA2330854A1 (en) * 2001-01-11 2002-07-11 Jaldi Semiconductor Corp. A system and method for detecting a non-video source in video signals
US7012648B2 (en) * 2001-04-02 2006-03-14 Matsushita Electric Industrial Co., Ltd. Image conversion method and image conversion apparatus
US7224404B2 (en) * 2001-07-30 2007-05-29 Samsung Electronics Co., Ltd. Remote display control of video/graphics data
US7116828B2 (en) * 2002-09-25 2006-10-03 Lsi Logic Corporation Integrated video decoding system with spatial/temporal video processing
US20040090556A1 (en) * 2002-11-12 2004-05-13 John Kamieniecki Video output signal format determination in a television receiver
US7158186B2 (en) * 2003-05-27 2007-01-02 Genesis Microchip Inc. Method and system for changing the frame rate to be optimal for the material being displayed while maintaining a stable image throughout
US7075581B1 (en) * 2003-06-03 2006-07-11 Zoran Corporation Interlaced-to-progressive scan conversion based on film source detection
JP2005072863A (ja) * 2003-08-22 2005-03-17 Toshiba Corp テレシネ方式識別装置
JP4357239B2 (ja) * 2003-08-27 2009-11-04 三洋電機株式会社 映像信号処理装置及び映像表示装置
US20050225671A1 (en) * 2004-04-09 2005-10-13 Scott Jen Method of Processing Fields of Images and Related Device for Data Lines Similarity Detection
US7738045B2 (en) * 2004-05-03 2010-06-15 Broadcom Corporation Film-mode (3:2/2:2 Pulldown) detector, method and video device
US7420616B2 (en) * 2004-12-07 2008-09-02 Lsi Corporation Video encoder with repeat field to repeat frame conversion
JP3916637B2 (ja) * 2005-03-08 2007-05-16 三菱電機株式会社 映像信号処理装置、映像信号処理方法、及び映像信号表示装置
US8120703B2 (en) * 2005-09-08 2012-02-21 Silicon Image/BSTZ Source-adaptive video deinterlacer
US7868948B2 (en) * 2005-09-12 2011-01-11 Sony Corporation Mage signal processing apparatus, image signal processing method and program for converting an interlaced signal into a progressive signal
JP4929819B2 (ja) * 2006-04-27 2012-05-09 富士通株式会社 映像信号の変換装置及び方法
FR2901951A1 (fr) * 2006-06-06 2007-12-07 St Microelectronics Sa Detecteur de cadence par regions
FR2902265A1 (fr) * 2006-06-13 2007-12-14 St Microelectronics Sa Detection de la cadence d'une sequence de trames video
US8619190B2 (en) * 2006-09-07 2013-12-31 Texas Instruments Incorporated Film mode detection
US8115866B2 (en) * 2006-12-29 2012-02-14 Texas Instruments Incorporated Method for detecting film pulldown cadences
US20090161766A1 (en) * 2007-12-21 2009-06-25 Novafora, Inc. System and Method for Processing Video Content Having Redundant Pixel Values
US8537277B2 (en) * 2008-03-18 2013-09-17 Lsi Corporation Deinterlacing and film and video detection with configurable downsampling
CN101971622A (zh) * 2008-03-24 2011-02-09 松下电器产业株式会社 影像处理装置
JP4388126B1 (ja) * 2008-06-27 2009-12-24 株式会社東芝 プルダウン信号検出装置及びプルダウン信号検出方法、順次走査変換装置

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002094949A (ja) * 2000-09-18 2002-03-29 Toshiba Corp 映像情報再生装置及び再生方法
JP2008060767A (ja) * 2006-08-30 2008-03-13 Sony Corp 映像処理方法、映像処理プログラムおよび映像処理装置、ならびに、再生方法、再生プログラムおよび再生装置

Also Published As

Publication number Publication date
US20090251598A1 (en) 2009-10-08
TW201006248A (en) 2010-02-01
JP2009253738A (ja) 2009-10-29
US8564719B2 (en) 2013-10-22
TWI398167B (zh) 2013-06-01

Similar Documents

Publication Publication Date Title
US8693552B2 (en) Low latency cadence detection for frame rate conversion
US8555175B2 (en) Display generation device, display generation method, program, and content download system
US8571388B2 (en) Apparatuses and methods for processing video signals
US20130298171A1 (en) Device for generating content data, method for generating content data, and recording medium
JP4957960B2 (ja) 画像処理装置、画像処理方法、及びプログラム
US6674480B2 (en) Device for and method of converting a frame rate in a moving picture decoder, and a record medium and an integrated circuit device for implementing such a method
JP2005323182A (ja) 映像信号受信装置及び映像信号受信方法
JPWO2006013781A1 (ja) 記録装置および記録方法
JP2009017365A5 (ja)
JP4517311B2 (ja) 情報処理装置および方法、並びにプログラム
JP2008197529A (ja) データ送受信システム
JP2009027300A (ja) 画像処理装置、画像処理方法、及びプログラム、並びに表示装置
JP2005507186A (ja) 非イントラ・ピクチャの変換によるビデオ信号変更およびシステム
JP2009038791A (ja) 記録装置、記録方法及びプログラム
JP2007193157A (ja) 情報処理装置、および情報処理方法、並びにコンピュータ・プログラム
JP2009105798A (ja) 映像再生装置、映像表示システム、及び映像表示方法
CN101785308B (zh) 信号输出装置和信号输出方法
JP2005295039A (ja) 録画装置、及び録画方法
JP5302753B2 (ja) 映像走査変換装置
KR100555708B1 (ko) 영상데이터 재생시스템 및 그의 제어방법
JP2008058369A (ja) 映像信号出力装置及び音声信号出力装置
JP4588287B2 (ja) 記録装置および方法、記録媒体、並びにプログラム
JP4897589B2 (ja) 記録再生装置
JP5859100B2 (ja) 画像記録装置
JP2010141717A (ja) 画像記録再生装置

Legal Events

Date Code Title Description
A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20100202

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20100329

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20100422

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20100505

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130528

Year of fee payment: 3

R151 Written notification of patent or utility model registration

Ref document number: 4517311

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees