JPH11112939A - 画像信号の方式変換方法および装置 - Google Patents

画像信号の方式変換方法および装置

Info

Publication number
JPH11112939A
JPH11112939A JP29030797A JP29030797A JPH11112939A JP H11112939 A JPH11112939 A JP H11112939A JP 29030797 A JP29030797 A JP 29030797A JP 29030797 A JP29030797 A JP 29030797A JP H11112939 A JPH11112939 A JP H11112939A
Authority
JP
Japan
Prior art keywords
signal
frame
motion
image signal
motion vector
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP29030797A
Other languages
English (en)
Other versions
JP4083265B2 (ja
Inventor
Yasuhiro Hirano
裕弘 平野
Kazuo Ishikura
和夫 石倉
Masahito Sugiyama
雅人 杉山
Mitsuo Nakajima
満雄 中嶋
Toshiyuki Kurita
俊之 栗田
Takaaki Matono
孝明 的野
Haruki Takada
春樹 高田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hitachi Ltd
Original Assignee
Hitachi Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hitachi Ltd filed Critical Hitachi Ltd
Priority to JP29030797A priority Critical patent/JP4083265B2/ja
Priority to EP98118653A priority patent/EP0909092A3/en
Publication of JPH11112939A publication Critical patent/JPH11112939A/ja
Application granted granted Critical
Publication of JP4083265B2 publication Critical patent/JP4083265B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/44Receiver circuitry for the reception of television signals according to analogue transmission standards
    • H04N5/46Receiver circuitry for the reception of television signals according to analogue transmission standards for receiving on more than one standard at will
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/40Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using video transcoding, i.e. partial or full decoding of a coded input stream followed by re-encoding of the decoded output stream
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51Motion estimation or motion compensation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/587Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal sub-sampling or interpolation, e.g. decimation or subsequent interpolation of pictures in a video sequence
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/4402Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display
    • H04N21/440218Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display by transcoding between formats or standards, e.g. from MPEG-2 to MPEG-4
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/01Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
    • H04N7/0135Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level involving interpolation processes
    • H04N7/014Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level involving interpolation processes involving the use of motion vectors
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/14Picture signal circuitry for video frequency region
    • H04N5/147Scene change detection
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/01Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
    • H04N7/0117Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level involving conversion of the spatial resolution of the incoming video signal
    • H04N7/012Conversion between an interlaced and a progressive signal

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Television Systems (AREA)

Abstract

(57)【要約】 【課題】 画質劣化を簡単な信号処理で抑圧し得る高画
質かつ低コストの画像信号の方式変換方法および装置を
提供する。 【解決手段】 動き補正フレーム数変換部2は、ブロッ
ク単位動きベクトル探索部5で動きベクトルBVを検出
し、画素単位動きベクトル生成部6でミニブロック単位
に画素単位の動きベクトルPVを生成する。動き補正内
挿フレーム生成部7は、このPVを基に動き補正ベクト
ル生成部10で補正ベクトルを生成し、現、前フレーム
動き補正信号生成部8、9で夫々動き補正信号を生成す
る。動き補正信号設定部11は、両動き補正信号の絶対
値差分成分が閾値未満の時は両者の平均値、以上の時は
内挿フレームと時間的距離の近いフレーム信号で内挿フ
レーム信号を生成し、フレーム数変換した信号S4を出
力する。

Description

【発明の詳細な説明】
【0001】
【発明の属する技術分野】本発明は画像信号の方式変換
方法および装置に係り、特に、動き補正に固有な画質劣
化を抑圧し、高画質な動き補正のフレームレートの変換
を実現するに好適な画像信号の方式変換方法および装置
に関する。
【0002】
【従来の技術】異なるテレビジョンシステム間の信号変
換である方式変換は、放送の分野では番組交換などで広
く使用されている。一般に、方式変換では、走査線数や
フィールド周波数の変換処理が必要なため、動き画像で
滑らかさが損なわれるモーションジャダーなどの画質劣
化が発生する。
【0003】これら画質劣化を防ぐため、走査線数変換
には動き適応型走査線数・順次走査変換法、フレーム数
変換には動き補正型フレーム数変換法などの信号処理技
術が考案されている。
【0004】このうち、動き補正型フレーム数変換法
は、動きベクトルで前後のフレームの画像の位置を移動
させて内挿フレームの信号を生成するもので、動き画像
のモーションジャダーの除去には極めて有効である。こ
のため、放送関係の方式変換装置では、ほとんどがこの
方法を採用している。
【0005】しかしながら、動き補正型のフレーム数変
換では、特有な画質劣化が発生する。すなわち、一様に
動いている画像や同一物体の一部が孤立点的に全く別の
画像に置き換わる孤立点的な劣化が発生する。また、動
きによって背景が隠れたり現れたりする領域では、動画
の輪郭周縁部がフリッカしたり動きが不自然に見える動
画像の解像度劣化が発生する。これらの画質劣化を抑圧
するため、例えば特開平7−336650号公報には、
内挿フィールドの前後2つの入力フィールドを用いてア
ンカバード領域、カバード領域の内挿処理を行うフィー
ルド内挿方法が開示されている。
【0006】
【発明が解決しようとする課題】従来の技術では、画質
劣化を抑圧するための信号処理が、極めて複雑となって
いる。したがって、この種の信号処理を行う方式変換装
置は、その回路規模が大きくなり、またコストも高くな
るという問題を有している。
【0007】本発明は、上記の問題に鑑みてなされたも
ので、画質劣化を簡単な信号処理で抑圧し得る高画質か
つ低コストの画像信号の方式変換方法および装置を提供
することを目的とする。
【0008】
【課題を解決するための手段】上記目的は、画像信号に
基づいてブロック単位動きベクトルを探索する工程と、
ブロック単位動きベクトルに基づいて画素単位動きベク
トルを生成する工程と、画素単位動きベクトルに基づい
て生成した画像信号の内挿フレーム又は画像信号のフレ
ームの信号で生成した画像信号の内挿フレームを用いて
画像信号のフレーム数を変換する工程とを備えることに
より、達成される。
【0009】ここで、画像信号のフレーム数を変換する
工程は、現フレームの信号を動き補正ベクトルで位置を
移動させて生成する動き補正信号と前フレームの信号を
動き補正ベクトルで位置を移動させて生成する動き補正
信号との絶対値差分成分が閾値未満の場合は、画素単位
動きベクトルに基づいて画像信号の内挿フレームの信号
を生成し、閾値以上の場合は、画像信号のフレームの信
号で画像信号の内挿フレームを生成する。この絶対値差
分成分は、2つの動き補正信号の輝度信号成分の差分、
または輝度信号成分及び色差信号成分の差分に基づいて
求められる。また、画像信号のフレームの信号で生成し
た画像信号の内挿フレームは、現フレームと前フレーム
のうちで時間的距離がより近いフレームの信号に基づい
て生成される。
【0010】本発明に係る画像信号の方式変換装置は、
飛び越し走査の画像信号を順次走査の信号系列に変換す
る走査変換部と、順次走査の信号系列を動き補正型のフ
レーム内挿処理によりフレーム数の変換を行う動き補正
フレーム数変換部とを備え、動き補正フレーム数変換部
は、前記順次走査の信号系列の1フレーム間の差分信号
成分で画像の動きの有無を検出する動き検出部と、ブロ
ックマッチング処理で動きベクトルを生成する動きベク
トル生成部と、動きベクトルで生成する動き補正ベクト
ルによる動き補正処理で内挿フレームの信号系列を生成
する動き補正内挿フレーム生成部とを有し、動き補正内
挿フレーム生成部は、現フレームの信号を動き補正ベク
トルで位置を移動させて生成する動き補正信号と前フレ
ームの信号を動き補正ベクトルで位置を移動させて生成
する動き補正信号との絶対値差分成分が閾値以上の場合
は、現フレームと前フレームのうち時間的距離が近いフ
レームの信号で内挿フレームの信号を生成する。
【0011】そして、動き補正内挿フレーム生成部は、
画像信号の特殊な動きを検出する動き速度検出部を備
え、動き補正ベクトルを用いたフレーム内挿処理の動作
は動きを検出した場合に制限する。また、1フレーム期
間における動き検出領域の累積値でシーンチェンジを検
出したフレームでは、動き補正ベクトルを用いたフレー
ム内挿処理の動作を中止し、現フレームの信号もしくは
前フレームの信号で内挿フレームの信号を生成する動作
を行う。
【0012】このようにすることにより、画質の劣化を
簡単な信号処理で抑圧することができ、高画質かつ低コ
ストの画像信号の方式変換方法および装置を実現するこ
とができる。
【0013】
【発明の実施の形態】はじめに、動き補正のフレーム数
変換における内挿フレーム信号生成の概略を図22
(a)〜(c)を用いて説明する。同図(a)、(b)
は、フレーム周波数50Hzの信号を動き補正処理によ
り60Hzの信号に変換する場合を示すものである。6
0Hzフレーム順1の信号は50Hzフレーム順1の信
号で生成する。一方、60Hzフレーム順2、3、4、
5、6の信号系列(MC内挿と表示)は、50Hzフレ
ーム順1、2、3、4、5、1の信号を動き補正ベクト
ルで内挿フレームの位置に移動させた信号で生成する。
例えば、フレーム順2のMC内挿フレームの信号は、5
0Hzフレーム順1の前フレーム信号S3とフレーム順
2の現フレーム信号S2、フレーム順3のMC内挿フレ
ームの信号は、50Hzフレーム順2の前フレーム信号
S3とフレーム順3の現フレーム信号S2、…で生成す
る。すなわち、現フレームS2と前フレームS3との間
の動きベクトルPVをもとに、動き補正ベクトルVpr(PV*
(ka/Ka+kb))とVct(PV*(kb/Ka+kb))を生成する。そし
て、同図(c)に示す様に、内挿フレーム上の画素A(x,
y)の信号は、前フレームS3の画素A(x,y)を動き補正ベ
クトルVprの水平方向成分Vprx、垂直方向成分Vpryだけ
移動させた点A'(x1、y1)の信号Spr=S3(x1,y1)と、現フレ
ームS2の画素A(x,y)を動き補正ベクトルVctの水平方
向成分Vctx、垂直方向成分Vctyだけ移動させた点A''(x
2、y2)の信号Sct=S2(x2,y2)との平均値で生成する。
【0014】次に、本発明における動き補正内挿フレー
ム生成の概略を図23と図24で説明する。
【0015】図23は、信号処理のフローチャートであ
る。従来技術と同様、はじめに動き補正ベクトルVpr、Vc
tで前、現フレームの画像の位置を移動させた補正信号S
prとSctを生成する。次に、補正信号Spr、Sctの絶対値
差分ER(|Spr−Sct|)を求め、これが閾値TH未満か以
上かで、動き補正ベクトルの精度を判定する。
【0016】そして、絶対値差分成分ERが閾値TH未
満(ER<TH)の場合は、動き補正ベクトルの精度は
高いと判定し、補正信号SprとSctの平均値で内挿フレー
ムの信号を生成する。
【0017】一方、絶対値差分成分ERが閾値TH以上
(ER≧TH)の場合は、動き補正ベクトルの精度は低
いと判定し、前、現フレームのうちで内挿フレームと時
間的距離が近いフレームを選択する。そして内挿フレー
ムの点A(x,y)の信号は、選択フレームの同一位置の信号
で置換する。
【0018】図24(a)、(b)は、内挿フレーム信
号生成を示す概略図である。同図(a)は、ER<TH
の場合であり、補正信号SprとSctの平均値で内挿フレー
ムの信号を生成する。一方、ER≧THの場合は、同図
(b)に示すように、現フレームと前フレームのうちで
内挿フレームと時間的距離が近いフレームを選択し、こ
の選択したフレームの画素A(x,y)の信号で内挿フレーム
の画素A(x,y)の信号を生成する。例えば、60Hzフレ
ーム順2、3、4、5、6のMC内挿フレームは、それ
ぞれ50Hzフレーム順2、3、4、4、5のフレーム
の信号を選択し、このA(x,y)の画素の信号で置換する。
【0019】このようにすることにより、極めて簡単な
信号処理で、動き補正処理に特有な画質劣化を大幅に抑
圧することが可能となる。
【0020】本発明の第1の実施例について、図1乃至
図9の図面で説明する。
【0021】図1は、本実施例に係る方式変換装置のブ
ロック構成図である。本装置は、同図のとおり、IP変
換部1と動き補正フレーム数変換部2とを備える。動き
補正フレーム数変換部2は、1フレーム遅延部3、動き
検出部4、ブロック単位動きベクトル探索部5、画素単
位動きベクトル生成部6、および動き補正内挿フレーム
生成部7を有する。動き補正内挿フレーム生成部7は、
現フレーム動き補正信号生成部8、前フレーム動き補正
信号生成部9、動き補正ベクトル生成部10、および動
き補正信号設定部11を有する。図1において、動き補
正内挿フレーム生成部7内の各部の接続関係は概略を示
すもので、詳しくは後述の図2又は図4に示すとおりで
ある。
【0022】IP変換部1は、飛び越し走査の入力画像
信号S1(輝度信号成分と色差信号成分)を入力し、飛
び越し−順次の走査変換を行う走査変換部である。例え
ば、輝度信号成分は動き適応型の補間処理、色差信号は
ライン間の補間処理で補間走査線の信号を生成し、出力
に順次走査の信号系列S2(輝度信号成分と色差信号成
分)を得る。なお、入力画像信号がテレシネ画像信号
(映画などのフィルム画像を2ー3プルダウン処理でテ
レビ信号のフォーマットに変換した信号)の場合は、フ
ィルムモードの補間処理(同一フィルムフレームに属す
飛び越し走査の信号で補間走査線の信号を生成)で、フ
ィルム画像の形態の順次走査の信号系列を生成する。
【0023】動き補正フレーム数変換部2は、動き補正
処理で内挿フレームの信号系列を生成してフレームレー
ト変換の信号処理を行い、フレーム周波数が入力画像信
号系列より高い周波数の順次走査の画像信号系列S4
(輝度信号成分と色差信号成分)を出力する。
【0024】このうち、動き検出部4は、現フレームの
信号系列S2と、1フレーム遅延部3で1フレーム期間
遅延させた前フレームの信号系列S3の輝度信号成分を
減算して1フレーム間の差分信号を抽出し、これを2値
量子化し、動き検出信号MI1、MI2を出力する。
【0025】ブロック単位動きベクトル探索部5は、ブ
ロックマッチング処理でブロック単位(例えば16画素
×16ラインあるいは8画素×8ライン)の動きベクト
ルを検出する。また、画素単位動きベクトル生成部6
は、ブロック単位の動きベクトルをもとに、画素単位動
きベクトルPVを生成する。これらの詳細は後述する。
【0026】動き補正内挿フレーム生成部7では、動き
補正ベクトル生成部10で画素単位動きベクトルPVを
もとに動き補正ベクトルを生成する。前フレーム動き補
正信号生成部9は、前フレームの信号S3の画像の位置
をこの動き補間ベクトルで移動させた信号で、内挿フレ
ームの信号Sprを生成する。また、現フレーム動き補正
信号生成部8は、現フレームの信号S2の画像の位置を
この動き補間ベクトルで移動させた信号で、内挿フレー
ムの信号Sctを生成する。動き補正信号設定部11は、
信号SctとSprの絶対値差分成分ERが閾値TH(例え
ば、8ビット量子化の場合は16レベル程度)未満の時
は、信号SctとSprの平均値、閾値TH以上の時は時間的
距離の近いフレームの信号を選択し、動き補正フレーム
数変換した信号系列S4を出力する。
【0027】以下、本実施例における主要ブロック部に
ついて説明する。
【0028】図2は、本発明の主要部である動き補正内
挿フレーム生成部11の第1の構成例である。
【0029】動き補正ベクトル生成部10は、画素単位
動きベクトルPVおよびフレーム順制御信号FSによ
り、前述の図22(a)に示した、動き補正ベクトルVc
tとVprを生成する。すなわち、画素単位動きベクトルP
Vに係数加重する係数値ka,kbを変化させ、(数
1)に示す演算で補正補間動きベクトルVpr、Vctを生成
する。
【0030】
【数1】 Vpr=PV*ka/(ka+kb) Vct=−PV*kb/(ka+kb) (数1) 例えば、フレーム順が2の内挿フレームは、Vpr=PV*
5/6,Vct=−PV*1/6(ka=5,kb=1)、3のものは、Vpr=
PV*4/6,Vct=−PV*2/6(ka=4,kb=2)…の如く、係数
値ka,kbを発生させ、時間方向での位置ずれのない
動き補正ベクトルを生成する。また、フレーム順情報FS
1を生成する。
【0031】現フレーム動き補正信号生成部8では、現
フレームの信号S2と動き補正ベクトルVctから動き補
正信号Sctを生成する。また、前フレーム動き補正信号
生成部9は、前フレームの信号S3と動き補正ベクトル
Vprから動き補正信号Sprを生成する。すなわち、図22
(c)に示したように、現フレームの信号S2では点A
(x,y)を補正補間動きベクトルVct(水平方向成分Vctx、
垂直方向成分Vcty)で移動させた点A”(x2,y2)=(x−Vct
x,y−Vcty)の位置の信号Sct、前フレームの信号S3で
は点A(x,y)を補正補間動きベクトルVpr(水平方向成分Vp
rx、垂直方向成分Vpry)で移動させた点A'(x1,y1)=(x+V
prx,y+Vpry)の位置の信号Sprで、内挿フレームの点A
(x,y)の信号を生成する。従って、動き補正信号Sprと
Sctは、以下の(数2)で与えられる。
【0032】
【数2】 Spr=S3(x+Vprx,y+Vpry) Sct=S2(x−Vctx,y−Vcty) (数2) この信号処理は、動き補正信号生成部に内蔵のメモリ回
路の読み出し動作を制御することで簡単に実現できる。
すなわち、読み出しのためのアドレスを動き補正ベクト
ルVpr、Vctの位置だけずらせたアドレスを生成し、この
アドレスで点A',A”に対応した画素の信号を読み出す。
【0033】動き補正信号設定部11は、加算部12、
減算部13、制御信号生成部14、選択部15、及び時
系列変換部16を有する。このうち、加算部12は動き
補正信号SprとSctとの加算平均を行い、その結果を信号
Smcとして出力する。減算部13は、動き補正信号Sp
rとSctの輝度信号成分、又は輝度信号成分及び色差信号
成分の減算演算を行い、その絶対値を信号ERとして出
力する。
【0034】制御信号生成部14は、信号ERとフレー
ム順情報FS1をもとに、選択部15で選択する信号を
制御する信号SLを生成する。この動作概略を図3に示
す。誤差信号ERが閾値TH未満(ER<TH)の時
は、図24(a)のように、動き補正信号Smcを選択
するように制御信号SLを設定する。一方、誤差信号E
Rが閾値TH以上(ER≧TH)の場合は、フレーム順
情報FS1に応じて、内挿フレームと時間的距離の近い
フレームの信号を選択するように制御信号SLを設定す
る。すなわち、図24(b)に示したように、60Hz
フレーム順1〜4では現フレームの信号S2、5〜6で
は前フレームの信号S3を選択する。
【0035】選択部15は、制御信号SLに応じて信号
S2、S3、Smcのいずれかを選択する動作を行い、
信号Soを出力する。
【0036】時系列変換部16は、時間軸の圧縮と時系
列並び替えの処理を行い、図24(a)、(b)に示す
ように、60Hzフレーム順1では信号S2、2〜6で
は信号Soの信号系列からなる動き補正フレーム数変換
信号S4を得る。
【0037】図4は、動き補正内挿フレーム生成部の第
2の構成例図である。これは、モーションジャダー妨害
が目立ちやすい速度の動き、あるいは水平パンや上下パ
ンや文字スクロールなどの特殊な動きの場合のみ、動き
補正のフレーム内挿処理を行うものである。
【0038】同図の動き補正ベクトル生成部10では、
画素単位動きベクトルPVとフレーム順制御信号FS
で、第1の構成例と同様、動き補正ベクトルVctとVpr、
フレーム順情報FS1を生成する。さらに本例では、画
素単位動きベクトルPVの速度の絶対値成分VP1を生
成する。
【0039】制御信号生成部17は、信号ER、FS
1、VP1をもとに、選択部15で選択する信号を制御
する信号SLを生成する。この動作概略を図5に示す。
誤差信号ERが閾値TH未満(ER<TH)で、かつ、
信号VP1が設定値VPmax未満(VP1<VPma
x)の時は、動き補正信号Smcを選択するように制御
信号SLを設定する。一方、誤差信号ERが閾値TH
(ER≧TH)以上、あるいは、信号VP1がVPma
x以上(VP1≧VPmax)の時は、信号S2かS3
を選択するように制御信号SLを設定する。なお、設定
値VPmaxは、水平パンや垂直パン、あるいはスクロ
ールなどの動きでモーションジャダー妨害が目立ちやす
い速度の上限で、例えば、1秒/画面幅、1秒/画面高
程度の速度に設定する。
【0040】この他のものは、第1の構成例と同様な動
作を行うので、説明は省略する。
【0041】次に、ブロック単位動きベクトル探索部の
一構成例を図6で説明する。静動ブロック判定部18
は、ブロック単位(例えば16画素×16ラインあるい
は8画素×8ライン)で、動き検出信号MI1の1の有
無を検出する。そして、信号MI1が全て0の時は静止
ブロックと判定し信号BMとして0を、それ以外の時は
動画ブロックと判定して1を出力する。なお、動き検出
信号MI1は、図1の動き検出部4で現フレームの信号
S2と前フレームの信号S3の輝度信号成分の絶対値差
分成分を閾値THa以上の時は1、THa未満の時は
0、と2値量子化した信号である。
【0042】ブロック単位の動きベクトルの探索は、図
7に示すフローチャートの信号処理に従って実行する。
上述の静止又は動画ブロックの判定は、同図の第1ステ
ップの処理である。そして、第2ステップにおいては、
信号BMが0の静止ブロックのときは、動きベクトル探
索の動作は行わず、ブロック単位動きベクトルBVは0
に設定する。一方、信号BMが1の動画ブロックでは、
以下に述べる動きベクトル探索の動作を行う。
【0043】ブロックマッチング第1処理部20は、図
7の第2ステップの動画ブロック側の処理を行う。予め
設定した複数個数の代表動きベクトルについて、現フレ
ームの信号S2と前フレームの信号S3の輝度信号成分
とでブロックマッチング処理で動き補正誤差を算出し、
これが最少となるものを代表動きベクトルBV1として
出力する。なお、複数個数の代表動きベクトルには、既
に探索を終了した直前のブロックの動きベクトルも併用
することもできる。
【0044】ブロックマッチング第2処理部21は、図
7の第3ステップの処理を行う。現フレームの信号S2
と前フレームの信号S3の輝度信号成分を用いて、代表
動きベクトルBV1を起点として、x成分を±DXの範
囲、y成分を±DYの範囲で定まる動きベクトルについ
てブロックマッチング処理で動き補正誤差を算出し、こ
れが最少となるものをブロック単位動きベクトルBVと
して出力する。
【0045】制御部19は、信号BMに従って、ブロッ
クマッチング第1処理部20とブロックマッチング第2
処理部21の動作に必要な制御信号を生成する。
【0046】次に、画素単位動きベクトル生成部の一構
成例を図8、その信号処理フローチャートを図9に示
す。
【0047】補正誤差算出部22は、図9に示す第1ス
テップの処理を行う。すなわち、現フレームの信号S
2、前フレームの信号S3の輝度信号成分に対し、ブロ
ック単位動きベクトルBVによる動き補正誤差を算出す
る。そして、この誤差の値が閾値TH’未満の場合は信
号PMに0、閾値TH’以上の場合は1を出力する。
【0048】制御部23は、信号PMと動き検出信号M
I2をもとに、図9の第2、第3ステップの信号処理に
必要な制御信号PC1、PC2を生成する。なお、動き
検出信号MI2は、図1の動き検出部4において、フレ
ーム間差分信号を0の時に0、それ以外の時は1、と2
値量子化した信号である。
【0049】補正誤差算出部25−1、…、25−N
は、図9の第2ステップの閾値以上の場合の信号処理を
行う。すなわち、制御信号PC1が閾値以上を示す時、
参照動きベクトル生成部24で生成する、現ブロックの
動きベクトルV0と、これに隣接するブロックに対応す
る動きベクトルV1、…、VNで、ミニブロック(例え
ば水平MX=2、垂直MY=2の2画素×2ライン)毎
に、これを内包する水平4(MX+2)画素、垂直4
(MY+2)ラインの算出領域での動き補正誤差ER
0、ER1、…、ERNを算出する。なお、この動き補
正誤差の算出は、現フレームの信号S2と前フレームの
信号S3の輝度信号成分、もしくは輝度信号成分と色差
信号成分、のいずれかに対し、(数3)に示す演算で実
現できる。
【0050】
【数3】 ER0=Σabs{S2(x,y)−S3(V0)}=Σabs{S2(x,y)−S3(x+V0x,y+V0y)} ER1=Σabs{S2(x,y)−S3(V1)}=Σabs{S2(x,y)−S3(x+V1x,y+V1y)} ER2=Σabs{S2(x,y)−S3(V2)}=Σabs{S2(x,y)−S3(x+V2x,y+V2y)} ………………………………………………………………………… ERN=Σabs{S2(x,y)−S3(VN)}=Σabs{S2(x,y)−S3(x+VNx,y+VNy)} (数3) ここで、S2(x,y)は算出領域内の現フレームの画素
の信号、S3(VN)は動きベクトルVNで位置を移動さ
せた前フレームの画素の信号、abs{ }は絶対値、Σは
算出領域内の画素の総和、VNxは動きベクトルVNの
x成分、VNyはy成分である。
【0051】画素動きベクトル設定部26は、図9の第
2ステップの閾値未満および第3ステップの信号処理を
行う。すなわち、制御信号PC2が閾値未満を示す場合
は、現ブロックの動きベクトルV0を画素単位動きベク
トルPVに出力する。一方、閾値以上を示す場合は、動
き補正誤差ER0、ER1、…、ERNの内で最少値を
とる動きベクトルを各ミニブロック内の画素の動きベク
トルとして出力する。また、制御信号PC2が動き検出
信号MI2が0を示す画素では、画素単位動きベクトル
PVに強制的に0を出力する。
【0052】以上に述べた如く、本実施例によれば、極
めて簡単な信号処理で、動き補正処理に特有な画質劣化
を大幅に抑圧した高画質な画像信号の方式変換装置が実
現できる。そして、低コスト化や高画質化に顕著な効果
が得られる。
【0053】次に、本発明の第2の実施例について、図
10のブロック構成図で説明する。本実施例は、シーン
チェンジの領域では動き補正処理の信号処理を中止する
動作を行うに好適なものである。同図において、IP変
換部1ないし動き補正信号設定部11は、図1の第1の
実施例と同じ動作を行う。図10においても、動き補正
内挿フレーム生成部7内の各部の接続関係は概略を示す
もので、詳しくは図2又は図4に示すとおりである。こ
の事情は、後述の図11、図13〜図17においても同
様である。
【0054】シーンチェンジ検出部27は、1フレーム
期間でのフレーム間差分信号成分の発生形態を基にシー
ンチェンジの発生した領域を検出する動作を行う。一般
に、シーンチェンジの領域では、画像の内容が切り替わ
るため、フレーム間差分信号成分は比較的大きな値を持
つ。そこで、比較的高いレベルの閾値で画素毎に2値量
子化する。そして、1フレーム期間で閾値以上の画素を
計測し、全画面の半分以上の画素数の場合をシーンチェ
ンジ領域と判定し、信号SCFに1フレームの期間にわ
たり1を出力する。これ以外の場合は0を出力する。
【0055】動き補正ベクトル生成部28は、信号SC
Fが1のシーンチェンジ領域では、フレーム順情報FS
1に動き補正処理の動作を中止する信号も出力する。動
き補正信号設定部11は、この信号を受けた場合は、優
先的に現フレームの信号S2、あるいは前フレームの信
号S3を選択して出力する。
【0056】以上に述べた如く、本実施例によれば、シ
ーンチェンジ領域における動きベクトルの不正確さに起
因する画質劣化を回避できる、高画質な画像信号の方式
変換装置が実現でき、低コスト化や高画質化に顕著な効
果が得られる。
【0057】次に、本発明の第3の実施例について、図
11に示すブロック構成図で説明する。本実施例は、フ
レーム繰り返し操作でフレームレートをアップした信号
系列で動き補正変換を行うに好適なものである。
【0058】飛び越し走査の入力画像信号S1(輝度信
号成分と色差信号成分)は、IP変換部1に入力し、飛
び越し−順次の走査変換を行う。例えば、輝度信号成分
は動き適応型の補間処理、色差信号はライン間の補間処
理で補間走査線の信号を生成し、出力に順次走査の信号
系列S2(輝度信号成分と色差信号成分)を得る。
【0059】フレームレートアップ部(FRUP)29
は、フレーム繰り返し処理でフレームレートをアップし
た信号系列を生成する。すなわち、図12(a)に示す
ような50Hz順次のフレーム順が1、2、3、4、
5、1の信号系列に対して、同図(b)に示すようなフ
レーム順が1、1、2、3、4、5、1、1の信号系列
S2を生成する。
【0060】動き補正フレーム数変換部2においては、
信号S2と、1フレーム遅延部3で1フレーム期間遅延
させた同図(c)に示すような信号S3に対し、動き補
正処理を行う。なお、動き補正信号生成部30は、図2
の時系列変換部16を省略した構成である。
【0061】信号S2とS3とがフレーム順1の時は、
両者は同一のフレームの信号であるため、フレーム間の
動きベクトルは常に0となり、同図(d)に示すような
フレーム順1の信号がS4に出力される。一方、これ以
外の時は、信号S2と信号S3はそれぞれ異なるフレー
ムの信号であるので、フレーム順1と2、2と3、…で
動き補正フレーム内挿(MC内挿)した信号S4を得
る。
【0062】次に、本発明の第4の実施例について、図
13に示すブロック構成図で説明する。本実施例は、第
3の実施例にシーンチェンジ検出部を付加し、シーンチ
ェンジの領域では動き補正処理の信号処理を中止する動
作を行うに好適なものである。
【0063】なお、この動作は、第2、第3の実施例で
容易に理解できるので説明は省略する。
【0064】以上、第3、第4の実施例によれば、動き
補正処理に特有な画質劣化を回避する高画質な画像信号
の方式変換装置が実現でき、低コスト化や高画質化に顕
著な効果が得られる。
【0065】次に、本発明の第5乃至第8の実施例につ
いて、図14乃至図17のブロック構成図で説明する。
これらの実施例は、ブロック単位の動きベクトルをMP
EG符号化で用いられる動きベクトル情報で生成するに
好適なものである。
【0066】図14の第5の実施例は、図1の第1の実
施例のブロック単位動きベクトル探索部5を、ブロック
単位動きベクトル生成部31で置き換えた構成で実現す
る。このブロック単位動きベクトル生成部31では、M
PEG符号化で用いられた動きベクトル情報MVをもと
に、ブロック単位の動きベクトルを生成する。すなわ
ち、MPEG符号化の一方向予測のPピクチャ、双方向
予測のBピクチャの符号化に使われるブロック単位ない
しはマクロブロック単位の動きベクトルをもとに、再生
画像信号系列の1フレーム間の動きベクトルを生成し、
動画ブロックではブロックマッチング処理による探索は
行わず、この動きベクトルをブロック単位の動きベクト
ルBVに割り当てる。
【0067】図15の第6の実施例は、図10の第2の
実施例のブロック単位動きベクトル探索部5を、ブロッ
ク単位動きベクトル生成部31で置き換えた構成で実現
する。
【0068】また、図16の第7の実施例は、図11の
第3の実施例のブロック単位動きベクトル探索部5を、
ブロック単位動きベクトル生成部31で置き換えた構成
で実現する。
【0069】図17の第8の実施例は、図13の第4の
実施例のブロック単位動きベクトル探索部5を、ブロッ
ク単位動きベクトル生成部31で置き換えた構成で実現
する。
【0070】なお、いずれの実施例においても、ブロッ
ク単位動きベクトル生成部31は、図14と同じ構成、
動作を行う。
【0071】以上述べた第5乃至第8の実施例によれ
ば、動き補正処理に必要な動きベクトルの探索、生成を
より少ない演算量で実現できる。このため、高画質化、
低コスト化に顕著な効果を得る。
【0072】次に、本発明の動き補正フレーム数変換部
を、画像信号のフォーマット変換信号処理装置に適用し
た実施例について、図18乃至図21のブロック構成図
で説明する。この信号処理装置は、テレビジョン受像機
やパソコンなどの情報メディア機器としてのに用いるこ
とができる。
【0073】図18は、その第1の実施例である。入力
信号S1は、IP変換部1で、飛び越し走査の信号は走
査線補間の処理で順次走査の信号S2に変換する。
【0074】動き補正フレーム数変換部32は、その構
成が本発明の第1乃至第8の実施例によるもので、動き
補正フレーム数変換処理を行い、出力に動き補正フレー
ム内挿でフレーム数をアップした順次走査の信号S10
を得る。
【0075】スケーリング変換部33は、直線補間特性
の垂直MーN変換処理(M<N)による垂直拡大の信号
処理で、走査線数のN/M倍の拡大変換処理を行う。ま
た、マルチウィンド表示のための画面サイズの拡大、縮
小などの信号処理も行う。そして、スケーリング処理し
た順次走査の信号S11を出力する。なお、この構成は
従来技術で容易に実現することができるため、説明は省
略する。
【0076】PI変換部34は、走査線の2:1の間引
き処理による順次−飛び越し走査の変換を行い、飛び越
し走査の信号S12を出力する。
【0077】図19は、その第2の実施例である。入力
信号S1は、IP変換部1で、飛び越し走査の信号は走
査線補間の処理で順次走査の信号S2に変換する。
【0078】スケーリング変換部33は、直線補間特性
の垂直NーM変換処理(M<N)による垂直縮小の信号
処理で、走査線数のM/N倍の縮小変換処理を行う。ま
た、マルチウィンド表示のための画面サイズの拡大、縮
小などの信号処理も行う。そして、スケーリング処理し
た順次走査の信号S10を出力する。なお、この構成は
従来技術で容易に実現することができるため、説明は省
略する。
【0079】動き補正フレーム数変換部32は、その構
成が本発明の第1乃至第8の実施例によるもので、動き
補正フレーム数変換処理を行い、出力に動き補正フレー
ム内挿でフレーム数をアップした順次走査の信号S11
を得る。
【0080】一方、飛び越し走査の信号S12は、PI
変換部34で走査線の2:1の間引き処理による順次−
飛び越し走査の変換を行うことで生成する。
【0081】図20に示す第3の実施例は、図18の第
1の実施例におけるPI変換部34を省略した構成、図
21に示す第4の実施例は図19の第2の実施例におけ
るPI変換部34を省略した構成で実現する。なお、こ
れら実施例の動作は第1、第2の実施例と同様なため、
説明は省略する。
【0082】以上に述べた画像信号のフォーマット変換
処理装置の第1乃至第4の実施例によれば、各種TV方
式の信号やパソコンなどの画像信号を各種形態のディス
プレイに表示するための画像フォーマット変換を、高画
質、低コストで実現できる。そして、多種多様な入出力
に柔軟に対応するテレビジョン受像機やパソコンなどの
情報メディア機器の低コスト化、高画質化に顕著な効果
を得る。
【0083】
【発明の効果】本発明によれば、画質劣化を簡単な信号
処理で抑圧することができ、高画質かつ低コストの画像
信号の方式変換方法および装置を実現することができ
る。
【図面の簡単な説明】
【図1】本発明に係る方式変換装置の第1の実施例を示
すブロック構成図である。
【図2】動き補正内挿フレーム生成部の第1の構成例を
示す図である。
【図3】制御信号生成部と選択部における動作概略を示
す図である。
【図4】動き補正内挿フレーム生成部の第2の構成例を
示す図である。
【図5】制御信号生成部と選択部における動作概略を示
す図である。
【図6】ブロック単位動きベクトル探索部の一構成例を
示す図である。
【図7】ブロック単位動きベクトル探索の信号処理フロ
ーチャートを示す図である。
【図8】画素単位動きベクトル生成部の一構成例を示す
図である。
【図9】画素単位動きベクトル生成の信号処理フローチ
ャートを示す図である。
【図10】本発明に係る方式変換装置の第2の実施例を
示すブロック構成図である。
【図11】本発明に係る方式変換装置の第3の実施例を
示すブロック構成図である。
【図12】(a)〜(d)はそれぞれフレームレートア
ップの信号処理動作を示す概略図である。
【図13】本発明に係る方式変換装置の第4の実施例を
示すブロック構成図である。
【図14】本発明に係る方式変換装置の第5の実施例を
示すブロック構成図である。
【図15】本発明に係る方式変換装置の第6の実施例を
示すブロック構成図である。
【図16】本発明に係る方式変換装置の第7の実施例を
示すブロック構成図である。
【図17】本発明に係る方式変換装置の第8の実施例を
示すブロック構成図である。
【図18】画像フォーマット変換の第1の実施例を示す
ブロック構成図である。
【図19】画像フォーマット変換の第2の実施例を示す
ブロック構成図である。
【図20】画像フォーマット変換の第3の実施例を示す
ブロック構成図である。
【図21】画像フォーマット変換の第4の実施例を示す
ブロック構成図である。
【図22】(a)〜(c)はそれぞれ動き補正フレーム
レート変換の内挿フレーム信号生成を示す動作概略図で
ある。
【図23】本発明における動き補正内挿フレーム生成の
フローチャートを示す図である。
【図24】(a)、(b)はそれぞれ本発明における内
挿フレーム信号生成の概略を示す図である。
【符号の説明】
1 IP変換部 2 動き補正フレーム数変換部 3 1フレーム遅延部 4 動き検出部 5 ブロック単位動きベクトル探索部 6 画素単位動きベクトル生成部 7 動き補正内挿フレーム生成部 8 現フレーム動き補正信号生成部 9 前フレーム動き補正信号生成部 10 動き補正ベクトル生成部 11 動き補正信号設定部 12 加算部 13 減算部 14 制御信号生成部 15 選択部 16 時系列変換部
───────────────────────────────────────────────────── フロントページの続き (72)発明者 杉山 雅人 神奈川県横浜市戸塚区吉田町292番地 株 式会社日立製作所マルチメディアシステム 開発本部内 (72)発明者 中嶋 満雄 神奈川県横浜市戸塚区吉田町292番地 株 式会社日立製作所マルチメディアシステム 開発本部内 (72)発明者 栗田 俊之 神奈川県横浜市戸塚区吉田町292番地 株 式会社日立製作所映像情報メディア事業部 内 (72)発明者 的野 孝明 神奈川県横浜市戸塚区吉田町292番地 株 式会社日立製作所映像情報メディア事業部 内 (72)発明者 高田 春樹 神奈川県横浜市戸塚区吉田町292番地 株 式会社日立製作所映像情報メディア事業部 内

Claims (28)

    【特許請求の範囲】
  1. 【請求項1】 画像信号に基づいてブロック単位動きベ
    クトルを探索する工程と、前記ブロック単位動きベクト
    ルに基づいて画素単位動きベクトルを生成する工程と、
    前記画素単位動きベクトルに基づいて生成した画像信号
    の内挿フレーム又は画像信号のフレームの信号で生成し
    た画像信号の内挿フレームを用いて画像信号のフレーム
    数を変換する工程とを備えたことを特徴とする画像信号
    の方式変換方法。
  2. 【請求項2】 前記画像信号のフレーム数を変換する工
    程は、現フレームの信号を動き補正ベクトルで位置を移
    動させて生成する動き補正信号と前フレームの信号を動
    き補正ベクトルで位置を移動させて生成する動き補正信
    号との絶対値差分成分が閾値未満の場合は、前記画素単
    位動きベクトルに基づいて生成した画像信号の内挿フレ
    ームを用い、閾値以上の場合は、画像信号のフレームの
    信号で生成した画像信号の内挿フレームを用いることを
    特徴とする請求項1記載の画像信号の方式変換方法。
  3. 【請求項3】 前記画像信号のフレームの信号で生成し
    た画像信号の内挿フレームは、現フレームと前フレーム
    のうち時間的距離が近いフレームの信号に基づいて生成
    したものであることを特徴とする請求項1又は2記載の
    画像信号の方式変換方法。
  4. 【請求項4】 前記絶対値差分成分は、前記2つの動き
    補正信号の輝度信号成分の差分、又は輝度信号成分及び
    色差信号成分の差分に基づいて求められるものであるこ
    とを特徴とする請求項2記載の画像信号の方式変換方
    法。
  5. 【請求項5】 飛び越し走査の画像信号を順次走査の信
    号系列に変換する工程と、前記順次走査の信号系列を動
    き補正型のフレーム内挿処理によりフレーム数の変換を
    行う工程とを備え、前記フレーム数を変換する工程は、
    前記順次走査の信号系列の1フレーム間の差分信号成分
    で画像の動きの有無を検出する工程と、ブロックマッチ
    ング処理で動きベクトルを生成する工程と、前記動きベ
    クトルを用いて生成した動き補正ベクトルによる動き補
    正処理で内挿フレームの信号系列を生成する工程とを有
    し、前記内挿フレームの信号系列を生成する工程は、現
    フレームの信号を動き補正ベクトルで位置を移動させて
    生成する動き補正信号と前フレームの信号を動き補正ベ
    クトルで位置を移動させて生成する動き補正信号との絶
    対値差分成分が閾値以上の場合は、現フレームと前フレ
    ームのうちの時間的距離が近いフレームの信号で内挿フ
    レームの信号を生成することを特徴とする画像信号の方
    式変換方法。
  6. 【請求項6】 前記内挿フレームの信号系列を生成する
    工程は、画像信号の特殊な動きを検出する工程を備え、
    動き補正ベクトルを用いたフレーム内挿処理の動作は前
    記特殊な動きを検出した場合に制限することを特徴とす
    る請求項5記載の画像信号の方式変換方法。
  7. 【請求項7】 前記内挿フレームの信号系列を生成する
    工程は、1フレーム期間における動き検出領域の累積値
    でシーンチェンジを検出する工程を備え、シーンチェン
    ジを検出したフレームでは、動き補正ベクトルを用いた
    フレーム内挿処理の動作を中止し、現フレームの信号も
    しくは前フレームの信号で内挿フレームの信号を生成す
    る動作を行うことを特徴とする請求項5記載の画像信号
    の方式変換方法。
  8. 【請求項8】 前記内挿フレームの信号系列を生成する
    工程は、画像信号の特殊な動きを検出する工程と、1フ
    レーム期間における動き検出領域の累積値でシーンチェ
    ンジを検出する工程とを備え、前記特殊な動きを検出し
    た場合には動き補正ベクトルを用いた動き補正のフレー
    ム内挿処理の動作を行い、シーンチェンジを検出したフ
    レームでは、動き補正のフレーム内挿処理の動作を中止
    し、現フレームの信号もしくは前フレームの信号で内挿
    フレームの信号を生成する動作を行うことを特徴とする
    請求項5記載の画像信号の方式変換方法。
  9. 【請求項9】 画像信号に基づいてブロック単位動きベ
    クトルを探索するブロック単位動きベクトル探索部と、
    前記ブロック単位動きベクトルに基づいて画素単位動き
    ベクトルを生成する画素単位動きベクトル生成部と、前
    記画素単位動きベクトルに基づいて生成した画像信号の
    内挿フレーム又は画像信号のフレームの信号で生成した
    画像信号の内挿フレームを用いて画像信号のフレーム数
    を変換する動き補正内挿フレーム生成部とを備えたこと
    を特徴とする画像信号の方式変換装置。
  10. 【請求項10】 前記動き補正内挿フレーム生成部は、
    現フレームの信号を動き補正ベクトルで位置を移動させ
    て生成する第1の動き補正信号生成部と、前フレームの
    信号を動き補正ベクトルで位置を移動させて生成する第
    2の動き補正信号生成部と、前記第1及び第2の動き補
    正信号生成部の出力の絶対値差分成分が閾値未満の場合
    は、前記画素単位動きベクトルに基づいて生成した画像
    信号の内挿フレームを選択し、閾値以上の場合は、画像
    フレームの信号で生成した画像信号の内挿フレームを選
    択する動き補正信号設定部とを備えたことを特徴とする
    請求項9記載の画像信号の方式変換装置。
  11. 【請求項11】 前記画像信号のフレームの信号で生成
    した画像信号の内挿フレームは、現フレームと前フレー
    ムのうち時間的距離が近いフレームの信号に基づいて生
    成したものであることを特徴とする請求項9又は10記
    載の画像信号の方式変換装置。
  12. 【請求項12】 前記絶対値差分成分は、前記2つの動
    き補正信号の輝度信号成分の差分、又は輝度信号成分及
    び色差信号成分の差分に基づいて求められるものである
    ことを特徴とする請求項10記載の画像信号の方式変換
    装置。
  13. 【請求項13】 飛び越し走査の画像信号を順次走査の
    信号系列に変換する走査変換部と、前記順次走査の信号
    系列を動き補正型のフレーム内挿処理によりフレーム数
    の変換を行う動き補正フレーム数変換部とを備え、前記
    動き補正フレーム数変換部は、前記順次走査の信号系列
    の1フレーム間の差分信号成分で画像の動きの有無を検
    出する動き検出部と、ブロックマッチング処理で動きベ
    クトルを生成する動きベクトル生成部と、前記動きベク
    トルで生成する動き補正ベクトルによる動き補正処理で
    内挿フレームの信号系列を生成する動き補正内挿フレー
    ム生成部とを有し、前記動き補正内挿フレーム生成部
    は、現フレームの信号を動き補正ベクトルで位置を移動
    させて生成する動き補正信号と前フレームの信号を動き
    補正ベクトルで位置を移動させて生成する動き補正信号
    との絶対値差分成分が閾値以上の場合は、現フレームと
    前フレームのうち時間的距離が近いフレームの信号で内
    挿フレームの信号を生成することを特徴とする画像信号
    の方式変換装置。
  14. 【請求項14】 前記動き補正内挿フレーム生成部は、
    画像信号の特殊な動きを検出する動き速度検出部を備
    え、動き補正ベクトルを用いたフレーム内挿処理の動作
    は前記動きを検出した場合に制限することを特徴とする
    請求項13記載の画像信号の方式変換装置。
  15. 【請求項15】 前記動き補正内挿フレーム生成部は、
    1フレーム期間における動き検出領域の累積値でシーン
    チェンジを検出するシーンチェンジ検出部を備え、シー
    ンチェンジを検出したフレームでは、動き補正ベクトル
    を用いたフレーム内挿処理の動作を中止し、現フレーム
    の信号もしくは前フレームの信号で内挿フレームの信号
    を生成する動作を行うことを特徴とする請求項13記載
    の画像信号の方式変換装置。
  16. 【請求項16】 前記動き補正内挿フレーム生成部は、
    画像信号の特殊な動きを検出する動き速度検出部と、1
    フレーム期間における動き検出領域の累積値でシーンチ
    ェンジを検出するシーンチェンジ検出部とを備え、前記
    動き速度検出部で該当する動きを検出した場合には動き
    補正ベクトルを用いた動き補正のフレーム内挿処理の動
    作を行い、前記シーンチェンジ検出部でシーンチェンジ
    を検出したフレームでは、動き補正のフレーム内挿処理
    の動作を中止し、現フレームの信号もしくは前フレーム
    の信号で内挿フレームの信号を生成する動作を行うこと
    を特徴とする請求項13記載の画像信号の方式変換装
    置。
  17. 【請求項17】 前記動きベクトル生成部は、ブロック
    マッチング処理によりブロック単位動きベクトルの探索
    を行うブロック単位動きベクトル探索部と、前記ブロッ
    ク単位動きベクトルを用いて画素単位動きベクトルを生
    成する画素単位動きベクトル生成部とを有することを特
    徴とする請求項13記載の画像信号の方式変換装置。
  18. 【請求項18】 前記ブロック単位動きベクトル探索部
    は、動きが検出された動画ブロックに対しては、予め設
    定した複数個数の代表動きベクトルのうちで動き補正誤
    差が最少となる動きベクトルを算出し、前記動きベクト
    ルを基準に所定範囲内の動きベクトルのなかで動き補正
    誤差が最少なものをブロック単位動きベクトルとして検
    出することを特徴とする請求項17記載の画像信号の方
    式変換装置。
  19. 【請求項19】 前記ブロック単位動きベクトル探索部
    は、MPEG符号化された画像信号において、動きが検
    出された動画ブロックに対しては、MPEG符号化で送
    られる動きベクトル情報をもとにブロック単位動きベク
    トルを生成することを特徴とする請求項17記載の画像
    信号の方式変換装置。
  20. 【請求項20】 前記画素単位動きベクトル生成部は、
    前記ブロック単位よりも小さなミニブロックを単位に動
    き補正誤差が最少な動きベクトルを算出することにより
    画素単位動きベクトルを生成することを特徴とする請求
    項17記載の画像信号の方式変換装置。
  21. 【請求項21】 前記画素単位動きベクトル生成部は、
    動き補正誤差の算出を画像信号の輝度信号成分を用いて
    行うことを特徴とする請求項20記載の画像信号の方式
    変換装置。
  22. 【請求項22】 前記画素単位動きベクトル生成部は、
    動き補正誤差の算出を画像信号の輝度信号成分および色
    成分を用いて行うことを特徴とする請求項20記載の画
    像信号の方式変換装置。
  23. 【請求項23】 画像信号から求めた動きベクトルに基
    づいて生成した画像信号の内挿フレーム又は画像信号の
    フレームの信号で生成した画像信号の内挿フレームを用
    いて画像信号のフレーム数を変換する動き補正フレーム
    数変換部と、前記動き補正フレーム数変換部から出力さ
    れる画像信号の走査線数及び画面サイズの少なくとも一
    つを変更するスケーリング変換部とを備えたことを特徴
    とする画像信号のフォーマット変換信号処理装置。
  24. 【請求項24】 前記動き補正フレーム数変換部の前段
    に、画像信号の飛び越し−順次の走査変換を行う走査変
    換部を備えたことを特徴とする請求項23記載の画像信
    号のフォーマット変換信号処理装置。
  25. 【請求項25】 画像信号の走査線数及び画面サイズの
    少なくとも一つを変更するスケーリング変換部と、前記
    スケーリング変換部から出力された画像信号から求めた
    動きベクトルに基づいて生成した画像信号の内挿フレー
    ム又は前記スケーリング変換部から出力された画像信号
    のフレームの信号で生成した画像信号の内挿フレームを
    用いて画像信号のフレーム数を変換する動き補正フレー
    ム数変換部とを備えたことを特徴とする画像信号のフォ
    ーマット変換信号処理装置。
  26. 【請求項26】 前記スケーリング変換部の前段に、画
    像信号の飛び越し−順次の走査変換を行う走査変換部を
    備えたことを特徴とする請求項25記載の画像信号のフ
    ォーマット変換信号処理装置。
  27. 【請求項27】 画像信号の飛び越し−順次の走査変換
    を行う走査変換部と、前記走査変換部の出力から求めた
    動きベクトルに基づいて生成した画像信号の内挿フレー
    ム又は前記走査変換部の出力のフレーム信号で生成した
    画像信号の内挿フレームを用いて画像信号のフレーム数
    を変換する動き補正フレーム数変換部と、前記動き補正
    フレーム数変換部から出力される画像信号の走査線数及
    び画面サイズの少なくとも一つを変更するスケーリング
    変換部とを備えたことを特徴とする画像表示装置。
  28. 【請求項28】 画像信号の飛び越し−順次の走査変換
    を行う走査変換部と、前記走査変換部から出力された画
    像信号の走査線数及び画面サイズの少なくとも一つを変
    更するスケーリング変換部と、前記スケーリング変換部
    から出力された画像信号から求めた動きベクトルに基づ
    いて生成した画像信号の内挿フレーム又は前記スケーリ
    ング変換部から出力された画像信号のフレーム信号で生
    成した画像信号の内挿フレームを用いて画像信号のフレ
    ーム数を変換する動き補正フレーム数変換部とを備えた
    ことを特徴とする画像表示装置。
JP29030797A 1997-10-07 1997-10-07 画像信号の方式変換方法および装置 Expired - Fee Related JP4083265B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP29030797A JP4083265B2 (ja) 1997-10-07 1997-10-07 画像信号の方式変換方法および装置
EP98118653A EP0909092A3 (en) 1997-10-07 1998-10-02 Method and apparatus for video signal conversion

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP29030797A JP4083265B2 (ja) 1997-10-07 1997-10-07 画像信号の方式変換方法および装置

Publications (2)

Publication Number Publication Date
JPH11112939A true JPH11112939A (ja) 1999-04-23
JP4083265B2 JP4083265B2 (ja) 2008-04-30

Family

ID=17754422

Family Applications (1)

Application Number Title Priority Date Filing Date
JP29030797A Expired - Fee Related JP4083265B2 (ja) 1997-10-07 1997-10-07 画像信号の方式変換方法および装置

Country Status (2)

Country Link
EP (1) EP0909092A3 (ja)
JP (1) JP4083265B2 (ja)

Cited By (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004364298A (ja) * 2003-06-02 2004-12-24 Samsung Electronics Co Ltd 走査変換装置及び走査変換方法
JP2005301619A (ja) * 2004-04-09 2005-10-27 Sony Corp 画像処理装置および方法、記録媒体、並びにプログラム
KR100759617B1 (ko) 2002-09-12 2007-09-17 가부시끼가이샤 도시바 모션 벡터 검색 방법, 프레임 삽입 이미지 생성 방법, 및디스플레이 시스템
WO2007114220A1 (ja) 2006-03-31 2007-10-11 Sony Corporation 画像処理装置、および画像処理方法、並びにコンピュータ・プログラム
JP2008099281A (ja) * 2006-10-12 2008-04-24 Thomson Licensing 動き補償画像の補間方法、及びその方法を実現する装置
JP2008524888A (ja) * 2004-12-15 2008-07-10 トムソン ライセンシング ビデオ画像信号を処理する方法および装置
WO2008096818A1 (ja) * 2007-02-07 2008-08-14 Sony Corporation 画像処理装置、撮像装置、画像処理方法、及びプログラム
JP2008263530A (ja) * 2007-04-13 2008-10-30 Sony Corp 画像処理装置および画像処理方法、並びにプログラム
JP2008263476A (ja) * 2007-04-13 2008-10-30 Sony Corp 画像処理装置および画像処理方法、並びにプログラム
US7548276B2 (en) 2004-12-02 2009-06-16 Hitachi, Ltd. Frame rate conversion device, image display apparatus, and method of converting frame rate
US7586540B2 (en) 2004-10-29 2009-09-08 Hitachi Displays, Ltd. Image interpolation device and a frame rate converter and image display apparatus using the same
JP2009532984A (ja) * 2006-04-03 2009-09-10 インテル・コーポレーション 補償アーチファクトに対する保護を有する動き補償フレームレート変換
JP2010062953A (ja) * 2008-09-04 2010-03-18 Japan Science & Technology Agency フレームレート変換装置、フレームレート変換方法及びフレームレート変換プログラム
JP2010136367A (ja) * 2008-12-03 2010-06-17 Sharp Corp 効率的な映像時空間アップスケーリング
US8135076B2 (en) 2005-02-02 2012-03-13 Samsung Electronics Co., Ltd. Error concealment apparatus and method
US8218076B2 (en) 2006-12-25 2012-07-10 Kabushiki Kaisha Toshiba Image display apparatus, image signal processing apparatus, and image signal processing method
US8319887B2 (en) 2006-12-04 2012-11-27 Hitachi, Ltd. Frame rate conversion apparatus for video signal and display apparatus
WO2014115522A1 (ja) * 2013-01-24 2014-07-31 パナソニック株式会社 フレームレート変換装置及びフレームレート変換方法並びにフレームレート変換装置を備えた表示装置及び撮像装置
KR101524062B1 (ko) * 2008-07-30 2015-06-01 삼성전자주식회사 영상신호 처리장치 및 그 방법

Families Citing this family (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6731818B1 (en) * 1999-06-30 2004-05-04 Realnetworks, Inc. System and method for generating video frames
JP3596520B2 (ja) * 2001-12-13 2004-12-02 ソニー株式会社 画像信号処理装置及び方法
JP4565339B2 (ja) * 2003-05-16 2010-10-20 ソニー株式会社 動き補正装置及び方法
GB2412807A (en) * 2004-04-02 2005-10-05 Snell & Wilcox Ltd Video processing to reduce program length
EP1610560A1 (en) 2004-06-24 2005-12-28 Deutsche Thomson-Brandt Gmbh Method and apparatus for generating and for decoding coded picture data
CN101543064B (zh) 2007-02-20 2013-07-03 索尼株式会社 图像显示装置
EP2012532A3 (en) * 2007-07-05 2012-02-15 Hitachi Ltd. Video displaying apparatus, video signal processing apparatus and video signal processing method
JP5142373B2 (ja) * 2007-11-29 2013-02-13 パナソニック株式会社 再生装置
FR2940576A1 (fr) * 2008-12-19 2010-06-25 Thomson Licensing Procede de codage video base sur la compensation de mouvement global et dispositifs apparentes
WO2010070247A1 (fr) * 2008-12-19 2010-06-24 Thomson Licensing Codage video base sur la compensation de mouvement global
US20100260255A1 (en) * 2009-04-13 2010-10-14 Krishna Sannidhi Method and system for clustered fallback for frame rate up-conversion (fruc) for digital televisions
JP2012138646A (ja) 2009-04-23 2012-07-19 Panasonic Corp 映像処理装置及び映像処理方法
JP2013165488A (ja) 2012-01-11 2013-08-22 Panasonic Corp 画像処理装置、撮像装置、およびプログラム
CN114501137B (zh) * 2022-01-25 2024-04-09 中铁七局集团第三工程有限公司 一种亲情耦合沉浸式安全教培视频模板***

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB2263602B (en) * 1992-01-24 1995-06-21 Sony Broadcast & Communication Motion compensated video signal processing
GB2279844B (en) * 1993-07-07 1997-04-30 Sony Uk Ltd Motion compensated image interpolation
DE69426584T2 (de) * 1993-08-06 2001-06-13 Lg Electronics Inc Einrichtung zur Umsetzung der Vollbildfrequenz

Cited By (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100759617B1 (ko) 2002-09-12 2007-09-17 가부시끼가이샤 도시바 모션 벡터 검색 방법, 프레임 삽입 이미지 생성 방법, 및디스플레이 시스템
JP2004364298A (ja) * 2003-06-02 2004-12-24 Samsung Electronics Co Ltd 走査変換装置及び走査変換方法
JP2005301619A (ja) * 2004-04-09 2005-10-27 Sony Corp 画像処理装置および方法、記録媒体、並びにプログラム
US7586540B2 (en) 2004-10-29 2009-09-08 Hitachi Displays, Ltd. Image interpolation device and a frame rate converter and image display apparatus using the same
US7548276B2 (en) 2004-12-02 2009-06-16 Hitachi, Ltd. Frame rate conversion device, image display apparatus, and method of converting frame rate
US8687115B2 (en) 2004-12-15 2014-04-01 Thomson Licensing Method and apparatus for processing video image signals
JP2008524888A (ja) * 2004-12-15 2008-07-10 トムソン ライセンシング ビデオ画像信号を処理する方法および装置
US8135076B2 (en) 2005-02-02 2012-03-13 Samsung Electronics Co., Ltd. Error concealment apparatus and method
WO2007114220A1 (ja) 2006-03-31 2007-10-11 Sony Corporation 画像処理装置、および画像処理方法、並びにコンピュータ・プログラム
JP2007274299A (ja) * 2006-03-31 2007-10-18 Sony Corp 画像処理装置、および画像処理方法、並びにコンピュータ・プログラム
US8072498B2 (en) 2006-03-31 2011-12-06 Sony Corporation Image processing apparatus, image processing method, and computer program
JP2009532984A (ja) * 2006-04-03 2009-09-10 インテル・コーポレーション 補償アーチファクトに対する保護を有する動き補償フレームレート変換
JP2008099281A (ja) * 2006-10-12 2008-04-24 Thomson Licensing 動き補償画像の補間方法、及びその方法を実現する装置
US8319887B2 (en) 2006-12-04 2012-11-27 Hitachi, Ltd. Frame rate conversion apparatus for video signal and display apparatus
US8218076B2 (en) 2006-12-25 2012-07-10 Kabushiki Kaisha Toshiba Image display apparatus, image signal processing apparatus, and image signal processing method
US8063939B2 (en) 2007-02-07 2011-11-22 Sony Corporation Image processing device, image picking-up device, image processing method, and program
WO2008096818A1 (ja) * 2007-02-07 2008-08-14 Sony Corporation 画像処理装置、撮像装置、画像処理方法、及びプログラム
KR101426095B1 (ko) * 2007-02-07 2014-08-01 소니 주식회사 화상 처리 장치, 촬상 장치 및 화상 처리 방법
JP2008263476A (ja) * 2007-04-13 2008-10-30 Sony Corp 画像処理装置および画像処理方法、並びにプログラム
JP2008263530A (ja) * 2007-04-13 2008-10-30 Sony Corp 画像処理装置および画像処理方法、並びにプログラム
KR101524062B1 (ko) * 2008-07-30 2015-06-01 삼성전자주식회사 영상신호 처리장치 및 그 방법
JP2010062953A (ja) * 2008-09-04 2010-03-18 Japan Science & Technology Agency フレームレート変換装置、フレームレート変換方法及びフレームレート変換プログラム
JP2010136367A (ja) * 2008-12-03 2010-06-17 Sharp Corp 効率的な映像時空間アップスケーリング
WO2014115522A1 (ja) * 2013-01-24 2014-07-31 パナソニック株式会社 フレームレート変換装置及びフレームレート変換方法並びにフレームレート変換装置を備えた表示装置及び撮像装置

Also Published As

Publication number Publication date
EP0909092A3 (en) 2000-06-07
JP4083265B2 (ja) 2008-04-30
EP0909092A2 (en) 1999-04-14

Similar Documents

Publication Publication Date Title
JP4083265B2 (ja) 画像信号の方式変換方法および装置
US7667773B2 (en) Apparatus and method of motion-compensation adaptive deinterlacing
JP4563603B2 (ja) 両方向動きベクトルを用いたフォーマット変換装置及びその方法
US8817878B2 (en) Method and system for motion estimation around a fixed reference vector using a pivot-pixel approach
EP0883298A2 (en) Conversion apparatus for image signals and TV receiver
JP4092778B2 (ja) 画像信号の方式変換装置及びテレビジョン受像機
US8355442B2 (en) Method and system for automatically turning off motion compensation when motion vectors are inaccurate
JPH08307820A (ja) インタレースされたビデオから高画質静止画像を生成するためのシステム及び方法
JP2005503085A (ja) 動き推定および/または補償
JP4083266B2 (ja) 動きベクトルの生成方法および装置
JP4119092B2 (ja) 画像信号のフレーム数変換方法および装置
US20050129124A1 (en) Adaptive motion compensated interpolating method and apparatus
US6930728B2 (en) Scan conversion apparatus
US20070121724A1 (en) Image motion compensation arrangement and method therefor
JP4092773B2 (ja) 画像信号のフレーム数変換方法および装置
JP2001024988A (ja) 画像信号の動き補償フレーム数変換方式および装置
US8345148B2 (en) Method and system for inverse telecine and scene change detection of progressive video
EP1424851B1 (en) Motion detection apparatus and method
KR100968642B1 (ko) 비월된 비디오 신호로부터 움직임 벡터를 계산하기 위한 방법 및 보간 디바이스와, 보간 디바이스를 포함하는 디스플레이 디바이스와, 컴퓨터 판독가능 매체
JP4222090B2 (ja) 動画像時間軸補間方法及び動画像時間軸補間装置
JP2000259146A (ja) 画像表示装置
JP2004320278A (ja) 動画像時間軸補間方法及び動画像時間軸補間装置
JP4179089B2 (ja) 動画像補間用動き推定方法及び動画像補間用動き推定装置
US7944504B2 (en) Apparatus for interpolating scanning lines
KR100850710B1 (ko) 위상 정정 필드를 이용한 적응적 디-인터레이싱 방법 및그 장치와, 이를 구현하기 위한 프로그램이 기록된 기록매체

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20041005

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20070709

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20070724

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20070921

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20071120

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20080118

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20080212

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20080213

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110222

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110222

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120222

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120222

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130222

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130222

Year of fee payment: 5

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313111

LAPS Cancellation because of no payment of annual fees