JP4641438B2 - 画素補間装置及び画素補間方法 - Google Patents

画素補間装置及び画素補間方法 Download PDF

Info

Publication number
JP4641438B2
JP4641438B2 JP2005065479A JP2005065479A JP4641438B2 JP 4641438 B2 JP4641438 B2 JP 4641438B2 JP 2005065479 A JP2005065479 A JP 2005065479A JP 2005065479 A JP2005065479 A JP 2005065479A JP 4641438 B2 JP4641438 B2 JP 4641438B2
Authority
JP
Japan
Prior art keywords
information
block
pixel
output
determination
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2005065479A
Other languages
English (en)
Other versions
JP2005303999A (ja
JP2005303999A5 (ja
Inventor
英一 松崎
井上  健治
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to JP2005065479A priority Critical patent/JP4641438B2/ja
Priority to EP05005583A priority patent/EP1578119B1/en
Priority to US11/079,441 priority patent/US7489361B2/en
Priority to CNB2005100547936A priority patent/CN100394793C/zh
Priority to KR1020050021711A priority patent/KR100731722B1/ko
Publication of JP2005303999A publication Critical patent/JP2005303999A/ja
Publication of JP2005303999A5 publication Critical patent/JP2005303999A5/ja
Application granted granted Critical
Publication of JP4641438B2 publication Critical patent/JP4641438B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/01Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
    • H04N7/0117Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level involving conversion of the spatial resolution of the incoming video signal
    • H04N7/012Conversion between an interlaced and a progressive signal
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B22CASTING; POWDER METALLURGY
    • B22DCASTING OF METALS; CASTING OF OTHER SUBSTANCES BY THE SAME PROCESSES OR DEVICES
    • B22D11/00Continuous casting of metals, i.e. casting in indefinite lengths
    • B22D11/12Accessories for subsequent treating or working cast stock in situ
    • B22D11/128Accessories for subsequent treating or working cast stock in situ for removing
    • B22D11/1287Rolls; Lubricating, cooling or heating rolls while in use
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00Geometric image transformations in the plane of the image
    • G06T3/40Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/403Edge-driven scaling; Edge-based scaling
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/01Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
    • H04N7/0135Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level involving interpolation processes
    • H04N7/0137Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level involving interpolation processes dependent on presence/absence of motion, e.g. of motion zones
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/01Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
    • H04N7/0135Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level involving interpolation processes
    • H04N7/0142Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level involving interpolation processes the interpolation being edge adaptive

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Graphics (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Mechanical Engineering (AREA)
  • Television Systems (AREA)
  • Image Processing (AREA)

Description

本発明は、画素補間装置や画素補間方法に関するものである。例えば、テレビジョンにおける飛び越し走査による映像情報を順次走査による映像情報に変換するためや、コンピュータにより処理される画像情報を解像度変換するための画素補間装置、画素補間方法に関するものである。
近年、テレビジョン放送の方式として、従来のアナログ方式からデジタル方式への検討が開始され、デジタル化という新たな技術革新を契機として、テレビジョン放送が情報通信メディアとして更に高度化し、飛躍的な発展を遂げようとしている。既に国内では、CS(Communication Satellite:通信衛星)を用いた放送やBS(Broadcasting Satellite:放送衛星)を用いた放送でデジタル化が実現されている。更に現在、地上波においてもデジタル化の検討が進められており、近い将来、全ての放送波がデジタル方式に変わろうとしている。
デジタルテレビジョン放送のメリットは、アナログ方式では1チャンネル分に相当する周波数帯域で、デジタル方式では3チャンネルの番組を伝送することができ、多チャンネル化が可能となることである。これにより、ニュースやスポーツ、或いはドラマなどを組み合わせたマルチ番組(混合多重編成番組)や、一つのチャンネル内で異なる三つの番組を放送するマルチチャンネル放送など、新たなサービスが実現される。
更にデジタルテレビジョン放送では、映像や音声の放送に限らず、各種のデータ放送を付加した統合型の放送サービスが可能となる。データ放送を付加したサービスとしては、テレビ番組にデータ情報を付加してマルチメディア的サービスを提供するものと、テレビ番組とは別の独立したサービスを提供するものとに分けられ、主なサービスとしては、視聴者参加型テレビ,ホームショッピング,各種情報サービス,いつでも好きな時に見ることのできる天気予報やニュースなどが挙げられる。
このようなデジタルテレビジョン放送に対応するために、テレビジョン放送の受信装置も進化を遂げており、薄型で大画面のプラズマディスプレイが登場したり、従来のブラウン管型のテレビ受像機もデジタルテレビジョン放送に対応した高精細な解像度を有するものが出ている。これらの表示装置では、従来の1ライン毎の飛び越し走査による映像表示ではなく、順次走査による映像の表示が行われる。そのため、従来のアナログテレビジョン放送を表示する場合には、飛び越し走査による映像情報を順次走査による映像情報に変換し(以下、IP(Interlace−Progressive)変換と呼ぶ)、更に表示装置の有する解像度に映像情報を変換して表示を行っている。
(従来のIP変換処理回路の構成)
ここで、従来のIP変換処理回路について、簡単に説明を行う。
図27は、一般的なIP変換処理回路の構成を示すブロック図である。
101,102は、入力される映像情報をフィールド単位で記憶しておくためのフィールド情報記憶部である。103は、現在入力されているフィールド情報と、フィールド情報記憶部(2)102から出力される、現在入力されているフィールド情報よりも1フレーム期間過去に入力されたフィールド情報との差分を見ることにより画素単位で動画情報であるか静止画情報であるかの判定を行い、更に求まった画素毎の動き情報から補間画素
での動きを判定して出力する動き情報生成部である。104は、入力される映像情報をライン単位で記憶しておくためのライン情報記憶部である。107は、入力される2系統の信号の加算演算を行う加算器である。108は、加算器107により加算された値の半分の値を求める除算器である。109は、動き情報生成部103からの出力信号に応じ、フィールド情報記憶部(1)101から出力される、現在入力されているフィールド情報よりも1フィールド期間過去に入力された画素情報と、除算器108から出力される、補間画素位置の上下のラインにおける画素値の平均値とのいずれかを選択して補間画素値とする補間情報選択部である。105,106は、それぞれ補間情報選択部109から出力される画素情報と入力された画素情報とをライン単位で記憶し、記憶した画素情報を入力された映像情報の倍の速さで読み出すための入出力速度変換部である。110は、入出力速度変換部(1)105及び入出力速度変換部(2)106から出力される画素情報を1ライン毎に切り換えて出力する表示情報選択部である。
(従来のIP変換処理回路の動作)
以上に説明した、従来のIP変換処理回路による動作について、以下に説明を行う。
入力された飛び越し走査による映像情報は、フィールド情報記憶部(1)101及びライン情報記憶部104に入力され、それぞれから1フィールド期間遅延した画素情報と1ライン前の画素情報を得ることができる。ここで図28に、飛び越し走査により表示されるNTSC(national television system committee)信号における映像情報が表示される様子を示す。NTSC信号では、(a)に示すように、525本の水平ラインにより1画面が構成され、この1画面の単位をフレームと呼ぶ。更にフレームは、飛び越し走査により(b)に示す奇数ラインを表現する奇数フィールドと(c)に示す偶数ラインを表現する偶数フィールドとに分けられ、NTSC信号ではこの奇数フィールドと偶数フィールドの映像を交互に表示することにより525ラインの映像情報を表現している。即ち奇数フィールドと偶数フィールドは、お互いに不足しているライン情報を補間する関係にある。従って、図27に戻ると、フィールド情報記憶部(1)101からは、補間しようとする画素の位置に相当する前フィールドでの画素情報が得られ、入力された映像情報とライン情報記憶部104からは、補間しようとする画素の上下のラインでの画素情報が得られることとなる。更に入力された映像情報とライン情報記憶部104からは、加算器107及び除算器108により補間しようとする画素の上下のラインにおける画素情報の平均値が求められ、動画時の補間画素情報として用いられる。
フィールド情報記憶部(1)101から出力される画素情報は、更にフィールド情報記憶部(2)102により1フィールド期間遅延させられ、入力されている映像情報よりも1フレーム期間遅延した映像情報、即ち、入力されている画素の位置に相当する前フレームでの画素情報が得られこととなる。
次に、動き情報生成部103について説明を行う。
図29は、動き情報生成部103の一実施例を示すブロック図である。
図29において、1031は、現在入力されているフィールド情報と、フィールド情報記憶部(2)102から出力される、現在入力されているフィールド情報よりも1フレーム期間過去に入力されたフィールド情報との差分を求める減算器、1032は、減算器1031にて求まった差分値の絶対値を求める絶対値器、1033は、絶対値器1032にて求まった値と予め設定されている閾値とを比較し、絶対値器1032にて求まった値が閾値よりも小さい場合にはその画素が静止画であると判断して"0"を出力し、絶対値器1032にて求まった値が閾値よりも大きい場合或いは等しい場合にはその画素が動画であると判断して"1"を出力する閾値フィルタ回路で、これにより、入力された映像情報にノ
イズのような不正な画素情報が加わっている場合でも、多少の変動であればその影響を取り除くことが可能となる。1034は、閾値フィルタ回路1033から出力される画素毎の動き情報をライン単位で記憶しておくためのライン動き情報記憶部で、これによりライン動き情報記憶部1034からは、入力されている映像情報よりも1ライン前の画素での動き情報を得ることができる。1035は、閾値フィルタ回路1033から出力される動き情報とライン動き情報記憶部1034から出力される1ライン前の画素での動き情報とから、それらのライン間に生成する補間画素での動き情報を判断して出力する、補間画素動き情報生成部である。
再び図27に戻ると、補間情報選択部109では、動き情報生成部103から出力される動き情報が"0"である場合にはフィールド情報記憶部(1)101から出力される画素情報を、"1"である場合には除算器108から出力される画素情報を選択し、補間画素情報として出力する。
入出力速度変換部(1)105及び入出力速度変換部(2)106は、それぞれ補間情報選択部109から出力される補間画素情報と入力された映像情報をライン単位で記憶し、記憶された画素情報は、入力された映像情報の倍の速さで読み出され、表示情報選択部110により1ライン毎に入出力速度変換部(1)105から出力される画素情報と入出力速度変換部(2)106から出力される画素情報とが切り換えられて出力される。
以上に説明を行った従来のIP変換方式では、入力された映像情報が動画の場合と静止画の場合とで生成される補間画素での画素情報が異なることとなる。即ち、静止画の場合にはフィールド情報記憶部(1)101から出力される1フィールド期間過去に入力された画素情報が補間画素での画素情報として用いられ、これにより元の映像情報に忠実な補間画素の生成が行われることとなる。一方、動画の場合には除算器108から出力される、補間しようとする画素の上下のラインに位置する画素の平均値が補間画素での画素情報として用いられることとなり、元の映像情報に対し種々の画質の劣化を招いてしまう。特に、元の映像情報が図30に示すような斜め方向の傾斜を有する場合に、その弊害が顕著に現れる。図31は、図30で示した元の映像情報が1ライン置きの飛び越し走査により入力され、図27で示したIP変換処理回路により動画としての補間処理が行われた状態を示している。図31から明らかなように、IP変換処理回路により動画としての補間処理が行われた場合、本来図30に示すように斜め方向に滑らかな傾斜を有している映像情報が、階段状の変化を有する映像情報として補間処理されてしまうこととなり、見た目に滑らかさの欠いた映像となってしまう。
図32は斜め方向の傾斜を有する別の例を示したもので、線幅が1画素相当である斜め線の映像情報を示している。このような映像情報が1ライン置きの飛び越し走査により入力され、同様にIP変換処理回路により動画としての補間処理が行われた場合の結果を図33に示す。このような映像情報の場合、本来連続して画素値を有する斜め線であるものが破線として表示されてしまうこととなる。
このような課題に対し、補間しようとする画素を中心に複数の斜め方向を形成する2画素の組み合わせを参照し、差分の少ない組み合わせから補間画素での画素情報を求めるという提案が、例えば、特許文献1や特許文献2、特許文献3、特許文献4、特許文献5、特許文献6、特許文献7等、種々行われている。
特開平6−153169号公報 特開2000−115720号公報 特開2001−218169号公報 特開2001−218170号公報 特開2002−252834号公報 特許第2990737号公報 特許第2996099号公報
IP変換や解像度変換といった画素を補間する技術が望まれてきている。本願発明は、新規且つ有用な画素補間技術を提供することを目的とする。
本願に係わる画素補間装置の発明は以下のように構成される。即ち、
異なるライン上にある複数の画素からなる判定ブロックを生成する判定ブロック生成手段と、
異なるライン上にある複数の画素からなる複数の参照ブロックを生成する参照ブロック生成手段とを有し、
前記複数の参照ブロックは、前記判定ブロックに隣接しており、かつ前記判定ブロックに対して少なくとも1ライン上又は下にシフトした位置に位置するものであって、
前記判定ブロックと前記参照ブロックとの画素情報の類似度を判定する判定手段と、
前記判定ブロックとの類似度が所定の閾値以上の参照ブロックのうち前記判定ブロックに最も近い参照ブロックを検出する検出手段と、
判定ブロックと検出された参照ブロックとの位置情報に基づいて、補間画素の位置情報を出力し、判定ブロック及び検出された参照ブロックの少なくとも何れかの画素の画素情報に基いて前記補間画素の画素情報を生成して出力する出力手段と、
を有する画素補間装置である。
また本願は、画素補間方法の発明として以下の構成の発明を含んでいる。即ち、
異なるライン上にある複数の画素からなる判定ブロックを生成するステップと、異なるライン上にある複数の画素からなる複数の参照ブロックを生成するステップとを有し、
前記複数の参照ブロックは、前記判定ブロックに隣接しており、かつ前記判定ブロックに対して少なくとも1ライン上又は下にシフトした位置に位置するものであって、
前記判定ブロックと前記参照ブロックとの画素情報の類似度を判定するステップと、
前記判定ブロックとの類似度が所定の閾値以上の参照ブロックのうち前記判定ブロックに最も近い参照ブロックを検出するステップと、
判定ブロックと検出された参照ブロックとの位置情報に基づいて、補間画素の位置情報を生成し、判定ブロック及び検出された参照ブロックの少なくとも何れかの画素の画素情報に基づいて前記補間画素の画素情報を生成するステップと、
を有する画素補間方法である。
また本願は、画素補間装置の方法として以下の構成の発明を含んでいる。すなわち、
複数の画素からなる判定ブロックを生成する判定ブロック生成手段と、
複数の画素からなる複数の参照ブロックを生成する参照ブロック生成手段とを有し、
前記複数の参照ブロックは、前記判定ブロックに対して少なくとも1ライン上又は下にシフトした位置に位置するものであって、
前記判定ブロックと前記参照ブロックとの画素情報の類似度を判定する判定手段と、
前記判定ブロックとの類似度が所定の閾値以上の参照ブロックのうち前記判定ブロックに最も近い参照ブロックを検出する検出手段と、
判定ブロックと検出された参照ブロックとの位置情報に基づいて、複数の補間画素の位置情報を出力し、判定ブロック及び検出された参照ブロックの少なくとも何れかの画素の画素情報に基づいて前記複数の補間画素の画素情報を生成して出力する出力手段と、
を有する画素補間装置である。
また本願は、画素補間方法の発明として以下の構成の発明を含んでいる。即ち、
複数の画素からなる判定ブロックを生成するステップと、
複数の画素からなる複数の参照ブロックを生成するステップとを有し、
前記複数の参照ブロックは、前記判定ブロックに対して少なくとも1ライン上又は下にシフトした位置に位置するものであって、
前記判定ブロックと前記参照ブロックとの画素情報の類似度を判定するステップと、
前記判定ブロックとの類似度が所定の閾値以上の参照ブロックのうち前記判定ブロックに最も近い参照ブロックを検出するステップと、
判定ブロックと検出された参照ブロックとの位置情報に基づいて、複数の補間画素の位置情報を生成し、判定ブロック及び検出された参照ブロックの少なくとも何れかの画素の画素情報に基づいて前記複数の補間画素の画素情報を生成するステップと、
を有する画素補間方法である。
また該方法を実行するためのプログラム及びもしくは該プログラムを収容した記録媒体の発明を本願は含んでいる。
本願発明によると、IP変換や解像度変換といった処理に伴う画素の補間を好適に行うことができる。
図34は、図30で示した斜め方向の傾斜を有する映像情報に対して、補間しようとする画素を中心に複数の斜め方向を形成する2画素の組み合わせを参照し、差分の少ない組み合わせから補間画素での画素情報を求めるという手法により処理される様子を示したものである。
図34で、bn+4という補間画素に注目し、その画素での画素値を求めようとした場合、bn+4を中心とする複数の斜め方向の組、即ちAn+4とCn+4、An+3とCn+5、An+5とCn+3、An+2とCn+6、An+6とCn+2の組み合わせを参照し、その中から差分の少ない組み合わせ、即ちAn+6とCn+2の組み合わせが選択され、その2画素の平均値がbn+4での画素値として用いられることとなる。このような手法を用いれば、図30で示したような斜め方向の傾斜を有する映像情報に対して、図31で示したような階段状に変化することのない補間処理を行うことが可能となる。
一方、この手法を図32で示した線幅が1画素相当である斜め線の映像情報に対して適用したときの様子を、図35に示す。
図35において、図34と同様にbn+4という補間画素に注目し、その画素での画素値を求めようとした場合、bn+4を中心とする複数の斜め方向の組、即ちAn+4とCn+4、An+3とCn+5、An+5とCn+3、An+2とCn+6、An+6とCn+2の組み合わせを参照し、その中から差分の少ない組み合わせを求めると、全ての組み合わせにおいて差分が同じとなり差分の少ない組み合わせを特定することができない。即ちこのようなケースでは、補間しようとする画素を中心に複数の斜め方向を形成する2画素の組み合わせを参照し、差分の少ない組み合わせから補間画素での画素情報を求めるという手法を適用することができない。
以下に示す実施の形態では、このような具体的な課題を考慮している。すなわち、以下に示す実施の形態では、斜め方向の傾斜を有する映像情報に対して、滑らかさを保持した映像情報を生成する補間処理・補正処理を実現できる構成を開示している。また、線幅が1画素相当である斜め線の映像情報に対しても滑らかに連続した斜め線として表示し得る映像情報を生成する補間処理・補正処理を実現できる実施の形態も示している。
すなわち以下に示す実施の形態によれば、例えば斜め方向の傾斜を有する映像情報や線幅が1画素相当である斜め線の映像情報が飛び越し走査による映像情報として入力され、それを順次走査による映像情報に変換することにより生じる滑らかさの欠いた階段状の映像情報、或いは本来連続して画素値を有する斜め線であるものが破線として表示されてしまう映像情報に対し、補正しようとするフィールド内で、飛び越し走査により入力された複数のラインにおける画素により構成される、補正処理の基準となる判定ブロックを生成し、更に判定ブロックよりも後に入力された、判定ブロックよりも1ライン分上方向或いは下方向にずれた参照ブロックを複数組生成し、判定ブロックと複数組の参照ブロック毎に画素情報の比較を行い、一致が検出された場合には判定ブロックと一致が検出された参照ブロックとの中間に位置する補間画素での画素情報を補正することにより、階段状の映像情報として生成された補間画素での画素情報、或いは連続して画素値を有する斜め線で欠落した補間画素での画素情報が補正され、本来の滑らかさを保持した斜め方向の傾斜を有する映像情報、或いは本来の連続した斜め線として表示される映像情報を生成することが可能となる。
また、1つの判定ブロック情報に対して2画素分の補正データを生成して同時に処理を行うことで、斜め方向の傾斜を有する映像情報や線幅が1画素相当である斜め線の映像情報に対して本来2回の補正処理を行わなければならないものが、一度の補正処理で行うことが可能となる。
(第1実施形態)
図1は、本発明の一実施形態としてのIP変換処理回路の一構成例を示したブロック図である。
図1において、フィールド情報記憶部(1)101,フィールド情報記憶部(2)102,動き情報生成部103,ライン情報記憶部104,入出力速度変換部(1)105,入出力速度変換部(2)106,加算器107,除算器108,補間情報選択部109及び表示情報選択部110は、図27で示した従来のIP変換処理回路として説明したものと同じ構成を有するものである。ここで本実施形態では、入出力速度変換部(1)105及び入出力速度変換部(2)106の前段に斜め補正処理部111が追加されており、斜め補正処理部111では、入力された映像情報と補間情報選択部109から出力される補間情報、及び動き情報生成部103から出力される補間画素での動き情報が入力され、これらの情報から、以下に説明する斜め方向の傾斜を有する補間情報に対する補正処理を行い、入出力速度変換部(1)105及び入出力速度変換部(2)106に対して入力された映像情報と補正処理を行った補間情報を出力する。ここでは、フィールド情報記憶部(1)101が本発明のフィールド間補間画素生成手段を構成する。また、ライン情報記憶部104,加算器107,除算器108によって本発明のフィールド内補間画素生成手段を構成する。また、動き情報生成部103が本発明の動き情報生成手段を構成する。また、補間画素情報選択部109が本発明の補間画素情報選択手段を構成する。
(斜め補正処理部の概略構成)
図2は、本実施形態における斜め補正処理部111の一構成例を示したブロック図である。ここでは、斜め補正処理部111が本発明の画素補正装置(画素補間装置)を構成する。
図2において、1111は、動き情報生成部103から出力される補間画素での動き情報を複数ライン分記憶することが可能な動き情報記憶部である。1112は、IP変換処理回路に入力された飛び越し走査による映像情報を複数ライン分記憶することが可能な入力情報記憶部である。1113は、補間情報選択部109から出力される補間情報を複数ライン分記憶することが可能な補間情報記憶部である。1114は、入力される2つの信号の論理積を求めるAND素子である。1115は、複数の画素により構成されるブロック単位で画素情報の一致/不一致を判定する補正条件検出部である。
本実施形態では、図7或いは図8に示すように、入力情報記憶部1112にはラインA,ラインC,ラインE,ラインGの4ライン分の入力映像情報が記憶され、補間情報記憶部1113には入力情報記憶部1112に記憶されている入力映像情報の間のラインに位置するラインb,ラインd,ラインfの3ライン分の補間情報が記憶され、動き情報記憶部1111には補間情報記憶部1113に記憶されている補間情報に対応する3ライン分の補間画素での動き情報が記憶されているものとする。AND素子1114では、入力される2つの信号が全てハイレベルの条件で揃った時に、補間情報記憶部1113に対して書き込み信号をアクティブレベルとしてハイレベルの信号を出力する。即ち、動き情報記憶部1111から補正しようとする補間画素での動き情報が動画(ハイレベル)として出力され、更に補正条件検出部1115からエッジ補正イネーブル信号がアクティブレベル(ハイレベル)で出力された場合に、補間情報記憶部1113に対してアクティブレベル(ハイレベル)の書き込み信号を出力することとなる。補間情報記憶部1113では、補正条件検出部1115から出力されるブロック一致検出情報(上),ブロック一致検出情報(下)及び補正位置情報により特定される補間画素の位置情報を動き情報記憶部1111に対して出力すると共に、AND素子1114から出力される書き込み信号がアクティブレベル(ハイレベル)である場合には、前記特定された補間画素の位置情報に位置する画素情報を補正条件検出部1115から出力される補正データにて書き換えることとなる。補間情報記憶部1113からは、補正処理された補間データが入出力速度変換部(1)105に対して出力されることとなり、入力情報記憶部1112からは、入力された補間情報が補正処理されるのに要する時間分遅延させた入力情報を入出力速度変換部(2)106に対して出力することとなる。
簡単に説明した斜め補正処理部111での処理の様子を、以下に詳細な説明を行う。
(補正条件検出部の全体構成)
図3は、本実施形態における補正条件検出部1115の一構成例を示したブロック図である。
図3において、111501は、後述する判定ブロック情報と画素情報の一致/不一致を判定するための複数の画素により構成される参照ブロック情報を複数組生成する参照ブロック生成部である。111502は、参照ブロック生成部111501から出力される複数組の参照ブロック情報と画素情報の一致/不一致を判定するための基準となる判定ブロック情報を生成する判定ブロック生成部である。111503及び111504は、判定ブロック生成部111502から出力される判定ブロック情報と参照ブロック生成部111501から出力される複数組の参照ブロック情報毎に画素情報の一致/不一致の判定を行い、その結果を参照ブロック情報毎に出力するブロック一致検出部である。111505及び111506は、ブロック一致検出部(1)111503及びブロック一致検出部(2)111504から出力される参照ブロック情報毎の一致/不一致判定結果から、最初に一致の検出された参照ブロックの位置情報を出力するプライオリティエンコーダである。111507は、プライオリティエンコーダ(1)111505とプライオリティエンコーダ(2)111506から出力される位置情報のうち、小さい値を有する位置情
報を選択して出力する大小判定部である。111508は、大小判定部111507から出力されるブロック一致検出情報(上)及びブロック一致検出情報(下)に応じて、判定ブロック生成部111502から出力される判定ブロック情報を選択して出力するセレクタである。111509は、大小判定部111507により選択されて出力された位置情報の半分の値を求めるための除算器である。1111510は、大小判定部111507により選択されて出力された位置情報を記憶し、カウントダウン動作を行う位置情報カウンタである。111511は、入力される2つの信号の論理和を求めるOR素子である。111512は、入力される2つの信号の論理積を求めるAND素子である。
(補正条件検出部の動作)
次に、以上に説明した構成による、本実施形態における補正条件検出部1115の動作について説明を行う。
(参照ブロック生成部)
参照ブロック生成部111501は、主に入力情報記憶部1112から出力される4ライン分の入力映像情報をライン毎に複数画素分記憶しておくためのフリップフロップのような記憶素子で構成される。参照ブロック生成部111501は、入力情報記憶部1112から入力された映像情報をシフトさせながら順次参照ブロック情報を生成して出力すると共に、シフト処理の完了した映像情報を後段の判定ブロック生成部111502へ出力する。ここでは、参照ブロック生成部111501と判定ブロック生成部111502が本発明の特定手段を構成する。
図4は、本実施形態における参照ブロック生成部111501の一構成例を示したブロック図である。
図4において、11150101〜11150103,11150111〜11150113,11150121〜11150123,11150131〜11150133は、入力された映像情報を記憶しておくための画素情報記憶部である。各画素情報記憶部に記憶されている映像情報は、入力情報記憶部1112から映像情報が出力されるタイミングで順次後段の画素情報記憶部へとシフトされていくものとする。ライン毎に有する画素情報記憶部の数は、判定しようとするブロックの位置から何画素分先の参照ブロックまでを参照するかによって変化する。本実施形態では、図7に示すようにL0に位置する画素を判定ブロックとし、L1からL11までに位置するブロックを参照ブロックとするため、ライン毎に必要とする画素情報記憶部の数は10個となる。
図4に戻ると、参照ブロック生成部111501では、入力された映像情報及び各画素情報記憶部に記憶されている映像情報から参照ブロック毎の情報を生成し、出力する。本実施形態では、図7及び図8に示すように、参照ブロックとしてラインA,ラインC,ラインEの3ライン分の画素情報により構成される参照ブロック情報(上)、及びラインC,ラインE,ラインGの3ライン分の画素情報により構成される参照ブロック情報(下)を、それぞれL1からL11までの参照位置に対応したものとして出力する。また、ライン毎に最後段に位置する画素情報記憶部(11)11150103,画素情報記憶部(12)11150113,画素情報記憶部(13)11150123,画素情報記憶部(14)11150133から出力される映像情報は、参照ブロック生成部111501の後段に位置する判定ブロック生成部111502に対して出力される。
(判定ブロック生成部)
図3に戻ると、判定ブロック生成部111502では、参照ブロック生成部111501から出力される映像情報から、画素情報の一致/不一致を判定するための基準となる判定ブロック情報を生成すると共に、判定ブロック情報にエッジ部が存在するかどうかを判
断し、エッジ検出情報として出力する。ここでは、判定ブロック生成部111502が本発明のエッジ検出手段を構成する。
図5は、本実施形態における判定ブロック生成部111502の一構成例を示したブロック図である。
図5において、1115020〜1115023は、入力された映像情報を記憶しておくための画素情報記憶部である。各画素情報記憶部に記憶されている映像情報は、参照ブロック生成部111501から映像情報が出力されるタイミングで順次更新されるものとする。判定ブロック生成部111502では、各画素情報記憶部に記憶されている映像情報から判定ブロック情報を生成し、出力する。本実施形態では、図7及び図8に示すように、判定ブロックとしてラインA,ラインC,ラインEの3ライン分の画素情報により構成される判定ブロック情報(上)、及びラインC,ラインE,ラインGの3ライン分の画素情報により構成される判定ブロック情報(下)を出力する。また判定ブロック生成部111502ではエッジ判定部1115024により、入力された4ライン分の画素情報のうちラインC及びラインEに位置する画素の差分情報から、ラインCとラインEの画素間にエッジ部が存在するかどうかを判断し、その判断結果をエッジ検出情報として出力する。
(ブロック一致検出部)
再び図3に戻ると、ブロック一致検出部(1)111503では、判定ブロック生成部111502から出力される判定ブロック情報(上)と、参照ブロック生成部111501から出力されるL1からL11までに位置する参照ブロック情報(下)とをそれぞれ画素毎に比較し、それぞれの参照ブロック情報毎に一致/不一致の判定結果を出力する。ここでは、ブロック一致検出部(1)111503及びブロック一致検出部(2)111504によって本発明の判定手段が構成される。
図7に、ブロック一致検出部(1)111503で処理される判定ブロック情報(上)と参照ブロック情報(下)との位置関係を示す。また、図6に、本実施形態におけるブロック一致検出部(1)111503の一構成例を示したブロック図を示す。
図6において、1115031〜1115033は、判定ブロック生成部111502から出力される判定ブロック情報(上)と、参照ブロック生成部111501から出力される参照ブロック情報(下)とを画素毎に比較し一致/不一致の判定を行う一致検出部である。本実施形態では、図7に示すように参照ブロック生成部111501からはL1からL11までに位置する参照ブロック情報(下)が出力されるものとしているため、一致検出部はそれぞれの参照ブロック情報(下)に対応して11個有することとなる。1115034〜1115036は、入力される2つの信号の論理積を求めるAND素子で、前記一致検出部それぞれに対して1つ組み合わされて構成される。1115037は、位置情報カウンタ111510から出力されるカウント値をデコードし、位置情報カウンタ111510のカウント値に応じ一致検出部から出力される判定結果をマスクするためのマスク信号を生成するマスク信号生成部である。即ちマスク信号生成部1115037では、位置情報カウンタ111510から出力されるカウント値は参照ブロック情報(下)の位置を示すものとし、位置情報カウンタ111510から出力されるカウント値よりも小さい参照ブロック情報(下)での一致/不一致判定結果を強制的に不一致とするように、マスク信号をそれぞれの一致検出部に対して出力する。これにより、判定ブロック生成部111502から出力される判定ブロック情報(上)が新しい情報に更新された際に、過去に一致と判定された参照ブロック情報(下)が繰り返して参照されてしまうということを回避する。ここでは、位置情報カウンタ111510及びマスク信号生成部1115037が、本発明の変更手段を構成する。また、位置情報カウンタ111510は本発明の保持手段を構成する。
再び図3に戻ると、ブロック一致検出部(2)111504は、判定ブロック生成部111502から出力される判定ブロック情報(下)と、参照ブロック生成部111501から出力されるL1からL11までに位置する参照ブロック情報(上)とをそれぞれ画素毎に比較し、それぞれの参照ブロック情報毎に一致/不一致の判定結果を出力するものである。その構成は、図6で示したブロック一致検出部(1)111503での構成例と同じものである。ブロック一致検出部(2)111504で処理される判定ブロック情報(下)と参照ブロック情報(上)との位置関係を、図8に示す。
(プライオリティエンコーダ)
プライオリティエンコーダ(1)111505及びプライオリティエンコーダ(2)111506は、それぞれブロック一致検出部(1)111503とブロック一致検出部(2)111504から出力される一致/不一致判定結果を受け、L1からL11までの一致/不一致判定結果のうち判定ブロックからの距離の小さい参照ブロック情報での一致判定結果を検出し、その位置情報を出力する。本実施形態では、判定ブロック情報とL1に位置する参照ブロック情報において一致が検出された場合には16進数表示で"1"を出力し、判定ブロック情報とL11に位置する参照ブロック情報において一致が検出された場合には16進数表示で"B"を出力し、一致が検出されなかった場合には"F"を出力するものとする。
(大小判定部)
大小判定部111507では、プライオリティエンコーダ(1)111505とプライオリティエンコーダ(2)111506から出力される値を比較し、小さい方の値を選択して出力する。大小判定部111507から出力される値は除算器111509により半分の値とされ、補正位置情報として出力される。また大小判定部111507からは、どちらの出力が選択されたかをブロック一致検出情報(上)或いはブロック一致検出情報(下)に反映して出力する。即ち、プライオリティエンコーダ(1)111505から出力された値が選択された時にはブロック一致検出情報(上)を"1",ブロック一致検出情報(下)を"0"として出力し、プライオリティエンコーダ(2)111506から出力された値が選択された時にはブロック一致検出情報(上)を"0",ブロック一致検出情報(下)を"1"として出力する。また、何れの参照ブロックでも一致が検出されず、大小判定部111507から"F"の値が出力される時には、ブロック一致検出情報(上)とブロック一致検出情報(下)は何れも"0"として出力される。OR素子111511では、ブロック一致検出部(1)111503とブロック一致検出部(2)111504において何れかの参照ブロックで一致が検出され、ブロック一致検出情報(上)或いはブロック一致検出情報(下)の何れかに"1"が出力された場合、位置情報カウンタ111510に対して"1"を出力する。
(位置情報カウンタ)
位置情報カウンタ111510では、OR素子111511から出力される信号をロードイネーブル信号とし、"1"が出力された場合には、その時の大小判定部111507から出力されている値をカウンタ値として取り込む。また、何れの参照ブロックでも一致が検出されず、OR素子111511から"0"が出力された場合には、カウンタ値を"1"減らし、カウンタ値が"0"でOR素子111511から"0"が出力された場合には、カウンタ値を"0"のまま維持する。
(セレクタ)
セレクタ111508では、大小判定部111507から出力されるブロック一致検出情報(上)及びブロック一致検出情報(下)に従い、判定ブロック生成部111502から出力される判定ブロック情報(上)と判定ブロック情報(下)のどちらかを選択し、補
正データとして出力する。即ち、ブロック一致検出情報(上)が"1"の場合には判定ブロック情報(上)が選択され、ブロック一致検出情報(下)が"1"の場合には判定ブロック情報(下)が選択されて補正データとして出力される。何れの参照ブロックでも一致が検出されず、ブロック一致検出情報(上)とブロック一致検出情報(下)の何れも"0"として出力された場合には、判定ブロック情報(上)と判定ブロック情報(下)の何れかが選択されて出力されても斜め補正処理部111の動作には何ら影響を及ぼさない。
(エッジ補正イネーブル信号)
AND素子111512では、判定ブロック生成部111502から出力されるエッジ検出情報及びOR素子111511からの出力信号が"1"である時にエッジ補正イネーブル信号を"1"として出力する。即ち,判定ブロック生成部111502から出力される判定ブロック情報にエッジ情報が含まれ、参照ブロック生成部111501から出力される複数の参照ブロック情報の中に判定ブロック情報と画素情報の一致するブロックが検出された場合に、補正条件検出部1115において補正処理を実行するための条件が揃ったことを示す意味で、エッジ補正イネーブル信号を"1"として出力する。
(補間情報記憶部における補正処理)
再び図2に戻ると、補正条件検出部1115からエッジ補正イネーブル信号が"1"として出力され、尚且つ動き情報記憶部1111から出力される、補正しようとする画素での動き情報が動画である場合に、AND素子1114から補間情報記憶部1113に対し補正処理を実行するよう書き込み信号を"1"として出力する。補間情報記憶部1113では、AND素子1114から出力される書き込み信号が"1"として出力された場合には、補正条件検出部1115から出力される補正位置情報とブロック一致検出情報(上)及びブロック一致検出情報(下)とから特定される位置にある補間情報を補正条件検出部1115から出力される補正データにて書き換えることとなる。ここでは、補間情報記憶部1115が本発明の補正手段を構成する。
(補間情報の補正処理)
以上に説明した構成により、斜め方向の傾斜を有する映像情報に対して補間情報の補正が行われる様子を、図9及び図10に示す。
図9は、判定ブロック生成部111502から出力される判定ブロック情報(上)と参照ブロック生成部111501から出力される複数の参照ブロック情報(下)の中に、画素情報の一致するブロックが検出されたけケースを示している。
図9のケースでは、判定ブロック情報(上)と同様の画素情報を有する参照ブロック情報(下)がL4からL7に位置する参照ブロック情報において検出される。この場合には、プライオリティエンコーダ(1)111505からは判定ブロックからの距離の一番小さいL4までの距離、即ち"4"という値が位置情報として出力される。一方、プライオリティエンコーダ(2)111506からは、ブロック一致検出部(2)111504において一致するブロックが検出されないため"F"という値が位置情報として出力されることとなる。次に大小判定部111507では、プライオリティエンコーダ(1)111505とプライオリティエンコーダ(2)111506から出力される値を比較し、値の小さい"4"という値を選択して出力すると共に、ブロック一致検出情報(上)を"1"として出力し、位置情報カウンタ111510では"4"という値をカウンタ値としてロードすることとなる。また、補正条件検出部1115からは、大小判定部111507から出力される値"4"の半分の値である"2"という値が補正位置情報として補間情報記憶部1113に対して出力される。ここでは、補正条件検出部1115が本発明の画素位置特定手段を構成する。
セレクタ111508では、ブロック一致検出情報(上)が"1"であることから、判定
ブロック情報(上)の画素情報のうちラインCとラインEに位置する画素情報を補正データとして出力する。
ここで、1つの判定ブロック情報に対して2画素分の補正データを生成して同時に処理を行うこととなるが、これにより以下に説明するような効果を得ることができる。
図31で示した従来のIP変換方式で処理された滑らかさを欠いた階段状の映像情報を、元の滑らかさを保った映像情報に補正するためには、エッジ部に存在する補間情報(ラインbではbn+5,bn+6,bn+7,bn+8に位置する補間情報、ラインdではdn+1,dn+2,dn+3,dn+4に位置する補間情報)のうち左半分を白の画素情報で、右半分を黒の画素情報で補正しなければならない。ここで1つの判定ブロック情報に対して1画素分の補正データを生成して処理したのでは、左半分或いは右半分の何れか一方の処理しか行われないこととなってしまう。本実施形態のように1つの判定ブロック情報に対して2画素分の補正データを生成して同時に処理を行うことで、左半分と右半分の補正を同時に行うことが可能となる。
図9で示したケースでの補正処理の説明に戻ると、判定ブロック生成部111502からはエッジ検出情報が"1"として出力されるため、AND素子111512からはエッジ補正イネーブル信号が"1"として出力される。
補間情報記憶部1113では、補正条件検出部1115から出力される補正位置情報からL2に位置する補間情報が補正されると判断し、また、ブロック一致検出情報(上)が"1"であることからラインd及びラインfに位置する補間情報が補正されると判断され、L2のラインd及びラインfに位置する補間画素が動画である場合には、その位置での補間情報を補正条件検出部1115から出力される補正データで書き換えることとなる。
以上でL0での画素情報を判定ブロック情報とする補正処理は完了し、続いてL1での画素情報を判定ブロック情報として同様の処理が繰り返されることとなるが、その際、位置情報カウンタ111510にて"4"という位置情報が記憶されているため、L2からL4までの参照ブロック情報(下)との一致検出結果は無視され、L5以降の参照ブロック情報(下)にて一致検出が行われることとなる。これにより、判定ブロック情報が次のブロックに更新された際に、前の判定ブロック情報で処理されたものと同一の参照ブロック情報(下)が繰り返し選択されて処理されることを回避することが可能となる。(実際には参照ブロック生成部111501及び判定ブロック生成部111502にて画素情報のシフトが行われるため、L1での判定ブロック情報(上)がL0での判定ブロック情報(上)、L2からL4までの参照ブロック情報(下)がL1からL3までの参照ブロック情報(下)として処理されることとなる。)
また本実施形態では、補正データを判定ブロック情報から生成するとしているが、判定ブロック情報とプライオリティエンコーダ(1)111505により選択された参照ブロック情報(下)とから補正データを生成するとしても、本発明にて提案する手段と変わるものではない。即ち、L2のラインdに位置する補間画素での補正データをL0のラインCに位置する画素情報とL4のラインEに位置する画素情報の平均値とし、L2のラインfに位置する補間画素での補正データをL0のラインEに位置する画素情報とL4のラインGに位置する画素情報の平均値とすることも可能である。
図10は、判定ブロック生成部111502から出力される判定ブロック情報(下)と参照ブロック生成部111501から出力される複数の参照ブロック情報(上)の中に、画素情報の一致するブロックが検出されたけケースを示している。
図10のケースでは、判定ブロック情報(下)と同様の画素情報を有する参照ブロック情報(上)がL4からL7に位置する参照ブロック情報において検出される。この場合には
、プライオリティエンコーダ(2)111506からは判定ブロックからの距離の一番小さいL4までの距離、即ち"4"という値が位置情報として出力される。一方、プライオリティエンコーダ(1)111505からは、ブロック一致検出部(1)111503において一致するブロックが検出されないため"F"という値が位置情報として出力されることとなる。次に大小判定部111507ではプライオリティエンコーダ(1)111505とプライオリティエンコーダ(2)111506から出力される値を比較し、値の小さい"4"という値を選択して出力すると共に、ブロック一致検出情報(下)を"1"として出力し、位置情報カウンタ111510では"4"という値をカウンタ値としてロードすることとなる。また、補正条件検出部1115からは、大小判定部111507から出力される値"4"の半分の値である"2"という値が補正位置情報として補間情報記憶部1113に対して出力される。
セレクタ111508では、ブロック一致検出情報(下)が"1"であることから、判定ブロック情報(下)の画素情報のうちラインCとラインEに位置する画素情報を補正データとして出力する。判定ブロック生成部111502からはエッジ検出情報が"1"として出力されるため、AND素子111512からはエッジ補正イネーブル信号が"1"として出力される。
補間情報記憶部1113では、補正条件検出部1115から出力される補正位置情報からL2に位置する補間情報が補正されると判断し、また、ブロック一致検出情報(下)が"1"であることからラインb及びラインdに位置する補間情報が補正されると判断され、L2のラインb及びラインdに位置する補間画素が動画である場合には、その位置での補間情報を補正条件検出部1115から出力される補正データで書き換えることとなる。
(補間情報の生成処理)
以上に説明した、図1に示した本発明の一実施形態としてのIP変換処理回路の構成例により補間情報が生成される処理の流れを、図11に示す。
最初に従来のIP変換処理回路と同様に動き情報生成部103にてフレーム間差分情報から補間画素での動き情報が求められ(S101)、動画の場合にはフィールド内での画素情報から補間情報が生成され(S102)、静止画の場合には前フィールドでの画素情報から補間情報が生成される(S103)。次に補間画素での動き情報が動画である場合には斜め補正処理部111での補正処理が行われることとなるが、まず判定ブロック生成部111502に入力される4ライン分の画素情報のうち、2ライン目と3ライン目の画素間にエッジ部が存在するかどうかを判断し(S104)、エッジ部が存在する場合、ブロック一致検出部(1)111503及びブロック一致検出部(2)111504において一致するブロックが検出されたかどうかを判断し(S105)、一致するブロックが検出された場合、補正処理を行う画素位置及び補正データを生成し、S102で求められた補間情報に対して斜め補正処理を実行することとなる(S106)。
(補間処理結果)
以上に説明した、図1に示した本発明の一実施形態としてのIP変換処理回路の構成例により、斜め方向の傾斜を有する映像情報に対して動画としての補間処理が行われた場合の結果を図12及び図13に示す。
図12は、図30に示すような斜め方向の傾斜を有する映像情報に対して本実施形態により補間処理が行われた様子を示すものである。図12を見て判るように本実施形態によれば、斜め方向の傾斜部において滑らかさを保持した表示を行うことが可能となる。また図13は、図32に示すような線幅が1画素相当である斜め線の映像情報に対して本実施形態により補間処理が行われた様子を示すものである。図13を見て判るように本実施形態によれば、従来のIP変換処理回路では本来連続して画素値を有する斜め線であるものを
破線として表示されてしまっていたものが、欠損した斜め線の情報(dn+3,dn+4,dn+5,bn+9,bn+10に位置する補間情報)を本来の連続した斜め線として表示を行うことが可能となる。
本実施形態は、飛び越し走査による映像情報が入力され、それを順次走査による映像情報に変換する際に、フィールド内での画素情報に基づいて斜め方向のエッジを考慮して補間画素の画素情報を発生する例として説明を行った。一方本願発明は、任意の解像度変換(特に画素数を大きくする変換)に適用することができる。この場合、補間画素の位置は類似している判定された判定ブロックと参照ブロックの中間位置に位置するとは限らない。もとより本願発明では類似していると判断された判定ブロックと参照ブロックとの間の任意の位置の画素の画素情報の生成を前記判定ブロックを構成する画素の画素情報及びもしくは前記参照ブロックを構成する画素の画素情報を用いて行うことができる。ただし好適な構成は、類似していると判断された判定ブロックと参照ブロックの間であって、
(i)該判定ブロックを構成する画素のうちの所定の画素と、前記参照ブロックを構成する画素のうちの前記参照ブロックにおける前記所定の画素と対応する画素(参照ブロックを構成する画素のうちの前記所定の画素との類似度の判定に用いられた画素)との間の中間位置に位置する画素、もしくは
(ii)該中間位置に近接する(特に好適には最近接する)位置の画素(前記中間位置には補間画素が存在しない場合にこの構成が有効である)
の画素情報を、前記所定の画素の画素情報及びもしくは前記対応する画素の画素情報に基づいて決定するようにする構成である。即ち、本願発明は、IP変換に用いるのみでなく、非インターレース信号(順次操作信号;IP変換された信号を含む)に対して用いることもできる。従って、テレビジョン信号に限らず、コンピュータで扱われるような画像情報や印刷情報に対しても適用可能である。
また動きが大きい(動きがある)画像を形成する場合に、上記詳細に説明した構成及びステップによって補間画素の情報を生成する構成を開示したが、これは動きが少ない(動きがない場合を含む)画像を形成する場合に行ってもよい。
(第2実施形態)
第1実施形態では、補正しようとする補間画素を含む同一フィールド内で、飛び越し走査により入力された複数のラインにおける画素により構成される、補正処理の基準となる判定ブロックを生成し、更に判定ブロックよりも後に入力された、判定ブロックよりも1ライン分上方向或いは下方向にずれた参照ブロックを複数組生成し、判定ブロックと複数組の参照ブロック毎に画素情報の比較を行い、一致が検出された場合には判定ブロックと一致が検出された参照ブロックとの中間に位置する補間画素での画素情報を補正するという手段について説明を行った。また、1つの判定ブロック情報に対して2画素分の補正データを生成して同時に処理を行うことで、斜め方向の傾斜を有する映像情報や線幅が1画素相当である斜め線の映像情報に対して本来2回の補正処理を行わなければならないものが、一度の補正処理で行うことが可能となる手段について説明を行った。これにより図30に示すような斜め方向の傾斜を有する映像情報に対して、図12に示すような良好な補間情報が得られ、また図32に示すような線幅が1画素相当である斜め線の映像情報に対しても、図13に示すように本来連続して画素値を有する斜め線であるものが破線として表示されてしまうということを回避することが可能となる。
しかしながら、図13に示された、線幅が1画素相当である斜め線の映像情報に対して第1実施形態により補間処理が行われた結果を見てみると、dn,dn+1,dn+2,dn+6,dn+7,dn+8,bn+6,bn+7,bn+8での補間画素において従来のIP変換処理により生成された補間結果が残ってしまい、本来線幅が1画素相当である斜め線の映像情報が、この個所においては3画素分の幅を持つ斜め線として表示されることとなり、結果として滑らかさ
を欠いた階段状の斜め線として表示されてしまうこととなる。
このような補間結果を改善するためには、第1実施形態で示した斜め補正処理に若干の改良を加えることにより対応することが可能となる。即ち、第1実施形態では、補正処理の基準となる判定ブロック、及び判定ブロックよりも後に入力された、判定ブロックよりも1ライン分上方向或いは下方向にずれた複数組の参照ブロックを、それぞれ垂直方向には3画素分(3ライン分)の画素情報を有し、水平方向には1画素分の画素情報を有することで構成していが、これらを水平方向に関しても複数画素分の画素情報を有するようにすることにより、従来のIP変換処理により生成された、斜め線の上下の補間画素に付与された補間情報を補正することが可能となる。
そこで本実施形態では、斜め方向の傾斜を有する映像情報に対しては第1実施形態で示した補正処理を実行すると共に、更に入力された映像情報が、線幅が1画素相当である斜め線の映像情報であるかどうかを判断する手段を設け、入力された飛び越し走査による映像情報が、線幅が1画素相当である斜め線の映像情報であると判断された場合には、斜め方向の傾斜を有する映像情報に対する補正処理とは別に、判定ブロック及び複数組の参照ブロックが水平方向に関しても複数画素分の画素情報を有する構成のブロックを用いて補正処理を行う手段について説明を行う。
本実施形態において、IP変換処理回路全体の構成は、図1で示した第1実施形態での構成例と同じ構成を有するものとする。
(斜め補正処理部の概略構成)
図14は、本実施形態における斜め補正処理部111の一構成例を示したブロック図である。
図14において、1111と1112及び1114は、それぞれ第1実施形態にて説明を行ったものと同じ構成を有する動き情報記憶部,入力情報記憶部及びAND素子である。1116は、補間情報選択部109から出力される補間情報を複数ライン分記憶することが可能な補間情報記憶部で、第1実施形態で説明を行った斜め方向の傾斜を有する映像情報に対する補正処理を行うと共に、入力された飛び越し走査による映像情報が、線幅が1画素相当である斜め線の映像情報である場合の補正処理にも対応したものである。1117は、入力される2つの信号の論理和を求めるOR素子である。1118は、第1実施形態で説明を行った垂直方向に複数の画素により構成されるブロック単位で画素情報の一致/不一致の判定を行う以外に、入力された飛び越し走査による映像情報が、線幅が1画素相当である斜め線の映像情報であるかどうかを判断し、線幅が1画素相当である斜め線の映像情報である場合には、水平方向に関しても複数画素分の画素情報を有する構成のブロック単位で画素情報の一致/不一致の判定を行う補正条件検出部である。
以上に説明した構成を有する、本実施形態における斜め補正処理部111での処理の様子を、以下に詳細に説明を行う。
(補正条件検出部の全体構成)
図15は、本実施形態における補正条件検出部1118の一構成例を示したブロック図である。
図15において、111801は、後述する判定ブロック情報及び線分判定ブロック情報と画素情報の一致/不一致を判定するための複数の画素により構成される参照ブロック情報及び線分参照ブロック情報を複数組生成する参照ブロック生成部である。111802は、参照ブロック生成部111801から出力される複数組の参照ブロック情報及び線
分参照ブロック情報と画素情報の一致/不一致を判定するための基準となる判定ブロック情報及び線分判定ブロック情報を生成する判定ブロック生成部である。111803と111804は、判定ブロック生成部111802から出力される判定ブロック情報と参照ブロック生成部111801から出力される複数組の参照ブロック情報毎に画素情報の一致/不一致の判定を行い、その結果を参照ブロック情報毎に出力するブロック一致検出部である。111817と111818は、判定ブロック生成部111802から出力される線分判定ブロック情報と参照ブロック生成部111801から出力される複数組の線分参照ブロック情報毎に画素情報の一致/不一致の判定を行い、その結果を線分参照ブロック情報毎に出力する線分ブロック一致検出部である。111805と111806は、それぞれブロック一致検出部(1)111803及びブロック一致検出部(2)111804から出力される参照ブロック情報毎の一致/不一致判定結果から、最初に一致の検出されたブロックの位置情報を出力するプライオリティエンコーダである。111819と111820は、それぞれ線分ブロック一致検出部(1)111817及び線分ブロック一致検出部(2)111818から出力される線分参照ブロック情報毎の一致/不一致判定結果から、最初に一致の検出されたブロックの位置情報を出力する線分プライオリティエンコーダである。111807は、プライオリティエンコーダ(1)111505とプライオリティエンコーダ(2)111506から出力される位置情報のうち小さい値を有する位置情報を選択して出力する大小判定部(1)である。111821は、線分プライオリティエンコーダ(1)111819と線分プライオリティエンコーダ(2)111820から出力される位置情報のうち小さい値を有する位置情報を選択して出力する大小判定部(2)である。111808は、大小判定部(1)111807及び大小判定部(2)111821から出力されるブロック一致検出情報(上),ブロック一致検出情報(下),線分ブロック一致検出情報(上)及び線分ブロック一致検出情報(下)に応じて、判定ブロック生成部111802から出力される判定ブロック情報或いは線分判定ブロック情報を選択して出力するセレクタ(1)である。111813は、大小判定部(1)111807と大小判定部(2)111821から出力される値のうち何れか一方の値を、判定ブロック生成部111802から出力されるエッジ検出情報及び線分検出情報に応じて選択して出力するセレクタ(2)である。111809は、セレクタ(2)111813により選択されて出力された位置情報の半分の値を求めるための除算器である。1111810は、セレクタ(2)111813により選択されて出力された位置情報を記憶しダウンカウントを行う位置情報カウンタである。111811,111814及び111816は、入力される2つの信号の論理和を求めるOR素子である。111812と111815は、入力される2つの信号の論理積を求めるAND素子である。
(補正条件検出部の動作)
次に、以上に説明した構成による、本実施形態における補正条件検出部1118の動作について説明を行う。
(参照ブロック生成部)
参照ブロック生成部111801は、第1実施形態で説明した参照ブロック生成部111501と同様に、主に入力情報記憶部1112から出力される4ライン分の入力映像情報をライン毎に複数画素分記憶しておくためのフリップフロップのような記憶素子で構成されるものである。ここでは、参照ブロック生成部111801と判定ブロック生成部111802が本発明の特定手段を構成する。
図16は、本実施形態における参照ブロック生成部111801の一構成例を示したブロック図である。
図16において、11180101〜11180104,11180111〜11180114,11180121〜11180124,11180131〜11180134
は、入力された映像情報を記憶しておくための画素情報記憶部である。各画素情報記憶部に記憶されている映像情報は、入力情報記憶部1112から映像情報が出力されるタイミングで順次後段の画素情報記憶部へとシフトされていくものとする。ライン毎に有する画素情報記憶部の数は、判定しようとするブロックの位置から何画素分先の参照ブロックまでを参照するかによって変化する。本実施形態では、第1実施形態で説明した参照ブロック生成部111501と同様に、L1からL11までに位置する参照ブロック情報を生成するために、ライン毎に10個の画素情報記憶部を有するものとする。参照ブロック生成部111801では、第1実施形態で説明した参照ブロック生成部111501と同様に、入力された映像情報及び各画素情報記憶部に記憶されている映像情報から3ライン分の画素情報により構成される参照ブロック情報(上)及び参照ブロック情報(下)を生成し、出力することとなるが、更に参照ブロック生成部111801では、図20及び図21に示すように、水平方向に4画素分の画素情報を有する線分参照ブロック情報(上)及び線分参照ブロック情報(下)を、それぞれLB1からLB8までの参照位置に対応したものとして出力する。ここで本実施形態では、線分参照ブロック情報を水平方向に4画素分の画素情報を有するものとして生成するとしたが、本発明の提案する手段としては4画素に限ったものではなく、水平方向に複数の画素情報を有することにより本実施形態での効果を得ることが可能である。
図16に戻ると、画素情報記憶部(31)11180102,画素情報記憶部(32)11180112,画素情報記憶部(33)11180122,画素情報記憶部(34)11180132に入力される映像情報は、同時に参照ブロック生成部111801の後段に位置する判定ブロック生成部111802に対して出力される。
(判定ブロック生成部)
図15に戻ると、判定ブロック生成部111802では、参照ブロック生成部111801から出力される映像情報から、画素情報の一致/不一致を判定するための基準となる判定ブロック情報及び線分判定ブロック情報を生成すると共に、判定ブロック情報にエッジ部或いは線分が存在するかどうかを判断し、エッジ検出情報及び線分検出情報として出力する。ここでは、判定ブロック生成部111802が本発明のエッジ検出手段を構成する。
図17は、本実施形態における判定ブロック生成部111802の一構成例を示したブロック図である。
図17において、11180201〜11180204,11180211〜11180214,11180221〜11180224,11180231〜11180234は、入力された映像情報を記憶しておくための画素情報記憶部である。各画素情報記憶部に記憶されている映像情報は、参照ブロック生成部111801から映像情報が出力されるタイミングで順次後段の画素情報記憶部へとシフトされていくものとする。判定ブロック生成部111802では、第1実施形態で説明した判定ブロック生成部111502と同様に、各画素情報記憶部に記憶されている映像情報から3ライン分の画素情報により構成される判定ブロック情報(上)及び判定ブロック情報(下)を生成し、出力することとなる。本実施形態では、判定ブロック生成部111802は、図20及び図21に示すように、更に水平方向に4画素分の画素情報を有する線分判定ブロック情報(上)及び線分判定ブロック情報(下)を出力する。ここで本実施形態では、線分判定ブロック情報を水平方向に4画素分の画素情報を有するものとし生成するとしたが、線分参照ブロック情報と同様に本発明の提案する手段としては4画素に限ったものではなく、水平方向に複数の画素情報を有することにより本実施形態での効果を得ることが可能である。
(エッジ判定部及び線分判定部)
図17に戻ると、1118024は、入力される2画素の画素間差分情報から画素間にエッジ部が存在するかどうかの判断を行うエッジ判定部である。11180251〜11180254は、入力される4画素の画素情報から線分が存在するかどうかの判断を行う線分判定部である。
エッジ判定部1118024及び線分判定部(1)11180251,線分判定部(2)11180252,線分判定部(3)11180253,線分判定部(4)11180254にてエッジ判定及び線分判定が行われる様子を、図19に示す。
画素情報記憶部(111)11180204,画素情報記憶部(112)11180214,画素情報記憶部(113)11180224,画素情報記憶部(114)11180234からはL0に位置する4ライン分の画素情報が出力される。画素情報記憶部(121)11180203,画素情報記憶部(122)11180213,画素情報記憶部(123)11180223,画素情報記憶部(124)11180233からはL1に位置する4ライン分の画素情報が出力される。画素情報記憶部(131)11180202,画素情報記憶部(132)11180212,画素情報記憶部(133)11180222,画素情報記憶部(134)11180232からはL2に位置する4ライン分の画素情報が出力される。画素情報記憶部(141)11180201,画素情報記憶部(142)11180211,画素情報記憶部(143)11180221,画素情報記憶部(144)11180231からはL3に位置する4ライン分の画素情報が出力される。
エッジ判定部1118024は、画素情報記憶部(112)11180214と画素情報記憶部(113)11180224から出力される、L0に位置するラインCとラインEでの画素情報が入力され、それらの画素間の差分情報から画素間にエッジ部が存在するかどうかを判断し、その判定結果を出力する。また、線分判定部(1)11180251,線分判定部(2)11180252,線分判定部(3)11180253,線分判定部(4)11180254にはそれぞれL3,L2,L1,L0に位置する4ライン分の画素情報が入力され、それぞれの線分判定部毎にラインCとラインEでの画素間にエッジ部が存在し、更にラインAとラインCでの画素間或いはラインEとラインGでの画素間の何れかにおいて差分が検出された場合に線分であると判断し、その判定結果を出力する。線分判定部(1)11180251,線分判定部(2)11180252,線分判定部(3)11180253,線分判定部(4)11180254から出力される判定結果は、4入力のOR素子1118026に入力される。線分判定部(1)11180251,線分判定部(2)11180252,線分判定部(3)11180253,線分判定部(4)11180254の何れかにおいて線分が検出された場合、OR素子1118026から線分検出情報が"1"として出力される。OR素子1118026から出力される線分検出情報は、同時に極性を反転するNOT素子1118027に入力され、AND素子1118028ではエッジ判定部1118024から出力される判定結果とNOT素子1118027により極性の反転させられた線分検出情報の論理積が求められ、エッジ検出情報として出力される。即ち、L0からL3までに位置するブロックにおいて線分が検出され、OR素子1118026から線分検出情報が"1"として出力された場合には、エッジ判定部1118024から出力される判定結果は無視され、エッジ検出情報は常に"0"として出力される。一方、L0からL3までに位置するブロックにおいて線分が検出されず、OR素子1118026から線分検出情報が"0"として出力された場合には、エッジ検出情報はエッジ判定部1118024から出力される判定結果に従い、L0に位置するラインCとラインEでの画素間にエッジ部が存在すると判断された場合には"1"が出力され、エッジ部が存在しないと判断された場合には"0"が出力されることとなる。
(ブロック一致検出部及び線分ブロック一致検出部)
再び図15に戻ると、ブロック一致検出部(1)111803及びブロック一致検出部(2)111804は、第1実施形態で説明したブロック一致検出部(1)111503及びブロック一致検出部(2)111504と同様の構成を有するものである。即ち、ブロック一致検出部(1)111803及びブロック一致検出部(2)111804は、それぞれ判定ブロック生成部111802から出力される判定ブロック情報(上)と参照ブロック生成部111801から出力されるL1からL11までに位置する参照ブロック情報(下)、及び判定ブロック生成部111802から出力される判定ブロック情報(下)と参照ブロック生成部111801から出力されるL1からL11までに位置する参照ブロック情報(上)とをそれぞれ画素毎に比較し、それぞれの参照ブロック情報毎に一致/不一致の判定結果を出力する。線分ブロック一致検出部(1)111817は、判定ブロック生成部111802から出力される線分判定ブロック情報(上)と参照ブロック生成部111801から出力されるLB1からLB8までに位置する水平方向に4画素分の画素情報を有する線分参照ブロック情報(下)をそれぞれ画素毎に比較し、それぞれの線分参照ブロック情報毎に一致/不一致の判定結果を出力する。ここでは、ブロック一致検出部(1)111803及びブロック一致検出部(2)111804並びに線分ブロック一致検出部(1)111817及び線分ブロック一致検出部(2)111818が、本発明の判定手段を構成する。
(線分ブロック一致検出部の構成)
図18に、本実施形態における線分ブロック一致検出部(1)111817の一構成例を示したブロック図を示す。
図18において、1118171〜1118173は、判定ブロック生成部111802から出力される線分判定ブロック情報(上)と、参照ブロック生成部111801から出力される線分参照ブロック情報(下)とを画素毎に比較し一致/不一致の判定を行う一致検出部である。本実施形態では、図20に示すように参照ブロック生成部111801からはLB1からLB8までに位置する水平方向に4画素分の画素情報を有する線分参照ブロック情報(下)が出力されるものとしているため、線分ブロック一致検出部(1)111817は一致検出部をそれぞれの線分参照ブロック情報(下)に対応して8個有することとなる。1118174〜1118176は、入力される2つの信号の論理積を求めるAND素子で、前記一致検出部それぞれに対して1つ組み合わされて構成される。1118177は、位置情報カウンタ111810から出力されるカウント値をデコードし、位置情報カウンタ111810のカウント値に応じ一致検出部から出力される判定結果をマスクするためのマスク信号を生成するマスク信号生成部である。即ちマスク信号生成部1118177では、位置情報カウンタ111810から出力されるカウント値は線分参照ブロック情報(下)の位置を示すものとし、位置情報カウンタ111810から出力されるカウント値よりも小さい線分参照ブロック情報(下)での一致/不一致判定結果は強制的に不一致とするようにマスク信号をそれぞれの一致検出部に対して出力する。これにより、判定ブロック生成部111802から出力される線分判定ブロック情報(上)が新しい情報に更新された際に、過去に一致と判定された線分参照ブロック情報(下)が繰り返して参照されてしまうということを回避する。ここでは、位置情報カウンタ111810及びマスク信号生成部1118177が、本発明の変更手段を構成する。また、位置情報カウンタ111810は本発明の保持手段を構成する。
再び図15に戻ると、線分ブロック一致検出部(2)111818は、判定ブロック生成部111802から出力される線分判定ブロック情報(下)と、参照ブロック生成部111801から出力されるLB1からLB8までに位置する水平方向に4画素分の画素情報を有する線分参照ブロック情報(上)とをそれぞれ画素毎に比較し、それぞれの線分参照ブロック情報毎に一致/不一致の判定結果を出力するものである。線分ブロック一致検出部(2)111818は、図18で示した線分ブロック一致検出部(1)111817と同
じ構成を有するものである。線分ブロック一致検出部(2)111818で処理される線分判定ブロック情報(下)と線分参照ブロック情報(上)との位置関係を、図21に示す。
(プライオリティエンコーダ及び線分プライオリティエンコーダ)
プライオリティエンコーダ(1)111805及びプライオリティエンコーダ(2)111806は、第1実施形態で説明したプライオリティエンコーダ(1)111505及びプライオリティエンコーダ(2)111506と同様に、それぞれブロック一致検出部(1)111803とブロック一致検出部(2)111804から出力される一致/不一致判定結果を受け、L1からL11までの一致/不一致判定結果のうち判定ブロックからの距離の小さい参照ブロック情報での一致判定結果を検出し、その位置情報を出力する。本実施形態においても第1実施形態と同様に、判定ブロック情報とL1に位置する参照ブロック情報において一致が検出された場合には16進数表示で"1"を出力し、判定ブロック情報とL11に位置する参照ブロック情報において一致が検出された場合には16進数表示で"B"を出力し、一致が検出されなかった場合には"F"を出力するものとする。線分プライオリティエンコーダ(1)111819及び線分プライオリティエンコーダ(2)111820は、それぞれ線分ブロック一致検出部(1)111817と線分ブロック一致検出部(2)111818から出力される一致/不一致判定結果を受け、LB1からLB8までの一致/不一致判定結果のうち判定ブロックからの距離の小さい参照ブロック情報での一致判定結果を検出し、その位置情報を出力する。本実施形態では、線分判定ブロック情報とLB1に位置する線分参照ブロック情報において一致が検出された場合には16進数表示で"1"を出力し、線分判定ブロック情報とLB8に位置する線分参照ブロック情報において一致が検出された場合には16進数表示で"8"を出力し、一致が検出されなかった場合には"F"を出力するものとする。
大小判定部(1)111807では、第1実施形態で説明した大小判定部111507と同様に、プライオリティエンコーダ(1)111805とプライオリティエンコーダ(2)111806から出力される値を比較し、小さい方の値を選択して出力する。同時に、どちらの出力が選択されたかをブロック一致検出情報(上)或いはブロック一致検出情報(下)に反映して出力する。即ち、プライオリティエンコーダ(1)111805から出力された値が選択された時にはブロック一致検出情報(上)を"1",ブロック一致検出情報(下)を"0"として出力し、プライオリティエンコーダ(2)111806から出力された値が選択された時にはブロック一致検出情報(上)を"0",ブロック一致検出情報(下)を"1"として出力する。また、何れの参照ブロックでも一致が検出されず、大小判定部(1)111807から"F"の値が出力される時には、ブロック一致検出情報(上)とブロック一致検出情報(下)は何れも"0"として出力される。OR素子111811では、ブロック一致検出部(1)111803とブロック一致検出部(2)111804において何れかの参照ブロックで一致が検出され、ブロック一致検出情報(上)或いはブロック一致検出情報(下)の何れかに"1"が出力された場合、"1"を出力する。
(大小判定部)
大小判定部(2)111821では、線分プライオリティエンコーダ(1)111819と線分プライオリティエンコーダ(2)111820から出力される値を比較し、小さい方の値を選択して出力する。同時に、どちらの出力が選択されたかを線分ブロック一致検出情報(上)或いは線分ブロック一致検出情報(下)に反映して出力する。即ち、線分プライオリティエンコーダ(1)111819から出力された値が選択された時には線分ブロック一致検出情報(上)を"1",線分ブロック一致検出情報(下)を"0"として出力し、線分プライオリティエンコーダ(2)111820から出力された値が選択された時には線分ブロック一致検出情報(上)を"0",線分ブロック一致検出情報(下)を"1"として出力する。また、何れの線分参照ブロックでも一致が検出されず、大小判定部(2)1118
21から"F"の値が出力される時には、線分ブロック一致検出情報(上)と線分ブロック一致検出情報(下)は何れも"0"として出力される。OR素子111814では、線分ブロック一致検出部(1)111817と線分ブロック一致検出部(2)111818において何れかの線分参照ブロックで一致が検出され、線分ブロック一致検出情報(上)或いは線分ブロック一致検出情報(下)の何れかに"1"が出力された場合、"1"を出力する。
(セレクタ(2))
セレクタ(2)111813では、判定ブロック生成部111802から出力されるエッジ検出情報及び線分検出情報に従って、大小判定部(1)111807から出力される値と大小判定部(2)111821から出力される値とのどちらかを選択し、補正データとして出力する。即ち、エッジ検出情報が"1"として出力されている場合には大小判定部(1)111807から出力される値を選択し、線分検出情報が"1"として出力されている場合には大小判定部(2)111821から出力される値を選択して出力する。エッジ検出情報及び線分検出情報が共に"0"として出力された場合には、大小判定部(1)111807から出力される値と大小判定部(2)111808から出力される値の何れかが選択されて出力されても斜め補正処理部111の動作には何ら影響を及ぼさない。セレクタ(2)111813から出力される値は除算器111809により半分の値とされ、補正位置情報として出力される。OR素子111816からは、OR素子111811とOR素子111814の論理和された結果が出力され、即ち、ブロック一致検出部(1)111803,ブロック一致検出部(2)111804,線分ブロック一致検出部(1)111817、線分ブロック一致検出部(2)111818の何れかにおいてブロックの一致が検出された場合には、OR素子111816から"1"が出力される。
(位置情報カウンタ)
位置情報カウンタ111810では、OR素子111816から出力される信号をロードイネーブル信号とし、"1"が出力された場合に、その時のセレクタ(2)111813から出力されている値をカウンタ値として取り込む。また、何れのブロックでも一致が検出されず、OR素子111816から"0"が出力された場合には、カウンタ値を"1"減らし、カウンタ値が"0"でOR素子111816から"0"が出力された場合にはカウンタ値を"0"のまま維持する。
(セレクタ(1))
セレクタ(1)111808では、大小判定部(1)111807から出力されるブロック一致検出情報(上)とブロック一致検出情報(下)及び大小判定部(2)111821から出力される線分ブロック一致検出情報(上)と線分ブロック一致検出情報(下)に従い、判定ブロック生成部111802から出力される判定ブロック情報(上),判定ブロック情報(下),線分判定ブロック情報(上)及び線分判定ブロック情報(下)の何れかを選択し、補正データとして出力する。即ち、ブロック一致検出情報(上)が"1"の場合には判定ブロック情報(上)が選択され、ブロック一致検出情報(下)が"1"の場合には判定ブロック情報(下)が選択され、線分ブロック一致検出情報(上)が"1"の場合には線分判定ブロック情報(上)が選択され、線分ブロック一致検出情報(下)が"1"の場合には線分判定ブロック情報(下)が選択されて補正データとして出力される。何れのブロックでも一致が検出されず、ブロック一致検出情報(上),ブロック一致検出情報(下),線分ブロック一致検出情報(上),線分ブロック一致検出情報(下)の何れも"0"として出力された場合には、判定ブロック情報(上),判定ブロック情報(下),線分判定ブロック情報(上),線分判定ブロック情報(下)の何れかが選択されて出力されても斜め補正処理部111の動作には何ら影響を及ぼさない。
(エッジ補正イネーブル信号及び線分補正イネーブル信号)
AND素子111812では、判定ブロック生成部111802から出力されるエッジ検
出情報及びOR素子111811からの出力信号が"1"である時にエッジ補正イネーブル信号を"1"として出力する。即ち、判定ブロック生成部111802から出力される判定ブロック情報にエッジ情報が含まれ、参照ブロック生成部111801から出力される複数の参照ブロック情報の中に判定ブロック情報と画素情報の一致するブロックが検出された場合に、補正条件検出部1118においてエッジ部の補正処理を実行するための条件が揃ったことを示す意味で、エッジ補正イネーブル信号を"1"として出力する。また、AND素子111815では、判定ブロック生成部111802から出力される線分検出情報及びOR素子111814からの出力信号が"1"である時に線分補正イネーブル信号を"1"として出力する。即ち,判定ブロック生成部111802から出力される線分判定ブロック情報に線分情報が含まれ、参照ブロック生成部111801から出力される複数の線分参照ブロック情報の中に線分判定ブロック情報と画素情報の一致するブロックが検出された場合に、補正条件検出部1118において線分の補正処理を実行するための条件が揃ったことを示す意味で、線分補正イネーブル信号を"1"として出力する。
(補間情報記憶部における補正処理)
図14に戻ると、補正条件検出部1118からエッジ補正イネーブル信号或いは線分補正イネーブル信号が"1"として出力され、尚且つ動き情報記憶部1111から出力される、補正しようとする画素での動き情報が動画である場合に、AND素子1114から補間情報記憶部1116に対し補正処理を実行するよう、書き込み信号を"1"として出力する。補間情報記憶部1116では、AND素子1114から出力される書き込み信号が"1"として出力された場合には、補正条件検出部1118から出力される補正位置情報とブロック一致検出情報(上),ブロック一致検出情報(下),線分ブロック一致検出情報(上),線分ブロック一致検出情報(下)とから特定される位置にある補間情報を補正条件検出部1118から出力される補正データにて書き換えることとなる。ここでは、補間情報記憶部1116が本発明の補正手段を構成する。
(補間情報の補正処理)
以上に説明した構成において、第1実施形態での図9或いは図10で示したような斜め方向の傾斜を有する映像情報が入力された場合には、第1実施形態と同様の処理が行われることとなる。ここで、図32に示すような線幅が1画素相当である斜め線の映像情報が入力された際の、本実施形態において補間情報の補正が行われる様子を、図22及び図23に示す。
図22は、判定ブロック生成部111802から出力される線分判定ブロック情報(上)と参照ブロック生成部111801から出力される複数の線分参照ブロック情報(下)の中に、画素情報の一致するブロックが検出されたケースを示している。
図22のケースでは、線分判定ブロック情報(上)と同様の画素情報を有する線分参照ブロック情報(下)がLB6に位置する線分参照ブロック情報において検出される。この場合には、線分プライオリティエンコーダ(1)111819からは "6"という値が位置情報として出力される。一方、線分プライオリティエンコーダ(2)111820からは、線分ブロック一致検出部(2)111818において一致するブロックが検出されないため"F"という値が位置情報として出力されることとなる。次に大小判定部(2)111821では、線分プライオリティエンコーダ(1)111819と線分プライオリティエンコーダ(2)111820から出力される値を比較し、値の小さい"6"という値を選択して出力すると共に、線分ブロック一致検出情報(上)を"1"として出力する。ここで判定ブロック生成部111802からは線分検出情報が"1"として出力されるため、セレクタ(2)111813からは大小判定部(2)111821から出力される値、即ち"6"が選択されて、位置情報カウンタ111810に出力され、また、AND素子111815からは線分補正イネーブル信号が"1"として出力されることとなる。位置情報カウンタ11181
0では、大小判定部(2)111821から線分ブロック一致検出情報(上)が"1"として出力されることにより、セレクタ(2)111813から出力される値"6"をカウンタ値としてロードすることとなる。また、補正条件検出部1118からは、セレクタ(2)111813から出力される値"6"の半分の値である"3"という値が補正位置情報として補間情報記憶部1116に対して出力される。ここでは、補正条件検出部1118が本発明の画素位置特定手段を構成する。
セレクタ(1)111808では、線分ブロック一致検出情報(上)が"1"であることから、線分判定ブロック情報(上)の画素情報のうちL0のラインCとラインEに位置する画素情報を補正データとして出力する。
ここでも第1実施形態と同様に、1つの判定ブロック情報に対して2画素分の補正データを生成して同時に処理を行うこととなるが、これにより図13で示した、線幅が1画素相当である斜め線として入力された映像情報の上下の補間ラインに従来のIP変換処理により生成された補間結果を一度に補正することが可能となる。
補間情報記憶部1116では、補正条件検出部1118から出力される補正位置情報からL3に位置する補間情報が補正されると判断し、また、線分ブロック一致検出情報(上)が"1"であることからラインd及びラインfに位置する補間情報が補正されると判断され、L3のラインd及びラインfに位置する補間画素が動画である場合、その位置での補間情報を補正条件検出部1118から出力される補正データで書き換えることとなる。
以上でLB0での画素情報を線分判定ブロック情報とする補正処理は完了し、続いてLB1での画素情報を線分判定ブロック情報(上)として同様の処理が繰り返されることとなるが、その際、位置情報カウンタ111810にて"6"という位置情報が記憶されているため、LB2からLB6までの線分参照ブロック情報(下)との一致検出結果は無視され、LB7以降の線分参照ブロック情報(下)にて一致検出が行われることとなる。これにより、判定ブロック情報が次のブロックに更新された際に、前の判定ブロック情報で処理されたものと同一の線分参照ブロック情報(下)が繰り返し選択されて処理されることを回避することが可能となる。(実際には参照ブロック生成部111801及び判定ブロック生成部111802にて画素情報のシフトが行われるため、LB1での線分判定ブロック情報がLB0、LB2からLB6までの線分参照ブロック情報(上)がLB1からLB5として処理されることとなる。)
また本実施形態では、補正データを線分判定ブロック情報(上)から生成するとしているが、第1実施形態でも述べたように、線分判定ブロック情報(上)と線分プライオリティエンコーダ(1)111819により選択された線分参照ブロック情報(下)とから補正データを生成するとしても、本発明にて提案する手段と変わるものではない。即ち、L3のラインdに位置する補間画素での補正データをL0のラインCに位置する画素情報とL6のラインEに位置する画素情報の平均値とし、L3のラインfに位置する補間画素での補正データをL0のラインEに位置する画素情報とL6のラインGに位置する画素情報の平均値とすることも可能である。
図23は、判定ブロック生成部111802から出力される線分判定ブロック情報(下)と参照ブロック生成部111801から出力される複数の線分参照ブロック情報(上)の中に、画素情報の一致するブロックが検出されたケースを示している。
図23のケースでは、線分判定ブロック情報(下)と同様の画素情報を有する線分参照ブロック情報(上)がL6に位置する線分参照ブロック情報において検出される。この場合には、線分プライオリティエンコーダ(2)111820からは "6"という値が位置情報として出力される。一方、線分プライオリティエンコーダ(1)111819からは、ブロック一致検出部(1)111817において一致するブロックが検出されないため"F"
という値が位置情報として出力されることとなる。次に大小判定部(2)111821では線分プライオリティエンコーダ(1)111819と線分プライオリティエンコーダ(2)111820から出力される値を比較し、値の小さい"6"という値を選択して出力すると共に、線分ブロック一致検出情報(下)を"1"として出力する。ここで判定ブロック生成部111802からは線分検出情報が"1"として出力されるため、セレクタ(2)111813からは大小判定部(2)111821から出力される値、即ち"6"が選択されて、位置情報カウンタ111810に出力される。また、AND素子111815からは線分補正イネーブル信号が"1"として出力されることとなる。位置情報カウンタ111810では、大小判定部(2)111821から線分ブロック一致検出情報(下)が"1"として出力されることにより、セレクタ(2)111813から出力される値"6"をカウンタ値としてロードすることとなる。また、補正条件検出部1118からは、セレクタ(2)111813から出力される値"6"の半分の値である"3"という値が補正位置情報として補間情報記憶部1116に対して出力される。
セレクタ(1)111808では、線分ブロック一致検出情報(下)が"1"であることから、線分判定ブロック情報(下)の画素情報のうちラインEとラインGに位置する画素情報を補正データとして出力する。
補間情報記憶部1116では、補正条件検出部1118から出力される補正位置情報からL3に位置する補間情報が補正されると判断し、また、線分ブロック一致検出情報(下)が"1"であることからラインd及びラインfに位置する補間情報が補正されると判断され、L3のラインd及びラインfに位置する補間画素が動画である場合、その位置での補間情報を補正条件検出部1118から出力される補正データで書き換えることとなる。
ここで、図22及び図23で示した、本実施形態における補間情報の補正処理では、判定ブロック生成部111802から出力される線分判定ブロック情報と参照ブロック生成部111801から出力される複数の線分参照ブロック情報の中に画素情報の一致するブロックが検出された場合に、一致の検出された線分判定ブロック情報と線分参照ブロック情報の中間に位置する補間情報を補正するとした。しかしながら本実施形態では、線分判定ブロック情報及び線分参照ブロック情報は水平方向に複数の画素情報を有するブロックとして構成されるものとしており、補正される補間情報についても線分判定ブロック情報及び線分参照ブロック情報と同様に、水平方向に複数の補間情報に対して一度に補正処理を行うとすることも可能である。
図24は、図23と同様に判定ブロック生成部111802から出力される線分判定ブロック情報(下)と参照ブロック生成部111801から出力される複数の線分参照ブロック情報(上)の中に、画素情報の一致するブロックが検出されたケースで、補正される補間情報についても水平方向に複数の補間情報に対して一度に補正処理が行われる様子を示している。
図24のケースでは、線分判定ブロック情報(下)と同様の画素情報を有する線分参照ブロック情報(上)がL6に位置する線分参照ブロック情報において検出されたことにより、セレクタ(1)111808では線分判定ブロック情報(下)の画素情報のうちラインEとラインGに位置する水平方向4画素分の画素情報を補正データとして出力する。補間情報記憶部1116では、補正条件検出部1118から出力される補正位置情報から、L3の位置から水平方向に4画素分の補間情報が補正されると判断し、L3からL6までのラインd及びラインfに位置する補間画素が動画である場合に、その位置での補間情報を補正条件検出部1118から出力される補正データで書き換えることとなる。
このように、注目している1つの線分判定ブロック情報に対して水平方向に複数の補間情報を一度に補正処理することにより、飛び越し走査により入力された映像情報の中にノ
イズ等の影響により正規の画素値を有さないような画素が存在するような場合でも、その影響を排除することが可能となる。即ち、例えば本実施形態で説明したように水平方向に4画素分の補間情報を一度に補正処理するようなケースでは、1つの補間情報に対して4回補正処理が行われることとなり、そのうちの1回の処理において線分判定ブロック情報の中にノイズ等の影響により正規の画素値を有さないような画素が存在し、線分参照ブロック情報との間に画素情報の一致が検出されないような場合でも、残りの3回の処理で線分判定ブロック情報と線分参照ブロック情報との間で画素情報の一致が検出できれば、補正処理が行われることとなる。
(補間情報の生成処理)
以上に説明した、図14に示した本発明の一実施形態としてのIP変換処理回路の構成例により補間情報が生成される処理の流れを、図25に示す。
最初に従来のIP変換処理回路と同様に動き情報生成部103にてフレーム間差分情報から補間画素での動き情報が求められ(S201)、動画の場合にはフィールド内での画素情報から補間情報が生成され(S202)、静止画の場合には前フィールドでの画素情報から補間情報が生成される(S203)。次に補間画素での動き情報が動画である場合には斜め補正処理部111での補正処理が行われることとなる。ここで、まず判定ブロック生成部111802に入力される4ライン分の画素情報のうち、L0の2ライン目と3ライン目の画素間にエッジ部が存在するかどうか、或いはL0からL3のブロックに線分が存在するかどうかを判断する(S204)。S204においてエッジ部が存在すると判断された場合、ブロック一致検出部(1)111803及びブロック一致検出部(2)111804において一致するブロックが検出されたかどうかを判断(S205)する。S205において、一致するブロックが検出された場合、補正処理を行う画素位置及び補正データを生成し、S202で求められた補間情報に対して斜め補正処理を実行することとなる(S206)。S204において線分が存在すると判断された場合、線分ブロック一致検出部(1)111817及び線分ブロック一致検出部(2)111818において一致するブロックが検出されたかどうかを判断する(S207)。S207において、一致するブロックが検出された場合、補正処理を行う画素位置及び補正データを生成し、S202で求められた補間情報に対して斜め補正処理を実行することとなる(S208)。なお、S205及びS207において一致するブロックが検出されなかった場合には、いずれも処理を終了する。
以上に説明した、図14に示した本発明の一実施形態としての補正処理部111を有したIP変換処理回路の構成例により、図32に示すような線幅が1画素相当である斜め線の映像情報に対して補間処理が行われた様子を図26に示す。
図26を見て判るように、図13に示した第1実施形態での補間処理ではdn,dn+1,dn+2,dn+6,dn+7,dn+8,bn+6,bn+7,bn+8での補間画素において従来のIP変換処理により生成された補間結果が残ってしまっていたものが、本発明の実施形態によれば、図32で示した元の映像情報と同様に線幅が1画素相当である斜め線の映像情報として表示を行うことが可能となる。
本実施形態にて説明を行った補正処理についても第1実施形態と同様に、一旦順次走査による映像情報に変換された情報に対して施されるため、コンピュータで扱われるような画像情報や印刷情報に対しても有効に働くものである。
また上述の各実施の形態では、ブロック内の画素の画素情報の一致、不一致を判別してブロック単位での画素情報の一致、不一致を判別した。ここで本発明は、0(フルオフ)、1(フルオン)の2値階調で画像形成を行う構成のみに限るものではなく、3値以上、好適に
は256階調以上の階調による画像形成を行う構成に好適に採用できるものであり、この場合、適宜の閾値(例えば0から255までの値をとり得る画素情報に対して、その中間の127を閾値とし、その閾値以下の値の画素情報を0と置き、その閾値よりも大きい画素情報を1と置くことにより、上記実施形態と同様に処理することができる。厳密な一致不一致判定ではないがこれにより一致不一致判定を包含する類似度の判定を行うことができる。この置き換えを行って一致、不一致判定(類似度判定)を行ったのち、補間画素の情報を生成するにあたっては、入力された画素情報を用いることで適切な補間画素の画素情報を得る事ができる。また、ブロック間の類似度の判別は、斜め方向のエッジの類似度が判別できるようにすればよいので、上記述べた方法以外の方法も採用可能である。例えば、ブロック内の画素情報の差分の類似度に着目してブロック間の類似度の判定を行うこともできる。
本発明の画素補間装置及び画素補間方法は、飛び越し走査により入力される映像情報の順次走査による映像情報への変換や、コンピュータシステムでの表示或いは印刷に用いられる画素情報の補間に適用することができる。
本発明の第1実施形態における動き情報生成部の構成を示したブロック図である。 本発明の第1実施形態における斜め補正処理部の構成を示したブロック図である。 本発明の第1実施形態における補正条件検出部の構成を示したブロック図である。 本発明の第1実施形態における参照ブロック生成部の構成を示したブロック図である。 本発明の第1実施形態における判定ブロック生成部の構成を示したブロック図である。 本発明の第1実施形態におけるブロック一致検出部の構成を示したブロック図である。 本発明の第1実施形態において、判定ブロック情報(上)と参照ブロック情報(下)の一致検出が行われる様子を示す模式図である。 本発明の第1実施形態において、判定ブロック情報(下)と参照ブロック情報(上)の一致検出が行われる様子を示す模式図である。 本発明の第1実施形態において、判定ブロック情報(上)と参照ブロック情報(下)の一致検出により、斜め補正の行われる様子を示す模式図である。 本発明の第1実施形態において、判定ブロック情報(下)と参照ブロック情報(上)の一致検出により、斜め補正の行われる様子を示す模式図である。 本発明の第1実施形態における斜め補正処理の流れを示すフローチャート図である。 本発明の第1実施形態により、エッジ部を有する画像に対して斜め補正処理の行われた様子を示す模式図である。 本発明の第1実施形態により、線分の画像に対して斜め補正処理の行われた様子を示す模式図である。 本発明の第2実施形態における斜め補正処理部の構成を示したブロック図である。 本発明の第2実施形態における補正条件検出部の構成を示したブロック図である。 本発明の第2実施形態における参照ブロック生成部の構成を示したブロック図である。 本発明の第2実施形態における判定ブロック生成部の構成を示したブロック図である。 本発明の第2実施形態における線分ブロック一致検出部の構成を示したブロック図である。 本発明の第2実施形態において、エッジ情報及び線分情報を検出する様子を示す模式図である。 本発明の第2実施形態において、線分判定ブロック情報(上)と線分参照ブロック情報(下)の一致検出が行われる様子を示す模式図である。 本発明の第2実施形態において、線分判定ブロック情報(下)と線分参照ブロック情報(上)の一致検出が行われる様子を示す模式図である。 本発明の第2実施形態において、線分判定ブロック情報(上)と線分参照ブロック情報(下)の一致検出により、斜め補正の行われる様子を示す模式図である。 本発明の第2実施形態において、線分判定ブロック情報(下)と線分参照ブロック情報(上)の一致検出により、斜め補正の行われる様子を示す模式図である。 本発明の第2実施形態において、線分判定ブロック情報(下)と線分参照ブロック情報(上)の一致検出により、水平方向に複数の補間情報に対して斜め補正の行われる様子を示す模式図である。 本発明の第2実施形態における斜め補正処理の流れを示すフローチャート図である。 本発明の第2実施形態により、線分の画像に対して斜め補正処理の行われた様子を示す模式図である。 従来のIP変換処理回路の構成を示したブロック図である。 インターレース走査方式の映像情報にて表示される様子を示した模式図である。 従来の動き情報生成部の構成を示したブロック図である。 エッジ部を有する画像の様子を示した模式図である。 エッジ部を有する画像をフィールド内補間した時の様子を示した模式図である。 線分の画像の様子を示した模式図である。 線分の画像をフィールド内補間した時の様子を示した模式図である。 エッジ部を有する画像において、注目画素を中心に斜め方向の画素関係を参照する、従来の斜め補正の処理が行われる様子を示した模式図である。 線分の画像において、注目画素を中心に斜め方向の画素関係を参照する、従来の斜め補正の処理が行われる様子を示した模式図である。
符号の説明
101,102・・・フィールド情報記憶部、
103・・・動き情報生成部、
104・・・ライン情報記憶部、
105,106・・・入出力速度変換部、
107・・・加算器、
108,111509,111809・・・除算器、
109・・・補間情報選択部、
110・・・表示情報選択部、
111・・・斜め補正処理部、
1031・・・減算器、
1032・・・絶対値器、
1033・・・閾値フィルタ回路、
1034・・・ライン動き情報記憶部、
1035・・・補間画素動き情報生成部、
1111・・・動き情報記憶部、
1112・・・入力情報記憶部、
1113,1116・・・補間情報記憶部、
1114,1115034〜1115036,111512,111812,111815,1118028,1118174〜1118176・・・2入力AND素子、
1115,1118・・・補正条件検出部、
1117,111511,111811,111814,111816・・・2入力OR素子、
111501,111801・・・参照ブロック生成部、
111502,111802・・・判定ブロック生成部、
111503,111504,111803,111804・・・ブロック一致検出部、111817,111818・・・線分ブロック一致検出部、
111505,111506,111805,111806・・・プライオリティエンコーダ、
111819,111820・・・線分プライオリティエンコーダ、
111507,111807,111821・・・大小判定部、
111508,111813・・・2入力1出力セレクタ、
111808・・・4入力1出力セレクタ、
111510,111810・・・位置情報カウンタ、
11150101〜11150103,11150111〜11150113,11150121〜11150123,11150131〜11150133,1115020〜1115023,11180101〜11180104,11180111〜11180114,11180121〜11180124,11180131〜11180134,11180201〜11180204,11180211〜11180214,11180221〜11180224,11180231〜11180234・・・画素情報記憶部、
1115024,1118024・・・エッジ判定部、
11180251〜11180254・・・線分判定部、
1118026・・・4入力OR素子、
1118027・・・NOT素子、
1115031〜1115033,1118171〜1118173・・・一致検出部、1115037,1118177・・・マスク信号生成部、

Claims (8)

  1. 異なるライン上にある複数の画素からなる判定ブロックを生成する判定ブロック生成手段と、
    異なるライン上にある複数の画素からなる複数の参照ブロックを生成する参照ブロック生成手段とを有し、
    前記複数の参照ブロックは、前記判定ブロックに隣接しており、かつ前記判定ブロックに対して少なくとも1ライン上又は下にシフトした位置に位置するものであって、
    前記判定ブロックと前記参照ブロックとの画素情報の類似度を判定する判定手段と、
    前記判定ブロックとの類似度が所定の閾値以上の参照ブロックのうち前記判定ブロックに最も近い参照ブロックを検出する検出手段と、
    判定ブロックと検出された参照ブロックとの位置情報に基づいて、補間画素の位置情報を出力し、判定ブロック及び検出された参照ブロックの少なくとも何れかの画素の画素情報に基いて前記補間画素の画素情報を生成して出力する出力手段と、
    を有することを特徴とする画素補間装置。
  2. 前記出力手段は、
    前記判定ブロック内のエッジ部を構成する2つの画素の画素情報をそれぞれ用いた2つの補間画素の画素情報、又は
    前記検出された参照ブロックを構成する複数の画素のうちの、前記判定ブロックにおいてエッジ部を構成する2つの画素に対応する2つの画素の画素情報をそれぞれ用いた2つの補間画素の画素情報、
    を出力する請求項1に記載の画素補間装置。
  3. 前記補間画素は、前記判定ブロックと前記検出された参照ブロックにおいて、互いに対応する画素の間の中間位置又は該中間位置に隣接する位置に配されている請求項1又は2に記載の画素補間装置。
  4. 画像の動きを判定するための動き情報を生成する動き情報生成手段を有しており、前記出力手段は、前記動き情報が所定の動きよりも大なる動きがあることを示す場合に前記補間画素の画素情報を出力する、請求項1乃至3のいずれかに記載の画素補間装置。
  5. 前記画素補間装置は、判定ブロックを移動させつつ補間処理を繰り返し行うものであり、
    前記複数の参照ブロックは、判定ブロックの移動方向前方側に位置するものであり、
    前記検出手段は、前回の判定ブロックに対して検出された参照ブロックよりもさらに前記移動方向前方側に位置する参照ブロックのうちから、今回の判定ブロックとの類似度が閾値以上であって判定ブロックに最も近い参照ブロックを検出する、
    請求項1乃至4のいずれかに記載の画素補間装置。
  6. 異なるライン上にある複数の画素からなる判定ブロックを生成するステップと、
    異なるライン上にある複数の画素からなる複数の参照ブロックを生成するステップとを有し、
    前記複数の参照ブロックは、前記判定ブロックに隣接しており、かつ前記判定ブロックに対して少なくとも1ライン上又は下にシフトした位置に位置するものであって、
    前記判定ブロックと前記参照ブロックとの画素情報の類似度を判定するステップと、
    前記判定ブロックとの類似度が所定の閾値以上の参照ブロックのうち前記判定ブロックに最も近い参照ブロックを検出するステップと、
    判定ブロックと検出された参照ブロックとの位置情報に基づいて、補間画素の位置情報を生成し、判定ブロック及び検出された参照ブロックの少なくとも何れかの画素の画素情報に基づいて前記補間画素の画素情報を生成するステップと、
    を有することを特徴とする画素補間方法。
  7. 複数の画素からなる判定ブロックを生成する判定ブロック生成手段と、
    複数の画素からなる複数の参照ブロックを生成する参照ブロック生成手段とを有し、
    前記複数の参照ブロックは、前記判定ブロックに対して少なくとも1ライン上又は下にシフトした位置に位置するものであって、
    前記判定ブロックと前記参照ブロックとの画素情報の類似度を判定する判定手段と、
    前記判定ブロックとの類似度が所定の閾値以上の参照ブロックのうち前記判定ブロックに最も近い参照ブロックを検出する検出手段と、
    判定ブロックと検出された参照ブロックとの位置情報に基づいて、複数の補間画素の位置情報を出力し、判定ブロック及び検出された参照ブロックの少なくとも何れかの画素の画素情報に基づいて前記複数の補間画素の画素情報を生成して出力する出力手段と、
    を有することを特徴とする画素補間装置。
  8. 複数の画素からなる判定ブロックを生成するステップと、
    複数の画素からなる複数の参照ブロックを生成するステップとを有し、
    前記複数の参照ブロックは、前記判定ブロックに対して少なくとも1ライン上又は下にシフトした位置に位置するものであって、
    前記判定ブロックと前記参照ブロックとの画素情報の類似度を判定するステップと、
    前記判定ブロックとの類似度が所定の閾値以上の参照ブロックのうち前記判定ブロックに最も近い参照ブロックを検出するステップと、
    判定ブロックと検出された参照ブロックとの位置情報に基づいて、複数の補間画素の位置情報を生成し、判定ブロック及び検出された参照ブロックの少なくとも何れかの画素の画素情報に基づいて前記複数の補間画素の画素情報を生成するステップと、
    を有することを特徴とする画素補間方法。
JP2005065479A 2004-03-16 2005-03-09 画素補間装置及び画素補間方法 Expired - Fee Related JP4641438B2 (ja)

Priority Applications (5)

Application Number Priority Date Filing Date Title
JP2005065479A JP4641438B2 (ja) 2004-03-16 2005-03-09 画素補間装置及び画素補間方法
EP05005583A EP1578119B1 (en) 2004-03-16 2005-03-15 Pixel interpolating apparatus, pixel interpolating method, and program and recording medium
US11/079,441 US7489361B2 (en) 2004-03-16 2005-03-15 Pixel interpolaton apparatus and method with discrimination of similarity between a discrimination block and a plurality of reference blocks
CNB2005100547936A CN100394793C (zh) 2004-03-16 2005-03-16 像素内插装置、像素内插方法
KR1020050021711A KR100731722B1 (ko) 2004-03-16 2005-03-16 화소보간장치, 화소보간방법, 및 프로그램 및 기록매체

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2004075204 2004-03-16
JP2005065479A JP4641438B2 (ja) 2004-03-16 2005-03-09 画素補間装置及び画素補間方法

Publications (3)

Publication Number Publication Date
JP2005303999A JP2005303999A (ja) 2005-10-27
JP2005303999A5 JP2005303999A5 (ja) 2010-11-11
JP4641438B2 true JP4641438B2 (ja) 2011-03-02

Family

ID=34840246

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2005065479A Expired - Fee Related JP4641438B2 (ja) 2004-03-16 2005-03-09 画素補間装置及び画素補間方法

Country Status (5)

Country Link
US (1) US7489361B2 (ja)
EP (1) EP1578119B1 (ja)
JP (1) JP4641438B2 (ja)
KR (1) KR100731722B1 (ja)
CN (1) CN100394793C (ja)

Families Citing this family (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN100356404C (zh) * 2004-05-06 2007-12-19 佳能株式会社 图像信号处理电路和图像显示装置
US7924345B2 (en) * 2005-10-20 2011-04-12 Broadcom Corp. Method and system for deinterlacing using polarity change count
TWI361616B (en) * 2006-01-27 2012-04-01 Mstar Semiconductor Inc Edge adaptive de-interlacing apparatus and method thereof
US20070296855A1 (en) * 2006-06-22 2007-12-27 Yunwei Jia Video processing using region-based statistical measurements
JP4818854B2 (ja) * 2006-09-06 2011-11-16 京セラ株式会社 画像表示装置、電子機器、表示制御装置、及び表示制御方法
JP5182530B2 (ja) 2007-07-03 2013-04-17 日本電気株式会社 画像補間方法、画像補間装置、及びプログラム
US8212837B1 (en) 2007-10-02 2012-07-03 Grandeye, Ltd. Color processing pipelines generating a lower color bit-depth image compared to an unprocessed image from a wide-angle camera
JP4343255B1 (ja) * 2008-06-25 2009-10-14 株式会社東芝 画像伸張装置及び画像伸張方法
KR20100079783A (ko) 2008-12-31 2010-07-08 에스케이케미칼주식회사 바나듐 프탈로시아닌 화합물 및 이를 이용한 근적외선 흡수필터
US9571851B2 (en) 2009-09-25 2017-02-14 Sk Telecom Co., Ltd. Inter prediction method and apparatus using adjacent pixels, and image encoding/decoding method and apparatus using same
KR101634141B1 (ko) * 2009-11-18 2016-06-28 삼성전자주식회사 방향에 따른 참조블록을 이용한 영상 보간 방법 및 장치
JP5350501B2 (ja) * 2011-03-24 2013-11-27 キヤノン株式会社 映像処理装置及び映像処理方法
WO2013108295A1 (ja) * 2012-01-20 2013-07-25 パナソニック株式会社 映像信号処理装置及び映像信号処理方法
CN102855113B (zh) * 2012-08-14 2015-01-21 深圳市文鼎创数据科技有限公司 通过显示屏输出信息的编码方法、装置及终端
KR102297198B1 (ko) 2019-09-24 2021-09-03 한국에너지기술연구원 고점도 물질 공급 및 건조장치
JP7248631B2 (ja) * 2020-09-17 2023-03-29 Tvs Regza株式会社 受信装置およびプログラム

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002112203A (ja) * 2000-09-29 2002-04-12 Toshiba Corp 補間信号生成装置
JP2004072528A (ja) * 2002-08-07 2004-03-04 Sharp Corp 補間処理方法、補間処理プログラムおよびこれを記録した記録媒体ならびに画像処理装置およびこれを備えた画像形成装置
JP2004254273A (ja) * 2002-12-25 2004-09-09 Mitsubishi Electric Corp 走査線補間装置、画像処理装置、画像表示装置及び走査線補間方法

Family Cites Families (28)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB2231460B (en) 1989-05-04 1993-06-30 Sony Corp Spatial interpolation of digital video signals
JPH06153169A (ja) 1992-11-09 1994-05-31 Nippon Hoso Kyokai <Nhk> 順次走査変換方法
JP2996099B2 (ja) 1994-07-19 1999-12-27 日本ビクター株式会社 走査線補間回路
US5886745A (en) * 1994-12-09 1999-03-23 Matsushita Electric Industrial Co., Ltd. Progressive scanning conversion apparatus
US5532751A (en) * 1995-07-31 1996-07-02 Lui; Sam Edge-based interlaced to progressive video conversion system
US5936676A (en) * 1997-08-21 1999-08-10 Miranda Technologies Inc. Apparatus and method for line interpolating an interlaced video signal
US6118488A (en) * 1998-08-31 2000-09-12 Silicon Integrated Systems Corporation Method and apparatus for adaptive edge-based scan line interpolation using 1-D pixel array motion detection
JP2000115720A (ja) 1998-09-30 2000-04-21 Nec Corp 走査線補間装置および走査線補間方法
US6421090B1 (en) * 1999-08-27 2002-07-16 Trident Microsystems, Inc. Motion and edge adaptive deinterlacing
KR100327396B1 (ko) * 1999-09-03 2002-03-13 구자홍 모서리 방향검출을 기반으로 하는 격행주사 영상의 디인터레이싱 방법
US6731342B2 (en) 2000-01-06 2004-05-04 Lg Electronics Inc. Deinterlacing apparatus and method using edge direction detection and pixel interplation
JP2001218169A (ja) 2000-01-28 2001-08-10 Fujitsu General Ltd 走査変換回路
JP2001218170A (ja) * 2000-01-28 2001-08-10 Fujitsu General Ltd 走査変換回路
ATE266295T1 (de) * 2000-01-28 2004-05-15 Fujitsu General Ltd Scanning-umsetzschaltung
GB2372394B (en) 2000-12-22 2004-09-22 Matsushita Electric Ind Co Ltd Interpolation apparatus and video signal processing apparatus including the same
JP4806849B2 (ja) * 2001-01-15 2011-11-02 ソニー株式会社 画像処理装置および方法、プログラム、並びに記録媒体
US7245326B2 (en) 2001-11-19 2007-07-17 Matsushita Electric Industrial Co. Ltd. Method of edge based interpolation
US20030172381A1 (en) * 2002-01-25 2003-09-11 Koninklijke Philips Electronics N.V. Digital television system having personalized addressable content
US7023487B1 (en) * 2002-01-25 2006-04-04 Silicon Image, Inc. Deinterlacing of video sources via image feature edge detection
US7154556B1 (en) * 2002-03-21 2006-12-26 Pixelworks, Inc. Weighted absolute difference based deinterlace method and apparatus
JP3799288B2 (ja) 2002-04-05 2006-07-19 キヤノン株式会社 受信装置
EP1531625A4 (en) 2002-08-19 2013-01-23 Sony Corp IMAGE PROCESSING DEVICE AND METHOD, VIDEO DISPLAY, AND RECORDED INFORMATION REPRODUCING DEVICE
JP4035408B2 (ja) 2002-09-10 2008-01-23 キヤノン株式会社 解像度変換装置及び方法及び情報処理装置
JP4261893B2 (ja) 2002-12-13 2009-04-30 キヤノン株式会社 情報処理装置及び情報処理方法
US7242819B2 (en) * 2002-12-13 2007-07-10 Trident Microsystems, Inc. Method and system for advanced edge-adaptive interpolation for interlace-to-progressive conversion
KR100505663B1 (ko) * 2003-01-02 2005-08-03 삼성전자주식회사 적응형 윤곽 상관 보간에 의한 디스플레이 장치의 순차주사 방법
JP2004229188A (ja) 2003-01-27 2004-08-12 Canon Inc 放送受信装置、放送受信方法、プログラム、及び記憶媒体
JP4217543B2 (ja) 2003-06-05 2009-02-04 キヤノン株式会社 動き情報処理装置及び方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002112203A (ja) * 2000-09-29 2002-04-12 Toshiba Corp 補間信号生成装置
JP2004072528A (ja) * 2002-08-07 2004-03-04 Sharp Corp 補間処理方法、補間処理プログラムおよびこれを記録した記録媒体ならびに画像処理装置およびこれを備えた画像形成装置
JP2004254273A (ja) * 2002-12-25 2004-09-09 Mitsubishi Electric Corp 走査線補間装置、画像処理装置、画像表示装置及び走査線補間方法

Also Published As

Publication number Publication date
KR100731722B1 (ko) 2007-06-25
CN1671203A (zh) 2005-09-21
EP1578119B1 (en) 2012-06-06
EP1578119A3 (en) 2006-11-29
JP2005303999A (ja) 2005-10-27
US20050212961A1 (en) 2005-09-29
EP1578119A2 (en) 2005-09-21
CN100394793C (zh) 2008-06-11
KR20060043681A (ko) 2006-05-15
US7489361B2 (en) 2009-02-10

Similar Documents

Publication Publication Date Title
JP4641438B2 (ja) 画素補間装置及び画素補間方法
US20050243216A1 (en) Block mode adaptive motion compensation
JP2001285810A (ja) 動きベクトルを算出するための方法および装置
JPH0865712A (ja) デジタル出力画像形成方法
US20030112369A1 (en) Apparatus and method for deinterlace of video signal
JP4933209B2 (ja) 映像処理装置
JP3855761B2 (ja) 画像信号処理装置及び方法
US6611294B1 (en) Method and device for converting number of frames of image signals
JP4261970B2 (ja) 映像情報処理装置及び映像情報処理方法
US8134643B2 (en) Synthesized image detection unit
JP5350501B2 (ja) 映像処理装置及び映像処理方法
JP2009246735A (ja) 映像信号補間装置、映像表示装置及び映像信号補間方法
JP4801678B2 (ja) 色差信号ip変換方法
US6385250B1 (en) Image processing apparatus and image processing method
JP4551343B2 (ja) 映像処理装置、及び映像処理方法
JP2006311061A (ja) 走査線変換回路
JPH06339124A (ja) 動き検出装置
JP2006311277A (ja) 走査線変換回路
JP2004056316A (ja) 映像情報処理装置
JP2007020088A (ja) テレビジョン放送受信装置及びテレビジョン放送受信方法
JP2005204025A (ja) 動き検知回路及び動き検知方法
JP5300600B2 (ja) 映像処理装置およびその方法
JP4206827B2 (ja) 映像信号処理装置
JP2011066602A (ja) 放送信号処理装置、放送信号処理方法、放送信号処理プログラム、及び、記憶媒体
WO2001078384A1 (fr) Dispositif de traitement de l&#39;image

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20080219

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20080219

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20090901

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20100927

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20101112

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20101124

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20101129

R150 Certificate of patent or registration of utility model

Ref document number: 4641438

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20131210

Year of fee payment: 3

LAPS Cancellation because of no payment of annual fees