JP4139430B1 - 画像処理装置及び方法、画像表示装置及び方法 - Google Patents

画像処理装置及び方法、画像表示装置及び方法 Download PDF

Info

Publication number
JP4139430B1
JP4139430B1 JP2008051919A JP2008051919A JP4139430B1 JP 4139430 B1 JP4139430 B1 JP 4139430B1 JP 2008051919 A JP2008051919 A JP 2008051919A JP 2008051919 A JP2008051919 A JP 2008051919A JP 4139430 B1 JP4139430 B1 JP 4139430B1
Authority
JP
Japan
Prior art keywords
image signal
edge enhancement
image
motion
input image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2008051919A
Other languages
English (en)
Other versions
JP2008295022A (ja
Inventor
雅史 上野
健一郎 山本
隆司 吉井
浩之 古川
育弘 吉田
郁子 椿
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sharp Corp
Original Assignee
Sharp Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority to JP2008051919A priority Critical patent/JP4139430B1/ja
Application filed by Sharp Corp filed Critical Sharp Corp
Priority to PCT/JP2008/057626 priority patent/WO2008136286A1/ja
Priority to EP08740673.2A priority patent/EP2141910B1/en
Priority to CN2008800125090A priority patent/CN101663885B/zh
Priority to BRPI0809149-8A priority patent/BRPI0809149A2/pt
Priority to US12/529,994 priority patent/US8462266B2/en
Priority to RU2009135233/09A priority patent/RU2419243C1/ru
Application granted granted Critical
Publication of JP4139430B1 publication Critical patent/JP4139430B1/ja
Publication of JP2008295022A publication Critical patent/JP2008295022A/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G3/00—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
    • G09G3/20—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters
    • G09G3/34—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters by control of light from an independent source
    • G09G3/36—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters by control of light from an independent source using liquid crystals
    • G09G3/3611—Control of matrices with row and column drivers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/14—Picture signal circuitry for video frequency region
    • H04N5/144—Movement detection
    • H04N5/145—Movement estimation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/01—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
    • H04N7/0127—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level by changing the field or frame frequency of the incoming video signal, e.g. frame rate converter
    • H04N7/0132—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level by changing the field or frame frequency of the incoming video signal, e.g. frame rate converter the field or frame frequency of the incoming video signal being multiplied by a positive integer, e.g. for flicker reduction
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2320/00—Control of display operating conditions
    • G09G2320/02—Improving the quality of display appearance
    • G09G2320/0261—Improving the quality of display appearance in the context of movement of objects on the screen or movement of the observer relative to the screen
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2320/00—Control of display operating conditions
    • G09G2320/10—Special adaptations of display systems for operation with variable images
    • G09G2320/106—Determination of movement vectors or equivalent parameters within the image
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00—Aspects of display data processing
    • G09G2340/04—Changes in size, position or resolution of an image
    • G09G2340/0407—Resolution change, inclusive of the use of different resolutions for different screen areas
    • G09G2340/0435—Change or adaptation of the frame rate of the video stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/01—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
    • H04N7/0135—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level involving interpolation processes
    • H04N7/014—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level involving interpolation processes involving the use of motion vectors

Landscapes

  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Computer Hardware Design (AREA)
  • Chemical & Material Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Crystallography & Structural Chemistry (AREA)
  • Picture Signal Circuits (AREA)
  • Image Processing (AREA)
  • Liquid Crystal Display Device Control (AREA)
  • Control Of Indicators Other Than Cathode Ray Tubes (AREA)
  • Television Systems (AREA)
  • Transforming Electric Information Into Light Information (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Studio Devices (AREA)

Abstract

【課題】 画像劣化を抑制しつつ、ホールド型表示方式に起因する動きぼけを低減すると同時に、撮像素子の時間積分効果に起因する表示映像の動きぼけを低減して、高品位な表示映像を実現することが可能な画像処理装置及び方法、画像表示装置及び方法を提供する。
【解決手段】 入力画像信号のフレーム間における所定領域毎の動きベクトルを検出する動きベクトル検出部１０１と、前記動きベクトル検出部１０１により検出された入力画像信号の動き量に応じて、該入力画像信号及びＦＲＣ部１００にて生成される内挿画像信号の高域周波数成分を強調するエッジ強調部２とを備えてなる。これによって、撮像素子の時間積分効果に起因して減衰している高域周波数成分を補償することにより、見掛け上の動きぼけを低減して、表示画像の鮮鋭感を向上させることが可能となる。また、内挿画像信号に対するエッジ強調度合いを、入力画像信号に対するエッジ強調度合いより小さくすることにより、内挿画像信号の画像劣化を目立たせることなく、表示画像の鮮鋭感を向上させる。
【選択図】 図６

Description

本発明は、撮像素子の時間積分効果に起因する表示映像の動きぼけを低減して、高品位な表示映像を呈示することが可能な画像表示装置及び該装置による画像表示方法、画像処理装置及び該装置による画像処理方法に関するものである。
動画像を具現する用途に従来から主として用いられてきた陰極線管（ＣＲＴ：Ｃａｔｈｏｄｅ Ｒａｙ Ｔｕｂｅ）に対して、ＬＣＤ（Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ）は、動きのある画像を表示した場合に、観る者には動き部分の輪郭がぼけて知覚されてしまうという、所謂、動きぼけの欠点がある。この動きぼけは、ＬＣＤの表示方式そのものに起因することが指摘されている（例えば、特許文献１、非特許文献１参照）。
電子ビームを走査して蛍光体を発光させて表示を行うＣＲＴでは、各画素の発光は蛍光体の若干の残光はあるものの概ねインパルス状になる。これをインパルス型表示方式という。一方、ＬＣＤでは、液晶に電界を印加することにより蓄えられた電荷が、次に電界が印加されるまで比較的高い割合で保持される。特に、ＴＦＴ方式の場合、画素を構成するドット毎にＴＦＴスイッチが設けられており、さらに通常は各画素に補助容量が設けられており、蓄えられた電荷の保持能力が極めて高い。このため、画素が次のフレームあるいはフィールド（以下、フレームで代表する）の画像情報に基づく電界印加により書き換えられるまで発光し続ける。これをホールド型表示方式という。
上記のようなホールド型表示方式においては、画像表示光のインパルス応答が時間的な広がりを持つため、時間周波数特性が劣化して、それに伴い空間周波数特性も低下し、動きぼけが生じる。すなわち、人の視線は動くものに対して滑らかに追従するため、ホールド型のように発光時間が長いと、時間積分効果により画像の動きがぎくしゃくして不自然に見えてしまう。
上記のホールド型表示方式における動きぼけを改善するために、フレーム間に画像を内挿することにより、フレームレート（フレーム数）を変換する技術が知られている。この技術は、ＦＲＣ（Ｆｒａｍｅ Ｒａｔｅ Ｃｏｎｖｅｒｔｅｒ）と呼ばれ、液晶表示装置等において実用化されている。
従来、フレームレートを変換する方法には、単に同一フレームの複数回繰り返し読み出しや、フレーム間の直線内挿（線形補間）によるフレーム内挿などの各種の手法がある（例えば、非特許文献２参照）。しかしながら、線形補間によるフレーム内挿処理の場合、フレームレート変換に伴う動きの不自然さ（ジャーキネス、ジャダー）が発生するとともに、上述したホールド型表示方式に起因する動きぼけ妨害を十分に改善することはできず、画質的には不十分なものであった。
そこで、上記ジャーキネスの影響等をなくして動画質を改善するために、動きベクトルを用いた動き補償型のフレーム内挿処理が提案されている。これによれば、動画像そのものをとらえて画像の動きを補償するため、解像度の劣化がなく、また、ジャーキネスの発生もなく、極めて自然な動画を得ることができる。さらに、内挿画像信号は動き補償して形成されるので、上述したホールド型表示方式に起因する動きぼけ妨害を十分に改善することが可能となる。
前述の特許文献１には、動き適応的に内挿フレームを生成することにより、表示画像のフレーム周波数を上げて、動きぼけの原因となる空間周波数特性の低下を改善するための技術が開示されている。これは、表示画像のフレーム間に内挿する少なくとも１つの内挿画像信号を、前後のフレームから動き適応的に形成し、形成した内挿画像信号をフレーム間に内挿して順次表示するようにしている。
図１１は、従来の液晶表示装置におけるＦＲＣ駆動表示回路の概略構成を示すブロック図で、図中、ＦＲＣ駆動表示回路は、入力画像信号のフレーム間に動き補償処理を施した画像信号を内挿することにより入力画像信号のフレーム数を変換するＦＲＣ部１００と、液晶層と該液晶層に走査信号及びデータ信号を印加するための電極とを有するアクティブマトリクス型の液晶表示パネル２０３と、ＦＲＣ部１００によりフレームレート変換された画像信号に基づいて液晶表示パネル２０３の走査電極及びデータ電極を駆動するための電極駆動部２０４と、を備えて構成される。
ＦＲＣ部１００は、入力画像信号から動きベクトル情報を検出する動きベクトル検出部１０１と、動きベクトル検出部１０１により得られた動きベクトル情報に基づいて内挿フレームを生成する内挿フレーム生成部１０２とを備える。
上記構成において、動きベクトル検出部１０１は、例えば、ブロックマッチング法や勾配法などを用いて動きベクトル情報を求めてもよいし、入力画像信号に何らかの形で動きベクトル情報が含まれている場合、これを利用してもよい。例えば、ＭＰＥＧ方式を用いて圧縮符号化された画像データには、符号化時に算出された動画像の動きベクトル情報が含まれており、この動きベクトル情報を取得する構成としてもよい。
図１２は、図１１に示した従来のＦＲＣ駆動表示回路によるフレームレート変換処理を説明するための図である。ＦＲＣ部１００は、動きベクトル検出部１０１より出力された動きベクトル情報を用いた動き補償処理により、フレーム間の内挿フレーム（図中グレーに色付けされた画像）を生成し、この生成された内挿フレーム信号を入力フレーム信号とともに、順次出力することで、入力画像信号のフレームレートを例えば毎秒６０フレーム（６０Ｈｚ）から毎秒１２０フレーム（１２０Ｈｚ）に変換する処理を行う。
図１３は、動きベクトル検出部１０１及び内挿フレーム生成部１０２による内挿フレーム生成処理について説明するための図である。動きベクトル検出部１０１は、図１２に示した例えばフレーム＃１とフレーム＃２から勾配法等により動きベクトル２０５を検出する。すなわち、動きベクトル検出部１０１は、フレーム＃１とフレーム＃２の１／６０秒間に、どの方向にどれだけ動いたかを測定することにより動きベクトル２０５を求める。次に、内挿フレーム生成部１０２は、求めた動きベクトル２０５を用いて、フレーム＃１とフレーム＃２間に内挿ベクトル２０６を割り付ける。この内挿ベクトル２０６に基づいてフレーム＃１の位置から１／１２０秒後の位置まで対象（ここでは自動車）を動かすことにより、内挿フレーム２０７を生成する。
このように、動きベクトル情報を用いて動き補償フレーム内挿処理を行い、表示フレーム周波数を上げることで、ＬＣＤ（ホールド型表示方式）の表示状態を、ＣＲＴ（インパルス型表示方式）の表示状態に近づけることができ、動画表示の際に生じる動きぼけによる画像劣化を改善することが可能となる。
ここで、上記動き補償フレーム内挿処理においては、動き補償のために動きベクトルの検出が不可欠となる。この動きベクトル検出の代表的な手法として、例えば、ブロックマッチング法、勾配法などが提案されている。勾配法においては、連続した２つのフレーム間で各画素または小さなブロック毎に動きベクトルを検出し、それにより２つのフレーム間の内挿フレームの各画素または各小ブロックを内挿する。すなわち、２つのフレーム間の任意の位置の画像を正しく位置補正して内挿することにより、フレーム数の変換を行う。
上述のように、動き補償型のフレーム内挿処理を行って、表示フレーム周波数を上げることにより、ホールド型表示に起因する動きぼけによる画質劣化を改善することができるが、入力画像信号には、撮像素子の時間積分効果に起因する動きぼけ（カメラぼけともいう）が含まれていることがあり、この撮像素子の時間積分効果に起因する動きぼけによって画質の劣化が生じる。そこで、この撮像素子の時間積分効果に起因する動きぼけを除去するとともに、不自然な画像とすることなく、解像度感を上げる画像処理装置が、例えば特許文献２により提案されている。この特許文献２に記載されている従来の画像処理装置について、図１４とともに以下説明する。
図１４は、従来の画像処理装置の構成を示す機能ブロック図である。画像処理装置に供給された入力画像は、オブジェクト抽出部１１１、領域特定部１１３、混合比算出部１１４、および前景背景分離部１１５に供給される。オブジェクト抽出部１１１は、入力画像に含まれる前景のオブジェクトに対応する画像オブジェクトを粗く抽出して、抽出した画像オブジェクトを動き検出部１１２に供給する。オブジェクト抽出部１１１は、例えば、入力画像に含まれる前景のオブジェクトに対応する画像オブジェクトの輪郭を検出することで、前景のオブジェクトに対応する画像オブジェクトを粗く抽出する。
オブジェクト抽出部１１１は、入力画像に含まれる背景のオブジェクトに対応する画像オブジェクトを粗く抽出して、抽出した画像オブジェクトを動き検出部１１２に供給する。オブジェクト抽出部１１１は、例えば、入力画像と、抽出された前景のオブジェクトに対応する画像オブジェクトとの差から、背景のオブジェクトに対応する画像オブジェクトを粗く抽出する。また、例えば、オブジェクト抽出部１１１は、内部に設けられている背景メモリに記憶されている背景の画像と、入力画像との差から、前景のオブジェクトに対応する画像オブジェクト、および背景のオブジェクトに対応する画像オブジェクトを粗く抽出するようにしてもよい。
動き検出部１１２は、例えば、ブロックマッチング法、勾配法、位相相関法、およびペルリカーシブ法などの手法により、粗く抽出された前景のオブジェクトに対応する画像オブジェクトの動きベクトルを算出して、算出した動きベクトルおよび動きベクトルの位置情報（動きベクトルに対応する画素の位置を特定する情報）を領域特定部１１３および動きぼけ抽出部１１６に供給する。動き検出部１１２が出力する動きベクトルには、動き量ｖに対応する情報が含まれている。また、例えば、動き検出部１１２は、画像オブジェクトに画素を特定する画素位置情報と共に、画像オブジェクト毎の動きベクトルを動きぼけ除去部１１６に出力するようにしてもよい。
動き量ｖは、動いているオブジェクトに対応する画像の位置の変化を画素間隔を単位として表す値である。例えば、前景に対応するオブジェクトの画像が、あるフレームを基準として次のフレームにおいて４画素分離れた位置に表示されるように移動しているとき、前景に対応するオブジェクトの画像の動き量ｖは、４とされる。
領域特定部１１３は、入力された画像の画素のそれぞれを、前景領域、背景領域、または混合領域のいずれかに特定し、画素毎に前景領域、背景領域、または混合領域のいずれかに属するかを示す情報（以下、領域情報と称する）を混合比算出部１１４、前景背景分離部１１５、および動きぼけ除去部１１６に供給する。
混合比算出部１１４は、入力画像、および領域特定部１１３から供給された領域情報を基に、混合領域に含まれる画素に対応する混合比（以下、混合比αと称する）を算出して、算出した混合比を前景背景分離部１１５に供給する。混合比αは、画素値における、背景のオブジェクトに対応する画像の成分（以下、背景の成分とも称する）の割合を示す値である。
前景背景分離部１１５は、領域特定部１１３から供給された領域情報、および混合比算出部１１４から供給された混合比αを基に、前景のオブジェクトに対応する画像の成分（以下、前景の成分とも称する）のみから成る前景成分画像と、背景の成分のみから成る背景成分画像とに入力画像を分離して、前景成分画像を動きぼけ除去部１１６に供給し、背景成分画像を補正部１１７に供給する。
動きぼけ除去部１１６は、動きベクトルからわかる動き量ｖおよび領域情報を基に、前景成分画像に含まれる１以上の画素を示す処理単位を決定する。処理単位は、動きぼけの量の調整の処理の対象となる１群の画素を指定するデータである。動きぼけ除去部１１６は、前景背景分離部１１５から供給された前景成分画像、動き検出部１１２から供給された動きベクトルおよびその位置情報、並びに処理単位を基に、前景成分画像に含まれる動きぼけを除去して、動きぼけを除去した前景成分画像を動きぼけ除去画像処理部１１８に出力する。
補正部１１７は、背景成分画像における、混合領域に対応する画素の画素値を補正する。背景成分画像の混合領域に対応する画素の画素値は、分離される前の混合領域の画素の画素値から、前景の成分が除去されることにより、算出される。従って、背景成分画像の混合領域に対応する画素の画素値は、隣接する背景領域の画素の画素値に比較し、混合比αに対応して、減少している。補正部１１７は、このような、背景成分画像における、混合領域に対応する画素の画素値の混合比αに対応するゲインの低下を補正し、補正した背景成分画像を動きぼけ除去画像処理部１１８に供給する。
動きぼけ除去画像処理部１１８は、動きぼけが除去された前景成分画像、および補正された背景成分画像毎に、エッジ強調の度合いの異なるエッジ強調の処理を適用する。ここでは、静止している画像である背景成分画像に対しては、前景成分画像に比較して、エッジをより強調するエッジ強調の処理を実行する。このようにすることで、ノイズが含まれている画像にエッジ強調の処理を適用したときの不自然な画像の劣化を発生させることなく、背景成分画像の解像度感をより増加させることができる。
一方、前景成分画像に対しては、背景成分画像に比較して、エッジ強調の度合いの少ないエッジ強調の処理を実行する。このようにすることで、動きぼけが除去された前景成分画像にノイズが含まれていても、前景成分画像において、解像度感を向上させつつ、不自然な画像の劣化を減少させることができる。
特許第３２９５４３７号明細書 特開２００２−３７３３３０号公報 特開平１−２１５１８５号公報 石黒秀一、栗田泰市郎、「８倍速ＣＲＴによるホールド発光型ディスプレイの動画質に関する検討」、信学技報、社団法人電子情報通信学会、ＥＩＤ９６−４（１９９６−０６）、ｐ．１９−２６ 山内達郎、「テレビジョン方式変換」、テレビジョン学会誌、Ｖｏｌ．４５、Ｎｏ．１２、ｐｐ．１５３４−１５４３（１９９１）
しかしながら、上記特許文献２に記載の画像処理装置においては、前景成分画像に含まれる動きぼけを除去するための動きぼけ除去部１１６や、背景成分画像における、混合領域に対応する画素の画素値を補正する補正部１１７などが必要となり、非常に複雑な処理／構成を招来するという問題がある。しかも、この画像処理装置の場合、静止している背景に対して前景のオブジェクトが動いている画像については、撮像素子の時間積分効果に起因する動きぼけを除去することができるが、それ以外の例えば前景のオブジェクトの画像のみならず背景の画像も動いているような画像に対しては、動きぼけを除去することができないという問題もある。このように、所期の効果を得られるのが特定の画像内容のみに限定されるのでは実用的とはいえない。
さらに、上記特許文献２に記載の画像処理装置においては、動きぼけが除去された前景成分画像にノイズが含まれている場合、エッジ強調の度合いを大きくすると、不自然な画像の劣化を招来することから、前景成分画像に対するエッジ強調の度合いを小さくしているため、前景成分画像における解像度感を十分に向上させることができないという問題がある。
また、簡単な構成にて、撮像素子の時間積分効果に起因する動きぼけを除去するものとして、入力画像信号から被写体の動きを検出し、該動き検出結果に応じて、入力画像信号に対する輪郭補償量（エッジ強調度合い）を可変するものが、例えば特許文献３に開示されている。これによれば、入力画像信号の動き量が大きい領域に対しては、入力画像信号に対するエッジ強調度合いを大きくすることで、撮像素子の時間積分効果に起因する動きぼけを見掛け上低減し、表示画像の鮮鋭感を向上させることが可能になるとともに、過度のエッジ強調による画質劣化（静止領域での雑音増加）を防止することができる。
ここで、上述したホールド型表示方式に起因する動きぼけを低減するための動き補償型のフレームレート変換処理（ＦＲＣ処理）と、上記の撮像素子の時間積分効果に起因する動きぼけを低減するエッジ強調処理とを組み合わせる場合、例えば、撮像素子の時間積分効果に起因する動きぼけを低減するエッジ強調処理の後段でＦＲＣ処理を施す構成とすると、エッジ強調された画像信号に対してＦＲＣ処理の動きベクトル検出が行われることとなり、例えば勾配法のように画像信号の滑らかな勾配を基にベクトル演算を行う場合には、動きベクトルの誤検出を誘発するという問題がある。
従って、エッジ強調処理の前段でＦＲＣ処理を施す構成とするのが望ましいが、この場合には、以下のような問題がある。すなわち、ＦＲＣ処理にて生成された内挿画像信号には、動きベクトルの誤検出などに起因する画像劣化（画像破綻）が生じる場合が多く、このような画像劣化を含む内挿画像信号に対して、入力画像信号に対するエッジ強調処理と同様のエッジ強調処理を施すと、画像劣化が強調されて目立ちやすくなる。
本発明は、上述のごとき実情に鑑みてなされたものであり、画像劣化を抑制しつつ、ホールド型表示方式に起因する動きぼけを低減すると同時に、撮像素子の時間積分効果に起因する表示映像の動きぼけを低減して、高品位な表示映像を実現することが可能な画像表示装置及び方法、画像処理装置及び方法を提供することを目的とする。
本願の第１の発明は、入力画像信号のフレーム間あるいはフィールド間における動きベクトル情報に基づき、前記入力画像信号に動き補償処理を施して生成した内挿画像信号を、前記入力画像信号のフレーム間あるいはフィールド間に内挿することにより、前記入力画像信号のフレーム数あるいはフィールド数を変換するレート変換手段を備えた画像表示装置であって、前記入力画像信号に対しては第一のエッジ強調度合いでエッジ強調処理を施すとともに、前記内挿画像信号に対しては前記第一のエッジ強調度合いより小さい第二のエッジ強調度合いでエッジ強調処理を施す、あるいは、エッジ強調処理を行わないことを特徴とする。
本願の第２の発明は、前記エッジ強調処理が、前記入力画像信号の動き量が大きい領域に対しては、前記画像信号の高域周波数成分を強調する量を大きくすることを特徴とする。
本願の第３の発明は、前記エッジ強調処理が、前記入力画像信号の動き量が大きい領域に対しては、前記強調する画像信号の周波数範囲を拡大することを特徴とする。
本願の第４の発明は、前記入力画像信号の動きの方向に応じて、前記画像信号をエッジ強調するフィルタの特性を可変することを特徴とする。
本願の第５の発明は、前記レート変換手段が、前記入力画像信号に含まれる連続したフレーム間あるいはフィールド間で動きベクトルを検出する動きベクトル検出部と、該検出した動きベクトルに基づいて、前記フレーム間あるいは前記フィールド間に内挿ベクトルを割り付ける内挿ベクトル割付部と、該割り付けた内挿ベクトルに基づいて、内挿画像信号を生成する内挿画像生成部と、該生成した内挿画像信号を前記フレーム間あるいは前記フィールド間に内挿する画像内挿部とを有し、前記動きベクトル検出部により検出された動きベクトルに基づいて、前記入力画像信号の動き量／動きの方向を求めることを特徴とする。
本願の第６の発明は、前記動きベクトル検出部により検出された動きベクトルを平滑化するローパスフィルタを設けたことを特徴とする。
本願の第７の発明は、前記レート変換手段が、前記入力画像信号に含まれる連続したフレーム間あるいはフィールド間で動きベクトルを検出する動きベクトル検出部と、該検出した動きベクトルに基づいて、前記フレーム間あるいは前記フィールド間に内挿ベクトルを割り付ける内挿ベクトル割付部と、該割り付けた内挿ベクトルに基づいて、内挿画像信号を生成する内挿画像生成部と、該生成した内挿画像信号を前記フレーム間あるいは前記フィールド間に内挿する画像内挿部とを有し、前記内挿ベクトル割付部で割り付けられた内挿ベクトルに基づいて、前記入力画像信号の動き量／動きの方向を求めることを特徴とする。
本願の第８の発明は、前記内挿ベクトル割付部で割り付けられた内挿ベクトルを平滑化するローパスフィルタを設けたことを特徴とする。
本願の第９の発明は、前記レート変換手段が、前記入力画像信号のフレーム間あるいはフィールド間に、複数の前記内挿画像信号を内挿するものであり、前記入力画像信号からの時間的な距離に応じて、各々の内挿画像信号に対するエッジ強調度合いを可変することを特徴とする。
本願の第１０の発明は、入力画像信号のフレーム間あるいはフィールド間における動きベクトル情報に基づき、前記入力画像信号に動き補償処理を施して生成した内挿画像信号を、前記入力画像信号のフレーム間あるいはフィールド間に内挿することにより、前記入力画像信号のフレーム数あるいはフィールド数を変換するレート変換工程を備えた画像表示方法であって、前記入力画像信号に対しては第一のエッジ強調度合いでエッジ強調処理を施すとともに、前記内挿画像信号に対しては前記第一のエッジ強調度合いより小さい第二のエッジ強調度合いでエッジ強調処理を施す、あるいは、エッジ強調処理を行わないことを特徴とする。
本願の第１１の発明は、入力画像信号のフレーム間あるいはフィールド間における動きベクトル情報に基づき、前記入力画像信号に動き補償処理を施して生成した内挿画像信号を、前記入力画像信号のフレーム間あるいはフィールド間に内挿することにより、前記入力画像信号のフレーム数あるいはフィールド数を変換するレート変換手段を備えた画像処理装置であって、前記入力画像信号に対しては第一のエッジ強調度合いでエッジ強調処理を施すとともに、前記内挿画像信号に対しては前記第一のエッジ強調度合いより小さい第二のエッジ強調度合いでエッジ強調処理を施す、あるいは、エッジ強調処理を行わないことを特徴とする。
本願の第１２の発明は、入力画像信号のフレーム間あるいはフィールド間における動きベクトル情報に基づき、前記入力画像信号に動き補償処理を施して生成した内挿画像信号を、前記入力画像信号のフレーム間あるいはフィールド間に内挿することにより、前記入力画像信号のフレーム数あるいはフィールド数を変換するレート変換工程を備えた画像処理方法であって、前記入力画像信号に対しては第一のエッジ強調度合いでエッジ強調処理を施すとともに、前記内挿画像信号に対しては前記第一のエッジ強調度合いより小さい第二のエッジ強調度合いでエッジ強調処理を施す、あるいは、エッジ強調処理を行わないことを特徴とする。
本発明によれば、入力画像信号に対するエッジ強調の度合いに比べて、内挿画像信号に対するエッジ強調の度合いを小さくすることにより、ＦＲＣ処理による画像劣化を目立たせることなく、表示画像の鮮鋭感を向上させることができる。
以下、添付図面を参照しながら本発明の好適な画像処理装置の実施の形態について詳細に説明するが、上述した従来例と同一部分には同一符号を付し、その説明は省略する。なお、本発明は、フィールド信号及び内挿フィールド信号、フレーム信号及び内挿フレーム信号のいずれに対しても適用できるものであるが、両者（フィールドとフレーム）は互いに類似の関係にあるため、フレーム信号及び内挿フレーム信号を代表例として説明するものとする。
まず、本発明の画像処理装置におけるエッジ強調部の構成例について、図１乃至図５とともに説明する。ここで、図１は撮像素子の時間積分効果に起因する表示映像の動きぼけを低減する画像処理装置の概略構成を示す機能ブロック図、図２はエッジ強調部の一構成例を示すブロック図、図３はエッジ強調部の一構成例による動作を示す説明図、図４はエッジ強調部の他の構成例を示すブロック図、図５はエッジ強調部の他の構成例による動作を示す説明図である。
撮像素子の時間積分効果に起因する表示映像の動きぼけを低減する画像処理装置は、図１に示すように、入力画像信号における所定の画素領域毎の動き量を検出する動き検出部１と、前記動き検出部１により検出された入力画像信号の動き量に応じて、該入力画像信号の高域周波数成分を強調するエッジ強調部２とを備えている。
ここで、動き検出部１は、ブロックマッチング法や勾配法などを用いて、入力画像信号の連続した２つのフレーム間で各画素または小さなブロック（例えば８画素×８画素からなる動き検出ブロック）毎に動きベクトルを求めてもよいし、入力画像信号に何らかの形で動きベクトル情報が含まれている場合、これを利用してもよい。例えば、ＭＰＥＧ方式を用いて圧縮符号化された画像データには、符号化時に算出された動画像の動きベクトル情報が含まれており、この動きベクトル情報を取得する構成としてもよい。
エッジ強調部２は、動き検出部１により検出された動きベクトル及びその位置情報に基づいて、該入力画像信号の高域周波数成分を強調する度合いや周波数範囲を可変して、該入力画像信号に対するエッジ強調処理を行う。すなわち、エッジ強調部２では、入力画像信号の画面内における画像の動き量の分布に応じて、該入力画像信号の高域周波数成分を強調する度合いや周波数範囲が画面内で切り替えられる。エッジ強調部２により動き適応的に鮮鋭化処理がなされた画像信号は、別体または一体的に構成された陰極線管、液晶表示パネルなどの表示デバイス（図示せず）より表示出力される。
すなわち、入力画像信号の動き量が大きい領域においては、撮像素子の時間積分効果に起因して高域周波数成分が減衰している可能性が高いため、この減衰している高域周波数成分を補償すべく、エッジ強調部２にて適切なエッジ強調処理が行われる。これによって、見掛け上の動きぼけを低減して、表示画像の鮮鋭感を向上させることができる。
上記エッジ強調部２の一構成例を図２に示す。入力画像信号は、ハイパスフィルタ２１及び加算器２３に入力される。ハイパスフィルタ２１は、入力されたフィルタ係数に基づいて、入力画像信号から、画像の周波数の高い成分を抽出し、すなわち、画像の周波数の低い成分を除去して、エッジ画像信号を生成する。入力されるフィルタ係数は、上述の動き検出部１により検出された動き量に応じて段階的に可変される。そして、このフィルタ係数が変化したとき、ハイパスフィルタ２１は、抽出する画像の周波数、除去する画像の周波数、および抽出する画像のゲインを変化させる。
ハイパスフィルタ２１により生成されたエッジ画像信号は、ゲイン調整部２２に供給される。ゲイン調整部２２は、入力されたゲイン調整係数に基づいて、ハイパスフィルタ２１から供給されたエッジ画像信号を増幅するか、または減衰する。入力されるゲイン調整係数は、上述の動き検出部１により検出された動き量に応じて段階的に可変される。そして、このゲイン調整係数が変化したとき、ゲイン調整部２２は、エッジ画像信号の増幅率（減衰率）を変化させる。
例えば、ゲイン調整部２２は、１以上の増幅率を指定するゲイン調整係数が入力されたとき、エッジ画像信号を増幅し、１未満の増幅率を指定するゲイン調整係数が入力されたとき、エッジ画像信号を減衰する。ゲイン調整部２２によりゲインが調整されたエッジ画像信号は、加算部２３に供給される。加算部２３は、入力画像信号と、ゲイン調整部２２から供給された、ゲインが調整されたエッジ画像信号とを加算して、加算された画像信号を出力する。
上記のように構成したエッジ強調部２は、例えば、入力画像信号の動き量が０の領域では、エッジ強調処理を行わない（エッジ強調処理を無効化して、入力画像信号をそのまま出力する）。また、入力画像信号の動き量が小さい領域については、図３（ａ）に示すように、ハイパスフィルタ２１で抽出する画像の周波数を高域に制限するとともに、ゲイン調整部２２によるエッジ画像信号の増幅率を１に抑える。さらに、入力画像信号の動き量が大きい領域については、図３（ｂ）に示すように、ハイパスフィルタ２１で抽出する画像の周波数範囲をより低域側に拡張するとともに、ゲイン調整部２２によるエッジ画像信号の増幅率を１以上に増大させる。
このように、入力画像信号の動き量が大きい領域では、撮像素子の時間積分効果に起因して高域周波数成分が減衰している可能性が大きいため、エッジ強調の度合いをより強くして、該減衰している高域周波数成分を補償することにより、見掛け上の動きぼけを低減して、表示画像の鮮鋭感を向上させることができる。また、入力画像信号の動き量が大きい領域では、より広い範囲の周波数成分が減衰する傾向にあるため、前記強調する入力画像信号の周波数範囲をより拡大することで、見掛け上の動きぼけを低減して、表示画像の鮮鋭感を向上させることができる。
すなわち、上述したエッジ強調部２の一例では、ハイパスフィルタ２１とゲイン調整部２２とを有しているが、ハイパスフィルタ２１とゲイン調整部２２との少なくともいずれか一方を備えていればよい。また、入力画像信号の動き量が０の領域では動きぼけ（カメラぼけ）は発生していないため、エッジ強調処理を行わなくても良い。
さらに、上記エッジ強調部２の他の構成例を図４に示す。図４に示す例において、エッジ強調部２は、フィルタ２４から構成されている。フィルタ２４は、入力されたフィルタ係数に基づいて、入力画像信号の周波数の高い成分を増幅して、エッジ強調画像信号を生成する。入力されるフィルタ係数は、上述の動き検出部１により検出された動き量に応じて段階的に可変される。そして、このフィルタ係数が変化したとき、フィルタ２４は、入力画像信号の高域周波数成分のゲインを変化させる。
例えば、入力画像信号の動き量が０の領域では、入力画像信号をそのまま通過させる（エッジ強調処理を無効化する）。また、入力画像信号の動き量が小さい領域については、図５（ａ）に示すように、入力画像信号の周波数の高い成分を２倍に増幅し、入力画像信号の周波数の低い成分をそのまま通過させてエッジ強調画像信号を生成する。さらに、入力画像信号の動き量が大きい領域については、図５（ｂ）に示すように、入力画像信号の周波数の高い成分を２．５倍に増幅し、入力画像信号の周波数の低い成分をそのまま通過させてエッジ強調画像信号を生成する。
このように、入力画像信号の動き量が大きい領域では、撮像素子の時間積分効果に起因して高域周波数成分が減衰している可能性が大きいため、エッジ強調の度合いをより強くして、該減衰している高域周波数成分を補償することにより、見掛け上の動きぼけを低減して、表示画像の鮮鋭感を向上させることができる。一方、入力画像信号の動き量が小さい領域では、撮像素子の時間積分効果に起因して高域周波数成分が減衰している可能性が小さいため、エッジ強調の度合いを弱くして、過度のエッジ強調によるエッジ部分の画質劣化を防止することが可能となる。また、入力画像信号の動き量が０の領域では動きぼけ（カメラぼけ）は発生していないため、エッジ強調処理を行わなくても良い。
上述の画像処理装置の例では、入力画像信号の動き量に応じてエッジ強調の度合いを可変する方法について説明したが、入力画像信号の動き量のみならず、入力画像信号の動きの方向に応じて、フィルタの特性、例えばフィルタのタップ形状を可変するようにしてもよい。例えば、水平方向の動きのみの画像信号においては、垂直方向には撮像素子の時間積分効果に起因する高域周波数成分の減衰は発生しないため、水平方向のフィルタ処理を行うことが望ましいため、入力画像信号から検出された動きベクトルが水平方向成分のみ有する場合は、図２のハイパスフィルタ２１または図４のフィルタ２４のタップ形状を１次元の水平タップに切り替える。
同様に、入力画像信号から検出された動きベクトルが垂直方向成分のみ有する場合（映像が垂直方向に動く場合）には、１次元の垂直タップ形状のフィルタに切り替えても良いし、入力画像信号から検出された動きベクトルが水平方向成分と垂直方向成分とを有する場合（映像が斜め方向に動く場合）には、斜め方向のタップ形状のフィルタに切り替えても良い。このように、動きベクトルの向きに応じて、等方的または異方的あるいは楕円形などのタップ形状のフィルタに切り替えることで、より理想的なフィルタ処理が可能となる。
尚、入力画像信号の例えば８画素×８画素からなる動き検出ブロック単位で動きベクトルを検出し、この動きベクトルに基づいてエッジ強調処理を制御した場合、８画素×８画素のブロック領域毎に異なるエッジ強調処理が施されることとなるため、ブロック境界にアーティファクト（画像劣化）が生じる場合がある。このような弊害を除去するには、例えば、動き検出部１とエッジ強調部２との間に動きベクトルに対するローパスフィルタを設けて、動きベクトルを平滑化する方法がある。このように、画面内での動きベクトルの変化を滑らかにすることによって、エッジ強調処理が急激に変化することにより生じるブロック境界のアーティファクトを防止することが可能となる。
また、時間積分効果を有する撮像素子により撮影した自然画像には、上述した動きぼけ（カメラぼけ）が含まれているが、アニメーションやＣＧ（コンピュータ・グラフィックス）画像には元来上述したような動きぼけ（カメラぼけ）が含まれていない。このように動きぼけ（カメラぼけ）が含まれていない画像に対して、高域周波数成分の強調を過度に行うと、エッジ部分に画像劣化が生じる可能性がある。従って、アニメーションやＣＧに係る画像信号が入力された場合には、入力画像信号の動き量が大きい領域であっても、上述した動きぼけ低減（鮮鋭化）処理の強度を弱くする、あるいは処理を行わないのが望ましい。
例えば、テレビ放送データから分離抽出されたＥＰＧ（Electronic Program Guide；電子番組ガイド）データに含まれるジャンル情報などに基づいて、入力画像信号に係るジャンル種別を判定し、入力画像信号のジャンル種別が例えばアニメーションであると判定された場合には、入力画像信号の動き量が大きい領域であっても、動き量が小さい領域と同様に、エッジ強調部２により高域周波数成分を強調する度合いを小さくする、強調する周波数範囲を縮小する、あるいは、エッジ強調部２によるエッジ強調処理を無効化するように制御すればよい。
上記と同様に、番組ロゴ、テロップのようなキャラクタ文字、アイコン等のＣＧ画像が自然画像の一部に合成（重畳）されている場合、該ＣＧ画像が合成されている領域については、背景の自然画像の動き量が大きい場合や、該ＣＧ画像の移動速度が速いような場合であっても、上述した動きぼけ低減（鮮鋭化）処理の強度を弱くする、あるいは処理を行わないのが望ましい。
例えば、入力画像信号から番組ロゴ、テロップのようなキャラクタ文字、アイコン等のＣＧ画像が合成（重畳）されている領域位置を検出し、該ＣＧ画像が合成（重畳）されている領域に対しては、画像の動き量が小さいあるいは動きが無い領域と同様に、エッジ強調部２により高域周波数成分を強調する度合いを小さくする、強調する周波数範囲を縮小する、あるいは、エッジ強調部２によるエッジ強調処理を無効化するように制御すればよい。
さらに、撮像素子の時間積分効果に起因する動きぼけ（カメラぼけ）は、映像撮影時における撮像素子の露光時間、すなわちシャッター速度によっても変化するため、例えば、入力画像信号の動き量が大きい場合であっても、該入力画像信号の撮像時のシャッター速度が速い、すなわち露光時間が短い場合は、上述したような動きぼけ低減（鮮鋭化）処理の強度を弱めにするのが望ましい。従って、例えば映像撮影時のシャッター速度に関する情報がテレビ放送データに付加されている場合は、テレビ放送データからシャッター速度に関する情報を分離・取得し、該シャッター速度に関する情報に応じて、エッジ強調部２により高域周波数成分を強調する度合い、及び／または、強調する周波数範囲を可変制御する、あるいは、エッジ強調処理を行わないようにしてもよい。ようにしてもよい。
また、映像撮像時において、撮影者の意図により撮影画面内の全体にフォーカス（ピント）を合わせて撮影する場合や、撮影画面内の一部にのみフォーカス（ピント）を合わせて撮影する場合などがある。撮影画面内の一部にのみフォーカス（ピント）を合わせる場合には、フォーカス（ピント）を合わせた被写体以外は意図的にぼかした映像として撮影されることになる。このような意図的にぼかして撮影された領域に対しては、上述したような動きぼけ低減（鮮鋭化）処理の強度を弱める、あるいは動きぼけ低減（鮮鋭化）処理を行わないようにするのが望ましい。
撮影画面内の一部にのみフォーカス（ピント）を合わせて撮影する場合、一般的にはカメラの被写界深度を浅くすることで可能となる。この被写界深度は、様々な要素により決定され、カメラレンズのＦナンバー（感度）、カメラと被写体との距離、カメラの設定状態（絞り、ゲイン、電子アイリス）などによって決定される。例えば、被写界深度を浅くする要素としては、カメラレンズのＦナンバーを小さくする、あるいは被写体までの距離を近くする、あるいは絞りを開放するなどが挙げられる。従って、このような被写界深度に関する情報がテレビ放送データに付加されて送信される場合、例えば、メタデータとして付加されている場合には、テレビ放送データから被写界深度に関する情報を取得して、該被写界深度の状態を判定し、この判定結果に応じて、エッジ強調部２により高域周波数成分を強調する度合い、及び／または、強調する周波数範囲を可変制御する、あるいは、エッジ強調処理を行わないようにしてもよい。
さらに、動きベクトル検出ブロックにおいて、例えばＤＣＴ等の周波数解析を行い、高域周波数成分の量を調べることで、上記のようなＣＧ画像が重畳された部分や、シャッター速度が速いカメラによって撮影された画像における、動きが速いにも関わらず動きぼけの少ない部分を検出することも可能である。すなわち、ある動き検出ブロックにおいて、動き量が大きくかつ高域周波数成分が少ない場合は、動きが速くかつ動きぼけによって高域周波数成分が失われている部分であると考えられる。言い換えれば、この場合は、ＣＧ画像が重畳された部分やシャッター速度が速いカメラによって撮影された画像における動きぼけの少ない部分ではなく、シャッター速度が遅いカメラによって撮影された画像における動きぼけの多い部分であると考えられる。このため、エッジ強調処理を通常通り行えばよい。
一方、ある動き検出ブロックにおいて、動き量が大きくかつ高域周波数成分が多い場合は、ＣＧ画像が重畳された部分や、シャッター速度が速いカメラによって撮影された画像における動きぼけの少ない部分が動いていると考えられるので、エッジ強調度合いを小さくすればよい。このように、画像信号を解析し動き量と高域周波数成分の量を複合して判定することで、適切な動きぼけ低減処理の強度を決めることができる。
上述の画像処理装置によれば、画像内容に関わらず、撮像素子の時間積分効果に起因する表示映像の動きぼけを低減して、高品位な表示映像を実現することが可能となるが、さらに、液晶ディスプレイ、有機ＥＬディスプレイ、電気泳動ディスプレイなどのホールド型の表示特性を有する画像表示装置に適用して好適な、すなわち、撮像素子の時間積分効果に起因する表示映像の動きぼけと、ホールド型の表示特性に起因する動きぼけとの両方を低減して、高品位な表示映像を実現することが可能な画像処理装置ついて、本発明の実施の形態として以下に説明する。
（第一の実施の形態）
本発明の第一の実施の形態に係る画像処理装置について、図６とともに説明するが、上述の画像処理装置と同一部分には同一符号を付し、その説明は省略する。ここで、図６は本実施形態の画像処理装置の概略構成を示す機能ブロック図である。
本実施形態の画像処理装置は、図６に示すように、入力画像信号のフレーム間あるいはフィールド間に、動き補償処理を施した画像信号を内挿することにより、前記入力画像信号のフレーム数を変換するＦＲＣ部１００と、該ＦＲＣ部１００でフレーム数が変換された画像信号の高域周波数成分を強調するエッジ強調部２とを備えている。
ＦＲＣ部１００は、１フレーム前の入力画像信号と現フレームの入力画像信号とから動きベクトルを検出する動きベクトル検出部１０１と、動きベクトル検出部１０１で検出された動きベクトルを評価し、その評価結果に基づいて、最適な内挿ベクトルをフレーム間の内挿ブロックに割り付ける内挿ベクトル割付部１０３と、内挿ベクトル割付部１０３から入力された内挿ベクトルに基づき、１フレーム前の入力画像信号と現フレームの入力画像信号とを用いて内挿フレームを生成する内挿フレーム生成部１０２と、入力フレームと内挿フレームとを交互に出力することで、元の入力画像信号の２倍のフレームレートの画像信号を出力するタイムベース変換部１０４とを有している。
そして、エッジ強調部２は、ＦＲＣ部１００の動きベクトル検出部１０１により検出された動きベクトルに基づいて、高域周波数成分を強調する度合いや強調する周波数範囲を可変して、画像信号に対するエッジ強調処理を行う。すなわち、本実施形態の動きベクトル検出部１０１は、図１とともに上述した画像処理装置における動き検出部１に相当しており、入力画像信号の動き量が大きい領域においては、撮像素子の時間積分効果に起因して高域周波数成分が減衰している可能性が高いため、この減衰している高域周波数成分を補償すべく、エッジ強調部２にて適切なエッジ強調処理が行われる。
エッジ強調部２により動き適応的に鮮鋭化処理がなされた画像信号は、別体または一体的に構成された液晶表示パネルなどの表示デバイス（図示せず）より表示出力される。これによって、見掛け上の動きぼけを低減して、表示画像の鮮鋭感を向上させることができる。また、ホールド型の表示特性を有する画像表示装置に適用した場合、撮像素子の時間積分効果に起因する表示映像の動きぼけと、ホールド型の表示特性に起因する動きぼけとの両方を低減して、高品位な表示映像を実現することが可能となる。
尚、本実施形態においては、エッジ強調部２にて、入力画像信号及びＦＲＣ部１００の内挿フレーム生成部１０２にて生成された内挿画像信号の両者に対してエッジ強調処理を施す構成としているが、これに限らず、入力画像信号に対してのみエッジ強調処理を施すようにしてもよい。このようにすれば、エッジ強調部２での処理量を削減することが可能となる。
また、本実施形態においては、エッジ強調部２にて、入力画像信号及びＦＲＣ部１００の内挿フレーム生成部１０２にて生成された内挿画像信号の両者に対してエッジ強調処理を施す構成としているが、入力画像信号に対するエッジ強調処理と内挿画像信号に対するエッジ強調処理とを異なる処理としてもよい。
すなわち、動きベクトル検出の誤りなどに起因して内挿画像信号には画像劣化（画像破綻）が生じる場合があり、このような劣化した内挿画像に対してエッジ強調処理を施すと画像劣化した部分にもエッジ強調処理が施され、さらに画像劣化が目立つこととなるため、内挿画像信号に対するエッジ強調度合いを、入力画像信号（原画像信号）に対するエッジ強調度合いより小さくする、或いは、内挿画像信号に対するエッジ強調処理のみを無効化することで、動き補償型のフレームレート変換処理による画像劣化を目立たせずに、撮像素子の時間積分効果に起因する動きぼけを見掛け上低減し、表示画像の鮮鋭感を向上させることが可能となる。
例えば、内挿画像信号に対して強調する周波数範囲を、入力画像信号（原画像信号）に対して強調する周波数範囲より縮小することで、動き補償型のフレームレート変換処理による画像劣化を目立たせずに、撮像素子の時間積分効果に起因する動きぼけを見掛け上低減し、表示画像の鮮鋭感を向上させることが可能となる。
尚、本実施形態のＦＲＣ部１００は、入力画像信号のフレームレートを２倍に変換するものについて説明したが、これに限らず、入力画像信号のフレームレートを１．５倍、３倍などに変換するもの、または、入力画像信号が映画フィルム映像から生成されたものであり、例えば３−２プルダウンされた画像信号の場合、２４Ｈｚに相当する主要画像信号を抜き出し（いわゆる、逆３−２プルダウン処理を行い）、このフレーム間に４枚の内挿画像信号を内挿することで１２０Ｈｚ（５倍）のフレームレートに変換するものであってもよい。
このように複数枚の内挿画像信号を生成する場合には、複数の内挿フレーム毎に前記エッジ強調処理を異ならしめても良い。例えば、図７（Ａ）に示すように、一方向の原画像から４枚の内挿画像を生成する場合、原画像から時間的に離れた４枚目の内挿画像は、原画像からの動きベクトルの長さが大きくなり、動きベクトル検出時の計算誤差が大きくなることで内挿画像信号に画像劣化が生じる場合がある。このような場合には、原画像信号から時間的に離れた内挿画像信号に対するエッジ強調度合いを小さくし、原画像信号または原画像信号に時間的に近い内挿画像信号に対するエッジ強調度合いを大きくすることで、画像劣化を目立たせずに、撮像素子の時間積分効果に起因する動きぼけを見掛け上低減し、表示画像の鮮鋭感を向上させることが可能となる。
また、図７（Ｂ）に示すように、４枚の内挿画像のうち前半の２枚は前の原画像から生成し、後半の２枚は後の原画像から生成する場合、または、図７（Ｃ）に示すように、前後の原画像からの距離に応じて加重加算比率あるいは混合比率を変化させて内挿画像を生成する場合には、中央の２枚目及び３枚目の内挿画像信号は原画像信号から時間的に遠くなるため、エッジ強調度合いを小さくし、原画像信号または原画像信号に近い１枚目及び４枚目の内挿画像信号に対するエッジ強調度合いを大きくすることで、画像劣化を目立たせずに、撮像素子の時間積分効果に起因する動きぼけを見掛け上低減し、表示画像の鮮鋭感を向上させることが可能となる。
以上のように、本実施形態の画像処理装置においては、ＦＲＣ部１００にて得られる入力画像信号の動き量に応じて、エッジ強調部２のエッジ強調処理を適切に制御することにより、撮像素子の時間積分効果に起因する動きぼけを見掛け上低減し、表示画像の鮮鋭感を向上させることが可能になるとともに、過度のエッジ強調による画質劣化を防止することができる。
ここで、入力画像信号に対しては第一のエッジ強調度合いでエッジ強調処理を施すとともに、内挿画像信号に対しては前記第一のエッジ強調度合いより小さい第二のエッジ強調度合いでエッジ強調処理を施す、あるいは、エッジ強調処理を行わないようにすることで、内挿画像信号に画像劣化が生じた場合であっても、これを目立たせることなく、表示画像の鮮鋭感を向上させることが可能となる。
尚、動き検出部１０１とエッジ強調部２との間に動きベクトルに対するローパスフィルタを設けて、画面内での動きベクトルの変化を滑らかにすることによって、画面内でエッジ強調処理が急激に変化することにより生じるアーティファクトを防止するのが望ましいことは、上述したとおりである。
また、本実施形態の場合、エッジ強調処理をＦＲＣ処理の後で行っているので、ＦＲＣ部１００の動きベクトル検出部１０１における動きベクトル検出処理はエッジ強調処理の影響を受けず、安定した動作が可能となる。さらに、動きベクトル検出部１０１で生成した動きベクトル情報をそのまま用いているため、後述の第三乃至第四の実施形態に比べて簡易な構成で実現可能である。
但し、ＦＲＣ部１００の出力画像信号は、原画像と内挿画像が交互に出力されているが、エッジ強調部２ではＦＲＣ部１００で生成した動きベクトル情報をそのまま原画像と内挿画像との両方に適用しているため、内挿画像に対しては正確なエッジ強調処理が行われない場合がある。すなわち、ＦＲＣ部１００で生成した動きベクトル情報は、入力画像信号に対しては動き量や位置が合っているが、内挿画像信号に対しては合っていないため、ＦＲＣ部１００で生成した動きベクトル情報を用いる場合には、入力画像信号（原画像信号）に対してのみ、エッジ強調処理を行う方が望ましい。また、上記課題に対する他の改善方法は、第三乃至第四の実施形態として後述する。
（第二の実施の形態）
本発明の第二の実施の形態に係る画像処理装置について、図８とともに説明するが、上述の画像処理装置と同一部分には同一符号を付し、その説明は省略する。ここで、図８は本実施形態の画像処理装置の概略構成を示す機能ブロック図である。
本実施形態の画像処理装置は、上記第一の実施形態と同様、入力画像信号のフレーム間あるいはフィールド間に、動き補償処理を施した画像信号を内挿することにより、前記入力画像信号のフレーム数を変換するＦＲＣ部１００と、該ＦＲＣ部１００でフレーム数が変換された画像信号の高域周波数成分を強調するエッジ強調部２とを備えている。上記第一の実施の形態では、動きベクトル検出部１０１により検出された動きベクトルに基づいて、エッジ強調部２のエッジ強調処理を可変制御していたが、本実施形態においては、内挿ベクトル割付部１０３により評価・割り付けがなされた内挿ベクトルに基づいて、エッジ強調部２のエッジ強調処理を可変制御する構成としている。
この内挿ベクトル割付処理に関して説明する。動きベクトル検出部１０１にて検出した動きベクトルは、１フレーム前の入力画像信号ｎ−１に対する動きベクトルである場合を考える。すなわち、入力画像信号ｎ−１の各動きベクトル検出ブロックにおいて、そのブロックが次のフレームの入力画像信号ｎにおいてはどの位置に移動するかを示すのが、各動きベクトル検出ブロックにおける動きベクトルである。さて、フレームレートを例えば２倍に変換する場合は、内挿フレームの時間的な位置は、入力画像信号ｎ−１と入力画像信号ｎとの中間位置である。よって、入力画像信号ｎ−１における各動きベクトルを内挿フレームの時間的位置まで進めた時に内挿フレーム上のどのブロックに刺さるかを求め、刺さったブロックに該動きベクトルを割り付ける、という処理を行う。これが内挿フレームへの内挿ベクトル割付処理である。
ここで、内挿ベクトル割付部１０３にて最適な内挿ベクトルを割り付ける内挿ブロックは、通常、動きベクトル検出部１０１で動きベクトルを検出する動きベクトル検出ブロックをさらに分割して設定される。例えば、動きベクトル検出ブロックが８画素×８画素の場合、内挿ブロックは動きベクトル検出ブロックをさらに８分割した２画素×４画素のように設定される。
また、内挿ベクトル割付部１０３では、動きベクトル検出部１０１にて求められた動きベクトルの正確性を、被検出ブロックの画像情報と被検出ブロックから動きベクトルが指し示す先のブロックの画像情報との差分値（ＤＦＤ（Ｄｉｓｐｌａｃｅｄ Ｆｉｅｌｄ Ｄｉｆｆｅｒｅｎｃｅ）と称される）などを算出して評価することにより、より適切な内挿ベクトルを上記内挿ブロックに割り付ける。尚、ＤＦＤとは、候補ベクトルの正確さの程度を示す指標であり、ＤＦＤの値が小さいほど、被検出ブロックと被検出ブロックから動きベクトルが指し示す先のブロックとのマッチングが良く、対応する候補ベクトルがよりふさわしいことを示す。
従って、本実施形態においては、ＦＲＣ部１００の内挿ベクトル割付部１０３にて求められた内挿ベクトルに基づいて、エッジ強調部２で高域周波数成分を強調する度合いや強調する周波数範囲を可変するため、ＦＲＣ部１００の出力画像信号のうち少なくとも内挿画像信号に対しては、より精細且つ適切なエッジ強調処理を行うことが可能となる。
尚、本実施形態の場合、エッジ強調部２にて、入力画像信号及びＦＲＣ部１００の内挿フレーム生成部１０２にて生成された内挿画像信号の両者に対してエッジ強調処理を施す構成としているが、これに限らず、入力画像信号に対してのみエッジ強調処理を施すようにしてもよい。このようにすれば、エッジ強調部２での処理量を削減することが可能となる。
また、本実施形態においても、エッジ強調部２にて、入力画像信号及びＦＲＣ部１００の内挿フレーム生成部１０２にて生成された内挿画像信号の両者に対してエッジ強調処理を施す構成としているが、入力画像信号に対するエッジ強調処理と内挿画像信号に対するエッジ強調処理とを異なる処理としてもよい。
すなわち、動きベクトル検出の誤りなどに起因して内挿画像信号には画像劣化（画像破綻）が生じる場合があり、このような劣化した内挿画像に対してエッジ強調処理を施すと画像劣化した部分にもエッジ強調処理が施され、さらに画像劣化が目立つこととなるため、内挿画像信号に対するエッジ強調度合いを、入力画像信号（原画像信号）に対するエッジ強調度合いより小さくする、あるいは、内挿画像信号に対するエッジ強調処理のみを無効化することで、動き補償型のフレームレート変換処理による画像劣化を目立たせずに、撮像素子の時間積分効果に起因する動きぼけを見掛け上低減し、表示画像の鮮鋭感を向上させることが可能となる。
例えば、内挿画像信号に対して強調する周波数範囲を、入力画像信号（原画像信号）に対して強調する周波数範囲より縮小することで、動き補償型のフレームレート変換処理による画像劣化を目立たせずに、撮像素子の時間積分効果に起因する動きぼけを見掛け上低減し、表示画像の鮮鋭感を向上させることが可能となる。
尚、本実施形態のＦＲＣ部１００は、入力画像信号のフレームレートを２倍に変換するものについて説明したが、これに限らず、入力画像信号のフレームレートを１．５倍、３倍などに変換するもの、または、入力画像信号が映画フィルム映像から生成されたものであり、例えば３−２プルダウンされた画像信号の場合、２４Ｈｚに相当する主要画像信号を抜き出し（いわゆる、逆３−２プルダウン処理を行い）、このフレーム間に４枚の内挿画像信号を内挿することで１２０Ｈｚ（５倍）のフレームレートに変換するものであってもよい。
このように複数枚の内挿画像信号を生成する場合には、複数の内挿フレーム毎に前記エッジ強調処理を異ならしめても良い。例えば、図７（Ａ）に示すように、一方向の原画像から４枚の内挿画像を生成する場合、原画像から時間的に離れた４枚目の内挿画像は、原画像からの動きベクトルの長さが大きくなり、動きベクトル検出時の計算誤差が大きくなることで内挿画像信号に画像劣化が生じる場合がある。このような場合には、原画像信号から時間的に離れた内挿画像信号に対するエッジ強調度合いを小さくし、原画像信号または原画像信号に時間的に近い内挿画像信号に対するエッジ強調度合いを大きくすることで、画像劣化を目立たせずに、撮像素子の時間積分効果に起因する動きぼけを見掛け上低減し、表示画像の鮮鋭感を向上させることが可能となる。
また、図７（Ｂ）に示すように、４枚の内挿画像のうち前半の２枚は前の原画像から生成し、後半の２枚は後の原画像から生成する場合、または、図７（Ｃ）に示すように、前後の原画像からの距離に応じて加重加算比率あるいは混合比率を変化させて内挿画像を生成する場合には、中央の２枚目及び３枚目の内挿画像信号は原画像信号から時間的に遠くなるため、エッジ強調度合いを小さくし、原画像信号または原画像信号に近い１枚目及び４枚目の内挿画像信号に対するエッジ強調度合いを大きくすることで、画像劣化を目立たせずに、撮像素子の時間積分効果に起因する動きぼけを見掛け上低減し、表示画像の鮮鋭感を向上させることが可能となる。
以上のように、本実施形態の画像処理装置においては、ＦＲＣ部１００にて得られる入力画像信号の動き量に応じて、エッジ強調部２のエッジ強調処理を適切に制御することにより、撮像素子の時間積分効果に起因する動きぼけを見掛け上低減し、表示画像の鮮鋭感を向上させることが可能になるとともに、過度のエッジ強調による画質劣化を防止することができる。
ここで、入力画像信号に対しては第一のエッジ強調度合いでエッジ強調処理を施すとともに、内挿画像信号に対しては前記第一のエッジ強調度合いより小さい第二のエッジ強調度合いでエッジ強調処理を施す、あるいは、エッジ強調処理を行わないようにしているので、内挿画像信号に画像劣化が生じた場合であっても、これを目立たせることなく、表示画像の鮮鋭感を向上させることが可能となる。
尚、内挿ベクトル割付部１０３とエッジ強調部２との間に内挿ベクトルに対するローパスフィルタを設けて、画面内での内挿ベクトルの変化を滑らかにすることによって、画面内でエッジ強調処理が急激に変化することにより生じるアーティファクトを防止するのが望ましい。
また、本実施形態の場合、ＦＲＣ部１００の動きベクトル検出部１０１における動きベクトル検出処理はエッジ強調処理の影響を受けず、安定した動作が可能となる。さらに、ＦＲＣ部１００の内挿ベクトル割付部１０３で割り付けた内挿ベクトル情報をそのまま用いているため、後述の第三乃至第四の実施形態に比べて簡易な構成で実現可能である。
但し、ＦＲＣ部１００の出力画像信号は、原画像と内挿画像が交互に出力されているが、エッジ強調部２ではＦＲＣ部１００で生成した内挿ベクトル情報をそのまま原画像と内挿画像との両方に適用しているため、原画像に対しては正確なエッジ強調処理が行われない場合がある。上記課題に対する改善方法は、第三乃至第四の実施形態として後述する。
（第三の実施の形態）
本発明の第三の実施の形態に係る画像処理装置について、図９とともに説明するが、上述の画像処理装置と同一部分には同一符号を付し、その説明は省略する。ここで、図９は本実施形態の画像処理装置の一構成例を示すブロック図である。
図９において、動きベクトル検出部１０１は、フレームバッファ（ＦＢ）１０５にて遅延させた１フレーム前の入力画像信号ｎ−１と現フレームの入力画像信号ｎとから、各動き検出ブロック毎に動きベクトルを求める。内挿ベクトル割付部１０３は、検出された動きベクトルを用いて、内挿フレームに対する適切な割り付けベクトルＶの割り付けを行う。内挿フレーム生成部１０２は、割付けられたベクトルＶを用いて、内挿フレーム画像を生成し、ベクトルＶと共に出力する。原フレームベクトル割付部１０６は、動きベクトル検出部１０１で求められた動きベクトルを用いて、原フレームに対する適切なベクトルＶの割り付けを行い、この割り付けられたベクトルＶを出力する。
ここで、原フレームに対する適切なベクトルＶの割り付けとは、前記第二の実施形態で詳述した内挿フレームへのベクトル割付処理と同様の処理を、原フレームに対しても行うことである。もともと動きベクトル検出部１０１で検出された動きベクトルは、原フレームである入力画像信号ｎに対する動きベクトルであるが、これは動きベクトル検出ブロックに対するベクトルである。これを内挿ブロックに割付けなおす処理を行う。内挿ブロックが動きベクトル検出ブロックと同じ大きさならそのまま使っても良い。内挿ブロックが動きベクトル検出ブロックより小さければ、割付けなおす。
タイムベース変換部１０４は、内挿フレーム生成部１０２から出力された内挿フレームと、原フレームとを交互に出力することで、元の入力画像信号の２倍のフレームレートの画像信号をエッジ強調部２へ出力する。また、タイムベース変換部１０４は、内挿フレームを出力すると同時に内挿フレーム生成部１０２から出力された割り付けベクトルＶを、原フレームを出力すると同時に原フレームベクトル割付部１０６から出力された割り付けベクトルＶを、それぞれエッジ強調部２へ出力する。
エッジ強調部２は、タイムベース変換部１０４から出力された割り付けベクトルＶに基づいて、フレームレートが変換された画像信号に対するエッジ強調処理を行う。このとき、割り付けベクトルＶが大きい程、エッジ強調の度合いをより強くする、あるいは、強調する周波数範囲を拡大することで、撮像素子の時間積分効果に起因して減衰した高域周波数成分を補償する。
尚、本実施形態においては、エッジ強調部２にて、内挿画像信号および入力画像信号（原画像信号）の両者に対してエッジ強調処理を施す構成としているが、これに限らず、入力画像信号に対してのみエッジ強調処理を施すようにしてもよい。この場合、エッジ強調部２での処理量を削減することが可能となる。
また、本実施形態においても、エッジ強調部２にて、入力画像信号及びＦＲＣ部１００の内挿フレーム生成部１０２にて生成された内挿画像信号の両者に対してエッジ強調処理を施す構成としているが、入力画像信号に対するエッジ強調処理と内挿画像信号に対するエッジ強調処理とを異なる処理としてもよい。
すなわち、動きベクトル検出の誤りなどに起因して内挿画像信号には画像劣化（画像破綻）が生じる場合があり、このような劣化した内挿画像に対してエッジ強調処理を施すと画像劣化した部分にもエッジ強調処理が施され、さらに画像劣化が目立つこととなるため、内挿画像信号に対するエッジ強調度合いを、入力画像信号（原画像信号）に対するエッジ強調度合いより小さくする、あるいは、内挿画像信号に対するエッジ強調処理のみを無効化することで、動き補償型のフレームレート変換処理による画像劣化を目立たせずに、撮像素子の時間積分効果に起因する動きぼけを見掛け上低減し、表示画像の鮮鋭感を向上させることが可能となる。
例えば、内挿画像信号に対して強調する周波数範囲を、入力画像信号（原画像信号）に対して強調する周波数範囲より縮小することで、動き補償型のフレームレート変換処理による画像劣化を目立たせずに、撮像素子の時間積分効果に起因する動きぼけを見掛け上低減し、表示画像の鮮鋭感を向上させることが可能となる。
尚、本実施形態のＦＲＣ部１００は、入力画像信号のフレームレートを２倍に変換するものについて説明したが、これに限らず、入力画像信号のフレームレートを１．５倍、３倍などに変換するもの、または、入力画像信号が映画フィルム映像から生成されたものであり、例えば３−２プルダウンされた画像信号の場合、２４Ｈｚに相当する主要画像信号を抜き出し（いわゆる、逆３−２プルダウン処理を行い）、このフレーム間に４枚の内挿画像信号を内挿することで１２０Ｈｚ（５倍）のフレームレートに変換するものであってもよい。
このように複数枚の内挿画像信号を生成する場合には、複数の内挿フレーム毎に前記エッジ強調処理を異ならしめても良い。例えば、図７（Ａ）に示すように、一方向の原画像から４枚の内挿画像を生成する場合、原画像から時間的に離れた４枚目の内挿画像は、原画像からの動きベクトルの長さが大きくなり、動きベクトル検出時の計算誤差が大きくなることで内挿画像信号に画像劣化が生じる場合がある。このような場合には、原画像信号から時間的に離れた内挿画像信号に対するエッジ強調度合いを小さくし、原画像信号または原画像信号に時間的に近い内挿画像信号に対するエッジ強調度合いを大きくすることで、画像劣化を目立たせずに、撮像素子の時間積分効果に起因する動きぼけを見掛け上低減し、表示画像の鮮鋭感を向上させることが可能となる。
また、図７（Ｂ）に示すように、４枚の内挿画像のうち前半の２枚は前の原画像から生成し、後半の２枚は後の原画像から生成する場合、または、図７（Ｃ）に示すように、前後の原画像からの距離に応じて加重加算比率あるいは混合比率を変化させて内挿画像を生成する場合には、中央の２枚目及び３枚目の内挿画像信号は原画像信号から時間的に遠くなるため、エッジ強調度合いを小さくし、原画像信号または原画像信号に近い１枚目及び４枚目の内挿画像信号に対するエッジ強調度合いを大きくすることで、画像劣化を目立たせずに、撮像素子の時間積分効果に起因する動きぼけを見掛け上低減し、表示画像の鮮鋭感を向上させることが可能となる。
また、本実施形態では、動きベクトル検出部１０１で原フレームｎに対する動きベクトルを検出し、原フレームベクトル割付部１０６では原フレームｎに対して該動きベクトルを割り付け、タイムベース変換部１０４では内挿フレームと原フレームｎとを交互に出力する構成としているが、原フレームｎ−１に対して動きベクトルを検出し、原フレームベクトル割付部１０６にて原フレームｎ−１に対して該動きベクトルを割り付け、タイムベース変換部１０４では原フレームｎ−１と内挿フレームとを交互に出力する構成とすることも可能である。
以上のように、本実施形態の画像処理装置においては、ＦＲＣ部１００の内部で内挿フレーム画像信号と原フレーム画像信号とのそれぞれに対して画像の動き量に応じた適切なエッジ強調処理を施すので、撮像素子の時間積分効果に起因する動きぼけを見掛け上低減し、表示画像の鮮鋭感を向上させることが可能になるとともに、過度のエッジ強調による画質劣化を防止することができる。
ここで、入力画像信号に対しては第一のエッジ強調度合いでエッジ強調処理を施すとともに、内挿画像信号に対しては前記第一のエッジ強調度合いより小さい第二のエッジ強調度合いでエッジ強調処理を施す、あるいは、エッジ強調処理を行わないようにしているので、内挿画像信号に画像劣化が生じた場合であっても、これを目立たせることなく、表示画像の鮮鋭感を向上させることが可能となる。
また、本実施形態の場合、ＦＲＣ部１００の動きベクトル検出部１０１における動きベクトル検出処理はエッジ強調処理の影響を受けず、安定した動作が可能となる。さらに、原フレームと内挿フレームとのそれぞれについて適切なベクトル割付を行った後にエッジ強調処理を行うため、上述の第一乃至第二の実施形態に比べて、より正確なエッジ強調処理を行うことが可能である。
（第四の実施の形態）
本発明の第四の実施の形態に係る画像処理装置について、図１０とともに説明するが、上述の画像処理装置と同一部分には同一符号を付し、その説明は省略する。ここで、図１０は本実施形態の画像処理装置の一構成例を示すブロック図である。
本実施形態の画像処理装置は、図９に示した第三の実施形態と類似している。第三の実施形態と異なる点は、エッジ強調部がＦＲＣ部１００の内部に設けられており、エッジ強調部２Ａとエッジ強調２Ｂとの２つに数が増えていること、エッジ強調部とタイムベース変換部１０４との順序が逆になっていることである。
エッジ強調部２Ａは、内挿フレーム生成部１０２から出力された割り付けベクトルＶに基づいて、内挿フレーム画像信号に対するエッジ強調処理を行う。また、エッジ強調部２Ｂは、原フレームベクトル割付部１０６から出力された割り付けベクトルＶに基づいて、原フレーム画像信号に対するエッジ強調処理を行う。このとき、割り付けベクトルＶが大きい程、エッジ強調の度合いをより強くする、あるいは、強調する周波数範囲を拡大することで、撮像素子の時間積分効果に起因して減衰した高域周波数成分を補償する。
タイムベース変換部１０４は、エッジ強調部２Ａから出力された内挿フレームと、エッジ強調部２Ｂから出力された原フレームとを交互に出力することで、元の入力画像信号の２倍のフレームレートの画像信号を出力する。
尚、本実施形態においては、エッジ強調部２Ａおよびエッジ強調部２Ｂにて、内挿画像信号および入力画像信号（原画像信号）の両者に対してエッジ強調処理を施す構成としているが、これに限らず、入力画像信号に対してのみエッジ強調処理を施すようにしてもよい。例えば、内挿フレーム生成部１０２にて生成された内挿画像信号には動きベクトルの誤検出などによる画像劣化が生じる可能性があるため、内挿画像信号に対してエッジ強調処理を行うエッジ強調部２Ａを省略しても良い。このように、エッジ強調部２Ａを省略することで、構成をより簡単にすることが可能となる。
また、本実施形態においては、エッジ強調部２Ａおよびエッジ強調部２Ｂにて、入力画像信号及びＦＲＣ部１００の内挿フレーム生成部１０２にて生成された内挿画像信号の両者に対してエッジ強調処理を施す構成としているが、入力画像信号に対するエッジ強調処理と内挿画像信号に対するエッジ強調処理とを異なる処理としてもよい。
すなわち、動きベクトル検出の誤りなどに起因して内挿画像信号には画像劣化（画像破綻）が生じる場合があり、このような劣化した内挿画像に対してエッジ強調処理を施すと画像劣化した部分にもエッジ強調処理が施され、さらに画像劣化が目立つこととなるため、内挿画像信号に対するエッジ強調度合いを、入力画像信号（原画像信号）に対するエッジ強調度合いより小さくする、あるいは、内挿画像信号に対するエッジ強調処理のみを無効化することで、動き補償型のフレームレート変換処理による画像劣化を目立たせずに、撮像素子の時間積分効果に起因する動きぼけを見掛け上低減し、表示画像の鮮鋭感を向上させることが可能となる。
例えば、内挿画像信号に対して強調する周波数範囲を、入力画像信号（原画像信号）に対して強調する周波数範囲より縮小することで、動き補償型のフレームレート変換処理による画像劣化を目立たせずに、撮像素子の時間積分効果に起因する動きぼけを見掛け上低減し、表示画像の鮮鋭感を向上させることが可能となる。
尚、本実施形態のＦＲＣ部１００は、入力画像信号のフレームレートを２倍に変換するものについて説明したが、これに限らず、入力画像信号のフレームレートを１．５倍、３倍などに変換するもの、または、入力画像信号が映画フィルム映像から生成されたものであり、例えば３−２プルダウンされた画像信号の場合、２４Ｈｚに相当する主要画像信号を抜き出し（いわゆる、逆３−２プルダウン処理を行い）、このフレーム間に４枚の内挿画像信号を内挿することで１２０Ｈｚ（５倍）のフレームレートに変換するものであってもよい。
このように複数枚の内挿画像信号を生成する場合には、複数の内挿フレーム毎に前記エッジ強調処理を異ならしめても良い。例えば、図７（Ａ）に示すように、一方向の原画像から４枚の内挿画像を生成する場合、原画像から時間的に離れた４枚目の内挿画像は、原画像からの動きベクトルの長さが大きくなり、動きベクトル検出時の計算誤差が大きくなることで内挿画像信号に画像劣化が生じる場合がある。このような場合には、原画像信号から時間的に離れた内挿画像信号に対するエッジ強調度合いを小さくし、原画像信号または原画像信号に時間的に近い内挿画像信号に対するエッジ強調度合いを大きくすることで、画像劣化を目立たせずに、撮像素子の時間積分効果に起因する動きぼけを見掛け上低減し、表示画像の鮮鋭感を向上させることが可能となる。
また、図７（Ｂ）に示すように、４枚の内挿画像のうち前半の２枚は前の原画像から生成し、後半の２枚は後の原画像から生成する場合、または、図７（Ｃ）に示すように、前後の原画像からの距離に応じて加重加算比率あるいは混合比率を変化させて内挿画像を生成する場合には、中央の２枚目及び３枚目の内挿画像信号は原画像信号から時間的に遠くなるため、エッジ強調度合いを小さくし、原画像信号または原画像信号に近い１枚目及び４枚目の内挿画像信号に対するエッジ強調度合いを大きくすることで、画像劣化を目立たせずに、撮像素子の時間積分効果に起因する動きぼけを見掛け上低減し、表示画像の鮮鋭感を向上させることが可能となる。
また、本実施形態では、動きベクトル検出部１０１で原フレームｎに対する動きベクトルを検出し、原フレームベクトル割付部１０６では原フレームｎに対して該動きベクトルを割り付け、エッジ強調部２Ｂでは原フレームｎに対するエッジ強調処理を行う構成としているが、原フレームｎ−１に対して動きベクトルを検出し、原フレームベクトル割付部１０６にて原フレームｎ−１に対して該動きベクトルを割り付け、エッジ強調部２Ｂでは原フレームｎ−１に対するエッジ強調処理を行う構成とすることも可能である。
以上のように、本実施形態の画像処理装置においては、ＦＲＣ部１００の内部で内挿フレーム画像信号と原フレーム画像信号とのそれぞれに対して画像の動き量に応じた適切なエッジ強調処理を施すので、撮像素子の時間積分効果に起因する動きぼけを見掛け上低減し、表示画像の鮮鋭感を向上させることが可能になるとともに、過度のエッジ強調による画質劣化を防止することができる。
ここで、入力画像信号に対しては第一のエッジ強調度合いでエッジ強調処理を施すとともに、内挿画像信号に対しては前記第一のエッジ強調度合いより小さい第二のエッジ強調度合いでエッジ強調処理を施す、あるいは、エッジ強調処理を行わないようにしているので、内挿画像信号に画像劣化が生じた場合であっても、これを目立たせることなく、表示画像の鮮鋭感を向上させることが可能となる。
また、本実施形態の場合、ＦＲＣ部１００の動きベクトル検出部１０１における動きベクトル検出処理はエッジ強調処理の影響を受けず、安定した動作が可能となる。さらに、原フレームと内挿フレームとのそれぞれについて適切なベクトル割付を行った後にエッジ強調処理を行うため、上述の第一乃至第二の実施形態に比べて、より正確なエッジ強調処理を行うことが可能である。また、エッジ強調部２Ａとエッジ強調部２Ｂとの２つのエッジ強調部を備えているため、それぞれのエッジ強調処理は上述した第三の実施形態のものに比して半分で済む。
以上の説明においては、本発明の画像処理装置及び方法に関する実施形態の一例について説明したが、これらの説明から、本画像処理方法をコンピュータによりプログラムとして実行する処理プログラム、及び、該処理プログラムをコンピュータにより読み取り可能な記録媒体に記録したプログラム記録媒体についても容易に理解することができるであろう。
また、本発明の画像処理装置は、上述したとおり、画像表示装置と一体的に構成して設けられてもよいし、画像表示装置と別体に設けられてもよい。さらに、これらに限らず、例えば各種記録メディア再生装置などの映像出力機器内に設けられても良いことは言うまでもない。
さらに、上述の各実施形態においては、入力画像信号の動き量に応じて、画像信号に対するエッジ強調度合いを可変するものについて説明したが、本発明はこれに限らず、入力画像信号の動き量に関わらず、予め定められたエッジ強調度合いでエッジ強調処理を施すものに適用してもよいことは明らかである。この場合も、内挿画像信号に対するエッジ強調度合いを、入力画像信号に対するエッジ強調度合いよりも小さくすることで、内挿画像信号に画像劣化が生じた場合であっても、これを目立たせることなく、表示画像の鮮鋭感を向上させることが可能となる。
撮像素子の時間積分効果に起因する表示映像の動きぼけを低減する画像処理装置の概略構成を示す機能ブロック図である。 エッジ強調部の一構成例を示すブロック図である。 エッジ強調部の一構成例による動作を示す説明図である。 エッジ強調部の他の構成例を示すブロック図である。 エッジ強調部の他の構成例による動作を示す説明図である。 本発明の第一の実施の形態に係る画像処理装置の概略構成を示す機能ブロック図である。 フレームレートを５倍に変換する場合の内挿画像信号の生成方法を説明するための図である。 本発明の第二の実施の形態に係る画像処理装置の概略構成を示す機能ブロック図である。 本発明の第三の実施の形態に係る画像処理装置の一構成例を示すブロック図である。 本発明の第四の実施の形態に係る画像処理装置の一構成例を示すブロック図である。 従来の液晶表示装置におけるＦＲＣ駆動表示回路の概略構成を示すブロック図である。 図１１に示した従来のＦＲＣ駆動表示回路によるフレームレート変換処理を説明するための図である。 動きベクトル検出部及び内挿フレーム生成部による内挿フレーム生成処理について説明するための図である。 従来の画像処理装置の構成を示す機能ブロック図である。
符号の説明
１ 動き検出部
２ エッジ強調部
２１ ハイパスフィルタ
２２ ゲイン調整部
２３ 加算部
２４ フィルタ
１００ ＦＲＣ部
１０１ 動きベクトル検出部
１０２ 内挿フレーム生成部
１０３ 内挿ベクトル割付部
１０４ タイムベース変換部
１０５ フレームバッファ（ＦＢ）
１０６ 原フレームベクトル割付部
１０７ フレームバッファ（ＦＢ）
１１１ オブジェクト抽出部
１１２ 動き検出部
１１３ 領域特定部
１１４ 混合比算出部
１１５ 前景背景分離部
１１６ 動きぼけ除去部
１１７ 補正部
１１８ 動きぼけ除去画像処理部
２０３ 液晶表示パネル
２０４ 電極駆動部
２０５ 動きベクトル
２０６ 内挿ベクトル
２０７ 内挿フレーム

Claims (12)

  1. 入力画像信号のフレーム間あるいはフィールド間における動きベクトル情報に基づき、前記入力画像信号に動き補償処理を施して生成した内挿画像信号を、前記入力画像信号のフレーム間あるいはフィールド間に内挿することにより、前記入力画像信号のフレーム数あるいはフィールド数を変換するレート変換手段を備えた画像表示装置であって、
    前記入力画像信号に対しては第一のエッジ強調度合いでエッジ強調処理を施すとともに、
    前記内挿画像信号に対しては前記第一のエッジ強調度合いより小さい第二のエッジ強調度合いでエッジ強調処理を施す、あるいは、エッジ強調処理を行わないことを特徴とする画像表示装置。
  2. 前記請求項１に記載の画像表示装置において、
    前記エッジ強調処理は、前記入力画像信号の動き量が大きい領域に対しては、前記画像信号の高域周波数成分を強調する量を大きくすることを特徴とする画像表示装置。
  3. 前記請求項１又は２に記載の画像表示装置において、
    前記エッジ強調処理は、前記入力画像信号の動き量が大きい領域に対しては、前記強調する画像信号の周波数範囲を拡大することを特徴とする画像表示装置。
  4. 前記請求項１乃至３のいずれかに記載の画像表示装置において、
    前記入力画像信号の動きの方向に応じて、前記画像信号をエッジ強調するフィルタの特性を可変することを特徴とする画像表示装置。
  5. 前記請求項２乃至４のいずれかに記載の画像表示装置において、
    前記レート変換手段は、前記入力画像信号に含まれる連続したフレーム間あるいはフィールド間で動きベクトルを検出する動きベクトル検出部と、
    該検出した動きベクトルに基づいて、前記フレーム間あるいは前記フィールド間に内挿ベクトルを割り付ける内挿ベクトル割付部と、
    該割り付けた内挿ベクトルに基づいて、内挿画像信号を生成する内挿画像生成部と、
    該生成した内挿画像信号を前記フレーム間あるいは前記フィールド間に内挿する画像内挿部とを有し、
    前記動きベクトル検出部により検出された動きベクトルに基づいて、前記入力画像信号の動き量／動きの方向を求めることを特徴とする画像表示装置。
  6. 前記請求項５に記載の画像表示装置において、
    前記動きベクトル検出部により検出された動きベクトルを平滑化するローパスフィルタを設けたことを特徴とする画像表示装置。
  7. 前記請求項２乃至４のいずれかに記載の画像表示装置において、
    前記レート変換手段は、前記入力画像信号に含まれる連続したフレーム間あるいはフィールド間で動きベクトルを検出する動きベクトル検出部と、
    該検出した動きベクトルに基づいて、前記フレーム間あるいは前記フィールド間に内挿ベクトルを割り付ける内挿ベクトル割付部と、
    該割り付けた内挿ベクトルに基づいて、内挿画像信号を生成する内挿画像生成部と、
    該生成した内挿画像信号を前記フレーム間あるいは前記フィールド間に内挿する画像内挿部とを有し、
    前記内挿ベクトル割付部で割り付けられた内挿ベクトルに基づいて、前記入力画像信号の動き量／動きの方向を求めることを特徴とする画像表示装置。
  8. 前記請求項７に記載の画像表示装置において、
    前記内挿ベクトル割付部で割り付けられた内挿ベクトルを平滑化するローパスフィルタを設けたことを特徴とする画像表示装置。
  9. 前記請求項１乃至８のいずれかに記載の画像表示装置において、
    前記レート変換手段は、前記入力画像信号のフレーム間あるいはフィールド間に、複数の前記内挿画像信号を内挿するものであり、
    前記入力画像信号からの時間的な距離に応じて、各々の内挿画像信号に対するエッジ強調度合いを可変することを特徴とする画像表示装置。
  10. 入力画像信号のフレーム間あるいはフィールド間における動きベクトル情報に基づき、前記入力画像信号に動き補償処理を施して生成した内挿画像信号を、前記入力画像信号のフレーム間あるいはフィールド間に内挿することにより、前記入力画像信号のフレーム数あるいはフィールド数を変換するレート変換工程を備えた画像表示方法であって、
    前記入力画像信号に対しては第一のエッジ強調度合いでエッジ強調処理を施すとともに、
    前記内挿画像信号に対しては前記第一のエッジ強調度合いより小さい第二のエッジ強調度合いでエッジ強調処理を施す、あるいは、エッジ強調処理を行わないことを特徴とする画像表示方法。
  11. 入力画像信号のフレーム間あるいはフィールド間における動きベクトル情報に基づき、前記入力画像信号に動き補償処理を施して生成した内挿画像信号を、前記入力画像信号のフレーム間あるいはフィールド間に内挿することにより、前記入力画像信号のフレーム数あるいはフィールド数を変換するレート変換手段を備えた画像処理装置であって、
    前記入力画像信号に対しては第一のエッジ強調度合いでエッジ強調処理を施すとともに、
    前記内挿画像信号に対しては前記第一のエッジ強調度合いより小さい第二のエッジ強調度合いでエッジ強調処理を施す、あるいは、エッジ強調処理を行わないことを特徴とする画像処理装置。
  12. 入力画像信号のフレーム間あるいはフィールド間における動きベクトル情報に基づき、前記入力画像信号に動き補償処理を施して生成した内挿画像信号を、前記入力画像信号のフレーム間あるいはフィールド間に内挿することにより、前記入力画像信号のフレーム数あるいはフィールド数を変換するレート変換工程を備えた画像処理方法であって、
    前記入力画像信号に対しては第一のエッジ強調度合いでエッジ強調処理を施すとともに、
    前記内挿画像信号に対しては前記第一のエッジ強調度合いより小さい第二のエッジ強調度合いでエッジ強調処理を施す、あるいは、エッジ強調処理を行わないことを特徴とする画像処理方法。
JP2008051919A 2007-04-27 2008-03-03 画像処理装置及び方法、画像表示装置及び方法 Active JP4139430B1 (ja)

Priority Applications (7)

Application Number Priority Date Filing Date Title
JP2008051919A JP4139430B1 (ja) 2007-04-27 2008-03-03 画像処理装置及び方法、画像表示装置及び方法
EP08740673.2A EP2141910B1 (en) 2007-04-27 2008-04-18 Image processing device and method, and image display device and method
CN2008800125090A CN101663885B (zh) 2007-04-27 2008-04-18 图像处理装置及方法、图像显示装置及方法
BRPI0809149-8A BRPI0809149A2 (pt) 2007-04-27 2008-04-18 Dispositivo e método de processamento de image, e dispositivo e método e exibição de imagem
PCT/JP2008/057626 WO2008136286A1 (ja) 2007-04-27 2008-04-18 画像処理装置及び方法、画像表示装置及び方法
US12/529,994 US8462266B2 (en) 2007-04-27 2008-04-18 Image processing device and method, and image display device and method
RU2009135233/09A RU2419243C1 (ru) 2007-04-27 2008-04-18 Устройство и способ обработки изображений и устройство и способ отображения изображений

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2007118108 2007-04-27
JP2008051919A JP4139430B1 (ja) 2007-04-27 2008-03-03 画像処理装置及び方法、画像表示装置及び方法

Publications (2)

Publication Number Publication Date
JP4139430B1 true JP4139430B1 (ja) 2008-08-27
JP2008295022A JP2008295022A (ja) 2008-12-04

Family

ID=39758372

Family Applications (5)

Application Number Title Priority Date Filing Date
JP2008051919A Active JP4139430B1 (ja) 2007-04-27 2008-03-03 画像処理装置及び方法、画像表示装置及び方法
JP2008059354A Pending JP2008295023A (ja) 2007-04-27 2008-03-10 画像処理装置及び方法、画像表示装置及び方法
JP2008322647A Active JP4686594B2 (ja) 2007-04-27 2008-12-18 画像処理装置及び画像処理方法
JP2011026757A Expired - Fee Related JP5014497B2 (ja) 2007-04-27 2011-02-10 画像処理装置及び画像処理方法
JP2012126779A Expired - Fee Related JP5260769B2 (ja) 2007-04-27 2012-06-04 画像処理装置、画像表示装置、画像処理方法、及び、画像表示方法

Family Applications After (4)

Application Number Title Priority Date Filing Date
JP2008059354A Pending JP2008295023A (ja) 2007-04-27 2008-03-10 画像処理装置及び方法、画像表示装置及び方法
JP2008322647A Active JP4686594B2 (ja) 2007-04-27 2008-12-18 画像処理装置及び画像処理方法
JP2011026757A Expired - Fee Related JP5014497B2 (ja) 2007-04-27 2011-02-10 画像処理装置及び画像処理方法
JP2012126779A Expired - Fee Related JP5260769B2 (ja) 2007-04-27 2012-06-04 画像処理装置、画像表示装置、画像処理方法、及び、画像表示方法

Country Status (7)

Country Link
US (2) US8319898B2 (ja)
EP (2) EP2144434A4 (ja)
JP (5) JP4139430B1 (ja)
CN (3) CN102394051B (ja)
BR (1) BRPI0809149A2 (ja)
RU (1) RU2419243C1 (ja)
WO (1) WO2008136286A1 (ja)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010068102A (ja) * 2008-09-09 2010-03-25 Fujitsu Ltd 映像信号処理装置、映像信号処理方法および映像信号処理プログラム
JP2010124257A (ja) * 2008-11-20 2010-06-03 Hitachi Ltd 映像処理装置、映像表示装置、及びフレームレート変換方法
JP2010278871A (ja) * 2009-05-29 2010-12-09 Toshiba Corp 画像処理装置及び画像処理方法
JP2013186427A (ja) * 2012-03-09 2013-09-19 Ricoh Co Ltd 映像処理装置
CN104284094A (zh) * 2010-09-16 2015-01-14 卡西欧计算机株式会社 手抖动补偿装置以及手抖动补偿方法

Families Citing this family (63)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4181593B2 (ja) * 2006-09-20 2008-11-19 シャープ株式会社 画像表示装置及び方法
JP4525692B2 (ja) * 2007-03-27 2010-08-18 株式会社日立製作所 画像処理装置、画像処理方法、画像表示装置
GB2450121A (en) * 2007-06-13 2008-12-17 Sharp Kk Frame rate conversion using either interpolation or frame repetition
JP2009081574A (ja) * 2007-09-25 2009-04-16 Toshiba Corp 画像処理装置、方法およびプログラム
US8233730B1 (en) * 2008-04-22 2012-07-31 Marvell International Ltd. Filter bank based phase correlation architecture for motion estimation
CN102160395A (zh) * 2008-09-26 2011-08-17 日本电气株式会社 服务器装置、通信***、通信方法及程序
GB2503833B (en) * 2008-12-09 2014-04-30 Snell Ltd Motion image rendering system
JP5219771B2 (ja) * 2008-12-15 2013-06-26 キヤノン株式会社 映像処理装置および映像処理装置の制御方法
KR102057881B1 (ko) * 2009-02-06 2019-12-20 가부시키가이샤 한도오따이 에네루기 켄큐쇼 표시 장치 구동 방법
JP4521468B1 (ja) 2009-02-25 2010-08-11 株式会社東芝 画像処理装置及び画像処理方法
JP5322704B2 (ja) * 2009-03-06 2013-10-23 キヤノン株式会社 画像処理装置、画像処理方法
JP5448981B2 (ja) 2009-04-08 2014-03-19 株式会社半導体エネルギー研究所 液晶表示装置の駆動方法
JP5493455B2 (ja) * 2009-05-01 2014-05-14 ソニー株式会社 画像処理装置、画像処理方法、プログラム
JP2010288052A (ja) * 2009-06-11 2010-12-24 Sharp Corp テレビジョン受像機
JP2011035655A (ja) * 2009-07-31 2011-02-17 Sanyo Electric Co Ltd フレームレート変換装置、およびそれを搭載した表示装置
JP4762336B2 (ja) 2009-09-15 2011-08-31 株式会社東芝 映像処理装置及び映像処理方法
JP2011066540A (ja) * 2009-09-15 2011-03-31 Toshiba Corp 映像処理装置及び映像処理方法
JP5335653B2 (ja) * 2009-12-04 2013-11-06 ミツミ電機株式会社 液晶表示装置及び液晶表示方法
JP4762343B2 (ja) * 2009-12-28 2011-08-31 株式会社東芝 画質調整装置および画質調整方法
JP4924727B2 (ja) * 2010-02-16 2012-04-25 カシオ計算機株式会社 画像処理装置及び画像処理プログラム
US9659353B2 (en) * 2010-03-01 2017-05-23 Stmicroelectronics, Inc. Object speed weighted motion compensated interpolation
JP2011192141A (ja) * 2010-03-16 2011-09-29 Sony Corp 動体検出装置と動体検出方法およびプログラム
JP5541956B2 (ja) * 2010-04-07 2014-07-09 亨 羽角 画像合成方法、画像合成プログラムおよび画像合成装置
JP5574830B2 (ja) * 2010-06-03 2014-08-20 三菱電機株式会社 画像処理装置及び方法、並びに画像表示装置及び方法
JP2011259248A (ja) * 2010-06-09 2011-12-22 Sony Corp 画像処理装置および方法、並びにプログラム
JP5656464B2 (ja) * 2010-06-14 2015-01-21 キヤノン株式会社 映像処理装置及びその制御方法
JP4937382B2 (ja) * 2010-06-30 2012-05-23 株式会社東芝 映像信号補間装置、映像表示装置及び映像信号補間方法
US8768069B2 (en) * 2011-02-24 2014-07-01 Sony Corporation Image enhancement apparatus and method
EP2819394A1 (en) * 2011-06-10 2014-12-31 Canon Kabushiki Kaisha Shake compensation apparatus, shake compensation control method, and image capturing apparatus and control method thereof
JP5743918B2 (ja) * 2012-01-31 2015-07-01 株式会社東芝 画像処理装置
JP6019341B2 (ja) * 2012-03-23 2016-11-02 株式会社Ｊｏｌｅｄ 表示装置、集積回路及び制御方法
US9503645B2 (en) * 2012-05-24 2016-11-22 Mediatek Inc. Preview system for concurrently displaying multiple preview images generated based on input image generated by image capture apparatus and related preview method thereof
JP2013251765A (ja) * 2012-05-31 2013-12-12 Toshiba Corp 映像処理装置及び映像処理方法
JP5684205B2 (ja) * 2012-08-29 2015-03-11 株式会社東芝 画像処理装置、画像処理方法、及びプログラム
TWI606418B (zh) * 2012-09-28 2017-11-21 輝達公司 圖形處理單元驅動程式產生內插的圖框之電腦系統及方法
FR2998437B1 (fr) * 2012-11-16 2018-09-21 Thales Procede et systeme de determination en temps reel de signaux a sommer parmi un ensemble de signaux recus
CN103167304B (zh) * 2013-03-07 2015-01-21 海信集团有限公司 立体视频帧率提升方法和装置
JP6150583B2 (ja) * 2013-03-27 2017-06-21 オリンパス株式会社 画像処理装置、内視鏡装置、プログラム及び画像処理装置の作動方法
US9083850B1 (en) * 2013-06-29 2015-07-14 Securus Technologies, Inc. Video blurring in a secure environment
KR102021857B1 (ko) * 2013-07-23 2019-09-17 엘지전자 주식회사 이동 단말기 및 그의 파노라마 촬영방법
TWI528790B (zh) * 2013-12-13 2016-04-01 瑞昱半導體股份有限公司 多媒體系統之視窗偵測裝置與方法
KR20150069413A (ko) * 2013-12-13 2015-06-23 삼성디스플레이 주식회사 표시 장치 및 그 구동 방법
US10469729B2 (en) 2014-01-09 2019-11-05 Sony Corporation Video signal processing device, video signal processing method, and camera device
KR102237132B1 (ko) 2014-07-23 2021-04-08 삼성디스플레이 주식회사 표시 장치 및 이의 구동 방법
CN104134198A (zh) * 2014-07-28 2014-11-05 厦门美图之家科技有限公司 一种对图像进行局部处理的方法
CN105335780B (zh) * 2014-08-14 2018-11-09 夏志刚 数卡方法
EP3016383B1 (en) * 2014-11-03 2017-06-21 Axis AB Method, device, and system for pre-processing a video stream for subsequent motion detection processing
RU2680754C2 (ru) * 2015-01-16 2019-02-26 федеральное государственное автономное образовательное учреждение высшего образования "Санкт-Петербургский национальный исследовательский университет информационных технологий, механики и оптики" (Университет ИТМО) Способ повышения резкости цифрового изображения
JP5846549B1 (ja) * 2015-02-06 2016-01-20 株式会社リコー 画像処理システム、画像処理方法、プログラム、撮像システム、画像生成装置、画像生成方法およびプログラム
US10359858B2 (en) * 2016-09-07 2019-07-23 Disney Enterprises, Inc. Systems and methods for simulating sounds of a virtual object using procedural audio
US10354394B2 (en) 2016-09-16 2019-07-16 Dolby Laboratories Licensing Corporation Dynamic adjustment of frame rate conversion settings
BR112019011836A2 (pt) * 2016-12-13 2019-10-22 Koninklijke Philips Nv método para modificar um contorno, método para criar um contorno, produto de programa de computador, e aparelho para modificar um contorno
US10636173B1 (en) 2017-09-28 2020-04-28 Alarm.Com Incorporated Dynamic calibration of surveillance devices
US11012683B1 (en) 2017-09-28 2021-05-18 Alarm.Com Incorporated Dynamic calibration of surveillance devices
US10977809B2 (en) 2017-12-11 2021-04-13 Dolby Laboratories Licensing Corporation Detecting motion dragging artifacts for dynamic adjustment of frame rate conversion settings
EP3759909A4 (en) * 2018-02-28 2021-12-01 Rail Vision Ltd SYSTEM AND PROCEDURE FOR INTEGRATED TEST FOR OPTICAL SENSORS
KR102558166B1 (ko) * 2018-08-08 2023-07-24 삼성전자주식회사 복수의 객체들을 포함하는 이미지를 보정하는 전자 장치 및 그 제어 방법
US11087721B2 (en) * 2018-11-28 2021-08-10 Samsung Electronics Co., Ltd. Display driver, circuit sharing frame buffer, mobile device, and operating method thereof
US11798457B2 (en) 2019-05-23 2023-10-24 Lg Electronics Inc. Display device
KR20220113745A (ko) * 2020-02-27 2022-08-16 엘지전자 주식회사 디스플레이 장치
US20230088882A1 (en) * 2021-09-22 2023-03-23 Samsung Electronics Co., Ltd. Judder detection for dynamic frame rate conversion
WO2023074669A1 (ja) * 2021-10-27 2023-05-04 キヤノン株式会社 撮像装置、画像処理装置、および方法
US11871146B1 (en) * 2022-08-16 2024-01-09 Novatek Microelectronics Corp. Video processor for handling irregular input

Family Cites Families (52)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0754966B2 (ja) * 1985-12-09 1995-06-07 株式会社日立製作所 輪郭補正回路
SU1425872A1 (ru) 1987-03-16 1988-09-23 Минский радиотехнический институт Устройство интерпол ции видеосигнала
JPH01215185A (ja) 1988-02-24 1989-08-29 Hitachi Ltd 輪郭補償回路
JPH03190473A (ja) * 1989-12-20 1991-08-20 Nec Home Electron Ltd ビデオ信号処理装置
JPH03295437A (ja) * 1990-04-13 1991-12-26 Saginomiya Seisakusho Inc 車両振動試験方法
JPH0445671A (ja) * 1990-06-12 1992-02-14 Sony Corp テレビジョン信号の輪郭強調回路
JP3295437B2 (ja) 1991-03-29 2002-06-24 日本放送協会 表示装置
JPH0522634A (ja) * 1991-07-16 1993-01-29 Matsushita Electric Ind Co Ltd 輪郭補正回路
JPH06205777A (ja) * 1993-01-12 1994-07-26 Hitachi Medical Corp 超音波診断装置
JPH06292054A (ja) * 1993-04-06 1994-10-18 Olympus Optical Co Ltd 水平アパーチャ補償回路を備えたビデオカメラ
EP0647919B1 (en) 1993-10-11 2000-02-02 THOMSON multimedia Method and apparatus for correcting motion vectors
JPH08279950A (ja) 1995-04-07 1996-10-22 Sony Corp ビデオカメラおよびビデオカメラ装置
JP3572595B2 (ja) 1995-07-21 2004-10-06 ソニー株式会社 電子番組ガイド表示制御装置および方法
US5757432A (en) * 1995-12-18 1998-05-26 Intel Corporation Manipulating video and audio signals using a processor which supports SIMD instructions
US6037986A (en) * 1996-07-16 2000-03-14 Divicom Inc. Video preprocessing method and apparatus with selective filtering based on motion detection
JPH10108086A (ja) * 1996-09-30 1998-04-24 Hitachi Ltd テレビジョン受像機の画質改善回路
JP3572882B2 (ja) * 1997-08-26 2004-10-06 松下電器産業株式会社 順次走査変換回路
JPH11122510A (ja) 1997-10-20 1999-04-30 Fujitsu General Ltd 映像信号の輪郭補正回路
JP2000101871A (ja) 1998-09-25 2000-04-07 Nippon Hoso Kyokai <Nhk> 輪郭強調処理回路
JP4159062B2 (ja) 1998-11-10 2008-10-01 キヤノン株式会社 画像処理装置
JP4281929B2 (ja) 1998-11-18 2009-06-17 カシオ計算機株式会社 エッジ強調装置及びエッジ強調方法
JP2000224472A (ja) 1999-02-04 2000-08-11 Fuji Photo Film Co Ltd 撮像制御装置および撮像制御方法
JP2001086385A (ja) * 1999-09-14 2001-03-30 Nikon Corp 電子カメラ
JP2001128060A (ja) * 1999-10-26 2001-05-11 Nikon Corp 電子カメラ
JP2001333278A (ja) * 2000-05-19 2001-11-30 Victor Co Of Japan Ltd 画像処理装置
JP4649058B2 (ja) 2000-05-31 2011-03-09 パナソニック株式会社 放送されたコンテンツを受信し蓄積しておき、ユーザの要求に応じてコンテンツを利用可能状態にする受信端末装置
US7191402B2 (en) 2001-05-10 2007-03-13 Samsung Electronics Co., Ltd. Method and apparatus for adjusting contrast and sharpness for regions in a display device
EP1396818B1 (en) 2001-06-15 2012-10-03 Sony Corporation Image processing apparatus and method and image pickup apparatus
JP4596214B2 (ja) 2001-06-15 2010-12-08 ソニー株式会社 画像処理装置および方法、記録媒体、並びにプログラム
JP2003338972A (ja) * 2001-09-12 2003-11-28 Fuji Photo Film Co Ltd 画像処理システム、撮像装置、画像処理装置、画像処理方法及びプログラム
JP4900548B2 (ja) * 2001-11-01 2012-03-21 アイピージー エレクトロニクス ５０３ リミテッド ビデオ画像の改善される空間的な解像度
JP2003280617A (ja) * 2002-01-21 2003-10-02 Matsushita Electric Ind Co Ltd 表示装置及び表示装置の駆動方法
JP4025865B2 (ja) * 2002-03-14 2007-12-26 コニカミノルタオプト株式会社 電子カメラ
JP4102973B2 (ja) 2002-04-24 2008-06-18 日本電気株式会社 動画像の符号化方法および復号化方法、これを用いた装置とプログラム
US6975359B2 (en) * 2002-04-25 2005-12-13 Trident Microsystems, Inc. Method and system for motion and edge-adaptive signal frame rate up-conversion
US7643019B2 (en) * 2002-05-23 2010-01-05 Koninklijke Philips Electronics N.V. Edge dependent motion blur reduction
AU2003224369A1 (en) * 2002-05-24 2003-12-12 Koninklijke Philips Electronics N.V. A unit for and method of sharpness enhancement
JP4309622B2 (ja) 2002-07-09 2009-08-05 オリンパス株式会社 電子的撮像装置および顕微鏡用電子的撮像装置
JP2004080252A (ja) 2002-08-14 2004-03-11 Toshiba Corp 映像表示装置及びその方法
EP1422928A3 (en) 2002-11-22 2009-03-11 Panasonic Corporation Motion compensated interpolation of digital video signals
KR100467625B1 (ko) 2003-02-03 2005-01-24 삼성전자주식회사 프레임 레이트 변환을 이용하는 영상 처리 장치 및 방법
JP2005051460A (ja) 2003-07-28 2005-02-24 Shibasoku:Kk ビデオ信号処理装置及びビデオ信号の処理方法
JP3901173B2 (ja) * 2004-06-07 2007-04-04 セイコーエプソン株式会社 画像処理装置、画像処理方法及び画像処理プログラム
KR20060048247A (ko) * 2004-07-12 2006-05-18 엘지전자 주식회사 처리장치 및 그 제어방법
JP5062968B2 (ja) 2004-08-11 2012-10-31 ソニー株式会社 画像処理装置および方法、記録媒体、並びにプログラム
US7515768B2 (en) 2004-12-07 2009-04-07 Sony Corporation Method, and apparatus for processing image, recording medium and computer program
JP4674528B2 (ja) 2004-12-07 2011-04-20 ソニー株式会社 画像処理装置および方法、記録媒体、並びにプログラム
JP2006332904A (ja) * 2005-05-24 2006-12-07 Sharp Corp 輪郭強調回路
JP4707457B2 (ja) * 2005-05-25 2011-06-22 シャープ株式会社 映像処理装置及び映像処理システム
US7889233B2 (en) * 2005-08-26 2011-02-15 Nvidia Corporation Video image processing with remote diagnosis and programmable scripting
US20080285645A1 (en) * 2007-05-17 2008-11-20 Tandberg Television Asa Adaptive border processing
US8189105B2 (en) * 2007-10-17 2012-05-29 Entropic Communications, Inc. Systems and methods of motion and edge adaptive processing including motion compensation features

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010068102A (ja) * 2008-09-09 2010-03-25 Fujitsu Ltd 映像信号処理装置、映像信号処理方法および映像信号処理プログラム
JP2010124257A (ja) * 2008-11-20 2010-06-03 Hitachi Ltd 映像処理装置、映像表示装置、及びフレームレート変換方法
JP2010278871A (ja) * 2009-05-29 2010-12-09 Toshiba Corp 画像処理装置及び画像処理方法
JP4643727B2 (ja) * 2009-05-29 2011-03-02 株式会社東芝 画像処理装置及び画像処理方法
US8274602B2 (en) 2009-05-29 2012-09-25 Kabushiki Kaisha Toshiba Image processing apparatus and image processing method with redundant frame detection
CN104284094A (zh) * 2010-09-16 2015-01-14 卡西欧计算机株式会社 手抖动补偿装置以及手抖动补偿方法
CN104284094B (zh) * 2010-09-16 2017-11-14 北京小米移动软件有限公司 手抖动补偿装置以及手抖动补偿方法
JP2013186427A (ja) * 2012-03-09 2013-09-19 Ricoh Co Ltd 映像処理装置

Also Published As

Publication number Publication date
JP2012231471A (ja) 2012-11-22
JP2011120270A (ja) 2011-06-16
CN101663886A (zh) 2010-03-03
US20100110300A1 (en) 2010-05-06
US20100091185A1 (en) 2010-04-15
JP2008295023A (ja) 2008-12-04
RU2419243C1 (ru) 2011-05-20
RU2009135233A (ru) 2011-04-10
EP2144434A1 (en) 2010-01-13
CN101663886B (zh) 2014-07-30
JP2008295022A (ja) 2008-12-04
CN101663885B (zh) 2013-06-19
EP2141910B1 (en) 2015-10-14
WO2008136286A1 (ja) 2008-11-13
US8319898B2 (en) 2012-11-27
JP5014497B2 (ja) 2012-08-29
EP2141910A4 (en) 2010-09-29
CN101663885A (zh) 2010-03-03
JP2009071873A (ja) 2009-04-02
JP5260769B2 (ja) 2013-08-14
EP2141910A1 (en) 2010-01-06
US8462266B2 (en) 2013-06-11
BRPI0809149A2 (pt) 2014-09-16
JP4686594B2 (ja) 2011-05-25
CN102394051A (zh) 2012-03-28
CN102394051B (zh) 2014-05-21
EP2144434A4 (en) 2010-10-06

Similar Documents

Publication Publication Date Title
JP4139430B1 (ja) 画像処理装置及び方法、画像表示装置及び方法
JP4181592B2 (ja) 画像表示装置及び方法、画像処理装置及び方法
JP4181593B2 (ja) 画像表示装置及び方法
JP5075195B2 (ja) 映像送信装置、映像受信装置、映像記録装置、映像再生装置及び映像表示装置
JP4303748B2 (ja) 画像表示装置及び方法、画像処理装置及び方法
JP4369948B2 (ja) 画像表示装置及び方法、画像処理装置及び方法
JP4746514B2 (ja) 画像表示装置及び方法、画像処理装置及び方法
JP2009055340A (ja) 画像表示装置及び方法、画像処理装置及び方法
JP4181613B2 (ja) 画像表示装置及び方法
JP4504999B2 (ja) 画像表示装置及び方法、画像処理装置及び方法
JP4722672B2 (ja) 画像表示装置
JP4181612B2 (ja) 画像表示装置及び方法
JP4369971B2 (ja) 画像表示装置及び方法、画像処理装置及び方法
JP4181610B2 (ja) 画像表示装置及び方法、画像処理装置及び方法
JP4181611B2 (ja) 画像表示装置及び方法、画像処理装置及び方法
JP4369967B2 (ja) 画像表示装置及び方法、画像処理装置及び方法
JP2008154250A (ja) 画像表示装置及び方法、画像処理装置及び方法

Legal Events

Date Code Title Description
TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20080606

R150 Certificate of patent or registration of utility model

Ref document number: 4139430

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110613

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120613

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120613

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130613

Year of fee payment: 5

SG99 Written request for registration of restore

Free format text: JAPANESE INTERMEDIATE CODE: R316G99

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350