JP4885690B2 - 画像調整量決定装置、画像調整量決定方法、画像調整量決定プログラムおよび画像処理装置 - Google Patents

画像調整量決定装置、画像調整量決定方法、画像調整量決定プログラムおよび画像処理装置 Download PDF

Info

Publication number
JP4885690B2
JP4885690B2 JP2006320584A JP2006320584A JP4885690B2 JP 4885690 B2 JP4885690 B2 JP 4885690B2 JP 2006320584 A JP2006320584 A JP 2006320584A JP 2006320584 A JP2006320584 A JP 2006320584A JP 4885690 B2 JP4885690 B2 JP 4885690B2
Authority
JP
Japan
Prior art keywords
image
processing target
adjustment amount
spatial frequency
target image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2006320584A
Other languages
English (en)
Other versions
JP2008135977A (ja
Inventor
暁 藤林
チュンセン ブン
禎篤 加藤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NTT Docomo Inc
Original Assignee
NTT Docomo Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by NTT Docomo Inc filed Critical NTT Docomo Inc
Priority to JP2006320584A priority Critical patent/JP4885690B2/ja
Priority to EP07121566.9A priority patent/EP1927951B1/en
Priority to US11/945,509 priority patent/US8150194B2/en
Priority to CNA2007101960376A priority patent/CN101193255A/zh
Publication of JP2008135977A publication Critical patent/JP2008135977A/ja
Application granted granted Critical
Publication of JP4885690B2 publication Critical patent/JP4885690B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/223—Analysis of motion using block-matching
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/262—Analysis of motion using transform domain methods, e.g. Fourier domain methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Mathematical Physics (AREA)
  • Image Analysis (AREA)
  • Picture Signal Circuits (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Image Processing (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)

Description

本発明は、画像調整量を決定する画像調整量決定装置、画像調整量決定方法および画像調整量決定プログラム、並びに、上記画像調整量決定装置を含んで構成される画像処理装置に関する。
「映像」は、単一の静止画像である「フレーム画像」を連続させることにより構成されている。映像の取得、蓄積、伝送、表示、符号化および復号化等を含む映像処理は、一般的に個々のフレーム画像の鮮明度（以降、単に「鮮明度」と呼ぶ）が一定または徐々に変化する映像を対象としている。一方、人間の眼は、画像の鮮明度の違いを明確に識別することができる。したがって、鮮明度の違いは画像の品質に対する評価に直接結びつくことが多く、一般には、高鮮明度の画像は高品質と評価される。
ここで、個々のフレーム画像が鮮明度の低い画像（ボケのある画像）であっても、各フレーム画像が連続した映像として表示された場合、この映像を見る人には、フレーム画像の鮮明度が上がり映像として鮮明に見えたり、また、より滑らかな動きであるように知覚したりといった、錯視現象が生ずることが非特許文献１に記載されている。このような錯視現象は、motion sharpening現象（動きに基づく鮮明化現象ともいう）と呼ばれる。
非特許文献１には、このmotion sharpening現象は、フレーム画像に含まれる被撮影物の動きの大きさ、および空間周波数の高周波成分に起因する可能性があると記載されている。また、非特許文献１には、motion sharpening現象の中で、鮮明度が所定の基準よりも低いフレーム画像（以下「低鮮明度画像」という）で構成された映像の中に、鮮明度が所定の基準よりも高いフレーム画像（以下「高鮮明度画像」という）が挿入されることで、映像として見たときに、低鮮明度画像の鮮明度が実際の鮮明度よりも高く知覚される場合があると記載されている。特に、映像を構成するフレーム画像のうちの５０％が高鮮明度画像で構成される場合、当該映像を見た人間の目に知覚される鮮明度が、全てのフレーム画像が高鮮明度画像で構成された映像を見たときの鮮明度と変わらないように見える（即ち、主観的には知覚される鮮明度が変わらないように錯覚される）場合がある。このようにmotion sharpening現象は、高鮮明度画像と低鮮明度画像がと混在することで主観的な品質が保たれる現象ともいえる。
そこで、出願人は、このようなmotion sharpening現象は、映像のシーンチェンジ等でも確認されている時間方向のマスキング現象の一種ではないかと考えた。つまり、高鮮明度画像が低鮮明度画像の見えにくさを低減している（つまりマスクしている）と考えた。
非特許文献２には、一般にマスキング現象は、マスク刺激（マスキング効果を与える刺激）とターゲット刺激（マスキング効果を受ける刺激）の間の空間周波数成分の大きさの関係や、マスク刺激とターゲット刺激の表示タイミング（Forward masking現象やBackward masking現象）によって、当該マスキング現象の効果は変化する、と記載されている。
また、非特許文献３には、motion sharpening現象は記憶や学習といった高次の視覚認知メカニズムではなく、人間の眼の初期視覚系に存在するメカニズムの非線形な働きがもたらす、との考え方が記載されている。このことから、出願人は、主観的な品質が保たれるmotion sharpening現象には、映像を構成するフレーム画像間の「動き」と、初期視覚系に非常に大きな影響を与える「平均輝度」の両方の影響が強いものと考えた。また、マスキング効果の影響を決定する「空間周波数成分の大きさ」と「刺激同士の時間間隔」も、この現象に関わっているものと考え、これらの映像の特徴に注目し、motion sharpening現象を一種のマスキング現象として捉えた。
Takeuchi,T. & De Valois, K.K. (2005), "Sharpening image motion based on spatio-temporal characteristics of human vision", Human Vision and Electronic Imaging X 大山正・今井省吾・和気典二、「新編 感覚・知覚心理ハンドブック」誠心書房、ISBN：4414305039、第６６４ページ 竹内龍人、「動きによる映像の鮮明化」、［平成１８年１０月２６日検索］、インターネット＜URL: http://www.ntt.co.jp/journal/0510/files/jn200510050.pdf＞
しかしながら、上記の非特許文献１や非特許文献３では、motion sharpening現象に関係する映像の特徴量として「動きの大きさ」や「空間周波数成分の構成」が報告されているが、これら「動きの大きさ」、「空間周波数成分の構成」とmotion sharpening現象の効果との定量的な関係は明確ではない。また、各フレーム画像を連続した映像として見た場合に知覚される鮮明度に関して、各フレーム画像の空間周波数を低下させた場合に（即ち、鮮明度を低下させた場合に）、人間の眼には、どの程度の空間周波数が存在しているように見えるかといった実験結果の報告はなされているものの、人間の目で知覚される鮮明度（以下「主観鮮明度」と呼ぶ）を保持するための条件（即ち、映像としての主観的な品質を保持するための条件）は明確にされていない。
そこで、出願人は、上記のようなmotion sharpening現象の中で、対象の映像に含まれる特徴量と、主観鮮明度が保持される低鮮明度画像の最低限の空間周波数成分との関係を実験的に算出したところ、低鮮明度画像と、当該低鮮明度画像に対し表示順序において隣接する高鮮明度画像との間の特徴量の関係によって、主観鮮明度が保持される低鮮明度画像の最低限の空間周波数成分が異なることを明らかにしたので、本発明に至った。
本発明は、映像の中に含まれる処理対象画像とは異なるフレーム画像の特徴量に基づいて、映像としての主観的な品質を保持するための処理対象画像に関する調整量を適切に決定することを目的とする。
上述の課題を解決するために、本発明に係る画像調整量決定装置は、外部から入力された、複数のフレーム画像から成る入力映像信号を受け取り、該入力映像信号を複数のフレーム画像に分解し、該複数のフレーム画像から所定の基準に基づいて、画像処理の対象となる処理対象画像、および表示順序において前記処理対象画像の近傍に位置する１つ以上の近傍画像を決定する処理画像決定手段と、前記処理画像決定手段により決定された近傍画像に関する平均輝度および空間周波数成分の振幅、および前記決定された処理対象画像に関する空間周波数成分の振幅を抽出する画像特徴抽出手段と、前記処理対象画像と前記近傍画像の間の動き量を算出するフレーム間変化算出手段と、(1)前記近傍画像に関する平均輝度、(2)前記近傍画像および前記処理対象画像それぞれの空間周波数成分、(3)前記近傍画像および前記処理対象画像それぞれの空間周波数成分の振幅、(4)前記処理対象画像と前記近傍画像の間の動き量、および、(5)前記処理対象画像と前記近傍画像の間の時間間隔、のうち１つ又は２つ以上の組合せに基づいて、前記処理対象画像に関する空間周波数成分の振幅の調整量を決定する画像調整量決定手段と、を備え、前記画像調整量決定手段は、(1)近傍画像Ｆ０の平均輝度Ｙave（Ｆ０）、(2)近傍画像Ｆ０および処理対象画像Ｆ１それぞれの各空間周波数成分ＳＦ、(3)近傍画像Ｆ０および処理対象画像Ｆ１それぞれの各空間周波数成分ＳＦの振幅の大きさＰ＿ｓｆ、(4)近傍画像Ｆ０と処理対象画像Ｆ１間の動き量Ｖ１（ＭＶｘ１、ＭＶｙ１）、および(5)近傍画像Ｆ０と処理対象画像Ｆ１間の時間間隔ｔに基づいて、以下の式におけるパラメータＡ〜Ｇをパラメータ格納手段から呼び出し、呼び出したパラメータＡ〜Ｇおよび以下の式により、水平方向および垂直方向それぞれについて、調整量を決定することを特徴とする。
Figure 0004885690
上記の画像調整量決定装置では、画像調整量決定手段は、水平方向および垂直方向それぞれについて、近傍画像Ｆ０の各空間周波数成分ｓｆの振幅Ｐ＿ｓｆ（Ｆ０）と、処理対象画像Ｆ１の対応する空間周波数成分ｓｆの振幅Ｐ＿ｓｆ（Ｆ１）とを各空間周波数成分について比較し、前記処理対象画像Ｆ１の対応する空間周波数成分ｓｆの振幅Ｐ＿ｓｆ（Ｆ１）よりも大きい前記近傍画像Ｆ０の各空間周波数成分ｓｆの振幅Ｐ＿ｓｆ（Ｆ０）の数が、全ての空間周波数のうち所定の割合を超えるかどうかに基づいて、前記パラメータ格納手段から呼び出す前記パラメータＡ〜Ｇを選択してもよい。
また、本発明に係る画像調整量決定装置では、画像特徴抽出手段が、さらに、前記処理対象画像に関する所定の特徴量を抽出し、画像調整量決定手段が、画像特徴抽出手段により抽出された前記近傍画像に関する所定の特徴量および前記処理対象画像に関する所定の特徴量に基づいて、前記処理対象画像に関する空間周波数成分の振幅および帯域幅の少なくとも一方の調整量を決定する構成とすることが望ましい。この場合、近傍画像に関する所定の特徴量に加え、処理対象画像に関する所定の特徴量をも基礎として、処理対象画像に関する空間周波数成分の振幅および帯域幅の少なくとも一方の調整量を決定するため、例えば、近傍画像に関する所定の特徴量と処理対象画像に関する所定の特徴量の両者の関係に基づいて決定される視覚的なマスキング効果を考慮して上記調整量を決定することができる。
また、本発明に係る画像調整量決定装置は、前記処理対象画像と前記近傍画像の間の変化を表す所定の変化量を算出するフレーム間変化算出手段をさらに備え、前記画像調整量決定手段は、前記フレーム間変化算出手段により算出された変化量をも基礎として、前記処理対象画像に関する空間周波数成分の振幅および帯域幅の少なくとも一方の調整量を決定する構成とすることが望ましい。この場合、処理対象画像と近傍画像の間の変化を表す所定の変化量をも基礎として、上記調整量を決定することができる。このため、例えば、処理対象画像と近傍画像の間の変化により引き起こされる輝度値の不連続性などによる人間の目の能力の低下が引き起こす時間的なマスキング効果を踏まえることができるため、より大きな視覚的なマスキング効果を考慮して上記調整量を決定することができる。
また、本発明に係る画像調整量決定装置では、画像特徴抽出手段が、所定の特徴量として、平均輝度および空間周波数成分の振幅の少なくとも一つを抽出する構成とすることが望ましい。この場合、画像の特徴量として、視覚特性およびマスキング現象に大きな影響を与える平均輝度および空間周波数成分の振幅の少なくとも一つを抽出することができるため、視覚的なマスキング効果を十分に考慮して上記調整量を決定することができる。
また、本発明に係る画像調整量決定装置では、フレーム間変化算出手段が、所定の変化量として、前記処理対象画像と前記近傍画像の間の動き量を算出する構成とすることが望ましい。motion sharpening現象では動きが大きいほどそのマスキング効果が大きいという相関関係が報告されている。そのため、処理対象画像と近傍画像の間の動き量を算出することで、上記の相関関係を踏まえ、視覚的なマスキング効果を十分に考慮して上記調整量を決定することができる。
また、本発明に係る画像調整量決定装置では、処理画像決定手段が、近傍画像として、表示順序において前記処理対象画像より前に位置する画像と、前記処理対象画像より後に位置する画像のうち、両方又は一方を決定する構成とすることが望ましい。ここでは、近傍画像として、表示順序において処理対象画像より前に位置する画像を決定することで、近傍画像から処理対象画像に対するForward masking現象としての視覚的なマスキング効果を考慮した上記調整量を決定することができる。同様に、近傍画像として、表示順序において処理対象画像より後に位置する画像を決定することで、近傍画像から処理対象画像に対するBackward masking現象としての視覚的なマスキング効果を考慮した上記調整量を決定することができる。さらに、近傍画像として、表示順序において処理対象画像より前に位置する画像と後に位置する画像の両方を決定することで、時間的に前後の近傍画像から受けるForward maskingおよびBackward maskingの両方のマスキング効果を考慮した上記調整量を決定することができる。
また、本発明に係る画像調整量決定装置では、画像調整量決定手段が、処理対象画像と近傍画像の間の時間間隔をも基礎として、処理対象画像に関する空間周波数成分の振幅および帯域幅の少なくとも一方の調整量を決定する構成とすることが望ましい。motion sharpening現象では、マスキング効果のマスク量は時間的に近いほど強く、時間の経過にともなってマスク量が減少する、といった特性がある。このようにマスキング効果と時間経過には相関関係があるため、処理対象画像と近傍画像の間の時間間隔の影響を考慮して上記調整量を適切に決定することができる。
また、本発明に係る画像調整量決定装置では、画像調整量決定手段が、調整前の映像信号について知覚される鮮明度に対し、調整後の処理対象画像を含む映像信号について知覚される鮮明度が、所定の同一範囲内に保持されるように予め設定された基準、を満たすように、調整量を決定する構成とすることが望ましい。この場合、motion sharpening現象によって、鮮明度が所定の同一範囲内に保持される基準（主観的な品質が保たれる基準）を考慮して上記調整量を決定することができる。上記の基準としては、例えば、主観評価試験等で利用されるＭＯＳ値が一定値を超える、といった基準を採用することができる。
また、本発明に係る画像調整量決定装置では、画像処理量決定手段が、調整量として、２種類以上の異なる特性の合成で表現される調整量を決定する構成とすることが望ましい。この場合、例えば、処理対象画像に対する調整量の空間周波数成分の形状について、視覚の時空間周波数特性が「過渡」と「持続」と呼ばれる２種類の異なる特性を持つ部分から構成される場合、motion sharpening現象に関しマスキング効果がこれら２種類の特性の存在によって表現可能であり、調整量としての空間周波数成分の形状を決定することで、主観的品質を保持する上でのmotion sharpening現象について視覚的見地からも説明可能な調整量を決定することができる。
本発明に係る画像処理装置は、前述したような画像調整量決定装置と、画像処理量決定装置により決定された調整量に基づいて、処理対象画像に関する空間周波数成分の振幅を調整する画像調整手段と、を備えることを特徴とする。このような画像処理装置によれば、前述したような画像調整量決定装置により決定された調整量に基づいて、処理対象画像に関する空間周波数成分の振幅を調整することができる。
さて、画像調整量決定装置に係る発明は、画像調整量決定方法に係る発明、および画像調整量決定プログラムに係る発明として捉え、それぞれ以下のように記載することができる。これら画像調整量決定方法に係る発明、および画像調整量決定プログラムに係る発明は、画像調整量決定装置に係る発明と同様の効果を奏する。
本発明に係る画像調整量決定方法は、画像調整量決定装置が、外部から入力された、複数のフレーム画像から成る入力映像信号を受け取り、該入力映像信号を複数のフレーム画像に分解し、該複数のフレーム画像から所定の基準に基づいて、画像処理の対象となる処理対象画像、および表示順序において前記処理対象画像の近傍に位置する１つ以上の近傍画像を決定する処理画像決定ステップと、前記画像調整量決定装置が、前記処理画像決定ステップにて決定された近傍画像に関する平均輝度および空間周波数成分の振幅、および前記決定された処理対象画像に関する空間周波数成分の振幅を抽出する画像特徴抽出ステップと、前記画像調整量決定装置が、前記処理対象画像と前記近傍画像の間の動き量を算出するフレーム間変化算出ステップと、前記画像調整量決定装置が、(1)前記近傍画像に関する平均輝度、(2)前記近傍画像および前記処理対象画像それぞれの空間周波数成分、(3)前記近傍画像および前記処理対象画像それぞれの空間周波数成分の振幅、(4)前記処理対象画像と前記近傍画像の間の動き量、および、(5)前記処理対象画像と前記近傍画像の間の時間間隔、のうち１つ又は２つ以上の組合せに基づいて、前記処理対象画像に関する空間周波数成分の振幅の調整量を決定する画像調整量決定ステップと、を有し、前記画像調整量決定ステップにおいて、前記画像調整量決定装置は、(1)近傍画像Ｆ０の平均輝度Ｙave（Ｆ０）、(2)近傍画像Ｆ０および処理対象画像Ｆ１それぞれの各空間周波数成分ＳＦ、(3)近傍画像Ｆ０および処理対象画像Ｆ１それぞれの各空間周波数成分ＳＦの振幅の大きさＰ＿ｓｆ、(4)近傍画像Ｆ０と処理対象画像Ｆ１間の動き量Ｖ１（ＭＶｘ１、ＭＶｙ１）、および(5)近傍画像Ｆ０と処理対象画像Ｆ１間の時間間隔ｔに基づいて、以下の式におけるパラメータＡ〜Ｇをパラメータ格納手段から呼び出し、呼び出したパラメータＡ〜Ｇおよび以下の式により、水平方向および垂直方向それぞれについて、前記調整量を決定することを特徴とする。
Figure 0004885690
本発明に係る画像調整量決定プログラムは、コンピュータを、外部から入力された、複数のフレーム画像から成る入力映像信号を受け取り、該入力映像信号を複数のフレーム画像に分解し、該複数のフレーム画像から所定の基準に基づいて、画像処理の対象となる処理対象画像、および表示順序において前記処理対象画像の近傍に位置する１つ以上の近傍画像を決定する処理画像決定手段と、前記処理画像決定手段により決定された近傍画像に関する平均輝度および空間周波数成分の振幅、および前記決定された処理対象画像に関する空間周波数成分の振幅を抽出する画像特徴抽出手段と、前記処理対象画像と前記近傍画像の間の動き量を算出するフレーム間変化算出手段と、(1)前記近傍画像に関する平均輝度、(2)前記近傍画像および前記処理対象画像それぞれの空間周波数成分、(3)前記近傍画像および前記処理対象画像それぞれの空間周波数成分の振幅、(4)前記処理対象画像と前記近傍画像の間の動き量、および、(5)前記処理対象画像と前記近傍画像の間の時間間隔、のうち１つ又は２つ以上の組合せに基づいて、前記処理対象画像に関する空間周波数成分の振幅の調整量を決定する画像調整量決定手段、として、機能させるための画像調整量決定プログラムであり、前記画像調整量決定手段は、(1)近傍画像Ｆ０の平均輝度Ｙave（Ｆ０）、(2)近傍画像Ｆ０および処理対象画像Ｆ１それぞれの各空間周波数成分ＳＦ、(3)近傍画像Ｆ０および処理対象画像Ｆ１それぞれの各空間周波数成分ＳＦの振幅の大きさＰ＿ｓｆ、(4)近傍画像Ｆ０と処理対象画像Ｆ１間の動き量Ｖ１（ＭＶｘ１、ＭＶｙ１）、および(5)近傍画像Ｆ０と処理対象画像Ｆ１間の時間間隔ｔに基づいて、以下の式におけるパラメータＡ〜Ｇをパラメータ格納手段から呼び出し、呼び出したパラメータＡ〜Ｇおよび以下の式により、水平方向および垂直方向それぞれについて、前記調整量を決定することを特徴とする。
Figure 0004885690
本発明によれば、映像の中に含まれる処理対象画像とは異なるフレーム画像の特徴量に基づいて、映像としての主観的な品質を保持するための処理対象画像に関する調整量を適切に決定することができる。
以下、本発明に係る各種の実施形態を図面に基づき説明する。なお、各図において、同一構成要素には同一符号を付して重複する説明を省略する。
［第１実施形態］
まず、本発明に係る第１実施形態について説明する。図１は、第１実施形態における画像調整量決定装置１０の機能構成を例示するブロック構成図である。この画像調整量決定装置１０は、ハードウェアとしては、ＣＰＵ（中央処理装置）、メモリ等の記憶装置、映像を入出力するための入出力装置（通信装置）などを備えるコンピュータにより構成される。このような画像調整量決定装置１０は、例えば、パーソナルコンピュータ等の据え置き型の通信端末、又は携帯電話機等の移動通信端末などの各種の情報処理装置により構成することができる。
［画像調整量決定装置１０の機能ブロック構成］
次に、図１を参照して画像調整量決定装置１０の機能ブロック構成について説明する。図１に示すように、画像調整量決定装置１０は、処理画像決定手段１０１と、画像特徴抽出手段１０２と、フレーム画像間変化算出手段１０３と、画像調整量決定手段１０４と、パラメータ格納手段１０５とを含んで構成される。
（処理画像決定手段１０１について）
このうち処理画像決定手段１０１は、外部から動画像信号として入力された入力映像信号１０６を受け取り、該入力映像信号１０６に対しフレームレートｆの分析を行ってフレーム画像に分解し、所定の基準Ｋに基づいて、画像処理の対象となる処理対象画像Ｆ１を決定する。ここでは、基準Ｋとして、例えば、フレーム画像を表示順序に並べたときの当該表示順序を示すフレーム番号（以下「表示順序番号」という）が偶数であるとの基準を採用する。
なお、基準Ｋとしては、上記に限定されるものではなく、例えば、表示順序番号が予め定められた数値Ｍによって割り切れるとの基準や、表示順序番号が予め定められた数値Ｍによって割り切れないとの基準を採用してもよい。また、基準Ｋとしては、表示順序以外のもの、例えば、平均輝度、帯域幅、画像の空間周波数成分の大きさといった数値を用いても良く、平均輝度、帯域幅、および画像の空間周波数成分の大きさが、それぞれ所定の基準値よりも大きいとの基準を採用してもよい。なお、上記のような基準Ｋは、処理画像決定手段１０１が予め記憶していてもよいし、外部から処理画像決定手段１０１へ入力してもよい。
さらに、処理画像決定手段１０１は、処理対象フレーム画像Ｆ１を決定した後、表示順序において直前の画像であるフレーム画像Ｆ０と、直後の画像であるフレーム画像Ｆ２とを決定する。その後、上記分解されたフレーム画像は、Ｌ１０７経由で画像特徴抽出手段１０２およびフレーム画像間変化算出手段１０３に送られる。
なお、上記では、処理対象フレーム画像Ｆ１以外に、直前のフレーム画像Ｆ０と直後のフレーム画像Ｆ２とを決定する例を示したが、これに限定されるものではなく、表示順序において処理対象画像Ｆ１の前後であれば、どのフレーム画像を決定してもよい。また、表示順序において処理対象画像Ｆ１より前の画像のみを決定してもよいし、処理対象画像Ｆ１より後の画像のみを決定してもよい。
また、上記のようなフレーム画像Ｆ０、Ｆ２の決定は、表示順序のみを基準として決定したが、表示順序以外のものを基準として決定してもよい。例えば、後述する画像の特徴量を基準としてもよいし、表示時間を基準としてもよい。表示時間を基準とする例としては、処理対象フレーム画像Ｆ１の前後１００ミリ秒以内に存在するフレーム画像をフレーム画像Ｆ０、Ｆ２として決定してもよい。
また、本実施形態では、近傍画像として、処理対象画像Ｆ１の前後の画像（計２枚の画像）を決定したが、決定する枚数は１枚以上であれば何枚であってもよい。
（画像特徴抽出手段１０２について）
次に、画像特徴抽出手段１０２について説明する。まず、画像特徴抽出手段１０２は、処理対象画像Ｆ１およびフレーム画像Ｆ０、Ｆ２についての平均輝度および空間周波数成分の振幅の大きさを以下のようにして算出する。具体的には、画像特徴抽出手段１０２は、各フレーム画像に対して２次元フーリエ変換を施し周波数係数行列を生成し、その周波数係数行列内の係数のパワースペクトルを算出する。つまり、画像特徴抽出手段１０２は、各フーリエ係数の実数項の２乗と虚数項の２乗の和の平方根を、各空間周波数の空間周波数振幅の大きさとして算出する。また、平均輝度については、画像特徴抽出手段１０２は、空間周波数のＤＣ成分のみを抽出し輝度値に逆変換を行うことで平均輝度を算出する。図３のグラフには、周波数領域における空間周波数成分の振幅を例示しており、空間周波数＝０における振幅がＤＣ成分の大きさを示している。なお、空間周波数成分の振幅に関する表現法は、上記に限定されるものではなく、その他の表現法でもよい。また、平均輝度は、各フレーム画像の輝度値の平均値を算出することで求めても良い。また、平均輝度と、空間周波数成分の振幅の大きさのうち、何れか一方を算出してもよい。
なお、本実施形態では、フレーム画像単位で平均輝度と空間周波数成分の振幅を求める例を示すが、これに限るものではなく、例えばブロック単位で平均輝度と空間周波数成分の振幅を求めても良い。
また、本実施形態では、２次元の空間周波数成分の振幅を算出したが、１次元フーリエ変換を用いて空間周波数成分の振幅を算出しても良い。その場合、例えば、水平方向の各１列にフーリエ変換を行って算出してもよい。また、垂直方向、水平方向、水平垂直以外の所定方向、のうち何れか１つ以上に対する空間周波数成分の振幅を対象としてもよい。
また、本実施形態では、空間周波数成分の振幅をそのまま利用したが、ある基準値からの空間周波数成分の大きさの差分によって空間周波数成分の振幅を表現してもよい。例えば、空間周波数成分を電力の大きさとして表現し、所定の電力基準値Ｙ[dB]（Ｙ＝４０）からの空間周波数成分の大きさの差分によって空間周波数成分の振幅を表現してもよい。
また、本実施形態では、周波数変換にフーリエ変換を用いたが、フーリエ変換以外の離散コサイン変換や離散ウェーブレット変換などの他の周波数変換を用いてもよい。
また、本実施形態では、画像の「特徴量」として平均輝度と空間周波数成分の振幅の大きさとを算出したが、その他の特徴量を算出しても良い。例えば、空間周波数成分の帯域幅の分散や振幅の分散を算出しても良いし、画像の輝度値を用いた特徴量（画素値の分散、画像のコントラストなど）を算出しても良い。
また、本実施形態では、処理対象画像Ｆ１と、表示順序においてその前後に存在するフレーム画像Ｆ０、Ｆ２の双方に関する特徴量を算出したが、処理対象画像Ｆ１に関する特徴量については算出せず、その前後に存在するフレーム画像Ｆ０、Ｆ２に関する特徴量のみを算出し、フレーム画像Ｆ０、Ｆ２に関する特徴量のみに基づいて、処理対象画像Ｆ１に関する調整量を決定してもよい。
その後、画像特徴抽出手段１０２は、上記のようにして算出された平均輝度および空間周波数成分の振幅の大きさを、画像調整量決定手段１０４に送信する。
（フレーム画像間変化算出手段１０３について）
次に、フレーム画像間変化算出手段１０３について説明する。図２は、複数のフレーム画像から成る映像の概念図である。なお、説明の便宜のため、図２に示す処理対象画像Ｆ１および画像Ｆ０、Ｆ２の連続する計３枚のフレーム画像を用いて説明する。フレーム画像間変化算出手段１０３は、以下のようにして画像Ｆ０〜Ｆ２の間の動き量を算出する。以下、動き量の算出処理について詳細に説明する。
まず、フレーム画像間変化算出手段１０３は、連続する２枚のフレーム画像を順次読み込む。そして、フレーム画像間変化算出手段１０３は、読み込んだ２枚のフレーム画像間で、一致度が所定値以上の画像信号パターン（いわゆる互いに類似する画像信号パターン）に基づいて、上記２枚のフレーム画像間における空間的な変位量としての動きベクトル（ＭＶｂｘ，ＭＶｂｙ）を算出する。
本実施形態では、フレーム画像間変化算出手段１０３は、フレーム画像を所定の大きさの複数のブロックに分割し、画像Ｆ１の各ブロックについて、当該各ブロックの画像信号パターンに最も類似する画像信号パターン（例えば一致度が所定値以上の画像信号パターン）を、ブロックマッチング法などの探索処理を用いて画像Ｆ０から探索する。そして、フレーム画像間変化算出手段１０３は、画像Ｆ０とＦ１との間で画像信号パターンが共通するブロック同士で、フレーム画像内で位置がどの程度ずれているかを示すずれ量を判断することにより、動きベクトルを算出する。
その後、フレーム画像間変化算出手段１０３は、全ブロックについて算出された動きベクトル（ＭＶｂｘ，ＭＶｂｙ）に基づいて、各ブロックの動きベクトルの中央値を算出することによりフレーム画像全体における動き量Ｖ１（ＭＶｘ１，ＭＶｙ１）を算出する。また、画像Ｆ２と画像Ｆ１の間の動きベクトルに関しても、同様の手順で、動き量Ｖ２（ＭＶｘ２，ＭＶｙ２）算出する。
なお、本実施形態では、全ブロックについて算出された動きベクトルの中央値を算出したが、全ブロックについての動きベクトルの中央値に代えて、例えばフレーム画像に含まれるブロックごとに算出された動きベクトルの大きさ（ＭＶｘ，ＭＶｙ）についての平均値、最大値、中間値、最小値、のうちの何れかを用いても良い。また、各ブロックの動きベクトルをそのまま利用してもよい。
また、本実施形態では、動き量の算出にブロックマッチング法を用いたが、これに限るものではない。他の算出法、例えばオプティカルフロー等を用いて動きベクトルを算出してもよい。
また、本実施形態では、動きベクトルを利用して動き量を算出したが、画像の動きに注目した他の特徴量、例えば、動きの方向、フレーム画像内のブロックの持つ動きベクトルの分布、各動きベクトルの大きさの差、各動きベクトルの方向差、規定値以上の大きさの動きベクトルの割合などに基づいて、フレーム画像間の変化量を算出してもよい。
また、本実施形態では、フレーム画像間の変化として、動き量を算出したが、それ以外にも、画素値の変化に注目をしたフレーム画像間の変化（例えば、輝度値の変化量、平均輝度の変化など）を算出してもよい。
また、動き量は、画像の周波数変換時の位相を用いて算出してもよい。この場合、２枚の画像の全画素それぞれに対し離散フーリエ変換などを行い、画素空間から周波数空間への変換を行って、各画像の同一周波数成分を除算することで、位相の大きさを用いた動き量を算出すればよい。各周波数成分の位相を算出した後、全位相の値を合計し、合計値を動き量とする。また、周波数変換後の位相の利用は、これに限るものではなく、２画像間の動き量を表すものであればどのように算出してもよい。
また、本実施形態では、処理対象画像Ｆ１に対し直前のフレーム画像と直後のフレーム画像を利用して動き量を算出しているが、これに限定されるものではない。例えば、処理対象画像Ｆ１と近傍のフレーム画像Ｆ０との間に別のフレーム画像が存在する場合には、当該別のフレーム画像も利用して動きベクトルを算出してもよい。
また、本実施形態では、処理対象画像Ｆ１および画像Ｆ０、Ｆ２をそのまま利用して動きベクトルを算出したが、これら処理対象画像Ｆ１および画像Ｆ０、Ｆ２に対しフィルタ処理などを行ってから動きベクトルを算出してもよい。例えば、エッジ強調フィルタ等を用いることで、ボケに対してもっとも変化のある、エッジに注目した動きベクトルを算出することができる。また、ローパスフィルタ等を用いることで、雑音の影響の少ない画像間で動きベクトルを算出することができる。
その後、フレーム画像間変化算出手段１０３は、算出した画像Ｆ０〜Ｆ１間の動き量Ｖ１（ＭＶｘ１，ＭＶｙ１）と、Ｆ１〜Ｆ２間の動き量Ｖ２（ＭＶｘ２，ＭＶｙ２）を画像調整量決定手段１０４に送信する。
（パラメータ格納手段１０５について）
パラメータ格納手段１０５には、人間が各特徴を持つ映像（フレーム画像Ｆ０〜Ｆ２）を合わせて見た際に主観的な品質が保たれる基準Ｖ（例えばＭＯＳ評価が4.0以上となるなど）を満たすパラメータが予め格納されている。
ただし、パラメータ格納手段１０５には、上記基準Ｖ以外の基準、例えば、ＰＳＮＲなどの客観指標に基づく基準Ｖに基づくパラメータ群を格納しておいてもよい。
（画像調整量決定手段１０４について）
次に、画像調整量決定手段１０４について説明する。画像調整量決定手段１０４には、フレーム画像Ｆ０〜Ｆ２についての平均輝度および空間周波数成分の振幅の大きさがＬ１０８経由で入力され、フレーム画像Ｆ０〜Ｆ１間の動き量およびフレーム画像Ｆ１〜Ｆ２間の動き量がＬ１０９経由で入力される。画像調整量決定手段１０４は、送られてきた平均輝度、空間周波数成分の振幅の大きさ、および動きベクトルの大きさに基づいて、以下のようにして、処理対象画像Ｆ１についての空間周波数成分の振幅・帯域幅が制限される調整量を決定する。なお、本実施形態で説明する帯域幅は、周波数係数列にある係数の中でその大きさが直流成分のｙ％以下となる最大周波数成分をその画素列の帯域とする。例えば、本実施形態ではｙ＝0.5とするが、それ以外の数値を用いてもよい。また、本実施形態では、水平方向、垂直方向それぞれの空間周波数成分に対する調整量を以下のようにして決定する。
まず、画像調整量決定手段１０４は、水平方向について、画像Ｆ０の各空間周波数成分ｓｆの振幅の大きさＰ＿ｓｆ（Ｆ０）と、画像Ｆ１の対応する空間周波数ｓｆの成分の大きさＰ＿ｓｆ（Ｆ１）とをそれぞれ比較する。そして、全ての空間周波数成分について比較した後、Ｐ＿ｓｆ（Ｆ１）よりも大きいＰ＿ｓｆ（Ｆ０）の数が、全ての空間周波数のうちＸ％（ここではＸ＝５０％と設定する）を超える場合に、画像調整量決定手段１０４は、(1)画像Ｆ０の平均輝度Ｙave（Ｆ０）、(2)各空間周波数成分ｓｆ、(3)各空間周波数成分ｓｆの振幅の大きさＰ＿ｓｆ（Ｆ０）、(4)Ｆ０〜Ｆ１間の動き量Ｖ１（ＭＶｘ１、ＭＶｙ１）におけるＭＶｘ１の値、および(5)処理画像決定手段１０１にて算出したフレームレートｆと両フレーム画像の間のフレーム画像枚数Ｎとによって求められるフレーム画像同士の時間間隔ｔ（（フレーム画像枚数Ｎ／フレームレートｆ）に相当）に基づいて、以下の式１におけるパラメータＡ〜Ｇをパラメータ格納手段１０５から呼び出し、呼び出したパラメータＡ〜Ｇおよび式（１）より調整量１ｘを決定する。
Figure 0004885690
一方、Ｐ＿ｓｆ（Ｆ１）よりも大きいＰ＿ｓｆ（Ｆ０）の数が、全ての空間周波数のうちＸ％を超えない場合には、上記Ａ〜Ｇとは異なるパラメータ群をパラメータ格納手段１０５から呼び出し、呼び出したパラメータＡ〜Ｇおよび式（１）より調整量１ｘを決定する。
次に、画像調整量決定手段１０４は、垂直方向についての空間周波数成分の調整量１ｙも、上記と同様の手法を用いて算出する。その際、各空間周波数成分ｓｆの振幅の大きさＰ＿ｓｆとしては垂直方向のものを利用し、動き量としてはＦ０〜Ｆ１間の動き量Ｖ１（ＭＶｘ１、ＭＶｙ１）におけるＭＶｙ１の値を利用する。
なお、式１において調整量(Yave,sf,Psf,mv,t)は、一次元空間周波数成分の調整量の振幅特性を意味し、各係数n、α、β、γ１、γ２、γ３は定数である。
同様に、画像調整量決定手段１０４は、まず水平方向について、画像Ｆ２の各空間周波数成分ｓｆの振幅の大きさＰ＿ｓｆ（Ｆ２）と、画像Ｆ１の対応する空間周波数ｓｆの成分の大きさＰ＿ｓｆ（Ｆ１）とをそれぞれ比較する。そして、全ての空間周波数成分について比較した後、Ｐ＿ｓｆ（Ｆ１）よりも大きいＰ＿ｓｆ（Ｆ２）の数が、全ての空間周波数のうちＸ％（ここではＸ＝５０％と設定する）を超える場合に、画像調整量決定手段１０４は、(1)画像Ｆ２の平均輝度Ｙave（Ｆ２）、(2)各空間周波数成分ｓｆ、(3)各空間周波数成分ｓｆの振幅の大きさＰ＿ｓｆ（Ｆ２）、(4)Ｆ１〜Ｆ２間の動き量Ｖ２（ＭＶｘ２、ＭＶｙ２）におけるＭＶｘ２の値、および(5)処理画像決定手段１０１にて算出したフレームレートｆと両フレーム画像の間のフレーム画像枚数Ｎとによって求められるフレーム画像同士の時間間隔ｔ（（フレーム画像枚数Ｎ／フレームレートｆ）に相当）に基づいて、上記の式１におけるパラメータＡ〜Ｇをパラメータ格納手段１０５から呼び出し、呼び出したパラメータＡ〜Ｇおよび式（１）より調整量２ｘを決定する。
一方、Ｐ＿ｓｆ（Ｆ１）よりも大きいＰ＿ｓｆ（Ｆ２）の数が、全ての空間周波数のうちＸ％を超えない場合には、上記Ａ〜Ｇとは異なるパラメータ群をパラメータ格納手段１０５から呼び出し、呼び出したパラメータＡ〜Ｇおよび式（１）より調整量２ｘを決定する。
次に、画像調整量決定手段１０４は、垂直方向についての空間周波数成分の調整量２ｙも、上記と同様の手法を用いて算出する。その際、各空間周波数成分ｓｆの振幅の大きさＰ＿ｓｆとしては垂直方向のものを利用し、動き量としてはＦ１〜Ｆ２間の動き量Ｖ２（ＭＶｘ２、ＭＶｙ２）におけるＭＶｙ２の値を利用する。
以上のように求められた、画像Ｆ０と画像Ｆ１間の特徴量から決定されたパラメータに基づき計算された調整量１ｘおよび調整量１ｙ、並びに、画像Ｆ１と画像Ｆ２間の特徴量から決定されたパラメータに基づき計算された調整量２ｘおよび調整量２ｙより、同方向同士の調整量を合計することで調整量３ｘおよび調整量３ｙを算出する。即ち、３ｘ＝１ｘ＋２ｘ、３ｙ＝１ｙ＋２ｙである。
その後、画像調整量決定手段１０４は、算出された調整量３ｘおよび調整量３ｙをＬ１１１経由で出力する。
なお、本実施形態では、調整量１ｉと調整量２ｉ（ｉはｘもしくはｙを示す）を別々に算出し、それらを用いて調整量３ｉを算出したが、フレーム画像Ｆ０〜Ｆ２の特徴量から、調整量３ｉのパラメータを直接決定してもよい。
また、本実施形態では、調整量を水平方向・垂直方向について別々に算出したが、２次元の調整量の算出を行っても良い。
また、本実施形態では、フレーム画像間の全ての空間周波数成分について振幅の大きさの比較を行ってパラメータを選択したが、空間周波数成分のうち一部のみについて比較を行ってパラメータを選択してもよいし、上記のような比較を行わずにパラメータを選択してもよい。また、比較の際の割合Ｘを「５０」と設定したが、それに限るものではない。また、全ての空間周波数成分の振幅の大きさに基づいて空間周波数ごとにパラメータの選択を行っても良い。
なお、本実施形態では、(1)フレーム画像Ｆ０又はＦ２の平均輝度Ｙave、(2)各空間周波数成分ｓｆ、(3)フレーム画像Ｆ０又はＦ２の各空間周波数成分ｓｆの振幅の大きさＰ＿ｓｆ、(4)フレーム画像間の動きベクトルＶ（ＭＶｘ、ＭＶｙ）、および(5)フレーム画像同士の時間間隔ｔに基づいて、パラメータＡ〜Ｇを決定したが、(1)〜(5)のうち少なくとも１つの特徴量を用いてパラメータを決定すればよい。また、（１）および（３）についてはフレーム画像Ｆ０又はＦ２の相対的な関係を用いて、パラメータを決定してもよい。また、映像の特徴量以外にも、映像を見ている環境に関する情報も利用してパラメータを決定してもよい。例えば、ディスプレイの表示能力（解像度等）、観視距離、映像のサイズ等の情報を外部から入力してそれらの値も用いてパラメータを決定してもよい。
また、本実施形態では、比較としては、画像Ｆ０と処理対象画像Ｆ１の空間周波数成分の振幅の比較、および、画像Ｆ２と処理対象画像Ｆ１の空間周波数成分の振幅の比較を行ったが、これに限るものではなく、平均輝度の比較を行っても良い。
また、本実施形態では、動き量Ｖ（ＭＶｘ、ＭＶｙ）以外にフレーム画像間の変化に関する特徴量は用いていないが、例えば、平均輝度の変化量や空間周波数成分の変化量なども特徴量として利用してパラメータを決定してもよい。また、動きの方向、フレーム画像内の動きベクトルの分布、各動きベクトルの大きさの差、各動きベクトルの方向差、規定値以上の大きさの動きベクトルの割合、といった特徴量は用いて動き量を算出してもよい。
なお、本実施形態の空間周波数成分の振幅・帯域幅の制限量の振幅特性を示す上記の式１は、マスキング現象の定性的なモデルを見習い、右辺の第１項
Figure 0004885690
が人間の視覚における「過渡」チャネルを表現し、右辺の第２項〜第４項
Figure 0004885690
が「持続」チャネルを表現するように（即ち、２つの異なる特性を表現するように）、１つのローパスフィルタと３つのバンドパスフィルタとを合成した構成としている。これにより、視覚的見地からも説明しやすいものとしている。ただし、空間周波数成分の振幅・帯域幅の制限量を表現する方法はこれに限るものではなく、例えば３つ以上の異なる特性の合成で表現するものであってもよい。また、フィルタを用いて表現する場合でもフィルタの種類や数はこれに限定するものではない。また、より一般的なフィルタ、例えばローパスフィルタ、ハイパスフィルタ、バンドパスフィルタ、バンドリジェクトフィルタ、これらを組み合わせたフィルタなどを用いてよい。また、式１における各係数ｎ、α、β、γ１、γ２、γ３は定数としたが、これらの値も各フレーム画像の特徴量によって決定されるパラメータとして設定してもよい。
また、本実施形態では、調整量１ｉと調整量２ｉの合計値を算出して、調整量３ｉとしたが、調整量１ｉと調整量２ｉのうち、空間周波数成分の調整量の帯域幅制限が大きい方（又は小さい方）を調整量３ｉとしてもよい。また、調整量３ｉとしては、調整量１ｉと調整量２ｉの平均値、最大値、最小値、中央値等を用いてもよい。
また、上記以外の異なる基準、例えば、通過域の特性が所定基準よりも良いこと、減衰域の特性が所定基準よりも良いこと、といった振幅特性の性質の良さに関する基準を用いてもよい。また、２枚以上のフレーム画像が選択された場合にも、同様の基準を用いて判定すればよい。
また、本実施形態では、調整量１ｉと調整量２ｉは、同じ式１を用いて調整量を決定したが、互いに異なる式によって調整量を決定してもよい。例えば、表示順序の前後でマスキング効果の性質が異なることを表現するような異なる式を用いても良い。
また、本実施形態の調整量は、空間周波数成分の振幅と帯域幅の両方に関する調整量を示しているが、空間周波数成分の振幅と帯域幅のうち、どちらか一方に関する調整量を示しても良い。
また、本実施形態では、調整量として、空間周波数成分の振幅および帯域幅を制限するための量として説明したが、空間周波数成分の振幅および帯域幅を広げるための量であってもよい。
［画像調整量決定装置１０における画像処理］
次に、図４に基づいて、第１実施形態の画像調整量決定装置１０における画像処理について説明する。図４は、画像調整量決定装置１０の画像処理を示すフローチャートである。
まず、処理画像決定手段１０１は、Ｌ１０７経由で送られてきた入力映像信号１０６を受け取り（ステップＳ４００）、該入力映像信号１０６に対しフレームレートｆの分析を行ってフレーム画像に分解し（ステップＳ４０１）、分解で得られたフレーム画像の中から、処理対象画像Ｆ１および表示順序で処理対象画像の前後に隣接するフレーム画像Ｆ０、Ｆ２の計３枚を決定する（ステップＳ４０２）。決定されたフレーム画像Ｆ０〜Ｆ２は、順次画像特徴抽出手段１０２およびフレーム画像間変化算出手段１０３に送信される。
次に、画像特徴抽出手段１０２は、上記フレーム画像Ｆ０〜Ｆ２の平均輝度および各空間周波数成分の振幅の大きさを算出する（ステップＳ４０３）。その算出方法は、前述したとおりである。算出された平均輝度および空間周波数成分の振幅の大きさは画像調整量決定手段１０４に送られる。
ステップＳ４０３と並行して、フレーム画像間変化算出手段１０３は、画像Ｆ０〜画像F２に基づいて、動き量として、Ｆ０〜Ｆ１間およびＦ１〜Ｆ２間のフレーム画像間の動きベクトルを算出し、フレーム画像Ｆ０からフレーム画像Ｆ１の動き量およびフレーム画像Ｆ１からフレーム画像Ｆ２の動き量を算出する（ステップＳ４０４）。動き量の算出方法は、前述したとおりである。算出された動き量は画像調整量決定手段１０４に送られる。
次に、画像調整量決定手段１０４は、算出された平均輝度、空間周波数成分の振幅、空間周波数、動き量、フレーム画像間の時間間隔に基づき、パラメータ格納手段１０５に格納されるパラメータを選択する（ステップＳ４０５）。そして、画像調整量決定手段１０４は、選択したパラメータに基づき生成される、フレーム画像Ｆ０から処理対象画像Ｆ１に対する空間周波数成分の振幅・帯域幅の調整量１と、フレーム画像Ｆ２からフレーム画像Ｆ１に対する調整量２との合計値を算出し、算出した合計値を、処理対象画像に対する空間周波数成分の振幅・帯域幅の調整量３として決定する（ステップＳ４０６）。ここでの調整量の決定方法は、前述したとおりである。その後、決定された調整量３は出力され、図４の処理を終了する。
［第１実施形態の効果］
以上のように、第１実施形態における画像調整量決定装置１０によれば、映像の中の処理対象フレーム画像が決定され、表示順序が処理対象フレーム画像の前後のフレーム画像の平均輝度、空間周波数成分の振幅およびフレーム画像間の動き量が算出される。そして、算出された上記の特徴量に基づき、予め設定された主観品質（例えば主観鮮明度）を保つのに必要な最低限の空間周波数成分の振幅・帯域幅を示す調整量を構成するためのパラメータを決定して調整量が決定される。したがって、入力映像信号の処理対象画像Ｆ１に対して、処理対象画像Ｆ１とその前後のフレーム画像Ｆ０、Ｆ２の特徴量から、映像として前後のフレーム画像と合わせて見た際には主観鮮明度が保たれるような空間周波数の振幅・帯域幅の調整量を決定し、映像としての品質を保ちながら、処理対象画像Ｆ１に対する情報量の削減の指標となる調整量を適切に決定することができる。
［第２実施形態］
次に、本発明に係る第２実施形態について説明する。図５は、第２実施形態における画像処理装置５０の機能構成を例示するブロック構成図である。この画像処理装置５０は、ハードウェアとしては、ＣＰＵ（中央処理装置）、メモリ等の記憶装置、映像を入出力するための入出力装置（通信装置）などを備えるコンピュータにより構成される。このような画像処理装置５０は、例えば、パーソナルコンピュータ等の据え置き型の通信端末、又は携帯電話機等の移動通信端末などの各種の情報処理装置により構成することができる。
［画像処理装置５０の機能ブロック構成］
以下、図５を参照して画像処理装置５０の機能ブロック構成について説明する。図５に示すように、画像処理装置５０は、上述した第１実施形態に記載された画像調整量決定装置１０と、画像調整手段５０２とを含んで構成される。
このうち画像調整量決定装置１０は、第１実施形態で述べたように、図１に示す機能構成を有し、処理画像決定手段１０１と、画像特徴抽出手段１０２と、フレーム画像間変化算出手段１０３と、画像調整量決定手段１０４と、パラメータ格納手段１０５とを含んで構成される。この画像調整量決定装置１０は、外部から動画像信号として入力された入力映像信号５０３のフレームレートの分析を行ってフレーム画像に分解し、分解で得られたフレーム画像の中から、処理対象画像Ｆ１および表示順序で処理対象画像の前後に隣接するフレーム画像Ｆ０、Ｆ２の計３枚を決定する。そして、画像調整量決定装置１０は、フレーム画像Ｆ０〜Ｆ２についての平均輝度、空間周波数成分の振幅およびフレーム画像間の動き量を算出し、算出した上記の特徴量に基づいて処理対象画像Ｆ１の空間周波数成分の振幅・帯域幅の大きさの調整量を決定し、そして、該調整量をＬ５０４経由で画像調整手段５０２に出力する。
画像調整手段５０２は、上記の調整量に基づき画像の空間周波数成分の振幅・帯域幅の調整を行う。具体的には、画像調整手段５０２は、まず、処理対象画像Ｆ１の空間周波数成分（空間周波数振幅の大きさおよび平均輝度）を算出する。即ち、画像調整手段５０２は、各フレーム画像に対して２次元フーリエ変換を施し周波数係数行列を生成し、その周波数係数行列内の係数のパワースペクトルを算出する。つまり、画像調整手段５０２は、各フーリエ係数の実数項の２乗と虚数項の２乗との和の平方根を各空間周波数の振幅の大きさとして算出する。また、画像調整手段５０２は、空間周波数のＤＣ成分のみを抽出し該空間周波数のＤＣ成分を輝度値に逆変換することで、平均輝度を算出する。なお、空間周波数成分の振幅の表現法は、これに限るものではなく、その他の表現法でもよい。また、平均輝度は、各フレーム画像の輝度値の平均値を算出し、該平均値を平均輝度として求めても良い。
なお、第２実施形態では、空間周波数成分の振幅の算出に、第１実施形態の画像調整量決定装置１０と同じ手法を利用したが、異なる手法によって空間周波数成分の振幅を算出しても良い。
その後、画像調整手段５０２は、算出された処理対象画像Ｆ１の空間周波数成分に対して周波数領域で調整量を乗算することで、空間周波数成分の振幅・帯域幅の調整を行う。そして、画像調整手段５０２は、調整後の空間周波数成分に対して逆２次元フーリエ変換を施し、画素値に変換して出力する。
なお、本実施形態では、処理対象画像を周波数領域に変換し、周波数領域で空間周波数成分の振幅・帯域幅の調整を行ったが、画素空間で処理を行っても良い。例えば、画素値に対しフィルタ処理を行うなどの方法を採用しても良い。また、本実施形態では、フレーム画像単位での処理を示したが、処理単位には特に制限はなく、例えばブロック単位で処理を行っても良い。
また、本実施形態では、処理対象画像Ｆ１の空間周波数成分に対して調整量を乗算する調整方法を示したが、これに限るものではない。例えば、空間周波数成分の振幅は変化させずに、調整量が示す帯域幅に空間周波数成分を制限するなどの処理を行っても良い。
また、周波数成分に対してある量子化基準を定めた量子化および逆量子化の処理を行うことで、電力レベルの低い空間高周波数成分の値を削減することで空間周波数成分の振幅・帯域幅の調整を行っても良い。また、これら以外にも、空間周波数成分の振幅・帯域幅を調整する手段であれば、どのような手法を用いても良い。
［画像処理装置５０における画像処理］
次に、図６に基づいて、第２実施形態の画像処理装置５０における画像処理について説明する。図６は、画像処理装置５０の画像処理を示すフローチャートである。
まず、対象映像が入力され、入力された入力映像信号５０３は画像処理量決定装置１０に送られる。画像調整量決定装置１０は、入力映像信号５０３を用いて、処理対象画像Ｆ１に対する空間周波数成分の振幅・帯域幅の調整量の算出を行う。即ち、画像調整量決定装置１０は、入力映像信号５０３を用いて、第１実施形態にて説明した図４のステップＳ４０１〜Ｓ４０６の画像調整量算出処理を行うことによって、処理対象画像Ｆ１の空間周波数成分の調整量を決定する（ステップＳ６０１）。
次に、画像調整手段５０２は、画像調整量決定装置１０が決定した調整量に基づき画像の空間周波数成分の調整を行う（ステップＳ６０２）。具体的な調整方法は、前述したとおりである。調整後、画像調整手段５０２は、空間周波数成分に対して逆変換を行い画素値に変換することで、空間周波数成分の振幅・帯域幅が調整された画像を出力して、図６の処理を終了する。
［第２実施形態の効果］
以上のように、第２実施形態における画像処理装置５０によれば、映像の中の処理対象フレーム画像が決定され、表示順序が処理対象フレーム画像の前後の平均輝度、空間周波数成分の振幅およびフレーム画像間の動き量が算出される。そして算出された特徴量に基づき、予め設定された主観品質（例えば主観鮮明度）を保つのに必要な最低限の空間周波数成分の振幅・帯域幅を示す調整量を構成するためのパラメータを決定して調整量が決定される。その後、決定された調整量に基づき、処理対象画像Ｆ１の空間周波数成分の振幅・帯域幅の調整が行われる。したがって、入力映像信号の処理対象画像Ｆ１に対して、処理対象画像Ｆ１とその前後のフレーム画像Ｆ０、Ｆ２の特徴量から、映像として前後のフレーム画像と合わせて見た際には主観鮮明度が保たれるような空間周波数の振幅・帯域幅の調整量を決定し、決定された調整量に基づき、利用状況に合った画像の空間周波数成分の調整を行うことで、映像としての品質を保ちながら、処理対象画像Ｆ１に対する情報量の削減の指標となる調整量を適切に決定することができる。
［画像調整量決定プログラムについて］
次に、コンピュータを本発明に係る画像調整量決定装置として動作させるための画像調整量決定プログラムについて説明する。図７は、画像調整量決定プログラムＰ７１０の構成を、記録媒体７１０と共に示す図である。記録媒体７１０としては、フレキシブルディスク、ＣＤ−ＲＯＭ、ＤＶＤ、ＲＯＭ等の記録媒体や、半導体メモリ等により構成することができる。
図７に示すように、画像処理プログラムＰ７１０は、処理画像決定モジュール７０１と、画像特徴抽出モジュール７０２と、フレーム間変化算出モジュール７０３と、画像調整量決定モジュール７０４と、パラメータ格納モジュール７０５とを含んで構成されている。処理画像決定モジュール７０１は図１の処理画像決定手段１０１の機能を、画像特徴抽出モジュール７０２は画像特徴抽出手段１０２の機能を、フレーム間変化算出モジュール７０３はフレーム画像間変化算出手段１０３の機能を、画像調整量決定モジュール７０４は画像調整量決定手段１０４の機能を、パラメータ格納モジュール７０５はパラメータ格納手段１０５の機能を、それぞれ実現するためのモジュールである。
また、図８は、記録媒体に記録されたプログラムを実行するためのコンピュータのハードウェア構成を示す図であり、図９は、記録媒体に記憶されたプログラムを実行するためのコンピュータの斜視図である。ここでのコンピュータとしては、ＣＰＵを具備しソフトウエアによる処理や制御を行うＤＶＤプレーヤ、セットトップボックス、携帯電話なども含む。
図８に示すように、コンピュータ３０は、フロッピーディスクドライブ装置、ＣＤ−ＲＯＭドライブ装置、ＤＶＤドライブ装置等により構成される読み取り装置１２と、作業用メモリ（ＲＡＭ）１４と、ＲＯＭ等により構成されるメモリ１６と、表示装置であるディスプレイ１８と、入力装置であるマウス２０及びキーボード２２と、データ等の送受信を行うための通信装置２４と、プログラムの実行を制御するＣＰＵ２６とを含んで構成される。このような構成のコンピュータ３０は、記録媒体７１０が読取装置１２に挿入されると、記録媒体７１０に格納された画像調整量決定プログラムＰ７１０が読取装置１２により読み取られてコンピュータ３０に入力され、ＣＰＵ２６により画像調整量決定プログラムＰ７１０が実行されることによって、コンピュータ３０は本発明に係る画像調整量決定装置として動作することになる。
なお、図９に示すように、画像調整量決定プログラムＰ７１０は、搬送波に重畳されたコンピュータデータ信号４０としてネットワークを介して提供されるものであってもよい。この場合、コンピュータ３０は、通信装置２４によって受信された画像処理プログラムＰ７１０をメモリ１６に格納し、ＣＰＵ２６により当該画像調整量決定プログラムＰ７１０を実行することができる。
第１実施形態における画像処理装置の機能構成を例示すブロック構成図である。 読み込まれるフレーム画像を示す概念図である。 周波数領域における空間周波数成分の振幅とＤＣ成分を例示する図である。 第１実施形態における画像処理装置の流れを示すフローチャートである。 第２実施形態における画像処理装置の機能構成を例示すブロック構成図である。 第１実施形態における画像処理装置の流れを示すフローチャートである。 画像調整量決定プログラムを示す構成図。 記録媒体に記録された画像調整量決定プログラムを実行するためのコンピュータのハードウェア構成を示す図である。 記録媒体に記憶された画像調整量決定プログラムを実行するためのコンピュータの斜視図である。
符号の説明
１０…画像調整量決定装置、５０…画像処理装置、１０１…処理画像決定手段、１０２…画像特徴抽出手段、１０３…フレーム間変化算出手段、１０４…画像調整量決定手段、１０５…パラメータ格納手段、５０２…画像調整手段、Ｐ７１０…画像調整量決定プログラム。

Claims (7)

  1. 外部から入力された、複数のフレーム画像から成る入力映像信号を受け取り、該入力映像信号を複数のフレーム画像に分解し、該複数のフレーム画像から所定の基準に基づいて、画像処理の対象となる処理対象画像、および表示順序において前記処理対象画像の近傍に位置する１つ以上の近傍画像を決定する処理画像決定手段と、
    前記処理画像決定手段により決定された近傍画像に関する平均輝度および空間周波数成分の振幅、および前記決定された処理対象画像に関する空間周波数成分の振幅を抽出する画像特徴抽出手段と、
    前記処理対象画像と前記近傍画像の間の動き量を算出するフレーム間変化算出手段と、
    (1)前記近傍画像に関する平均輝度、(2)前記近傍画像および前記処理対象画像それぞれの空間周波数成分、(3)前記近傍画像および前記処理対象画像それぞれの空間周波数成分の振幅、(4)前記処理対象画像と前記近傍画像の間の動き量、および、(5)前記処理対象画像と前記近傍画像の間の時間間隔、のうち１つ又は２つ以上の組合せに基づいて、前記処理対象画像に関する空間周波数成分の振幅の調整量を決定する画像調整量決定手段と、
    を備え、
    前記画像調整量決定手段は、
    (1)近傍画像Ｆ０の平均輝度Ｙave（Ｆ０）、(2)近傍画像Ｆ０および処理対象画像Ｆ１それぞれの各空間周波数成分ＳＦ、(3)近傍画像Ｆ０および処理対象画像Ｆ１それぞれの各空間周波数成分ＳＦの振幅の大きさＰ＿ｓｆ、(4)近傍画像Ｆ０と処理対象画像Ｆ１間の動き量Ｖ１（ＭＶｘ１、ＭＶｙ１）、および(5)近傍画像Ｆ０と処理対象画像Ｆ１間の時間間隔ｔに基づいて、以下の式におけるパラメータＡ〜Ｇをパラメータ格納手段から呼び出し、呼び出したパラメータＡ〜Ｇおよび以下の式により、水平方向および垂直方向それぞれについて、前記調整量を決定する、
    ことを特徴とする画像調整量決定装置。
    Figure 0004885690
  2. 前記画像調整量決定手段は、
    水平方向および垂直方向それぞれについて、近傍画像Ｆ０の各空間周波数成分ｓｆの振幅Ｐ＿ｓｆ（Ｆ０）と、処理対象画像Ｆ１の対応する空間周波数成分ｓｆの振幅Ｐ＿ｓｆ（Ｆ１）とを各空間周波数成分について比較し、前記処理対象画像Ｆ１の対応する空間周波数成分ｓｆの振幅Ｐ＿ｓｆ（Ｆ１）よりも大きい前記近傍画像Ｆ０の各空間周波数成分ｓｆの振幅Ｐ＿ｓｆ（Ｆ０）の数が、全ての空間周波数のうち所定の割合を超えるかどうかに基づいて、前記パラメータ格納手段から呼び出す前記パラメータＡ〜Ｇを選択する、
    ことを特徴とする請求項１に記載の画像調整量決定装置。
  3. 前記処理画像決定手段は、前記近傍画像として、
    表示順序において前記処理対象画像より前に位置する画像と、前記処理対象画像より後に位置する画像のうち、両方又は一方を決定することを特徴とする請求項１又は２に記載の画像調整量決定装置。
  4. 前記画像調整量決定手段は、前記調整量として、２種類以上の異なる特性の合成で表現される調整量を決定することを特徴とする請求項１〜３のいずれか一項に記載の画像調整量決定装置。
  5. 請求項１〜４の何れか１項に記載の画像調整量決定装置と、
    前記画像調整量決定装置により決定された調整量に基づいて、前記処理対象画像に関する空間周波数成分の振幅を調整する画像調整手段と、
    を備えることを特徴とする画像処理装置。
  6. 画像調整量決定装置が、外部から入力された、複数のフレーム画像から成る入力映像信号を受け取り、該入力映像信号を複数のフレーム画像に分解し、該複数のフレーム画像から所定の基準に基づいて、画像処理の対象となる処理対象画像、および表示順序において前記処理対象画像の近傍に位置する１つ以上の近傍画像を決定する処理画像決定ステップと、
    前記画像調整量決定装置が、前記処理画像決定ステップにて決定された近傍画像に関する平均輝度および空間周波数成分の振幅、および前記決定された処理対象画像に関する空間周波数成分の振幅を抽出する画像特徴抽出ステップと、
    前記画像調整量決定装置が、前記処理対象画像と前記近傍画像の間の動き量を算出するフレーム間変化算出ステップと、
    前記画像調整量決定装置が、(1)前記近傍画像に関する平均輝度、(2)前記近傍画像および前記処理対象画像それぞれの空間周波数成分、(3)前記近傍画像および前記処理対象画像それぞれの空間周波数成分の振幅、(4)前記処理対象画像と前記近傍画像の間の動き量、および、(5)前記処理対象画像と前記近傍画像の間の時間間隔、のうち１つ又は２つ以上の組合せに基づいて、前記処理対象画像に関する空間周波数成分の振幅の調整量を決定する画像調整量決定ステップと、
    を有し、
    前記画像調整量決定ステップにおいて、前記画像調整量決定装置は、
    (1)近傍画像Ｆ０の平均輝度Ｙave（Ｆ０）、(2)近傍画像Ｆ０および処理対象画像Ｆ１それぞれの各空間周波数成分ＳＦ、(3)近傍画像Ｆ０および処理対象画像Ｆ１それぞれの各空間周波数成分ＳＦの振幅の大きさＰ＿ｓｆ、(4)近傍画像Ｆ０と処理対象画像Ｆ１間の動き量Ｖ１（ＭＶｘ１、ＭＶｙ１）、および(5)近傍画像Ｆ０と処理対象画像Ｆ１間の時間間隔ｔに基づいて、以下の式におけるパラメータＡ〜Ｇをパラメータ格納手段から呼び出し、呼び出したパラメータＡ〜Ｇおよび以下の式により、水平方向および垂直方向それぞれについて、前記調整量を決定する、
    ことを特徴とする画像調整量決定方法。
    Figure 0004885690
  7. コンピュータを、
    外部から入力された、複数のフレーム画像から成る入力映像信号を受け取り、該入力映像信号を複数のフレーム画像に分解し、該複数のフレーム画像から所定の基準に基づいて、画像処理の対象となる処理対象画像、および表示順序において前記処理対象画像の近傍に位置する１つ以上の近傍画像を決定する処理画像決定手段と、
    前記処理画像決定手段により決定された近傍画像に関する平均輝度および空間周波数成分の振幅、および前記決定された処理対象画像に関する空間周波数成分の振幅を抽出する画像特徴抽出手段と、
    前記処理対象画像と前記近傍画像の間の動き量を算出するフレーム間変化算出手段と、
    (1)前記近傍画像に関する平均輝度、(2)前記近傍画像および前記処理対象画像それぞれの空間周波数成分、(3)前記近傍画像および前記処理対象画像それぞれの空間周波数成分の振幅、(4)前記処理対象画像と前記近傍画像の間の動き量、および、(5)前記処理対象画像と前記近傍画像の間の時間間隔、のうち１つ又は２つ以上の組合せに基づいて、前記処理対象画像に関する空間周波数成分の振幅の調整量を決定する画像調整量決定手段、として、
    機能させるための画像調整量決定プログラムであり、
    前記画像調整量決定手段は、
    (1)近傍画像Ｆ０の平均輝度Ｙave（Ｆ０）、(2)近傍画像Ｆ０および処理対象画像Ｆ１それぞれの各空間周波数成分ＳＦ、(3)近傍画像Ｆ０および処理対象画像Ｆ１それぞれの各空間周波数成分ＳＦの振幅の大きさＰ＿ｓｆ、(4)近傍画像Ｆ０と処理対象画像Ｆ１間の動き量Ｖ１（ＭＶｘ１、ＭＶｙ１）、および(5)近傍画像Ｆ０と処理対象画像Ｆ１間の時間間隔ｔに基づいて、以下の式におけるパラメータＡ〜Ｇをパラメータ格納手段から呼び出し、呼び出したパラメータＡ〜Ｇおよび以下の式により、水平方向および垂直方向それぞれについて、前記調整量を決定する、
    ことを特徴とする画像調整量決定プログラム。
    Figure 0004885690
JP2006320584A 2006-11-28 2006-11-28 画像調整量決定装置、画像調整量決定方法、画像調整量決定プログラムおよび画像処理装置 Active JP4885690B2 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2006320584A JP4885690B2 (ja) 2006-11-28 2006-11-28 画像調整量決定装置、画像調整量決定方法、画像調整量決定プログラムおよび画像処理装置
EP07121566.9A EP1927951B1 (en) 2006-11-28 2007-11-26 Image adjustment amount determination device, method and program
US11/945,509 US8150194B2 (en) 2006-11-28 2007-11-27 Image adjustment amount determination device, image adjustment amount determination method, image adjustment amount determination program, and image processing device
CNA2007101960376A CN101193255A (zh) 2006-11-28 2007-11-28 图像调整量确定装置、方法、程序以及图像处理装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2006320584A JP4885690B2 (ja) 2006-11-28 2006-11-28 画像調整量決定装置、画像調整量決定方法、画像調整量決定プログラムおよび画像処理装置

Publications (2)

Publication Number Publication Date
JP2008135977A JP2008135977A (ja) 2008-06-12
JP4885690B2 true JP4885690B2 (ja) 2012-02-29

Family

ID=39079621

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2006320584A Active JP4885690B2 (ja) 2006-11-28 2006-11-28 画像調整量決定装置、画像調整量決定方法、画像調整量決定プログラムおよび画像処理装置

Country Status (4)

Country Link
US (1) US8150194B2 (ja)
EP (1) EP1927951B1 (ja)
JP (1) JP4885690B2 (ja)
CN (1) CN101193255A (ja)

Families Citing this family (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4885690B2 (ja) 2006-11-28 2012-02-29 株式会社エヌ・ティ・ティ・ドコモ 画像調整量決定装置、画像調整量決定方法、画像調整量決定プログラムおよび画像処理装置
JP5052301B2 (ja) * 2007-11-21 2012-10-17 オリンパス株式会社 画像処理装置、画像処理方法
JP4692615B2 (ja) * 2008-11-28 2011-06-01 ブラザー工業株式会社 印刷装置及びプログラム
JP4692614B2 (ja) * 2008-11-28 2011-06-01 ブラザー工業株式会社 印刷装置及びプログラム
JP2010130510A (ja) * 2008-11-28 2010-06-10 Brother Ind Ltd 印刷装置及びプログラム
US20100251293A1 (en) * 2009-03-31 2010-09-30 Canon Kabushiki Kaisha Network streaming of a video media from a media server to a media client
US8510462B2 (en) * 2009-03-31 2013-08-13 Canon Kabushiki Kaisha Network streaming of a video media from a media server to a media client
US8745186B2 (en) * 2009-03-31 2014-06-03 Canon Kabushiki Kaisha Network streaming of a video media from a media server to a media client
JP5398341B2 (ja) * 2009-05-11 2014-01-29 キヤノン株式会社 物体認識装置及び物体認識方法
JP5343739B2 (ja) * 2009-07-02 2013-11-13 ブラザー工業株式会社 出力装置及びプログラム
JP5942861B2 (ja) * 2013-01-11 2016-06-29 オムロン株式会社 画像処理装置、画像処理方法、および画像処理プログラム
RU2014104445A (ru) * 2014-02-07 2015-08-20 ЭлЭсАй Корпорейшн Формирования изображения глубины с использованием информации о глубине, восстановленной из амплитудного изображения
CN110989285A (zh) * 2014-04-22 2020-04-10 日本电信电话株式会社 视频生成装置、视频生成方法、数据结构以及程序
KR102289261B1 (ko) * 2014-10-30 2021-08-12 한화테크윈 주식회사 움직임 영역 검출 장치 및 방법
US10354394B2 (en) 2016-09-16 2019-07-16 Dolby Laboratories Licensing Corporation Dynamic adjustment of frame rate conversion settings
US10977809B2 (en) 2017-12-11 2021-04-13 Dolby Laboratories Licensing Corporation Detecting motion dragging artifacts for dynamic adjustment of frame rate conversion settings
US11159761B2 (en) * 2018-07-18 2021-10-26 Sharp Nec Display Solutions, Ltd. Video display device and video display method
CN117115313B (zh) * 2023-10-23 2024-02-02 成都工业学院 一种动画帧图像显示时间优化方法、***、终端及介质

Family Cites Families (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US3924266A (en) * 1974-08-30 1975-12-02 Rca Corp Automatic luminance channel bandwidth control apparatus responsive to the amplitude of color image information
FR2648254B2 (fr) * 1988-09-23 1991-08-30 Thomson Csf Procede et dispositif d'estimation de mouvement dans une sequence d'images animees
JP2953712B2 (ja) * 1989-09-27 1999-09-27 株式会社東芝 移動物体検知装置
US5418619A (en) * 1991-07-12 1995-05-23 Samsung Electronics Co., Ltd. Apparatus and method for selectively adapting a playback characteristic to meet video performance requirements
US5245589A (en) * 1992-03-20 1993-09-14 Abel Jonathan S Method and apparatus for processing signals to extract narrow bandwidth features
US5687249A (en) * 1993-09-06 1997-11-11 Nippon Telephone And Telegraph Method and apparatus for extracting features of moving objects
KR0134325B1 (ko) 1993-12-16 1998-04-23 배순훈 영상 데이타 전처리 필터
KR100229533B1 (ko) * 1996-08-30 1999-11-15 전주범 개선된 영상 복호화 시스템
JP3633159B2 (ja) * 1996-12-18 2005-03-30 ソニー株式会社 動画像信号符号化方法及び装置、並びに動画像信号伝送方法
US6360022B1 (en) * 1997-04-04 2002-03-19 Sarnoff Corporation Method and apparatus for assessing the visibility of differences between two signal sequences
JP3560217B2 (ja) * 1998-04-30 2004-09-02 ソニー株式会社 データ符号化装置、データ符号化方法及びデータ伝送方法
JP3156667B2 (ja) * 1998-06-01 2001-04-16 日本電気株式会社 電子透かし挿入システム、電子透かし特性表作成装置
JP3628564B2 (ja) * 1999-09-24 2005-03-16 日本電信電話株式会社 帯域制限方法、フィルタ装置、および帯域制限プログラムを記録した記録媒体
JP2001245298A (ja) * 2000-03-01 2001-09-07 Nippon Telegr & Teleph Corp <Ntt> 画像符号化装置、画像符号化方法及び画像符号化プログラムを記憶した媒体
US20030189980A1 (en) * 2001-07-02 2003-10-09 Moonlight Cordless Ltd. Method and apparatus for motion estimation between video frames
JP4541632B2 (ja) * 2002-05-13 2010-09-08 パナソニック株式会社 電子透かし埋め込み装置、その方法及び記録媒体
JP4069679B2 (ja) * 2002-05-24 2008-04-02 松下電器産業株式会社 画像処理方法および画像処理装置
US7197075B2 (en) * 2002-08-22 2007-03-27 Hiroshi Akimoto Method and system for video sequence real-time motion compensated temporal upsampling
AU2003265075A1 (en) * 2002-10-22 2004-05-13 Koninklijke Philips Electronics N.V. Image processing unit with fall-back
JP4130142B2 (ja) * 2003-03-27 2008-08-06 三洋電機株式会社 画像信号処理装置
US6879731B2 (en) * 2003-04-29 2005-04-12 Microsoft Corporation System and process for generating high dynamic range video
US7454078B2 (en) * 2003-07-22 2008-11-18 Warner Bros. Entertainment Inc. Method and apparatus for flicker removal from an image sequence
US7430335B2 (en) * 2003-08-13 2008-09-30 Apple Inc Pre-processing method and system for data reduction of video sequences and bit rate reduction of compressed video sequences using spatial filtering
US7769089B1 (en) * 2004-12-02 2010-08-03 Kolorific, Inc. Method and system for reducing noise level in a video signal
JP4885690B2 (ja) 2006-11-28 2012-02-29 株式会社エヌ・ティ・ティ・ドコモ 画像調整量決定装置、画像調整量決定方法、画像調整量決定プログラムおよび画像処理装置

Also Published As

Publication number Publication date
EP1927951A2 (en) 2008-06-04
EP1927951A3 (en) 2009-05-27
JP2008135977A (ja) 2008-06-12
US20080123985A1 (en) 2008-05-29
US8150194B2 (en) 2012-04-03
CN101193255A (zh) 2008-06-04
EP1927951B1 (en) 2017-01-11

Similar Documents

Publication Publication Date Title
JP4885690B2 (ja) 画像調整量決定装置、画像調整量決定方法、画像調整量決定プログラムおよび画像処理装置
JP4191241B2 (ja) 視覚処理装置、視覚処理方法、プログラム、表示装置および集積回路
JP4666012B2 (ja) 画像処理装置、画像処理方法、プログラム
KR101362651B1 (ko) 화상 처리 장치, 및 화상 처리 방법, 및 컴퓨터 프로그램을 기록한 컴퓨터 판독가능 기록 매체
US8488009B2 (en) Image processing apparatus, image processing method, and program
EP1881707A1 (en) Dynamic image encoding device, dynamic image decoding device, dynamic image encoding method, dynamic image decoding method, dynamic image encoding program, and dynamic image decoding program
EP0629083A1 (en) Interlaced-to-progressive scanning converter having a double-smoothing function and a method therefor
JP2009251839A (ja) 画像信号処理回路、画像表示装置、および画像信号処理方法
JP2007043655A (ja) 映像評価装置、時空間周波数解析装置、映像評価方法、時空間周波数解析方法、映像評価プログラム、および時空間周波数解析プログラム
JP2004191856A (ja) 画像信号処理装置、画像信号処理方法、およびその方法を実行するためのプログラム
JP5404580B2 (ja) 画像処理装置、画像処理方法及び画像処理プログラムを記録した記録媒体
JP2002539657A (ja) 符号化された画像を評価するための処理、装置及び、使用
JPH07193766A (ja) 画像情報処理装置
JP5087368B2 (ja) 画像処理装置、画像処理方法および画像処理プログラム
JP5255116B2 (ja) インタレース画像の符号化方法、符号化装置、及び符号化プログラム
JP2014138329A (ja) 画像処理装置、画像表示装置、プログラム、および、記憶媒体
KR102027886B1 (ko) 대형 디스플레이의 영상 크기 조절 장치 및 방법
JP4438161B2 (ja) 画像処理装置及び画像処理方法
Leung et al. Perceptual mappings for visual quality enhancement in scalable video compression
JP4801186B2 (ja) 画像処理装置、画像処理方法および画像処理プログラム
JP2013131928A (ja) 画像符号化装置および画像符号化方法
Puttenstein Quality of noise reduction in TV-systems
EP2442567A1 (en) Image Processing Device, Image Processing Method and Image Processing Program

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20091002

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20100927

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20110531

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20110628

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20110810

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20111004

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20111117

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20111206

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20111208

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20141216

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

Ref document number: 4885690

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250