JP4613990B2 - 画像処理装置、画像処理方法、プログラム - Google Patents
画像処理装置、画像処理方法、プログラム Download PDFInfo
- Publication number
- JP4613990B2 JP4613990B2 JP2008197947A JP2008197947A JP4613990B2 JP 4613990 B2 JP4613990 B2 JP 4613990B2 JP 2008197947 A JP2008197947 A JP 2008197947A JP 2008197947 A JP2008197947 A JP 2008197947A JP 4613990 B2 JP4613990 B2 JP 4613990B2
- Authority
- JP
- Japan
- Prior art keywords
- motion
- motion vector
- motion blur
- unit
- processing
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000012545 processing Methods 0.000 title claims abstract description 414
- 238000003672 processing method Methods 0.000 title claims description 7
- 230000033001 locomotion Effects 0.000 claims abstract description 591
- 239000013598 vector Substances 0.000 claims description 276
- 238000000034 method Methods 0.000 claims description 77
- 230000008569 process Effects 0.000 claims description 69
- 208000012661 Dyskinesia Diseases 0.000 claims description 45
- 238000012937 correction Methods 0.000 claims description 29
- 238000003384 imaging method Methods 0.000 claims description 23
- 230000015556 catabolic process Effects 0.000 claims description 19
- 238000006731 degradation reaction Methods 0.000 claims description 19
- 238000001914 filtration Methods 0.000 claims description 12
- 230000010365 information processing Effects 0.000 claims description 6
- 238000007781 pre-processing Methods 0.000 abstract description 4
- 230000009467 reduction Effects 0.000 description 55
- 238000004364 calculation method Methods 0.000 description 45
- 238000009499 grossing Methods 0.000 description 17
- 230000006866 deterioration Effects 0.000 description 16
- 230000000875 corresponding effect Effects 0.000 description 14
- 230000006870 function Effects 0.000 description 14
- 230000006835 compression Effects 0.000 description 12
- 238000007906 compression Methods 0.000 description 12
- 238000010586 diagram Methods 0.000 description 12
- 230000002093 peripheral effect Effects 0.000 description 12
- 238000013139 quantization Methods 0.000 description 11
- 238000011946 reduction process Methods 0.000 description 11
- 230000005540 biological transmission Effects 0.000 description 8
- 238000001514 detection method Methods 0.000 description 8
- 238000006243 chemical reaction Methods 0.000 description 7
- 230000000007 visual effect Effects 0.000 description 7
- 230000006872 improvement Effects 0.000 description 5
- 230000008859 change Effects 0.000 description 4
- 230000000694 effects Effects 0.000 description 4
- 238000012805 post-processing Methods 0.000 description 4
- 230000008901 benefit Effects 0.000 description 3
- 238000006073 displacement reaction Methods 0.000 description 3
- 239000000284 extract Substances 0.000 description 3
- 239000000203 mixture Substances 0.000 description 3
- 230000001934 delay Effects 0.000 description 2
- 230000003111 delayed effect Effects 0.000 description 2
- 238000004519 manufacturing process Methods 0.000 description 2
- 230000002123 temporal effect Effects 0.000 description 2
- 238000012935 Averaging Methods 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 230000002596 correlated effect Effects 0.000 description 1
- 239000006185 dispersion Substances 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 238000003860 storage Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/70—Denoising; Smoothing
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/70—Circuitry for compensating brightness variation in the scene
- H04N23/76—Circuitry for compensating brightness variation in the scene by influencing the image signals
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/20—Image enhancement or restoration using local operators
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/73—Deblurring; Sharpening
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/117—Filters, e.g. for pre-processing or post-processing
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
- H04N19/136—Incoming video signal characteristics or properties
- H04N19/137—Motion inside a coding unit, e.g. average field, frame or block difference
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
- H04N19/51—Motion estimation or motion compensation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
- H04N19/86—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving reduction of coding artifacts, e.g. of blockiness
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/70—Circuitry for compensating brightness variation in the scene
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20172—Image enhancement details
- G06T2207/20201—Motion blur correction
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
- H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
Description
本発明は画像処理装置、画像処理方法、プログラムに関する。
動画像のデータ量は非常に膨大であるため、従来、動画像を保存／送信等する際には、動画像のデータ量を圧縮することが一般的となっている。
動画像のデータ量の圧縮方法としては、ＭＰＥＧ（Moving Picture Experts Group）などのインターフレーム符号化とイントラフレーム符号化を組み合わせた動画像符号化が代表的である。
ところで、ＭＰＥＧ方式による動画像符号化の符号化効率を向上するために、動画像に対して前処理を行う手法が数多く提案されている。
例えば上記特許文献１では前処理としてローパスフィルタを画像に適用することで、符号化後のブロック歪みの発生を抑制している。
但し、特許文献１に記載された方式は、符号化した際に発生するブロック歪みの抑制を意図したものであり、ローパスフィルタの適用によるディテールの欠損は免れない。
動画像のデータ量の圧縮方法としては、ＭＰＥＧ（Moving Picture Experts Group）などのインターフレーム符号化とイントラフレーム符号化を組み合わせた動画像符号化が代表的である。
ところで、ＭＰＥＧ方式による動画像符号化の符号化効率を向上するために、動画像に対して前処理を行う手法が数多く提案されている。
例えば上記特許文献１では前処理としてローパスフィルタを画像に適用することで、符号化後のブロック歪みの発生を抑制している。
但し、特許文献１に記載された方式は、符号化した際に発生するブロック歪みの抑制を意図したものであり、ローパスフィルタの適用によるディテールの欠損は免れない。
本発明では、動画像中の動き情報を用いて適応的に、撮像時の露光期間に起因する動きぼけを模擬したローパスフィルタを画像に適用する、画像処理による動きぼけ付加、を実行する。これにより、動画像の観察者にとって自然な画質を提示しつつ、符号化効率の向上を行うこと、を可能とする画像処理装置、および画像処理方法、並びにコンピュータ・プログラムを提供することを目的とする。
本発明に係る画像処理装置は、符号化処理に供する動画像データから、上記動画像データを構成する単位画像間での画像の動きを示す動きベクトルを生成する動きベクトル生成部を備え、また、上記符号化処理の前処理として、上記動画像データに対してフィルタ処理を施すことにより、動きぼけの付加処理を実行する動きぼけ付加部を備え、さらに、被写体速度と、出力画像の画像劣化が低減される撮像シャッタ速度とを対応付ける対応付け情報を参照することによって、上記動きベクトル生成部により生成された動きベクトルに基づき取得した被写体速度に対応する最適シャッタ速度を上記動画像データ内の領域毎に取得し、当該取得した最適シャッタ速度と実際の撮像シャッタ速度との関係に基づいて、ジャーキネスの発生領域を特定すると共に、当該特定したジャーキネスの発生領域に対して上記動きぼけ付加部による動きぼけ付加処理が実行されるように制御を行う制御部を備える。
また、上記制御部は、上記取得した最適シャッタ速度と実際の撮像シャッタ速度との関係に基づいて、上記動きぼけの量を調整する制御も行う。
またこれらの構成に加えて、上記動きぼけ付加部で動きぼけの付加処理が施された動画像データを符号化する符号化部を備えるようにする。
また、上記符号化部は、上記動きベクトル生成部により生成された動きベクトルを用いて上記符号化を行う。
また上記動きぼけ付加部における動きぼけの付加処理を実行する際に用いた動きぼけ付加パラメータと、上記動画像データとが、外部に出力される。
上記動きぼけ付加パラメータは、動画像データの単位画像の領域毎について動きぼけを付加したか否を示すフラグ情報、又は動きぼけの付加処理に用いた動きベクトル情報、又は上記動きベクトルの補正情報である。
また、上記制御部は、上記取得した最適シャッタ速度と実際の撮像シャッタ速度との関係に基づいて、上記動きぼけの量を調整する制御も行う。
またこれらの構成に加えて、上記動きぼけ付加部で動きぼけの付加処理が施された動画像データを符号化する符号化部を備えるようにする。
また、上記符号化部は、上記動きベクトル生成部により生成された動きベクトルを用いて上記符号化を行う。
また上記動きぼけ付加部における動きぼけの付加処理を実行する際に用いた動きぼけ付加パラメータと、上記動画像データとが、外部に出力される。
上記動きぼけ付加パラメータは、動画像データの単位画像の領域毎について動きぼけを付加したか否を示すフラグ情報、又は動きぼけの付加処理に用いた動きベクトル情報、又は上記動きベクトルの補正情報である。
本発明に係る画像処理方法は、動画像データを構成する単位画像間での画像の動きを示す動きベクトルを生成する動きベクトル生成ステップを有する。
また、被写体速度と、出力画像の画像劣化が低減される撮像シャッタ速度とを対応付ける対応付け情報を参照することによって、上記動きベクトル生成ステップにより生成した動きベクトルに基づき取得した被写体速度に対応する最適シャッタ速度を上記動画像データ内の領域毎に取得し、当該取得した最適シャッタ速度と実際の撮像シャッタ速度との関係に基づいて、ジャーキネスの発生領域を特定すると共に、当該特定したジャーキネスの発生領域に対して、フィルタ処理による動きぼけ付加処理を施す動きぼけ付加ステップを有する。
さらに、上記動きぼけ付加ステップで動きぼけの付加処理が施された動画像データを符号化する符号化ステップとを有する。
本発明に係るプログラムは、上記の画像処理方法の各ステップを情報処理装置に実行させるプログラムである。
また、被写体速度と、出力画像の画像劣化が低減される撮像シャッタ速度とを対応付ける対応付け情報を参照することによって、上記動きベクトル生成ステップにより生成した動きベクトルに基づき取得した被写体速度に対応する最適シャッタ速度を上記動画像データ内の領域毎に取得し、当該取得した最適シャッタ速度と実際の撮像シャッタ速度との関係に基づいて、ジャーキネスの発生領域を特定すると共に、当該特定したジャーキネスの発生領域に対して、フィルタ処理による動きぼけ付加処理を施す動きぼけ付加ステップを有する。
さらに、上記動きぼけ付加ステップで動きぼけの付加処理が施された動画像データを符号化する符号化ステップとを有する。
本発明に係るプログラムは、上記の画像処理方法の各ステップを情報処理装置に実行させるプログラムである。
即ちこれらの本発明では、動画像中の動き情報を用いて適応的に、撮像時の露光期間に起因する動きぼけを模擬したローパスフィルタを画像に適用する「画像処理による動きぼけ付加」を実行する。これにより、動画像の観察者にとって自然な画質を提示しつつ、符号化効率の向上を行うことを可能とする。
本発明では、動きぼけを模擬したローパスフィルタを適用することにより、空間的に一様なローパスフィルタを実行した場合と比較して、動画像の観察者にとって自然な画質を提示しつつ、符号化効率の向上を行うことを可能とする。
また、動き情報を参照し、領域ごとに適用的なフィルタリングを行う方法であるため、特に高速に被写体が移動する領域においては、広範囲に渡る高強度なローパスフィルタを採用しても、画質を維持しつつ、空間的に一様なローパスフィルタを実行した場合と比較して、符号化効率の向上が期待できる。
また本発明の 符号化に対する復号化側では、動きぼけの削減処理を行うことが想定されるが、上記本発明によれば、符号化前の処理における動きぼけ付加処理のパラメータを伝送しなかった（あるいはできない）場合でも、動きベクトルのみを用いて、動きぼけの削減処理が可能である。
すなわち、符号化・復号化に用いるために伝送された動きベクトル、もしくは、復号化後に求めた動き情報のみによって、実行が可能である。これは、符号化時に空間的に一様なローパスフィルタ（つまり復号化時に空間的に一様なハイパスフィルタ）を実行する、とした場合、ローパスフィルタ時における、何かしらのフィルタ情報を伝送しなければ、処理できないはずであることに対する利点となる。
本発明では、動きぼけを模擬したローパスフィルタを適用することにより、空間的に一様なローパスフィルタを実行した場合と比較して、動画像の観察者にとって自然な画質を提示しつつ、符号化効率の向上を行うことを可能とする。
また、動き情報を参照し、領域ごとに適用的なフィルタリングを行う方法であるため、特に高速に被写体が移動する領域においては、広範囲に渡る高強度なローパスフィルタを採用しても、画質を維持しつつ、空間的に一様なローパスフィルタを実行した場合と比較して、符号化効率の向上が期待できる。
また本発明の 符号化に対する復号化側では、動きぼけの削減処理を行うことが想定されるが、上記本発明によれば、符号化前の処理における動きぼけ付加処理のパラメータを伝送しなかった（あるいはできない）場合でも、動きベクトルのみを用いて、動きぼけの削減処理が可能である。
すなわち、符号化・復号化に用いるために伝送された動きベクトル、もしくは、復号化後に求めた動き情報のみによって、実行が可能である。これは、符号化時に空間的に一様なローパスフィルタ（つまり復号化時に空間的に一様なハイパスフィルタ）を実行する、とした場合、ローパスフィルタ時における、何かしらのフィルタ情報を伝送しなければ、処理できないはずであることに対する利点となる。
また、一般に高速シャッタで撮像された動画像やアニメーションなどを、プロジェクタやディスプレイなどの表示デバイスを用いて表示すると、画像中に含まれる移動物体の動きが不連続に表示され、画像を観察する観察者が多重像を知覚してしまう。これはモーションジャーキネス（Motion Jerkiness）と呼ばれる（参考文献：ANSI T1.801.02-1996）画像劣化であり、これが頻繁に発生する。
本発明では、動きぼけを付加して符号化の圧縮効率を向上させる。これによって符号化効率の向上を行いつつ上記ジャーキネス劣化の低減を可能とする。
また本発明では、動きベクトルの情報と上記の対応付け情報とに基づき、実際にジャーキネスが発生している領域を特定し、当該特定したジャーキネスの発生領域に対して動きぼけ付加を行うものとしている。このように実際にジャーキネスが発生している領域に対してのみ動きぼけの付加を行うようにすることで、視覚特性上、より自然な動画像となることに寄与する。
本発明では、動きぼけを付加して符号化の圧縮効率を向上させる。これによって符号化効率の向上を行いつつ上記ジャーキネス劣化の低減を可能とする。
また本発明では、動きベクトルの情報と上記の対応付け情報とに基づき、実際にジャーキネスが発生している領域を特定し、当該特定したジャーキネスの発生領域に対して動きぼけ付加を行うものとしている。このように実際にジャーキネスが発生している領域に対してのみ動きぼけの付加を行うようにすることで、視覚特性上、より自然な動画像となることに寄与する。
本発明により、符号化効率を向上させることができる。また、動画像データに発生するジャーキネス劣化を抑制した自然な画質提示を実現することも可能となる。
さらに、実際にジャーキネスが発生している領域に対してのみ動きぼけの付加を行うようにすることで、視覚特性上、より自然な動画像となることに寄与する。
さらに、実際にジャーキネスが発生している領域に対してのみ動きぼけの付加を行うようにすることで、視覚特性上、より自然な動画像となることに寄与する。
以下、本発明の実施の形態を次の順序で説明する。なお、第１の画像処理装置とは、符号化の前段で動きぼけ付加処理を行う画像処理装置であり、第２の画像処理装置とは、第１の画像処理装置から伝送されてきた動画像データに対して、復号化及び動きぼけ削減処理を行う画像処理装置である。
［１．第１の画像処理装置］
［１−１：画像処理装置の構成例］
［１−２：動きベクトル生成処理部］
［１−３：動きぼけ付加処理部］
［２．第２の画像処理装置］
［２−１：画像処理装置の構成例］
［２−２：動きぼけ削減処理部］
［３．第１，第２の画像処理装置間の情報伝送］
［４．プログラム］
［１．第１の画像処理装置］
［１−１：画像処理装置の構成例］
［１−２：動きベクトル生成処理部］
［１−３：動きぼけ付加処理部］
［２．第２の画像処理装置］
［２−１：画像処理装置の構成例］
［２−２：動きぼけ削減処理部］
［３．第１，第２の画像処理装置間の情報伝送］
［４．プログラム］
［１．第１の画像処理装置］
［１−１：画像処理装置の構成例］
図１，図３，図４により、第１の画像処理装置、即ち符号化の前段で動きぼけ付加処理を行う画像処理装置についての構成例を説明する。
なお各図における処理ブロックは、論理的な構成要素として示しており、各処理ブロックは同一筐体内にある場合も考えられるし、別の筐体内にある場合も考えられる。そして、各図において、破線で囲った画像処理装置１、又は同じく破線で囲った画像処理装置１００が、本発明の第１の画像処理装置の実施の形態の構成と考えることができる。
［１−１：画像処理装置の構成例］
図１，図３，図４により、第１の画像処理装置、即ち符号化の前段で動きぼけ付加処理を行う画像処理装置についての構成例を説明する。
なお各図における処理ブロックは、論理的な構成要素として示しており、各処理ブロックは同一筐体内にある場合も考えられるし、別の筐体内にある場合も考えられる。そして、各図において、破線で囲った画像処理装置１、又は同じく破線で囲った画像処理装置１００が、本発明の第１の画像処理装置の実施の形態の構成と考えることができる。
図１は、画像処理装置１として動きぼけ付加処理部１１を備える構成を示している。或いは画像処理装置１００として動きぼけ付加処理部１１と符号化処理部２を備える構成を示している。
動きぼけ付加処理部１１は、入力された動画像データＩＤに動きぼけを付加し、後段の符号化処理部２へと出力する。
動きぼけ付加処理部１１は、動画像データＩＤと、当該動画像データＩＤの各フレームの各領域（領域とは、画素単位又は複数画素による画素ブロック単位）の動き情報ＭＩが入力される。そして動き情報ＭＩを用いて、動画像データＩＤ（の各フレーム、各分割領域）に対し適応的にフィルタ処理を行い、動きぼけの付加を実行する。
動きぼけ付加処理部１１は、動画像データＩＤと、当該動画像データＩＤの各フレームの各領域（領域とは、画素単位又は複数画素による画素ブロック単位）の動き情報ＭＩが入力される。そして動き情報ＭＩを用いて、動画像データＩＤ（の各フレーム、各分割領域）に対し適応的にフィルタ処理を行い、動きぼけの付加を実行する。
動きぼけ付加処理された動きぼけ画像データＢＤは、符号化処理部２へと入力し、符号化処理される。
符号化処理部２では、例えばＭＰＥＧ（Moving Picture Experts Group）規格などに準じた符号化などの圧縮処理が実行される。
動きぼけ画像データＢＤを圧縮処理した符号化データＥＤは、上記動画像データＩＤを直接、符号化処理部２へと入力し符号化したデータに比較して圧縮効率が向上しているものとなる。
符号化処理部２では、例えばＭＰＥＧ（Moving Picture Experts Group）規格などに準じた符号化などの圧縮処理が実行される。
動きぼけ画像データＢＤを圧縮処理した符号化データＥＤは、上記動画像データＩＤを直接、符号化処理部２へと入力し符号化したデータに比較して圧縮効率が向上しているものとなる。
図２により、動画像データに対して動きぼけを付加することにより、圧縮効率が向上する理由について説明する。
ここでは特に、ローパスフィルタを施すことにより圧縮効率が向上することについて説明するが、撮像時の露光期間によって発生する動きぼけを、模擬的に付加することは、ローパスフィルタを実行することの一種であるといえる。
ここでは特に、ローパスフィルタを施すことにより圧縮効率が向上することについて説明するが、撮像時の露光期間によって発生する動きぼけを、模擬的に付加することは、ローパスフィルタを実行することの一種であるといえる。
一般に、画像データが圧縮できるのは、近傍画素間相関が高いという性質を持つからであり、より圧縮率を高くするには近傍画素相関をより高くすればよい。
ここで画像を１次元信号とみなし、共分散を導入する。
ここで、共分散はＣｆｇ、画像信号はｆ（ｘ），ｇ（ｘ）、μｆ，μｇはμｆ＝Ｅｘ［ｆ（ｘ）］，μｇ＝Ｅｘ［ｇ（ｘ）］によって与えられる画素値の空間平均値である。
ここで画像を１次元信号とみなし、共分散を導入する。
この（数１）は、ｆ（ｘ），ｇ（ｘ）が近くなれば、ｆ（ｘ）またはｇ（ｘ）の分散値に近くなり、離れれば０に近づくという性質を持ち、この共分散Ｃｆｇにより２つの波形の近さの定量化を行う。
画像を圧縮する場合は、画像信号はｆ（ｘ）のみであり、近傍画素の近さを定量化する必要がある。
そこで画像信号ｆ（ｘ）を変位ｕ（整数）だけずらした信号をｇ（ｘ）＝ｆ（ｘ＋ｕ）とおき（数１）を適用する。
このとき、Ｅｘ［ｆ（ｘ）］とＥｘ［ｇ（ｘ）］＝Ｅｘ［ｆ（ｘ＋ｕ）］は等しくなりμとおくと、（数２）となる。
このＣｆｆ（ｕ）を自己共分関数と呼ぶ。
そこで画像信号ｆ（ｘ）を変位ｕ（整数）だけずらした信号をｇ（ｘ）＝ｆ（ｘ＋ｕ）とおき（数１）を適用する。
このとき、Ｅｘ［ｆ（ｘ）］とＥｘ［ｇ（ｘ）］＝Ｅｘ［ｆ（ｘ＋ｕ）］は等しくなりμとおくと、（数２）となる。
（数２）を元に、実際の画像信号ｆ（ｘ）における自己共分散をプロットしてみる。
なおＣｆｆ（ｕ）に対して注目すべきは、値の大小ではなく、原点ｕ＝０から離れるに従って、どの程度速く減衰するか、という点である。
まず、図２（ａ）にまったく変化の無い信号を加えた場合を示す。この場合（数２）の定義からＣｆｆ（ｕ）は０になることは容易にわかる。
続いて、激しく変化のある画像信号ｆ（ｘ）における自己共分散を図２（ｂ）に示す。
信号に激しく変化のある場合、変位ｕでずらすと正負が打ち消しあうために自己共分散はｕ＝０からすぐに０に収束する。
続いて、なだらかに変化する画像信号ｆ（ｘ）における自己共分散を図２（ｃ）に示す。
信号はなだらかであるから、変位ｕでずらしても画素間に相関があるため自己共分散はｕ＝０からならだかに減衰していく。
つまり自己共分散は画素間の相関が低ければｕ＝０から０への収束が早まる離散デルタ関数に近くなる。
なおＣｆｆ（ｕ）に対して注目すべきは、値の大小ではなく、原点ｕ＝０から離れるに従って、どの程度速く減衰するか、という点である。
まず、図２（ａ）にまったく変化の無い信号を加えた場合を示す。この場合（数２）の定義からＣｆｆ（ｕ）は０になることは容易にわかる。
続いて、激しく変化のある画像信号ｆ（ｘ）における自己共分散を図２（ｂ）に示す。
信号に激しく変化のある場合、変位ｕでずらすと正負が打ち消しあうために自己共分散はｕ＝０からすぐに０に収束する。
続いて、なだらかに変化する画像信号ｆ（ｘ）における自己共分散を図２（ｃ）に示す。
信号はなだらかであるから、変位ｕでずらしても画素間に相関があるため自己共分散はｕ＝０からならだかに減衰していく。
つまり自己共分散は画素間の相関が低ければｕ＝０から０への収束が早まる離散デルタ関数に近くなる。
ローパスフィルタをかけた場合、画素間はなだらかになることは明らかであり、なだらかになるということはより画素間の相関が高まるということである。
画素間の相関が高まるということは図２（ｂ）（ｃ）で例示したように，図２（ｂ）の画素間の相関が少ない自己共分散から、図２（ｃ）で示した画素間の相関が多くなる画素信号に変換されるということであり、より圧縮率が高まると言える。
以上は、動画像データにローパスフィルタ処理を行うと、圧縮効率が向上することの説明であるが、動きぼけ付加処理についてもこれと同様のことが言える。
画素間の相関が高まるということは図２（ｂ）（ｃ）で例示したように，図２（ｂ）の画素間の相関が少ない自己共分散から、図２（ｃ）で示した画素間の相関が多くなる画素信号に変換されるということであり、より圧縮率が高まると言える。
以上は、動画像データにローパスフィルタ処理を行うと、圧縮効率が向上することの説明であるが、動きぼけ付加処理についてもこれと同様のことが言える。
続いて図３は、画像処理装置１として動きぼけ付加処理部１１と動きベクトル生成処理部１２を備える構成を示している。或いは画像処理装置１００として動きぼけ付加処理部１１、動きベクトル生成処理部１２、符号化処理部２を備える構成を示している。
この図３は、図１における動き情報ＭＩの例として、動きベクトルＶＤを用いる構成例となる。
この図３は、図１における動き情報ＭＩの例として、動きベクトルＶＤを用いる構成例となる。
動きベクトル生成処理部１２は、入力された動画像データＩＤの各フレームの各領域（領域とは、画素単位又は複数画素による画素ブロック単位）の動きベクトルＶＤを生成する。
動きぼけ付加処理部１１は、入力された動画像データＩＤについて、動きベクトルＶＤを用いて、動画像データＩＤ（の各フレーム、各分割領域）に対し適応的にフィルタ処理を行い、動きぼけの付加を実行する。
動きぼけ付加処理された動きぼけ画像データＢＤは、符号化処理部２へと入力し、例えばＭＰＥＧ圧縮等の符号化処理される。
この場合も、動きぼけ画像データＢＤを圧縮処理した符号化データＥＤは、上記動画像データＩＤを直接、符号化処理部２へと入力し符号化したデータに比較して圧縮効率が向上しているものとなる。
動きぼけ付加処理部１１は、入力された動画像データＩＤについて、動きベクトルＶＤを用いて、動画像データＩＤ（の各フレーム、各分割領域）に対し適応的にフィルタ処理を行い、動きぼけの付加を実行する。
動きぼけ付加処理された動きぼけ画像データＢＤは、符号化処理部２へと入力し、例えばＭＰＥＧ圧縮等の符号化処理される。
この場合も、動きぼけ画像データＢＤを圧縮処理した符号化データＥＤは、上記動画像データＩＤを直接、符号化処理部２へと入力し符号化したデータに比較して圧縮効率が向上しているものとなる。
次に図４は、符号化処理部２内で用いる動きベクトルを動きぼけ付加処理に利用する構成例である。
図４には、符号化処理部２内の構成として基本的なＭＰＥＧ符号化の処理ブロックを示している。
図４には、符号化処理部２内の構成として基本的なＭＰＥＧ符号化の処理ブロックを示している。
動きぼけ付加処理部１１に入力される動画像データＩＤは、符号化処理部２内の動きベクトル生成処理部２１０にも入力される。
動きベクトル生成処理部２１０は、隣接する２つのピクチャー間の動きを検出し、動きベクトルを生成して動き補償部２０９及びエントロピー符号化部２０４に出力する。
減算部２０１は、動きぼけ付加処理部１１から入力される動画像データから、動き補償部２０９が動き補償した画像データを減算し、ＤＣＴ処理部２０２に対して出力する。
ＤＣＴ部２０２は、減算部２０１から入力された動画像データに対してＤＣＴ処理を行い、ＤＣＴ係数を生成して量子化部２０３に対して出力する。
動きベクトル生成処理部２１０は、隣接する２つのピクチャー間の動きを検出し、動きベクトルを生成して動き補償部２０９及びエントロピー符号化部２０４に出力する。
減算部２０１は、動きぼけ付加処理部１１から入力される動画像データから、動き補償部２０９が動き補償した画像データを減算し、ＤＣＴ処理部２０２に対して出力する。
ＤＣＴ部２０２は、減算部２０１から入力された動画像データに対してＤＣＴ処理を行い、ＤＣＴ係数を生成して量子化部２０３に対して出力する。
量子化部２０３は、ＤＣＴ部２０２から入力されたＤＣＴ係数を量子化して量子化データを生成し、エントロピー符号化部２０４および逆量子化部２０５に対して出力する。
逆量子化部２０５は、量子化部２０３から入力された量子化データを逆量子化してＤＣＴ係数を生成し、逆ＤＣＴ部２０６に対して出力する。
逆ＤＣＴ部２０６は、逆量子化部２０５から入力されたＤＣＴ係数を逆ＤＣＴ処理して画像データを生成し、加算部２０７に対して出力する。
加算部２０７は、動き補償部２０９が動き補償した画像データと、逆ＤＣＴ部２０６から入力された画像データを加算して、フレームメモリ２０８に出力する。フレームメモリ２０８に一時的に格納された画像データは、動き補償部２０９に出力され、また動きベクトル生成処理部２１０に対し、動きベクトル生成に用いる過去フレームの画像データとして供給される。
逆量子化部２０５は、量子化部２０３から入力された量子化データを逆量子化してＤＣＴ係数を生成し、逆ＤＣＴ部２０６に対して出力する。
逆ＤＣＴ部２０６は、逆量子化部２０５から入力されたＤＣＴ係数を逆ＤＣＴ処理して画像データを生成し、加算部２０７に対して出力する。
加算部２０７は、動き補償部２０９が動き補償した画像データと、逆ＤＣＴ部２０６から入力された画像データを加算して、フレームメモリ２０８に出力する。フレームメモリ２０８に一時的に格納された画像データは、動き補償部２０９に出力され、また動きベクトル生成処理部２１０に対し、動きベクトル生成に用いる過去フレームの画像データとして供給される。
動き補償部２０９は、動きベクトル生成処理部２１０から入力された動きベクトルに基づいて、加算部２０７からフレームメモリ２０８を介して入力された画像データを動き補償処理し、加算部２０７および減算部２０１に対して出力する。
エントロピー符号化部２０４は、量子化部２０３から入力された量子化データを可変長符号化処理し、圧縮画像データ（符号化データＥＤ）を生成し、出力する。
エントロピー符号化部２０４は、量子化部２０３から入力された量子化データを可変長符号化処理し、圧縮画像データ（符号化データＥＤ）を生成し、出力する。
この図４の構成では、動きベクトル生成処理部２１０で生成される動きベクトル、つまりＭＰＥＧ圧縮処理に用いる動きベクトルを動きぼけ付加処理部１１に供給する。そして動きぼけ付加処理部１１では、この供給された動きベクトルを用いて動きぼけ付加処理を行う。
この例のように、ＭＰＥＧ方式のような画像の動き情報に基づいた予測符号化において、その符号化処理過程で生成される動きベクトルを利用することも考えられる。
なお、図示は省略するが、例えば図３のように動きぼけ付加処理のために動きぼけ付加処理部１１によって生成される動きベクトルＶＤを、符号化処理部２に供給して、符号化処理部２で動きベクトルＶＤを用いた予測符号化処理が行われるようにしてもよい。
この例のように、ＭＰＥＧ方式のような画像の動き情報に基づいた予測符号化において、その符号化処理過程で生成される動きベクトルを利用することも考えられる。
なお、図示は省略するが、例えば図３のように動きぼけ付加処理のために動きぼけ付加処理部１１によって生成される動きベクトルＶＤを、符号化処理部２に供給して、符号化処理部２で動きベクトルＶＤを用いた予測符号化処理が行われるようにしてもよい。
これらの第１の画像処理装置１（又は１００）では、動画像中の動き情報を用いて適応的に、撮像時の露光期間に起因する動きぼけを模擬したローパスフィルタを画像に適用する、画像処理による動きぼけ付加を実行することになる。これにより、動画像の観察者にとって自然な画質を提示しつつ、符号化効率の向上を行うことを可能とする。
そして動きぼけを模擬したローパスフィルタを適用することにより、空間的に一様なローパスフィルタを実行した場合と比較して、動画像の観察者にとって自然な画質を提示しつつ、符号化効率の向上を行うことを可能とする。
また、動き情報を参照し、領域ごとに適用的なフィルタリングを行うものであるため、特に高速に被写体が移動する領域においては、広範囲に渡る高強度なローパスフィルタを採用しても、画質を維持しつつ、空間的に一様なローパスフィルタを実行した場合と比較して、符号化効率の向上が期待できる。
そしてその上で第１の画像処理装置１（又は１００）では、ジャーキネス劣化の低減を可能とするものである。
そして動きぼけを模擬したローパスフィルタを適用することにより、空間的に一様なローパスフィルタを実行した場合と比較して、動画像の観察者にとって自然な画質を提示しつつ、符号化効率の向上を行うことを可能とする。
また、動き情報を参照し、領域ごとに適用的なフィルタリングを行うものであるため、特に高速に被写体が移動する領域においては、広範囲に渡る高強度なローパスフィルタを採用しても、画質を維持しつつ、空間的に一様なローパスフィルタを実行した場合と比較して、符号化効率の向上が期待できる。
そしてその上で第１の画像処理装置１（又は１００）では、ジャーキネス劣化の低減を可能とするものである。
［１−２：動きベクトル生成処理部］
以上のように第１の画像処理装置１（又は１００）の構成例は各種考えられる。以下では、図３に示した構成例を基本とし、動きベクトル生成処理部１２及び動きぼけ付加処理部１１について、詳細な構成例を説明する。
以上のように第１の画像処理装置１（又は１００）の構成例は各種考えられる。以下では、図３に示した構成例を基本とし、動きベクトル生成処理部１２及び動きぼけ付加処理部１１について、詳細な構成例を説明する。
ここではまず、動きベクトル生成処理部１２の構成と動作について図５，図６を用いて説明する。
動きベクトル生成処理部１２は、画素又は画素ブロック単位としての領域毎で動きベクトルを精度良く生成する部位である。具体的には図５に示すように、動きベクトル検出部１２１、画素ブロック特定処理部１２２、動きベクトル推定処理部１２３、動きベクトル平滑化処理部１２４、及び遅延部１２１ａ，１２２ａを有する。
動きベクトル生成処理部１２は、画素又は画素ブロック単位としての領域毎で動きベクトルを精度良く生成する部位である。具体的には図５に示すように、動きベクトル検出部１２１、画素ブロック特定処理部１２２、動きベクトル推定処理部１２３、動きベクトル平滑化処理部１２４、及び遅延部１２１ａ，１２２ａを有する。
動きベクトル検出部１２１は、処理対象フレームと直前フレームとから動きベクトルを検出する。
画素ブロック特定処理部１２２は、処理対象フレームの動きベクトルと直前フレームの動きベクトルとを画素ブロック毎に比較して、相関の高い画素ブロックを特定する。
動きベクトル推定処理部１２３は、画素ブロック特定処理部１２２により特定された画素ブロックの動きベクトルから、それ以外の画素ブロックの動きベクトルを推定する。
動きベクトル平滑化処理部１２４は、動きベクトルに対して平滑化処理を施す。
画素ブロック特定処理部１２２は、処理対象フレームの動きベクトルと直前フレームの動きベクトルとを画素ブロック毎に比較して、相関の高い画素ブロックを特定する。
動きベクトル推定処理部１２３は、画素ブロック特定処理部１２２により特定された画素ブロックの動きベクトルから、それ以外の画素ブロックの動きベクトルを推定する。
動きベクトル平滑化処理部１２４は、動きベクトルに対して平滑化処理を施す。
図３のように入力される動画像データＩＤは、動きベクトル検出部１２１と、動画像データＩＤを１フレーム分遅延させる遅延部１２１ａに供給される。
動きベクトル検出部１２１は、供給された動画像データＩＤを処理対象フレームとする。そして当該処理対象フレームと、遅延部１２１ａにより１フレーム分遅延された直前フレームとから、処理対象フレームの動きベクトルを、例えば画素ブロック単位で検出する。
なお、動きベクトル検出部１２１に係る処理をソフトウェアによって実装する場合には、一般的なブロックマッチング法を用いて画素ブロック単位で動きベクトルを検出すればよい。
動きベクトル検出部１２１は、供給された動画像データＩＤを処理対象フレームとする。そして当該処理対象フレームと、遅延部１２１ａにより１フレーム分遅延された直前フレームとから、処理対象フレームの動きベクトルを、例えば画素ブロック単位で検出する。
なお、動きベクトル検出部１２１に係る処理をソフトウェアによって実装する場合には、一般的なブロックマッチング法を用いて画素ブロック単位で動きベクトルを検出すればよい。
動きベクトル検出部１２１で検出された動きベクトルは、画素ブロック特定処理部１２２と遅延部１２２ａに供給される。遅延部１２２ａは入力された動きベクトルを１フレーム分遅延させる。
画素ブロック特定処理部１２２は、動きベクトル検出部１２１から供給される処理対象フレームの動きベクトルと、遅延部１２２ａにより遅延された直前フレームの動きベクトルとを、次に示すように画素ブロック単位で比較して、この比較結果から相関の高い画素ブロックを特定する。
画素ブロック特定処理部１２２は、動きベクトル検出部１２１から供給される処理対象フレームの動きベクトルと、遅延部１２２ａにより遅延された直前フレームの動きベクトルとを、次に示すように画素ブロック単位で比較して、この比較結果から相関の高い画素ブロックを特定する。
具体的に、画素ブロック特定処理部１２２は、処理対象フレームの一の画素ブロックの動きベクトルを（ｘ，ｙ）とし、これに対応する直前フレームの画素ブロックの動きベクトルを（ｘ’，ｙ’）とし、任意に決定される相関判定係数をαとして、次の（数３）により、この画素ブロックのベクトル相関係数σを算出する。
そして画素ブロック特定処理部１２２は、上述した（数３）から各画素ブロックのベクトル相関係数σを算出して、ベクトル相関係数σが１である画素ブロックを相関の高い動きベクトルを有するものとして特定する。
動きベクトル推定処理部１２３は、画素ブロック特定処理部１２２でベクトル相関係数σの値が１として特定された画素ブロックの動きベクトルから、このベクトル相関係数σの値が０である画素ブロックの動きベクトルを推定する。
即ち動きベクトル推定処理部１２３は、前段の画素ブロック特定処理部１２２で、ベクトル相関係数σの値が１とされた画素ブロックが有効な動きベクトルを有しているものとして、それ以外の画素ブロック、つまりベクトル相関係数σの値が０とされ有効ではない動きベクトルを有している画素ブロックの動きベクトルを更新する。
即ち動きベクトル推定処理部１２３は、前段の画素ブロック特定処理部１２２で、ベクトル相関係数σの値が１とされた画素ブロックが有効な動きベクトルを有しているものとして、それ以外の画素ブロック、つまりベクトル相関係数σの値が０とされ有効ではない動きベクトルを有している画素ブロックの動きベクトルを更新する。
具体的な動きベクトル推定処理部１２３の処理工程について、図６を参照して詳細に説明する。
ステップＳ１において、動きベクトル推定処理部１２３は、処理対象フレームにおける現在の処理対象の画素ブロック（以下、注目画素ブロックという。）のベクトル相関係数σが１か０であるかを判断する。すなわち、動きベクトル推定処理部１２３は、この画素ブロックの動きベクトルが有効であるか否かを判断する。そして、動きベクトル推定処理部１２３は、この画素ブロックの動きベクトルが有効であるとき動きベクトルの値を更新せずに本処理工程を終了し、この画素ブロックの動きベクトルが有効でないときステップＳ２に進む。
ステップＳ１において、動きベクトル推定処理部１２３は、処理対象フレームにおける現在の処理対象の画素ブロック（以下、注目画素ブロックという。）のベクトル相関係数σが１か０であるかを判断する。すなわち、動きベクトル推定処理部１２３は、この画素ブロックの動きベクトルが有効であるか否かを判断する。そして、動きベクトル推定処理部１２３は、この画素ブロックの動きベクトルが有効であるとき動きベクトルの値を更新せずに本処理工程を終了し、この画素ブロックの動きベクトルが有効でないときステップＳ２に進む。
ステップＳ２において、動きベクトル推定処理部１２３は、注目画素ブロックに対して、その注目画素ブロックの周辺に有効なベクトルを有する周辺画素ブロックが存在するか否かを判断する。具体的には、動きベクトル推定処理部１２３は、周辺画素ブロックとして、この注目画素ブロックに隣接する合計８つの画素ブロックに対して有効な動きベクトルが存在するか否かを判断し、有効な動きベクトルが存在するとき、ステップＳ３に進み、有効な動きベクトルが存在しないとき、この注目画素ブロックの動きベクトルを更新せずに本処理工程を終了する。
ここで、有効な動きベクトルが存在しない注目画素ブロックに対して、より広範囲に位置する周辺画素ブロックを用いて推定処理を行わない理由は、次の通りである。
第１の理由としては、より広範囲に位置する画素ブロックを用いて推定処理を行うことは可能であるが、仮に実現したとしても、固定時間処理で本処理工程を終了するためには、周辺画素ブロックとして扱われる画像データを一時的に記憶するための記憶領域が増大してしまうからである。
第２の理由としては、本処理工程の後段で、上述した隣接する合計８つの画素ブロックよりも広範囲の周辺画素ブロックを用いて注目画素ブロックの動きベクトルに対して平滑化処理を施すことにより、有効ではない動きベクトルを適切に補正することができるからである。
第１の理由としては、より広範囲に位置する画素ブロックを用いて推定処理を行うことは可能であるが、仮に実現したとしても、固定時間処理で本処理工程を終了するためには、周辺画素ブロックとして扱われる画像データを一時的に記憶するための記憶領域が増大してしまうからである。
第２の理由としては、本処理工程の後段で、上述した隣接する合計８つの画素ブロックよりも広範囲の周辺画素ブロックを用いて注目画素ブロックの動きベクトルに対して平滑化処理を施すことにより、有効ではない動きベクトルを適切に補正することができるからである。
ステップＳ３において、動きベクトル推定処理部１２３は、有効な動きベクトルを有する周辺画素ブロックの動きベクトルのみから、この注目画素ブロックの動きベクトルを推定して更新して、本処理を終了する。動きベクトル推定処理部１２３では、推定処理の一例として、有効な動きベクトルを有する周辺画素ブロックの動きベクトルのみを入力としたメディアンフィルタにより注目画素ブロックの動きベクトルを出力して平滑化する。
動きベクトル推定処理部１２３は、以上のようにして、処理対象フレームの動きベクトルを画素ブロック単位で推定する。そして、動きベクトル推定処理部１２３は、画素ブロック特定処理部１２２で特定された動きベクトルを含めた動きベクトルを、動きベクトル平滑化処理部１２４に供給する。
動きベクトル平滑化処理部１２４は、処理対象画像を構成する各画素ブロックの動きベクトルに対して平滑化処理を施す。具体的に、動きベクトル平滑化処理部１２４は、平滑化処理前の注目画素ブロックの動きベクトルと上述した隣接画素ブロックよりも広範囲の周辺画素ブロックの動きベクトルとを入力Ｉ（ｘ＋ｉ，ｙ＋ｊ）として、下記に示す（数４）に示すようなガウス型関数により、平滑化処理後の注目画素ブロックの動きベクトルＪ（ｘ，ｙ）を出力する。
動きベクトル平滑化処理部１２４は、処理対象フレームを構成する各画素ブロックに対して上述した平滑化処理を施して、動きベクトルＶＤを動きぼけ付加処理部１１に供給する。
このように、動きベクトル平滑化処理部１２４は、処理対象フレームを構成する各画素ブロックから、有効な動きベクトルを有する画素ブロックを特定し、この有効な動きベクトルからそれ以外の動きベクトルを推定する。このため精度良く実際の動体の動きに応じた動きベクトルを生成することができる。
なお、動きベクトル生成処理部１２では、動きベクトル検出部１２１により検出した動きベクトルを、画素ブロック特定処理部１２２及び動きベクトル推定処理部１２３を介さずに、直接動きベクトル平滑化処理部１２４に供給して平滑化処理を施してもよい。このような処理を行った場合にも、上述した符号化情報として動きベクトルに比べて、実際の動体の動きに応じた精度の良い動きベクトルを生成することができる。
なお、動きベクトル生成処理部１２では、動きベクトル検出部１２１により検出した動きベクトルを、画素ブロック特定処理部１２２及び動きベクトル推定処理部１２３を介さずに、直接動きベクトル平滑化処理部１２４に供給して平滑化処理を施してもよい。このような処理を行った場合にも、上述した符号化情報として動きベクトルに比べて、実際の動体の動きに応じた精度の良い動きベクトルを生成することができる。
［１−３：動きぼけ付加処理部］
続いて動きぼけ付加処理部１１の構成例を説明する。
なお、動きぼけ付加処理部１１としては、図７の構成例と図１２の構成例の２つの例を説明する。
続いて動きぼけ付加処理部１１の構成例を説明する。
なお、動きぼけ付加処理部１１としては、図７の構成例と図１２の構成例の２つの例を説明する。
まず図７の例としての動きぼけ付加処理部１１について説明する。
動きぼけ付加処理部１１は、図７に示すように、動きぼけを付加する画像領域を特定する動きベクトルマスク情報を生成する動きベクトルマスク処理部１１３を備える。
また動きぼけ付加処理部１１は、動きベクトルに応じて適したシャッタ速度（以下、最適シャッタ速度情報という）を算出するとともに、この最適シャッタ速度情報と実際に動画像が撮像されたときのシャッタ速度情報とを比較して後述する判別処理を行う最適シャッタ速度算出／判別部１１４を備える。
また動きぼけ付加処理部１１は、最適シャッタ速度算出／判別部１１４の判別結果に基づいて動きベクトルを補正する動きベクトル補正部１１５を備える。
また動きぼけ付加処理部１１は、処理対象フレームの各画素に応じた動きぼけ付加のためのフィルタパラメータを算出するフィルタパラメータ算出部１１１を備える。
また動きぼけ付加処理部１１は、処理対象フレームの各画素の画素値に対して動きぼけフィルタ処理を施す動きぼけ付加フィルタ１１２を備える。
動きぼけ付加処理部１１は、図７に示すように、動きぼけを付加する画像領域を特定する動きベクトルマスク情報を生成する動きベクトルマスク処理部１１３を備える。
また動きぼけ付加処理部１１は、動きベクトルに応じて適したシャッタ速度（以下、最適シャッタ速度情報という）を算出するとともに、この最適シャッタ速度情報と実際に動画像が撮像されたときのシャッタ速度情報とを比較して後述する判別処理を行う最適シャッタ速度算出／判別部１１４を備える。
また動きぼけ付加処理部１１は、最適シャッタ速度算出／判別部１１４の判別結果に基づいて動きベクトルを補正する動きベクトル補正部１１５を備える。
また動きぼけ付加処理部１１は、処理対象フレームの各画素に応じた動きぼけ付加のためのフィルタパラメータを算出するフィルタパラメータ算出部１１１を備える。
また動きぼけ付加処理部１１は、処理対象フレームの各画素の画素値に対して動きぼけフィルタ処理を施す動きぼけ付加フィルタ１１２を備える。
ここで、画素単位で全ての処理を行うことも可能であるが、演算処理の負担を軽減するため、動きぼけ付加処理部１１では、動きベクトルマスク処理部１１３、最適シャッタ速度算出／判別部１１４、及び動きベクトル補正部１１５に係る処理を、画素ブロック単位で行うものとする。
また、フィルタパラメータ算出部１１１、及び、動きぼけ付加フィルタ１１２は、動画像データＩＤに動きぼけを付加するフィルタ処理に当たるため、画素ブロックではなく、画素単位で行う。
動きベクトルマスク処理部１１３は、処理対象フレームのうち、動きぼけを付加する画像領域を特定するため、動きベクトル生成処理部１２から供給される画素ブロック単位の動きベクトルＶＤに対して、図８に示すようなマスク処理を施す。そして、マスク処理後の画素ブロック単位の動きベクトルを最適シャッタ速度算出／判別部１１４及び動きベクトル補正部１１５に供給する。
また、フィルタパラメータ算出部１１１、及び、動きぼけ付加フィルタ１１２は、動画像データＩＤに動きぼけを付加するフィルタ処理に当たるため、画素ブロックではなく、画素単位で行う。
動きベクトルマスク処理部１１３は、処理対象フレームのうち、動きぼけを付加する画像領域を特定するため、動きベクトル生成処理部１２から供給される画素ブロック単位の動きベクトルＶＤに対して、図８に示すようなマスク処理を施す。そして、マスク処理後の画素ブロック単位の動きベクトルを最適シャッタ速度算出／判別部１１４及び動きベクトル補正部１１５に供給する。
動きぼけを付加する必要がある、ジャーキネス劣化が発生しやすい画像領域は、特に画面内の動体画像領域及びエッジ周辺の画像領域に集中する。
よって、動きベクトルマスク処理部１１３では、図８に示す処理により、ジャーキネスが発生しやすい、空間コントラストの高いエッジ周辺の画素ブロックの動きベクトルだけ有効な値として出力する。
すなわち、ステップＳ１１において、動きベクトルマスク処理部１１３は、入力される動画像データＩＤに対し、画素ブロック単位で、処理対象フレーム内の空間コントラストの高い領域を特定するための処理として画像のエッジを検出する。
またステップＳ１１の処理と並列して、ステップＳ１２において、動きベクトルマスク処理部１１３は、処理対象フレーム内の動体領域を特定するための処理を行う。即ちフレーム間での差分を画素ブロック単位で算出することによって動体画像領域を検出する。
よって、動きベクトルマスク処理部１１３では、図８に示す処理により、ジャーキネスが発生しやすい、空間コントラストの高いエッジ周辺の画素ブロックの動きベクトルだけ有効な値として出力する。
すなわち、ステップＳ１１において、動きベクトルマスク処理部１１３は、入力される動画像データＩＤに対し、画素ブロック単位で、処理対象フレーム内の空間コントラストの高い領域を特定するための処理として画像のエッジを検出する。
またステップＳ１１の処理と並列して、ステップＳ１２において、動きベクトルマスク処理部１１３は、処理対象フレーム内の動体領域を特定するための処理を行う。即ちフレーム間での差分を画素ブロック単位で算出することによって動体画像領域を検出する。
ステップＳ１３において、動きベクトルマスク処理部１１３は、上述したステップＳ１１及びステップＳ１２の何れか一方又は両方に係る処理で、ジャーキネス劣化が発生しやすい領域として検出されたか否かを、画素ブロック単位で判断する。そして、ジャーキネス劣化が発生しやすい領域と判断した画素ブロックに対して、動きベクトルマスク処理部１１３は、マスク処理用のフラグを「１」に設定する。また、ジャーキネスが発生しやすい領域と判断されなかった画素ブロックに対して、動きベクトルマスク処理部１１３は、マスク処理用のフラグを「０」に設定する。
ステップＳ１４において、動きベクトルマスク処理部１１３は、動きベクトル生成処理部１２から供給される動きベクトルＶＤに対して、上述したフラグが「１」に設定されている画素ブロックの動きベクトルＶＤであるか否かを判断する。
動きベクトルマスク処理部１１３は、フラグが「１」に設定されている画素ブロックの動きベクトルに対しては、その値を変えずに、後段の最適シャッタ速度算出／判別部１１４及び動きベクトル補正部１１５に出力する。
また、動きベクトルマスク処理部１１３は、フラグが「０」に設定されている画素ブロックの動きベクトルに対しては、ステップＳ１５において、動きベクトルの値を０又は無効にするマスク処理を施して、後段の最適シャッタ速度算出／判別部１１４及び動きベクトル補正部１１５に出力する。
動きベクトルマスク処理部１１３は、フラグが「１」に設定されている画素ブロックの動きベクトルに対しては、その値を変えずに、後段の最適シャッタ速度算出／判別部１１４及び動きベクトル補正部１１５に出力する。
また、動きベクトルマスク処理部１１３は、フラグが「０」に設定されている画素ブロックの動きベクトルに対しては、ステップＳ１５において、動きベクトルの値を０又は無効にするマスク処理を施して、後段の最適シャッタ速度算出／判別部１１４及び動きベクトル補正部１１５に出力する。
次に最適シャッタ速度算出／判別部１１４、及び動きベクトル補正部１１５に係る処理工程について図９を用いて説明する。
ステップＳ３１として、最適シャッタ速度算出／判別部１１４は、例えば図１０に示すような評価指標に基づいて処理対象フレームの各画素ブロックの動きベクトルに応じた最適シャッタ速度を算出する。
ステップＳ３１として、最適シャッタ速度算出／判別部１１４は、例えば図１０に示すような評価指標に基づいて処理対象フレームの各画素ブロックの動きベクトルに応じた最適シャッタ速度を算出する。
ここで、図１０は、動きベクトルとして検出される動体の移動速度を示す被写体速度と、この被写体速度に応じた最適シャッタ速度曲線を表した図である。また、最適シャッタ速度とは、被写体の移動速度に応じた、視覚特性上、ジャーキネス劣化が知覚されにくく、且つ、動きぼけが過度に付加されることによって被写体のディテールが欠損したり不鮮明になるぼけ劣化も知覚されにくいシャッタ速度である。すなわち、この最適シャッタ速度よりも速いシャッタ速度で被写体を撮像すると、撮像画像には、ジャーキネス劣化が生じていると判断できる。一方、この最適シャッタ速度よりも遅いシャッタ速度で被写体を撮像すると、撮像画像には、ぼけ劣化が生じていると判断することができる。
そこで、最適シャッタ速度算出／判別部１１４は、各画素ブロックの動きベクトルを図１０中の被写体速度に対応させることにより、各画素の動きベクトルに応じた最適シャッタ速度を算出する。
そこで、最適シャッタ速度算出／判別部１１４は、各画素ブロックの動きベクトルを図１０中の被写体速度に対応させることにより、各画素の動きベクトルに応じた最適シャッタ速度を算出する。
なお、図１０の実線で示されている最適シャッタ速度曲線ＳＳ０は、任意の被写体速度と最適なシャッタ速度との対応関係を示した一例であって、具体的には心理実験に基づいて得られた実験結果値を結んだ曲線である。
ここで、図１０に示す動きぼけ領域Ａ１は、最適シャッタ速度曲線ＳＳ０に基づいて、被写体の動きによる動きぼけが過度に含まれると判別される領域である。同様にして、ジャーキネス領域Ａ２は、最適シャッタ速度曲線ＳＳ０に基づいて、被写体の動きによる動きぼけが含まれず、視覚特性上ジャーキネス劣化が生じていると判別される領域である。
この実線で示されている最適シャッタ速度曲線ＳＳ０を直接用いて、動きベクトルに応じた最適シャッタ速度を求める場合には、任意の刻み幅で動きベクトルに応じた最適シャッタ速度情報をテーブルとして記憶媒体に予め記憶して、この記録媒体を参照すればよい。
ここで、図１０に示す動きぼけ領域Ａ１は、最適シャッタ速度曲線ＳＳ０に基づいて、被写体の動きによる動きぼけが過度に含まれると判別される領域である。同様にして、ジャーキネス領域Ａ２は、最適シャッタ速度曲線ＳＳ０に基づいて、被写体の動きによる動きぼけが含まれず、視覚特性上ジャーキネス劣化が生じていると判別される領域である。
この実線で示されている最適シャッタ速度曲線ＳＳ０を直接用いて、動きベクトルに応じた最適シャッタ速度を求める場合には、任意の刻み幅で動きベクトルに応じた最適シャッタ速度情報をテーブルとして記憶媒体に予め記憶して、この記録媒体を参照すればよい。
また、本実施の形態では、この実線で示された最適シャッタ速度曲線に近似する関数を用いることにより、動きベクトルに応じた最適シャッタ速度を算出するようにしてもよい。
この場合、最適シャッタ速度算出／判別部１１４は、ある画素ブロックでの動きベクトルをｖとして、下記の（数５）に示す最適シャッタ速度曲線の近似関数により最適シャッタ速度ＳＳＤ’を算出する。
なお、この（数５）における各パラメータＡ、Ｂ、γは、図１０中に示す最適シャッタ速度曲線の曲線形状に応じて適当な値を選択して用いるようにすればよい。シャッタ速度曲線の具体例として、図１０では、（数５）中の各パラメータのうち、Ａ、Ｂの値を固定にして、γを３段階に変化させたときの曲線形状ＳＳ１〜ＳＳ３を示している。
この場合、最適シャッタ速度算出／判別部１１４は、ある画素ブロックでの動きベクトルをｖとして、下記の（数５）に示す最適シャッタ速度曲線の近似関数により最適シャッタ速度ＳＳＤ’を算出する。
動きベクトルに応じた最適シャッタ速度ＳＳＤ’が算出されると、図９のステップＳ３２において、最適シャッタ速度算出／判別部１１４は、この最適シャッタ速度ＳＳＤ’と、実際に撮像されたシャッタ速度ＳＳＤとを比較して、画素ブロック単位で図１０に示すジャーキネス領域Ａ２に該当しているかを判別する。
なお、実際に撮像されたシャッタ速度ＳＳＤとは、例えば動画像データＩＤにおいてメタデータとして付加されているものであればよい。また本例の画像処理装置１（１００）が撮像装置内に搭載されるものである場合、自機による撮像時のシャッタ速度情報として取得できる。
なお、実際に撮像されたシャッタ速度ＳＳＤとは、例えば動画像データＩＤにおいてメタデータとして付加されているものであればよい。また本例の画像処理装置１（１００）が撮像装置内に搭載されるものである場合、自機による撮像時のシャッタ速度情報として取得できる。
このステップＳ３２の判別結果から、現在の処理対象の画素ブロックにおいて、シャッタ速度ＳＳＤが最適シャッタ速度ＳＳＤ’よりも速く、ジャーキネス領域Ａ２に該当しているとき、動きベクトル補正部１１５は、ステップＳ３３に進む。
また、現在の処理対象の画素ブロックにおいて、シャッタ速度ＳＳＤが最適シャッタ速度ＳＳＤ’よりも遅くジャーキネス領域Ａ２に該当してないとき、動きベクトル補正部１１５は、ステップＳ３４に進む。
また、現在の処理対象の画素ブロックにおいて、シャッタ速度ＳＳＤが最適シャッタ速度ＳＳＤ’よりも遅くジャーキネス領域Ａ２に該当してないとき、動きベクトル補正部１１５は、ステップＳ３４に進む。
ステップＳ３３において、動きベクトル補正部１１５は、処理対象の画素ブロックにおいてジャーキネス劣化が生じているので、例えば、シャッタ速度ＳＳＤが速くなるのに伴って増加して値が１に収束する関数ｆｓ（ＳＳＤ）を動きベクトルの値に乗じる処理を行う。
なお、動きベクトル補正部１５３は、関数ｆｓ（ＳＳＤ）に代えて、動きベクトルＶＤを変数としたｆｓ（ＶＤ）又は、シャッタ速度ＳＳＤと動きベクトルＶＤとを２変数としたｆｓ（ＳＳＤ，ＶＤ）を用いて乗算処理を行うようにしてもよい。
ステップＳ３４において、動きベクトル補正部１５３は、処理対象の画素ブロックにおいてジャーキネス劣化が生じていないので、例えばこの動きベクトルの値に０を乗じて無効にするマスク処理を施す。
なお、動きベクトル補正部１５３は、関数ｆｓ（ＳＳＤ）に代えて、動きベクトルＶＤを変数としたｆｓ（ＶＤ）又は、シャッタ速度ＳＳＤと動きベクトルＶＤとを２変数としたｆｓ（ＳＳＤ，ＶＤ）を用いて乗算処理を行うようにしてもよい。
ステップＳ３４において、動きベクトル補正部１５３は、処理対象の画素ブロックにおいてジャーキネス劣化が生じていないので、例えばこの動きベクトルの値に０を乗じて無効にするマスク処理を施す。
このようにして、最適シャッタ速度算出／判別部１１４は、処理対象となっている動画像が実際に撮像された時のシャッタ速度ＳＳＤを考慮して、ジャーキネス劣化が生じているか否かを判別する。そして、動きベクトル補正部１１５は、ジャーキネス劣化が生じていると判別された画素ブロックの動きベクトルに対して、適切な動きぼけを付加するための補正処理を施す。これは、動きぼけ付加フィルタ１１２で行われる動きぼけ付加処理が、視覚特性上、より自然な動画像となることに寄与する。
フィルタパラメータ算出部１１１は、処理対象フレームを構成する各画素に対して動きぼけを付加するため、次に示すようなフィルタパラメータを画素単位で算出する。
まず、フィルタパラメータ算出部１１１は、有効な動きベクトル情報を有する画素を注目画素として、各注目画素の動きベクトル上に位置する画素（以下、パラメータ算出対象画素という。）を特定する。そして、フィルタパラメータ算出部１１１は、この注目画素に対する特定されたパラメータ算出対象画素の相対位置に応じたフィルタパラメータを、次に示すようにして算出する。
まず、フィルタパラメータ算出部１１１は、有効な動きベクトル情報を有する画素を注目画素として、各注目画素の動きベクトル上に位置する画素（以下、パラメータ算出対象画素という。）を特定する。そして、フィルタパラメータ算出部１１１は、この注目画素に対する特定されたパラメータ算出対象画素の相対位置に応じたフィルタパラメータを、次に示すようにして算出する。
すなわち、フィルタパラメータ算出部１１１は、図１１に示すように、動きベクトルの始点Ｓと終点Ｅとの中点を注目画素Ｐ０の位置としたベクトル上に位置する画素の全てをパラメータ算出対象画素として特定する。なお、図１１に示すように、絶対値ｖは注目画素の動きベクトルの絶対値である。
続いて、フィルタパラメータ算出部１１１は、動きベクトルの絶対値ｖと、注目画素Ｐ０の画素位置と上述した処理により特定したパラメータ算出対象画素Ｐ１の画素位置との間の距離ｄとに応じて、動きぼけ付加の強度σを下記の（数６）により算出する。
ここで、式中の強度σを二乗した値が後段の動きぼけ付加フィルタ１１２におけるガウス型関数の分散となるように、（数６）は設定されている。
続いて、フィルタパラメータ算出部１１１は、動きベクトルの絶対値ｖと、注目画素Ｐ０の画素位置と上述した処理により特定したパラメータ算出対象画素Ｐ１の画素位置との間の距離ｄとに応じて、動きぼけ付加の強度σを下記の（数６）により算出する。
また、フィルタパラメータ算出部１１１は、注目画素Ｐ０を原点としたときの各パラメータ算出対象画素Ｐ１の直交座標平面ｘ−ｙの座標点を（ｘ1，ｙ1）として、動きぼけを付加する角度方向θを下記の（数７）より算出する。
このようにして、フィルタパラメータ算出部１１１は、注目画素の動きベクトルからパラメータ算出対象画素を特定して、特定した各パラメータ算出対象画素に対してパラメータ情報（σ，θ）を設定し、処理対象フレーム単位で動きぼけ付加フィルタ１１２に供給する。
なお、フィルタパラメータ算出部１１１に係る処理では、ある画素に対して重複してパラメータ算出対象画素が特定される場合がある。この場合には、処理を単純化するため、例えば、重複して特定されたパラメータ情報のうち、σの大きい値の情報を、その画素のパラメータ情報として設定すればよい。また、フィルタパラメータ算出部１１１では、各パラメータ算出対象画素のパラメータ情報（σ，θ）に対して、ガウス関数型フィルタ処理やメディアンフィルタ処理などの平滑化処理を施すことにより、後段の動きぼけ付加フィルタ１１２から出力される動画像の画質を高めることができる。
動きぼけ付加フィルタ１１２は、フィルタパラメータ算出部１１１から供給されるパラメータ情報に応じて、入力される動画像データＩＤの処理対象フレームの各画素の画素値に対して、次に示すような処理対象フレーム内での空間的なフィルタ処理を施す。
本実施の形態において、動きぼけ付加フィルタ１１２は、以下に示す第１のフィルタ処理、又は第２のフィルタ処理の一方又は両方を実行することにより、動きぼけを付加した画像を出力する。
本実施の形態において、動きぼけ付加フィルタ１１２は、以下に示す第１のフィルタ処理、又は第２のフィルタ処理の一方又は両方を実行することにより、動きぼけを付加した画像を出力する。
まず、第１のフィルタ処理について説明する。第１のフィルタ処理において、動きぼけ付加フィルタ１１２は、動きぼけ付加フィルタ処理前の動きぼけ付加対象画素の画素値とこの画素の周辺に位置する周辺画素の画素値とを入力Ｉ（ｘ＋ｉ，ｙ＋ｊ）として、下記の（数８）に示すようなガウス型関数により、フィルタ処理後の注目画像の画素値Ｊ（ｘ，ｙ）を出力する。
なお、入力Ｉ（ｘ＋ｉ，ｙ＋ｊ）となる周辺画素は、動きベクトルを付加する角度方向に応じて設定される。また、ｒは、動きぼけ付加対象画素と周辺画素との間の距離を示す。
動きぼけ付加フィルタ１１２は、処理対象フレームを構成する全画素のうち、パラメータ情報（σ，θ）が設定されている画素毎に、上述したフィルタ処理を施して画素値を更新する。このようにして動きぼけ付加フィルタ１１２は、ジャーキネス劣化が低減された動画像データＢＤを、後段の符号化処理部２に供給することができる。
ところで、注目画素の周辺に位置する周辺画素には、元々動きのない領域、すなわち背景領域となっているものがある。このような背景領域に位置する周辺画素は、本来注目画素に対して動きぼけを付加するのに考慮する必要がない。このような点に注目した処理方法が次に示す第２のフィルタ処理である。
すなわち、第２のフィルタ処理において、動きぼけ付加フィルタ１１２は、注目画素の動きベクトルの値が０又は無効であるときに、その注目画素の周辺に位置する周辺画素のうち動きベクトルの値が０又は無効である画素の画素値Ｉ（ｘ＋ｉ0，ｙ＋ｊ0）を注目画素の画素値Ｉ（ｘ，ｙ）に代えて、上記の（数８）により注目画素の画素値Ｊ（ｘ，ｙ）を算出する。このようにして、動きぼけ付加フィルタ１１２は、第１のフィルタ処理よりも、視覚特性上自然にジャーキネス劣化を低減した画像を出力する。
動きぼけ付加処理部１１では、以上の例のようにして動きぼけ付加処理を施した動画像データＢＤを出力することができる、
特にこの例の場合、最適シャッタ速度算出／判別部１１４が動画像の撮像時のシャッタ速度情報に応じて動きベクトルを補正することにより、後段のフィルタパラメータ算出部１１１で算出される動きぼけ付加強度σの値を制御するので、動きぼけ付加フィルタ１１２により撮像時のシャッタ速度情報に応じて適切な動きぼけを付加することができ、人間の視覚特性上、より自然にジャーキネス劣化を低減した動画像データＢＤを出力することができる。
特にこの例の場合、最適シャッタ速度算出／判別部１１４が動画像の撮像時のシャッタ速度情報に応じて動きベクトルを補正することにより、後段のフィルタパラメータ算出部１１１で算出される動きぼけ付加強度σの値を制御するので、動きぼけ付加フィルタ１１２により撮像時のシャッタ速度情報に応じて適切な動きぼけを付加することができ、人間の視覚特性上、より自然にジャーキネス劣化を低減した動画像データＢＤを出力することができる。
次に、動きぼけ付加処理部１１の構成例として図１２の構成例を説明する。図１２に示すように、動きぼけ付加処理部１１は、フィルタパラメータ算出部１１１と動きぼけ付加フィルタ１１２によって構成してもよい。即ち図７の構成から、動きベクトルの補正に関する処理ブロックを削除した構成である。
先に述べたように本実施の形態は、符号化処理部２の前段において、動画像データＩＤに対して動きぼけ付加処理部を行うものであるが、その目的の１つは、符号化効率の向上である。
そして、上記図７の構成例のようにすることで、知覚特性に応じてぼけ付加具合を最適なものにすることができるが、符号化効率の観点を重視すれば、それは必須ではない。その場合、図１２の構成でもよいことになる。
そして、上記図７の構成例のようにすることで、知覚特性に応じてぼけ付加具合を最適なものにすることができるが、符号化効率の観点を重視すれば、それは必須ではない。その場合、図１２の構成でもよいことになる。
この図１２の構成例では、動きベクトル生成処理部１２から供給される動きベクトルＶＤが直接フィルタパラメータ算出部１１１に入力される。
フィルタパラメータ算出部１１１は、補正されていない動きベクトルＶＤを用いて、上記同様の処理を行ってフィルタパラメータ算出を行う。そして動きぼけ付加フィルタ１１２は、フィルタパラメータに基づいて、上述した動きぼけ付加処理を行う。
フィルタパラメータ算出部１１１は、補正されていない動きベクトルＶＤを用いて、上記同様の処理を行ってフィルタパラメータ算出を行う。そして動きぼけ付加フィルタ１１２は、フィルタパラメータに基づいて、上述した動きぼけ付加処理を行う。
この構成例によれば、動きベクトル生成処理部１２で検出された動きベクトルの大きさに忠実に動きぼけが付加されることになる。
後述する第２の画像処理装置４（４００）に関することとなるが、このようにすることで、より容易に忠実な動きぼけ削減処理を行うことができる。
後述する第２の画像処理装置４（４００）に関することとなるが、このようにすることで、より容易に忠実な動きぼけ削減処理を行うことができる。
以上、図７，図１２として動きぼけ付加処理部１１の構成及び動作を説明したが、これら以外の構成例、動作例も各種考えられる。
上記の動きぼけ付加処理部１１では、動きベクトルを用いて各単位画像に動きぼけを付加する空間的なフィルタ処理に代えて、他の動き情報を用いて画像データに動きぼけを付加するようにしてもよい。
例えば、１フレームに対して複数のフレームを重ね合わせる時間的なフィルタ処理を行うことにより、動画像データＩＤに動きぼけを付加する処理を行うようにしても良い。この場合、動きぼけ付加処理部１１は、動きベクトルの代わりに、動き情報としてフレーム間の差分により動体画像領域を検出する。そして、この検出した動体画像領域を示す情報を撮像情報に基づいて補正してから、この動き情報を用いて時間的なフィルタ処理を施すことによって、撮像時のシャッタ速度情報等に応じて適切な動きぼけを付加することができる。
上記の動きぼけ付加処理部１１では、動きベクトルを用いて各単位画像に動きぼけを付加する空間的なフィルタ処理に代えて、他の動き情報を用いて画像データに動きぼけを付加するようにしてもよい。
例えば、１フレームに対して複数のフレームを重ね合わせる時間的なフィルタ処理を行うことにより、動画像データＩＤに動きぼけを付加する処理を行うようにしても良い。この場合、動きぼけ付加処理部１１は、動きベクトルの代わりに、動き情報としてフレーム間の差分により動体画像領域を検出する。そして、この検出した動体画像領域を示す情報を撮像情報に基づいて補正してから、この動き情報を用いて時間的なフィルタ処理を施すことによって、撮像時のシャッタ速度情報等に応じて適切な動きぼけを付加することができる。
［２．第２の画像処理装置］
［２−１：画像処理装置の構成例］
続いて、本発明の実施の形態としての第２の画像処理装置について説明する。第２の画像処理装置とは、上述してきた第１の画像処理装置から伝送されてきた動画像データ、即ち動きぼけ付加処理及び符号化処理が施された動画像データＥＤ（以下「符号化状態の動画像データＥＤ」という）に対して、復号化及び動きぼけ削減処理を行う画像処理装置である。
［２−１：画像処理装置の構成例］
続いて、本発明の実施の形態としての第２の画像処理装置について説明する。第２の画像処理装置とは、上述してきた第１の画像処理装置から伝送されてきた動画像データ、即ち動きぼけ付加処理及び符号化処理が施された動画像データＥＤ（以下「符号化状態の動画像データＥＤ」という）に対して、復号化及び動きぼけ削減処理を行う画像処理装置である。
図１３，図１４，図１５により、第２の画像処理装置についての構成例を説明する。
なお各図における処理ブロックは、論理的な構成要素として示しており、各処理ブロックは同一筐体内にある場合も考えられるし、別の筐体内にある場合も考えられる。そして、各図において、破線で囲った画像処理装置４、又は同じく破線で囲った画像処理装置４００が、本発明の第２の画像処理装置の実施の形態の構成と考えることができる。
なお各図における処理ブロックは、論理的な構成要素として示しており、各処理ブロックは同一筐体内にある場合も考えられるし、別の筐体内にある場合も考えられる。そして、各図において、破線で囲った画像処理装置４、又は同じく破線で囲った画像処理装置４００が、本発明の第２の画像処理装置の実施の形態の構成と考えることができる。
図１３は、画像処理装置４として動きぼけ削減処理部４１を備える構成を示している。或いは画像処理装置４００として復号化処理部３と動きぼけ削減処理部４１を備える構成を示している。
復号化処理部３には符号化状態の動画像データＥＤが入力される。復号化処理部３は、符号化状態の動画像データＥＤに対して復号化処理を行って復号された動画像データＤＤを出力する。例えば上述した第１の画像処理装置１００における符号化処理部２が実行した符号化に対する復号処理を実行する。
従って出力される動画像データＤＤは、第１の画像処理装置１００の動きぼけ付加処理部１１によって動きぼけが付加された状態の動画像データと考えることができる。
従って出力される動画像データＤＤは、第１の画像処理装置１００の動きぼけ付加処理部１１によって動きぼけが付加された状態の動画像データと考えることができる。
動きぼけ削減処理部４１は、前段の復号化処理部３によって復号化された画像データＤＤに、動きぼけの削減処理を実行し、処理後の動画像データＯＤを出力する。
この動きぼけ削減処理部４１は、復号後の動画像データＤＤの各フレーム、各分割領域に対し、同様に入力している、動画像データＤＤの各フレーム、各分割領域に対応した動き情報ＭＩに応じたフィルタ処理を、動画像データＤＤに対し適応的に行って、動きぼけの削減を実行する。
動きぼけ削減処理された動画像データＯＤは、図示しない表示装置などへと出力される。
なお、図示しているように、復号化処理部３で復号化された動画像データＤＤを、表示装置等へ出力することも考えられる。
この動きぼけ削減処理部４１は、復号後の動画像データＤＤの各フレーム、各分割領域に対し、同様に入力している、動画像データＤＤの各フレーム、各分割領域に対応した動き情報ＭＩに応じたフィルタ処理を、動画像データＤＤに対し適応的に行って、動きぼけの削減を実行する。
動きぼけ削減処理された動画像データＯＤは、図示しない表示装置などへと出力される。
なお、図示しているように、復号化処理部３で復号化された動画像データＤＤを、表示装置等へ出力することも考えられる。
ここで、本例の第２の画像処理装置４（４００）による機能・効果としては、次の（i）（ii）（iii）の３つが考えられる。
（i）伝送されてきた動画像データのブラー劣化の低減による高画質化。
動きぼけ削減処理部４１で動きぼけ削減処理されて表示装置等に出力される動画像データＯＤは、復号画像データＤＤを直接表示装置で表示した場合と比較し、画像のディテールを損なうブラー劣化が解消され、高画質に表示されることになる。
即ち特に動画像データの伝送元を特定しないという前提のもとで、動きぼけ削減処理によるブラー劣化低減効果が得られる。
動きぼけ削減処理部４１で動きぼけ削減処理されて表示装置等に出力される動画像データＯＤは、復号画像データＤＤを直接表示装置で表示した場合と比較し、画像のディテールを損なうブラー劣化が解消され、高画質に表示されることになる。
即ち特に動画像データの伝送元を特定しないという前提のもとで、動きぼけ削減処理によるブラー劣化低減効果が得られる。
（ii）第１の画像処理装置１００から伝送されてきた動画像データについて、ジャーキネス劣化及びブラー劣化の低減による高画質化。
上述の第１の画像処理装置１００側で動きぼけ付加処理部１１によってジャーキネス劣化が解消されている符号化状態の動画像データＥＤが、この第２の画像処理装置４００に入力されることを考慮すれば、動きぼけ削減処理された動画像データＯＤは、ジャーキネス劣化とブラー劣化が共に低減された高画質な動画像データとなる。
つまりこの意味で言えば、動画像データＤＤは、ジャーキネス劣化が低減された動画像データであり、動画像データＯＤは、ジャーキネス劣化及びブラー劣化が共に低減された動画像データとなる。
上述の第１の画像処理装置１００側で動きぼけ付加処理部１１によってジャーキネス劣化が解消されている符号化状態の動画像データＥＤが、この第２の画像処理装置４００に入力されることを考慮すれば、動きぼけ削減処理された動画像データＯＤは、ジャーキネス劣化とブラー劣化が共に低減された高画質な動画像データとなる。
つまりこの意味で言えば、動画像データＤＤは、ジャーキネス劣化が低減された動画像データであり、動画像データＯＤは、ジャーキネス劣化及びブラー劣化が共に低減された動画像データとなる。
（iii）第１の画像処理装置１００の処理前の動画像データの復元。
さらに本例では、動画像データＯＤは、第１の画像処理装置１００に入力された元の動画像データＩＤと同等の画像とすることも可能である。つまり、動きぼけ付加処理部１１で付加した動きぼけを、動きぼけ削減処理部４１で忠実に削減するという考え方である。これは、第１の画像処理装置１００における符号化処理部２での符号化効率の向上という観点を重視するために動きぼけを付加し、伝送先となる第２の画像処理装置４００側では、元の動画像データを復元したいという場合に適したものとなる。
例えば先に説明したとおり、図１２に構成例を示す動きぼけ付加処理部１１を用いて動きぼけを付加したデータが符号・復号処理された画像データの入力を想定すると、動画像データＤＤには、動きベクトルＶＤの大きさに忠実に、補正することなく、動きぼけが付加されている。
そのため、動きぼけ削減処理部４１にて、動きベクトルＶＤのみをパラメータとして動きぼけ削減処理を行った場合、原理的には第１の画像処理装置１（１００）にて動きぼけが付加される以前と同等の動画像データが得られるはずである。
さらに本例では、動画像データＯＤは、第１の画像処理装置１００に入力された元の動画像データＩＤと同等の画像とすることも可能である。つまり、動きぼけ付加処理部１１で付加した動きぼけを、動きぼけ削減処理部４１で忠実に削減するという考え方である。これは、第１の画像処理装置１００における符号化処理部２での符号化効率の向上という観点を重視するために動きぼけを付加し、伝送先となる第２の画像処理装置４００側では、元の動画像データを復元したいという場合に適したものとなる。
例えば先に説明したとおり、図１２に構成例を示す動きぼけ付加処理部１１を用いて動きぼけを付加したデータが符号・復号処理された画像データの入力を想定すると、動画像データＤＤには、動きベクトルＶＤの大きさに忠実に、補正することなく、動きぼけが付加されている。
そのため、動きぼけ削減処理部４１にて、動きベクトルＶＤのみをパラメータとして動きぼけ削減処理を行った場合、原理的には第１の画像処理装置１（１００）にて動きぼけが付加される以前と同等の動画像データが得られるはずである。
続いて図１４は、画像処理装置４として動きぼけ削減処理部４１と動きベクトル生成処理部４２を備える構成を示している。或いは画像処理装置４００として復号化処理部３と、動きぼけ削減処理部４１と、動きベクトル生成処理部４２を備える構成を示している。
この図１４は、図１３における動き情報ＭＩの例として、動きベクトルＶＤを用いる構成例となる。
この図１４は、図１３における動き情報ＭＩの例として、動きベクトルＶＤを用いる構成例となる。
動きベクトル生成処理部４２は、復号化された動画像データＤＤの各フレームの各領域（画素単位又は複数画素による画素ブロック単位）の動きベクトルＶＤを生成する。
動きぼけ削減処理部４１は、復号化された動画像データＤＤについて、動きベクトルＶＤを用いて、動画像データＤＤ（の各フレーム、各分割領域）に対し適応的にフィルタ処
理を行い、動きぼけの削減を実行する。動きぼけ削減処理された動画像データＯＤは、図示しない表示装置などへと出力される。
この場合も、上記（i）（ii）（iii）のいずれかの機能・効果が想定される。
動きぼけ削減処理部４１は、復号化された動画像データＤＤについて、動きベクトルＶＤを用いて、動画像データＤＤ（の各フレーム、各分割領域）に対し適応的にフィルタ処
理を行い、動きぼけの削減を実行する。動きぼけ削減処理された動画像データＯＤは、図示しない表示装置などへと出力される。
この場合も、上記（i）（ii）（iii）のいずれかの機能・効果が想定される。
次に図１５は、復号化処理部３内で用いる動きベクトルを動きぼけ削減処理に利用する構成例である。
動きぼけ推定処理は、ＭＰＥＧのような画像の動き情報に基づいた予測符号化において、その符号化処理過程で行われており、その動きぼけ推定結果は符号化データとともに復号化処理部３へと伝送されている。
復号化処理部３では、上記伝送された動きベクトルを用いて復号化処理を実行するが、図１５に示す構成例では、この動きベクトルを用いて、動きぼけの削減処理を実行する。
動きぼけ推定処理は、ＭＰＥＧのような画像の動き情報に基づいた予測符号化において、その符号化処理過程で行われており、その動きぼけ推定結果は符号化データとともに復号化処理部３へと伝送されている。
復号化処理部３では、上記伝送された動きベクトルを用いて復号化処理を実行するが、図１５に示す構成例では、この動きベクトルを用いて、動きぼけの削減処理を実行する。
図１５中には、簡易なＭＰＥＧ復号化の処理ブロックを示している。
符号化状態の動画像データＥＤは、復号化処理部３において、エントロピー復号化部３０１に入力される。エントロピー復号化部３０１は、入力された符号化状態の動画像データＥＤに対する復号処理を行い、量子化データを得るとともに、動きベクトルＶＤを抽出する。即ちこれは、例えば図４の動きベクトル生成処理部２１０で生成され、エントロピー符号化部２０４での符号化において符号化動画像データに重畳された動きベクトルＶＤである。
エントロピー復号化部３０１は、量子化データを逆量子化部３０２に出力し、また動きベクトルＶＤを動き補償部３０６及び動きぼけ削減処理部４１に出力する。
符号化状態の動画像データＥＤは、復号化処理部３において、エントロピー復号化部３０１に入力される。エントロピー復号化部３０１は、入力された符号化状態の動画像データＥＤに対する復号処理を行い、量子化データを得るとともに、動きベクトルＶＤを抽出する。即ちこれは、例えば図４の動きベクトル生成処理部２１０で生成され、エントロピー符号化部２０４での符号化において符号化動画像データに重畳された動きベクトルＶＤである。
エントロピー復号化部３０１は、量子化データを逆量子化部３０２に出力し、また動きベクトルＶＤを動き補償部３０６及び動きぼけ削減処理部４１に出力する。
逆量子化部３０２は、入力された量子化データを逆量子化してＤＣＴ係数を生成し、逆ＤＣＴ部３０３に対して出力する。
逆ＤＣＴ部３０３は、逆量子化部３０２から入力されたＤＣＴ係数を逆ＤＣＴ処理して画像データを生成し、加算部３０４に対して出力する。
加算部３０４は、動き補償部３０６が動き補償した画像データと、逆ＤＣＴ部３０３から入力された画像データを加算して、これを復号化された動画像データＤＤとして出力するとともに、フレームメモリ３０５に出力する。フレームメモリ３０５に一時的に格納された画像データは、動き補償部３０６に出力される。
動き補償部３０６は、エントロピー復号化部３０１から入力された動きベクトルに基づいて、加算部３０４からフレームメモリ３０５を介して入力された画像データを動き補償処理し、加算部３０４に対して出力する。
このような復号化処理部３によって復号化された動画像データＤＤは、動きぼけ削減処理部４１に供給される。また動きぼけ削減処理部４１には動きベクトルＶＤも供給される。動きぼけ削減処理部４１は、動きベクトルＶＤを用いて動画像データＤＤに対し、動きぼけ削減処理を行う。動きぼけ削減処理された動画像データＯＤは、図示しない表示装置などへと出力される。
この例のように、ＭＰＥＧ復号化過程で抽出される動きベクトルを利用して、動きぼけ削減処理を行うことも考えられる。
この場合も、上記（i）（ii）（iii）のいずれかの機能・効果が想定される。
逆ＤＣＴ部３０３は、逆量子化部３０２から入力されたＤＣＴ係数を逆ＤＣＴ処理して画像データを生成し、加算部３０４に対して出力する。
加算部３０４は、動き補償部３０６が動き補償した画像データと、逆ＤＣＴ部３０３から入力された画像データを加算して、これを復号化された動画像データＤＤとして出力するとともに、フレームメモリ３０５に出力する。フレームメモリ３０５に一時的に格納された画像データは、動き補償部３０６に出力される。
動き補償部３０６は、エントロピー復号化部３０１から入力された動きベクトルに基づいて、加算部３０４からフレームメモリ３０５を介して入力された画像データを動き補償処理し、加算部３０４に対して出力する。
このような復号化処理部３によって復号化された動画像データＤＤは、動きぼけ削減処理部４１に供給される。また動きぼけ削減処理部４１には動きベクトルＶＤも供給される。動きぼけ削減処理部４１は、動きベクトルＶＤを用いて動画像データＤＤに対し、動きぼけ削減処理を行う。動きぼけ削減処理された動画像データＯＤは、図示しない表示装置などへと出力される。
この例のように、ＭＰＥＧ復号化過程で抽出される動きベクトルを利用して、動きぼけ削減処理を行うことも考えられる。
この場合も、上記（i）（ii）（iii）のいずれかの機能・効果が想定される。
また、以上の各例の画像処理装置４（４００）では、動き情報を参照し、領域ごとに適用的なフィルタリングを行うものである。このため、符号化時に空間的に一様なローパスフィルタ（つまり復号化時に空間的に一様なハイパスフィルタ）を実行するとした場合と比較して、動きの大きさに応じた、領域ごとに適応的な動きぼけの削減が、必要であれば後処理としての動きぼけ量の調整も含めて、実行可能であり、動画像の観察者にとって自然な画質が提示できる。
また、符号化前の処理における動きぼけ付加処理のパラメータを伝送しなかった（あるいはできない）場合でも、動き情報のみを用いて、動きぼけの削減処理が可能である。
すなわち、符号化・復号化に用いるために伝送された動きベクトル、もしくは、復号化後に求めた動き情報のみによって、実行が可能である。これは、符号化時に空間的に一様なローパスフィルタ（つまり復号化時に空間的に一様なハイパスフィルタ）を実行する、とした場合、ローパスフィルタ時における、何かしらのフィルタ情報を伝送しなければ、処理できないはずであることに対する利点となる。
また、符号化前の処理における動きぼけ付加処理のパラメータを伝送しなかった（あるいはできない）場合でも、動き情報のみを用いて、動きぼけの削減処理が可能である。
すなわち、符号化・復号化に用いるために伝送された動きベクトル、もしくは、復号化後に求めた動き情報のみによって、実行が可能である。これは、符号化時に空間的に一様なローパスフィルタ（つまり復号化時に空間的に一様なハイパスフィルタ）を実行する、とした場合、ローパスフィルタ時における、何かしらのフィルタ情報を伝送しなければ、処理できないはずであることに対する利点となる。
［２−２：動きぼけ削減処理部］
上記図１３，図１４，図１５の構成例における動きぼけ削減処理部４１について説明する。ここでは動きぼけ削減処理部４１の構成として図１６の例と図１８の例をそれぞれ述べる。
まず、図１６の動きぼけ削減処理部４１の構成例を説明する。
図１６の動きぼけ削減処理部４１は、移動平均フィルタ特性変換部４１１、移動平均フィルタ部４１２、減算部４１３、加算部４１４から構成されており、入力された動画像データＤＤに対して、動きぼけ量の削減を実現する。
上記図１３，図１４，図１５の構成例における動きぼけ削減処理部４１について説明する。ここでは動きぼけ削減処理部４１の構成として図１６の例と図１８の例をそれぞれ述べる。
まず、図１６の動きぼけ削減処理部４１の構成例を説明する。
図１６の動きぼけ削減処理部４１は、移動平均フィルタ特性変換部４１１、移動平均フィルタ部４１２、減算部４１３、加算部４１４から構成されており、入力された動画像データＤＤに対して、動きぼけ量の削減を実現する。
なお移動平均フィルタ部４１２として用いる移動平均フィルタとは、最も簡易なローパスフィルタの一種であり、処理対象画素が１画素移動する毎に、周辺画素との平均値を算出して出力するフィルタである。例えばある時点では、図１７（ａ）のように現在のサンプル値を含めてｎ個（図では４個）のサンプルで平均をとる。次の時点でも図１７（ｂ）のように現在のサンプル値を含めてｎ個（図では４個）のサンプルで平均をとる。ここでいうサンプル値が画素値となり、処理対象画素が１画素移動する毎に、処理対象画素を含む周辺画素のｎサンプルの平均を出力するものとする。
移動平均フィルタ特性変換部４１１には、動きベクトルＶＤが入力している。移動平均フィルタ特性変換部４１１では、動画像データＤＤ中の当該分割領域に位置的に対応する動きベクトルＶＤを、入力された動きベクトルＶＤからフィルタパラメータとして抽出し、これに基づいて移動平均フィルタ部４１２にて行われる処理のフィルタ特性を決定する。
例えば、複数の動きベクトルＶＤに対して、移動平均フィルタを１つずつ予め用意しておき、注目画素において用いるべきフィルタを決定すればよい。具体的には、以下のように行う。
例えば、複数の動きベクトルＶＤに対して、移動平均フィルタを１つずつ予め用意しておき、注目画素において用いるべきフィルタを決定すればよい。具体的には、以下のように行う。
移動平均フィルタの特性を、注目画素周辺の何画素について平均処理を実行するか、と置き換えて考え、フィルタパラメータの一例として動きベクトルＶＤを用いることとする。このとき、動きベクトルＶＤに対して、移動平均フィルタに用いる画素数を１つ決定するテーブルを用意しておき、各領域の動きベクトルＶＤが入力するたびに、移動平均フィルタに用いる画素数を出力する。
決定された移動平均フィルタに用いる画素数は、移動平均フィルタ部４１２へと出力される。
決定された移動平均フィルタに用いる画素数は、移動平均フィルタ部４１２へと出力される。
移動平均フィルタ部４１２（ローパスフィルタ）は、処理対象の当該フレーム内の注目画素を含む所定のブロックに対して、移動平均フィルタ特性変換部４１１により特性が決定された移動平均フィルタをかけることで、注目画素の画素値を変換する。移動平均フィルタ部４１２により変換された注目画素の画素値は、減算部４１３へと出力される。
すなわち、減算部４１３には、移動平均フィルタ部４１２により変換された注目画素の画素値が極性反転されて入力される。減算部４１３にはまた、入力された動画像データＤＤ中の処理対象のフレームのうちの注目画素が入力されている。
減算部４１３は、動画像データＤＤ中の当該画素の画素値と、移動平均フィルタ部４１２により変換された注目画素の画素値との差分を求め、その差分値を加算部４１４へと出力する。
このようにして、加算部４１４には、移動平均フィルタ前後の差分が入力される。加算部４１４にはまた、動画像データＤＤ中の処理対象のフレームのうちの注目画素が入力されている。加算部４１４は、注目画素の補正前の画素値に対して、移動平均フィルタ前後の差分値を加算し、その加算結果を出力画像（その一部）として出力する。
すなわち、減算部４１３には、移動平均フィルタ部４１２により変換された注目画素の画素値が極性反転されて入力される。減算部４１３にはまた、入力された動画像データＤＤ中の処理対象のフレームのうちの注目画素が入力されている。
減算部４１３は、動画像データＤＤ中の当該画素の画素値と、移動平均フィルタ部４１２により変換された注目画素の画素値との差分を求め、その差分値を加算部４１４へと出力する。
このようにして、加算部４１４には、移動平均フィルタ前後の差分が入力される。加算部４１４にはまた、動画像データＤＤ中の処理対象のフレームのうちの注目画素が入力されている。加算部４１４は、注目画素の補正前の画素値に対して、移動平均フィルタ前後の差分値を加算し、その加算結果を出力画像（その一部）として出力する。
以上が、動きぼけ削減処理部４１の処理内容であるが、この処理の意味を理解するためには、周波数領域で考えるとわかりやすい。
減算部４１３の出力信号である移動平均フィルタ前後の差分を周波数領域で考えた場合、着目された周波数において、入力された画像信号のゲインと、移動平均フィルタがかけられた後の画像信号のゲインとの差分が、減算部４１３の出力信号のゲインとなる。さらに、加算部４１４の出力画像信号のゲインは、入力された画像信号のゲインに対して、移動平均フィルタ前後の差分ゲインが加算された値となる。すなわち、各周波数のそれぞれにおいて、出力画像信号のゲインは、入力画像のゲインに比較して、移動平均フィルタ前後の差分ゲイン分だけ持ち上げられてことになる。
移動平均フィルタがローパスフィルタであることを踏まえ、上記の内容を換言すると、図１６の構成例に示す動きぼけ削減処理部４１全体では、ハイパスフィルタをかける処理と基本的に等価な処理を実行していることになる。
減算部４１３の出力信号である移動平均フィルタ前後の差分を周波数領域で考えた場合、着目された周波数において、入力された画像信号のゲインと、移動平均フィルタがかけられた後の画像信号のゲインとの差分が、減算部４１３の出力信号のゲインとなる。さらに、加算部４１４の出力画像信号のゲインは、入力された画像信号のゲインに対して、移動平均フィルタ前後の差分ゲインが加算された値となる。すなわち、各周波数のそれぞれにおいて、出力画像信号のゲインは、入力画像のゲインに比較して、移動平均フィルタ前後の差分ゲイン分だけ持ち上げられてことになる。
移動平均フィルタがローパスフィルタであることを踏まえ、上記の内容を換言すると、図１６の構成例に示す動きぼけ削減処理部４１全体では、ハイパスフィルタをかける処理と基本的に等価な処理を実行していることになる。
次に動きぼけ削減処理部４１として図１８の構成例を説明する。
図１８の構成例が上記図１６と異なるのは、付加する動きぼけ量をジャーキネス劣化が最も低減される動きぼけ量に調整するために必要な、動きベクトル補正処理の要素が加わっている点である。
図１８の構成例が上記図１６と異なるのは、付加する動きぼけ量をジャーキネス劣化が最も低減される動きぼけ量に調整するために必要な、動きベクトル補正処理の要素が加わっている点である。
具体的には、最適シャッタ速度算出／判別部４１５、および、動きベクトル補正部４１６が加わっており、図７で示した動きぼけ付加処理部１１における最適シャッタ速度算出／判別部１１４、および、動きベクトル補正部１１５と同様の動きベクトルのスケーリング処理が行われる。異なるのは、撮像シャッタ速度ＳＳＤの入力はない点である。
しかしながら先に説明した図１２の動きぼけ付加処理部１１によって動きぼけ付加処理がされた動画像データが入力されることを想定すると、動きベクトルＶＤの大きさに忠実に、補正することなく、動きぼけが付加されていると考えればよい。
すると、復号化された動画像データＤＤは一様に、ほぼオープンシャッタ相当の動きぼけが付加されていると見なしてよく、例えば図１０におけるところの、最も長いシャッタ速度の状態で撮像されている動画像データが常に入力しているものとして処理を行えばよい。
具体的には、動きベクトル補正部４１６において、例えば図１０の最適シャッタ速度曲線ＳＳ０に応じて、入力した動きベクトルを補正（縮小）して、後段の移動平均フィルタ特性変換部４１１へと出力すればよい。移動平均フィルタ特性変換部４１１、移動平均フィルタ部４１２、減算器４１３、加算器４１４の処理は上記と同様である。
すると、復号化された動画像データＤＤは一様に、ほぼオープンシャッタ相当の動きぼけが付加されていると見なしてよく、例えば図１０におけるところの、最も長いシャッタ速度の状態で撮像されている動画像データが常に入力しているものとして処理を行えばよい。
具体的には、動きベクトル補正部４１６において、例えば図１０の最適シャッタ速度曲線ＳＳ０に応じて、入力した動きベクトルを補正（縮小）して、後段の移動平均フィルタ特性変換部４１１へと出力すればよい。移動平均フィルタ特性変換部４１１、移動平均フィルタ部４１２、減算器４１３、加算器４１４の処理は上記と同様である。
以上、図１６，図１８に示した構成例などを用いて、動きぼけ削減処理の実現が可能である。当然ながら、動きぼけ削減処理部４１の構成及び動作は上記に限られるものではない。
［３．第１，第２の画像処理装置間の情報伝送］
続いて、符号化の前処理装置となる第１の画像処理装置１と、復号化の後処理装置となる第２の画像処理装置４の間における、動きぼけ付加情報の共有について説明する。
上記までに、復号化処理の後処理を行う画像処理装置４について説明した。ここでは、符号化の前処理として画像処理装置１が動きぼけを付加した際に用いたパラメータなどを、復号化処理側へと伝送し、復号化の後処理として画像処理装置４が、受信した動きぼけ付加情報を用いて、動きぼけ削減処理の実行可否や、削減する動きぼけ量の度合いを決定する形態を示す。
続いて、符号化の前処理装置となる第１の画像処理装置１と、復号化の後処理装置となる第２の画像処理装置４の間における、動きぼけ付加情報の共有について説明する。
上記までに、復号化処理の後処理を行う画像処理装置４について説明した。ここでは、符号化の前処理として画像処理装置１が動きぼけを付加した際に用いたパラメータなどを、復号化処理側へと伝送し、復号化の後処理として画像処理装置４が、受信した動きぼけ付加情報を用いて、動きぼけ削減処理の実行可否や、削減する動きぼけ量の度合いを決定する形態を示す。
図１９は、図３の画像処理装置１（１００）と、図１３の画像処理装置４（４００）を示している。
そして特に、動きぼけ付加処理部１１は、処理後の動画像データＢＤに加えて、動きぼけを付加した際に用いた動きぼけ付加パラメータＰＭを、符号化処理部２に伝送することを示している。
符号化処理部２は、動きぼけ付加パラメータＰＭを符号化状態の動画像データＥＤのメタデータとして追加して伝送出力する。
そして特に、動きぼけ付加処理部１１は、処理後の動画像データＢＤに加えて、動きぼけを付加した際に用いた動きぼけ付加パラメータＰＭを、符号化処理部２に伝送することを示している。
符号化処理部２は、動きぼけ付加パラメータＰＭを符号化状態の動画像データＥＤのメタデータとして追加して伝送出力する。
画像処理装置４（４００）側では、復号化処理部３は、復号処理を行って動画像データＤＤを動きぼけ削減処理部４１に出力するとともに、メタデータから動きぼけ付加パラメータＰＭを抽出して動きぼけ削減処理部４１に供給する。
動きぼけ削減処理部４１は、動きぼけ付加パラメータＰＭを基に動きぼけ削減処理の内容を決める。
動きぼけ削減処理部４１は、動きぼけ付加パラメータＰＭを基に動きぼけ削減処理の内容を決める。
なお、動きぼけ付加パラメータＰＭの伝送方式として、符号化信号のメタデータとして用いる方法を示しているが、伝送の方法はこれに限らない。別のストリームとして伝送しても構わない。
上記図１３等のおける動きぼけ削減処理部４１では、動きベクトルに対して忠実に（例えば図１２のようにベクトルの補正処理を行うことなく）動きぼけが付加された信号の入力を想定した場合、動きぼけ付加パラメータＰＭを必要とすることなく、図１６や図１８の構成例によって、動きぼけを削減する処理を実行していた。
しかし、図７のように、ジャーキネス劣化が発生しやすい領域のみを選択して動きぼけを付加したり、人間によるジャーキネス劣化の知覚を考慮し、動きぼけ量を調整して付加する、などの処理を実行された信号の場合には、動きぼけを付加した際に用いた動きぼけ付加パラメータＰＭを後段へと伝送することが効果的である。
しかし、図７のように、ジャーキネス劣化が発生しやすい領域のみを選択して動きぼけを付加したり、人間によるジャーキネス劣化の知覚を考慮し、動きぼけ量を調整して付加する、などの処理を実行された信号の場合には、動きぼけを付加した際に用いた動きぼけ付加パラメータＰＭを後段へと伝送することが効果的である。
動きぼけ付加パラメータＰＭの具体的な例としては、まず、最も簡単なものとして、画像中の当該画素（または当該領域）に動きぼけを付加したかどうかを示す「０」「１」のフラグ信号が考えられる。
動きぼけ削減処理部４１においては、これを参照し、動きぼけ削減処理を行うか、否か、を判別する。
動きぼけ削減処理部４１においては、これを参照し、動きぼけ削減処理を行うか、否か、を判別する。
また動きぼけ付加パラメータＰＭの具体的な例として、図７の構成で補正されたベクトルそのものを伝送することも考えられる。即ち図７の動きベクトル補正部１１５の出力を伝送することである。
動きぼけ削減処理部４１においては、この補正ベクトルを用いて、動きぼけ削減処理を実行する。
動きぼけ削減処理部４１においては、この補正ベクトルを用いて、動きぼけ削減処理を実行する。
またベクトルそのものの伝送には、多大なデータ量の追加を必要としてしまうため、動きぼけ付加パラメータＰＭとして、ベクトルに補正を施した補正値のみを送ることや、補正時に施したベクトル変換のルールのみを伝送して、動きぼけ削減処理部４１側でベクトル逆変換を行うことも考えられる。
例えば各画素または各ブロックにおいて、上記の動きぼけ付加時に行ったベクトル補正値を各画素または各ブロックに追加して伝送する。最も単純には、０〜１の間の実数αを伝送することであり、動きぼけ削減処理部４１においては、当該ベクトルＶを、Ｖ’＝α×Ｖの式で縮小してから、動きぼけの削減処理を行うことになる。動きぼけを付加していない場合は、「０」を伝送する。
実数の場合には、データ量が増大するため、例えば、０〜Ｎまでの値の量子化した補正値を伝送するのが現実的である。
例えば各画素または各ブロックにおいて、上記の動きぼけ付加時に行ったベクトル補正値を各画素または各ブロックに追加して伝送する。最も単純には、０〜１の間の実数αを伝送することであり、動きぼけ削減処理部４１においては、当該ベクトルＶを、Ｖ’＝α×Ｖの式で縮小してから、動きぼけの削減処理を行うことになる。動きぼけを付加していない場合は、「０」を伝送する。
実数の場合には、データ量が増大するため、例えば、０〜Ｎまでの値の量子化した補正値を伝送するのが現実的である。
また、動きぼけ付加パラメータＰＭとして、例えば図７のフィルタパラメータ算出部１１１の出力である動きぼけ付加フィルタパラメータ、即ち各画素に与えられたθ値とσ値を伝送することも考えられる。
さらに、動きぼけ付加パラメータＰＭを伝送することにより、以下の利点が考えられる。
符号化の前処理として動きぼけ付加処理部１１で動きぼけを過剰に付加しても（そのまま表示した場合にブラー劣化が発生するほどに）、動きぼけ削減処理部４１により、動きぼけを削減することでブラー劣化の低減ができる。
すなわち、圧縮効率の改善のために有効な動きぼけ量を付加することで、画質の劣化を招いたとしても、動きぼけを付加した際のパラメータを既知として後段の動きぼけの削減処理を行うことにより、画質の回復が可能である、ことである。
符号化の前処理として動きぼけ付加処理部１１で動きぼけを過剰に付加しても（そのまま表示した場合にブラー劣化が発生するほどに）、動きぼけ削減処理部４１により、動きぼけを削減することでブラー劣化の低減ができる。
すなわち、圧縮効率の改善のために有効な動きぼけ量を付加することで、画質の劣化を招いたとしても、動きぼけを付加した際のパラメータを既知として後段の動きぼけの削減処理を行うことにより、画質の回復が可能である、ことである。
［４．プログラム］
以上の実施の形態は、画像処理装置１（１００）、４（４００）について説明したが、本発明は画像処理を行う各種機器に適用できる。例えば画像再生装置、撮像装置、通信装置、画像記録装置、ゲーム機器、ビデオ編集機、などが想定される。
さらに、汎用のパーソナルコンピュータその他の情報処理装置において、画像処理装置１（１００）、４（４００）を実現することも当然想定される。
例えば図１，図３，図４、図１３，図１４，図１５の各処理ブロックの動作を演算処理装置に実行させるプログラムを画像処理アプリケーションソフトウエアとして提供することで、パーソナルコンピュータ等において、適切な画像処理を実現できる。
以上の実施の形態は、画像処理装置１（１００）、４（４００）について説明したが、本発明は画像処理を行う各種機器に適用できる。例えば画像再生装置、撮像装置、通信装置、画像記録装置、ゲーム機器、ビデオ編集機、などが想定される。
さらに、汎用のパーソナルコンピュータその他の情報処理装置において、画像処理装置１（１００）、４（４００）を実現することも当然想定される。
例えば図１，図３，図４、図１３，図１４，図１５の各処理ブロックの動作を演算処理装置に実行させるプログラムを画像処理アプリケーションソフトウエアとして提供することで、パーソナルコンピュータ等において、適切な画像処理を実現できる。
即ち画像処理装置１００の画像処理を実現するプログラムとは、動画像データＩＤに対し、動画像データＩＤを構成する単位画像間での画像の動きを示す動き情報ＭＩ（例えば動きベクトルＶＤ）に応じたフィルタ処理を施すことにより、動きぼけの付加処理を実行する動きぼけ付加ステップと、動きぼけ付加ステップで動きぼけの付加処理が施された動画像データＢＤを符号化して出力する符号化ステップとを情報処理装置に実行させるプログラムである。
なお、上記動きぼけ付加ステップのみであれば、画像処理装置１の画像処理を実現させるプログラムとなる。
なお、上記動きぼけ付加ステップのみであれば、画像処理装置１の画像処理を実現させるプログラムとなる。
また画像処理装置４００の画像処理を実現するプログラムとは、動きぼけ付加処理が施された上で符号化状態の動画像データＥＤを復号化する復号化ステップと、復号化ステップによって得られた復号化された動画像データＤＤに対して、該動画像データを構成する単位画像間での画像の動きを示す動き情報ＭＩ（例えば動きベクトルＶＤ）に応じたフィルタ処理を施すことにより、動きぼけの削減処理を実行する動きぼけ削減ステップとを情報処理装置に実行させるプログラムである。
なお、上記動きぼけ削減ステップのみであれば、画像処理装置４の画像処理を実現させるプログラムとなる。
なお、上記動きぼけ削減ステップのみであれば、画像処理装置４の画像処理を実現させるプログラムとなる。
このようなプログラムにより、本発明をパーソナルコンピュータ、携帯電話機、ＰＤＡ（Personal Digital Assistant）、その他画像データを用いる多様な情報処理装置においても同様の画像処理を実行できるようにすることができる。
なお、このようなプログラムは、パーソナルコンピュータ等の機器に内蔵されている記録媒体としてのＨＤＤや、ＣＰＵを有するマイクロコンピュータ内のＲＯＭやフラッシュメモリ等に予め記録しておくことができる。
あるいはまた、フレキシブルディスク、ＣＤ−ＲＯＭ(Compact Disc Read Only Memory)、ＭＯ(Magnet optical)ディスク、ＤＶＤ、ブルーレイディスク、磁気ディスク、半導体メモリ、メモリカードなどのリムーバブル記録媒体に、一時的あるいは永続的に格納（記録）しておくことができる。このようなリムーバブル記録媒体は、いわゆるパッケージソフトウェアとして提供することができる。
また、プログラムは、リムーバブル記録媒体からパーソナルコンピュータ等にインストールする他、ダウンロードサイトから、ＬＡＮ(Local Area Network)、インターネットなどのネットワークを介してダウンロードすることもできる。
あるいはまた、フレキシブルディスク、ＣＤ−ＲＯＭ(Compact Disc Read Only Memory)、ＭＯ(Magnet optical)ディスク、ＤＶＤ、ブルーレイディスク、磁気ディスク、半導体メモリ、メモリカードなどのリムーバブル記録媒体に、一時的あるいは永続的に格納（記録）しておくことができる。このようなリムーバブル記録媒体は、いわゆるパッケージソフトウェアとして提供することができる。
また、プログラムは、リムーバブル記録媒体からパーソナルコンピュータ等にインストールする他、ダウンロードサイトから、ＬＡＮ(Local Area Network)、インターネットなどのネットワークを介してダウンロードすることもできる。
１，１００，４，４００ 画像処理装置、２ 符号化処理部、３ 復号化処理部、１１ 動きぼけ付加処理部、１２，４２ 動きベクトル生成処理部、４１ 動きぼけ削減処理部
Claims (8)
- 符号化処理に供する動画像データから、上記動画像データを構成する単位画像間での画像の動きを示す動きベクトルを生成する動きベクトル生成部と、
上記符号化処理の前処理として、上記動画像データに対してフィルタ処理を施すことにより、動きぼけの付加処理を実行する動きぼけ付加部と、
被写体速度と、出力画像の画像劣化が低減される撮像シャッタ速度とを対応付ける対応付け情報を参照することによって、上記動きベクトル生成部により生成された動きベクトルに基づき取得した被写体速度に対応する最適シャッタ速度を上記動画像データ内の領域毎に取得し、当該取得した最適シャッタ速度と実際の撮像シャッタ速度との関係に基づいて、ジャーキネスの発生領域を特定すると共に、当該特定したジャーキネスの発生領域に対して上記動きぼけ付加部による動きぼけ付加処理が実行されるように制御を行う制御部と
を備える画像処理装置。 - 上記制御部は、
上記取得した最適シャッタ速度と実際の撮像シャッタ速度との関係に基づいて、上記動きぼけの量を調整する制御も行う
請求項１に記載の画像処理装置。 - 上記動きぼけ付加部で動きぼけの付加処理が施された動画像データを符号化する符号化部をさらに備える請求項１に記載の画像処理装置。
- 上記符号化部は、上記動きベクトル生成部により生成された動きベクトルを用いて上記符号化を行う請求項３に記載の画像処理装置。
- 上記動きぼけ付加部における動きぼけの付加処理を実行する際に用いた動きぼけ付加パラメータと、上記動画像データとが、外部に出力される請求項３に記載の画像処理装置。
- 上記動きぼけ付加パラメータは、動画像データの単位画像の領域毎について動きぼけを付加したか否を示すフラグ情報、又は動きぼけの付加処理に用いた動きベクトル情報、又は上記動きベクトルの補正情報である請求項５に記載の画像処理装置。
- 動画像データを構成する単位画像間での画像の動きを示す動きベクトルを生成する動きベクトル生成ステップと、
被写体速度と、出力画像の画像劣化が低減される撮像シャッタ速度とを対応付ける対応付け情報を参照することによって、上記動きベクトル生成ステップにより生成した動きベクトルに基づき取得した被写体速度に対応する最適シャッタ速度を上記動画像データ内の領域毎に取得し、当該取得した最適シャッタ速度と実際の撮像シャッタ速度との関係に基づいて、ジャーキネスの発生領域を特定すると共に、当該特定したジャーキネスの発生領域に対して、フィルタ処理による動きぼけ付加処理を施す動きぼけ付加ステップと、
上記動きぼけ付加ステップで動きぼけの付加処理が施された動画像データを符号化する符号化ステップと
を有する画像処理方法。 - 動画像データを構成する単位画像間での画像の動きを示す動きベクトルを生成する動きベクトル生成ステップと、
被写体速度と、出力画像の画像劣化が低減される撮像シャッタ速度とを対応付ける対応付け情報を参照することによって、上記動きベクトル生成ステップにより生成した動きベクトルに基づき取得した被写体速度に対応する最適シャッタ速度を上記動画像データ内の領域毎に取得し、当該取得した最適シャッタ速度と実際の撮像シャッタ速度との関係に基づいて、ジャーキネスの発生領域を特定すると共に、当該特定したジャーキネスの発生領域に対して、フィルタ処理による動きぼけ付加処理を施す動きぼけ付加ステップと、
上記動きぼけ付加ステップで動きぼけの付加処理が施された動画像データを符号化する符号化ステップと
を情報処理装置に実行させるプログラム。
Priority Applications (5)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2008197947A JP4613990B2 (ja) | 2008-07-31 | 2008-07-31 | 画像処理装置、画像処理方法、プログラム |
| AT09251836T ATE535099T1 (de) | 2008-07-31 | 2009-07-21 | Bildverarbeitungsvorrichtung, bildverarbeitungsverfahren und programm |
| EP20090251836 EP2160015B1 (en) | 2008-07-31 | 2009-07-21 | Image processing apparatus, image processing method, and program |
| US12/510,578 US8488009B2 (en) | 2008-07-31 | 2009-07-28 | Image processing apparatus, image processing method, and program |
| CN2009101609406A CN101640801B (zh) | 2008-07-31 | 2009-07-31 | 图像处理设备和图像处理方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2008197947A JP4613990B2 (ja) | 2008-07-31 | 2008-07-31 | 画像処理装置、画像処理方法、プログラム |
Related Child Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2010192818A Division JP4915468B2 (ja) | 2010-08-30 | 2010-08-30 | 画像処理装置、画像処理方法、プログラム |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2010041064A JP2010041064A (ja) | 2010-02-18 |
| JP4613990B2 true JP4613990B2 (ja) | 2011-01-19 |
Family
ID=41200249
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2008197947A Expired - Fee Related JP4613990B2 (ja) | 2008-07-31 | 2008-07-31 | 画像処理装置、画像処理方法、プログラム |
Country Status (5)
| Country | Link |
|---|---|
| US (1) | US8488009B2 (ja) |
| EP (1) | EP2160015B1 (ja) |
| JP (1) | JP4613990B2 (ja) |
| CN (1) | CN101640801B (ja) |
| AT (1) | ATE535099T1 (ja) |
Families Citing this family (20)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP4674620B2 (ja) * | 2008-07-29 | 2011-04-20 | ソニー株式会社 | 画像処理装置、画像処理方法、及びプログラム |
| JP2010258494A (ja) * | 2009-04-21 | 2010-11-11 | Sanyo Electric Co Ltd | 防振制御回路 |
| US8823746B2 (en) * | 2010-10-19 | 2014-09-02 | Apple Inc. | System and method for motion blur using velocity vectors |
| WO2013048521A1 (en) * | 2011-10-01 | 2013-04-04 | Intel Corporation | Systems, methods and computer program products for integrated post-processing and pre-processing in video transcoding |
| KR101896026B1 (ko) * | 2011-11-08 | 2018-09-07 | 삼성전자주식회사 | 휴대 단말기에서 움직임 블러를 생성하는 장치 및 방법 |
| US9560308B2 (en) * | 2012-01-25 | 2017-01-31 | Sony Corporation | Applying motion blur to only select objects in video |
| CN104123723A (zh) * | 2014-07-08 | 2014-10-29 | 上海交通大学 | 基于结构补偿的图像质量评价方法 |
| MY190056A (en) * | 2015-05-21 | 2022-03-23 | Huawei Tech Co Ltd | Apparatus and method for video motion compensation |
| EP3136726B1 (en) * | 2015-08-27 | 2018-03-07 | Axis AB | Pre-processing of digital images |
| US10397469B1 (en) * | 2015-08-31 | 2019-08-27 | Snap Inc. | Dynamic image-based adjustment of image capture parameters |
| CN110036629B (zh) * | 2016-09-30 | 2021-08-24 | 株式会社尼康 | 拍摄装置、由拍摄装置执行的方法 |
| JP7077396B2 (ja) | 2017-04-21 | 2022-05-30 | ゼニマックス メディア インク． | ビデオエンコードの延期されたポストプロセスのためのシステムおよび方法 |
| TWI788772B (zh) * | 2017-04-21 | 2023-01-01 | 美商時美媒體公司 | 用於藉由預測運動向量及/或快取重複運動向量的玩家輸入運動補償的系統及方法 |
| CN107578439B (zh) * | 2017-07-19 | 2020-04-28 | 创新先进技术有限公司 | 生成目标图像的方法、装置及设备 |
| US11240528B2 (en) * | 2018-01-30 | 2022-02-01 | Sharp Kabushiki Kaisha | Systems and methods for performing motion vector prediction for video coding using motion vector predictor origins |
| US11032345B2 (en) * | 2018-05-10 | 2021-06-08 | Microsoft Technology Licensing, Llc | Client side data stream processing |
| WO2019241909A1 (en) * | 2018-06-19 | 2019-12-26 | Hangzhou Taro Positioning Technology Co., Ltd. | Camera mobile device holder with stablization |
| CN112805990A (zh) * | 2018-11-15 | 2021-05-14 | 深圳市欢太科技有限公司 | 视频处理方法、装置、电子设备及计算机可读存储介质 |
| CN111860764A (zh) * | 2020-06-05 | 2020-10-30 | 北京迈格威科技有限公司 | 视觉任务处理方法及其模型训练方法、装置和电子*** |
| CN112217988B (zh) * | 2020-09-21 | 2022-03-04 | 深圳市美格智联信息技术有限公司 | 基于人工智能的光伏相机运动模糊自适应调整方法与*** |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH07203428A (ja) * | 1993-12-28 | 1995-08-04 | Canon Inc | 画像処理方法及び装置 |
| JPH11266462A (ja) * | 1998-03-16 | 1999-09-28 | Nec Corp | 動画像符号化装置のプレフィルタ |
| JP2003006650A (ja) * | 2001-06-20 | 2003-01-10 | Sony Corp | 画像処理装置および方法、記録媒体、並びにプログラム |
| JP2005348176A (ja) * | 2004-06-03 | 2005-12-15 | Matsushita Electric Ind Co Ltd | 画像処理装置 |
| JP2007124397A (ja) * | 2005-10-28 | 2007-05-17 | Nikon Corp | 画像処理装置および画像処理方法 |
Family Cites Families (14)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH05161103A (ja) * | 1991-12-04 | 1993-06-25 | Ricoh Co Ltd | 映像データ表示方法と装置 |
| GB2297450B (en) | 1995-01-18 | 1999-03-10 | Sony Uk Ltd | Video processing method and apparatus |
| JPH11252409A (ja) | 1998-03-04 | 1999-09-17 | Hitachi Ltd | 画質改善回路 |
| US6782132B1 (en) | 1998-08-12 | 2004-08-24 | Pixonics, Inc. | Video coding and reconstruction apparatus and methods |
| JP4017318B2 (ja) | 2000-06-09 | 2007-12-05 | 日本放送協会 | 高能率符号化における前処理装置 |
| JP4596221B2 (ja) * | 2001-06-26 | 2010-12-08 | ソニー株式会社 | 画像処理装置および方法、記録媒体、並びにプログラム |
| JP2004080252A (ja) | 2002-08-14 | 2004-03-11 | Toshiba Corp | 映像表示装置及びその方法 |
| JP5062968B2 (ja) | 2004-08-11 | 2012-10-31 | ソニー株式会社 | 画像処理装置および方法、記録媒体、並びにプログラム |
| EP1631090A1 (en) | 2004-08-31 | 2006-03-01 | Matsushita Electric Industrial Co., Ltd. | Moving picture coding apparatus and moving picture decoding apparatus |
| WO2006068293A1 (ja) * | 2004-12-21 | 2006-06-29 | Sony Corporation | 画像処理装置と画像処理方法および画像処理プログラム |
| JP3753731B1 (ja) | 2005-02-18 | 2006-03-08 | 三菱電機株式会社 | 画像処理装置、画像処理方法、及び画像表示装置 |
| JPWO2007063819A1 (ja) * | 2005-11-29 | 2009-05-07 | パイオニア株式会社 | 記録装置、再生装置、記録方法、記録プログラムおよびコンピュータに読み取り可能な記録媒体 |
| JP4961800B2 (ja) * | 2006-03-31 | 2012-06-27 | ソニー株式会社 | 画像処理装置、および画像処理方法、並びにコンピュータ・プログラム |
| MY151708A (en) | 2007-02-07 | 2014-06-30 | Sony Corp | Image processing apparatus, imaging apparatus, image processing method, and program |
-
2008
- 2008-07-31 JP JP2008197947A patent/JP4613990B2/ja not_active Expired - Fee Related
-
2009
- 2009-07-21 EP EP20090251836 patent/EP2160015B1/en not_active Not-in-force
- 2009-07-21 AT AT09251836T patent/ATE535099T1/de active
- 2009-07-28 US US12/510,578 patent/US8488009B2/en not_active Expired - Fee Related
- 2009-07-31 CN CN2009101609406A patent/CN101640801B/zh not_active Expired - Fee Related
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH07203428A (ja) * | 1993-12-28 | 1995-08-04 | Canon Inc | 画像処理方法及び装置 |
| JPH11266462A (ja) * | 1998-03-16 | 1999-09-28 | Nec Corp | 動画像符号化装置のプレフィルタ |
| JP2003006650A (ja) * | 2001-06-20 | 2003-01-10 | Sony Corp | 画像処理装置および方法、記録媒体、並びにプログラム |
| JP2005348176A (ja) * | 2004-06-03 | 2005-12-15 | Matsushita Electric Ind Co Ltd | 画像処理装置 |
| JP2007124397A (ja) * | 2005-10-28 | 2007-05-17 | Nikon Corp | 画像処理装置および画像処理方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| US20100026880A1 (en) | 2010-02-04 |
| EP2160015B1 (en) | 2011-11-23 |
| ATE535099T1 (de) | 2011-12-15 |
| JP2010041064A (ja) | 2010-02-18 |
| EP2160015A1 (en) | 2010-03-03 |
| US8488009B2 (en) | 2013-07-16 |
| CN101640801B (zh) | 2012-05-30 |
| CN101640801A (zh) | 2010-02-03 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP4613990B2 (ja) | 画像処理装置、画像処理方法、プログラム | |
| JP4666012B2 (ja) | 画像処理装置、画像処理方法、プログラム | |
| JP5045674B2 (ja) | 画像処理装置、撮像装置、画像処理方法、及びプログラム | |
| KR101298642B1 (ko) | 영상 잡음 제거 방법 및 장치 | |
| Norkin et al. | Film grain synthesis for AV1 video codec | |
| JP2012516637A5 (ja) | ||
| JP2007188493A (ja) | 動きボケ画像中の動きボケを減らす方法、それぞれが各自のボケ・パラメータを持つ複数の動きボケ画像を用いて動きボケの減らされた画像を生成する方法、動きボケ画像中の動きボケを減らす装置、およびそれぞれが各自のボケ・パラメータを持つ複数の動きボケ画像を用いて動きボケの減らされた画像を生成する装置 | |
| JP2013192224A (ja) | ブラー映像及びノイズ映像で構成されたマルチフレームを用いて非均一モーションブラーを除去する方法及び装置 | |
| KR20150145725A (ko) | Ldr 비디오 시퀀스의 동적 범위 확장을 위한 방법 및 장치 | |
| Dai et al. | Film grain noise removal and synthesis in video coding | |
| JP2012249038A (ja) | 画像信号処理装置、画像信号処理方法 | |
| JP2004159311A (ja) | 画像処理装置および画像処理方法 | |
| JP2008301336A (ja) | 画像処理装置、画像符号化装置及び画像復号化装置 | |
| KR20200019853A (ko) | 비디오 인코딩의 연기된 포스트-프로세스들을 위한 시스템들 및 방법들 | |
| JP4915468B2 (ja) | 画像処理装置、画像処理方法、プログラム | |
| CN111800583B (zh) | 高动态范围图像分区处理方法、装置及计算机可读存储介质 | |
| JP2005141722A (ja) | 画像信号処理方法、画像信号処理装置、及び画像信号プログラム | |
| JP2011199349A (ja) | 画像処理装置、画像処理方法及び画像処理用コンピュータプログラム | |
| JP2009182768A (ja) | 動画像符号化方法，装置，プログラムおよびコンピュータ読み取り可能な記録媒体 | |
| JP2009077240A (ja) | 画像処理装置及び画像処理方法 | |
| AU2016201449B2 (en) | Encoding and decoding using perceptual representations | |
| JP2014110509A (ja) | 画像符号化装置及び画像符号化方法 | |
| CN113766239B (zh) | 数据处理的方法和*** | |
| TWI519139B (zh) | 資料處理方法及數位影像處理裝置 | |
| JP5715533B2 (ja) | 動画像画質復元装置、動画像画質復元方法、およびプログラム |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20100427 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20100629 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20100830 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20100921 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20101004 |
|
| R151 | Written notification of patent or utility model registration |
Ref document number: 4613990 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20131029 Year of fee payment: 3 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| LAPS | Cancellation because of no payment of annual fees |