JP5322704B2 - 画像処理装置、画像処理方法 - Google Patents
画像処理装置、画像処理方法 Download PDFInfo
- Publication number
- JP5322704B2 JP5322704B2 JP2009054064A JP2009054064A JP5322704B2 JP 5322704 B2 JP5322704 B2 JP 5322704B2 JP 2009054064 A JP2009054064 A JP 2009054064A JP 2009054064 A JP2009054064 A JP 2009054064A JP 5322704 B2 JP5322704 B2 JP 5322704B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- frame
- encoding
- decoding
- unit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000003672 processing method Methods 0.000 title claims 5
- 238000000034 method Methods 0.000 claims description 36
- 238000004590 computer program Methods 0.000 claims description 8
- 125000001475 halogen functional group Chemical group 0.000 claims 2
- 238000000926 separation method Methods 0.000 description 20
- 238000000605 extraction Methods 0.000 description 10
- 238000010586 diagram Methods 0.000 description 8
- 230000006870 function Effects 0.000 description 8
- 230000015572 biosynthetic process Effects 0.000 description 6
- 238000003786 synthesis reaction Methods 0.000 description 6
- 208000012661 Dyskinesia Diseases 0.000 description 3
- 238000003384 imaging method Methods 0.000 description 3
- 238000004891 communication Methods 0.000 description 2
- 230000006835 compression Effects 0.000 description 2
- 238000007906 compression Methods 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 239000004973 liquid crystal related substance Substances 0.000 description 2
- 206010052143 Ocular discomfort Diseases 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 230000002194 synthesizing effect Effects 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/14—Picture signal circuitry for video frequency region
- H04N5/21—Circuitry for suppressing or minimising disturbance, e.g. moiré or halo
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/20—Image enhancement or restoration using local operators
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/70—Denoising; Smoothing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/73—Deblurring; Sharpening
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20172—Image enhancement details
- G06T2207/20201—Motion blur correction
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N2101/00—Still video cameras
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
- Image Processing (AREA)
- Picture Signal Circuits (AREA)
- Television Signal Processing For Recording (AREA)
Description
本発明は、画像表示技術に関するものである。
複数のフレーム画像から構成される動画像から印刷用のフレーム画像(静止画像)を切り出し、静止画として利用したいという要求は多い。しかし、高速シャッターで撮影した動画像にはジャーキネスが発生するし、低速シャッターで撮影した動画像から一枚の画像(フレーム画像)を切り出した場合であっても、このフレーム画像には動きぼけが発生している。また、フィルタ処理による動きぼけの除去も難しい。
非特許文献1によると、シャッターの開閉を所定のパターン(間欠パターン)にしたがって行い、間欠パターンと動き情報(動きの方向と速度)とを用いることによって、間欠的に撮影した間欠撮影画像中の動きぼけの除去が可能となる。
ここで、間欠パターンについて補足説明する。ビデオカメラでは一枚の画像の撮影時間は1/60秒となる。この間欠パターンを用いた間欠撮影では、この1/60秒間、シャッターを開いた状態にせず、例えば、この1/60秒を1000分割し、その短い時間ごとに、シャッターが開いた状態、あるいは、閉じた状態を作って撮影する。この場合、間欠パターンは、シャッターを開いた状態を1、閉じた状態を0とすれば、1000桁の2進数で表現することができる。
一般に、動いている物体を、間欠的に撮影せずに、動きぼけが発生する低速シャッタースピードで撮影した場合、動きぼけ領域の中に様々な空間周波数を含む画像が撮影される。この画像の動きぼけ領域は様々な空間周波数を含むため、ぼけ方を表現するPSF(Point Spread Function)を一意に決めることが難しく、PSFの逆フィルタによる動きぼけ除去処理は難しかった。しかし、間欠的に画像を撮影した場合、画像の動きぼけ領域に対して特定の空間周波数を制限することができる。非特許文献1は、このPSFの一意に決まるように空間周波数を制限する間欠パターンを作る方法、および、推定したPSFの逆フィルタによって動きぼけを除去する技術について説明している。
しかし、この間欠撮影画像の動きぼけ領域は、特定の空間周波数が制限されるために、動いている物体の輪郭が多重になり、視覚的な違和感が多く、そのままの見るには適さない。
Coded Exposure Photography: Motion Deblurring using Fluttered Shutter by Ramesh Raskar,ACM SIGGRAPH 2006
即ち、自然な動きを表す動画表示用のフレーム画像と、動きぼけの少ない静止画像表示用のフレーム画像と、を両立させて記録・伝送することは難しかった。
本発明は以上の問題に鑑みて成されたものであり、動画像を構成するフレーム画像を動画像表示用の画像として表示する場合であっても、静止画像表示用の画像として表示する場合であっても、好適な画像として表示する為の技術を提供することを目的とする。
本発明の目的を達成するために、例えば、本発明の画像処理装置は以下の構成を備える。
即ち、複数のフレーム画像から構成される動画像を入力する手段と、
前記フレーム画像を動画像表示用の画像として表示するのか、静止画像表示用の画像として表示するのかを示す指示を取得する手段と、
前記指示が、前記フレーム画像を動画像表示用の画像として表示することを示す場合には、前記フレーム画像中の輪郭を暈かす処理を行うことで該フレーム画像を更新し、該更新したフレーム画像を動画像表示用の画像として出力する第1の出力手段と、
前記指示が、前記フレーム画像を静止画像表示用の画像として表示することを示す場合には、前記フレーム画像中の動き暈けを除去する処理を行うことで該フレーム画像を更新し、該更新したフレーム画像を静止画像表示用の画像として出力する第2の出力手段と
を備えることを特徴とする。
前記フレーム画像を動画像表示用の画像として表示するのか、静止画像表示用の画像として表示するのかを示す指示を取得する手段と、
前記指示が、前記フレーム画像を動画像表示用の画像として表示することを示す場合には、前記フレーム画像中の輪郭を暈かす処理を行うことで該フレーム画像を更新し、該更新したフレーム画像を動画像表示用の画像として出力する第1の出力手段と、
前記指示が、前記フレーム画像を静止画像表示用の画像として表示することを示す場合には、前記フレーム画像中の動き暈けを除去する処理を行うことで該フレーム画像を更新し、該更新したフレーム画像を静止画像表示用の画像として出力する第2の出力手段と
を備えることを特徴とする。
本発明の構成によれば、動画像を構成するフレーム画像を動画像表示用の画像として表示する場合であっても、静止画像表示用の画像として表示する場合であっても、好適な画像として表示することができる。
以下、添付図面を参照し、本発明の好適な実施形態について説明する。なお、以下説明する実施形態は、本発明を具体的に実施した場合の一例を示すもので、特許請求の範囲に記載の構成の具体的な実施例の1つである。
[第1の実施形態]
本実施形態では、ITU−T H.264(ISO/IEC 14496−10)に従って符号化された動画像データ(複数のフレーム画像から構成される動画像の符号化データ)を復号して出力する画像処理装置について説明する。もちろん、符号化方式についてはこれ以外のものであっても、本実施形態の本質は変わらない。
本実施形態では、ITU−T H.264(ISO/IEC 14496−10)に従って符号化された動画像データ(複数のフレーム画像から構成される動画像の符号化データ)を復号して出力する画像処理装置について説明する。もちろん、符号化方式についてはこれ以外のものであっても、本実施形態の本質は変わらない。
図1は、本実施形態に係る画像処理装置の機能構成例を示すブロック図である。図1に示す如く、本実施形態に係る画像処理装置は、データ入力部101、分離部102、ストリーム復号部103、セレクタ104、動き暈け除去部105、多重輪郭除去部106、セレクタ107、画像出力部108、切り替え信号入力部109、を有する。
データ入力部101は、ITU−T H.264(ISO/IEC 14496−10)に従って符号化された動画像データであるH264ストリームを外部から取得し、取得したこのH264ストリームを後段の分離部102に送出する。なお、このH264ストリームには、撮影情報が付加(多重化)されている。撮影情報とは、この動画像を撮像したカメラに搭載されたジャイロセンサによって計測された動き情報と、上述の間欠パターンと、を含む情報である。
分離部102は、データ入力部101から、撮影情報が多重化されたH264ストリームを受け取ると、H264ストリームと撮影情報とを分離する。そして分離部102は、H264ストリームについては後段のストリーム復号部103に送出し、撮影情報については後段の動き暈け除去部105に送出する。
ストリーム復号部103は、分離部102からH264ストリームを受け取ると、H264ストリームに含まれている各フレームの画像(フレーム画像)を復号する。そして復号した各フレームのフレーム画像を順次、後段のセレクタ104に送出する。
切り替え信号入力部109には、ストリーム復号部103が復号したフレーム画像を動画像表示用の画像として表示するのか、静止画像表示用の画像として表示するのかを示す指示が入力される。切り替え信号入力部109はこのような指示を受け取ると、この指示に基づいてセレクタ104、107を制御する。
より詳しくは、係る指示が、フレーム画像を動画像表示用の画像として表示することを示す場合には、ストリーム復号部103から出力されたフレーム画像が多重輪郭除去部106に入力されるように、セレクタ104を制御する。また、切り替え信号入力部109は、多重輪郭除去部106からの出力が画像出力部108に入力されるように、セレクタ107を制御する。即ち、入力された指示が、フレーム画像を動画像表示用の画像として表示することを示す場合には、ストリーム復号部103から出力されたフレーム画像が多重輪郭除去部106を介して画像出力部108に送出されるように、セレクタ104、107を制御する。
一方、係る指示が、フレーム画像を静止画像表示用の画像として表示することを示す場合には、切り替え信号入力部109は、ストリーム復号部103から出力されたフレーム画像が動き暈け除去部105に入力されるように、セレクタ104を制御する。また、切り替え信号入力部109は、動き暈け除去部105からの出力が画像出力部108に入力されるように、セレクタ107を制御する。即ち、入力された指示が、フレーム画像を静止画像表示用の画像として表示することを示す場合には、ストリーム復号部103から出力されたフレーム画像が動き暈け除去部105を介して画像出力部108に送出されるようにセレクタ104、107を制御する。
多重輪郭除去部106は、セレクタ104からフレーム画像を受けると、先ず、このフレーム画像を構成している各画素に対して、図4に例示した構成を有するラプラシアンフィルタカーネルを適用することで、このフレーム画像中の輪郭を検出する。そして次に、多重輪郭除去部106は、この検出した輪郭を構成する各画素に対して、図5に例示する構成を有するローパスフィルタカーネルを適用することで、この輪郭を暈かす(暈かし)処理を行う。これにより、多重輪郭除去部106は、セレクタ104から受けたフレーム画像を、輪郭が暈けたフレーム画像に更新する。そして多重輪郭除去部106は、このようにして更新したフレーム画像(輪郭が暈けたフレーム画像)を、後段のセレクタ107に送出する。
動き暈け除去部105は、セレクタ104からフレーム画像を受けると、分離部102から受けた撮影情報に含まれている動き情報と間欠パターンとを用いて、このフレーム画像から動き暈けを除去することで、このフレーム画像を更新する処理を行う。動き情報と間欠パターンとを用いて画像中の動き暈けを除去する処理については上述の通り、公知の技術であるので、これについての説明は省略する。
なお、本実施形態では、動き情報については予め撮影情報に含められ、H264ストリームに多重化されているものとして説明した。しかし、この動き情報は、各フレーム画像を用いて動きベクトルを求めたりすることで動的に求めることができるので、予め撮影情報に含めることに限定するものではない。そして動き暈け除去部105は、このようにして更新したフレーム画像(動き暈けが除去されたフレーム画像)を、後段のセレクタ107に送出する。
セレクタ107は動き暈け除去部105、多重輪郭除去部106のうち切り替え信号入力部109により選択された方からの出力(フレーム画像)を画像出力部108に転送する。
画像出力部108は、セレクタ107から受けたフレーム画像を出力する。出力先については特に限定するものではないが、例えば、CRTや液晶画面などにより構成されている表示装置であっても良いし、記憶装置であっても良い。
図7は、本実施形態に係る画像処理装置が行う処理のフローチャートである。先ずステップS701では、データ入力部101は、撮影情報が多重化されたH264ストリームを取得する。
次に、ステップS702では、分離部102は、データ入力部101から、撮影情報が多重化されたH264ストリームを受け取ると、H264ストリームと撮影情報とを分離する。そして分離部102は、H264ストリームについては後段のストリーム復号部103に送出し、撮影情報については後段の動き暈け除去部105に送出する。
次に、ステップS703では、ストリーム復号部103は、分離部102からH264ストリームを受け取ると、H264ストリームに含まれている各フレームの画像(フレーム画像)を復号する。そして復号した各フレームのフレーム画像を順次、後段のセレクタ104に送出する。
切り替え信号入力部109は、上記指示が、フレーム画像を動画像表示用の画像として表示することを示す場合には、ストリーム復号部103から出力されたフレーム画像が多重輪郭除去部106に入力されるように、セレクタ104を制御する。また、切り替え信号入力部109は、多重輪郭除去部106からの出力が画像出力部108に入力されるように、セレクタ107を制御する。従ってこのような場合には処理はステップS704を介してステップS705に進む。
一方、上記指示が、フレーム画像を静止画像表示用の画像として表示することを示す場合には、切り替え信号入力部109は、ストリーム復号部103から出力されたフレーム画像が動き暈け除去部105に入力されるように、セレクタ104を制御する。また、切り替え信号入力部109は、動き暈け除去部105からの出力が画像出力部108に入力されるように、セレクタ107を制御する。従ってこのような場合には処理はステップS704を介してステップS706に進む。
ステップS705では、多重輪郭除去部106は、セレクタ104からフレーム画像を受けると先ず、このフレーム画像を構成している各画素に対して、図4に例示した構成を有するラプラシアンフィルタカーネルを適用する。これにより、このフレーム画像中の輪郭を検出する。そして次に、多重輪郭除去部106は、この検出した輪郭を構成する各画素に対して、図5に例示する構成を有するローパスフィルタカーネルを適用することで、この輪郭を暈かす処理を行う。これにより、多重輪郭除去部106は、セレクタ104から受けたフレーム画像を、輪郭が暈けたフレーム画像に更新する。
図6は、ステップS705における処理の詳細を示すフローチャートである。先ずステップS601では、多重輪郭除去部106は、セレクタ104から入力したフレーム画像を構成している各画素に対して、図4に例示した構成を有するラプラシアンフィルタカーネルを適用することで、このフレーム画像中の輪郭を検出する。そして次に、多重輪郭除去部106は、ラプラシアンフィルタカーネルを適用した画素のうち、規定値以上の画素値を有する画素があった場合には、処理をステップS602を介してステップS603に進める。そしてステップS603では、多重輪郭除去部106は、この画素に対して、図5に例示する構成を有するローパスフィルタカーネルを適用することで、この輪郭を暈かす処理を行う。そして多重輪郭除去部106は、このようにして更新したフレーム画像(輪郭が暈けたフレーム画像)を、後段のセレクタ107に送出する。
一方、ステップS706では、動き暈け除去部105は、セレクタ104からフレーム画像を受けると、分離部102から受けた撮影情報に含まれている動き情報と間欠パターンとを用いて、このフレーム画像から動き暈けを除去する。これにより、このフレーム画像を更新する処理を行う。そして動き暈け除去部105は、このようにして更新したフレーム画像(動き暈けが除去されたフレーム画像)を、後段のセレクタ107に送出する。
ステップS707では、セレクタ107は、動き暈け除去部105、多重輪郭除去部106のうち切り替え信号入力部109により選択された方からの出力(フレーム画像)を画像出力部108に転送する。画像出力部108は、セレクタ107から受けたフレーム画像を出力する(第1の出力、第2の出力)。なお、ステップS704以降の処理は、各フレーム画像について行うことになる。
以上の説明により、本実施形態によれば、自然な動きの動画像表示用の画像と動きぶれのない静止画像表示用の画像と、を外部からの要求に応じて適宜切り替えて出力することができる。
なお、本実施形態ではフレーム単位で処理を行っているが、これに限定されるものではなく、画素単位、あるいは、ブロック単位で処理するようにしても良い。また、多重輪郭除去部106では、輪郭を検出してローパスフィルタをかけているが、検出方法、フィルタカーネルについては、上記例に限定するものではない。
また、図1では説明を簡単にするために、各部間で直接データのやり取りを行うようにしているが、やり取りするデータを一端メモリに格納し、そして格納したデータを次の転送先に転送するようにしても良い。そしてこのような構成は如何なる目的のために用いても良い。
[第2の実施形態]
図2は、本実施形態に係る画像処理装置としての符号化装置の機能構成例を示すブロック図である。図2に示す如く、係る符号化装置は、画像入力部201、多重輪郭除去部202、画像符号化部203、復号化部204、差分抽出部205、差分画像符号化部206、多重化処理部207、撮影情報入力部208、データ出力部209を有する。
図2は、本実施形態に係る画像処理装置としての符号化装置の機能構成例を示すブロック図である。図2に示す如く、係る符号化装置は、画像入力部201、多重輪郭除去部202、画像符号化部203、復号化部204、差分抽出部205、差分画像符号化部206、多重化処理部207、撮影情報入力部208、データ出力部209を有する。
画像入力部201には、シャッターの開閉を所定の間欠パターンで刻むことで間欠的に撮影されたフレーム画像(間欠撮影画像)が順次入力される。画像入力部201は、外部から入力されたフレーム画像を多重輪郭除去部202と差分抽出部205とに送出する。
多重輪郭除去部202は、第1の実施形態で説明した多重輪郭除去部106と同じもので、入力されたフレーム画像中の輪郭を暈かすことでこのフレーム画像を更新する処理を行う。そして多重輪郭除去部202は、更新後のフレーム画像を後段の画像符号化部203に入力する。
画像符号化部203は、H.264の符号化方式に従って、多重輪郭除去部202から入力されたフレーム画像を符号化する(第1の符号化)。そして符号化したフレーム画像(符号化結果)を後段の多重化処理部207に入力する。更に、画像符号化部203は、量子化されたDCT符号化情報などの符号化中間情報を復号化部204に出力する。
復号化部204は、画像符号化部203から受けた符号化中間情報を復号することで復号フレーム画像を生成する。そして復号化部204は、このように生成した復号画像を差分抽出部205に送出する。
差分抽出部205には画像入力部201から順次フレーム画像が入力されると共に、復号化部204からも順次復号画像が入力される。差分抽出部205は、画像入力部201から入力されるそれぞれのフレーム画像と、復号化部204から入力されるそれぞれの復号フレーム画像とで、対応するフレーム画像同士の差分画像を求める。そして差分抽出部205は、求めた差分画像を後段の差分画像符号化部206に送出する。差分画像符号化部206は、順次入力されるそれぞれの差分画像についてJPEG圧縮を行う(第2の符号化)。
撮影情報入力部208には、第1の実施形態で説明した撮影情報が入力されるので、撮影情報入力部208はこの入力された撮影情報を、後段の多重化処理部207に送出する。
多重化処理部207は、撮影情報入力部208から入力された撮影情報、差分画像符号化部206から送出された符号化結果(差分ストリーム)、画像符号化部203から送出された符号化結果(メインストリーム)、を多重化する。そして多重化した結果をストリームとしてデータ出力部209に送出する。
データ出力部209は、多重化処理部207から受けたストリームを出力する。出力先については特に限定するものではないが、ハードディスクなどの記憶装置に対して出力しても良いし、図3に示す構成を有する復号装置に対して直接出力するようにしても良い。
図8は、本実施形態に係る画像処理装置としての符号化装置が行う処理のフローチャートである。先ず、ステップS801では、画像入力部201には、フレーム画像(間欠撮影画像)が順次入力されるので、画像入力部201は、このフレーム画像を多重輪郭除去部202と差分抽出部205とに送出する。
次に、ステップS802では、多重輪郭除去部202は、入力されたフレーム画像中の輪郭を暈かすことでこのフレーム画像を更新する処理を行う。そして多重輪郭除去部202は、更新後のフレーム画像を後段の画像符号化部203に入力する。
次に、ステップS803では、画像符号化部203は、H.264の符号化方式に従って、多重輪郭除去部202から入力されたフレーム画像を符号化する(第1の符号化)。そして符号化したフレーム画像(符号化結果)を後段の多重化処理部207に入力する。更に、画像符号化部203は、量子化されたDCT符号化情報などの符号化中間情報を復号化部204に出力する。
次に、ステップS804では、復号化部204は、画像符号化部203から受けた符号化中間情報を復号することで復号フレーム画像を生成する。そして復号化部204は、このように生成した復号画像を差分抽出部205に送出する。
次に、ステップS805では、差分抽出部205は、画像入力部201から入力されるそれぞれのフレーム画像と、復号化部204から入力されるそれぞれの復号フレーム画像とで、対応するフレーム画像同士の差分画像を求める。そして差分抽出部205は、求めた差分画像を後段の差分画像符号化部206に送出する。次に、ステップS806では、差分画像符号化部206は、順次入力されるそれぞれの差分画像についてJPEG圧縮を行う(第2の符号化)。
次にステップS807では、多重化処理部207は、撮影情報入力部208から入力された撮影情報、差分画像符号化部206から送出された符号化結果(差分ストリーム)、画像符号化部203から送出された符号化結果(メインストリーム)、を多重化する。そして多重化した結果をストリームとしてデータ出力部209に送出する。次に、ステップS808では、データ出力部209は、多重化処理部207から受けたストリームを出力する。
図3は、本実施形態に係る画像処理装置としての復号装置の機能構成例を示すブロック図である。図3に示す如く、復号装置は、切り替え信号入力部308、データ入力部301、データ分離部302、メインストリーム復号部303、差分ストリーム復号部304、画像合成部305、動き暈け除去部306、セレクタ307、画像出力部309を有する。
データ入力部301には、図2に示した構成を有する符号化装置が生成したストリームが入力される。そしてデータ入力部301は、このストリームを後段のデータ分離部302に送出する。
データ分離部302は、このストリームに含まれているメインストリームについてはメインストリーム復号部303に送出し、差分ストリームについては差分ストリーム復号部304に送出する。また、データ分離部302は、このストリームに含まれている撮影情報については、動き暈け除去部306に送出する。メインストリーム復号部303は、メインストリームを復号する(第1の復号)。差分ストリーム復号部304は、差分ストリームを復号する(第2の復号)。
ここで、切り替え信号入力部308には、動き暈け除去画像を出力するのか、多重輪郭除去画像を出力するのかを示す指示が入力される。従って切り替え信号入力部308は、この指示が、動き暈け除去画像を出力することを示す場合には、メインストリーム復号部303、差分ストリーム復号部304を制御し、それぞれの出力先を画像合成部305に設定する。即ち画像合成部305には、メインストリームの復号結果と差分ストリームの復号結果とが入力されることになる。
画像合成部305は、メインストリームの復号結果と差分ストリームの復号結果とを合成する。即ち、復号したフレーム画像と、復号した差分画像とを合成した画像(多重輪郭復号画像)を、フレーム毎に生成する。そして画像合成部305は、多重輪郭復号画像を動き暈け除去部306に送出する。
動き暈け除去部306は、図1に示した動き暈け除去部105と同じものであり、データ分離部302から受けた撮影情報を用いて、多重輪郭復号画像から動き暈けを除去することで、この多重輪郭復号画像を更新する。そして更新した多重輪郭復号画像をセレクタ307に送出する。この場合、セレクタ307は、この更新した多重輪郭除去画像を後段の画像出力部309に送出する。
一方、切り替え信号入力部308は、指示が、多重輪郭除去画像を出力することを示す場合には、メインストリーム復号部303を制御し、その出力先をセレクタ307に設定する。この場合、セレクタ307は、メインストリーム復号部303により復号されたフレーム画像を、後段の画像出力部309に送出する。
画像出力部309は、セレクタ307から受けた画像を出力する。出力先については第1の実施形態と同様、特に限定するものではない。
図9は、本実施形態に係る画像処理装置としての復号装置が行う処理のフローチャートである。先ず、ステップS901では、データ入力部301は、ストリームを取得し、後段のデータ分離部302に送出する。
次に、ステップS902では、データ分離部302は、このストリームに含まれているメインストリームについてはメインストリーム復号部303に送出し、差分ストリームについては差分ストリーム復号部304に送出する。また、データ分離部302は、このストリームに含まれている撮影情報については、動き暈け除去部306に送出する。
切り替え信号入力部308は、入力された指示が、動き暈け除去画像を出力することを示す場合には、メインストリーム復号部303、差分ストリーム復号部304を制御し、それぞれの出力先を画像合成部305に設定する。この場合、処理はステップS903を介してステップS904に進む。
ステップS904では、メインストリーム復号部303は、メインストリームを復号する。ステップS905では、差分ストリーム復号部304は、差分ストリームを復号する。
ステップS906では、画像合成部305は、メインストリームの復号結果と差分ストリームの復号結果とを合成する。即ち、復号したフレーム画像と、復号したサブ画像とを合成した画像(多重輪郭復号画像)を、フレーム毎に生成する。そして画像合成部305は、多重輪郭復号画像を動き暈け除去部306に送出する。
ステップS907では、動き暈け除去部306は、データ分離部302から受けた撮影情報を用いて、多重輪郭復号画像から動き暈けを除去することで、この多重輪郭復号画像を更新する。そして更新した多重輪郭復号画像をセレクタ307に送出する。この場合、セレクタ307は、この更新した多重輪郭除去画像を後段の画像出力部309に送出する。
一方、切り替え信号入力部308は、指示が、多重輪郭除去画像を出力することを示す場合には、メインストリーム復号部303を制御し、その出力先をセレクタ307に設定する。この場合、処理はステップS903を介してステップS908に進む。
ステップS908では、メインストリーム復号部303は、メインストリームを復号する。この場合、セレクタ307は、メインストリーム復号部303により復号されたフレーム画像を、後段の画像出力部309に送出する。ステップS909では、画像出力部309は、セレクタ307から受けた画像を出力する。
なお、本実施形態では、動き情報については予め撮影情報に含められているものとして説明した。しかし、この動き情報は、各フレーム画像を用いて動きベクトルを求めたりすることで動的に求めることができるので、予め撮影情報に含めることに限定するものではない。
また、本実施形態では、メインストリームの符号化方式としてH.264、差分ストリームの符号化方式としてJPEGを採用しているがこれに限定されるものではない。また、本実施形態ではフレーム単位で処理を行っているが、これに限定されるものではなく、画素単位、あるいは、ブロック単位で処理するようにしても良い。
また、図2,3では説明を簡単にするために、各部間で直接データのやり取りを行うようにしているが、やり取りするデータを一端メモリに格納し、そして格納したデータを次の転送先に転送するようにしても良い。そしてこのような構成は如何なる目的のために用いても良い。
また、多重輪郭除去部202では、輪郭を検出してローパスフィルタをかけているが、検出方法、フィルタカーネルについては、上記例に限定するものではない。また、本実施形態では各フレームについて差分画像を生成しているが、これに限定するものではなく、周期的にあるいは、シーンチェンジ後のフレームなど、任意のフレームに対してのみ差分画像を生成するようにしても良い。
メインストリーム、差分ストリーム、撮影情報の関連付けについて、本実施形態では、メインストリームの識別コードを差分ストリームと撮影情報に付加している。しかし、関連付けの方法はこれに限定するものではなく、例えば、ストリームおよび情報を規定の順番に並べることによって、各々を同一の画像に対するストリームおよび情報の組として、各々を関連付けることも可能である。
このように、図2に示した構成を有する符号化装置で生成したデータを図3に示した構成を有する復号装置で復号することによって、ジャーキネスの少ない画像と動きぶれの少ない画像を、外部信号により切り替えて、出力することができる。
また、図2に示した構成を有する符号化装置で生成したデータを通常のH264に準拠した復号装置で復号する場合においても、差分ストリームを処理せずメインストリームのみを復号することにより、ジャーキネスの少ない画像を復号することが可能となる。
また、比較的処理の重い動きぼけ除去処理を実施するモジュールを復号装置側におくことにより、バッテリー駆動の多いカメラに組み込まれる符号化装置の消費電力の増加を最小限におさえることができる。
[第3の実施形態]
図1,2,3に示した各部は全てハードウェアで構成しても良いが、各部を、各部の機能をコンピュータのCPUによって実現させるためのコンピュータプログラムとして実装しても良い。図10は、上記各実施形態における画像処理装置(符号化装置、復号装置を含む)に適用可能なコンピュータのハードウェア構成例を示すブロック図である。
図1,2,3に示した各部は全てハードウェアで構成しても良いが、各部を、各部の機能をコンピュータのCPUによって実現させるためのコンピュータプログラムとして実装しても良い。図10は、上記各実施形態における画像処理装置(符号化装置、復号装置を含む)に適用可能なコンピュータのハードウェア構成例を示すブロック図である。
CPU1001は、RAM1002やROM1003に格納されているコンピュータプログラムやデータを用いてコンピュータ全体の制御を行うと共に、コンピュータを適用する装置が行うものとして上述した各処理を実行する。
RAM1002は、外部記憶装置1006からロードされたコンピュータプログラムやデータ、I/F(インターフェース)1007を介して外部から取得したデータ等を一時的に記憶するためのエリアを有する。更に、RAM1002は、CPU1001が各種の処理を実行する際に用いるワークエリアを有する。即ち、RAM1002は、各種のエリアを適宜提供することができる。ROM1003には、ブートプログラムや、本コンピュータの設定データなどが格納されている。
操作部1004は、キーボードやマウスなどにより構成されており、本コンピュータの操作者が操作することで、各種の指示をCPU1001に対して入力することができる。例えば、上記指示はこの操作部1004を用いて入力しても良い。表示部1005は、CRTや液晶画面等により構成されており、CPU1001による処理結果を画像や文字などでもって表示することができる。
外部記憶装置1006は、ハードディスクドライブ装置に代表される大容量情報記憶装置である。外部記憶装置1006には、OS(オペレーティングシステム)や、図1,2,3に示した各部の機能をCPU1001に実現させるためのコンピュータプログラムやデータが保存されている。また、処理対象としての動画像のデータや撮影情報などもこの外部記憶装置1006に保存されていても良い。外部記憶装置1006に保存されているコンピュータプログラムやデータはCPU1001による制御に従って適宜RAM1002にロードされ、CPU1001による処理対象となる。
I/F1007は、外部機器とのデータ通信を行う為のもので、例えば、本コンピュータを上記符号化装置に適用した場合には、このI/F1007は上記復号装置とのデータ通信の為に用いられる。1008は上述の各部を繋ぐバスである。
[その他の実施形態]
また、本発明の目的は、以下のようにすることによって達成されることはいうまでもない。即ち、前述した実施形態の機能を実現するソフトウェアのプログラムコード(コンピュータプログラム)を記録した記録媒体(または記憶媒体)を、システムあるいは装置に供給する。係る記憶媒体は言うまでもなく、コンピュータ読み取り可能な記憶媒体である。そして、そのシステムあるいは装置のコンピュータ(またはCPUやMPU)が記録媒体に格納されたプログラムコードを読み出し実行する。この場合、記録媒体から読み出されたプログラムコード自体が前述した実施形態の機能を実現することになり、そのプログラムコードを記録した記録媒体は本発明を構成することになる。
また、本発明の目的は、以下のようにすることによって達成されることはいうまでもない。即ち、前述した実施形態の機能を実現するソフトウェアのプログラムコード(コンピュータプログラム)を記録した記録媒体(または記憶媒体)を、システムあるいは装置に供給する。係る記憶媒体は言うまでもなく、コンピュータ読み取り可能な記憶媒体である。そして、そのシステムあるいは装置のコンピュータ(またはCPUやMPU)が記録媒体に格納されたプログラムコードを読み出し実行する。この場合、記録媒体から読み出されたプログラムコード自体が前述した実施形態の機能を実現することになり、そのプログラムコードを記録した記録媒体は本発明を構成することになる。
Claims (10)
- 複数のフレーム画像から構成される動画像を入力する手段と、
前記フレーム画像を動画像表示用の画像として表示するのか、静止画像表示用の画像として表示するのかを示す指示を取得する手段と、
前記指示が、前記フレーム画像を動画像表示用の画像として表示することを示す場合には、前記フレーム画像中の輪郭を暈かす処理を行うことで該フレーム画像を更新し、該更新したフレーム画像を動画像表示用の画像として出力する第1の出力手段と、
前記指示が、前記フレーム画像を静止画像表示用の画像として表示することを示す場合には、前記フレーム画像中の動き暈けを除去する処理を行うことで該フレーム画像を更新し、該更新したフレーム画像を静止画像表示用の画像として出力する第2の出力手段と
を備えることを特徴とする画像処理装置。 - 前記第1の出力手段は、前記フレーム画像を構成する各画素に対してラプラシアンフィルタカーネルを用いることで該フレーム画像中の輪郭を検出し、該検出した輪郭に対してローパスフィルタカーネルを用いて該輪郭を暈かすことで、動画像表示用の画像を生成し、出力することを特徴とする請求項1に記載の画像処理装置。
- 前記第2の出力手段は、間欠パターンと前記フレーム画像の動き情報とを用いて該フレーム画像中の動き暈けを除去することで、静止画像表示用の画像を生成し、出力することを特徴とする請求項1又は2に記載の画像処理装置。
- 前記間欠パターン及び前記動き情報は、前記動画像のデータに付加されていることを特徴とする請求項3に記載の画像処理装置。
- 前記間欠パターンは前記動画像のデータに付加されており、前記動き情報は、前記フレーム画像から前記第2の出力手段が求めることを特徴とする請求項3に記載の画像処理装置。
- 複数のフレーム画像から構成される動画像を入力する入力手段と、
前記入力手段が入力したぞれぞれのフレーム画像について、該フレーム画像中の輪郭を暈かす暈かし手段と、
前記暈かし手段により得られるそれぞれのフレーム画像を符号化する第1の符号化手段と、
前記第1の符号化手段が符号化したそれぞれのフレーム画像を復号する復号手段と、
前記復号手段が復号したそれぞれのフレーム画像と、前記入力手段が入力したそれぞれのフレーム画像とで、対応するフレーム画像同士の差分画像を求める手段と、
前記差分画像を符号化する第2の符号化手段と、
前記第1の符号化手段による符号化結果と前記第2の符号化手段による符号化結果とを含むストリームを生成する手段と
を備える装置が生成した前記ストリームを取得する手段と、
前記ストリームに含まれている前記第1の符号化手段による符号化結果を復号する第1の復号手段と、
前記ストリームに含まれている前記第2の符号化手段よる符号化結果を復号する第2の復号手段と、
動き暈け除去画像を出力するのか、多重輪郭除去画像を出力するのかを示す指示を取得する手段と、
前記指示が、動き暈け除去画像を出力することを示す場合には、前記第1の復号手段による復号結果と前記第2の復号手段による復号結果とを合成し、合成した結果に対して動き暈けを除去する処理を行った結果を出力する手段と、
前記指示が、多重輪郭除去画像を出力することを示す場合には、前記第1の復号手段による復号結果を出力する手段と
を備えることを特徴とする画像処理装置。 - 画像処理装置が行う画像処理方法であって、
前記画像処理装置の入力手段が、複数のフレーム画像から構成される動画像を入力する工程と、
前記画像処理装置の取得手段が、前記フレーム画像を動画像表示用の画像として表示するのか、静止画像表示用の画像として表示するのかを示す指示を取得する工程と、
前記画像処理装置の第1の出力手段が、前記指示が、前記フレーム画像を動画像表示用の画像として表示することを示す場合には、前記フレーム画像中の輪郭を暈かす処理を行うことで該フレーム画像を更新し、該更新したフレーム画像を動画像表示用の画像として出力する第1の出力工程と、
前記画像処理装置の第2の出力手段が、前記指示が、前記フレーム画像を静止画像表示用の画像として表示することを示す場合には、前記フレーム画像中の動き暈けを除去する処理を行うことで該フレーム画像を更新し、該更新したフレーム画像を静止画像表示用の画像として出力する第2の出力工程と
を備えることを特徴とする画像処理方法。 - 画像処理装置が行う画像処理方法であって、
複数のフレーム画像から構成される動画像を入力する入力手段と、
前記入力手段が入力したぞれぞれのフレーム画像について、該フレーム画像中の輪郭を暈かす暈かし手段と、
前記暈かし手段により得られるそれぞれのフレーム画像を符号化する第1の符号化手段と、
前記第1の符号化手段が符号化したそれぞれのフレーム画像を復号する復号手段と、
前記復号手段が復号したそれぞれのフレーム画像と、前記入力手段が入力したそれぞれのフレーム画像とで、対応するフレーム画像同士の差分画像を求める手段と、
前記差分画像を符号化する第2の符号化手段と、
前記第1の符号化手段による符号化結果と前記第2の符号化手段による符号化結果とを含むストリームを生成する手段と
を備える装置が生成した前記ストリームを、前記画像処理装置の第1の取得手段が取得する工程と、
前記画像処理装置の第1の復号手段が、前記ストリームに含まれている前記第1の符号化手段による符号化結果を復号する第1の復号工程と、
前記画像処理装置の第2の復号手段が、前記ストリームに含まれている前記第2の符号化手段よる符号化結果を復号する第2の復号工程と、
前記画像処理装置の第2の取得手段が、動き暈け除去画像を出力するのか、多重輪郭除去画像を出力するのかを示す指示を取得する工程と、
前記画像処理装置の第1の出力手段が、前記指示が、動き暈け除去画像を出力することを示す場合には、前記第1の復号工程による復号結果と前記第2の復号工程による復号結果とを合成し、合成した結果に対して動き暈けを除去する処理を行った結果を出力する工程と、
前記画像処理装置の第2の出力手段が、前記指示が、多重輪郭除去画像を出力することを示す場合には、前記第1の復号工程による復号結果を出力する工程と
を備えることを特徴とする画像処理方法。 - コンピュータを、請求項1乃至6の何れか1項に記載の画像処理装置の各手段として機能させるためのコンピュータプログラム。
- 請求項9に記載のコンピュータプログラムを格納した、コンピュータ読み取り可能な記憶媒体。
Priority Applications (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2009054064A JP5322704B2 (ja) | 2009-03-06 | 2009-03-06 | 画像処理装置、画像処理方法 |
PCT/JP2010/051310 WO2010100985A1 (en) | 2009-03-06 | 2010-01-26 | Image processing apparatus and image processing method |
US13/143,582 US8867903B2 (en) | 2009-03-06 | 2010-01-26 | Image processing apparatus and image processing method |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2009054064A JP5322704B2 (ja) | 2009-03-06 | 2009-03-06 | 画像処理装置、画像処理方法 |
Publications (3)
Publication Number | Publication Date |
---|---|
JP2010212800A JP2010212800A (ja) | 2010-09-24 |
JP2010212800A5 JP2010212800A5 (ja) | 2012-04-19 |
JP5322704B2 true JP5322704B2 (ja) | 2013-10-23 |
Family
ID=42709548
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2009054064A Expired - Fee Related JP5322704B2 (ja) | 2009-03-06 | 2009-03-06 | 画像処理装置、画像処理方法 |
Country Status (3)
Country | Link |
---|---|
US (1) | US8867903B2 (ja) |
JP (1) | JP5322704B2 (ja) |
WO (1) | WO2010100985A1 (ja) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20160039497A (ko) * | 2014-10-01 | 2016-04-11 | 삼성전자주식회사 | 영상 처리 장치, 디스플레이 장치 및 그 영상 처리 방법 |
CN116055876A (zh) * | 2021-10-27 | 2023-05-02 | 北京字跳网络技术有限公司 | 一种视频处理方法、装置、电子设备和存储介质 |
Family Cites Families (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4596221B2 (ja) * | 2001-06-26 | 2010-12-08 | ソニー株式会社 | 画像処理装置および方法、記録媒体、並びにプログラム |
EP1406236A3 (en) | 2002-10-02 | 2006-06-07 | Lg Electronics Inc. | Driving method and apparatus of plasma display panel |
JP2004312495A (ja) * | 2003-04-09 | 2004-11-04 | Fuji Photo Film Co Ltd | 画像処理プログラム及び画像処理装置 |
JP2005192190A (ja) | 2003-12-01 | 2005-07-14 | Pioneer Plasma Display Corp | 動画偽輪郭低減方法、動画偽輪郭低減回路、表示装置及びプログラム |
TW200623897A (en) * | 2004-12-02 | 2006-07-01 | Seiko Epson Corp | Image display method, image display device, and projector |
WO2006109532A1 (ja) * | 2005-03-30 | 2006-10-19 | Sharp Kabushiki Kaisha | 液晶表示装置 |
JP4961800B2 (ja) | 2006-03-31 | 2012-06-27 | ソニー株式会社 | 画像処理装置、および画像処理方法、並びにコンピュータ・プログラム |
JP4678603B2 (ja) * | 2007-04-20 | 2011-04-27 | 富士フイルム株式会社 | 撮像装置及び撮像方法 |
JP4139430B1 (ja) * | 2007-04-27 | 2008-08-27 | シャープ株式会社 | 画像処理装置及び方法、画像表示装置及び方法 |
-
2009
- 2009-03-06 JP JP2009054064A patent/JP5322704B2/ja not_active Expired - Fee Related
-
2010
- 2010-01-26 WO PCT/JP2010/051310 patent/WO2010100985A1/en active Application Filing
- 2010-01-26 US US13/143,582 patent/US8867903B2/en not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
JP2010212800A (ja) | 2010-09-24 |
US20110274412A1 (en) | 2011-11-10 |
WO2010100985A1 (en) | 2010-09-10 |
US8867903B2 (en) | 2014-10-21 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US8374444B2 (en) | Method and apparatus for providing higher resolution images in an embedded device | |
JP6335563B2 (ja) | 撮像装置及びその制御方法 | |
WO2012157178A1 (ja) | 動画像撮影装置、情報処理システム、情報処理装置、および画像データ処理方法 | |
CN105190688A (zh) | 用于查看图像的方法和装置 | |
EP2974285B1 (en) | Image processing apparatus and image processing method | |
CN109640167A (zh) | 视频处理方法、装置、电子设备及存储介质 | |
US20110157426A1 (en) | Video processing apparatus and video processing method thereof | |
US20130121588A1 (en) | Method, apparatus, and program for compressing images, and method, apparatus, and program for decompressing images | |
JP5322704B2 (ja) | 画像処理装置、画像処理方法 | |
JP2017207818A (ja) | 画像処理装置、画像処理方法、プログラム | |
JP2008288947A (ja) | 画像処理装置及びそのプログラム | |
US20220414830A1 (en) | Method and apparatus for improved object detection | |
JP3965558B2 (ja) | 信号処理方法および装置 | |
JP4668602B2 (ja) | 立体視画像生成装置および方法並びにプログラム | |
US9955135B2 (en) | Image processing apparatus, image processing method, and program wherein a RAW image to be subjected to special processing is preferentially subjected to development | |
JP2018074523A (ja) | 撮像装置、その制御方法、プログラムならびに記録媒体 | |
JP5488048B2 (ja) | 画像処理装置および画像処理プログラム | |
KR102599584B1 (ko) | 영상 처리 장치 | |
JP2001128194A (ja) | 立体映像処理装置、立体映像処理方法及び記憶媒体 | |
JP6327869B2 (ja) | 画像処理装置、撮像装置、制御方法、及びプログラム | |
JP2012186685A (ja) | 画像認識表示システム及びこれに用いるカメラ | |
TWI424371B (zh) | Video processing device and processing method thereof | |
JP6470594B2 (ja) | 撮像装置、その制御方法、及びプログラム | |
JP2004007138A (ja) | 画像処理方法および装置並びにプログラム | |
JP2012205114A (ja) | 画像処理装置及び画像処理方法、並びにプログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20120302 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20120302 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20130618 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20130716 |
|
LAPS | Cancellation because of no payment of annual fees |