JP5932666B2 - 画像符号化装置とその集積回路、および画像符号化方法 - Google Patents
画像符号化装置とその集積回路、および画像符号化方法 Download PDFInfo
- Publication number
- JP5932666B2 JP5932666B2 JP2012548660A JP2012548660A JP5932666B2 JP 5932666 B2 JP5932666 B2 JP 5932666B2 JP 2012548660 A JP2012548660 A JP 2012548660A JP 2012548660 A JP2012548660 A JP 2012548660A JP 5932666 B2 JP5932666 B2 JP 5932666B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- unit
- block size
- encoding
- blur
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
- H04N13/106—Processing image signals
- H04N13/122—Improving the 3D impression of stereoscopic images by modifying image signal contents, e.g. by filtering or adding monoscopic depth cues
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T11/00—2D [Two Dimensional] image generation
- G06T11/60—Editing figures and text; Combining figures or text
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
- H04N13/106—Processing image signals
- H04N13/161—Encoding, multiplexing or demultiplexing different image signal components
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/117—Filters, e.g. for pre-processing or post-processing
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/119—Adaptive subdivision aspects, e.g. subdivision of a picture into rectangular or non-rectangular coding blocks
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
- H04N19/174—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a slice, e.g. a line of blocks or a group of blocks
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/597—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N2013/0074—Stereoscopic image analysis
- H04N2013/0081—Depth or disparity estimation from stereoscopic image signals
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
- Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
Description
画像処理の一つとして、被写体の距離に応じたぼかしの処理は重要な技術である。例えば、主要被写体を引き立たせ立体感を演出するための加工として、画像の一部の被写体のみにピントを合わせ、それ以外の前景および背景を意図的にぼかす処理が行われている。このようなぼかし処理では、被写体深度の浅い光学系を用いて撮影される場合に発生する「ぼけ」を再現して前景および背景をぼかすことがある。また、それ以外にも、例えば、背景に対するぼかしと前景に対するぼかしとの間でぼかし強度を変化させたり、距離の異なる複数の人物にピントを合わせて最も手前にいる人物の前景と最も奥にいる人物の背景をぼかしたり、あるいは、人物とその後方の建物の双方にピントを合わせて人物と建物の双方を引き立たせそれ以外の被写体をぼかしたりするなど、さまざまな処理がある。
以下本発明の実施の形態について、図面を参照しながら説明する。
図1は、本発明の実施の形態1における画像符号化装置のブロック図である。
カメラ100aおよび100bは、それぞれ互いに人の両眼の平均的な間隔である6.5cmの距離を離して配置されている。カメラ100aおよび100bはそれぞれ、被写体を撮影し、撮影によって得られた映像信号を画像符号化装置200に出力する。
ぼかしパラメータ入力部300は、カメラ100aとカメラ100bの実際の撮影レンズによるものとは異なるぼけを主画像と副画像のステレオ映像信号に付加するための、ぼかしパラメータの入力を行うユーザーインターフェースであり、タッチパネルと十字キーからなる。
記憶部400は、画像符号化装置200から出力される画像データ(後述の局所復号画像信号)を格納するための記録媒体である。
画像符号化装置200は、カメラ100aおよび100bから出力されるステレオ映像信号を符号化することによって、符号化映像信号を生成して出力する。ここで、本実施の形態において画像符号化装置200は、ステレオ映像信号の主画像と副画像との両方にぼかし処理を行い、ステレオ映像信号を符号化するものとする。また、画像符号化装置200は、ステレオ映像信号に含まれる2つの映像信号を符号化するときには、ピクチャを構成する領域ごとにそれらの映像信号を符号化する。画像符号化装置200は、カメラ100aから出力される映像信号にぼかしを加えた画像信号をH.264 MVC(Multi View Coding)形式で符号化するものとし、映像信号に含まれる各ピクチャをそれぞれIピクチャ、PピクチャおよびBピクチャとして符号化する。
画像取得部206は、カメラ100aと100bから出力される画像信号を取得し、ぼかし処理部202に出力する。
視差取得部207は、画像取得部206が受け付ける画像信号上の各要素単位における、被写体とカメラ100との間の視差の値または距離の値を取得し、視差の値または距離の値をぼかし処理部202に出力する。本実施の形態において、視差取得部207は視差検出部201を含み、視差検出部201が視差の値を生成する。
視差検出部201は、カメラ100a、100bから入力された主画像と副画像データ間の視差を検出する。視差の検出は、主画像と副画像間の対応位置を求め、一方の画像の単位領域と他方の画像の対応する領域との水平方向の位置のずれを画素数として検出することにより行う。視差検出部201は、検出した視差情報(d)をぼかし処理部202に出力する。
ぼかし処理部202は、ぼかしパラメータ入力部300から入力されたぼかしパラメータと、視差取得部207から入力された視差情報または距離情報を用いて、画像取得部206から入力された主画像と副画像の各画素単位に対して付加するぼかしマトリクスを決定する。本実施の形態では、ぼかし処理部202は視差取得部207から入力された視差情報を用いる。ぼかし処理部202は、ぼかしマトリクスより算出した、画素単位ごとのぼかし量をブロックサイズ決定部210aおよび210bに出力する。
セレクタ203は、カメラ100aおよび100bのそれぞれから出力される映像信号を取得し、それらの映像信号を交互に切り替えてスイッチ204a、減算器205、ブロック分割部212aまたは212bに出力する。
減算器205は、セレクタ203から出力される映像信号によって示される符号化対象画像と、スイッチ204bから出力される予測信号によって示される予測画像との差分をブロックごとに算出する。減算器205は、その差分を示す予測誤差信号をスイッチ204aに出力する。
スイッチ204aは、符号化対象画像がIピクチャの主画像であり、画面内予測を行わない場合には、セレクタ203を変換部216に接続し、その符号化対象画像を示す映像信号をセレクタ203から変換部216に受け渡す。
変換部216は、ブロックごとに、映像信号または予測誤差信号を画像信号としてスイッチ204aを介して取得し、その画像信号に対して直交変換である離散コサイン変換(DCT;Discrete Cosine Transform)を行う。これにより、変換部216は、画像信号を周波数係数であるDCT係数に変換し、つまり、その画像信号の領域を空間領域から周波数領域に変換し、その周波数係数を量子化部217に出力する。
量子化部217は、変換部216から周波数係数を取得し、その周波数係数に対して量子化を行う。つまり、量子化部217は、周波数係数を量子化ステップで除算することによって量子化値を生成する。ここで、量子化部217は、画像符号化規格、本実施の形態においてはH.264に従い、決められている量子化ステップを用いてその符号化対象ブロックを量子化する。
可変長符号化部218は、量子化部217によって生成された量子化値と、検出部214から出力される動きベクトルまたは視差ベクトルとを可変長符号化することによって、符号化ステレオ映像信号を生成して出力する。なお、この可変長符号化は可逆的な符号化である。
逆量子化部219は、量子化部217によって生成された量子化値に対して逆量子化を行うことによって逆量子化周波数係数を生成する。つまり、逆量子化部219は、量子化部217で用いられた量子化ステップを量子化値に乗算することよって逆量子化周波数係数を生成する。
なお、このときに生成される逆量子化周波数係数は、変換部216によって生成された周波数係数と異なり量子化誤差を含んでいる。
逆変換部220は、逆量子化部219によって生成された逆量子化周波数係数に対して変換部216が行った直交変換の逆である逆直交変換、本実施の形態では逆離散コサイン変換(iDCT;inverse Discrete Cosine Transform)を行う。これにより、逆変換部220は、逆量子化周波数係数を画像信号に変換し、つまり、その逆量子化周波数係数の領域を周波数領域から空間領域に変換し、その画像信号を加算器221に出力する。
加算器221は、符号化対象画像がIピクチャの主画像であり画面内予測を行わない場合には、逆変換部220から出力される画像信号を局所復号画像信号として記憶部400に格納する。
ブロックサイズ決定部210aは、符号化対象画像がIピクチャ、PピクチャまたはBピクチャの各画像において、画面内予測を行う場合には、符号化対象画像領域のぼかし量をぼかし処理部202から取得し、閾値と比較する。
ブロック分割部212aは、ブロックサイズ決定部210aから出力されるブロックサイズ情報に基づいて、セレクタ203から出力される符号化対象画像を、ブロックサイズ情報の大きさ毎に分割する。
画面内予測部213は、加算器221から出力された同じピクチャの内の局所復号画像信号を、符号化対象画像の位置から見て、左、上、右上、左上の計4つの位置に対して、ブロック分割部212aから出力される分割ブロックサイズの単位で画面内予測を行う。
ブロックサイズ決定部210bは、符号化対象画像がPピクチャまたはBピクチャの主画像である場合と、Pピクチャの副画像である場合には、符号化対象画像領域のぼかし量をぼかし処理部202から取得し、閾値と比較する。
ブロック分割部212bは、ブロックサイズ決定部210bから出力されるブロックサイズ情報に基づいて、セレクタ203から出力される符号化対象画像を、ブロックサイズ情報の大きさ毎に分割する。
検出部214は、ブロック分割部212bにてブロック分割された符号化対象画像がPピクチャまたはBピクチャの主画像である場合には、その符号化対象画像に対してブロックごとに動きベクトルを検出する。
補償部215は、検出部214から動きベクトルを取得したときには、その動きベクトルと参照画像を用いて動き補償を行うことによって予測信号を生成し、その予測信号を出力する。つまり、参照画像に含まれる上記同一または類似のブロックが上記動きベクトルに応じて空間的にシフトされる。
スイッチ204cは、符号化対象画像がIピクチャの主画像であって画面内予測を行わない場合には、画面内予測部213と加算器221との間、さらに補償部215と加算器221との間を開放する。
スイッチ204bは、符号化対象画像がIピクチャ、PピクチャまたはBピクチャの画像(主画像または副画像)である場合で画面内予測を行う場合には、画面内予測部213を減算器205に接続し、予測信号を画面内予測部213から減算器205へ受け渡す。
図4、図5、図6、図7および図8は、本実施の形態における画像符号化装置200の動作を示すフローチャートである。
このように本実施の形態では、符号化する際のブロックサイズ決定には、視差情報による距離情報やフォーカスポイント情報だけで無く、任意のぼかしパラメータも用いたぼかし処理により付加されるぼかし情報を用いることで、任意のぼかし具合に対してブロックサイズの決定を行うことができる。
上記実施の形態において、画像符号化装置200は、主画像と副画像から視差情報を生成して、主画像と副画像それぞれにぼかしを付加して符号化を行ったが、単一の画像と、当該画像の画素単位ごとの距離情報を取得し、ぼかしを付加して符号化を行ってもよい。
距離取得手段110は、カメラ100から入力された画像上の各画素におけるカメラと被写体との距離を測定する。距離の検出は、超音波やミリ波などを送出し、被写体からの反射波が到達するまでの時間や位相差などを測定することにより行う。
画像符号化装置500は、距離取得手段110から出力される距離情報を用いて、カメラ100から出力される画像信号にぼかしを付与して符号化することによって、符号化画像信号を生成して出力する。
視差取得部501は、視差検出部201を含まず、距離取得手段110より視差または距離情報を取得して、ぼかし処理部202に視差または距離情報を出力する。本実施の形態において、視差取得部501は、距離取得手段110より、カメラ100から入力された画像上の各画素におけるカメラと被写体との距離を取得する。
画像符号化装置500の動作は、視差の検出を行わずに入力された距離情報を用いてぼかし量の算出を行うこと、および、ぼかしと符号化の対象が単一の画像であることを除いて上記実施の形態と同様であるので、図4のフローチャートをそのまま用いて、差分のみについて説明する。
上記実施の形態において、画像符号化装置200は、主画像と副画像からなるステレオ映像信号にぼかしを付加して符号化を行ったが、主画像または副画像の一方のみにぼかしを付加して符号化を行ってもよい。
図10は、本発明の実施の形態2における画像符号化装置600のブロック図である。図10において、図1と同じ構成要素については同じ符号を用い、説明を省略する。
画像符号化装置600は、視差検出部201から出力される視差を用いて、カメラ100aおよび100bから出力されるステレオ映像信号にぼかしを付加し符号化することによって、符号化映像信号を生成して出力する。また、画像符号化装置600は、ステレオ映像信号に含まれる2つの映像信号を符号化するときには、静止画または動画として符号化する。
ブロックサイズ決定部610は、符号化対象画像に対して、符号化対象画像領域のぼかし量をぼかし処理部202から取得し、閾値と比較する。
ブロック分割部611は、ブロックサイズ決定部610から出力されるブロックサイズ情報に基づいて、セレクタ203から出力される符号化対象画像を、ブロックサイズ情報の大きさ毎に分割する。
図11、図12は、本実施の形態における画像符号化装置600の動作を示すフローチャートである。
このように本実施の形態では、符号化する際の直交変換を行うためのブロックサイズの決定に、任意のぼかしパラメータを用いたぼかし処理により付加されるぼかし情報を用いる。これにより任意のぼかし具合に対して直交変換のブロックサイズの決定を行うことができる。
図13は、本発明の実施の形態3における画像符号化装置700のブロック図である。図13において、図1、図9と同じ構成要素については同じ符号を用い、説明を省略する。
画像符号化装置700は、視差取得部501、画像取得部701、ぼかし処理部202、セレクタ203、スイッチ204a、204bおよび204c、減算器205、ブロックサイズ決定部210aおよび210b、ブロック分割部212aおよび212b、画面内予測部213、検出部214、補償部215、変換部216、量子化部217、可変長符号化部218、逆量子化部219、逆変換部220、および加算器221を備える。また、画像取得部206は、立体画像生成部701を備える。
<ぼかしパラメータ入力部300>
ぼかしパラメータ入力部300は、カメラ100で撮影された画像から立体画像を生成するための立体画像生成パラメータと、生成したステレオ映像信号に付加するためのぼかしパラメータの入力を行うユーザーインターフェースである。
画像取得部701は、カメラ100から画像を取得し、ステレオ映像信号を生成してぼかし処理部202に出力する。画像取得部701は、ステレオ映像信号を生成する立体画像生成部702を含んでいる。
立体画像生成部702は、カメラ100から入力された画像と、視差取得部501から入力された距離情報を基に左眼用画像と右眼用画像とからなるステレオ映像信号を生成する。
図14は、本実施の形態における画像符号化装置700の動作を示すフローチャートである。
図15は、本発明の実施の形態4における画像符号化装置710のブロック図である。図15において、図13と同じ構成要素については同じ符号を用い、説明を省略する。
画像符号化装置710は、視差取得部703に距離検出部704を備えており、距離検出部704はカメラ120、ぼかしパラメータ入力部300に接続されている。
ぼかしパラメータ入力部300は、画像を生成するための焦点距離(fp)と距離測定を行うための焦点距離(fp')(fp'>fp)の入力を受け付ける。
距離検出部704は、ぼかしパラメータ入力部300より焦点距離(fp)と焦点距離(fp')を受け取り、カメラ120に1フレームごとに焦点距離(fp)と焦点距離(fp')を交互に設定し、カメラ120から入力された画像上の各画素における、カメラ120と被写体との距離を測定する。距離の検出は、焦点距離の異なる2種類の画像上の対応する画素の視差情報を検出し三角計測の計測原理を用いることにより行う。距離検出部704は、測定した距離情報を立体画像生成部702とぼかし処理部202に出力する。
立体画像生成部702は、カメラ120から入力された画像と、視差取得部703から入力された距離情報を基に左眼用画像と右眼用画像とからなるステレオ映像信号を生成する。動作については実施の形態3と同様であるので説明を省略する。
画像処理装置710はぼかしパラメータの設定が完了後、カメラ120の焦点距離を(fp)に設定して画像信号の取得を行い(S20)、次にカメラ120の焦点距離を(fp')に設定した画像信号の取得と取得した2画像の視差の検出を行うことで、視差値に基づく被写体ごとの距離情報の検出を行う(S410)。
本実施の形態では、本発明に係る画像符号化装置を備えたシステムについて説明する。
(1)実施の形態1では、ブロックマッチング法による視差の検出方法として、16×16画素の領域を切り出し、輝度差の総和(SAD)を求め、切り出し位置を検索する場合を説明したが、本発明は必ずしもこの場合に限定されない。例えば、切り出し領域が8×8画素であってもよいし、8×16画素など縦横比が異なる切り出し領域を用いてもよい。あるいは、輝度差の総和(SAD)の代わりに、例えば、輝度差の2乗和(SSD; Sum of Squared Difference)や、正規化相互相関(ZNCC; Zero−mean Normalized Cross−Correlation)を用いてもよい。
101a、101b レンズ
102a、102b 撮像素子
103a、103b 主制御部
110 距離取得手段
200、500、600、700、710 画像符号化装置
201 視差検出部
202 ぼかし処理部
203 セレクタ
204a、204b、204c スイッチ
205 減算器
206、701 画像取得部
207、501、703 視差取得部
210a、210b、610 ブロックサイズ決定部
212a、212b、611 ブロック分割部
213 画面内予測部
214 検出部
215 補償部
216 変換部
217 量子化部
218 可変長符号化部
219 逆量子化部
220 逆変換部
221 加算器
300 ぼかしパラメータ入力部
400 記憶部
702 立体画像生成部
704 距離検出部
800 表示部
900 外部記憶装置
Claims (12)
- 画像を取得する画像取得部と、
前記画像の画素単位ごとの視差または画素単位ごとの距離情報の少なくとも一方を取得する視差取得部と、
前記画像の画素単位ごとのぼかし量を前記画素単位ごとの視差または前記画素単位ごとの距離情報から決定するぼかし量決定部と、
前記ぼかし量に従って、前記画像にぼかし処理を施すぼかし処理部と、
前記ぼかし処理を施した各画像から符号化対象領域を切り出すためのブロックサイズを複数のブロックサイズから前記ぼかし量に応じて決定するブロックサイズ決定部と、
前記ぼかし処理を施した画像を前記決定されたブロックサイズに従ってブロック単位に符号化する符号化部と
を含む
ことを特徴とする画像符号化装置。 - 前記ぼかし量は、
前記画像の画素単位ごとの視差または画素単位ごとの距離情報と、
前記画像のぼかしパラメータと
によって決まる
ことを特徴とする請求項1に記載の画像符号化装置。 - 前記ぼかしパラメータは、
前記画像を撮影した光学系の特性値とは異なる光学的特性値
を含む
ことを特徴とする請求項2に記載の画像符号化装置。 - 前記ぼかしパラメータは、
1以上の被写体のピント位置情報を含む
ことを特徴とする請求項3に記載の画像符号化装置。 - 前記ブロックサイズ決定部は、
前記ぼかし量がしきい値より大きい画素単位に対して、複数のブロックサイズのうち最小のブロックサイズでないブロックサイズに決定する
ことを特徴とする請求項1に記載の画像符号化装置。 - 前記ブロックサイズ決定部は、
前記ぼかし量がしきい値より小さい画素単位に対して、複数のブロックサイズのうち最小のブロックサイズを含む1以上のブロックサイズに決定する
ことを特徴とする請求項1に記載の画像符号化装置。 - 前記符号化部は動き補償予測、視差補償予測、または画面内予測を行う場合において、
前記ブロックサイズ決定部が決定した各ブロックサイズを用いて類似ブロックの探索を行い、
前記ブロック単位に分割された画像に最も類似したブロックを得られたブロックサイズを1つ選択して、選択したブロックサイズに対する残差信号を生成する
ことを特徴とする請求項5または6に記載の画像符号化装置。 - 前記画像取得部は、立体画像表示に用いるための左眼用画像と右眼用画像とを取得し、
前記視差取得部は、前記左眼用画像の領域と、前記右眼用画像の対応する領域との視差を検出する視差検出部を含む
ことを特徴とする請求項1に記載の画像符号化装置。 - 前記画像取得部は、
取得した1つの画像と、前記視差取得部が取得した前記画像の視差または距離情報とから、左眼用画像と右眼用画像とからなる立体画像を生成する立体画像生成部
を含むことを特徴とする請求項1に記載の画像符号化装置。 - 画像を取得する画像取得部と、
前記画像の画素単位ごとの視差または画素単位ごとの距離情報の少なくとも一方を取得する視差取得部と、
前記画像の画素単位ごとのぼかし量を前記画素単位ごとの視差または前記画素単位ごとの距離情報から決定するぼかし量決定部と、
前記ぼかし量に従って、前記画像にぼかし処理を施すぼかし処理部と、
前記ぼかし処理を施した画像から符号化対象領域を切り出すためのブロックサイズを複数のブロックサイズから前記ぼかし量に応じて決定するブロックサイズ決定部と、
前記ぼかし処理を施した画像を前記決定されたブロックサイズに従ってブロック単位に符号化する符号化部と
を含む
ことを特徴とする集積回路。 - 画像を取得する画像取得ステップと、
前記画像の画素単位ごとの視差または画素単位ごとの距離情報の少なくとも一方を取得する視差取得ステップと、
前記画像の画素単位ごとのぼかし量を前記画素単位ごとの視差または前記画素単位ごとの距離情報から決定するぼかし量決定ステップと、
前記ぼかし量に従って、前記画像にぼかし処理を施すぼかし処理ステップと、
前記ぼかし処理を施した画像から符号化対象領域を切り出すためのブロックサイズを複数のブロックサイズから前記ぼかし量に応じて決定するブロックサイズ決定ステップと、
前記ぼかし処理を施した画像を前記決定されたブロックサイズに従ってブロック単位に符号化する符号化ステップと
を含む
ことを特徴とする画像符号化方法。 - 画像を撮影するためのカメラと、前記画像を符号化する画像符号化装置と、前記画像符号化装置による符号化によって生成される画像圧縮データを記録するための記録媒体とからなる画像符号化システムであって、
前記画像符号化装置は、
前記画像を取得する画像取得部と、
前記画像の画像単位ごとの視差または画像単位ごとの距離情報の少なくとも一方を取得する視差取得部と、
前記画像の画素単位ごとのぼかし量を前記画像単位ごとの視差または前記画像単位ごとの距離情報から決定するぼかし量決定部と、
前記ぼかし量に従って、前記画像にぼかし処理を施すぼかし処理部と、
前記ぼかし処理を施した画像から符号化対象領域を切り出すためのブロックサイズを複数のブロックサイズから前記ぼかし量に応じて決定するブロックサイズ決定部と、
前記ぼかし処理を施した画像を前記決定されたブロックサイズに従ってブロック単位に符号化する符号化部と
を含む
ことを特徴とする画像符号化システム。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2011158060 | 2011-07-19 | ||
JP2011158060 | 2011-07-19 | ||
PCT/JP2012/002448 WO2013011608A1 (ja) | 2011-07-19 | 2012-04-06 | 画像符号化装置とその集積回路、および画像符号化方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JPWO2013011608A1 JPWO2013011608A1 (ja) | 2015-02-23 |
JP5932666B2 true JP5932666B2 (ja) | 2016-06-08 |
Family
ID=47557812
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2012548660A Expired - Fee Related JP5932666B2 (ja) | 2011-07-19 | 2012-04-06 | 画像符号化装置とその集積回路、および画像符号化方法 |
Country Status (3)
Country | Link |
---|---|
US (1) | US9076267B2 (ja) |
JP (1) | JP5932666B2 (ja) |
WO (1) | WO2013011608A1 (ja) |
Families Citing this family (24)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102835118A (zh) * | 2010-04-06 | 2012-12-19 | 富士胶片株式会社 | 图像生成装置、方法及打印机 |
JP5450643B2 (ja) * | 2010-05-25 | 2014-03-26 | パナソニック株式会社 | 画像符号化装置、画像符号化方法、プログラムおよび集積回路 |
KR20130011994A (ko) * | 2011-07-22 | 2013-01-30 | 삼성전자주식회사 | 송신 장치, 수신 장치 및 그 송수신 방법 |
JP6271990B2 (ja) | 2013-01-31 | 2018-01-31 | キヤノン株式会社 | 画像処理装置、画像処理方法 |
KR101750421B1 (ko) * | 2013-10-17 | 2017-06-23 | 니폰 덴신 덴와 가부시끼가이샤 | 동화상 부호화 방법, 동화상 복호 방법, 동화상 부호화 장치, 동화상 복호 장치, 동화상 부호화 프로그램, 및 동화상 복호 프로그램 |
US20150116529A1 (en) * | 2013-10-28 | 2015-04-30 | Htc Corporation | Automatic effect method for photography and electronic apparatus |
GB2523347B (en) | 2014-02-20 | 2016-01-13 | Gurulogic Microsystems Oy | Encoder, decoder and method |
WO2016002578A1 (ja) * | 2014-07-04 | 2016-01-07 | ソニー株式会社 | 画像処理装置および方法 |
JP6365102B2 (ja) * | 2014-08-14 | 2018-08-01 | 富士ゼロックス株式会社 | データ処理装置およびプログラム |
US20160073087A1 (en) * | 2014-09-10 | 2016-03-10 | Lenovo (Singapore) Pte. Ltd. | Augmenting a digital image with distance data derived based on acoustic range information |
CN104618723B (zh) * | 2014-11-03 | 2017-12-15 | 西安交通大学 | 一种基于运动矢量投影矩阵的h.264/avc压缩域视频匹配方法 |
GB2543844B (en) | 2015-11-01 | 2018-01-03 | Gurulogic Microsystems Oy | Encoders, decoders and methods |
EP3166315A1 (en) | 2015-11-05 | 2017-05-10 | Axis AB | A method and apparatus for controlling a degree of compression of a digital image |
JP2019114821A (ja) | 2016-03-23 | 2019-07-11 | 日本電気株式会社 | 監視システム、装置、方法およびプログラム |
DE102016207905A1 (de) * | 2016-05-09 | 2017-11-09 | Friedrich-Alexander-Universität Erlangen-Nürnberg | Verfahren und Vorrichtung zur Rekonstruktion medizinischer Bilddaten mittels gefilterter Rückprojektion |
CN107613199B (zh) * | 2016-06-02 | 2020-03-13 | Oppo广东移动通信有限公司 | 虚化照片生成方法、装置和移动终端 |
KR102113591B1 (ko) * | 2017-09-12 | 2020-05-22 | 선전 구딕스 테크놀로지 컴퍼니, 리미티드 | 얼굴 검출 활성화 방법, 얼굴 검출 활성화 장치 및 전자 장치 |
CN107948520A (zh) * | 2017-11-30 | 2018-04-20 | 广东欧珀移动通信有限公司 | 图像处理方法和装置 |
CN108024056B (zh) * | 2017-11-30 | 2019-10-29 | Oppo广东移动通信有限公司 | 基于双摄像头的成像方法和装置 |
WO2019135270A1 (ja) * | 2018-01-04 | 2019-07-11 | 株式会社ソシオネクスト | 動画像解析装置、動画像解析システム、動画像解析方法、及びプログラム |
KR102664681B1 (ko) * | 2018-06-19 | 2024-05-09 | 삼성전자 주식회사 | 영상 압축을 수행하는 전자 장치 및 전자 장치의 동작 방법 |
KR20200117562A (ko) * | 2019-04-04 | 2020-10-14 | 삼성전자주식회사 | 비디오 내에서 보케 효과를 제공하기 위한 전자 장치, 방법, 및 컴퓨터 판독가능 매체 |
US10887589B2 (en) * | 2019-04-12 | 2021-01-05 | Realnetworks, Inc. | Block size determination for video coding systems and methods |
JP2022189536A (ja) * | 2021-06-11 | 2022-12-22 | キヤノン株式会社 | 撮像装置および方法 |
Family Cites Families (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2809552B2 (ja) | 1992-03-18 | 1998-10-08 | 大日本スクリーン製造株式会社 | 画像符号化処理方法および画像復号化処理方法 |
JP4012267B2 (ja) | 1996-03-30 | 2007-11-21 | 三星電子株式会社 | オブジェクト単位の処理が可能な動映像の符号化/復号化方法及び符号化/復号化装置 |
JP4044454B2 (ja) | 2003-02-07 | 2008-02-06 | 独立行政法人科学技術振興機構 | ズームによる位置計測方法 |
JP2005295215A (ja) | 2004-03-31 | 2005-10-20 | Victor Co Of Japan Ltd | 動画像符号化装置 |
JP4246723B2 (ja) | 2005-08-29 | 2009-04-02 | 日本電信電話株式会社 | フレーム内予測符号化制御方法、フレーム内予測符号化制御装置、フレーム内予測符号化制御プログラムおよびそのプログラムを記録したコンピュータ読み取り可能な記録媒体 |
JP4835252B2 (ja) * | 2006-04-27 | 2011-12-14 | パナソニック株式会社 | 超音波診断装置 |
KR20110015452A (ko) * | 2008-06-06 | 2011-02-15 | 리얼디 인크. | 입체 이미지의 블러 향상 |
WO2010052833A1 (ja) | 2008-11-07 | 2010-05-14 | 三菱電機株式会社 | 画像符号化装置及び画像復号装置 |
JP4963124B2 (ja) | 2009-03-02 | 2012-06-27 | シャープ株式会社 | 映像処理装置、映像処理方法及びそれをコンピュータに実行させるためのプログラム |
WO2010119500A1 (ja) * | 2009-04-13 | 2010-10-21 | 富士通株式会社 | 生体情報登録装置、生体情報登録方法及び生体情報登録用コンピュータプログラムならびに生体認証装置、生体認証方法及び生体認証用コンピュータプログラム |
-
2012
- 2012-04-06 WO PCT/JP2012/002448 patent/WO2013011608A1/ja active Application Filing
- 2012-04-06 JP JP2012548660A patent/JP5932666B2/ja not_active Expired - Fee Related
- 2012-04-06 US US13/695,882 patent/US9076267B2/en not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
JPWO2013011608A1 (ja) | 2015-02-23 |
WO2013011608A1 (ja) | 2013-01-24 |
CN102986221A (zh) | 2013-03-20 |
US20130147843A1 (en) | 2013-06-13 |
US9076267B2 (en) | 2015-07-07 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5932666B2 (ja) | 画像符号化装置とその集積回路、および画像符号化方法 | |
JP5887267B2 (ja) | 3次元画像補間装置、3次元撮像装置および3次元画像補間方法 | |
JP7036599B2 (ja) | 奥行き情報を用いて全方向視差を圧縮したライトフィールドを合成する方法 | |
EP2491722B1 (en) | Depth map generation techniques for conversion of 2d video data to 3d video data | |
JP4762994B2 (ja) | 視差マップ | |
JP5942195B2 (ja) | 3次元画像処理装置、3次元撮像装置および3次元画像処理方法 | |
EP2706504A2 (en) | An apparatus, a method and a computer program for image processing | |
KR102464523B1 (ko) | 이미지 속성 맵을 프로세싱하기 위한 방법 및 장치 | |
JP6800797B2 (ja) | 撮像装置、画像処理装置、撮像装置の制御方法およびプログラム | |
JP5450643B2 (ja) | 画像符号化装置、画像符号化方法、プログラムおよび集積回路 | |
WO2012060156A1 (ja) | 多視点画像符号化装置及び多視点画像復号装置 | |
JP5395911B2 (ja) | ステレオ画像符号化装置、方法 | |
JP2004200973A (ja) | 簡易ステレオ画像入力装置、方法、プログラム、および記録媒体 | |
JP2015087851A (ja) | 画像処理装置及び画像処理プログラム | |
JP2012238932A (ja) | 3d自動色補正装置とその色補正方法と色補正プログラム | |
JP2015171097A (ja) | 画像処理装置及びその制御方法 | |
JP2013150071A (ja) | 符号化装置、符号化方法、プログラム及び記憶媒体 | |
JP5869839B2 (ja) | 画像処理装置およびその制御方法 | |
Li et al. | Joint view filtering for multiview depth map sequences | |
Farid et al. | No-reference quality metric for hevc compression distortion estimation in depth maps | |
CN102986221B (zh) | 图像编码装置及其集成电路、以及图像编码方法 | |
Fatima et al. | Quality assessment of 3D synthesized images based on structural and textural distortion | |
JP2024092837A (ja) | 画像生成装置、画像生成方法、及び、プログラム | |
Lee et al. | Technical Challenges of 3D Video Coding | |
WO2017158229A1 (en) | Method and apparatus for processing video information |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20141208 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20160405 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20160428 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 5932666 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
LAPS | Cancellation because of no payment of annual fees |