JP6341598B2 - 画像符号化装置、画像復号装置、画像符号化プログラム及び画像復号プログラム - Google Patents
画像符号化装置、画像復号装置、画像符号化プログラム及び画像復号プログラム Download PDFInfo
- Publication number
- JP6341598B2 JP6341598B2 JP2014035145A JP2014035145A JP6341598B2 JP 6341598 B2 JP6341598 B2 JP 6341598B2 JP 2014035145 A JP2014035145 A JP 2014035145A JP 2014035145 A JP2014035145 A JP 2014035145A JP 6341598 B2 JP6341598 B2 JP 6341598B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- unit
- signal value
- pixel
- signal
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Landscapes
- Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
Description
より高い解像度で立体画像を撮像するためには、より画素数が多い撮像素子と、より多くの要素レンズを有するレンズアレイとを備えるライトフィールドカメラや立体テレビジョンカメラを用いる。これらのカメラにより形成された画像データは、一般に多くの情報量を有する。そのため、IP方式で撮像された立体画像を示す集積画像をリアルタイムで伝送する際に、画像データを圧縮することがある。
例えば、特許文献1に記載の符号化装置は、現行の表示フレームの画像信号を用いて画像信号間の相関を利用した符号化を行うフレーム間符号化手段と、現行の表示フレームに閉じた範囲内の画像信号を用いて符号化を行うフレーム内符号化手段と、複数の要素画像に対応する複数の画像信号を用いて画像信号間の相関を利用した符号化を行う要素画像間符号化手段と、フレーム間符号化手段、フレーム内符号化手段、および、要素画像間符号化手段からそれぞれ出力される符号化出力のうち、符号化効率が最大の符号化出力を出力する符号化選択手段とを有する。
また、要素画像を形成する画素の信号値が大きいほど、要素外画像を形成する画素の信号値との差分が大きくなるため、集積画像全体として高周波成分が多く含まれる。これらの高周波成分は、DCTによって得られる変換係数を量子化する過程で省略され、復号された集積画像の視認性、つまり画質が低下することがある。
この構成によれば、要素外画像と要素画像との間で信号値の差が小さくなるので、符号化データを復号して得られる要素画像の信号値の低下が抑えられる。そのため、復号された集積画像の画質が向上する。また、変換係数の算出単位であるブロックに要素外画像が含まれることによる信号値の低下を防ぐことができるため、復号された集積画像の画質を向上することができる。
この構成によれば、要素外画像と要素画像との間で信号値の代表値の差分が小さくなるので、符号化データを復号して得られる要素画像の直流成分の低下が抑えられる。そのため、復号された集積画像の画質が向上する。
この構成によれば、要素外画素の信号値とその要素外画素に近接する要素画像の信号値の差分が小さくなるので、符号化データを復号して得られる要素画像の直流成分の低下が抑えられる。そのため、復号された集積画像の画質が向上する。
この構成によれば、要素外画像と要素画像との間で信号値の分布が平滑化されるので、符号化データを復号して得られる要素画像の低周波成分の低下が抑えられる。そのため、復号された集積画像の画質が向上する。
この構成によれば、予め定めた信号値を元の要素外画像の信号値とすることで、復号された集積画像を形成する要素外画像の信号値が元の要素外画像の信号値に定められるため、復号された集積画像の画質の低下を防ぐことができる。
この構成によれば、要素外画像と要素画像との間で信号値の差が小さくなるので、符号化データを復号して得られる要素画像の信号値の低下が抑えられる。そのため、復号された集積画像の画質が向上する。また、変換係数の算出単位であるブロックに要素外画像が含まれることによる信号値の低下を防ぐことができるため、復号された集積画像の画質を向上することができる。
この構成によれば、予め定めた信号値を元の要素外画像の信号値とすることで、復号された集積画像を形成する要素外画像の信号値が元の要素外画像の信号値に定められるため、復号された集積画像の画質の低下を防ぐことができる。
以下、図面を参照しながら本発明の第1実施形態について説明する。
図1は、本実施形態に係る画像伝送システム1の構成を示す概略ブロック図である。
画像伝送システム1は、画像符号化装置10及び画像復号装置20を含んで構成され、画像符号化装置10と画像復号装置20とは、伝送路30で接続されている。
次に、本実施形態に係る画像符号化装置10の構成について説明する。
画像符号化装置10は、記憶部101、補間部102、要素画像データ生成部103、多重化部104、及び符号化処理部11を含んで構成される。
記憶部101には、画像符号化装置10の外部から入力された入力画像信号をフレーム毎に一時的に記憶する。記憶部101は、記憶した入力画像信号から現在処理を行うフレーム(現フレーム、カレントフレームともいう)の入力画像信号を特定し、特定した入力画像信号を補間部102に出力する。
補間部102は、入力画像信号が示す要素外画素毎の元の信号値を新たに定めた補間値に置き換えて補間画像信号を生成する(リセット)。
補間部102は、生成した補間画像信号を符号化処理部11に出力する。補間処理の例については後述する。
次に、本実施形態に係る画像復号装置20の構成について説明する。
画像復号装置20は、分離部201、記憶部202、合成処理部203、及び復号処理部21を含んで構成される。
分離部201は、画像符号化装置10から受信した符号化データから多重化された第1の要素画像データを分離し、分離した第1の要素画像データを記憶部202に記憶する。分離部201は、第1の要素画像データを分離した符号化データを合成処理部203に出力する。
次に、集積画像に含まれる要素画像の配置例について説明する。
図2は、要素画像の配置例を示す図である。
集積画像Im1は、矩形の領域内にNe個(Neは、1よりも大きい予め定めた整数)の要素画像を含んで形成される平面画像である。それぞれの要素画像は、Np個(Npは、1よりも大きい予め定めた整数)の画素で形成される。図2において塗りつぶされた円の領域、塗りつぶされていない領域は、要素画像、要素外画像を示す。Ei11、Ei12、Ei13、Ei21は、それぞれ要素画像を示す。枠で囲まれた領域A1、A2内に含まれるSi1、Si2は、それぞれ要素外画像を示す。
次に、要素外画像の例について説明する。
図3は、第1形態の要素外画像の例を示す図である。
第1形態の要素外画像Si1は、領域A1内に形成された要素外画像である。第1形態の要素外画像Si1の領域は、3つの要素画像Ei11、Ei12、Ei13で囲まれる領域である。Sp、Epは、それぞれ要素外画素、要素画素を示す。
図4は、第2形態の要素外画像の例を示す図である。
第2形態の要素外画像Si2は、領域A2内に形成された要素外画像である。第2形態の要素外画像Si2の領域は、1つの要素画像Ei21と集積画像Im1の外縁で囲まれる領域である。また、第2形態の要素外画像Si2の領域は、その領域に最も近接する要素画像Ei21に外接する正方形の領域と、その要素画像Ei21とで囲まれる領域でもある。このような要素外画像は、集積画像Im1の上端、左端、下端、又は右端に現れる。
次に、補間部102が行う補間処理の例について説明する。
補間部102は、以下に説明する補間処理(1)〜(7)のいずれかを行うことによって要素外画素の補間値を定める。
(1)補間部102は、集積画像内の全ての要素画素の信号値の代表値を算出し、集積画像内の全ての要素外画素の補間値を、算出した代表値とする。
この処理により、集積画像全体として要素外画素と要素画素との信号値の差分が小さくなるので、符号化データを復号して得られる要素画像の直流成分の低下が抑えられる。そのため、復号された集積画像の画質が向上する。
この処理により、要素外画素の信号値とその要素外画素に近接する要素画素の信号値の差分が小さくなるので、符号化データを復号して得られる要素画像毎の直流成分の低下が抑えられる。そのため、個々の要素画像の輝度に応じて、復号された集積画像の画質が向上する。
なお、以下の説明では、要素外画素から最も近接する要素画像を最近接要素画像と呼ぶ。
(3)補間部102は、各注目要素外画素について参照領域に含まれる要素画素の信号値の代表値を定め、その注目要素外画素の補間値を定めた代表値とする。参照領域は、各注目要素外画素から予め定めた範囲の領域である。
この処理により、要素外画素の信号値とその要素外画素に近接する要素画素の信号値の差分が小さくなるので、符号化データを復号して得られる要素画像の直流成分の低下が抑えられる。そのため、復号された集積画像の画質が向上する。(3)の具体例については後述する。
この処理により、最近接要素外画像が1個しかない要素外画像についても要素外画素の信号値とその要素外画素に近接する要素画素の信号値の差分が小さくなり、符号化データを復号して得られる要素画像の直流成分の低下が抑えられる。そのため、復号された集積画像の画質が向上する。(4)の具体例については後述する。
(5)補間部102は、各注目要素外画素について参照領域に含まれる要素画素の信号値について低域通過フィルタ処理を行って補間値を算出する。フィルタ処理は、各要素画素の信号値にそれぞれ予め定めたフィルタ係数を乗じて乗算値を求め、求めた乗算値の総和を算出する処理である。画素毎のフィルタ係数で形成されるフィルタは、例えば、ガウシアンフィルタである。ガウシアンフィルタは、そのフィルタ係数の分布が、注目要素外画像からの距離についてのガウス分布であるフィルタであり、低域通過フィルタの一種である。
この処理により、要素外画像と要素画像との間で信号値の分布が平滑化されるので、符号化データを復号して得られる要素画像の低周波成分の低下が抑えられる。そのため、復号された集積画像の画質が向上する。
この処理により、要素画素の信号値の分布を平滑化して得られた要素外画素の信号値と要素画素の信号値の差分が小さくなるので、集積画像全体として符号化データを復号して得られる要素画像の直流成分の低下が抑えられる。そのため、復号された集積画像の画質が向上する。
この処理により、要素外画像と要素画像との間で信号値の分布の平滑化の度合いを増すことができるので、符号化データを復号して得られる要素画像の低周波成分の低下がさらに抑えられる。そのため、復号された集積画像の画質がより向上する。
また、補間処理(2)、(4)において、予め第1の要素画像データを参照して要素外画素毎に最近接要素画像を示す最近接要素画像データを生成しておいてもよい。その場合、補間部102は、生成した最近接要素画像データを参照して各要素外画像に最近接要素画像を特定することができる。
また、補間処理(3)〜(7)において、参照領域の大きさは、少なくとも1画素よりも大きければよい。特に、参照領域の水平方向、垂直方向の大きさは、それぞれ1個の要素画像の半径よりも大きければよい。その場合には、参照領域内に必ず要素画素が含まれるので、補間部102は、確実に要素画素を参照して要素外画素の補間値を定めることができる。
補間部102は、現フレームとは異なる時刻のフレーム(例えば、直前フレーム)の入力画像信号が示す要素画素の信号値について補間処理(1)〜(7)のいずれかの補間処理を行って、現フレームの要素外画素毎に補間値を定めてもよい。
異なる時刻のフレームの入力画像信号について補間処理を行う場合でも、符号化データを復号して得られる要素画像の直流成分の低下が抑えられるので復号画像の画質が向上する。それぞれ異なる時刻に撮像された複数のフレームで形成される動画像では、フレーム間で共通の被写体の画像が含まれることがあるためである。
特に、過去のフレームについて補間処理を行って現フレームの補間画像信号を得る場合には、この補間処理は、符号化処理部11が行う過去のフレームの補間画像信号についての符号化処理と並列することで、補間処理による遅延を抑制することができる。
また、複数種類の補間処理は、要素外画像の位置に応じて使い分けられてもよい。例えば、補間処理(3)、(4)は、それぞれ第1形態の要素外画像、第2形態の要素外画像について行われてもよい。
図5は、本実施形態に係る補間処理(3)の具体例を説明するための図である。
この例では、補間処理(3)は、3個の要素画像に囲まれる第1形態の要素外画像を形成する要素外画素について行われる。言い換えれば、この例は、第1形態の要素外画像を挟む3個の要素画像を形成する要素画素の信号値を内挿して、その第1形態の要素外画像を形成する要素外画素それぞれの信号値を算出する処理を示す。
塗りつぶしの四角形、白抜きの四角形は、それぞれ領域A1に含まれる要素画素、要素外画素を示す。Prは、注目要素外画素を中心とする参照領域を示す。参照領域Prは、水平方向、垂直方向の大きさが、それぞれ7画素である。また、参照領域Pr内に、水平方向、垂直方向にそれぞれ2画素間隔で付されている符号a〜pは、それぞれ補間処理(3)を行う際に参照される候補の画素(候補画素)を示す。
(S1)補間部102は、参照領域Prに含まれる候補画素のうち要素外画素を特定する。
この例では、要素外画素k、n、oが特定される。
(S2)補間部102は、参照領域Prに含まれる行のうち、特定した要素外画素が含まれない行を特定する。この例では、参照領域Prの第1、3行が特定される。
補間部102は、特定した行に含まれる候補画素間の平均値(行間平均値)Q1を算出する。この例では、要素画素a〜hの信号値の平均値(a+b+c+d+e+f+g+h)/8が行間平均値Q1として算出される。
補間部102は、特定した列に含まれる候補画素間の平均値(列間平均値)Q2を算出する。この例では、要素画素a、e、i、m、d、h、l、pの信号値の平均値(a+e+i+m+d+h+l+p)/8が列間平均値Q2として算出される。
(S4)補間部102は、行間平均値Q1と列間平均値Q2との平均値(Q1+Q2)/2を注目要素外画素Qの補間値と定める。
この例では、ステップ(S1)において要素外画素b、e、fが参照領域Prに含まれる要素外画素として特定される。ステップ(S2)では、要素画素i〜pの信号値の平均値が行間平均値Q1として算出される。ステップ(S3)では、要素画素c、g、k、o、d、h、l、pの信号値の平均値が列間平均値Q2と算出される。ステップ(S4)では、ステップ(S1)、(S2)で算出された行間平均値Q1と列間平均値Q2の平均値が注目要素外画素Qの補間値と定められる。
候補画素間の水平方向の間隔、垂直方向の間隔は、それぞれ2画素に限られず、1画素(つまり、行毎もしくは列毎)でもよいし、3画素以上でもよい。
参照領域Prの大きさ、候補画素間の間隔は、補間処理(3)に要する計算時間に応じて予め定めておいてもよい。例えば、参照領域Prをより小さく、候補画素間の間隔をより狭くする、又はその両者によって、計算時間が少なくなる。
なお、補間部102は、参照領域Prに含まれる要素画素又は候補画素の信号値を単純に平均して注目要素外画素Qの補間値を定めてもよい。
図6は、本実施形態に係る補間処理(4)の具体例を説明するための図である。
この例では、補間処理(4)は、1つの要素画像に近接する第2形態の要素外画像を形成する要素外画素について行われる。言い換えれば、この例は、第2形態の要素外画像の最近接要素画像を形成する要素画素の信号値を外挿して、その第2形態の要素外画像を形成する要素外画素それぞれの信号値を算出する処理を示す。
薄く塗りつぶした四角形、白抜きの四角形は、それぞれ領域A2に含まれる要素画素、要素外画素を示す。また、領域A2において、濃く塗りつぶした四角形は、要素外画素のうち処理済みの画素、つまり補間値が定められた画素を示す。
この例では、参照領域Prは、注目要素外画素Aを原点(図6では左上端)とする水平方向3画素、垂直方向3画素の領域である。参照領域Pr内の各画素に付されている符号b〜iは、それぞれ補間処理(4)を行う際に参照される候補画素を示す。領域A2、参照領域Prには、注目要素外画素Aの最近接要素画像を形成する要素画像が含まれ、その他の要素画像を形成する要素画像は含まれない。
補間部102は、参照領域Prに含まれる候補画素b〜iの信号値の平均値(b+c+d+e+f+g+h+i)/8を、注目要素外画素の補間値と定める。その後、補間部102は、未処理の要素外画素のうち現在の注目要素外画素に隣接し、かつ、参照領域Prに含まれる候補画素b〜iに未処理の要素外画素が含まれない要素外画素を、次に処理する注目要素外画素と定める。ここでは、「隣接」とは1辺で接した位置関係にあることの他、1つの頂点で接した位置関係(斜め)にある場合も含む。図6(A)の例では、領域A2の第1行第4列の要素外画素が次の注目要素外画素Aとして選択される。
この例でも、図6(A)に示す例と同様に、補間部102は、参照領域Prに含まれる候補画素b〜iの信号値の平均値(b+c+d+e+f+g+h+i)/8を、注目要素外画素の補間値と定める。参照領域Prには、処理済の要素外画素と要素画素とが含まれ、候補画素bの信号値として、図6(A)に示す例で定められた補間値が用いられる。その後、図6(A)に示す例と同様に、次に処理する注目要素外画素が定められる。
この注目要素外画素は、領域A2内で注目要素外画素として最後に選ばれる要素外画素である。図6(C)に示す例と同様に、補間部102は、参照領域Prに含まれる候補画素b〜iの信号値の平均値を、注目要素外画素の補間値と定める。候補画素b〜iの信号値として、その時点までに定められた補間値が用いられる。
また、補間部102は、補間値を定めていない要素外画素が参照領域に含まれないように、注目要素外画素を順次定めるため、定められた補間値の空間変化を緩やかにすることができる。そのため、符号化データを復号して得られる要素画像の低周波成分の低下が抑えられ、復号された集積画像の画質をさらに向上することができる。
次に、本実施形態に係る符号化処理部11の構成について説明する。
図7は、本実施形態に係る符号化処理部11の構成を示す概略ブロック図である。
符号化処理部11は、補間部102から入力された補間画像信号について符号化処理を行って符号化データを生成する。この符号化処理は、補間画像信号に基づいてDCTを行って得られた変換係数を量子化する過程を含む。DCTは、空間領域の信号を周波数領域の変換係数に変換する手法の1つである。
符号化処理部11は、フレームバッファ111、減算部112、DCT部113、量子化部114、多重化・可逆符号化部115、蓄積バッファ116、逆量子化部117、逆DCT部118、加算部119、ループフィルタ120、参照メモリ121、予測部122、及びモード判定部124を含んで構成される。
量子化部114は、DCT部113から入力された変換係数データが示す変換係数を量子化する。量子化部114は、量子化した変換係数(量子化変換係数)を示す量子化変換係数データを多重化・可逆符号化部115及び逆量子化部117に出力する。
予測モードには、動き補償モード、イントラ予測モード等がある。例えば、予測モードが動き補償モードである場合には、多重化・可逆符号化部115には、量子化部114から量子化変換係数データが入力され、モード判定部124から現ブロックの動きベクトルデータが入力される。予測モードがイントラ予測モードである場合には、量子化部114から量子化変換係数データが入力されるが、動きベクトルデータは入力されない。
多重化・可逆符号化部115は、入力されたデータを統合し、統合したデータ(統合データ)について可逆符号化、例えば、可変長符号化、を行って符号化データを生成する。多重化・可逆符号化部115は、生成した符号化データを蓄積バッファ116に一時的に記憶させる。
逆DCT部118は、逆量子化部117から入力された復元変換係数データが示す復元変換係数について逆DCTを行って復元差分画像ブロック信号を生成する。逆DCT部118は、生成した復元差分画像ブロック信号を加算部119に出力する。
参照メモリ121は、加算部119又はループフィルタ120から入力された参照画像ブロック信号をフレーム毎に、その参照画像ブロックに応じた記憶領域に記憶する。これにより、参照画像を示す参照画像信号がフレーム毎に記憶される。参照画像信号は、符号化データを復号して得られる復号画像信号に相当する。
現フレームがイントラフレーム(Iピクチャ)である場合には、予測部122は、予め定めた複数の予測モードのそれぞれでイントラ予測を行って予測画像ブロック信号を生成する。この複数の予測モード間では、互いに予測方向などが異なる。予測部122は、予測画像ブロック信号の入力画像ブロック信号に対する近似の度合いを示すコスト値を算出し、定められたモードデータを対応付けてモード判定部124に出力する。コスト値は、例えば、RD(Rate−Distortion)コストである。予測部122は、生成した予測画像ブロック信号を減算部112及び加算部119に出力する。
モード判定部124は、複数の予測モードのうち入力されたコスト値が最小となるコスト値に対応する予測モードを示すモードデータを選択する。モード判定部124は、選択したモードデータを多重化・可逆符号化部115に出力する。現フレームがインターフレームであって、選択されたモードが動き補償モードである場合、モード判定部124は、動きベクトルデータを多重化・可逆符号化部115に出力する。現フレームがインターフレームであって、選択されたモードデータがイントラ予測モードを示す場合には、モード判定部124に入力又は出力する動きベクトルデータはない。
次に、本実施形態に係る復号処理部21の構成について説明する。
図8は、本実施形態に係る復号処理部21の構成を示す概略ブロック図を示す。
復号処理部21は、分離部201から入力された符号化データについて復号処理を行って復号画像信号を生成する。この復号処理には、符号化データに含まれる量子化された変換係数について逆DCTを行う過程を含む。
復号処理部21は、蓄積バッファ211、分離・可逆復号部212、逆量子化部213、逆DCT部214、加算部215、ループフィルタ216、フレームバッファ217、参照メモリ218、及び補償部219を含んで構成される。
分離・可逆復号部212は、蓄積バッファ211から符号化データを読み出し、読み出した符号化データについて可逆復号を行って統合データを生成する。分離・可逆復号部212が用いる可逆復号方式は、多重化・可逆符号化部115(図7)が用いた可逆符号化方式に対応する方式である。
分離・可逆復号部212は、生成した統合データからモードデータ、量子化変換係数データを抽出する。モードデータが動き補償モードを示す場合、分離・可逆復号部212は、統合データから更に参照フレーム番号、動きベクトルデータを抽出する。モードデータがイントラ予測モードを示す場合、分離・可逆復号部212は、統合データからイントラ予測モードを示すモードデータを抽出するが、動きベクトルデータは抽出されない。
分離・可逆復号部212は、抽出した量子化変換係数データを逆量子化部213に出力し、抽出したモードデータ、参照フレーム番号、動きベクトルデータを補償部219に出力する。
逆DCT部214は、逆量子化部213から入力された復元変換係数データが示す復元変換係数について逆DCTを行って復元差分画像ブロック信号を生成し、生成した復元差分画像ブロック信号を加算部215に出力する。
ループフィルタ216は、加算部215から入力された復元画像ブロック信号にフィルタ処理を行ってブロック歪の成分を除去する。ループフィルタ216は、ブロック歪の成分が除去された復元画像ブロック信号をフレームバッファ217に記憶し、その復元画像ブロック信号を参照画像ブロック信号として参照メモリ218に記憶する。
参照メモリ218は、加算部215又はループフィルタ216から入力された参照画像ブロック信号をフレーム毎に、その参照画像ブロックに応じた表示領域に応じた記憶領域に記憶する。これにより、参照画像を示す参照画像信号がフレーム毎に記憶される。
現フレームがインターフレームである場合、参照メモリ218に記憶された参照画像信号について分離・可逆復号部212から入力されたモードデータが示す予測モードに対応した補償モードで補償処理を行うことにより、現ブロックに係る補償画像ブロック信号を生成する。
モードデータが動き補償予測モードを示す場合、補償部219には、分離・可逆復号部212から参照フレーム番号と動きベクトルデータが入力される。補償部219は、参照フレーム番号で指定される参照画像信号のうち、動きベクトルデータが示す動きベクトルで指定される領域の参照画像ブロック信号を参照メモリ218から読み出す。補償部219は、読み出した参照画像ブロック信号を用いて補償画像ブロック信号を生成する。
補償部219は、生成した補償画像ブロック信号を加算部215に出力する。
この構成により、要素外画像と要素画像との間で信号値の差が小さくなるので、符号化データを復号して得られる要素画像の信号値の低下が抑えられる。そのため、復号された集積画像の画質が向上する。
この構成により、予め定めた信号値を元の要素外画像の信号値とすることで、復号された集積画像を形成する要素外画像の信号値が元の要素外画像の信号値に定められるため、復号された集積画像の画質の低下を防ぐことができる。
以下、図面を参照しながら本発明の第2実施形態について説明する。上述した実施形態と同一の構成については、同一の符号を付して説明を援用する。
図9は、本実施形態に係る画像伝送システム1Aの構成を示す概略ブロック図である。
画像伝送システム1Aは、画像符号化装置10A及び画像復号装置20を含んで構成され、画像符号化装置10Aと画像復号装置20とは、伝送路30で接続されている。
次に、本実施形態に係る画像符号化装置10Aの構成について説明する。
画像符号化装置10Aは、記憶部101、補間部102、要素画像データ生成部103A、多重化部104、及び符号化処理部11Aを含んで構成される。
要素画像データ生成部103Aは、要素画像データ生成部103(図1)と同様に第1の要素画像データを生成する。要素画像データ生成部103Aは、生成した第1の要素画像データを参照して、1フレーム内に含まれる複数の変換ブロックのそれぞれに含まれる要素画素の数(要素画素数)を計数する。変換ブロックは、DCT処理を行う最小単位となる領域であって、複数の画素から形成される集積画像の一部を占める長方形の領域である(図11)。
要素画像データ生成部103Aは、変換ブロック毎の要素画素数を示す第2の要素画像データを生成し、生成した第2の要素画像データと第1の要素画像データを符号化処理部11Aに出力する。
図10は、本実施形態に係る符号化処理部11Aの構成を示す概略ブロック図である。
符号化処理部11Aは、符号化処理部11(図7)において、DCT部113、逆DCT部118に代えて、DCT部113A、逆DCT部118Aを備える。
なお、DCT部113Aは、要素画素数の変換ブロック画素数に対する比率で除算して正規化する処理は、直流成分を示す変換係数に限らず、他の周波数成分、例えば、全ての周波数成分の変換係数について行ってもよい。
逆DCT部118Aは、要素画像データ生成部103Aから入力された第1の要素画像データを参照して、その変換ブロックに含まれる要素外画素を特定する。逆DCT部118Aは、特定した要素外画素の信号値を第1のリセット信号値(例えば、0)に置き換える。逆DCT部118Aは、その変換ブロックに含まれる要素画素について算出した信号値と要素外画素について置き換えた信号値とを示す復元差分画像ブロック信号を生成し、生成した復元差分画像ブロック信号を加算部119に出力する。
また、画像復号装置20の逆量子化部213、逆DCT部214(図8)も、その変換ブロック毎に処理を行う。なお、合成処理部203(図9)は、復号画像信号が示す画素外画素の各信号値を予め定めた第1のリセット信号値に置き換えるため、画像復号装置20の逆DCT部214(図8)は、要素外画素の信号値を第1のリセット信号値に置き換える処理を行わなくてもよい。逆に、逆DCT部214は、記憶部202(図9)に記憶された第1の要素画像データを参照して、各変換ブロックに含まれる要素外画素を特定し、特定した要素外画素の信号値を第1のリセット信号値に置き換えてもよい。その場合には、合成処理部203(図9)は省略されてもよい。
図11は、変換ブロックの例を示す図である。
集積画像Im1において、塗りつぶされた円のそれぞれは、要素画像を示し、それ以外の白抜きの領域は、要素外画像を示す。
集積画像Im1には、破線で示すように各変換ブロックがラスタスキャンの順序で設定され、複数の変換ブロック間で互いに重複しないように網羅される。各変換ブロックは、その水平方向の大きさと等しい間隔で水平方向に配置され、その垂直方向の大きさと等しい間隔で垂直方向に配置される。図11に示す例では、変換ブロックの水平方向の大きさ、垂直方向の大きさは、それぞれ要素画像の直径dに等しい。B1は、集積画像Im1の第1行第2列に配置される変換ブロックを示す。B2は、集積画像Im1の第2行第3列に配置される変換ブロックを示す。
この点、DCT部113Aは、各変換ブロックについて変換係数を要素画像で占められる割合で正規化するため、変換ブロックの大きさ、要素画像の形状、配置によらず、復号された集積画像において要素画素の信号値の低下を防ぐことができる。そのため、復号された集積画像の画質を向上することができる。
この構成により、変換係数の算出単位であるブロックに要素外画像が含まれることによる信号値の低下を防ぐことができるため、復号された集積画像の画質を向上することができる。
例えば、集積画像を形成する要素画像の形状は、円に限らず、要素画像だけで集積画像の領域の全体を占めることができない形状であれば、いかなる形状(例えば、楕円)であってもよい。また、集積画像において要素画像の配置は、六方格子状の配置でなくてもよく、その他の配置、例えば、平方格子状の配置であってもよい。
また、上述した画像符号化装置10において、記憶部101に予め第1の要素画像データが記憶され、補間部102が記憶部101に記憶された第1の要素画像データを参照することができれば、要素画像データ生成部103は省略されてもよい。
また、上述した画像復号装置20において、記憶部202に予め第1の要素画像データが記憶され、合成処理部203が記憶部202に記憶された第1の要素画像データを参照することができれば、分離部201と画像符号化装置10の多重化部104とは、省略されてもよい。
また、画像伝送システム1又は画像伝送システム1Aは、撮像装置6及び受像装置7を含んだテレビジョンシステム5として実施されてもよい。
図12は、本変形例に係るテレビジョンシステム5の構成例を示す図である。
この例では、テレビジョンシステム5は、画像伝送システム1、撮像装置6、及び受像装置7を含んで構成される。
撮像装置6は、凸レンズ61、複眼レンズ62、及びカメラ63を含んで構成される。
凸レンズ61は、被写体Objが発した光を複眼レンズ62に結像させる。
複眼レンズ62は、それぞれ異なる位置(視点)に配列されたNe個の要素レンズを含んで構成される。拡大図64に示すように、要素レンズのそれぞれには、被写体Objをそれぞれの視点から撮影した画像の1つが要素画像として形成される。拡大図64は、複眼レンズ62に結像した被写体Objの画像を示すものであって、テレビジョンシステム5を構成するものではない。
カメラ63は、各マイクロレンズに結像した被写体Objの画像を集積し集積画像を形成し、形成された集積画像を撮影する。カメラ63は、撮影した集積画像を示す入力画像信号を画像伝送システム1に出力する。
表示パネル71は、画像伝送システムから入力された出力画像信号が示す集積画像を表示する。表示パネル71は、例えば、液晶パネルである。複眼レンズ72は、Ne個の要素レンズを含んで構成される。要素レンズのそれぞれは、それぞれの視点の集積画像を形成する画像光を放射する。これにより、受像装置7が表示する画像を視認する視聴者は、特殊な眼鏡を装着せずにその所在する位置に応じた視点から観察される被写体Objの立体画像を視認することができる。
複眼レンズ62、72は、それぞれの要素レンズを形成する光ファイバを含んで構成されてもよい。
また、撮像装置6は、立体テレビジョンカメラに限られず、ライトフィールドカメラであってもよい。その場合、撮像装置6は、カメラ63に代えて単体の撮像素子を備え、撮像素子及び複眼レンズ62が互いに密着して構成される。また、凸レンズ61が上述した主レンズに相当する。
また、画像符号化装置10、10Aは、撮像装置6と一体化した構成で実施されてもよい。画像復号装置20は、受像装置7と一体化した構成で実施されてもよい。
また、上述した実施形態における画像符号化装置10、10A及び画像復号装置20の一部、又は全部をLSI(Large Scale Integration)等の集積回路として実現してもよい。画像符号化装置10、10A及び画像復号装置20の各機能ブロックは個別にプロセッサ化してもよいし、一部、又は全部を集積してプロセッサ化してもよい。また、集積回路化の手法はLSIに限らず専用回路、または汎用プロセッサで実現してもよい。また、半導体技術の進歩によりLSIに代替する集積回路化の技術が出現した場合、当該技術による集積回路を用いてもよい。
101…記憶部、102…補間部、103、103A…要素画像データ生成部、
104…多重化部、11、11A…符号化処理部、
111…フレームバッファ、112…減算部、113、113A…DCT部、
114…量子化部、115…多重化・可逆符号化部、116…蓄積バッファ、
117…逆量子化部、118、118A…逆DCT部、119…加算部、
120…ループフィルタ、121…参照メモリ、122…予測部、124…モード判定部、
20…画像復号装置、
201…分離部、202…記憶部、203…合成処理部、
21…復号処理部、
211…蓄積バッファ、212…分離・可逆復号部、213…逆量子化部、
214…逆DCT部、215…加算部、216…ループフィルタ、
217…フレームバッファ、218…参照メモリ、219…補償部、
30…伝送路、
5…テレビジョンシステム、
6…撮像装置、61…凸レンズ、62…複眼レンズ、63…カメラ、
7…受像装置、71…表示パネル、72…複眼レンズ
Claims (7)
- 複数の要素画像と前記複数の要素画像以外の部分である要素外画像とで形成される集積画像が入力され、前記複数の要素画像の少なくともいずれかの信号値を補間して前記要素外画像の信号値を定める補間部と、
前記要素画像と前記補間部が定めた信号値を有する要素外画像とで形成される補間画像をブロック毎に周波数領域に変換して変換係数を算出する変換部と、
を備え、
前記変換部は、少なくとも一部の周波数成分の前記変換係数を前記要素画像が前記ブロックに占める割合で正規化することを特徴とする画像符号化装置。 - 前記補間部は、前記複数の要素画像の少なくともいずれかの信号値の代表値を前記要素外画像の信号値と定める請求項1に記載の画像符号化装置。
- 前記補間部は、前記要素外画像を形成する要素外画素の信号値を、前記要素外画素から予め定めた範囲に含まれる要素画像の信号値の代表値と定める請求項1に記載の画像符号化装置。
- 前記補間部は、前記要素外画像を形成する要素外画素の信号値を、前記要素外画素から予め定めた範囲に含まれる要素画像の信号値に低域通過フィルタ処理を行って定める請求項1に記載の画像符号化装置。
- 複数の要素画像と前記複数の要素画像以外の部分である要素外画像とで形成される集積画像が入力され、ブロック毎に量子化された変換係数を空間領域の信号値に逆変換する逆変換部と、
前記要素外画像を形成する要素外画素の信号値を予め定めた信号値に定める合成処理部と、
を備える画像復号装置。 - コンピュータを、複数の要素画像と前記複数の要素画像以外の部分である要素外画像とで形成される集積画像について、前記複数の要素画像の少なくともいずれかの信号値を補間して前記要素外画像の信号値を定める補間手段と、
前記要素画像と前記補間手段が定めた信号値を有する要素外画像とで形成される補間画像をブロック毎に周波数領域に変換して変換係数を算出する変換手段と、
を具備し、
前記変換手段は、少なくとも一部の周波数成分の前記変換係数を前記要素画像が前記ブロックに占める割合で正規化することを特徴とする画像符号化装置として機能させるための画像符号化プログラム。 - 複数の要素画像と前記複数の要素画像以外の部分である要素外画像とで形成される集積画像が入力され、ブロック毎に量子化された変換係数を空間領域の信号値に逆変換する逆変換手段と、
前記要素外画像を形成する要素外画素の信号値を予め定めた信号値に定める合成処理手段と、
を具備する画像復号装置として機能させるための画像復号プログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2014035145A JP6341598B2 (ja) | 2014-02-26 | 2014-02-26 | 画像符号化装置、画像復号装置、画像符号化プログラム及び画像復号プログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2014035145A JP6341598B2 (ja) | 2014-02-26 | 2014-02-26 | 画像符号化装置、画像復号装置、画像符号化プログラム及び画像復号プログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2015162709A JP2015162709A (ja) | 2015-09-07 |
JP6341598B2 true JP6341598B2 (ja) | 2018-06-13 |
Family
ID=54185562
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2014035145A Active JP6341598B2 (ja) | 2014-02-26 | 2014-02-26 | 画像符号化装置、画像復号装置、画像符号化プログラム及び画像復号プログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6341598B2 (ja) |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP6450288B2 (ja) * | 2015-09-18 | 2019-01-09 | 日本電信電話株式会社 | 画像符号化装置、画像復号装置、画像符号化方法及び画像復号方法 |
JP6751600B2 (ja) * | 2016-06-16 | 2020-09-09 | 日本放送協会 | 要素画像群生成装置、復号装置、およびプログラム |
JP6949163B2 (ja) * | 2016-06-16 | 2021-10-13 | 日本放送協会 | 要素画像群生成装置、符号化装置、復号装置、およびプログラム |
Family Cites Families (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH0951504A (ja) * | 1995-08-03 | 1997-02-18 | Matsushita Electric Ind Co Ltd | 画像符号化装置及び画像復号化装置 |
JP2002300600A (ja) * | 2001-03-29 | 2002-10-11 | Nippon Hoso Kyokai <Nhk> | 立体像符号化装置および立体像復号装置 |
JP4377557B2 (ja) * | 2001-06-27 | 2009-12-02 | 日本放送協会 | 立体画像撮影装置 |
JP3990176B2 (ja) * | 2002-03-29 | 2007-10-10 | 株式会社東芝 | 立体像表示装置 |
-
2014
- 2014-02-26 JP JP2014035145A patent/JP6341598B2/ja active Active
Also Published As
Publication number | Publication date |
---|---|
JP2015162709A (ja) | 2015-09-07 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6670812B2 (ja) | 符号化装置および符号化方法 | |
US9076267B2 (en) | Image coding device, integrated circuit thereof, and image coding method | |
KR101027353B1 (ko) | 전자 비디오 이미지 안정화 | |
TWI463878B (zh) | Image processing apparatus and method | |
TWI519138B (zh) | An image processing apparatus, an image processing method, a program, and a recording medium | |
US10979702B2 (en) | Image encoding apparatus and image encoding method | |
US9350972B2 (en) | Encoding device and encoding method, and decoding device and decoding method | |
US8994788B2 (en) | Image coding apparatus, method, program, and circuit using blurred images based on disparity | |
US20170006200A1 (en) | Image processing apparatus, image processing method and program, and imaging apparatus | |
Kim et al. | Lossless compression of color filter array images by hierarchical prediction and context modeling | |
JP5156704B2 (ja) | 画像符号化装置、画像符号化方法、集積回路及びカメラ | |
CN111869213A (zh) | 编码装置、解码装置、编码方法、解码方法、编码程序及解码程序 | |
RU2494568C2 (ru) | Способ и устройство обработки изображения | |
JP5395911B2 (ja) | ステレオ画像符号化装置、方法 | |
JP6341598B2 (ja) | 画像符号化装置、画像復号装置、画像符号化プログラム及び画像復号プログラム | |
Santos et al. | Lossless compression of light fields using multi-reference minimum rate predictors | |
JP6979290B2 (ja) | 画像符号化装置および画像復号化装置、並びに、画像符号化プログラムおよび画像復号化プログラム | |
Perra et al. | Light field compression on sliced lenslet array | |
WO2011074189A1 (ja) | 画像符号化方法及び画像符号化装置 | |
JP5869839B2 (ja) | 画像処理装置およびその制御方法 | |
US20120194643A1 (en) | Video coding device and video coding method | |
JP2019022225A (ja) | 画像圧縮装置およびプログラム | |
JP7417388B2 (ja) | 符号化装置、復号装置、及びプログラム | |
Santos et al. | Performance evaluation of light field pre-processing methods for lossless standard coding | |
Kamath et al. | Sample-based DC prediction strategy for HEVC lossless intra prediction mode |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20170104 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20171030 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20171107 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20171225 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20180417 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20180514 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6341598 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |