JP5410232B2 - 画像復元装置、そのプログラム、及び、多次元画像復元装置 - Google Patents

画像復元装置、そのプログラム、及び、多次元画像復元装置 Download PDF

Info

Publication number
JP5410232B2
JP5410232B2 JP2009231176A JP2009231176A JP5410232B2 JP 5410232 B2 JP5410232 B2 JP 5410232B2 JP 2009231176 A JP2009231176 A JP 2009231176A JP 2009231176 A JP2009231176 A JP 2009231176A JP 5410232 B2 JP5410232 B2 JP 5410232B2
Authority
JP
Japan
Prior art keywords
image
complexity
sample
correspondence
sample points
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2009231176A
Other languages
English (en)
Other versions
JP2011081477A (ja
Inventor
俊枝 三須
康孝 松尾
善明 鹿喰
慎一 境田
和久 井口
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Japan Broadcasting Corp
Original Assignee
Japan Broadcasting Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Japan Broadcasting Corp filed Critical Japan Broadcasting Corp
Priority to JP2009231176A priority Critical patent/JP5410232B2/ja
Publication of JP2011081477A publication Critical patent/JP2011081477A/ja
Application granted granted Critical
Publication of JP5410232B2 publication Critical patent/JP5410232B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Image Processing (AREA)
  • Editing Of Facsimile Originals (AREA)

Description

本発明は、入力画像が複数に分割された部分領域毎の複雑さを示す複雑度を用いて、不等間隔で標本化された不等間隔標本化画像から復元画像を復元する技術に関する。
従来から、画像の解像度を変換する技術として、最近傍法(ニアレストネイバー法)、双一次法(バイリニア法)、双三次法(バイキュービック法)等の補間処理に基づく技術が知られている。
また、解像度が低い低解像度画像を解像度が高い高解像度画像に変換する技術として、時間方向に各画素乃至ブロックの移動量を入力画像(低解像度画像)から推定し、推定された移動量と複数時点の画像群とに基づいて高解像度画像を生成する超解像技術がある(例えば、特許文献1,2参照)。
また、エッジ等の空間的な画像特徴を適応的に判断しつつ補間値を生成することで、線形補間よりも鮮鋭な画質の高解像度画像を生成する超解像技術がある(例えば、非特許文献1参照)。さらに、視覚的に重要な領域の解像度を損なわぬように、空間的に不均等な画像変形を行うseam carving法がある(例えば、非特許文献2参照)。
特開2006−127241号公報(特許第3837575号公報) 特開2008−109375号公報
松本信幸、井田孝,"フレーム内再構成型超解像の領域適応処理による高画質化の検討," 電子情報通信学会技術報告,Vol.108, No.4,pp.31−36(2008). Shai Avidan, Ariel Shamir,"Seam Carving for Content-Aware Image Resizing,"ACM Trans.Graph.26,3,10.
しかし、前記した従来技術では、以下で述べるような様々な問題がある。
最近傍法、双一次法、双三次法等の補間処理に基づく技術を用いて、入力された高解像度画像を低解像度画像に変換し、この低解像度画像を高解像度画像にさらに再変換して出力した場合を考える。この場合、入力された高解像度画像に含まれていた画像情報の高周波成分、すなわち、細かい模様に関する情報が失われ、再変換した高解像度画像がぼけてしまう。
また、特許文献1,2及び非特許文献1に記載の超解像技術では、時間方向に各画素乃至ブロックの移動量を入力画像から推定し、画像特徴に応じた複雑な非線形演算により補間値を生成する必要があり、演算量が大きくなる。
また、非特許文献2に記載のseam carving法では、視覚的に重要な部分の解像度や形状を保持したまま非線形的な写像を行って画像サイズを変形するものであり、復元に必要な変形の度合等を記述する方法が与えられておらず、元の画像を復元することは考慮されていない。すなわち、非特許文献2に記載のseam carving法では、非線形な写像で変形されたものを復元するための逆写像が必要になるが、この非線形な逆写像の情報は、元の画像における全標本点の情報であるため、その情報量が大きくなるという問題がある。
そこで、本発明は、簡易な演算で、情報量が少ない変形パラメータを用いて、不等間隔標本化画像から、鮮明な復元画像を復元する技術を提供することを目的とする。
前記した課題を解決するため、本願第1発明に係る画像復元装置は、入力画像を複数に分割した部分領域毎の複雑さを示す複雑度と、前記複雑度を用いて、予め設定された空間方向又は時間方向の標本軸において前記入力画像を不等間隔で標本化した不等間隔標本化画像とが不等間隔標本化装置から入力されると共に、前記複雑度を用いて、前記不等間隔標本化画像から復元画像を復元する画像復元装置であって、対応関係算出手段と、画像復元手段と、を備え、前記複雑度が電子透かしとして付加された前記不等間隔標本化画像が入力されると共に、当該不等間隔標本化画像から前記複雑度を検出する電子透かし検出手段をさらに備えることを特徴とする。
かかる構成によれば、画像復元装置は、対応関係算出手段によって、前記標本軸の方向に連続した全ての前記部分領域を通過する走査線毎に、前記複雑度から、予め設定された標本点の数だけ、前記複雑度が高い部分領域では標本点が多く、かつ、前記複雑度が低い部分領域では前記標本点が少なくなるように、前記復元画像における標本点の座標と前記不等間隔標本化画像における標本点の座標との対応関係を算出する。この複雑度は、不等間隔標本化画像を復元するときに必要となる変形パラメータであり、部分領域毎に算出する情報である。つまり、複雑度は、全標本点の情報である従来の変形パラメータに比べて、その情報量が少ない。
また、画像復元装置は、画像復元手段によって、前記対応関係算出手段が算出した対応関係に基づいて、前記不等間隔標本化画像における標本点の座標に対応する画素の画素値を、前記復元画像における標本点の座標に対応する画素の画素値として、前記復元画像を復元する。ここで、不等間隔標本化画像は、入力画像で複雑な部分は細かく標本化され、かつ、入力画像で単純な部分は粗く標本化されたものである。つまり、画像復元装置は、等間隔で標本化された画像を復元したときに比べて、同程度の情報量で細かな表現がされた復元画像を復元できる。さらに、画像復元装置は、1次元での復元処理を行うことから、その演算が簡易である。さらに、画像復元装置は、複雑度の存在を隠蔽することができる。
なお、不等間隔の標本化とは、標本点同士の間隔が異なるように標本化することを言い、必ずしも全標本点の間隔が異ならなくとも良い。
また、等間隔の標本化とは、全標本点の間隔が等しくなるように標本化することを言う。
また、前記した課題を解決するため、本願第発明に係る画像復元装置は、前記不等間隔標本化装置から、前記入力画像を2以上の前記標本軸で標本化した不等間隔標本化画像と、前記標本軸毎に算出された複雑度とが入力され、前記対応関係算出手段は、前記標本軸毎に前記対応関係を、当該標本軸毎に算出された複雑度から算出する2以上の対応関係算出部と、前記2以上の対応関係算出部が算出した対応関係を合成する対応関係合成部と、さらに備え、前記画像復元手段は、前記対応関係合成部が合成した対応関係に基づいて、前記2以上の標本軸で標本化した不等間隔標本化画像から、前記復元画像を復元することを特徴とする。
かかる構成によれば、画像復元装置は、2以上の標本軸で標本化した不等間隔標本化画像についても、復元処理を1回行うだけで復元画像を復元できるので、その演算が簡易である。
また、前記した課題を解決するため、本願第発明に係る画像復元プログラムは、コンピュータを、前記の画像復元装置として機能させる。
また、前記した課題を解決するため、本願第発明に係る多次元画像復元装置は、入力画像を複数に分割した部分領域毎の複雑さを示す複雑度と、前記複雑度を用いて、予め設定された空間方向又は時間方向の標本軸において前記入力画像を不等間隔で標本化した不等間隔標本化画像とが不等間隔標本化装置から入力されると共に、前記複雑度を用いて、前記不等間隔標本化画像から復元画像を復元する画像復元装置であって、前記標本軸の方向に連続した全ての前記部分領域を通過する走査線毎に、前記複雑度から、予め設定された標本点の数だけ、前記複雑度が高い部分領域では標本点が多く、かつ、前記複雑度が低い部分領域では前記標本点が少なくなるように、前記復元画像における標本点の座標と前記不等間隔標本化画像における標本点の座標との対応関係を算出する対応関係算出手段と、前記対応関係算出手段が算出した対応関係に基づいて、前記不等間隔標本化画像における標本点の座標に対応する画素の画素値を、前記復元画像における標本点の座標に対応する画素の画素値として、前記復元画像を復元する画像復元手段と、を備える画像復元装置をk台直列に接続した多次元画像復元装置であって、第1の画像復元装置は、前記不等間隔標本化画像としてk次元画像が入力されると共に、当該k次元画像を、予め設定された空間方向又は時間方向の第1標本軸で復元し、第kの画像復元装置は、第k−1の不等間隔標本化装置によって復元された復元画像が入力されると共に、当該復元画像を、第k標本軸の方向に復元することを特徴とする(但し、kは2以上の整数)。
かかる構成によれば、多次元画像復元装置は、標本点の情報である従来の変形パラメータに比べて、情報量が少ない複雑度を用いる。また、多次元画像復元装置は、等間隔で標本化された画像を復元したときに比べて、同程度の情報量で細かな表現がされた復元画像を復元できる。さらに、多次元画像復元装置は、1次元での復元処理をk回繰り返すだけなので、その演算が簡易である。
前記したkは、標本化の次元数を示すものであり、2以上の整数である。
ここで、k=2の場合、入力画像(2次元画像)としては、例えば、静止画像がある。また、k=3の場合、入力画像(3次元画像)としては、例えば、動画像又は立体静止画像がある。さらに、k=4の場合、入力画像(4次元画像)としては、例えば、立体動画像がある。
本発明によれば、以下のような優れた効果を奏する。
本願第発明によれば、簡易な演算で、情報量が少ない変形パラメータを用いて、不等間隔標本化画像から、鮮明な復元画像を復元できる。
本願第発明によれば、複雑度の存在を隠蔽することができ、画像復元装置をデスクランブル装置として用いる場合に特に好ましい。
本願第発明によれば、復元画像の合成を1回で済ませることができ、演算量を低減できる。
本発明における画像変形復元システムの概略を説明する図である。 等間隔での標本化を説明する図であり、(a)は等間隔の標本化の概念図であり、(b)は等間隔で標本化された画像を示す図である。 本発明における変形画像を説明する図であり、(a)は不等間隔の標本化の概念図であり、(b)は変形画像を示す図である。 図1の画像復元装置の構成を示すブロック図である。 本発明における複雑度と標本点とを説明する図であり、(a)は複雑度を説明する図であり、(b)は標本点の座標の算出を説明する図であり、(c)は標本点の座標の補間を説明する図である。 図5(a)の最上段の部分領域における標本点の座標の算出を説明する図であり、(a)は複雑度と部分領域位置との関係を示す図であり、(b)は複雑度と画素領域位置との関係を示す図である。 図5(a)の最上段の部分領域における標本点の座標の算出を説明する図であり、(a)は累計複雑度と画素位置との関係を示す図であり、(b)は累計複雑度から算出した標本点の座標を説明する図である。 図5(a)の最下段の部分領域における標本点の座標の算出を説明する図であり、(a)は複雑度と部分領域位置との関係を示す図であり、(b)は複雑度と画素領域位置との関係を示す図である。 図5(a)の最下段の部分領域における標本点の座標の算出を説明する図であり、(a)は累計複雑度と画素位置との関係を示す図であり、(b)は累計複雑度から算出した標本点の座標を説明する図である。 図4の画像復元装置による復元処理の概略を示す図である。 図4の画素値補間手段の第1例を説明する図である。 図4の画素値補間手段の第2例を説明する図である。 図4の画像復元装置の動作を説明するフローチャートである。 図4の画像復元装置の変形例1を示すブロック図である。 図4の画像復元装置の変形例2を示すブロック図である。 図4の画像復元装置の変形例3を示すブロック図である。 本発明の第2実施形態に係る画像復元装置の構成を示すブロック図である。 本発明の第3実施形態に係る画像復元装置の構成を示すブロック図である。 本発明において、3次元画像の部分領域を示す図である。 図19の3次元画像において、中央の部分領域の拡大図である。 図20を上面視した図である。 図20を右側面視した図である。 図18の画像変形装置による補間処理を説明する図である。 本発明の第4実施形態に係る画像復元装置の構成を示すブロック図である。
[画像変形復元システムの概略]
以下、図1を参照して、本発明における画像変形復元システム1の概略について説明する。図1に示すように、画像変形復元システム1は、画像変形装置2と、画像復元装置3とを備える。また、画像変形復元システム1は、図示を省略したネットワーク又は放送波を介して、画像変形装置2と、画像復元装置3とが接続されている。
画像変形装置2は、入力された入力画像の変形パラメータ(複雑度)を算出すると共に、変形パラメータを用いて、標本軸の方向に入力画像を不等間隔で標本化して変形画像(不等間隔標本化画像)を生成する。なお、画像変形装置2の詳細は、省略する。
画像復元装置3は、画像変形装置2から変形画像と変形パラメータとが入力されると共に、変形パラメータを用いて、変形画像から復元画像を復元する。具体的には、画像復元装置3は、変形パラメータから入力画像と変形画像との標本点の座標の対応関係を算出し、この対応関係に基づいて、標本軸の方向に変形画像から復元画像を復元する。ここで、画像変形装置2の標本軸と画像復元装置3の標本軸とは、同一方向であることが好ましい。なお、画像復元装置3の詳細は、後記する。
入力画像は、任意の画像であり、例えば、2次元画像、3次元画像又は4次元画像である。ここで、例えば、入力画像を2次元画像として説明する。
変形画像は、入力画像から、不等間隔の標本化により生成した画像であり、入力画像と同じ次元数となる。なお、変形画像が、請求項に記載の不等間隔標本化画像に相当する。
変形パラメータは、変形画像から復元画像を復元するときに必要となるパラメータであり、入力画像における部分領域毎の模様(濃淡変化)の複雑さを示す複雑度である。
復元画像は、変形パラメータを用いて、変形画像から復元された画像である。
<変形画像の具体例>
以下、図2,図3を参照し、変形画像の具体例について、従来の等間隔で標本化した画像と比べながら説明する。また、図2(a)及び図3(a)では、標本化の間隔(つまり、標本点同士の間隔)を、格子の大きさで示している。つまり、格子が小さくなる程、細かい標本化を行うことを示し、格子が大きくなる程、粗い標本化を行うことを示す。なお、この格子は説明のために図示したものであり、この格子が復元画像に付加されるわけでない。
また、図2及び図3に示すように、この具体例の画像は、左上部分が背景(例えば、空及び雲)で、これ以外の部分が被写体(例えば、建物を含めた街の風景)である。従って、この画像は、左上部分が単純な模様となっており、これ以外の部分が複雑な模様となっている。
等間隔の標本化では、図2(a)に示すように、各格子が同じ大きさであることから、画像の複雑さに関係なく、模様が複雑な部分でも、模様が単純な部分でも同一の間隔で標本化を行う。また、等間隔で標本化した画像は、図2(b)に示すように、画像に含まれる被写体及び背景が、変形することなく描写されている。
一方、本発明における不等間隔の標本化では、図3(a)に示すように、模様が複雑な部分では細かい標本化を行い(格子が小さい)、模様が単純な部分では粗い標本化を行う(格子が大きい)。そして、この変形画像を復元した復元画像は、等間隔で標本化された画像を復元したときに比べ、同程度の情報量で細かな表現が可能となる。なお、この変形画像は、図3(b)に示すように、例えば、被写体が背景を埋めるように変形する。
(第1実施形態)
[画像復元装置の構成]
以下、本発明の各実施形態について、適宜図面を参照しながら詳細に説明する。なお、各実施形態において、同一の機能を有する手段には同一の符号を付し、説明を省略した。図4に示すように、画像復元装置3は、写像復元手段(対応関係算出手段)31と、画像復元手段33とを備える。
以下、入力画像をI([x,y)、又は、単にIとする。なお、xは水平座標、yは垂直座標であり、いずれも画素単位とする。入力画像の幅をX画素、高さをY画素とする。ここで、上付きTは、転置を示す。
また、変形画像をJ([u,v])、又は、単にJとする。なお、uは水平座標、vは垂直座標であり、いずれも画素単位とする。また、変形画像の幅をU画素、高さをV画素とする。
また、復元画像をI([x,y])、又は、単にIとする。なお、xは水平座標、yは垂直座標であり、いずれも画素単位とする。また、復元画像の幅をX画素、高さをY画素とする。
また、画像復元装置3では、例えば、復元画像Iが、入力画像Iを、スケーリングを除いて近似するように予め設定される。ここで、予め設定される、水平方向及び垂直方向のスケーリングを、正定数α及び正定数βとする。すなわち、α=X/X、及び、β=Y/Yである。このとき、復元画像Iと入力画像Iとの間には、水平座標x=水平座標αx、及び、垂直座標y=垂直座標βyとの対応関係を有する。なお、例えば、復元画像Iと入力画像Iとの各画素のアスペクト比が同一、かつ、復元画像Iと入力画像Iとの全体のアスペクト比が同一の場合、正定数α=正定数β>0である。また、例えば、復元画像Iと入力画像Iとにおいて、水平解像度と垂直解像度とが同一の場合、正定数α=正定数β=1である。さらに、入力画像Iに対し復元画像Iが拡大される場合には正定数α>1かつ正定数β>1であり、入力画像Iに対し復元画像Iが縮小されるときは0<正定数α<1かつ0<正定数β<1である。
また、入力画像Iは、図1の画像変形装置2によって、水平方向にM個、垂直方向にN個、合計M×N個の部分領域に分割(等分)され、この部分領域毎に複雑度が算出されるとして説明する。ここで、水平方向にm番目(m=0,1,・・・,M−1)で、垂直方向にn番目(n=0,1,・・・,N−1)の部分領域をBm,nとする。
写像復元手段31は、標本点補間手段31aを備えると共に、入力された変形パラメータ(複雑度)に基づいて、復元画像Iにおける標本点の座標と、変形画像Jにおける標本点の座標との対応関係を算出する。なお、写像復元手段31が、請求項に記載の対応関係算出手段に相当する。
ここで、例えば、復元画像Iにおける標本点の座標[x,y]から、変形画像Jにおける標本点の座標[u,v]を対応付ける式(1)が定義できる。
Figure 0005410232
また、例えば、変形画像Jにおける標本点の座標[u,v]から、復元画像Iにおける標本点の座標[x,y]を対応付ける式(2)が定義できる。
Figure 0005410232
以下、式(2)を用いる場合で、走査線を水平方向とした第1例と、走査線を垂直方向とした第2例とをそれぞれ説明する。ここでは、図5(a)に示すように、入力画像Iが、水平方向に4分割(M=4)され、垂直方向に3分割(N=3)されたとして説明する。
なお、垂直位置がnにおける走査線Sは、部分領域Bm,nの代表点を標本軸の方向に通過するものである。このとき、各部分領域Bm,nには、予め代表点を設定しておく。この代表点は、例えば、各部分領域Bm,nの中心点としても良く、各部分領域Bm,nの頂点(例えば、右上、左上、右下、左下)等の任意の点としても良い。
<走査線が水平方向:第1例>
まず、前提として、複雑度Cm,nに基づいて、標本点の座標を算出する手法を説明する。この場合、図1の画像変形装置2は、水平方向で連続した部分領域Bm,nについて、その代表点を水平方向(標本軸の方向)に通過する走査線Sを生成する。ここで、走査線Sの長さは、復元画像Iの幅Xと同一とする。そして、図1の画像変形装置2は、走査線S上におけるu番目(u=0,・・・,U−1)の標本点の座標x(u)を以下のように算出する(但し、0≦x(u)≦X−1)。なお、Uは走査線Sの一本に予め設定された標本点の数である。
まず、複雑度Cm,nに基づき、複雑度の関数c(x)を下記の式(3)のように定義する。
Figure 0005410232
図6を参照して、式(3)を説明する。図6(a)は、nを固定しつつmを変化させた場合の複雑度Cm,nの例であり、図5(b)の最上段の走査線Sに対応する。ここで、式(3)右辺において、下記の式(4)の項「M・x/X」の小数点以下を切り捨てた値が、複雑度Cm,nの第一インデックス(m方向)となり、図6(b)の関数が得られる。すなわち、図6(b)のグラフは、図6(a)のグラフを、横軸方向にX/M倍にスケーリング(引き伸ばし)した後、零次ホールドを適用したものとなる。このため、図6(a)の横軸の「部分領域位置m」が、図6(b)の横軸の「画素位置x」に変化する。
Figure 0005410232
次に、図7(a)に示すように、複雑度の関数c(x)をx=0からx方向に定積分し、下記の式(5)で表される累計複雑度の関数a(x)とする。
Figure 0005410232
さらに、図7(b)に示すように、u=0,1,・・・,U−1に対して、a(x)=uを満たすxをξ(u)とする。最後に、下記の式(6)に示すように、ξ(u)の小数点以下を切り捨てて、標本点の座標x(u)とする。
Figure 0005410232
以上より、図1の画像変形装置2は、式(3)から式(6)を用いることで、走査線S毎に、標本点の数Uだけ、複雑度Cm,nが高い部分領域Bm,nでは標本点が多く、かつ、複雑度Cm,nが低い部分領域Bm,nでは標本点が少なくなるように、標本点の座標x(u)を算出する。言い換えると、図1の画像変形装置2は、全ての走査線Sについて、同数の標本点を割り振ることになる。
ここで、図5(a)の最上段の各部分領域B0,nについて、標本点の座標x(u)の計算例を説明する。このとき、標本点の数Uを12とする。この場合、図6(a)に示すように、複雑度の関数c(x)の値は、6,2,3,1となる。また、この複雑度の関数c(x)に零次ホールドを適用すると、図6(b)のようになる。
そして、複雑度の関数c(x)を式(6)により定積分すると、図7(a)の累計複雑度の関数a(x)が得られる。なお、図7(a)では、累計複雑度の関数a(x)の傾きが複雑度Cm,nを示す。さらに、図7(b)に示すように、累計複雑度の関数a(x)とu(0,・・・,11)の水平線との交点から垂線を延ばす。さらに、この垂線が横軸と交わるxをξ(u)とし、このξ(u)の小数点以下を切り捨てた後、標本点の座標x(u)とする。
同様に、図5(a)の最下段の各部分領域B2,nについて、標本点の座標x(u)の計算例を説明する。図8(a)に示すように、複雑度の関数c(x)の値は、1,1,3,1となる。また、この複雑度の関数c(x)に零次ホールドを適用すると、図8(b)のようになる。
そして、複雑度の関数c(x)を式(6)により定積分すると、図9(a)の累計複雑度の関数a(x)が得られる。さらに、図9(b)に示すように、累計複雑度の関数a(x)とu(0,・・・,11)の水平線との交点から垂線を延ばす。さらに、この垂線が横軸と交わるxをξ(u)とし、このξ(u)の小数点以下を切り捨てた後、標本点の座標x(u)とする。
例えば、図5(a)の最上段の各部分領域B0,nでは、複雑度C0,nは、6,2,3,1で合計12となる。一方、図5(a)の最下段の各部分領域B2,nでは、複雑度C2,nは、1,1,3,1で合計6となる。つまり、この例では、入力画像の上側が複雑な模様で、下側が単純な模様と言える。この場合、模様が複雑な箇所の標本点を単純に多くすると、上側の画素数が下側の画素数より多くなる逆台形状のような歪な形状の変形画像になる。このような歪んだ変形画像は、画像処理の際に不都合を生じることが多い。しかし、図1の画像変形装置2は、式(5)を用いることから、複雑度Cm,nの合計値に関わらす、各走査線Sの標本点の数を等しくでき(図5の例では12個)、画像処理に都合が良い、正方形、長方形状等の整った形状の変形画像を生成できる。
以上をまとめると、写像復元手段31は、下記の式(7)で表される対応関係を用いて、走査線S毎に、標本点の数Uだけ、複雑度Cm,nが高い部分領域Bm,nでは標本点が多く、かつ、複雑度Cm,nが低い部分領域Bm,nでは標本点が少なくなるように、変形画像Jにおける標本点の座標を算出する(図10(a)参照)。
Figure 0005410232
続いて、写像復元手段31は、標本点補間手段31aによって、式(7)で算出した標本点の座標を、零次補間又は線形補間等の補間処理によって走査線Sの間に補間する(図10(b)参照)。ここで、標本点補間手段31aは、標本点の座標が小数点を含む場合、その小数点を切り捨て、切り上げ又は四捨五入を行い、標本点の座標を整数にしても良い。
例えば、図5(c)では、算出した標本点の座標を黒丸で図示し、補間した標本点の座標を白丸で図示した。ここで、最上段、上から二番目及び最下段の走査線S上にある白丸は、零次外挿によって補間したものである。また、それ以外の走査線S上にある白丸は、線形内挿によって補間したものである。この例では、小数画素位置の標本点に対しては、四捨五入処理を行っている。このように、標本点の座標を補間するので、画像復元装置3は、変形画像Jからより鮮明な復元画像Iを復元できる。その後、この対応関係の関数gと、変形画像Jにおける標本点の座標とを画像復元手段33に出力する。
<走査線が垂直方向:第2例>
この場合、図1の画像変形装置2は、垂直方向で連続した部分領域Bm,nについて、その代表点を垂直方向(標本軸の方向)に通過する走査線Tを生成する。ここで、走査線Tの長さは、入力画像I(x,y)の高さYと同一とする。そして、図1の画像変形装置2は、走査線T上におけるv番目(v=0,・・・,V−1)の標本点の座標y(v)を以下のように算出する(但し、0≦y(v)≦Y−1)。なお、Vは走査線Tの一本に予め設定された標本点の数である。
まず、複雑度Cm,nに基づき、複雑度の関数d(y)を下記の式(8)のように定義する。
Figure 0005410232
ここで、式(8)右辺において、下記の式(9)の項「N・y/Y」の小数点以下を切り捨てた値が、複雑度Cm,nの第二インデックス(n方向)となる。
Figure 0005410232
次に、複雑度の関数d(y)をy=0からy方向に定積分し、下記の式(10)で表される累計複雑度の関数b(y)とする。
Figure 0005410232
さらに、v=0,1,・・・,V−1に対して、b(y)=vを満たすyをη(v)とする。最後に、下記の式(11)に示すように、η(v)の小数点以下を切り捨てて、標本点の座標y(v)とする。
Figure 0005410232
従って、図1の画像変形装置2は、式(8)から式(11)を用いることで、走査線T毎に、標本点の数Vだけ、複雑度Cm,nが高い部分領域Bm,nでは標本点が多く、かつ、複雑度Cm,nが低い部分領域Bm,nでは標本点が少なくなるように、標本点の座標y(v)を算出する。言い換えると、図1の画像変形装置2は、全ての走査線Tについて、同数の標本点を割り振ることになる。
以上をまとめると、写像復元手段31は、下記の式(12)で表される対応関係を用いて、走査線T毎に、標本点の数Vだけ、複雑度Cm,nが高い部分領域Bm,nでは標本点が多く、かつ、複雑度Cm,nが低い部分領域Bm,nでは標本点が少なくなるように、変形画像Jにおける標本点の座標を算出する。
Figure 0005410232
続いて、写像復元手段31は、標本点補間手段31aによって、式(12)で算出した標本点の座標を、零次補間又は線形補間等の補間処理によって走査線Tの間に補間する。ここで、写像復元手段31は、標本点の座標が小数点を含む場合、その小数点を切り捨て、切り上げ又は四捨五入を行い、標本点の座標を整数にしても良い。その後、写像復元手段31は、この対応関係の関数gと、変形画像Jにおける標本点の座標とを画像復元手段33に出力する。
図4に戻り、画像復元装置3の構成について説明を続ける。
画像復元手段33は、画素値補間手段33aを備えると共に、図1の画像変形装置2から変形画像と、写像復元手段31から対応関係の関数gと変形画像Jにおける標本点の座標とが入力される。
まず、画像復元手段33は、復元画像Iの全画素に「未定義」を示す値(例えば、ヌル値)を割り当てる。また、画像復元手段33は、対応関係の関数gに基づいて、入力された変形画像Jにおける標本点の座標[u,v]を、復元画像Iにおける標本点の座標[x,y]に変換する。そして、画像復元手段33は、下記の式(13)に示すように、変形画像Jにおける標本点の座標に対応する画素の画素値J([u,v])を、復元画像Iにおける標本点の座標に対応する画素の画素値I(g([x,y]))とする。
Figure 0005410232
つまり、画像復元手段33は、画素値が割り当てられた復元画像Iを生成し、これを出力する(図10(c)参照)。ここで、画素値補間手段33aは、復元画像Iにおいて、画素値が割り当てられていない画素に対して補間処理を行い、その画素に画素値を割り当てる(図10(d)参照)。例えば、画素値補間手段33aは、復元画像Iにおいて、画素値が「未定義」を示す画素に対し、画素値を算出した画素を用いて、補間処理によって画素値を補間する。この場合、画素値補間手段33aは、一次補間、最近傍補間、双一次補間、双三次補間等の補間処理を行う。
<変形画像を基準とした補間処理:第1例>
以下、図11及び図12を参照し、画素値補間手段33aによる補間処理の第1例及び第2例を説明する(適宜図4参照)。なお、図11では、復元画像Iにおいて画素値を補間したい画素を黒丸で図示し、変形画像Jの画素を白丸で図示した。図11に示すように、画素値補間手段33aは、画素値を補間したい画素(注目点)の上下左右に位置する合計4画素から、双一次補間により画素値を求める。この場合、画素値補間手段33aは、下記の式(14)を用いて、画素値を補間しても良い。
Figure 0005410232
なお、式(14)では、I00〜I11が復元画像における上下左右の4画素の画素値を示し、Iが変形画像における画素の画素値を示す。また、式(14)では、pが注目点となる画素から上側の画素I00,I01までの長さ、qが注目点となる画素から下側の画素I10,I11までの長さである。さらに、式(14)では、rが注目点を通過する水平線と注目点左側の画素I00,I10の線分との交点から注目点までの長さ、sが注目点を通過する水平線と注目点右側の画素I01,I11の線分との交点から注目点までの長さである。
<復元画像を基準とした補間処理:第2例>
図12に示すように、画素値補間手段33aは、画素値を補間したい画素(注目点)の上下左右に位置する合計4画素から、双一次補間により画素値を求める。この場合、画素値補間手段33aは、下記の式(15)を用いて、画素値を補間しても良い。なお、図12では、復元画像Iにおいて画素値を補間したい画素を白丸で図示し、変形画像Jの画素を黒丸で図示した。
Figure 0005410232
なお、式(15)では、J00〜J11が変形画像における上下左右の4画素の画素値を示し、Iが復元画像における画素の画素値を示す。また、式(15)では、pが注目点となる画素から上側の画素J00,J01までの長さ、qが注目点となる画素から下側の画素J10,J11までの長さである。さらに、式(15)では、rが注目点を通過する水平線と注目点左側の画素J00,J10の線分との交点から注目点までの長さ、sが注目点を通過する水平線と注目点右側の画素J01,J11の線分との交点から注目点までの長さである。
[画像復元装置の動作]
以下、図13を参照し、図4の画像復元装置の動作について、説明する。まず、画像復元装置3は、写像復元手段31によって、式(7)又は式(12)で表される対応関係の関数g等の対応関係を算出し、変形画像Jにおける標本点の座標を算出する(ステップS1)。
ステップS1の処理に続いて、画像復元装置3は、標本点補間手段31aによって、変形画像Jにおける標本点の座標を補間する(ステップS2)。また、画像復元装置3は、画像復元手段33によって、対応関係の関数g等の対応関係に基づいて、変形画像Jにおける標本点の座標を復元画像Iにおける標本点の座標に変換し、その画素の画素値を、復元画像Iにおける画素の画素値として算出する(ステップS3)。そして、画像復元装置3は、画素値補間手段33aによって、復元画像Iにおける画素の画素値を補間し、復元画像Iとして出力する(ステップS4)。
以上のように、本発明の第1実施形態に係る画像復元装置3によれば、模様が複雑な部分について細かい標本化を行い、かつ、模様が単純な部分では粗い標本化を行った変形画像を復元する。このため、画像復元装置3によれば、従来の等間隔で標本化を行った画像に比べ、同程度の情報量で細かく表現された復元画像を復元できる。また、画像復元装置3によれば、変形パラメータが部分領域Bm,n毎の情報であることから、従来の全標本点の情報に比べ、その情報量を少なくできる。さらに、画像復元装置3によれば、標本軸方向(1次元)の簡易な演算で変形画像を復元でき、演算負荷を軽減できる。これによって、画像復元装置3は、従来の等間隔の標本化された画像を復元する場合に比べて、効率的な変形画像の復元を可能とする。
ここで、画像復元装置3は、変形パラメータが無ければ、変形画像を復元できない。このため、画像復元装置3は、変形パラメータをデスクランブル鍵とするデスクランブル装置として用いることもできる。また、例えば、画像復元装置3は、画像を復号する画像復号装置、又は、画像の解像度を変換する解像度変換装置として利用できる。
なお、第1実施形態では、標本軸を水平方向又は垂直方向として説明したが、これに限定されない。例えば、標本軸は、斜め方向等の空間方向の軸としても良く、入力画像を動画像としたときは、フレーム画像間又はフィールド画像間の時間方向の軸としても良い。
なお、第1実施形態では、写像復元手段31が、写像として、対応関係の関数gと、変形画像Jにおける標本点の座標とを画像復元手段33に出力することとしたが、これに限定されない。例えば、C言語等における関数へのポインタを用いる場合、又は、代表的な引数値に対して関数出力値を予め計算しておいたルックアップテーブルを用いる場合等の実装方法に応じて任意に変更できる。例えば、写像復元手段31が、写像として、対応関係の関数gを画像復元手段33に出力しても良く、対応関係の関数gから求めた標本点の座標値を画像復元手段33に出力しても良い。
なお、第1実施形態では、本発明に係る画像復元装置を独立した装置として説明したが、本発明では、一般的なコンピュータの演算装置、記憶装置等を、前記した各手段として協調動作させるプログラムによっても実現できる。このプログラムは、通信回線を介して配布しても良く、CD−ROMやフラッシュメモリ等の記録媒体に書き込んで配布しても良い。
(変形例1)
以下、図4の画像復元装置3の各変形例について、具体的に説明する。
図14に示すように、本発明の変形例1に係る画像復元装置3は、電子透かし検出手段34をさらに備える。この場合、この電子透かし検出手段34は、変形パラメータが電子透かしとして付加された変形画像が入力される。そして、電子透かし検出手段34は、変形画像から変形パラメータを電子透かしとして検出し、検出した変形パラメータを写像復元手段31に出力し、変形パラメータが抜き出された変形画像を画像復元手段33に出力する。これによって、画像復元装置3は、変形パラメータの存在を隠蔽することができ、画像復元装置3をデスクランブル装置として用いる場合、特に好ましい。
(変形例2)
図15に示すように、本発明の変形例2に係る画像復元装置3は、逆多重化手段35と変形画像復号手段36と、変形パラメータ復号手段37とをさらに備える。
逆多重化手段35は、符号化された変形パラメータと符号化された変形画像とが多重化された多重化信号が、入力される。また、逆多重化手段35は、この多重化信号を逆多重化し、符号化された変形パラメータと、符号化された変形画像とを分離する。そして、逆多重化手段35は、符号化された変形画像を変形画像復号手段36に出力し、符号化された変形パラメータを変形パラメータ復号手段37に出力する。ここで、例えば、多重化信号には、符号化された変形画像と変形パラメータとを区別するための付加的情報(例えば、ヘッダ情報としてのビット列又は同期用のビット列)が、付加されている。
変形画像復号手段36は、逆多重化手段35からの符号化された変形画像を復号し、その変形画像を画像復元手段33に出力する。例えば、変形画像復号手段36は、静止画用のJPEG(Joint Photographic Experts Group)及びPNG(Portable Network Graphics)、動画像用のMPEG(Moving Picture Experts Group)−2、MPEG−4、MPEG−4 AVC/H.264、Motion JPEG及びWindows(登録商標) Media等のデコーダを用いることができる。
変形パラメータ復号手段37は、逆多重化手段35からの符号化された変形パラメータを復号し、その変形パラメータを写像復元手段31に出力する。ここで、変形パラメータ復号手段37が用いる手法、アルゴリズム、及び、符号化のパラメータは任意である。例えば、変形パラメータ復号手段37は、座標情報の間引き、及び、ハフマン符号化等のデコーダを用いることができる。
(変形例3)
図16に示すように、本発明の変形例3に係る画像復元装置3は、写像復元手段31が、変形パラメータ逆多重化部311と、L個の部分写像復元部(対応関係算出部)313A〜313Lと、写像合成部(対応関係合成部)315とを備える(適宜図4参照)。
変形パラメータ逆多重化部311は、第1標本軸から第L標本軸までの変形パラメータが多重化された変形パラメータが、図1の画像変形装置2から入力される。また、変形パラメータ逆多重化部311は、多重化された変形パラメータから、第1標本軸の変形パラメータから第L標本軸の変形パラメータまでをそれぞれ分離する。そして、変形パラメータ逆多重化部311は、第1標本軸の変形パラメータを第1の部分写像復元部313Aに出力し、第2標本軸の変形パラメータを第2の部分写像復元部313Bに出力し、第L標本軸の変形パラメータを第Lの部分写像復元部313Lに出力する。なお、Lは、標本化の次元数を示すものであり、2以上の整数である。
第1の部分写像復元部313Aは、変形パラメータ逆多重化部311からの第1標本軸の変形パラメータを用いて、第1標本軸の方向における対応関係を算出する。そして、第1の部分写像復元部313Aは、第1標本軸の方向における対応関係を写像合成部315に出力する。なお、第1の部分写像復元部313Aは、図4の写像復元手段と同様に対応関係を算出するため、その説明を省略する。
また、第2の部分写像復元部313Bは、第1の部分写像復元部313Aと同様に第2標本軸の方向における対応関係を算出し、写像合成部315に出力する。さらに、第Lの部分写像復元部313Lは、第1の部分写像復元部313Aと同様に第L標本軸の方向における対応関係を算出し、写像合成部315に出力する。なお、L個の部分写像復元部313A〜313Lが、請求項に記載の対応関係算出部に相当する。
写像合成部315は、L個の部分写像復元部313A〜313Lのそれぞれから入力された対応関係を合成して、図4の画像復元手段33に出力する。ここで、写像合成部315は、例えば、下記の式(16)を用いて、対応関係を合成する。なお、式(16)では、gは合成した対応関係(写像)を示し、gは各次元(各標本軸)の対応関係を示す。
Figure 0005410232
画像復元手段33(図4参照)は、写像合成部315から入力された対応関係に基づいて、L個の標本軸で標本化した不等間隔標本化画像から復元画像を復元する。なお、画像復元手段33の復元処理は、図4の画像復元手段33と同様であるため、その説明を省略する。これによって、画像復元装置3は、L個の標本軸で標本化した不等間隔標本化画像についても、復元処理を1回行うだけで復元画像を復元できるので、その演算が簡易である。
(第2実施形態)
[画像復元装置の構成]
以下、図17を参照し、本発明の第2実施形態に係る画像復元装置の構成について、説明する。図17に示すように、画像復元装置(多次元画像復元装置)200は、図4の画像復元装置3を2台直列に接続したものであり、第1の画像復元装置3Aと、第2の画像復元装置3Bと、変形パラメータ逆多重化手段38とを備える。なお、画像復元装置200は、請求項6において、k=2の場合に相当する。
ここでは、第1標本軸を水平方向とし、第2標本軸を垂直方向として説明する。また、入力画像は、2次元画像(2次元静止画像)である。なお、図17では、第1の画像復元装置3A及び第2の画像復元装置3Bの各手段は、その図示を省略した。
変形パラメータ逆多重化手段38は、図1の画像変形装置2から、第1標本軸(水平方向)の変形パラメータと、第2標本軸(垂直方向)の変形パラメータとが多重化された変形パラメータが入力される。また、変形パラメータ逆多重化手段38は、多重化された変形パラメータから、第1標本軸の変形パラメータと第2標本軸の変形パラメータとを分離する。そして、変形パラメータ逆多重化手段38は、第1標本軸の変形パラメータを第1の画像復元装置3Aに出力し、第2標本軸の変形パラメータを第2の画像復元装置3Bに出力する。
第1の画像復元装置3Aは、変形パラメータ逆多重化手段38から第1標本軸の変形パラメータと、図1の画像変形装置2から変形画像とが入力される。そして、第1の画像復元装置3Aは、第1標本軸の変形パラメータを用いて、この変形画像を第1標本軸の方向で復元する。さらに、第1の画像復元装置3Aは、復元した復元画像を、第2の画像復元装置3Bに出力する。
第2の画像復元装置3Bは、変形パラメータ逆多重化手段38から第2標本軸の変形パラメータと、第1の画像復元装置3Aから復元画像とが入力される。そして、第2の画像復元装置3Bは、第2標本軸の変形パラメータを用いて、この復元画像を第2標本軸の方向で復元する。さらに、第2の画像復元装置3Bは、復元した復元画像を出力する。
以上のように、本発明の第2実施形態に係る画像復元装置200によれば、図4の画像復元装置3と同様の効果を奏する。さらに、画像復元装置200によれば、簡易な1次元の復元処理を2回繰り返すだけで2次元画像を復元でき、演算負荷を軽減できる。
なお、第2実施形態では、第1標本軸を水平方向とし、第2標本軸を垂直方向として説明したが、これに限定されない。例えば、第1標本軸及び第2標本軸が空間方向の軸であるときは、両軸が交われば良い。また、例えば、第1標本軸及び第2標本軸のうち、その一方を空間方向の軸とし、他方を時間方向の軸としても良い。
なお、1次元の場合(k=1の場合)、前記した部分領域の分割を1次元の数直線の分割とし、式(7)又は式(12)の関数gの代わりに、式(6)又は式(11)のx(u)(1次元なので、n=0)をそのまま標本点の位置として用いても良い。
(第3実施形態)
[画像復元装置の構成]
以下、図18を参照し、本発明の第3実施形態に係る画像復元装置の構成について、説明する。図18に示すように、画像復元装置(多次元画像復元装置)300は、図4の画像復元装置3を3台直列に接続したものであり、第1の画像復元装置3Aと、第2の画像復元装置3Bと、第3の画像復元装置3Cと、変形パラメータ逆多重化手段38Bとを備える。なお、画像復元装置300は、請求項6において、k=3の場合に相当する。
ここで、第1標本軸を水平方向とし(図19〜図22のx方向)、第2標本軸を垂直方向(図19〜図22のy方向)とし、第3標本軸を奥行方向(図19〜図22のz方向)として説明する。また、入力画像は、3次元画像(立体静止画像)である。なお、図18では、第1の画像変形装置2A、第2の画像変形装置2B及び第3の画像変形装置2Cの各手段は、その図示を省略した。また、第1の画像復元装置3A及び第2の画像復元装置3Bは、図17の各装置と同様のものであるため、説明を省略する。
変形パラメータ逆多重化手段38Bは、図1の画像変形装置2から、第1標本軸(水平方向)の変形パラメータと、第2標本軸(垂直方向)の変形パラメータと、第3標本軸(奥行方向)の変形パラメータとが多重化された変形パラメータが入力される。また、変形パラメータ逆多重化手段38Bは、多重化された変形パラメータから、第1標本軸の変形パラメータと第2標本軸の変形パラメータと第3標本軸の変形パラメータとを分離する。そして、変形パラメータ逆多重化手段38Bは、第1標本軸の変形パラメータを第1の画像復元装置3Aに出力し、第2標本軸の変形パラメータを第2の画像復元装置3Bに出力し、第3標本軸の変形パラメータを第3の画像復元装置3Cに出力する。
第3の画像復元装置3Cは、変形パラメータ逆多重化手段38Bから第3標本軸の変形パラメータと、第2の画像復元装置3Bから復元画像とが入力される。そして、第3の画像復元装置3Cは、第3標本軸の変形パラメータを用いて、この復元画像を第3標本軸の方向で復元する。さらに、第3の画像復元装置3Cは、復元した復元画像を出力する。
<3次元画像の部分領域、走査線及び標本点の補間>
以下、図19〜図23を参照し、3次元画像の部分領域、走査線及び標本点の補間について、詳細に説明する。入力画像が3次元画像であることから、第1の画像復元装置3Aは、図19に示すように、入力画像(3次元画像)を立方体又は直方体状の部分領域に分割する。なお、図20は、図19の中央に位置する部分領域の拡大図である。また、図19及び図20では、説明を簡易にするため、部分領域の一部のみを図示した。
また、第1の画像復元装置3Aは、図20に示すように、この部分領域毎に、第1標本軸(水平方向)の複雑度から標本点の座標を算出する。図20の例では、左上手前側の部分領域BL1の複雑度が5であり、左下手前側の部分領域BL2の複雑度が2であり、右上手前側の部分領域BL3の複雑度が2であり、右下手前側の部分領域BL4の複雑度が3である。また、図20の例では、走査線S〜Sの一本あたりの標本点の数Uを5とする。なお、奥側の部分領域BL5〜BL8については、説明を簡易にするため、複雑度の図示を省略した。
まず、第1の画像復元装置3Aは、部分領域BL1〜BL8の代表点(例えば、中心点)を水平方向に通過する走査線S〜S毎に、標本点の座標を算出する。ここで、走査線Sは、図21,図22に示すように、部分領域BL1,BL3の中心点を水平方向に通過する。また、走査線Sは、部分領域BL2,BL4の中心点を水平方向に通過する。そして、走査線Sは、部分領域BL5,BL7の中心点を水平方向に通過する。さらに、走査線Sは、部分領域BL6,BL8の中心点を水平方向に通過する。
なお、図21は図20を上面視した図(図20の黒矢印の方向からの図)であり、図22は、図20を右側面視した図(図20の白矢印の方向からの図)である。ここで、図22では、走査線S〜Sは、右側面視すると、点のように見える。
また、第1の画像復元装置3Aは、図23に示すように、標本点の座標を算出する。なお、図23では、算出した標本点を黒丸で図示し、補間した標本点を白丸で図示した。具体的には、図23(b)に示すように、第1の画像復元装置3Aは、2本の走査線S,Sの間の走査線S上に、補間処理によって、5個の標本点の座標を補間する。また、図23(c)に示すように、第1の画像復元装置3Aは、2本の走査線S,Sの間の走査線S上に、補間処理によって、5個の標本点の座標を補間する。さらに、図23(d)に示すように、第1の画像復元装置3Aは、2本の走査線S,Sの間の走査線S上に、補間処理によって、5個の標本点の座標を補間する。
図19〜図23では、第1の画像復元装置3Aによって標本点を水平方向に補間する例を説明した。また、同様の手順にて、第2の画像復元装置3Bによって標本点を垂直方向に補間し、第3の画像復元装置3Cによって標本点を奥行方向に補間するので、その説明は省略する。
以上のように、本発明の第3実施形態に係る画像復元装置300によれば、図4の画像復元装置3と同様の効果を奏する。さらに、画像復元装置300によれば、簡易な1次元の復元処理を3回繰り返すだけで3次元画像を復元でき、演算負荷を軽減できる。
(第4実施形態)
[画像復元装置の構成]
以下、図24を参照し、本発明の第4実施形態に係る画像復元装置の構成について、説明する。図24に示すように、画像復元装置(多次元画像復元装置)400は、図4の画像復元装置3を4台直列に接続したものであり、第1の画像復元装置3Aと、第2の画像復元装置3Bと、第3の画像復元装置3Cと、第4の画像復元装置3Dと、変形パラメータ逆多重化手段38Cとを備える。なお、画像復元装置400は、請求項6において、k=4の場合に相当する。
ここで、第1標本軸を水平方向とし、第2標本軸を垂直方向とし、第3標本軸を奥行方向とし、第4標本軸を時間方向として説明する。また、入力画像は、4次元画像(立体動画像)である。なお、図24では、第1の画像復元装置3A、第2の画像復元装置3B、第3の画像復元装置3C及び第4の画像復元装置3Dの各手段は、その図示を省略した。また、第1の画像復元装置3A、第2の画像復元装置3B及び第3の画像復元装置3Cは、図18の各装置と同様のものであるため、説明を省略する。
変形パラメータ逆多重化手段38Cは、図1の画像変形装置2から、第1標本軸(水平方向)の変形パラメータと、第2標本軸(垂直方向)の変形パラメータと、第3標本軸(奥行方向)の変形パラメータと、第4標本軸(時間方向)の変形パラメータとが多重化された変形パラメータが入力される。また、変形パラメータ逆多重化手段38Cは、多重化された変形パラメータから、第1標本軸の変形パラメータと第2標本軸の変形パラメータと第3標本軸の変形パラメータと第4標本軸の変形パラメータとを分離する。そして、変形パラメータ逆多重化手段38Cは、第1標本軸の変形パラメータを第1の画像復元装置3Aに出力し、第2標本軸の変形パラメータを第2の画像復元装置3Bに出力し、第3標本軸の変形パラメータを第3の画像復元装置3Cに出力し、第4標本軸の変形パラメータを第4の画像復元装置3Dに出力する。
第4の画像復元装置3Dは、変形パラメータ逆多重化手段38Cから第4標本軸の変形パラメータと、第3の画像復元装置3Cから復元画像とが入力される。そして、第4の画像復元装置3Dは、第4標本軸の変形パラメータを用いて、この復元画像を第4標本軸の方向で復元する。さらに、第4の画像復元装置3Dは、復元した復元画像を出力する。
以上のように、本発明の第4実施形態に係る画像復元装置400によれば、図4の画像復元装置3と同様の効果を奏する。さらに、画像復元装置400によれば、簡易な1次元の復元処理を4回繰り返すだけで4次元画像を復元でき、演算負荷を軽減できる。
1 画像変形復元システム
2 画像変形装置
3 画像復元装置
3A 第1の画像復元装置
3B 第2の画像復元装置
3C 第3の画像復元装置
3D 第4の画像復元装置
31 写像復元手段(対応関係算出手段)
31a 標本点補間手段
311 変形パラメータ逆多重化部
313A〜313L 部分写像復元部(対応関係算出部)
315 写像合成部(対応関係合成部)
33 画像復元手段
33a 画素値補間手段
34 電子透かし検出手段
35 逆多重化手段
36 変形画像復号手段
37 変形パラメータ復号手段
38,38B,38C 変形パラメータ逆多重化手段
200 画像復元装置(多次元画像復元装置)
300 画像復元装置(多次元画像復元装置)
400 画像復元装置(多次元画像復元装置)

Claims (4)

  1. 入力画像を複数に分割した部分領域毎の複雑さを示す複雑度と、前記複雑度を用いて、予め設定された空間方向又は時間方向の標本軸において前記入力画像を不等間隔で標本化した不等間隔標本化画像とが不等間隔標本化装置から入力されると共に、前記複雑度を用いて、前記不等間隔標本化画像から復元画像を復元する画像復元装置であって、
    前記標本軸の方向に連続した全ての前記部分領域を通過する走査線毎に、前記複雑度から、予め設定された標本点の数だけ、前記複雑度が高い部分領域では標本点が多く、かつ、前記複雑度が低い部分領域では前記標本点が少なくなるように、前記復元画像における標本点の座標と前記不等間隔標本化画像における標本点の座標との対応関係を算出する対応関係算出手段と、
    前記対応関係算出手段が算出した対応関係に基づいて、前記不等間隔標本化画像における標本点の座標に対応する画素の画素値を、前記復元画像における標本点の座標に対応する画素の画素値として、前記復元画像を復元する画像復元手段と、
    を備え
    前記複雑度が電子透かしとして付加された前記不等間隔標本化画像が入力されると共に、当該不等間隔標本化画像から前記複雑度を検出する電子透かし検出手段をさらに備えることを特徴とする画像復元装置。
  2. 入力画像を複数に分割した部分領域毎の複雑さを示す複雑度と、前記複雑度を用いて、予め設定された空間方向又は時間方向の標本軸において前記入力画像を不等間隔で標本化した不等間隔標本化画像とが不等間隔標本化装置から入力されると共に、前記複雑度を用いて、前記不等間隔標本化画像から復元画像を復元する画像復元装置であって、
    前記標本軸の方向に連続した全ての前記部分領域を通過する走査線毎に、前記複雑度から、予め設定された標本点の数だけ、前記複雑度が高い部分領域では標本点が多く、かつ、前記複雑度が低い部分領域では前記標本点が少なくなるように、前記復元画像における標本点の座標と前記不等間隔標本化画像における標本点の座標との対応関係を算出する対応関係算出手段と、
    前記対応関係算出手段が算出した対応関係に基づいて、前記不等間隔標本化画像における標本点の座標に対応する画素の画素値を、前記復元画像における標本点の座標に対応する画素の画素値として、前記復元画像を復元する画像復元手段と、
    を備え、
    前記不等間隔標本化装置から、前記入力画像を2以上の前記標本軸で標本化した不等間隔標本化画像と、前記標本軸毎に算出された複雑度とが入力され、
    前記対応関係算出手段は、
    前記標本軸毎に前記対応関係を、当該標本軸毎に算出された複雑度から算出する2以上の対応関係算出部と、
    前記2以上の対応関係算出部が算出した対応関係を合成する対応関係合成部と、さらに備え、
    前記画像復元手段は、
    前記対応関係合成部が合成した対応関係に基づいて、前記2以上の標本軸で標本化した不等間隔標本化画像から、前記復元画像を復元することを特徴とする画像復元装置。
  3. コンピュータを、請求項1又は請求項2に記載の画像復元装置として機能させるための画像復元プログラム。
  4. 入力画像を複数に分割した部分領域毎の複雑さを示す複雑度と、前記複雑度を用いて、予め設定された空間方向又は時間方向の標本軸において前記入力画像を不等間隔で標本化した不等間隔標本化画像とが不等間隔標本化装置から入力されると共に、前記複雑度を用いて、前記不等間隔標本化画像から復元画像を復元する画像復元装置であって、
    前記標本軸の方向に連続した全ての前記部分領域を通過する走査線毎に、前記複雑度から、予め設定された標本点の数だけ、前記複雑度が高い部分領域では標本点が多く、かつ、前記複雑度が低い部分領域では前記標本点が少なくなるように、前記復元画像における標本点の座標と前記不等間隔標本化画像における標本点の座標との対応関係を算出する対応関係算出手段と、
    前記対応関係算出手段が算出した対応関係に基づいて、前記不等間隔標本化画像における標本点の座標に対応する画素の画素値を、前記復元画像における標本点の座標に対応する画素の画素値として、前記復元画像を復元する画像復元手段と、
    を備える画像復元装置をk台直列に接続した多次元画像復元装置であって、
    第1の画像復元装置は、前記不等間隔標本化画像としてk次元画像が入力されると共に、当該k次元画像を、予め設定された空間方向又は時間方向の第1標本軸で復元し、
    第kの画像復元装置は、第k−1の不等間隔標本化装置によって復元された復元画像が入力されると共に、当該復元画像を、第k標本軸の方向に復元することを特徴とする多次元画像復元装置(但し、kは2以上の整数)。
JP2009231176A 2009-10-05 2009-10-05 画像復元装置、そのプログラム、及び、多次元画像復元装置 Expired - Fee Related JP5410232B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2009231176A JP5410232B2 (ja) 2009-10-05 2009-10-05 画像復元装置、そのプログラム、及び、多次元画像復元装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2009231176A JP5410232B2 (ja) 2009-10-05 2009-10-05 画像復元装置、そのプログラム、及び、多次元画像復元装置

Publications (2)

Publication Number Publication Date
JP2011081477A JP2011081477A (ja) 2011-04-21
JP5410232B2 true JP5410232B2 (ja) 2014-02-05

Family

ID=44075494

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2009231176A Expired - Fee Related JP5410232B2 (ja) 2009-10-05 2009-10-05 画像復元装置、そのプログラム、及び、多次元画像復元装置

Country Status (1)

Country Link
JP (1) JP5410232B2 (ja)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5754635B2 (ja) * 2011-08-02 2015-07-29 日本電信電話株式会社 画像符号化装置、画像復号装置、画像符号化方法、画像復号方法、画像符号化プログラム及び画像復号プログラム
JP7346039B2 (ja) * 2019-02-18 2023-09-19 キヤノン株式会社 データ処理装置、データ処理方法、及びプログラム
CN116309058B (zh) * 2023-03-15 2024-04-19 长沙观谱红外科技有限公司 一种人体红外图像的放大处理方法

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS628694A (ja) * 1985-07-04 1987-01-16 Canon Inc 圧縮情報信号記録システム
JPS63116570A (ja) * 1986-11-04 1988-05-20 Canon Inc 画像伝送システム
JPH02211785A (ja) * 1989-02-10 1990-08-23 Sony Corp 復号装置

Also Published As

Publication number Publication date
JP2011081477A (ja) 2011-04-21

Similar Documents

Publication Publication Date Title
US9652830B2 (en) Method and apparatus for performing hierarchical super-resolution of an input image
JP5727873B2 (ja) 動きベクトル検出装置、符号化装置、及びこれらのプログラム
JP6188005B2 (ja) 濃淡画像符号化装置及び復号装置
US20050094899A1 (en) Adaptive image upscaling method and apparatus
JP2007067917A (ja) 画像データ処理装置
JP2011523275A (ja) 画像解像度の向上
JP4987688B2 (ja) 画像高解像度化方法および装置
WO2011111819A1 (ja) 画像処理装置、画像処理プログラム、および、画像を生成する方法
US20090129703A1 (en) Signal processing method, apparatus, and program
JP2008054267A (ja) 画像処理装置、画像符号化装置及び画像復号化装置
JP2000244851A (ja) 画像処理装置、方法及びコンピュータ読み取り可能な記憶媒体
US8514932B2 (en) Content adaptive and art directable scalable video coding
US8149913B2 (en) Moving picture converting apparatus and method, and computer program
JP5410232B2 (ja) 画像復元装置、そのプログラム、及び、多次元画像復元装置
Qiu Interresolution look-up table for improved spatial magnification of image
JP4095204B2 (ja) 画像処理装置、方法及びコンピュータ読み取り可能な記憶媒体
JP5410231B2 (ja) 不等間隔標本化装置、そのプログラム、及び、多次元不等間隔標本化装置
WO2017199149A1 (en) A new pyramid algorithm for video compression and video analysis
Behnad et al. Image interpolation with hidden Markov model
JP2006209396A (ja) 画像変換方法、装置およびプログラム、並びに、サーバークライアントシステム
JP6059899B2 (ja) フレーム補間装置及びプログラム
KR101059649B1 (ko) 적응적 보간 필터를 이용한 부호화 장치, 그 방법 및 복호화 장치
Sharma et al. Zooming digital images using modal interpolation
KR101428531B1 (ko) 움직임 벡터의 정규화 및 윤곽선의 패턴 분석을 이용한 복수 영상 기반 초해상도 영상 생성 방법
JP5085589B2 (ja) 画像処理装置および方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20120321

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20121227

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20130115

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20130304

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20131008

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20131106

R150 Certificate of patent or registration of utility model

Ref document number: 5410232

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees