JP5410232B2 - 画像復元装置、そのプログラム、及び、多次元画像復元装置 - Google Patents
画像復元装置、そのプログラム、及び、多次元画像復元装置 Download PDFInfo
- Publication number
- JP5410232B2 JP5410232B2 JP2009231176A JP2009231176A JP5410232B2 JP 5410232 B2 JP5410232 B2 JP 5410232B2 JP 2009231176 A JP2009231176 A JP 2009231176A JP 2009231176 A JP2009231176 A JP 2009231176A JP 5410232 B2 JP5410232 B2 JP 5410232B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- complexity
- sample
- correspondence
- sample points
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000005070 sampling Methods 0.000 claims description 39
- 238000004364 calculation method Methods 0.000 claims description 38
- 238000001514 detection method Methods 0.000 claims description 6
- 230000002194 synthesizing effect Effects 0.000 claims 2
- 238000013507 mapping Methods 0.000 description 47
- 238000000034 method Methods 0.000 description 38
- 230000006870 function Effects 0.000 description 32
- 230000009466 transformation Effects 0.000 description 19
- 238000010586 diagram Methods 0.000 description 17
- 230000008569 process Effects 0.000 description 13
- 230000004048 modification Effects 0.000 description 11
- 238000012986 modification Methods 0.000 description 11
- 238000012545 processing Methods 0.000 description 11
- 230000001186 cumulative effect Effects 0.000 description 9
- 230000015572 biosynthetic process Effects 0.000 description 5
- 238000003786 synthesis reaction Methods 0.000 description 5
- 230000007423 decrease Effects 0.000 description 4
- 230000000694 effects Effects 0.000 description 4
- 230000002441 reversible effect Effects 0.000 description 2
- 230000008859 change Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 230000006837 decompression Effects 0.000 description 1
- 238000013213 extrapolation Methods 0.000 description 1
- 230000002123 temporal effect Effects 0.000 description 1
- 230000017105 transposition Effects 0.000 description 1
Images
Landscapes
- Image Processing (AREA)
- Editing Of Facsimile Originals (AREA)
Description
最近傍法、双一次法、双三次法等の補間処理に基づく技術を用いて、入力された高解像度画像を低解像度画像に変換し、この低解像度画像を高解像度画像にさらに再変換して出力した場合を考える。この場合、入力された高解像度画像に含まれていた画像情報の高周波成分、すなわち、細かい模様に関する情報が失われ、再変換した高解像度画像がぼけてしまう。
また、等間隔の標本化とは、全標本点の間隔が等しくなるように標本化することを言う。
ここで、k=2の場合、入力画像(2次元画像)としては、例えば、静止画像がある。また、k=3の場合、入力画像(3次元画像)としては、例えば、動画像又は立体静止画像がある。さらに、k=4の場合、入力画像(4次元画像)としては、例えば、立体動画像がある。
本願第4発明によれば、簡易な演算で、情報量が少ない変形パラメータを用いて、不等間隔標本化画像から、鮮明な復元画像を復元できる。
本願第2発明によれば、復元画像の合成を1回で済ませることができ、演算量を低減できる。
以下、図1を参照して、本発明における画像変形復元システム1の概略について説明する。図1に示すように、画像変形復元システム1は、画像変形装置2と、画像復元装置3とを備える。また、画像変形復元システム1は、図示を省略したネットワーク又は放送波を介して、画像変形装置2と、画像復元装置3とが接続されている。
変形画像は、入力画像から、不等間隔の標本化により生成した画像であり、入力画像と同じ次元数となる。なお、変形画像が、請求項に記載の不等間隔標本化画像に相当する。
復元画像は、変形パラメータを用いて、変形画像から復元された画像である。
以下、図2,図3を参照し、変形画像の具体例について、従来の等間隔で標本化した画像と比べながら説明する。また、図2(a)及び図3(a)では、標本化の間隔(つまり、標本点同士の間隔)を、格子の大きさで示している。つまり、格子が小さくなる程、細かい標本化を行うことを示し、格子が大きくなる程、粗い標本化を行うことを示す。なお、この格子は説明のために図示したものであり、この格子が復元画像に付加されるわけでない。
[画像復元装置の構成]
以下、本発明の各実施形態について、適宜図面を参照しながら詳細に説明する。なお、各実施形態において、同一の機能を有する手段には同一の符号を付し、説明を省略した。図4に示すように、画像復元装置3は、写像復元手段(対応関係算出手段)31と、画像復元手段33とを備える。
また、変形画像をJ([u,v]T)、又は、単にJとする。なお、uは水平座標、vは垂直座標であり、いずれも画素単位とする。また、変形画像の幅をU画素、高さをV画素とする。
また、復元画像をI([x,y]T)、又は、単にIとする。なお、xは水平座標、yは垂直座標であり、いずれも画素単位とする。また、復元画像の幅をX画素、高さをY画素とする。
まず、前提として、複雑度Cm,nに基づいて、標本点の座標を算出する手法を説明する。この場合、図1の画像変形装置2は、水平方向で連続した部分領域Bm,nについて、その代表点を水平方向(標本軸の方向)に通過する走査線Snを生成する。ここで、走査線Snの長さは、復元画像Iの幅Xと同一とする。そして、図1の画像変形装置2は、走査線Sn上におけるu番目(u=0,・・・,U−1)の標本点の座標xn(u)を以下のように算出する(但し、0≦xn(u)≦X−1)。なお、Uは走査線Snの一本に予め設定された標本点の数である。
この場合、図1の画像変形装置2は、垂直方向で連続した部分領域Bm,nについて、その代表点を垂直方向(標本軸の方向)に通過する走査線Tmを生成する。ここで、走査線Tmの長さは、入力画像I(x,y)の高さYと同一とする。そして、図1の画像変形装置2は、走査線Tm上におけるv番目(v=0,・・・,V−1)の標本点の座標ym(v)を以下のように算出する(但し、0≦ym(v)≦Y−1)。なお、Vは走査線Tmの一本に予め設定された標本点の数である。
画像復元手段33は、画素値補間手段33aを備えると共に、図1の画像変形装置2から変形画像と、写像復元手段31から対応関係の関数gと変形画像Jにおける標本点の座標とが入力される。
以下、図11及び図12を参照し、画素値補間手段33aによる補間処理の第1例及び第2例を説明する(適宜図4参照)。なお、図11では、復元画像Iにおいて画素値を補間したい画素を黒丸で図示し、変形画像Jの画素を白丸で図示した。図11に示すように、画素値補間手段33aは、画素値を補間したい画素(注目点)の上下左右に位置する合計4画素から、双一次補間により画素値を求める。この場合、画素値補間手段33aは、下記の式(14)を用いて、画素値を補間しても良い。
図12に示すように、画素値補間手段33aは、画素値を補間したい画素(注目点)の上下左右に位置する合計4画素から、双一次補間により画素値を求める。この場合、画素値補間手段33aは、下記の式(15)を用いて、画素値を補間しても良い。なお、図12では、復元画像Iにおいて画素値を補間したい画素を白丸で図示し、変形画像Jの画素を黒丸で図示した。
以下、図13を参照し、図4の画像復元装置の動作について、説明する。まず、画像復元装置3は、写像復元手段31によって、式(7)又は式(12)で表される対応関係の関数g等の対応関係を算出し、変形画像Jにおける標本点の座標を算出する(ステップS1)。
以下、図4の画像復元装置3の各変形例について、具体的に説明する。
図14に示すように、本発明の変形例1に係る画像復元装置3は、電子透かし検出手段34をさらに備える。この場合、この電子透かし検出手段34は、変形パラメータが電子透かしとして付加された変形画像が入力される。そして、電子透かし検出手段34は、変形画像から変形パラメータを電子透かしとして検出し、検出した変形パラメータを写像復元手段31に出力し、変形パラメータが抜き出された変形画像を画像復元手段33に出力する。これによって、画像復元装置3は、変形パラメータの存在を隠蔽することができ、画像復元装置3をデスクランブル装置として用いる場合、特に好ましい。
図15に示すように、本発明の変形例2に係る画像復元装置3は、逆多重化手段35と変形画像復号手段36と、変形パラメータ復号手段37とをさらに備える。
図16に示すように、本発明の変形例3に係る画像復元装置3は、写像復元手段31が、変形パラメータ逆多重化部311と、L個の部分写像復元部(対応関係算出部)313A〜313Lと、写像合成部(対応関係合成部)315とを備える(適宜図4参照)。
[画像復元装置の構成]
以下、図17を参照し、本発明の第2実施形態に係る画像復元装置の構成について、説明する。図17に示すように、画像復元装置(多次元画像復元装置)200は、図4の画像復元装置3を2台直列に接続したものであり、第1の画像復元装置3Aと、第2の画像復元装置3Bと、変形パラメータ逆多重化手段38とを備える。なお、画像復元装置200は、請求項6において、k=2の場合に相当する。
[画像復元装置の構成]
以下、図18を参照し、本発明の第3実施形態に係る画像復元装置の構成について、説明する。図18に示すように、画像復元装置(多次元画像復元装置)300は、図4の画像復元装置3を3台直列に接続したものであり、第1の画像復元装置3Aと、第2の画像復元装置3Bと、第3の画像復元装置3Cと、変形パラメータ逆多重化手段38Bとを備える。なお、画像復元装置300は、請求項6において、k=3の場合に相当する。
以下、図19〜図23を参照し、3次元画像の部分領域、走査線及び標本点の補間について、詳細に説明する。入力画像が3次元画像であることから、第1の画像復元装置3Aは、図19に示すように、入力画像(3次元画像)を立方体又は直方体状の部分領域に分割する。なお、図20は、図19の中央に位置する部分領域の拡大図である。また、図19及び図20では、説明を簡易にするため、部分領域の一部のみを図示した。
[画像復元装置の構成]
以下、図24を参照し、本発明の第4実施形態に係る画像復元装置の構成について、説明する。図24に示すように、画像復元装置(多次元画像復元装置)400は、図4の画像復元装置3を4台直列に接続したものであり、第1の画像復元装置3Aと、第2の画像復元装置3Bと、第3の画像復元装置3Cと、第4の画像復元装置3Dと、変形パラメータ逆多重化手段38Cとを備える。なお、画像復元装置400は、請求項6において、k=4の場合に相当する。
2 画像変形装置
3 画像復元装置
3A 第1の画像復元装置
3B 第2の画像復元装置
3C 第3の画像復元装置
3D 第4の画像復元装置
31 写像復元手段(対応関係算出手段)
31a 標本点補間手段
311 変形パラメータ逆多重化部
313A〜313L 部分写像復元部(対応関係算出部)
315 写像合成部(対応関係合成部)
33 画像復元手段
33a 画素値補間手段
34 電子透かし検出手段
35 逆多重化手段
36 変形画像復号手段
37 変形パラメータ復号手段
38,38B,38C 変形パラメータ逆多重化手段
200 画像復元装置(多次元画像復元装置)
300 画像復元装置(多次元画像復元装置)
400 画像復元装置(多次元画像復元装置)
Claims (4)
- 入力画像を複数に分割した部分領域毎の複雑さを示す複雑度と、前記複雑度を用いて、予め設定された空間方向又は時間方向の標本軸において前記入力画像を不等間隔で標本化した不等間隔標本化画像とが不等間隔標本化装置から入力されると共に、前記複雑度を用いて、前記不等間隔標本化画像から復元画像を復元する画像復元装置であって、
前記標本軸の方向に連続した全ての前記部分領域を通過する走査線毎に、前記複雑度から、予め設定された標本点の数だけ、前記複雑度が高い部分領域では標本点が多く、かつ、前記複雑度が低い部分領域では前記標本点が少なくなるように、前記復元画像における標本点の座標と前記不等間隔標本化画像における標本点の座標との対応関係を算出する対応関係算出手段と、
前記対応関係算出手段が算出した対応関係に基づいて、前記不等間隔標本化画像における標本点の座標に対応する画素の画素値を、前記復元画像における標本点の座標に対応する画素の画素値として、前記復元画像を復元する画像復元手段と、
を備え、
前記複雑度が電子透かしとして付加された前記不等間隔標本化画像が入力されると共に、当該不等間隔標本化画像から前記複雑度を検出する電子透かし検出手段をさらに備えることを特徴とする画像復元装置。 - 入力画像を複数に分割した部分領域毎の複雑さを示す複雑度と、前記複雑度を用いて、予め設定された空間方向又は時間方向の標本軸において前記入力画像を不等間隔で標本化した不等間隔標本化画像とが不等間隔標本化装置から入力されると共に、前記複雑度を用いて、前記不等間隔標本化画像から復元画像を復元する画像復元装置であって、
前記標本軸の方向に連続した全ての前記部分領域を通過する走査線毎に、前記複雑度から、予め設定された標本点の数だけ、前記複雑度が高い部分領域では標本点が多く、かつ、前記複雑度が低い部分領域では前記標本点が少なくなるように、前記復元画像における標本点の座標と前記不等間隔標本化画像における標本点の座標との対応関係を算出する対応関係算出手段と、
前記対応関係算出手段が算出した対応関係に基づいて、前記不等間隔標本化画像における標本点の座標に対応する画素の画素値を、前記復元画像における標本点の座標に対応する画素の画素値として、前記復元画像を復元する画像復元手段と、
を備え、
前記不等間隔標本化装置から、前記入力画像を2以上の前記標本軸で標本化した不等間隔標本化画像と、前記標本軸毎に算出された複雑度とが入力され、
前記対応関係算出手段は、
前記標本軸毎に前記対応関係を、当該標本軸毎に算出された複雑度から算出する2以上の対応関係算出部と、
前記2以上の対応関係算出部が算出した対応関係を合成する対応関係合成部と、をさらに備え、
前記画像復元手段は、
前記対応関係合成部が合成した対応関係に基づいて、前記2以上の標本軸で標本化した不等間隔標本化画像から、前記復元画像を復元することを特徴とする画像復元装置。 - コンピュータを、請求項1又は請求項2に記載の画像復元装置として機能させるための画像復元プログラム。
- 入力画像を複数に分割した部分領域毎の複雑さを示す複雑度と、前記複雑度を用いて、予め設定された空間方向又は時間方向の標本軸において前記入力画像を不等間隔で標本化した不等間隔標本化画像とが不等間隔標本化装置から入力されると共に、前記複雑度を用いて、前記不等間隔標本化画像から復元画像を復元する画像復元装置であって、
前記標本軸の方向に連続した全ての前記部分領域を通過する走査線毎に、前記複雑度から、予め設定された標本点の数だけ、前記複雑度が高い部分領域では標本点が多く、かつ、前記複雑度が低い部分領域では前記標本点が少なくなるように、前記復元画像における標本点の座標と前記不等間隔標本化画像における標本点の座標との対応関係を算出する対応関係算出手段と、
前記対応関係算出手段が算出した対応関係に基づいて、前記不等間隔標本化画像における標本点の座標に対応する画素の画素値を、前記復元画像における標本点の座標に対応する画素の画素値として、前記復元画像を復元する画像復元手段と、
を備える画像復元装置をk台直列に接続した多次元画像復元装置であって、
第1の画像復元装置は、前記不等間隔標本化画像としてk次元画像が入力されると共に、当該k次元画像を、予め設定された空間方向又は時間方向の第1標本軸で復元し、
第kの画像復元装置は、第k−1の不等間隔標本化装置によって復元された復元画像が入力されると共に、当該復元画像を、第k標本軸の方向に復元することを特徴とする多次元画像復元装置(但し、kは2以上の整数)。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2009231176A JP5410232B2 (ja) | 2009-10-05 | 2009-10-05 | 画像復元装置、そのプログラム、及び、多次元画像復元装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2009231176A JP5410232B2 (ja) | 2009-10-05 | 2009-10-05 | 画像復元装置、そのプログラム、及び、多次元画像復元装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2011081477A JP2011081477A (ja) | 2011-04-21 |
JP5410232B2 true JP5410232B2 (ja) | 2014-02-05 |
Family
ID=44075494
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2009231176A Expired - Fee Related JP5410232B2 (ja) | 2009-10-05 | 2009-10-05 | 画像復元装置、そのプログラム、及び、多次元画像復元装置 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP5410232B2 (ja) |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP5754635B2 (ja) * | 2011-08-02 | 2015-07-29 | 日本電信電話株式会社 | 画像符号化装置、画像復号装置、画像符号化方法、画像復号方法、画像符号化プログラム及び画像復号プログラム |
JP7346039B2 (ja) * | 2019-02-18 | 2023-09-19 | キヤノン株式会社 | データ処理装置、データ処理方法、及びプログラム |
CN116309058B (zh) * | 2023-03-15 | 2024-04-19 | 长沙观谱红外科技有限公司 | 一种人体红外图像的放大处理方法 |
Family Cites Families (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPS628694A (ja) * | 1985-07-04 | 1987-01-16 | Canon Inc | 圧縮情報信号記録システム |
JPS63116570A (ja) * | 1986-11-04 | 1988-05-20 | Canon Inc | 画像伝送システム |
JPH02211785A (ja) * | 1989-02-10 | 1990-08-23 | Sony Corp | 復号装置 |
-
2009
- 2009-10-05 JP JP2009231176A patent/JP5410232B2/ja not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
JP2011081477A (ja) | 2011-04-21 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US9652830B2 (en) | Method and apparatus for performing hierarchical super-resolution of an input image | |
JP5727873B2 (ja) | 動きベクトル検出装置、符号化装置、及びこれらのプログラム | |
JP6188005B2 (ja) | 濃淡画像符号化装置及び復号装置 | |
US20050094899A1 (en) | Adaptive image upscaling method and apparatus | |
JP2007067917A (ja) | 画像データ処理装置 | |
JP2011523275A (ja) | 画像解像度の向上 | |
JP4987688B2 (ja) | 画像高解像度化方法および装置 | |
WO2011111819A1 (ja) | 画像処理装置、画像処理プログラム、および、画像を生成する方法 | |
US20090129703A1 (en) | Signal processing method, apparatus, and program | |
JP2008054267A (ja) | 画像処理装置、画像符号化装置及び画像復号化装置 | |
JP2000244851A (ja) | 画像処理装置、方法及びコンピュータ読み取り可能な記憶媒体 | |
US8514932B2 (en) | Content adaptive and art directable scalable video coding | |
US8149913B2 (en) | Moving picture converting apparatus and method, and computer program | |
JP5410232B2 (ja) | 画像復元装置、そのプログラム、及び、多次元画像復元装置 | |
Qiu | Interresolution look-up table for improved spatial magnification of image | |
JP4095204B2 (ja) | 画像処理装置、方法及びコンピュータ読み取り可能な記憶媒体 | |
JP5410231B2 (ja) | 不等間隔標本化装置、そのプログラム、及び、多次元不等間隔標本化装置 | |
WO2017199149A1 (en) | A new pyramid algorithm for video compression and video analysis | |
Behnad et al. | Image interpolation with hidden Markov model | |
JP2006209396A (ja) | 画像変換方法、装置およびプログラム、並びに、サーバークライアントシステム | |
JP6059899B2 (ja) | フレーム補間装置及びプログラム | |
KR101059649B1 (ko) | 적응적 보간 필터를 이용한 부호화 장치, 그 방법 및 복호화 장치 | |
Sharma et al. | Zooming digital images using modal interpolation | |
KR101428531B1 (ko) | 움직임 벡터의 정규화 및 윤곽선의 패턴 분석을 이용한 복수 영상 기반 초해상도 영상 생성 방법 | |
JP5085589B2 (ja) | 画像処理装置および方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20120321 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20121227 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20130115 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20130304 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20131008 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20131106 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 5410232 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
LAPS | Cancellation because of no payment of annual fees |