JP4780222B2 - 撮像装置、撮像方法、プログラム、及び記録媒体 - Google Patents
撮像装置、撮像方法、プログラム、及び記録媒体 Download PDFInfo
- Publication number
- JP4780222B2 JP4780222B2 JP2009142548A JP2009142548A JP4780222B2 JP 4780222 B2 JP4780222 B2 JP 4780222B2 JP 2009142548 A JP2009142548 A JP 2009142548A JP 2009142548 A JP2009142548 A JP 2009142548A JP 4780222 B2 JP4780222 B2 JP 4780222B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- resolution
- video data
- super
- data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000003384 imaging method Methods 0.000 title claims description 68
- 238000012545 processing Methods 0.000 claims description 193
- 230000033001 locomotion Effects 0.000 claims description 170
- 238000000034 method Methods 0.000 claims description 71
- 239000013598 vector Substances 0.000 claims description 55
- 230000006835 compression Effects 0.000 claims description 36
- 238000007906 compression Methods 0.000 claims description 36
- 230000006837 decompression Effects 0.000 claims description 36
- 238000003860 storage Methods 0.000 claims description 34
- 230000010363 phase shift Effects 0.000 claims description 27
- 238000012937 correction Methods 0.000 claims description 24
- 230000008569 process Effects 0.000 claims description 16
- 230000002123 temporal effect Effects 0.000 claims description 8
- 238000001514 detection method Methods 0.000 claims description 7
- 238000001454 recorded image Methods 0.000 description 45
- 230000006870 function Effects 0.000 description 39
- 239000013256 coordination polymer Substances 0.000 description 34
- 238000006243 chemical reaction Methods 0.000 description 22
- 238000004891 communication Methods 0.000 description 9
- 230000002457 bidirectional effect Effects 0.000 description 6
- 238000010586 diagram Methods 0.000 description 6
- 230000003287 optical effect Effects 0.000 description 6
- 238000003672 processing method Methods 0.000 description 6
- 230000010365 information processing Effects 0.000 description 5
- 230000004048 modification Effects 0.000 description 5
- 238000012986 modification Methods 0.000 description 5
- 239000004065 semiconductor Substances 0.000 description 5
- 238000004519 manufacturing process Methods 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 3
- 230000004044 response Effects 0.000 description 3
- 230000005540 biological transmission Effects 0.000 description 2
- 230000000295 complement effect Effects 0.000 description 2
- 238000009826 distribution Methods 0.000 description 2
- 229910044991 metal oxide Inorganic materials 0.000 description 2
- 150000004706 metal oxides Chemical class 0.000 description 2
- 230000008901 benefit Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000015556 catabolic process Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000006731 degradation reaction Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000005401 electroluminescence Methods 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
Images
Landscapes
- Image Processing (AREA)
- Editing Of Facsimile Originals (AREA)
- Studio Devices (AREA)
Description
まず、本発明の実施形態に係る画像処理装置、及び画像処理方法について説明するに先立ち、図1を参照しながら、低い空間解像度で連続する映像が記録された画像データ系列(以下、動画データ)と、その動画データに含まれる適当なフレーム(以下、低解像度記録画像(LRP;Low Resolution Picture))に対応して離散的に記録された高空間解像度の画像データ(以下、静止画データ、又は高解像度記録画像(HRP;High Resolution Picture))とを用いて、前記動画データに含まれる任意のフレームに対応する高空間解像度の画像データ(以下、生成画像(CP;Created Picture)、又は高解像度生成画像)を生成するアイデアについて簡単に説明する。図1は、高解像度画像の生成方法の一例を示す説明図である。
まず、本発明の一実施形態に係る画像処理装置100について詳細に説明する。
まず、図3を参照しながら、本実施形態に係る画像処理装置100の装置構成について説明する。図3は、本実施形態に係る画像処理装置100の装置構成の一例を示す説明図である。
カメラ信号処理ブロック110は、図3に示すように、A/D変換器112と、デジタル信号処理回路114とを含む。
動画像記録再生ブロック120は、図3に示すように、画像密度変換回路126と、動画像圧縮/伸長回路124と、記憶部122とを含む。
静止画像記録再生ブロック130は、図3に示すように、静止画像圧縮/伸長回路134と、記憶部132とを含む。但し、記憶部132は、前記の記憶部122と共通の記憶装置を用いて、その機能を実現することもできる。
図中には明示しないが、画像生成処理回路302は、動き予測部312と、動き補償部314とを含む。なお、動き予測部312は、動き予測部の一例である。また、動き補償部314は、画像生成部の一例である。
そのため、本実施形態に係る画像処理装置100は、低解像度記録画像LRPの解像度変換を超解像処理により実行する超解像処理回路306を有しているのである。そこで、超解像処理回路306等の超解像処理に係る構成要素について、より詳細に説明する。
次に、本実施形態に係る画像処理装置100による画像データの記録動作について簡単に説明する。
次に、本実施形態に係る画像処理装置100による画像データの再生動作について簡単に説明する。
ここで、再び図4を参照しながら、画像生成処理回路302の処理動作について説明する。図4は、画像生成処理回路302の処理動作を説明するための説明図である。
まず、画像処理装置100は、動き予測部312により、超解像画像SRP(t)及びSRP(t+h)を用いて動き予測を実行してSRP(t)とSRP(t+h)との間の動きベクトルMVを検出する。このように、超解像画像SRPを用いて動きベクトルを検出するため、高精度の動き予測が可能になる。尚、動き予測の方法として、例えば、ブロックマッチング法、位相相関法、又はオプティカルフロー法等を本実施形態に適用することができる。
次いで、画像処理装置100は、動き補償部314により、前記の動きベクトルMVと高解像度記録画像HRP(t)とを用いて動き補償を実行する。動き補償部314は、前記の動きベクトルMVを利用して、超解像画像SRP(t+h)の参照ブロックに対応する高解像度記録画像HRP(t)の参照ブロックを特定する。そして、動き補償部314は、その参照ブロックと前記の超解像画像SRP(t+h)の参照ブロックとを所定の比率で合成して生成画像CP(t+h)を生成する。
ここで、図6を参照しながら、本実施形態に係る画像処理方法について説明する。図6は、本実施形態に係る画像生成処理の流れを説明するための説明図である。
また、図7に示すように、高解像度記録画像HRP(t)を用いて中間的な生成画像CP’(t+h”)(t<h”<h)を生成し、更に、その中間的な生成画像CP’(t+h”)を用いて生成画像CP(t+h)を生成する逐次実行型の動き補償を組み合わせて実行することもできる。図7は、本実施形態の一変形例に係る画像生成方法を示す説明図である。このように、本実施形態は、上記の記載のみに限定されず、種々の変形が可能である。また、画像処理装置100の各構成要素が実現する機能は、例えば、以下に例示する情報処理装置を用いて所定のプログラムにより実現することも可能である。
上記の画像処理装置100が有する機能は、例えば、図8に示すハードウェア構成を有する情報処理装置によっても実現することが可能である。図8は、上記の画像処理装置100の各構成要素が有する機能を実現することが可能な情報処理装置のハードウェア構成例を示す説明図である。
102 撮像レンズ
104 撮像素子
106 画像生成タイミングコントローラ
108 表示回路
110 カメラ信号処理ブロック
112 A/D変換器
114 デジタル信号処理回路
120 動画像記録再生ブロック
122、132 記憶部
124 動画像圧縮/伸長回路
126 画像密度変換回路
130 静止画像記録再生ブロック
134 静止画像圧縮/伸長回路
302 画像生成処理回路
304 位相補正回路
306 超解像処理回路
312 動き予測部
314 動き補償部
HRP 高解像度記録画像
LRP 低解像度記録画像
SRP 超解像画像
MP 拡大スケーリング画像
CP 生成画像
Claims (13)
- 被写体を撮像して撮像データを生成する撮像部と、
前記撮像部により撮像された撮像データに所定の画像処理を施して映像データを生成する画像処理部と、
前記画像処理部により生成された映像データから、複数のフレームを含む第1映像データを圧縮処理して第1符号化データを生成するとともに、前記フレームよりも高い解像度を有する第2映像データを圧縮処理して第2符号化データを生成する圧縮部と、
前記圧縮部により生成された第1符号化データ及び第2符号化データを記憶する記憶部と、
前記記憶部に記憶された第1符号化データ及び第2符号化データを伸張処理して前記第1映像データ及び第2映像データを生成する伸張部と、
前記伸張部により生成された第1映像データに含まれる複数のフレームを利用して当該各フレームに超解像処理を施すことにより超解像画像を生成する超解像処理部と、
前記超解像処理部により生成された超解像画像間の動きベクトルを検出する動き予測部と、
前記伸張部により生成された第2映像データと前記動き予測部により検出された動きベクトルとに基づいて、前記第1映像データのフレームに対応する動き補償された画像データを生成する画像生成部と、
を備える、撮像装置。 - 前記画像生成部は、前記動きベクトルを用いて動き補償を実行する際に、前記動きベクトルの参照元に対応する前記第2映像データ、及び前記動きベクトルの参照先に対応する前記超解像画像を参照して前記画像データを生成する、請求項1に記載の撮像装置。
- 前記第1映像データに含まれる1つのフレームを利用して前記超解像処理部で生成される超解像画像と同じ解像度を有する拡大画像を生成する拡大画像生成部と、
前記1つのフレームに対応する超解像画像と前記拡大画像生成部で生成された拡大画像との間の位相ずれを検出する位相ずれ検出部と、
をさらに備える、請求項1に記載の撮像装置。 - 前記位相ずれ検出部により検出された位相ずれに基づいて、前記超解像画像の位相ずれを補正する位相ずれ補正部をさらに備える、請求項3に記載の撮像装置。
- 前記位相ずれ検出部により検出された位相ずれに基づいて、前記動き予測部による超解像画像間の動きベクトルの予測結果を補正する動きベクトル補正部をさらに備える、請求項3に記載の撮像装置。
- 前記超解像処理部は、前記第1映像データに含まれるフレームの解像度を変換せずに超解像処理を施す、請求項1に記載の撮像装置。
- 前記第1映像データは、前記第2映像データよりも時間解像度が高く、
前記第2映像データは、前記第1映像データよりも時間解像度が低い、請求項1に記載の撮像装置。 - 前記画像生成部は、前記動き補償された画像データを用いて前記第2映像データの時間解像度を向上させる、請求項1に記載の撮像装置。
- 前記第1映像データは、ダウンサンプリング処理が施されている、請求項7に記載の撮像装置。
- 前記画像生成部により生成れた画像データを用いて、前記第1映像データを復号する復号部をさらに備える、請求項1に記載の撮像装置。
- 被写体を撮像して撮像データを生成する撮像ステップと、
前記撮像ステップにて撮像された撮像データに所定の画像処理を施して映像データを生成する画像処理ステップと、
前記画像処理ステップにて生成された映像データから、複数のフレームを含む第1映像データを圧縮処理して第1符号化データを生成するとともに、前記フレームよりも高い解像度を有する第2映像データを圧縮処理して第2符号化データを生成する圧縮ステップと、
前記圧縮ステップにて生成された第1符号化データ及び第2符号化データを記憶する記憶ステップと、
前記記憶ステップにて記憶された第1符号化データ及び第2符号化データを伸張処理して前記第1映像データ及び第2映像データを生成する伸張ステップと、
前記伸張ステップにて生成された第1映像データに含まれる複数のフレームを利用して当該各フレームに超解像処理を施すことにより超解像画像を生成する超解像処理ステップと、
前記超解像処理ステップにて生成された超解像画像間の動きベクトルを検出する動き予測ステップと、
前記伸張ステップにて生成された第2映像データと前記動き予測ステップにて検出された動きベクトルとに基づいて、前記第1映像データのフレームに対応する動き補償された画像データを生成する画像生成ステップと、
を含む、撮像方法。 - 被写体を撮像して撮像データを生成する撮像機能と、
前記撮像機能により撮像された撮像データに所定の画像処理を施して映像データを生成する画像処理機能と、
前記画像処理機能により生成された映像データから、複数のフレームを含む第1映像データを圧縮処理して第1符号化データを生成するとともに、前記フレームよりも高い解像度を有する第2映像データを圧縮処理して第2符号化データを生成する圧縮機能と、
前記圧縮機能により生成された第1符号化データ及び第2符号化データを記憶する記憶機能と、
前記記憶機能により記憶された第1符号化データ及び第2符号化データを伸張処理して前記第1映像データ及び第2映像データを生成する伸張機能と、
前記伸張機能により生成された第1映像データに含まれる複数のフレームを利用して当該各フレームに超解像処理を施すことにより超解像画像を生成する超解像処理機能と、
前記超解像処理機能により生成された超解像画像間の動きベクトルを検出する動き予測機能と、
前記伸張機能により生成された第2映像データと前記動き予測機能により検出された動きベクトルとに基づいて、前記第1映像データのフレームに対応する動き補償された画像データを生成する画像生成機能と、
をコンピュータに実現させるためのプログラム。 - 被写体を撮像して撮像データを生成する撮像機能と、
前記撮像機能により撮像された撮像データに所定の画像処理を施して映像データを生成する画像処理機能と、
前記画像処理機能により生成された映像データから、複数のフレームを含む第1映像データを圧縮処理して第1符号化データを生成するとともに、前記フレームよりも高い解像度を有する第2映像データを圧縮処理して第2符号化データを生成する圧縮機能と、
前記圧縮機能により生成された第1符号化データ及び第2符号化データを記憶する記憶機能と、
前記記憶機能により記憶された第1符号化データ及び第2符号化データを伸張処理して前記第1映像データ及び第2映像データを生成する伸張機能と、
前記伸張機能により生成された第1映像データに含まれる複数のフレームを利用して当該各フレームに超解像処理を施すことにより超解像画像を生成する超解像処理機能と、
前記超解像処理機能により生成された超解像画像間の動きベクトルを検出する動き予測機能と、
前記伸張機能により生成された第2映像データと前記動き予測機能により検出された動きベクトルとに基づいて、前記第1映像データのフレームに対応する動き補償された画像データを生成する画像生成機能と、
をコンピュータに実現させるためのプログラムが記録された、コンピュータにより読み取り可能な記録媒体。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2009142548A JP4780222B2 (ja) | 2009-06-15 | 2009-06-15 | 撮像装置、撮像方法、プログラム、及び記録媒体 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2009142548A JP4780222B2 (ja) | 2009-06-15 | 2009-06-15 | 撮像装置、撮像方法、プログラム、及び記録媒体 |
Related Parent Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2007160591A Division JP4356777B2 (ja) | 2007-06-18 | 2007-06-18 | 画像処理装置、画像処理方法、プログラム、及び記録媒体 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2009207192A JP2009207192A (ja) | 2009-09-10 |
JP4780222B2 true JP4780222B2 (ja) | 2011-09-28 |
Family
ID=41148913
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2009142548A Expired - Fee Related JP4780222B2 (ja) | 2009-06-15 | 2009-06-15 | 撮像装置、撮像方法、プログラム、及び記録媒体 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP4780222B2 (ja) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2011244506A (ja) * | 2011-09-08 | 2011-12-01 | Sony Corp | 撮像装置、撮像方法、プログラム、及び記録媒体 |
JP2011244505A (ja) * | 2011-09-08 | 2011-12-01 | Sony Corp | 画像処理装置、画像処理方法、プログラム、及び記録媒体 |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103530860B (zh) * | 2013-09-26 | 2017-05-17 | 天津大学 | 基于自适应的自回归模型的高光谱图像超分辨率方法 |
CN103886559B (zh) * | 2014-04-04 | 2017-05-24 | 北京航空航天大学 | 一种光谱图像处理方法 |
CN105678698A (zh) * | 2015-12-30 | 2016-06-15 | 南京信息工程大学 | 一种非局部正则化遥感图像超分辨重建方法 |
-
2009
- 2009-06-15 JP JP2009142548A patent/JP4780222B2/ja not_active Expired - Fee Related
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2011244506A (ja) * | 2011-09-08 | 2011-12-01 | Sony Corp | 撮像装置、撮像方法、プログラム、及び記録媒体 |
JP2011244505A (ja) * | 2011-09-08 | 2011-12-01 | Sony Corp | 画像処理装置、画像処理方法、プログラム、及び記録媒体 |
Also Published As
Publication number | Publication date |
---|---|
JP2009207192A (ja) | 2009-09-10 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4356777B2 (ja) | 画像処理装置、画像処理方法、プログラム、及び記録媒体 | |
JP4877090B2 (ja) | 画像処理装置、画像処理方法、及びプログラム | |
JP4826546B2 (ja) | 画像処理装置、画像処理方法、及びプログラム | |
JP4525561B2 (ja) | 撮像装置、画像処理方法、並びにプログラム | |
US8982248B2 (en) | Image processing apparatus, imaging apparatus, image processing method, and program | |
JP4780222B2 (ja) | 撮像装置、撮像方法、プログラム、及び記録媒体 | |
JP5691374B2 (ja) | データ圧縮装置 | |
JP2008294950A (ja) | 画像処理方法、画像処理装置、及びこの画像処理装置を備えた電子機器 | |
JP4942563B2 (ja) | 画像処理方法、画像処理装置、及びこの画像処理装置を備えた電子機器 | |
JP5170296B2 (ja) | 撮像装置、撮像方法、プログラム、及び記録媒体 | |
JP5327297B2 (ja) | 撮像装置、撮像方法、プログラム、及び記録媒体 | |
JP5327296B2 (ja) | 画像処理装置、画像処理方法、プログラム、及び記録媒体 | |
JP2014131136A (ja) | 動画像圧縮装置、動画像復号装置およびプログラム | |
JP2017200199A (ja) | 動画像圧縮装置、動画像復号装置およびプログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20090713 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20090713 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20110607 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20110620 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140715 Year of fee payment: 3 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 4780222 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140715 Year of fee payment: 3 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
LAPS | Cancellation because of no payment of annual fees |