JP6840506B2 - 画像処理装置、画像処理方法、プログラム - Google Patents
画像処理装置、画像処理方法、プログラム Download PDFInfo
- Publication number
- JP6840506B2 JP6840506B2 JP2016206333A JP2016206333A JP6840506B2 JP 6840506 B2 JP6840506 B2 JP 6840506B2 JP 2016206333 A JP2016206333 A JP 2016206333A JP 2016206333 A JP2016206333 A JP 2016206333A JP 6840506 B2 JP6840506 B2 JP 6840506B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- layer
- gain
- processing
- unit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000003672 processing method Methods 0.000 title claims description 3
- 238000000034 method Methods 0.000 claims description 53
- 238000000605 extraction Methods 0.000 claims description 42
- 239000002131 composite material Substances 0.000 claims description 12
- 230000002194 synthesizing effect Effects 0.000 claims description 5
- 239000000203 mixture Substances 0.000 claims description 3
- 230000015572 biosynthetic process Effects 0.000 claims 1
- 238000003786 synthesis reaction Methods 0.000 claims 1
- 238000006243 chemical reaction Methods 0.000 description 7
- 238000010586 diagram Methods 0.000 description 7
- 239000000284 extract Substances 0.000 description 5
- 230000006870 function Effects 0.000 description 5
- 238000013507 mapping Methods 0.000 description 5
- 230000000694 effects Effects 0.000 description 2
- 238000003384 imaging method Methods 0.000 description 2
- 230000007423 decrease Effects 0.000 description 1
- 238000012886 linear function Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000005192 partition Methods 0.000 description 1
- 238000011946 reduction process Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4007—Scaling of whole images or parts thereof, e.g. expanding or contracting based on interpolation, e.g. bilinear interpolation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
- G06T3/4076—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution using the original low-resolution images to iteratively correct the high-resolution images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4015—Image demosaicing, e.g. colour filter arrays [CFA] or Bayer patterns
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/403—Edge-driven scaling; Edge-based scaling
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Image Processing (AREA)
- Editing Of Facsimile Originals (AREA)
Description
図1は、本発明に係る画像処理装置の一適用例である第1の実施形態の撮像装置100の概略構成を示す図である。
図1に示した撮像装置100は、撮像部101、CPU102、ROM103、RAM104、DMAコントローラ105、UI部106、外部I/F部107、記録部108、画像処理部110等を有して構成されている。撮像部101は、光学系や撮像素子等を有し、画像を撮像して、その撮像画像を入力画像として取得する。CPU102は、各部の制御及び各種演算を行う。ROM103は、CPU102が各部の制御や各種処理等を実行するためのプログラムや各種パラメータ等を記憶している。RAM104は、CPU102のワークエリアや、入出力される画像データや処理途中の画像データ等の一時的な蓄積等に使用される。RAM104にはDRAMも含まれる。DMAコントローラ105は、DMA(ダイレクトメモリアクセス)を行うためのコントローラである。UI部106は、ユーザインターフェイス部であり、ユーザにより操作される各種操作デバイスやディスプレイ等の表示デバイスからなる。外部I/F部107は、画像データ等の各種データやプログラム等の通信を行うためのインターフェイス部である。記録部108は、半導体メモリカードやハードディスク等の各種記録媒体を備えるか又は着脱可能となされ、画像データ等の各種データやプログラム等が記録される。画像処理部110は、撮像部101にて取得された撮像画像、外部I/F部107、記録部108などからの入力画像等に対して、各種画像処理を行う。
図1の画像処理部110において、入力画像200は、例えば撮像部101にて撮像された撮像画像から、撮像素子に起因するノイズ等が取り除かれた後の画像データであるとする。撮像部101の撮像素子は、一般にベイヤ配列と呼ばれる、赤(R),緑(G),青(B)の各色に対応して各画素が規則正しく配列されている。このため入力画像200は、ベイヤ配列の撮像素子による撮像画像に基づく画像データとなされている。また、本実施形態の場合、入力画像200のデータは、後段の処理による遅延量と合わせるために、メモリ(RAM104)に一時的に記憶された後に読み出される。なお、入力画像200は、撮像素子から出力された撮像画像データがRAM104を介さずに直接入力された画像データであってもよい。入力画像200のデータは、RAM104への一時記憶を介して、輝度変換部201と後述するゲイン乗算部209とに送られる。
図2の階層処理部207は、第1拡大部300、ラインメモリ301、領域抽出部302、第1階層加算部303、第2拡大部304、第2階層加算部306、ラインメモリ305を有して構成されている。図2では図示していないが、第1拡大部300、領域抽出部302、第1階層加算部303、第2拡大部304、第2階層加算部306の各サブモジュールは、それぞれ図1のRAM104を介してデータの入出力が行われる。すなわち、各サブモジュールからの出力データは、それぞれ、RAM104に一時的に記憶された後に読み出されて、次の(後段の)サブモジュールに入力される。RAM104へのデータの書き込みと、RAM104からのデータの読み出しは、DMAコントローラ105による制御の下で行われる。
第1の実施形態の場合、階層処理部207は、上位階層の1/1ゲイン画像203と中位階層の1/16ゲイン画像205についてはブロック分割を行い、下位階層の1/256ゲイン画像206についてはブロック分割を行わないようになされている。ここでは、ブロック分割と処理の内容を分かりやすく示すために、先ず、図3のフローチャートを参照して、上位階層と中位階層だけなく下位階層をも含む全階層が同じ分割ブロック数に分割されて処理される例について説明する。すなわち、図3のフローチャートは、全階層で同じ分割ブロック数へのブロック分割が行われて、それら分割ブロック毎に拡大処理と階層加算処理が行われる場合の処理の流れを示している。
図5(a)〜図5(c)は、第1の実施形態における画像のブロック分割処理と特定領域の抽出処理の考え方を説明するための図である。
図5(a)は前述した1/1ゲイン画像203に対するブロック分割の概要を、図5(b)は1/16ゲイン画像205に対するブロック分割の概要を、図5(c)は1/256ゲイン画像206に対する拡大処理と特定領域の抽出処理の概要を表す図である。図5(a)〜図5(c)の例では、水平方向の分割数が"5"であり、分割ブロック数x=5となされている例を挙げている。なお本実施形態では、垂直方向の分割は行われていないが、本実施形態は垂直方向に分割する場合も同様に可能である。
前述した第1の実施形態では、下位階層の1/256ゲイン画像206はブロック分割せずに画像全体を一括でRAM104から読み出して処理を行う例を示した。第2の実施形態では、1/256ゲイン画像206についてもブロック分割し、分割ブロック単位で必要な領域のみを読み出す例について説明する。なお、第2の実施形態の撮像装置は前述の図1の撮像装置100と同じ構成であり、また、画像処理部110の階層処理部207も前述の図2と同じ構成であるため、それらの図示と説明は省略する。第2の実施形態の場合、第1拡大部300は1/256ゲイン画像206をブロック分割し、分割ブロック毎に16倍の拡大処理を行う。
本発明は、上述の実施形態の1以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける1つ以上のプロセッサがプログラムを読出し実行する処理でも実現可能である。また、1以上の機能を実現する回路(例えば、ASIC)によっても実現可能である。
Claims (5)
- 第1の階層の画像から、前記第1の階層の画像を縮小した第2の階層の画像、および、前記第2の階層の画像を縮小した第3の階層の画像を生成する生成手段と、
前記第3の階層の画像のうちの、第1の領域の画像を拡大し、拡大された前記第1の領域の画像から、当該拡大された前記第1の領域の画像の一部である第2の領域の画像を抽出する抽出手段と、
前記抽出された第2の領域の画像と、前記第2の階層の画像に含まれる前記第2の領域に対応する領域の画像を合成して、第1の合成画像を生成する第1の合成手段と、
前記第1の合成画像を拡大し、拡大された前記第1の合成画像と、前記第1の階層の画像に含まれる前記第2の領域に対応する画像を合成して、第2の合成画像を生成する第2の合成手段と、を有し、
前記第1の階層の画像と前記第2の階層の画像は、同じ数のブロックに分割されており、
前記第2の領域は、前記ブロックの1つに対応する領域であることを特徴とする画像処理装置。 - 前記第1の領域は、前記第3の階層の画像の全体の領域であることを特徴とする請求項1に記載の画像処理装置。
- 前記第3の階層の画像に含まれる前記第2の領域に対応する画像のサイズは、小数値を含む画素数で表され、
前記第1の領域に対応する画像のサイズは、整数の画素数で表されることを特徴とする請求項1または2に記載の画像処理装置。 - 第1の階層の画像から、前記第1の階層の画像を縮小した第2の階層の画像、および、前記第2の階層の画像を縮小した第3の階層の画像を生成する生成工程と、
前記第3の階層の画像のうちの、第1の領域の画像を拡大し、拡大された前記第1の領域の画像から、当該拡大された前記第1の領域の画像の一部である第2の領域の画像を抽出する抽出工程と、
前記抽出された第2の領域の画像と、前記第2の階層の画像に含まれる前記第2の領域に対応する領域の画像を合成して、第1の合成画像を生成する第1の合成工程と、
前記第1の合成画像を拡大し、拡大された前記第1の合成画像と、前記第1の階層の画像に含まれる前記第2の領域に対応する画像を合成して、第2の合成画像を生成する第2の合成工程と、を有し、
前記第1の階層の画像と前記第2の階層の画像は、同じ数のブロックに分割されており、
前記第2の領域は、前記ブロックの1つに対応する領域であることを特徴とする画像処理方法。 - コンピュータを、請求項1乃至3の何れか1項に記載の画像処理装置の各手段として機能させるためのプログラム。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2016206333A JP6840506B2 (ja) | 2016-10-20 | 2016-10-20 | 画像処理装置、画像処理方法、プログラム |
US15/787,138 US10475159B2 (en) | 2016-10-20 | 2017-10-18 | Image processing apparatus, image processing method, and storage medium storing program to scale image having hierarchical layer |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2016206333A JP6840506B2 (ja) | 2016-10-20 | 2016-10-20 | 画像処理装置、画像処理方法、プログラム |
Publications (3)
Publication Number | Publication Date |
---|---|
JP2018067849A JP2018067849A (ja) | 2018-04-26 |
JP2018067849A5 JP2018067849A5 (ja) | 2019-11-28 |
JP6840506B2 true JP6840506B2 (ja) | 2021-03-10 |
Family
ID=61969739
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2016206333A Active JP6840506B2 (ja) | 2016-10-20 | 2016-10-20 | 画像処理装置、画像処理方法、プログラム |
Country Status (2)
Country | Link |
---|---|
US (1) | US10475159B2 (ja) |
JP (1) | JP6840506B2 (ja) |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2018225133A1 (ja) * | 2017-06-05 | 2018-12-13 | 楽天株式会社 | 画像処理装置、画像処理方法、および画像処理プログラム |
JP6869841B2 (ja) * | 2017-07-20 | 2021-05-12 | キヤノン株式会社 | 画像処理装置、画像処理装置の制御方法、およびプログラム |
CN112258396B (zh) * | 2020-12-17 | 2021-04-06 | 恒银金融科技股份有限公司 | 一种用于字符图像缩放的方法 |
Family Cites Families (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP3549720B2 (ja) * | 1998-01-28 | 2004-08-04 | シャープ株式会社 | 画像処理装置 |
BR112012009893B1 (pt) * | 2009-10-26 | 2021-02-02 | Sony Computer Entertainment Inc. | dispositivos e métodos de geração de arquivo de imagem e de processamento de imagem, mídia de gravação não transitória legível por computador, e, estrutura de dados de um arquivo de imagem |
JP5419822B2 (ja) * | 2010-07-23 | 2014-02-19 | 株式会社ソニー・コンピュータエンタテインメント | 画像処理装置、画像表示装置、画像処理方法、および画像ファイルのデータ構造 |
EP2618565A4 (en) * | 2010-09-13 | 2014-04-16 | Sony Computer Entertainment Inc | Image processing apparatus, image processing method, data structure for video files, data compression apparatus, data decoding apparatus, data compression method, data decoding method, and data structure for compressed video files |
JP5703769B2 (ja) | 2011-01-19 | 2015-04-22 | ソニー株式会社 | 画像変換装置、画像変換方法、プログラム、および電子機器 |
JP5792607B2 (ja) * | 2011-12-09 | 2015-10-14 | 株式会社ソニー・コンピュータエンタテインメント | 画像処理装置および画像処理方法 |
US8675999B1 (en) * | 2012-09-28 | 2014-03-18 | Hong Kong Applied Science And Technology Research Institute Co., Ltd. | Apparatus, system, and method for multi-patch based super-resolution from an image |
US9984440B2 (en) * | 2013-06-18 | 2018-05-29 | Adobe Systems Incorporated | Iterative patch-based image upscaling |
-
2016
- 2016-10-20 JP JP2016206333A patent/JP6840506B2/ja active Active
-
2017
- 2017-10-18 US US15/787,138 patent/US10475159B2/en active Active
Also Published As
Publication number | Publication date |
---|---|
US20180114292A1 (en) | 2018-04-26 |
JP2018067849A (ja) | 2018-04-26 |
US10475159B2 (en) | 2019-11-12 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6706985B2 (ja) | 画像処理装置およびその制御方法 | |
US8861846B2 (en) | Image processing apparatus, image processing method, and program for performing superimposition on raw image or full color image | |
JP4063306B1 (ja) | 画像処理装置、画像処理方法、及びプログラム | |
JP6840506B2 (ja) | 画像処理装置、画像処理方法、プログラム | |
US9462189B2 (en) | Piecewise perspective transform engine | |
JP2009159171A (ja) | 画像高解像度化方法および装置 | |
US9311691B2 (en) | Method and device for processing a super-resolution image | |
US8902474B2 (en) | Image processing apparatus, control method of the same, and program | |
EP2421239A2 (en) | Image processing apparatus and method for applying film grain effects | |
JP2017045273A (ja) | 画像処理装置、画像処理方法、及びプログラム | |
JP5337250B2 (ja) | 画像処理装置及びその方法 | |
KR102470242B1 (ko) | 영상 처리 장치, 영상 처리 방법, 및 프로그램 | |
JP7183015B2 (ja) | 画像処理装置、画像処理方法、及びプログラム | |
JP4212430B2 (ja) | 多重画像作成装置、多重画像作成方法、多重画像作成プログラム及びプログラム記録媒体 | |
JP4265363B2 (ja) | 画像処理装置 | |
JP5836789B2 (ja) | 画像処理装置およびその制御方法、およびプログラム | |
JP2020057242A (ja) | 画像処理装置、画像処理方法、及びプログラム | |
JP4904013B2 (ja) | 画像生成プログラムおよび画像生成装置 | |
JP5414384B2 (ja) | 画像処理装置、画像処理方法およびプログラム | |
JP4087010B2 (ja) | 画像処理装置 | |
JP2009205610A (ja) | 画像分類装置、画像分類方法、画像分類プログラム及び記憶媒体 | |
JP2006303693A (ja) | 縮小画像の生成機能を備える電子カメラ | |
JP2005123812A (ja) | 画像処理装置 | |
JP4316476B2 (ja) | 画像処理装置、画像形成装置 | |
JP6465669B2 (ja) | 画像処理装置および画像処理方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20191015 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20191015 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20200807 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20200818 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20200930 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20210119 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20210217 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 6840506 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |