JP5947092B2 - 画像処理方法、画像処理装置、集積回路およびプログラム - Google Patents
画像処理方法、画像処理装置、集積回路およびプログラム Download PDFInfo
- Publication number
- JP5947092B2 JP5947092B2 JP2012095948A JP2012095948A JP5947092B2 JP 5947092 B2 JP5947092 B2 JP 5947092B2 JP 2012095948 A JP2012095948 A JP 2012095948A JP 2012095948 A JP2012095948 A JP 2012095948A JP 5947092 B2 JP5947092 B2 JP 5947092B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- block
- similar
- shape
- use area
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000003672 processing method Methods 0.000 title claims description 49
- 238000000034 method Methods 0.000 claims description 47
- 230000008569 process Effects 0.000 claims description 30
- 239000002131 composite material Substances 0.000 claims description 27
- 238000006243 chemical reaction Methods 0.000 claims description 26
- 238000000605 extraction Methods 0.000 claims description 9
- 238000010586 diagram Methods 0.000 description 33
- 238000004364 calculation method Methods 0.000 description 32
- 239000013598 vector Substances 0.000 description 20
- 230000000694 effects Effects 0.000 description 14
- 239000000284 extract Substances 0.000 description 11
- 238000013075 data extraction Methods 0.000 description 7
- 238000005516 engineering process Methods 0.000 description 6
- 239000000470 constituent Substances 0.000 description 5
- 230000015572 biosynthetic process Effects 0.000 description 4
- 230000006870 function Effects 0.000 description 4
- 230000010354 integration Effects 0.000 description 4
- 230000003287 optical effect Effects 0.000 description 4
- 238000003786 synthesis reaction Methods 0.000 description 4
- 230000002194 synthesizing effect Effects 0.000 description 4
- 239000011159 matrix material Substances 0.000 description 3
- 230000009467 reduction Effects 0.000 description 3
- 230000005540 biological transmission Effects 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 238000004590 computer program Methods 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 230000005484 gravity Effects 0.000 description 2
- 238000012880 independent component analysis Methods 0.000 description 2
- 239000004065 semiconductor Substances 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 230000006866 deterioration Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000000513 principal component analysis Methods 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/403—Edge-driven scaling; Edge-based scaling
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
- G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
- G06F16/583—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
- G06F16/5862—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using texture
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20021—Dividing image into blocks, subimages or windows
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20172—Image enhancement details
- G06T2207/20192—Edge enhancement; Edge preservation
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Library & Information Science (AREA)
- Data Mining & Analysis (AREA)
- Databases & Information Systems (AREA)
- General Engineering & Computer Science (AREA)
- Image Processing (AREA)
- Editing Of Facsimile Originals (AREA)
- Picture Signal Circuits (AREA)
Description
本発明者は、上記特許文献1の画像処理方法に関して、学習方式の画像処理装置の一例をあげ、その一例に対して問題が生じることを見出した。
図3は、本発明の実施の形態1に係る画像処理装置100の構成を示すブロック図である。この画像処理装置100は、入力画像を適切に高解像度化する装置であって、外部から受信する入力画像101を用いて、その入力画像101より解像度が高い出力画像102を生成する。入力画像101は、動画像および静止画像のいずれであってもよい。
エッジ方向131=90°
(F4−F5)<−Thの時、
エッジ方向131=0° ・・・(式2)
−Th≦(F4−F5)≦Thの時、
エッジ方向131=不定値
次に、本発明の実施の形態2に係る画像処理装置について説明する。
さらに、前記各実施の形態で示した画像処理方法を実現するためのプログラムを、フレキシブルディスク等の記録媒体に記録するようにすることにより、前記各実施の形態で示した処理を、独立したコンピュータシステムにおいて簡単に実施することが可能となる。
図16は、本発明の実施の形態4における、上記各実施の形態の画像処理装置および画像処理方法を用いたテレビジョン受像機800の構成を示す図である。
100,600,500,900 画像処理装置
101 入力画像
102,602 出力画像
110,610 学習データベース
120,605 画像拡大部
121,606 仮拡大画像
122 使用領域
130 エッジ方向算出部
131 エッジ方向
140 領域算出部
141 領域座標情報
150 特徴データ抽出部
151 領域特徴データ
160,630 学習データ検索部
170 合成部
171 合成画像
180,680 加算部
620 探索ベクトル生成部
621 探索ベクトル
631 高周波成分データ
800 テレビジョン受像機
Claims (13)
- 入力画像を用いて、前記入力画像より解像度が高い出力画像を生成する画像処理方法であって、
前記入力画像に含まれるエッジに沿った方向であるエッジ方向を特定する方向特定ステップと、
前記エッジの少なくとも一部を含む領域である使用領域の形状を、特定された前記エッジ方向に応じて決定する領域決定ステップと、
決定された形状の前記使用領域内の画像に類似する類似画像を検索する画像検索ステップと、
前記入力画像に高周波成分が含まれるように、前記入力画像に対して前記類似画像を用いた解像度変換処理を行うことによって、前記出力画像を生成する画像生成ステップとを含み、
前記領域決定ステップでは、
特定された前記エッジ方向に垂直な方向の前記使用領域の幅である第1の幅が、前記エッジ方向の前記使用領域の幅である第2の幅よりも長い形状を、前記使用領域の形状として決定する
画像処理方法。 - 前記方向特定ステップでは、
前記入力画像を構成するブロックごとに、当該ブロック内のエッジに対するエッジ方向を特定し、
前記領域決定ステップでは、
前記ブロックごとに、当該ブロックに対して特定され前記エッジ方向に応じて、当該ブロックに対する使用領域の形状を決定し、
前記画像検索ステップでは、
前記ブロックごとに、当該ブロックに対して決定された形状の前記使用領域内の画像に類似する類似画像を検索し、
前記画像生成ステップでは、
前記ブロックごとに、当該ブロックに対して検索された前記類似画像を用いた解像度変換処理を当該ブロックに対して行うことによって、前記出力画像を生成する
請求項1に記載の画像処理方法。 - 前記領域決定ステップでは、
前記ブロックごとに、当該ブロックに対して特定された前記エッジ方向に垂直な方向の当該ブロックの幅よりも前記第1の幅が長く、且つ、当該ブロックに対して特定された前記エッジ方向の当該ブロックの幅よりも前記第2の幅が短い形状を、当該ブロックに対する前記使用領域の形状として決定する
請求項2に記載の画像処理方法。 - 前記領域決定ステップでは、
前記ブロックに対応する前記使用領域に含まれる画素の数が、当該ブロックに含まれる画素の数と等しくなるように、または、当該ブロックに含まれる画素の数よりも少なくなるように、前記使用領域の形状を決定する
請求項3に記載の画像処理方法。 - 前記画像検索ステップでは、
複数の検索用画像と、前記複数の検索用画像のそれぞれに関連付けられた、検索用画像よりも高周波成分を多く含む適用画像とを保持するデータベースを用い、
前記データベースに保持される前記複数の検索用画像から、処理対象のブロックに対して決定された形状の前記使用領域内の画像に類似する画像を有する検索用画像を、前記類似画像として検索し、
前記画像生成ステップでは、
検索された前記類似画像を用い、前記データベースにおいて当該類似画像に関連付けられた適用画像を選択し、選択された前記適用画像を前記処理対象のブロックに加算することによって、前記処理対象のブロックに対して前記解像度変換処理を行う
請求項2〜4の何れか1項に記載の画像処理方法。 - 前記画像検索ステップでは、
処理対象のブロックに対して決定された形状の前記使用領域内の画像に類似する画像を有する複数の検索用画像を、前記データベースから、複数の類似画像として検索し、
前記画像生成ステップでは、
検索された前記複数の類似画像を用い、前記データベースにおいて前記複数の類似画像のそれぞれに関連付けられた適用画像を選択し、選択された複数の適用画像を合成することによって合成画像を生成し、前記合成画像を前記処理対象のブロックに加算することによって、前記処理対象のブロックに対して前記解像度変換処理を行う
請求項5に記載の画像処理方法。 - 前記データベースには、前記ブロックよりも大きいサイズの適用画像が、前記複数の検索用画像のそれぞれに関連付けられて保持され、
前記画像生成ステップでは、
前記処理対象のブロックよりも大きいサイズの前記合成画像の中心が、前記処理対象のブロックの中心に一致するように、前記合成画像を、前記処理対象のブロックと、前記処理対象のブロックの周辺にある少なくとも1つのブロックの一部分とに加算する
請求項6に記載の画像処理方法。 - 前記画像処理方法は、さらに、
前記入力画像を拡大する拡大ステップを含み、
前記方向特定ステップ、前記領域決定ステップ、前記画像検索ステップ、および前記画像生成ステップでは、
拡大された前記入力画像を構成するブロックごとに、当該ブロックに対する処理を実行する
請求項5〜7の何れか1項に記載の画像処理方法。 - 前記画像処理方法は、さらに、
拡大された前記入力画像を構成するブロックごとに、低周波成分を除く周波数成分を中周波成分として当該ブロックから抽出する抽出ステップを含み、
前記画像検索ステップでは、
前記ブロックごとに、当該ブロックに対して決定された形状の前記使用領域内の中周波成分の画像に類似する画像を有する検索用画像を、前記類似画像として検索する
請求項8に記載の画像処理方法。 - 前記画像検索ステップでは、
ピクチャとして構成される前記入力画像を含む動画像のうちの、前記入力画像以外の他のピクチャと、決定された形状の前記使用領域内の画像との位置合わせを行うことによって、処理対象のブロックに対する前記類似画像を検索し、
前記画像生成ステップでは、
検索された前記類似画像を用い、前記他のピクチャ内において前記類似画像の少なくも一部を含む参照ブロックを取得し、前記処理対象のブロックの画素を、前記参照ブロック
の画素を用いて補間することによって、前記処理対象のブロックに対して前記解像度変換処理を行う
請求項2〜4の何れか1項に記載の画像処理方法。 - 入力画像を用いて、前記入力画像より解像度が高い出力画像を生成する画像処理装置であって、
前記入力画像に含まれるエッジに沿った方向であるエッジ方向を特定する方向特定部と、
前記エッジの少なくとも一部を含む領域である使用領域の形状を、特定された前記エッジ方向に応じて決定する領域決定部と、
決定された形状の前記使用領域内の画像に類似する類似画像を検索する画像検索部と、
前記入力画像に高周波成分が含まれるように、前記入力画像に対して前記類似画像を用いた解像度変換処理を行うことによって、前記出力画像を生成する画像生成部とを備え、
前記領域決定部は、
特定された前記エッジ方向に垂直な方向の前記使用領域の幅である第1の幅が、前記エッジ方向の前記使用領域の幅である第2の幅よりも長い形状を、前記使用領域の形状として決定する
画像処理装置。 - 入力画像を用いて、前記入力画像より解像度が高い出力画像を生成する集積回路であって、
前記入力画像に含まれるエッジに沿った方向であるエッジ方向を特定する方向特定部と、
前記エッジの少なくとも一部を含む領域である使用領域の形状を、特定された前記エッジ方向に応じて決定する領域決定部と、
決定された形状の前記使用領域内の画像に類似する類似画像を検索する画像検索部と、
前記入力画像に高周波成分が含まれるように、前記入力画像に対して前記類似画像を用いた解像度変換処理を行うことによって、前記出力画像を生成する画像生成部とを備え、
前記領域決定部は、
特定された前記エッジ方向に垂直な方向の前記使用領域の幅である第1の幅が、前記エッジ方向の前記使用領域の幅である第2の幅よりも長い形状を、前記使用領域の形状として決定する
集積回路。 - 入力画像を用いて、前記入力画像より解像度が高い出力画像を生成するためのプログラムであって、
前記入力画像に含まれるエッジに沿った方向であるエッジ方向を特定する方向特定ステップと、
前記エッジの少なくとも一部を含む領域である使用領域の形状を、特定された前記エッジ方向に応じて決定する領域決定ステップと、
決定された形状の前記使用領域内の画像に類似する類似画像を検索する画像検索ステップと、
前記入力画像に高周波成分が含まれるように、前記入力画像に対して前記類似画像を用いた解像度変換処理を行うことによって、前記出力画像を生成する画像生成ステップとをコンピュータに実行させ、
前記領域決定ステップでは、
特定された前記エッジ方向に垂直な方向の前記使用領域の幅である第1の幅が、前記エッジ方向の前記使用領域の幅である第2の幅よりも長い形状を、前記使用領域の形状として決定する
プログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2012095948A JP5947092B2 (ja) | 2011-04-20 | 2012-04-19 | 画像処理方法、画像処理装置、集積回路およびプログラム |
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2011094465 | 2011-04-20 | ||
JP2011094465 | 2011-04-20 | ||
JP2012095948A JP5947092B2 (ja) | 2011-04-20 | 2012-04-19 | 画像処理方法、画像処理装置、集積回路およびプログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2012234532A JP2012234532A (ja) | 2012-11-29 |
JP5947092B2 true JP5947092B2 (ja) | 2016-07-06 |
Family
ID=47021392
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2012095948A Expired - Fee Related JP5947092B2 (ja) | 2011-04-20 | 2012-04-19 | 画像処理方法、画像処理装置、集積回路およびプログラム |
Country Status (2)
Country | Link |
---|---|
US (1) | US9020273B2 (ja) |
JP (1) | JP5947092B2 (ja) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US11133251B1 (en) | 2020-03-16 | 2021-09-28 | Nanya Technology Corporation | Semiconductor assembly having T-shaped interconnection and method of manufacturing the same |
Families Citing this family (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2012230549A (ja) * | 2011-04-26 | 2012-11-22 | Sony Corp | 画像処理装置、画像処理方法、およびプログラム |
JP2014123173A (ja) * | 2012-12-20 | 2014-07-03 | Sony Corp | 画像処理装置、撮像装置及び画像処理方法 |
CN103810675B (zh) * | 2013-09-09 | 2016-09-21 | 深圳市华星光电技术有限公司 | 图像超分辨率重构***及方法 |
JP6361195B2 (ja) * | 2014-03-17 | 2018-07-25 | 株式会社リコー | 画像処理装置、画像処理方法、画像処理プログラム及び記録媒体 |
US9799102B2 (en) * | 2015-12-02 | 2017-10-24 | Adobe Systems Incorporated | Smoothing images using machine learning |
US10402696B2 (en) * | 2016-01-04 | 2019-09-03 | Texas Instruments Incorporated | Scene obstruction detection using high pass filters |
JP6981760B2 (ja) * | 2017-03-10 | 2021-12-17 | 株式会社半導体エネルギー研究所 | 半導体装置 |
US11893482B2 (en) * | 2019-11-14 | 2024-02-06 | Microsoft Technology Licensing, Llc | Image restoration for through-display imaging |
Family Cites Families (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6766067B2 (en) | 2001-04-20 | 2004-07-20 | Mitsubishi Electric Research Laboratories, Inc. | One-pass super-resolution images |
US7327904B2 (en) * | 2004-12-15 | 2008-02-05 | Arcsoft, Inc. | Pattern classification and filter design for increasing image resolution |
US7715658B2 (en) * | 2005-08-03 | 2010-05-11 | Samsung Electronics Co., Ltd. | Apparatus and method for super-resolution enhancement processing |
WO2007027893A2 (en) * | 2005-08-30 | 2007-03-08 | The Regents Of The University Of California, Santa Cruz | Kernel regression for image processing and reconstruction |
US7729531B2 (en) * | 2006-09-19 | 2010-06-01 | Microsoft Corporation | Identifying repeated-structure elements in images |
US7831098B2 (en) * | 2006-11-07 | 2010-11-09 | Recognition Robotics | System and method for visual searching of objects using lines |
CN102325257A (zh) * | 2007-07-20 | 2012-01-18 | 富士胶片株式会社 | 图像处理设备和图像处理方法 |
JP2009064193A (ja) * | 2007-09-05 | 2009-03-26 | Toshiba Corp | 解像度変換装置及び方法 |
US8081842B2 (en) * | 2007-09-07 | 2011-12-20 | Microsoft Corporation | Image resizing for web-based image search |
US8233734B2 (en) * | 2008-09-22 | 2012-07-31 | Microsoft Corporation | Image upsampling with training images |
TW201131511A (en) * | 2010-03-10 | 2011-09-16 | Chunghwa Picture Tubes Ltd | Super-resolution method for video display |
-
2012
- 2012-04-18 US US13/449,349 patent/US9020273B2/en active Active
- 2012-04-19 JP JP2012095948A patent/JP5947092B2/ja not_active Expired - Fee Related
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US11133251B1 (en) | 2020-03-16 | 2021-09-28 | Nanya Technology Corporation | Semiconductor assembly having T-shaped interconnection and method of manufacturing the same |
TWI763292B (zh) * | 2020-03-16 | 2022-05-01 | 南亞科技股份有限公司 | 半導體組裝結構的製備方法 |
Also Published As
Publication number | Publication date |
---|---|
JP2012234532A (ja) | 2012-11-29 |
US20120269445A1 (en) | 2012-10-25 |
US9020273B2 (en) | 2015-04-28 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5947092B2 (ja) | 画像処理方法、画像処理装置、集積回路およびプログラム | |
JP5743615B2 (ja) | 画像処理方法、画像処理装置、集積回路およびプログラム | |
US8989519B2 (en) | Super resolution from a single signal | |
JP4157568B2 (ja) | 画像の高解像度化方法及び装置 | |
JP4166781B2 (ja) | 動きベクトル検出装置および動きベクトル検出方法 | |
US7876477B2 (en) | Image reading method and image expansion method | |
US8861846B2 (en) | Image processing apparatus, image processing method, and program for performing superimposition on raw image or full color image | |
JP4982471B2 (ja) | 信号処理方法、装置およびプログラム | |
JP2013031163A (ja) | 超解像処理装置及び超解像処理方法 | |
JP5238220B2 (ja) | 解像度変換装置、方法およびプログラム | |
US20070247529A1 (en) | Image processing method and image processing device | |
JP2010045816A (ja) | ビデオ符号化における中間画素高精度高速探索を実現する装置及び方法 | |
US8615036B2 (en) | Generating interpolated frame of video signal with enhancement filter | |
US8948502B2 (en) | Image processing method, and image processor | |
JP2008091979A (ja) | 画像高画質化装置、及びその方法、並びに画像表示装置 | |
JP4874175B2 (ja) | 画像拡大方法、画像拡大装置、集積回路、およびプログラム | |
JP5562812B2 (ja) | 送受切替回路、無線装置および送受切替方法 | |
JP2009116763A (ja) | 画像処理装置および画像データのメモリアクセス方法 | |
JP4998134B2 (ja) | 画像処理装置および画像処理方法 | |
JP2013126123A (ja) | 画像処理装置、撮像装置及び画像処理方法 | |
JP5146575B2 (ja) | 画像処理装置及びプログラム | |
JP4803224B2 (ja) | 画像処理装置、画像処理システム、撮像装置および画像処理方法 | |
KR100987584B1 (ko) | 고해상도 동영상의 효율적 저장을 위한 동영상 변경 시스템및 방법 | |
JP2000102015A (ja) | 動きベクトル検出装置及び動きベクトル検出方法 | |
JP4908559B2 (ja) | 高解像度化装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A711 | Notification of change in applicant |
Free format text: JAPANESE INTERMEDIATE CODE: A711 Effective date: 20140606 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20150114 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20151005 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20151013 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20151216 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20160510 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20160602 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 5947092 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
LAPS | Cancellation because of no payment of annual fees |