JP5061883B2 - 画像処理装置、画像処理方法、プログラム、および学習装置 - Google Patents
画像処理装置、画像処理方法、プログラム、および学習装置 Download PDFInfo
- Publication number
- JP5061883B2 JP5061883B2 JP2007330455A JP2007330455A JP5061883B2 JP 5061883 B2 JP5061883 B2 JP 5061883B2 JP 2007330455 A JP2007330455 A JP 2007330455A JP 2007330455 A JP2007330455 A JP 2007330455A JP 5061883 B2 JP5061883 B2 JP 5061883B2
- Authority
- JP
- Japan
- Prior art keywords
- pixel
- image
- feature amount
- blur
- coefficient
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000012545 processing Methods 0.000 title claims abstract description 178
- 238000003672 processing method Methods 0.000 title claims description 7
- 238000004364 calculation method Methods 0.000 claims description 101
- 238000000605 extraction Methods 0.000 claims description 58
- 238000000034 method Methods 0.000 claims description 33
- 230000002093 peripheral effect Effects 0.000 claims description 28
- 230000008569 process Effects 0.000 claims description 27
- 239000000284 extract Substances 0.000 abstract description 15
- 239000013598 vector Substances 0.000 description 40
- 238000010586 diagram Methods 0.000 description 11
- 230000007850 degeneration Effects 0.000 description 8
- 239000011159 matrix material Substances 0.000 description 8
- 238000006243 chemical reaction Methods 0.000 description 4
- 230000006870 function Effects 0.000 description 3
- 230000005540 biological transmission Effects 0.000 description 2
- 230000015556 catabolic process Effects 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 238000006731 degradation reaction Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 239000004065 semiconductor Substances 0.000 description 2
- UNPLRYRWJLTVAE-UHFFFAOYSA-N Cloperastine hydrochloride Chemical compound Cl.C1=CC(Cl)=CC=C1C(C=1C=CC=CC=1)OCCN1CCCCC1 UNPLRYRWJLTVAE-UHFFFAOYSA-N 0.000 description 1
- 230000003044 adaptive effect Effects 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 230000006866 deterioration Effects 0.000 description 1
- 230000004069 differentiation Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000013139 quantization Methods 0.000 description 1
- 238000011946 reduction process Methods 0.000 description 1
- 230000017105 transposition Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/73—Deblurring; Sharpening
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20004—Adaptive image processing
- G06T2207/20012—Locally adaptive
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Image Processing (AREA)
- Facsimile Image Signal Circuits (AREA)
Description
p(x,y)=|X(x,y)−X(x,y+id)| ・・・・・(4)
p(x,y)=|X(x,y)−X(x+id,y+id)|・・・・・(5)
p(x,y)=|2×X(x,y)−X(x+id,y)−X(x−id,y)|
・・・・・(6)
p(x,y)=|2×X(x,y)−X(x,y+id)−X(x,y−id)|
・・・・・(7)
p(x,y)=|2×X(x,y)−X(x+id,y+id)−X(x−id,y−id)|
・・・・・(8)
Claims (8)
- 入力画像を、よりボケが軽減された出力画像に変換する画像処理装置において、
前記出力画像内の注目する画素である注目画素に対応する前記入力画像の画素とその周辺の所定の画素からなる複数の画素を抽出する第1の画素抽出手段と、
前記第1の画素抽出手段により抽出された前記複数の画素から第1の特徴量を算出する第1の特徴量算出手段と、
前記第1の特徴量と積和演算するための係数であって、学習装置により予め学習された第1の処理係数と、前記第1の特徴量との積和演算により、予測演算に用いる係数である第2の処理係数を生成する処理係数生成手段と、
前記注目画素に対応する画素とその周辺の所定の画素からなる複数の画素を前記入力画像から抽出する第2の画素抽出手段と、
前記予測演算として、前記第2の画素抽出手段により抽出された前記複数の画素と前記第2の処理係数との積和演算を行うことにより、前記注目画素の画素値を生成する予測手段と
を備え、
前記第1の特徴量算出手段は、前記第1の画素抽出手段により抽出された前記複数の画素のうち前記注目画素に対して所定画素離れた画素と、前記注目画素との画素値の差分を用いた微分特徴量か、または、前記注目画素を中心とする複数画素からなる基準ブロックの自己相関値と、前記基準ブロックから水平方向または垂直方向に所定画素ずらしたブロックの自己相関値との差分のいずれかを、前記第1の特徴量として算出し、
前記第1の処理係数は、前記学習装置により、生徒画像としての複数種類のボケ量のボケが付加されたボケ画像から前記第1の特徴量算出手段と同様に抽出した学習用特徴量と前記第1の処理係数との積和演算により前記第2の処理係数が求められ、その第2の処理係数と、前記第2の画素抽出手段と同様に前記生徒画像から抽出した複数画素との積和演算により、前記生徒画像のボケが付加されていない教師画像が生成されるとした関係式に基づく正規方程式を解くことにより求められる
画像処理装置。 - 前記注目画素に対応する前記入力画像の画素およびその周辺の所定の画素の画素値に応じて前記注目画素を所定のクラスに分類するクラス分類手段をさらに備え、
前記処理係数生成手段は、前記学習装置により前記クラス毎に学習された前記第1の処理係数のうち、前記クラス分類手段の分類結果のクラスの前記第1の処理係数を用いた前記積和演算により、前記第2の処理係数を生成する
請求項1に記載の画像処理装置。 - 前記生徒画像に複数種類のボケ量のボケを付加して、前記複数種類のボケ量のボケを除去するための複数のボケ除去係数によりそれぞれボケ除去処理することにより、複数種類のボケ除去結果画像を生成するボケ除去処理手段と、
前記第1の特徴量を用いて第2の特徴量を算出する第2の特徴量算出手段と
をさらに備え、
前記第1の特徴量算出手段は、前記複数種類のボケ除去結果画像それぞれに対して前記微分特徴量を算出し、算出された前記微分特徴量を連結した特徴量コードを前記第1の特徴量として算出し、
前記第2の特徴量算出手段は、前記特徴量コードに対応する、ぼけ具合を表すぼけパラメータを、前記第2の特徴量として算出し、
前記処理係数生成手段は、前記第1の特徴量に代えて前記第2の特徴量と、前記第1の処理係数との積和演算により、前記第2の処理係数を生成する
請求項1に記載の画像処理装置。 - 入力画像を、よりボケが軽減された出力画像に変換する画像処理方法において、
前記出力画像内の注目する画素である注目画素に対応する前記入力画像の画素とその周辺の所定の画素からなる第1周辺画素を抽出し、
抽出された前記第1周辺画素から特徴量を算出し、
前記特徴量と積和演算するための係数であって、学習装置により予め学習された第1の処理係数と、前記特徴量との積和演算により、予測演算に用いる係数である第2の処理係数を生成し、
前記注目画素に対応する画素とその周辺の所定の画素からなる第2周辺画素を前記入力画像からさらに抽出し、
前記予測演算として、抽出された前記第2周辺画素と前記第2の処理係数との積和演算を行うことにより、前記注目画素の画素値を生成する
ステップを含み、
前記特徴量の算出において、抽出された前記第1周辺画素のうち前記注目画素に対して所定画素離れた画素と、前記注目画素との画素値の差分を用いた微分特徴量か、または、前記注目画素を中心とする複数画素からなる基準ブロックの自己相関値と、前記基準ブロックから水平方向または垂直方向に所定画素ずらしたブロックの自己相関値との差分のいずれかを、前記特徴量として算出し、
前記第1の処理係数は、前記学習装置により、生徒画像としての複数種類のボケ量のボケが付加されたボケ画像から前記特徴量と同様に抽出した学習用特徴量と前記第1の処理係数との積和演算により前記第2の処理係数が求められ、その第2の処理係数と、前記第2周辺画素と同様に前記生徒画像から抽出した複数画素との積和演算により、前記生徒画像のボケが付加されていない教師画像が生成されるとした関係式に基づく正規方程式を解くことにより求められる
画像処理方法。 - 入力画像を、よりボケが軽減された出力画像に変換する画像処理を、コンピュータに実行させるプログラムであって、
前記出力画像内の注目する画素である注目画素に対応する前記入力画像の画素とその周辺の所定の画素からなる第1周辺画素を抽出し、
抽出された前記第1周辺画素から特徴量を算出し、
前記特徴量と積和演算するための係数であって、学習装置により予め学習された第1の処理係数と、前記特徴量との積和演算により、予測演算に用いる係数である第2の処理係数を生成し、
前記注目画素に対応する画素とその周辺の所定の画素からなる第2周辺画素を前記入力画像からさらに抽出し、
前記予測演算として、抽出された前記第2周辺画素と前記第2の処理係数との積和演算を行うことにより、前記注目画素の画素値を生成する
ステップを含み、
前記特徴量の算出において、抽出された前記第1周辺画素のうち前記注目画素に対して所定画素離れた画素と、前記注目画素との画素値の差分を用いた微分特徴量か、または、前記注目画素を中心とする複数画素からなる基準ブロックの自己相関値と、前記基準ブロックから水平方向または垂直方向に所定画素ずらしたブロックの自己相関値との差分のいずれかを、前記特徴量として算出し、
前記第1の処理係数は、前記学習装置により、生徒画像としての複数種類のボケ量のボケが付加されたボケ画像から前記特徴量と同様に抽出した学習用特徴量と前記第1の処理係数との積和演算により前記第2の処理係数が求められ、その第2の処理係数と、前記第2周辺画素と同様に前記生徒画像から抽出した複数画素との積和演算により、前記生徒画像のボケが付加されていない教師画像が生成されるとした関係式に基づく正規方程式を解くことにより求められる
処理をコンピュータに実行させるプログラム。 - 生徒画像としての複数種類のボケ量のボケが付加されたボケ画像から、教師画像内の注目する画素である注目画素に対応する前記生徒画像の画素とその周辺の所定の画素からなる複数の画素を抽出する第1の画素抽出手段と、
前記第1の画素抽出手段により抽出された前記複数の画素から第1の特徴量を算出する第1の特徴量算出手段と、
前記生徒画像の前記注目画素に対応する画素とその周辺の所定の画素からなる複数の画素を前記生徒画像から抽出する第2の画素抽出手段と、
前記第1の特徴量算出手段により抽出された前記第1の特徴量と第1の処理係数との積和演算により第2の処理係数が求められ、その第2の処理係数と、前記生徒画像から前記第2の画素抽出手段により抽出された複数画素との積和演算により、前記生徒画像のボケが付加されていない前記教師画像が生成されるとした関係式に基づく正規方程式を生成する正規方程式生成手段と、
前記正規方程式を解法することにより、前記第1の処理係数を生成する係数生成手段と
を備え、
前記第1の特徴量算出手段は、前記第1の画素抽出手段により抽出された前記複数の画素のうち前記注目画素に対して所定画素離れた画素と、前記注目画素との画素値の差分を用いた微分特徴量か、または、前記注目画素を中心とする複数画素からなる基準ブロックの自己相関値と、前記基準ブロックから水平方向または垂直方向に所定画素ずらしたブロックの自己相関値との差分のいずれかを、前記第1の特徴量として算出する
学習装置。 - 前記注目画素に対応する前記生徒画像の画素およびその周辺の所定の画素の画素値に応じて前記注目画素を所定のクラスに分類するクラス分類手段をさらに備え、
前記係数生成手段は、前記クラス分類手段の分類結果のクラスごとに生成された前記正規方程式を解法することにより、クラスごとに前記第1の処理係数を生成する
請求項6に記載の学習装置。 - 前記生徒画像に複数種類のボケ量のボケを付加して、前記複数種類のボケ量のボケを除去するための複数のボケ除去係数によりそれぞれボケ除去処理することにより、複数種類のボケ除去結果画像を生成するボケ除去処理手段と、
前記第1の特徴量を用いて第2の特徴量を算出する第2の特徴量算出手段と
をさらに備え、
前記第1の特徴量算出手段は、前記複数種類のボケ除去結果画像それぞれに対して前記微分特徴量を算出し、算出された前記微分特徴量を連結した特徴量コードを前記第1の特徴量として算出し、
前記第2の特徴量算出手段は、前記特徴量コードに対応する、ぼけ具合を表すぼけパラメータを、前記第2の特徴量として算出し、
前記正規方程式生成手段は、前記第1の特徴量に代えて前記第2の特徴量と、前記第1の処理係数との積和演算により前記第2の処理係数が求められるとした前記関係式に基づく正規方程式を生成する
請求項6に記載の学習装置。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2007330455A JP5061883B2 (ja) | 2007-12-21 | 2007-12-21 | 画像処理装置、画像処理方法、プログラム、および学習装置 |
US12/277,591 US8346003B2 (en) | 2007-12-21 | 2008-11-25 | Image processing for reducing blur |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2007330455A JP5061883B2 (ja) | 2007-12-21 | 2007-12-21 | 画像処理装置、画像処理方法、プログラム、および学習装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2009153005A JP2009153005A (ja) | 2009-07-09 |
JP5061883B2 true JP5061883B2 (ja) | 2012-10-31 |
Family
ID=40788725
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2007330455A Expired - Fee Related JP5061883B2 (ja) | 2007-12-21 | 2007-12-21 | 画像処理装置、画像処理方法、プログラム、および学習装置 |
Country Status (2)
Country | Link |
---|---|
US (1) | US8346003B2 (ja) |
JP (1) | JP5061883B2 (ja) |
Families Citing this family (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101669145B (zh) * | 2007-04-25 | 2012-05-30 | 日本电气株式会社 | 测量图像质量调节能力的方法、装置以及调节图像质量的方法、装置 |
JP4915341B2 (ja) * | 2007-12-20 | 2012-04-11 | ソニー株式会社 | 学習装置および方法、画像処理装置および方法、並びにプログラム |
JP4882999B2 (ja) * | 2007-12-21 | 2012-02-22 | ソニー株式会社 | 画像処理装置、画像処理方法、プログラム、および学習装置 |
JP5099429B2 (ja) * | 2007-12-21 | 2012-12-19 | ソニー株式会社 | 信号処理装置、信号処理方法、およびプログラム、並びに学習装置 |
JP2010134700A (ja) * | 2008-12-04 | 2010-06-17 | Toshiba Corp | 画像評価装置および画像評価方法 |
EP2709056B1 (en) | 2011-05-11 | 2021-02-24 | I-cubed Research Center Inc. | Image processing device, image processing method, and recording medium that has recorded program |
EP2709055B1 (en) * | 2011-05-11 | 2020-06-17 | I-cubed Research Center Inc. | Image processing apparatus, image processing method, and storage medium in which program is stored |
JP6110592B2 (ja) * | 2011-05-11 | 2017-04-05 | アイキューブド研究所株式会社 | 画像処理装置、画像処理方法、およびプログラム |
JP5961390B2 (ja) * | 2011-05-11 | 2016-08-02 | アイキューブド研究所株式会社 | ルックアップテーブル取得装置、ルックアップテーブルの生成支援方法、ルックアップテーブルの生産方法、およびプログラム |
JP2014200008A (ja) * | 2013-03-29 | 2014-10-23 | ソニー株式会社 | 画像処理装置および方法、並びにプログラム |
JP2014200000A (ja) * | 2013-03-29 | 2014-10-23 | ソニー株式会社 | 画像処理装置および方法、並びにプログラム |
CN109214411A (zh) * | 2018-07-12 | 2019-01-15 | 上海斐讯数据通信技术有限公司 | 一种基于训练模型识别典型图片对新增实体的验证方法及*** |
KR102598426B1 (ko) * | 2018-12-13 | 2023-11-06 | 현대자동차주식회사 | 합성곱 신경망법을 이용한 체결력 예측방법 |
Family Cites Families (15)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4062771B2 (ja) * | 1997-05-06 | 2008-03-19 | ソニー株式会社 | 画像変換装置および方法、並びに記録媒体 |
US6498841B2 (en) * | 1998-03-19 | 2002-12-24 | Ameritech Corporation | Method and system for providing enhanced call waiting and caller identification |
US6678405B1 (en) * | 1999-06-08 | 2004-01-13 | Sony Corporation | Data processing apparatus, data processing method, learning apparatus, learning method, and medium |
JP2001222702A (ja) * | 2000-02-07 | 2001-08-17 | Sony Corp | 画像処理装置および画像処理方法、並びに記録媒体 |
US7149262B1 (en) * | 2000-07-06 | 2006-12-12 | The Trustees Of Columbia University In The City Of New York | Method and apparatus for enhancing data resolution |
WO2002013512A1 (fr) * | 2000-08-07 | 2002-02-14 | Sony Corporation | Procede et dispositif de traitement d'image et support enregistre |
JP4670169B2 (ja) * | 2000-11-15 | 2011-04-13 | ソニー株式会社 | 情報信号処理装置、情報信号処理方法、画像信号処理装置およびそれを使用した画像表示装置、それに使用される係数種データ生成装置、並びに情報記録媒体 |
EP1396818B1 (en) * | 2001-06-15 | 2012-10-03 | Sony Corporation | Image processing apparatus and method and image pickup apparatus |
JP4238516B2 (ja) * | 2002-04-26 | 2009-03-18 | ソニー株式会社 | データ変換装置およびデータ変換方法、学習装置および学習方法、並びにプログラムおよび記録媒体 |
US7694326B2 (en) * | 2002-05-17 | 2010-04-06 | Sony Corporation | Signal processing system and method, signal processing apparatus and method, recording medium, and program |
JP4349086B2 (ja) | 2003-11-05 | 2009-10-21 | ソニー株式会社 | 情報信号の処理装置および処理方法、並びにその処理方法を実行するためのプログラム、そのプログラムを記録した媒体 |
JP4363199B2 (ja) * | 2004-01-28 | 2009-11-11 | ソニー株式会社 | 情報信号処理装置および情報信号処理方法 |
TWI294603B (en) * | 2004-10-22 | 2008-03-11 | Himax Tech Ltd | Method for luminance transit improvement |
US7587099B2 (en) * | 2006-01-27 | 2009-09-08 | Microsoft Corporation | Region-based image denoising |
JP4915341B2 (ja) * | 2007-12-20 | 2012-04-11 | ソニー株式会社 | 学習装置および方法、画像処理装置および方法、並びにプログラム |
-
2007
- 2007-12-21 JP JP2007330455A patent/JP5061883B2/ja not_active Expired - Fee Related
-
2008
- 2008-11-25 US US12/277,591 patent/US8346003B2/en not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
US8346003B2 (en) | 2013-01-01 |
JP2009153005A (ja) | 2009-07-09 |
US20090161976A1 (en) | 2009-06-25 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5061883B2 (ja) | 画像処理装置、画像処理方法、プログラム、および学習装置 | |
JP4882999B2 (ja) | 画像処理装置、画像処理方法、プログラム、および学習装置 | |
KR101298642B1 (ko) | 영상 잡음 제거 방법 및 장치 | |
JP5229575B2 (ja) | 画像処理装置および方法、並びにプログラム | |
EP3620989A1 (en) | Information processing method, information processing apparatus, and program | |
US20120321214A1 (en) | Image processing apparatus and method, program, and recording medium | |
JP2009509418A (ja) | 時間予測のための分類フィルタリング | |
JP6773707B2 (ja) | 信号処理装置、信号処理方法およびプログラム | |
JP2010102696A (ja) | 画像処理装置および係数学習装置。 | |
JP5347862B2 (ja) | 係数学習装置および方法、画像処理装置および方法、プログラム、並びに記録媒体 | |
JP3864400B2 (ja) | 画像処理装置および画像処理方法 | |
JP2014063359A (ja) | 信号処理装置および信号処理方法、出力装置および出力方法、並びにプログラム | |
JP2014146988A (ja) | 動画像符号化装置 | |
JP2013239108A (ja) | 画像処理装置および方法、学習装置および方法、並びに、プログラム | |
JP5061882B2 (ja) | 画像処理装置、画像処理方法、およびプログラム、並びに学習装置 | |
EP1557789A2 (en) | Interpolation with prestored training pairs | |
JP2011217010A (ja) | 係数学習装置および方法、画像処理装置および方法、プログラム、並びに記録媒体 | |
JPH10112844A (ja) | 画像処理装置および画像処理方法 | |
JP4337186B2 (ja) | 画像情報変換装置および画像情報変換方法、学習装置および学習方法 | |
JP2000348019A (ja) | データ処理装置およびデータ処理方法、並びに媒体 | |
JP4235918B2 (ja) | 画像処理装置および画像処理方法 | |
US8208735B2 (en) | Image processing device, image processing method, learning device, learning method, and program | |
JP2010066925A (ja) | 学習装置、画像処理装置、学習方法、画像処理方法、及びプログラム | |
JP2011217011A (ja) | 係数学習装置および方法、画像処理装置および方法、プログラム、並びに記録媒体 | |
JP2009253873A (ja) | 画像処理装置及び方法、並びにプログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20100909 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20111215 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20111227 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20120208 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20120710 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20120723 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20150817 Year of fee payment: 3 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
LAPS | Cancellation because of no payment of annual fees |