JP2005352720A - 撮像装置および画像の高解像度化方法 - Google Patents
撮像装置および画像の高解像度化方法 Download PDFInfo
- Publication number
- JP2005352720A JP2005352720A JP2004172093A JP2004172093A JP2005352720A JP 2005352720 A JP2005352720 A JP 2005352720A JP 2004172093 A JP2004172093 A JP 2004172093A JP 2004172093 A JP2004172093 A JP 2004172093A JP 2005352720 A JP2005352720 A JP 2005352720A
- Authority
- JP
- Japan
- Prior art keywords
- image
- resolution
- frames
- estimation
- unit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 51
- 238000003384 imaging method Methods 0.000 title claims abstract description 20
- 238000012545 processing Methods 0.000 claims abstract description 134
- 230000003287 optical effect Effects 0.000 claims abstract description 20
- 238000006073 displacement reaction Methods 0.000 claims description 38
- 230000002194 synthesizing effect Effects 0.000 claims description 7
- 239000000284 extract Substances 0.000 claims 1
- 230000033001 locomotion Effects 0.000 abstract description 63
- 238000000926 separation method Methods 0.000 abstract description 22
- 238000004364 calculation method Methods 0.000 description 56
- 238000010586 diagram Methods 0.000 description 22
- 230000006870 function Effects 0.000 description 8
- 230000015572 biosynthetic process Effects 0.000 description 6
- 238000003786 synthesis reaction Methods 0.000 description 6
- 230000010354 integration Effects 0.000 description 5
- 238000009825 accumulation Methods 0.000 description 4
- 238000011156 evaluation Methods 0.000 description 4
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 238000012634 optical imaging Methods 0.000 description 3
- 239000002131 composite material Substances 0.000 description 2
- 239000000203 mixture Substances 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 230000001186 cumulative effect Effects 0.000 description 1
- 230000006866 deterioration Effects 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 238000002945 steepest descent method Methods 0.000 description 1
- 238000012916 structural analysis Methods 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
- G06T3/4061—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution by injecting details from different spectral ranges
Landscapes
- Physics & Mathematics (AREA)
- Spectroscopy & Molecular Physics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Image Processing (AREA)
- Editing Of Facsimile Originals (AREA)
- Studio Circuits (AREA)
- Studio Devices (AREA)
- Television Systems (AREA)
Abstract
【解決手段】 光学系101はイメージャ102に光学像を結像し、画像を空間的に離散化してサンプリングした画像信号に変換してから帯域分離処理部105で高周波成分と低周波成分に分離する。超解像目的フレーム選択部106では、分離された低周波成分画像のうち、超解像処理を行うフレームを選択して補間拡大処理部109に伝送する。超解像処理は、モーションの推定部107と、高解像度の画素配列の画像データを推定する高解像度画像推定部108により行う。高解像画像演算領域判定部112では、画像中の高解像度画像推定演算を行う領域を判定し、高解像度画像推定演算部108の出力は合成演算処理部110に送られる。
【選択図】 図1
Description
114・・・処理領域決定部、1051・・・ローパスフィルタ、1052・・・バイアス加算処理部、1053・・・差分演算処理部
Claims (12)
- 被写体の像を電子的に得る撮像装置において、
被写体の像を結像させる光学的結像手段と、光学的に結像した画像を空間的に離散化してサンプリングした画像信号に変換する手段と、サンプリングされた画像信号を空間周波数によって複数の成分の画像信号に分離する手段と、空間周波数によって分離された低周波成分画像を補間拡大処理を行う手段と、各フレーム間の被写体の相対的な変位量を推定する手段と、複数フレームの中から高解像画像推定処理を行うフレームを選択する手段と、複数フレームの画像信号からそれぞれ分離された高周波成分画像から高解像度な画像を推定する高解像画像推定手段と、補間拡大した画像と高解像化画像推定処理をした画像を合成する手段とを有することを特徴とする撮像装置。 - 前記サンプリングされた画像信号が、前記各フレーム間の被写体の相対的な変位量を推定する手段に入力されることを特徴とする、請求項1に記載の撮像装置。
- 前記各フレーム間の被写体の相対的な変位量を推定する手段は、前記複数の成分の画像信号に分離された少なくとも1つの成分の画像信号を用いて各フレーム間の被写体の相対的な変位量を推定することを特徴とする、請求項1に記載の撮像装置。
- 被写体の像を電子的に得る撮像装置において、
被写体の像を結像させる光学的結像手段と、光学的に結像した画像を空間的に離散化してサンプリングした画像信号に変換する手段と、サンプリングされた画像信号を空間周波数によって複数の成分の画像信号に分離する手段と、各フレーム間の被写体の相対的な変位量を推定する手段と、画像信号を一時記憶させておく画像記憶手段と、複数フレームの中から高解像画像推定処理を行うフレームを選択する手段と、複数フレームの画像信号から高解像度な画像を推定する高解像画像推定手段と、前記空間周波数によって分離された複数の成分の画像信号のうち少なくとも1つの画像信号を参照し、画像の情報を判別する画像情報判別手段と、前記画像情報判別手段により判別された画像の情報を用いて画像中の領域を設定する手段とを備え、前記高解像画像推定手段は、前記画像中の領域の情報を用いて高解像画像を推定することを特徴とする撮像装置。 - 前記画像情報判別手段は、画像の高周波成分を抽出する手段であることを特徴とする、請求項4に記載の撮像装置。
- 前記画像情報判別手段は、前記空間周波数によって分離された複数の成分の画像信号のうち、少なくとも1つの画像信号の輝度情報を参照することを特徴とする、請求項4に記載の撮像装置。
- サンプリングされた画像信号の高解像度化を行う方法において、サンプリングされた画像信号を空間周波数によって複数の成分の画像信号に分離するステップと、空間周波数によって分離された低周波成分画像に補間拡大処理を行うステップと、各フレーム間の相対的な変位量を変位量推定手段により推定するステップと、複数フレームの中から高解像化画像推定処理を行うフレームを選択するステップと、複数フレームの画像信号からそれぞれ分離された高周波成分画像から高解像度な画像を推定する高解像画像推定のステップと、補間拡大した画像と高解像化画像推定処理をした画像を合成するステップと、を有することを特徴とする画像の高解像度化方法。
- 前記サンプリングされた画像信号が、前記各フレーム間の被写体の相対的な変位量を推定する変位量推定手段に入力されることを特徴とする、請求項7に記載の画像の高解像度化方法。
- 前記各フレーム間の被写体の相対的な変位量を推定するステップは、前記複数の成分の画像信号に分離された少なくとも1つの成分の画像信号を用いて、各フレーム間の被写体の相対的な変位量を推定することを特徴とする、請求項7に記載の画像の高解像度化方法。
- サンプリングされた画像信号の高解像度化を行う方法において、サンプリングされた画像信号を空間周波数によって複数の成分の画像信号に分離するステップと、各フレーム間の相対的な変位量を推定するステップと、画像信号を画像記憶手段に一時記憶させておくステップと、複数フレームの中から高解像化画像推定処理を行うフレームを選択するステップと、複数フレームの画像信号から高解像度な画像を推定する高解像画像推定のステップと、前記空間周波数によって分離された複数の成分の画像信号のうち少なくとも1つの画像信号を参照し画像の情報を判別手段により判別するステップと、前記判別手段により画像中の領域を設定するステップとを含み、前記高解像画像推定のステップは、前記画像中の領域の情報を用いて高解像画像を推定することを特徴とする画像の高解像度化方法。
- 前記画像の情報を判別するステップにおいて、画像の高周波成分を抽出することを特徴とする、請求項10に記載の画像の高解像度化方法。
- 前記画像の情報を判別するステップは、前記空間周波数によって分離された複数の成分の画像信号のうち少なくとも1つの画像信号の輝度情報を参照ることを特徴とする、請求項10に記載の画像の高解像度化方法。
Priority Applications (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2004172093A JP4429816B2 (ja) | 2004-06-10 | 2004-06-10 | 撮像装置および画像の高解像度化方法 |
PCT/JP2005/010992 WO2005122083A1 (ja) | 2004-06-10 | 2005-06-09 | 撮像装置および画像の高解像度化方法 |
US11/628,910 US20070177027A1 (en) | 2004-06-10 | 2005-06-09 | Imaging system and process for rendering the resolution of images high |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2004172093A JP4429816B2 (ja) | 2004-06-10 | 2004-06-10 | 撮像装置および画像の高解像度化方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2005352720A true JP2005352720A (ja) | 2005-12-22 |
JP4429816B2 JP4429816B2 (ja) | 2010-03-10 |
Family
ID=35503289
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2004172093A Expired - Fee Related JP4429816B2 (ja) | 2004-06-10 | 2004-06-10 | 撮像装置および画像の高解像度化方法 |
Country Status (3)
Country | Link |
---|---|
US (1) | US20070177027A1 (ja) |
JP (1) | JP4429816B2 (ja) |
WO (1) | WO2005122083A1 (ja) |
Cited By (17)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2007108487A1 (ja) * | 2006-03-20 | 2007-09-27 | Matsushita Electric Industrial Co., Ltd. | 画像処理装置、画像処理方法、プログラムおよび半導体集積回路 |
JP2007305113A (ja) * | 2006-04-11 | 2007-11-22 | Matsushita Electric Ind Co Ltd | 画像処理方法および画像処理装置 |
WO2008032441A1 (fr) * | 2006-09-14 | 2008-03-20 | Nikon Corporation | Dispositif de traitement d'images, caméra électronique et programme de traitement d'images |
WO2008035636A1 (fr) * | 2006-09-22 | 2008-03-27 | Olympus Corporation | Dispositif de traitement d'image et programme de commande de traitement d'image |
WO2008102898A1 (ja) * | 2007-02-19 | 2008-08-28 | Tokyo Institute Of Technology | 画質改善処理装置、画質改善処理方法及び画質改善処理プログラム |
WO2008114632A1 (ja) * | 2007-03-19 | 2008-09-25 | Tokyo Institute Of Technology | 複数領域に対応した画質改善処理方法及び画質改善処理プログラム |
WO2008143360A1 (ja) * | 2007-05-23 | 2008-11-27 | Olympus Corporation | 画像処理装置又は画像処理プログラム |
JP2009088665A (ja) * | 2007-09-27 | 2009-04-23 | Hitachi Ltd | 映像再生装置及び映像再生方法 |
JP2010198599A (ja) * | 2009-02-23 | 2010-09-09 | Sharp Corp | 画像処理方法 |
JP2012203872A (ja) * | 2011-03-28 | 2012-10-22 | Jvc Kenwood Corp | 信号処理装置、信号処理方法、および信号処理プログラム |
JP2012203873A (ja) * | 2011-03-28 | 2012-10-22 | Jvc Kenwood Corp | 信号処理装置、信号処理方法、および信号処理プログラム |
JP2012226489A (ja) * | 2011-04-18 | 2012-11-15 | Nikon Corp | 画像処理プログラム、画像処理方法、画像処理装置、撮像装置 |
US8849029B2 (en) | 2010-02-26 | 2014-09-30 | Nec Corporation | Image processing method, image processing device and program |
WO2017013871A1 (ja) * | 2015-07-22 | 2017-01-26 | パナソニックIpマネジメント株式会社 | 画像処理装置 |
JP2017028687A (ja) * | 2015-07-22 | 2017-02-02 | パナソニックIpマネジメント株式会社 | 画像処理装置 |
JP2017078939A (ja) * | 2015-10-20 | 2017-04-27 | 日本放送協会 | 帯域合成装置、帯域分割装置、解像度変換装置、超解像装置およびプログラム |
CN116761019A (zh) * | 2023-08-24 | 2023-09-15 | 瀚博半导体(上海)有限公司 | 视频处理方法、***、计算机设备及计算机可读存储介质 |
Families Citing this family (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7483059B2 (en) * | 2004-04-30 | 2009-01-27 | Hewlett-Packard Development Company, L.P. | Systems and methods for sampling an image sensor |
US7889264B2 (en) * | 2006-05-12 | 2011-02-15 | Ricoh Co., Ltd. | End-to-end design of superresolution electro-optic imaging systems |
JP5111088B2 (ja) * | 2007-12-14 | 2012-12-26 | 三洋電機株式会社 | 撮像装置及び画像再生装置 |
JP4991887B2 (ja) * | 2010-01-13 | 2012-08-01 | シャープ株式会社 | 撮像画像処理システム、撮像画像処理システムの制御方法、プログラムおよび記録媒体 |
Family Cites Families (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2989364B2 (ja) * | 1992-03-12 | 1999-12-13 | シャープ株式会社 | 画像処理装置及び画像処理方法 |
US6128416A (en) * | 1993-09-10 | 2000-10-03 | Olympus Optical Co., Ltd. | Image composing technique for optimally composing a single image from a plurality of digital images |
JP3333012B2 (ja) * | 1993-09-10 | 2002-10-07 | オリンパス光学工業株式会社 | 画像合成装置 |
JP2828138B2 (ja) * | 1996-08-28 | 1998-11-25 | 日本電気株式会社 | 画像合成方法及び画像合成装置 |
US6804419B1 (en) * | 1998-11-10 | 2004-10-12 | Canon Kabushiki Kaisha | Image processing method and apparatus |
JP4371457B2 (ja) * | 1999-02-18 | 2009-11-25 | キヤノン株式会社 | 画像処理装置、方法及びコンピュータ読み取り可能な記憶媒体 |
JP4095204B2 (ja) * | 1999-06-11 | 2008-06-04 | キヤノン株式会社 | 画像処理装置、方法及びコンピュータ読み取り可能な記憶媒体 |
JP3799861B2 (ja) * | 1999-02-24 | 2006-07-19 | 株式会社日立製作所 | 画像合成装置、画像合成方法を実行させるプログラムが記録された記録媒体 |
-
2004
- 2004-06-10 JP JP2004172093A patent/JP4429816B2/ja not_active Expired - Fee Related
-
2005
- 2005-06-09 WO PCT/JP2005/010992 patent/WO2005122083A1/ja active Application Filing
- 2005-06-09 US US11/628,910 patent/US20070177027A1/en not_active Abandoned
Cited By (25)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8682089B2 (en) | 2006-03-20 | 2014-03-25 | Panasonic Corporation | Image processing apparatus, image processing method, program and semiconductor integrated circuit |
WO2007108487A1 (ja) * | 2006-03-20 | 2007-09-27 | Matsushita Electric Industrial Co., Ltd. | 画像処理装置、画像処理方法、プログラムおよび半導体集積回路 |
US8385665B2 (en) | 2006-03-20 | 2013-02-26 | Panasonic Corporation | Image processing apparatus, image processing method, program and semiconductor integrated circuit |
JP4688926B2 (ja) * | 2006-03-20 | 2011-05-25 | パナソニック株式会社 | 画像処理装置、画像符号化装置、画像処理方法、プログラムおよび半導体集積回路 |
JPWO2007108487A1 (ja) * | 2006-03-20 | 2009-08-06 | パナソニック株式会社 | 画像処理装置、画像処理方法、プログラムおよび半導体集積回路 |
JP2007305113A (ja) * | 2006-04-11 | 2007-11-22 | Matsushita Electric Ind Co Ltd | 画像処理方法および画像処理装置 |
JPWO2008032441A1 (ja) * | 2006-09-14 | 2010-01-21 | 株式会社ニコン | 画像処理装置、電子カメラおよび画像処理プログラム |
WO2008032441A1 (fr) * | 2006-09-14 | 2008-03-20 | Nikon Corporation | Dispositif de traitement d'images, caméra électronique et programme de traitement d'images |
JP5012805B2 (ja) * | 2006-09-14 | 2012-08-29 | 株式会社ニコン | 画像処理装置、電子カメラおよび画像処理プログラム |
WO2008035636A1 (fr) * | 2006-09-22 | 2008-03-27 | Olympus Corporation | Dispositif de traitement d'image et programme de commande de traitement d'image |
WO2008102898A1 (ja) * | 2007-02-19 | 2008-08-28 | Tokyo Institute Of Technology | 画質改善処理装置、画質改善処理方法及び画質改善処理プログラム |
JP2008234130A (ja) * | 2007-03-19 | 2008-10-02 | Tokyo Institute Of Technology | 複数領域に対応した画質改善処理方法及び画質改善処理プログラム |
WO2008114632A1 (ja) * | 2007-03-19 | 2008-09-25 | Tokyo Institute Of Technology | 複数領域に対応した画質改善処理方法及び画質改善処理プログラム |
WO2008143360A1 (ja) * | 2007-05-23 | 2008-11-27 | Olympus Corporation | 画像処理装置又は画像処理プログラム |
JP2008293185A (ja) * | 2007-05-23 | 2008-12-04 | Olympus Corp | 画像処理装置又は画像処理プログラム |
JP2009088665A (ja) * | 2007-09-27 | 2009-04-23 | Hitachi Ltd | 映像再生装置及び映像再生方法 |
JP2010198599A (ja) * | 2009-02-23 | 2010-09-09 | Sharp Corp | 画像処理方法 |
US8849029B2 (en) | 2010-02-26 | 2014-09-30 | Nec Corporation | Image processing method, image processing device and program |
JP2012203872A (ja) * | 2011-03-28 | 2012-10-22 | Jvc Kenwood Corp | 信号処理装置、信号処理方法、および信号処理プログラム |
JP2012203873A (ja) * | 2011-03-28 | 2012-10-22 | Jvc Kenwood Corp | 信号処理装置、信号処理方法、および信号処理プログラム |
JP2012226489A (ja) * | 2011-04-18 | 2012-11-15 | Nikon Corp | 画像処理プログラム、画像処理方法、画像処理装置、撮像装置 |
WO2017013871A1 (ja) * | 2015-07-22 | 2017-01-26 | パナソニックIpマネジメント株式会社 | 画像処理装置 |
JP2017028687A (ja) * | 2015-07-22 | 2017-02-02 | パナソニックIpマネジメント株式会社 | 画像処理装置 |
JP2017078939A (ja) * | 2015-10-20 | 2017-04-27 | 日本放送協会 | 帯域合成装置、帯域分割装置、解像度変換装置、超解像装置およびプログラム |
CN116761019A (zh) * | 2023-08-24 | 2023-09-15 | 瀚博半导体(上海)有限公司 | 视频处理方法、***、计算机设备及计算机可读存储介质 |
Also Published As
Publication number | Publication date |
---|---|
JP4429816B2 (ja) | 2010-03-10 |
US20070177027A1 (en) | 2007-08-02 |
WO2005122083A1 (ja) | 2005-12-22 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4429816B2 (ja) | 撮像装置および画像の高解像度化方法 | |
US7729563B2 (en) | Method and device for video image processing, calculating the similarity between video frames, and acquiring a synthesized frame by synthesizing a plurality of contiguous sampled frames | |
JP4154661B2 (ja) | 画像処理装置および方法、記録媒体、並びにプログラム | |
US7978234B2 (en) | Image acquisition apparatus, resolution enhancing method, and recording medium | |
EP2308236B1 (en) | Improved image formation using different resolution images | |
JP4151793B2 (ja) | 撮像装置および画像の高解像化方法 | |
US7636451B2 (en) | Digital watermark embedding apparatus and method, and digital watermark detection apparatus and method | |
EP2560375B1 (en) | Image processing device, image capture device, program, and image processing method | |
JP5331816B2 (ja) | 画像補正装置及び画像補正方法 | |
US8213744B2 (en) | Image processing apparatus and storage medium storing image processing program | |
US20090021588A1 (en) | Determining and correcting for imaging device motion during an exposure | |
US20080170126A1 (en) | Method and system for image stabilization | |
EP1347410A2 (en) | Image processing method and apparatus | |
KR20100139030A (ko) | 이미지들의 수퍼 해상도를 위한 방법 및 장치 | |
JP2008077501A (ja) | 画像処理装置及び画像処理制御プログラム | |
JP2000244851A (ja) | 画像処理装置、方法及びコンピュータ読み取り可能な記憶媒体 | |
JP4494505B1 (ja) | 画像処理装置、撮像装置、画像処理方法、画像処理プログラムおよび記録媒体 | |
JP2996657B2 (ja) | 階調パターン整合による動き検出装置及びその方法 | |
JP2013162347A (ja) | 画像処理装置、画像処理方法、プログラム、および装置 | |
JP5082856B2 (ja) | 画像処理方法、画像処理プログラム、画像処理装置、及び撮像装置 | |
JP6614824B2 (ja) | 画像処理装置、画像処理システム、撮像装置、画像処理方法およびプログラム | |
JP5400655B2 (ja) | 画像処理装置、画像処理方法、画像処理プログラム、及び、電子機器 | |
JP2003134523A (ja) | 撮像装置及び撮像方法 | |
JP4857933B2 (ja) | ノイズリダクション方法、プログラム、装置及び撮像装置 | |
JP2000011153A (ja) | 画像処理装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20070525 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20080206 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20080331 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20080423 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20091216 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121225 Year of fee payment: 3 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 4429816 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20131225 Year of fee payment: 4 |
|
S531 | Written request for registration of change of domicile |
Free format text: JAPANESE INTERMEDIATE CODE: R313531 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
LAPS | Cancellation because of no payment of annual fees |