JP5249271B2 - 撮像装置、画像処理装置、および画像処理プログラム - Google Patents
撮像装置、画像処理装置、および画像処理プログラム Download PDFInfo
- Publication number
- JP5249271B2 JP5249271B2 JP2010064996A JP2010064996A JP5249271B2 JP 5249271 B2 JP5249271 B2 JP 5249271B2 JP 2010064996 A JP2010064996 A JP 2010064996A JP 2010064996 A JP2010064996 A JP 2010064996A JP 5249271 B2 JP5249271 B2 JP 5249271B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- camera shake
- unit
- images
- exposure time
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000012545 processing Methods 0.000 title claims abstract description 77
- 238000003384 imaging method Methods 0.000 title claims description 136
- 230000006870 function Effects 0.000 claims abstract description 43
- 238000001514 detection method Methods 0.000 claims abstract description 18
- 238000000034 method Methods 0.000 claims description 33
- 230000015572 biosynthetic process Effects 0.000 claims description 10
- 238000003786 synthesis reaction Methods 0.000 claims description 10
- 230000002123 temporal effect Effects 0.000 claims description 7
- 230000003287 optical effect Effects 0.000 abstract description 55
- 230000002194 synthesizing effect Effects 0.000 abstract description 3
- 230000033001 locomotion Effects 0.000 description 20
- 238000010586 diagram Methods 0.000 description 11
- 229920013655 poly(bisphenol-A sulfone) Polymers 0.000 description 6
- 239000002131 composite material Substances 0.000 description 4
- 238000012937 correction Methods 0.000 description 4
- 230000000694 effects Effects 0.000 description 4
- 239000000203 mixture Substances 0.000 description 3
- 239000004065 semiconductor Substances 0.000 description 3
- 230000035945 sensitivity Effects 0.000 description 3
- 230000001133 acceleration Effects 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 2
- 230000015556 catabolic process Effects 0.000 description 2
- 238000006731 degradation reaction Methods 0.000 description 2
- 230000010365 information processing Effects 0.000 description 2
- 230000004043 responsiveness Effects 0.000 description 2
- HCHKCACWOHOZIP-UHFFFAOYSA-N Zinc Chemical group [Zn] HCHKCACWOHOZIP-UHFFFAOYSA-N 0.000 description 1
- 230000000903 blocking effect Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 238000013144 data compression Methods 0.000 description 1
- 238000000354 decomposition reaction Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 230000001537 neural effect Effects 0.000 description 1
- 238000001454 recorded image Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000006641 stabilisation Effects 0.000 description 1
- 238000011105 stabilization Methods 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
- H04N23/682—Vibration or motion blur correction
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
- H04N23/682—Vibration or motion blur correction
- H04N23/683—Vibration or motion blur correction performed by a processor, e.g. controlling the readout of an image memory
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Studio Devices (AREA)
- Image Processing (AREA)
- Editing Of Facsimile Originals (AREA)
Description
2つの画像は、不図示の画像処理部によってそれぞれ復元され、合成されて1つの画像となる。
図6は、本実施形態における撮像装置の概略構成を示すブロック図である。本実施形態における撮像装置は、デジタル式の電子カメラであるが、本発明はこれに限定されない。撮像装置は、図6に例示するように、撮像部300と、各種信号処理および画像の復元・合成を行う信号処理部200と、撮像によって取得した画像を表示する表示部600と、画像のデータを記録する記録部500と、各部を制御するシステム制御部400とを備える。本実施形態の撮像装置が公知の撮像装置と異なる主な点は、撮像部300および信号処理部200にある。
135 画素
140 撮像面
200 信号処理部
220 画像処理部
231 PSF決定部
232 画像入力部
234 画像復元部
235 画像合成部
236 位置合わせ部
238 画像加算部
239 画像出力部
240 メモリ
300 撮像部
310a、310b 固体撮像素子
311a、311b 固体撮像素子の撮像面
315 光学素子
316 マイクロレンズ
317 ミラー駆動部
320 撮影レンズ
325 絞り機能を有するシャッタ
330a、330b 撮像素子駆動部
345 手振れ検出部
350 光学素子制御部
400 システム制御部
500 記録部
600 表示部
Claims (10)
- 各々が露光時間中に受けた光に応じて画像を取得する複数の撮像素子と、
前記露光時間中、前記複数の撮像素子のうちの少なくとも2つの撮像素子に、入射光を時間符号化パターンに従って順次入射させる光入射部と、
前記露光時間中に発生する手振れを検出し、前記手振れの軌跡を示す手振れ情報を生成する手振れ検出部と、
前記複数の撮像素子によって取得した複数の画像を処理する画像処理部と、
を備え、
前記画像処理部は、
前記手振れ情報および前記時間符号化パターンに基づいて、前記複数の撮像素子によって前記露光時間中に取得された複数の画像の手ぶれによるぼやけを規定する複数の点広がり関数を決定するPSF決定部と、
前記複数の画像の各々から、前記点広がり関数に基づいて、前記手振れによるぼやけを減少させた復元画像を生成する画像復元部と、
前記画像復元部によって生成された複数の復元画像から合成された画像を生成する画像合成部と、
を有する撮像装置。 - 前記光入射部は、
前記入射光を反射して前記複数の撮像素子のうちの少なくとも2つの撮像素子に順次入射させるように反射面の傾きを切り替えることができるミラー部と、
前記露光時間中、前記時間符号化パターンに従って前記ミラー部の反射面を駆動するミラー駆動部とを有している、請求項1に記載の撮像装置。 - 前記ミラー部は、2次元状に配列された複数のマイクロミラーを含み、
前記ミラー駆動部は、前記時間符号化パターンに従って前記複数のマイクロミラーの反射面を駆動する、請求項2に記載の撮像装置。 - 前記光入射部は、前記時間符号化パターンに従って前記入射光を2つの撮像素子に交互に入射させる、請求項1から3のいずれかに記載の撮像装置。
- 前記画像合成部は、前記複数の復元画像を重ね合わせることによって、前記合成された画像を生成する、請求項1から4のいずれかに記載の撮像装置。
- 各々が露光時間中に受けた光に応じて画像を取得する複数の撮像素子と、
前記露光時間中、前記複数の撮像素子のうちの少なくとも2つの撮像素子に、入射光を時間符号化パターンに従って順次入射させる光入射部と、
前記複数の撮像素子によって取得した複数の画像を処理する画像処理部と、
を備え、
前記画像処理部は、
前記時間符号化パターンに基づいて、前記複数の撮像素子によって前記露光時間中に取得された複数の画像の手ぶれによるぼやけを規定する複数の点広がり関数を決定するPSF決定部と、
前記複数の画像の各々から、前記点広がり関数に基づいて、前記手振れによるぼやけを減少させた復元画像を生成する画像復元部と、
前記画像復元部によって生成された複数の復元画像から合成された画像を生成する画像合成部と、
を有する撮像装置。 - 各々が露光時間中に受けた光に応じて画像を取得する複数の撮像素子と、
前記露光時間中、前記複数の撮像素子のうちの少なくとも2つの撮像素子に入射光を時間符号化パターンに従って順次入射させる光入射部と、
前記露光時間中に発生する手振れを検出し、前記手振れの軌跡を示す手振れ情報を生成する手振れ検出部と、
前記時間符号化パターンを規定する情報、前記露光時間中に前記複数の撮像素子によって取得された複数の画像、および前記手振れ情報を記録媒体に記録する記録部と、
を備える撮像装置。 - 前記手振れ情報および前記時間符号化パターンに基づいて、前記複数の画像の手ぶれによるぼやけを規定する複数の点広がり関数を決定するPSF決定部を備え、
前記記録部は、前記複数の点広がり関数を前記記録媒体に記録する、
請求項7に記載の撮像装置。 - 請求項7または8に記載の撮像装置によって記録された前記時間符号化パターンを規定する情報、前記複数の画像、および前記手振れ情報を取得する入力部と、
前記時間符号化パターンを規定する情報および前記手振れ情報に基づいて、前記複数の画像における手ぶれによるぼやけを規定する複数の点広がり関数を決定するPSF決定部と、
前記複数の画像の各々から、前記点広がり関数に基づいて、前記手振れによるぼやけを減少させた復元画像を生成する画像復元部と、
前記画像復元部によって生成された複数の復元画像から合成された画像を生成する画像合成部と、
を備える画像処理装置。 - 各々が露光時間中に受けた光に応じて画像を取得する複数の撮像素子と、
前記露光時間中、前記複数の撮像素子のうちの少なくとも2つの撮像素子に、入射光を時間符号化パターンに従って順次入射させる光入射部と、
前記露光時間中に発生する手振れを検出し、前記手振れの軌跡を示す手振れ情報を生成する手振れ検出部と、
を備える撮像装置によって前記露光時間中に取得された複数の画像を処理するプログラムであって、
前記前記時間符号化パターンを規定する情報、前記複数の画像、および前記手振れ情報を取得するステップと、
前記時間符号化パターンを示す情報および前記手振れ情報に基づいて、前記複数の撮像素子によって前記露光時間中に取得された複数の画像の手ぶれによるぼやけを規定する複数の点広がり関数を決定するステップと、
前記複数の画像の各々から、前記点広がり関数に基づいて、前記手振れによるぼやけを減少させた復元画像を生成するステップと、
前記画像復元部によって生成された複数の復元画像から合成された画像を生成するステップと、
を実行するプログラム。
Priority Applications (5)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2010064996A JP5249271B2 (ja) | 2010-03-19 | 2010-03-19 | 撮像装置、画像処理装置、および画像処理プログラム |
PCT/JP2011/000443 WO2011114611A1 (ja) | 2010-03-19 | 2011-01-27 | 撮像装置、画像処理装置、および画像処理プログラム |
CN201180002102.1A CN102428694B (zh) | 2010-03-19 | 2011-01-27 | 摄像装置以及图像处理装置 |
US13/320,100 US8675079B2 (en) | 2010-03-19 | 2011-01-27 | Image capture device, image processing device and image processing program |
EP11755804.9A EP2549739B1 (en) | 2010-03-19 | 2011-01-27 | Image capture device and image processing programme |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2010064996A JP5249271B2 (ja) | 2010-03-19 | 2010-03-19 | 撮像装置、画像処理装置、および画像処理プログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2011199660A JP2011199660A (ja) | 2011-10-06 |
JP5249271B2 true JP5249271B2 (ja) | 2013-07-31 |
Family
ID=44648727
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2010064996A Active JP5249271B2 (ja) | 2010-03-19 | 2010-03-19 | 撮像装置、画像処理装置、および画像処理プログラム |
Country Status (5)
Country | Link |
---|---|
US (1) | US8675079B2 (ja) |
EP (1) | EP2549739B1 (ja) |
JP (1) | JP5249271B2 (ja) |
CN (1) | CN102428694B (ja) |
WO (1) | WO2011114611A1 (ja) |
Families Citing this family (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR101705605B1 (ko) * | 2011-11-14 | 2017-02-23 | 삼성전자주식회사 | 코드화된 조명을 이용하는 촬상 장치 및 이미지 처리 장치와 그 방법 |
CN103595922A (zh) * | 2013-11-04 | 2014-02-19 | 西北核技术研究所 | 一种基于电子快门曝光编码的成像方法 |
CN103595923A (zh) * | 2013-11-04 | 2014-02-19 | 西北核技术研究所 | 一种基于曝光编码的双机高速成像***及方法 |
CN103747187A (zh) * | 2013-12-31 | 2014-04-23 | 浙江大学 | 光纤陀螺振动探测和编码曝光的遥感图像快速恢复方法 |
CN104869307B (zh) * | 2015-04-22 | 2017-05-31 | 努比亚技术有限公司 | 一种拍摄的方法和装置 |
KR102558471B1 (ko) * | 2016-07-27 | 2023-07-25 | 삼성전자주식회사 | 전자 장치 및 그의 동작 방법 |
CN106254771B (zh) * | 2016-07-29 | 2017-07-28 | 广东欧珀移动通信有限公司 | 拍摄防抖方法、装置和移动终端 |
CN109167931B (zh) * | 2018-10-23 | 2021-04-13 | Oppo广东移动通信有限公司 | 图像处理方法、装置、存储介质及移动终端 |
US11120538B2 (en) * | 2019-12-27 | 2021-09-14 | Zoox, Inc. | Sensor degradation detection and remediation |
Family Cites Families (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2001197357A (ja) | 2000-01-12 | 2001-07-19 | Hitachi Ltd | 撮像装置 |
US7440634B2 (en) * | 2003-06-17 | 2008-10-21 | The Trustees Of Columbia University In The City Of New York | Method for de-blurring images of moving objects |
JP4452825B2 (ja) * | 2004-08-05 | 2010-04-21 | 国立大学法人電気通信大学 | 静止画像形成方法及びその記録装置 |
JP2006129236A (ja) | 2004-10-29 | 2006-05-18 | Sanyo Electric Co Ltd | リンギング除去装置およびリンギング除去プログラムを記録したコンピュータ読み取り可能な記録媒体 |
JP4342493B2 (ja) * | 2005-09-22 | 2009-10-14 | 三洋電機株式会社 | 手ぶれ補正装置 |
KR100822832B1 (ko) * | 2006-03-28 | 2008-04-17 | 엠텍비젼 주식회사 | 카메라의 피사계 심도 조정 장치 및 방법 |
US7580620B2 (en) | 2006-05-08 | 2009-08-25 | Mitsubishi Electric Research Laboratories, Inc. | Method for deblurring images using optimized temporal coding patterns |
JP5188205B2 (ja) | 2007-06-12 | 2013-04-24 | ミツビシ・エレクトリック・リサーチ・ラボラトリーズ・インコーポレイテッド | カメラによって或るシーンから取得される画像内の動いている物体の解像度を高めるための方法 |
JP4960907B2 (ja) * | 2008-03-11 | 2012-06-27 | 富士フイルム株式会社 | 撮影装置および撮影方法 |
JP2010050745A (ja) | 2008-08-21 | 2010-03-04 | Canon Inc | 画像処理装置およびその方法 |
DE102008054985B4 (de) * | 2008-12-19 | 2012-02-02 | Sirona Dental Systems Gmbh | Verfahren und Vorrichtung zur optischen Vermessung von dreidimensionalen Objekten mittels einer dentalen 3D-Kamera unter Verwendung eines Triangulationsverfahrens |
-
2010
- 2010-03-19 JP JP2010064996A patent/JP5249271B2/ja active Active
-
2011
- 2011-01-27 CN CN201180002102.1A patent/CN102428694B/zh not_active Expired - Fee Related
- 2011-01-27 WO PCT/JP2011/000443 patent/WO2011114611A1/ja active Application Filing
- 2011-01-27 US US13/320,100 patent/US8675079B2/en not_active Expired - Fee Related
- 2011-01-27 EP EP11755804.9A patent/EP2549739B1/en not_active Not-in-force
Also Published As
Publication number | Publication date |
---|---|
EP2549739B1 (en) | 2016-10-12 |
EP2549739A4 (en) | 2014-03-12 |
US20120057036A1 (en) | 2012-03-08 |
JP2011199660A (ja) | 2011-10-06 |
CN102428694A (zh) | 2012-04-25 |
CN102428694B (zh) | 2015-08-26 |
EP2549739A1 (en) | 2013-01-23 |
WO2011114611A1 (ja) | 2011-09-22 |
US8675079B2 (en) | 2014-03-18 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5249271B2 (ja) | 撮像装置、画像処理装置、および画像処理プログラム | |
JP5204165B2 (ja) | 画像復元装置および画像復元方法 | |
JP5791349B2 (ja) | 撮像装置及びその制御方法 | |
JP4900401B2 (ja) | 撮影装置およびプログラム | |
JP4987355B2 (ja) | 撮像装置および撮像方法 | |
JP6062656B2 (ja) | 撮像装置、制御方法、及びプログラム | |
JP5237978B2 (ja) | 撮像装置および撮像方法、ならびに前記撮像装置のための画像処理方法 | |
US8553091B2 (en) | Imaging device and method, and image processing method for imaging device | |
CN108337428B (zh) | 图像稳定设备及其控制方法、摄像设备和存储介质 | |
EP2035891A1 (en) | Method and system for image stabilization | |
JP5523231B2 (ja) | 撮像装置 | |
JP2008277896A (ja) | 撮像装置および撮像方法 | |
JP2006080845A (ja) | 電子カメラ | |
JP5613145B2 (ja) | 撮影装置およびプログラム | |
US11206350B2 (en) | Image processing apparatus, image pickup apparatus, image processing method, and storage medium | |
JP4992382B2 (ja) | ノイズ除去方法ならびにノイズ除去制御プログラム | |
JP2017134154A (ja) | フォーカス制御装置、撮像装置およびフォーカス制御プログラム | |
JP2023065229A (ja) | 撮像装置及びその制御方法及びプログラム | |
JP5212156B2 (ja) | 電子カメラ | |
KR20100099556A (ko) | 촬상 장치 및 촬상 장치의 화상처리방법 | |
JP2020067489A (ja) | 撮像装置およびその制御方法 | |
JP2010054922A (ja) | 電子カメラ | |
JP2019207350A (ja) | 撮像装置およびその制御方法 | |
JP2014224946A (ja) | 撮像装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20120713 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20130319 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20130411 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 5249271 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20160419 Year of fee payment: 3 |
|
S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313113 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |