JP4968885B2 - 撮像装置及びその制御方法、撮像システム、画像処理方法並びにプログラム - Google Patents
撮像装置及びその制御方法、撮像システム、画像処理方法並びにプログラム Download PDFInfo
- Publication number
- JP4968885B2 JP4968885B2 JP2006156646A JP2006156646A JP4968885B2 JP 4968885 B2 JP4968885 B2 JP 4968885B2 JP 2006156646 A JP2006156646 A JP 2006156646A JP 2006156646 A JP2006156646 A JP 2006156646A JP 4968885 B2 JP4968885 B2 JP 4968885B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- imaging
- camera shake
- moving
- offset amount
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
- H04N23/681—Motion detection
- H04N23/6812—Motion detection based on additional sensors, e.g. acceleration sensors
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
- H04N23/682—Vibration or motion blur correction
- H04N23/685—Vibration or motion blur correction performed by mechanical compensation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/80—Camera processing pipelines; Components thereof
- H04N23/81—Camera processing pipelines; Components thereof for suppressing or minimising disturbance in the image signal generation
- H04N23/811—Camera processing pipelines; Components thereof for suppressing or minimising disturbance in the image signal generation by dust removal, e.g. from surfaces of the image sensor or processing of the image signal output by the electronic image sensor
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Studio Devices (AREA)
- Camera Bodies And Camera Details Or Accessories (AREA)
- Adjustment Of Camera Lenses (AREA)
Description
(第1の実施形態)
図1は、本発明の好適な第1の実施の形態に係る撮像装置を示す図である。101はデジタルカメラ等の撮像装置、102は撮影レンズ等の撮像光学系、103は撮像光学系102に配置された手振れ補正レンズ、104は撮像光学系の光軸、105はレンズ鏡筒、106は撮像素子、107はメモリを示す。また、108は手振れを検出するジャイロセンサによって構成される手振れ検出センサ、109aは手振れ補正レンズ103を駆動する駆動部、110は電源、111はレリーズ釦を示す。
図12〜図15に本発明の好適な第2の実施の形態に係る撮像装置を示す。図12は本実施形態に適した撮像装置を示す図であって、第1の実施形態で示したものと同様の構成要素には同一の参照符号を付している。第1の実施形態と異なる点は、撮像素子106そのものを動かす(シフトさせる)ことによって手振れ補正を行う点である。そのため、手振れ補正のための駆動部109bを撮像素子106近傍に備えている。駆動部109bは撮像素子106をシフト駆動する。これに伴い、手振れ補正をするモードの有効/無効、および異物補正を有効とするか否かの設定を行うスイッチ211は、撮像装置101側に設けられている。その他の構成は、第1の実施形態と同様である。
ここで光学素子1301に付着する異物1303a、1303bを考える。異物1303a、1303bと光学素子1301の間には、クーロン力、液架橋力、ファンデルワールス力などが作用していると考えられる。しかし、大きな異物は、上記の力よりも重力による力が勝るため、付着できずに落下すると考えられる。これは、異物1303a、1303bの形状、光学素子1301の表面形状、光学素子1301と異物1303a、1303bの帯電状態などによって大きく影響を受ける。しかし、異物の付着を抑制するように構成された光学素子1301では、およそ0.1mmを超える大きさの異物1303a、1303bは付着せず、重力によって光学素子1301から剥がれて落ちる。従って、r=0.1mmに設定すると、異物1303a、1303bの最大直径は、0.1+l/Fnoと規定することができる。ここで、撮像素子106と光学素子1301の距離をlとしているので、この値は撮像装置固有の値である。また、Fnoは、ユーザーが任意に設定する値もしくは撮像装置が自動的に設定する値であって、一連の複数枚の撮影画像を取得する際には一定に保たれる値であるので、1枚目の撮影が開始される時に決定される値である。
表1に従って4枚の画像を取得したときの画像の例を図17に示す。図17(a)〜(d)において、1401〜1404はそれぞれの画像において異物の影となった領域を示している。図17(e)は4つの画像を位置合わせして重ねた画像を示す図である。図17(e)からわかるように、それぞれの撮影画像で生じた異物の影の領域は互いに重ならない。従って、例えば、図17(a)の1401に隠れた被写体像の領域は、他の3枚の同一領域を4/3倍の増幅処理を行いつつ重ね合わせればよい。このとき図17(a)の1401の領域は重ね合わせに用いない。同様に1402〜1404についても、他の3枚を重ね合わせる。また、図17(e)において、4枚が重ならない周辺領域は、トリミングにより切り落とす。このように補正処理を行うことで、異物の影が写り込んでいない被写体画像を得ることができる。
103 手振れ補正レンズ
106 撮像素子
108 手振れ検出センサ
109a 駆動部
212 算出部
Claims (11)
- 撮像光学系により結像された被写体像を光電変換する撮像手段と、
前記被写体像を前記撮像手段に対して相対的に移動させるための移動手段と、
手振れを検出する手振れ検出手段と、
前記手振れ検出手段の出力に基づいて、前記手振れを打ち消すための前記移動手段の移動量を算出する算出手段と、
前記算出手段により算出された前記移動量に基づいて前記移動手段を駆動する駆動手段と、
予め定められるオフセット量を撮影ごとに変更して前記移動量に加算することによって、前記移動手段を移動させながら複数枚の撮影画像を取得するように前記駆動手段を制御する制御手段と、
前記オフセット量に基づいて前記複数枚の撮影画像を比較することにより、前記撮像手段の近傍に付着した異物に関する位置情報を少なくとも含む、異物領域情報を検出する異物検出手段と、
前記異物検出手段による検出結果と前記オフセット量とに基づいて前記複数枚の撮影画像から前記異物領域を補正し、前記複数枚の撮影画像を位置合わせして合成する画像補正手段と、
を備えることを特徴とする撮像装置。 - 前記オフセット量は、前記撮像光学系の絞り値に応じて定められることを特徴とする請求項1に記載の撮像装置。
- 前記移動手段は、前記撮像光学系の一部を駆動することによって、前記被写体像を移動させることを特徴とする請求項1または2に記載の撮像装置。
- 前記複数枚の撮影画像のうち1枚目もしくは何枚目かの前記オフセット量は0を含むことを特徴とする請求項1ないし3のいずれか1項に記載の撮像装置。
- 前記画像補正手段は、前記複数枚の撮影画像を合成する際に、前記オフセット量と前記異物領域情報とに基づいて、前記複数枚の撮影画像のうちの1つである第1の撮影画像における前記異物が写りこんだ一部の領域を、前記複数枚の撮影画像のうちの前記第1の撮影画像とは異なる他の撮影画像における前記異物が写りこんでいない一部の領域で補正することを特徴とする請求項1ないし4のいずれか1項に記載の撮像装置。
- 撮像装置と画像処理装置から成る撮像システムであって、
前記撮像装置は、
撮像光学系により結像された被写体像が結像する撮像面に対して前記被写体像を相対的に移動させるための移動手段と、
手振れを検出する手振れ検出手段と、
前記手振れ検出手段の出力に基づいて、前記手振れを打ち消すための前記移動手段の移動量を算出する算出手段と、
前記算出手段により算出された移動量に基づいて前記移動手段を駆動する駆動手段と、
予め定められるオフセット量を撮影ごとに変更して前記移動量に加算することによって、前記移動手段を移動させながら複数枚の撮影画像を取得するように前記駆動手段を制御する制御手段とを有し、
前記画像処理装置は、
前記オフセット量を取得する取得手段と、
前記オフセット量に基づいて前記複数枚の撮影画像を比較することにより、前記撮像手段の近傍に付着した異物に関する位置情報を少なくとも含む、異物領域情報を検出する異物検出手段と、
前記異物検出手段による検出結果と前記オフセット量とに基づいて、前記複数枚の撮影画像から前記異物領域を補正し、前記複数枚の撮影画像を位置合わせして合成する画像補正手段と、
を備えることを特徴とする撮像システム。 - 前記画像補正手段は、前記複数枚の撮影画像を合成する際に、前記オフセット量と前記異物領域情報とに基づいて、前記複数枚の撮影画像のうちの1つである第1の撮影画像における前記異物が写りこんだ一部の領域を、前記複数枚の撮影画像のうちの前記第1の撮影画像とは異なる他の撮影画像における前記異物が写りこんでいない一部の領域で補正することを特徴とする請求項6に記載の撮像システム。
- 撮像光学系により結像された被写体像を光電変換する撮像手段と、前記被写体像を前記撮像手段に対して相対的に移動させるための移動手段と、手振れを検出する手振れ検出手段とを備える撮像装置を制御する方法であって、
前記手振れ検出手段の出力に基づいて、前記手振れを打ち消すための前記移動手段の移動量を算出し、
算出された前記移動量に基づいて前記移動手段を駆動し、
予め定められるオフセット量を撮影ごとに変更して前記移動量に加算することによって、前記移動手段を移動させながら複数枚の撮影画像を取得し、
前記オフセット量に基づいて前記複数枚の撮影画像を比較することにより、前記撮像手段の近傍に付着した異物に関する位置情報を少なくとも含む、異物領域情報を検出し、
検出した検出結果と前記オフセット量とに基づいて前記複数枚の撮影画像から前記異物領域を補正し、前記複数枚の撮影画像を位置合わせして合成することを特徴とする撮像装置の制御方法。 - 撮像光学系により結像された被写体像を光電変換する撮像手段と、前記被写体像を前記撮像手段に対して相対的に移動させるための移動手段と、手振れを検出する手振れ検出手段とを備える撮像装置において、前記手振れ検出手段の出力に基づいて、前記手振れを打ち消すための前記移動手段の移動量を算出し、算出された前記移動量に撮影ごとに異なる予め定められるオフセット量を加算することによって前記移動手段を移動させながら取得した複数枚の撮影画像を処理する画像処理方法であって、
前記オフセット量を取得し、
前記オフセット量に基づいて前記複数枚の撮影画像を比較することにより、前記撮像手段の近傍に付着した異物に関する位置情報を少なくとも含む異物領域情報を検出し、
検出した検出結果と前記オフセット量とに基づいて、前記複数枚の撮影画像から前記異物領域を補正し、前記複数枚の撮影画像を位置合わせして合成することを特徴とする画像処理方法。 - 請求項8に記載の制御方法をコンピュータに実行させるためのプログラム。
- 請求項9に記載の画像処理方法をコンピュータに実行させるためのプログラム。
Priority Applications (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2006156646A JP4968885B2 (ja) | 2006-06-05 | 2006-06-05 | 撮像装置及びその制御方法、撮像システム、画像処理方法並びにプログラム |
US11/757,556 US7769282B2 (en) | 2006-06-05 | 2007-06-04 | Image capturing apparatus, control method thereof, image processing apparatus, image processing method, image capturing system, and program |
US12/822,808 US8023811B2 (en) | 2006-06-05 | 2010-06-24 | Image capturing apparatus, control method thereof, image processing apparatus, image processing method, image capturing system, and program |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2006156646A JP4968885B2 (ja) | 2006-06-05 | 2006-06-05 | 撮像装置及びその制御方法、撮像システム、画像処理方法並びにプログラム |
Publications (3)
Publication Number | Publication Date |
---|---|
JP2007323030A JP2007323030A (ja) | 2007-12-13 |
JP2007323030A5 JP2007323030A5 (ja) | 2009-07-09 |
JP4968885B2 true JP4968885B2 (ja) | 2012-07-04 |
Family
ID=38821501
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2006156646A Active JP4968885B2 (ja) | 2006-06-05 | 2006-06-05 | 撮像装置及びその制御方法、撮像システム、画像処理方法並びにプログラム |
Country Status (2)
Country | Link |
---|---|
US (2) | US7769282B2 (ja) |
JP (1) | JP4968885B2 (ja) |
Families Citing this family (17)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP5078446B2 (ja) * | 2007-06-05 | 2012-11-21 | キヤノン株式会社 | 画像処理装置及びその制御方法及びプログラム |
JP2009139627A (ja) * | 2007-12-06 | 2009-06-25 | Olympus Corp | ブレ検出装置 |
JP2009216725A (ja) * | 2008-03-06 | 2009-09-24 | Chinontec Kk | ブレ補正装置および光学機器 |
JP5613145B2 (ja) * | 2008-05-16 | 2014-10-22 | カシオ計算機株式会社 | 撮影装置およびプログラム |
JP4900401B2 (ja) | 2008-05-16 | 2012-03-21 | カシオ計算機株式会社 | 撮影装置およびプログラム |
JP5188293B2 (ja) * | 2008-07-03 | 2013-04-24 | キヤノン株式会社 | 撮像装置及びその制御方法及びプログラム |
JP5047080B2 (ja) * | 2008-07-03 | 2012-10-10 | キヤノン株式会社 | 画像処理装置及びその制御方法及びプログラム |
JP5106335B2 (ja) * | 2008-09-24 | 2012-12-26 | キヤノン株式会社 | 撮像装置及びその制御方法及びプログラム |
JP2011078047A (ja) * | 2009-10-02 | 2011-04-14 | Sanyo Electric Co Ltd | 撮像装置 |
JP5843523B2 (ja) * | 2011-08-29 | 2016-01-13 | キヤノン株式会社 | レンズ鏡筒、及び撮像装置 |
EP3097452B1 (en) | 2014-01-22 | 2020-04-01 | LG Electronics Inc. | Camera module and method for auto focusing thereof |
US20150304562A1 (en) * | 2014-04-22 | 2015-10-22 | Samsung Electro-Mechanics Co., Ltd. | Imaging apparatus and control method thereof |
JP6621253B2 (ja) * | 2015-06-23 | 2019-12-18 | キヤノン株式会社 | 撮像装置、制御方法およびプログラム |
US9942462B2 (en) | 2016-03-09 | 2018-04-10 | Lg Electronics Inc. | Apparatus and method for controlling auto focus of camera module |
KR20170126760A (ko) | 2016-05-10 | 2017-11-20 | 엘지전자 주식회사 | 카메라 모듈 및 그의 오토 포커스 방법 |
EP3952276B1 (en) * | 2019-03-28 | 2024-03-27 | Sony Group Corporation | Image processing device, image processing method, and program |
JP7156225B2 (ja) * | 2019-09-20 | 2022-10-19 | 株式会社デンソーテン | 付着物検出装置および付着物検出方法 |
Family Cites Families (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPS5969726A (ja) * | 1982-10-15 | 1984-04-20 | Olympus Optical Co Ltd | 固体撮像素子を内蔵した内視鏡装置 |
JPH11272855A (ja) * | 1998-03-23 | 1999-10-08 | Leben:Kk | 撮像の障害物除去方法 |
JP2000069352A (ja) * | 1998-08-26 | 2000-03-03 | Konica Corp | 画像入力方法及び画像入力装置 |
JP2001086411A (ja) * | 1999-09-13 | 2001-03-30 | Matsushita Electric Ind Co Ltd | 固体撮像装置 |
JP4282226B2 (ja) | 2000-12-28 | 2009-06-17 | オリンパス株式会社 | カメラ |
US7120315B2 (en) * | 2002-03-18 | 2006-10-10 | Creo Il., Ltd | Method and apparatus for capturing images using blemished sensors |
JP4179079B2 (ja) * | 2002-08-30 | 2008-11-12 | 株式会社ニコン | 電子カメラ及びその制御プログラム |
JP3826878B2 (ja) | 2002-11-19 | 2006-09-27 | コニカミノルタフォトイメージング株式会社 | 撮像装置 |
JP4466015B2 (ja) | 2002-12-27 | 2010-05-26 | 株式会社ニコン | 画像処理装置および画像処理プログラム |
JPWO2006022229A1 (ja) * | 2004-08-25 | 2008-05-08 | 松下電器産業株式会社 | 撮像光学機器、撮像画像処理システムおよび撮像画像処理プログラム |
US7424212B2 (en) * | 2004-11-12 | 2008-09-09 | Fujifilm Corporation | Camera shaking correcting method, camera shaking correcting device, and image pickup device |
-
2006
- 2006-06-05 JP JP2006156646A patent/JP4968885B2/ja active Active
-
2007
- 2007-06-04 US US11/757,556 patent/US7769282B2/en not_active Expired - Fee Related
-
2010
- 2010-06-24 US US12/822,808 patent/US8023811B2/en not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
US20100253794A1 (en) | 2010-10-07 |
US8023811B2 (en) | 2011-09-20 |
JP2007323030A (ja) | 2007-12-13 |
US20070285522A1 (en) | 2007-12-13 |
US7769282B2 (en) | 2010-08-03 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4968885B2 (ja) | 撮像装置及びその制御方法、撮像システム、画像処理方法並びにプログラム | |
JP5800611B2 (ja) | 撮影装置 | |
US9769384B2 (en) | Imaging apparatus capable of detecting position of movable image pickup device at first resolving power and at second resolving power higher than first resolving power and, at which second resolving power, deviation amount is less than or equal to pixel shift amount | |
US20110050921A1 (en) | Image stabilizing apparatus and image pickup apparatus | |
JP4875971B2 (ja) | 撮影装置及びその調整方法 | |
JP2006086978A (ja) | カメラシステム、カメラ本体及び交換レンズ | |
JP2008157979A (ja) | デジタルカメラ | |
US20110122268A1 (en) | Imaging device | |
WO2013146506A1 (ja) | 撮像装置及び撮像方法 | |
JP2008035308A (ja) | 電子カメラ及びレンズユニット | |
JP2001042207A (ja) | 電子カメラ | |
JP5832353B2 (ja) | 撮像装置 | |
JP5290557B2 (ja) | 撮像装置及び撮像方法 | |
JP2006295237A (ja) | 撮像装置 | |
US10917556B2 (en) | Imaging apparatus | |
JP2006050149A (ja) | 流し撮り方法および撮影装置 | |
JP6395401B2 (ja) | 像振れ補正装置およびその制御方法、光学機器、撮像装置 | |
JP5215818B2 (ja) | 撮像装置及びその制御方法及びプログラム | |
JP5188293B2 (ja) | 撮像装置及びその制御方法及びプログラム | |
US11330179B2 (en) | Imaging device and control method thereof | |
JP2008141675A (ja) | 撮像装置及びその制御方法 | |
JP6286951B2 (ja) | 撮影装置及びその調整制御方法 | |
WO2018128098A1 (ja) | 撮像装置および焦点調節方法 | |
JP7401278B2 (ja) | 撮像装置およびその制御方法 | |
JP2009229983A (ja) | 拡大表示機能付きカメラおよびカメラの制御方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20090525 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20090525 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20110413 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20110418 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20110616 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20120203 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20120312 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20120330 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20120402 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20150413 Year of fee payment: 3 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 4968885 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20150413 Year of fee payment: 3 |