JP5106335B2 - 撮像装置及びその制御方法及びプログラム - Google Patents
撮像装置及びその制御方法及びプログラム Download PDFInfo
- Publication number
- JP5106335B2 JP5106335B2 JP2008244942A JP2008244942A JP5106335B2 JP 5106335 B2 JP5106335 B2 JP 5106335B2 JP 2008244942 A JP2008244942 A JP 2008244942A JP 2008244942 A JP2008244942 A JP 2008244942A JP 5106335 B2 JP5106335 B2 JP 5106335B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- information
- dust
- recording
- image sensor
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000003384 imaging method Methods 0.000 title claims abstract description 49
- 238000000034 method Methods 0.000 title claims description 96
- 230000003287 optical effect Effects 0.000 claims abstract description 40
- 238000001514 detection method Methods 0.000 claims abstract description 32
- 239000000126 substance Substances 0.000 claims abstract description 5
- 239000000428 dust Substances 0.000 description 176
- 238000012545 processing Methods 0.000 description 97
- 230000008569 process Effects 0.000 description 59
- 238000012937 correction Methods 0.000 description 54
- 230000006870 function Effects 0.000 description 33
- 239000012634 fragment Substances 0.000 description 15
- 230000006641 stabilisation Effects 0.000 description 15
- 238000011105 stabilization Methods 0.000 description 15
- 238000004891 communication Methods 0.000 description 13
- 238000007906 compression Methods 0.000 description 11
- 230000006835 compression Effects 0.000 description 10
- 238000005375 photometry Methods 0.000 description 9
- 210000001747 pupil Anatomy 0.000 description 9
- 230000008859 change Effects 0.000 description 8
- 238000006243 chemical reaction Methods 0.000 description 8
- 230000011514 reflex Effects 0.000 description 6
- 230000005236 sound signal Effects 0.000 description 5
- 230000006837 decompression Effects 0.000 description 4
- 230000007547 defect Effects 0.000 description 4
- 238000010586 diagram Methods 0.000 description 4
- AWSBQWZZLBPUQH-UHFFFAOYSA-N mdat Chemical compound C1=C2CC(N)CCC2=CC2=C1OCO2 AWSBQWZZLBPUQH-UHFFFAOYSA-N 0.000 description 4
- 238000012546 transfer Methods 0.000 description 4
- 230000008901 benefit Effects 0.000 description 3
- 230000006866 deterioration Effects 0.000 description 3
- 238000009825 accumulation Methods 0.000 description 2
- 230000002950 deficient Effects 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000005259 measurement Methods 0.000 description 2
- 230000002093 peripheral effect Effects 0.000 description 2
- 238000012552 review Methods 0.000 description 2
- 230000003595 spectral effect Effects 0.000 description 2
- WHXSMMKQMYFTQS-UHFFFAOYSA-N Lithium Chemical compound [Li] WHXSMMKQMYFTQS-UHFFFAOYSA-N 0.000 description 1
- 229910005580 NiCd Inorganic materials 0.000 description 1
- 229910005813 NiMH Inorganic materials 0.000 description 1
- 241000593989 Scardinius erythrophthalmus Species 0.000 description 1
- 230000001174 ascending effect Effects 0.000 description 1
- 230000015556 catabolic process Effects 0.000 description 1
- 239000006059 cover glass Substances 0.000 description 1
- 238000006731 degradation reaction Methods 0.000 description 1
- 238000006073 displacement reaction Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 238000007667 floating Methods 0.000 description 1
- 239000011521 glass Substances 0.000 description 1
- 210000003128 head Anatomy 0.000 description 1
- 229910052744 lithium Inorganic materials 0.000 description 1
- 229910001416 lithium ion Inorganic materials 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 229910052751 metal Inorganic materials 0.000 description 1
- 239000002184 metal Substances 0.000 description 1
- 201000005111 ocular hyperemia Diseases 0.000 description 1
- 230000008520 organization Effects 0.000 description 1
- 229920000642 polymer Polymers 0.000 description 1
- 238000002360 preparation method Methods 0.000 description 1
- 230000001681 protective effect Effects 0.000 description 1
- 238000001454 recorded image Methods 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- GGCZERPQGJTIQP-UHFFFAOYSA-N sodium;9,10-dioxoanthracene-2-sulfonic acid Chemical compound [Na+].C1=CC=C2C(=O)C3=CC(S(=O)(=O)O)=CC=C3C(=O)C2=C1 GGCZERPQGJTIQP-UHFFFAOYSA-N 0.000 description 1
- 230000002123 temporal effect Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
- 210000000707 wrist Anatomy 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
- H04N23/682—Vibration or motion blur correction
- H04N23/683—Vibration or motion blur correction performed by a processor, e.g. controlling the readout of an image memory
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/80—Camera processing pipelines; Components thereof
- H04N23/81—Camera processing pipelines; Components thereof for suppressing or minimising disturbance in the image signal generation
- H04N23/811—Camera processing pipelines; Components thereof for suppressing or minimising disturbance in the image signal generation by dust removal, e.g. from surfaces of the image sensor or processing of the image signal output by the electronic image sensor
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
- H04N25/68—Noise processing, e.g. detecting, correcting, reducing or removing noise applied to defects
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
- H04N25/68—Noise processing, e.g. detecting, correcting, reducing or removing noise applied to defects
- H04N25/69—SSIS comprising testing or correcting structures for circuits other than pixel cells
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Studio Devices (AREA)
- Adjustment Of Camera Lenses (AREA)
Description
図1は、本発明の第1の実施形態における画像処理機能を有する撮像装置の構成を示すブロック図である。本実施形態においては、撮像装置としてレンズ交換可能な一眼レフタイプのデジタルスチルカメラを例に挙げて説明する。なお撮像装置としては、他にレンズ交換が可能なデジタルビデオカメラ等にも、本発明を適用することが可能である。
次に、ゴミが付着している画素はその輝度が周囲の画素の輝度よりも低下するため、スレッショルド値T1を超えない画素をゴミ画素とし、ゴミ画素によって構成される孤立領域を各々一つのゴミ領域di(i=0,1,…,n)とする。
また、このときの中心座標(Xdi,Ydi)は、近似的に、
Xdi=(Xmax+Xmin)/2
Ydi=(Ymax+Ymin)/2
で求めるものとする。このように求められた位置(座標)と半径を、ゴミ情報プロファイルとして記録する。
Ri’=(Ri×f1/f2+3) (1)
ここでの単位はピクセルであり、Ri’についての「+3」はマージン量である。
次に、ゴミ領域の補間処理の詳細について説明する。
(1)中心座標Di’、半径Ri’(式(1)で求められたDi’,Ri’)に含まれる画素の平均輝度Yave と最高輝度Ymax を用いて次式で求められるスレッショルド値T2より暗い領域。
(2)上記の中心座標Di’、半径Ri’の円と接しない領域。
(3)(1)で選択された輝度の低い画素によって構成される孤立領域に対し、上述の方法で算出した半径値がX1画素以上、X2画素未満である領域。
(4)円の中心座標Diを含む領域。
次に、カメラの揺れを検出し、手ブレ量に応じて撮像素子から得られる画像から手ブレを補正するように画像の一部を切り出す電子防振の処理について説明する。
図14は、本実施形態における動画撮影時の1フレーム毎に行われる記録処理のフローチャートである。当該処理はシステム制御回路50がメモリ52に記憶された動画撮像処理プログラムを実行することにより実施される。
続いて、電子防振システムを用いて撮影された動画像データからゴミの影響を取り除く画像処理について説明する。
第2の実施形態に係るデジタルカメラの構成は、第1の実施形態と同様であるので説明を省略し、第1の実施形態と異なる動作のみについて説明する。
また、各実施形態の目的は、次のような方法によっても達成される。すなわち、前述した実施形態の機能を実現するソフトウェアのプログラムコードを記録した記憶媒体(または記録媒体)を、システムあるいは装置に供給する。そして、そのシステムあるいは装置のコンピュータ(またはCPUやMPU)が記憶媒体に格納されたプログラムコードを読み出し実行する。この場合、記憶媒体から読み出されたプログラムコード自体が前述した実施形態の機能を実現することになり、そのプログラムコードを記憶した記憶媒体は本発明を構成することになる。また、コンピュータが読み出したプログラムコードを実行することにより、前述した実施形態の機能が実現されるだけでなく、本発明には次のような場合も含まれる。すなわち、プログラムコードの指示に基づき、コンピュータ上で稼働しているオペレーティングシステム(OS)などが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される。
Claims (7)
- 被写体像を光電変換する撮像素子を備え、該撮像素子からの出力信号に基づいて動画像データを生成する撮像手段と、
前記撮像素子の前方に配置された光学素子に付着した異物の、少なくとも位置と大きさに関する情報を含む異物情報を記憶する記憶手段と、
前記撮像素子の揺れ量を検出する検出手段と、
前記検出手段により検出された前記撮像素子の前記揺れ量に応じて、前記撮像素子の画面全体からの画像の切り出し位置を制御する制御手段と、
前記異物情報と前記切り出し位置の情報とを前記動画像データと関連付けて記録する記録手段と、
を備えることを特徴とする撮像装置。 - 前記切り出し位置の情報とは、撮像素子の画面全体におけるX座標とY座標であることを特徴とする請求項1に記載の撮像装置。
- 前記切り出し位置の情報とは、ある基準となるフレームの画像の切り出し位置との差分量であることを特徴とする請求項1に記載の撮像装置。
- 前記記録手段は、前記切り出し位置の差分量が一定値以下の場合には、前記切り出し位置の情報の記録を行わないことを特徴とする請求項3に記載の撮像装置。
- 前記動画像データに関連付けて記録されている前記異物情報と前記切り出し位置の情報とを取得する取得手段と、前記異物情報を前記切り出し位置の情報に基づいて変換し、該変換された異物情報を用いて、前記動画像データにおける異物に対応する画素を補間処理する補間手段とをさらに備えることを特徴とする請求項1に記載の撮像装置。
- 被写体像を光電変換する撮像素子を備え、該撮像素子からの出力信号に基づいて動画像データを生成する撮像手段を有する撮像装置を制御する方法であって、
前記撮像素子の前方に配置された光学素子に付着した異物の、少なくとも位置と大きさに関する情報を含む異物情報を記憶する記憶工程と、
前記撮像素子の揺れ量を検出する検出工程と、
前記検出工程において検出された前記撮像素子の前記揺れ量に応じて、前記撮像素子の画面全体からの画像の切り出し位置を制御する制御工程と、
前記異物情報と前記切り出し位置の情報とを前記動画像データと関連付けて記録する記録工程と、
を備えることを特徴とする撮像装置の制御方法。 - 請求項6に記載の制御方法をコンピュータに実行させるためのプログラム。
Priority Applications (4)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2008244942A JP5106335B2 (ja) | 2008-09-24 | 2008-09-24 | 撮像装置及びその制御方法及びプログラム |
US12/562,900 US8314842B2 (en) | 2008-09-24 | 2009-09-18 | Imaging apparatus and method for controlling the same |
CN2009101780832A CN101686331B (zh) | 2008-09-24 | 2009-09-24 | 摄像装置及其控制方法 |
US13/655,349 US9565362B2 (en) | 2008-09-24 | 2012-10-18 | Imaging apparatus and method for controlling the same |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2008244942A JP5106335B2 (ja) | 2008-09-24 | 2008-09-24 | 撮像装置及びその制御方法及びプログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2010081114A JP2010081114A (ja) | 2010-04-08 |
JP5106335B2 true JP5106335B2 (ja) | 2012-12-26 |
Family
ID=42037229
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2008244942A Expired - Fee Related JP5106335B2 (ja) | 2008-09-24 | 2008-09-24 | 撮像装置及びその制御方法及びプログラム |
Country Status (3)
Country | Link |
---|---|
US (2) | US8314842B2 (ja) |
JP (1) | JP5106335B2 (ja) |
CN (1) | CN101686331B (ja) |
Families Citing this family (20)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP5046769B2 (ja) * | 2007-07-24 | 2012-10-10 | キヤノン株式会社 | 撮像装置及びその制御方法及びプログラム |
WO2013031155A1 (ja) * | 2011-08-30 | 2013-03-07 | パナソニック株式会社 | 撮像装置 |
CN103196550A (zh) * | 2012-01-09 | 2013-07-10 | 西安智意能电子科技有限公司 | 一种对发射光源的成像信息进行筛选处理的方法与设备 |
RU2486688C1 (ru) * | 2012-01-10 | 2013-06-27 | Александр Константинович Цыцулин | Видеосистема на кристалле для стабилизации изображения |
US9956941B2 (en) * | 2012-07-03 | 2018-05-01 | Clarion Co., Ltd. | On-board device controlling accumulation removing units |
EP2871101B1 (en) * | 2012-07-03 | 2020-06-17 | Clarion Co., Ltd. | Vehicle surrounding monitoring device |
JP5716726B2 (ja) * | 2012-11-27 | 2015-05-13 | コニカミノルタ株式会社 | 画像形成装置、画像形成装置の制御方法、および画像形成装置の制御プログラム |
US20140176774A1 (en) * | 2012-12-25 | 2014-06-26 | Samsung Electronics Co., Ltd. | Photographing apparatus and method for photographing in an appropriate photographing mode |
CN103152522A (zh) * | 2013-02-25 | 2013-06-12 | 东莞宇龙通信科技有限公司 | 调整拍摄位置的方法及其终端 |
US9253375B2 (en) * | 2013-04-02 | 2016-02-02 | Google Inc. | Camera obstruction detection |
KR102122472B1 (ko) * | 2013-10-21 | 2020-06-12 | 삼성전자주식회사 | 렌즈 분리형 카메라의 동작 방법 및 장치 |
JP2015119403A (ja) * | 2013-12-19 | 2015-06-25 | キヤノン株式会社 | 画像記録装置、画像記録方法およびプログラム並びに撮像装置 |
US10438631B2 (en) | 2014-02-05 | 2019-10-08 | Snap Inc. | Method for real-time video processing involving retouching of an object in the video |
EP2942940A1 (en) * | 2014-05-06 | 2015-11-11 | Nokia Technologies OY | Method and apparatus for defining the visible content of an image |
US10116901B2 (en) | 2015-03-18 | 2018-10-30 | Avatar Merger Sub II, LLC | Background modification in video conferencing |
JP6664240B2 (ja) * | 2016-03-09 | 2020-03-13 | キヤノン株式会社 | 撮像システム並びに撮像装置及びその制御方法 |
US10682870B2 (en) * | 2016-06-09 | 2020-06-16 | Ricoh Company, Ltd. | Conveyed object detector, conveyance device, device including movable head, conveyed object detecting method, and non-transitory recording medium storing program of same |
JP6938237B2 (ja) * | 2017-06-21 | 2021-09-22 | キヤノン株式会社 | 情報処理装置、情報処理方法及びプログラム |
KR20210107958A (ko) | 2020-02-24 | 2021-09-02 | 삼성전자주식회사 | 디지털 영상 안정화 장치, 그것의 동작 방법, 및 그것을 갖는 전자 장치 |
CN112561915B (zh) * | 2020-11-30 | 2024-06-21 | 成都市喜爱科技有限公司 | 图像处理方法、装置、图像采集装置及存储介质 |
Family Cites Families (14)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5060074A (en) * | 1989-10-18 | 1991-10-22 | Hitachi, Ltd. | Video imaging apparatus |
EP0488723B1 (en) | 1990-11-30 | 1997-02-26 | Canon Kabushiki Kaisha | Movement vector detection apparatus |
JP3200089B2 (ja) | 1991-06-21 | 2001-08-20 | キヤノン株式会社 | 動きベクトル検出装置及び振れ補正装置 |
EP0845699B1 (en) | 1992-09-11 | 2002-07-24 | Canon Kabushiki Kaisha | Image-shake correcting device |
JPH0698246A (ja) | 1992-09-11 | 1994-04-08 | Canon Inc | 振れ補正装置 |
JPH06105241A (ja) | 1992-09-17 | 1994-04-15 | Sony Corp | 画素欠陥補正方法 |
US6233009B1 (en) | 1993-09-08 | 2001-05-15 | Canon Kabushiki Kaisha | Image-shake correcting device for detecting vibration frequency and for changing vibration characteristics |
JP2001223894A (ja) | 2000-02-14 | 2001-08-17 | Canon Inc | 画像処理装置、方法および記憶媒体 |
US7365788B2 (en) | 2003-02-07 | 2008-04-29 | Olympus Corporation | Imager apparatus |
JP4197968B2 (ja) | 2003-02-07 | 2008-12-17 | オリンパス株式会社 | 電子撮像装置 |
JP4757085B2 (ja) * | 2006-04-14 | 2011-08-24 | キヤノン株式会社 | 撮像装置及びその制御方法、画像処理装置、画像処理方法、及びプログラム |
JP4968885B2 (ja) * | 2006-06-05 | 2012-07-04 | キヤノン株式会社 | 撮像装置及びその制御方法、撮像システム、画像処理方法並びにプログラム |
JP4961850B2 (ja) * | 2006-06-15 | 2012-06-27 | ソニー株式会社 | 動き検出方法、動き検出方法のプログラム、動き検出方法のプログラムを記録した記録媒体及び動き検出装置 |
JP2010147925A (ja) * | 2008-12-19 | 2010-07-01 | Sanyo Electric Co Ltd | 撮像装置 |
-
2008
- 2008-09-24 JP JP2008244942A patent/JP5106335B2/ja not_active Expired - Fee Related
-
2009
- 2009-09-18 US US12/562,900 patent/US8314842B2/en not_active Expired - Fee Related
- 2009-09-24 CN CN2009101780832A patent/CN101686331B/zh not_active Expired - Fee Related
-
2012
- 2012-10-18 US US13/655,349 patent/US9565362B2/en not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
US20130038721A1 (en) | 2013-02-14 |
US9565362B2 (en) | 2017-02-07 |
US8314842B2 (en) | 2012-11-20 |
CN101686331B (zh) | 2011-10-05 |
US20100073492A1 (en) | 2010-03-25 |
CN101686331A (zh) | 2010-03-31 |
JP2010081114A (ja) | 2010-04-08 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5106335B2 (ja) | 撮像装置及びその制御方法及びプログラム | |
US8335399B2 (en) | Image processing apparatus, control method therefor, and program | |
US8531561B2 (en) | Image processing apparatus, method for controlling image processing apparatus, and storage medium | |
JP5014195B2 (ja) | 撮像装置及びその制御方法及びプログラム | |
JP5014262B2 (ja) | 撮像装置及びその制御方法及びプログラム | |
US9013608B2 (en) | Image sensing apparatus comprising foreign substance detection control method thereof, and program | |
JP2006197243A (ja) | 撮像装置及び撮像方法及びプログラム及び記憶媒体 | |
JP5094665B2 (ja) | 撮像装置及びその制御方法及びプログラム | |
JP2010081115A (ja) | 画像処理装置及び画像処理方法及びプログラム | |
JP2006295316A (ja) | 撮像装置及び撮像方法及びプログラム及び記憶媒体 | |
JP5247346B2 (ja) | 撮像装置及びその制御方法及びプログラム及び画像処理装置及び画像処理方法 | |
JP5241348B2 (ja) | 撮像装置及びその制御方法及びプログラム | |
US11055871B2 (en) | Image capturing apparatus, control method for the same, and storage medium | |
JP4393177B2 (ja) | 撮像装置および撮像方法 | |
US11196921B2 (en) | Image capturing apparatus, control method for the same, and storage medium | |
JP5370662B2 (ja) | 撮像装置 | |
JP2008011244A (ja) | 撮像装置及びその制御方法、及びプログラム | |
JP2016208206A (ja) | 記録装置 | |
JP2008035274A (ja) | 撮像装置及びその制御方法 | |
JP2006174251A (ja) | デジタルカメラ |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20110913 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20120821 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20120903 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20121002 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 5106335 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20151012 Year of fee payment: 3 |
|
LAPS | Cancellation because of no payment of annual fees |