JP5047080B2 - 画像処理装置及びその制御方法及びプログラム - Google Patents
画像処理装置及びその制御方法及びプログラム Download PDFInfo
- Publication number
- JP5047080B2 JP5047080B2 JP2008174955A JP2008174955A JP5047080B2 JP 5047080 B2 JP5047080 B2 JP 5047080B2 JP 2008174955 A JP2008174955 A JP 2008174955A JP 2008174955 A JP2008174955 A JP 2008174955A JP 5047080 B2 JP5047080 B2 JP 5047080B2
- Authority
- JP
- Japan
- Prior art keywords
- image data
- moving image
- dust
- image
- shadow
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000012545 processing Methods 0.000 title claims description 139
- 238000000034 method Methods 0.000 title claims description 83
- 238000003384 imaging method Methods 0.000 claims description 52
- 230000008569 process Effects 0.000 claims description 48
- 230000033001 locomotion Effects 0.000 claims description 30
- 230000003287 optical effect Effects 0.000 claims description 30
- 230000008859 change Effects 0.000 claims description 4
- 239000000126 substance Substances 0.000 claims description 4
- 239000000428 dust Substances 0.000 description 183
- 238000012937 correction Methods 0.000 description 73
- 230000006870 function Effects 0.000 description 26
- 238000001514 detection method Methods 0.000 description 19
- 238000007906 compression Methods 0.000 description 13
- AWSBQWZZLBPUQH-UHFFFAOYSA-N mdat Chemical compound C1=C2CC(N)CCC2=CC2=C1OCO2 AWSBQWZZLBPUQH-UHFFFAOYSA-N 0.000 description 13
- 230000006835 compression Effects 0.000 description 12
- 238000004891 communication Methods 0.000 description 10
- 238000005375 photometry Methods 0.000 description 8
- 238000013139 quantization Methods 0.000 description 8
- 238000010586 diagram Methods 0.000 description 7
- 238000006243 chemical reaction Methods 0.000 description 6
- 238000004364 calculation method Methods 0.000 description 5
- 230000007547 defect Effects 0.000 description 5
- 230000011514 reflex Effects 0.000 description 5
- 230000006837 decompression Effects 0.000 description 4
- 210000001747 pupil Anatomy 0.000 description 4
- 230000008707 rearrangement Effects 0.000 description 4
- 238000004458 analytical method Methods 0.000 description 3
- 230000009467 reduction Effects 0.000 description 3
- 101000946275 Homo sapiens Protein CLEC16A Proteins 0.000 description 2
- 102100034718 Protein CLEC16A Human genes 0.000 description 2
- 230000002457 bidirectional effect Effects 0.000 description 2
- 230000002950 deficient Effects 0.000 description 2
- 230000006866 deterioration Effects 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 238000005259 measurement Methods 0.000 description 2
- 238000012552 review Methods 0.000 description 2
- WHXSMMKQMYFTQS-UHFFFAOYSA-N Lithium Chemical compound [Li] WHXSMMKQMYFTQS-UHFFFAOYSA-N 0.000 description 1
- 229910005580 NiCd Inorganic materials 0.000 description 1
- 229910005813 NiMH Inorganic materials 0.000 description 1
- 241000593989 Scardinius erythrophthalmus Species 0.000 description 1
- 230000002411 adverse Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 230000015556 catabolic process Effects 0.000 description 1
- 239000006059 cover glass Substances 0.000 description 1
- 238000006731 degradation reaction Methods 0.000 description 1
- 230000000593 degrading effect Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000007667 floating Methods 0.000 description 1
- 239000011521 glass Substances 0.000 description 1
- 210000003128 head Anatomy 0.000 description 1
- 229910052744 lithium Inorganic materials 0.000 description 1
- 229910001416 lithium ion Inorganic materials 0.000 description 1
- 230000007774 longterm Effects 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 229910052751 metal Inorganic materials 0.000 description 1
- 239000002184 metal Substances 0.000 description 1
- 201000005111 ocular hyperemia Diseases 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 229920000642 polymer Polymers 0.000 description 1
- 230000001681 protective effect Effects 0.000 description 1
- 238000001454 recorded image Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
- H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/80—Camera processing pipelines; Components thereof
- H04N23/81—Camera processing pipelines; Components thereof for suppressing or minimising disturbance in the image signal generation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/80—Camera processing pipelines; Components thereof
- H04N23/81—Camera processing pipelines; Components thereof for suppressing or minimising disturbance in the image signal generation
- H04N23/811—Camera processing pipelines; Components thereof for suppressing or minimising disturbance in the image signal generation by dust removal, e.g. from surfaces of the image sensor or processing of the image signal output by the electronic image sensor
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Studio Devices (AREA)
- Image Processing (AREA)
Description
(1)mdat ボックスをファイル先頭に配置し、記録終了時に moov ボックスをmdat ボックスの後ろに配置する(図7(a))
(2)特許文献1に提案されるように、moov ボックスのサイズをあらかじめ決めてしまい、mdat ボックスのオフセット位置を決定して、記録を行う(図7(b))。記録時間が短く、ヘッダ領域が余る場合でも、その領域は free ボックスとして残す。ヘッダサイズを越えて記録する場合には、随時Iピクチャのフレーム番号情報を間引いて記録することで、ヘッダサイズをあらかじめ決定したサイズで維持する。
(3)moov ボックスとmdat ボックスのペアを、複数に分割して配置する(図7(c))
。なお、2つ目以降のヘッダ領域を moof ボックスと呼ぶ。
また、本発明に関わる画像処理装置は、被写体像を撮像する撮像素子と、該撮像素子の前方に配置された光学部材とを備える撮像手段から出力された、前記光学部材の表面に付着した異物の影が写り込んだ動画像データを再生する画像処理装置であって、前記撮像手段における前記異物の位置と大きさの情報を含む異物情報を取得する取得手段と、前記取得手段により取得された前記異物情報を用いて前記動画像データの前記異物の影を補正して再生することが可能な再生手段と、前記動画像データの該当フレームの異物の影を補正する処理を行うか否かを選択する選択手段と、を備え、前記選択手段は、前記動画像データの動きベクトルのベクトル値が一定値以上の場合は、異物の影を補正する処理を行わない選択をすることを特徴とする。
次に、スレッショルド値T1を超えない画素をゴミ画素とし、ゴミ画素によって構成される孤立領域を各々一つのゴミ領域di(i=0,1,…,n)とする。
また、このときの中心座標(Xdi,Ydi)は、近似的に、
Xdi=(Xmax+Xmin)/2
Ydi=(Ymax+Ymin)/2
で求めるものとする。このように求められた位置(座標)と半径を、ゴミ情報プロファイルとして記録する。
次に、ステップS1801で取得したフレームデータサイズが予め定められた閾値(X)より小さいか否かの判断を行う(ステップS1802)。ここで、閾値(X)は静的に決まった値でもよいし。再生の動作環境によって動的に選択することができるものでよい。もちろん、ユーザーが任意に決定する値としてもよい。
Ri’=(Ri×f1/f2+3) (1)
ここでの単位はピクセルであり、Ri’についての「+3」はマージン量である。
(1)図18のステップS1804で算出した中心座標Di’、半径Ri’(式(1)で求められたDi’,Ri’)に含まれる画素の平均輝度Yaveと最高輝度Ymaxを用いて次式で求められるスレッショルド値T2より暗い領域。
(2)上記の中心座標Di’、半径Ri’の円と接しない領域。
(3)(1)で選択された輝度の低い画素によって構成される孤立領域に対し、図11中のステップS1106と同様の方法で算出した半径値がl1画素以上、l2画素未満である領域。
(4)円の中心座標Diを含む領域。
本発明の第2の実施形態における画像処理装置の構成は、図15に示したものと同じであり、その動作が異なる。以下、第2の実施形態における動作について説明する。
本発明の第3の実施形態における画像処理装置の構成は、図15に示したものと同じであり、その動作が異なる。以下、第3の実施形態における動作について説明する。
本発明の第4の実施形態における画像処理装置の構成は、図15に示したものと同じであり、その動作が異なる。以下、第4の実施形態における動作について説明する。
本発明の第5の実施形態における画像処理装置の構成は、図15に示したものと同じであり、その動作が異なる。以下、第5の実施形態における動作について説明する。
第1乃至第5の実施形態では、別途用意した画像処理装置上でゴミ補正再生処理を行う場合について説明した。しかし、撮像装置内で同様の処理を行うことにより、撮像装置上でMP4ファイルのような動画ファイルをゴミ情報を用いて、ゴミ補正処理を行いながら再生することもできる。この場合においても、上記の実施形態の方法を用いることにより、動作速度の向上、メモリなどのリソース使用量の削減を行い、かつユーザーに目立つゴミなどの写りこみが補正された高品位な動画の再生を提供することができる。
また、各実施形態の目的は、次のような方法によっても達成される。すなわち、前述した実施形態の機能を実現するソフトウェアのプログラムコードを記録した記憶媒体(または記録媒体)を、システムあるいは装置に供給する。そして、そのシステムあるいは装置のコンピュータ(またはCPUやMPU)が記憶媒体に格納されたプログラムコードを読み出し実行する。この場合、記憶媒体から読み出されたプログラムコード自体が前述した実施形態の機能を実現することになり、そのプログラムコードを記憶した記憶媒体は本発明を構成することになる。また、コンピュータが読み出したプログラムコードを実行することにより、前述した実施形態の機能が実現されるだけでなく、本発明には次のような場合も含まれる。すなわち、プログラムコードの指示に基づき、コンピュータ上で稼働しているオペレーティングシステム(OS)などが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される。
Claims (8)
- 被写体像を撮像する撮像素子と、該撮像素子の前方に配置された光学部材とを備える撮像手段から出力された、前記光学部材の表面に付着した異物の影が写り込んだ動画像データを再生する画像処理装置であって、
前記撮像手段から出力された動画像データを入力する入力手段と、
前記撮像手段において前記動画像データに付加された前記異物の位置と大きさの情報を含む異物情報を、前記動画像データから取得する取得手段と、
前記動画像データを再生する際に、前記取得手段により取得された前記異物情報を用いて前記動画像データの前記異物の影を補正して再生することが可能な再生手段と、
前記再生手段で再生される前記動画像データのフレームのデータサイズに応じて、当該フレームの異物の影を補正する処理を行うか否かを選択する選択手段と、
を備えることを特徴とする画像処理装置。 - 前記選択手段は、前記取得手段により取得された前記異物情報に基づいて、一定以上の大きさと判断された異物については、前記動画像データのフレームのデータサイズに関わらず、異物の影を補正する処理を行う選択をすることを特徴とする請求項1に記載の画像処理装置。
- 前記選択手段は、前記取得手段により取得された前記異物情報に基づいて、予め指定された領域にあると判断された異物については、前記動画像データのフレームのデータサイズに関わらず、異物の影を補正する処理を行う選択をすることを特徴とする請求項1に記載の画像処理装置。
- 前記選択手段は、前記取得手段により取得された前記異物情報に基づいて、異物が一定の数以上ある場合には、異物の影を補正する処理を行うか否かの判断基準を変化させることを特徴とする請求項3に記載の画像処理装置。
- 前記選択手段は、前記再生手段により得られる動きベクトルのベクトル値が一定値以上の場合は、前記動画像データのフレームのデータサイズに関わらず、異物の影を補正する処理を行わない選択をすることを特徴とする請求項1に記載の画像処理装置。
- 被写体像を撮像する撮像素子と、該撮像素子の前方に配置された光学部材とを備える撮像手段から出力された、前記光学部材の表面に付着した異物の影が写り込んだ動画像データを再生する画像処理装置を制御する方法であって、
前記撮像手段から出力された動画像データを入力する入力工程と、
前記撮像手段において前記動画像データに付加された前記異物の位置と大きさの情報を含む異物情報を、前記動画像データから取得する取得工程と、
前記動画像データを再生する際に、前記取得工程において取得された前記異物情報を用いて前記動画像データの前記異物の影を補正して再生することが可能な再生工程と、
前記再生工程で再生される前記動画像データのフレームのデータサイズに応じて、当該フレームの異物の影を補正する処理を行うか否かを選択する選択工程と、
を備えることを特徴とする画像処理装置の制御方法。 - 請求項6に記載の制御方法をコンピュータに実行させるためのプログラム。
- 被写体像を撮像する撮像素子と、該撮像素子の前方に配置された光学部材とを備える撮像手段から出力された、前記光学部材の表面に付着した異物の影が写り込んだ動画像データを再生する画像処理装置であって、
前記撮像手段における前記異物の位置と大きさの情報を含む異物情報を取得する取得手段と、
前記取得手段により取得された前記異物情報を用いて前記動画像データの前記異物の影を補正して再生することが可能な再生手段と、
前記動画像データの該当フレームの異物の影を補正する処理を行うか否かを選択する選択手段と、を備え、
前記選択手段は、前記動画像データの動きベクトルのベクトル値が一定値以上の場合は、異物の影を補正する処理を行わない選択をする
ことを特徴とする画像処理装置。
Priority Applications (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2008174955A JP5047080B2 (ja) | 2008-07-03 | 2008-07-03 | 画像処理装置及びその制御方法及びプログラム |
US12/495,987 US8094216B2 (en) | 2008-07-03 | 2009-07-01 | Image processing apparatus, method for controlling image processing apparatus, and storage medium |
US13/312,819 US8531561B2 (en) | 2008-07-03 | 2011-12-06 | Image processing apparatus, method for controlling image processing apparatus, and storage medium |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2008174955A JP5047080B2 (ja) | 2008-07-03 | 2008-07-03 | 画像処理装置及びその制御方法及びプログラム |
Publications (3)
Publication Number | Publication Date |
---|---|
JP2010016649A JP2010016649A (ja) | 2010-01-21 |
JP2010016649A5 JP2010016649A5 (ja) | 2011-08-11 |
JP5047080B2 true JP5047080B2 (ja) | 2012-10-10 |
Family
ID=41464052
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2008174955A Expired - Fee Related JP5047080B2 (ja) | 2008-07-03 | 2008-07-03 | 画像処理装置及びその制御方法及びプログラム |
Country Status (2)
Country | Link |
---|---|
US (2) | US8094216B2 (ja) |
JP (1) | JP5047080B2 (ja) |
Families Citing this family (14)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP5047080B2 (ja) * | 2008-07-03 | 2012-10-10 | キヤノン株式会社 | 画像処理装置及びその制御方法及びプログラム |
JP5661380B2 (ja) * | 2009-09-24 | 2015-01-28 | キヤノン株式会社 | 撮像装置及び撮像装置の制御方法 |
DE102009049203B4 (de) * | 2009-10-13 | 2016-10-13 | Arnold & Richter Cine Technik Gmbh & Co. Betriebs Kg | Diagnoseeinheit für eine elektronische Kamera und Kamerasystem |
JP5683099B2 (ja) * | 2009-12-18 | 2015-03-11 | キヤノン株式会社 | 画像読取装置、画像読取装置の制御方法、およびプログラム |
WO2011108893A2 (en) | 2010-03-05 | 2011-09-09 | Samsung Electronics Co., Ltd. | Method and apparatus for generating and reproducing adaptive stream based on file format, and recording medium thereof |
JP2012054788A (ja) * | 2010-09-01 | 2012-03-15 | Canon Inc | データファイル転送装置、その制御方法、プログラム及び記憶媒体 |
JP5741092B2 (ja) * | 2011-03-15 | 2015-07-01 | 富士通株式会社 | 画像符号化方法及び画像符号化装置 |
JP2012212135A (ja) * | 2011-03-23 | 2012-11-01 | Panasonic Corp | 交換レンズと、該交換レンズを装着および制御できるカメラボディ |
US8987788B2 (en) | 2011-09-26 | 2015-03-24 | Semiconductor Components Industries, Llc | Metal-strapped CCD image sensors |
US9253375B2 (en) * | 2013-04-02 | 2016-02-02 | Google Inc. | Camera obstruction detection |
US10557904B2 (en) * | 2013-04-02 | 2020-02-11 | Koninklijke Philips N.V. | Detection of bone tissue using magnetic resonance imaging |
WO2015009064A1 (en) * | 2013-07-17 | 2015-01-22 | Samsung Electronics Co., Ltd. | Electronic device for storing image and image storage method thereof |
CN106576179A (zh) * | 2014-05-05 | 2017-04-19 | 哈曼国际工业有限公司 | 播放控制 |
US9186909B1 (en) | 2014-09-26 | 2015-11-17 | Intel Corporation | Method and system of lens shading color correction using block matching |
Family Cites Families (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH06105241A (ja) | 1992-09-17 | 1994-04-15 | Sony Corp | 画素欠陥補正方法 |
JP2001223894A (ja) | 2000-02-14 | 2001-08-17 | Canon Inc | 画像処理装置、方法および記憶媒体 |
JP4040343B2 (ja) | 2002-03-28 | 2008-01-30 | 株式会社東芝 | 動画像処理装置 |
JP4968885B2 (ja) * | 2006-06-05 | 2012-07-04 | キヤノン株式会社 | 撮像装置及びその制御方法、撮像システム、画像処理方法並びにプログラム |
JP4771539B2 (ja) * | 2006-07-26 | 2011-09-14 | キヤノン株式会社 | 画像処理装置及びその制御方法及びプログラム |
JP4799462B2 (ja) * | 2007-03-27 | 2011-10-26 | キヤノン株式会社 | 画像処理装置及びその制御方法及びプログラム及び記憶媒体及び撮像装置 |
JP5047080B2 (ja) * | 2008-07-03 | 2012-10-10 | キヤノン株式会社 | 画像処理装置及びその制御方法及びプログラム |
-
2008
- 2008-07-03 JP JP2008174955A patent/JP5047080B2/ja not_active Expired - Fee Related
-
2009
- 2009-07-01 US US12/495,987 patent/US8094216B2/en not_active Expired - Fee Related
-
2011
- 2011-12-06 US US13/312,819 patent/US8531561B2/en not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
US8094216B2 (en) | 2012-01-10 |
JP2010016649A (ja) | 2010-01-21 |
US20100002103A1 (en) | 2010-01-07 |
US20120075508A1 (en) | 2012-03-29 |
US8531561B2 (en) | 2013-09-10 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5047080B2 (ja) | 画像処理装置及びその制御方法及びプログラム | |
JP5210091B2 (ja) | 画像処理装置及びその制御方法、撮像装置、プログラム | |
JP5014195B2 (ja) | 撮像装置及びその制御方法及びプログラム | |
JP5086879B2 (ja) | 画像処理装置及びその制御方法及びプログラム | |
JP5203869B2 (ja) | 画像処理装置及びその制御方法及びプログラム | |
US9565362B2 (en) | Imaging apparatus and method for controlling the same | |
JP5014262B2 (ja) | 撮像装置及びその制御方法及びプログラム | |
JP5111315B2 (ja) | 画像処理装置及び画像処理方法及びプログラム | |
JP5094665B2 (ja) | 撮像装置及びその制御方法及びプログラム | |
JP4785460B2 (ja) | 撮像装置及び撮像方法 | |
JP5247346B2 (ja) | 撮像装置及びその制御方法及びプログラム及び画像処理装置及び画像処理方法 | |
JP2009296361A (ja) | 画像処理装置及びその制御方法及びプログラム | |
JP2012156886A (ja) | 撮像装置 | |
JP2016208206A (ja) | 記録装置 | |
JP2020005142A (ja) | 撮像装置及びその制御方法、プログラム、記憶媒体 | |
JP2011181989A (ja) | 撮像装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20110628 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20110628 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20120607 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20120615 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20120717 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20150727 Year of fee payment: 3 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 5047080 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |
|
LAPS | Cancellation because of no payment of annual fees |