JP2017055262A - Data missing pixel detector - Google Patents

Data missing pixel detector Download PDF

Info

Publication number
JP2017055262A
JP2017055262A JP2015177771A JP2015177771A JP2017055262A JP 2017055262 A JP2017055262 A JP 2017055262A JP 2015177771 A JP2015177771 A JP 2015177771A JP 2015177771 A JP2015177771 A JP 2015177771A JP 2017055262 A JP2017055262 A JP 2017055262A
Authority
JP
Japan
Prior art keywords
detection
pixel
detection level
data
time
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2015177771A
Other languages
Japanese (ja)
Inventor
吉栄 阪本
Yoshihide Sakamoto
吉栄 阪本
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ricoh Imaging Co Ltd
Original Assignee
Ricoh Imaging Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ricoh Imaging Co Ltd filed Critical Ricoh Imaging Co Ltd
Priority to JP2015177771A priority Critical patent/JP2017055262A/en
Publication of JP2017055262A publication Critical patent/JP2017055262A/en
Pending legal-status Critical Current

Links

Images

Landscapes

  • Transforming Light Signals Into Electric Signals (AREA)
  • Studio Devices (AREA)

Abstract

PROBLEM TO BE SOLVED: To detect a defective pixel or a data missing pixel due to a foreign matter, more accurately by convenient operation.SOLUTION: In data missing pixel detection processing for detecting a defective pixel (pixel injury) occurring congenitally and posteriorly, or a pixel missing data due to a foreign matter, a determination is made whether or not the lapsed time from the start of previous processing is shorter than a predetermined time (step S114). When the lapsed time goes over a predetermined time, the detection level is set to a normal detection level (step S116). When the lapsed time is shorter than a predetermined time, the detection level is set to a high sensitivity (step S118).SELECTED DRAWING: Figure 2

Description

本発明は、撮像素子を用いた撮影を行うデジタルカメラなどの撮像装置に関する。   The present invention relates to an imaging apparatus such as a digital camera that performs imaging using an imaging element.

撮像素子には一般に欠陥画素が存在し、欠陥画素により欠損した画素データは、例えば画像処理により補間される。また、レンズ交換可能なカメラでは、レンズを取り外した際、塵や埃などの異物が撮像素子表面などに付着し、撮影画像にこれら異物の影が写り込むことがある。そのためデジタルカメラには、欠陥画素や異物によりデータが欠損する画素を検出する機能を備えたものも存在する。なお、異物検出は、無地の画像を撮像し、異物の影が写り込んだ画像領域を検出することで行われる。   In general, a defective pixel exists in an image sensor, and pixel data missing due to the defective pixel is interpolated by, for example, image processing. Further, in a camera with interchangeable lenses, when a lens is removed, foreign matters such as dust and dirt may adhere to the surface of the image sensor and the shadows of these foreign matters may appear in the captured image. For this reason, some digital cameras have a function of detecting defective pixels or pixels in which data is lost due to foreign matter. The foreign object detection is performed by capturing a solid image and detecting an image area in which the shadow of the foreign object is reflected.

しかし画素の欠陥は出荷後も発生(後天的欠陥画素)し、欠陥画素の数は時間の経過とともに増大する。そのため欠陥画素の位置情報を更新しないと、異物検出を行う際に誤検出が発生する。このような問題に対しては、カメラに欠陥画素の位置を検出する手段を設けるとともに、異物検出を行う前に、前回の欠陥画素の位置検出処理の実行から現在までの経過時間を求め、経過時間が設定値を超えていれば、改めて欠陥画素の位置検出処理を実行してから異物検出処理を実行する構成が提案されている（特許文献１参照）。また、異物検出処理では、撮影された画像の用途などによって要求される異物検出レベル（異物検出感度）が異なる。そのためユーザ操作に基づき異物検出レベルを選択可能とした構成も提案されている（特許文献２参照）。なお、本明細書、特許請求の範囲において使用される「欠陥画素」には、出荷後に発生した後天的な欠陥画素が含まれる。   However, pixel defects also occur after shipment (acquired defective pixels), and the number of defective pixels increases with time. Therefore, if the position information of the defective pixel is not updated, erroneous detection occurs when performing foreign object detection. For such problems, the camera is provided with a means for detecting the position of the defective pixel, and before the foreign object detection, the elapsed time from the execution of the position detection process of the previous defective pixel to the present is obtained. If the time exceeds the set value, a configuration is proposed in which the foreign object detection process is performed after the defective pixel position detection process is performed again (see Patent Document 1). In the foreign object detection process, the required foreign object detection level (foreign object detection sensitivity) differs depending on the use of the photographed image. For this reason, a configuration in which the foreign object detection level can be selected based on a user operation has been proposed (see Patent Document 2). The “defective pixel” used in the present specification and claims includes acquired defective pixels generated after shipment.

特開２００７−２０８７４３号公報JP 2007-208743 A 特許第４６４０１０８号公報Japanese Patent No. 4640108

欠陥画素の情報は、異物検出精度や欠損した画素データの補間処理に影響し、撮像された画像の画質に大きく影響する。そのためユーザは画質に問題があると感じたときなど、随時欠陥画素の位置検出（ピクセルマッピング）を実行する必要がある。しかし、欠陥画素検出における検出レベルが適正でないとピクセルマッピングを繰り返しても良好な画質の画像を得ることはできない。   The defective pixel information affects the foreign object detection accuracy and the interpolation processing of the missing pixel data, and greatly affects the image quality of the captured image. For this reason, it is necessary to detect the position of defective pixels (pixel mapping) at any time when the user feels that there is a problem in image quality. However, if the detection level in detecting defective pixels is not appropriate, it is not possible to obtain an image with good image quality even if pixel mapping is repeated.

従来のカメラは、特許文献１のように欠陥画素検出機能を備えていても、欠陥画素検出処理の検出レベルを変更する機能は備えていない。特許文献２の異物検出処理では、異物検出レベルをユーザが選択できるが、欠陥画素の検出レベルを変更する機能は備えていない。また、欠陥画素や異物の検出処理に検出レベルを設定する機能を設けたとしても、ユーザは設定変更の必要を感じたときに、同設定を行うためのメニューを開かなければならず、その作業は煩雑である。   Even if the conventional camera has a defective pixel detection function as in Patent Document 1, it does not have a function to change the detection level of the defective pixel detection process. In the foreign object detection process of Patent Document 2, the user can select a foreign object detection level, but does not have a function of changing the detection level of a defective pixel. Even if a function for setting a detection level is provided for detection processing of defective pixels and foreign matter, the user must open a menu for performing the setting when the user feels that the setting needs to be changed. Is complicated.

本発明は、簡便な操作で常に適正に欠陥画素や異物に起因する画素データの欠損を検出可能にすることを課題としている。   An object of the present invention is to make it possible to detect a defect of pixel data caused by a defective pixel or a foreign object at all times with a simple operation.

本発明のデータ欠損画素検出装置は、撮像素子から供給される画像信号に基づき、欠陥画素または撮像素子に付着する異物が写り込む画素の検出を行う検出手段と、この検出手段における検出レベルを設定・変更するための検出レベル設定手段と、検出手段が前回起動されたときから今回起動されるまでの時間を取得する起動間隔取得手段と、起動間隔取得手段において取得された時間に基づき検出レベル設定手段を起動することを特徴としている。   The data missing pixel detection device of the present invention sets a detection means for detecting a defective pixel or a pixel in which a foreign substance adhering to the image pickup element is reflected based on an image signal supplied from the image pickup element, and sets a detection level in the detection means. Detection level setting means for changing, activation interval acquisition means for acquiring the time from when the detection means was last activated until the current activation, and detection level setting based on the time acquired by the activation interval acquisition means It is characterized by activating means.

検出レベル設定手段は、検出手段が前回起動されたときから今回起動されるまでの時間が短いとき、検出レベルを高感度とする。検出レベル設定手段は、例えば検出レベルを選択するための設定メニューを表示する。検出レベル設定手段において決定された検出レベルから近い検出レベルでも検出手段を駆動し、その結果を比較表示してもよい。欠陥画素の検出は、画素値と閾値との比較により行われ、閾値は検出レベルおよび温度に基づき設定される。異物が写り込む画素の検出は、異物の影の大きさと閾値との比較により行われ、この閾値は検出レベルに基づき設定される。   The detection level setting means sets the detection level to high sensitivity when the time from when the detection means is activated last time to when it is activated this time is short. The detection level setting means displays a setting menu for selecting the detection level, for example. The detection unit may be driven even at a detection level close to the detection level determined by the detection level setting unit, and the result may be compared and displayed. The defective pixel is detected by comparing the pixel value with a threshold value, and the threshold value is set based on the detection level and temperature. Detection of a pixel in which a foreign object appears is performed by comparing the size of the shadow of the foreign object with a threshold value, and this threshold value is set based on the detection level.

本発明の撮像装置は、上記の何れかのデータ欠損画素検出装置を搭載したことを特徴としている。   An image pickup apparatus according to the present invention is characterized by mounting any one of the above-described data missing pixel detection apparatuses.

本発明によれば、簡便な操作でより正確に欠陥画素や異物に起因する画素データの欠損を検出可能にすることができる。   According to the present invention, it is possible to detect a defect in pixel data caused by a defective pixel or a foreign object more accurately by a simple operation.

本発明の一実施形態である撮像装置の概略的な構成を示すブロック図である。1 is a block diagram illustrating a schematic configuration of an imaging apparatus that is an embodiment of the present invention. 本実施形態のデータ欠損画素検出処理の流を示すフローチャートである。It is a flowchart which shows the flow of the data defect pixel detection process of this embodiment. 図２のステップＳ１０４で実行される欠陥画素検出処理のフローチャートである。It is a flowchart of the defective pixel detection process performed by step S104 of FIG. 図２のステップＳ１０４で実行される異物検出処理のフローチャートである。It is a flowchart of the foreign material detection process performed by step S104 of FIG. 変形例における検出レベル設定メニューの図である。It is a figure of the detection level setting menu in a modification.

以下、本発明の実施の形態を、図面を参照して説明する。図１は、本発明の一実施形態である撮像装置の概略的な構成を示すブロック図である。   Hereinafter, embodiments of the present invention will be described with reference to the drawings. FIG. 1 is a block diagram illustrating a schematic configuration of an imaging apparatus according to an embodiment of the present invention.

本実施形態の撮像装置１０は、例えばデジタルカメラ（スマートホンや携帯電話、ビデオカメラなどでもよい）である。撮像装置１０では、レンズ部１２を通して撮像部１４で画像が撮像され、撮像部１４からの画像データは画像信号処理回路部１６において画像処理が施され、画像表示部１８に表示される。また、撮像部１４からの画像データは、例えば画像処理後、メモリ部２０に記録可能である。メモリ部２０に記憶された画像データは、データ欠損画素検出部２２へ読み出し可能であり、データ欠損画素検出部２２では、後述する欠陥画素検出処理や異物検出処理が実行され、画素データが欠損している画素の検出が行われる。なお、撮像部１４は、撮像素子の撮像面を保護ガラスや光学フィルタ等で覆いパッケージ化したもので、塵や埃などの異物はその表面に付着する。   The imaging device 10 of the present embodiment is, for example, a digital camera (a smart phone, a mobile phone, a video camera, or the like). In the imaging device 10, an image is captured by the imaging unit 14 through the lens unit 12, and image data from the imaging unit 14 is subjected to image processing in the image signal processing circuit unit 16 and displayed on the image display unit 18. The image data from the imaging unit 14 can be recorded in the memory unit 20 after image processing, for example. The image data stored in the memory unit 20 can be read out to the data missing pixel detection unit 22. The data missing pixel detection unit 22 executes defective pixel detection processing and foreign matter detection processing described later, and pixel data is lost. The detected pixel is detected. Note that the imaging unit 14 is a package in which the imaging surface of the imaging element is covered with a protective glass, an optical filter, or the like, and foreign matters such as dust and dirt adhere to the surface.

レンズ部１２は、レンズ制御部２４によって制御され、レンズ制御部２４は、全体制御・演算部２６によって制御される。また、撮像装置１０は、撮像部１４の温度を計測する温度検出部２８を備え、温度検出部２８で検出される撮像素子の温度は、後述するように全体制御・演算部２６を通して、データ欠損画素検出部２２での欠陥画素検出処理で利用される。なお、全体制御・演算部２６は、撮像部１４や画像信号処理回路１６等を含め、撮像装置１０全体のデバイス制御や、日時（時刻）管理を行い、図示しない、スイッチ類や表示器類、不揮発性のメモリ等のデバイスとも接続されている。   The lens unit 12 is controlled by a lens control unit 24, and the lens control unit 24 is controlled by an overall control / calculation unit 26. In addition, the imaging apparatus 10 includes a temperature detection unit 28 that measures the temperature of the imaging unit 14, and the temperature of the imaging element detected by the temperature detection unit 28 is lost through an overall control / calculation unit 26 as described later. This is used in defective pixel detection processing in the pixel detection unit 22. The overall control / arithmetic unit 26 performs device control and date / time management of the entire imaging apparatus 10 including the imaging unit 14, the image signal processing circuit 16, and the like, and switches, indicators, A device such as a non-volatile memory is also connected.

図２は、本実施形態のデータ欠損画素検出処理の流れを説明するフローチャートである。後述するように、図２に示されるデータ欠損画素検出処理は、欠陥画素検出処理または異物検出処理の何れかに対応し、両検出処理において、画素データが欠損していると考えられる画素を検出するための処理である。欠陥画素検出処理および異物検出処理は、例えば画像表示部１８に表示されるメニュ画面を操作することでそれぞれ選択・起動される。欠陥画素検出処理では、例えば遮光した状態で撮影した画像が用いられ、異物検出処理では例えば無地の被写体を撮影した画像が用いられる。なお、本処理は、例えば全体制御・演算部２６が、データ欠損画素検出部２２と協働して行う。   FIG. 2 is a flowchart for explaining the flow of data loss pixel detection processing according to this embodiment. As will be described later, the data missing pixel detection process shown in FIG. 2 corresponds to either the defective pixel detection process or the foreign object detection process, and in both detection processes, a pixel that is considered to have missing pixel data is detected. It is a process to do. The defective pixel detection process and the foreign object detection process are each selected and started by operating a menu screen displayed on the image display unit 18, for example. In the defective pixel detection process, for example, an image captured in a light-shielded state is used, and in the foreign object detection process, for example, an image of a plain subject is used. This processing is performed by the overall control / calculation unit 26 in cooperation with the data missing pixel detection unit 22, for example.

ステップＳ１００では、前回のデータ欠損画素検出処理（欠陥画素検出処理であれば前回の欠陥画素検出処理、また異物検出処理であれば前回の異物検出処理）が実行された際の時刻が設定されているか否かが判定される。設定されていなければ、ステップＳ１０２において、デフォルトで設定されている通常の検出レベルが設定される。   In step S100, the time when the previous data missing pixel detection process (the previous defective pixel detection process for the defective pixel detection process or the previous foreign object detection process for the foreign object detection process) is executed is set. It is determined whether or not there is. If not set, a normal detection level set as a default is set in step S102.

ステップＳ１０４では、撮影画像に対して、設定検出レベルに対応する閾値、およびその前後の値（設定検出レベル対応閾値±所定値）を閾値として、欠陥画素検出または異物検出が行われる。すなわち、画素データが欠損する画素（データ欠損画素）の検出が行われ、データ欠損画素の検出データが作成される。すなわち、各閾値との比較で画素データが欠損していると判断される画素が、設定閾値を中心とする３つの検出レベルで検出され、各検出レベルに対応するデータ欠損画素の検出データがメモリ部２０に一時保存される。   In step S104, defective pixel detection or foreign object detection is performed on the captured image using the threshold value corresponding to the set detection level and values before and after the threshold value (set detection level corresponding threshold value ± predetermined value) as threshold values. That is, a pixel in which pixel data is missing (data missing pixel) is detected, and detection data for the data missing pixel is created. That is, a pixel that is determined to be missing pixel data by comparison with each threshold value is detected at three detection levels centered on the set threshold value, and detection data of the data missing pixel corresponding to each detection level is stored in the memory. It is temporarily stored in the unit 20.

ステップＳ１０６では、一時保存された欠損画素検出データに基づき、データ欠損画素と判断される画素を例えば所定の色で表示、あるいは強調表示した画像がそれぞれの検出レベルに対して作成され、作成された３枚の画像が画像表示部１８に順次表示される。なお、この表示は、例えばユーザがキー操作することで、循環的に画像表示部１８に表示可能である。ステップＳ１０８では、ユーザが画像表示部１８に表示された３枚の画像の中からデータ欠損画素の検出データとして適正と思われるものを選択（決定）し、選択されたデータ欠損画素の検出データが不揮発性のメモリ（不図示）に記録される。そして、ステップＳ１１０では、現在の時刻（日時）がデータ欠損画素検出処理実行時刻として設定され本処理は終了する。なお、ステップＳ１１０で設定される時刻は、次回同処理が実行される際、ステップＳ１００において、本処理の前回の実行時刻として参照される。なお、本撮像装置１０では、ステップＳ１０８で記録されたデータ欠損画素の検出データに基づき、画像データが欠損していると判断される画素の画素値が補間される。また、これら欠陥画素検出処理および異物検出処理で取得されたデータ欠損画素の検出データに基づき異物の警告表示が実行される。   In step S106, based on the temporarily stored missing pixel detection data, an image in which pixels determined to be data missing pixels are displayed in, for example, a predetermined color or highlighted is created for each detection level. Three images are sequentially displayed on the image display unit 18. This display can be cyclically displayed on the image display unit 18 by, for example, a key operation by the user. In step S108, the user selects (determines) what appears to be appropriate detection data for the data loss pixel from the three images displayed on the image display unit 18, and the detection data for the selected data loss pixel is obtained. It is recorded in a non-volatile memory (not shown). In step S110, the current time (date and time) is set as the data missing pixel detection process execution time, and the process ends. The time set in step S110 is referred to as the previous execution time of this process in step S100 when the same process is executed next time. In the imaging apparatus 10, the pixel value of a pixel that is determined to be missing image data is interpolated based on the data missing pixel detection data recorded in step S108. In addition, a foreign object warning display is executed based on the detection data of the data missing pixel acquired in the defective pixel detection process and the foreign object detection process.

また、ステップＳ１００において、時刻設定が行われていると判断されたときには、ステップＳ１１２において、現在の時刻（日時）が取得され、ステップＳ１１４において（ステップＳ１１２において取得された現在時刻と、ステップＳ１００において参照された前回データ欠損画素検出処理が実行された時刻との差が所定時間（例えば１０分）未満であるか否かが判定される。同時刻差が所定時間未満でなければ、ステップＳ１１６において、ステップＳ１０２と同様に、デフォルトで設定されている通常の検出レベルが設定され、ステップＳ１０４以下の処理が実行される。また、同時刻差が所定時間未満であれば、ステップＳ１１８においてデータ欠損画素を検出し易いより高い感度の検出レベルが設定され、ステップＳ１０４以下の処理が実行される。   When it is determined in step S100 that the time is set, the current time (date and time) is acquired in step S112, and in step S114 (the current time acquired in step S112 and the current time in step S100). It is determined whether or not the difference from the time at which the previously referred data missing pixel detection process is executed is less than a predetermined time (for example, 10 minutes), otherwise, in step S116. As in step S102, the normal detection level set by default is set, and the processing from step S104 onward is executed, and if the same time difference is less than the predetermined time, the data-missing pixel in step S118. A detection level with higher sensitivity that is easy to detect is set. Processing is executed.

図３は、図２のステップＳ１０４で実行される欠陥画素検出処理のフローチャートである。ステップＳ２００では、欠陥画素検出が行える状況にあるか否かが判定される。なお、欠陥画素検出が行えない状況としては、電池残量が少ない場合や、遮光できない場合などが挙げられる。欠陥画素検出が行えない状況では、本処理は直ちに終了し、行える状況であると判定されるとステップＳ２０２において撮像部１４の撮像素子（イメージセンサ）が駆動中であるか否かが判定される。   FIG. 3 is a flowchart of the defective pixel detection process executed in step S104 of FIG. In step S200, it is determined whether or not defective pixels can be detected. Note that situations where defective pixel detection cannot be performed include a case where the remaining battery level is low, or a case where light cannot be shielded. In a situation where defective pixel detection cannot be performed, this process ends immediately. If it is determined that the situation can be performed, it is determined in step S202 whether or not the imaging device (image sensor) of the imaging unit 14 is being driven. .

撮像素子が既に駆動されていれば、ステップＳ２０４において、温度検出部２８を用いて撮像素子の駆動完了後の温度が取得され、駆動されていなければ、ステップＳ２０３において撮像素子を駆動した後、ステップＳ２０４において、撮像素子の駆動完了後の温度が取得される。次にステップＳ２０６において、遮光した状態で画像が取得され、ステップＳ２０８では、図２のステップＳ１０２、Ｓ１１６、Ｓ１１８で設定された検出レベルに対応して、ステップＳ２０４で取得された温度や、露光時間、ゲイン（ＩＳＯ）などに基づき欠陥画素検出のための閾値が算出される。   If the image sensor has already been driven, the temperature after completion of driving of the image sensor is acquired using the temperature detection unit 28 in step S204. If not, the image sensor is driven in step S203, and then step In S204, the temperature after completion of driving of the image sensor is acquired. Next, in step S206, an image is acquired in a light-shielded state. In step S208, the temperature and exposure time acquired in step S204 corresponding to the detection levels set in steps S102, S116, and S118 in FIG. Then, a threshold value for detecting defective pixels is calculated based on gain (ISO) and the like.

ステップＳ２１０では、ステップＳ２０６において遮光状態で取得された画像の各画素値をステップＳ２０８で算出された閾値、およびこの閾値の前後で設定される閾値（設定検出レベル対応閾値±所定値）と比較し、それぞれの閾値において当該画素が欠陥画素であるか否かが判別される（欠陥画素検出）。ステップＳ２１２において、欠陥画素と判別された画素の位置と、同検出処理が行われたときの温度（ステップＳ２０４で求められた温度）と、使用された閾値とが例えばメモリ部２０にそれぞれ一時的に記録され、本処理は終了する。なお、本処理実行中にユーザがキャンセル操作を行い終了要求があった場合や、算出された閾値が予め設定された規定値を超えている場合などには、本処理は直ちに終了する。   In step S210, each pixel value of the image acquired in the light-shielded state in step S206 is compared with the threshold value calculated in step S208 and a threshold value set before and after this threshold value (set detection level corresponding threshold value ± predetermined value). In each threshold value, it is determined whether or not the pixel is a defective pixel (defective pixel detection). In step S212, the position of the pixel determined to be a defective pixel, the temperature when the detection process is performed (the temperature obtained in step S204), and the threshold value used are temporarily stored in the memory unit 20, for example. And the process ends. Note that this process ends immediately when the user performs a cancel operation during execution of this process and a termination request is issued, or when the calculated threshold exceeds a preset value.

図４は、図２のステップＳ１０４で実行される異物検出処理のフローチャートである。ステップＳ３００では、埃検出許可の有無が判定される。すなわち、現在の状況が異物検出を行える状況にあるか否かが判定される。なお、異物検出が行えない状況としては、電池残量が少ない場合や、露光量が規定値に達していない場合などが挙げられる。異物検出が行えない状況では、本処理は直ちに終了し、行える状況であると判定されるとステップＳ３０２において撮像部１４の撮像素子（イメージセンサ）が駆動中であるか否かが判定される。   FIG. 4 is a flowchart of the foreign object detection process executed in step S104 of FIG. In step S300, it is determined whether dust detection is permitted. That is, it is determined whether or not the current situation is a situation where foreign object detection can be performed. Note that the situation where foreign object detection cannot be performed includes a case where the remaining battery level is low, or a case where the exposure amount has not reached the specified value. In a situation where foreign object detection cannot be performed, this process is immediately terminated. If it is determined that the situation can be performed, it is determined in step S302 whether or not the imaging element (image sensor) of the imaging unit 14 is being driven.

撮像素子が既に駆動されていれば、ステップＳ３０４において、画像取得条件が設定され、駆動されていなければ、ステップＳ３０３において撮像素子を駆動した後、ステップＳ３０４において、画像取得条件が設定される。画像取得条件は、撮像素子表面に付着した塵や埃などの異物の影を強調して撮影するための撮影条件であり、絞りをなるべく絞った条件の下、一様な平面（無地）を十分な露光量で撮影するための露出パラメータである。   If the image sensor has already been driven, an image acquisition condition is set in step S304. If not, the image acquisition condition is set in step S304 after the image sensor has been driven in step S303. The image acquisition condition is a shooting condition for shooting with emphasis on the shadow of foreign matter such as dust or dust adhering to the surface of the image sensor. This is an exposure parameter for photographing with a proper exposure amount.

次にステップＳ３０６において、ステップＳ３０４で設定された画像取得条件下、一様な平面の画像が取得される。この画像データは、ステップＳ３０８においてＹＣｂＣｒ信号に変換され、ステップＳ３１０において、輝度データＹが二値化される。ステップＳ３１２では、二値化された画像データに対して画像処理が施され、画像に写り込んだ異物の輪郭が抽出され、その位置および大きさ検出される。   In step S306, a uniform plane image is acquired under the image acquisition conditions set in step S304. This image data is converted into a YCbCr signal in step S308, and the luminance data Y is binarized in step S310. In step S312, image processing is performed on the binarized image data, the outline of the foreign matter reflected in the image is extracted, and its position and size are detected.

ステップＳ３１４では、図２のステップＳ１０２、Ｓ１１６、Ｓ１１８で設定された検出レベルに対応する閾値、およびこの閾値の前後で設定される閾値（設定検出レベル対応閾値±所定値）と、ステップＳ３１０で抽出された異物の輪郭の大きさを各閾値と比較し、各画素が異物によりデータが欠損する画素であるか否かが判別される（異物検出）。ステップＳ３１６では、ステップＳ３１４において、異物によりデータが欠損する画素と判別された画素の位置と、使用された閾値とが例えばメモリ部２０にそれぞれ一時的に記録され、本処理は終了する。なお、本処理実行中にユーザがキャンセル操作を行い終了要求があった場合や、異物の大きさや数が予め設定された規定値を超えている場合などには、本処理は直ちに終了する。   In step S314, the threshold value corresponding to the detection level set in steps S102, S116, and S118 in FIG. 2 and the threshold value set before and after this threshold value (set detection level corresponding threshold value ± predetermined value) are extracted in step S310. The size of the contour of the foreign matter thus made is compared with each threshold value, and it is determined whether or not each pixel is a pixel whose data is lost due to the foreign matter (foreign matter detection). In step S316, the position of the pixel determined to be a pixel whose data is lost due to a foreign substance in step S314 and the used threshold value are temporarily recorded, for example, in the memory unit 20, respectively, and this process ends. In addition, when the user performs a cancel operation during the execution of this process and a termination request is issued, or when the size or number of foreign objects exceeds a preset value, the process is immediately terminated.

以上のように本実施形態では、前回検出処理を実行してから時間があまり経過していないにも関わらずユーザが検出処理を再度実行する場合に、検出レベルを自動的に高めに設定している。すなわち、このような状況は、一般的にユーザが検出レベルに満足していない場合と考えられるので、本実施形態では、このような場合に検出レベルを自動的に高めることで、ユーザはメニュー操作を行い、設定用のメニューを起動させなくとも、検出レベルの変更を行うことができる。これによりユーザは簡便な操作でより正確に欠陥画素や異物により画像データが欠損する画素を検出可能となる。   As described above, in the present embodiment, the detection level is automatically set to a higher level when the user executes the detection process again even though the time has not passed since the previous detection process. Yes. That is, such a situation is generally considered to be a case where the user is not satisfied with the detection level. In this embodiment, the user can operate the menu by automatically increasing the detection level in such a case. The detection level can be changed without starting the setting menu. As a result, the user can more accurately detect a pixel in which image data is lost due to a defective pixel or a foreign object with a simple operation.

また、本実施形態では、自動で検出レベルの高低を決定した後、その検出レベルの前後の検出レベルでも検出処理を行い、その結果をユーザが比較し選択するようにしたことでより適正な閾値の選択が可能となり、より正確な欠陥画素検出、異物検出を行うことができる。   Further, in the present embodiment, after automatically determining the level of the detection level, detection processing is also performed at detection levels before and after the detection level, and the result is compared and selected by the user, so that a more appropriate threshold value is obtained. Can be selected, and more accurate defective pixel detection and foreign object detection can be performed.

図５は、本実施形態の変形例を説明する図である。本実施形態では、前回の検出処理の実行からの時間に基づき自動的にデータ欠損画素検出のための検出レベルの高低を変更したが、変形例では、前回の検出処理の実行からの時間に基づき自動的にデータ欠損画素検出のための検出レベル設定メニューを起動する構成としている。すなわち変形例では、図１のステップＳ１１８において、データ欠損画素検出のための検出レベル設定メニューが画像表示部１８に表示される。図５には、データ欠損画素検出のための検出レベル設定メニューの一例が示される。図示例の設定メニューには例えば選択可能な検出レベルとして弱、中、強が用意されており、図は「弱」の検出レベルが選択されている状況を示す。なお、スライドバーの操作や数値入力で、より多段的に検出レベルを設定する構成とすることもできる。以上のように、変形例においても、実施形態と略同様の効果を得ることができる。   FIG. 5 is a diagram for explaining a modification of the present embodiment. In the present embodiment, the level of the detection level for detecting the data missing pixel is automatically changed based on the time from the previous detection process execution. However, in the modification, based on the time from the previous detection process execution. A detection level setting menu for automatically detecting a data missing pixel is automatically activated. That is, in the modification, in step S118 of FIG. 1, a detection level setting menu for detecting data loss pixels is displayed on the image display unit 18. FIG. 5 shows an example of a detection level setting menu for detecting data missing pixels. In the setting menu of the illustrated example, for example, weak, medium, and strong are prepared as selectable detection levels, and the figure shows a situation in which the detection level of “weak” is selected. It should be noted that the detection level can be set in multiple stages by operating the slide bar or inputting a numerical value. As described above, also in the modified example, substantially the same effect as in the embodiment can be obtained.

１０ デジタルカメラ（撮像装置）
１２ レンズ部
１４ 撮像部
１６ 画像信号処理回路部
１８ 画像表示部
２０ メモリ部
２２ データ欠損画素検出部
２４ レンズ制御部
２６ 全体制御・演算部
２８ 温度検出部 10 Digital camera (imaging device)
DESCRIPTION OF SYMBOLS 12 Lens part 14 Imaging part 16 Image signal processing circuit part 18 Image display part 20 Memory part 22 Data defect | deletion pixel detection part 24 Lens control part 26 Overall control and calculation part 28 Temperature detection part

Claims (7)

撮像素子から供給される画像信号に基づき、欠陥画素または前記撮像素子に付着する異物が写り込む画素の検出を行う検出手段と、
前記検出手段における検出レベルを設定・変更するための検出レベル設定手段と、
前記検出手段が前回起動されたときから今回起動されるまでの時間を取得する起動間隔取得手段と、
前記起動間隔取得手段において取得された前記時間に基づき前記検出レベル設定手段を起動する
ことを特徴とするデータ欠損画素検出装置。 Detection means for detecting a defective pixel or a pixel in which a foreign substance adhering to the image sensor appears based on an image signal supplied from the image sensor;
Detection level setting means for setting / changing the detection level in the detection means;
An activation interval obtaining means for obtaining a time from when the detection means is activated last time until it is activated this time;
The data loss pixel detection device, wherein the detection level setting means is activated based on the time acquired by the activation interval acquisition means. 前記検出レベル設定手段が、前記時間が短いとき前記検出レベルを高感度とすることを特徴とする請求項１に記載のデータ欠損画素検出装置。   2. The data loss pixel detection apparatus according to claim 1, wherein the detection level setting means makes the detection level highly sensitive when the time is short. 前記検出レベル設定手段が、前記検出レベルを選択するための設定メニュを表示することを特徴とする請求項１に記載のデータ欠損画素検出装置。   2. The data loss pixel detection apparatus according to claim 1, wherein the detection level setting means displays a setting menu for selecting the detection level. 前記検出レベル設定手段において決定された検出レベルから近い検出レベルでも前記検出手段を駆動し、その結果を比較表示することを特徴とする請求項１〜３の何れか一項に記載のデータ欠損画素検出装置。   The data-missing pixel according to any one of claims 1 to 3, wherein the detection unit is driven even at a detection level close to the detection level determined by the detection level setting unit, and the result is compared and displayed. Detection device. 前記欠陥画素の検出が、画素値と閾値との比較により行われ、前記閾値が前記検出レベルおよび温度に基づき設定されることを特徴とする請求項１〜４の何れか一項に記載のデータ欠損画素検出装置。   The data according to claim 1, wherein the defective pixel is detected by comparing a pixel value with a threshold value, and the threshold value is set based on the detection level and temperature. Missing pixel detection device. 前記異物が写り込む画素の検出が、異物の影の大きさと閾値との比較により行われ、前記閾値が前記検出レベルに基づき設定されることを特徴とする請求項１〜５の何れか一項に記載のデータ欠損画素検出装置。   6. The detection of a pixel in which the foreign object appears is performed by comparing a shadow size of the foreign object with a threshold value, and the threshold value is set based on the detection level. The data defect pixel detection apparatus described in 1. 請求項１〜６の何れか一項に記載のデータ欠損画素検出装置を搭載したことを特徴とする撮像装置。   An image pickup apparatus comprising the data missing pixel detection apparatus according to any one of claims 1 to 6.
JP2015177771A 2015-09-09 2015-09-09 Data missing pixel detector Pending JP2017055262A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2015177771A JP2017055262A (en) 2015-09-09 2015-09-09 Data missing pixel detector

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2015177771A JP2017055262A (en) 2015-09-09 2015-09-09 Data missing pixel detector

Publications (1)

Publication Number Publication Date
JP2017055262A true JP2017055262A (en) 2017-03-16

Family

ID=58317597

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2015177771A Pending JP2017055262A (en) 2015-09-09 2015-09-09 Data missing pixel detector

Country Status (1)

Country Link
JP (1) JP2017055262A (en)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023234079A1 (en) * 2022-06-01 2023-12-07 コニカミノルタ株式会社 Data processing device, data processing system, data processing method, and program

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008258982A (en) * 2007-04-05 2008-10-23 Canon Inc Image processor, control method therefor, and program
JP2012156596A (en) * 2011-01-21 2012-08-16 Nikon Corp Image processing program, storage medium, image processing apparatus, and electronic camera
JP2013197839A (en) * 2012-03-19 2013-09-30 Canon Inc Image pickup device and control method and program therefor
JP2015076855A (en) * 2013-10-11 2015-04-20 リコーイメージング株式会社 Image-capturing device and method for detecting defective pixel

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008258982A (en) * 2007-04-05 2008-10-23 Canon Inc Image processor, control method therefor, and program
JP2012156596A (en) * 2011-01-21 2012-08-16 Nikon Corp Image processing program, storage medium, image processing apparatus, and electronic camera
JP2013197839A (en) * 2012-03-19 2013-09-30 Canon Inc Image pickup device and control method and program therefor
JP2015076855A (en) * 2013-10-11 2015-04-20 リコーイメージング株式会社 Image-capturing device and method for detecting defective pixel

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023234079A1 (en) * 2022-06-01 2023-12-07 コニカミノルタ株式会社 Data processing device, data processing system, data processing method, and program

Similar Documents

Publication Publication Date Title
US7889890B2 (en) Image capture apparatus and control method therefor
US8477232B2 (en) System and method to capture depth data of an image
JP4186699B2 (en) Imaging apparatus and image processing apparatus
US8749689B2 (en) Detecting unit configured to detect temperature of image capturing unit
US8873881B2 (en) Dust detection system and digital camera
JP5347845B2 (en) Image processing program and image processing apparatus
JP6351271B2 (en) Image composition apparatus, image composition method, and program
JP2015127668A (en) Measurement device, system and program
US8427549B2 (en) Apparatus, method, and recording medium for displaying a pixel having a predetermined luminance in an output image to be identifiable from a position
JP5610106B1 (en) Foreign matter information detection device and foreign matter information detection method for imaging apparatus
JP5949559B2 (en) Image processing apparatus, imaging apparatus, and image processing program
JP2008187255A (en) Imaging apparatus and image correction method
TWI489861B (en) Method for checking camera and camera
JP7294343B2 (en) Gas detection device, information processing device and program
JP2017055262A (en) Data missing pixel detector
JP6346484B2 (en) Image processing apparatus and control method thereof
JP2015233202A (en) Image processing apparatus, image processing method, and program
JP2004333924A (en) Camera
JP5251700B2 (en) Imaging device
JP2004222232A (en) Image processor and image processing program
US20240187727A1 (en) Image processing apparatus, image capturing apparatus, control method of image processing apparatus, and storage medium
CN107835362B (en) Image storage method, image display method and electronic equipment
JP5515320B2 (en) Imaging device
JP2010016673A (en) Imaging apparatus
JP2020005106A5 (en) Imaging equipment and methods

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20180806

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20190408

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20190514

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20191126