JP5432657B2 - Imaging device, storage device, and control method - Google Patents
Imaging device, storage device, and control method Download PDFInfo
- Publication number
- JP5432657B2 JP5432657B2 JP2009231011A JP2009231011A JP5432657B2 JP 5432657 B2 JP5432657 B2 JP 5432657B2 JP 2009231011 A JP2009231011 A JP 2009231011A JP 2009231011 A JP2009231011 A JP 2009231011A JP 5432657 B2 JP5432657 B2 JP 5432657B2
- Authority
- JP
- Japan
- Prior art keywords
- pixel
- pixels
- defective
- type
- information
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Transforming Light Signals Into Electric Signals (AREA)
Description
本発明は、撮像装置、記憶装置、及び制御方法に関する。 The present invention relates to an imaging device , a storage device, and a control method .
デジタルカメラなどの撮像装置に用いられるＣＣＤイメージセンサー、ＣＭＯＳイメージセンサーなどの撮像センサは、光電変換部をそれぞれ含む複数の画素が２次元的に配列された画素配列を有している。画素配列は、その全体に均一なレベルの入射光が照射された場合に、特異なレベルの電気信号しか得られない欠陥画素を含むことが多い。この欠陥画素から出力された信号をそのまま用いて画像を得た場合、その画像の画質が劣化する。 An imaging sensor such as a CCD image sensor or a CMOS image sensor used in an imaging apparatus such as a digital camera has a pixel arrangement in which a plurality of pixels each including a photoelectric conversion unit are two-dimensionally arranged. In many cases, the pixel array includes defective pixels that can obtain only a specific level of electrical signal when the entire surface is irradiated with incident light of a uniform level. When an image is obtained using the signal output from the defective pixel as it is, the image quality of the image deteriorates.
この欠陥（傷）には、撮像センサの製造工程で既に発生している初期的欠陥（以下、工程傷とする）と、宇宙線、静電破壊等の外部要因や経時変化に起因して発生する後発的欠陥（以下、後傷とする）とが存在する。工程傷の位置情報は、撮像装置の製品出荷時に、撮像装置内の不揮発性メモリに記憶しておく。また、後傷の位置情報は、撮像装置内に欠陥画素検出回路を搭載して後発的な欠陥を検出する際に、その位置も検出することにより取得し不揮発性メモリに記憶する。そして、撮影時に撮像装置内の補間回路が不揮発性メモリに記憶されたそれらの位置情報を参照して特定した位置の傷画素の信号を周囲の画素の信号で補間することで撮影画像を得て、ユーザーが撮影画像を見るときに著しい違和感を持たない様にしている。 These defects (scratches) are caused by initial defects (hereinafter referred to as process scratches) that have already occurred in the manufacturing process of the imaging sensor, external factors such as cosmic rays and electrostatic breakdown, and changes over time. There is a subsequent defect (hereinafter referred to as a post-scratch). The process scratch position information is stored in a nonvolatile memory in the imaging device when the imaging device is shipped. Further, the position information of the back scratch is acquired by detecting the position when a defective pixel detection circuit is mounted in the imaging apparatus to detect a subsequent defect, and is stored in the nonvolatile memory. Then, the captured image is obtained by interpolating the signal of the scratched pixel at the position specified by the interpolation circuit in the imaging device with reference to the position information stored in the nonvolatile memory at the time of shooting with the signal of the surrounding pixels. , So that the user does not feel uncomfortable when viewing the captured image.
特許文献２には、固体撮像装置において、ＥＥＰＲＯＭ２６が、マトリックス状に配置された画素における第１〜第Ｎラインに対応した書き込み領域を有していることが記載されている。その書き込み領域には、特許文献２の図５に示すように、工場出荷時に、上記のマトリックス状の配置における欠陥画素の垂直位置（ラインの位置）及び水平位置がそのラインに対応する書き込み領域に書き込まれている。これにより、特許文献２によれば、マトリックス状の配置における欠陥画素が発生したラインと欠陥画素の位置情報を格納したアドレスとが対応しているために、従来方式に比べてＥＥＰＲＯＭ２６の情報書き込み回路を簡易に構成することができるとされている。また、各ラインに対応した書き込み領域は、特許文献２の図６に示すように、２個分の欠陥画素の位置情報を追加で書き込める領域を有している。これにより、特許文献２によれば、マトリックス状の配置において欠陥画素が製品出荷後に検出された場合に、欠陥画素の位置情報を容易に記憶手段に追記できるとされている。 Patent Document 2 describes that in a solid-state imaging device, the EEPROM 26 has write areas corresponding to the first to Nth lines in pixels arranged in a matrix. In the writing area, as shown in FIG. 5 of Patent Document 2, the vertical position (line position) and the horizontal position of the defective pixel in the matrix arrangement described above are the writing areas corresponding to the line at the time of factory shipment. Has been written. Thus, according to Patent Document 2, since the line where the defective pixel is generated in the matrix arrangement and the address storing the position information of the defective pixel correspond to each other, the information writing circuit of the EEPROM 26 is compared with the conventional method. It can be easily configured. In addition, as shown in FIG. 6 of Patent Document 2, the writing area corresponding to each line has an area in which position information of two defective pixels can be additionally written. Thus, according to Patent Document 2, when a defective pixel is detected after product shipment in a matrix arrangement, the position information of the defective pixel can be easily added to the storage means.
特許文献３には、画像処理装置１００において、工場出荷時に予め不揮発性メモリに格納された撮像素子１４における傷画素のデータを、装置の動作時に検出された傷画素のデータで更新することが記載されている。具体的には、不揮発性メモリ５６が、工場出荷時に予め、撮像素子１４における傷画素の位置情報と傷画素の傷グレードとの対を格納する（特許文献２の図２参照）。装置の動作時に、不揮発性メモリ５６のデータがメモリ１９にロードされる。傷画素データ更新回路４０２は、新たに検出された傷画素のデータとメモリ１９にロードされた傷画素のデータとを比較して、傷画素データの更新を行う。傷画素データ更新回路４０２は、検出された傷画素の位置（例えば、特許文献２の図５に示す位置（８，２））とメモリ１９にロードされた傷画素の位置とが一致しない場合、メモリ１９にロードされた傷画素のデータに、検出された傷画素のデータを追加する。その後、傷画素データ更新回路４０２により更新された傷画素データは、メモリ１６から不揮発性メモリ５６に書き戻される。これにより、特許文献３によれば、工場出荷後に新たに検出された傷画素のデータを、メモリ１９にロードされた傷画素のデータに追加することができるとされている。
Patent Document 3 describes that in the image processing apparatus 100, the damaged pixel data in the image sensor 14 stored in advance in the nonvolatile memory at the time of factory shipment is updated with the damaged pixel data detected during the operation of the apparatus. Has been. Specifically, the nonvolatile memory 56 stores a pair of the position information of the damaged pixel and the damaged grade of the damaged pixel in advance at the time of factory shipment (see FIG. 2 of Patent Document 2). During operation of the device, data in the nonvolatile memory 56 is loaded into the memory 19. The damaged pixel
特許文献２及び３の技術では、工程傷画素の位置及び後傷画素の位置を、いずれも、画素配列（画素のマトリックス状の配置）における座標を含む同一のフォーマットで不揮発性メモリに記憶している。 In the techniques of Patent Documents 2 and 3, both the position of the process scratch pixel and the position of the back scratch pixel are stored in the nonvolatile memory in the same format including the coordinates in the pixel array (pixel matrix arrangement). Yes.
しかし、画素配列の多画素化に伴い、工程傷画素及び後傷画素の総数も増加する傾向にある。工程傷画素の位置及び後傷画素の位置が座標を示す同一のフォーマットで表されている場合、工程傷画素及び後傷画素の総数の増加に比例して、工程傷画素の位置と後傷画素の位置とを記憶するためのデータ容量の合計が増大してしまう。 However, with the increase in the number of pixels in the pixel array, the total number of process damaged pixels and back damaged pixels also tends to increase. If the position of the process scratch pixel and the position of the back scratch pixel are expressed in the same format indicating the coordinates, the position of the process scratch pixel and the back scratch pixel are proportional to the increase in the total number of the process scratch pixel and the back scratch pixel. The total data capacity for storing the positions increases.
一方、本発明者は、傷画素の位置情報を、２次元の座標として捉えた絶対位置情報として保持する場合と、注目対象の傷画素が前回の傷画素から何画素目に出現するかという様に画素距離として捉えた相対位置情報として保持する場合とがあると考えた。そして、本発明者は、工程傷画素の位置及び後傷画素の位置を、いずれも、傷画素の相対位置を含む同一のフォーマットで不揮発性メモリに記憶する場合について検討を行い、次のような見解を得た。 On the other hand, the inventor holds the position information of the wound pixel as absolute position information captured as two-dimensional coordinates, and the number of pixels from which the wound pixel of interest appears from the previous wound pixel. In some cases, the information is stored as relative position information captured as a pixel distance. Then, the present inventor has examined the case where the position of the process scratch pixel and the position of the back scratch pixel are both stored in the nonvolatile memory in the same format including the relative position of the scratch pixel. Got an opinion.
近年の撮像装置の低コスト化は、撮像センサの歩留まり向上にも影響し、それはつまり、工程傷画素の許容個数が増える方向に影響している。ある程度の数量のある工程傷画素の位置情報を格納するには、撮像センサーにおける信号（又は電荷）の転送方向を鑑みた相対位置を含むフォーマットを持つことが適している。 The recent cost reduction of the image pickup apparatus also affects the improvement of the yield of the image pickup sensor, that is, the direction in which the allowable number of process damaged pixels increases. In order to store the positional information of a certain number of process scratch pixels, it is suitable to have a format including a relative position in consideration of the signal (or charge) transfer direction in the image sensor.
それに対して、後傷画素は、後天的に発生していくものであり、出荷後ユーザーが手にする段階では、工程傷画素に対してその個数は少量である。この様な場合、その距離（転送方向における後傷画素と後傷画素との間隔）は大きく、相対位置を含むフォーマットで欠陥情報を記憶する場合、相対位置で表す桁によっては一度に表せない場合が起こる。例えば、１６ｂｉｔ幅での相対位置で表せる範囲は０〜６５５３５である。その数字を超えて傷画素の相対位置を表すには、途中で中継点（ダミー傷画素）を挟む必要があり、その分無駄に不揮発性記憶手段の容量を消費する。このようなダミー傷画素の数が増加すると、工程傷画素（第１の欠陥画素）の位置と後傷画素（第２の欠陥画素）の位置とを記憶するためのデータ容量が全体として増大してしまう。 On the other hand, after-scratch pixels are acquired afterward, and the number of process-scratched pixels is small at the stage that the user has after shipping. In such a case, the distance (the distance between the back-scratch pixel and the back-scratch pixel in the transfer direction) is large, and when the defect information is stored in a format including a relative position, it may not be possible to display at once depending on the digits represented by the relative position. Happens. For example, a range that can be represented by a relative position with a 16-bit width is 0 to 65535. In order to represent the relative position of the damaged pixel beyond that number, it is necessary to sandwich a relay point (dummy damaged pixel) on the way, and the capacity of the nonvolatile storage means is consumed wastefully. When the number of dummy damaged pixels increases, the data capacity for storing the position of the process damaged pixel (first defective pixel) and the position of the back damaged pixel (second defective pixel) increases as a whole. End up.
本発明の目的は、複数の第１の欠陥画素の位置と複数の第２の欠陥画素の位置とを互いに独立して記憶するためのデータ容量を全体として低減することにある。 An object of the present invention is to reduce the overall data capacity for storing the positions of a plurality of first defective pixels and the positions of a plurality of second defective pixels independently of each other.
本発明の１つの側面に係る撮像装置は、光電変換部をそれぞれ含む複数の画素が２次元的に配列された画素配列を有し、前記画素配列の各画素で光電変換された信号を転送順に従って順次転送する撮像手段と、前記画素配列における第１の種類の欠陥画素の位置を特定する情報であり、前記第１の種類の欠陥画素の各々について、前記転送順において前記第１の種類の欠陥画素間に信号が転送される画素数を示す相対位置を第１の欠陥情報として記憶する第１の記憶手段と、前記第１の種類の欠陥画素が検出された時期よりも後に前記撮像手段から転送された信号において周囲の画素との信号のレベル差が閾値を越える画素を第２の種類の欠陥画素として検出する検出手段と、前記検出手段により検出された前記第２の種類の欠陥画素の各々について、該画素の前記画素配列における座標を示す絶対位置を第２の欠陥情報として記憶する第２の記憶手段とを備えたことを特徴とする。 An imaging apparatus according to one aspect of the present invention has a pixel array in which a plurality of pixels each including a photoelectric conversion unit are two-dimensionally arrayed, and a signal photoelectrically converted by each pixel of the pixel array is transferred in the order of transfer. Imaging means for sequentially transferring according to the information, and information for specifying the position of the first type of defective pixels in the pixel array, and for each of the first type of defective pixels, the first type A first storage unit that stores, as first defect information, a relative position indicating the number of pixels to which a signal is transferred between the defective pixels; and the imaging unit that is later than the time when the first type of defective pixel is detected. detecting means for detecting a pixel exceeding the level difference threshold signal with pixels surrounding had us to the transferred signal as a defective pixel of the second type from the second type detected by said detecting means Each defective pixel For, characterized by comprising a second storage means for storing the absolute position indicating the coordinates in the pixel array of the pixel as a second defect information.
本発明によれば、複数の第１の欠陥画素の位置と複数の第２の欠陥画素の位置とを互いに独立して記憶するためのデータ容量を全体として低減することができる。 According to the present invention, the data capacity for storing the positions of the plurality of first defective pixels and the positions of the plurality of second defective pixels independently of each other can be reduced as a whole.
本発明の実施形態に係る撮像装置１００の概略構成を、図１を用いて説明する。 A schematic configuration of an imaging apparatus 100 according to an embodiment of the present invention will be described with reference to FIG.
ＣＰＵ１０１は、撮像装置１００における各部の全体的な制御を司る。ＣＰＵ１０１は、周辺の制御ブロックへの処理キューの投入や、状態の監視等を行い、装置全体としての処理進捗の把握を行う。
The
例えば、ＣＰＵ１０１は、外的要因や経時変化による後傷画素を検出する為の実行条件が整うと、ＳＳＧ（Ｓｙｎｃｈｒｏｎｏｕｓ Ｓｉｇｎａｌ Ｇｅｎｅｒａｔｏｒ ：同期信号生成部）１０２に対して起動をかける。なお、実行条件は、メーカーの保守・サービスによるものであっても良いし、ユーザーが撮影を行う前の準備期間に設定しても良い。ここでは、条件を限定しない。後傷画素は、宇宙線、静電破壊等の外部要因や経時変化に起因して製品出荷後に後発的に欠陥を有することになった画素である。
For example, the
また、ＣＰＵ１０１は、補間部１０１ａを含む。補間部１０１ａの機能及び動作については、後述する。
The
ＳＳＧ１０２は、撮影画像取り込みのフレームタイミングとして、水平同期信号ＨＤ、垂直同期信号ＶＤを生成してＴＧ（Ｔｉｍｉｎｇ Ｇｅｎｅｒａｔｏｒ）１０３へ供給する。それと共に、ＳＳＧ１０２は、画像信号（デジタル信号）の取得タイミングを傷検出部１０７へ供給する。
The
ＴＧ１０３は、撮像センサ１０４、ＣＤＳ／ＡＧＣ１０５、及びＡ／Ｄ変換器１０６のそれぞれを駆動するための駆動パルスを生成して、撮像センサ１０４、ＣＤＳ／ＡＧＣ１０５、及びＡ／Ｄ変換器１０６のそれぞれへ供給する。
The
光学系（図示せず）は、撮像センサ１０４の撮像面（画素配列）に被写体の像を形成する。光学系は、主として、シャッター（図示せず）、レンズ（図示せず）及び絞り（図示せず）を備える。シャッターは、光路上に設けられ、撮像センサ１０４の露出を制御する。レンズは、入射した光を屈折させて、撮像センサ１０４の撮像面に被写体の像を形成する。絞りは、光路上においてレンズと撮像センサ１０４との間に設けられ、レンズを通過後に撮像センサ１０４へ導かれる光の量を調節する。なお、光学系は、本実施形態における要部に該当しないので、図示を省略している。
The optical system (not shown) forms an image of the subject on the imaging surface (pixel array) of the
撮像センサ１０４は、ＴＧ１０３からの駆動パルスを受けて、撮像面（画素配列）に形成された被写体の像を画像信号に変換して出力する。撮像センサ１０４は、例えば、ＣＣＤイメージセンサ、又はＣＭＯＳイメージセンサである。具体的には、画素配列１０４ａでは、光電変換部をそれぞれ含む複数の画素が２次元的に配列されている。例えば、画素配列１０４ａでは、複数の画素が行に沿った方向及び列に沿った方向に配列されている。光電変換部は、光に応じた電荷を発生させる。光電変換部は、例えば、フォトダイオードである。
The
例えば、撮像センサ１０４がＣＣＤイメージセンサである場合、垂直転送ＣＣＤ（図示せず）及び水平転送ＣＣＤ（図示せず）が、複数の画素から出力された電荷を順次に（例えば行アドレス及び列アドレス順に）出力アンプへ転送する。出力アンプは、順次に、転送された電荷を画像信号（アナログ信号）に変換して出力する。
For example, when the
例えば、撮像センサ１０４がＣＭＯＳイメージセンサである場合、垂直走査回路（図示せず）が、画素配列１０４ａを垂直方向（列に沿った方向）に走査して読み出し行における各列の画素の信号が並行して読み出し回路（図示せず）へ読み出されるようにする。そして、水平走査回路（図示せず）が、読み出し回路を水平方向（行に沿った方向）に走査して読み出し行における各列の信号が順次に出力アンプへ転送されるようにする。
For example, when the
これにより、撮像センサ１０４は、画素配列１０４ａにおける複数の画素の画像信号（アナログ信号）を順次に（例えば行アドレス及び列アドレス順に）出力する。
Thereby, the
ＣＤＳ／ＡＧＣ１０５は、撮像センサ１０４から出力された画像信号（アナログ信号）を受ける。ＣＤＳ／ＡＧＣ１０５は、画像信号（アナログ信号）におけるＳ／Ｎ比を改善するために、画像信号（アナログ信号）に対して暗電流成分の除去処理やゲイン調整処理を含むアナログ信号処理を行う。ＣＤＳ／ＡＧＣ１０５は、処理後の画像信号（アナログ信号）をＡ／Ｄ変換器１０６へ転送する。
The CDS /
Ａ／Ｄ変換器１０６は、画像信号（アナログ信号）をＣＤＳ／ＡＧＣ１０５から受ける。Ａ／Ｄ変換器１０６は、受けた画像信号（アナログ信号）を画像信号（デジタル信号）へ変換する。Ａ／Ｄ変換器１０６は、変換後の画像信号（デジタル信号）を傷検出部１０７へ転送する。
The A /
傷検出部（検出手段）１０７は、複数の後傷画素の検出を行う。後傷画素は、宇宙線、静電破壊等の外部要因や経時変化に起因して製品出荷後に後発的に欠陥を有することになった画素である。すなわち、傷検出部１０７は、撮像センサ１０４から順次に出力され転送された複数の画素の信号に応じて、画素配列１０４ａ内（画素配列内）の複数の後傷画素（複数の第２の欠陥画素）を検出する。傷検出部１０７は、後傷画素の検出時に於いて、周囲の画素と著しく画像信号のレベルの異なる（例えば、周囲の画素との画像信号のレベル差が閾値を超える）画素を後傷画素として検出する。それとともに、傷検出部１０７は、撮像センサ１０４から順次に出力され転送された複数の画素の画像信号に応じて、複数の後傷画素のそれぞれに対する絶対位置を検出する。ここで、絶対位置は、画素配列１０４ａにおける座標である。傷検出部１０７は、後傷画素の検出された絶対位置を含む後傷画素の情報を揮発性記憶部１０８へ供給する。
The flaw detection unit (detection means) 107 detects a plurality of back flaw pixels. The back-scratched pixel is a pixel that has a defect later on after product shipment due to external factors such as cosmic rays and electrostatic breakdown and changes with time. That is, the
揮発性記憶部１０８は、傷検出部１０７により検出された後傷画素の絶対位置の情報を傷検出部１０７から受ける。揮発性記憶部１０８は、その検出された後傷画素の絶対位置の情報を一時的に記憶する。揮発性記憶部１０８は、例えば、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）を含む。もちろん、絶対位置の情報を、直接不揮発性記憶部１１１に格納しても良いが、本実施形態では、一旦揮発性記憶部１０８に格納している。不揮発性記憶部１１１（例えば、ＥＥＰＲＯＭ）が、その書き込み応答速度が揮発性記憶部１０８（例えば、ＲＡＭ）に比べて遅いことや、その書き込み電圧レベルが揮発性記憶部１０８と異なる等デジタルシーケンス以外の要素を含むことを考慮している。
The
第１のコントローラ１１２は、ＣＰＵ１０１による制御のもと、不揮発性記憶部１１１を制御する。第２のコントローラ１０９は、ＣＰＵ１０１による制御のもと、揮発性記憶部１０８を制御する。すなわち、ＣＰＵ１０１は、次のように、第２のコントローラ１０９及び第１のコントローラ１１２を制御する。ＣＰＵ１０１は、傷検出部１０７により検出された傷画素の絶対位置の情報を揮発性記憶部１０８に一時的に記憶させ、その後、記憶された後傷画素の絶対位置の情報を揮発性記憶部１０８から不揮発性記憶部１１１へ転送するように、制御する。
The
また、第２のコントローラ１０９は、傷検出部１０７とのデータ転送に係るステータスの授受を行う。
In addition, the
不揮発性記憶部１１１は、第１の記憶部１１１ａ及び第２の記憶部１１１ｂを含む。第１の記憶部１１１ａと第２の記憶部１１１ｂとは、不揮発性記憶部１１１における互いに独立した記憶領域（記憶部）である。
The
第１の記憶部１１１ａは、製品出荷前に、又は、製品出荷時に、複数の工程傷画素（複数の第１の欠陥画素）のそれぞれに対する相対位置を含む第１の欠陥情報（図４（ａ）参照）を予め記憶する。第１の欠陥情報は、撮像センサ１０４から順次に出力され転送された複数の画素の信号に応じて予め（例えば傷検出部１０７が工程傷画素を検出することにより）取得された画素配列１０４ａ内の複数の工程傷画素に関する情報である。工程傷画素は、撮像センサ１０４の製造工程で既に初期的な欠陥を有することになっている画素である。相対位置は、注目対象の工程傷画素（第１の欠陥画素）までの直前に検出された工程傷画素（第１の欠陥画素）からの転送された画素数（図４（ａ）に示すオフセットアドレス）を示している。
The
第２の記憶部１１１ｂは、傷検出部１０７により検出された後傷画素の絶対位置の情報を、揮発性記憶部１０８から受ける。第２の記憶部１１１ｂは、その受けた絶対位置の情報に応じて、第２の欠陥情報（図４（ｂ）参照）を記憶する。第２の欠陥情報は、複数の第２の欠陥画素のそれぞれに対する絶対位置を含む。ここで、絶対位置は、画素配列１０４ａにおける行アドレス（図４（ｂ）に示すＶアドレス）及び列アドレス（図４（ｂ）に示すＨアドレス）を含む座標である。
The
マージ部１１０は、撮影前に、工程傷画素の相対位置を含む第１の欠陥情報と後傷画素の絶対位置を含む第２の欠陥情報とをそれぞれ第１の記憶部１１１ａ及び第２の記憶部１１１ｂから読み出してマージする。具体的には、マージ部１１０は、第１の記憶部１１１ａに記憶された第１の欠陥情報における相対位置を絶対位置に変換することにより、複数の第１の欠陥画素のそれぞれに対する絶対位置を含む第３の欠陥情報を生成する。マージ部１１０は、その生成した第３の欠陥情報と第２の記憶手段に記憶された第２の欠陥情報とを絶対位置の順番にマージすることにより、複数の工程傷画素のそれぞれと複数の後傷画素のそれぞれとに対する絶対位置を含む第４の欠陥情報を生成する。
The merging
マージ部１１０は、さらに、生成した第４の欠陥情報における絶対位置を相対位置に変換することにより、複数の工程傷画素のそれぞれと複数の後傷画素のそれぞれとに対する相対位置を含む第５の欠陥情報を生成する。生成された第５の欠陥情報は、揮発性記憶部１０８上に展開して用いられる。すなわち、揮発性記憶部（第３の記憶手段）１０８は、マージ部１１０により生成された第５の欠陥情報を一時的に記憶する。
The merging
これに応じて、ＣＰＵ１０１の補間部１０１ａは、マージ部１１０により生成された第５の欠陥情報に応じて補間対象画素の位置を順次特定する。これにより、補間部１０１ａは、位置の特定された補間対象画素の画像信号を、周囲の画素の画像信号を用いて補間する。
In response to this, the
次に、実施形態における後傷検出処理のフローを、図２のフローチャートを用いて説明する。図２は、撮像装置の処理における、後傷検出要求が発生したときに飛んでいくサブルーチンの要部動作を示している。図２では、撮像センサにおける後傷画素を検出し、その絶対位置情報を揮発性記憶部１０８に一時記憶していく処理を示す。
Next, the flow of the back wound detection process in the embodiment will be described using the flowchart of FIG. FIG. 2 shows an operation of a main part of a subroutine that jumps when a back scratch detection request is generated in the processing of the imaging apparatus. FIG. 2 shows a process of detecting a back-scratched pixel in the image sensor and temporarily storing the absolute position information in the
Ｓ４０１では、ＣＰＵ１０１が、後傷処理要求を受けて、第２のコントローラ１０９への設定更新を行う。後傷画素の検出結果は、不揮発性記憶部１１１に比べて処理速度が速いことから、一旦、揮発性記憶部１０８に記憶する。具体的には、ＣＰＵ１０１は、第２のコントローラ１０９に対してこれから受信する後傷画素のデータを格納するための領域を設定する。データの格納領域指示として、揮発性記憶部１０８の書き込み開始アドレスを設定する。ここで、揮発性記憶部１０８が幾つかのバンク（例えば、制御を一とするＲＡＭ領域）に分かれて存在する場合には、そのバンクの書き込み開始アドレスが設定される。
In step S <b> 401, the
Ｓ４０２では、ＣＰＵ１０１が、傷検出部１０７のレジスタ設定を行う。ＣＰＵ１０１は、周囲の画素との画像信号のレベル差が閾値を超える画素を後傷画素として検出する検出処理が傷検出部１０７により行われるように、その検出処理で用いられる閾値を設定する。
In step S <b> 402, the
Ｓ４０３では、ＣＰＵ１０１が、ＳＳＧ（同期信号生成部）１０２のレジスタの設定を行う。ＳＳＧ１０２は、レジスタを有する。そのレジスタは、撮像センサ１０４を含むアナログ部に対する同期信号を生成するＴＧ（タイミング生成部）１０３への信号期間の設定、デジタル部である傷検出部１０７に対する取込タイミングの設定、フレームのサイズ設定等を記憶する。
In step S <b> 403, the
Ｓ４０１〜Ｓ４０３の初期設定が完了すると、ＣＰＵ１０１は、後傷画素の検出処理の実行を開始できる状態になる。後傷画素の検出処理の内容にもよるが、ここでは、例えばサービスセンター等で均一なレベルの入射光を撮像センサに感光したときの応答から、特異なレベルの画素を検出することとする。撮像センサから出力された画素の信号の取得は、写真撮影と同様に撮影釦が所定の状態まで押されたことを検知したタイミングで行うものとして、以下に記す。
When the initial settings in S401 to S403 are completed, the
Ｓ４０４では、ＣＰＵ１０１が、ＳＳＧ１０２に起動要求を出す。ＳＳＧ１０２は、起動した後、水平同期信号ＨＤ、垂直同期信号ＶＤを生成してＴＧ（Ｔｉｍｉｎｇ Ｇｅｎｅｒａｔｏｒ）１０３へ供給すると共に、画像信号（デジタル信号）の取得タイミングを傷検出部１０７へ供給する。これにより、撮像系（１０４〜１０７）の動作が開始する。
In S <b> 404, the
Ｓ４０５では、ＣＰＵ１０１が、撮影釦が半押しされた状態（以下、Ｓ１状態とする）になったか否かを判断する。ＣＰＵ１０１は、Ｓ１状態になっていない場合（Ｓ４０５でｎｏ）、処理をＳ４０５へ進め、Ｓ１状態になった場合（Ｓ４０５でｙｅｓ）、処理をＳ４０６へ進める。
In S405, the
Ｓ４０６では、ＣＰＵ１０１が、撮像センサから出力された画素の信号を取り込む準備に入る為、第２のコントローラ１０９に対してデータ受信要求を出す。データ受信要求を受けた第２のコントローラ１０９は、例えば受信の為のデータ領域のメモリバンクをアクティブにする等、揮発性記憶部１０８に対してデータ受信の為の制御を行う。
In step S <b> 406, the
Ｓ４０７では、ＣＰＵ１０１が、撮影釦が全押しされた状態（以下、Ｓ２状態とする）になったか否かを判断する。ＣＰＵ１０１は、Ｓ２状態になっていない場合（Ｓ４０７でｎｏ）、処理をＳ４０７へ進め、Ｓ２状態になった場合（Ｓ４０７でｙｅｓ）、処理をＳ４０８へ進める。
In S407, the
Ｓ４０８では、ＣＰＵ１０１が、ＳＳＧ１０２に対してデータ取込要求を出す。データ取込要求を受けたＳＳＧ１０２は、次期フレームデータを取り込む様、各サブブロックにステータスを出す。ステータスを受けた傷検出部１０７は、有効であるデータを取り込んで、傷検出処理を実行する。その結果、傷検出部１０７を経て検出された後傷画素の絶対位置を含む欠陥情報（第２の欠陥情報）は、揮発性記憶部１０８に順次格納される。
In S <b> 408, the
Ｓ４０９では、ＣＰＵ１０１が、設定量分（１フレームにおける設定画素数）のデータ（画素の信号）がＳＳＧ１０２により取得されたか否かを判断する。例えば、ＣＰＵ１０１は、設定量分のデータの取得終了を示す通知をＳＳＧ１０２から受けた場合に、設定量分のデータが取得されたと判断する。ＣＰＵ１０１は、設定量分のデータが取得されていないと判断した場合、そのフレームの処理を終了すべきでないと判断して（Ｓ４０９でｎｏ）、処理をＳ４０９へ進める。ＣＰＵ１０１は、設定量分のデータが取得されたと判断した場合、そのフレームの処理を終了すべきと判断して（Ｓ４０９でｙｅｓ）、処理をＳ４１０へ進める。
In step S <b> 409, the
Ｓ４１０では、ＣＰＵ１０１が、ＳＳＧ１０２に対してフレーム処理の停止要求を出すと共に、第２のコントローラ１０９に対してデータ受信の完了を通知する。
In S410, the
Ｓ４１１では、第２のコントローラ１０９が、予約されたデータ（後傷画素のデータ）の揮発性記憶部１０８への格納を完了すると、該当メモリバンクのアクティブを解除し、揮発性記憶部１０８をスタンバイ状態へと戻す制御を実施する。その後、ＣＰＵ１０１は、揮発性記憶部１０８に格納した後傷画素のデータを不揮発性記憶部１１１における第２の記憶部１１１ｂに格納させる。なお、このとき、ＣＰＵ１０１は、メモリバンクのアクティブを解除せずに、揮発性記憶部１０８領域のデータを不揮発性記憶部１１１における第２の記憶部１１１ｂに転送しても良い。
In S411, when the
図２に示す処理フローの実施により、後傷画素の絶対位置を含む欠陥情報（第２の欠陥情報）を得ることができる。得られた後傷画素の欠陥情報は、不揮発性記憶部１１１における第２の記憶部１１１ｂに格納され、以降、適宜読み出されて使用される。このとき、取得された後傷画素の欠陥情報は、そのままでは使用されず、後述のように、工程傷画素の欠陥情報と後傷画素の欠陥情報とを重畳（マージ）するための処理を経て、フレーム全体における各傷画素に対して補間処理を施す。
By performing the processing flow shown in FIG. 2, defect information (second defect information) including the absolute position of the back scratch pixel can be obtained. The obtained defect information of the post-scratch pixel is stored in the
ここで、工程傷画素の欠陥情報と後傷画素の欠陥情報とをマージしてから不揮発性記憶部１１１における同一の又は関連した記憶領域（記憶部）に格納すると、書込み時のアクシデントにより、工程傷画素の欠陥情報が破壊される可能性がある。そこで、本実施形態では、上記のように、工程傷画素の欠陥情報（第１の欠陥情報）と後傷画素の欠陥情報（第２の欠陥情報）とを、それぞれ、不揮発性記憶部１１１における互いに独立した第１の記憶部１１１ａと第２の記憶部１１１ｂとに記憶する。このことから、工程傷画素の欠陥情報と後傷画素の欠陥情報とのマージ処理は、撮像装置１００における傷画素の補間処理の直前までに実施されていれば良い。マージ処理を実施するトリガとなるタイミングは、撮像装置の起動直後でも良いし、現像処理の直前でも良い。
Here, if the defect information of the process scratch pixel and the defect information of the back scratch pixel are merged and then stored in the same or related storage area (storage unit) in the
次に、実施形態におけるマージ処理のフローを、図３のフローチャートを用いて説明する。 Next, the merge processing flow in the embodiment will be described with reference to the flowchart of FIG.
Ｓ５０１では、ＣＰＵ１０１が、上記のマージ処理を実施するトリガとなるタイミングに達したと判断すると、第１のコントローラ１１２に対して、工程傷画素のデータ先頭位置、後傷画素のデータ先頭位置、及び、夫々のデータ個数（画素数）等を設定する。また、ＣＰＵ１０１は、不揮発性記憶部１１１に書き込み動作をする為に必要な初期準備を、第１のコントローラ１１２を介してこのステップで行う。
In S501, when the
Ｓ５０２では、ＣＰＵ１０１が、マージ部１１０の初期化を行う。マージ部１１０中には、処理中の現在位置を記憶する為の座標レジスタ等幾つかの処理レジスタがあるので、ＣＰＵ１０１は、その値を初期化する為のレジスタ設定を行う。
In S <b> 502, the
Ｓ５０３では、ＣＰＵ１０１が、第１のコントローラ１１２に対して、不揮発性記憶部１１１からの欠陥情報の読み出し処理の開始を要求する。これに応じて、第１のコントローラ１１２は、第１の記憶部１１１ａから工程傷画素の欠陥情報を読み出し、第２の記憶部１１１ｂから後傷画素の欠陥情報を読み出す。
In step S <b> 503, the
Ｓ５０４では、ＣＰＵ１０１が、所定量のデータの不揮発性記憶部１１１からの読み出し処理が完了したか否かを判断する。例えば、ＣＰＵ１０１は、設定量分のデータの読み出し終了を示す通知（例えば、読み出し終了ステータス）を不揮発性記憶部１１１から受けた場合に、読み出し処理が完了したと判断する。ＣＰＵ１０１は、読み出し処理が完了していないと判断した場合（Ｓ５０４でｎｏ）、処理をＳ５０４へ進める。ＣＰＵ１０１は、読み出し処理が完了したと判断した場合（Ｓ５０４でｙｅｓ）、処理をＳ５０５へ進める。
In step S <b> 504, the
Ｓ５０５では、ＣＰＵ１０１が、データ読み出し終了ステータスを受信後、マージ部１１０に、工程傷画素の欠陥情報と後傷画素の欠陥情報とのマージ処理を行うよう指示する。これに応じて、マージ部１１０は、撮影前に、Ｓ５０３でそれぞれ読み出された、工程傷画素の相対位置を含む第１の欠陥情報と後傷画素の絶対位置を含む第２の欠陥情報とをマージする。具体的には、マージ部１１０は、第１の記憶部１１１ａに記憶された第１の欠陥情報における相対位置を絶対位置に変換することにより、複数の第１の欠陥画素のそれぞれに対する絶対位置を含む第３の欠陥情報を生成する。マージ部１１０は、その生成した第３の欠陥情報と第２の記憶手段に記憶された第２の欠陥情報とを絶対位置の順番にマージすることにより、複数の工程傷画素のそれぞれと複数の後傷画素のそれぞれとに対する絶対位置を含む第４の欠陥情報を生成する。
In step S <b> 505, after receiving the data reading end status, the
マージ部１１０は、さらに、生成した第４の欠陥情報における絶対位置を相対位置に変換することにより、複数の工程傷画素のそれぞれと複数の後傷画素のそれぞれとに対する相対位置を含む第５の欠陥情報を生成する。生成された第５の欠陥情報は、揮発性記憶部１０８上に展開して用いられる。すなわち、揮発性記憶部（第３の記憶手段）１０８は、マージ部１１０により生成された第５の欠陥情報を一時的に記憶する。
The merging
その後、ＣＰＵ１０１は、マージ部１１０のレジスタに記憶された内容を読み出し、処理位置が終端まで行っていることを確認したら、マージ処理を完了させる。ここで、処理終端の判断の為に、ＣＰＵ１０１は、工程傷画素の最後の位置と後傷画素の最後の位置とを取得する必要がある。その手間を省く為に、ＣＰＵ１０１は、ダミーの傷データとして第１の欠陥情報及び第２の欠陥情報のそれぞれにフレーム終端位置の傷データを付加しておいても良い。
Thereafter, the
次に、不揮発性記憶部１１１における第１の記憶部１１１ａと第２の記憶部１１１ｂとのそれぞれに記憶される傷データのフォーマット例を、図４を用いて説明する。
Next, a format example of flaw data stored in each of the
図４（ａ）に示すフォーマット６０１は、第１の記憶部１１１ａに記憶される工程傷画素ごとの傷データのフォーマット例である。フォーマット６０１は、オフセットアドレス６０１ａと傷情報６０１ｂとの組を含む。
A format 601 shown in FIG. 4A is a format example of flaw data for each process flaw pixel stored in the
オフセットアドレス６０１ａは、注目対象の工程傷画素（第１の欠陥画素）までの直前に検出された工程傷画素（第１の欠陥画素）からの転送された画素数、すなわち工程傷画素（第１の欠陥画素）の相対位置を示す。オフセットアドレス６０１ａは、例えば、１６ｂｉｔのデータ長を有する。傷情報６０１ｂは、傷の欠損状態や傷の種類を示し、ＩＳＯ感度やシャッター秒時、温度等のパラメータによって、傷補間時に傷として処理をするかどうかの判断基準として用いるものである。傷情報６０１ｂは、例えば、１６ｂｉｔのデータ長を有する。
The offset
図４（ｂ）に示すフォーマット６０２は、第２の記憶部１１１ｂに記憶される後傷画素ごとの傷データのフォーマット例である。フォーマット６０２は、Ｈアドレス６０２ａ１とＶアドレス６０２ａ２と傷情報６０２ｂとの組を含む。
A format 602 shown in FIG. 4B is a format example of flaw data for each rear flaw pixel stored in the
Ｈアドレス６０２ａ１とＶアドレス６０２ａ２との組は、画素配列１０４ａにおける行アドレス（Ｖアドレス）及び列アドレス（Ｈアドレス）を含む座標、すなわち絶対位置を示す。Ｈアドレス６０２ａ１は、例えば、１４ｂｉｔのデータ長を有する。Ｖアドレス６０２ａ２は、例えば、１４ｂｉｔのデータ長を有する。この場合、１６３８４画素×１６３８４画素までのフレームデータ中の傷位置を指定出来る。また、傷情報６０２ｂは、上記の傷情報６０１ｂと同様の情報である。
A set of an H address 602a1 and a V address 602a2 indicates coordinates including a row address (V address) and a column address (H address) in the
ここで、仮に、工程傷画素の位置と後傷画素の位置とをいずれも絶対位置（座標）を含む同一のフォーマットで不揮発性記憶部に記憶する場合について考える。この場合、工程傷画素及び後傷画素の総数の増加に比例して、工程傷画素の位置と後傷画素の位置とを記憶するためのデータ容量の合計が増大してしまう。 Here, suppose that the process scratch pixel position and the back scratch pixel position are stored in the nonvolatile storage unit in the same format including the absolute position (coordinates). In this case, the total data capacity for storing the position of the process flaw pixel and the position of the back flaw pixel increases in proportion to the increase in the total number of the process flaw pixel and the back flaw pixel.
あるいは、仮に、工程傷画素の位置と後傷画素の位置とをいずれも相対位置（画素距離）を含む同一のフォーマットで不揮発性記憶部に記憶する場合について考える。この場合、ある程度の数量のある工程傷画素の欠陥情報を、絶対位置を含むフォーマット（例えば、（１４ｂｉｔ＋１４ｂｉｔ＋１６ｂｉｔ）×画素数）に比べて少ないデータ容量（例えば、（１６ｂｉｔ＋１６ｂｉｔ）×画素数）に抑えることができる。一方、後傷画素は、後天的に発生していくものであり、出荷後ユーザーが手にする段階では、工程傷画素に対してその個数は少量である。この様な場合、その距離（転送方向における後傷画素と後傷画素との間隔）は大きく、相対位置を含むフォーマットで欠陥情報を記憶する場合、相対位置で表す桁によっては一度に表せない場合が起こる。例えば、１６ｂｉｔ幅での相対位置で表せる範囲は０〜６５５３５である。その数字を超えて傷画素の相対位置を表すには、途中で中継点（ダミー傷画素）を追加して挟む必要があり、その分無駄に不揮発性記憶手段の容量を消費する。このようなダミー傷画素の数が増加すると、工程傷画素（第１の欠陥画素）の位置と後傷画素（第２の欠陥画素）の位置とを記憶するためのデータ容量が全体として増大してしまう。 Alternatively, suppose that the process scratch pixel position and the back scratch pixel position are both stored in the nonvolatile storage unit in the same format including the relative position (pixel distance). In this case, defect information of a certain number of process scratch pixels is suppressed to a data capacity (for example, (16 bits + 16 bits) × number of pixels) which is smaller than a format including absolute positions (for example, (14 bits + 14 bits + 16 bits) × number of pixels). Can do. On the other hand, the back-scratched pixels are acquired afterward, and the number of the back-scratched pixels is small with respect to the process-scratched pixels at the stage that the user has after shipping. In such a case, the distance (the distance between the back-scratch pixel and the back-scratch pixel in the transfer direction) is large, and when the defect information is stored in a format including a relative position, it may not be possible to display at once depending on the digits represented by the relative position. Happens. For example, a range that can be represented by a relative position with a 16-bit width is 0 to 65535. In order to express the relative position of the scratched pixels beyond that number, it is necessary to add a relay point (dummy scratched pixel) between them, and the capacity of the nonvolatile storage means is consumed unnecessarily. When the number of dummy damaged pixels increases, the data capacity for storing the position of the process damaged pixel (first defective pixel) and the position of the back damaged pixel (second defective pixel) increases as a whole. End up.
それに対して、本実施形態によれば、複数の工程傷画素の相対位置を含む第１の欠陥情報が第１の記憶部により記憶される。これにより、複数の工程傷画素の位置を記憶するためのデータ容量を容易に低減することができる。また、複数の後傷画素の絶対位置を含む第２の欠陥情報が第２の記憶部により記憶される。これにより、ダミー傷画素を追加する必要がないので、複数の後傷画素の位置を記憶するためのデータ容量の増加を容易に抑えることができる。 On the other hand, according to this embodiment, the first defect information including the relative positions of the plurality of process scratch pixels is stored in the first storage unit. Thereby, the data capacity for storing the positions of a plurality of process flaw pixels can be easily reduced. In addition, second defect information including the absolute positions of a plurality of back scratch pixels is stored in the second storage unit. Thereby, since there is no need to add a dummy scratched pixel, an increase in data capacity for storing the positions of a plurality of trailing scratched pixels can be easily suppressed.
また、仮に、後傷画素の位置を含む第２の欠陥情報を、不揮発性メモリにおける工程傷画素の位置を含む第１の欠陥情報が記憶された領域と関連した領域に記憶する場合について考える。この場合、第２の欠陥情報の書込み時のアクシデントにより工程傷画素の位置を含む第１の欠陥情報が破壊される可能性がある。 Further, suppose that the second defect information including the position of the back defect pixel is stored in an area related to the area in which the first defect information including the position of the process defect pixel is stored in the nonvolatile memory. In this case, there is a possibility that the first defect information including the position of the process defect pixel is destroyed by an accident at the time of writing the second defect information.
それに対して、本実施形態では、第１の欠陥情報を記憶する第１の記憶部と第２の欠陥情報を記憶する第２の記憶部とが不揮発性記憶部における互いに独立した記憶部（記憶領域）となっている。これにより、第２の欠陥情報の書込み時のアクシデントにより工程傷画素の位置を含む第１の欠陥情報が破壊されることを避けることができる。 On the other hand, in the present embodiment, the first storage unit that stores the first defect information and the second storage unit that stores the second defect information are independent storage units (memory) in the nonvolatile storage unit. Area). Thereby, it is possible to avoid the destruction of the first defect information including the position of the process defect pixel due to the accident at the time of writing the second defect information.
以上のように、本実施形態によれば、複数の工程傷画素の位置と複数の後傷画素の位置とを互いに独立して記憶するためのデータ容量を全体として低減することができる。 As described above, according to the present embodiment, it is possible to reduce the data capacity for storing the positions of a plurality of process scratch pixels and the positions of a plurality of back scratch pixels independently of each other.
また、本実施形態によれば、複数の工程傷画素のそれぞれと複数の後傷画素のそれぞれとに対する相対位置を含む第５の欠陥情報を生成して揮発性記憶部に一時的に記憶する。これにより、複数の工程傷画素の位置と複数の後傷画素の位置とを一時的に記憶するためのデータ容量を低減することができる。 Further, according to the present embodiment, the fifth defect information including the relative positions with respect to each of the plurality of process scratch pixels and each of the plurality of back scratch pixels is generated and temporarily stored in the volatile storage unit. Thereby, it is possible to reduce the data capacity for temporarily storing the positions of the plurality of process scratch pixels and the positions of the plurality of back scratch pixels.
なお、マージ部１１０への欠陥情報の供給は、直接不揮発性記憶部１１１からでも、一旦揮発性記憶部１０８へと展開してからでも、構わない。もちろん、工程傷画素の欠陥情報を揮発性記憶部１０８上に展開せずに、後傷画素の欠陥情報を揮発性記憶部１０８上に展開してあっても良い。あるいは、傷検出部１０７の出力がそのままマージ部１１０へ転送されても構わない。
The defect information may be supplied to the
また、マージ部１１０による、工程傷画素と後傷画素とのマージ（重畳）された欠陥情報は、ユーザーの撮影時に既に生成されており使えれば良い。生成された第５の欠陥情報は、揮発性記憶部１０８上に展開して用いられるが、展開後のデータ扱いとしては、不揮発性記憶部１１１に格納しても良いし、そのまま補間部１０１ａに転送されても構わない。
Further, the defect information merged (superimposed) between the process-scratched pixel and the back-scratch pixel by the
次に、傷検出部１０７の内部構成例について、図５を用いて説明する。
Next, an example of the internal configuration of the
傷判定器２０１は、傷判定を行う。傷判定器２０１は、いくつかのバッファ（ハードウエアならば、幾つかのフリップフロップ構成で良い）を持つ。傷判定器２０１におけるいくつかのバッファは、判定注目画素の信号（データ）とその周辺画素の信号（データ）とを保持する。傷判定器２０１による判定は、例えば、注目画素の信号レベルと周辺画素の信号レベルの平均値との乖離や、転送方向における注目画素前後のメディアンフィルタ出力レベルと注目画素の信号レベルとの乖離が、閾値を超えたか否かについて行われる。
The
例えば、傷判定器２０１は、注目画素の信号レベルと設定指標（周辺画素）の信号レベルとの乖離が、事前に設定されたある閾値を超えた場合に、制御部２０４に対して１値を送出するものとする。傷判定器２０１には、前述の如く幾つかのバッファが存在するので、画素左端等のエッジ処理は備えていても良い。例えば、最初に受信したデータをバッファに画素コピーする。
For example, the
アドレスカウンタ２０２は、絶対位置を取得する。ハードウエア構成として言及すると、傷検出部１０７は、例えば、その前段・後段の回路とデータ授受を行う際に、ｖａｌｉｄ ｓｔａｔｕｓと、ｈｏｌｄ （ｒｅｑｕｅｓｔ） ｓｔａｔｕｓとを取り得る。ｖａｌｉｄ ｓｔａｔｕｓは、現在のデータが有効であることを示す。ｈｏｌｄ （ｒｅｑｕｅｓｔ） ｓｔａｔｕｓは、現在データの受信を行えないことを示す。
The
信号の状態定義として、「ｖａｌｉｄ ｓｔａｔｕｓ が１値（ａｃｔｉｖｅ ｈｉｇｈ） を受信したときの受信データは有効である」と定義する。同様に、「有効な送信データを送信するときには、ｖａｌｉｄ ｓｔａｔｕｓを１値にして送信する」、と定義する。この場合、ｖａｌｉｄ ｓｔａｔｕｓの１値状態をカウントすることで、現在の注目データがフレームのどの位置に該当するのかを把握できる。 As a signal state definition, it is defined that “the received data is valid when the valid status is 1 (active high)”. Similarly, it is defined that “when valid transmission data is transmitted,“ valid status is set to 1 ”. In this case, by counting the one-value state of valid status, it is possible to grasp which position in the frame the current attention data corresponds to.
また、ｈｏｌｄ ｓｔａｔｕｓは、前段に対してデータの送出の停止を求めるｒｅｑｕｅｓｔ（ｓｔａｔｕｓ）として定義する。この場合、後段でデータ処理が滞った場合には、それ以前のデータ処理を停止することが出来る。例えば、ｈｏｌｄ ｓｔａｔｕｓが１値のときのｖａｌｉｄ ｓｔａｔｕｓ の１値は保留として、前段はその状態（ｄａｔａ送出状態も含めて）を保持しなければならない、と定義できる。 Also, hold status is defined as a request (status) for requesting to stop sending data to the previous stage. In this case, if the data processing is delayed in the subsequent stage, the previous data processing can be stopped. For example, it can be defined that one value of valid status when hold status is 1 is held, and the previous stage must hold the state (including the data transmission state).
もちろん、撮像センサ１０４のデータ読み出しを即時に停止できないので、ｓｔｏｐ ｓｔａｔｕｓの発生頻度は、撮像系（１０４〜１０７）のパスに於いて、ＨＤ（水平のブランキング期間）に収まることが必要である。バッファ２０３は、後段からのｈｏｌｄ （ｒｅｑｕｅｓｔ） ｓｔａｔｕｓ に対するタイミング緩衝の役目を持つ。又は（不図示ではあるが）、撮像データを一旦揮発性記憶部１０８に取り込んでから、傷検出部１０７に投入しても目的は達成出来る。
Of course, since the data reading of the
アドレスカウンタ２０２は、水平画素カウンタ（以降、Ｈカウンタ）２０２１と、垂直ラインカウンタ（以降、Ｖカウンタ）２０２２とを含む。Ｈカウンタ２０２１とＶカウンタ２０２２とは、ｈｏｌｄ ｓｔａｔｕｓ ＝ ０時のｖａｌｉｄ ｓｔａｔｕｓ ＝ １ 値をカウントすることで、フレームの座標を把握する為のカウンタ構成である。Ｈカウンタ２０２１が事前に設定された値に達したときに、Ｈカウンタは０に戻り、Ｖカウンタ２０２２値が１インクリメントされる。
The
このとき、傷判定器２０１の出力が１値であれば、Ｈカウンタ２０２１、Ｖカウンタ２０２２の値をバッファ２０３へと格納する。Ｈカウンタ２０２１のカウント値とＶカウンタ２０２２のカウント値とも事前設定値に達したのであれば、アドレスカウンタ２０２は、制御部２０４に対してフレーム処理終了のｄｏｎｅ ｓｔａｔｕｓ（パルスでも良い）を送出する。
At this time, if the output of the
バッファ２０３は、制御部２０４から書き込み指示ｗｒを受けたことに応じて、アドレスカウンタ２０２のカウント値を一時的にバッファに取り込む。バッファ２０３は、制御部２０４から読み出し指示ｒｄを受けたことに応じて、取り込んだカウント値を後段へと出力する。バッファ２０３は、制御部２０４との間でｓｔａｔｕｓの授受を行う簡単なコントローラ（図示せず）を含む。このコントローラは、書き込み指示・読み出し指示のｓｔａｔｕｓに応じて、現在アクセスすべきバッファ領域を切り替えるものである。
The
制御部２０４は、主にｓｔａｔｕｓ ｓｉｇｎａｌの監視・制御を行う。制御部２０４は、ＣＰＵ１０１からのデータ処理開始指示（不図示）を受けて、アドレスカウンタ２０２の初期化、バッファ２０３の初期化等を行う。制御部２０４は、傷判定器２０１に初期化機能があれば、その実行要求も発行する。
The
また、制御部２０４は、次のようなｓｔａｔｕｓの監視・制御を行う。制御部２０４は、後段からｈｏｌｄ ｒｅｑｕｅｓｔが発行されたときに、バッファ２０３の読み出し処理を停止し、ｈｏｌｄ期間中にバッファ２０３がｆｕｌｌ状態になった場合に、前段の回路に対してｈｏｌｄ ｒｅｑｕｅｓｔを発行する。
In addition, the
そして、制御部２０４は、フレーム終了のｄｏｎｅ ｓｔａｔｕｓを受信したときに、前段からのデータ受信処理・後段へのデータ送信処理を停止し、ＣＰＵ１０１に対して終了ｓｔａｔｕｓを返す。
When the
次に、マージ部１１０の内部構成例について、図６を用いて説明する。図６は、工程傷画素の欠陥情報と後傷画素の欠陥情報とのマージ処理における工程傷画素の相対位置の情報と後傷画素の絶対位置の情報とのマージを行うための構成（ロジック）を中心に説明する。
Next, an internal configuration example of the
マージ部１１０は、レジスタ３０１〜３０５，３１０，３１１，３１３と、ＦＦ（フリップフロップ）３１６，３１７とを含む。これらのイベントタイミングは、クロック同期であるが、レジスタ３０４，３０５の演算ｐｈａｓｅと、その他のレジスタ更新ｐｈａｓｅとは独立とする。また、レジスタ３０４，３０５，３１０，３１１は、リセット実行による初期化ｐｈａｓｅ及び初期値を持つものとする。図６は、データパスの詳細を説明するための図なので、上記イベントについては不図示とする。また、説明を簡素化するために、夫々の傷データは全て有効なものとして説明していく。
The
マージ部１１０は、工程傷画素の相対位置の情報群と、後傷画素の絶対位置の情報群とを、それぞれ不揮発性記憶部１１１から読み出す。マージ部１１０は、工程傷画素の相対位置を絶対位置に変換した後、工程傷画素の絶対位置と後傷画素の絶対位置とのそれぞれにおける絶対位置の順位（大小）を比較して、直前の傷画素の位置に対して近い情報を採択し、相対位置情報として出力するものである。
The
マージ部１１０は、比較対照である傷画素の位置の情報として、工程傷画素の相対位置の情報をレジスタ３０１に受けて格納し、後傷画素の絶対位置の情報をレジスタ３０２，３０３に受けて格納している。後傷画素の絶対位置情報は、Ｈ（水平位置情報）とＶ（垂直位置情報）との座標データとして格納している。
The
マージ部１１０は、工程傷画素の相対位置の情報から、直前の傷とのオフセット位置を積算しながら座標位置を算出する、すなわち、工程傷画素の相対位置を絶対位置に変換する。その後、マージ部１１０は、工程傷画素の絶対位置と後傷画素の絶対位置とを比較していく。
The
具体的には、レジスタ３０１に格納された工程傷画素の相対位置が更新されると、オフセット加算後の結果の座標位置が示すＨ位置とＶ位置とを更新する。Ｈ位置はレジスタ３０４に、Ｖ位置はレジスタ３０５に、それぞれ保持される。
Specifically, when the relative position of the process defect pixel stored in the
値の更新は、レジスタ３０４の保持する値の上位にレジスタ３０５の保持する値を連接して（座標値を、距離積算値に換算して）、それにオフセット値としてレジスタ３０１の保持する値を加算することで更新する。更新値をレジスタ３０４、３０５に戻すには、連接した距離積算値の下位をレジスタ３０４（Ｈ位置）に、上位をレジスタ３０５（Ｖ位置）に分けて保持すれば良い。
The value is updated by concatenating the value held in the
もちろん、レジスタ３０４、３０５を一つの距離積算レジスタとして存在させても良い。また、加算器３０６等は、Ｈ情報とＶ情報とを連接した長ｂｉｔでの演算を行うので、ハードウエアで構成する場合には、キャリー信号の通るゲート段数が大きくなる。ＨレジスタとＶレジスタとに分けて演算をしても良いが、その場合には、Ｈ演算実行後の桁上げをＶ演算に反映させる等の処置が必要である。
Of course, the
レジスタ３０２，３０３は、不揮発性記憶部１１１から読み出した後傷画素の絶対位置の情報を保持する。レジスタ３０２，３０３の保持する値もまた、レジスタ３０３（Ｖ位置の情報）を上位として連接して演算に用いる。図中’&’は連接演算子表記であり、ある信号と別の信号とをマージした状態で一つの信号として取り扱うことを示す。
The
加算器（減算器）３０７は、工程傷画素の相対位置の情報（オフセット）を加算していき得た次期位置から、後傷画素の次期位置を引く演算を行う。加算器（減算器）３０７は、演算結果をセレクタ３０８へ出力する。
An adder (subtracter) 307 performs an operation of subtracting the next position of the back scratch pixel from the next position obtained by adding the information (offset) of the relative position of the process scratch pixel. The adder (subtracter) 307 outputs the calculation result to the
セレクタ３０８は、加算器（減算器）３０７の演算結果におけるＭＳＢ（最上位ｂｉｔ：符号ｂｉｔ）を選択条件として用い、大小関係の結果を得る。すなわち、セレクタ３０８は、加算器（減算器）３０７の演算結果における符号が０ならば、工程傷画素の次期位置より後傷画素の次期位置が小さいと判断する。セレクタ３０８は、加算器（減算器）３０７の演算結果における符号が１ならば、後傷画素の次期位置より工程傷画素の次期位置が小さいと判断する。セレクタ３０８は、加算器（減算器）３０７の演算結果における符号に応じて、マージ結果へ追加すべき傷画素の次期位置の情報を選択して出力する。
The
セレクタ３０８の出力である傷画素の次期位置の情報は、絶対位置としての情報を含んでいる。その為、一旦、レジスタ３１０，３１１に絶対位置の情報としてのＨ情報，Ｖ情報を保持する。図６では連接を解いて、Ｈｈｏｌｄ値，Ｖｈｏｌｄ値のそれぞれを保持する場合を示しているが、そのまま一つのレジスタで保持しても何ら問題は無い。
The information on the next position of the damaged pixel, which is the output of the
前述の如く、マージ出力は相対位置情報とする為、レジスタ３１０，３１１への保持と同じタイミングで、レジスタ３１３に、レジスタ３１０，３１１の前の値と、セレクタ３０８の出力との差を保持する。加算器（減算器）３１２は、その差分を得るためのものである。すなわち、加算器（減算器）３１２は、セレクタ３０８から出力された絶対位置の値から直前の傷画素の絶対位置の値を引くことで相対位置の情報を求めレジスタ３１３へ供給する。レジスタ３１３は、求められた相対位置の情報を一時的に記憶する。
As described above, since the merge output is relative position information, the difference between the previous value of the
等面コンパレータ（比較器）３０９は、２つの入力値が等しいときに１値を出力するものである。レジスタ３０１、３０２、及び３０３の保持する値は、その値がマージされる度に傷画素の次期位置の情報へと更新される。この更新は、加算器（減算器）の符号値の０／１に加えて、レジスタ３０２，３０３の保持する値とレジスタ３０４，３０５の保持する値とが等しい場合も考慮する必要がある。
The isosurface comparator (comparator) 309 outputs one value when two input values are equal. The values held in the
工程傷画素の位置の情報としての次期相対位置情報の要求は、加算器（減算器）３０７の演算結果における符号（ＭＳＢ）が１のときと、比較器３０９の出力値が１のときとに行う。すなわち、加算器（減算器）３０７の演算結果における符号（ＭＳＢ）と比較器３０９の出力値とがＯＲ回路３１４を経てＦＦ３１６へ供給される。ＦＦ３１６は、そのステータスを保持して回路出力としている。
The request for the next relative position information as information on the position of the process flaw pixel is made when the sign (MSB) in the calculation result of the adder (subtracter) 307 is 1 and when the output value of the
同様に、後傷画素の位置の情報としての次期絶対位置情報の要求は、加算器（減算器）３０７の演算結果における符号（ＭＳＢ）が０のときと、比較器３０９の出力値が１のときとに行う。すなわち、加算器（減算器）３０７の演算結果における符号（ＭＳＢ）を論理反転した信号と比較器３０９の出力値とがＯＲ回路３１５を経てＦＦ３１７へ供給される。ＦＦ３１７は、そのステータスを保持して回路出力としている。
Similarly, the request for the next absolute position information as the position information of the back-scratch pixel is that the sign (MSB) in the calculation result of the adder (subtracter) 307 is 0 and the output value of the
マージ部１１０を経て得た相対位置情報としての傷画素の位置の情報は、揮発性記憶部１０８に一時的に記憶して、補間処理を実行時にそれを読み出し、その情報における相対位置を絶対位置に変換した後、補間対象画素の絶対位置を特定するために用いられる。もちろん、マージ部１１０の出力をそのまま補間部１０１ａに供給しても構わないし、不揮発性記憶部１１１に一時的に記憶しても構わない。
The information on the position of the damaged pixel as the relative position information obtained through the merging
Claims (12)
前記画素配列における第１の種類の欠陥画素の位置を特定する情報であり、前記第１の種類の欠陥画素の各々について、前記転送順において前記第１の種類の欠陥画素間に信号が転送される画素数を示す相対位置を第１の欠陥情報として記憶する第１の記憶手段と、
前記第１の種類の欠陥画素が検出された時期よりも後に前記撮像手段から転送された信号において周囲の画素との信号のレベル差が閾値を越える画素を第２の種類の欠陥画素として検出する検出手段と、
前記検出手段により検出された前記第２の種類の欠陥画素の各々について、該画素の前記画素配列における座標を示す絶対位置を第２の欠陥情報として記憶する第２の記憶手段と、
を備えたことを特徴とする撮像装置。 An imaging unit that has a pixel array in which a plurality of pixels each including a photoelectric conversion unit are two-dimensionally arranged, and sequentially transfers a signal photoelectrically converted in each pixel of the pixel array according to a transfer order;
Information specifying the position of the first type of defective pixel in the pixel array, and a signal is transferred between the first type of defective pixels in the transfer order for each of the first type of defective pixels. First storage means for storing a relative position indicating the number of pixels to be stored as first defect information;
Pixels exceeding the first type of level difference threshold signal with pixels surrounding have you to transfer the signal from the imaging means after the time when the defective pixel is detected as a defective pixel of the second type Detecting means for detecting;
Second storage means for storing, as second defect information , an absolute position indicating coordinates of the pixel in the pixel array for each of the second type of defective pixels detected by the detection means;
An imaging apparatus comprising:
第１の種類の欠陥画素の位置情報であって、前記第１の種類の欠陥画素の各々について、前記画素配列の各画素で光電変換された信号の転送順において前記第１の種類の欠陥画素間に転送される画素数を示す相対位置を特定する位置情報を第１の欠陥情報として記憶する第１の記憶手段と、
前記第１の種類の欠陥画素が検出された時期よりも後に周囲の画素との信号のレベル差が閾値を越える画素として検出された第２の種類の欠陥画素の位置情報であって、前記第２の種類の欠陥画素の各々について、前記画素配列における絶対位置を特定する位置情報を第２の欠陥情報として記憶する第２の記憶手段と、
を備えたことを特徴とする記憶装置。 A storage device that stores position information for specifying a position of a defective pixel in a pixel array in which a plurality of pixels each including a photoelectric conversion unit are two-dimensionally arranged,
Position information of a first type of defective pixel, and for each of the first type of defective pixel, the first type of defective pixel in the order of transfer of signals photoelectrically converted by each pixel of the pixel array. First storage means for storing position information for specifying a relative position indicating the number of pixels transferred between the first defect information;
Position information of a second type of defective pixel detected as a pixel whose signal level difference with surrounding pixels exceeds a threshold after a time when the first type of defective pixel is detected, Second storage means for storing position information specifying an absolute position in the pixel array as second defect information for each of the two types of defective pixels;
A storage device comprising:
前記画素配列から転送された信号のうち、前記第３の欠陥情報により特定される位置の画素に対応する信号を、該画素の周囲の画素に対応する信号を用いて補間する補間手段と、
をさらに備えたことを特徴とする請求項７または８に記載の記憶装置。 The first defect information and the second defect information are combined, and for each defective pixel included in the pixel array, a relative position indicating a pixel to which a signal is transferred between the defective pixels in the transfer order is specified. Generating means for generating third defect information;
Interpolation means for interpolating a signal corresponding to a pixel at a position specified by the third defect information among signals transferred from the pixel array, using a signal corresponding to a pixel around the pixel;
The storage device according to claim 7 or 8, further comprising:
前記撮像装置の制御手段が、前記画素配列における第１の種類の欠陥画素の位置を特定する情報であり、前記第１の種類の欠陥画素の各々について、前記転送順において前記第１の種類の欠陥画素間に信号が転送される画素数を示す相対位置を第１の欠陥情報として記憶する第１の記憶工程と、
前記撮像装置の検出手段が、前記第１の種類の欠陥画素が検出された時期よりも後に前記撮像手段から転送された信号において周囲の画素との信号のレベル差が閾値を越える画素を第２の種類の欠陥画素として検出する検出工程と、
前記制御手段が、前記検出工程において検出された前記第２の種類の欠陥画素の各々について、該画素の前記画素配列における座標を示す絶対位置を第２の欠陥情報として記憶する第２の記憶工程と、
を備えたことを特徴とする撮像装置の制御方法。 Control of an imaging apparatus having a pixel array in which a plurality of pixels each including a photoelectric conversion unit are two-dimensionally arranged and sequentially transferring signals photoelectrically converted by each pixel of the pixel array according to a transfer order A method,
The control means of the imaging device is information for specifying a position of a first type of defective pixel in the pixel array, and for each of the first type of defective pixels, the first type of pixels in the transfer order. A first storage step of storing, as first defect information, a relative position indicating the number of pixels to which signals are transferred between defective pixels;
Detecting means of the image pickup device, pixels exceeding the first type of level difference threshold signal with pixels surrounding have you to transfer the signal from the imaging means after the time when the defective pixel is detected A detection step of detecting as a second type of defective pixel;
A second storage step in which the control means stores, for each of the second type defective pixels detected in the detection step, an absolute position indicating coordinates of the pixel in the pixel array as second defect information; When,
An image pickup apparatus control method comprising:
前記記憶装置の制御手段が、前記第１の種類が検出された時期よりも後に周囲の画素との信号のレベル差が閾値を越える画素として検出された第２の種類の欠陥画素の位置情報であって、前記第２の種類の欠陥画素の各々について、前記画素配列における絶対位置を特定する位置情報を第２の位置情報として記憶する第２の記憶工程
を備えることを特徴とする記憶装置の制御方法。 A storage device control method for storing position information for specifying a position of a defective pixel in a pixel array in which a plurality of pixels each including a photoelectric conversion unit are two-dimensionally arrayed, wherein the storage device includes: Position information of a first type of defective pixel, and for each of the first type of defective pixel, the first type of defective pixel in the order of transfer of signals photoelectrically converted by each pixel of the pixel array. First storage means for storing position information for specifying a relative position indicating the number of pixels transferred between the first position information;
The control means of the storage device uses the positional information of the second type defective pixel detected as a pixel whose signal level difference with surrounding pixels exceeds the threshold after the time when the first type is detected. A second storage step of storing, as second position information, position information for specifying an absolute position in the pixel array for each of the second type defective pixels. Control method.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2009231011A JP5432657B2 (en) | 2009-10-02 | 2009-10-02 | Imaging device, storage device, and control method |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2009231011A JP5432657B2 (en) | 2009-10-02 | 2009-10-02 | Imaging device, storage device, and control method |
Publications (3)
| Publication Number | Publication Date |
|---|---|
| JP2011082634A JP2011082634A (en) | 2011-04-21 |
| JP2011082634A5 JP2011082634A5 (en) | 2012-11-08 |
| JP5432657B2 true JP5432657B2 (en) | 2014-03-05 |
Family
ID=44076270
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2009231011A Expired - Fee Related JP5432657B2 (en) | 2009-10-02 | 2009-10-02 | Imaging device, storage device, and control method |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP5432657B2 (en) |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP6759088B2 (en) | 2016-12-20 | 2020-09-23 | キヤノン株式会社 | Imaging device and its control method and program |
| JP7256661B2 (en) | 2019-03-19 | 2023-04-12 | キヤノン株式会社 | IMAGING DEVICE, CONTROL METHOD OF IMAGING MEANS, PROGRAM AND STORAGE MEDIUM |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP3680334B2 (en) * | 1995-01-17 | 2005-08-10 | ソニー株式会社 | Pixel unevenness correction apparatus and method |
-
2009
- 2009-10-02 JP JP2009231011A patent/JP5432657B2/en not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JP2011082634A (en) | 2011-04-21 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| TWI364983B (en) | Image sensor, electronic apparatus, and driving method of electronic apparatus | |
| JP6271926B2 (en) | Imaging device, control method thereof, and program | |
| JP5746521B2 (en) | IMAGING DEVICE, ITS CONTROL METHOD, PROGRAM, AND STORAGE MEDIUM | |
| JP7481313B2 (en) | Image pickup device, image pickup device operation method, and program | |
| JP2011109281A5 (en) | ||
| CN109474781A (en) | Photographic device, the control method of photographic device, recording medium | |
| JP6013247B2 (en) | Imaging device | |
| JP5696419B2 (en) | Image processing apparatus and method, and program | |
| JP2007174266A (en) | Imaging apparatus | |
| JP5432657B2 (en) | Imaging device, storage device, and control method | |
| US10965896B2 (en) | Photoelectric conversion device, moving body, and signal processing device | |
| US9282245B2 (en) | Image capturing apparatus and method of controlling the same | |
| JP2018157371A (en) | Imaging apparatus and method of correcting defective pixels | |
| JP2014033415A (en) | Image processor, image processing method and imaging apparatus | |
| JP6763215B2 (en) | Signal processing device | |
| JP2008312169A (en) | Image processing apparatus and method, and imaging apparatus | |
| JP5968145B2 (en) | Image processing apparatus and control method thereof | |
| US11729506B2 (en) | Imaging element with processor configured to receive vibration information, imaging apparatus, operation method of imaging element, and program | |
| JP5874473B2 (en) | Electronic camera | |
| JP7020463B2 (en) | Imaging device | |
| JP6765953B2 (en) | Imaging device and its control method | |
| JP2004056407A (en) | Solid-state electronic imaging device and solid-state electronic imaging unit | |
| JP2012120076A (en) | Imaging apparatus | |
| JP2009212603A (en) | Imaging apparatus and its control method | |
| JP2009033498A (en) | Optical distortion correction device, method and program therefor, and imaging apparatus |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20120920 |
|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20120920 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20130415 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20130507 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20130705 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20131108 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20131206 |
|
| R151 | Written notification of patent or utility model registration |
Ref document number: 5432657 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |
|
| LAPS | Cancellation because of no payment of annual fees |