JP3991011B2 - 画像信号処理装置 - Google Patents
画像信号処理装置 Download PDFInfo
- Publication number
- JP3991011B2 JP3991011B2 JP2003176994A JP2003176994A JP3991011B2 JP 3991011 B2 JP3991011 B2 JP 3991011B2 JP 2003176994 A JP2003176994 A JP 2003176994A JP 2003176994 A JP2003176994 A JP 2003176994A JP 3991011 B2 JP3991011 B2 JP 3991011B2
- Authority
- JP
- Japan
- Prior art keywords
- output
- image
- circuit
- data
- ccd
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000012545 processing Methods 0.000 title claims description 56
- 238000012937 correction Methods 0.000 claims description 63
- 230000007547 defect Effects 0.000 claims description 44
- 238000003384 imaging method Methods 0.000 claims description 18
- 230000002194 synthesizing effect Effects 0.000 claims description 6
- 238000001444 catalytic combustion detection Methods 0.000 description 66
- 238000000034 method Methods 0.000 description 30
- 230000005484 gravity Effects 0.000 description 17
- 230000002950 deficient Effects 0.000 description 12
- 238000010586 diagram Methods 0.000 description 12
- 238000006243 chemical reaction Methods 0.000 description 11
- 238000007781 pre-processing Methods 0.000 description 6
- 238000012546 transfer Methods 0.000 description 4
- 230000000007 visual effect Effects 0.000 description 3
- 238000006073 displacement reaction Methods 0.000 description 2
- 230000015572 biosynthetic process Effects 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 230000003111 delayed effect Effects 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000003786 synthesis reaction Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/77—Retouching; Inpainting; Scratch removal
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/90—Dynamic range modification of images or parts thereof
- G06T5/92—Dynamic range modification of images or parts thereof based on global image properties
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
- H04N25/68—Noise processing, e.g. detecting, correcting, reducing or removing noise applied to defects
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
- H04N25/68—Noise processing, e.g. detecting, correcting, reducing or removing noise applied to defects
- H04N25/69—SSIS comprising testing or correcting structures for circuits other than pixel cells
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/70—SSIS architectures; Circuits associated therewith
- H04N25/71—Charge-coupled device [CCD] sensors; Charge-transfer registers specially adapted for CCD sensors
- H04N25/713—Transfer or readout registers; Split readout registers or multiple readout registers
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10024—Color image
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Transforming Light Signals Into Electric Signals (AREA)
- Color Television Image Signal Generators (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明は、画像信号処理技術に関し、特に撮像エリアが複数の領域に分割された画像信号を処理する技術に関する。
【０００２】
【従来の技術】
下記の特許文献１においては、２チャンネル出力されるＣＣＤの各々の出力の積分値どうしを比較し、積分値が等しくなるよう、各々の出力ゲインを補正するといった固体撮像装置が紹介されている。
【０００３】
【特許文献１】
特開平９−４６５９９号公報
【０００４】
【発明が解決しようとする課題】
しかしながら、従来の方法は２チャンネル間のレベル補正をアナログ回路上で実施している。このため物理的な回路サイズが大きくなりがちであった。
【０００５】
本発明は、物理的回路サイズを小さくすると共に、撮像エリアの分割領域の境界部の画素欠陥を補正し、かつ正確な欠陥補正を行う為の技術を提供することを目的とする。
【０００６】
【課題を解決するための手段】
本発明の画像信号処理装置は、撮像エリアが複数エリアに分割され、各分割領域別に画像信号を生成して出力する撮像手段と、前記各分割領域のデジタル値の画像信号間のバランスを補正するためのバランス補正手段と、前記バランス補正手段で補正された後に、前記補正された各分割領域の画像信号を合成して１枚の画像データを生成する合成手段と、前記合成手段で合成された後に、前記合成手段によって合成された画像信号の欠陥を補正する欠陥補正手段と、前記欠陥補正手段で補正された後に、同一垂直ライン上の前後の画素と重みづけ加算することにより、垂直同色加算により生じた画素位置の重心ずれを補正する重心ずれ補正手段とを有することを特徴とする。
【０００７】
本発明によれば、各分割領域の画像信号を合成する処理を行った後に、画像信号の欠陥を補正する処理を行うことにより、撮像エリアの分割領域の境界部に隣接する画素の画素欠陥を補正することができる。また、画像信号の欠陥を補正する処理を行った後に、画素位置の重心ずれを補正する処理を行うことにより、正確な欠陥補正を行うことができる。
【０００８】
【発明の実施の形態】
以下に本発明の実施の形態を説明する。
（第１の実施形態）
図１は本発明の第１の実施形態に係る画像信号処理装置のブロック図である。図１において、11及び12はＣＣＤ（撮像手段）であり、光電変換により画像信号を生成して出力する。近年、非常に多画素なＣＣＤが実現されている。しかし、一方で、そのＣＣＤ出力画像を動画像として利用する場合などは非常に多画素であるがゆえに、高速でＣＣＤの出力信号の全画素を読み出す必要があるが、従来のデバイス技術の延長では実現が困難であり、水平ＣＣＤを二分割にし、一枚の画面を二つの出力端子から読み出すＣＣＤが公開されている。図１の11、12に示すＣＣＤはこの二分割出力のタイプであり、それぞれ11が画面左側、12が画面右側の画像エリア（撮像エリア）の出力を分担するＣＣＤである。21、22は画面左右それぞれのＣＣＤ出力を増幅するためのアンプで、21が画面左側、22が画面右側の画像エリアの出力を分担するアンプである。31、32は画面左右それぞれのＣＣＤ出力をアナログ値からデジタル値へ変換するためのＡＤ変換器で、31が画面左側、32が画面右側の画像エリアの出力を分担するＡＤ変換器である。41、42は画面左右それぞれのＣＣＤ出力相互の出力バランスを補正するためのチャンネル間バランス補正回路である。11、12のような二分割出力タイプのＣＣＤでは読み出し速度的には有利であるが、出力レベルのマッチング性は明らかに不利となるため、この回路で左右画面相互の出力補正を行う。51はＣＣＤ11、12からチャンネル間バランス補正回路41、42まで二分割処理されてきた出力信号を、この回路以降、一枚の画像信号として処理可能な様に配列変換して合成するためのミラー反転回路（合成回路）である。61は個体ＣＣＤが特有に持つ欠陥箇所からの出力画素の出力欠陥を補正するための欠陥部補正回路である。以上41、42、51、61のブロックが、本実施形態における画像信号処理回路を示すブロック100である。この一連の画像信号処理を施された画像信号は81の画像処理回路へ転送され、電子ズーム処理など、装置システム側にて必要な画像処理が施され利用される事となる。
【０００９】
それでは、ここから本実施形態おける画像信号処理回路を示すブロック100の動作を詳細に述べていく。
【００１０】
ここで、図２は、図１のＡＤ変換器31、32でデジタル変換された左右それぞれのデジタル画像データが未加工の段階での出力画面モニターの視覚状態である。つまり、画面左右対象なフラットな色の物体が有った場合、左右それぞれのＣＣＤからの出力レベルに差があるため、補正を実施しない状態では、その色レベル差が明瞭に画面上に現れる。画面左側のデジタル画像データ101は左側のＣＣＤ11の出力信号に対応する画像データであり、画面右側のデジタル画像データ102は左側のＣＣＤ12の出力信号に対応する画像データである。画像データ101及び102は、レベルが異なっている。この視覚状態を解消するため、図１のチャンネル間バランス補正回路41、42は図６のように構成する。すなわち401、402の入力端子へ接続された画面左右それぞれの画像データは430の比較回路へ入力され、それぞれのデータを比較する事により、差を吸収させる為の左右それぞれ別の補正テーブル411、412が430の比較回路により選択される。401、402の入力値は左右それぞれ別の411、412の補正テーブルにより、差を吸収させる為の変換を施された後、421、422の出力端子へ出力される。
【００１１】
図６のチャンネル間バランス補正回路41,42をこのように、画面左右それぞれの画像データ列が時間的にシリアルに並んだ状態で施す事により、この回路において一度に扱う画像データの量が少なくなるため、回路量が小さくなるというメリットがある。
【００１２】
図１の41、42のチャンネル間バランス補正回路にて、出力データの左右マッチングを補正されたデータは、次に、図１のミラー反転回路51で一枚の画像信号として処理可能な様に配列変換が行われる。ここで図３に本実施形態のデータ配列変換を模式的に示す。すなわち、図１の41のチャンネル間バランス補正回路Ｌ側からの入力値Ｌ１、42のチャンネル間バランス補正回路Ｒ側からの入力値Ｒ１、41のチャンネル間バランス補正回路Ｌ側からの入力値Ｌ２、42のチャンネル間バランス補正回路Ｒ側からの入力値Ｒ２…、の時間順に入力されてくるデータ、すなわち図３の左側のデータ順を、図３の右側に示すように、画面上の一つの行に対し、画面上の左側の画素から順番に読出すように配列変換する。つまり、入力順がＬ１、Ｒ１、Ｌ２、Ｒ２、Ｌ３、Ｒ３、‥‥‥であるデータ列を、出力順はＬ１、Ｌ２、Ｌ３、‥‥‥、Ｒ３、Ｒ２、Ｒ１と読み出すように配列変換する。画面左側の画像データ101はデータＬ１、Ｌ２、Ｌ３等を含み、画面右側の画像データ102はデータＲ１、Ｒ２、Ｒ３等を含む。図３を見ると明確なように、画面の左右両端から順番に書込まれるデータ列の、特に画面右側のデータ列については、入力順番に対し出力順番が鏡面反射させた関係となるため、「ミラー反転回路」と呼んでいる。
【００１３】
具体的な回路構成を図７に示す。501のＬ側入力端子、502のＲ側入力端子に入力される画像データは510のデータメモリに一旦、書込まれ、550の出力端子から読出されるが、この時の読出しと書込み順番を530の書込みアドレス制御回路と540の読出しアドレス制御回路によって制御しながら行う。すなわち、この書込みアドレス制御回路530及び読出しアドレス制御回路540は520の出力端子から出力される出力画像の水平同期信号によって初期化させる事により、図３に示す順番のアドレスを制御出力できる。
【００１４】
図１のミラー反転回路51で一枚の画像信号として処理可能な様に配列変換を行われたデータは、次に、図１の欠陥部補正回路61で個体ＣＣＤが特有に持つ欠陥箇所からの出力画素の出力欠陥の補正が行われる。ここで、図４に本実施形態の欠陥部補正方法を模式的に示す。すなわち、自然画においては、存在しているある画素が、それに隣接する画素に極めて類似しているという性質を利用し、画面左側の画像データ101及び画面右側の画像データ102において、まず、検出時には隣接する画素との差分を比較し、差分が閾値以上の場合は、その画素をＣＣＤ欠陥部であると判断する。そして、欠陥画素は両隣の画素を使って補間を行う。
【００１５】
具体的な回路構成を図８に示す。601の入力端子に順次送られる画像データは、611、612の遅延回路で各遅延要素が抽出され、650の欠陥部判定回路にてすぐ隣の画素データとの差分が演算され、その差分を予め設定された閾値と比較し、差分が閾値以上の場合は、その画素をＣＣＤ欠陥部であると判断する。650の欠陥部判定回路は、欠陥部の場合は640のスイッチを上側へ制御し、欠陥部で無い場合は640のスイッチを下側へ制御する。すなわち、正常なデータであれば、611、612の遅延回路で遅延したデータをスルーで660の出力端子へ出力する。欠陥データの場合は、611、612の遅延回路で抽出された各遅延要素に対し、620の乗算器群にて重み付け演算が行われた値を630の加算器にて加算する事で、補間値を導き出し、この補間値を660の出力端子へ出力する。
【００１６】
図１の欠陥部補正回路61をこのように、51のミラー反転回路で一枚の画像信号として処理可能な様に配列変換を行った後に実施する事により、図４に示す画面中央部、かつ、二つの分割画面境界部に隣接する画素の画素欠陥も問題なく補正処理を行う事が可能になるというメリットがある。
【００１７】
以上図１の41、42、51、61の画像信号前処理回路ブロックの動作を説明した。この一連の画像信号処理を順番で施された画像信号は81の画像処理回路へ転送され、電子ズーム処理など、装置システム側にて必要な画像処理が施され利用される事となる。
【００１８】
（第２の実施形態）
次に、本発明に係る第２の実施形態の画像信号処理装置を説明する。
図１０は本発明の第２の実施形態に係る画像信号処理装置のブロック図である。図１０において11、12はＣＣＤであり、カラーの画像信号を生成して出力する。図１０の11、12に示すＣＣＤは二分割出力のタイプであり、それぞれ11が画面左側、12が画面右側の画像エリアの出力を分担するＣＣＤである。尚、この実施形態のＣＣＤは、原色ベイヤー配列のフィルターで構成されたＣＣＤの出力を動画像として利用するために、動画読み出しモードにおいては、垂直同色加算読出し方式による画素数間引き出力を行っているＣＣＤである。21、22は画面左右それぞれのＣＣＤ出力を増幅するためのアンプで、21が画面左側、22が画面右側の画像エリアの出力を分担するアンプである。31、32は画面左右それぞれのＣＣＤ出力をアナログ値からデジタル値へ変換するためのＡＤ変換器で、31が画面左側、32が画面右側の画像エリアの出力を分担するＡＤ変換器である。41、42は画面左右それぞれのＣＣＤ出力相互の出力バランスを補正するためのチャンネル間バランス補正回路である。11、12のような二分割出力タイプのＣＣＤでは読み出し速度的には有利であるが、出力レベルのマッチング性は明らかに不利となるため、この回路で左右画面相互の出力補正を行う。51はＣＣＤ11、12からチャンネル間バランス補正回路41、42まで二分割処理されてきた出力信号を、この回路以降、一枚の画像信号として処理可能な様に配列変換するためのミラー反転回路である。61は個体ＣＣＤが特有に持つ欠陥箇所からの出力画素の出力欠陥を補正するための欠陥部補正回路である。71は重心ずれ補正回路である。つまり、この回路は、原色ベイヤー配列のフィルターで構成されたＣＣＤの出力を動画像として利用するために、動画読み出しモードにおいて、垂直同色加算読出し方式による画素数間引き出力を行った場合、画面垂直方向に重心ずれが発生し、画面上の斜め線が斜めとして現れず、階段状になった線として表現されてしまう為、この現象を補正する回路である。具体的には、同一垂直ライン上の前後の画素と重みづけ加算することにより、画素位置の重心ずれを補正する。以上41、42、51、61、71のブロックが、本実施形態における画像信号処理回路を示すブロック100である。この一連の画像信号処理を施された画像信号は81の画像処理回路へ転送され、電子ズーム処理など、装置システム側にて必要な画像処理が施され利用される事となる。
【００１９】
第２の実施形態のブロック構成は第１の実施形態のブロック構成と非常に類似しており、第２の実施形態のブロック構成と第１の実施形態のブロック構成の違いは、図１０の重心ずれ補正回路71の有無である。原色ベイヤー配列のフィルターで構成されたＣＣＤの出力を動画像として利用するためには、動画読み出しモードにおいて、垂直同色加算読出し方式による画素数間引き出力を行った場合、画面垂直方向に重心ずれが発生するため図１０の重心ずれ補正回路71が必要で、第２の実施形態では重心ずれ補正回路が必須である。
【００２０】
つまり、第２の実施形態の構成を示す図１０において、11、12、21、22、31、32、41、42、51、61のブロックの動作は第１の実施形態と同じであるため、説明を省略する。
【００２１】
図１０の欠陥部補正回路61で個体ＣＣＤが特有に持つ欠陥箇所からの出力画素の出力欠陥の補正を行われたデータは、次に、図１０の重心ずれ補正回路71で、原色ベイヤー配列のフィルターで構成されたＣＣＤの出力を動画像として利用するために、動画読み出しモードにおいて、垂直同色加算読出し方式による画素数間引き出力を行った場合、画面垂直方向に重心ずれが発生し、画面上の斜め線が斜めとして現れず、階段状になった線として表現されてしまう現象を補正する。
【００２２】
ここで、図５に本実施形態の重心ずれ補正方法を模式的に示す。図５の111に示す原色ベイヤー配列のＣＣＤデータは動画読出しモードにおいては、垂直同色加算読出し方式で画素数を１／２に間引き読出しする事により、動画処理の速度的な問題を解消させる。垂直同色加算とは垂直方向に隣接する二つの同色撮像素子の電荷を同時に一つの垂直転送ＣＣＤ上に転送する事により加算する方法であり、ＣＣＤの電極構成の工夫によって実現させる事が可能である。すなわち、図５の121、122、123、124の加算器は、この垂直方向に隣接する二つの同色画素を垂直転送ＣＣＤ上で加算する事を意味するものである。「Ｒ（赤）」「Ｇ（緑）」「Ｒ」「Ｇ」フィルターが施されている行のデータは２行隣の「Ｒ」「Ｇ」「Ｒ」「Ｇ」フィルターが施されている行のデータと垂直転送ＣＣＤ上で加算され、加算器121の加算後の「Ｒ」「Ｇ」データ列がＣＣＤの出力端に131として出てくる。同様に、「Ｇ」「Ｂ（青）」「Ｇ」「Ｂ」フィルターが施されている行のデータは２行隣の「Ｇ」「Ｂ」「Ｇ」「Ｂ」フィルターが施されている行のデータと垂直転送ＣＣＤ上で加算され、加算器122の加算後の「Ｇ」「Ｂ」データ列がＣＣＤの出力端に132として出てくる。垂直同色加算は、このＣＣＤフィルター構成の場合、２行隣の画素同士を加算する為、隣接するデータ群は４行隣の画素となり、133、134がそれぞれ、隣接するデータ群の加算後の「Ｒ」「Ｇ」データ列、データ群の加算後の「Ｇ」「Ｂ」データ列となる。つまり、図１０の重心ずれ補正回路71へは図５の131、132、133、134というデータ列が入力されてくるわけである。ここで、131、132、133、134という垂直同色加算後のデータ列の物理的配置を考えてみる。もともと111のように物理的配置されていた画素同士を加算しているため、111のそれぞれの画素を加算した場合に、その重心位置はもともとの111の画素列の同色加算要素の中心部付近に来る為、図５の131、132、133、134に模式的に示しているように、もともとの111の画素列４行に対し、131、132の行グループ、133、134の行グループといったように、４行飛びに２行連続の行グループが発生し、１行おき等間隔な行グループが発生しない。すなわちこれが重心ずれである。この重心ずれが画面上の斜め線が斜めとして現れず、階段状になった線として表現されてしまう原因である。この重心ずれに対し、141、142、143、144の乗算器と151、152の加算器により垂直補間フィルターをかける事で、１行おき等間隔な行グループ、すなわち図５の161、162を発生させる。
【００２３】
具体的な回路構成を図９に示す。701の入力端子に順次送られる画像データは、710の１Ｈ（水平走査期間）遅延回路群にて、隣接する水平ラインの要素が抽出される。そして、この隣接水平ライン要素同士は720の乗算器群によって、１行おき等間隔な行グループとなるような重み付け乗算がなされ、次に730、731の加算器において、「Ｒ」「Ｇ」データ同士、「Ｇ」「Ｂ」データ同士のように同色同士の要素を加算した結果を、741の「Ｒ」「Ｇ」データ列出力端子、742の「Ｇ」「Ｂ」データ列出力端子へ出力する事により、重心ずれ補正を完了する。
【００２４】
このように重心ずれ補正の処理は、各画素データへ係数乗算、重み付け加算をする事により、もともとの入力データを変換させ、新たな演算値を出力してしまう。従って、もし、この重心ずれ補正プロセスを図１０の欠陥部補間回路61のプロセスの前に実施した場合、欠陥部補正回路61へは、加工済みデータが入力され、欠陥生データが入力されない事になり、著しく欠陥部の検出が困難になるという欠点が発生してしまう。図１０の構成であれば、この欠点を発生させずに欠陥データ補間プロセスを実行する事が可能である。
【００２５】
以上説明したように、画像信号デジタル処理装置は、「ＣＣＤの撮像エリアが複数エリアに分割され、各分割領域別に信号を出力する」構造を持つＣＣＤからのＡＤ変換されたデジタル出力信号を後段の画像処理回路へ入力するために、前処理するための信号デジタル処理装置であって、まず第一に、複数の入力信号の相関関係を比較し、比較結果に応じて相関補正処理をした後、第二に、相関補正処理を施された複数の画像信号の読み出し順序を制御して、実鑑賞画面の配列構成にデータを並べかえる事により、画像を複数枚から１枚へ合成した後、第三に、配列再構成された画素の同一水平ライン上の前後の画素と比較し、比較結果に応じて、画素信号の補間を同一水平ライン上の前後の画素で行う事によりＣＣＤ画素欠陥を補間する、という順番により信号処理する手段を有する事を特徴とする事により、物理的回路サイズを非常に小さくした。
【００２６】
また、他の画像信号デジタル処理装置は、「ＲＧＢ原色ＣＣＤからの出力信号を、動画読み出しモードにおいては、垂直同色加算読出し方式による画素数間引き出力を行い」、かつ、「ＣＣＤの撮像エリアが複数エリアに分割され、各分割領域別に信号を出力する」構造を持つＣＣＤからのＡＤ変換されたデジタル出力信号を後段の画像処理回路へ入力するために、前処理するための信号デジタル処理装置であって、まず第一に、複数の入力信号の相関関係を比較し、比較結果に応じて相関補正処理をした後、第二に、相関補正処理を施された複数の画像信号の読み出し順序を制御して、実鑑賞画面の配列構成にデータを並べかえる事により、画像を複数枚から１枚へ合成した後、第三に、配列再構成された画素の同一水平ライン上の前後の画素と比較し、比較結果に応じて、画素信号の補間を同一水平ライン上の前後の画素で行う事によりＣＣＤ画素欠陥を補間した後、第四に、ＣＣＤ画素欠陥補間された信号を同一垂直ライン上の前後の画素と重みづけ加算する事で、垂直同色加算読出しで生じた画素位置の物理的重心ずれを補正処理する、という順番により信号処理する手段を有する事を特徴とする事により、物理的回路サイズを非常に小さくした。
【００２７】
また、他の画像信号デジタル処理装置は、「ＣＣＤの撮像エリアが複数エリアに分割され、各分割領域別に信号を出力する」構造を持つＣＣＤからのＡＤ変換されたデジタル出力信号を後段の画像処理回路へ入力するために、前処理するための信号デジタル処理装置であって、まず最初に、複数の入力信号の相関関係を比較し、比較結果に応じて相関補正処理をした後、次に、相関補正処理を施された複数信号の読み出し順序を制御して、実鑑賞画面の配列構成にデータを並べかえる事により、画像を複数枚から１枚へ合成する、という順番により信号処理する手段を有する事を特徴とする事により、相関補正処理回路の物理的回路サイズを非常に小さくした。
【００２８】
また、他の画像信号デジタル処理装置は、「ＣＣＤの撮像エリアが複数エリアに分割され、各分割領域別に信号を出力する」構造を持つＣＣＤからのＡＤ変換されたデジタル出力信号を後段の画像処理回路へ入力するために、前処理するための信号デジタル処理装置であって、まず最初に、相関補正処理を施された複数の画像信号の読み出し順序を制御して、実鑑賞画面の配列構成にデータを並べかえる事により、画像を複数枚から１枚へ合成した後、次に、配列再構成された画素の同一水平ライン上の前後の画素と比較し、比較結果に応じて、画素信号の補間を同一水平ライン上の前後の画素で行う事によりＣＣＤ画素欠陥を補間する、という順番により信号処理する手段を有する事を特徴とする事により、複数撮像エリア境界部に隣接する画素の画素欠陥も問題なく補正処理を行う事が可能になった。
【００２９】
また、他の画像信号デジタル処理装置は、「ＲＧＢ原色ＣＣＤからの出力信号を、動画読み出しモードにおいては、垂直同色加算読出し方式による画素数間引き出力を行い」、かつ、「ＣＣＤの撮像エリアが複数エリアに分割され、各分割領域別に信号を出力する」構造を持つＣＣＤからのＡＤ変換されたデジタル出力信号を後段の画像処理回路へ入力するために、前処理するための信号デジタル処理装置であって、まず最初に、配列再構成された画素の同一水平ライン上の前後の画素と比較し、比較結果に応じて、画素信号の補間を同一水平ライン上の前後の画素で行う事によりＣＣＤ画素欠陥を補間した後、次に、ＣＣＤ画素欠陥補間された信号を同一垂直ライン上の前後の画素と重みづけ加算する事で、垂直同色加算読出しで生じた画素位置の物理的重心ずれを補正処理する、という順番により信号処理する手段を有する事を特徴とする事により、正確な欠陥部検出が可能になった。
【００３０】
なお、上記実施形態は、何れも本発明を実施するにあたっての具体化の例を示したものに過ぎず、これらによって本発明の技術的範囲が限定的に解釈されてはならないものである。すなわち、本発明はその技術思想、またはその主要な特徴から逸脱することなく、様々な形で実施することができる。
【００３１】
【発明の効果】
以上説明したように、本発明によれば、各分割領域の画像信号を合成する処理を行った後に、画像信号の欠陥を補正する処理を行うことにより、撮像エリアの分割領域の境界部に隣接する画素の画素欠陥を補正することができる。また、画像信号の欠陥を補正する処理を行った後に、画素位置の重心ずれを補正する処理を行うことにより、正確な欠陥補正を行うことができる。
【図面の簡単な説明】
【図１】本発明の第１の実施形態に係る画像信号デジタル処理装置のブロック図である。
【図２】未加工段階での出力画面モニターの視覚状態を示す図である。
【図３】本実施形態のミラー反転回路のデータ配列変換方法の模式図である。
【図４】本実施形態の欠陥部補正方法の模式図である。
【図５】本実施形態の重心ずれ補正方法の模式図である。
【図６】本実施形態のチャンネル間バランス補正回路のブロック図である。
【図７】本実施形態のミラー反転回路のブロック図である。
【図８】本実施形態の欠陥部補正回路のブロック図である。
【図９】本実施形態の重心ずれ補正回路のブロック図である。
【図１０】本発明の第２の実施形態に係る画像信号デジタル処理装置のブロック図である。
【符号の説明】
11、12 ＣＣＤ
21、22 アンプ
31、32 ＡＤ変換器
41、42 チャンネル間バランス補正回路
51 ミラー反転回路
61 欠陥部補正回路
71 重心ずれ補正回路
81 画像処理回路
111 原色ベイヤー配列のＣＣＤデータ
121、122、123、124 垂直同色画素の加算器
131、132、133、134 垂直同色加算後のデータ列
141、142、143、144 乗算器
151、152 加算器
161、162 重心ずれ補正後のデータ
401 画面Ｌ側データ入力端子
402 画面Ｒ側データ入力端子
430 比較回路
411 画面Ｌ側補正テーブル
412 画面Ｒ側補正テーブル
421 画面Ｌ側出力端子
422 画面Ｒ側出力端子
501 画面Ｌ側データ入力端子
502 画面Ｒ側データ入力端子
510 データメモリ
520 水平同期信号発信回路
530 書込みアドレス制御回路
540 読出しアドレス制御回路
550 出力端子
601 入力端子
611、612 遅延回路
620 乗算器群
630 加算器
640 スイッチ
650 欠陥部判定回路
660 出力端子
701 入力端子
710 １Ｈ遅延回路群
720 乗算器群
730、731 加算器
741 「Ｒ」「Ｇ」データ列出力端子
742 「Ｇ」「Ｂ」データ列出力端子
【発明の属する技術分野】
本発明は、画像信号処理技術に関し、特に撮像エリアが複数の領域に分割された画像信号を処理する技術に関する。
【０００２】
【従来の技術】
下記の特許文献１においては、２チャンネル出力されるＣＣＤの各々の出力の積分値どうしを比較し、積分値が等しくなるよう、各々の出力ゲインを補正するといった固体撮像装置が紹介されている。
【０００３】
【特許文献１】
特開平９−４６５９９号公報
【０００４】
【発明が解決しようとする課題】
しかしながら、従来の方法は２チャンネル間のレベル補正をアナログ回路上で実施している。このため物理的な回路サイズが大きくなりがちであった。
【０００５】
本発明は、物理的回路サイズを小さくすると共に、撮像エリアの分割領域の境界部の画素欠陥を補正し、かつ正確な欠陥補正を行う為の技術を提供することを目的とする。
【０００６】
【課題を解決するための手段】
本発明の画像信号処理装置は、撮像エリアが複数エリアに分割され、各分割領域別に画像信号を生成して出力する撮像手段と、前記各分割領域のデジタル値の画像信号間のバランスを補正するためのバランス補正手段と、前記バランス補正手段で補正された後に、前記補正された各分割領域の画像信号を合成して１枚の画像データを生成する合成手段と、前記合成手段で合成された後に、前記合成手段によって合成された画像信号の欠陥を補正する欠陥補正手段と、前記欠陥補正手段で補正された後に、同一垂直ライン上の前後の画素と重みづけ加算することにより、垂直同色加算により生じた画素位置の重心ずれを補正する重心ずれ補正手段とを有することを特徴とする。
【０００７】
本発明によれば、各分割領域の画像信号を合成する処理を行った後に、画像信号の欠陥を補正する処理を行うことにより、撮像エリアの分割領域の境界部に隣接する画素の画素欠陥を補正することができる。また、画像信号の欠陥を補正する処理を行った後に、画素位置の重心ずれを補正する処理を行うことにより、正確な欠陥補正を行うことができる。
【０００８】
【発明の実施の形態】
以下に本発明の実施の形態を説明する。
（第１の実施形態）
図１は本発明の第１の実施形態に係る画像信号処理装置のブロック図である。図１において、11及び12はＣＣＤ（撮像手段）であり、光電変換により画像信号を生成して出力する。近年、非常に多画素なＣＣＤが実現されている。しかし、一方で、そのＣＣＤ出力画像を動画像として利用する場合などは非常に多画素であるがゆえに、高速でＣＣＤの出力信号の全画素を読み出す必要があるが、従来のデバイス技術の延長では実現が困難であり、水平ＣＣＤを二分割にし、一枚の画面を二つの出力端子から読み出すＣＣＤが公開されている。図１の11、12に示すＣＣＤはこの二分割出力のタイプであり、それぞれ11が画面左側、12が画面右側の画像エリア（撮像エリア）の出力を分担するＣＣＤである。21、22は画面左右それぞれのＣＣＤ出力を増幅するためのアンプで、21が画面左側、22が画面右側の画像エリアの出力を分担するアンプである。31、32は画面左右それぞれのＣＣＤ出力をアナログ値からデジタル値へ変換するためのＡＤ変換器で、31が画面左側、32が画面右側の画像エリアの出力を分担するＡＤ変換器である。41、42は画面左右それぞれのＣＣＤ出力相互の出力バランスを補正するためのチャンネル間バランス補正回路である。11、12のような二分割出力タイプのＣＣＤでは読み出し速度的には有利であるが、出力レベルのマッチング性は明らかに不利となるため、この回路で左右画面相互の出力補正を行う。51はＣＣＤ11、12からチャンネル間バランス補正回路41、42まで二分割処理されてきた出力信号を、この回路以降、一枚の画像信号として処理可能な様に配列変換して合成するためのミラー反転回路（合成回路）である。61は個体ＣＣＤが特有に持つ欠陥箇所からの出力画素の出力欠陥を補正するための欠陥部補正回路である。以上41、42、51、61のブロックが、本実施形態における画像信号処理回路を示すブロック100である。この一連の画像信号処理を施された画像信号は81の画像処理回路へ転送され、電子ズーム処理など、装置システム側にて必要な画像処理が施され利用される事となる。
【０００９】
それでは、ここから本実施形態おける画像信号処理回路を示すブロック100の動作を詳細に述べていく。
【００１０】
ここで、図２は、図１のＡＤ変換器31、32でデジタル変換された左右それぞれのデジタル画像データが未加工の段階での出力画面モニターの視覚状態である。つまり、画面左右対象なフラットな色の物体が有った場合、左右それぞれのＣＣＤからの出力レベルに差があるため、補正を実施しない状態では、その色レベル差が明瞭に画面上に現れる。画面左側のデジタル画像データ101は左側のＣＣＤ11の出力信号に対応する画像データであり、画面右側のデジタル画像データ102は左側のＣＣＤ12の出力信号に対応する画像データである。画像データ101及び102は、レベルが異なっている。この視覚状態を解消するため、図１のチャンネル間バランス補正回路41、42は図６のように構成する。すなわち401、402の入力端子へ接続された画面左右それぞれの画像データは430の比較回路へ入力され、それぞれのデータを比較する事により、差を吸収させる為の左右それぞれ別の補正テーブル411、412が430の比較回路により選択される。401、402の入力値は左右それぞれ別の411、412の補正テーブルにより、差を吸収させる為の変換を施された後、421、422の出力端子へ出力される。
【００１１】
図６のチャンネル間バランス補正回路41,42をこのように、画面左右それぞれの画像データ列が時間的にシリアルに並んだ状態で施す事により、この回路において一度に扱う画像データの量が少なくなるため、回路量が小さくなるというメリットがある。
【００１２】
図１の41、42のチャンネル間バランス補正回路にて、出力データの左右マッチングを補正されたデータは、次に、図１のミラー反転回路51で一枚の画像信号として処理可能な様に配列変換が行われる。ここで図３に本実施形態のデータ配列変換を模式的に示す。すなわち、図１の41のチャンネル間バランス補正回路Ｌ側からの入力値Ｌ１、42のチャンネル間バランス補正回路Ｒ側からの入力値Ｒ１、41のチャンネル間バランス補正回路Ｌ側からの入力値Ｌ２、42のチャンネル間バランス補正回路Ｒ側からの入力値Ｒ２…、の時間順に入力されてくるデータ、すなわち図３の左側のデータ順を、図３の右側に示すように、画面上の一つの行に対し、画面上の左側の画素から順番に読出すように配列変換する。つまり、入力順がＬ１、Ｒ１、Ｌ２、Ｒ２、Ｌ３、Ｒ３、‥‥‥であるデータ列を、出力順はＬ１、Ｌ２、Ｌ３、‥‥‥、Ｒ３、Ｒ２、Ｒ１と読み出すように配列変換する。画面左側の画像データ101はデータＬ１、Ｌ２、Ｌ３等を含み、画面右側の画像データ102はデータＲ１、Ｒ２、Ｒ３等を含む。図３を見ると明確なように、画面の左右両端から順番に書込まれるデータ列の、特に画面右側のデータ列については、入力順番に対し出力順番が鏡面反射させた関係となるため、「ミラー反転回路」と呼んでいる。
【００１３】
具体的な回路構成を図７に示す。501のＬ側入力端子、502のＲ側入力端子に入力される画像データは510のデータメモリに一旦、書込まれ、550の出力端子から読出されるが、この時の読出しと書込み順番を530の書込みアドレス制御回路と540の読出しアドレス制御回路によって制御しながら行う。すなわち、この書込みアドレス制御回路530及び読出しアドレス制御回路540は520の出力端子から出力される出力画像の水平同期信号によって初期化させる事により、図３に示す順番のアドレスを制御出力できる。
【００１４】
図１のミラー反転回路51で一枚の画像信号として処理可能な様に配列変換を行われたデータは、次に、図１の欠陥部補正回路61で個体ＣＣＤが特有に持つ欠陥箇所からの出力画素の出力欠陥の補正が行われる。ここで、図４に本実施形態の欠陥部補正方法を模式的に示す。すなわち、自然画においては、存在しているある画素が、それに隣接する画素に極めて類似しているという性質を利用し、画面左側の画像データ101及び画面右側の画像データ102において、まず、検出時には隣接する画素との差分を比較し、差分が閾値以上の場合は、その画素をＣＣＤ欠陥部であると判断する。そして、欠陥画素は両隣の画素を使って補間を行う。
【００１５】
具体的な回路構成を図８に示す。601の入力端子に順次送られる画像データは、611、612の遅延回路で各遅延要素が抽出され、650の欠陥部判定回路にてすぐ隣の画素データとの差分が演算され、その差分を予め設定された閾値と比較し、差分が閾値以上の場合は、その画素をＣＣＤ欠陥部であると判断する。650の欠陥部判定回路は、欠陥部の場合は640のスイッチを上側へ制御し、欠陥部で無い場合は640のスイッチを下側へ制御する。すなわち、正常なデータであれば、611、612の遅延回路で遅延したデータをスルーで660の出力端子へ出力する。欠陥データの場合は、611、612の遅延回路で抽出された各遅延要素に対し、620の乗算器群にて重み付け演算が行われた値を630の加算器にて加算する事で、補間値を導き出し、この補間値を660の出力端子へ出力する。
【００１６】
図１の欠陥部補正回路61をこのように、51のミラー反転回路で一枚の画像信号として処理可能な様に配列変換を行った後に実施する事により、図４に示す画面中央部、かつ、二つの分割画面境界部に隣接する画素の画素欠陥も問題なく補正処理を行う事が可能になるというメリットがある。
【００１７】
以上図１の41、42、51、61の画像信号前処理回路ブロックの動作を説明した。この一連の画像信号処理を順番で施された画像信号は81の画像処理回路へ転送され、電子ズーム処理など、装置システム側にて必要な画像処理が施され利用される事となる。
【００１８】
（第２の実施形態）
次に、本発明に係る第２の実施形態の画像信号処理装置を説明する。
図１０は本発明の第２の実施形態に係る画像信号処理装置のブロック図である。図１０において11、12はＣＣＤであり、カラーの画像信号を生成して出力する。図１０の11、12に示すＣＣＤは二分割出力のタイプであり、それぞれ11が画面左側、12が画面右側の画像エリアの出力を分担するＣＣＤである。尚、この実施形態のＣＣＤは、原色ベイヤー配列のフィルターで構成されたＣＣＤの出力を動画像として利用するために、動画読み出しモードにおいては、垂直同色加算読出し方式による画素数間引き出力を行っているＣＣＤである。21、22は画面左右それぞれのＣＣＤ出力を増幅するためのアンプで、21が画面左側、22が画面右側の画像エリアの出力を分担するアンプである。31、32は画面左右それぞれのＣＣＤ出力をアナログ値からデジタル値へ変換するためのＡＤ変換器で、31が画面左側、32が画面右側の画像エリアの出力を分担するＡＤ変換器である。41、42は画面左右それぞれのＣＣＤ出力相互の出力バランスを補正するためのチャンネル間バランス補正回路である。11、12のような二分割出力タイプのＣＣＤでは読み出し速度的には有利であるが、出力レベルのマッチング性は明らかに不利となるため、この回路で左右画面相互の出力補正を行う。51はＣＣＤ11、12からチャンネル間バランス補正回路41、42まで二分割処理されてきた出力信号を、この回路以降、一枚の画像信号として処理可能な様に配列変換するためのミラー反転回路である。61は個体ＣＣＤが特有に持つ欠陥箇所からの出力画素の出力欠陥を補正するための欠陥部補正回路である。71は重心ずれ補正回路である。つまり、この回路は、原色ベイヤー配列のフィルターで構成されたＣＣＤの出力を動画像として利用するために、動画読み出しモードにおいて、垂直同色加算読出し方式による画素数間引き出力を行った場合、画面垂直方向に重心ずれが発生し、画面上の斜め線が斜めとして現れず、階段状になった線として表現されてしまう為、この現象を補正する回路である。具体的には、同一垂直ライン上の前後の画素と重みづけ加算することにより、画素位置の重心ずれを補正する。以上41、42、51、61、71のブロックが、本実施形態における画像信号処理回路を示すブロック100である。この一連の画像信号処理を施された画像信号は81の画像処理回路へ転送され、電子ズーム処理など、装置システム側にて必要な画像処理が施され利用される事となる。
【００１９】
第２の実施形態のブロック構成は第１の実施形態のブロック構成と非常に類似しており、第２の実施形態のブロック構成と第１の実施形態のブロック構成の違いは、図１０の重心ずれ補正回路71の有無である。原色ベイヤー配列のフィルターで構成されたＣＣＤの出力を動画像として利用するためには、動画読み出しモードにおいて、垂直同色加算読出し方式による画素数間引き出力を行った場合、画面垂直方向に重心ずれが発生するため図１０の重心ずれ補正回路71が必要で、第２の実施形態では重心ずれ補正回路が必須である。
【００２０】
つまり、第２の実施形態の構成を示す図１０において、11、12、21、22、31、32、41、42、51、61のブロックの動作は第１の実施形態と同じであるため、説明を省略する。
【００２１】
図１０の欠陥部補正回路61で個体ＣＣＤが特有に持つ欠陥箇所からの出力画素の出力欠陥の補正を行われたデータは、次に、図１０の重心ずれ補正回路71で、原色ベイヤー配列のフィルターで構成されたＣＣＤの出力を動画像として利用するために、動画読み出しモードにおいて、垂直同色加算読出し方式による画素数間引き出力を行った場合、画面垂直方向に重心ずれが発生し、画面上の斜め線が斜めとして現れず、階段状になった線として表現されてしまう現象を補正する。
【００２２】
ここで、図５に本実施形態の重心ずれ補正方法を模式的に示す。図５の111に示す原色ベイヤー配列のＣＣＤデータは動画読出しモードにおいては、垂直同色加算読出し方式で画素数を１／２に間引き読出しする事により、動画処理の速度的な問題を解消させる。垂直同色加算とは垂直方向に隣接する二つの同色撮像素子の電荷を同時に一つの垂直転送ＣＣＤ上に転送する事により加算する方法であり、ＣＣＤの電極構成の工夫によって実現させる事が可能である。すなわち、図５の121、122、123、124の加算器は、この垂直方向に隣接する二つの同色画素を垂直転送ＣＣＤ上で加算する事を意味するものである。「Ｒ（赤）」「Ｇ（緑）」「Ｒ」「Ｇ」フィルターが施されている行のデータは２行隣の「Ｒ」「Ｇ」「Ｒ」「Ｇ」フィルターが施されている行のデータと垂直転送ＣＣＤ上で加算され、加算器121の加算後の「Ｒ」「Ｇ」データ列がＣＣＤの出力端に131として出てくる。同様に、「Ｇ」「Ｂ（青）」「Ｇ」「Ｂ」フィルターが施されている行のデータは２行隣の「Ｇ」「Ｂ」「Ｇ」「Ｂ」フィルターが施されている行のデータと垂直転送ＣＣＤ上で加算され、加算器122の加算後の「Ｇ」「Ｂ」データ列がＣＣＤの出力端に132として出てくる。垂直同色加算は、このＣＣＤフィルター構成の場合、２行隣の画素同士を加算する為、隣接するデータ群は４行隣の画素となり、133、134がそれぞれ、隣接するデータ群の加算後の「Ｒ」「Ｇ」データ列、データ群の加算後の「Ｇ」「Ｂ」データ列となる。つまり、図１０の重心ずれ補正回路71へは図５の131、132、133、134というデータ列が入力されてくるわけである。ここで、131、132、133、134という垂直同色加算後のデータ列の物理的配置を考えてみる。もともと111のように物理的配置されていた画素同士を加算しているため、111のそれぞれの画素を加算した場合に、その重心位置はもともとの111の画素列の同色加算要素の中心部付近に来る為、図５の131、132、133、134に模式的に示しているように、もともとの111の画素列４行に対し、131、132の行グループ、133、134の行グループといったように、４行飛びに２行連続の行グループが発生し、１行おき等間隔な行グループが発生しない。すなわちこれが重心ずれである。この重心ずれが画面上の斜め線が斜めとして現れず、階段状になった線として表現されてしまう原因である。この重心ずれに対し、141、142、143、144の乗算器と151、152の加算器により垂直補間フィルターをかける事で、１行おき等間隔な行グループ、すなわち図５の161、162を発生させる。
【００２３】
具体的な回路構成を図９に示す。701の入力端子に順次送られる画像データは、710の１Ｈ（水平走査期間）遅延回路群にて、隣接する水平ラインの要素が抽出される。そして、この隣接水平ライン要素同士は720の乗算器群によって、１行おき等間隔な行グループとなるような重み付け乗算がなされ、次に730、731の加算器において、「Ｒ」「Ｇ」データ同士、「Ｇ」「Ｂ」データ同士のように同色同士の要素を加算した結果を、741の「Ｒ」「Ｇ」データ列出力端子、742の「Ｇ」「Ｂ」データ列出力端子へ出力する事により、重心ずれ補正を完了する。
【００２４】
このように重心ずれ補正の処理は、各画素データへ係数乗算、重み付け加算をする事により、もともとの入力データを変換させ、新たな演算値を出力してしまう。従って、もし、この重心ずれ補正プロセスを図１０の欠陥部補間回路61のプロセスの前に実施した場合、欠陥部補正回路61へは、加工済みデータが入力され、欠陥生データが入力されない事になり、著しく欠陥部の検出が困難になるという欠点が発生してしまう。図１０の構成であれば、この欠点を発生させずに欠陥データ補間プロセスを実行する事が可能である。
【００２５】
以上説明したように、画像信号デジタル処理装置は、「ＣＣＤの撮像エリアが複数エリアに分割され、各分割領域別に信号を出力する」構造を持つＣＣＤからのＡＤ変換されたデジタル出力信号を後段の画像処理回路へ入力するために、前処理するための信号デジタル処理装置であって、まず第一に、複数の入力信号の相関関係を比較し、比較結果に応じて相関補正処理をした後、第二に、相関補正処理を施された複数の画像信号の読み出し順序を制御して、実鑑賞画面の配列構成にデータを並べかえる事により、画像を複数枚から１枚へ合成した後、第三に、配列再構成された画素の同一水平ライン上の前後の画素と比較し、比較結果に応じて、画素信号の補間を同一水平ライン上の前後の画素で行う事によりＣＣＤ画素欠陥を補間する、という順番により信号処理する手段を有する事を特徴とする事により、物理的回路サイズを非常に小さくした。
【００２６】
また、他の画像信号デジタル処理装置は、「ＲＧＢ原色ＣＣＤからの出力信号を、動画読み出しモードにおいては、垂直同色加算読出し方式による画素数間引き出力を行い」、かつ、「ＣＣＤの撮像エリアが複数エリアに分割され、各分割領域別に信号を出力する」構造を持つＣＣＤからのＡＤ変換されたデジタル出力信号を後段の画像処理回路へ入力するために、前処理するための信号デジタル処理装置であって、まず第一に、複数の入力信号の相関関係を比較し、比較結果に応じて相関補正処理をした後、第二に、相関補正処理を施された複数の画像信号の読み出し順序を制御して、実鑑賞画面の配列構成にデータを並べかえる事により、画像を複数枚から１枚へ合成した後、第三に、配列再構成された画素の同一水平ライン上の前後の画素と比較し、比較結果に応じて、画素信号の補間を同一水平ライン上の前後の画素で行う事によりＣＣＤ画素欠陥を補間した後、第四に、ＣＣＤ画素欠陥補間された信号を同一垂直ライン上の前後の画素と重みづけ加算する事で、垂直同色加算読出しで生じた画素位置の物理的重心ずれを補正処理する、という順番により信号処理する手段を有する事を特徴とする事により、物理的回路サイズを非常に小さくした。
【００２７】
また、他の画像信号デジタル処理装置は、「ＣＣＤの撮像エリアが複数エリアに分割され、各分割領域別に信号を出力する」構造を持つＣＣＤからのＡＤ変換されたデジタル出力信号を後段の画像処理回路へ入力するために、前処理するための信号デジタル処理装置であって、まず最初に、複数の入力信号の相関関係を比較し、比較結果に応じて相関補正処理をした後、次に、相関補正処理を施された複数信号の読み出し順序を制御して、実鑑賞画面の配列構成にデータを並べかえる事により、画像を複数枚から１枚へ合成する、という順番により信号処理する手段を有する事を特徴とする事により、相関補正処理回路の物理的回路サイズを非常に小さくした。
【００２８】
また、他の画像信号デジタル処理装置は、「ＣＣＤの撮像エリアが複数エリアに分割され、各分割領域別に信号を出力する」構造を持つＣＣＤからのＡＤ変換されたデジタル出力信号を後段の画像処理回路へ入力するために、前処理するための信号デジタル処理装置であって、まず最初に、相関補正処理を施された複数の画像信号の読み出し順序を制御して、実鑑賞画面の配列構成にデータを並べかえる事により、画像を複数枚から１枚へ合成した後、次に、配列再構成された画素の同一水平ライン上の前後の画素と比較し、比較結果に応じて、画素信号の補間を同一水平ライン上の前後の画素で行う事によりＣＣＤ画素欠陥を補間する、という順番により信号処理する手段を有する事を特徴とする事により、複数撮像エリア境界部に隣接する画素の画素欠陥も問題なく補正処理を行う事が可能になった。
【００２９】
また、他の画像信号デジタル処理装置は、「ＲＧＢ原色ＣＣＤからの出力信号を、動画読み出しモードにおいては、垂直同色加算読出し方式による画素数間引き出力を行い」、かつ、「ＣＣＤの撮像エリアが複数エリアに分割され、各分割領域別に信号を出力する」構造を持つＣＣＤからのＡＤ変換されたデジタル出力信号を後段の画像処理回路へ入力するために、前処理するための信号デジタル処理装置であって、まず最初に、配列再構成された画素の同一水平ライン上の前後の画素と比較し、比較結果に応じて、画素信号の補間を同一水平ライン上の前後の画素で行う事によりＣＣＤ画素欠陥を補間した後、次に、ＣＣＤ画素欠陥補間された信号を同一垂直ライン上の前後の画素と重みづけ加算する事で、垂直同色加算読出しで生じた画素位置の物理的重心ずれを補正処理する、という順番により信号処理する手段を有する事を特徴とする事により、正確な欠陥部検出が可能になった。
【００３０】
なお、上記実施形態は、何れも本発明を実施するにあたっての具体化の例を示したものに過ぎず、これらによって本発明の技術的範囲が限定的に解釈されてはならないものである。すなわち、本発明はその技術思想、またはその主要な特徴から逸脱することなく、様々な形で実施することができる。
【００３１】
【発明の効果】
以上説明したように、本発明によれば、各分割領域の画像信号を合成する処理を行った後に、画像信号の欠陥を補正する処理を行うことにより、撮像エリアの分割領域の境界部に隣接する画素の画素欠陥を補正することができる。また、画像信号の欠陥を補正する処理を行った後に、画素位置の重心ずれを補正する処理を行うことにより、正確な欠陥補正を行うことができる。
【図面の簡単な説明】
【図１】本発明の第１の実施形態に係る画像信号デジタル処理装置のブロック図である。
【図２】未加工段階での出力画面モニターの視覚状態を示す図である。
【図３】本実施形態のミラー反転回路のデータ配列変換方法の模式図である。
【図４】本実施形態の欠陥部補正方法の模式図である。
【図５】本実施形態の重心ずれ補正方法の模式図である。
【図６】本実施形態のチャンネル間バランス補正回路のブロック図である。
【図７】本実施形態のミラー反転回路のブロック図である。
【図８】本実施形態の欠陥部補正回路のブロック図である。
【図９】本実施形態の重心ずれ補正回路のブロック図である。
【図１０】本発明の第２の実施形態に係る画像信号デジタル処理装置のブロック図である。
【符号の説明】
11、12 ＣＣＤ
21、22 アンプ
31、32 ＡＤ変換器
41、42 チャンネル間バランス補正回路
51 ミラー反転回路
61 欠陥部補正回路
71 重心ずれ補正回路
81 画像処理回路
111 原色ベイヤー配列のＣＣＤデータ
121、122、123、124 垂直同色画素の加算器
131、132、133、134 垂直同色加算後のデータ列
141、142、143、144 乗算器
151、152 加算器
161、162 重心ずれ補正後のデータ
401 画面Ｌ側データ入力端子
402 画面Ｒ側データ入力端子
430 比較回路
411 画面Ｌ側補正テーブル
412 画面Ｒ側補正テーブル
421 画面Ｌ側出力端子
422 画面Ｒ側出力端子
501 画面Ｌ側データ入力端子
502 画面Ｒ側データ入力端子
510 データメモリ
520 水平同期信号発信回路
530 書込みアドレス制御回路
540 読出しアドレス制御回路
550 出力端子
601 入力端子
611、612 遅延回路
620 乗算器群
630 加算器
640 スイッチ
650 欠陥部判定回路
660 出力端子
701 入力端子
710 １Ｈ遅延回路群
720 乗算器群
730、731 加算器
741 「Ｒ」「Ｇ」データ列出力端子
742 「Ｇ」「Ｂ」データ列出力端子
Claims (1)
- 撮像エリアが複数エリアに分割され、各分割領域別に画像信号を生成して出力する撮像手段と、
前記各分割領域のデジタル値の画像信号間のバランスを補正するためのバランス補正手段と、
前記バランス補正手段で補正された後に、前記補正された各分割領域の画像信号を合成して１枚の画像データを生成する合成手段と、
前記合成手段で合成された後に、前記合成手段によって合成された画像信号の欠陥を補正する欠陥補正手段と、
前記欠陥補正手段で補正された後に、同一垂直ライン上の前後の画素と重みづけ加算することにより、垂直同色加算により生じた画素位置の重心ずれを補正する重心ずれ補正手段とを有することを特徴とする画像信号処理装置。
Priority Applications (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2003176994A JP3991011B2 (ja) | 2003-06-20 | 2003-06-20 | 画像信号処理装置 |
| US10/869,577 US7433547B2 (en) | 2003-06-20 | 2004-06-16 | Image signal processing apparatus |
| CNB200410059749XA CN100369459C (zh) | 2003-06-20 | 2004-06-18 | 图像信号处理装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2003176994A JP3991011B2 (ja) | 2003-06-20 | 2003-06-20 | 画像信号処理装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2005012692A JP2005012692A (ja) | 2005-01-13 |
| JP3991011B2 true JP3991011B2 (ja) | 2007-10-17 |
Family
ID=33516275
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2003176994A Expired - Fee Related JP3991011B2 (ja) | 2003-06-20 | 2003-06-20 | 画像信号処理装置 |
Country Status (3)
| Country | Link |
|---|---|
| US (1) | US7433547B2 (ja) |
| JP (1) | JP3991011B2 (ja) |
| CN (1) | CN100369459C (ja) |
Families Citing this family (18)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US8125695B2 (en) * | 2003-03-24 | 2012-02-28 | Hewlett-Packard Development Company, L.P. | Imaging system and method |
| JP4180076B2 (ja) * | 2004-09-29 | 2008-11-12 | 三洋電機株式会社 | 信号処理装置 |
| JP2006157882A (ja) * | 2004-10-28 | 2006-06-15 | Fuji Photo Film Co Ltd | 固体撮像装置 |
| KR100660862B1 (ko) * | 2005-02-23 | 2006-12-26 | 삼성전자주식회사 | 동일 색상의 화소 데이터를 가산하여 출력하는 컬러 촬상장치 및 그 화소 데이터 독출 방법 |
| JP4760288B2 (ja) * | 2005-10-13 | 2011-08-31 | ソニー株式会社 | 画像表示システム、表示装置、画像再合成装置、画像再合成方法及びプログラム |
| JP4192985B2 (ja) * | 2006-10-17 | 2008-12-10 | ソニー株式会社 | 画像信号処理装置、撮像装置、および画像信号処理方法、並びにコンピュータ・プログラム |
| JP4861854B2 (ja) * | 2007-02-15 | 2012-01-25 | 株式会社バンダイナムコゲームス | 指示位置演算システム、指示体及びゲームシステム |
| JP2008228118A (ja) * | 2007-03-15 | 2008-09-25 | Fujifilm Corp | 固体電子撮像素子の補正装置およびその補正方法 |
| JP4434250B2 (ja) * | 2007-09-21 | 2010-03-17 | ソニー株式会社 | 画像信号処理回路、撮像装置、および画像信号処理方法、並びにコンピュータ・プログラム |
| JP5090899B2 (ja) * | 2007-12-28 | 2012-12-05 | イーストマン コダック カンパニー | 撮像装置 |
| JP5656561B2 (ja) * | 2010-10-28 | 2015-01-21 | キヤノン株式会社 | 画像処理装置、その制御方法、および制御プログラム |
| JP5256477B2 (ja) * | 2011-03-10 | 2013-08-07 | 株式会社メガチップス | 画像処理装置 |
| CN103297667B (zh) * | 2012-02-24 | 2016-09-07 | 联想(北京)有限公司 | 一种电子设备及获得图像信息的方法 |
| US9918017B2 (en) | 2012-09-04 | 2018-03-13 | Duelight Llc | Image sensor apparatus and method for obtaining multiple exposures with zero interframe time |
| KR20150051389A (ko) * | 2013-11-04 | 2015-05-13 | 현대모비스 주식회사 | 영상 처리 방법 및 이를 위한 장치 |
| JP2017055308A (ja) | 2015-09-10 | 2017-03-16 | キヤノン株式会社 | 撮像装置及びその制御方法 |
| JP2017055309A (ja) * | 2015-09-10 | 2017-03-16 | キヤノン株式会社 | 撮像装置及びその制御方法 |
| JP2018005389A (ja) * | 2016-06-29 | 2018-01-11 | 株式会社リコー | 画像変形回路、画像処理装置、及び画像変形方法 |
Family Cites Families (26)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPS58500267A (ja) * | 1981-03-10 | 1983-02-17 | ア−ルシ−エ− コ−ポレ−シヨン | 撮像器用誤差補正装置 |
| JPS587991A (ja) * | 1981-07-08 | 1983-01-17 | Sony Corp | 多管式カラ−カメラのレジストレ−シヨン調整回路 |
| KR950008698B1 (ko) | 1992-06-09 | 1995-08-04 | 현대전자산업 주식회사 | 반도체소자의 필드산화막 형성방법 |
| US5764871A (en) * | 1993-10-21 | 1998-06-09 | Eastman Kodak Company | Method and apparatus for constructing intermediate images for a depth image from stereo images using velocity vector fields |
| JPH08287218A (ja) * | 1995-04-10 | 1996-11-01 | Sharp Corp | 画像合成装置 |
| JPH0946599A (ja) | 1995-07-31 | 1997-02-14 | Sanyo Electric Co Ltd | 固体撮像装置 |
| JP3309738B2 (ja) | 1996-11-01 | 2002-07-29 | 松下電器産業株式会社 | 画像表示装置 |
| US5883663A (en) * | 1996-12-02 | 1999-03-16 | Siwko; Robert P. | Multiple image camera for measuring the alignment of objects in different planes |
| JPH10161227A (ja) | 1996-12-02 | 1998-06-19 | Fuji Photo Film Co Ltd | カメラ及び撮影情報入力システム |
| JP2951909B2 (ja) * | 1997-03-17 | 1999-09-20 | 松下電器産業株式会社 | 撮像装置の階調補正装置及び階調補正方法 |
| US6396537B1 (en) | 1997-11-24 | 2002-05-28 | Eastman Kodak Company | Photographic system for enabling interactive communication between a camera and an attraction site |
| JP3892172B2 (ja) * | 1998-07-24 | 2007-03-14 | 松下電器産業株式会社 | 固体撮像装置 |
| US6397334B1 (en) | 1998-12-17 | 2002-05-28 | International Business Machines Corporation | Method and system for authenticating objects and object data |
| US6407747B1 (en) * | 1999-05-07 | 2002-06-18 | Picsurf, Inc. | Computer screen image magnification system and method |
| JP2001086394A (ja) | 1999-09-10 | 2001-03-30 | Sony Corp | 撮像装置 |
| JP3991543B2 (ja) * | 2000-01-11 | 2007-10-17 | 株式会社日立製作所 | 撮像装置 |
| US6754402B2 (en) * | 2000-02-09 | 2004-06-22 | Fuji Photo Film Co., Ltd. | Interpolation arithmetic method and image reader |
| JP3716716B2 (ja) * | 2000-07-10 | 2005-11-16 | 富士ゼロックス株式会社 | 回転体の駆動装置及びこれを用いた画像形成装置 |
| EP1198127A1 (en) | 2000-10-12 | 2002-04-17 | Canon Kabushiki Kaisha | Signal difference correction of picture signals read from multiple readout type image sensing device |
| JP2002142158A (ja) | 2000-11-01 | 2002-05-17 | Canon Inc | 撮像装置及び補正方法 |
| JP4827213B2 (ja) | 2001-03-12 | 2011-11-30 | 株式会社メガチップス | 画像補正装置および画像補正方法 |
| JP2002290926A (ja) * | 2001-03-27 | 2002-10-04 | Matsushita Electric Ind Co Ltd | 斜め適応型走査線補間装置 |
| US7050098B2 (en) | 2001-03-29 | 2006-05-23 | Canon Kabushiki Kaisha | Signal processing apparatus and method, and image sensing apparatus having a plurality of image sensing regions per image frame |
| JP3697172B2 (ja) | 2001-03-29 | 2005-09-21 | キヤノン株式会社 | 信号処理装置及び信号処理方法並びに撮像装置 |
| JP3948218B2 (ja) | 2001-04-19 | 2007-07-25 | ソニー株式会社 | 固体撮像装置およびその駆動方法 |
| JP4658401B2 (ja) | 2001-07-27 | 2011-03-23 | オリンパス株式会社 | 撮像装置 |
-
2003
- 2003-06-20 JP JP2003176994A patent/JP3991011B2/ja not_active Expired - Fee Related
-
2004
- 2004-06-16 US US10/869,577 patent/US7433547B2/en not_active Expired - Fee Related
- 2004-06-18 CN CNB200410059749XA patent/CN100369459C/zh not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| US20040257451A1 (en) | 2004-12-23 |
| CN100369459C (zh) | 2008-02-13 |
| CN1574889A (zh) | 2005-02-02 |
| US7433547B2 (en) | 2008-10-07 |
| JP2005012692A (ja) | 2005-01-13 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP3991011B2 (ja) | 画像信号処理装置 | |
| US7777804B2 (en) | High dynamic range sensor with reduced line memory for color interpolation | |
| JP5049155B2 (ja) | プログレッシブ・インタレース変換方法、画像処理装置及び画像撮像装置 | |
| WO2007145373A2 (en) | Solid-state image sensor | |
| US20080278609A1 (en) | Imaging apparatus, defective pixel correcting apparatus, processing method in the apparatuses, and program | |
| JP2942903B2 (ja) | ディジタル・カメラ信号処理装置 | |
| JP4212134B2 (ja) | 画像信号処理装置 | |
| JP2000059799A (ja) | 画素欠陥補正装置及び画素欠陥補正方法 | |
| US6900838B1 (en) | Method of processing image signal from solid-state imaging device, image signal processing apparatus, image signal generating apparatus and computer program product for image signal processing method | |
| JPH09238355A (ja) | 撮像デバイスのラインノイズ除去方法及びそれを用いたラインノイズ除去装置 | |
| JP3609606B2 (ja) | 単板式カラーカメラ | |
| US20090147093A1 (en) | Color processing circuit | |
| JP2004193911A (ja) | 画像処理装置および画像処理方法、デジタルスチルカメラ | |
| JPH07336605A (ja) | 画素欠陥補正装置 | |
| JP4732795B2 (ja) | 固体撮像装置および画像補正方法 | |
| JP2001218073A (ja) | 画像信号処理方法およびその方法を用いた画像信号処理装置およびその方法の手順を表すプログラムコードを記録した記録媒体 | |
| JP3156282B2 (ja) | 固体撮像装置 | |
| US20130038772A1 (en) | Image processing apparatus and image processing method | |
| JP3733182B2 (ja) | 撮像装置および縦縞除去方法 | |
| JP2004350319A (ja) | 画像信号処理方法およびその方法を用いた画像信号処理装置およびその方法の手順を表すプログラムコードを記録した記録媒体 | |
| JP7379217B2 (ja) | 撮像システム | |
| JP4253095B2 (ja) | 画像データ・フィルタリング装置および方法 | |
| JP3408169B2 (ja) | 画像データの処理方法及び画像データ処理装置 | |
| JP2004159176A (ja) | ノイズ除去方法、撮像装置およびノイズ除去プログラム | |
| JP3733172B2 (ja) | 撮像装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20061212 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20070208 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20070710 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20070723 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100727 Year of fee payment: 3 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 3991011 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100727 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110727 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120727 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120727 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130727 Year of fee payment: 6 |
|
| LAPS | Cancellation because of no payment of annual fees |