JP2010103740A - デジタルカメラ - Google Patents

デジタルカメラ Download PDF

Info

Publication number
JP2010103740A
JP2010103740A JP2008273018A JP2008273018A JP2010103740A JP 2010103740 A JP2010103740 A JP 2010103740A JP 2008273018 A JP2008273018 A JP 2008273018A JP 2008273018 A JP2008273018 A JP 2008273018A JP 2010103740 A JP2010103740 A JP 2010103740A
Authority
JP
Japan
Prior art keywords
visible light
signal
video signal
image
light video
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2008273018A
Other languages
English (en)
Inventor
Katsumi Tokuyama
克巳 徳山
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Corp
Original Assignee
Panasonic Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Panasonic Corp filed Critical Panasonic Corp
Priority to JP2008273018A priority Critical patent/JP2010103740A/ja
Priority to US12/573,566 priority patent/US20100103268A1/en
Publication of JP2010103740A publication Critical patent/JP2010103740A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/64—Circuits for processing colour signals
    • H04N9/643—Hue control means, e.g. flesh tone control
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • H04N23/11—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths for generating image signals from visible and infrared light wavelengths
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/20—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from infrared radiation only
    • H04N23/21—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from infrared radiation only from near infrared [NIR] radiation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/30—Transforming light or analogous information into electric information
    • H04N5/33—Transforming infrared radiation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/77—Circuits for processing the brightness signal and the chrominance signal relative to each other, e.g. adjusting the phase of the brightness signal relative to the colour signal, correcting differential gain or differential phase

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Health & Medical Sciences (AREA)
  • Toxicology (AREA)
  • Studio Devices (AREA)
  • Color Television Image Signal Generators (AREA)

Abstract

【課題】合成画像における合成条件、合成比率の設定操作の容易化。
【解決手段】生成手段が、可視光を受光して可視光映像信号を生成するとともに非可視光を受光して非可視光映像信号を生成する。合成手段が可視光映像信号と非可視光映像信号とを、合成比率変更可能に合成する。調整手段が、外部から操作者が入力する画像合成に関するパラメータを受け取ったうえで、受け取ったパラメータに基づいて合成比率を調整する。表示手段が、合成映像信号から合成画像を生成して表示する。そして、合成画像を表示手段で表示しながら、操作者が調整手段に入力するパラメータを受け付け、受け付けたパラメータに基づいて調整手段が合成比率を変更する。
【選択図】 図２

Description

本発明は、可視光並びに非可視光を撮像するデジタルカメラの画像合成手法および、制御方法に関する。
非可視光に感光してなる非可視光映像は人の目に写るものとは異なった映像となるため、スチルカメラ（銀塩カメラ）等では、撮影対象にあまりされていない。しかしながら、従来から、可視光/非可視光共に撮像可能なカメラは考案されている。この種のカメラでは、主に非可視光映像における被写体の認識を高めるために、可視光データが用いられており、可視光データを参考にすることによって非可視光映像における被写体の検出精度を高めている。
ところで昨今、写真において記憶色を重視する考え方が出てきており、実際の目に見える映像よりも、印象的で記憶に残る映像が要求されるようになってきている。例えば、通常の可視光撮像カメラでは、遠くの山並みは、かすんで鮮やかに撮像できない。同様に人間の目でも遠くの山並みはかすんで鮮やかに見えない。しかしながら、人は、きれいな景色を見た場合、遠くの山並みであっても鮮やかに見えたように記憶してしまう。これに対して、近赤外光領域を撮像可能なカメラ（非可視光撮像カメラ）では、遠くの山並みまで明確に写ししだすことが可能である。この特性を利用し、近赤外光領域並びに可視光領域と共に撮像可能なカメラによってかすんだ山並みの部分を、近赤外光領域と可視光領域との両方で撮像したうえで撮影した両映像を合成することで、遠くの山並みまで鮮やかに表現された写真が作られる（例えば、特許文献１参照）。
特開平１１−１４３０３１号公報
しかしながら、近赤外光映像（非可視光映像）は、可視光に感光してなる可視光映像とは見た目が異なるため、両画像を合成する際の合成条件や合成比率を決定することは難しい。また、記憶色は、人それぞれで感じ方が異なるため、各人それぞれで最適な合成映像が異なる。
従来例は銀塩カメラにおける映像合成技術であって、製造時等において、メーカの調整担当者がＲ，Ｇ，Ｂの情報を見て合成係数を変えることで合成映像（写真）における合成具合を調整しているが、補正条件（合成係数）が固定されており、ユーザが調整することは不可能であって、すべての条件下において最適となる合成映像、又はすべての人にとって最適となる合成映像を得ることは困難である。
現在では、デジタル画像を加工するためのソフトウエアがあるため、映像をデジタル保存した後に上記ソフトウエアを用いて、上記合成と同等の加工を行うことは可能である。しかしながら、非可視光を含めて感光させてなる画像には、可視光で見えない映像成分が混在しているため、保存した後に、ディスプレイで映像を視認しながら加工するのは非常に困難となる。したがって、デジタル保存する前に、最適な条件にて合成したうえで映像信号をデジタル保存する必要があるが、その操作は煩雑であるうえに、熟練者でなければ実行困難なものであった。
本発明は、デジタルカメラでのデジタル処理が容易にできる点と、モニタで画像を表示できる特性を利用し補正、画像合成を実施する。合成の条件はＲ，Ｇ、Ｂの情報のみでなく、デジタルフィルタ処理等で周辺画素の相関情報も含め決定する。また、合成条件のみではなく、ゲイン等の補正を行うことでより鮮明な画像を得ることが可能となる。映像を記録する前に予め、モニタに画像を表示させながら、Ｒ，Ｇ，Ｂ情報の補正の他、輝度信号、色差信号を、それぞれ個別に外部のパラメータより任意に変更することで、場面に応じた最適な合成条件、補正条件を調整し、場面に応じた最適な画像、人に応じた最適な画像を得ることを可能とする。
具体的には本発明は、
可視光を受光して可視光映像信号を生成するとともに非可視光を受光して非可視光映像信号を生成する生成手段と、
前記可視光映像信号と前記非可視光映像信号とを、合成比率変更可能に合成する合成手段と、
外部から操作者が入力する画像合成に関するパラメータを受け取ったうえで、受け取った前記パラメータに基づいて前記合成比率を調整する調整手段と、
前記合成手段が合成する合成映像信号から合成画像を生成して表示する表示手段と、
を備え、
前記合成画像を前記表示手段で表示しながら、前記操作者が前記調整手段に入力する前記パラメータを受け付け、受け付けた前記パラメータに基づいて前記調整手段が前記合成比率を変更する。
以上の構成を備えることで、本発明では、それぞれ個別にかつ任意にパラメータを変更することで、場面に応じた最適な合成条件と補正条件とを調整することができ、これにより場面や被写体に応じた最適な画像を得ることが可能になる。
本発明には、
前記パラメータは、前記合成比率に応じて前記合成映像信号に設定される映像信号に関する係数であり、
前記調整手段は、
それぞれの撮影状況に応じて予め前記係数を設定して記憶したうえで、前記操作者による撮影状況の選択操作を受け付け、受け付けた前記選択状況に応じた前記合成比率の標準値を、受け付けた前記選択状況に対応する前記係数に基づいて設定する第1のコントロール手段と、
前記第１のコントロール手段が設定した前記合成比率の標準値に基づいて前記合成手段が生成して前記表示手段が表示する前記合成画像を見ながら前記操作者が行う前記係数に関する入力操作を受け付け、受け付けた入力操作に基づいて前記係数を上昇調整する第２のコントロール手段と、
前記第１のコントロール手段が設定した前記合成比率の標準値に基づいて前記合成手段が生成して前記表示手段が表示する前記合成画像を見ながら前記操作者が行う前記係数に関する入力操作を受け付け、受け付けた入力操作に基づいて前記係数を下降調整する第３のコントロール手段と、
を備える、という態様がある。これにより、パラメータ調整の容易性を向上させることが可能になる。
また本発明には、
前記調整手段は、前記可視光映像信号１００％（前記非可視映像信号０％）の第1のパラメータ標準値と、前記非可視光映像信号１００％（前記可視光映像信号０％）の第２のパラメータ標準値とを予め記憶したうえで、前記第1のパラメータ標準値と第２のパラメータ標準値とを切り替えることで、当該デジタルカメラを、可視光撮像カメラと非可視光撮像カメラとに交互に切り替える、
という態様がある。これにより可視光撮像カメラと非可視光撮像カメラとを兼用することが可能なデジタルカメラを実現できる。
また本発明には、
前記非可視光映像信号は近赤外光映像信号であり、
前記合成手段は、前記表示手段に表示される前記合成画像における色成分のレベルに応じて前記操作者が前記調整手段に入力する前記パラメータに基づいて、前記可視光映像信号と前記近赤外光映像信号との合成比率を変更する、
という態様がある。これにより、霞んだ画像の補正等、ある一定の条件の画像を補正、改善する映像信号を得ることが可能になる。
また本発明には、
前記生成手段は、
可視光を受光して前記可視光映像信号を生成するとともに非可視光を受光して前記非可視光映像信号を生成する画素を、複数備える単一のイメージセンサと、
前記イメージセンサの各画素から出力される前記可視光映像信号と前記非可視光映像信号とを、それぞれフィルタ処理することで、前記各画素に対応するＲ信号，Ｇ信号，Ｂ信号，可視光輝度信号，及び非可視光信号を生成するフィルタ回路と、
を備え、
前記合成手段は、前記フィルタ回路から出力される前記Ｒ信号，前記Ｇ信号，前記Ｂ信号，前記可視光輝度信号，及び前記非可視光信号を合成する、
とう態様がある。これにより、カメラの構成を小型化することが可能になる。
また本発明には、
前記生成手段は、
可視光を受光して前記可視光映像信号を生成する画素を複数備える可視光イメージセンサと、
非可視光を受光して前記非可視光映像信号を生成する画素を複数備える非可視光イメージセンサと、
前記可視光イメージセンサの各画素から出力される前記可視光映像信号を、フィルタ処理することで、前記各画素に対応するＲ信号，Ｇ信号，Ｂ信号，可視光輝度信号を生成する可視光フィルタ回路と、
前記非可視光イメージセンサの各画素から出力される前記非可視光映像信号を、フィルタ処理することで、前記各画素に対応する非可視光信号を生成す非可視光フィルタ回路と、
を備え、
前記合成手段は、前記可視光フィルタ回路から出力される前記Ｒ信号，前記Ｇ信号，前記Ｂ信号，前記可視光輝度信号，及び前記非可視光フィルタ回路から出力される前記非可視光信号を合成する、
という態様がある。これにより、精度や解像度の高いデジタルカメラを構成することが可能になる。
また本発明には、
前記可視光映像信号の高周波成分を抽出する可視光ハイパスフィルタと、
前記非可視光映像信号の高周波成分を抽出する非可視光ハイパスフィルタと、
前記可視光ハイパスフィルタにより抽出される可視光映像信号高周波成分の信号レベルと、前記非可視光ハイパスフィルタにより抽出される非可視光映像信号高周波成分の信号レベルとを比較し、その比較結果に基づいて、前記可視光映像信号高周波成分と前記非可視光映像信号高周波成分のうちの一方を選択する選択手段と、
前記合成手段が出力する合成映像信号に前記選択手段が選択する高周波成分を加算する加算手段と、
をさらに備える、
という態様がある。これにより、さらに解像度の高い映像を得ることが可能になる。
また本発明には、
前記生成手段は、Ｒ信号及び、Ｇ信号を含んで前記可視光映像信号を生成し、
前記調整手段は、調整した前記合成比率に基づいて、前記Ｒ信号と前記Ｇ信号の信号レベルを個別に変更する、
という態様がある。これにより、合成した画像の色の再現性を向上させることが可能になる。
また本発明には
前記調整手段は、調整した前記合成比率に基づいて、前記合成映像信号における各色の信号レベルを変更する、
という態様がある。これにより、さらに鮮やかな色の画像を生成することが可能になる。
また本発明には、前記表示手段は、前記合成比率に応じた階調を有する合成比率示唆画像を生成して表示する、
という態様がある。これにより視覚的に、合成比率を確認することが可能となって、パラメータ調整の容易性と精度とが向上する。
本発明によれば、実際は、人の目には見えない部分を、人の目で見えたかのような自然な状態での合成画像を得ることができるうえに、撮影条件や人の好みに応じて常に最適な合成画像を得ることが可能になる。
図１に、本発明の一実施形態のデジタルカメラの構成を示す。本実施形態のデジタルカメラにおいて、カメラ信号処理回路１００は、デジタルの映像信号として輝度信号、色差信号をモニタＩＦ回路１０１へと出力する。モニタＩＦ回路１０１は、輝度信号、色差信号をモニタ用の映像信号へ変換することで映像信号１０２を生成したうえで、生成した映像信号をモニタ１０２に出力する。また、同時にカメラ信号処理回路１００は記録装置９９にデータ（輝度信号，色差信号）を出力する。
ＣＰＵ１０３は、カメラ信号処理回路１００と記録措置９９とにシリアルインターフェース等を介して接続されて、カメラ信号処理回路１００を制御する。ＣＰＵ１０３の汎用ポートは、標準値設定用ＳＷ１０４、パラメータＵＰ用ＳＷ１０５、パラメータＤＯＷＮ用ＳＷ１０６、標準値切替用ＳＷ１０７、パラメータ切替用ＳＷ１０８、および記録コマンドＳＷ１０９に接続されている。
カメラ信号処理回路１００は、合成比率を外部から変更可能な状態で非可視光映像と可視光映像とを合成する手段（合成手段）を備える。ＣＰＵ１０３とＳＷ１０４〜１０８とは、画像の合成比率を外部からコントロールする手段（調整手段）を構成する。モニタ１０２は、画像をモニタする手段（表示手段）を構成する。ＳＷ１０４〜１０８は、推奨値を決定する第1のコントロール手段と、任意に係数を上げる第２のコントロール手段と、任意に係数を下げる第３のコントロール手段とを構成する。
操作者は、映像信号に基づいてモニタ１０２で表示される映像を確認しながら、ＳＷ１０４〜１０８それぞれを制御することで、パラメータの制御を行う。そして最適なパラメータ設定を確定させた時点で、操作者は記録コマンドＳＷ１０９をＯＮにする（シャッタを押すことに相当する）ことで、最適な状態での映像が記録される。パラメータの制御（調整）は、ＳＷ１０４〜１０８それぞれに接続されたＣＰＵ１０３が、操作者によって調整されたＳＷ１０４〜１０８それぞれの状態を確認したうえで、確認したＳＷ１０４〜１０８それぞれの状態に応じて、カメラ信号処理回路１００及び記録装置９９を制御することで実現される。
以下に全体の詳細な動作について説明を行う。まずは、カメラ信号処理回路１００の動作の説明を行う。図２に、生成手段として、可視光/非可視光対応センサを用いたカメラ信号処理回路１００の構成例を示す。カメラ信号処理回路１００は、可視光/非可視光対応センサ１１０、フィルタ回路１１１、乗算器１１２，１１３、条件判定回路１１４、輝度信号処理回路１１５、色差信号処理回路１１６、およびレジスタ１１７を備える。
以下の説明では、非可視光映像は、近赤外光（ＩＲ）に感光してなる近赤外光映像であって、遠くの映像が霞んで見える可視光映像を鮮やかに表現するために可視光映像と非可視映像（近赤外光映像）とを合成する場合を想定している。
非可視光と可視光を受光する１つのイメージセンサ（可視光/非可視対応センサ）１１０は、図８に示すようにＲ画素，Ｇ画素，Ｂ画素，非可視光画素から構成されている。ここでは非可視光画素はＩＲ画素であって、図８で示す画素配列からなるセンサを用いたときを例に説明を行う。
可視光/非可視光対応センサ１１０から出力された映像信号は、フィルタ回路１１１へ入力される。フィルタ回路１１１に入力される各映像信号は、1つの画素に対して、Ｒ画素，Ｇ画素，Ｂ画素、ＩＲ画素のいずれかの1つの画素情報しか持っていない。そのため、フィルタ回路１１１は、周辺の同色画素に対して画素重心を合わせこむ形で各映像信号に係数を設けることで、フィルタ処理を行う。これにより、フィルタ回路１１１では、1つの画素に対してＲ信号，Ｇ信号，Ｂ信号、ＩＲ信号、および可視光輝度信号が生成される。図８の画素１７０において、Ｒ信号，Ｇ信号，Ｂ信号，ＩＲ信号，および可視光輝度信号を生成するためのフィルタ構成例を以下に示す。
G1=(G11+(3*G21)+(3*G12)+(9*G22))/16
R1=((3*R11)+R21+(9*R13)+(3*R23))/16
B1=((3*B12)+(9*B22)+B14+(3*B24))/16
Y1=(0.69*G1)+(0.3*R1)+(0.11*B1)
IR1=((9*IR12)+(3*IR22)+IR24+(3*IR14))/16
フィルタ回路１１１は、１つの画素に対して、Ｒ信号，Ｇ信号，Ｂ信号，ＩＲ信号，および可視光輝度信号を生成する。フィルタ回路１１１で生成された信号のうち、Ｒ信号，Ｇ信号，Ｂ信号は、条件判定回路１１４へと入力される。
図４に条件判定回路１１４の構成を示す。条件判定回路１１４は、補正係数算出回路１３０，加算器１３１，減算器１３２，および乗算器１３３，１３４，１３５，１３６を備える。補正係数算出回路１３０は、入力されるＲ信号，Ｇ信号，Ｂ信号，ＩＲ信号に基づいて、可視光信号とＩＲ信号との合成比率を決定するための、ＩＲ補正係数と可視光補正係数とを算出する。
図５に補正係数算出回路１３０の構成を示し、図５を参照して補正係数算出回路１３０におけるＩＲ補正係数と可視光補正係数との算出動作を説明する。補正係数算出回路１３０は、霞補正係数算出回路１４０、青空補正係数算出回路１４１、ＩＲ補正係数算出回路１４２、およびインバータ１４３を備える。ここでは、近赤外光の特徴を利用してＩＲ補正係数と可視光補正係数とが算出される。
可視光の波長範囲内では、波長の短い光ほど大気を構成する分子により散乱されやすい。したがって、霞んだ遠景が青っぽくみえる特徴がある。近赤外光は可視光に比べて大気を構成する分子による散乱が少ないので、近赤外光に感光してなる近赤外光映像では遠方まで霞まずに映像を写し取ることができる。この特徴を利用して、青っぽく見える部分を抽出して、ＩＲ信号成分の映像信号をより多い比率で合成することにより、遠方まで霞まずに写る画像を得ることが可能となる。霞補正係数算出回路１４０は霞補正係数を算出するための回路である。
逆に青空を撮影した近赤外光映像では、光を吸収して、黒く沈んだように写る傾向がある。したがって、青空を撮影した近赤外光映像では、ＩＲ信号成分を大きくすると、青空が沈んだ画像となってしまう。そのため、青空を撮影した映像に関しては、可視光の信号成分を大きくする必要がある。青空補正係数算出回路１４１は、青空を撮影した映像における青空補正係数を算出するための回路である。
以下に霞補正係数算出回路１４０の霞補正係数の算出例を示す。霞補正係数算出回路１４０は青っぽく見える部分を抽出するために、色差信号Ｂ−Ｒに着目しており、色差信号Ｂ−Ｒの大きさに基づいて青っぽく見える部分を他の部分から識別している。このような識別を行うために、霞補正係数算出回路１４０には、青っぽく見えるレベルを判断するための閾値Ａと、青空の青のレベルを判断するための閾値Ｂと、合成比率の強弱の調整を行うための係数kAとがレジスタ１１７から入力される。
霞み成分と青空とを色差信号Ｂ−Ｒの大きさで比較すると、霞み成分＜青空であるため、閾値Ａ＜閾値Ｂにする必要がある。したがって、閾値Ａ，閾値Ｂを０〜２５５までの設定範囲とし、Ｒ，Ｂのデータを０〜２５５の範囲のデータとしたとき、霞補正係数 Kkhの条件は以下のようになる。
閾値A=0の場合は、
Kkh = 100
閾値Ｂ＞（B-R)＞閾値Aの場合は、
Kkh = kA((B-R)−閾値A)
（B-R)＞閾値Bの場合は、
Kkh = 閾値B−閾値A
（B-R)≦閾値Aの場合は、
Kkh = 0
上記条件で、霞補正係数Kkhを算定する場合、
閾値Ａ≦色差信号Ｂ−Ｒ＜閾値Ｂ、の状態では、
・霞補正係数Kkhは、色差信号Ｂ−Ｒに比例して係数kAの傾きで増加する。
閾値Ｂ≦色差信号Ｂ−Ｒ、の状態では、
・その映像は青空であると判断される。青空を補正する場合、ＩＲ信号成分における霞補正係数Kkhを小さくする必要がある。これに応じて霞補正係数Kkhは、閾値Ｂ＜Kkh＜閾値Ａの範囲で保持される。この場合における青空補正係数は、青空補正係数算出回路１４１にて生成される。
また、霞補正係数Kkhが０％、１００％となる状態を作るためには、閾値Ａ＝０（Ｍｉｎ値）や閾値Ａ＝２５５（Ｍａｘ値）を設定すればよい。そうすれば、無条件に霞補正係数Kkhを、１００％（閾値Ａ＝０）や０％（閾値Ａ＝２５５）に設定することが可能となる。
次に青空補正係数算出回路１４１における青空補正係数の算出例を示す。青空補正においては、霞補正と同じく色差信号Ｂ−Ｒに着目しており、色差信号Ｂ−Ｒの大きさで補正判断を行う。この青のレベルを判断するために、青空補正係数算出回路１４１には、閾値Ｂと、合成比率の強弱の調整を行うための係数とがレジスタ１１７から入力される。
霞み成分と青空とを色差信号Ｂ−Ｒの大きさで比較すると、霞み成分＜青空であるため、閾値Ａ＜閾値Ｂにする必要がある。したがって、閾値Ｂを０〜２５５までの設定範囲とし、Ｒ，Ｂのデータを０〜２５５の範囲のデータとしたとき、青空補正係数 Kbsの条件は以下のようになる。
（B-R)＞閾値Bの場合は、
Kbs =kB((B-R)−閾値B)
（B-R)≦閾値Bの場合は、
Kbs = 0
上記条件で、青空補正係数Kbsを算定する場合、
色差信号Ｂ−Ｒ≧閾値Ｂ以上、の状態では、
・青空補正係数Kbsは、色差信号Ｂ−Ｒに比例して、係数ｋBの傾きで増加する。
また、閾値Ｂ＝２５５を設定することで、青空補正係数Kbsを０％とすることができる。すなわち、閾値Ｂ＝０（Ｍｉｎ値）や閾値Ａ＝２５５（Ｍａｘ値）、閾値Ｂ＝２５５（Ｍａｘ値）を設定することで、無条件に青空補正係数Kbsを１００％（閾値Ａ＝０）や０％（閾値Ａ＝２５５（Ｍａｘ値）、閾値Ｂ＝２５５（Ｍａｘ値）に設定することが可能となる。
ここで説明した、レジスタより入力される閾値Ａ，閾値Ｂ，係数kA，係数kBはそれぞれレジスタ１１７経由で外部から補正係数算出部１４０，１４１に可変設定可能となっている。したがって、閾値Ａ，閾値Ｂを変更することで、ＩＲ信号成分として検出する波長領域を変更することが可能であり、係数kA，係数kBを変更することで、ＩＲ信号成分を合成する際における合成比率を変更することが可能となる。
以上説明したようにして算出される霞補正係数算出回路１４０の霞補正係数と、青空補正係数算出回路１４１の青空補正係数とは、ＩＲ補正係数算出回路１４２に入力される。ＩＲ補正係数算出回路１４２は、入力される霞補正係数Kkhと青空補正係数Kbsとの大小を比較する。Kkh＞Kbsである場合、ＩＲ補正係数算出回路１４２は、霞補正係数Kkhから青空補正係数Kbsを減算する （Kkh-Kbs）ことでＩＲ補正係数を生成する。
このようにしてＩＲ補正係数を生成する場合、
閾値Ａ≦色差信号Ｂ−Ｒ＜閾値Ｂ、の状態では、
・ＩＲ補正係数は、霞を補正するために、色差信号Ｂ−Ｒに比例して係数kAの傾きで増加する。
色差信号Ｂ−Ｒ≧閾値Ｂ、の状態では、
・その映像は青空であると判断される。青空を補正する場合、ＩＲ補正係数は、色差信号Ｂ−Ｒに反比例して係数kBの傾きで減少する。
ＩＲ補正係数 Kir1の動作条件は以下のようになる。
Kkh＞Kbsの場合は、
Kir1 = Kkh-Kbs
Kkh≦Kbsの場合は、
Kir1 = 0
ＩＲ補正係数算出回路１４２で生成されるＩＲ補正係数Kir1は外部に出力されると共に、インバータ１４３に入力される。インバータ１４３は、ＩＲ補正係数Kir1の逆数を生成し、生成した逆数を可視光補正係数Kir1’として出力する。可視光補正係数Kir1’は可視光信号の補正係数であって、可視光補正係数Kir1’とＩＲ補正係数Kir1とには、Kir1’＋Kir1＝１の関係が成立する。
補正係数算出回路１３０から出力される可視光補正係数とＩＲ補正係数とは、外部へ出力される。さらにＩＲ補正係数は、Ｂ信号のゲイン補正用に設けられた乗算器１３５と、Ｒ信号のゲイン補正用に設けられた乗算器１３６とに入力される。
本実施の形態において、非可視光として近赤外光を選択しているのは、可視光で霞んだ部分を補正することを目的としているためである。可視光では、前述したとおり、霞んだ遠景が青っぽくみえる特徴がある。したがって、ＩＲ補正係数が大きく設定された映像部分は、可視光では青っぽく見えており、この映像部分では、Ｂ信号成分が大きく、Ｒ信号成分が小さくなっている傾向がある。この映像部分をより鮮やかな映像にするためには、この映像部分において、Ｂ信号を小さくし、Ｒ信号のゲインを大きくする調整を行うことが望ましい。Ｂ信号の補正係数生成用として設けられた乗算器１３５と、Ｒ信号の補正係数生成用として設けられた乗算器１３６とは、このような補正係数を算出するための乗算器となる。
Ｂ信号の補正係数生成用の乗算器１３５は、レジスタ１１７から入力されるＢゲイン補正係数と補正係数算出回路１３０から入力されるＩＲ補正係数とを乗算することでＢ信号補正係数を生成する。乗算器１３５は、生成したＢ信号補正係数を乗算器１３３に入力する。乗算器１３３はＢ信号とＢ信号補正係数とを乗算して、Ｂ信号補正信号を生成する。乗算器１３３は生成したＢ信号補正信号を減算器１３２に入力する。減算器１３２は、Ｂ信号からＢ信号補正信号を減算することで、Ｂ信号の補正を行う。減算器１３２は、補正結果を、Ｂ’信号として出力する。
Ｒ信号の補正係数生成用の乗算器１３６は、レジスタ１１７から入力されるＲゲイン補正係数とＩＲ補正係数とを乗算することでＲ信号補正係数を生成する。乗算器１３６は、生成したＲ信号補正係数を乗算器１３４に入力する。乗算器１３４はＲ信号とＲ信号補正係数とを乗算することでＲ信号補正信号を生成する。乗算器１３４は、生成したＲ信号補正信号を加算器１３１に入力する。加算器１３１は、Ｒ信号とＲ信号補正信号とを加算することで、Ｒ信号の補正を行う。加算器１３１は補正結果をＲ’信号として出力する。なお、Ｇ信号は補正を行わないまま条件判定回路１１４から出力される。
補正係数算出回路１３０に入力されるＢゲイン補正係数とＲゲイン補正係数とはレジスタ１１７経由で外部から制御可能であって、Ｂゲイン補正係数やＲゲイン補正係数を変更することで、補正の強弱を調整可能である。
カメラ信号処理回路１００の説明に戻る。条件判定回路１１４で生成されたＧ信号，Ｂ’信号，Ｒ’信号は、色差信号処理回路１１６に入力される。同様に、条件判定回路１１４で生成されたＩＲ補正係数は乗算器１１２に入力される。乗算器１１２は、ＩＲ補正係数とフィルタ回路１１１で生成されたＩＲ信号とを乗算することで、ＩＲ’信号を生成する。乗算器１１２で生成されたＩＲ’信号は輝度信号処理回路１１５に入力される。また、条件判定回路１１４で生成された可視光補正係数は乗算器１１３に入力される。乗算器１１３は、フィルタ回路１１１で生成された可視光輝度信号と可視光補正係数とを乗算することでＹ’信号を生成したうえで、生成したＹ’信号を輝度信号処理回路１１５に入力する。
図６に輝度信号処理回路１１５の構成を示す。輝度信号処理回路１１５は加算器１５０、ハイパスフィルタ１５１，１５２、乗算器１５３，１５４、輪郭強調信号選択回路１５５、および加算器１５６を備える。
輝度信号処理回路１１５に入力されたＹ’信号とＩＲ’信号とは加算器１５０で加算される。加算器１５０は加算結果をＩＲ合成比率が調整された合成輝度信号として加算器１５６に入力する。
また、輝度信号処理回路１１５に入力されたＹ’信号はハイパスフィルタ１５１に、ＩＲ’信号はハイパスフィルタ１５２にそれぞれ入力される。ハイパスフィルタ１５１は、Ｙ’信号の輪郭抽出処理を行ってＹ輪郭抽出信号を生成し、ハイパスフィルタ１５２は、ＩＲ’信号の輪郭抽出処理を行ってＩＲ輪郭抽出信号を生成する。ハイパスフィルタ１５１は生成したＹ輪郭抽出信号をＹ輪郭ゲイン調整用乗算器１５３に入力し、ハイパスフィルタ１５２は生成したＩＲ輪郭抽出信号をＩＲ輪郭ゲイン調整用乗算器１５４に入力する。Ｙ輪郭ゲイン調整用乗算器１５３は、入力されるＹ輪郭抽出信号と、レジスタ１１７から入力されるＹ輪郭ゲイン係数とを乗算処理することでＹ輪郭抽出信号のゲイン調整を行う。以上の処理を行うことでＹ輪郭ゲイン調整用乗算器１５３はＹ輪郭強調信号を生成し、生成したＹ輪郭強調信号を輪郭強調信号選択回路１５５に入力する。ＩＲ輪郭ゲイン調整用乗算器１５４は、入力されるＩＲ輪郭抽出信号と、レジスタ１１７から入力されるＩＲ輪郭ゲイン係数とを乗算処理することでＩＲ輪郭抽出信号のゲイン調整を行う。以上の処理を行うことでＩＲ輪郭ゲイン調整用乗算器１５４はＩＲ輪郭強調信号を生成し、生成したＩＲ輪郭強調信号を輪郭強調信号選択回路１５５に入力する。
ここで、近赤外光は、緑色をした草木を反射する特性があり、影の部分との明暗がより明確に出る傾向がある。したがって、草木が被写体である場合には、ＩＲ輪郭強調信号＞Ｙ輪郭強調信号となる。このことを利用して、ＩＲ輪郭強調信号をエッジ強調信号として適用することでより解像感のある映像を得ることが可能となる。輪郭強調信号選択回路１５５の動作条件は、
IR輪郭強調信号≦ Y輪郭強調信号の状態では、
輪郭強調信号= Y輪郭強調信号
IR輪郭強調信号＞ Y輪郭強調信号の状態では、
輪郭強調信号= IR輪郭強調信号
となる。
ただし、近赤外光は可視光とは異なる特性を備えており、例えば、青空に雲が浮かんでいた場合では、青空と雲との間のコントラクト差が大きいために、不用意に輪郭強調を行うと、過度な輪郭強調結果となる場合がある。このような過度な輪郭強調を抑制するためには特定の輪郭を抽出することが有効となる。特定輪郭を抽出するには、輪郭強調信号選択回路１５５の動作条件に、フィルタ回路１１１から出力されるＲ信号、Ｂ信号、Ｇ信号を付加すればよい。例えば、草木のような特定の輪郭を強調したい場合は、Ｇ信号を条件に付加する。Ｇ信号を条件に付加したときの条件は以下のようになる。
IR輪郭強調信号＞ Y輪郭強調信号 かつ Ｇ信号＞閾値Ｇの状態では、
輪郭強調信号= IR輪郭強調信号
それ以外の状態では、
輪郭強調信号= Y輪郭強調信号
このとき、閾値Ｇはレジスタ１１７から入力される。
輪郭強調信号選択回路１５５で生成されたＹ輪郭強調信号は、加算器１５６に入力される。加算器１５６は、加算器１５０で生成された合成輝度信号とＹ輪郭強調信号とを加算することで合成輝度信号の輪郭強調を行う。加算器１５６は、輪郭強調を行った輝度信号として出力する。なお、レジスタ１１７から輝度信号処理回路１１５に入力されるＹ輪郭ゲイン係数とＩＲ輪郭ゲイン係数とはレジスタ１１７経由で外部より制御可能であるため、これらＹ輪郭ゲイン係数とＩＲ輪郭ゲイン係数とを操作者が変更することで、輪郭補正の強弱を調整することが可能となる。
次に、色差信号処理回路１１６の動作について、図７を参照して説明する。色差信号処理回路１１６は条件判定回路１１４からＲ信号，Ｂ信号，Ｇ信号，及びＩＲ係数信号が入力される。
図７に色差信号処理回路１１６の構成図を示す。色差信号処理回路１１６に入力されたＲ信号、Ｂ信号、Ｇ信号は色差信号生成回路１６０に入力される。色差信号生成回路１６０は、以下の変換式に基づいて、Ｒ信号、Ｂ信号、Ｇ信号を処理することで、色差信号Ｒ−Ｙ、色差信号Ｂ−Ｙを生成する。
（変換式）
R-Y = R-（（0.59*G）+（0.3*R）+（0.11*B））
B-Y = B-（（0.59*G）+（0.3*R）+（0.11*B））
色差信号生成回路１６０は、生成した色差信号Ｒ−Ｙ,Ｂ−Ｙを乗算器１６１と、乗算器１６２とに入力する。乗算器１６１は色差信号Ｒ−Ｙのゲインを調整し、乗算器１６２は、色差信号Ｂ−Ｙのゲインを調整する。各乗算器１６１,１６２のゲイン調整は、ＩＲ係数に応じて可変となる。ここで説明するＩＲ係数は、霞んだ映像信号をターゲットにしているために、その値が大きくなっている。ＩＲ係数が大きいことは霞んだ信号入力になっていることを意味しており、この場合には、可視光信号であるＲ信号、Ｂ信号、Ｇ信号は、色成分が少ない状態で色差信号生成回路１６０に入力される。したがって、ＩＲ信号の大きさに応じて、色差信号Ｒ−Ｙ，Ｂ−Ｙのゲインを大きくすることで、色を鮮やかに見せることが可能となる。
乗算器１６３は、レジスタ１１７から入力されるＲ−Ｙゲイン補正係数と補正係数算出回路１３０から入力されるＩＲ補正係数とを乗算することで、ゲイン調整信号Ｒ−Ｙを生成する。乗算器１６４は、レジスタ１１７から入力されるＢ−Ｙゲイン補正係数と補正係数算出回路１３０から入力されるＩＲ補正係数とを乗算することで、ゲイン調整信号Ｂ−Ｙを生成する。このようにして乗算器１６３，１６４がＩＲ補正係数にＲ−Ｙゲイン補正係数やＢ−Ｙゲイン補正係数を乗算することで、非可視光信号（ＩＲ信号）を用いた可視光信号（Ｒ信号，Ｇ信号，Ｂ信号）の補正量（どの程度補正するのか）を調整することが可能となる。Ｒ−Ｙゲイン補正係数とＢ−Ｙゲイン補正係数とは、レジスタ１１７経由で使用者等が外部から調整可能である。
乗算器１６３，１６４からそれぞれ出力されたゲイン調整信号Ｒ−Ｙ，ゲイン調整信号Ｂ−Ｙは、乗算器１６１，１６２に入力される。乗算器１６１，１６２には、色差信号生成回路１６０から色差信号Ｒ−Ｙ，色差信号Ｂ−Ｙも入力される。乗算器１６１は、色差信号Ｒ−Ｙにゲイン調整信号Ｒ−Ｙを乗算することで、色差信号Ｒ−Ｙのゲイン調整を行う。乗算器１６１，１６２から出力された、ゲイン調整後の色差信号Ｒ−Ｙ（ゲイン調整済）、色差信号Ｂ−Ｙ信号（ゲイン調整済）は多重処理回路１６５に入力される。多重回路１６５は、色差信号Ｒ−Ｙ（ゲイン調整済）と色差信号Ｂ−Ｙ信号（ゲイン調整済）とを多重化処理することで、最終の色差信号を生成して出力する。
以上の処理を行うことでカメラ信号処理回路１００は輝度信号と色差信号とを生成してモニタＩＦ回路１０１と記録装置９９とに入力する。モニタ出力ＩＦ回路１０１は、入力される輝度信号と色差信号とからモニタ用映像信号を生成し、生成したモニタ用映像信号をモニタ１０２に入力する。例えば、モニタ１０２がＲＧＢ信号対応の表示装置である場合、モニタ出力ＩＦ回路１０１は、輝度信号と色差信号とからＲＧＢ信号を生成してモニタ１０２に出力する。このような処理を行う結果、モニタ１０２には 常にカメラ信号処理回路１００の出力（輝度信号，色差信号）に基づいて表示を行うことができる。
画像記録装置９９は、ＣＰＵ１０３からシリアルインターフェースを介して記録コマンドを受け取ると、カメラ信号処理回路１００から入力される輝度信号，色差信号を、記録媒体（図示省略）に記録する。
ＣＰＵ１０３の汎用ポートは、標準値設定用ＳＷ１０４と、パラメータＵＰ用ＳＷ１０５と、パラメータＤＯＷＮ用ＳＷ１０６と、標準値切替用ＳＷ１０７と、パラメータ切替用ＳＷ１０８と、記録コマンドＳＷ１０９とに接続されている。ＳＷ１０４〜１０９は、通常“Ｌ”レベルが出力されており、使用者がＳＷ１０４〜１０９を操作したときのみに“Ｈ”となる。これらＳＷ１０４〜１０９はデジタルカメラの外部に配置されたボタンに連動しており、使用者が外部からボタンを操作することで、ＳＷ１０４〜１０９がＯＮする。これにより、任意にカメラ信号処理回路１００を制御可能となる。
次にＣＰＵ１０３の動作に関して説明する。ＣＰＵ１０３は、汎用ポートの状態に応じて、カメラ信号処理回路１００のレジスタ１１７にアクセスすることで、デジタルカメラのパラメータを変更すると同時に、記録装置９９に記録コマンドを送信し、画像の記録の制御を行う。
図１１にＣＰＵの制御のフローチャートを示す。制御がスタートすると、ステップＳ１００でＣｏｕｎｔ１＝０が、ステップＳ１０１でＣｏｕｎｔ２＝０がそれぞれ設定される。Ｃｏｕｎｔ１は標準値の組み合わせの状態を管理するステータスカウンタとなる。Ｃｏｕｎｔ２はカメラ信号処理回路のどのパラメータにアクセスするかの状態を管理するステータスカウンタとなる。
次にステップＳ１０２で、汎用ポートがモニタされて、Ｗａｉｔ状態となる。ステップＳ１０２のＷａｉｔ状態は、ＰＯＲＴ０〜５のいずれかのＰＯＲＴが変化したときに終了してステップＳ１０３に移行する。
ステップＳ１０３ではＰＯＲＴ５の状態が確認される。ステップＳ１０３でＰＯＲＴ５の状態が“１”になったことが確認されると、ステップＳ１２２に移行する。ステップＳ１２２では、記録コマンドが記録装置９９に送信される。記録コマンドを受け取った画像記録装置９９は、ＣＰＵ１０３とのシリアルインターフェースから、記録コマンドを受け取ると、カメラ信号処理回路１００から入力されるカメラ映像信号(輝度信号，色差信号)を、記録媒体に記録する。ここでは、記録コマンドＳＷ１０９がＯＮにされたタイミングがデジタルカメラのシャッタを押したタイミングとなる。
ステップＳ１０３で、ＰＯＲＴ５の状態が“０”であることが確認されると、ステップＳ１０４に移行する。ステップＳ１０４ではＰＯＲＴ３の状態が確認される。ここで、ＰＯＲＴ３が“１”であることが確認されると、ステップＳ１１１へ移行する。ＰＯＲＴ３が”１”であることは、標準値切替ＳＷ１０７を押してＯＮにした状態であることを示している。ＰＯＲＴ３が”１”であることが確認されると、ステップＳ１１１に移行する。ステップＳ１１１では、Ｃｏｕｎｔ１の値が１インクリメントされる。インクリメントされたＣｏｕｎｔ１の値はステップＳ１１２でＣｏｕｎｔ＞４であるか否かの判断が実施される。ステップＳ１１２で、Ｃｏｕｎｔ＞４でない（Ｃｏｕｎｔ≦４である）と判断される場合はステップＳ１０２に戻る。このように、ステップＳ１０２→ステップＳ１０３→ステップＳ１０４→ステップＳ１１１→ステップＳ１１２→ステップＳ１０２が繰り返されることで、Ｃｏｕｎｔ１の値を０から４まで順に変更することが可能となる。
ステップＳ１１２でＣｏｕｎｔ１＞４であると判断される場合はステップＳ１１３に移行する。ステップＳ１１３では、Ｃｏｕｎｔ１の値が０に戻される。すなわち、標準値切替ＳＷ１０７が操作されることで、Ｃｏｕｎｔ１の値が０から４までの間で繰り返し変更される。
ステップＳ１０４でＰＯＲＴ３の状態が“０”のときは、ステップＳ１０５に移行する。ステップＳ１０５では、Ｂａｓｅの状態が、Ｃｏｕｎｔ１の条件に基づいてセットされる。Ｂａｓｅは標準値を設定するため各パラメータの組み合わせである。Ｂａｓｅの条件は任意の値で、任意の組み合わせで実施可能であるが、今回の実施例としては、以下の５条件で動作を説明する。
Ｂａｓｅセット条件
・Ｃｏｕｎｔ１＝０の場合は、
Ｂａｓｅ＝可視１００％
・Ｃｏｕｎｔ１＝１の場合は、
Ｂａｓｅ＝合成条件１
・Ｃｏｕｎｔ１＝２の場合は、
Ｂａｓｅ＝合成条件２
・Ｃｏｕｎｔ１＝３の Ｂａｓｅ＝合成条件３
・Ｃｏｕｎｔ１＝４の場合は、
Ｂａｓｅ＝非可視１００％
各パラメータの設定範囲を０〜２５５とした状態において、Ｃｏｕｎｔ１＝０（Ｂａｓｅ＝可視１００％）としたときの各パラメータの設定例は以下のような組み合わせとなる。
・閾値Ａ＝２５５
・閾値Ｂ＝２５５
・係数ｋＡ＝０
・係数ｋＢ＝０
・Ｒゲイン補正係数＝０
・Ｂゲイン補正係数＝０
・Ｙ輪郭ゲイン係数＝０
・ＩＲ輪郭ゲイン係数＝０
・Ｒ−Ｙゲイン補正係数
・Ｂ−Ｙゲイン補正係数＝０
・閾値Ａ＝Ｍａｘ値
・閾値Ｂ＝Ｍａｘ値
この場合、霞補正係数算出回路１４０と、青空補正係数算出回路１４１とでは、共に、補正係数（霞補正係数，青空補正係数）が０に設定される。これにより、ＩＲ補正はかからない状態となり、可視光信号が１００％出力される。
また、Ｃｏｕｎｔ１＝４（Ｂａｓｅ＝非可視１００％）としたときの各パラメータの設定例は以下のような組み合わせとなる。
・閾値Ａ＝０
・閾値Ｂ＝２５５
・係数ｋＡ＝任意の値
・係数ｋB＝任意の値
・Ｒゲイン補正係数＝任意の値
・Ｂゲイン補正係数＝任意の値
・Ｙ輪郭ゲイン係数＝任意の値
・ＩＲ輪郭ゲイン係数＝任意の値
・Ｒ−Ｙゲイン補正係数＝任意の値
・Ｂ−Ｙゲイン補正係数＝任意の値
・閾値Ａ＝０
・閾値Ｂ＝２５５（Ｍａｘ値）
この場合、霞補正係数算出回路１４０と、青空補正係数算出回路１４１とでは、共に補正係数（霞補正係数，青空補正係数）が１００に設定される。これにより、ＩＲ補正は１００％の状態となり、非可視光信号が１００％出力される。
Ｂａｓｅ＝合成条件１、Ｂａｓｅ＝合成条件２、Ｂａｓｅ＝合成条件３のときはそれぞれのパラメータに予め準備された任意の値がセットされる。非可視光信号と可視光信号との合成を行うためには、各パラメータを任意の中間値に設定する。この任意の値の設定においては、各パラメータを予め評価したうえで、ある条件化において最適と思われるパラメータを設定しておくことが望ましい。
次にステップＳ１０６では、ＰＯＲＴ０の状態が確認される。ＰＯＲＴ０が“１”であることが確認されると、ステップＳ１２１に移行する。ＰＯＲＴ０が”１”の状態は、標準値設定用ＳＷ１０４が操作によりＯＮにされた状態を示している。ステップＳ１２１では、ステップＳ１０５でセットされたＢａｓｅの条件にしたがって、カメラ信号処理回路１００にパラメータの設定値を転送する。
例えば、可視光撮像カメラと、非可視光撮像カメラとを切り替えながら使用する場合、Ｂａｓｅ＝非可視１００％としたうえで、標準値設定用ＳＷ１０７を操作することで、このデジタルカメラを非可視光専用の撮像カメラに変更することが可能となる。
逆に、Ｂａｓｅ＝可視１００％の状態で、標準値設定用ＳＷ１０７を操作することで、このデジタルカメラを可視光専用の撮像カメラに変更することが可能となる。このように、標準値切替ＳＷ１０７で標準状態を切替ええながら、標準値設定用ＳＷ１０４を操作することで、可視光専用の撮像カメラと非可視光専用の撮像カメラとを切替ながら使用することが可能となる。
可視光映像と非可視光映像とを合成する場合、Ｂａｓｅ＝合成条件１、Ｂａｓｅ＝合成条件２、Ｂａｓｅ＝合成条件３のいずれかの状態を選択したうえで標準値設定用ＳＷ１０４を操作してパラメータを設定することで、可視光映像、非可視光映像を合成可能なデジタルカメラに切り替えることができる。ここで設定された各パラメータの設定値は、ある条件下では最適な任意の値であっても、現在撮影する被写体に対しては、必ずしも最適な状態であるとは限らない。そこで、次に各パラメータの値を個別に任意に変更することが望ましい。以下に各パラメータの値を個別に任意に変更する手段を示す。ステップＳ１０６でＰＯＲＴ１の状態が“０”のときは、ステップＳ１０７へと移行する。
ステップＳ１０７では、ＰＯＲＴ４の状態が確認される。ＰＯＲＴ４が“１”であることが確認されると、ステップＳ１１４に移行する。ＰＯＲＴ３４が”１”の状態は、パラメータ切替用ＳＷ１０８が操作によりＯＮにされた状態を示している。ステップＳ１１４では、Ｃｏｕｎｔ２の値が１インクリメントされる。インクリメントされたＣｏｕｎｔ２の値はステップＳ１１５において、Ｃｏｕｎｔ２＞９であるか否かが判断される。ステップＳ１１５において、Ｃｏｕｎｔ２＞９でないと判断される場合は、ステップＳ１０２に戻る。このように、ステップＳ１０２→ステップＳ１０３→ステップＳ１０４→ステップＳ１０５→ステップＳ１０６→ステップＳ１０７→ステップＳ１１４→ステップＳ１１５→ステップＳ１０２を繰り返すことで、Ｃｏｕｎｔ２の値を０から９まで順に変更することが可能となる。ステップＳ１１５において、Ｃｏｕｎｔ２＞９であると判断される場合は、ステップＳ１１６に移行する。ステップＳ１１６では、Ｃｏｕｎｔ２の値が０に戻される。これにより、パラメータ切替ＳＷ１０８を操作することで、Ｃｏｕｎｔ２の値が０から９まで順番に、さらには９の次は０に戻る形で繰り返して変更することが可能となる。
一方、ステップＳ１０７でＰＯＲＴ４の状態が“０”であると判断されると、ステップＳ１０８に移行する。
ステップＳ１０８ではＰａｒｍの状態が、Ｃｏｕｎｔ２の条件によってセットされる。Ｐａｒｍはパラメータ選択の状態を示している。以下にパラメータ選択の条件の例を示す。
Ｐａｒｍセット条件
・Ｃｏｕｎｔ２＝０の場合は、
Ｐａｒｍ＝閾値Ａ
・Ｃｏｕｎｔ２＝１の場合は、
Ｐａｒｍ＝閾値Ｂ
・Ｃｏｕｎｔ２＝２の場合は、
Ｐａｒｍ＝係数ｋＡ
・Ｃｏｕｎｔ２＝３の場合は、
Ｐａｒｍ＝係数ｋＢ
・Ｃｏｕｎｔ２＝４の場合は、
Ｐａｒｍ＝Ｒゲイン補正係数
・Ｃｏｕｎｔ２＝５の場合は、
Ｐａｒｍ＝Ｂゲイン補正係数
・Ｃｏｕｎｔ２＝６の場合は、
Ｐａｒｍ＝Ｙ輪郭ゲイン係数
・Ｃｏｕｎｔ２＝７の場合は、
Ｐａｒｍ＝ＩＲ輪郭ゲイン係数
・Ｃｏｕｎｔ２＝８の場合は、
Ｐａｒｍ＝Ｒ−Ｙゲイン補正係数
・Ｃｏｕｎｔ２＝９の場合は、
Ｐａｒｍ＝Ｂ−Ｙゲイン補正係数
Ｐａｒｍのセットが終わるとステップＳ１０９へ移行する。ステップＳ１０８では、ＰＯＲＴ１の状態が確認される。ＰＯＲＴ１が“１”のとき、ステップＳ１１９に移行する。ＰＯＲＴ１が”１”の状態は、パラメータＵＰ用ＳＷ１０５が操作によりＯＮにされた状態を示している。ステップＳ１１９では、カメラ信号処理回路１００にシリアル通信が行われて、ステップＳ１０８でセットされたＰａｒｍのパラメータのレジスタの値が読み出される。次にステップＳ１２０では、ステップＳ１１９で読み出されたレジスタ値に、加算数ｎの値が加算処理されることでレジスタ値が新しい設定値に更新される。次に、カメラ信号処理回路１００にシリアル通信が行われて、ステップＳ１０８でセットされたＰａｒｍのパラメータのレジスタ１１７に、加算処理された新しい設定値が書き込まれる。このとき加算数ｎは任意の数となる。
例えば、Ｐａｒｍ＝閾値Ａで、加算数ｎ＝２のとき、まず、シリアル通信で閾値Ａのレジスタ１１７にアクセスすることで、レジスタ１１７のデータが読み出される。このとき、読み出された閾値Ａのデータが４０であったすると、４０＋２＝４２の加算処理が行われたうえで、再度シリアル通信で閾値Ａのレジスタ１１７にアクセスして加算処理された新しい設定値（４２）が、閾値Ａとしてレジスタ１１７に書き込まれる。これにより、パラメータＵＰ用ＳＷ１０５を操作することで、Ｐａｒｍにセットされたパラメータの値を加算方向へ変更することが可能となる。
ステップＳ１１１では逆にＰＯＲＴ２の状態が確認される。ＰＯＲＴ２が“１”であることが確認されると、ステップＳ１１７に移行する。ＰＯＲＴ２が”１”の状態は、パラメータＤＯＷＮ用ＳＷ１０６が操作によりＯＮにされた状態を示している。ステップＳ１１７では、カメラ信号処理回路１００にシリアル通信を行い、ステップＳ１０８でセットされたＰａｒｍのパラメータのレジスタの値が読み出される。次にステップＳ１１８では、ステップＳ１１７で読み出されたデータ（パラメータのレジスト値）に、減算数ｎの減算処理が行われることで、パラメータのレジスト値が新しい設定値に更新される。次に、カメラ信号処理回路１００にシリアル通信を行い、ステップＳ１０８でセットされたＰａｒｍのパラメータが格納されたレジスタ１１７に、減算処理された新しい設定値が書き込まれる。このとき減算数ｎは任意の数となる。
例えば、Ｐａｒｍ＝閾値Ｂで、加算数ｎ＝１のとき、まず、閾値Ｂが格納されたレジスタ１１７にシリアル通信でアクセスすることで、レジスタ１１７のデータが読み出される。このとき、読み出された閾値Ｂのデータが３０であったすると、３０−１＝２９の減算処理が行われたうえで、再度シリアル通信で閾値Ｂが格納されているレジスタ１１７にアクセスして減算処理された新しい設定値（２９）が閾値Ｂとしてレジスタ１１７に書き込まれる。これにより、パラメータＤＯＷＮ用ＳＷ１０６をＯＮにすることで、Ｐａｒｍにセットされたパラメータの値を減算方向へ変更することが可能となる。
以上の処理を整理すると、
１．標準値設定用ＳＷ１０７により合成条件の標準設定値を決定する、
２．パラメータ切替ＳＷ１０８により変更したいパラメータを選択する、
３．パラメータＵＰ用ＳＷ１０５またはパラメータＤＯＷＮ用ＳＷ１０６を操作して、パラメータの設定値を変更する、
４．他に変更したいパラメータがある場合には、上記１−３の処理を繰り返す、
という処理の流れとなる。
このとき、デジタルカメラは動作状態にあり常にモニタに映像が出力されているため、モニタで映像信号を確認しながら、パラメータを変更し、最適な条件を見つけ出すことができる。最適な条件が見つかった時点で、記録コマンドＳＷ１０９をＯＮにしたうえで、シャッタを操作することで、最適な状態での画像を記録する。
また、モニタで実際の映像信号を確認しながら最適条件を決定すると同時に、合成条件をモニタに出力することで、現在、どの様な条件で合成を行っているかを視覚的に確認することも可能である。合成条件をモニタに出力する手段を図１２に示す。
図１２に示すカメラ信号処理回路２００の構成は、基本的には、図２に示すカメラ信号処理回路１００と同等であり、同一ないし同様の部分には同一の符号を付している。最終段の輝度信号処理回路１１５の出力端にセレクタ２０８を、色差信号処理回路１１６の出力端にセレクタ２０９を、それぞれ挿入配置した構成となっている。セレクタ２０８，２０９それぞれには、レジスタ２０７から選択信号が供給される。これにより、セレクタ２０８，２０９それぞれは、外部から制御可能である。セレクタ２０８は制御信号が“０”の状態では、輝度信号処理回路１１５から出力される輝度信号を選択して出力し、制御信号が“１”の状態では、条件判定回路２０４から出力されるＩＲ補正係数を選択して出力する。セレクタ２０９は、制御信号が“０”の状態では、色差信号処理回路１１６から出力される色差信号を選択して出力し、制御信号が“１”の状態では、色成分が“０”となる固定信号を選択して出力する。
したがって、制御信号が“０”のときは、通常の映像信号がカメラ信号処理回路２００から出力される。このとき、ＩＲ補正係数は、ＩＲの合成比率が高いときに大きな値となり、ＩＲの合成比率が低いときには小さな信号となる。このＩＲ係数信号を輝度信号として出力して、モニタに表示した場合、色差信号は、“０”となる固定信号であるため、白黒の画像となり、ＩＲの合成比率が高い部分は白っぽく表示され、ＩＲの合成比率が低い部分は黒っぽく表示される。これにより、モニタ１０２上では、合成比率に応じた階調を有する合成比率示唆画像が表示される。したがって、視覚的に合成比率を確認することが可能となる。
外部から切替制御を行う構成例を図１３に示す。基本的な構成は図１と同じである。図１の構成においてＣＰＵ１０３のポートに接続されているＳＷ１０４〜１０９を、図１３の構成では、ＳＷ群２１５として表示している。モニタ１０２上で視覚的に合成比率を確認するための制御用のＳＷとしてＣＰＵ１０３のポートにＳＷ２１６が追加されている。ＳＷ２１６がＯＮしたときに、カメラ信号処理回路２００にシリアル通信を行い、レジスタ１１７にアクセスを行って、セレクタ２０８，２０９の制御信号を変更することで、出力制御を行うことが可能となる。
上述した実施形態では、カメラ信号処理回路１００は、図２に示すように、単一の可視光/非可視対応センサ１１０を備えたものであったが、図３に示すように、可視光センサ１２８と非可視光センサ１２０とを備えて構成することも可能である。ここでは、非可視光センサ１２０を近赤外光センサから構成している。
非可視光センサ１２０は、図１０で示すようにすべて、ＩＲ画素からなるセンサである。可視光センサ１２８は図９に示すようにＲ画素，Ｇ画素，Ｂ画素からなるセンサである。このような画素配列のセンサ１２０，１２８を有するカメラ信号処理回路１００の動作の説明を以下行う。
可視光センサ１２８から出力された映像信号は、フィルタ回路１２９に入力される。可視光センサ１２８からされた出力された映像信号は、1つの画素に対して、Ｒ画素，Ｇ画素，Ｂ画素のいずれかの1つの画素情報しか持っていないため、フィルタ回路１２９では、周辺の同色画素に対して画素重心を合わせこむ形で係数を設けて、フィルタ処理を行うことで、1つの画素に対してＲ信号，Ｇ信号，Ｂ信号、輝度信号を生成する。フィルタ回路１２９にて生成されたＲ信号，Ｇ信号，Ｂ信号と可視光輝度信号とのうちで、Ｒ信号，Ｇ信号，Ｂ信号は条件判定回路１２４に入力され、可視光輝度信号は乗算器１１３に入力される。図９に示す画素１８０に対して、Ｒ信号，Ｇ信号，Ｂ信号、可視光輝度信号を生成するためのフィルタ構成例を以下に示す。
G1=(G11+(3*G21)+(3*G12)+(9*G22))/16
R1=((3*R11)+R21+(9*R13)+(3*R23))/16
B1=((3*B12)+(9*B22)+B14+(3*B24))/16
Y1=(0.69*G1)+(0.3*R1)+(0.11*B1)
非可視光センサ１２０から出力された映像信号は、フィルタ回路１２１に入力される。非可視光センサ１２０は、1つの画素に対してＩＲ画素のみを有しているため、非可視光センサ１２０で生成されるＩＲ信号と、フィルタ回路１２９で生成されるＲ信号，Ｇ信号，Ｂ信号、可視光輝度信号とは、画素の重心位置がずれている。そのため、フィルタ回路１２０では、生成したＩＲ信号の画素重心を、Ｒ信号，Ｇ信号，Ｂ信号、可視光輝度信号の画素重心に合わせこむために、フィルタ処理を行う。図１０における画素１９０に対応するＩＲ信号を生成するためのフィルタ構成例を以下に示す。
IR1=(IR11+IR21+IR12+IR22)/4
フィルタ回路１２１にて生成されたＩＲ信号は乗算器１１２に入力される。このとき、フィルタ回路１２９で生成されるＲ信号，Ｇ信号，Ｂ信号，および可視光輝度信号と、フィルタ回路１２１で生成されるＩＲ信号とは、可視光/非可視対応センサ１１０を有するカメラ信号処理回路１００の動作で説明した、フィルタ回路１１１から出力されるＲ信号，Ｇ信号，Ｂ信号、可視光輝度信号、ＩＲ信号と同等になる。したがって、以降の動作は、可視光/非可視光対応センサ１１０を有するカメラ信号処理回路１００の説明の動作と同等の動作を行う事で実現可能となる。
本発明にかかる可視光信号、非可視光信号の合成方法および、制御方法は、モニタを確認しながら撮影を行うデジタルカメラとして有用である。
本発明構成図 カメラ信号処理回路構成図 カメラ信号処理回路（２センサ対応）構成図 条件判定回路構成図 補正係数算出部構成図 輝度信号処理回路構成図 色差信号処理回路構成図 可視/近赤両対応センサ画素配列 可視センサ画素配列 近赤センサ画素配列 ＣＰＵ制御フローチャート カメラ信号処理回路追加機能構成図 本発明構成図追加機能構成図
符号の説明
１００、２００ カメラ信号処理回路
１０１ モニタインターフェース回路
１０２ モニタ
１０３ ＣＰＵ
９９ 記録装置
１０４、１０５、１０６、１０７、１０８、１０９、２１６ ＳＷ
２１５ ＳＷ群
１１０、２００ 可視光/非可視光対応センサ
１２０ 非可視光センサ
１２８ 可視光センサ
１１１、１２１、１２９ フィルタ回路
１１４ 条件判定回路
１１５ 輝度信号処理回路
１１６ 色差信号処理回路
１１７ レジスタ
１１２、１１３、１２２、１２３、２０２、２０３、１３３、１３４、１３５、１３６、１６１、１６２、１６３、１６４ 乗算器
２０８、２０９ セレクタ
１３０ 補正係数算出回路
１３１、１５０、１５６ 加算器
１３２、１５３、１５４ 減算器
１４０ 霞補正係数算出回路
１４１ 青空補正係数算出回路
１４２ ＩＲ補正係数算出回路
１４３ インバータ
１５１、１５２ ハイパスフィルタ
１５５ 輪郭信号選択回路
１６０ 色差信号生成回路
１６５ 多重処理回路
１７０、１８０、１９０ 画素重心ターゲット

Claims (14)

  1. 可視光を受光して可視光映像信号を生成するとともに非可視光を受光して非可視光映像信号を生成する生成手段と、
    前記可視光映像信号と前記非可視光映像信号とを、合成比率変更可能に合成する合成手段と、
    外部から操作者が入力する画像合成に関するパラメータを受け取ったうえで、受け取った前記パラメータに基づいて前記合成比率を調整する調整手段と、
    前記合成手段が合成する合成映像信号から合成画像を生成して表示する表示手段と、
    を備え、
    前記合成画像を前記表示手段で表示しながら、前記操作者が前記調整手段に入力する前記パラメータを受け付け、受け付けた前記パラメータに基づいて前記調整手段が前記合成比率を変更する、
    ことを特徴とするデジタルカメラ
  2. 前記パラメータは、前記合成比率に応じて前記合成映像信号に設定される映像信号に関する係数であり、
    前記調整手段は、
    それぞれの撮影状況に応じて予め前記係数を設定して記憶したうえで、前記操作者による撮影状況の選択操作を受け付け、受け付けた前記選択状況に応じた前記合成比率の標準値を、受け付けた前記選択状況に対応する前記係数に基づいて設定する第1のコントロール手段と、
    前記第１のコントロール手段が設定した前記合成比率の標準値に基づいて前記合成手段が生成して前記表示手段が表示する前記合成画像を見ながら前記操作者が行う前記係数に関する入力操作を受け付け、受け付けた入力操作に基づいて前記係数を上昇調整する第２のコントロール手段と、
    前記第１のコントロール手段が設定した前記合成比率の標準値に基づいて前記合成手段が生成して前記表示手段が表示する前記合成画像を見ながら前記操作者が行う前記係数に関する入力操作を受け付け、受け付けた入力操作に基づいて前記係数を下降調整する第３のコントロール手段と、
    を備えることを特徴とする、
    請求項１に記載のデジタルカメラ
  3. 前記調整手段は、前記可視光映像信号１００％（前記非可視映像信号０％）の第1のパラメータ標準値と、前記非可視光映像信号１００％（前記可視光映像信号０％）の第２のパラメータ標準値とを予め記憶したうえで、前記第1のパラメータ標準値と第２のパラメータ標準値とを切り替えることで、当該デジタルカメラを、可視光撮像カメラと非可視光撮像カメラとに交互に切り替える、
    ことを特徴とする請求項１に記載のデジタルカメラ。
  4. 前記非可視光映像信号は近赤外光映像信号であり、
    前記合成手段は、前記表示手段に表示される前記合成画像における色成分のレベルに応じて前記操作者が前記調整手段に入力する前記パラメータに基づいて、前記可視光映像信号と前記近赤外光映像信号との合成比率を変更する、
    ことを特徴とする、
    請求項１に記載のデジタルカメラ
  5. 前記生成手段は、
    可視光を受光して前記可視光映像信号を生成するとともに非可視光を受光して前記非可視光映像信号を生成する画素を、複数備える単一のイメージセンサと、
    前記イメージセンサの各画素から出力される前記可視光映像信号と前記非可視光映像信号とを、それぞれフィルタ処理することで、前記各画素に対応するＲ信号，Ｇ信号，Ｂ信号，可視光輝度信号，及び非可視光信号を生成するフィルタ回路と、
    を備え、
    前記合成手段は、前記フィルタ回路から出力される前記Ｒ信号，前記Ｇ信号，前記Ｂ信号，前記可視光輝度信号，及び前記非可視光信号を合成する、
    ことを特徴とする、
    請求項１に記載のデジタルカメラ。
  6. 前記生成手段は、
    可視光を受光して前記可視光映像信号を生成する画素を複数備える可視光イメージセンサと、
    非可視光を受光して前記非可視光映像信号を生成する画素を複数備える非可視光イメージセンサと、
    前記可視光イメージセンサの各画素から出力される前記可視光映像信号を、フィルタ処理することで、前記各画素に対応するＲ信号，Ｇ信号，Ｂ信号，可視光輝度信号を生成する可視光フィルタ回路と、
    前記非可視光イメージセンサの各画素から出力される前記非可視光映像信号を、フィルタ処理することで、前記各画素に対応する非可視光信号を生成す非可視光フィルタ回路と、
    を備え、
    前記合成手段は、前記可視光フィルタ回路から出力される前記Ｒ信号，前記Ｇ信号，前記Ｂ信号，前記可視光輝度信号，及び前記非可視光フィルタ回路から出力される前記非可視光信号を合成する、
    ことを特徴とする、
    請求項１に記載のデジタルカメラ。
  7. 前記可視光映像信号の高周波成分を抽出する可視光ハイパスフィルタと、
    前記非可視光映像信号の高周波成分を抽出する非可視光ハイパスフィルタと、
    前記可視光ハイパスフィルタにより抽出される可視光映像信号高周波成分の信号レベルと、前記非可視光ハイパスフィルタにより抽出される非可視光映像信号高周波成分の信号レベルとを比較し、その比較結果に基づいて、前記可視光映像信号高周波成分と前記非可視光映像信号高周波成分のうちの一方を選択する選択手段と、
    前記合成手段が出力する合成映像信号に前記選択手段が選択する高周波成分を加算する加算手段と、
    をさらに備える、
    ことを特徴とする、
    請求項１に記載のデジタルカメラ。
  8. 前記生成手段は、Ｒ信号とＧ信号とを含んで前記可視光映像信号を生成し、
    前記調整手段は、調整した前記合成比率に基づいて、前記Ｒ信号と前記Ｇ信号との信号レベルを個別に変更する、
    ことを特徴とする、
    請求項１に記載のデジタルカメラ。
  9. 前記調整手段は、調整した前記合成比率に基づいて、前記合成映像信号における各色の信号レベルを変更する、
    ことを特徴とする、
    請求項１に記載のデジタルカメラ。
  10. 前記表示手段は、前記合成比率に応じた階調を有する合成比率示唆画像を生成して表示する、
    ことを特徴する、
    請求項１に記載のデジタルカメラ。
  11. 可視光を受光して可視光映像信号を生成するとともに非可視光を受光して非可視光映像信号を生成する生成手段と、
    前記可視光映像信号と前記非可視光映像信号とを合成する合成手段と、
    前記可視光映像信号の高周波成分を抽出する可視光ハイパスフィルタと、
    前記非可視光映像信号の高周波成分を抽出する非可視光ハイパスフィルタと、
    前記可視光ハイパスフィルタにより抽出される可視光映像信号高周波成分の信号レベルと、前記非可視光ハイパスフィルタにより抽出される非可視光映像信号高周波成分の信号レベルとを比較し、その比較結果に基づいて、前記可視光映像信号高周波成分と前記非可視光映像信号高周波成分のうちの一方を選択する選択手段と、
    前記合成手段が出力する合成映像信号に前記選択手段が選択する高周波成分を加算する加算手段と、
    を備える、
    ことを特徴とするデジタルカメラ。
  12. 可視光を受光して可視光映像信号を生成するとともに非可視光を受光して非可視光映像信号を生成する生成手段と、
    前記可視光映像信号と前記非可視光映像信号とを、合成比率変更可能に合成する合成手段と、
    外部から操作者が入力する画像合成に関するパラメータを受け取ったうえで、受け取った前記パラメータに基づいて前記合成比率を調整する調整手段と、
    前記合成手段が合成する合成映像信号から合成画像を生成して表示する表示手段と、
    を備え、
    前記生成手段は、Ｒ信号及び、Ｇ信号を含んで前記可視光映像信号を生成し、
    前記調整手段は、調整した前記合成比率に基づいて、前記Ｒ信号と前記Ｇ信号の信号レベルを個別に変更する、
    ことを特徴とするデジタルカメラ。
  13. 可視光を受光して可視光映像信号を生成するとともに非可視光を受光して非可視光映像信号を生成する生成手段と、
    前記可視光映像信号と前記非可視光映像信号とを、合成比率変更可能に合成する合成手段と、
    外部から操作者が入力する画像合成に関するパラメータを受け取ったうえで、受け取った前記パラメータに基づいて前記合成比率を調整する調整手段と、
    前記合成手段が合成する合成映像信号から合成画像を生成して表示する表示手段と、
    を備え、
    前記調整手段は、調整した前記合成比率に基づいて、前記合成映像信号における各色の信号レベルを変更する、
    ことを特徴とするデジタルカメラ。
  14. 可視光を受光して可視光映像信号を生成するとともに非可視光を受光して非可視光映像信号を生成する生成手段と、
    前記可視光映像信号と前記非可視光映像信号とを、合成比率変更可能に合成する合成手段と、
    外部から操作者が入力する画像合成に関するパラメータを受け取ったうえで、受け取った前記パラメータに基づいて前記合成比率を調整する調整手段と、
    前記合成手段が合成する合成映像信号から合成画像を生成して表示する表示手段と、
    を備え、
    前記表示手段は、前記合成比率に応じた階調を有する合成比率示唆画像を生成して表示する、
    ことを特徴するデジタルカメラ。
JP2008273018A 2008-10-23 2008-10-23 デジタルカメラ Pending JP2010103740A (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2008273018A JP2010103740A (ja) 2008-10-23 2008-10-23 デジタルカメラ
US12/573,566 US20100103268A1 (en) 2008-10-23 2009-10-05 Digital camera

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2008273018A JP2010103740A (ja) 2008-10-23 2008-10-23 デジタルカメラ

Publications (1)

Publication Number Publication Date
JP2010103740A true JP2010103740A (ja) 2010-05-06

Family

ID=42117092

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2008273018A Pending JP2010103740A (ja) 2008-10-23 2008-10-23 デジタルカメラ

Country Status (2)

Country Link
US (1) US20100103268A1 (ja)
JP (1) JP2010103740A (ja)

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010178036A (ja) * 2009-01-29 2010-08-12 Victor Co Of Japan Ltd 撮像装置および撮像方法
KR101247321B1 (ko) * 2010-12-09 2013-03-25 삼성테크윈 주식회사 이미지 센서용 계수 산출 장치 및 이미지 센서용 계수 산출 방법
WO2014122928A1 (ja) * 2013-02-08 2014-08-14 株式会社デンソー 画像処理装置
JP2017046349A (ja) * 2015-08-27 2017-03-02 フルークコーポレイションＦｌｕｋｅ Ｃｏｒｐｏｒａｔｉｏｎ 可視光画像データ及び赤外線画像データの組合せシステム、熱画像カメラ、赤外線画像を強調する方法を実行する命令を記録したコンピュータ読み取り可能な記録媒体
WO2017090462A1 (ja) * 2015-11-27 2017-06-01 ソニー株式会社 情報処理装置、および情報処理方法、並びにプログラム
JPWO2016208142A1 (ja) * 2015-06-26 2018-04-12 日本電気株式会社 画像処理システム、画像処理方法、およびコンピュータ読取可能な記録媒体
WO2018079372A1 (ja) * 2016-10-28 2018-05-03 京セラ株式会社 撮像装置、撮像システム、移動体、及び撮像方法
US9990730B2 (en) 2014-03-21 2018-06-05 Fluke Corporation Visible light image with edge marking for enhancing IR imagery
JP6351903B1 (ja) * 2016-10-14 2018-07-04 三菱電機株式会社 画像処理装置、画像処理方法、及び撮影装置
JP2020022088A (ja) * 2018-08-01 2020-02-06 キヤノン株式会社 撮像装置、制御方法、記録媒体、および、情報処理装置

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102466519B (zh) * 2010-11-10 2014-02-05 敦南科技股份有限公司 光感测装置的输出信号校正方法及光感测装置
US9143704B2 (en) * 2012-01-20 2015-09-22 Htc Corporation Image capturing device and method thereof
US9619195B2 (en) * 2013-11-01 2017-04-11 Apple Inc. Invisible light transmission via a display assembly
CN107918929B (zh) * 2016-10-08 2019-06-21 杭州海康威视数字技术股份有限公司 一种图像融合方法、装置及***
CN107566747B (zh) * 2017-09-22 2020-02-14 浙江大华技术股份有限公司 一种图像亮度增强方法及装置
JP7171254B2 (ja) * 2018-06-13 2022-11-15 キヤノン株式会社 画像処理装置、撮像装置、および画像処理方法
JP7250483B2 (ja) * 2018-11-12 2023-04-03 キヤノン株式会社 撮像装置、コンピュータプログラム、及び記憶媒体
CN109729274B (zh) * 2019-01-30 2021-03-09 Oppo广东移动通信有限公司 图像处理方法、装置、电子设备及存储介质

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6963366B2 (en) * 1996-06-19 2005-11-08 Canon Kabushiki Kaisha Image pickup apparatus
JP4511066B2 (ja) * 2001-03-12 2010-07-28 オリンパス株式会社 撮像装置
JP2002323649A (ja) * 2001-04-26 2002-11-08 Hitachi Ltd 撮像装置
JP4200890B2 (ja) * 2003-12-10 2008-12-24 株式会社日立製作所 映像信号処理装置及びそれを用いたテレビジョン受信機並びに映像信号処理方法
US7538326B2 (en) * 2004-12-03 2009-05-26 Fluke Corporation Visible light and IR combined image camera with a laser pointer
JP4441882B2 (ja) * 2005-11-18 2010-03-31 ソニー株式会社 撮影装置、表示制御方法、プログラム
US7773136B2 (en) * 2006-08-28 2010-08-10 Sanyo Electric Co., Ltd. Image pickup apparatus and image pickup method for equalizing infrared components in each color component signal
JP4757221B2 (ja) * 2007-03-30 2011-08-24 富士フイルム株式会社 撮像装置及び方法
JP5184016B2 (ja) * 2007-09-12 2013-04-17 オンセミコンダクター・トレーディング・リミテッド 撮像装置

Cited By (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010178036A (ja) * 2009-01-29 2010-08-12 Victor Co Of Japan Ltd 撮像装置および撮像方法
KR101247321B1 (ko) * 2010-12-09 2013-03-25 삼성테크윈 주식회사 이미지 센서용 계수 산출 장치 및 이미지 센서용 계수 산출 방법
US10063788B2 (en) 2013-02-08 2018-08-28 Denso Corporation Night-vision image processing apparatus
WO2014122928A1 (ja) * 2013-02-08 2014-08-14 株式会社デンソー 画像処理装置
JP2014171214A (ja) * 2013-02-08 2014-09-18 Denso Corp 画像処理装置
US10726559B2 (en) 2014-03-21 2020-07-28 Fluke Corporation Visible light image with edge marking for enhancing IR imagery
US10366496B2 (en) 2014-03-21 2019-07-30 Fluke Corporation Visible light image with edge marking for enhancing IR imagery
US9990730B2 (en) 2014-03-21 2018-06-05 Fluke Corporation Visible light image with edge marking for enhancing IR imagery
US11010876B2 (en) 2015-06-26 2021-05-18 Nec Corporation Image processing system, image processing method, and computer-readable recording medium
JPWO2016208142A1 (ja) * 2015-06-26 2018-04-12 日本電気株式会社 画像処理システム、画像処理方法、およびコンピュータ読取可能な記録媒体
JP2017046349A (ja) * 2015-08-27 2017-03-02 フルークコーポレイションＦｌｕｋｅ Ｃｏｒｐｏｒａｔｉｏｎ 可視光画像データ及び赤外線画像データの組合せシステム、熱画像カメラ、赤外線画像を強調する方法を実行する命令を記録したコンピュータ読み取り可能な記録媒体
US10152811B2 (en) 2015-08-27 2018-12-11 Fluke Corporation Edge enhancement for thermal-visible combined images and cameras
US10872448B2 (en) 2015-08-27 2020-12-22 Fluke Corporation Edge enhancement for thermal-visible combined images and cameras
WO2017090462A1 (ja) * 2015-11-27 2017-06-01 ソニー株式会社 情報処理装置、および情報処理方法、並びにプログラム
US10798307B2 (en) 2015-11-27 2020-10-06 Sony Semiconductor Solutions Corporation Information processing device, information processing method, and program
JP6351903B1 (ja) * 2016-10-14 2018-07-04 三菱電機株式会社 画像処理装置、画像処理方法、及び撮影装置
JPWO2018079372A1 (ja) * 2016-10-28 2019-09-12 京セラ株式会社 撮像装置、撮像システム、移動体、及び撮像方法
US10742890B2 (en) 2016-10-28 2020-08-11 Kyocera Corporation Imaging apparatus, imaging system, moving body, and imaging method
WO2018079372A1 (ja) * 2016-10-28 2018-05-03 京セラ株式会社 撮像装置、撮像システム、移動体、及び撮像方法
JP2020022088A (ja) * 2018-08-01 2020-02-06 キヤノン株式会社 撮像装置、制御方法、記録媒体、および、情報処理装置
JP7254461B2 (ja) 2018-08-01 2023-04-10 キヤノン株式会社 撮像装置、制御方法、記録媒体、および、情報処理装置

Also Published As

Publication number Publication date
US20100103268A1 (en) 2010-04-29

Similar Documents

Publication Publication Date Title
JP2010103740A (ja) デジタルカメラ
JP5460173B2 (ja) 画像処理方法、画像処理装置、画像処理プログラム、撮像装置
JP6259185B2 (ja) 撮像装置及びその制御方法、プログラム並びに記憶媒体
KR101427660B1 (ko) 디지털 영상 처리 장치에서 영상의 배경흐림 효과 처리장치 및 방법
JP6055681B2 (ja) 撮像装置
US9426372B2 (en) Imaging device and imaging method
US20170171446A1 (en) Image capturing apparatus, control method therefor, program, and recording medium
US20150036878A1 (en) Image processing apparatus and image processing method
JP2007142670A (ja) 画像処理システム、画像処理プログラム
WO2013032008A1 (ja) 画像処理装置、プログラム
JP7071084B2 (ja) 画像処理装置及び画像処理方法、プログラム、記憶媒体
KR101294735B1 (ko) 이미지 처리 방법 및 이를 이용한 촬영 장치
JP2011010194A (ja) ボカシ画像形成装置及びそれを備えたカメラ
JP2021182672A (ja) 画像処理装置、画像処理方法、及びプログラム
WO2016117137A1 (ja) 撮像装置、撮像方法、および画像表示装置
JP2019004230A (ja) 画像処理装置及び方法、及び撮像装置
JP6702752B2 (ja) 画像処理装置、撮像装置、制御方法及びプログラム
US10762600B2 (en) Image processing apparatus, image processing method, and non-transitory computer-readable recording medium
JPWO2019155757A1 (ja) 画像処理装置、画像処理方法及び画像処理システム
US11069031B2 (en) Image processing apparatus, control method for image processing apparatus, image pickup apparatus, and non-transitory computer-readable storage medium to control reflected color components of input image
US10051200B2 (en) Imaging apparatus and control method thereof
JP2007288573A (ja) クロマサプレス処理装置
JP2004088408A (ja) デジタルカメラ
JP4857856B2 (ja) 彩度調整機能を有する電子カメラ、および画像処理プログラム
KR20110060499A (ko) 디지털 영상 처리 장치 및 그 제어방법