JP3760943B2 - 撮像装置および動画のノイズ処理方法 - Google Patents

撮像装置および動画のノイズ処理方法 Download PDF

Info

Publication number
JP3760943B2
JP3760943B2 JP2004012162A JP2004012162A JP3760943B2 JP 3760943 B2 JP3760943 B2 JP 3760943B2 JP 2004012162 A JP2004012162 A JP 2004012162A JP 2004012162 A JP2004012162 A JP 2004012162A JP 3760943 B2 JP3760943 B2 JP 3760943B2
Authority
JP
Japan
Prior art keywords
moving image
noise
noise processing
image
subject
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2004012162A
Other languages
English (en)
Other versions
JP2005210215A (ja
Inventor
広明 久保
Original Assignee
コニカミノルタフォトイメージング株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by コニカミノルタフォトイメージング株式会社 filed Critical コニカミノルタフォトイメージング株式会社
Priority to JP2004012162A priority Critical patent/JP3760943B2/ja
Priority to US10/828,028 priority patent/US20050157188A1/en
Publication of JP2005210215A publication Critical patent/JP2005210215A/ja
Application granted granted Critical
Publication of JP3760943B2 publication Critical patent/JP3760943B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/681—Motion detection
    • H04N23/6811—Motion detection based on the image signal
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/81—Camera processing pipelines; Components thereof for suppressing or minimising disturbance in the image signal generation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/681—Motion detection
    • H04N23/6812—Motion detection based on additional sensors, e.g. acceleration sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/682—Vibration or motion blur correction
    • H04N23/685—Vibration or motion blur correction performed by mechanical compensation
    • H04N23/687—Vibration or motion blur correction performed by mechanical compensation by shifting the lens or sensor position
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Studio Devices (AREA)
  • Picture Signal Circuits (AREA)

Description

本発明は、被写体を撮像し、動画を構成するフレームを順次に生成する撮像装置の技術に関する。
デジタルカメラ(撮像装置)による動画撮影では、高画素化に伴って感度不足の傾向にあり、低照度時のノイズ増加は避けられない状況となっている。
そこで、低照度時の動画撮影を改善するための技術として、フレームレートを減少させてノイズ除去を図る技術が、例えば特許文献１に開示されている。
また、循環フィルタ(帰還フィルタ)を用いフレーム間の相関に基づいてノイズ除去を図る技術が、例えば特許文献２に開示されている。この帰還フィルタ処理を概念的に表した図１２を参照しつつ簡単に説明する。
図１２は、従来技術に係る循環フィルタ処理を説明するためのブロック図である。
撮像素子で生成された画像データ（ベイヤーデータ）は、画素補間部８１で画素補間され、画素補間された画像データは、色差マトリクス部８２で色空間が変換された後に２つの循環フィルタ部８３に入力される。そして、これらの循環フィルタ部８３における帰還フィルタ処理により、動画撮影でのノイズ除去が行われる。
特開２００３−８７６３３号公報 特開平６−３８０９８号公報
上記の特許文献１の技術では、低照度時の動画撮影においてフレームレートを低減させるため、１フレームの画像のブレが大きくなるとともに画像の追従性が悪くなり、被写体の動きが速いと滑らかな動画の取得が困難となる。
また、上記の特許文献２の技術では、低照度時の動画撮影において循環フィルタ処理を行うため、少ない帰還量でも一定のノイズ軽減が図れるものの、特許文献１の技術に比べて撮影された動画の品質が低下する。
本発明は、上記課題に鑑みてなされたものであり、低照度時の動画撮影において適切なノイズ除去の処理を行える撮像装置の技術を提供することを目的とする。
上記の課題を解決するため、請求項１の発明は、撮像装置であって、(a)被写体を撮像し、動画を構成するフレームを順次に生成する動画撮影手段と、(b)前記動画撮影手段で順次生成されたフレームの画像に帰還係数を乗じて第１ノイズ処理を行う循環フィルタ手段と、(c)前記動画撮影手段におけるフレームレートを低減させる第２ノイズ処理を行うフレームレート低減手段と、(d)所定の低照度撮影条件を満たす場合には、前記第１ノイズ処理および前記第２ノイズ処理のうち一方を選択可能にする選択手段と、(e)被写体の動きを検出する動体検出手段とを備え、前記選択手段は、前記被写体の動きに応じて、前記第１ノイズ処理および前記第２ノイズ処理のうち一方を選択する手段を有する。
また、請求項２の発明は、撮像装置であって、(a)被写体を撮像し、動画を構成するフレームを順次に生成する動画撮影手段と、(b)前記動画撮影手段で順次生成されたフレームの画像に帰還係数を乗じて第１ノイズ処理を行う循環フィルタ手段と、(c)前記動画撮影手段におけるフレームレートを低減させる第２ノイズ処理を行うフレームレート低減手段と、(d)所定の低照度撮影条件を満たす場合には、前記第１ノイズ処理および前記第２ノイズ処理のうち一方を選択可能にする選択手段と、(e)撮影レンズに係る焦点距離を変更する焦点距離変更手段を備え、前記選択手段は、前記焦点距離に応じて、前記第１ノイズ処理および前記第２ノイズ処理のうち一方を選択する手段を有する。
また、請求項３の発明は、撮像装置であって、(a)被写体を撮像し、動画を構成するフレームを順次に生成する動画撮影手段と、(b)前記動画撮影手段で順次生成されたフレームの画像に帰還係数を乗じて第１ノイズ処理を行う循環フィルタ手段と、(c)前記動画撮影手段におけるフレームレートを低減させる第２ノイズ処理を行うフレームレート低減手段と、(d)所定の低照度撮影条件を満たす場合には、前記第１ノイズ処理および前記第２ノイズ処理のうち一方を選択可能にする選択手段と、(e)三脚が接続される接続部と、(f)前記接続部に対する三脚の接続の有無を検出する三脚検出手段とを備え、前記選択手段は、前記三脚の接続の有無に応じて、前記第１ノイズ処理および前記第２ノイズ処理のうち一方を選択する手段を有する。
また、請求項４の発明は、動画のノイズ処理方法であって、被写体を撮像し、動画を構成するフレームを順次に生成する動画撮影工程と、所定の低照度撮影条件を満たす場合には、前記動画撮影工程において順次生成されたフレームの画像に帰還係数を乗じる第１ノイズ処理、および前記動画撮影工程におけるフレームレートを低減させる第２ノイズ処理のうち一方を選択可能にする選択工程と、被写体の動きを検出する動体検出工程とを備え、前記選択工程は、前記被写体の動きに応じて、前記第１ノイズ処理および前記第２ノイズ処理のうち一方を選択する工程を有する。
また、請求項５の発明は、動画のノイズ処理方法であって、被写体を撮像し、動画を構成するフレームを順次に生成する動画撮影工程と、所定の低照度撮影条件を満たす場合には、前記動画撮影工程において順次生成されたフレームの画像に帰還係数を乗じる第１ノイズ処理、および前記動画撮影工程におけるフレームレートを低減させる第２ノイズ処理のうち一方を選択可能にする選択工程と、撮影レンズに係る焦点距離を変更する焦点距離変更工程とを備え、前記選択工程は、前記焦点距離に応じて、前記第１ノイズ処理および前記第２ノイズ処理のうち一方を選択する工程を有する。
また、請求項６の発明は、動画のノイズ処理方法であって、三脚が接続される接続部を有する撮像装置で被写体を撮像し、動画を構成するフレームを順次に生成する動画撮影工程と、所定の低照度撮影条件を満たす場合には、前記動画撮影工程において順次生成されたフレームの画像に帰還係数を乗じる第１ノイズ処理、および前記動画撮影工程におけるフレームレートを低減させる第２ノイズ処理のうち一方を選択可能にする選択工程と、前記接続部に対する三脚の接続の有無を検出する三脚検出工程とを備え、前記選択工程は、前記三脚の接続の有無に応じて、前記第１ノイズ処理および前記第２ノイズ処理のうち一方を選択する工程を有する。
請求項１ないし請求項６の発明によれば、所定の低照度撮影条件を満たす場合には、順次生成されたフレームの画像に帰還係数を乗じる第１ノイズ処理、およびフレームレートを低減させる第２ノイズ処理のうち一方を選択可能にする。その結果、低照度時の動画撮影において適切なノイズ除去の処理を行える。
また、請求項１および請求項４の発明においては、被写体の動きに応じて第１ノイズ処理および第２ノイズ処理のうち一方を選択するため、ノイズ除去処理の切替えを適切に行える。
また、請求項２および請求項５の発明においては、焦点距離に応じて第１ノイズ処理および第２ノイズ処理のうち一方を選択するため、ノイズ除去処理の切替えを適切に行える。
また、請求項３および請求項６の発明においては、三脚の接続の有無に応じて第１ノイズ処理および第２ノイズ処理のうち一方を選択するため、ノイズ除去処理の切替えを適切に行える。
＜第１実施形態＞
＜撮像装置の要部構成＞
図１は、本発明の第１実施形態に係る撮像装置１Ａの要部構成を示す図である。ここで、図１(ａ)〜(ｃ)は、それぞれ撮像装置１Ａの正面図、背面図および上面図に相当している。
撮像装置１Ａは、デジタルカメラとして構成されており、撮影レンズ１０を備えている。また、撮像装置１Ａの前面には、被写体に関する測光を行って、輝度信号を生成する測光センサ１１が設けられている。
撮像装置１Ａは、その上面にモード切替スイッチ１２とシャッターボタン１３とＮＲモード選択スイッチ１７とが設けられている。
モード切替スイッチ１２は、被写体を撮像してその静止画を記録する静止画撮影モード（ＲＥＣモード）と、動画撮影を行う動画モード（ＭＯＶＥモード）と、メモリカード９(図２参照)に記録された画像を再生する再生モード（ＰＬＡＹモード）とを切替えるためのスイッチである。
シャッターボタン１３は、半押し状態(Ｓ１オン)と、さらに押し込まれた全押し状態(Ｓ２オン)とを検出可能な２段階スイッチになっている。上記の静止画撮影モードにおいてシャッターボタン１３が半押しされると、ズーム・フォーカスモータドライバ４７(図２参照)が駆動されて、合焦位置に撮影レンズ１０を移動させる動作が行われる。一方、静止画撮影モードにおいてシャッターボタン１３が全押しされると、本撮影動作、つまり記録用の撮影動作が行われる。
ＮＲ(ノイズリダクション)モード選択スイッチ１７は、低照度時の動画撮影において循環フィルタ処理(後述)を利用したノイズ除去処理「ＮＲ１」と、マルチフレーム露光（後述）によるノイズ除去処理「ＮＲ２」と、２種類のノイズ処理ＮＲ１、ＮＲ２を状況に応じて自動的に選択する「Ａｕｔｏ」とを切替えるためのスイッチであり、操作入力を受付ける入力手段として機能する。
撮像装置１Ａの背面には、撮影された画像などを表示するＬＣＤ(Liquid Crystal Display)モニタ４２と、電子ビューファインダー(ＥＶＦ)４３と、手ブレ補正スイッチ１４と、コマ送り・ズームスイッチ１５とが設けられている。
手ブレ補正スイッチ１４は、手ブレセンサ４９(図２)で検出される手ブレが撮影に悪影響を及ぼさないように手ブレ補正アクチュエータドライバ４８(図２)を駆動させて手ブレ補正を行う手ブレ補正モードに設定するためのスイッチである。ここで、撮像センサ１６は、例えばリニア駆動を行う２つのアクチュエータによって、撮影レンズ１０の光軸に直交する方向に２次元の移動が可能となっている。
コマ送り・ズームスイッチ１５は、４つのボタンで構成され、再生モードにおける記録画像のコマ送りや、撮影時のズーミングを指示するためのスイッチである。このコマ送り・ズームスイッチ１５の操作により、ズーム・フォーカスモータドライバ４７が駆動されて、撮影レンズ１０に関する焦点距離を変更できる。
図２は、撮像装置１Ａの機能ブロックを示す図である。
撮像装置１Ａは、撮像センサ１６と、撮像センサ１６にデータ伝送可能に接続する信号処理部２と、信号処理部２に接続する画像処理部３と、画像処理部３に接続するカメラ制御部４０Ａとを備えている。
撮像センサ１６は、Ｒ(赤)、Ｇ(緑)、Ｂ(青)の原色透過フィルターがピクセル単位に市松状に配列(ベイヤー配列)されたエリアセンサ(撮像素子)として構成されており、全画素読み出しタイプである。この撮像センサ１６は、被写体を撮像し、動画を構成するフレームをＲＡＷ画像データ(ベイヤーデータ)として順次に生成する動画撮影手段として機能する。
信号処理部２は、ＣＤＳ２１とＡＧＣ２２とＡ／Ｄ変換部２３とを有している。
撮像センサ１６で取得され出力されるアナログ画像信号は、ＣＤＳ２１でサンプリングされノイズが除去された後、ＡＧＣ２２により撮影感度に相当するアナログゲインが乗算されて感度補正が行われる。
Ａ／Ｄ変換部２３は、１４ビットの変換器として構成されており、ＡＧＣ２２で正規化されたアナログ信号をデジタル化する。デジタル変換された画像信号は、画像処理部３で所定の画像処理が施されて画像ファイルが生成される。
画像処理部３は、ＲＡＷ加算部３０およびデジタル処理部３ｐと画像圧縮部３５とを備えている。また、画像処理部３は、測距演算・動き検出部３６とＯＳＤ部３７とビデオエンコーダー３８とメモリカードドライバ３９とを備えている。
デジタル処理部３ｐは、画素補間部３１と解像度変換部３２とホワイトバランス制御部３３とガンマ補正部３４とを有している。
画像処理部３に入力された画像データは、撮像センサ１６の読出しに同期し画像メモリ４１に書込みまれる。以後は、この画像メモリ４１に格納された画像データにアクセスし、画像処理部３で各種の処理が行われる。
画像メモリ４１内の画像データは、まずホワイトバランス制御部３３によりＲＧＢ各画素が独立にゲイン補正され、ＲＧＢのホワイトバランス補正が行われる。このホワイトバランス補正では、撮影被写体から本来白色となる部分を輝度や彩度データ等から推測し、その部分のＲ、Ｇ、Ｂそれぞれの平均値とＧ／Ｒ比およびＧ／Ｂ比とを求め、これらの情報に基づいてＲおよびＢの補正ゲインとして制御される。
ホワイトバランス補正された画像データは、画素補間部３１でＲＧＢ各画素をそれぞれのフィルターパターンでマスキングした後、高帯域まで画素値を有するＧ画素については、メディアン(中間値)フィルタで周辺４画素の中間２値の平均値に置換する。また、Ｒ画素およびＢ画素に関しては、周囲の９画素で同色に対して平均補間する。
画素補間された画像データは、ガンマ補正部３４で各出力機器に合った非線形変換、具体的にはガンマ補正およびオフセット調整が行われ、画像メモリ４１に格納される。
そして、画像メモリ４１に格納された画像データは、解像度変換部３２で設定された画素数に水平垂直の縮小または間引きが行われ、画像圧縮部３５で圧縮処理を行った後、メモリーカードドライバ３９にセットされるメモリーカード９に記録される。この画像記録時には、指定された解像度の撮影画像が記録されるとともに、再生表示用のスクリーンネイル画像(ＶＧＡ)が作成され、上記の撮影画像にリンクさせて記録される。そして、画像再生時には、スクリーンネイル画像をＬＣＤモニタ４２に表示することで高速な画像表示が可能となる。
また、解像度変換部３２では、画像表示時についても画素間引きを行って、ＬＣＤモニタ４２やＥＶＦ４３に表示するための低解像度画像を作成する。プレビュー時には、画像メモリ４１から読出された６４０×２４０画素の低解像度画像がビデオエンコーダ３８でＮＴＳＣ／ＰＡＬにエンコードされ、これをフィールド画像としてＬＣＤモニタ４２やＥＶＦ４３で画像再生が行われる。
測距演算・動き検出部３６では、画像を複数のブロックに分割してブロックごとにＢＰＦ処理を行うことにより合焦域の周波数成分を抽出し、これを各フレーム単位で比較することでフォーカスレンズの駆動が行われる。そして、このようなビデオ(映像)ＡＦが行われて合焦が完了した後には、各ブロックにおける評価値の変移量によって被写体の移動を検出し、再びＡＦの制御が行われることとなる。
このＡＦ評価値については、ＡＦ動作時において測距ターゲットが移動した場合には、低い値となり、一定の合焦状態に移行した場合には、高い値が出力される。このような特性のＡＦ評価値を利用することによって、被写体の動きが検出できることとなる。
ＯＳＤ(オン・スクリーン・ディスプレイ)部３７は、各種の文字、記号およびフレーム等を生成し、表示画像の任意位置に重ねることが可能である。このＯＳＤ部３７により、ＬＣＤモニタ４２には各種の文字、記号およびフレーム等が必要に応じて表示できる。
カメラ制御部４０Ａは、ＣＰＵおよびメモリを備え、撮像装置１Ａの各部を統括的に制御する部位である。具体的には、上記のモード切替スイッチ１２やシャッターボタン１３などを有するカメラ操作スイッチ５０に対して撮影者が行う操作入力を処理する。また、カメラ制御部４０Ａは、撮影者によるモード設定スイッチ１２の操作により、被写体を撮像してその画像データを記録する静止画撮影モードや動画モード、再生モードへの切替えを行う。
三脚検出部５１は、撮像装置１Ａの下面に設けられている三脚穴５２（図１(ａ)(ｂ)に破線で図示）に三脚が取り付けられたことを検出する部位である。すなわち、三脚検出部５１は、三脚が接続される三脚穴(接続部)５２に対する三脚の接続の有無を検知する三脚検出手段として機能する。
撮像装置１Ａは、本撮影前の撮影準備状態において被写体を動画的態様でＬＣＤモニタ４２に表示するプレビュー表示(ライブビュー表示)時には、絞り４４の光学絞りが絞りドライバー４５によって開放固定となる。また、シャッタースピード(ＳＳ)に相当する撮像センサ１６の電荷蓄積時間（露光時間）に関しては、撮像センサ１６で取得したライブビュー画像に基づき、カメラ制御部４０Ａが露出制御データを演算する。そして、算出された露出制御データに基づいて予め設定されたプログラム線図により、撮像センサ１６の露光時間が適正となるようにタイミングジェネレーターセンサドライバー４６に対するフィードバック制御が行われる。
そして、撮像センサ１６において電荷蓄積が完了すると、光電変換された信号は遮光された撮像センサ１６内の転送路にシフトされ、転送路からバッファを介して読出しが行われる。
以上のような構成を有する撮像装置１Ａにおいては、低照度時の動画撮影において２種類のノイズ除去処理を行えるようになっているが、これらのノイズ処理について以下で詳しく説明する。
＜循環フィルタ処理(ＮＲ１)について＞
図３は、撮像装置１Ａにおける循環フィルタ処理を説明するための図である。
撮像装置１Ａでは、画像処理部３に黒補正部２４と傷補正部２５と循環フィルタ部２６とシェーディング補正部２７とホワイトバランス(ＷＢ)アンプ部２８とが設けられている。これらの各部においては、撮像センサ１６で生成され信号処理部２から出力されたデジタル信号のＲＡＷ画像データに対する画像処理が行われる。このＲＡＷ画像データとは、撮像センサ１６から出力された画像データであって画素補間前の画像データのことをいう。
また、画像処理部３には、図２に示す画素補間部３１およびガンマ補正部３４の他に、例えば３×３行列(マトリクス)を用いて色補正などを行うマトリクス部６１および色差マトリクス部６２と、輪郭補正部６３とが設けられている。
黒補正部２４は、撮像センサ１６で生成されたフレームのＲＡＷ画像データに対して黒レベル補正を行う部位である。
傷補正部２５は、撮像センサ１６で生成されたフレームのＲＡＷ画像データにおいて傷、すなわち画素欠陥が存在する場合に、この画素欠陥の補正を行う部位である。
循環フィルタ部２６は、相関検出部２６１とアンプ部２６２と加算部２６３と帰還アンプ部２６４とフレーム遅延部２６５とを有している。
この循環フィルタ部２６では、フレームメモリを有して画像データを保持するフレーム遅延部２６５から出力された１フレーム前の画像に帰還アンプ部２６４でゲイン係数(帰還係数)を乗算した信号と、現在のフレーム画像にアンプ部２６２で設定されるゲイン係数を乗算した信号とを加算部２６３で加算する。すなわち、循環フィルタ部２６では、撮像センサ１６で生成された現フレームのＲＡＷ画像と１フレーム前のＲＡＷ画像との差分に、帰還係数を乗じて現フレームのＲＡＷ画像から減じるノイズ処理(第１ノイズ処理)が行われることとなる。
上記の帰還アンプ部２６４の帰還係数は、現在のフレーム画像と前フレームの画像との相関に応じて決定される。具体的には、フレーム間の相関が大きい場合、帰還アンプ部２６４の帰還係数を大きくとって帰還量を多くし相関のないノイズを抑制する。一方、フレーム間の相関が小さい場合に帰還係数を大きくすると画像のブレが生じるため、フレーム相関が小さい場合には、帰還係数を小さくして帰還量を少なくし、画像の劣化を最小限に抑える。
この帰還係数の制御については、相関検出部２６１においてＡＦ評価値に基づくフレーム間の相関が求められ、この相関に応じた帰還係数が設定される。
シェーディング補正部２７は、循環フィルタ部２６でフィルタ処理が行われたフレームのＲＡＷ画像データに対して、撮影レンズ１０などによって画像の中央部と周辺部とで光量が異なること、具体的には周辺部が暗くなることを補正する部位である。このシェーディング補正部２７では、画像の各部において異なる増幅率で増幅する処理が行われる。
ＷＢアンプ部２８は、上述したホワイトバランス制御部３３に対応する部位で、循環フィルタ部２６でフィルタ処理が行われたフレームのＲＡＷ画像データに対してＲＧＢのホワイトバランス補正が行われる。
ＷＢアンプ部２８でホワイトバランス補正が行われたフレームのＲＡＷ画像データは、画素補間部３１で画素補間され、マトリクス部６１でマトリクス演算が行われる。そして、ガンマ補正部３４においてガンマ補正が施され、色差マトリクス部６２で輝度信号(Ｙ)と色差信号(Ｃ)とに変換された後に、輪郭補正部６３で輪郭補正が行われる。
撮像装置１Ａでは、上述した循環フィルタ部２６により、低照度時の動画撮影においてノイズ除去処理ＮＲ１が行えることとなる。
図４は、撮像装置１Ａにおける循環フィルタ処理の動作を示すフローチャートである。本動作は、カメラ制御部４０Ａによって実行される。
ステップＳ１では、帰還係数をデフォルト値(例えば０.２)にセットする。すなわち、循環フィルタ部２６の帰還アンプ部２６４におけるゲイン係数を初期値に設定する。
ステップＳ２では、ＶＧＡ画像を動画像として読み出す。すなわち、撮像センサ１６からフレーム画像の読出しが行われる。
ステップＳ３では、ステップＳ２で読み出された画像データに基づき、露光量の演算を行い、最適なシャッター速度、絞り値(Ｆｎｏ)およびＡＧＣ部２２のＡＧＣゲインを算出する。
ステップＳ４では、ステップＳ３で算出された絞り値に基づき、絞り４４の光学絞りが絞りドライバー４５によって駆動される。
ステップＳ５では、ステップＳ３で算出されたＡＧＣゲインに基づき、ＡＧＣ２２のゲイン係数がセットされる。
ステップＳ６では、ＡＧＣ２２における設定ゲインが所定値Ｒｅｆ１より大きいかを判定する。ここで、撮影感度に相当するＡＧＣゲインが所定値Ｒｅｆ１より大きい場合には、低照度時と判断してステップＳ７に進み、所定値Ｒｅｆ１以下である場合には、ステップＳ１３に進む。
ステップＳ７では、測距演算・動き検出部３６で算出されたＡＦ評価値が所定値Ｒｅｆ２より大きいかを判定する。これは、ＡＦ評価値が一定以上である場合には、上述したように、ある程度被写体が静止していると判断できるため、この場合に循環フィルタ部２６におけるフィルタ処理を積極的に行わせるようにするための判定動作となる。ここで、ＡＦ評価値が所定値Ｒｅｆ２より大きい場合には、ステップＳ８に進み、所定値Ｒｅｆ２以下である場合には、ステップＳ１３に進む。
ステップＳ８では、ＡＦ評価値に基づくフレーム間の相関度が高いか否かを判定する。ここで、相関度が高い場合には、ステップＳ９に進み、相関度が低い場合には、ステップＳ１０に進む。
ステップＳ９では、帰還アンプ部２６４の帰還係数を増加させる。この場合、例えば帰還係数が０.１加算される。
ステップＳ１０では、帰還アンプ部２６４の帰還係数を減少させる。この場合、例えば帰還係数が０.１減算される。
ステップＳ１１では、帰還係数のリミッタ処理を行う。すなわち、帰還係数が上限値（例えば０.８）より大きい場合には、この上限値に制限され、帰還係数が下限値(例えば０)より小さい場合には、この下限値に制限される。これにより、過剰なフィードバックが抑制され、適切なノイズ除去を行えることとなる。
ステップＳ１２では、循環フィルタ部２６により循環フィルタ処理を行う。
ステップＳ１３では、帰還アンプ部２６４の帰還係数をデフォルト値(例えば０.２)にセットする。
ステップＳ１４では、フレームの画像データに対して画像処理部３で撮像処理を行う。
ステップＳ１５では、ビデオ画像(動画)が出力される。
ステップＳ１６では、ステップＳ１５で出力されたビデオ画像が、ＬＣＤモニタ４２などの表示部に表示される。
ステップＳ１７では、動画撮影を終了したかを判定する。具体的には、動画撮影を終了させるためのシャッターボタン１３への操作が撮影者によって行われたかを判断する。ここで、動画撮影を終了しない場合には、ステップＳ２に戻って動画撮影を継続する。
＜マルチフレーム露光(ＮＲ２)について＞
撮像装置１Ａでは、低照度時の動画撮影におけるノイズ処理ＮＲ２として、マルチフレーム露光を行えるようになっている。
このマルチフレーム露光においては、タイミングジェネレータセンサードライバー４６の制御により動画撮影のフレームレートを低減させて、撮像センサ１６の露光時間を長くするノイズ処理(第２ノイズ処理)が行われる。そして、この際には、撮影時の感度を一定に抑える、つまり信号処理部２のＡＧＣ２２のアンプゲインを低くできるため、ノイズ低減を図れることとなる。マルチフレーム露光では、低照度時において撮像センサ１６の露光量を多く確保して適正露光とする必要があるため、例えば絞り４４を開放の状態で、かつ撮像センサ１６の電荷蓄積時間が複数のフレームに渡る時間(マルチフレーム露光)に設定されることとなる。
以上のような２種類のノイズ処理ＮＲ１、ＮＲ２を行える撮像装置１Ａの動作を以下で説明する。
＜撮像装置１Ａの動作＞
図５は、撮像装置１Ａの基本的な動作を示すフローチャートである。本動作は、カメラ制御部４０Ａによって実行される。
ステップＳ２１〜Ｓ２４では、図４のフローチャートに示すステップＳ２〜Ｓ５と同様の動作を行う。
ステップＳ２５では、動画撮影に設定されているかを判定する。具体的には、モード切替スイッチ１２が動画モードに選択されているかを判断する。ここで、動画撮影に設定されている場合には、ステップＳ２６に進み、動画撮影に設定されていない場合には、ステップＳ３２に進む。
ステップＳ２６では、動画ＮＲが自動設定となっているかを判定する。すなわち、ＮＲモード選択スイッチ１７が、「Ａｕｔｏ」に設定されているか否かを判断する。ここで、動画ＮＲが自動設定となっている場合には、ステップＳ２７ａに進み、自動設定となっていない場合には、ステップＳ２７ｂに進む。
ステップＳ２７ａでは、ＡＧＣ２２における設定ゲインが所定の閾値Ｒｅｆ１より大きいかを判定する。ここで、撮影感度に相当するＡＧＣゲインが所定値Ｒｅｆ１より大きい場合には、低照度と判断してステップＳ２８に進み、所定値Ｒｅｆ１以下である場合には、ステップＳ３２に進む。
ステップＳ２７ｂでは、ステップＳ２７ａと同様にＡＧＣ２２における設定ゲインが所定の閾値Ｒｅｆ１より大きいかを判定する。ここで、ＡＧＣゲインが所定値Ｒｅｆ１より大きい場合には、Ｓ２９に進み、所定値Ｒｅｆ１以下である場合には、ステップＳ３２に進む。
上記のステップＳ２７ａおよびステップＳ２７ｂの動作により、ＡＧＣゲインが所定値Ｒｅｆ１より大きいという低照度撮影条件を満たす場合には、ステップＳ３０で行われる循環フィルタ処理(第１ノイズ処理)と、ステップＳ３１で行われるマルチフレーム露光(第２ノイズ処理)との一方を選択できることとなる。
ステップＳ２８では、撮影レンズ１０の焦点距離が望遠に設定されているかを判定する。この望遠の設定とは、例えば１３５ｍｍ換算で８５ｍｍ以上、好ましくは１００ｍｍ以上に設定されていることをいう。
循環フィルタ処理の場合には、帰還係数の大小によって画像のブレ量(流れ量)をコントロールできるため、手ブレが生じやすい望遠でも扱い易い。一方、望遠においてマルチフレーム露光を行う場合には、各フレームの露光時間が長くなるために画像のブレを生じやすく、またフレームレートも低くなるため、ブレによる画像の乱れも目立ち易くなる。
逆に、望遠でないワイドな画角の場合には、被写体のブレが発生しにくいため、実効感度を下げるマルチフレーム露光の方が１フレームごとのクオリティが上がり、画質の向上が図れる。
以上のような理由により、ステップＳ２８では望遠設定の有無を判断している。
そして、ステップＳ２８において、望遠の焦点距離に設定されている場合には、ステップＳ３０に進み、望遠の焦点距離に設定されていない場合には、ステップＳ３１に進む。
これにより、焦点距離に応じて循環フィルタ処理(第１ノイズ処理)およびマルチフレーム露光(第２ノイズ処理)のうち一方が選択されて、ノイズ処理が切替えられることとなる。
ステップＳ２９では、動画撮影時のノイズ処理として、マニュアルで循環フィルタ処理が選択されているかを判定する。すなわち、ＮＲモード選択スイッチ１７が、「ＮＲ１」に設定されているか否かを判断する。ここで、循環フィルタ処理が選択されている場合には、ステップＳ３０に進み、循環フィルタ処理ではなくマルチフレーム露光が選択されている場合には、ステップＳ３１に進む。
上記のステップＳ２９において、ＮＲモード選択スイッチ１７に対する操作入力に応じて循環フィルタ処理(第１ノイズ処理)およびマルチフレーム露光(第２ノイズ処理)のうち一方が選択されることとなる。これにより、撮影者の意図したノイズ処理を行える。
ステップＳ３０では、循環フィルタ処理を行う。
ステップＳ３１では、上述したマルチフレーム露光を行う。
ステップＳ３２〜Ｓ３５では、図４のフローチャートに示すステップＳ１４〜Ｓ１７と同様の動作を行う。
以上のように撮像装置１Ａでは、望遠設定の有無、つまり撮影レンズ１０の焦点距離に応じて循環フィルタ処理またはマルチフレーム露光が選択されるため、画像の乱れなどの発生を防止しつつ最適なノイズ低減処理が可能となる。
なお、上記のステップＳ２８においては、閾値の焦点距離を境にして厳格に循環フィルタ処理(ステップＳ３０)とマルチフレーム露光(ステップＳ３１)との切替えを行うのは必須でなく、ヒステリシスを持たせて切替るようにしても良い。例えば８５ｍｍ以上を超える焦点距離から徐々に低下して閾値の焦点距離である８５ｍｍ以下となっても、例えば７０ｍｍまでは循環フィルタ処理の状態を維持するノイズ制御を行うようにする。これにより、閾値の焦点距離を中心に焦点距離が変動しても、循環フレーム処理とマルチフレーム露光との切替えが頻繁に発生せず、スムーズなノイズ除去処理が行えることとなる。
また、第１実施形態の撮像装置１Ａについては、以下で説明する図６のフローチャートに示す動作を行うようにしても良い。
図６に示すフローチャートは、図５に示すフローチャートに対してステップＳ３６の動作が追加されている。
このステップＳ３６では、三脚の固定が検出されたかを判定する。具体的には、三脚検出部５１で、三脚が三脚穴５２に取付けられたことが検出されたか否かを判断する。ここで、三脚の固定が検出された場合には、ステップＳ３１に進み、マルチフレーム露光を行う。一方、三脚の固定が検出されない場合には、ステップＳ３０に進んで、循環フィルタ処理を行う。
これにより、三脚の接続の有無に応じて循環フィルタ処理(第１ノイズ処理)およびマルチフレーム露光(第２ノイズ処理)のうち一方が選択されることとなる。
以上のように三脚取付けの有無を判断することにより、望遠に設定される場合であっても三脚の固定が検出された場合には手ブレの要因が解消されるため、マルチフレーム露光によって適切なノイズ除去を行える。
＜第２実施形態＞
本発明の第２実施形態に係る撮像装置１Ｂについては、図１および図２に示すように、第１実施形態の撮像装置１Ａと類似の構成を有しているが、カメラ制御部が異なっている。
すなわち、撮像装置１Ｂのカメラ制御部４０Ｂでは、被写体の動きに応じて第１実施形態で説明した循環フィルタ処理とマルチフレーム露光とを切替える動作を行うためのプログラムがメモリに格納されている。この動作について、以下で説明する。
＜撮像装置１Ｂの動作＞
図７は、撮像装置１Ｂの基本的な動作を示すフローチャートである。本動作は、カメラ制御部４０Ｂによって実行される。
ステップＳ４１〜Ｓ４７ａおよびＳ４７ｂでは、図５のフローチャートに示すステップＳ２１〜Ｓ２７ａおよびＳ２７ｂと同様の動作を行う。
ステップＳ４８では、動体が検出されたかを判定する。具体的には、測距演算・動き検出部３６において、人物などの主被写体の移動が検出されたか否かを判断する。
このように動体の検出を判断するのは、動体の場合には被写体の動きに強い循環フィルタ処理を選択し、動体でない場合つまり静止被写体の場合には、マルチフレーム露光を選択させるためである。これにより、動画撮影時における被写体の移動によるブレに起因するノイズを低減できることとなる。
このステップＳ４８において、動体が検出された場合には、ステップＳ５０に進み、動体が検出されない場合には、ステップＳ５１に進む。これにより、被写体の動きに応じて、循環フィルタ処理(第１ノイズ処理)およびマルチフレーム露光(第２ノイズ処理)のうち一方が選択されることとなる。
ステップＳ４９〜Ｓ５５では、図５のフローチャートに示すステップＳ２９〜Ｓ３５と同様の動作を行う。
以上のように撮像装置１Ｂでは動体の検出に応じて循環フィルタ処理およびマルチフレーム露光のうち一方を選択するため、最適なノイズ低減処理が可能となる。
＜第３実施形態＞
本発明の第３実施形態に係る撮像装置１Ｃについては、図１および図２に示すように、第１実施形態の撮像装置１Ａと類似の構成を有しているが、カメラ制御部が異なっている。
すなわち、撮像装置１Ｃのカメラ制御部４０Ｃでは、撮影モードによって２種類のノイズ低減処理を適切に選択するためのプログラムがメモリに格納されている。
２種類のノイズ低減処理については、第１実施形態で説明した循環フィルタ処理と、マルチフレーム露光によるノイズ低減処理とが選択可能となっている。そして、撮像装置１Ｃでは、撮影モード（スポーツモード、夜景モード、マクロモード）の設定状態に応じて上記の２種類のノイズ処理の切替えが可能となっている。
上記の撮影モードについては、例えばＬＣＤモニタ４２に表示されるメニュー画面において、コマ送り・ズームスイッチ１５に対する撮影者の操作により、「スポーツモード」、「夜景モード」および「マクロモード」の各撮影モードが設定可能となっている。すなわち、撮影者は、コマ送り・ズームスイッチ１５の操作によって複数の撮影モードを選択的に指定できることとなる。
＜撮像装置１Ｃの動作＞
図８は、撮像装置１Ｃの基本的な動作を示すフローチャートである。本動作は、カメラ制御部４０Ｃによって実行される。
ステップＳ６１〜Ｓ６７ａおよびＳ６７ｂでは、図５のフローチャートに示すステップＳ２１〜Ｓ２７ａおよびＳ２７ｂと同様の動作を行う。
ステップＳ６８では、スポーツモードに設定されているかを判定する。具体的には、ＬＣＤモニタ４２に表示されるメニュー画面において、「スポーツモード」が選択されたかを判断する。
ここで、スポーツモードの設定を判断するのは、スポーツモードが選択された場合には高速シャッターが優先されるため、露光時間が複数のフレームに渡るマルチフレーム露光を行わずに、循環フィルタ処理によるノイズ除去を行うためである。
ステップＳ６８において、スポーツモードに設定されている場合には、ステップＳ７２に進み、スポーツモードに設定されていない場合には、ステップＳ６９に進む。
ステップＳ６９では、夜景モードに設定されているかを判定する。具体的には、ＬＣＤモニタ４２に表示されるメニュー画面において、「夜景モード」が選択されたかを判断する。
ここで、夜景モードの設定を判断するのは、一般に手ブレが生じやすい夜景モードが選択された場合には三脚の使用が想定されるので、循環フィルタ処理でなくマルチフレーム露光によってノイズ除去を行うのが好ましいためである。
ステップＳ６９において、夜景モードに設定されている場合には、ステップＳ７３に進み、夜景モードに設定されていない場合には、ステップＳ７０に進む。
ステップＳ７０では、マクロモードに設定されているかを判定する。具体的には、ＬＣＤモニタ４２に表示されるメニュー画面において、「マクロモード」が選択されたかを判断する。
ここで、マクロモードの設定を判断するのは、一般に手ブレが生じやすいマクロモードが選択された場合には三脚の使用が想定されるので、循環フィルタ処理でなくマルチフレーム露光によってノイズ除去を行うのが好ましいためである。
ステップＳ７０において、マクロモードに設定されている場合には、ステップＳ７３に進み、マクロモードに設定されていない場合には、ステップＳ７２に進む。
以上のステップＳ６８〜Ｓ７０の動作により、指定される撮影モードに応じて、循環フィルタ処理(第１ノイズ処理)およびマルチフレーム露光(第２ノイズ処理)のうち一方が選択されることとなる。
ステップＳ７１〜Ｓ７７では、図５のフローチャートに示すステップＳ２９〜Ｓ３５と同様の動作を行う。
以上のように撮像装置１Ｃでは、設定される撮影モードに応じて循環フィルタ処理およびマルチフレーム露光のうち一方を選択するため、最適なノイズ低減処理が可能となる。
＜第４実施形態＞
本発明の第４実施形態に係る撮像装置１Ｄについては、図１および図２に示すように、第１実施形態の撮像装置１Ａと類似の構成を有しているが、循環フィルタ部の構成が異なっている。
すなわち、撮像装置１Ｄの循環フィルタ部２６では、図３に示す相関検出部２６１において、第１実施形態のようにＡＦ評価値だけではなく手ブレセンサ４９の計測値(検出値)に基づき帰還係数が設定される。
このような循環フィルタ部２６を有する撮像装置１Ｄの循環フィルタ処理(ＮＲ１)の動作を以下で説明する。
＜循環フィルタ処理(ＮＲ１)について＞
図９は、撮像装置１Ｄにおける循環フィルタ処理の動作を示すフローチャートである。本動作は、カメラ制御部４０Ｄによって実行される。
ステップＳ８１〜Ｓ８７では、図４のフローチャートに示すステップＳ１〜Ｓ７と同様の動作を行う。
ステップＳ８８では、手ブレ補正がオンであるかを判定する。具体的には、手ブレ補正スイッチ１４が押下され、手ブレ補正モードに設定されているかを判断する。ここで、手ブレ補正がオンである場合には、ステップＳ８９に進み、オンでない場合には、ステップＳ９０に進んで帰還係数を０にセットする。
ステップＳ８９では、手ブレセンサ４９で検出される手ブレの検出値が所定の閾値Ｒｅｆ３より小さいかを判定する。この際には、ステップＳ８７においてＡＦ評価値が所定値Ｒｅｆ２を超えているため、被写体はある程度静止しているものと推測できる。よって、手ブレの検出値が所定値Ｒｅｆ３より小さい場合には、フレーム相関が高いと判断できるため、ステップＳ９１にて帰還係数を増加させる。一方、手ブレ検出値が所定値Ｒｅｆ３以上である場合には、手ブレによる帰還処理のエラーが生じるため、ステップＳ９２にて帰還係数を減少させることとする。
ステップＳ９１〜Ｓ９９では、図４のフローチャートに示すステップＳ９〜Ｓ１７と同様の動作を行う。
そして、低照度時の動画撮影において、上述した循環フィルタ処理とマルチフレーム露光とを選択可能とすることで、第１実施形態ないし第３実施形態と同様の効果を発揮することとなる。
＜第５実施形態＞
本発明の第５実施形態に係る撮像装置１Ｅについては、図１および図２に示すように、第１実施形態の撮像装置１Ａと類似の構成を有しているが、循環フィルタ部の構成が異なっている。
すなわち、撮像装置１Ｅの循環フィルタ部２６では、図３に示す相関検出部２６１において、撮影レンズ１０の焦点距離に応じた帰還係数が設定される。
撮影レンズ１０の焦点距離(画角)によって手ブレの発生レベルは異なるため、長焦点距離の場合には、手ブレによる小刻みな被写体のブレが生じると想定される。そして、この手ブレにより前後のフレーム間の相関が小さくなる場合に帰還係数を大きくすると、画像の劣化が生じてしまう。そこで、後述のように、撮像装置１Ｅでは、撮影時の焦点距離に応じた帰還係数の設定、例えば１３５ｍｍ換算で３０ｍｍ未満、３０〜５０ｍｍ、および５０〜１００ｍｍの各焦点距離の条件で、帰還アンプ部２６４の帰還係数を０.８、０.５、および０.２に設定して、循環フィルタ処理を行うこととする。これにより、適切な帰還係数を簡易に決定できる。
このような循環フィルタ部２６を有する撮像装置１Ｅの循環フィルタ処理(ＮＲ１)の動作を以下で説明する。
＜循環フィルタ処理(ＮＲ１)について＞
図１０は、撮像装置１Ｅにおける循環フィルタ処理の動作を示すフローチャートである。本動作は、カメラ制御部４０Ｅによって実行される。
ステップＳ１０１〜Ｓ１０５では、図４のフローチャートに示すステップＳ２〜Ｓ６と同様の動作を行う。
ステップＳ１０６では、撮影レンズ１０の焦点距離が１００ｍｍより大きいかを判定する。ここで、焦点距離が１００ｍｍより大きい場合には、ステップＳ１１３に進み、１００ｍｍ以下である場合には、ステップＳ１０７に進む。
ステップＳ１０７では、撮影レンズ１０の焦点距離が５０ｍｍより大きいかを判定する。ここで、焦点距離が５０ｍｍより大きい場合には、ステップＳ１０９に進み、５０ｍｍ以下である場合には、ステップＳ１０８に進む。
ステップＳ１０８では、撮影レンズ１０の焦点距離が３０ｍｍより大きいかを判定する。ここで、焦点距離が３０ｍｍより大きい場合には、ステップＳ１１０に進み、３０ｍｍ以下である場合には、ステップＳ１１１に進む。
ステップＳ１０９では、帰還アンプ部２６４の帰還係数を０.２に設定する。
ステップＳ１１０では、帰還アンプ部２６４の帰還係数を０.５に設定する。
ステップＳ１１１では、帰還アンプ部２６４の帰還係数を０.８に設定する。
ステップＳ１１２では、図４のフローチャートに示すステップＳ１２と同様の動作を行う。
ステップＳ１１３では、帰還アンプ部２６４の帰還係数を０に設定する。すなわち、循環フィルタ処理を禁止する。
ステップＳ１１４〜Ｓ１１７では、図４のフローチャートに示すステップＳ１４〜Ｓ１７と同様の動作を行う。
そして、低照度時の動画撮影において、上述した循環フィルタ処理とマルチフレーム露光とを選択可能とすることで、第１実施形態ないし第３実施形態と同様の効果を発揮することとなる。
＜第６実施形態＞
本発明の第６実施形態に係る撮像装置１Ｆについては、図１および図２に示すように、第１実施形態の撮像装置１Ａと類似の構成を有しているが、循環フィルタ部の構成が異なっている。
すなわち、撮像装置１Ｆの循環フィルタ部２６では、図３に示す相関検出部２６１において、シャッタースピードに応じた帰還係数が設定される。
ここでは、ＡＦ評価値が一定値を超えている場合、被写体がある程度静止しているものと判断できるため、この場合には演算されたＳＳの演算値(設定値)に連動して帰還係数の制御を行うこととする。例えば、ＳＳが１/２５０ｓ未満、１/２５０〜１/１００ｓ、および１/１００〜１/３０ｓの各ＳＳ設定の条件で、帰還アンプ部２６４の帰還係数を０.２、０.５、および０.８に設定して、適切な循環フィルタ処理を行うこととする。この帰還係数の設定については、ＳＳが短時間、つまり高速シャッター時にはフレーム画像間の相関が小さくなるため、帰還係数を大きくすると残像効果が生じ、循環フィルタ処理による不自然な画像が生成されるので、ＳＳが短いほど帰還係数を小さく設定する。一方、１/３０ｓ以上のＳＳ(露光時間)については、マルチフレーム撮影を優先するとともに、手ブレを誘発する可能性が高いため、循環フィルタ処理を禁止する。
このような循環フィルタ部２６を有する撮像装置１Ｆの循環フィルタ処理(ＮＲ１)の動作を以下で説明する。
＜循環フィルタ処理(ＮＲ１)について＞
図１１は、撮像装置１Ｆにおける循環フィルタ処理の動作を示すフローチャートである。本動作は、カメラ制御部４０Ｆによって実行される。
ステップＳ１２１〜Ｓ１２６では、図４のフローチャートに示すステップＳ２〜Ｓ７と同様の動作を行う。
ステップＳ１２７では、ＳＳ(シャッタースピード)の演算値が１/３０ｓより小さいかを判定する。ここで、１/３０ｓより小さい場合には、ステップＳ１２８に進み、１/３０ｓ以上である場合には、ステップＳ１３４に進む。
ステップＳ１２８では、ＳＳの演算値が１/２５０ｓより小さいかを判定する。ここで、１/２５０ｓより小さい場合には、ステップＳ１３０に進み、１/２５０ｓ以上である場合には、ステップＳ１２９に進む。
ステップＳ１２９では、ＳＳの演算値が１/１００ｓより小さいかを判定する。ここで、１/１００ｓより小さい場合には、ステップＳ１３１に進み、１/１００ｓ以上である場合には、ステップＳ１３２に進む。
ステップＳ１３０では、帰還アンプ部２６４の帰還係数を０.２に設定する。
ステップＳ１３１では、帰還アンプ部２６４の帰還係数を０.５に設定する。
ステップＳ１３２では、帰還アンプ部２６４の帰還係数を０.８に設定する。
ステップＳ１３３では、図４のフローチャートに示すステップＳ１２と同様の動作を行う。
ステップＳ１３４では、帰還アンプ部２６４の帰還係数を０に設定する。すなわち、ＳＳの設定値が１/３０ｓ以上となるとマルチフレーム露光を優先して、循環フィルタ処理を禁止する。
ステップＳ１３５〜Ｓ１３８では、図４のフローチャートに示すステップＳ１４〜Ｓ１７と同様の動作を行う。
そして、低照度時の動画撮影において、上記の循環フィルタ処理とマルチフレーム露光とを選択可能とすることで、第１実施形態ないし第３実施形態と同様の効果を発揮することとなる。
＜変形例＞
◎上記の各実施形態においては、ＡＧＣの設定ゲインが所定値(Ｒｅｆ１)以上となる低照度撮影条件の場合に、循環フィルタ処理とマルチフレーム露光との選択を可能とするのは必須でなく、被写体輝度が所定値以下となる低照度撮影条件の場合に両ノイズ処理を選択可能とするようにしても良い。
本発明の第１実施形態に係る撮像装置１Ａの要部構成を示す図である。 撮像装置１Ａの機能ブロックを示す図である。 撮像装置１Ａにおける循環フィルタ処理を説明するための図である。 撮像装置１Ａにおける循環フィルタ処理の動作を示すフローチャートである。 撮像装置１Ａの基本的な動作を示すフローチャートである。 撮像装置１Ａの他の動作を示すフローチャートである。 本発明の第２実施形態に係る撮像装置１Ｂの基本的な動作を示すフローチャートである。 本発明の第３実施形態に係る撮像装置１Ｃの基本的な動作を示すフローチャートである。 本発明の第４実施形態に係る撮像装置１Ｄにおける循環フィルタ処理の動作を示すフローチャートである。 本発明の第５実施形態に係る撮像装置１Ｅにおける循環フィルタ処理の動作を示すフローチャートである。 本発明の第６実施形態に係る撮像装置１Ｆにおける循環フィルタ処理の動作を示すフローチャートである。 従来技術に係る循環フィルタ処理を説明するためのブロック図である。
符号の説明
１Ａ〜１Ｆ 撮像装置
２ 信号処理部
３ 画像処理部
１０ 撮影レンズ
１４ 手ブレ補正スイッチ
１５ コマ送り・ズームスイッチ
１７ ＮＲ(ノイズリダクション)モード選択スイッチ
２６、８２ 循環フィルタ部
３６ 測距演算・動き検出部
４０ カメラ制御部
４２ ＬＣＤモニタ
４８ 手ブレ補正アクチュエータドライバ
４９ 手ブレセンサ
５１ 三脚検出部
２６１ 相関検出部

Claims (6)

  1. 撮像装置であって、
    (a)被写体を撮像し、動画を構成するフレームを順次に生成する動画撮影手段と、
    (b)前記動画撮影手段で順次生成されたフレームの画像に帰還係数を乗じて第１ノイズ処理を行う循環フィルタ手段と、
    (c)前記動画撮影手段におけるフレームレートを低減させる第２ノイズ処理を行うフレームレート低減手段と、
    (d)所定の低照度撮影条件を満たす場合には、前記第１ノイズ処理および前記第２ノイズ処理のうち一方を選択可能にする選択手段と、
    (e)被写体の動きを検出する動体検出手段と、
    を備え、
    前記選択手段は、
    前記被写体の動きに応じて、前記第１ノイズ処理および前記第２ノイズ処理のうち一方を選択する手段、
    を有することを特徴とする撮像装置。
  2. 撮像装置であって、
    (a)被写体を撮像し、動画を構成するフレームを順次に生成する動画撮影手段と、
    (b)前記動画撮影手段で順次生成されたフレームの画像に帰還係数を乗じて第１ノイズ処理を行う循環フィルタ手段と、
    (c)前記動画撮影手段におけるフレームレートを低減させる第２ノイズ処理を行うフレームレート低減手段と、
    (d)所定の低照度撮影条件を満たす場合には、前記第１ノイズ処理および前記第２ノイズ処理のうち一方を選択可能にする選択手段と、
    (e)撮影レンズに係る焦点距離を変更する焦点距離変更手段と、
    を備え、
    前記選択手段は、
    前記焦点距離に応じて、前記第１ノイズ処理および前記第２ノイズ処理のうち一方を選択する手段、
    を有することを特徴とする撮像装置。
  3. 撮像装置であって、
    (a)被写体を撮像し、動画を構成するフレームを順次に生成する動画撮影手段と、
    (b)前記動画撮影手段で順次生成されたフレームの画像に帰還係数を乗じて第１ノイズ処理を行う循環フィルタ手段と、
    (c)前記動画撮影手段におけるフレームレートを低減させる第２ノイズ処理を行うフレームレート低減手段と、
    (d)所定の低照度撮影条件を満たす場合には、前記第１ノイズ処理および前記第２ノイズ処理のうち一方を選択可能にする選択手段と、
    (e)三脚が接続される接続部と、
    (f)前記接続部に対する三脚の接続の有無を検出する三脚検出手段と、
    を備え、
    前記選択手段は、
    前記三脚の接続の有無に応じて、前記第１ノイズ処理および前記第２ノイズ処理のうち一方を選択する手段、
    を有することを特徴とする撮像装置。
  4. 動画のノイズ処理方法であって、
    被写体を撮像し、動画を構成するフレームを順次に生成する動画撮影工程と、
    所定の低照度撮影条件を満たす場合には、前記動画撮影工程において順次生成されたフレームの画像に帰還係数を乗じる第１ノイズ処理、および前記動画撮影工程におけるフレームレートを低減させる第２ノイズ処理のうち一方を選択可能にする選択工程と、
    被写体の動きを検出する動体検出工程と、
    を備え、
    前記選択工程は、
    前記被写体の動きに応じて、前記第１ノイズ処理および前記第２ノイズ処理のうち一方を選択する工程、
    を有することを特徴とする動画のノイズ処理方法。
  5. 動画のノイズ処理方法であって、
    被写体を撮像し、動画を構成するフレームを順次に生成する動画撮影工程と、
    所定の低照度撮影条件を満たす場合には、前記動画撮影工程において順次生成されたフレームの画像に帰還係数を乗じる第１ノイズ処理、および前記動画撮影工程におけるフレームレートを低減させる第２ノイズ処理のうち一方を選択可能にする選択工程と、
    撮影レンズに係る焦点距離を変更する焦点距離変更工程と、
    を備え、
    前記選択工程は、
    前記焦点距離に応じて、前記第１ノイズ処理および前記第２ノイズ処理のうち一方を選択する工程、
    を有することを特徴とする動画のノイズ処理方法。
  6. 動画のノイズ処理方法であって、
    三脚が接続される接続部を有する撮像装置で被写体を撮像し、動画を構成するフレームを順次に生成する動画撮影工程と、
    所定の低照度撮影条件を満たす場合には、前記動画撮影工程において順次生成されたフレームの画像に帰還係数を乗じる第１ノイズ処理、および前記動画撮影工程におけるフレームレートを低減させる第２ノイズ処理のうち一方を選択可能にする選択工程と、
    前記接続部に対する三脚の接続の有無を検出する三脚検出工程と、
    を備え、
    前記選択工程は、
    前記三脚の接続の有無に応じて、前記第１ノイズ処理および前記第２ノイズ処理のうち一方を選択する工程、
    を有することを特徴とする動画のノイズ処理方法。
JP2004012162A 2004-01-20 2004-01-20 撮像装置および動画のノイズ処理方法 Expired - Fee Related JP3760943B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2004012162A JP3760943B2 (ja) 2004-01-20 2004-01-20 撮像装置および動画のノイズ処理方法
US10/828,028 US20050157188A1 (en) 2004-01-20 2004-04-19 Image capturing apparatus and method of performing noise process on moving picture

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2004012162A JP3760943B2 (ja) 2004-01-20 2004-01-20 撮像装置および動画のノイズ処理方法

Publications (2)

Publication Number Publication Date
JP2005210215A JP2005210215A (ja) 2005-08-04
JP3760943B2 true JP3760943B2 (ja) 2006-03-29

Family

ID=34747316

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2004012162A Expired - Fee Related JP3760943B2 (ja) 2004-01-20 2004-01-20 撮像装置および動画のノイズ処理方法

Country Status (2)

Country Link
US (1) US20050157188A1 (ja)
JP (1) JP3760943B2 (ja)

Families Citing this family (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4618802B2 (ja) 2006-02-14 2011-01-26 キヤノン株式会社 撮像装置
JP4863767B2 (ja) * 2006-05-22 2012-01-25 ソニー株式会社 映像信号処理装置及び画像表示装置
JP4301308B2 (ja) * 2007-03-02 2009-07-22 ソニー株式会社 撮像装置および画像処理方法
US8400518B2 (en) 2008-09-10 2013-03-19 Panasonic Corporation Imaging apparatus
KR101555056B1 (ko) 2009-04-22 2015-09-22 엘지전자 주식회사 카메라의 3차원 디지털 노이즈 제거장치 및 방법
JP2010271600A (ja) 2009-05-22 2010-12-02 Sanyo Electric Co Ltd 電子カメラ
JP5546297B2 (ja) * 2010-03-15 2014-07-09 キヤノン株式会社 撮像装置、撮像方法及びプログラム
US8325248B2 (en) 2010-06-04 2012-12-04 Apple Inc. Dual processing of raw image data
US8228406B2 (en) 2010-06-04 2012-07-24 Apple Inc. Adaptive lens shading correction
US8319861B2 (en) 2010-06-04 2012-11-27 Apple Inc. Compensation for black level changes
GB201011829D0 (en) 2010-07-14 2010-09-01 Two Trees Photonics Ltd Display system
JP5792990B2 (ja) * 2011-04-28 2015-10-14 キヤノン株式会社 画像処理装置およびその制御方法
GB2498170B (en) * 2011-10-26 2014-01-08 Two Trees Photonics Ltd Frame inheritance
GB2499579B (en) 2012-02-07 2014-11-26 Two Trees Photonics Ltd Lighting device
GB2501112B (en) 2012-04-12 2014-04-16 Two Trees Photonics Ltd Phase retrieval
JP6045894B2 (ja) * 2012-11-30 2016-12-14 ハンファテクウィン株式会社Ｈａｎｗｈａ Ｔｅｃｈｗｉｎ Ｃｏ．，Ｌｔｄ． 画像処理装置および画像処理方法
WO2014096961A2 (en) * 2012-12-19 2014-06-26 Marvell World Trade Ltd. Systems and methods for adaptive scaling of digital images
GB2509180B (en) 2012-12-21 2015-04-08 Two Trees Photonics Ltd Projector
KR101651889B1 (ko) * 2014-11-12 2016-08-29 고려대학교 산학협력단 극저조도 영상의 화질 개선 장치 및 방법
JP2022112942A (ja) * 2021-01-22 2022-08-03 ｉ－ＰＲＯ株式会社 監視カメラ、画質改善方法およびプログラム

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2934036B2 (ja) * 1991-03-07 1999-08-16 松下電器産業株式会社 動き検出方法およびノイズ低減装置
US5355178A (en) * 1991-10-24 1994-10-11 Eastman Kodak Company Mechanism for improving television display of still images using image motion-dependent filter
JP2947186B2 (ja) * 1996-10-23 1999-09-13 日本電気株式会社 フリッカ軽減回路
JP4406195B2 (ja) * 2001-10-09 2010-01-27 セイコーエプソン株式会社 画像データの出力画像調整
US20040085459A1 (en) * 2002-02-12 2004-05-06 Nikon Corporation Image processing device, image processing program, and image processing method

Also Published As

Publication number Publication date
US20050157188A1 (en) 2005-07-21
JP2005210215A (ja) 2005-08-04

Similar Documents

Publication Publication Date Title
JP3760943B2 (ja) 撮像装置および動画のノイズ処理方法
JP4594257B2 (ja) ディジタル撮像装置
US7030911B1 (en) Digital camera and exposure control method of digital camera
US7710458B2 (en) Image pick-up apparatus with a shake reducing function
JP4441919B2 (ja) 撮像装置及びそのプログラム
JP2006310969A (ja) 撮像装置
JP2017022610A (ja) 画像処理装置、画像処理方法
JP5780764B2 (ja) 撮像装置
JP5223686B2 (ja) 撮像装置および撮像方法
US20170318208A1 (en) Imaging device, imaging method, and image display device
JP2006245999A (ja) 撮像装置、およびプログラム
JP2007027845A (ja) 撮像装置
JP4062300B2 (ja) 撮像装置
JP3800197B2 (ja) 撮像装置
JP2007195122A (ja) 撮像装置、画像処理装置および画像処理方法
JP2005210216A (ja) 撮像装置および動画のノイズ処理方法
JP5091781B2 (ja) 撮像装置および撮像方法
JP2010103700A (ja) 撮像装置および撮像方法
JP2004328606A (ja) 撮像装置
JP2005175864A (ja) 撮像装置および画像処理方法
JP2014230121A (ja) 撮像装置および画素欠陥検出方法
JP4388906B2 (ja) 撮像装置
JP2004343177A (ja) 撮像装置
JP2007025129A (ja) 露出設定方法及び装置
JP2005117250A (ja) 撮像装置

Legal Events

Date Code Title Description
A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20050823

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20051019

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20051220

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20060102

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100120

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100120

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110120

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120120

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130120

Year of fee payment: 7

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees