JP2009010896A - 画像処理装置、画像処理方法、及び撮像装置 - Google Patents
画像処理装置、画像処理方法、及び撮像装置 Download PDFInfo
- Publication number
- JP2009010896A JP2009010896A JP2007172775A JP2007172775A JP2009010896A JP 2009010896 A JP2009010896 A JP 2009010896A JP 2007172775 A JP2007172775 A JP 2007172775A JP 2007172775 A JP2007172775 A JP 2007172775A JP 2009010896 A JP2009010896 A JP 2009010896A
- Authority
- JP
- Japan
- Prior art keywords
- signal
- unit
- frame
- electronic zoom
- magnification
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000003384 imaging method Methods 0.000 title claims abstract description 81
- 238000003672 processing method Methods 0.000 title claims description 11
- 238000012545 processing Methods 0.000 claims abstract description 235
- 239000013598 vector Substances 0.000 claims abstract description 111
- 230000009467 reduction Effects 0.000 claims abstract description 99
- 230000003287 optical effect Effects 0.000 claims abstract description 85
- 238000012937 correction Methods 0.000 claims description 163
- 238000000034 method Methods 0.000 claims description 50
- 230000008569 process Effects 0.000 claims description 42
- 238000011946 reduction process Methods 0.000 claims description 29
- 238000006243 chemical reaction Methods 0.000 claims description 11
- 230000007246 mechanism Effects 0.000 claims description 8
- 238000004364 calculation method Methods 0.000 description 97
- 238000001514 detection method Methods 0.000 description 54
- 230000006870 function Effects 0.000 description 47
- 238000010586 diagram Methods 0.000 description 22
- 230000006835 compression Effects 0.000 description 19
- 238000007906 compression Methods 0.000 description 19
- 238000005070 sampling Methods 0.000 description 15
- 230000005236 sound signal Effects 0.000 description 10
- 230000007274 generation of a signal involved in cell-cell signaling Effects 0.000 description 7
- 230000001186 cumulative effect Effects 0.000 description 6
- 230000000694 effects Effects 0.000 description 5
- 101150016402 fsn-1 gene Proteins 0.000 description 5
- 230000006837 decompression Effects 0.000 description 4
- 230000001502 supplementing effect Effects 0.000 description 4
- 230000008859 change Effects 0.000 description 2
- 230000007423 decrease Effects 0.000 description 2
- 230000006641 stabilisation Effects 0.000 description 2
- 238000011105 stabilization Methods 0.000 description 2
- 230000001360 synchronised effect Effects 0.000 description 2
- 238000012935 Averaging Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000012886 linear function Methods 0.000 description 1
- 230000007257 malfunction Effects 0.000 description 1
- 229910044991 metal oxide Inorganic materials 0.000 description 1
- 150000004706 metal oxides Chemical class 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 238000000926 separation method Methods 0.000 description 1
- 230000002123 temporal effect Effects 0.000 description 1
Images
Landscapes
- Image Processing (AREA)
- Studio Devices (AREA)
Abstract
【課題】光学ズーム機能を用いて撮影倍率を変化させている間にも、3次元ノイズ低減処理機能や動きベクトル算出機能が有効に機能する画像処理装置を提供すること。
【解決手段】光学ズーム機能を有する撮像装置による撮影によって得られた画像信号がフレーム単位で入力される画像処理装置であって、第n−1ノイズ低減後信号に対して、第nフレーム撮影時の光学ズーム倍率と、第n−1フレーム撮影時の光学ズーム倍率との比をズーム倍率とした電子ズーム処理を施すことによって第n−1電子ズーム後信号を得る電子ズーム部50と;第nフレームの入力画像信号に対して、第n−1電子ズーム後信号を用いた3次元ノイズ低減処理を施すことによって第nノイズ低減後信号を得る3次元ノイズ低減部30と;を有することを特徴とする。
【選択図】図3
【解決手段】光学ズーム機能を有する撮像装置による撮影によって得られた画像信号がフレーム単位で入力される画像処理装置であって、第n−1ノイズ低減後信号に対して、第nフレーム撮影時の光学ズーム倍率と、第n−1フレーム撮影時の光学ズーム倍率との比をズーム倍率とした電子ズーム処理を施すことによって第n−1電子ズーム後信号を得る電子ズーム部50と;第nフレームの入力画像信号に対して、第n−1電子ズーム後信号を用いた3次元ノイズ低減処理を施すことによって第nノイズ低減後信号を得る3次元ノイズ低減部30と;を有することを特徴とする。
【選択図】図3
Description
本発明は、光学ズーム機能を有する撮像装置による撮影によって得られた画像信号を処理する画像処理装置及び画像処理方法に関する。また、本発明は、そのような画像処理装置を有する撮像装置に関する。
近年、各種デジタル技術の発展に伴い、CCD(Charge Coupled Device)やCMOS(Complimentary Metal Oxide Semiconductor)センサなどの固体撮像素子によってデジタル画像を撮影するデジタルカメラやデジタルビデオなどといった撮像装置が広く普及しつつある。そして、このような撮像装置においては、ノイズ低減や手ぶれ補正などが重要な課題となる。そのため、この課題を解決するための各種発明がなされており、その一例を特許文献1に見ることができる。
特許文献1には、入力映像信号から検出した動きベクトルの有効/無効を判定し、この判定結果に基づいて動き補償を行った後に、時間的に連続する2つのフレームの信号を加算することによって時間的なローパスフィルタ(LPF)を作用させ、ノイズを低減する、所謂3次元ノイズ低減処理を実行する信号処理装置が記載されている。
特開2001−045335号公報
ところで、撮像装置においては、CCDとレンズの間の焦点距離を変化させることによって広角・望遠を切り替える、所謂光学ズーム機能を有するものが広く知られている。そして、この光学ズーム機能を用いて撮影倍率を変化させている間には、同じ被写体であっても、固体撮像素子によって撮影される被写体の大きさは、フレーム間で変化することとなる。
そのため、光学ズーム機能を用いて撮影倍率を変化させている間には、被写体の位置や大きさの違いによって、ノイズ以外の信号をノイズ検出することがある。そのため、3次元ノイズ低減処理が有効に働かないだけでなく、逆にノイズの増加を引き起こす場合もある。
また、同様の理由で、光学ズーム機能を用いて撮影倍率を変化させている間には、画像の動きを示す動きベクトルを正確に算出することができない。そのため、光学ズーム機能を用いて撮影倍率を変化させている間には、この動きベクトルを用いて行う圧縮符号化処理や手ぶれ補正処理などは有効に働かないだけでなく、逆に圧縮率の悪化や画像のブレなどを引き起こす場合もある。
したがって、従来の撮像装置においては、光学ズーム機能を用いて撮影倍率を変化させている間には、3次元ノイズ低減処理機能や動きベクトル算出機能をOFFにすることによって、この問題に対処せざるを得なかった。
上記の問題を鑑みて、本発明においては、光学ズーム機能を有する撮像装置による撮影によって得られた画像信号を処理する画像処理装置及び画像処理方法であって、光学ズーム機能を用いて撮影倍率を変化させている間にも、3次元ノイズ低減処理機能や動きベクトル算出機能が有効に機能する画像処理装置及び画像処理方法を提供することを目的とする。また、本発明の他の目的は、そのような画像処理装置を有する撮像装置を提供することである。
本発明においては、光学機構による撮影被写体の画角設定を行う光学ズーム機能と、当該光学ズーム機能が限界となるときに撮影した画像に対して解像度変換を施すことで画角設定を行う電子ズーム機能と、を有する撮像装置による、撮影によって得られた画像信号が、フレーム単位で入力される画像処理装置であって、第n−1フレームの入力画像信号又は所定の処理が施された後の前記第n−1フレームの入力画像信号に対して、第nフレーム撮影時の光学ズーム倍率と、第n−1フレーム撮影時の光学ズーム倍率との比を、前記電子ズーム機能におけるズーム倍率として、前記電子ズーム機能によるズーム処理を施すことによって、第n−1電子ズーム後信号を得る倍率補正部と、第nフレームの入力画像信号と、前記倍率補正部で得られた前記第n−1電子ズーム後信号との相対関係に基づく画像処理を施す画像処理部と、を有することを特徴とする。
このような画像処理装置において前記画像処理部は、前記第nフレームの入力画像信号に対して、時間的に隣接する画像信号との間における動き量を考慮した差分値に基づくノイズを除去する3次元ノイズ低減処理を施すことによって第nノイズ低減後信号を得るものであって、前記倍率補正部は、第n−1ノイズ低減後信号に対して、第nフレーム撮影時の光学ズーム倍率と、第n−1フレーム撮影時の光学ズーム倍率との比を、前記電子ズーム機能におけるズーム倍率として、前記電子ズーム機能によるズーム処理を施すことによって前記第n−1電子ズーム後信号を得るものであって、前記画像処理部は、前記第nフレームの入力画像信号に対して、前記第n−1電子ズーム後信号を用いた前記3次元ノイズ低減処理を施すことによって前記第nノイズ低減後信号を得ることが望ましい。
又、前記倍率補正部は、前記第n−1フレームの入力画像信号に対して、第nフレーム撮影時の光学ズーム倍率と、第n−1フレーム撮影時の光学ズーム倍率との比を、前記電子ズーム機能におけるズーム倍率として、前記電子ズーム機能によるズーム処理を施すことによって前記第n−1電子ズーム後信号を得るものであって、前記画像処理部は、前記第nフレームの入力画像信号と、前記第n−1電子ズーム後信号とから、第n動きベクトルを算出するものであることが望ましい。
そして、前記画像処理部で算出された前記第n動きベクトルまでの動きベクトルから、第n手ぶれ補正値を算出する手ぶれ補正値算出部と、前記第nフレームの入力画像信号に対して、前記第n手ぶれ補正値を用いた手ぶれ補正処理を施すことによって第n手ぶれ補正後信号を得る手ぶれ補正部と、を有することとしてもよい。
更に、前記第n手ぶれ補正後信号に対して、時間的に隣接する画像信号との間における動き量を考慮した差分値に基づくノイズを除去する3次元ノイズ低減処理を施すことによって第nノイズ低減後信号を得る3次元ノイズ低減部と、第n−1ノイズ低減後信号に対して、第nフレーム撮影時の光学ズーム倍率と、第n−1フレーム撮影時の光学ズーム倍率との比を、前記電子ズーム機能におけるズーム倍率として、前記電子ズーム機能によるズーム処理を施した後に、前記第n動きベクトル及び前記第n手ぶれ補正値を用いた位置補正処理を施すことによって第n−1位置補正後信号を得る位置補正部と、を有し、前記3次元ノイズ低減部は、前記第n手ぶれ補正後信号に対して、前記第n−1位置補正後信号を用いた前記3次元ノイズ低減処理を施すことによって前記第nノイズ低減後信号を得ることとしてもよい。
上述の各画像処理装置において、前記倍率補正部と、前記手ぶれ補正部とは同一の回路によって実現されることが望ましい。
本発明の撮像装置は、撮影被写体の画角設定を行う光学機構を備えるとともに、当該光学機構による光学ズーム機能を用いた撮影が可能な撮像部と、当該光学ズーム機能が限界となるときに撮影した画像に対して解像度変換を施すことで画角設定を行う電子ズーム機能を有する電子ズーム処理部を有する画像処理装置と、を備え、前記画像処理装置を、上述のいずれかの画像処理装置とするとともに、前記電子ズーム処理部を前記倍率補正部とする。
本発明の画像処理方法は、光学機構による撮影被写体の画角設定を行う光学ズーム機能と、当該光学ズーム機能が限界となるときに撮影した画像に対して解像度変換を施すことで画角設定を行う電子ズーム機能と、を有する撮像装置による、撮影によって得られた画像信号に施す画像処理方法であって、第n−1フレームの入力画像信号又は所定の処理が施された後の前記第n−1フレームの入力画像信号に対して、第nフレーム撮影時の光学ズーム倍率と、第n−1フレーム撮影時の光学ズーム倍率との比を、前記電子ズーム機能におけるズーム倍率として、前記電子ズーム機能によるズーム処理を施すことによって第n−1電子ズーム後信号を得る倍率補正ステップと、第nフレームの入力画像信号と、前記倍率補正ステップで得られた前記第n−1電子ズーム後信号との相対関係に基づく画像処理を施す画像処理ステップと、を有することを特徴とする。
本発明の画像処理装置及び画像処理方法においては、第nフレームの入力画像信号と;第n−1フレームの入力画像信号又は所定の処理が施された後の第n−1フレームの入力画像信号に対して、第nフレーム撮影時の光学ズーム倍率と、第n−1フレーム撮影時の光学ズーム倍率との比をズーム倍率とした電子ズーム処理を施すことによって得られた第n−1電子ズーム後信号と;の相対関係に基づく画像処理を行う。したがって、例えば、この画像処理を3次元ノイズ低減処理とした場合には、光学ズーム機能を用いて撮影倍率を変化させている間にも、時間的に連続する2つのフレームの位置合わせが行われることから、3次元ノイズ低減処理が有効に働くこととなる。
また、例えば、この画像処理を動きベクトル算出処理とした場合には、光学ズーム機能を用いて撮影倍率を変化させている間にも、時間的に連続する2つのフレームの位置合わせが行われることから、正確な動きベクトルを算出することができる。そして、この動きベクトルを用いた圧縮符号化処理や手ぶれ補正処理などを効果的に行うことができる。
また、本発明の画像処理装置においては、倍率補正部と、手ぶれ補正部とは同一の回路によって実現されるので、装置の大型化を防止することができる。
本発明の実施の形態について、図面を参照して説明する。なお、以下では、本発明における画像処理装置(以下では、「画像処理部」に含まれる)を備えたデジタルカメラやデジタルビデオなどの撮像装置を例に挙げて説明する。
(撮像装置の構成)
まず、撮像装置の内部構成について、図面を参照して説明する。図1は、撮像装置の内部構成を示すブロック図である。
まず、撮像装置の内部構成について、図面を参照して説明する。図1は、撮像装置の内部構成を示すブロック図である。
図1の撮像装置は、レンズと、被写体から入射される光を電気信号に変換するCCD又はCMOSセンサなどの固体撮像素子とを有し、アナログ信号である画像信号を出力する撮像部1と;撮像部1から出力されるアナログ信号である画像信号をデジタル信号に変換するAFE(Analog FrontEnd)2と;外部から入力された音声を電気信号に変換するマイク3と;AFE2からのデジタル信号となる画像信号に対してノイズ低減処理や手ぶれ補正処理を含む各種画像処理を施す画像処理部4と;マイク3からのアナログ信号である音声信号をデジタル信号に変換する音声処理部5と;画像処理部4からの画像信号と音声処理部5からの音声信号とに対してMPEG(Moving Picture Experts Group)圧縮方式などの圧縮符号化処理を施す圧縮処理部6と;圧縮処理部6で圧縮符号化された圧縮符号化信号を外部メモリ20に記録するドライバ部7と;ドライバ部7で外部メモリ20から読み出した圧縮符号化信号を伸長して復号する伸長処理部8と;伸長処理部8で復号されて得られた画像信号による画像の表示を行うディスプレイ9と;伸長処理部8からの音声信号をアナログ信号に変換する音声出力回路部10と;音声出力回路部10からの音声信号に基づいて音声を再生出力するスピーカ11と;各ブロックの動作タイミングを一致させるためのタイミング制御信号を出力するTG(Timing Generator)12と;撮像装置内全体の駆動動作を制御するCPU(Central Processing Unit)13と;各動作のための各プログラムを記憶するとともにプログラム実行時のデータの一時保管を行うメモリ14と;ユーザからの指示が入力される操作部15と;メモリ14と各ブロックとの間でデータのやりとりを行うためのバス回線16と;CPU13と各ブロックとの間でデータのやりとりを行うためのバス回線17と;を備える。
この撮像装置において、撮像動作を行うことが操作部15によって指示されると、撮像部1が有する固体撮像素子の光電変換動作によって得られたアナログ信号である画像信号がAFE2に出力される。このとき、撮像部1では、TG12からのタイミング制御信号が与えられることによって、固体撮像素子の水平走査及び垂直走査が行われて、画素毎のデータとなる画像信号が出力される。そして、AFE2において、アナログ信号である画像信号がデジタル信号に変換されて、画像処理部4に入力されると、ノイズ低減処理や手ぶれ補正処理などの各種画像処理が施される。なお、画像処理部4の詳細については後述する。
そして、画像処理部4で画像処理が施された画像信号が圧縮処理部6に与えられる。このとき、マイク3に音声入力されることで得られたアナログ信号である音声信号が、音声処理部5でデジタル信号に変換されて、圧縮処理部6に与えられる。これにより、圧縮処理部6では、デジタル信号である画像信号及び音声信号に対して、MPEG圧縮符号方式に基づいて、圧縮符号化してドライバ部7に与えて、外部メモリ20に記録させる。また、このとき、外部メモリ20に記録された圧縮信号がドライバ部7によって読み出されて伸長処理部8に与えられて、伸長処理が施されて画像信号が得られる。この画像信号がディスプレイ9に与えられて、現在、撮像部1を通じて撮影されている被写体画像が表示される。
なお、上述では、動画撮影時の動作について説明したが、静止画像撮影が指示された場合においても、マイク3による音声信号の取得がなく、画像信号のみの圧縮信号が外部メモリ20に記録されるだけとなるが、その基本動作については動画撮影時の動作と同様である。また、この静止画像撮影の場合、操作部15によって撮影された静止画像に対する圧縮信号が外部メモリ20に記録されるだけでなく、撮像部1によって撮影されている現時点の画像に対する圧縮信号が外部メモリ20に一時的に記録される。これにより、現在撮影されている画像に対する圧縮信号が伸長処理部8で伸長されることで、撮像部1によって撮影されている現時点の画像がディスプレイ9に表示され、ユーザが確認することができる。
このように撮像動作を行うとき、TG12によって、AFE2、映像処理部4、音声処理部5、圧縮処理部6、及び伸長処理部8に対してタイミング制御信号が与えられ、撮像部1による1フレームごとの撮像動作に同期した動作が行われる。また、静止画像撮影のときは、操作部15によるシャッタ動作に基づいて、TG12より、撮像部1、AFE2、映像処理部4、及び、圧縮処理部6それぞれに対してタイミング制御信号が与えられ、各部の動作タイミングを同期させる。
また、外部メモリ20に記録された動画または画像を再生することが、操作部15を通じて指示されると、外部メモリ20に記録された圧縮信号は、ドライバ部7によって読み出されて伸長処理部8に与えられる。そして、伸長処理部8において、MPEG圧縮符号方式に基づいて、伸長復号されて、画像信号及び音声信号が取得される。そして、画像信号がディスプレイ9に与えられて画像が再生されるとともに、音声信号が音声出力回路部10を介してスピーカ11に与えられて音声が再生される。これにより、外部メモリ20に記録された圧縮信号に基づく動画が音声とともに再生される。また、圧縮信号が画像信号のみより成るときは、ディスプレイ9に画像のみが再生されることとなる。
次に、撮像部1の詳細について説明する。図2は、撮像部1の詳細を示すブロック図である。撮像部1は、被写体側に設けられたフォーカスレンズ1001と;フォーカスレンズ1001の内側に設けられたズームレンズ1002と;ズームレンズ1002の内側に設けられ、光量の調整を行うための絞り1003と;絞り1003の内側に設けられ、TG12からのタイミング制御信号が与えられることによって水平走査及び垂直走査を行い、画素毎のデータとなる画像信号をAFE2に出力するCCD又はCMOSセンサなどの固体撮像素子1004と;CPU13からの指令に応じてフォーカスレンズ1001と、ズームレンズ1002と、絞り1003とを動作させるドライバ1005と;を有している。
この撮像部1において、CPU13からドライバ1005に光学ズーム指令がなされると、ドライバ1005は、フォーカスレンズ1001及びズームレンズ1002を光軸方向に移動させることによってズーム倍率や焦点距離を調整することによって、CPU13からの指令に応じた光学ズームを実現する。具体的には、フォーカスレンズ1001と、ズームレンズ1002との距離を近づけたときに、光学ズーム倍率が低下し、遠ざけたときに光学ズーム倍率が上昇する。
(第1の実施形態)
次に、本発明の撮像装置の第1の実施形態について説明する。本実施形態の撮像装置は、画像処理部4に含まれるノイズ低減処理部にその特徴を有するものである。図3は、本実施形態の撮像装置の、画像処理部4に含まれるノイズ低減処理部の概略の構成を示すブロック図である。なお、以下では、現フレームの信号は外部から入力されることとするが、この外部とは、図1の撮像装置のAFE2、あるいは画像処理部4のノイズ低減処理部の前段の画像処理を行う部分を示す。
次に、本発明の撮像装置の第1の実施形態について説明する。本実施形態の撮像装置は、画像処理部4に含まれるノイズ低減処理部にその特徴を有するものである。図3は、本実施形態の撮像装置の、画像処理部4に含まれるノイズ低減処理部の概略の構成を示すブロック図である。なお、以下では、現フレームの信号は外部から入力されることとするが、この外部とは、図1の撮像装置のAFE2、あるいは画像処理部4のノイズ低減処理部の前段の画像処理を行う部分を示す。
ノイズ低減処理部は、外部及び電子ズーム部50より信号が入力され、フレームメモリ40及び後段に信号を出力する3次元ノイズ低減部30と;3次元ノイズ低減部30より信号が入力され、電子ズーム部50に信号を出力するフレームメモリ40と;フレームメモリ40及びバス17を介してCPU13より信号が入力され、3次元ノイズ低減部30に信号を出力する電子ズーム部50と;を有する。
そして、3次元ノイズ低減部30は、外部及び電子ズーム部50より信号が入力され、乗算器34に信号を出力するノイズ検出部31と;外部及び電子ズーム部50より信号が入力され、帰還係数検出部33に信号を出力する動き検出部32と;動き検出部32より信号が入力され、乗算器34に信号を出力する帰還係数検出部33と;ノイズ検出部31及び帰還係数検出部33より信号が入力され、減算器35に信号を出力する乗算器34と;外部及び乗算器34より信号が入力され、後段及びフレームメモリ40に信号を出力する減算器35と;を有している。なお、ここでの後段とは、図1の圧縮処理部6、あるいは画像処理部4のノイズ低減処理部の後段の画像処理を行う部分を示し、以下でも同様である。
ここで、3次元ノイズ低減部30の動作の概略について説明する。まず、外部からの現フレームの信号が、ノイズ検出部31、動き検出部32、及び減算器35に入力される。また、フレームメモリ40からの現フレームの1フレーム前の信号が、電子ズーム部50によって処理された後に、ノイズ検出部31及び動き検出部32に入力される。この電子ズーム部50は、フレームメモリ40のアドレス指定を行うことで、1フレーム前の画像のうち、演算処理対象となる画素の信号値をフレームメモリ40から読み出して、画素毎に演算処理を行う。なお、電子ズーム部50における1フレーム前の信号の処理方法の詳細については後述する。すると、ノイズ検出部31は、外部より入力された現フレームの信号と、電子ズーム部50より入力された1フレーム前の信号とから各画素のノイズ検出値を算出し、これを乗算器34に出力する。
そして、次に、動き検出部32が、外部より入力された現フレームの信号と、電子ズーム部50より入力された1フレーム前の信号とから各画素の動き量を算出し、これを帰還係数検出部33に出力する。すると、帰還係数検出部33が、動き検出部32より入力された各画素の動き量から各画素の帰還係数kを算出し、これを乗算器34に出力する。
そして、次に、乗算器34が、ノイズ検出部31より入力された各画素のノイズ検出値と、帰還係数検出部33より入力された各画素の帰還係数kとを乗算し、得られた各画素の減算ノイズ値を減算器35へ出力する。すると、減算器35が、外部より入力された現フレームの信号から、乗算器34より入力された各画素の減算ノイズ値を減算し、得られた3次元ノイズ低減後信号を後段及びフレームメモリ40に出力する。
次に、ノイズ検出部31の詳細について説明する。ノイズ検出部31は、外部より入力された現フレームの信号から、電子ズーム部50より入力された1フレーム前の信号を減算することによって得られた各画素の差分信号値xに対してノイズ検出値f(x)を算出し、これを乗算器34に出力する。ここで、関数f(x)としては、例えば、以下の(1)式及び図4に示されるようなものが用いられる。
上記(1)式及び図4に示される関数f(x)は、各画素の差分信号値xの絶対値が閾値thを超える場合にはノイズ検出値f(x)を抑えるものであり、これによって動き部分を誤ってノイズと検出してしまう誤動作を防止できる。
次に、動き検出部32の詳細について説明する。図5は、動き検出部32の概略の構成を示すブロック図である。動き検出部32は、外部及び電子ズーム部50より信号が入力され、絶対値化部322に信号を出力する減算器321と;減算器321より信号が入力され、フィルタ部323に信号を出力する絶対値化部322と;絶対値化部322より信号が入力され、帰還係数検出部33に信号を出力するフィルタ部323と;を有している。
ここで、動き検出部32の動作の概略について説明する。まず、外部からの現フレームの信号と、電子ズーム部50からの1フレーム前の信号とが減算器321に入力される。すると、減算器321は、外部より入力された現フレームの信号と、電子ズーム部50より入力された1フレーム前の信号との差分を計算し、得られた差分信号を絶対値化部322に出力する。
そして、次に、絶対値化部322は、入力された差分信号を絶対値化し、得られた絶対値化信号をフィルタ部323に出力する。すると、フィルタ部323は、入力された絶対値化信号に対してローパスフィルタをかけることによって得られた各画素の動き量を帰還係数検出部33に出力する。ここで、フィルタ部323によってローパスフィルタをかけることによって、ノイズ信号と動きを示す信号との分離精度が高められる。
次に、帰還係数検出部33の詳細について説明する。帰還係数検出部33は、動き検出部32より入力された各画素の動き量yに対して各画素の帰還係数k=g(y)を算出し、これを乗算器34に出力する。ここで、関数g(y)としては、例えば、以下の(2)式及び図6に示されるようなものが用いられる。
上記(2)式及び図6に示される関数g(y)は、動き量yの増加に伴って一次関数的に帰還係数kが1から減少し、動き量yが閾値thA以上となると、帰還係数kが0となるものであり、これによって、動き量yの小さい画素に対するノイズ検出部31によるノイズ低減効果、つまり、3次元ノイズ低減処理の効果を大きくし、動き量yの大きい画素に対するノイズ検出部31によるノイズ低減効果、つまり、3次元ノイズ低減処理の効果を小さくしている。なお、この閾値thAは、入力信号レベル及びノイズレベルに応じて決定することが望ましい。
次に、電子ズーム部50の詳細について説明する。図7は、電子ズーム部50の詳細を示すブロック図である。この電子ズーム部50は、光学ズームによる高倍率撮影を行おうとする際の、光学系の複雑化や大型化などの問題の発生を防止し、かつ高倍率撮影を行うために、光学ズームの倍率を補う目的で備えられるものである。つまり、この電子ズーム部50を用いることによって、撮像部1において(図2参照)、フォーカスレンズ1001と、ズームレンズ1002との距離の限界値に対応する倍率(光学ズーム倍率の限界値)より更に高倍率な撮影を行うことができる。
電子ズーム部50は、バス17を介してCPU13から信号が入力され、各ブロックに制御信号を出力するタイミング信号発生回路501と;電子ズーム処理を行う対象となる、タイミング信号発生回路501より信号が入力され、フレームメモリ40及び補間係数生成部504に信号を出力するアドレス計算部502と;フレームメモリ40より信号が入力され、これを一時記憶した後に補間値生成部505に出力するリードバッファ503と;アドレス計算部502より信号が入力され、補間値生成部505に信号を出力する補間係数生成部504と;リードバッファ503及び補間係数生成部504より信号が入力され、ノイズ検出部31及び動き検出部32に信号を出力する補間値生成部505と;を有している。
次に、電子ズーム部50による電子ズーム処理の動作の概略について説明する。電子ズーム部50は、フレームメモリ40より入力された信号に対して、バス17を介してCPU13から入力されたズーム倍率α及び中心座標(Xc、Yc)に基づく電子ズーム処理を施し、得られた電子ズーム後信号をノイズ検出部31及び動き検出部32に出力するものである。
具体的には、電子ズーム部50においては、まず、タイミング信号発生回路501に、バス17を介してCPU13より、ズーム倍率α及び中心座標(Xc、Yc)が入力される。すると、タイミング信号発生回路501は、アドレス計算部502に、各座標(x、y)における電子ズーム処理後の信号値を求める指令を出力する。よって、アドレス計算部502は、座標(x、y)、ズーム倍率α、及び中心座標(Xc、Yc)から、以下の(3)式によって(Xad、Yad)を計算する。
そして、アドレス計算部502では、([Xad]、[Yad])、([Xad+1]、[Yad])、([Xad]、[Yad+1])、([Xad+1]、[Yad+1])のそれぞれの信号値が記憶されているフレームメモリ40のアドレスを計算し、このアドレスを表す値をフレームメモリ40に出力する。また、Xad及びYadの各値を、補間係数生成部504に出力する。なお、ここで、[]はガウス記号であることとする。
アドレス計算部502で算出されたアドレスを表す値が与えられた、フレームメモリ40は、記憶しているフレームにおける、([Xad]、[Yad])、([Xad+1]、[Yad])、([Xad]、[Yad+1])、([Xad+1]、[Yad+1])のそれぞれの信号値をリードバッファ503に出力する。また、補間係数生成部504は、Xad及びYadの各値から、([Xad]、[Yad])、([Xad+1]、[Yad])、([Xad]、[Yad+1])、([Xad+1]、[Yad+1])の各座標の信号値の重み係数を例えば線形補間法によって算出する。
そして、補間値生成部505は、リードバッファ503より入力された([Xad]、[Yad])、([Xad+1]、[Yad])、([Xad]、[Yad+1])、([Xad+1]、[Yad+1])のそれぞれの信号値を、補間係数生成部504より入力された重み係数によって重み付け加算し、得られた電子ズーム処理後の座標(x、y)の信号値をノイズ検出部31及び動き検出部32に出力する。
次に、この電子ズーム部50の動作例について、図8を用いて説明する。ここで、図8(a)においては、電子ズーム部50に入力される画像信号に対応する三角形PQRがx−y座標とともに表され、図8(b)においては、図8(a)の画像が電子ズーム部50によって倍率α=2、中心座標(Xc、Yc)=(2、2)で電子ズーム処理された後の画像信号に対応する三角形P'Q'R'がx−y座標とともに表されている。ここで、点Pの座標は(1、1)、点Qの座標は(3、1)、点Rの座標は(1、3)、点P'の座標は(0、0)、点Q'の座標は(4、0)、点R'の座標は(0、4)である。
ここで、この電子ズーム処理は、数3式に基づいてなされる。つまり、数3式において、α=2、(Xc、Yc)=(2、2)とした上で、(x、y)を点P'の座標に対応させて(0、0)とすると、得られる(Xad、Yad)は点Pの座標に対応した(1、1)となる。また、(x、y)を点Q'の座標に対応させて(4、0)とすると、得られる(Xad、Yad)は点Qの座標に対応した(3、1)となる。そして、(x、y)を点R'の座標に対応させて(0、4)とすると、得られる(Xad、Yad)は点Rの座標に対応した(1、3)となる。
次に、上記構成のノイズ低減処理部の各ブロックの動作タイミングの詳細について、図9及び図10を用いて説明する。図9は、上記構成のノイズ低減処理部の各ブロックの動作タイミングを説明するためのブロック図であり、図10は、上記構成のノイズ低減処理部の各ブロックの動作タイミングを説明するためのタイミングチャートである。なお、以下では、第nフレームの信号Fnに対する3次元ノイズ低減処理を施す際の動作を例に挙げて説明する。
ここで、図9及び図10においては、(A)が、外部からの3次元ノイズ低減部30への入力に対応し、(B)が、電子ズーム部50からの3次元ノイズ低減部30への入力に対応し、(C)が、電子ズーム部50における電子ズーム処理の倍率に対応し、(D)が、3次元ノイズ低減部30からの後段及びフレームメモリ40への出力に対応する。また、図10においては、外部より3次元ノイズ低減部30に入力される第nフレームの信号をFn、電子ズーム部50より3次元ノイズ低減部30に入力される、3次元ノイズ処理及び電子ズーム処理後の第nフレームの信号をFNZn、3次元ノイズ低減部30より後段及びフレームメモリ40に出力される、3次元ノイズ低減処理後の第nフレームの信号をFNnと表記している。そして、αn、n-1は、第nフレーム撮影時の光学ズーム倍率と、第n−1フレーム撮影時の光学ズーム倍率との比であることとする。
図9及び図10に示す通り、3次元ノイズ低減部30において、第nフレームの信号Fnに対する3次元ノイズ低減処理を施す際には、第n−1フレームの信号Fn−1に対する3次元ノイズ低減処理と同様に、まず、フレームメモリ40より電子ズーム部50に、1フレーム前の3次元ノイズ低減処理後の信号FNn−1が入力される。そして、次に、電子ズーム部50は、フレームメモリ40より入力された信号FNn−1に対して、倍率α=αn、n-1で電子ズーム処理を施し、得られた信号FNZn−1を3次元ノイズ低減部30に入力する。これによって、3次元ノイズ低減処理部30には、信号Fnと、信号FNZn−1とが同時に入力されることとなる。そして、次に、3次元ノイズ低減部30は、電子ズーム部50より入力された信号FNZn−1を用いて、外部より入力された信号Fnに対して3次元ノイズ低減処理を施し、得られた信号FNnを、後段及びフレームメモリ40に出力する。
なお、3次元ノイズ低減処理部30に、信号Fn及び信号FNZn−1が同時に入力されるとは、各フレームの信号Fn,FNZn−1における同一画素位置の信号値が同時に入力されることである。即ち、電子ズーム部50では、3次元ノイズ低減処理部30に対して入力される信号Fnの信号値と同一画素位置となる信号値が、信号Fnの信号値と同時に3次元ノイズ低減処理部30に出力されるように、タイミング信号発生回路501が、アドレス計算部502、リードバッファ503、補間計数生成部504、及び補間値生成部505それぞれの動作タイミングを制御する。また、3次元ノイズ低減処理部30に、各フレームの信号Fn,FNZn−1における同一画素位置の信号値が同時に入力されるように同期させるために、電子ズーム部50内において、補間値生成部505の後段に、3次元ノイズ低減処理部30への出力タイミングを調整するバッファを備えるようにしても構わない。
上記構成のノイズ低減処理部を有する撮像装置においては、光学ズーム機能を用いて撮影倍率を変化させている間にも、電子ズーム部50によって電子ズーム処理を行うことによって、時間的に連続する2つのフレームの位置合わせを行うことから、3次元ノイズ低減処理が有効に働くこととなる。したがって、この動作を繰り返すことによって、十分にノイズが低減された画像を記録及び表示できることとなる。また、電子ズーム部50を光学ズームの倍率を補う目的で備えている撮像装置であれば、電子ズーム部50を共用できることから、装置が大型化することもない。
ここで、電子ズーム部50における電子ズーム処理の倍率が1未満のとき、つまり、縮小処理を行う際について、図11の例を用いて説明する。ここで、図11(a)においては、電子ズーム部50に入力される画像vが表され、図11(b)においては、図11(a)の画像vが電子ズーム部50によって倍率α=0.7、中心座標=画像vの中心座標で電子ズーム処理された後の画像vxが表されている。
このとき、電子ズーム処理は縮小処理となるため、電子ズーム部50は、縮小処理後の画像端部γの信号値を計算することができない。この場合には、電子ズーム部50は、縮小処理後の画像端部γの信号値を表すビットを全て0又は1に統一する処理を行う。このような処理を行うと、縮小処理後の画像端部γの信号値は最大値(画像端部γの信号値を表すビットを全て1にした場合)又は最小値(画像端部γの信号値を表すビットを全て0にした場合)となる(図11(b)には、縮小処理後の画像端部γの信号値(濃度)を最大値とした例が示されている)。このようにしたとき、縮小処理後の信号値を計算できない画像端部γにおける、フレーム間の差分信号値xが非常に大きな値となることから、ノイズ検出部31で得られるノイズ検出値f(x)及び帰還係数検出部33で得られる帰還係数kがほぼ0となり、縮小処理後の信号値を計算できない画像端部γにおける3次元ノイズ低減処理は殆ど行われないため、縮小処理による悪影響は発生しない。
(第2の実施形態)
次に、本発明の撮像装置の第2の実施形態について説明する。本実施形態の撮像装置は、画像処理部4に含まれる動きベクトル検出部にその特徴を有するものである。図12は、本実施形態の撮像装置の、画像処理部4に含まれる動きベクトル検出部の概略の構成を示すブロック図である。なお、以下では、現フレームの信号は外部から入力されることとするが、この外部とは、図1の撮像装置のAFE2、あるいは画像処理部4の動きベクトル検出部の前段の画像処理を行う部分を示す。
次に、本発明の撮像装置の第2の実施形態について説明する。本実施形態の撮像装置は、画像処理部4に含まれる動きベクトル検出部にその特徴を有するものである。図12は、本実施形態の撮像装置の、画像処理部4に含まれる動きベクトル検出部の概略の構成を示すブロック図である。なお、以下では、現フレームの信号は外部から入力されることとするが、この外部とは、図1の撮像装置のAFE2、あるいは画像処理部4の動きベクトル検出部の前段の画像処理を行う部分を示す。
動きベクトル検出部は、外部及び電子ズーム部50より信号が入力され、動きベクトルを算出する動きベクトル算出部60と;外部より信号が入力され、電子ズーム部50に信号を出力するフレームメモリ70と;フレームメモリ70及びバス17を介してCPU13より信号が入力され、動きベクトル算出部60に信号を出力する電子ズーム部50(図7参照)と;を有する。
ここで、動きベクトル算出部60の詳細について説明する。動きベクトル算出部60は、代表点マッチング法によって、外部より入力された現フレームの信号(以下、非基準画像)と、電子ズーム部50より入力された1フレーム前の信号(以下、基準画像)とから動きベクトルを算出する。また、第1の実施形態と同様、電子ズーム部50は、フレームメモリ70のアドレス指定を行うことで、1フレーム前の画像のうち、演算処理対象となる画素の信号値をフレームメモリ70から読み出して、画素毎に演算処理を行う。このとき、外部から入力されるフレームにおける画素位置と同一の画素位置の信号値が、動きベクトル算出部60で処理されるように、電子ズーム部50における演算処理の各動作タイミングが設定されている。
この連続する2フレームの信号が入力される動きベクトル算出部60での演算処理において使用される、代表点マッチング法について、簡単に説明する。代表点マッチング法においては、基準画像及び非基準画像それぞれに対して、例えば、図13に示すように、a×bの画素群(例えば、36×36の画素群)を1つの小領域eとして分割し、更に、このp×q領域の小領域e群(例えば、6×8の小領域e群)を1つの検出領域Eとして分割する。そして、基準画像では、各小領域eにおいて、図14(a)のように、小領域eを構成するa×bの画素から1つの画素が代表点Rとして設定され、又、非基準画像では、各小領域eにおいて、図14(b)のように、小領域eを構成するa×bの画素のうちの複数の画素がサンプリング点Sとして設定される(例えば、a×bの画素全てをサンプリング点Sとしても構わない)。
このように、小領域e及び検出領域Eを設定すると、基準画像と非基準画像の同一位置となる小領域eについて、非基準画像の各サンプリング点Sの画素値と基準画像の代表点Rの画素値との差が、各サンプリング点Sでの相関値として求められる。そして、検出領域E毎に、各小領域e間で代表点Rとの相対位置が同一となるサンプリング点Sの相関値を、検出領域Eを構成する全ての小領域e分だけ累積加算することで、各サンプリング点Sにおける累積相関値を取得する。これにより、検出領域E毎に、代表点Rとの相対位置が同一となるp×q個のサンプリング点Sの相関値が累積加算されることで、サンプリング点の個数分の累積相関値が得られる(例えば、a×bの画素全てをサンプリング点Sとする場合、a×b個の累積相関値が得られることとなる)。
このようにして、各検出領域Eに対して、各サンプリング点Sに対する累積相関値が求められると、各検出領域Eにおいて、代表点Rと相関性が最も高いと考えられる累積相関値が最小となるサンプリング点Sが検出される。そして、各検出領域Eでは、累積相関値が最小となるサンプリング点Sと代表点Rとの動きベクトルが、それぞれの画素位置によって求められる。その後、各検出領域Eそれぞれに対して求められた動きベクトルを平均することで、この平均値を、基準画像と非基準画像との間の画素単位による動きベクトルとして検出する。
次に、動きベクトル検出部の動作タイミングの詳細について、図15のタイミングチャートを用いて説明する。なお、以下では、第n−1フレームと、第nフレームとの間の動きベクトルVn、n-1を算出する際の動作を例に挙げて説明する。
ここで、図12及び図15においては、(A)が、外部からの動きベクトル算出部60及びフレームメモリ70への入力に対応し、(B)が、電子ズーム部50からの動きベクトル算出部60への入力に対応し、(C)が、電子ズーム部50における電子ズーム処理の倍率に対応する。また、図15においては、外部より動きベクトル算出部60及びフレームメモリ70に入力される第nフレームの信号をFn、電子ズーム部50より動きベクトル算出部60に入力される、電子ズーム処理後の第nフレームの信号をFZn、第n−1フレームと、第nフレームとの間の動きベクトルをVn、n-1と表記している。そして、αn、n-1は、第nフレーム撮影時の光学ズーム倍率と、第n−1フレーム撮影時の光学ズーム倍率との比であることとする。
図12及び図15に示す通り、動きベクトル算出部60において、第n−1フレームと、第nフレームとの間の動きベクトルVn、n-1を算出する際には、まず、外部からの第n−1フレームの信号Fn−1の入力が完了し、外部からの第nフレームの信号Fnの入力が開始するまでの間のブランキング時間Bn−1において、フレームメモリ70より電子ズーム部50に、信号Fn−1が入力される。そして、次に、電子ズーム部50は、ブランキング時間Bn−1中に、フレームメモリ70より入力された信号Fn−1に対して、倍率α=αn、n-1で電子ズーム処理を施し、得られた信号FZn−1を動きベクトル算出部60に入力する。これによって、ブランキング時間Bn−1後に、動きベクトル算出部60には、信号Fnと、信号FZn−1とが同時に処理されることとなる。そして、次に、動きベクトル算出部60は、外部より入力された信号Fnと、電子ズーム部50より入力された信号FZn−1とから、第n−1フレームと、第nフレームとの間の動きベクトルVn、n-1を算出する。
このように動作するとき、動きベクトル算出部60では、ブランキング時間Bn−1中に電子ズーム部50で電子ズーム処理が施された第n−1フレームの信号FZn−1について、不図示の代表点メモリで、その各小領域eにおける代表点R(図14(a)参照)の信号値を一時的に記憶する。そして、ブランキング時間Bn−1後に、代表点メモリに記憶した第n−1フレームの信号FZn−1による各小領域eの代表点Rの信号値から、外部より入力される第nフレームの信号Fnの信号値が属する小領域eと同一となる小領域eの代表点Rの信号値を、順番に読み出して、演算処理がなされる。
これにより、動きベクトル算出部60において、小領域e毎に、その代表点Rとなる信号FZn−1の信号値と、サンプリング点Sとなる信号Fnの信号値とに基づいて、その相関値を求めることとなる。よって、動きベクトル算出部60では、信号Fnが入力される期間において、第n−1フレームと、第nフレームとの間の動きベクトルをVn、n-1を算出することができる。
上記構成の動きベクトル検出部を有する撮像装置においては、光学ズーム機能を用いて撮影倍率を変化させている間にも、電子ズーム部50によって時間的に連続する2つのフレームの位置合わせを行うことから、正確な動きベクトルを算出することができる。したがって、この動作を繰り返すことによって、動きベクトルを用いた圧縮符号化処理や手ぶれ補正処理などを効果的に行うことができることとなる。また、電子ズーム部50を光学ズームの倍率を補う目的で備えている撮像装置であれば、電子ズーム部50を共用できることから、装置が大型化することもない。
ここで、電子ズーム部50における電子ズーム処理の倍率が1未満のとき、つまり、縮小処理を行う際の動作は、第1の実施形態の電子ズーム部50と同様である(図11参照)。つまり、電子ズーム部50は、縮小処理後の画像端部γの信号値を表すビットを全て0又は1に統一する処理を行う。このような処理を行うと、縮小処理後の画像端部γの信号値は最大値(画像端部γの信号値を表すビットを全て1にした場合)又は最小値(画像端部γの信号値を表すビットを全て0にした場合)となる(図11(b)には、縮小処理後の画像端部γの信号値(濃度)を最大値とした例が示されている)。このようにすることで、縮小処理後の信号値を計算できない画像端部γが動きベクトル算出に影響を与えることを防止することができる。
(第3の実施形態)
次に、本発明の撮像装置の第3の実施形態について説明する。本実施形態の撮像装置は、画像処理部4に含まれる手ぶれ補正部にその特徴を有するものである。図16は、本実施形態の撮像装置の、画像処理部4に含まれる手ぶれ補正部の概略の構成を示すブロック図である。なお、以下では、現フレームの信号は外部から入力されることとするが、この外部とは、図1の撮像装置のAFE2、あるいは画像処理部4の手ぶれ補正部の前段の画像処理を行う部分を示す。
次に、本発明の撮像装置の第3の実施形態について説明する。本実施形態の撮像装置は、画像処理部4に含まれる手ぶれ補正部にその特徴を有するものである。図16は、本実施形態の撮像装置の、画像処理部4に含まれる手ぶれ補正部の概略の構成を示すブロック図である。なお、以下では、現フレームの信号は外部から入力されることとするが、この外部とは、図1の撮像装置のAFE2、あるいは画像処理部4の手ぶれ補正部の前段の画像処理を行う部分を示す。
手ぶれ補正部は、外部及び電子ズーム部110より信号が入力され、手ぶれ補正値算出部120に信号を出力する動きベクトル算出部60と;外部より信号が入力され、電子ズーム部110に信号を出力するフレームメモリ100と;フレームメモリ100、手ぶれ補正値算出部120、及びバス17を介してCPU13より信号が入力され、動きベクトル算出部60又は後段に信号を出力する電子ズーム部110と;動きベクトル算出部60より信号が入力され、電子ズーム部110に信号を出力する手ぶれ補正値算出部120と;を有する。なお、ここでの後段とは、図1の圧縮処理部6、あるいは画像処理部4の手ぶれ補正部の後段の画像処理を行う部分を示し、以下でも同様である。
次に、電子ズーム部110の詳細について説明する。図17は、電子ズーム部110の詳細を示すブロック図である。なお、電子ズーム部110は、一般的には、光学ズームによる高倍率撮影を行おうとする際の、光学系の複雑化や大型化などの問題の発生を防止し、かつ高倍率撮影を行うために、光学ズームの倍率を補う目的で備えられるものである。この電子ズーム部110は、後述するように、フレームメモリ100のアドレス指定を行うことで、1フレーム前の画像のうち、演算処理対象となる画素の信号値をフレームメモリ100から読み出して、画素毎に演算処理を行う。
図17に示すように、電子ズーム部110は、手ぶれ補正値算出部120及びバス17を介してCPU13から信号が入力され、各ブロックに制御信号を出力するタイミング信号発生回路1101と;タイミング信号発生回路1101より信号が入力され、フレームメモリ100及び補間係数生成部1104に信号を出力するアドレス計算部1102と;フレームメモリ100より信号が入力され、これを一時記憶した後に補間値生成部1105に出力するリードバッファ1103と;アドレス計算部1102より信号が入力され、補間値生成部1105に信号を出力する補間係数生成部1104と;リードバッファ1103及び補間係数生成部1104より信号が入力され、後段又は動きベクトル算出部60に信号を出力する補間値生成部1105と;を有している。
次に、電子ズーム部110の動作の概略について説明する。電子ズーム部110は、フレームメモリ100より入力された信号に対して、手ぶれ補正値算出部120より入力された座標補正値P=(Px、Py)と、バス17を介してCPU13から入力されたズーム倍率α及び中心座標(Xc、Yc)とに基づく位置補正処理を行い、得られた位置補正後信号を後段又は動きベクトル算出部60に出力するものである。なお、ここで、Pxは、x軸方向の座標補正値であり、Pyは、y軸方向の座標補正値である。
具体的には、電子ズーム部110においては、まず、タイミング信号発生回路1101に、バス17を介してCPU13より、ズーム倍率α及び中心座標(Xc、Yc)が入力され、また、手ぶれ補正値算出部120より、座標補正値P=(Px、Py)が入力される。すると、タイミング信号発生回路1101は、アドレス計算部1102に、それぞれの座標(x、y)における位置補正処理後の信号値を求める指令を出力する。すると、アドレス計算部1102は、座標(x、y)、ズーム倍率α、中心座標(Xc、Yc)、及び座標補正値P=(Px、Py)から、以下の(4)式によって(Xad、Yad)を計算する。
そして、アドレス計算部1002では、([Xad]、[Yad])、([Xad+1]、[Yad])、([Xad]、[Yad+1])、([Xad+1]、[Yad+1])のそれぞれの信号値が記憶されているフレームメモリ100のアドレスを計算し、これをフレームメモリ100に出力する。また、Xad及びYadの各値を、補間係数生成部1104に出力する。なお、ここで、[]はガウス記号であることとする。
アドレス計算部1002で算出されたアドレスを表す値が与えられた、フレームメモリ100は、記憶しているフレームにおける、([Xad]、[Yad])、([Xad+1]、[Yad])、([Xad]、[Yad+1])、([Xad+1]、[Yad+1])のそれぞれの信号値をリードバッファ1103に出力する。また、補間係数生成部1104は、Xad及びYadの各値から、([Xad]、[Yad])、([Xad+1]、[Yad])、([Xad]、[Yad+1])、([Xad+1]、[Yad+1])の各座標の信号値の重み係数を例えば線形補間法によって算出する。
そして、補間値生成部1105は、リードバッファ1103より入力された([Xad]、[Yad])、([Xad+1]、[Yad])、([Xad]、[Yad+1])、([Xad+1]、[Yad+1])のそれぞれの信号値を、補間係数生成部1104より入力された重み係数によって重み付け加算し、得られた位置補正後の座標(x、y)の信号値を後段又は動きベクトル算出部60に出力する。
次に、手ぶれ補正値算出部120による座標補正値の算出方法について説明する。手ぶれ補正値算出部120は、動きベクトル算出部60から入力された動きベクトルから、以下の(5)式によって、第nフレームの座標補正値Snを算出し、これを電子ズーム部110に出力するものである。
つまり、手ぶれ補正値算出部120は、第n−1フレームと、第nフレームとの間の動きベクトルVn、n-1から、それ以前に算出されたN個の動きベクトルの平均値を引くことによって、第nフレームの座標補正値Snを算出する。ここで、直近のN期の動きベクトルの平均値は、撮像装置の振れが手ぶれによるもののみである場合には、中心極限定理よりその期待値が(0、0)となるものであり、これを第nフレームとの間の動きベクトルVn、n-1から引くことによって、意図的に撮像装置が振られた場合に(パン、チルト)、その影響を座標補正値から除くことができる。
次に、手ぶれ補正部の動作タイミングの詳細について、図18のタイミングチャートを用いて説明する。なお、以下では、外部からの第n−1フレームの信号Fn−1に対して、第n−1フレームの座標補正値Sn−1による手ぶれ補正を行う際の動作を例に挙げて説明する。
ここで、図16及び図18においては、(A)が、外部からの動きベクトル算出部60及びフレームメモリ100への入力に対応し、(B)が、電子ズーム部110からの動きベクトル算出部60又は後段への出力に対応し、(C)が、電子ズーム部110における位置補正処理の倍率に対応し、(D)が、手ブレ補正値算出部120より与えられる電子ズーム部110における位置補正処理の座標補正値に対応する。また、図18においては、外部より動きベクトル算出部60及びフレームメモリ100に入力される第nフレームの信号をFn、電子ズーム部110より動きベクトル算出部60に入力される、位置補正処理後の第nフレームの信号をFZn、電子ズーム部110より後段に出力される、位置補正処理後の第nフレームの信号をFSn、動きベクトル算出部60より手ぶれ補正値算出部120に入力される、第n−1フレームと、第nフレームとの間の動きベクトルをVn、n-1、手ぶれ補正値算出部120より電子ズーム部110に入力される、第nフレームの手ぶれ補正ベクトルをSnと表記している。そして、αn、n-1は、第nフレーム撮影時の光学ズーム倍率と、第n−1フレーム撮影時の光学ズーム倍率との比であることとする。
ここで、まず、外部からの第n−1フレームの信号Fn−1の入力が完了し、外部からの第nフレームの信号Fnの入力が開始するまでの間のブランキング時間Bn−1における、手ぶれ補正部の動作について説明する。手ぶれ補正部においては、ブランキング時間Bn−1において、第n−2フレームと、第n−1フレームとの間の動きベクトルVn-1、n-2が算出される。具体的には、まず、フレームメモリ100より電子ズーム部110に、信号Fn−1が入力される。そして、次に、電子ズーム部110は、フレームメモリ100より入力された信号Fn−1に対して、倍率α=αn、n-1、座標補正値P=(Px、Py)=(0、0)による位置補正処理を施し、得られた信号FZn−1を動きベクトル算出部60に入力する。
この電子ズーム部110における演算処理は、正確な動きベクトルVn、n-1を求めるために、信号Fnと、信号Fn−1との位置合わせを行うための電子ズーム処理である。そして、次に、動きベクトル算出部60は、ブランキング時間Bn−1前に外部より入力された信号Fn−1と、ブランキング時間Bn−2中に電子ズーム部110より入力された信号FZn−2とから、第n−2フレームと、第n−1フレームとの間の動きベクトルVn-1、n-2を算出し、これを手ぶれ補正値算出部120に入力する。
そして、次に、外部からの信号Fnの入力中における、手ぶれ補正部の動作について説明する。手ぶれ補正部においては、外部からの信号Fnの入力中に、位置補正処理後の第n−1フレームの信号FSn−1が得られる。具体的には、まず、手ぶれ補正値算出部120は、動きベクトル算出部60で直前に算出された動きベクトルVn-1、n-2と、それ以前に入力された動きベクトルVn-N-1、n-N〜Vn-3、n-2とを用いた、上述の(5)式の演算を行うことで、第n−1フレームの座標補正値Sn−1を算出し、これを電子ズーム部110に入力する。そして、次に、電子ズーム部110は、フレームメモリ100に記憶された信号Fn−1に対して、倍率α=1、座標補正値P=Sn−1による位置補正処理を施すことによって手ぶれ補正を行い、得られた位置補正処理後の第n−1フレームの信号FSn−1を後段に出力する。
このように動作するとき、動きベクトル算出部60では、第2の実施形態と同様、ブランキング時間Bn−1中に電子ズーム部100で電子ズーム処理が施された第n−1フレームの信号FZn−1について、不図示の代表点メモリで、その各小領域eにおける代表点R(図14(a)参照)の信号値を一時的に記憶する。そして、ブランキング時間Bn−1後に、代表点メモリに記憶した第n−1フレームの信号FZn−1による各小領域eの代表点Rの信号値から、外部より入力される第nフレームの信号Fnの信号値が属する小領域eと同一となる小領域eの代表点Rの信号値を、順番に読み出して、演算処理がなされる。
これにより、動きベクトル算出部60において、小領域e毎に、その代表点Rとなる信号FZn−1の信号値と、サンプリング点Sとなる信号Fnの信号値とに基づいて、その相関値を求めることとなる。よって、動きベクトル算出部60では、信号Fnが入力される期間において、第n−1フレームと、第nフレームとの間の動きベクトルVn、n-1を算出することができる。
また、電子ズーム部110では、上述したように、第n−1フレームと、第nフレームとの間の動きベクトルVn、n-1を算出した後に、第n−1フレームの信号Fn−1に対して、手ぶれ補正値算出部120からの座標補正値Sn−1による位置補正処理を施す。よって、フレームメモリ100だけの構成とするだけでなく、電子ズーム部110において、動きベクトル算出部60に入力するための電子ズーム処理を行ってから、座標補正値Sn−1による位置補正処理を行うまで、第n−1フレームの信号Fn−1を一時的に記憶するフレームメモリを備えるものとしても構わない。
上記構成の手ぶれ補正部を有する撮像装置においては、光学ズーム機能を用いて撮影倍率を変化させている間にも、電子ズーム部110によって時間的に連続する2つのフレームの位置合わせを行うことから、正確な動きベクトルを算出することができ、これを用いた手ぶれ補正処理を効果的に行うことができることとなる。また、電子ズーム処理及び手ぶれ補正処理を共通の回路である電子ズーム部110において行うので、回路規模の増大を防止できることとなる。
(第4の実施形態)
次に、本発明の撮像装置の第4の実施形態について説明する。本実施形態の撮像装置は、画像処理部4に含まれる手ぶれ補正及びノイズ低減部にその特徴を有するものである。図19は、本実施形態の撮像装置の、画像処理部4に含まれる手ぶれ補正及びノイズ低減部の概略の構成を示すブロック図である。なお、以下では、現フレームの信号は外部から入力されることとするが、この外部とは、図1の撮像装置のAFE2、あるいは画像処理部4の手ぶれ補正及びノイズ低減部の前段の画像処理を行う部分のことを示す。
次に、本発明の撮像装置の第4の実施形態について説明する。本実施形態の撮像装置は、画像処理部4に含まれる手ぶれ補正及びノイズ低減部にその特徴を有するものである。図19は、本実施形態の撮像装置の、画像処理部4に含まれる手ぶれ補正及びノイズ低減部の概略の構成を示すブロック図である。なお、以下では、現フレームの信号は外部から入力されることとするが、この外部とは、図1の撮像装置のAFE2、あるいは画像処理部4の手ぶれ補正及びノイズ低減部の前段の画像処理を行う部分のことを示す。
手ぶれ補正及びノイズ低減部は、外部及び電子ズーム部210より信号が入力され、手ぶれ補正値算出部120及び電子ズーム部230に信号を出力する動きベクトル算出部60と;外部より信号が入力され、電子ズーム部210に信号を出力するフレームメモリ200と;フレームメモリ200、手ぶれ補正値算出部120、及びバス17を介してCPU13より信号が入力され、動きベクトル算出部60又は3次元ノイズ低減部30に信号を出力する、電子ズーム部110とその構成が等しい(図17参照)電子ズーム部210と;動きベクトル算出部60より信号が入力され、電子ズーム部210及び電子ズーム部230に信号を出力する手ぶれ補正値算出部120と;電子ズーム部210及び電子ズーム部230より信号が入力され、フレームメモリ220及び後段に信号を出力する3次元ノイズ低減部30と;3次元ノイズ低減部30より信号が入力され、電子ズーム部230に信号を出力するフレームメモリ220と;動きベクトル算出部60、手ぶれ補正値算出部120、フレームメモリ220、及びバス17を介してCPU13より信号が入力され、3次元ノイズ低減部30に信号を出力する、電子ズーム部110とその構成が等しい(図17参照)電子ズーム部230と;を有する。なお、ここでの後段とは、図1の圧縮処理部6、あるいは画像処理部4の手ぶれ補正及びノイズ低減部の後段の画像処理を行う部分を示し、以下でも同様である。
なお、第3の実施形態と同様、電子ズーム部210は、フレームメモリ200のアドレス指定を行うことで、1フレーム前の画像のうち、演算処理対象となる画素の信号値をフレームメモリ200から読み出して、画素毎に演算処理を行う。また、電子ズーム部230は、フレームメモリ220のアドレス指定を行うことで、1フレーム前の画像のうち、演算処理対象となる画素の信号値をフレームメモリ220から読み出して、画素毎に演算処理を行う。
そして、電子ズーム部210では、外部から入力されるフレームにおける画素位置と同一の画素位置の信号値が、動きベクトル算出部60で処理されるように、その演算処理の各動作タイミングが設定される。また、電子ズーム部230では、電子ズーム部210から入力されるフレームにおける画素位置と同一の画素位置の信号値が、3次元ノイズ低減部30で処理されるように、その演算処理の各動作タイミングが設定される。
次に、手ぶれ補正及びノイズ低減部の動作タイミングの詳細について、図20のタイミングチャートを用いて説明する。なお、以下では、外部からの第n−1フレームの信号Fn−1に対する3次元ノイズ低減処理を行う際の動作を例に挙げて説明する。
ここで、図19及び図20においては、(A)が、外部からの動きベクトル算出部60及びフレームメモリ200への入力に対応し、(B)が、電子ズーム部210からの動きベクトル算出部60又は3次元ノイズ低減部30への入力に対応し、(C)が、電子ズーム部210における位置補正処理の倍率に対応し、(D)が、手ブレ補正値算出部120より与えられる電子ズーム部210における位置補正処理の座標補正値に対応し、(E)が、電子ズーム部230からの3次元ノイズ低減部30への入力に対応し、(F)が、電子ズーム部230における位置補正処理の倍率に対応し、(G)が、電子ズーム部230における位置補正処理の座標補正値に対応し、(H)が、3次元ノイズ低減処理部30からの後段への出力に対応する。
また、図20においては、外部より動きベクトル算出部60及びフレームメモリ200に入力される第nフレームの信号をFn、電子ズーム部210より動きベクトル算出部60に入力される、位置補正処理後の第nフレームの信号をFZn、電子ズーム部210より3次元ノイズ低減部30に入力される、位置補正処理後の第nフレームの信号をFSn、動きベクトル算出部60より手ぶれ補正値算出部120及び電子ズーム部230に入力される、第n−1フレームと、第nフレームとの間の動きベクトルをVn、n-1、手ぶれ補正値算出部120より電子ズーム部210及び電子ズーム部230に入力される、第nフレームの手ぶれ補正ベクトルをSn、3次元ノイズ低減部30よりフレームメモリ220及び後段に出力される、3次元ノイズ低減処理後の第nフレームの信号をFSNn、電子ズーム部230より3次元ノイズ低減処理部30に入力される、3次元ノイズ低減処理及び位置補正処理後の第nフレームの信号をFSNZnと表記している。そして、αn、n-1は、第nフレーム撮影時の光学ズーム倍率と、第n−1フレーム撮影時の光学ズーム倍率との比であることとする。
ここで、まず、外部からの第n−1フレームの信号Fn−1の入力が完了し、外部からの第nフレームの信号Fnの入力が開始するまでの間のブランキング時間Bn−1における、手ぶれ補正及びノイズ低減部の動作について説明する。手ぶれ補正及びノイズ低減部においては、ブランキング時間Bn−1において、第n−2フレームと、第n−1フレームとの間の動きベクトルVn-1、n-2が算出される。具体的には、まず、フレームメモリ200より電子ズーム部210に、信号Fn−1が入力される。そして、次に、電子ズーム部210は、フレームメモリ200より入力された信号Fn−1に対して、倍率α=αn、n-1、座標補正値P=(Px、Py)=(0、0)による位置補正処理を施し、得られた信号FZn−1を動きベクトル算出部60に入力する。
この電子ズーム部210における演算処理は、正確な動きベクトルVn、n-1を求めるために、信号Fnと、信号Fn−1との位置合わせを行うための電子ズーム処理である。また、動きベクトル算出部60は、ブランキング時間Bn−1前に外部より入力された信号Fn−1と、ブランキング時間Bn−2中に電子ズーム部210より入力された信号FZn−2とから、第n−2フレームと、第n−1フレームとの間の動きベクトルVn-1、n-2を算出し、これを手ぶれ補正値算出部120に入力する。
このように動作するとき、動きベクトル算出部60では、第2又は第3の実施形態と同様、ブランキング時間Bn−1中に電子ズーム部210で電子ズーム処理が施された第n−1フレームの信号FZn−1について、不図示の代表点メモリで、その各小領域eにおける代表点R(図14(a)参照)の信号値を一時的に記憶する。そして、ブランキング時間Bn−1後に、代表点メモリに記憶した第n−1フレームの信号FZn−1による各小領域eの代表点Rの信号値から、外部より入力される第nフレームの信号Fnの信号値が属する小領域eと同一となる小領域eの代表点Rの信号値を、順番に読み出して、演算処理がなされる。よって、動きベクトル算出部60では、信号Fnが入力される期間において、第n−1フレームと、第nフレームとの間の動きベクトルVn、n-1を算出することができる。
そして、次に、外部からの信号Fnの入力中における、手ぶれ補正及びノイズ低減部の動作について説明する。手ぶれ補正及びノイズ低減部においては、外部からの信号Fnの入力中に、3次元ノイズ低減処理後の第n−1フレームの信号FSNn−1が得られる。具体的には、まず、手ぶれ補正値算出部120は、それ以前に入力された動きベクトルから、第n−1フレームの座標補正値Sn−1を算出し、これを電子ズーム部210に入力する。そして、次に、電子ズーム部210は、ブランキング時間Bn−1中にフレームメモリ200より入力された信号Fn−1に対して、倍率α=1、座標補正値P=Sn−1による位置補正処理を施すことによって手ぶれ補正を行い、得られた位置補正処理後の第n−1フレームの信号FSn−1を3次元ノイズ低減部30に入力する。
このように、電子ズーム部210では、上述したように、第n−1フレームと、第nフレームとの間の動きベクトルVn、n-1を算出した後に、第n−1フレームの信号Fn−1に対して、手ぶれ補正値算出部120からの座標補正値Sn−1による位置補正処理を施す。よって、電子ズーム部210において、動きベクトル算出部60に入力するための電子ズーム処理を行ってから、3次元ノイズ低減部30に入力するための座標補正値Sn−1による位置補正処理を行うまで、第n−1フレームの信号Fn−1を一時的に記憶するフレームメモリを備えるものとしても構わない。
このようにして、位置補正処理後の第n−1フレームの信号FSn−1が3次元ノイズ低減部30に入力されるとき、外部からの信号Fn−1の入力中に3次元ノイズ低減部30よりフレームメモリ220に入力された3次元ノイズ低減処理後の第n−2フレームの信号FSNn−2が、電子ズーム部230に入力される。そして、次に、電子ズーム部230は、フレームメモリ220より入力された信号FSNn−2に対して、倍率α=αn-1、n-2、P=Vn-1、n-2−Sn−1による位置補正処理を施し、得られた3次元ノイズ低減処理及び位置補正処理後の第n−2フレームの信号FSNZn−2を3次元ノイズ低減部30に入力する。
この電子ズーム部230における演算処理は、手ぶれ補正の影響及び動きベクトルの影響を考慮して、信号FSn−1と、信号FSNn−2との位置あわせを行うための位置補正処理である。そして、次に、3次元ノイズ低減部30は、電子ズーム部230より入力された信号FSNZn−2を用いて、電子ズーム部210より入力された位置補正処理後の第n−1フレームの信号FSn−1に対する3次元ノイズ低減処理を施し、得られた3次元ノイズ低減処理後の第n−1フレームの信号FSNn−1を後段及びフレームメモリ220に出力する。
上記構成の手ぶれ補正及びノイズ低減部を有する撮像装置においては、光学ズーム機能を用いて撮影倍率を変化させている間にも、電子ズーム部210及び電子ズーム部230によって時間的に連続する2つのフレームの位置合わせを行うことから、正確な動きベクトルの算出、効果的な手ぶれ補正処理、効果的なノイズ低減処理を行うことができる。
なお、本発明は上記の実施形態に限定されず、本発明の主旨を逸脱しない範囲で種々の変更が可能である。例えば、撮像部1の構成は図2に示されるものに限定されず、光学ズーム機能を有するものであればどのような構成であってもかまわない。
本発明は、光学ズーム機能を有する撮像装置による撮影によって得られた画像信号を処理する画像処理装置及び画像処理方法として有効である。また、本発明は、そのような画像処理装置を有する撮像装置として有効である。
1 撮像部
30 3次元ノイズ低減部(画像処理部)
50 電子ズーム部(倍率補正部)
60 動きベクトル算出部(画像処理部)
110 電子ズーム部(倍率補正部、手ぶれ補正部)
120 手ぶれ補正値算出部
210 電子ズーム部(倍率補正部、手ぶれ補正部)
230 電子ズーム部(位置補正部)
30 3次元ノイズ低減部(画像処理部)
50 電子ズーム部(倍率補正部)
60 動きベクトル算出部(画像処理部)
110 電子ズーム部(倍率補正部、手ぶれ補正部)
120 手ぶれ補正値算出部
210 電子ズーム部(倍率補正部、手ぶれ補正部)
230 電子ズーム部(位置補正部)
Claims (8)
- 光学機構による撮影被写体の画角設定を行う光学ズーム機能と、当該光学ズーム機能が限界となるときに撮影した画像に対して解像度変換を施すことで画角設定を行う電子ズーム機能と、を有する撮像装置による、撮影によって得られた画像信号が、フレーム単位で入力される画像処理装置であって、
第n−1フレームの入力画像信号又は所定の処理が施された後の前記第n−1フレームの入力画像信号に対して、第nフレーム撮影時の光学ズーム倍率と、第n−1フレーム撮影時の光学ズーム倍率との比を、前記電子ズーム機能におけるズーム倍率として、前記電子ズーム機能によるズーム処理を施すことによって、第n−1電子ズーム後信号を得る倍率補正部と、
第nフレームの入力画像信号と、前記倍率補正部で得られた前記第n−1電子ズーム後信号との相対関係に基づく画像処理を施す画像処理部と、
を有することを特徴とする画像処理装置。 - 前記画像処理部は、前記第nフレームの入力画像信号に対して、時間的に隣接する画像信号との間における動き量を考慮した差分値に基づくノイズを除去する3次元ノイズ低減処理を施すことによって第nノイズ低減後信号を得るものであって、
前記倍率補正部は、第n−1ノイズ低減後信号に対して、第nフレーム撮影時の光学ズーム倍率と、第n−1フレーム撮影時の光学ズーム倍率との比を、前記電子ズーム機能におけるズーム倍率として、前記電子ズーム機能によるズーム処理を施すことによって前記第n−1電子ズーム後信号を得るものであって、
前記画像処理部は、前記第nフレームの入力画像信号に対して、前記第n−1電子ズーム後信号を用いた前記3次元ノイズ低減処理を施すことによって前記第nノイズ低減後信号を得ることを特徴とする請求項1に記載の画像処理装置。 - 前記倍率補正部は、前記第n−1フレームの入力画像信号に対して、第nフレーム撮影時の光学ズーム倍率と、第n−1フレーム撮影時の光学ズーム倍率との比を、前記電子ズーム機能におけるズーム倍率として、前記電子ズーム機能によるズーム処理を施すことによって前記第n−1電子ズーム後信号を得るものであって、
前記画像処理部は、前記第nフレームの入力画像信号と、前記第n−1電子ズーム後信号とから、第n動きベクトルを算出するものであることを特徴とする請求項1に記載の画像処理装置。 - 前記画像処理部で算出された前記第n動きベクトルまでの動きベクトルから、第n手ぶれ補正値を算出する手ぶれ補正値算出部と、
前記第nフレームの入力画像信号に対して、前記第n手ぶれ補正値を用いた手ぶれ補正処理を施すことによって第n手ぶれ補正後信号を得る手ぶれ補正部と、
を有することを特徴とする請求項3に記載の画像処理装置。 - 前記第n手ぶれ補正後信号に対して、時間的に隣接する画像信号との間における動き量を考慮した差分値に基づくノイズを除去する3次元ノイズ低減処理を施すことによって第nノイズ低減後信号を得る3次元ノイズ低減部と、
第n−1ノイズ低減後信号に対して、第nフレーム撮影時の光学ズーム倍率と、第n−1フレーム撮影時の光学ズーム倍率との比を、前記電子ズーム機能におけるズーム倍率として、前記電子ズーム機能によるズーム処理を施した後に、前記第n動きベクトル及び前記第n手ぶれ補正値を用いた位置補正処理を施すことによって第n−1位置補正後信号を得る位置補正部と、
を有し、
前記3次元ノイズ低減部は、前記第n手ぶれ補正後信号に対して、前記第n−1位置補正後信号を用いた前記3次元ノイズ低減処理を施すことによって前記第nノイズ低減後信号を得ることを特徴とする請求項4に記載の画像処理装置。 - 前記倍率補正部と、前記手ぶれ補正部とは同一の回路によって実現されることを特徴とする請求項4又は5に記載の画像処理装置。
- 撮影被写体の画角設定を行う光学機構を備えるとともに、当該光学機構による光学ズーム機能を用いた撮影が可能な撮像部と、
当該光学ズーム機能が限界となるときに撮影した画像に対して解像度変換を施すことで画角設定を行う電子ズーム機能を有する電子ズーム処理部を有する画像処理装置と、
を備え、
前記画像処理装置を、請求項1〜6のいずれかに記載の画像処理装置とするとともに、
前記電子ズーム処理部を前記倍率補正部とすることを特徴とする撮像装置。 - 光学機構による撮影被写体の画角設定を行う光学ズーム機能と、当該光学ズーム機能が限界となるときに撮影した画像に対して解像度変換を施すことで画角設定を行う電子ズーム機能と、を有する撮像装置による、撮影によって得られた画像信号に施す画像処理方法であって、
第n−1フレームの入力画像信号又は所定の処理が施された後の前記第n−1フレームの入力画像信号に対して、第nフレーム撮影時の光学ズーム倍率と、第n−1フレーム撮影時の光学ズーム倍率との比を、前記電子ズーム機能におけるズーム倍率として、前記電子ズーム機能によるズーム処理を施すことによって第n−1電子ズーム後信号を得る倍率補正ステップと、
第nフレームの入力画像信号と、前記倍率補正ステップで得られた前記第n−1電子ズーム後信号との相対関係に基づく画像処理を施す画像処理ステップと、
を有することを特徴とする画像処理方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2007172775A JP2009010896A (ja) | 2007-06-29 | 2007-06-29 | 画像処理装置、画像処理方法、及び撮像装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2007172775A JP2009010896A (ja) | 2007-06-29 | 2007-06-29 | 画像処理装置、画像処理方法、及び撮像装置 |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2009010896A true JP2009010896A (ja) | 2009-01-15 |
Family
ID=40325474
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2007172775A Pending JP2009010896A (ja) | 2007-06-29 | 2007-06-29 | 画像処理装置、画像処理方法、及び撮像装置 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2009010896A (ja) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2016208307A (ja) * | 2015-04-23 | 2016-12-08 | キヤノン株式会社 | 画像処理装置、その制御方法及びプログラム |
-
2007
- 2007-06-29 JP JP2007172775A patent/JP2009010896A/ja active Pending
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2016208307A (ja) * | 2015-04-23 | 2016-12-08 | キヤノン株式会社 | 画像処理装置、その制御方法及びプログラム |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5487722B2 (ja) | 撮像装置と振れ補正方法 | |
JP6385212B2 (ja) | 画像処理装置及び方法、撮像装置、及び画像生成装置 | |
US8072511B2 (en) | Noise reduction processing apparatus, noise reduction processing method, and image sensing apparatus | |
JP4956401B2 (ja) | 撮像装置及びその制御方法及びプログラム | |
JP4500875B2 (ja) | モーションブラー効果を除去する方法および装置 | |
JP5013932B2 (ja) | ノイズ低減装置、ノイズ低減方法、及び電子機器 | |
JP2009147658A (ja) | 撮像装置及びその制御方法及びプログラム | |
JP2007208580A (ja) | 撮像画像信号の歪み補正方法、撮像画像信号の歪み補正装置、撮像方法および撮像装置 | |
JP2007114466A (ja) | 手ぶれ補正機能を有する撮影装置 | |
JP2011114649A (ja) | 撮像装置 | |
JP2008160300A (ja) | 画像処理装置及び撮像装置 | |
JP2013165487A (ja) | 画像処理装置、撮像装置、およびプログラム | |
JP2008236289A (ja) | 撮像装置 | |
JP2010166512A (ja) | 撮像装置 | |
JP4125331B2 (ja) | 撮像装置及びその制御方法 | |
JP4742813B2 (ja) | 画像処理装置および画像処理方法 | |
JP2013165488A (ja) | 画像処理装置、撮像装置、およびプログラム | |
JP2018148512A (ja) | 撮像装置と撮像装置の制御方法、及びプログラム | |
JP2007110636A (ja) | カメラ装置 | |
JP2011114486A (ja) | 撮像装置 | |
JP5393877B2 (ja) | 撮像装置および集積回路 | |
JP2012235198A (ja) | 撮像装置 | |
JP2006115116A (ja) | 画像処理装置及び電子カメラ | |
JP2009010896A (ja) | 画像処理装置、画像処理方法、及び撮像装置 | |
JP2018182564A (ja) | 映像再生装置とその制御方法及びプログラム |