JP2011205527A - Imaging apparatus, method and program - Google Patents
Imaging apparatus, method and program Download PDFInfo
- Publication number
- JP2011205527A JP2011205527A JP2010072500A JP2010072500A JP2011205527A JP 2011205527 A JP2011205527 A JP 2011205527A JP 2010072500 A JP2010072500 A JP 2010072500A JP 2010072500 A JP2010072500 A JP 2010072500A JP 2011205527 A JP2011205527 A JP 2011205527A
- Authority
- JP
- Japan
- Prior art keywords
- zoom
- noise
- pattern
- unit
- zoom lens
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
Images
Landscapes
- Circuit For Audible Band Transducer (AREA)
- Lens Barrels (AREA)
- Camera Bodies And Camera Details Or Accessories (AREA)
- Studio Devices (AREA)
Abstract
Description
本発明は、撮像装置及び方法、並びにプログラムに関し、特に、メモリ容量の増大を抑制しつつ、ノイズの低減効果を向上させることができるようにした、撮像装置及び方法、並びにプログラムに関する。 The present invention relates to an imaging apparatus, method, and program, and more particularly, to an imaging apparatus, method, and program that can improve noise reduction while suppressing an increase in memory capacity.
一般的に、デジタルカメラは、被写体を撮像して、その結果得られる動画像のデータを記録する場合、被写体の周囲の音声のデータも併せて記録することができる。なお、このような被写体の周囲の音声のように、記録の目的となる音声を、以下、「目的音」と称する。また、デジタルカメラは、レンズを移動させることで、撮像中に被写体をフォーカスしたりズームすることができる。 Generally, when a digital camera images a subject and records moving image data obtained as a result, it can also record audio data around the subject. Note that the sound to be recorded, such as the sound around the subject, is hereinafter referred to as “target sound”. Also, the digital camera can focus or zoom the subject during imaging by moving the lens.
しかしながら、レンズの移動中にデジタルカメラから発生する音声、例えば、レンズを駆動するズーム駆動機構やフォーカス駆動機構といったレンズデバイスの駆動音が、ノイズとして目的音に重畳されてしまう。 However, sound generated from the digital camera during the movement of the lens, for example, driving sound of a lens device such as a zoom driving mechanism or a focus driving mechanism for driving the lens is superimposed on the target sound as noise.
このため、従来から、このようなノイズを低減させることが望まれている。このような要望に応えるための従来の手法として、「スペクトルサブトラクション法」と称される手法が知られている。(例えば、特許文献1,2参照)。
For this reason, it has been conventionally desired to reduce such noise. As a conventional technique for meeting such a demand, a technique called “spectral subtraction method” is known. (For example, refer to
スペクトルサブトラクション法とは、次のような手法をいう。 The spectral subtraction method refers to the following method.
すなわち、レンズの複数の移動パターンについて、各移動パターン毎に、予めノイズが測定され、測定されたノイズに対してFFT(Fast Fourier Transform:高速フーリエ変換処理)が施され、その結果得られる周波数領域のデータが所定のテーブルに格納される。ここで、ノイズの周波数領域のデータを、以下、「ノイズパターン」と称する。レンズの各移動パターン毎のノイズパターンを格納するテーブルを、以下、「ノイズテーブル」と称する。 That is, for a plurality of movement patterns of the lens, noise is measured in advance for each movement pattern, FFT (Fast Fourier Transform) is performed on the measured noise, and the resulting frequency domain Are stored in a predetermined table. Here, the data in the frequency domain of noise is hereinafter referred to as “noise pattern”. A table that stores a noise pattern for each movement pattern of the lens is hereinafter referred to as a “noise table”.
このようなノイズテーブルが予めデジタルカメラのメモリに記録された状態で、目的音にノイズが重畳された音声のデータが提供されると、デジタルカメラは、重畳されたノイズに対応するノイズパターンをノイズテーブルから取得する。次に、デジタルカメラは、周波数領域で、提供された音声のデータから、取得したノイズパターンを減算することで、ノイズが低減された目的音のデータを抽出する。 When audio data with noise superimposed on the target sound is provided with such a noise table pre-recorded in the memory of the digital camera, the digital camera displays a noise pattern corresponding to the superimposed noise. Get from table. Next, the digital camera extracts the target sound data with reduced noise by subtracting the acquired noise pattern from the provided sound data in the frequency domain.
しかしながら、従来のスペクトルサブトラクション法では、ノイズテーブルに格納するノイズパターンの種類数が増加すると、ノイズの低減効果は高くなるが、ノイズテーブルのデータ容量が増大するため、その分だけ、ノイズテーブルを記録するメモリの容量を増加させる必要がある。ところが、メモリの容量の増加はコストアップにつながることから好ましくない。特に、デジタルカメラとしてローエンドのモデルの需要増大が予測されているが、このような低コストで製作しなければならないローエンドのモデルに対して、コストアップにつながるメモリの容量の増加は好ましくない。 However, in the conventional spectral subtraction method, if the number of types of noise patterns stored in the noise table increases, the noise reduction effect increases, but the data capacity of the noise table increases, so the noise table is recorded accordingly. It is necessary to increase the memory capacity. However, an increase in memory capacity is not preferable because it leads to an increase in cost. In particular, an increase in demand for a low-end model as a digital camera is predicted. However, an increase in memory capacity that leads to an increase in cost is not preferable for such a low-end model that must be manufactured at a low cost.
逆に、従来のスペクトルサブトラクション法では、ノイズテーブルに格納するノイズパターンの種類数が減少すると、ノイズテーブルのデータ容量が減少するため、その分だけ、ノイズテーブルを記録するメモリの容量を減少させることができる。ところが、その分だけノイズの低減効果は低くなる。 On the other hand, in the conventional spectral subtraction method, if the number of types of noise patterns stored in the noise table decreases, the data capacity of the noise table decreases. Therefore, the capacity of the memory storing the noise table must be reduced accordingly. Can do. However, the noise reduction effect is reduced accordingly.
本発明は、このような状況に鑑みてなされたものであり、メモリ容量の増大を抑制しつつ、ノイズの低減効果を向上させることができるようにするものである。 The present invention has been made in view of such circumstances, and is intended to improve the noise reduction effect while suppressing an increase in memory capacity.
本発明の一側面の撮像装置は、ズームレンズと、前記ズームレンズを駆動するズーム駆動機構とを少なくとも含み、被写体を撮像することによって前記被写体の画像データを出力する撮像手段と、外部から入力される音声のデータを取得し、入力音声データとして出力する音声処理手段と、前記ズーム駆動機構により駆動された前記ズームレンズが開始位置から終了位置まで移動するズームパターンとして、前記開始位置と前記終了位置との組み合わせを変化させた複数のズームパターンが予め定義されており、前記ズームパターン毎に、前記ズーム駆動機構の駆動音を含むノイズが実測され、実測された前記ノイズのデータをノイズパターンとして保持する保持手段と、前記撮像手段により前記被写体が撮像されている最中の所定の期間に前記ズーム駆動機構により前記ズームレンズが駆動された場合、前記所定の期間における前記ズームレンズの移動が、複数の前記ズームパターンのうち何れに該当するのかを認識する認識手段と、前記認識手段により認識された前記ズームパターンに対応する前記ノイズパターンを前記保持手段から選択するノイズパターン選択手段と、前記ノイズパターン選択手段により選択された前記ノイズパターンと、前記所定の期間に前記音声処理手段から出力された前記入力音声データとを用いて、前記所定の期間に外部から入力された前記音声から前記ノイズを低減するズームノイズ低減処理を実行するノイズ低減処理手段とを備える。 An imaging apparatus according to an aspect of the present invention includes at least a zoom lens and a zoom drive mechanism that drives the zoom lens, and is input from outside, an imaging unit that outputs image data of the subject by imaging the subject. Sound processing means for acquiring sound data and outputting as input sound data; and a zoom pattern in which the zoom lens driven by the zoom drive mechanism moves from a start position to an end position, the start position and the end position A plurality of zoom patterns in which the combination of the zoom driving mechanism is changed is pre-defined, and noise including the driving sound of the zoom driving mechanism is measured for each zoom pattern, and the measured noise data is stored as a noise pattern. And holding means for performing a predetermined period during which the subject is being imaged by the imaging means. When the zoom lens is driven by the zoom drive mechanism, a recognition unit that recognizes which of the plurality of zoom patterns corresponds to the movement of the zoom lens during the predetermined period, and the recognition unit recognizes A noise pattern selection unit that selects the noise pattern corresponding to the zoom pattern that has been selected from the holding unit, the noise pattern that is selected by the noise pattern selection unit, and the audio processing unit that is output during the predetermined period. Noise reduction processing means for executing zoom noise reduction processing for reducing the noise from the voice input from the outside during the predetermined period using the input voice data.
前記音声処理手段は、時間領域の入力音声データを出力し、前記保持手段は、複数の前記ズームパターン毎に、実測された音声の周波数領域のデータをノイズパターンとして保持しており、前記ノイズ低減処理手段は、前記所定の期間に前記音声処理手段により出力された前記時間領域の入力音声データを、周波数領域の入力音声データに変換する変換手段と、前記変換手段により変換された前記周波数領域の入力音声データから、前記ノイズパターン選択手段により選択された前記ノイズパターンを減算し、その結果得られる、前記所定の期間に外部から入力された前記音声から前記ノイズが低減された音声のデータを、周波数領域のノイズ低減音声データとして出力する減算処理手段と、前記減算処理手段から出力された前記周波数領域のノイズ低減音声データを、時間領域の音声データに逆変換する逆変換手段とを有することができる。 The voice processing means outputs time-domain input voice data, and the holding means holds the actually measured voice frequency domain data as a noise pattern for each of the plurality of zoom patterns, and reduces the noise. The processing means converts the time domain input voice data output by the voice processing means during the predetermined period into frequency domain input voice data; and the frequency domain converted by the conversion means. Subtracting the noise pattern selected by the noise pattern selection means from the input voice data, and the resulting voice data with reduced noise from the voice input from the outside during the predetermined period, Subtraction processing means for outputting as noise reduction voice data in the frequency domain, and the frequency domain output from the subtraction processing means The noise reducing audio data may have an inverse conversion means for inversely converting the audio data in the time domain.
前記ズームレンズが、前記ズームレンズ駆動機構の駆動によって、複数の前記ズームパターンのうちの何れかのパターンに従って移動したとき、前記認識手段は、前記所定の期間にズームレンズが複数の前記ズームパターンのうちの何れのパターンに従って移動したのかを認識することによって、前記所定の期間における前記ズームレンズの移動に該当するズームパターンを認識することができる。 When the zoom lens is moved according to any one of the plurality of zoom patterns by the driving of the zoom lens driving mechanism, the recognizing unit is configured such that the zoom lens has a plurality of zoom patterns in the predetermined period. By recognizing which of the patterns is moved, it is possible to recognize a zoom pattern corresponding to the movement of the zoom lens in the predetermined period.
前記ズームレンズが、前記ズームレンズ駆動機構の駆動によって、連続移動したとき、前記認識手段は、前記所定の期間に前記ズームレンズが移動した軌跡が、複数の前記ズームパターンのうちの何れに属しているのかを判定し、属していると判定した前記ズームパターンを、前記所定の期間における前記ズームレンズの移動に該当するズームパターンとして認識することができる。 When the zoom lens is continuously moved by driving of the zoom lens driving mechanism, the recognizing unit indicates that the locus of movement of the zoom lens during the predetermined period belongs to any of the plurality of zoom patterns. It is possible to recognize the zoom pattern determined as belonging to the zoom pattern corresponding to the movement of the zoom lens during the predetermined period.
前記撮像手段は、フォーカスレンズと、前記フォーカスレンズ駆動機構とをさらに含み、前記保持手段は、さらに、前記フォーカス駆動機構の駆動音が含まれるノイズのデータのノイズパターンを保持することができる。 The imaging unit may further include a focus lens and the focus lens driving mechanism, and the holding unit may further hold a noise pattern of noise data including a driving sound of the focus driving mechanism.
本発明の一側面の撮像方法及びプログラムは、上述した本発明の一側面の撮像装置に対応する方法及びプログラムである。 An imaging method and program according to one aspect of the present invention are a method and program corresponding to the above-described imaging apparatus according to one aspect of the present invention.
本発明の一側面の撮像装置及び方法並びにプログラムにおいては、ズームレンズと、前記ズームレンズを駆動するズーム駆動機構とが少なくとも含まれ、被写体を撮像することによって前記被写体の画像データが出力される。外部から入力される音声のデータが取得され、入力音声データとして出力される。前記ズーム駆動機構により駆動された前記ズームレンズが開始位置から終了位置まで移動するズームパターンとして、前記開始位置と前記終了位置との組み合わせを変化させた複数のズームパターンが予め定義されており、前記ズームパターン毎に、前記ズーム駆動機構の駆動音を含むノイズが実測され、実測された前記ノイズのデータがノイズパターンとして保持される。前記被写体が撮像されている最中の所定の期間に前記ズーム駆動機構により前記ズームレンズが駆動された場合、前記所定の期間における前記ズームレンズの移動が、複数の前記ズームパターンのうち何れに該当するのかが認識され、認識された前記ズームパターンに対応する前記ノイズパターンが選択される。選択された前記ノイズパターンと、前記所定の期間に出力された前記入力音声データとを用いて、前記所定の期間に外部から入力された前記音声から前記ノイズを低減するズームノイズ低減処理が実行される。 The imaging apparatus, method, and program according to one aspect of the present invention include at least a zoom lens and a zoom driving mechanism that drives the zoom lens, and image data of the subject is output by imaging the subject. Audio data input from the outside is acquired and output as input audio data. As a zoom pattern in which the zoom lens driven by the zoom driving mechanism moves from a start position to an end position, a plurality of zoom patterns in which combinations of the start position and the end position are changed are defined in advance, For each zoom pattern, noise including the drive sound of the zoom drive mechanism is measured, and the measured noise data is held as a noise pattern. When the zoom lens is driven by the zoom driving mechanism during a predetermined period during which the subject is being imaged, the movement of the zoom lens during the predetermined period corresponds to any of the plurality of zoom patterns. The noise pattern corresponding to the recognized zoom pattern is selected. Using the selected noise pattern and the input audio data output during the predetermined period, a zoom noise reduction process is performed to reduce the noise from the audio input from the outside during the predetermined period. The
以上のごとく、本発明によれば、メモリ容量の増大を抑制しつつ、ノイズの低減効果を向上させることができる。 As described above, according to the present invention, it is possible to improve the noise reduction effect while suppressing an increase in memory capacity.
[撮像装置の外観構成例]
図1は、本発明が適用される撮像装置1の背面図である。
[External configuration example of imaging device]
FIG. 1 is a rear view of an
ここで、撮像装置1の「背面」とは、正面と対向する面をいう。「正面」とは、撮像時に被写体の側に向けられる面、すなわちレンズが設けられている面をいう。また、以下、背面と正面とに垂直な面のうち、撮影時に上側に配置される面を「上面」と称する。
Here, the “rear surface” of the
本実施形態では、図1に示されるように、撮像装置1は、デジタルカメラとして構成されている。図1に示されるように、撮像装置1の上面のうち、背面から見て右側には、画像のデータの記録指示を行う機能が割り当てられているシャッタキー11が設けられている。すなわち、ユーザは、被写体の画像が撮像されている時に、シャッタキー11を押下することで、撮像されている被写体の画像(以下、撮像画像と称する)のデータの記録を指示する。
In the present embodiment, as illustrated in FIG. 1, the
本実施形態では、ユーザは、動画像のデータの記録を指示する場合、メニューキー14を押下してメニュー画面を撮像装置1の表示部18に表示させた上で、十字キー15や決定キー16を適宜操作することで、撮像装置1の動作モードとして動画記録モードを選択する。このようにして、動画記録モードが選択された状態で、ユーザによってシャッタキー11が押下されと、撮像装置1は、動画像のデータの記録の処理を開始し、その後、シャッタキー11が再度押下されると、動画像のデータの記録の処理を終了する。
In the present embodiment, when the user instructs to record moving image data, the user presses the
撮像装置1の背面の右側の領域には、操作キーとして、図1中上側から順に、ズームキー12、画面キー13、メニューキー14、十字キー15、決定キー16、及び表示切替キー17が設けられている。
A
ズームキー12には、撮像装置1が被写体を撮像している最中に、望遠(Tele)の指示(すなわち被写体の拡大指示)又は広角(Wide)の指示(すなわち被写体の縮小指示)を行う機能が割り当てられている。具体的には、ズームキー12においては、「T」と印字された部分に対して望遠(Tele)の指示を行う機能が割り当てられており、「W」と印字された部分に対して広角(Wide)の指示を行う機能が割り当てられている。そこで、以下、ズームキー12のうち、「T」と印字された部分を「Teleキー」と称し、「W」と印字された部分を「Wideキー」と称する。
The
ズームキー12の下側の左側に設けられた画面キー13には、後述する表示部18の表示をオン/オフする指示を行う機能が割り当てられており、その右側に設けられたメニューキー14には、メニュー画面を表示させる指示を行う機能が割り当てられている。
The screen key 13 provided on the lower left side of the
画面キー13やメニューキー14の下方に設けられた十字キー15a乃至dには、次のような各種機能が割り当てられている。例えば、撮像装置1がフォーカス動作をする際に、表示部18に表示された撮像画像に対して設定される複数の領域から焦点判定領域を選択する指示を行う機能が、十字キー15a乃至dに割り当てられている。ここで、焦点判定領域とは、撮像装置1がフォーカス動作をする際に、焦点が合っているか否かの判定を行う領域をいう。
The following various functions are assigned to the
また、例えば、メニュー画面が表示されている際に、カーソルを上、右、下、または左に移動させる指示を行う機能が、十字キー15a乃至dに割り当てられている。
Further, for example, a function for giving an instruction to move the cursor up, right, down, or left when the menu screen is displayed is assigned to the
十字キー15a乃至dの中央に設けられた決定キー16には、複数の項目を含むメニュー画面が表示されている際に、カーソルの配置位置に存在する項目を選択する指示を行う機能が割り当てられている。
A
従って、ユーザは、メニュー画面が表示されている状態で、十字キー15a乃至d、および決定キー16のうち必要なキーを適宜押下操作することで、カーソルを所望の項目に移動させ、その項目を選択する指示を行うことができる。
Therefore, the user moves the cursor to a desired item by appropriately pressing the necessary keys among the
例えば、複数のズーム駆動方式の各々を示す複数の項目が、メニュー画面に表示される場合がある。このような場合、ユーザは、十字キー15a乃至dのうち任意の方向のキーを適宜押下操作して、所望のズーム駆動方式を示す項目にカーソルを配置させた後、決定キー16を押下操作してその項目の選択を指示することで、その項目が示す所望のズーム駆動方式を選択することができる。なお、このようなズーム駆動方式として、次のような固定方式と連続方式がある。
For example, a plurality of items indicating each of a plurality of zoom driving methods may be displayed on the menu screen. In such a case, the user presses the keys in any direction among the
固定方式とは、予め幾つかの種類のズーム倍率が固定されており、例えば等倍(1倍),1.4倍,2倍,3倍,4倍,5倍といった5種類の固定されたズーム倍率が用意されており、固定されたズーム倍率に従って、ズームレンズがズーム駆動機構によって駆動される方式をいう。 In the fixed method, several types of zoom magnifications are fixed in advance. For example, five types of fixed magnifications such as 1 × (1 ×), 1.4 ×, 2 ×, 3 ×, 4 ×, and 5 × are fixed. A zoom magnification is prepared, and a zoom lens is driven by a zoom drive mechanism according to a fixed zoom magnification.
連続方式とは、ズーム倍率が下限値から上限値まで連続して変化するように、ズームレンズがズーム駆動機構によって駆動される方式をいう。このとき、ズームキー12の可動範囲のうち、下限位置にはズーム倍率の下限値が予め対応付けられ、上限位置にはズーム倍率の上限値が予め対応付けられている。具体的には例えば、ズーム倍率の下限値は等倍(1倍)であり、ズーム倍率の上限値は5倍であるとする。この場合、例えば、ズームキー12の可動範囲が100等分された各々の位置に、ズーム倍率が1乃至5倍の範囲が100等分された各々の値が対応付けられている。このように、連続方式を採用する場合には、ズーム倍率の各値はズームキー12の可動範囲内でマッピングされている。なお、ズーム駆動方式の詳細については図6と図7を参照して後述する。
The continuous method refers to a method in which the zoom lens is driven by the zoom drive mechanism so that the zoom magnification continuously changes from the lower limit value to the upper limit value. At this time, in the movable range of the
このようなズーム駆動方式を選択する際に操作される十字キー15a乃至dの下方には、表示部18の表示を切り替える指示を行う機能が割り当てられた表示切替キー17が設けられている。
Below the
以上、撮像装置1に設けられる操作キーについて説明してきたが、上述した操作キーの配置位置や種類は例示である。すなわち、各種の操作キーの配置位置や種類は上述した例に特に限定されない。
The operation keys provided in the
撮像装置1の背面の左側の領域には、各種の画像を表示する表示部18が設けられている。なお、表示部18は、その画面上にタッチパネルを設け、タッチパネルによってユーザの操作を受け付けるようにしてもよい。
A
[撮像装置の内部構成例]
図2は、図1の撮像装置1の内部構成例を示すブロック図である。
[Example of internal configuration of imaging device]
FIG. 2 is a block diagram illustrating an example of the internal configuration of the
撮像装置1は、カメラ部31、カメラDSP(Digital Signal Processor)32、SDRAM(Synchronous Dynamic Random Access Memory)33、フォーカス判定部34、制御部35、操作部36、表示制御部37、表示部18、外部インタフェース(外部I/F)38、および記録部39を備えている。
The
また、撮像装置1には、着脱可能な記録媒体40が装着されている。記録媒体40としては、半導体メモリを用いたいわゆるメモリカード、DVD(Digital Versatile Disc)やCD(Compact Disc)等の光記録媒体、磁気ディスクなどの種々の記録媒体を採用することができる。この記録媒体40には、デジタルの画像信号(以下、画像データと称する)が所定の画像ファイルフォーマットに準拠して記録される。撮像装置1は、例えば被写体を撮像した結果得られる画像データをJPEG(Joint Photographic Experts Group)方式で圧縮符号化したのち、Exif(Exchange image file format)と称される画像ファイルフォーマットに準拠して、DCF(Design rule for Camera File system)規定に従って記録媒体40に記録する。
In addition, a
カメラ部31は、光学ブロック61、撮像素子62、前処理部63、光学ブロック用ドライバ64、タイミング信号生成部65、および撮像素子ドライバ66を備えている。
The
撮像手段としての光学ブロック61は、レンズ、ズーム駆動機構、フォーカス駆動機構、シャッタ駆動機構、絞り(アイリス)駆動機構などを備えている。
The
レンズとしては、フォーカスレンズやズームレンズが設けられている。フォーカスレンズは、撮像素子62の受光面に被写体像を結像させるレンズである。ズームレンズは、焦点距離を一定の範囲で自在に変化させるレンズである。
As the lens, a focus lens and a zoom lens are provided. The focus lens is a lens that forms a subject image on the light receiving surface of the
ズーム駆動機構は、光学ブロック用ドライバ64の制御の下、ズームレンズを光軸方向に進退駆動する。ズームレンズが進退駆動されることで、焦点距離が変化して、すなわち撮影画角が変化して、画像内の被写体像が拡大又は縮小される。
The zoom drive mechanism drives the zoom lens forward and backward in the optical axis direction under the control of the
フォーカス駆動機構は、光学ブロック用ドライバ64の制御の下、フォーカスレンズを光軸方向に進退駆動する。フォーカスレンズが進退駆動されることで、焦点の調整が行われる。
The focus driving mechanism drives the focus lens to move back and forth in the optical axis direction under the control of the
シャッタ駆動機構は、光学ブロック用ドライバ64の制御の下、例えばシャッタ羽根や、そのシャッタ羽根を開閉させる開閉機構を備えている。なお、電子シャッタで動作される場合、撮像素子62には被写体からの光が常に入射され、その画像がスルー画像として表示部18に表示される。シャッタキー11が操作されたとき、その時点の撮像画像が取り込まれ、SDRAM33、記録媒体40に記録される。
The shutter driving mechanism includes, for example, a shutter blade and an opening / closing mechanism that opens and closes the shutter blade under the control of the
絞り駆動機構は、光学ブロック用ドライバ64の制御の下、撮像素子62に入射される光束の光量を調節する。
The aperture driving mechanism adjusts the amount of light beam incident on the
撮像素子62は、CCD(Charge Coupled Device)やCMOS(Complementary Metal Oxide Semiconductor)型のセンサとして構成されている。撮像素子62は、撮像素子ドライバ66によって駆動されて、光学ブロック61を介して撮像面上に結像された光学像の光電変換を行う。すなわち、撮像素子62には、カメラ部31のレンズからシャッタ機構を介して被写体像が入射される。そこで、撮像素子62は、一定時間毎に被写体像を光電変換(撮影)して画像信号を蓄積し、蓄積した画像信号をアナログ信号として、前処理部63に出力する。
The
前処理部63は、撮像素子62から出力されたアナログの画像信号に対して、CDS(Correlated Double Sampling)処理を施す。これにより、アナログの画像信号から、リセットノイズ、1/f雑音、熱抵抗雑音等が除去されるので、当該アナログの画像信号のS/N(Signal/Noise)比を良好に保つことができる。また、前処理部63は、AGC(Automatic Gain Control)処理を実行することによって、アナログの画像信号の利得を制御する。さらに、前処理部63は、A/D(Analog/Digital)変換処理を行って、CDS処理やAGC処理が行われたアナログの画像信号をデジタルの画像信号、すなわち画像データに変換して、カメラDSP32に出力する。
The preprocessing
光学ブロック用ドライバ64は、制御部35の制御の下、光学ブロック駆動信号を生成して光学ブロック61に出力することによって、光学ブロック61の動作を制御する。
The
例えば、詳細については後述するが、ズームキー12が押下操作されると、ズーム倍率の変更指示が、制御部35から光学ブロック用ドライバ64に対してなされる。ここで、所定のズーム倍率に対して、当該ズーム倍率に対応する焦点距離となるズームレンズの位置(以下、「ズーム倍率のズームレンズ位置」と称する)が予め決定されている。そこで、光学ブロック用ドライバ64は、指示された変更後のズーム倍率のズームレンズ位置を示す光学ブロック駆動信号を生成して、光学ブロック61のズーム駆動機構に出力する。すると、ズーム駆動機構は、光学ブロック駆動信号が示す変更後のズーム倍率のズームレンズ位置まで、ズームレンズを進退駆動する。
For example, although details will be described later, when the
タイミング信号生成部65は、制御部35からの制御に応じてタイミング信号を生成する。撮像素子ドライバ66は、タイミング信号生成部65で生成されたタイミング信号に基づいて駆動信号を生成し、生成した駆動信号を撮像素子62に出力することによって撮像素子62を駆動する。
The
カメラDSP32は、カメラ信号処理部71、圧縮/伸張部72、解像度変換部73、およびSDRAMコントローラ74等を有している。
The camera DSP 32 includes a camera
カメラ信号処理部71は、前処理部63から出力されたデジタルの画像信号、すなわち画像データに対して、黒レベル補正処理、ホワイトバランス(WB)処理、γ補正処理、色補正処理等の各種画像処理を施す。以下、これらの画像処理をまとめて、カメラ信号処理と称する。カメラ信号処理後の画像データは、SDRAMコントローラ74の制御によりSDRAM33に一旦記憶される。
The camera
圧縮/伸張部72は、制御部35の制御の下、カメラ信号処理後の画像データをSDRAM33から読み出して、例えばJPEG方式等に従って圧縮符号化処理を施す。圧縮符号化処理が施された画像データ(以下、圧縮符号化データと称する)は、SDRAM33又は後述する記録媒体40に記憶される。
The compression / decompression unit 72 reads the image data after camera signal processing from the
圧縮/伸張部72はまた、制御部35の制御の下、圧縮符号化データをSDRAM33又は後述する記録媒体40から読み出して、例えばJPEG方式等に従って伸長復号化処理を施し、その結果得られる画像データを、解像度変換部73に適宜供給する。
The compression / decompression unit 72 also reads compressed encoded data from the
解像度変換部73は、カメラ信号処理後の画像データや、圧縮/伸張部72による伸張復号化処理の結果として得られた画像データに対して、解像度変換処理を施し、その結果、解像度が変換された画像データを制御部35に出力する。 The resolution conversion unit 73 performs resolution conversion processing on the image data after the camera signal processing and the image data obtained as a result of the expansion decoding processing by the compression / expansion unit 72, and as a result, the resolution is converted. The obtained image data is output to the control unit 35.
SDRAMコントローラ74は、SDRAM33に対して各種情報を記憶させ、SDRAM33に記憶された各種情報の読み出しを制御する。
The
SDRAM33は、カメラ信号処理後の画像データを一時的に記憶する。また、SDRAM33は、各種画像処理に必要な情報や、画像表示用の画像データ等も記憶する。
The
フォーカス判定部34は、制御部35からの要求に応じて、撮像素子62から出力されたアナログの画像信号のうち、撮像画像に対して設定される複数の領域の中から焦点判定領域として指示された領域の画像信号に基づいて、合焦度合いを算出し、その算出結果を制御部35に通知する。
In response to a request from the control unit 35, the
制御部35は、例えばCPU(Central Processing Unit)81、フラッシュROM(Read Only Memory)82、RAM(Random Access Memory)83、計時部84が、システムバス85を介して接続されている。また、システムバス85には、フォーカス判定部34、表示制御部37、外部I/F38、記録部39が接続されている。
In the control unit 35, for example, a CPU (Central Processing Unit) 81, a flash ROM (Read Only Memory) 82, a RAM (Random Access Memory) 83, and a
フラッシュROM82は、CPU81において実行する種々のプログラムや、各処理に必要とされるデータなどが記憶されている。本実施形態では、後述するノイズテーブル141はフラッシュROM82に記録されている。
The
RAM83は、CPU81がプログラムを実行する際の作業領域や、処理の途中結果を一時的に記憶するなどの作業領域として使用される。また、計時部84は、計時動作をすることによって、現在の年月日、現在の曜日、現在の時刻や撮像日時などを取得する。
The
CPU81は、フラッシュROM82に記憶されている種々のプログラムを実行することで、各種制御を実行する。
The
例えば、CPU81は、ユーザ操作に応じた操作信号が操作部36から供給されると、撮像装置1の動作がユーザ操作に応じた動作となるように、操作部36からの操作信号に応じて各部の動作を制御する。
For example, when an operation signal corresponding to a user operation is supplied from the operation unit 36, the
具体的には例えば、CPU81は、表示制御部37等を制御することで、表示部18にスルー画像を表示させる。スルー画像とは、SDRAM33に現在記憶されている画像データに対応する撮像画像であって、記録媒体40に当該画像データが記録されていない場合にも表示部18にリアルタイムに表示される画像である。このため、スルー画像は、ライブビュー画像とも称されている。スルー画像を見たユーザが、シャッタキー11を押下操作すると、CPU81は、記録指示がなされたと解釈して、スルー画像の画像データを記録媒体40に記録させる制御を実行する。
Specifically, for example, the
また例えば、CPU81は、いわゆるAF(Auto Focus)制御を実行することもできる。
Further, for example, the
CPU81は、表示制御部37等を制御することで、スルー画像内の複数の領域を囲む枠を表示部18に表示させることができる。ユーザは、操作部36を操作することによって、これらの複数の枠のうち、焦点判定領域としたい領域の枠を選択する指示を行う。CPU81は、この指示を受けて、焦点判定領域を特定し、焦点判定領域内の合焦度合いの通知をフォーカス判定部34に要求する。
The
CPU81は、フォーカス判定部34からの合焦度合いの通知を受けると、光学ブロック制御信号を生成して、光学ブロック用ドライバ64に出力する。
Upon receiving the focus degree notification from the
光学ブロック用ドライバ64は、指示された合焦度合いを示す光学ブロック駆動信号を生成して、光学ブロック61のフォーカス駆動機構に出力する。すると、フォーカス駆動機構は、光学ブロック駆動信号が示す合焦度合いになるまで、フォーカスレンズを進退駆動する。
The
さらにまた、CPU81は、ズーム制御を実行することができる。ズーム制御の詳細については、図6を参照して後述する。
Furthermore, the
操作部36は、図1を参照して説明した各種の操作キーを含むように構成されており、ユーザ操作に応じた操作信号を制御部35のCPU81に供給する。
The operation unit 36 is configured to include various operation keys described with reference to FIG. 1, and supplies an operation signal according to a user operation to the
表示制御部37には、液晶表示素子等を用いて構成された表示部18が接続されている。表示制御部37は、制御部35から供給された画像データに基づき表示駆動信号を生成して表示部18に出力することで、表示部18に当該画像データに基づく画像を表示させる。
The
外部I/F38は、撮像装置1と、外部の各種機器、例えばコンピュータ装置や通信モジュールとを接続するためのインタフェースである。この外部I/F38を利用することで、例えば、コンピュータ装置から各種情報の供給を受けて、これを装着された記録媒体40に記録したり、装着された記録媒体40に記録されている各種情報をコンピュータ装置に供給可能とする。また、通信モジュールを介してインターネットなどのネットワークに接続して、ネットワークを通じて種々の情報を取得して記録媒体40に記録することが可能となる。さらに、記録媒体40に記録されている各種情報を、ネットワークを通じて目的とする相手先に送信することが可能となる。なお、外部I/F38は、IEEE(Institute of Electrical and Electronics Engineers)1394、USB(Universal Serial Bus)等の有線インタフェース、光や電波による無線インタフェースである。
The external I /
記録部39は、記録媒体40に画像データや音声データ等の各種情報を記録したり、記録媒体40に記録されている画像データや音声データ等の各種情報を読み出すためのインタフェースである。
The
音声処理部92は、外部から入力される音声のデータを取得し、所定の処理を施して音声データとして出力する。マイクロホン91によって入力された音声は、音声処理部92によりA/D変換処理が施された後、音声データとしてCPU81に供給される。CPU81において後述するズームノイズ低減処理等が施された音声データは、例えば、記録部39により記録媒体40に記録される。逆に記録媒体40から読み出された音声データは、音声処理部92によりA/D変換処理が施され、スピーカ93に出力される。スピーカ93は、音声処理部92から供給された音声データに基づいて音声を出力する。
The
なお、点線枠に含まれる操作部36、記録部39、記録媒体40、CPU81、フラッシュROM82、マイクロホン91、音声処理部92、およびスピーカ93は、本実施の形態のノイズ低減処理に関わる主な構成要素である。
The operation unit 36, the
このように構成された撮像装置1は、例えば撮像を行う際に、ユーザが構図を決めることができるように、スルー画像を表示部18に表示させる。スルー画像を見たユーザが、シャッタキー11を押下操作すると、CPU81は、記録指示がなされたと解釈して、スルー画像の画像データを記録媒体40に記録させる制御を実行する。
The
ここで、撮像装置1の動作モードが動画記録モードになっている場合、所定時間間隔毎のスルー画像をフレーム画像として、複数のフレーム画像が所定の順番に配置されて構成される動画像のデータが、記録媒体40に記録される。このとき、外部の音声(目的音)のデータもあわせて記録媒体40に記録される。
Here, when the operation mode of the
また例えば、撮像装置1は、撮像中にいわゆるAF制御を実行することもできる。すなわち、撮像装置1は、スルー画像内の複数の領域を囲むAF枠を表示部18に表示させる。ユーザは、操作部36を操作することによって、これらの複数のAF枠のうち、所望のAF枠を選択する指示を行う。撮像装置1は、この指示を受けて、ユーザにより選択されたAF枠を焦点判定領域として、焦点判定領域を用いて合焦度合いを算出する。そして、撮像装置1は、算出した合焦度合いに基づいて、フォーカスレンズを光軸方向に進退駆動することにより、フォーカスの調整を行う。
Further, for example, the
さらにまた、撮像装置1は、撮像中にいわゆるズーム制御を実行することができる。ユーザは、ズームキー12を押下することによって、ズーム倍率の変更指示を行う。撮像装置1は、この変更指示に基づいて、変更後のズーム倍率のズームレンズ位置を特定し、特定したズームレンズ位置まで、ズームレンズを進退駆動する。
Furthermore, the
ここで、ズームレンズの進退駆動は、ズーム駆動機構の制御に基づいて行われる。従って、撮像装置1の動作モードが動画記録モードになっている場合、すなわち、音声のデータの記録媒体40への記録が行われている場合にズーム制御が実行されると、ズーム駆動機構の駆動音等がノイズとして重畳された目的音がマイクロホン91に入力される。このようなマイクロホン91から入力された、ノイズが重畳された目的音は、アナログの音声信号として音声処理部92に入力され、音声データになる。
Here, the forward / backward drive of the zoom lens is performed based on the control of the zoom drive mechanism. Therefore, when the zoom control is executed when the operation mode of the
そこで、本実施形態では、撮像装置1は、このようなズーム制御時に取得された音声データに対しては、ノイズを低減する処理(以下、ズームノイズ低減処理と称する)を施した上で、記録媒体40に記録する。
Therefore, in the present embodiment, the
本実施形態では、ズームノイズ低減処理の内容は、ノイズが発生した時点のズーム制御の内容に応じて適宜変化する。より具体的には、ノイズが発生した時点のズーム制御の内容(すなわち後述するズーム倍率)に応じて、ズームノイズ低減処理に用いるノイズパターンが変化する。すなわち、撮像装置1は、ノイズが発生した時点のズーム制御の内容を認識し、その認識結果に応じてノイズパターンを取得し、取得したノイズパターンを用いてズームノイズ低減処理を実行する。このようなズームノイズ低減処理を含む一連の処理を、以下、「音声データ加工処理」と称する。音声データ加工処理の詳細については、図8を参照して後述する。
In the present embodiment, the content of the zoom noise reduction process changes as appropriate according to the content of zoom control at the time when noise occurs. More specifically, the noise pattern used for the zoom noise reduction process changes according to the zoom control content (ie, zoom magnification described later) at the time when the noise is generated. That is, the
[ズームノイズ低減処理を実行するソフトウエアの機能的構成例]
図3は、図2のCPU81が実行するソフトウエアの機能のうち、ズームノイズ低減処理を実行するソフトウエアの機能的構成例を示すブロック図である。
[Functional configuration example of software that executes zoom noise reduction processing]
FIG. 3 is a block diagram illustrating a functional configuration example of software that executes zoom noise reduction processing among software functions executed by the
図3のCPU81は、認識部121、ノイズパターン選択部122、およびズームノイズ低減部123から構成される。
3 includes a
すなわち、本実施形態では、CPU81は、所定のプログラムを実行することにより、認識部121、ノイズパターン選択部122、およびズームノイズ低減部123の各機能を発揮させることができる。この場合、フラッシュROM82やRAM83に記憶されている種々のデータが適宜用いられる。
That is, in the present embodiment, the
認識部121は、ズーム制御情報を取得することによりユーザが指示したズーム倍率を認識する。
The
ズーム制御情報とは、ユーザがズームキー12を操作したときの各種状態に基づいて特定される情報であって、例えば本実施形態では、ズーム制御情報には、ユーザの操作に応じたズームの位置情報、ズームの方向情報、およびズームの速度情報が含まれる。
The zoom control information is information specified based on various states when the user operates the
ズームの位置情報とは、少なくともズームの開始位置と終了位置とを特定可能な情報をいう。ズームの開始位置は、ユーザがズームキー12の押下を開始した時点のズームレンズ位置である。従って、上述したように、ズーム倍率に応じてズームレンズ位置が決定されるので、開始時のズーム倍率が異なればズームの開始位置は異なる。例えば、ズーム倍率が2倍の状態から開始される場合のズームの開始位置と、ズーム倍率が4倍の状態から開始される場合のズームの開始位置とは異なる。ズームの終了位置は、ユーザがズームキー12の押下を終了した時点(すなわち、指等をズームキー12から離した時点)のズームレンズ位置である。
The zoom position information is information that can specify at least the zoom start position and end position. The zoom start position is the zoom lens position when the user starts to press the
ズームの方向情報とは、TeleからWideへの方向若しくはその反対の方向を示す情報であって、ズームキー12を構成するTeleキーやWideキーが如何に押下されたのかによって特定可能な情報である。
The zoom direction information is information indicating the direction from Tele to Wide or vice versa, and is information that can be specified depending on how the Tele key or Wide key constituting the
ズームの速度情報とは、ズームレンズの駆動速度、すなわち、ズームレンズの単位時間当たりの移動量の情報であって、例えば、上述したズームの位置情報と、ユーザがズームキー12を操作した時間とによって特定可能な情報である。なお、ズーム駆動速度は、ズーム倍率によって変化する場合がある。
The zoom speed information is information on the zoom lens driving speed, that is, information on the amount of movement of the zoom lens per unit time. For example, the zoom speed information is based on the above-described zoom position information and the time when the user operates the
また、認識部121は、ユーザが操作部36の十字キー15や決定キー16等を操作してメニュー画面から選択した項目を認識し、認識した項目に基づいて、ユーザの指示内容を認識する。
The recognizing
例えば、ズーム駆動方式を示す項目、すなわち、固定方式を示す第1項目と、連続方式を示す第2項目がメニュー画面に表示されているとする。この場合、第1項目が選択された時には、認識部121は、ユーザがメニュー画面からズーム駆動方式として固定方式を選択したと認識する。一方、第2項目が選択された時には、認識部121は、ユーザがメニュー画面からズーム駆動方式として連続方式を選択したと認識する。
For example, it is assumed that an item indicating the zoom driving method, that is, a first item indicating the fixed method and a second item indicating the continuous method are displayed on the menu screen. In this case, when the first item is selected, the
ノイズパターン選択部122は、認識部121が認識したズーム倍率に基づいて、現在のズーム制御のズームパターンを認識し、認識したズーム制御のズームパターンに該当するノイズパターンを、フラッシュROM82に記録されている保持手段としてのノイズテーブル141から選択する。
The noise
すなわち、ズーム制御とは、第1のズーム倍率のズームレンズ位置から第2のズーム倍率のズームレンズ位置まで、ズームレンズを移動させる制御である。従って、ズーム制御開始時の第1のズーム倍率と、ズーム制御終了時の第2のズーム倍率とをパラメータとして、これらのパラメータを変更することによって、複数のズーム制御のズームパターンを定義することができる。例えば、ズーム制御開始時の第1のズーム倍率が等倍であって、ズーム終了時の第2のズーム倍率が1.4倍になる場合と、ズーム制御開始時の第1のズーム倍率が1.4倍であって、ズーム終了時の第2のズーム倍率が2倍になる場合とでは、それぞれ異なるズーム制御のズームパターンとなる。 That is, the zoom control is control for moving the zoom lens from the zoom lens position having the first zoom magnification to the zoom lens position having the second zoom magnification. Accordingly, by using the first zoom magnification at the start of zoom control and the second zoom magnification at the end of zoom control as parameters, a plurality of zoom control zoom patterns can be defined by changing these parameters. it can. For example, when the first zoom magnification at the start of zoom control is the same magnification and the second zoom magnification at the end of zooming is 1.4 times, and when the first zoom magnification at the start of zoom control is 1. The zoom pattern is different from that in the case where the zoom magnification is 4 times and the second zoom magnification at the end of zooming is 2 times.
本実施形態では、所定のズームパターンのズーム制御が予め実行され、その際に取得されたズーム駆動機構の駆動音等の周波数領域のデータが、ズーム制御の当該所定のズームパターンに該当するノイズパターンとしてノイズテーブル141に格納される。このようなノイズパターンは、ズーム制御の複数のズームパターン毎にそれぞれ取得されて、ノイズテーブル141に格納される。従って、ノイズパターン選択部122は、これらの複数のノイズパターンの中から、ズーム制御の現在のズームパターンに該当するノイズパターンを選択する。なお、ノイズテーブル141およびノイズパターンについては図7を参照して後述する。
In this embodiment, zoom control of a predetermined zoom pattern is executed in advance, and frequency domain data such as drive sound of the zoom drive mechanism acquired at that time is a noise pattern corresponding to the predetermined zoom pattern of zoom control. Is stored in the noise table 141. Such a noise pattern is acquired for each of a plurality of zoom patterns for zoom control and stored in the noise table 141. Accordingly, the noise
ノイズ低減処理手段としてのズームノイズ低減部123には、ズーム制御時に、マイクロホン91から入力された音声に対して音声処理部92によってA/D変換処理が施された結果得られる音声データが入力される。このような音声データを、以下、入力音声データと称する。
The zoom
入力音声データは、目的音に対して、ズーム駆動機構の駆動音がノイズとして含まれた音声のデータである。そこで、ズームノイズ低減部123は、ノイズパターン選択部122によって選択されたノイズパターンを用いて、ズームノイズ低減処理を実行する。
The input sound data is sound data in which the drive sound of the zoom drive mechanism is included as noise with respect to the target sound. Therefore, the zoom
具体的には、後述するように、ノイズパターンは周波数領域の音声データである一方、入力音声データは時間領域の音声データである。そこで、ズームノイズ低減部123は、入力音声データを周波数領域の音声データに変換する。次に、ズームノイズ低減部123は、周波数領域の入力音声データからノイズパターンを減算する。これにより、目的音(より正確には目的音に近い音)についての周波数領域の音声データが得られる。そこで、ズームノイズ低減部123は、目的音についての周波数領域の音声データを、時間領域の音声データに逆変換した上で出力する。
Specifically, as will be described later, the noise pattern is audio data in the frequency domain, while the input audio data is audio data in the time domain. Therefore, the zoom
[ズームノイズ低減部123の構成例]
図4は、図3のズームノイズ低減部123の機能的構成例を示すブロック図である。
[Configuration Example of Zoom Noise Reduction Unit 123]
FIG. 4 is a block diagram illustrating a functional configuration example of the zoom
ズームノイズ低減部123は、窓かけフーリエ変換部161、減算処理部162、および逆フーリエ変換窓かけ部163から構成される。
The zoom
変換手段としての窓かけフーリエ変換部161は、時間領域の入力音声データに対して、例えばハミング窓等の時間窓関数を時間軸方向にスライドさせながら乗じる窓かけ処理を施すことにより、フレーム分割による高周波数ノイズが低減された音声データを生成する。そして、窓かけフーリエ変換部161は、窓かけ処理が施されたフレーム単位の音声データに対してFFTを施す。これにより、周波数領域の入力音声データ(パワースペクトル密度)が得られ、減算処理部162に提供される。このとき、窓かけフーリエ変換部161から算出される周波数領域の入力音声データは、例えば、図5の左の図に示されるようなパワースペクトル密度となる。
A windowed Fourier transform unit 161 serving as a transforming unit performs a windowing process for multiplying time-domain input speech data by, for example, sliding a time window function such as a Hamming window in the time axis direction. Audio data with reduced high-frequency noise is generated. Then, the windowed Fourier transform unit 161 performs FFT on the audio data in units of frames subjected to the windowing process. Thereby, input voice data (power spectrum density) in the frequency domain is obtained and provided to the
図5は、ズームノイズ低減処理を説明する模式図である。 FIG. 5 is a schematic diagram illustrating zoom noise reduction processing.
図5において、縦軸はパワーを示し、横軸は周波数を示している。図5の左の図は、窓かけフーリエ変換部161により算出され出力される周波数領域の入力音声データ、すなわち入力音声データのパワースペクトル密度を表わしている。窓かけフーリエ変換部161から算出される入力音声データのパワースペクトル密度は、目的音のパワースペクトル密度PSと、ノイズのパワースペクトル密度NSとが合成されたものである。すなわち、図5の左の図に棒グラフとして示されるパワースペクトル密度のうち、白抜きで表わされる部分が目的音のパワースペクトル密度PSであり、斜線で表わされる部分がノイズのパワースペクトル密度NSである。 In FIG. 5, the vertical axis represents power, and the horizontal axis represents frequency. The left diagram of FIG. 5 represents the power spectrum density of the input speech data in the frequency domain calculated by the windowed Fourier transform unit 161, that is, the input speech data. The power spectrum density of the input sound data calculated from the windowed Fourier transform unit 161 is a combination of the power spectrum density PS of the target sound and the power spectrum density NS of the noise. That is, in the power spectrum density shown as a bar graph in the left diagram of FIG. 5, the portion represented by white is the power spectrum density PS of the target sound, and the portion represented by diagonal lines is the power spectrum density NS of noise. .
図4の説明に戻り、減算処理部162は、窓かけフーリエ変換部161から提供された周波数領域の入力音声データ(すなわちパワースペクトル密度)から、ノイズパターン選択部122により選択されたノイズパターン(すなわちノイズのパワースペクトル密度)を減算する減算処理を実行する。ノイズパターン選択部122により選択されたノイズパターンは、例えば、図5の中央の図に示されるように、所定のズームパターンのズーム制御が予め実行された際に取得されたズーム駆動機構の駆動音のパワースペクトル密度である。ここで、説明の便宜上、図5の中央の図に示されるノイズパターンと、図5の左側の図に斜線で表わされるノイズのパワースペクトル密度NSとが一致しているとする。この場合には、減算処理部162による減算処理の結果、図5の右の図に示されるように、目的音のパワースペクトル密度PSが算出される。
Returning to the description of FIG. 4, the
図4の説明に戻り、逆変換手段としての逆フーリエ変換窓かけ部163は、減算処理部162から出力された周波数領域の音声データ、すなわち理想的には図5の右の図に示される目的音のパワースペクトル密度PSに対して、逆FFTを施す。そして、逆フーリエ変換窓かけ部163は、逆FFTが施された結果得られる時間領域の音声データを、逆窓かけ処理を施した上で出力する。逆フーリエ変換窓かけ部163から出力された時間領域の音声データは、ズームノイズ低減部123によりノイズ成分が抑制された目的音の音声データとして、記録部39によって記録媒体40に記録される。また、記録媒体40から読み出された当該目的音の音声データは、音声処理部92によってA/D変換処理が施されてアナログの音声信号に変換されて、さらに、スピーカ93によって、ノイズが抑制された目的音となって、外部に出力される。
Returning to the description of FIG. 4, the inverse Fourier
このように、ズームノイズ低減部123は、目的音にノイズが重畳された音声の音声データが入力音声データとして入力されると、入力音声データに対してズームノイズ低減処理を施す。これにより、理想的にはノイズが除去された目的音の音声データが得られる。なお、理想的と記述したのは、実際に重畳されているノイズの周波数領域のデータ(パワースペクトル密度)と、ノイズパターン(パワースペクトル密度)とが必ずしも完全一致しないからである。すなわち、両者が完全一致すれば、ノイズは完全に除去されるが、一般的には両者の間には差異があるため、ノイズは完全には除去されるのではなく、ノイズが低減されることになる。
In this way, the zoom
[固定方式によるズーム駆動方式]
図6は、ズーム駆動方式のうち固定方式について説明する図である。
[Fixed zoom drive system]
FIG. 6 is a diagram for explaining a fixed method among the zoom drive methods.
上述したように、ズーム駆動方式として、固定方式と連続方式があり、本実施形態ではユーザは操作部36を操作することによって所望のズーム駆動方式を選択することができる。 As described above, the zoom driving method includes the fixed method and the continuous method. In this embodiment, the user can select a desired zoom driving method by operating the operation unit 36.
本実施形態では、ユーザがズーム駆動方式として固定方式を選択した場合、動画記録時のズーム倍率が、図6に示される5種類に固定された固定方式に従って、ズーム制御が実行される。 In the present embodiment, when the user selects the fixed method as the zoom drive method, zoom control is executed according to the fixed methods in which the zoom magnification at the time of moving image recording is fixed to the five types shown in FIG.
図6において、上段左の図は、動画記録時のズーム倍率が等倍(1倍)で被写体181が撮像された場合に、表示部18に表示されるスルー画像201を示している。
In FIG. 6, the upper left diagram shows a through
ズーム倍率が等倍の状態でユーザがTeleキーを押下すると、ズーム倍率は等倍から1.4倍に切り替えられる。すると、光学ブロック用ドライバ64の制御に基づきズーム駆動機構がレンズを1.4倍のズームレンズ位置まで移動させる。これにより、切り替え前はスルー画像201が表示部18に表示されていたのが、切り替え後は、被写体のサイズが1.4倍に拡大したスルー画像202が表示部18に表示されるようになる。
When the user presses the Tele key while the zoom magnification is equal, the zoom magnification is switched from equal magnification to 1.4 times. Then, under the control of the
図6の上段中央の図は、動画記録時のズーム倍率が1.4倍で被写体181が撮像された場合に、表示部18に表示されるスルー画像202を示している。このとき、表示部18の左上の表示領域には、ズーム倍率が1.4倍であることを示す「×1.4」が表示される。
6 shows a through
ズーム倍率が1.4倍の状態でユーザがさらにTeleキーを押下すると、ズーム倍率は1.4倍から2倍に切り替えられる。すると、光学ブロック用ドライバ64の制御に基づきズーム駆動機構がレンズを2倍のズームレンズ位置まで移動させる。これにより、切り替え前はスルー画像202が表示部18に表示されていたのが、切り替え後は、被写体のサイズが2倍に拡大したスルー画像203が表示部18に表示されるようになる。
When the user further presses the Tele key in a state where the zoom magnification is 1.4 times, the zoom magnification is switched from 1.4 times to 2 times. Then, based on the control of the
図6の上段右の図は、動画記録時のズーム倍率が2倍で被写体181が撮像された場合に、表示部18に表示されるスルー画像203を示している。このとき、表示部18の左上の表示領域には、ズーム倍率が2倍であることを示す「×2.0」が表示される。
The upper right diagram in FIG. 6 shows a through
同様に、ズーム倍率が2倍の状態でユーザからTeleキーを押下する毎に、ズーム倍率は2倍から3倍、3倍から4倍、4倍から5倍へと切り替えられる。すると、光学ブロック用ドライバ64の制御に基づきズーム駆動機構はレンズを2倍のズームレンズ位置から3倍のズームレンズ位置、3倍のズームレンズ位置から4倍のズームレンズ位置、4倍のズームレンズ位置から5倍のズームレンズ位置へと移動させる。表示部18の表示は図6の上段右の図に示されるスルー画像203から、下段左の図に示されるスルー画像204、下段中央の図に示されるスルー画像205、下段右の図に示されるスルー画像206へと変化していく。このとき、表示部18の左上の表示領域には、ズーム倍率が3倍、4倍、5倍であることを示す「×3.0」、「×4.0」、「×5.0」が表示される。なお、ズーム倍率が5倍の状態でユーザがさらにTeleキーを押下したとしても、ズーム倍率はそれ以上大きくなることはない。
Similarly, every time the user presses the Tele key while the zoom magnification is 2 times, the zoom magnification is switched from 2 times to 3 times, 3 times to 4 times, 4 times to 5 times. Then, based on the control of the
これに対して、ズーム倍率が5倍の状態でユーザがWideキーを押下すると、ズーム倍率は5倍から4倍に切り替えられる。同様に、ズーム倍率が4倍の状態からユーザがWideキーを押下する毎に、ズーム倍率は3倍、2倍、1.4倍、等倍へと切り替えられる。ズーム駆動機構は、このようにしてズーム倍率が切り替えられる毎に、光学ブロック用ドライバ64の制御に基づいて、切り替えられたズーム倍率のズームレンズ位置へズームレンズを移動させる。表示部18の表示は図6の下段の右の図に示されるスルー画像206から、スルー画像205、スルー画像204、スルー画像203、スルー画像202、スルー画像201へと変化していく。このとき、表示部18の左上の表示領域には、ズーム倍率を示す表示がされる。なお、ズーム倍率が等倍の状態でユーザがさらにWideキーを押下したとしても、ズーム倍率はそれ以上小さくなることはない。
On the other hand, when the user presses the Wide key in a state where the zoom magnification is 5 times, the zoom magnification is switched from 5 times to 4 times. Similarly, every time the user presses the Wide key from the state where the zoom magnification is 4 times, the zoom magnification is switched to 3 times, 2 times, 1.4 times, or 1 time. Each time the zoom magnification is switched in this way, the zoom drive mechanism moves the zoom lens to the zoom lens position of the switched zoom magnification based on the control of the
一方、ユーザがズーム駆動方式として連続方式を選択した場合、ズーム倍率は、ズームキー12の押下状態に従って1倍乃至5倍の間で例えば0.1の幅で変化する。例えば、ズーム倍率が等倍の状態でユーザがTeleキーを押下すると、ズーム倍率は1.1倍、1.2倍、1.3倍・・・と、ユーザがTeleキーの押下を解除するまで変化する。すると、光学ブロック用ドライバ64の制御に基づきズーム駆動機構がレンズを対応するズーム倍率のズームレンズ位置まで移動させる。これにより、被写体181のサイズが対応するズーム倍率に拡大したスルー画像が表示部18に表示されるようになる。なお、ズーム倍率が5倍の状態でユーザがTeleキーの押下をし続けても、ズーム倍率はそれ以上大きくなることはない。これに対して、ズーム倍率が5倍の状態からユーザがWideキーを押下すると、ズーム倍率は5倍、4.9倍、4.8倍・・・と、ユーザがWideキーの押下を解除するまで変化する。すると、光学ブロック用ドライバ64の制御に基づきズーム駆動機構がレンズを対応するズーム倍率のズームレンズ位置まで移動させる。これにより、被写体181のサイズが対応するズーム倍率に縮小したスルー画像が表示部18に表示されるようになる。なお、ズーム倍率が等倍の状態でユーザがWideキーの押下をし続けても、ズーム倍率はそれ以上小さくなることはない。ズーム駆動方式として連続方式が選択された場合も、表示部18の左上の領域には対応するズーム倍率が表示される。
On the other hand, when the user selects the continuous method as the zoom drive method, the zoom magnification changes within a range of, for example, 0.1 between 1 and 5 times according to the pressed state of the
[ノイズパターンの例]
図7は、ノイズテーブル141に格納されるノイズパターンの一例を示す図である。
[Noise pattern example]
FIG. 7 is a diagram illustrating an example of noise patterns stored in the noise table 141.
本実施形態では、上述したように、5種類のズーム倍率を固定することによって、ズーム倍率の可動範囲が明確になる。これにより、ノイズテーブル141が格納するノイズパターンも、次の10種類のノイズパターンN1乃至N10に限定することが可能になる。 In the present embodiment, as described above, the movable range of the zoom magnification becomes clear by fixing the five types of zoom magnification. As a result, the noise patterns stored in the noise table 141 can also be limited to the following ten types of noise patterns N1 to N10.
すなわち、ノイズパターンN1とは、ズーム倍率が等倍から1.4倍に切り替えられて、レンズが、ズーム倍率が開始位置である等倍のズームレンズ位置からズーム倍率が終了位置である1.4倍のズームレンズ位置に移動するまでに実際に発生したノイズの周波数領域の音声データ(スペクトル密度)をいう。すなわち、ノイズパターンN1とは、ズーム倍率が等倍から1.4倍に切り替えられるというズームパターンのズーム制御に該当するノイズパターンである。 That is, with the noise pattern N1, the zoom magnification is switched from the same magnification to 1.4 times, and the lens has the zoom magnification from the same magnification zoom lens position where the zoom magnification is the start position to the end position where the zoom magnification is 1.4. This refers to audio data (spectral density) in the frequency domain of noise actually generated before moving to the double zoom lens position. That is, the noise pattern N1 is a noise pattern corresponding to zoom control of the zoom pattern in which the zoom magnification is switched from the same magnification to 1.4 times.
ノイズパターンN2とは、ズーム倍率が1.4倍から2倍に切り替えられて、レンズが、ズーム倍率が開始位置である1.4倍のズームレンズ位置からズーム倍率が終了位置である2倍のズームレンズ位置に移動するまでに実際に発生したノイズの周波数領域の音声データ(スペクトル密度)をいう。すなわち、ノイズパターンN2とは、ズーム倍率が1.4倍から2倍に切り替えられるというズームパターンのズーム制御に該当するノイズパターンである。 The noise pattern N2 is that the zoom magnification is switched from 1.4 times to 2 times, and the lens is doubled from the zoom lens position of 1.4 times where the zoom magnification is the start position to 2 times where the zoom magnification is the end position. This refers to audio data (spectral density) in the frequency domain of noise actually generated before moving to the zoom lens position. That is, the noise pattern N2 is a noise pattern corresponding to zoom control of the zoom pattern in which the zoom magnification is switched from 1.4 times to 2 times.
同様に、ノイズパターンN3とは、ズーム倍率が2倍から3倍に切り替えられるというズームパターンのズーム制御に該当するノイズパターンであり、ノイズパターンN4とは、ズーム倍率が開始位置である3倍から終了位置である4倍に切り替えられるというズームパターンのズーム制御に該当するノイズパターンであり、ノイズパターンN5とは、ズーム倍率が開始位置である4倍から終了位置である5倍に切り替えられるというズームパターンのズーム制御に該当するノイズパターンである。 Similarly, the noise pattern N3 is a noise pattern corresponding to zoom control of the zoom pattern in which the zoom magnification is switched from 2 times to 3 times, and the noise pattern N4 is from 3 times where the zoom magnification is the start position. This is a noise pattern corresponding to the zoom control of the zoom pattern that is switched to the end position of 4 times, and the noise pattern N5 is a zoom that the zoom magnification is switched from the start position of 4 times to the end position of 5 times. This is a noise pattern corresponding to pattern zoom control.
また、上述のズーム倍率がWideからTele方向に切り替えられるズームパターンに該当するノイズパターンN1乃至N5に対して、その反対方向であるTeleからWide方向に切り替えられるズームパターンに該当するノイズパターンとしては、次の5種類のノイズパターンに限定することができる。すなわち、ズーム倍率が開始位置である5倍から終了位置である4倍に切り替えられるというズームパターンのズーム制御に該当するノイズパターンN6、ズーム倍率が開始位置である4倍から終了位置である3倍に切り替えられるというズームパターンのズーム制御に該当するノイズパターンN7、ズーム倍率が開始位置である3倍から終了位置である2倍に切り替えられるというズームパターンのズーム制御に該当するノイズパターンN8、ズーム倍率が開始位置である2倍から終了位置である1.4倍に切り替えられるというズームパターンのズーム制御に該当するノイズパターンN9、ズーム倍率が開始位置である1.4倍から終了位置である等倍に切り替えられるというズームパターンのズーム制御に該当するノイズパターンN10の5種類に限定することができる。 In addition, with respect to the noise patterns N1 to N5 corresponding to the zoom pattern in which the zoom magnification is switched from Wide to Tele, the noise pattern corresponding to the zoom pattern in which the opposite direction is switched from Tele to Wide is as follows: It can be limited to the following five types of noise patterns. That is, the noise pattern N6 corresponding to the zoom control of the zoom pattern that the zoom magnification is switched from 5 times that is the start position to 4 times that is the end position, and 4 times that the zoom magnification is the start position to 3 times that is the end position The noise pattern N7 corresponding to the zoom control of the zoom pattern that can be switched to, the noise pattern N8 that corresponds to the zoom control of the zoom pattern that the zoom magnification can be switched from 3 times the start position to 2 times the end position, and the zoom magnification The noise pattern N9 corresponds to zoom control of the zoom pattern that is switched from the start position of 2 times to the end position of 1.4 times, and the zoom magnification is 1.4 times from the start position to the end position. Noise pattern N1 corresponding to zoom control of the zoom pattern to be switched to It can be limited to five.
すなわち、ズーム倍率の上限値と下限値との範囲内でズーム倍率が10種類の範囲に分割され、このような10種類のズーム倍率の分割範囲の各々の中でレンズが移動するといった、10種類のズームパターンのズーム制御が定義されている。そして、これらの10種類のズームパターンのズーム制御の各々に該当するノイズパターンが、ノイズパターンN1乃至N10としてノイズテーブル141に格納されている。 That is, the zoom magnification is divided into 10 types within the range between the upper limit value and the lower limit value of the zoom magnification, and the lens moves within each of these 10 types of zoom magnification division ranges. Zoom control of the zoom pattern is defined. Then, noise patterns corresponding to each of these ten types of zoom patterns are stored in the noise table 141 as noise patterns N1 to N10.
なお、ノイズパターンN1乃至N10として、ズーム駆動機構の駆動音だけの周波数領域の音声データを採用してもよい。しかしながら、実際に入力される入力音声データには、ズーム駆動機構の駆動音のみならず、ズーム駆動機構の駆動開始音および駆動終了音、その他のレンズデバイス駆動音であるフォーカス駆動機構の駆動音等もノイズとして含まれる。したがって、本実施形態では、実際にレンズを駆動させて、ズーム駆動機構の駆動音のみならず、ズーム駆動機構の駆動開始音および駆動終了音、その他のレンズデバイス駆動音であるフォーカス駆動機構の駆動音等の周波数領域の音声データを取得して、ノイズパターンとしている。 Note that as the noise patterns N1 to N10, audio data in the frequency domain of only the driving sound of the zoom driving mechanism may be employed. However, the input audio data that is actually input includes not only the drive sound of the zoom drive mechanism, but also the drive start sound and drive end sound of the zoom drive mechanism, the drive sound of the focus drive mechanism that is other lens device drive sound, etc. Is also included as noise. Therefore, in this embodiment, the lens is actually driven to drive the focus drive mechanism, which is not only the drive sound of the zoom drive mechanism, but also the drive start sound and drive end sound of the zoom drive mechanism, and other lens device drive sounds. Audio data in the frequency domain such as sound is acquired and used as a noise pattern.
[音声データ加工処理]
図8は、音声データ加工処理の一例を説明するフローチャートである。
[Audio data processing]
FIG. 8 is a flowchart for explaining an example of the audio data processing.
音声データ加工処理は、動画記録開始を指示するためシャッタキー11が押下されると実行される。なお、図8では、説明の簡略上、ズームキー12としてWideキーが押下されるものとして説明する。しかしながら、Teleキーが押下される場合にも対応する処理が実行されることは言うまでもない。
The audio data processing is executed when the
ステップS1において、認識部121は、ズームキー12であるWideキーが押下されたかを判定する。
In step S <b> 1, the
Wideキーが押下されない場合、ステップS1においてNOであると判定されて、処理はステップS1に戻され、それ以降の処理が繰り返される。すなわち、Wideキーが押下されるまでの間、ステップS1の判定処理が繰り返される。 If the Wide key is not pressed, NO is determined in step S1, the process returns to step S1, and the subsequent processes are repeated. That is, the determination process of step S1 is repeated until the Wide key is pressed.
その後、Wideキーが押下された場合には、ステップS1においてYESであると判定されて、処理はステップS2に進む。 Thereafter, when the Wide key is pressed, it is determined as YES in Step S1, and the process proceeds to Step S2.
ステップS2において、認識部121は、ズーム制御情報を取得することにより、現在のズーム倍率を認識する。
In step S2, the
ステップS3において、認識部121は、表示制御部37を制御することによって、ステップS2の処理で取得した現在のズーム倍率を表示部18の左上の領域に表示する(図6参照)。
In step S3, the
ステップS4において、認識部121は、ズーム駆動方式として固定方式が選択されたかを判定する。すなわち、上述したように、ユーザは、十字キー15a乃至d、および決定キー16のうち必要なキーを適宜押下することで、メニュー画面に表示された、固定方式を示す項目と、連続方式を示す項目とのうち、所望の項目を選択することができる。
In step S4, the
例えば、連続方式を示す項目が選択された場合、認識部121は、連続方式が選択されたと認識する。この場合、ステップS4においてNOであると判定されて、処理はステップS8に進む。ただし、ステップS8以降の処理については後述する。
For example, when the item indicating the continuous method is selected, the
これに対して、固定方式を示す項目が選択された場合、認識部121は、固定方式が選択されたと認識する。この場合、ステップS4においてYESであると判定されて、処理はステップS5に進む。
On the other hand, when the item indicating the fixed method is selected, the
ステップS5において、ノイズパターン選択部122は、ノイズテーブル141に格納されているTeleからWide方向に切り替えられるズームパターンに該当するノイズパターンN6乃至N10の中から、認識部121が認識したズーム倍率に該当するノイズパターンを選択する。
In step S <b> 5, the noise
ステップS6において、ズームノイズ低減部123は、ステップS5の処理でノイズパターン選択部122によって選択されたノイズパターンを用いて、ズームノイズ低減処理を実行する。すなわち、ズームノイズ低減部123は、入力音声データを、時間領域の形態から周波数領域の形態に変換する。次に、ズームノイズ低減部123は、周波数領域の入力音声データから、ステップS5の処理でノイズパターン選択部122により選択されたノイズパターンを減算する。これにより、ノイズが低減された周波数領域の音声データが得られる。そこで、ズームノイズ低減部123は、このようにしてノイズが低減された音声データを、周波数領域の形態から時間領域の形態に変換した上で出力する。
In step S6, the zoom
ステップS7において、認識部121は、動画記録の終了が指示されたかを判定する。すなわち、認識部121は、既に開始されている動画記録の終了を指示するため再度シャッタキー11が押下されたかを判定する。
In step S7, the recognizing
動画記録の終了が指示されない場合、ステップS7においてNOであると判定されて、処理はステップS1に戻され、それ以降の処理が繰り返される。すなわち、動画記録の終了が指示されるまでの間、ステップS1乃至S7のループ処理が繰り返される。 If the end of moving image recording is not instructed, it is determined as NO in step S7, the process returns to step S1, and the subsequent processes are repeated. That is, until the end of moving image recording is instructed, the loop processing of steps S1 to S7 is repeated.
その後、動画記録の終了が指示された場合、音声データ加工処理は終了する。 Thereafter, when the end of moving image recording is instructed, the audio data processing ends.
例えば、ズーム倍率が5倍の状態でユーザがWideキーを押下すると、ズーム倍率は4倍に切り替えられる。このとき、ステップS1の処理でYESであると判定されて、ステップS2の処理が実行される。すなわち、認識部121は、ズーム制御情報を取得することにより、ズーム倍率が5倍から4倍に切り替えられたことを認識し、ズーム倍率を表示部18に表示させる。ここで、ズーム駆動方式として固定方式が選択されている場合には、ステップS4の処理でYESであると判定されて、ステップS5の処理が実行される。すなわち、ノイズパターン選択部122は、認識部121が認識したズーム倍率に基づいて、ノイズテーブル141に格納されているTeleからWide方向に切り替えられるズームパターンに該当するノイズパターンN6乃至N10のうち、対応する5倍乃至4倍のノイズパターンN6を選択する。すると、ステップS6の処理で、ズームノイズ低減部123は、ノイズパターン選択部122によって選択されたノイズパターンN6を用いて、音声処理部92から供給された入力音声データに対してズームノイズ低減処理を実行する。その後動画記録の終了が指示されていなければ、処理はステップS1に戻され、ズームキー12が再押下されるまで、ステップS1の判定処理が繰り返されて、音声データ加工処理が待機状態になる。
For example, when the user presses the Wide key in a state where the zoom magnification is 5 times, the zoom magnification is switched to 4 times. At this time, it is determined as YES in the process of step S1, and the process of step S2 is executed. That is, the
その後、ユーザが、さらにWideキーを押下すると、ズーム倍率は4倍から3倍に切り替えられる。このとき、ステップS1の処理でYESであると判定されて、ステップS2の処理が実行される。すなわち、認識部121は、ズーム制御情報を取得することにより、ズーム倍率が4倍から3倍に切り替えられたことを認識し、ズーム倍率を表示部18に表示させる。ここで、ズーム駆動方式として固定方式が選択されている場合には、ステップS4の処理でYESであると判定されて、ステップS5の処理が実行される。すなわち、ノイズパターン選択部122は、認識部121が認識したズーム倍率に基づいて、ノイズテーブル141に格納されているTeleからWide方向に切り替えられるズームパターンに該当するノイズパターンN6乃至N10のうち、対応する4倍乃至3倍のノイズパターンN7を選択する。すると、ステップS6の処理で、ズームノイズ低減部123は、ノイズパターン選択部122によって選択されたノイズパターンN7を用いて、音声処理部92から供給された入力音声データに対してズームノイズ低減処理を実行する。そして、再度シャッタキー11が押下されて動画記録の終了が指示されると、音声データ加工処理は終了する。
Thereafter, when the user further presses the Wide key, the zoom magnification is switched from 4 times to 3 times. At this time, it is determined as YES in the process of step S1, and the process of step S2 is executed. That is, the
以上、ズーム駆動方式として固定方式が選択された場合の音声データ加工処理について説明した。 The audio data processing process when the fixed method is selected as the zoom drive method has been described above.
次に、ズーム駆動方式として連続方式が選択された場合の音声データ加工処理について説明する。 Next, the audio data processing when the continuous method is selected as the zoom drive method will be described.
すなわち、上述したように、ユーザは、十字キー15a乃至d、および決定キー16のうち必要なキーを適宜押下することで、メニュー画面に表示された、固定方式を示す項目と連続方式を示す項目とのうちの、所望の項目を選択することができる。
That is, as described above, the user appropriately presses the necessary keys among the
図9は、連続方式を示す項目を選択するユーザ操作について説明する図である。 FIG. 9 is a diagram illustrating a user operation for selecting an item indicating a continuous method.
図9の左の図は、表示部18に表示されるメニュー画面221として、「カメラ設定メニュー」の1つのメニューである「ズーム駆動方式」の選択メニューが表示されている状態を示している。
The left diagram of FIG. 9 shows a state in which a “zoom driving method” selection menu, which is one menu of the “camera setting menu”, is displayed as the
メニュー画面221に示されるように、ここではデフォルトとして、ズーム駆動方式は固定方式に設定されている。なお、図面中の「固定」という表示は、固定方式を示している。
As shown in the
この状態で、ユーザが、ズーム駆動方式として連続方式を選択することを所望したとする。この場合、ユーザは、十字キー15a乃至dのうち必要なキーを適宜押下することで、「ズーム駆動方式」と表示された項目にカーソルを移動させ、決定キー16を押下する。すると、表示部18の表示状態が図9の中央の図に示す表示状態に遷移する。
In this state, it is assumed that the user desires to select the continuous method as the zoom drive method. In this case, the user depresses a necessary key among the
図9の中央の図は、表示部18に表示されるメニュー画面222として、「ズーム駆動方式」の2つの方式として固定方式と連続方式の項目が表示されている状態を示している。なお、図面中の「連続」という表示は、連続方式を示している。ユーザは、十字キー15a乃至dのうち必要なキーを適宜押下することで、「連続」と表示された項目にカーソルを移動させ、決定キー16を押下する。すると、表示部18の表示状態が図9の右の図に示す表示状態に遷移する。
The center diagram of FIG. 9 shows a state in which items of a fixed method and a continuous method are displayed as two methods of “zoom driving method” on the
図9の右の図のメニュー画面223に示されるように、ズーム駆動方式は連続方式に設定される。
As shown in the
このようにして、ユーザにより「連続」の項目が選択されると、上述したように、ステップS4においてNOであると判定されて、処理はステップS8に進む。 Thus, when the item “continuous” is selected by the user, as described above, it is determined as NO in step S4, and the process proceeds to step S8.
ステップS8において、ノイズパターン選択部122は、ノイズテーブル141に格納されたTeleからWide方向へのノイズパターンN6乃至N10の中から、ステップS2の処理で認識部121が認識したズーム倍率の値が含まれるノイズパターンを選択する。
In step S8, the noise
ステップS9において、ズームノイズ低減部123は、ステップS8の処理でノイズパターン選択部122によって選択されたノイズパターンを用いて、ズームノイズ低減処理を実行する。すなわち、ズームノイズ低減部123は、入力音声データを、時間領域の形態から周波数領域の形態に変換する。次に、ズームノイズ低減部123は、周波数領域の入力音声データから、ノイズパターン選択部122により選択されたノイズパターンを減算する。これにより、ノイズが低減された周波数領域の音声データが得られる。そこで、ズームノイズ低減部123は、このようにしてノイズが低減された音声データを、周波数領域の形態から時間領域の形態に変換した上で出力する。
In step S9, the zoom
ステップS10において、認識部121は、ズームキー12の押下が継続しているかを判定する。
In step S10, the
ズームキー12の押下が継続している場合、ステップS10においてYESであると判定されて、処理はステップS2に戻され、それ以降の処理が繰り返される。すなわち、ズームキー12の押下が継続されている期間、ステップS2乃至S10のループ処理が繰り返される。
If the
その後、ユーザがズームキー12から指を離す等してズームキー12の押下が解除された場合、ステップS10においてNOであると判定されて、処理はステップS7に進む。
After that, when the user releases the
ステップS7において、認識部121は、動画記録の終了が指示されたかを判定する。
In step S7, the recognizing
動画記録の終了が指示されない場合、ステップS7においてNOであると判定されて、処理はステップS1に戻され、それ以降の処理が繰り返される。すなわち、動画記録の終了が指示されるまでの間、ステップS1乃至S10のループ処理が繰り返される。 If the end of moving image recording is not instructed, it is determined as NO in step S7, the process returns to step S1, and the subsequent processes are repeated. That is, until the end of the moving image recording is instructed, the loop processing of steps S1 to S10 is repeated.
その後、動画記録の終了が指示された場合、音声データ加工処理は終了する。 Thereafter, when the end of moving image recording is instructed, the audio data processing ends.
例えば、ズーム倍率が5倍の状態でユーザがWideキーを押下し、ズーム倍率が4.5倍に切り替えられたとする。このとき、認識部121は、ズーム制御情報を取得することにより、ズーム倍率が5倍から4.5倍に切り替えられたことを認識し、ズーム倍率を表示部18に表示させる。すると、ノイズパターン選択部122は、認識部121が認識したズーム倍率に基づいて、ノイズテーブル141に格納されているTeleからWide方向に切り替えられるズームパターンに該当するノイズパターンN6乃至N10のうち、4.5倍の値が含まれる5倍から4倍のノイズパターンN6を選択する。すなわち、ズーム駆動方式が連続方式である場合、認識されたズーム倍率の値がその範囲に含まれるノイズパターンが選択される。すると、ズームノイズ低減部123は、ノイズパターン選択部122によって選択されたノイズパターンN6を用いて、音声処理部92から供給された入力音声データに対してズームノイズ低減処理を実行する。
For example, assume that the user presses the Wide key in a state where the zoom magnification is 5 times, and the zoom magnification is switched to 4.5 times. At this time, the
その後、ズーム倍率が4.5倍の状態でユーザがTeleキーの押下を継続していて、ズーム倍率が3.1倍に切り替えられたとする。このとき、認識部121は、ズーム制御情報を取得することにより、ズーム倍率が4.5倍から3.1倍に切り替えられたことを認識し、ズーム倍率を表示部18に表示させる。すると、ノイズパターン選択部122は、認識部121が認識したズーム倍率に基づいて、ノイズテーブル141に格納されているTeleからWide方向に切り替えられるズームパターンに該当するノイズパターンN6乃至N10のうち、3.1倍の値が含まれる4倍から3倍のノイズパターンN7を選択する。すると、ズームノイズ低減部123は、ノイズパターン選択部122によって選択されたノイズパターンN7を用いて、音声処理部92から供給された入力音声データに対してズームノイズ低減処理を実行する。そして、ズームキー12の押下が継続されなくなり、再度シャッタキー11が押下されて動画記録の終了が指示されると、音声データ加工処理は終了する。
Thereafter, it is assumed that the user continues to press the Tele key while the zoom magnification is 4.5 times, and the zoom magnification is switched to 3.1 times. At this time, the
このように、5種類のズーム倍率を固定することによって、ノイズテーブル141に格納するノイズパターンを、10種類のノイズパターンN1乃至N10に限定することが可能になる。したがって、ノイズテーブル141を記録するメモリ容量を一定以下に保つことができる。さらに、一定以下のメモリ容量に記録されたノイズテーブル141を用いてズームノイズ低減処理を実行することにより、ノイズの低減効果を一定以上奏することができる。 Thus, by fixing the five types of zoom magnifications, it is possible to limit the noise patterns stored in the noise table 141 to the ten types of noise patterns N1 to N10. Therefore, the memory capacity for recording the noise table 141 can be kept below a certain level. Further, by executing the zoom noise reduction process using the noise table 141 recorded in a memory capacity below a certain level, a noise reduction effect can be achieved above a certain level.
なお、本実施形態では、ノイズパターンN1乃至N10は、ズーム駆動機構の駆動音のみならず、ズーム駆動機構の駆動開始音および駆動終了音、その他のレンズデバイス駆動音であるフォーカス駆動機構の駆動音等もノイズとしてあわせて集音された結果得られる周波数領域の音声データである。しかしながら、ノイズパターンは、特にこれらに限定されず、ズーム駆動機構の駆動音以外のノイズの周波数領域の音声データを、別のノイズパターンとして、ノイズテーブル141にそれぞれ個別に、または同時に格納させてもよい。この場合でも、ズーム駆動機構の駆動音についてのノイズパターンN1乃至N10のデータ容量は変わらないため、ノイズテーブル141のうちノイズパターンN1乃至N10が格納される分のメモリ容量は一定になる。したがって、メモリの空き容量がある分だけ、ズーム駆動機構の駆動音以外の音声についての別のノイズパターンを、ノイズテーブル141に追加して格納することができる。この場合には、ズーム駆動機構の駆動音とそれ以外とを区別してノイズ低減処理を実行することができるので、ノイズ低減効果をより一段と高めることができる。 In the present embodiment, the noise patterns N1 to N10 are not only the drive sound of the zoom drive mechanism, but also the drive start sound and drive end sound of the zoom drive mechanism, and the drive sound of the focus drive mechanism, which are other lens device drive sounds. And the like are the frequency domain audio data obtained as a result of collecting the noise together. However, the noise pattern is not particularly limited to these, and audio data in a frequency region of noise other than the driving sound of the zoom driving mechanism may be stored separately or simultaneously in the noise table 141 as another noise pattern. Good. Even in this case, since the data capacity of the noise patterns N1 to N10 for the driving sound of the zoom drive mechanism does not change, the memory capacity for storing the noise patterns N1 to N10 in the noise table 141 is constant. Therefore, another noise pattern for the sound other than the drive sound of the zoom drive mechanism can be added to the noise table 141 and stored by the amount of free memory. In this case, the noise reduction processing can be executed by distinguishing between the driving sound of the zoom drive mechanism and the others, so that the noise reduction effect can be further enhanced.
本発明は、デジタルカメラの他、デジタルビデオカメラ等、撮像機能と、光学系ズーム機能と、撮像時に入力される音声のデータを記録する記録機能とを備えた撮像装置に適用することができる。 The present invention can be applied to an imaging apparatus having an imaging function, an optical zoom function, and a recording function for recording audio data input at the time of imaging, such as a digital video camera, in addition to a digital camera.
[本発明のプログラムへの適用]
上述した一連の処理は、ハードウエアにより実行させることもできるし、ソフトウエアにより実行させることができる。
[Application of the present invention to a program]
The series of processes described above can be executed by hardware or can be executed by software.
一連の処理をソフトウエアにより実行させる場合には、そのソフトウエアを構成するプログラムが、専用のハードウエアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどに、ネットワークや記録媒体からインストールされる。 When a series of processing is executed by software, a program constituting the software executes various functions by installing a computer incorporated in dedicated hardware or various programs. For example, a general-purpose personal computer is installed from a network or a recording medium.
このようなプログラムを含む記録媒体は、図2に示されるように、装置本体とは別に、ユーザにプログラムを提供するために配布される、プログラムが記録されている磁気ディスク(フロッピディスクを含む)、光ディスク(CD-ROM(Compact Disk-Read Only Memory),DVDを含む)、光磁気ディスク(MD(Mini-Disk)を含む)、もしくは半導体メモリなどよりなる記録媒体40により構成されるだけでなく、装置本体に予め組み込まれた状態でユーザに提供される、プログラムが記録されているフラッシュROM82や、記録部39に含まれるハードディスクなどで構成される。
As shown in FIG. 2, the recording medium including such a program is distributed to provide a program to the user separately from the apparatus main body, and a magnetic disk (including a floppy disk) on which the program is recorded. It is not only composed of a
なお、本明細書において、記録媒体に記録されるプログラムを記述するステップは、その順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。 In the present specification, the step of describing the program recorded on the recording medium is not limited to the processing performed in chronological order according to the order, but is not necessarily performed in chronological order, either in parallel or individually. The process to be executed is also included.
1 撮像装置, 12 ズームキー, 15 十字キー, 16 決定キー, 18 表示部, 36 操作部, 39 記録部, 40 記録媒体, 61 光学ブロック, 81 CPU, 82 フラッシュROM82, 91 マイクロホン, 92 音声処理部, 93 スピーカ, 121 認識部, 122 ノイズパターン選択部, 123 ズームノイズ低減部, 141 ノイズテーブル, 161 窓かけフーリエ変換部, 162 減算処理部, 163 逆フーリエ変換窓かけ部
DESCRIPTION OF
Claims (7)
外部から入力される音声のデータを取得し、入力音声データとして出力する音声処理手段と、
前記ズーム駆動機構により駆動された前記ズームレンズが開始位置から終了位置まで移動するズームパターンとして、前記開始位置と前記終了位置との組み合わせを変化させた複数のズームパターンが予め定義されており、前記ズームパターン毎に、前記ズーム駆動機構の駆動音を含むノイズが実測され、実測された前記ノイズのデータをノイズパターンとして保持する保持手段と、
前記撮像手段により前記被写体が撮像されている最中の所定の期間に前記ズーム駆動機構により前記ズームレンズが駆動された場合、前記所定の期間における前記ズームレンズの移動が、複数の前記ズームパターンのうち何れに該当するのかを認識する認識手段と、
前記認識手段により認識された前記ズームパターンに対応する前記ノイズパターンを前記保持手段から選択するノイズパターン選択手段と、
前記ノイズパターン選択手段により選択された前記ノイズパターンと、前記所定の期間に前記音声処理手段から出力された前記入力音声データとを用いて、前記所定の期間に外部から入力された前記音声から前記ノイズを低減するズームノイズ低減処理を実行するノイズ低減処理手段と
を備える撮像装置。 An imaging unit that includes at least a zoom lens and a zoom drive mechanism that drives the zoom lens, and outputs image data of the subject by imaging the subject;
Audio processing means for acquiring audio data input from the outside and outputting as input audio data;
As a zoom pattern in which the zoom lens driven by the zoom driving mechanism moves from a start position to an end position, a plurality of zoom patterns in which combinations of the start position and the end position are changed are defined in advance, For each zoom pattern, noise including the driving sound of the zoom drive mechanism is measured, and holding means for holding the measured noise data as a noise pattern;
When the zoom lens is driven by the zoom drive mechanism during a predetermined period during which the subject is being imaged by the imaging unit, the movement of the zoom lens during the predetermined period is the movement of a plurality of the zoom patterns. A recognition means for recognizing which one of them,
Noise pattern selection means for selecting the noise pattern corresponding to the zoom pattern recognized by the recognition means from the holding means;
Using the noise pattern selected by the noise pattern selection unit and the input voice data output from the voice processing unit during the predetermined period, the voice input from the outside during the predetermined period An image pickup apparatus comprising: a noise reduction processing unit that executes zoom noise reduction processing for reducing noise.
前記保持手段は、複数の前記ズームパターン毎に、実測された音声の周波数領域のデータをノイズパターンとして保持しており、
前記ノイズ低減処理手段は、
前記所定の期間に前記音声処理手段により出力された前記時間領域の入力音声データを、周波数領域の入力音声データに変換する変換手段と、
前記変換手段により変換された前記周波数領域の入力音声データから、前記ノイズパターン選択手段により選択された前記ノイズパターンを減算し、その結果得られる、前記所定の期間に外部から入力された前記音声から前記ノイズが低減された音声のデータを、周波数領域のノイズ低減音声データとして出力する減算処理手段と、
前記減算処理手段から出力された前記周波数領域のノイズ低減音声データを、時間領域の音声データに逆変換する逆変換手段と、
を有する請求項1に記載の撮像装置。 The voice processing means outputs time-domain input voice data,
The holding means holds, as a noise pattern, data on the frequency domain of actually measured sound for each of the plurality of zoom patterns,
The noise reduction processing means includes
Conversion means for converting the time domain input voice data output by the voice processing means during the predetermined period into frequency domain input voice data;
The noise pattern selected by the noise pattern selection unit is subtracted from the input voice data in the frequency domain converted by the conversion unit, and the result is obtained from the audio input from the outside during the predetermined period. Subtraction processing means for outputting the noise-reduced audio data as noise-reduced audio data in the frequency domain;
Inverse conversion means for inversely converting the frequency domain noise-reduced voice data output from the subtraction processing means into time domain voice data;
The imaging device according to claim 1, comprising:
請求項2に記載の撮像装置。 When the zoom lens is moved according to any one of the plurality of zoom patterns by the driving of the zoom lens driving mechanism, the recognizing unit is configured such that the zoom lens has a plurality of zoom patterns in the predetermined period. The imaging apparatus according to claim 2, wherein a zoom pattern corresponding to the movement of the zoom lens during the predetermined period is recognized by recognizing which of the patterns is moved.
請求項2に記載の撮像装置。 When the zoom lens is continuously moved by driving of the zoom lens driving mechanism, the recognizing unit indicates that the locus of movement of the zoom lens during the predetermined period belongs to any of the plurality of zoom patterns. The imaging apparatus according to claim 2, wherein the zoom pattern that is determined as belonging to the zoom pattern is recognized as a zoom pattern corresponding to movement of the zoom lens during the predetermined period.
前記保持手段は、さらに、前記フォーカス駆動機構の駆動音が含まれるノイズのデータのノイズパターンを保持する
請求項3に記載の撮像装置。 The imaging means further includes a focus lens and the focus lens driving mechanism,
The imaging apparatus according to claim 3, wherein the holding unit further holds a noise pattern of noise data including a driving sound of the focus driving mechanism.
外部から入力される音声のデータを取得し、入力音声データとして出力する音声処理ステップと、
前記ズーム駆動機構により駆動された前記ズームレンズが開始位置から終了位置まで移動するズームパターンとして、前記開始位置と前記終了位置との組み合わせを変化させた複数のズームパターンが予め定義されており、前記ズームパターン毎に、前記ズーム駆動機構の駆動音を含むノイズが実測され、実測された前記ノイズのデータをノイズパターンとして保持する保持ステップと、
前記撮像ステップの処理により前記被写体が撮像されている最中の所定の期間に前記ズーム駆動機構により前記ズームレンズが駆動された場合、前記所定の期間における前記ズームレンズの移動が、複数の前記ズームパターンのうち何れに該当するのかを認識する認識ステップと、
前記認識ステップの処理により認識された前記ズームパターンに対応する前記ノイズパターンを前記保持ステップの処理により保持された前記ノイズパターンから選択するノイズパターン選択ステップと、
前記ノイズパターン選択ステップの処理により選択された前記ノイズパターンと、前記所定の期間に前記音声処理ステップから出力された前記入力音声データとを用いて、前記所定の期間に外部から入力された前記音声から前記ノイズを低減するズームノイズ低減処理を実行するノイズ低減処理ステップと
を含む撮像方法。 An imaging step that includes at least a zoom lens and a zoom drive mechanism that drives the zoom lens, and outputs image data of the subject by imaging the subject;
An audio processing step of acquiring audio data input from the outside and outputting as input audio data;
As a zoom pattern in which the zoom lens driven by the zoom driving mechanism moves from a start position to an end position, a plurality of zoom patterns in which combinations of the start position and the end position are changed are defined in advance, For each zoom pattern, the noise including the driving sound of the zoom drive mechanism is measured, and a holding step for holding the measured noise data as a noise pattern;
When the zoom lens is driven by the zoom driving mechanism during a predetermined period during which the subject is being imaged by the processing of the imaging step, the movement of the zoom lens during the predetermined period is a plurality of the zooms. A recognition step for recognizing which of the patterns corresponds;
A noise pattern selection step of selecting the noise pattern corresponding to the zoom pattern recognized by the processing of the recognition step from the noise pattern held by the processing of the holding step;
The audio input from the outside during the predetermined period using the noise pattern selected by the processing of the noise pattern selection step and the input audio data output from the audio processing step during the predetermined period A noise reduction processing step for executing a zoom noise reduction process for reducing the noise.
外部から入力される音声のデータを取得し、入力音声データとして出力し、
前記ズーム駆動機構により駆動された前記ズームレンズが開始位置から終了位置まで移動するズームパターンとして、前記開始位置と前記終了位置との組み合わせを変化させた複数のズームパターンが予め定義されており、前記ズームパターン毎に、前記ズーム駆動機構の駆動音を含むノイズが実測され、実測された前記ノイズのデータをノイズパターンとして保持し、
前記被写体が撮像されている最中の所定の期間に前記ズーム駆動機構により前記ズームレンズが駆動された場合、前記所定の期間における前記ズームレンズの移動が、複数の前記ズームパターンのうち何れに該当するのかを認識し、
認識された前記ズームパターンに対応する前記ノイズパターンを保持された前記ノイズパターンから選択し、
選択された前記ノイズパターンと、前記所定の期間に出力された前記入力音声データとを用いて、前記所定の期間に外部から入力された前記音声から前記ノイズを低減するズームノイズ低減処理を実行する
ステップを含む制御処理をコンピュータに実行させるプログラム。 Including at least a zoom lens and a zoom drive mechanism for driving the zoom lens, and outputting image data of the subject by imaging the subject;
Acquires audio data input from outside and outputs it as input audio data.
As a zoom pattern in which the zoom lens driven by the zoom driving mechanism moves from a start position to an end position, a plurality of zoom patterns in which combinations of the start position and the end position are changed are defined in advance, For each zoom pattern, noise including the driving sound of the zoom drive mechanism is measured, and the measured noise data is held as a noise pattern.
When the zoom lens is driven by the zoom driving mechanism during a predetermined period during which the subject is being imaged, the movement of the zoom lens during the predetermined period corresponds to any of the plurality of zoom patterns. Recognizes what to do,
Selecting the noise pattern corresponding to the recognized zoom pattern from the retained noise pattern;
Using the selected noise pattern and the input audio data output during the predetermined period, a zoom noise reduction process is performed to reduce the noise from the audio input from the outside during the predetermined period. A program for causing a computer to execute control processing including steps.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2010072500A JP2011205527A (en) | 2010-03-26 | 2010-03-26 | Imaging apparatus, method and program |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2010072500A JP2011205527A (en) | 2010-03-26 | 2010-03-26 | Imaging apparatus, method and program |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2011205527A true JP2011205527A (en) | 2011-10-13 |
Family
ID=44881659
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2010072500A Withdrawn JP2011205527A (en) | 2010-03-26 | 2010-03-26 | Imaging apparatus, method and program |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2011205527A (en) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2014036395A (en) * | 2012-08-10 | 2014-02-24 | Canon Inc | Image pick-up apparatus |
US11657794B2 (en) | 2020-08-27 | 2023-05-23 | Canon Kabushiki Kaisha | Audio processing apparatus for reducing noise using plurality of microphones, control method, and recording medium |
US11729548B2 (en) | 2020-08-27 | 2023-08-15 | Canon Kabushiki Kaisha | Audio processing apparatus, control method, and storage medium, each for performing noise reduction using audio signals input from plurality of microphones |
-
2010
- 2010-03-26 JP JP2010072500A patent/JP2011205527A/en not_active Withdrawn
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2014036395A (en) * | 2012-08-10 | 2014-02-24 | Canon Inc | Image pick-up apparatus |
US11657794B2 (en) | 2020-08-27 | 2023-05-23 | Canon Kabushiki Kaisha | Audio processing apparatus for reducing noise using plurality of microphones, control method, and recording medium |
US11729548B2 (en) | 2020-08-27 | 2023-08-15 | Canon Kabushiki Kaisha | Audio processing apparatus, control method, and storage medium, each for performing noise reduction using audio signals input from plurality of microphones |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US8363121B2 (en) | Digital photographing device, method of controlling the same, and computer-readable storage medium to select between a still and a moving image capturing mode | |
KR101661216B1 (en) | Digital image processing apparatus, method for digital image signal processing, medium for recording the method | |
JP4985834B2 (en) | Imaging apparatus and image processing apparatus | |
JP2007215091A (en) | Imaging apparatus and program therefor | |
JP2011248159A (en) | Imaging apparatus, imaging system, imaging apparatus control method and program | |
JP2007072254A (en) | Imaging apparatus and its program | |
JP2008054177A (en) | Imaging apparatus | |
KR101760345B1 (en) | Moving image photographing method and moving image photographing apparatus | |
JP2009065587A (en) | Voice-recording device and voice-reproducing device | |
JP5538918B2 (en) | Audio signal processing apparatus and audio signal processing system | |
JP5013852B2 (en) | Angle of view correction apparatus and method, and imaging apparatus | |
JP2011193185A (en) | Imaging device, imaging system, method of controlling interchangeable lens, and program | |
JP5656586B2 (en) | Imaging apparatus, control method therefor, and audio processing apparatus and method | |
JP2011205527A (en) | Imaging apparatus, method and program | |
JP5063489B2 (en) | Judgment device, electronic apparatus including the same, and judgment method | |
JP2011055086A (en) | Imaging apparatus | |
JP2011205526A (en) | Imaging apparatus, method, and program | |
JP2008205953A (en) | Imaging device and image reproducing device | |
JP6427859B2 (en) | Image processing apparatus, image processing method, and program | |
JP2012203040A (en) | Sound signal processing apparatus and its control method | |
US20220383891A1 (en) | Sound processing apparatus and control method | |
JP6270712B2 (en) | Imaging device | |
JP2013207472A (en) | Digital camera | |
JP2014026002A (en) | Sound recording device and program | |
JP5304756B2 (en) | Camera, camera control program, and camera control method |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A300 | Application deemed to be withdrawn because no request for examination was validly filed |
Free format text: JAPANESE INTERMEDIATE CODE: A300 Effective date: 20130604 |