JP2010147587A - 撮像装置及び撮像方法 - Google Patents

Abstract

【課題】撮影時の聴覚から得られる情感を撮影画像に表現できるようにする。
【解決手段】音声情報を取り込むマイクと、音声信号の特徴量を分析する音声分析回路と、前記マイクによって取得した音声信号の特徴量に基づいて画像処理パラメータ及び撮影パラメータを制御するシステム制御手段とを設け、撮影時の聴覚から得られる情感を撮影画像に表現できるようにして、臨場感のある撮影画像を生成できるようにする。
【選択図】 図１

Description

本発明は撮像装置及び撮像方法に関し、特に、撮影時の雰囲気や臨場感を反映した画像を撮影するために用いて好適な技術に関する。

従来、撮影時における撮影者の感情を撮影画像に反映させることを目的として、撮影者の体温、発汗、グリップ圧力等の状態を検出する感情検出センサ、及び撮影時の位置・外気温・外湿度を検出する環境検出センサを有している。そして、各々の検出センサの検出値に応じて取得画像の画像処理パラメータを変更する技術が特許文献１に開示されている。

また、「撮影時の雰囲気」を撮影画像から感じ取れることを目的として、音声入力可能なカメラにおいて、入力された音声の音量や抑揚を分析する。そして、分析結果に応じて最適な形式の文字画像に変換し、被写体像と合成した撮影画像を取得する技術が特許文献２に開示されている。

特開２００５−２５０９７７号公報 特開２００３−３４８４１１号公報

一般的に、撮像装置は、撮像光学系を介して結像された光学像を電気信号に変換して画像情報を取得し、記録媒体に記録したり、表示装置に表示したりするものである。いわば、撮影者の視覚情報を記録保存できるようにした装置である。

しかし、実際には撮影者は視覚情報のみならず、無意識にも聴覚・触覚等の他の感覚器官から得られた情報を加味し、撮影時の「映像」を記憶して保存する。このため、撮影後に時間を経過してから撮影画像を見返すと、自分の記憶に保存された「映像」とは異なるように感じることがある。

これに対して、前記特許文献１にて開示されている技術では、外気温・外湿度センサにより撮影時の触覚、特に温覚・湿覚を検出し画像に反映させることができ、より臨場感のある画像を取得することができる。しかし、聴覚情報には触れられていない。

一方で、前記特許文献２にて開示されている技術では、聴覚情報を文字という形で撮影画像と合成することで、撮影時の雰囲気を演出できるようにしている。しかし、文字で表現するという形は、臨場感のある映像を記録したいという本来の撮影目的とは若干異なってしまう問題点があった。

本発明は前述の問題点に鑑み、撮影時の聴覚から得られる情感を撮影画像に表現できるようにすることを目的としている。

本発明の撮像装置は、被写体を撮影して静止画像データまたは動画像データを生成する撮像手段と、前記撮像手段によって生成された静止画像データまたは動画像データに所定の画像処理を施す画像処理手段と、前記撮像手段が前記被写体を撮影する時に音声信号を取得する音声入力手段と、前記音声入力手段によって取得された音声信号の特徴量を分析する音声分析処理手段と、前記画像処理手段が前記静止画像データまたは動画像データに所定の画像処理を施すために用いる画像処理パラメータを、前記音声分析処理手段によって分析された音声信号の特徴量に基づいて制御するシステム制御手段とを有することを特徴とする。

本発明の撮像方法は、被写体を撮影して静止画像データまたは動画像データを生成する撮像工程と、前記撮像工程において生成された静止画像データまたは動画像データに所定の画像処理を施す画像処理工程と、前記撮像工程において前記被写体を撮影する時に音声信号を取得する音声入力工程と、前記音声入力工程において取得された音声信号の特徴量を分析する音声分析処理工程と、前記画像処理工程において前記静止画像データまたは動画像データに所定の画像処理を施すために用いる画像処理パラメータを、前記音声分析処理工程において分析された音声信号の特徴量に基づいて制御するシステム制御工程とを有することを特徴とする。

本発明のコンピュータプログラムは、被写体を撮影して静止画像データまたは動画像データを生成する撮像工程と、前記撮像工程において生成された静止画像データまたは動画像データに所定の画像処理を施す画像処理工程と、前記撮像工程において前記被写体を撮影する時に音声信号を取得する音声入力工程と、前記音声入力工程において取得された音声信号の特徴量を分析する音声分析処理工程と、前記画像処理工程において前記静止画像データまたは動画像データに所定の画像処理を施すために用いる画像処理パラメータを、前記音声分析処理工程において分析された音声信号の特徴量に基づいて制御するシステム制御工程とを有する撮像方法をコンピュータに実行させることを特徴とする。

本発明によれば、撮影時の聴覚から得られる情感を撮影画像に表現することが可能となり、より臨場感のある撮影画像を得ることができる。

（第１の実施形態）
図１は、本発明の第１の実施形態の形態を示し、撮像装置の構成例を示すブロック図である。
図１において、１００は撮像装置である。１２１はレンズユニット２００より、図示されていない被写体の光学像を撮影レンズ２１０から、絞り２１１、レンズマウント１０２及び２０２、シャッター１４４を含む撮像光学系を介して結像された光学像を電気信号に変換する撮像素子である。

１２２は撮像素子１２１から出力されるアナログ信号出力をデジタル信号に変換し、デジタルの静止画像データまたは動画像データを生成するＡ／Ｄ変換部である。Ａ／Ｄ変換部１２２においてＡ／Ｄ変換されたデジタル信号は、メモリ制御部１２４及びシステム制御部１２０により制御され、メモリ１２７に格納される。

１２３は画像処理部であり、デジタル信号のデータ或いはメモリ制御部１２４から読み出されたデータに対して所定の画素補間処理や色変換処理を行う。画像処理部１２３は適応離散コサイン変換（ＡＤＣＴ）等により画像データを圧縮伸長する圧縮・伸長回路も備えている。

また、メモリ１２７に格納された画像を読み込んで圧縮処理或いは伸長処理を行い、処理を終えたデータをメモリ１２７に書き込むことも可能である。また、動画撮影モードでは、記録時に、メモリ１２７に取り込まれている一連の動画像データをＭＰＥＧ方式等によりデータ圧縮することができる。

さらに、画像処理部１２３では、撮像した画像データを用いて所定の演算処理を行い、コントラスト、明度、彩度、ホワイトバランス、シャープネス等の画像処理を施すことができる。また、TTL（スルーザレンズ）方式のAWB（オートホワイトバランス）処理も行っている。

１２４はメモリ制御部であり、Ａ／Ｄ変換部１２２、画像処理部１２３、液晶パネル表示部１２５、外部着脱メモリ部１３１とメモリ１２７との間のデータの送受信を制御する。 Ａ／Ｄ変換部１２２においてデジタル化されたデータが画像処理部１２３、メモリ制御部１２４を介してメモリ１２７に書き込まれる。或いは、Ａ／Ｄ変換部１２２から出力されるデジタルデータがメモリ１２７に直接書き込まれる。

１１０は液晶ディスプレイ型の表示装置であり、液晶パネル表示部１２５とバックライト照明部１２６とから構成される。液晶パネル表示部１２５は、メモリ１２７の表示データ用格納領域へ書き込まれたメニュー画面、または外部着脱メモリ部１３１に格納された画像ファイルを表示することが可能である。

バックライト照明部１２６は、液晶パネル表示部１２５に対して背面照射する光源素子として、ＬＥＤ、有機ＥＬ、蛍光管等を用いて構成され、システム制御部１２０の指示により照明を任意に点灯或いは消灯することが可能である。また、システム制御部１２０により、電圧駆動方式或いはＰＷＭ駆動方式の何れかで光源素子の通電電流を制限することで、表示装置１１０の表示輝度を調整する調光機能を有する。

１２７は撮影した静止画像及び動画像、再生用表示のための画像及び音声ファイルを格納するためのメモリであり、所定枚数の静止画像や動画像を格納するのに十分な記憶量を備えている。なお、メモリ１２７はシステム制御部１２０の作業領域としても使用することが可能である。

１２８は電気的に消去・記録可能な不揮発性メモリであり、例えばフラッシュメモリやEEPROM等が用いられる。また、不揮発性メモリ１２８には、撮影状態の保存や、撮像装置１００を制御するプログラムが格納されている。

１３０は接眼検出部であり、赤外発光体及び受光回路で構成されていて、一定間隔で、赤外発光体から赤外光を発光し、被検出物体で反射した赤外光を受光回路で受光し、受光した光量により規定位置に被検出物体があるかどうかを検出する。

１３１はコンパクトフラッシュ（登録商標）やＳＤカードといった記録媒体に画像ファイル記録や読み出しを行うための外部着脱メモリ部である。１３８は電源部であり、電池、電池検出回路、ＤＣ／ＤＣコンバータ、通電するブロックを切り替えるスイッチ回路等により構成されており、電池の装着の有無、電池の種類、電池残量の検出を行う。また、検出結果及びシステム制御部１２０の指示に基づいてＤＣ／ＤＣコンバータを制御し、必要な電圧を必要な期間、各ブロック部へ供給する。

システム制御部１２０は、撮像装置１００の動作状態に伴い、不要なブロックへの電源供給を停止することで、省電力へのパワーマネージメント制御を行っている。その例として、画像再生表示や、メニュー画面表示の場合、カメラ制御ブロックは動作不要のため、カメラ制御部１４０や測光部１４２、測距部１４３、撮像素子１２１、レンズユニット２００、ストロボユニット３００への供給電源を遮断する。

１４１は測光部１４２からの測光情報に基づいて、絞り２１１を制御するレンズ制御部２０３と連動しながら、シャッター１４４を制御するシャッター制御部である。１４２はＡＥ（自動露出）処理を行うための測光部であり、本実施形態においては、被写体の周辺部の明るさを測るためにも用いられる。

すなわち、撮影レンズ２１０に入射した光線を、絞り２１１、レンズマウント２０２及び１０２、そして不図示の測光用レンズを介して、測光部１４２に入射させる。これにより、光学像として結像された被写体の露出状態を測定することができる。また、測光部１４２は、ストロボユニット３００と連携することによりＥＦ（フラッシュ調光）処理機能も有するものである。また、ストロボユニット３００は、ＡＦ補助光の投光機能、フラッシュ調光機能も有する。

１４３はＡＦ（オートフォーカス）処理を行うための測距部であり、撮影レンズ２１０に入射した光線を、絞り２１１、レンズマウント２０２及び１０２、そして不図示の測距用ミラーを介して、測距部１４３に入射させる。これにより、光学像として結像された画像の合焦状態を測定することができる。上述したように、測距部１４３及び測光部１４２を専用に備える構成のため、測距部１４３及び測光部１４２を用いてＡＦ（オートフォーカス）処理、ＡＥ（自動露出）処理、ＥＦ（フラッシュ調光）処理の各処理を行う構成となっている。

１４０はシャッター制御部１４１、測光部１４２、測距部１４３との送受通信によりカメラとしての一連の動作を制御するカメラ制御部である。カメラ制御部１４０は、レンズユニット２００、ストロボユニット３００を制御することも可能である。

１３２、１３３、１３４、１３５、１３６、及び１３７は、システム制御部１２０の各種の動作指示を入力するための操作部を構成するものである。操作部を構成するスイッチやダイアル、タッチパネル、視線検知によるポインティング、音声認識装置等の単数或いは複数の組み合わせで構成されている。

ここで、操作部を構成する操作器具の具体的な説明を行う。
再生スイッチ１３２は、液晶パネル表示部１２５に所定の画像データを表示する再生表示モード操作を行うためのスイッチである。外部着脱メモリ部１３１に格納された画像ファイルを再生表示する場合は、この再生スイッチ１３２を必ず操作する必要がある。また、すでに再生表示モードで、この操作が行われた場合には、再生表示モードから撮影モードへの切り替えができる。

メニュースイッチ１３３は、 液晶パネル表示部１２５に各種項目一覧を表示するためのスイッチである。この表示内容としては撮影に関する状態設定、記録媒体のフォーマット、時計の設定、現像パラメータ設定、及びユーザ機能設定（カスタム機能の設定）等がある。

モードダイアル１３４は、種々の機能撮影モードを切り替え設定するためのスイッチである。本実施形態においては、自動撮影モード、プログラム撮影モード、シャッター速度優先撮影モード、絞り優先撮影モード、マニュアル撮影モード、ポートレート撮影モード、風景撮影モード、スポーツ撮影モード、夜景撮影モード、動画モード等を設定できる。

レリーズスイッチ１３５は、レリーズボタンの半押し（ＳＷ１）及び全押し（ＳＷ２）で各々ＯＮとなるスイッチである。半押し状態では、ＡＦ（オートフォーカス）処理、ＡＥ（自動露出）処理、ＡＷＢ（オートホワイトバランス）処理、ＥＦ（フラッシュ調光）処理等の動作開始を指示する。

また、全押し状態では、撮像素子１２１から読み出したアナログ信号をＡ／Ｄ変換部１２２によりデジタルの画像データに変換し、メモリ制御部１２４の制御に従ってメモリ１２７に書き込む撮像処理を行う。また、画像処理部１２３やメモリ制御部１２４で演算を行って映像として見ることができるようにする現像処理を行う。さらに、メモリ１２７から画像データを読み出し、画像処理部１２３でさらに圧縮を行い、外部着脱メモリ部１３１に装着された不図示の記録媒体に画像データを書き込む記録処理を行う、という一連の処理の動作開始を指示する。

各種ボタンスイッチからなる操作部１３６は、撮影モード、連写モード、セット、マクロ、ページ送り、フラッシュ設定、メニュー移動、ホワイトバランス選択、撮影画質選択、露出補正、日付/時間設定等を行うことができる。さらに、動画撮影開始及び停止を行う動画撮影スイッチや、上下左右方向スイッチや、再生画像のズーム倍率変更スイッチ、液晶パネル表示部１２５の画像表示ＯＮ／ＯＦＦスイッチがある。また、撮影直後に撮影画像データを自動再生するクイックレビューＯＮ／ＯＦＦスイッチ、再生画像を消去する画像消去スイッチがある。

また、ＪＰＥＧ及びＭＰＥＧ圧縮の各圧縮率と、撮像素子の信号をそのままデジタル化して記録するＣＣＤＲＡＷモードとを選択する圧縮モードスイッチがある。その他、レリーズスイッチ半押し状態でオートフォーカスの合焦状態を保ち続けるワンショットＡＦモードと連続してオートフォーカス動作を続けるサーボＡＦモードとを設定するＡＦモード設定スイッチ等がある。

１３７は電源スイッチで、撮像装置１００の電源オン、電源オフの各モードを切り替え設定することができる。また、撮像装置１００に接続されたレンズユニット２００、ストロボユニット３００、記録媒体等の各種付属装置の電源オン、電源オフの設定も合わせて切り替え設定することができる。タイマー機能１３９は、時計機能、カレンダー機能、タイマーカウンター機能、アラーム機能があり、スリープモードへの移行時間や、アラーム通知などのシステム管理に用いられる。

１０２及び２０２は、レンズマウントであり、撮像装置１００をレンズユニット２００と接続するためのインターフェースである。１０１及び２０１は撮像装置１００をレンズユニット２００と電気的に接続するコネクタであり、カメラ制御部１４０により制御される。１１１及び３０１は、アクセサリシューであり、撮像装置１００をストロボユニット３００と接続するためのインターフェースである。

レンズ制御部２０３はレンズユニット２００の全体を制御して、動作用の定数、変数、プログラム等を記憶するメモリを備えている。また、レンズユニット２００に固有の番号等の識別情報、管理情報、開放絞り値や最小絞り値、焦点距離等の機能情報、現在や過去の各設定値などを保持する不揮発メモリ（図示せず）を備えている。また、レンズ制御部２０３は絞り２１１を制御したり、撮影レンズ２１０のフォーカシングを制御したり、撮影レンズ２１０のズーミングを制御する機能も兼ね備えている。

ストロボユニット３００はストロボ発光制御部３０２を有している。ストロボ発光制御部３０２は、インターフェース３０１を介してアクセサリシュー１１１に接続して動作する時に、不図示のキセノン管等の発光部に対し、測光部１４２からの情報を元に、発光量や、発光タイミングを制御する。

１５０は音声信号を取得する音声入力部として設けられているマイクロフォンであり、音声を電気信号に変換して音声信号を撮像装置１００に入力する。１５１はマイクロフォン１５０から出力されるアナログ信号出力をデジタル信号に変換するＡ／Ｄ変換部である。Ａ／Ｄ変換部１５１においてＡ／Ｄ変換されたデジタル信号は、Ａｕｄｉｏ Ｃｏｄｅｃ部１５２により、符号化処理がなされる。Ａｕｄｉｏ Ｃｏｄｅｃ部１５２において符号化された信号は、メモリ制御部１２４及びシステム制御部１２０により制御されてメモリ１２７に格納される。

音声再生時には、メモリ１２７に格納された音声ファイルを、Ａｕｄｉｏ Ｃｏｄｅｃ部１５２により復号化する。復号化された信号は、Ｄ／Ａ変換部１５３によりデジタル信号からアナログ信号に変換される。１５４は音声出力のためのスピーカであり、Ｄ／Ａ変換部１５３において変換されたアナログの音声信号を音声として出力する。

１５５は音声信号から音声特徴量を取得するための音声分析処理部である。音声分析処理部１５５はスペクトルアナライザ回路から構成されており、入力音声信号の音量、周波数分布が得られる。音声分析処理部１５５により得られた入力音声信号の特徴量は、システム制御部１２０において演算され、演算結果が画像処理部１２３で施される画像処理のパラメータに反映される。

１５６は音声認識モードスイッチであり、音声特徴量を抽出して画像処理パラメータ及び撮影パラメータを変更する、本実施形態の実施モード（音声認識モード）は、音声認識モードスイッチ１５６をＯＮすることで開始される。

図２に、第１の実施形態の撮像装置１００において実行される処理手順の一例を説明するフローチャートを示す。
図１の撮像装置において、音声認識モードスイッチ１５６により音声認識モードが選択されている場合に、以下のフローが処理実行される。
ステップＳ１０１では、１３５のレリーズスイッチが半押し（ＳＷ１）の状態であるかどうかを判別する。ＳＷ１がＯＮであればステップＳ１０２へ移行する。

ステップＳ１０２では、マイクロフォン１５０より音声信号を取得する。
ステップＳ１０３では、音声分析処理部１５５により、入力された音声信号の音量レベル及び周波数を分析する。

ステップＳ１０４では、システム制御部１２０において、取得した音声信号の音量レベル及び周波数分布から所定の演算処理を施し、音声取得期間内の平均音量レベル、単位時間当たりの音量変化率、平均周波数、単位時間当たりの平均周波数の変化率を演算する。そして演算結果から、入力音声の音量やテンポ、音高、抑揚等の音声特徴量を抽出する。詳細は後述する。

ステップＳ１０５では、１３５のレリーズスイッチが全押し（ＳＷ２）の状態であるかどうかを判別する。この判別の結果、レリーズスイッチが全押しＳＷ２がＯＮであれば音声取得を停止し、レリーズ動作を開始する。また、レリーズスイッチが全押しＳＷ２がＯＮでなければステップＳ１０２に戻る。つまり、レリーズスイッチ１３５が、ＳＷ１がＯＮされてからＳＷ２がＯＮされるまでの間が、音声取得期間となる。

ステップＳ１０６では、撮像素子１２１から読み出した信号を画像データに変換してメモリ１２７に書き込む撮像処理が行われる。
ステップＳ１０７では、ステップＳ１０４で得られた音声特徴量に対応するコントラスト・明度・彩度・シャープネス等の画像処理パラメータ値を設定する。

ステップＳ１０８では、所定の画素補間処理や色変換処理に加え、ステップＳ１０７で設定したパラメータに基づく画像処理を施し、画像データの圧縮処理を行う。
ステップＳ１０９では、ステップＳ１０８において得られた画像データを外部着脱メモリ部１３１に記録する。また、表示装置１１０に画像を表示する。

次に、音声特徴量の抽出方法について説明する。
前述の通り、音声信号は音声分析処理部１５５により分析される。音声分析処理部１５５はスペクトルアナライザ機能を含み、取得した音声信号の周波数分布を得ることができる。これにより、図３に示すように各周波数域における音量レベルを取得することができる。

前述のようにして得られた周波数分布から、下記の式１、式２、式３、式４より音声取得時間内の平均音量Ａ、単位時間当たりの音量変化率Ｂ、平均周波数Ｃ、単位時間当たりの平均周波数の変化率Ｄを求めることができる。ただし、Ｔは音声取得サンプリング回数の総数、Ｋは周波数のサンプリング数、ｆ_t、_kは音声取得サンプリングｔ回目でのサンプリングｋ番目の周波数。ａ_t、_kは周波数ｆ_t、_kでの音量レベルを表す。

ここで、前記の単位時間当たりの音量変化率Ｂは入力音声信号のテンポ、平均周波数Ｃは音高、単位時間当たりの平均周波数の変化率Ｄは抑揚に対応する。以上より、入力音声の特徴量である音量・テンポ・音高・抑揚を取得することができる。なお、前述した４式は、簡略のために移動平均式としても構わない。

次に、画像処理パラメータの設定方法について説明する。変更する画像処理パラメータはコントラスト、シャープネス、明度、彩度、ホワイトバランスとする。デフォルト時の画像処理に対して、入力音声の特徴量である音量・テンポ・音高・抑揚の強弱に応じて、各効果の強弱を調整する。

以下、コントラストを例に設定方法を示す。コントラストはコントラスト設定値Ｃｒに比例して効果の強弱が変わる画像処理テーブルを有している。コントラスト設定値Ｃｒの値が大きいほどコントラストが強くなり、小さいほどコントラストが弱くなる。

音声特徴量は各々のコントラスト調整用パラメータとして、音量Ｖｃｒ・テンポＴｃｒ・音高Ｐｃｒ・抑揚Ｉｃｒをもち、取得した特徴量の強弱に応じて各々の値が設定される。前記パラメータを用いて、コントラスト設定値Ｃｒは式５より求まる。
Ｃｒ ＝ Ｃｒｏ×Ｖｃｒ×Ｔｃｒ×Ｐｃｒ×Ｉｃｒ （式５）
ここで、Ｃｒｏはコントラストのデフォルト設定値である。

ここで、各画像処理パラメータと音声特徴量とは図４の関係にあるものとする。コントラスト設定値を例とすれば、音量・抑揚が大きいほどコントラストは強まり、音高・テンポが大きいほどコントラストは弱まるものとする。つまり、前記の式５において各音声特徴量がデフォルトより大きければ、音量Ｖｃｒ・抑揚Ｉｃｒは１より大きな値となり、音高Ｐｃｒ・テンポＴｃｒは１より小さな値となる。

以上、コントラストを例に設定方法を示したが、シャープネス、明度、彩度、ホワイトバランスについても同様の画像処理テーブルをもち、音声特徴量の値に応じて、各々の効果が変わる。ただし、図４に示すように、音声特徴量に対する各々の効果の変化の方向は異なる。

例えば、音量及び抑揚が高い環境下では、画像の明度・彩度を強くして印象的な画像にする。また、コントラストとシャープネスを下げるとともにホワイトバランスを黄色側にシフトさせることで、柔らかく、明るい印象をもたせる絵作りを行う。

一方で、音量・抑揚が小さく、高音でテンポが速い環境下では、明度・彩度を下げ、かつホワイトバランスを青色側へシフトさせる。そして、コントラスト・シャープネスの効果を上げ、引き締まった画像に仕上げる。

以上、第１の実施形態の構成によれば、撮影直前の環境音を取得し、画像処理に反映させることが可能になる。なお、前述した第１の実施形態ではレリーズスイッチ１３５が半押し（ＳＷ１）から全押し（ＳＷ２）になるまでの期間を音声取得期間としたが、レリーズスイッチ１３５以外のボタンを使用してもよい。

また、音声取得期間が他の任意の期間であってもよい。例えば、撮影前に予め取得しておいた音声特徴量に基づいて、画像処理を施してもよい。また、撮影後に音声特徴量を抽出し、既に撮影された画像に画像処理を施してもよい。

（第２の実施形態）
次に、本発明の第２の実施形態を説明する。
前述した第１の実施形態では、静止画撮影時において本発明を実行する例を説明したが、第２の実施形態では動画撮影時に本発明を適用する例を説明する。本実施形態の撮像装置の構成は、第１の実施形態と同様であるため、撮像装置の構成を説明する図面は省略する。

図５に、第２の実施形態において処理実行される処理手順を説明するフローチャートを示す。
図１の撮像装置１００に配設されている音声認識モードスイッチ１５６により音声認識モードが選択されている場合に、以下のフローが処理実行される。

まず、ステップＳ２０１では、操作部１３６の動画スイッチ（図示せず）が押され、動画撮影が開始状態であるかどうかを判別する。この判別の結果、動画撮影が開始状態であればステップＳ２０２へ移行する。
ステップＳ２０２では、撮像素子１２１から読み出した信号を画像データに変換してメモリ１２７に書き込む撮像処理が行われる。また、マイクロフォン１５０より音声信号を取得する。次に、ステップＳ２０３では、ステップＳ２０２で取得した画像データを処理するか、音声信号を処理するかの選択が行われ、音声信号を処理する場合にはステップＳ２０４へ移行する。また、画像データを処理する場合にはステップＳ２０６へ移行する。

ステップＳ２０４では、入力された音声信号の音量レベル及び周波数を音声分析処理部１５５により分析する。
次に、ステップＳ２０５では、ステップＳ２０４で取得した音声信号の音量レベル及び周波数分布から所定の演算処理をシステム制御部１２０において施す。これにより、音声取得期間内の平均音量レベル、単位時間当たりの音量変化率、平均周波数、単位時間当たりの平均周波数の変化率を演算する。そして、演算結果から、入力音声の音量やテンポ、音高、抑揚等の音声特徴量を抽出する。音声特徴量を抽出する詳細は第１の実施形態に示した通りである。

ただし、動画撮影の場合には、取得した音声特徴量を画像処理に動的に反映する必要があるため、移動平均式を用いて単位時間当たりの音量変化率、平均周波数、単位時間当たりの平均周波数の変化率を演算することが望ましい。

次に、ステップＳ２０６では、ステップＳ２０５で得られた音声特徴量に対応するコントラスト・明度・彩度・シャープネス等の画像処理パラメータ値を設定する。
次に、ステップＳ２０７では、所定の画素補間処理や色変換処理に加え、Ｓ２０７で設定したパラメータに基づく画像処理を施す。

次に、ステップＳ２０８では、操作部１３６の動画スイッチが押され、動画撮影が停止状態であるかどうかを判別する。この判断の結果、動画撮影が停止状態であればステップＳ２０９へ移行する。また、動画撮影が停止状態でなかった場合にはステップＳ２０２に戻り、前述した動作を実行する。

ステップＳ２０９では、取得した動画データを画像処理部１２３にてＭＰＥＧ方式によりデータ圧縮する。また、音声データはＡｕｄｉｏ Ｃｏｄｅｃ部１５２により圧縮処理される。
次に、ステップＳ２１０では、ステップＳ２０９で圧縮された動画像ファイル及び音声ファイルを動画ファイル（動画データ＋音声データ）として外部着脱メモリ部１３１に記録する。

以上、説明した第２の実施形態において、音声特徴量の抽出方法及び画像処理パラメータの変更方法は前述した第１の実施形態と同様であるため、説明は省略する。第２の実施形態によれば、撮影している際の音声特徴量に基づいて画像処理を変更する本発明を、動画像に対しても適用することが可能となる。

（第３の実施形態）
前述した、第１の実施形態及び第２の実施形態では、音声特徴量に基づき画像処理パラメータを変更する例を説明した。それに対して、第３の実施形態では、音声特徴量に基づいて撮影パラメータを変更する例を説明する。なお、撮像装置の構成は図１で説明した第１の実施形態と同様であるため、撮像装置の構成を説明する図面は省略する。

図６に、第３の実施形態において行われる撮像方法の処理手順を説明するフローチャートを示す。この処理は、図１の撮像装置において、音声認識モードスイッチ１５６により音声認識モードが選択されている場合に実行される。

まず、ステップＳ３０１では、接眼検出部１３０において、接眼が検出されているかどうかを判別する。この判断の結果、接眼状態にあればステップＳ３０２へ移行する。
ステップＳ３０２では、マイクロフォン１５０より音声信号を取得する。その後、ステップＳ３０３に進む。ステップＳ３０３では、マイクロフォン１５０から入力された音声信号の音量レベル及び周波数を音声分析処理部１５５により分析する。

次に、ステップＳ３０４では、取得した音声信号の音量レベル及び周波数分布から所定の演算処理をシステム制御部１２０で施し、音声取得期間内の平均音量レベル、単位時間当たりの音量変化率、平均周波数、単位時間当たりの平均周波数の変化率を演算する。そして、演算結果から、入力音声の音量やテンポ、音高、抑揚等の音声特徴量を抽出する。詳細は第１の実施形態に示す。

次に、ステップＳ３０５では、レリーズスイッチ１３５が半押し（ＳＷ１）の状態であるかどうかを判別する。この判断の結果、ＳＷ１がＯＮであれば音声取得を停止し、撮影モードへ移行する。つまり、接眼検出部１３０により接眼が検知されてからＳＷ１がＯＮされるまでの間が、音声取得期間となる。
ステップＳ３０６では、測光部１４２より得られた被写体及び被写体の周辺部の明るさを示す測光値より自動露出補正（ＡＥ）が行われ、絞り及びシャッタースピードが設定される。

ステップＳ３０７では、ステップＳ３０６で得られた絞り及びシャッタースピードの設定値を、ステップＳ３０４で得られた音声特徴量に基づいて変更する。
ステップＳ３０８では、レリーズスイッチ１３５が全押し（ＳＷ２）の状態であるかどうかを判別する。

ステップＳ３０８の判断の結果、ＳＷ２がＯＮであればステップＳ３０９へ移行する。ステップＳ３０９では、ステップＳ３０７で設定された絞り及びシャッタースピードの設定値に基づいて撮影動作が行われる。なお、第３の実施形態において、音声特徴量の抽出方法は第１の実施形態と同様であるため、詳細な説明は省略する。

次に、撮影パラメータの設定方法について説明する。変更する撮影パラメータは絞り、シャッタースピードの設定値とする。
図６のステップ３０６で得られたデフォルトの絞り及びシャッタースピードに対して、入力音声の特徴量である音量・テンポ・音高・抑揚の強弱に応じて、設定値を調整する。

露出（Ｅｖ）、絞り（Ａｖ）、シャッタースピード（Ｔｖ）に対して、音声特徴パラメータとして、音量Ｖ＊・テンポＴ＊・音高Ｐ＊・抑揚Ｉ＊（＊＝ｅｖは露出、＊＝ａｖは絞り、＊＝ｔｖはシャッタースピードのパラメータである）をそれぞれ有する。本実施形態においては、ステップＳ３０４で取得した特徴量の強弱に応じて各々の値が設定される。

すなわち、以下の式６より露出補正パラメータＫｅｖが求まる。Ｋｅｖは露出を何段明るくすべきかを決定するパラメータである。また、デフォルトの露出値をＥｖｏとすれば、補正後の露出ＥｖはＥｖｏをＫｅｖ段だけ明るくした値となる。

同様に、絞りＡｖ、シャッタースピードＴｖについても、以下の式７より絞り補正パラメータＫａｖ、以下の式８よりシャッタースピード補正パラメータＫｔｖが求まる。補正後の絞りＡｖはデフォルトの設定値Ａｖｏに対してＫａｖ段下げた値となり、補正後のシャッタースピードＴｖはデフォルトの設定値Ｔｖｏに対してＫｔｖ段上げた値となる。

ここで、各音声特徴量と撮影パラメータの関係は、図７の関係にあるものとする。例えば、音量及び抑揚が高い環境下では、絞りを開放側に補正し、かつシャッタースピードを下げ、露出を高くすることで、柔らかく、明るい印象をもつ画像を撮影できる。一方で、音量・抑揚が小さく、高音でテンポが速い環境下では、露出を下げ、絞り込み、かつシャッタースピードを上げ、引き締まった画像に仕上げるようにする。

以上説明した第３の実施形態によれば、画像処理機能に乏しい撮像装置に対しても、本発明を適用することが可能となる。また、第１の実施形態と組み合わせることで、相乗効果が期待できる。

また、第３の実施形態では、静止画撮影を想定しているが、動画撮影時に適用してもよい。例えば、動画の場合は露出及び絞りの制御に加えて、シャッタースピード調整の代わりに、撮影時のフレームレートを変更してもよい。例えば、音声特徴量の内、テンポが速ければ動画のフレームレートを間引くことで、再生時に早送りの効果となり、臨場感がより伝わる。

また、第３の実施形態では接眼検出部１３０において接眼が検出されてから、レリーズスイッチ１３５が半押し（ＳＷ１）されるまでの期間を音声取得期間としたが、他のボタンを使用してもよい。また、音声取得期間が他の任意の期間であってもよい。例えば、撮影前に予め取得しておいた音声特徴量に基づいて、撮影パラメータを設定してもよい。

（第４の実施形態）
次に、本発明の第４の実施形態を説明する。
前述した第１の実施形態〜第３の実施形態では、音声信号の特徴量を音量・テンポ・音高・抑揚として画像処理パラメータ及び撮影パラメータを変更していた。それに対して、第４の実施形態では、取得した周波数成分の分布が可聴域範囲内であるかを判定し、判定結果に応じて設定する画像処理パラメータ及び撮影パラメータを変更する。

一般的に、都市部は人間の可聴域（２０ｋＨｚ）を越える音はほとんど存在しない。図８は、都市市街地の環境音の周波数分布を概略図として示したものであるが、平均周波数上限は、約１０ｋＨｚ程度にとどまっている。

一方で、図９は熱帯雨林等の自然環境における環境音の周波数分布の概略図であるが、１５０ｋＨｚ以上に達する音として聴こえない高周波成分が溢れている。そこで、第１の実施形態〜第３の実施形態に示す構成の撮像装置において、撮影時に取得した環境音の内、可聴域（２０ｋＨｚ）を越える周波数成分の平均音量レベルを算出する。そして、撮影環境が自然環境であるか都市環境であるかどうかを判別し、自然環境若しくは都市環境用の画像処理及び撮影パラメータを設定する。

図１０に、第４の実施形態の処理手順を説明するフローチャートを示す。その他の構成は第１の実施形態〜第３の実施形態と同様のため、撮像装置の構成を説明するブロック図及び説明は省略する。
まず、ステップＳ４０１では、マイクロフォン１５０により音声信号を取得する。
ステップＳ４０２では、音声分析処理部１５５により、マイクロフォン１５０から出力された音声信号の音量レベル及び周波数を分析する。

次に、ステップＳ４０３では、取得した音声信号の音量レベル及び周波数分布から所定の演算処理をシステム制御部１２０で施し、可聴域（２０ｋＨｚ）を越える周波数成分の平均音量レベルを算出する。

次に、ステップＳ４０４では、可聴域（２０ｋＨｚ）を越える周波数成分の平均音量レベルが、予め定めた閾値以上かどうかを判別する。この判別の結果、閾値以上であればステップＳ４０６へ移行し、閾値未満であればステップＳ４０５へ移行する。

ステップＳ４０５では、撮影環境は都市部と判定し、都市部用のパラメータを設定する。例えば、明度・彩度を下げ、かつホワイトバランスを青色側へシフトさせる。そして、コントラスト・シャープネスの効果を上げ、引き締まった画像に仕上げることで、人工物に囲まれた雰囲気を出すようにする。

一方、ステップＳ４０６では、撮影環境は自然環境と判定し、自然環境用のパラメータを設定する。例えば、画像の明度・彩度を強くし、色鮮やかな画像にする。また、コントラストとシャープネスを下げることで、柔らかく、明るい印象をもたせる画像作りを行う。

以上、第４の実施形態の構成を説明した。なお、第４の実施形態では画像処理パラメータのみ変更しているが、撮影パラメータを変更してもよい。また、音量・音高・テンポ・抑揚等の他の音声特徴量を併用してもよい。

また、前述した実施形態では、環境音を可聴域内と可聴域外の２つに分類して画像処理パラメータを変更しているが、分類をより細かくしてもよい。例えば１０ｋＨｚ、２０ｋＨｚ、５０ｋＨｚ、１００ｋＨｚにおいて各々音量を判別し、撮影環境を類推して画像処理パラメータ及び撮影パラメータを変更してもよい。

以上、４つの実施形態について説明した。
なお、実施形態の説明においては、撮像装置１００は、レンズ交換可能なデジタルカメラを想定した構成となっているが、レンズ一体型のコンパクトデジタルカメラやカメラ付携帯電話、及びデジタルビデオカメラのような構成としてもよい。

また、４つの実施形態を別々に説明したが、各々が組み合わされた構成としてもよい。また、静止画撮影時と動画撮影時について別々に説明しているが、動画撮影時に撮影する静止画に本発明を適用してもよい。

また、前述した実施形態の中では、音声特徴量に対する画像処理パラメータ及び撮影パラメータの設定例を図４及び図７のように示したが、音声特徴量と各パラメータの関係は、本実施形態と異なる設定でもよい。

また、実施形態の中で画像特徴量に基づき変更するパラメータは、コントラスト、明度、彩度、シャープネス、ホワイトバランスとしたが、他の画像処理パラメータを変更するようにしてもよい。

また、前述においては、音声特徴量に基づき画像処理を施した画像データのみ記録媒体に保存しているが、画像処理を施す前のＣＣＤＲＡＷデータや、デフォルトの画像処理を施した画像データを同時に保存できるように構成してもよい。

また、撮像装置１００に外部着脱メモリ部１３１を装着する構成として説明したが、記録媒体は単数或いは複数の何れを組み合わせた構成であってもよい。また、前述した実施形態ではカメラ制御部１４０、システム制御部１２０は、独立した回路構成としているが、システム制御部１２０がカメラ制御部１４０を兼ね備えた構成であってもよい。

また、実施形態の説明においては、撮像装置１００は、不揮発性メモリにプログラムや、表示データを備えた構成を想定しているが、ハードディスクやＤＶＤ−ＲＯＭ、ＣＤ−ＲＯＭ等による構成としてもよい。

（本発明に係る他の実施形態）
前述した本発明の実施形態における撮像装置を構成する各手段は、コンピュータのＲＡＭやＲＯＭなどに記憶されたプログラムが動作することによって実現できる。このプログラム及び前記プログラムを記録したコンピュータ読み取り可能な記録媒体は本発明に含まれる。

また、本発明は、例えば、システム、装置、方法、プログラムもしくは記憶媒体等としての実施形態も可能であり、具体的には、複数の機器から構成されるシステムに適用してもよいし、また、一つの機器からなる装置に適用してもよい。

なお、本発明は、前述した撮像方法における各工程を実行するソフトウェアのプログラム（実施形態では図２、図５、図６及び図１０に示すフローチャートに対応したプログラム）を、システムあるいは装置に直接、あるいは遠隔から供給する。そして、そのシステムあるいは装置のコンピュータが前記供給されたプログラムコードを読み出して実行することによっても達成される場合を含む。

したがって、本発明の機能処理をコンピュータで実現するために、前記コンピュータにインストールされるプログラムコード自体も本発明を実現するものである。つまり、本発明は、本発明の機能処理を実現するためのコンピュータプログラム自体も含まれる。

その場合、プログラムの機能を有していれば、オブジェクトコード、インタプリタにより実行されるプログラム、ＯＳに供給するスクリプトデータ等の形態であってもよい。

プログラムを供給するための記録媒体としては種々の記録媒体を使用することができる。例えば、フロッピー（登録商標）ディスク、ハードディスク、光ディスク、光磁気ディスク、ＭＯ、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、ＣＤ−ＲＷ、磁気テープ、不揮発性のメモリカード、ＲＯＭ、ＤＶＤ（ＤＶＤ−ＲＯＭ，ＤＶＤ−Ｒ）などがある。

その他、プログラムの供給方法としては、クライアントコンピュータのブラウザを用いてインターネットのホームページに接続する。そして、前記ホームページから本発明のコンピュータプログラムそのもの、もしくは圧縮され自動インストール機能を含むファイルをハードディスク等の記録媒体にダウンロードすることによっても供給できる。

また、本発明のプログラムを構成するプログラムコードを複数のファイルに分割し、それぞれのファイルを異なるホームページからダウンロードすることによっても実現可能である。つまり、本発明の機能処理をコンピュータで実現するためのプログラムファイルを複数のユーザに対してダウンロードさせるＷＷＷサーバも、本発明に含まれるものである。

また、本発明のプログラムを暗号化してＣＤ−ＲＯＭ等の記憶媒体に格納してユーザに配布し、所定の条件をクリアしたユーザに対し、インターネットを介してホームページから暗号化を解く鍵情報をダウンロードさせる。そして、その鍵情報を使用することにより暗号化されたプログラムを実行してコンピュータにインストールさせて実現することも可能である。

また、コンピュータが、読み出したプログラムを実行することによって、前述した実施形態の機能が実現される他、コンピュータ上で稼動しているＯＳなどが、実際の処理の一部または全部を行うことによっても前述した実施形態の機能が実現され得る。

さらに、記録媒体から読み出されたプログラムが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれる。その後、そのプログラムの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部または全部を行い、その処理によっても前述した実施形態の機能が実現される。

本発明の第１の実施形態を示し、撮像装置の構成例を示すブロック図である。 本発明の第１の実施形態を示し、撮像装置において実行される処理手順の一例を説明するフローチャートである。 本発明の第１の実施形態〜第４の実施形態において取得する音声信号の周波数分布の例を示す図である。 本発明の第１の実施形態及び第２の実施形態における音声特徴量と画像処理パラメータの関係を表す概念図である。 本発明の第２の実施形態を示し、撮像装置において処理実行される処理手順を説明するフローチャートである。 本発明の第３の実施形態を示し、撮像装置において実行される処理手順の一例を説明するフローチャートである。 本発明の第３の実施形態を示し、音声特徴量と撮影パラメータの関係を表す図である。 本発明の第４の実施形態を示し、都市部の環境音の周波数分布の一例を示す図である。 本発明の第４の実施形態を示し、自然環境での環境音の周波数分布の一例を示す図である。 本発明の第４の実施形態を示し、撮像装置において実行される処理手順の一例を説明するフローチャートである。

符号の説明

１００ 撮像装置
１０１ レンズ用コネクタ
１０２ レンズマウント（カメラ側）
１１０ 表示装置
１１１ アクセサリシュー
１２０ システム制御部
１２１ 撮像素子
１２２ Ａ／Ｄ変換部
１２３ 画像処理部
１２４ メモリ制御部
１２５ 液晶パネル表示部
１２６ バックライト照明
１２７ メモリ
１２８ 不揮発性メモリ
１３０ 接眼検出部
１３１ 外部着脱メモリ部
１３２ 再生スイッチ
１３３ メニュースイッチ
１３４ モードダイアル
１３５ レリーズスイッチ
１３６ 操作部
１３７ 電源スイッチ
１３８ 電源部
１３９ タイマー
１４０ カメラ制御部
１４１ シャッター制御部
１４２ 測光部
１４３ 測距部
１４４ シャッター
１５０ マイクロフォン
１５１ Ａ／Ｄ変換部
１５２ Ａｕｄｉｏ Ｃｏｄｅｃ部１５２
１５３ Ｄ／Ａ変換部
１５４ スピーカ
１５５ 音声分析処理部
１５６ 音声認識モードスイッチ
２００ レンズユニット
２０１ レンズ用コネクタ
２０２ レンズマウント（レンズ側）
２０３ レンズ制御部
２１０ 撮影レンズ
２１１ 絞り
３００ ストロボユニット
３０１ インターフェース
３０２ ストロボ発光制御部

Claims (9)

1. 被写体を撮影して静止画像データまたは動画像データを生成する撮像手段と、
   前記撮像手段によって生成された静止画像データまたは動画像データに所定の画像処理を施す画像処理手段と、
   前記撮像手段が前記被写体を撮影する時に音声信号を取得する音声入力手段と、
   前記音声入力手段によって取得された音声信号の特徴量を分析する音声分析処理手段と、
   前記画像処理手段が前記静止画像データまたは動画像データに所定の画像処理を施すために用いる画像処理パラメータを、前記音声分析処理手段によって分析された音声信号の特徴量に基づいて制御するシステム制御手段とを有することを特徴とする撮像装置。
2. 前記撮像手段はレンズ、絞り及びシャッターを含む撮像光学系を介して結像された光学像を電気信号に変換する撮像素子と、前記被写体の周辺部の明るさを測る測光手段と、前記測光手段により得られた測光値に連動して前記絞りを制御するレンズ制御手段と、前記シャッターのスピードを制御するシャッター制御手段とを有することを特徴とする請求項１に記載の撮像装置。
3. 前記システム制御手段は、前記測光手段により測定された前記被写体の周辺部の明るさを示す測光値と、前記被写体を撮影するときに取得した音声信号の特徴量に基づいて前記絞り、及び前記シャッターのスピードを含む撮影パラメータを制御することを特徴とする請求項２に記載の撮像装置。
4. 前記音声信号の特徴量は、音量・テンポ・音高・抑揚のうち、少なくとも１つを含み、前記音声分析処理手段は、前記音声信号の音量及び周波数分布を元に所定の演算を行って前記音声信号の特徴量を求めることを特徴とする請求項１〜３の何れか１項に記載の撮像装置。
5. 前記システム制御手段が制御する画像処理パラメータは、コントラスト、シャープネス、明度、彩度、ホワイトバランスのうち、少なくとも１つを含むことを特徴とする請求項１〜４の何れか１項に記載の撮像装置。
6. 前記システム制御手段は、前記撮像手段が動画撮影を行った時には、撮影時に取得した音声信号の特徴量に基づいて動画のフレームレートを制御することを特徴とする請求項１〜５の何れか１項に記載の撮像装置。
7. 前記音声分析処理手段は、被写体を撮影したときに取得した周波数成分の分布が可聴域範囲内であるどうかを判定し、
   前記システム制御手段は、前記音声分析処理手段の判定結果に応じて、前記画像処理手段が画像処理を行う際に設定する画像処理パラメータ、及び前記撮像手段が撮影する際の撮影パラメータを制御することを特徴とする請求項１〜６の何れか１項に記載の撮像装置。
8. 被写体を撮影して静止画像データまたは動画像データを生成する撮像工程と、
   前記撮像工程において生成された静止画像データまたは動画像データに所定の画像処理を施す画像処理工程と、
   前記撮像工程において前記被写体を撮影する時に音声信号を取得する音声入力工程と、
   前記音声入力工程において取得された音声信号の特徴量を分析する音声分析処理工程と、
   前記画像処理工程において前記静止画像データまたは動画像データに所定の画像処理を施すために用いる画像処理パラメータを、前記音声分析処理工程において分析された音声信号の特徴量に基づいて制御するシステム制御工程とを有することを特徴とする撮像方法。
9. 被写体を撮影して静止画像データまたは動画像データを生成する撮像工程と、
   前記撮像工程において生成された静止画像データまたは動画像データに所定の画像処理を施す画像処理工程と、
   前記撮像工程において前記被写体を撮影する時に音声信号を取得する音声入力工程と、
   前記音声入力工程において取得された音声信号の特徴量を分析する音声分析処理工程と、
   前記画像処理工程において前記静止画像データまたは動画像データに所定の画像処理を施すために用いる画像処理パラメータを、前記音声分析処理工程において分析された音声信号の特徴量に基づいて制御するシステム制御工程とを有する撮像方法をコンピュータに実行させることを特徴とするコンピュータプログラム。

Images