JP4904691B2

JP4904691B2 - カメラ装置、及び撮影方法

Info

Publication number: JP4904691B2
Application number: JP2004378386A
Authority: JP
Inventors: 滋加福
Original assignee: Casio Computer Co Ltd
Current assignee: Casio Computer Co Ltd
Priority date: 2004-12-28
Filing date: 2004-12-28
Publication date: 2012-03-28
Anticipated expiration: 2024-12-28
Also published as: JP2006184589A

Description

本発明は、音声シャッター機能を有するカメラ装置、及び撮影方法に関するものである。

従来、カメラ装置においては、登録されている命令語（認識対象語）の音声を認識したことをトリガとしてオートフォーカスによるピント合わせ、及び露光からなる一連の撮影動作を行う音声シャッター機能を備えたものが下記の特許文献１等に記載されている。
特開平１１−１９４３９２

しかしながら、上記の技術においては、例えば「ハイ、チーズ」という命令語の認識を完了した後で合焦動作と露光動作とを行うため、ユーザーが命令語を発してから、実質的な撮影動作が行われるまでの間に若干のタイムラグが発生するという問題があった。

本発明は、かかる従来の課題に鑑みてなされたものであり、撮影のための命令語を発してから、実際の撮影動作が行われるまでの間のタイムラグを殆どなくすことが可能となるカメラ装置、及び撮影方法を提供することを目的とする。

前記課題を解決するため請求項１の発明にあっては、所定の命令語の音声入力をトリガとして複数段階の動作からなる一連の撮影動作を行う自動焦点調整機能を備えるカメラ装置であって、入力する音声を認識する音声認識手段と、前記所定の命令語を記憶する命令語記憶手段と、この命令語記憶手段に記憶されている命令語に設定されている複数の発声段階と、前記一連の撮影動作における各段階の動作との対応関係を示す対応情報を記憶する対応情報記憶手段と、前記音声認識手段により認識された音声の認識段階が前記命令語の各発声段階に達する毎に、前記対応情報記憶手段に記憶されている段階情報により示される、当該発声段階に対応する前記一連の撮影動作における各段階の動作を順に開始させる制御手段とを備え、前記一連の撮影動作における複数段階の動作には自動焦点調整機能による合焦動作及び露光動作を含み、前記音声認識手段は、撮影動作における自動焦点調整の動作中に生じるノイズ成分を含む音響モデルと含まない音響モデルとを有し、前記一連の撮影動作における自動焦点調整を指示した命令語の認識に応答して前記ノイズ成分を含む音響モデルに、含まない音響モデルから変更して、自動焦点調整を指示した前記命令語の発声段階の次の発声段階の音声を、認識するものとした。

かかる構成においては、所定の命令語が音声入力されたとき、命令語の音声認識が完了する以前の段階から、一連の撮影動作における各段階の動作が順に開始される。

また、請求項２の発明にあっては、前記一連の撮影動作におけるいずれかの段階の動作は、連続して行われる複数の動作からなるものとした。

また、請求項４の発明にあっては、前記命令語記憶手段に複数の命令語が記憶されるとともに、前記対応情報記憶手段に、前記命令語記憶手段に記憶されている複数の命令語の各々に設定されている各発声段階と、複数の一連の撮影動作の各々における各段階の動作との対応関係を示す複数の対応情報が記憶されたものとした。

また、請求項５の発明にあっては、前記音声認識手段により認識された音声からなる語句を新たな命令語として前記命令語記憶手段に記憶させる登録手段と、この登録手段により前記命令語記憶手段に記憶された新たな命令語における複数の発声段階と、前記一連の撮影動作における各段階の動作との対応関係を示す新たな対応情報を生成し、前記対応情報記憶手段に記憶させる生成手段とを備えたものとした。

また、請求項５の発明にあっては、所定の命令語の音声入力をトリガとして複数段階の動作からなる一連の撮影動作を行う自動焦点調整機能を備えるカメラ装置における撮影方法であって、入力する音声を逐次認識する工程と、認識した音声の認識段階が前記命令語に設定されている複数の発声段階の各発声段階に達する毎に、各発声段階に対応付けられている前記一連の撮影動作における各段階の動作を順に開始する工程とを含み、前記一連の撮影動作における複数段階の動作には自動焦点調整機能による合焦動作及び露光動作を含み、音声を逐次認識する工程は、前記一連の撮影動作における自動焦点調整を指示した命令語の認識に応答して前記ノイズ成分を含む音響モデルに、含まない音響モデルから変更して、自動焦点調整を指示した前記命令語の発声段階の次の発声段階の音声を、認識する方法とした。

かかる方法によれば、所定の命令語が音声入力されたとき、命令語の音声認識が完了する以前の段階から、一連の撮影動作における各段階の動作が順に開始される。

また、請求項６の発明にあっては、所定の命令語の音声入力をトリガとして複数段階の動作からなる一連の撮影動作を行う自動焦点調整機能を備えるカメラ装置が有するコンピュータに、入力する音声を音声認識手段に逐次認識させる処理と、前記音声認識手段により認識した音声の認識段階が前記命令語に設定されている複数の発声段階の各発声段階に達する毎に、各発声段階に対応付けられている前記一連の撮影動作における各段階の動作を装置各部に順に開始させる処理とを実行させ、前記一連の撮影動作における複数段階の動作には自動焦点調整機能による合焦動作及び露光動作を含み、音声を音声認識手段に逐次認識する処理は、前記一連の撮影動作における自動焦点調整を指示した命令語の認識に応答して前記ノイズ成分を含む音響モデルに、含まない音響モデルから変更して、自動焦点調整を指示した前記命令語の発声段階の次の発声段階の音声を、認識するプログラムとした。

以上のように本発明においては、所定の命令語が音声入力されたとき、命令語の音声認識が完了する以前の段階から、一連の撮影動作における各段階の動作が順に開始されるようにした。よって、撮影のための命令語を発してから、実際の撮影動作が行われるまでの間のタイムラグを殆どなくすことが可能となる。

以下、本発明の一実施の形態を図にしたがって説明する。図１は本発明に係るデジタルカメラの電気的な概略構成を示すブロック図である。

このデジタルカメラは音声シャッター機能を備えたものであり、キー入力部１と、合焦部２、露光部３、画像入力部４、画像圧縮部５、画像記憶部６、画像表示部７、マイク８、音声入力部９、Ａ／Ｄ変換部（Ａ／Ｄ）１０、ワークメモリ１１、音声認識部１２、プログラムメモリ１３を含み、キー入力部１及びマイク８を除く上記各部２〜７、８〜１３が制御部１４によって駆動及び制御される構成である。

前記キー入力部１は、電源キーやシャッターキー、撮影／再生モードのモード切替キーや、各種機能の設定に使用される操作キー等、ユーザーがデジタルカメラの操作に使用する各種のキーからなり、いずれかのキーが操作されるとそれが制御部１４により検出される。前記合焦部２には、撮影モードにおいて、図示しない光学系におけるフォーカスレンズを被写体距離に応じた位置に駆動するフォーカス・モータや、その駆動回路が含まれる。

前記露光部３には、前記光学系により結像された被写体像を撮像するＣＣＤ等の撮像素子と、その駆動回路、撮像素子から出力されるアナログの撮像信号をデジタル信号に変換するＡ／Ｄ変換器等を含みデジタルの撮像信号を出力する。前記画像入力部４は、デジタルに変換された撮像信号に種々の信号処理を施すための各種の信号処理回路により構成される。前記画像圧縮部５は、画像入力部４で処理された後の画像データを圧縮し、また圧縮状態の画像データを伸張する回路により構成される。前記画像記憶部６は圧縮された画像データを記憶する各種メモリカード等により構成される。前記画像表示部７は、液晶表示器や、その駆動回路等から構成され、画像入力部４で信号処理された被写体画像や、画像記憶部６から読み出された記録画像を液晶表示器に表示させる。

前記音声入力部９は、マイク８から入力した音声を増幅するアンプや他の音声処理回路から構成され、処理後の音声信号を出力する。Ａ／Ｄ変換部１０は音声入力部９から出力されるアナログの音声信号をディジタル信号に変換する。ワークメモリ１１は、変換後の音声信号（音声データ）を逐次記憶したり、制御部１４が各部の制御に際して生成したり使用する各種のデータ等を随時記憶するＲＡＭである。

前記音声認識部１２は、音声シャッター機能がオン設定されているときの撮影待機状態において、ワークメモリ１１に逐次記憶される入力音声に対し、そのデータの蓄積速度と同じ又はそれ以上（遅れた場合にすぐ追いつけるという意味）の速度で、前記プログラムメモリ１３に記録されている音響モデルを使用し、特徴抽出とビタビアルゴリズムによる認識処理を行う。認識結果を制御部１４に逐次送る。

制御部１４は、主としてＣＰＵや入出力インターフェイスを含む周辺回路から構成されている。前記プログラムメモリ１３はＥＥＰＲＯＭ等の不揮発性のメモリであり、音声認識部１２が音声認識に際して使用する前述した音響モデル等のデータや、制御部１４に上記各部を制御させるための各種のプログラム、例えばＡＥ（自動露出）、ＡＦ（自動焦点調整）等の制御プログラム、さらには制御部１４を本発明の制御手段、登録手段、生成手段として機能させるためのプログラムが格納されている。

また、プログラムメモリ１３は本発明の命令語記憶手段、対応情報記憶手段であって、プログラムメモリ１３には、前述したプログラムやデータと共に図２に示した登録テーブルＴを構成するデータとが格納されている。登録テーブルＴは、複数種の予約語（音声パターン）１０１、及び各々の予約語１０１に設定されている複数の発声段階と、一連の撮影動作における各段階の動作との関係を示す対応情報１０２から構成される。予約語１０１は音声シャッター機能を用いた撮影時に使用可能な命令語であり、予約語１０１には、その内容に応じた複数の発声段階が設定されている。

発声段階数は、予約語１０１「ハイ、チーズ」が「ハイ」まで（第１の発声段階）と、「・・・チーズ」まで（第２の発声段階）の２段階である以外は３段階である。また、本実施の形態において各々の発声段階に対応して設定可能な動作は、自動焦点調整、露光、記録の３種類であり、動作の数は予約語１０１「ハイ、トリマス、モウイチマイ」の第３の発声段階（「・・・モウイチマイ」）に対応する記録、露光、記録の３動作が最大である。また、前述した音響モデルのうち、上記複数の予約語１０１に含まれる「チーズ」と「トリマス」部分の音響モデルには、自動焦点調整に伴い生じるノイズ（光学系やモータの駆動音）を重畳したＰＣＭで学習済みのＨＭＭ（ＨｉｄｄｅｎＭａｒｋｏｖＭｏｄｅｌ、隠れマルコフ・モデル）が用意されている。

次に、以上の構成からなるデジタルカメラの本発明に係る動作を説明する。図３は、音声シャッター機能がオン設定されているときの音声シャッターモードによる動作を示したフローチャートである。

音声シャッターモードでは、例えばユーザーによるシャッターキーの押下に応じてマイク８からの音声入力処理を開始する（ステップＳＡ１）。そして、入力される新たな音節部分を音声認識部１２により逐次認識し、認識中の音声パターンを逐次蓄積する（ステップＳＡ２）。音声認識部１２における音声認識の手法は以下の通りである。

プログラムメモリ１３には前述した予約語１０１が図４に示したような文法でセットされている。同図は「ハイ、チーズ」である例である。「無」は無音を表すサイレントモデルであり、「ハイ、チーズ」の発話の前後と「ハイ」の後に「無音」があっても無くても対応できる文法である。ここでは、説明を簡単にするため音節を単位とした音響モデル（ＨＭＭ）で説明する。なお、音響モデルは、「はいチーズ」という単語ＨＭＭであっても良いし、音素や半音素、トライフォンなどもっと細かい単位のＨＭＭでもよい。

ここで、無音モデルは１状態モデル、音節モデルは３状態モデルであるとする。
例として「は」で説明すると、
「は」の第１状態とは
「は」の子音「ｈ」の部分の音響的特徴を出力する確率が高いＨＭＭモデル
「は」の第２状態とは
「は」の子音と母音のつなぎ部分の音響的特徴を出力する確率が高いＨＭＭモデル
「は」の第３状態とは
「は」の母音「ａ」の部分の音響的特徴を出力する確率が高いＨＭＭモデル
というように学習されたモデルである。

累積尤度計算は図５のように行われる。
例えば時刻Ｎの「い」の第１状態の累積尤度は、
Ａ＝（時刻Ｎ−１の「は」の第３状態の累積尤度）×（時刻Ｎの特徴値が「い」の第１状態である出力確率）×（「は」の第３状態から「は」を終了する状態遷移確率）
Ｂ＝（時刻Ｎ−１の「い」の第１状態の累積尤度）×（時刻何の特徴値が「い」の第１状態である出力確率）×（「い」の第１状態から「い」の第１状態に遷移する（ループ遷移）状態遷移確率）
として求めたＡ，Ｂを比較し、確率の大きい方を時刻Ｎの「い」の第１状態の累積尤度とする。

このようにして、全ての状態についての累積尤度を時刻毎に更新していく。例えば時刻Ｎが、「はいチーズ」と発話する際の「い」の発話後、「ち」を発話する直前の瞬間であったとすれば、累積尤度では「い」の第３状態か、「い」の第３状態と「ち」の第１状態の間の「無」モデルの尤度が最も高くなっている筈である。

しかし、ここで問題となるのが、無関係な発話をした場合やノイズを拾った場合であって、その際にも累積尤度が最も高い点は存在するので、偶然「い」の最終状態の尤度が高くなってしまうことが考えられる。そこで、発話の信頼度を計算する必要がある。「はいチーズ」に使われない音節（たとえば「あ」とか「う」「ん」など）についても毎フレーム出力確率を求め、各フレームで最も出力確率の高かったモデルの値を乗算（ビタビならばｌｏｇを使うので加算しておく）する。もし発話が本当に「はい」であったならば、各フレームで最も尤度の高いモデルは「は」又は「い」のどこかの状態である可能性が高いので、「はい」の累積尤度との差は少なくなる。これを基に信頼度を求める。もちろん信頼度の計算方法は、必ずしもこの方法である必要はない。

以上の手法により音声認識部１２は、「い」の最終状態、または「い」と「ち」の間の「無」モデルの累積尤度が最も高く、かつ信頼度がしきい値以上である時、制御部１４に、現時点で「はい」の発話が終わったことを示す信号を送る。同様に「ず」の最終状態の尤度、またはそれに続く「無」モデルの累積尤度が最も高く、かつ信頼度がしきい値以上となった時、「はいチーズ」の発話が終わったことを示す信号を示す信号を送る。

一方、音声認識部１２が音声認識を行う間に、制御部１４は逐次認識された音声パターンを内部メモリに蓄積しており、音声認識部１２から上記信号が送られる毎に、認識中の音声パターンと登録テーブルＴの内容とを比較して、候補となる予約語１０１とその発声段階とを特定し（ステップＳＡ３）、それらを示す認識状況情報を更新する（ステップＳＡ４）。図６は、ある時点の認識状況情報１０３の内容を示したものであり、同図（ａ）は「ハイ」までが認識された時点の内容である。

引き続き、制御部１４は、予約語１０１の候補が残されていれば（ステップＳＡ５でＹＥＳ）、さらに次の発声段階に進んだか否かを判別する（ステップＳＡ６）。そして、未だ次の発声段階に進んでいなければ（ステップＳＡ６でＮＯ）、ステップＳ２以降の処理を繰り返す。やがて次の発声段階に進んだら、つまり前の発声段階が終了したことが確定したら（ステップＳＡ６でＹＥＳ）、その時点での認識状況情報１０３に基づき、残されている予約語候補に対応する現段階の動作を行うための処理を実施する（ステップＳＡ７）。すなわち認識状況情報１０３の内容が図６（ａ）に示した内容であり、ユーザーが「はい」までを発話した段階では自動焦点調整を開始する。以後、現在の発声段階が、認識中の予約語（候補）の最終段階となるまで（ステップＳＡ８でＮＯ）、ステップＡＳ２へ戻って前述した処理を繰り返す。

その後、認識状況情報１０３の内容が例えば図６（ｂ）に示したものとなり、ユーザーが「はい、撮ります」までを発話した段階では、ステップＳＡ７において露光を行い、さらに認識状況情報１０３の内容が例えば図６（ｃ）に示したものとなり、ユーザーが「ハイ、トリマス、オーケー」までを発話した段階では、ステップＳＡ７において記録を行う。やがて上記処理を繰り返す間に予約語候補がなくなった場合や（ステップＳＡ５でＮＯ）、現在の発声段階が認識中の予約語１０１の最終段階となったら（ステップＳＡ８でＹＥＳ）、認識状況情報１０３の内容をクリアする（ステップＳＡ９）。しかる後、ステップＡＳ２へ戻り、以降の処理を初めから繰り返す。

以上のように音声シャッターモードにおいては、予め登録されている予約語（命令語）を音声認識して一連の撮影動作を行うが、予約語全体の認識が完了する以前の認識途中において、その認識段階が予約語に設定されている発声段階に達する毎に、撮影に要する動作を開始する。したがって、ユーザーが予約語を発してから、実質的な撮影動作である露光が行われるまでの間のタイムラグを殆どなくすことができる。

また、一連の撮影動作の内容が異なる複数の予約語が登録されているため、ユーザーは、複数の予約語を使い分けることにより、全体の動作内容が異なる撮影動作を指示することができる。しかも「チーズ」と「トリマス」部分、つまり自動焦点調整直後の露光を指示する部分の認識が、自動焦点調整に伴い生じるノイズの成分を含む音響モデルを用いて行われるため、上記部分が自動焦点調整中に発声されたとしても、その部分にも高い認識率を確保することができる。

一方、図７は、前記デジタルカメラにおいて予め用意されているコマンド登録モードによる制御部１４の処理手順を示すフローチャートである。

コマンド登録モードが設定されると制御部１４は、コマンド入力方法の選択画面を画像表示部７のＬＣＤ画面に表示させ、ユーザーに入力方法を選択させる（ステップＳＢ１）。本実施の形態では、入力方法として「選択」と「自由」の２種類が用意されている。ここでユーザーが「選択」を選ぶと（ステップＳＢ２でＹＥＳ）、既に登録されている予約語（図２参照）の各発声段階部分からいずれかの言葉をコマンド要素として選択させる（ステップＳＢ３）。また、ユーザーが「自由を」を選ぶと（ステップＳＢ２でＮＯ）、所定のキー操作によって任意の言葉をコマンド要素として入力させる（ステップＳＢ４）。なお、任意の言葉の入力方法は、例えば画像表示部７のＬＣＤ画面に５０音等の文字選択画面を表示し、キー操作で複数の文字を選択させることにより行う。

引き続き、指定可能な撮影時における動作、すなわち本実施の形態では「自動焦点調整」、「露光」、「記録」の３種類を表示して、その中から選択又は入力されたコマンド要素に対応する１又は複数の動作を選択させる（ステップＳＢ５）。そして、発声段階数をインクリメントした後（ステップＳＢ１）、コマンド入力の終了指示がなければ（ステップＳＢ７でＮＯ）、ステップＳＢ１へ戻り、前述と同様の処理によってユーザーに次の発生段階のコマンド要素を選択又は入力させ、かつそれと対応する動作を選択させる。

そして、ステップＳＢ６で１又は複数の動作を選択させた後、コマンド入力の終了指示があったら（ステップＳＢ７でＹＥＳ）、選択又は入力された複数のコマンド要素の間に「、」（発声段階の区切り）を自動的に挿入し、新たな予約語を生成する（ステップＳＢ８）。なお、図示しないが係る処理はユーザーによって選択又は入力されたコマンド要素が１つであった場合には、そのコマンド要素をそのまま予約語とする。そして、生成した新たな予約語を追加して登録テーブルＴを更新する（ステップＳＢ９）。

したがって、ユーザーにおいてはコマンド登録モードを選択することにより、前述した音声シャッターモードでの撮影時に使用可能な命令語を、自由に追加することができる。

なお、以上の説明においては本発明を専用機としてのデジタルカメラに採用した場合について説明したが、これに限らず本発明は、カメラ付き携帯電話、さらには銀塩カメラ等の他のカメラ装置にも採用することができる。

本発明に係るデジタルカメラの概略構成を示すブロック図である。プログラムメモリに記憶されているデータを示す概念図である。音声シャッターモードでの動作を示すフローチャートである。記録されている予約語の文法を示す図である。音声認識中の累積尤度計算方法を示す図である。音声認識中における認識状況情報の変化例を示した図である。コマンド登録モードでの制御部の処理手順を示すフローチャートである。

符号の説明

１キー入力部
２合焦部
３露光部
７画像表示部
８マイク
９音声入力部
１０Ａ／Ｄ変換部
１１ワークメモリ
１２音声認識部
１３プログラムメモリ
１４制御部
１０１予約語
１０２対応情報
Ｔ登録テーブル

Claims

所定の命令語の音声入力をトリガとして複数段階の動作からなる一連の撮影動作を行う自動焦点調整機能を備えるカメラ装置であって、
入力する音声を認識する音声認識手段と、
前記所定の命令語を記憶する命令語記憶手段と、
この命令語記憶手段に記憶されている命令語に設定されている複数の発声段階と、前記一連の撮影動作における各段階の動作との対応関係を示す対応情報を記憶する対応情報記憶手段と、
前記音声認識手段により認識された音声の認識段階が前記命令語の各発声段階に達する毎に、前記対応情報記憶手段に記憶されている段階情報により示される、当該発声段階に対応する前記一連の撮影動作における各段階の動作を順に開始させる制御手段とを備え、
前記一連の撮影動作における複数段階の動作には自動焦点調整機能による合焦動作及び露光動作を含み、前記音声認識手段は、撮影動作における自動焦点調整の動作中に生じるノイズ成分を含む音響モデルと含まない音響モデルとを有し、前記一連の撮影動作における自動焦点調整を指示した命令語の認識に応答して前記ノイズ成分を含む音響モデルに、含まない音響モデルから変更して、自動焦点調整を指示した前記命令語の発声段階の次の発声段階の音声を、認識することを特徴とするカメラ装置。
前記一連の撮影動作におけるいずれかの段階の動作は、連続して行われる複数の動作からなることを特徴とする請求項１記載のカメラ装置。
前記命令語記憶手段に複数の命令語が記憶されるとともに、前記対応情報記憶手段に、前記命令語記憶手段に記憶されている複数の命令語の各々に設定されている各発声段階と、複数の一連の撮影動作の各々における各段階の動作との対応関係を示す複数の対応情報が記憶されたことを特徴とする請求項１又は２記載のカメラ装置。
前記音声認識手段により認識された音声からなる語句を新たな命令語として前記命令語記憶手段に記憶させる登録手段と、
この登録手段により前記命令語記憶手段に記憶された新たな命令語における複数の発声段階と、前記一連の撮影動作における各段階の動作との対応関係を示す新たな対応情報を生成し、前記対応情報記憶手段に記憶させる生成手段と
を備えたことを特徴とする請求項１乃至３のいずれか１項に記載のカメラ装置。
所定の命令語の音声入力をトリガとして複数段階の動作からなる一連の撮影動作を行う自動焦点調整機能を備えるカメラ装置における撮影方法であって、
入力する音声を逐次認識する工程と、
認識した音声の認識段階が前記命令語に設定されている複数の発声段階の各発声段階に達する毎に、各発声段階に対応付けられている前記一連の撮影動作における各段階の動作を順に開始する工程とを含み、
前記一連の撮影動作における複数段階の動作には自動焦点調整機能による合焦動作及び露光動作を含み、音声を逐次認識する工程は、前記一連の撮影動作における自動焦点調整を指示した命令語の認識に応答して前記ノイズ成分を含む音響モデルに、含まない音響モデルから変更して、自動焦点調整を指示した前記命令語の発声段階の次の発声段階の音声を、認識することを特徴とする撮影方法。
所定の命令語の音声入力をトリガとして複数段階の動作からなる一連の撮影動作を行う自動焦点調整機能を備えるカメラ装置が有するコンピュータに、
入力する音声を音声認識手段に逐次認識させる処理と、
前記音声認識手段により認識した音声の認識段階が前記命令語に設定されている複数の発声段階の各発声段階に達する毎に、各発声段階に対応付けられている前記一連の撮影動作における各段階の動作を装置各部に順に開始させる処理とを実行させ、
前記一連の撮影動作における複数段階の動作には自動焦点調整機能による合焦動作及び露光動作を含み、音声を音声認識手段に逐次認識する処理は、前記一連の撮影動作における自動焦点調整を指示した命令語の認識に応答して前記ノイズ成分を含む音響モデルに、含まない音響モデルから変更して、自動焦点調整を指示した前記命令語の発声段階の次の発声段階の音声を、認識することを特徴とするプログラム。