JP3757565B2

JP3757565B2 - 音声認識画像処理装置

Info

Publication number: JP3757565B2
Application number: JP22194197A
Authority: JP
Inventors: 純飯島
Original assignee: Casio Computer Co Ltd
Current assignee: Casio Computer Co Ltd
Priority date: 1997-08-04
Filing date: 1997-08-04
Publication date: 2006-03-22
Anticipated expiration: 2017-08-04
Also published as: JPH1155614A

Description

【０００１】
【発明の属する技術分野】
本発明はデジタルカメラやパーソナルコンピュータ（以下、パソコンと記す）等の画像処理装置に関し、特に、音声を入力して文字データに変換し画像データに重畳させて表示／記録／出力する音声認識画像処理装置に関する。
【０００２】
【従来の技術】
デジタルカメラで撮像された被写体像は、ＣＣＤによる光電変換、信号変換及び信号処理等を経て画像データとして記憶媒体に記録される。また、デジタルカメラの多くは液晶ディスプレイ等からなる表示装置を備えており、このようなデジタルカメラでは、使用者は撮像の際にそれをファインダー代りに用いることもできるし、また、撮像後に記録媒体から読み出した再生画像を表示することもできる。
【０００３】
一方、文字認識技術や音声認識技術はコンピュータの発達、普及に伴いデータ入力或いは指示入力手段としての応用が多くの分野でなされている。
【０００４】
音声認識装置における音声認識処理にあたっては、背景雑音や不要語の付加による音声区間検出の誤りを防ぐためにワードスポッティング法を用いる認識処理が一般に行われている。これは、任意の入力音声からあらかじめ定めた単語や音節等の単位を捜し出すもので、音声区間検出を行わず種々の部分区間を設定し各標準パターンとの類似度を求め、すべての部分区間を通して類似度が最大となる単語を認識結果とするものである。
【０００５】
文字認識装置における文字認識処理では、読取った文字パターン（未知の文字）と候補文字の特徴を比較し、比較結果としてのパターン間の距離を得て候補文字のコードを未知の文字候補として出力するか否かのリジェクト判定を行うものがある。使用頻度が高い文字種については標準辞書を用い、使用頻度が低い文字種については、順に使用頻度が低くなる文字種についての標準パターンで構成した多段構成の辞書を用いて認識処理を行うものもある。
【０００６】
また、音声を認識して文字に変換する技術として、音声波形の特徴を抽出して、波形と文字（単音）を登録した辞書を用いて音声を単音列として文字列（平仮名或いは片仮名）に変換する技術や、変換された文字列を区分して語（漢字）に変換する技術が開発されている。
【０００７】
【発明が解決しようとする課題】
画像データを再生した表示画像或いは印刷画像を識別する場合にインデックスや表題或いは説明文をつけることが行なわれているが、これらはパーソナルコンピュータ（以下、パソコン）のキーボード等の入力装置から入力した文字データを重畳するか、画像入力時に文字と共に画像データとして入力するか、或いは画像入力時に画像と文字を別々に入力して保存し出力時に合成している。
これらはいずれも文字入力を必要とするのでそのための装置（例えば、キーボードやスキャナー）を必要とする。
【０００８】
一方、デジタルカメラは電子写真機としての応用の他に画像入力等の画像入力装置として応用されているが、デジタルカメラは大衆向け製品としてユーザにとっての使い易さという点から外形およびサイズが制約され、従来の大衆向け光学カメラ程度の大きさの範囲にとどまらざるを得ず、キーボード等の入力機器を付加することは事実上困難である。仮に、デジタルカメラにキーボードを付加したとしても撮影時にキーボード入力を行なうことは時間的／場所的に不具合が生じる可能性が高いという問題点がある。
【０００９】
したがって、デジタルカメラで撮像した画像に表題や説明文を付ける場合には、デジタルカメラで得た画像データをパソコン等で処理しその際に文字等を入力するか、被写体と共に表題や説明文を掲示するか、或いは被写体に添付して撮影する方法があるが、パソコン等の後処理では臨場感に富んだ表現が欠けインパクトのない客観表現に止ることが多く、撮影時の爽快感や感動等の印象を表現しにくいという問題点がある。また、被写体と共に表題や説明文を撮影する方法は効果的ではあるが、文字と被写体がバランスを欠く可能性が高いという問題点がある他、画像と文字が同一画像の画像データとして変換されるので、画像と文字を別々に処理しようとする場合にパソコンと画像処理用高級プログラムを用いた処理を要するという不具合が生ずる。
【００１０】
ここで、デジタルカメラで撮影時に音声を入力し、音声認識を行なって文字に変換して、液晶ディスプレイに再生画像と文字で現わされた言葉を重畳表示し、また、画像データおよび文字データとして記録できれば、撮影時の印象や事実を画像と共に表示および記録することができ、画像処理装置としてのデジタルカメラの新しい利用分野を拓くこととなり好ましい。
【００１１】
また、文字表示の際に、漫画等での言語表示の一手法である「吹出し」を形成し言語（文字）をその中に表示するようにできれば、画像の印象付けや、誰が云ったかを明示でき更に好ましい。
【００１２】
本発明は、上述した画像に文字を付加する場合の問題点や不具合を解消するために上記着想に基づいてなされたものであり、音声を入力して音声認識処理し、認識された音声を文字に変換して入力画像と重畳して表示し、記録或いは出力する画像処理装置の提供を目的とする。
【００１３】
本発明は、また、上記重畳表示或いは印刷出力の際に適切な位置に適切な大きさの吹出し枠を形成して、その吹出し枠の中に認識された音声の文字表示を行ない得る画像処理装置の提供を目的とする。
【００１４】
【課題を解決するための手段】
上記の目的を達成するために本発明の音声認識画像処理装置は、画像データを入力する画像データ入力系と、音声を入力して認識して認識結果を文字，記号，または絵文字に変換する音声／文字変換系と、画像データと、図形枠で囲まれた前記音声／文字変換系による変換結果とを合成する合成手段と、この合成手段によって合成された画像データを表示する画像表示手段と、前記合成手段によって合成された画像データを記録媒体に記録する記録手段と、音声の発せられた方向を検出して前記変換結果の合成位置情報を得る音声方向解析手段とを備え、前記音声／文字変換系は、音声を入力して音声信号に変換する音声入力手段と、前記音声入力手段の出力から所定の強度範囲の音声信号を抽出し音声データを得る音声信号処理手段と、前記音声データを認識処理して文字に変換する音声／文字変換処理手段とからなり、前記合成手段は、前記音声方向解析手段の合成位置情報に基づいて音声の発生方向が一見してわかるように合成することを特徴とする。
【００１５】
前記記録手段は、変換結果と画像データを対応づけて別々に保存するように構成してもよい。
【００１７】
前記音声／文字変換処理手段が、更に、音声の強度を基に前記認識結果の表示サイズおよび表示濃度情報を得る表示状態決定手段を有している。
【００１８】
更に、音声認識画像処理装置は、図形枠を吹出し枠としてもよい。
【００２０】
更に、上述の各音声認識画像処理装置を、表示された変換結果を修正または編集する編集手段を有するように構成してもよい。
【００２１】
この場合、編集手段を、認識結果の表示位置を移動する移動手段と、認識結果の表示サイズおよび表示濃度を調整する調整表示手段を有するように構成する。
なお、上記編集手段が、認識結果と閉鎖図形の表示位置を移動する移動手段と、認識結果と閉鎖図形の表示サイズおよび表示濃度を調整する調整表示手段を有するように構成してもよい。
【００２２】
また、上記編集手段を、更に、表示された認識結果の一部または全部を指定して、該指定部分に相当する音声を再入力して当該指定部分を修正する修正手段を有するように構成してもよく、更に上記編集手段が、表示された認識結果の一部または全部を指定して、他の文字列、記号或いは絵文字に変換する変換手段を有するように構成してもよい。
【００２３】
【発明の実施の形態】
＜画像処理装置の構成＞
図１は本発明の音声認識画像処理装置（以下、単に画像処理装置と記す）の構成例を示すブロック図である。
画像処理装置１００は、画像データを記録部６０に与える画像データ入力系１０と、画像処理装置１００全体の動作制御を行なう制御部２０と、音声を入力して音声認識処理等を行ない、認識結果を文字に変換する音声／文字変換系３０と、ユーザによって操作された指示結果を制御部２０に与える操作部４０と、画像と文字に変換された言葉（音声）を重畳表示する表示部５０と、画像データ入力系１０からの画像データ，音声／文字変換系３０の出力等を記録媒体６１に記録すると共にそれらの読み出しを行なう記録部６０と、「画像処理装置１００」用の入力インターフェイス８１，８２（後述）と、外部機器に画像処理装置１００による処理結果を出力する出力インターフェイス８３を有している。なお、図１で記号９０はバスラインを示す。
【００２４】
画像データ入力系１０としては、画像処理装置１００全体をデジタルカメラとする場合には図１２に示すようなデジタルカメラ２００の光学系１１からＤＲＡＭ１４に至る系が相当し、画像処理装置１００がパソコン等のコンピュータ装置によってプログラム制御される処理装置（以下、「画像処理装置」と記す）の場合には、デジタルカメラ、デジタルカメラ以外の撮像装置、スキャナー等の画像データ変換装置およびメモリーカードやＣＤ−ＲＯＭ等の画像データを記録した記録媒体の読取装置等が相当する。
なお、画像処理装置１００全体をデジタルカメラとする場合には、図１の入力インターフェイス８１は不要である。
【００２５】
また、デジタルカメラからの画像データは後述するようにＪＰＥＧ圧縮されているので「画像処理装置１００」では画像データの伸張部を設けるか画像データ伸張手段をプログラムで構成して後述する各手段と同様にＲＯＭ２３に格納してＣＰＵ２１により実行するように構成することが望ましい。この場合、画像データ入力系１０からの画像データが圧縮データでない場合（例えば、スキャナー出力）には画像データの伸張部或いは伸張手段を機能させないように構成する。なお、画像処理装置１００全体をデジタルカメラとする場合には、データ伸張の際にはデジタルカメラの圧縮データ伸張部（信号処理部（図１２））を用いる。
【００２６】
制御部２０はＣＰＵ２１、ＲＡＭ２２、及びＲＯＭ２３を有している。ＣＰＵ２１はＲＯＭ２３に格納されている制御プログラムにより画像処理装置１００全体の制御を行なうと共に、音声認識画像処理手段１１０（図３）により入力音声の認識処理と認識結果の文字データへの変換、表示位置および吹出し枠の決定、文字データの編集および画像データとの重畳表示、或いは出力を行なう。
【００２７】
ＲＡＭ２２はデータ或いは処理結果の一時記憶および中間作業領域等に用いられる。なお、画像処理装置１００をデジタルカメラとする場合には画像データの作業領域および音声データの一時格納領域としてＤＲＡＭ１４（図１２）を用いることもできる。
【００２８】
ＲＯＭ２３は上述の制御プログラムと音声認識画像処理手段１１０および画像処理装置のその他の各機能を実行させるためのプログラムを記録する記録媒体であり、ＰＲＯＭ、ＦＲＯＭ（フラッシュＲＯＭ）等が用いられる。なお、これらプログラムをＲＯＭ２３以外のリムーバブルな記録媒体（例えば、記録媒体６１（後述））に格納するように構成することもできる。
【００２９】
音声／文字変換系３０は、図２に示すように、音声入力手段３１、音声信号処理手段３２、復元手段３３および音声／文字変換処理手段３４を有している。なお、音声／文字変換処理手段３４は入力した音声を解析して音声を認識し、音声認識の結果を文字コードに変換する音声／文字変換手段３４１、音声の発せられた方向を検出し文字表示位置の決定を行なう音声方向解析手段３４２および入力音量等を基に表示文字の大きさおよび吹出し（図１０）の大きさ等を決定し、画像メモリー（ＶＲＡＭｂ）にイメージ展開する表示状態決定手段３４３を有している。また、音声／文字変換処理手段３４は実施例ではプログラムで構成されているが、ハードウエアで構成してもよい。
【００３０】
音声入力手段３１は、マイクロフォン等からなり音声を入力して電気信号（音声信号）に変換する。
音声信号処理手段３２は一定の強度範囲以外の音声信号のカットや、突出波形のカットおよび雑音処理等の前処理を施した後、出力信号（音声信号）をＡ／Ｄ変換して音声データ（デジタルデータ）としてＲＡＭ２２（或いはＤＲＡＭ１４）に格納する。
復元手段３３はＲＡＭ２２（或いはＤＲＡＭ１４）に格納された音声データを読み出して音声信号（アナログ信号）を復元する。
【００３１】
なお、本実施の形態では後述の音声方向解析処理を行なうため、音声入力手段３１として左右（Ｌ，Ｒ）にマイクロフォンを設けるように構成しているが左右上下に設けるようにしてもよく、また、音声方向解析処理を行なわない場合（後述するように、ユーザー操作により文字表示位置の決定を行なう場合）には１個のマイククロフォンで構成してもよい。
また、画像処理装置１００全体をデジタルカメラとする場合には、図１の入力インターフェイス８２は不要である。
【００３２】
図１で、操作部４０はモード切換えボタン（キー）、表示文字（および吹出し）移動ボタン、表示文字サイズ拡大／縮小ボタン、音声再入力ボタン、文字変換ボタン、記録ボタン、出力ボタン等を有し、使用者による選択操作、或いは確認操作により押し下げ等が行なわれると、その結果が電気信号（デジタルコード）変換され、バス９０を介してＣＰＵ２１に入力される。ＣＰＵ２１は受け取った電気信号を基にこれらのボタン（キー）の状態フラグをセットする。
【００３３】
表示部５０は第１および第２のＶＲＡＭ（ビデオラム）およびビデオモニタ（例えば、図８の液晶ディスプレイ５３やパソコンのディスプレイ）からなり、記録媒体６１から読み出された画像データの再生結果をビデオモニタの画面上に表示すると共に、音声／文字変換された文字を画像と重畳表示する。なお、表示する文字を吹出しで囲んで表示することもできる。
以下、説明上、第１のＶＲＡＭを画像表示用（ＶＲＡＭａ）とし、第２のＶＲＡＭを文字データ表示用（ＶＲＡＭｂ）とする（図１２参照）。
この場合、ＶＲＡＭａには記録媒体６１から読み出された画像データがイメージ展開され、ＶＲＡＭｂに音声から変換された文字および吹出しの他、選択メニューや入力指示メッセージ等の表示データが一時的に格納され、ビデオモニタの画面上に重畳表示或いは単独表示される。
【００３４】
記録部６０は記録媒体６１を収容し、ＣＰＵ２１の制御により記録媒体６１上に画像データ入力系１０からの画像データおよび文字変換された音声データと、文字表示位置情報、吹出し描画情報（呼び出し図形番号）と画像データおよび文字変換された音声データを関連づけるポインタを有する参照リスト（図７、図８）を記録し、また、記録媒体６１から画像データ、文字データ或いは参照リストを読み出してＲＡＭ２２（或いは、ＤＲＡＭ１４）に転送する。なお、記録部６０によるデータの転送はＤＭＡ（ダイレクトメモリーアクセス方式）によって行なわれるよう構成することが望ましい。また、参照リストは記録媒体６１の先頭に格納されることが望ましい。
【００３５】
記録媒体６１は画像処理装置１００がデジタルカメラに相当する場合にはフラッシュＲＯＭやメモリーカードが用いられる。
また、「画像処理装置１００」の場合にはＦＤ，磁気ディスク，光ディスク等のリムーバブルな記録媒体が用いられる。この場合、記録装置６０として、ＦＤ装置，磁気ディスク装置，光ディスク装置等が用いられる。
【００３６】
インターフェイス８１、８２は「画像処理装置１００」の場合に、画像データを外部画像データ入力系（１０）から入力したり、文字変換された音声データを外部音声／文字変換系（３０）から入力するために設けられているが、前述したように画像データ入力系１０が内部データ入力系（すなわち、デジタルカメラの光学系１１〜ＤＲＡＭ１４に至る系）であり、音声／文字変換系３０が内部変換系（すなわち、デジタルカメラの音声入力部３１〜音声／文字変換部３４に至る系）である場合には不要である。
【００３７】
＜モード＞
動作モードは画像処理装置１００の有する処理手段（プログラム）によって規定され、操作部４０に設けられた、ボタン、キー、或いはスイッチの操作、或いは表示部５０の画面にモード選択メニューを表示してカーソルボタン等の操作よって使用者により選択される。
制御部２０は操作部４０からのモード選択信号を受け取ると、後述のモード指定手段１１１制御を移す。
画像処理装置１００は音声認識画像処理モード、通常処理モード、特殊処理モードを有しており、音声認識画像処理モードは、音声／画像入力モード、文字／画像再生モードおよび文字／画像出力モードからなっている（図４）。
これら、動作モードの選択は画像処理装置１００の動作中の任意の時点で行なうようにすることができる。
【００３８】
＜音声認識画像処理手段＞
図３は、画像処理装置１００の音声認識画像処理を実行する音声認識画像処理手段の構成例を示すブロック図であり、音声認識画像処理手段１１０は、モード指定手段１１１と、画像データ入力系１０と、音声／文字変換系３０と、画像／文字表示手段１１２と、記録手段１１３と、再生表示手段１１４と、出力手段１１５と、編集手段７０とを有し、本実施例では、モード指定手段１１１、画像データ入力系１０のうちのデータ圧縮／伸張手段、音声／文字変換系３０のうちの音声／文字変換処理手段３４、記録手段１１３、再生表示手段１１４、出力手段１１５および編集手段７０はプログラムで構成されている。
【００３９】
音声認識画像処理手段１１０は画像処理装置１００の制御プログラムによりその実行順序を管理される。
モード指定手段１１１は操作部４０から送られたモード選択信号を調べて対応の処理ブロック、例えば、図４に示す音声／画像入力モード処理ブロック１１１１，文字／画像再生モード処理ブロック１１１２および文字／画像出力モード処理ブロック１１１３からなる音声認識画像処理モード、或いは画像入力モード処理ブロック１１１４，画像再生モード処理ブロック１１１５および画像出力モード処理ブロック１１１６からなる通常処理モード、或いはその他のモード処理ブロック１１１７からなる特殊処理モードに制御を渡す。
画像データ入力系１０は画像データを記録部６０に与える。画像データ入力系１０の具体例としてはデジタルカメラ（実施例参照）、スキャナー、デジタルカメラの記録結果を格納した記録媒体（例えば、カードメモリー或いはＲＯＭ等）の読取り装置および画像データ圧縮／伸張手段（実施例ではプログラムで構成）がある。なお、前述したように画像データ入力系１０を内部データ入力系（すなわち、デジタルカメラの光学系１１〜ＤＲＡＭ１４に至る系）とすることもできる。
【００４０】
音声／文字変換系３０は、前述したように、音声入力手段３１、音声信号処理手段３２、復元手段３３および音声／文字変換処理手段３４を有し（図２）、音声入力手段３１で音声を入力して電気信号（音声信号）に変換し、音声信号処理手段３２で一定の強度範囲以外の音声信号のカットや、突出波形のカットおよび雑音処理等の前処理を施した後、出力信号（音声信号）をＡ／Ｄ変換して音声データとしてＲＡＭ２２（またはＤＲＡＭ１４）に格納し、復元手段３３でＲＡＭ２２（またはＤＲＡＭ１４）に格納した音声データを取り出してＤ／Ａ変換して音声信号に復元し、音声／文字変換処理手段３４で、音声認識処理を行なって文字コードに変換すると共に、文字表示位置の決定や表示文字および吹出し枠の大きさや太さの決定等を行なう。
【００４１】
図５は音声／文字変換処理手段３４の構成例を示すブロック図であり、音声／文字変換処理手段３４は、音声／文字変換手段３４１、音声方向解析手段３４２、表示状態決定手段３４３を有している。
【００４２】
音声／文字変換手段３４１はＲＡＭ２２（或いはＤＲＡＭ１４）から読み出され音声信号に復元された音声信号を単音に区分して波形の特徴を解析する特徴解析手段３４１１と、単音の特徴データと文字コードを登録した音声／文字変換辞書３４１４の各特徴データとの類似度を計算して最も類似度の高い特徴データを認識結果として音声を単音列として文字コード列（平仮名或いは片仮名）に変換する文字変換手段３４１２と、変換された文字列を区分して漢字辞書を用いて語（漢字）コードおよび仮名コードの混合した文字列に変換する仮名漢字変換手段３４１３と、音声／文字変換辞書３４１４および漢字辞書３４１５を有している。なお、仮名漢字変換手段３４１３および漢字辞書３４１５はオプションであり、仮名コードのみとしてもよい。また、特定の語（或いは予め設定された語）については別の辞書を用いて別の語（例えば丁寧語）に変換したり、記号や絵文字（アイコン）に変換するように構成してもよい。
【００４３】
なお、実施例では上述したように、音声／文字変換処理手段３４で、ＲＡＭ２２から読み出されＤ／Ａ変換により復元された音声信号の単音の波形特徴を解析するように構成しているが、前述したワードスポッティング法を用いて任意の入力音声からあらかじめ定めた単語や音節等の単位を捜し出すよう構成し、音声区間検出を行わず種々の部分区間を設定し各標準パターンとの類似度を求め、すべての部分区間を通して類似度が最大となる単語を認識結果とするように構成してもよい。
【００４４】
また、音声／文字変換手段３４１で、ＲＡＭ２２から読み出され復元された音声信号の単音の波形特徴を解析する代りに、ＲＡＭ２２（或いはＤＲＡＭ１４）に格納された音声データをＤ／Ａ変換することなく取り出して、特徴解析手段３４１１で単音の特徴を解析し、文字変換手段３４１２で単音音声データの特徴データと文字コードを登録した音声／文字変換辞書３４１４の各特徴データと比較して音声を単音列として文字コード列（平仮名或いは片仮名）に変換するように構成してもよい。
【００４５】
音声方向解析手段３４２は、画像処理装置１００の左右に設けられた音声入力手段３１Ｒおよび３１Ｌから得られる音量ＶＲ，ＶＬを基に音声入力手段３１Ｒおよび３１Ｌを２点とする三角形の頂点の座標（すなわち、音声の発生位置）を算出し吹出し口位置とする発声位置推測手段３４２１と、ＶＲＡＭａに展開された画像イメージの黒画素の密度の高い領域と低い領域を調べ発声位置推測手段３４２１で得た座標点を黒画素の密度の低い領域に平行移動し、その点を含む黒画素低密度域の形状と標準図形テーブル３４２３に登録された各種吹出しの形状とを比較し、相似度を判定して吹出しの形状および縮尺を決定し、当該縮尺を基にして決定された大きさの吹出しを嵌め込む黒画素低密度域を文字表示位置候補とする文字表示位置候補決定手段３４２２と、吹出しの標準形状および各吹出しに入る標準形状の文字数を登録した標準図形テーブル３４２３を有している。
【００４６】
図６は標準図形テーブル３４２３の一実施例であり、標準図形テーブル３４２３には吹出しの種類を特定する吹出し図形番号、吹出し図形番号で特定される吹出しを描画する吹出し描画コマンド、描画コマンドで描かれる標準の大きさの吹出しの閉空間面積（または、形成される吹出し線で囲まれる画素数）、標準の大きさの吹出しに書込めるある標準Ａの大きさの文字数（行数、行当りの文字数とその合計）、標準Ｂ，Ｃ・・の大きさの文字数等が登録されている。なお、ここで文字の標準Ａ、Ｂ、Ｃ・・とは文字サイズ（或いは、縮尺）を意味する。また、吹出しパターンを登録した吹出しパターンテーブルを設け、描画コマンドの代りに図形番号で特定される吹出しパターンのアドレス（ポインタ）を登録するようにしてもよい。
【００４７】
表示状態決定処理手段３４３は、文字数および上記当該サイズにより決定された大きさの吹出しの大きさと標準文配列テーブル３４２３を基にして、表示文字の大きさおよび配列を決定する表示文字形状決定手段３４３１と、入力音量の大きさを基にして吹出しおよび文字の太さを決定する文字濃度決定手段３４３２と、上記決定された大きさと太さの吹出しをＶＲＡＭｂの上記決定された表示位置（相対座標）にイメージ展開し、さらに文字コードに対応する文字パターンを登録したパターン辞書３４３４を基に、当該ＶＲＡＭｂ領域中の吹出しの中に上記決定された大きさと太さの文字列（或いは記号、絵文字）をイメージ展開する文字展開手段３３３３と、パターン辞書３４３４を有している。
【００４８】
図３で、画像／文字表示手段１１２は画像／文字入力モードのとき入力した画像および音声（文字に変換された言葉）を合成して表示部５０の画面に表示する。すなわち、画像データ入力系１０でＶＲＡＭａにイメージ展開した画像と音声／文字変換系３０でＶＲＡＭｂにイメージ展開した文字（吹出し付き文字）を図１０の例に示すように重畳させて表示する。
【００４９】
記録手段１１３は、ユーザが操作部４０から記録指示を行なうと重畳表示された画像データ、文字データ（文字コード）と位置データ（位置座標）および吹出し番号、或いは文字および吹出しのイメージデータを記録媒体６１に記録する。
【００５０】
図７（ａ）は画像データおよび文字データとその表示情報等を記録する記録媒体６１のレイアウト例であり、（ｂ）は参照リスト６１０の例を示す。
（ａ）に示すように記録媒体６１には、参照リスト６１０、文字データ６２０−１〜６２０−ｍ、画像データ６３０−１〜６３０−ｎ（ｎ≧ｍ）が記録され、文字データおよび画像データの記録アドレスは対応の参照リスト６１０の対応の画像番号のポインタ６１２、６１３に格納される。
また、参照リスト６１０には、画像データ番号６１１、文字データの記録アドレスを示すポインタ６１２、文字データの記録アドレスを示すポインタ６１３、文字（吹出し口）表示位置を示す表示座標６１４、吹出し情報（種類）を示す吹出し図形番号６１５が含まれている。
【００５１】
なお、本実施の形態では文字データと位置データおよび吹出し図形番号を格納するように構成したが、図８に示すように文字（イメージ）データと画像データをそれぞれ別の１枚の画像６２０’、６３０として別々に記録媒体６１に記録するようにしてもよい。この場合、参照リスト６１０’には画像データ番号６１１、文字データの記録アドレスを示すポインタ６１２’、文字データの記録アドレスを示すポインタ６１３が格納される。また、図示しないが画像データと文字（イメージ）データを１枚の合成画像のデータとして記録するようにしてもよい。再生／表示手段１１４は、文字／画像再生モードが選択された場合に起動され、画像データおよび文字データを記録媒体６１から読み出し、画像データについては伸張処理を施した後にＶＲＡＭａにイメージ展開し、文字データについてはＶＲＡＭｂに（吹出しと共に）イメージ展開する。これにより表示部５０の画面上に再生された画像および文字が重畳表示される。
【００５２】
なお、記録媒体６１に格納されている画像データと文字データの合成（重畳表示）の可否を画面で指定するように再生手段１１４を構成してもよく、また、文字データが記録されている場合に必ず対応の画像と重畳表示するように構成してもよい。
【００５３】
出力手段１１５は、文字／画像出力モードの指定、或いは文字／画像再生モードが指定されて画像表示がなされた後にユーザの出力指示操作があると、画面上に表示されている画像および文字に対応する画像データおよび文字データ、或いは指定の番号の画像および文字に対応する画像データおよび文字データを記録部６０およびインターフェイス８３を介して記録媒体６１から外部装置（例えば、プリンタや他の画像処理装置或いは通信回線に接続する端末機器）に送信する。
【００５４】
編集手段７０は、音声／文字入力モードまたは文字／画像再生モードで表示部５０に文字と画像が重畳表示された場合に、操作部４０からユーザによる割込み編集指示があると、表示文字の位置、大きさ、認識誤りのあった文字の訂正／再入力および丁寧語或いは絵文字への文字の変換等の編集処理を行なう。なお、操作部４０からの割込み指示は操作部４０に設けられた編集用ボタン（或いはキー）の押し下げにより制御部２０に与えられる（図１０参照）。
【００５５】
図９は編集手段７０の構成例を示すブロック図であり、編集手段７０は表示位置移動手段７１、サイズ拡大／縮小手段７２、音声再入力手段７３および文字変換手段７４を有している。
【００５６】
表示位置移動手段７１は画面に表示された文字（吹出し）の位置が画像の主要部に重なっていたり、位置のバランスが悪かったりした場合に適切な位置に吹出しごと文字を移動させる。実施例では文字の移動を図１０に示すような移動用ボタン４２および十字キー４８（図１１）の操作により吹出し口を移動中心として移動させている。
【００５７】
サイズ拡大／縮小手段７２は画面に表示された文字（吹出し）が小さ過ぎたり大き過ぎたりした場合や、表示位置移動手段７１による移動先の空間の大きさが現在の吹出しの大きさより大きかったり小さかったりする場合に文字（および吹出し）の大きさを拡大或いは縮小して表示バランスを調整する。サイズ拡大／縮小手段７２は、また、文字および吹出しの濃度（線の太さ）の調整も行なうことができる。実施例では文字の拡大／縮小を図１０に示すようなサイズ拡大／縮小ボタン４３と十字キー４８の操作により行なっている。
【００５８】
音声再入力手段７３は、画面に表示された文字に認識誤りがある場合に誤った文字のみをスポット的に訂正したり、表現全体を差替えたい場合に操作部４０（実施例では変換入力ボタン４４および十字キー４８の操作）により訂正対象（訂正文字のみ或いは文字列全体または、訂正する行）を指定し、音声の再入力を行なうことによりスポット訂正或いは全体の差替えを行なう。
誤った文字をスポット的に訂正する場合にはその部分を指定し、正しい音を単音で区切って再入力し、全体を差替える場合には（例えば、吹出し口部分を指定すると全体差し換え、というように意味付けて）全体の差替えを指定し、差替える言葉を再入力するようにできる。
ユーザーが再入力操作を行なうと、音声／文字変換系３０が起動され、前述したような処理を経て新たな文字が画面上に重畳表示される。
【００５９】
文字変換手段７４は、画面に表示された文字（または、文字列）を特定の文字（丁寧語）に変換したり、特定の記号や絵文字に変換したい場合に操作部４０（実施例では変換入力ボタン４４および十字キー４８の操作）により変換対象の文字又は文字列を指定すると、変換辞書とのマッチングを行なって当該文字または文字列を指定の語，記号または絵文字に変換する。
変換辞書には文字又は文字列と、それら文字列と変換可能な語，記号または絵文字が登録されている。
なお、変換後、必要に応じて吹出しの形状或いは大きさを自動的に調整できるように構成してもよい。
【００６０】
＜実施例＞
以下、本発明をデジタルカメラに適用した場合の一実施例について述べる。
図１０はデジタルカメラでの文字／画像の重畳表示例を示す説明図であり、（ａ），（ａ）’は被撮影者の発した言葉１０１’を画像に重畳表示した例であり、（ａ）で撮影時に被撮影者が発した「おめでとうございます」という音声を手前のデジタルカメラ２００で捉えて、（ａ）’に示すように画像後方に吹出し枠１０１付きで重畳表示している。
また、（ｂ），（ｂ）’は撮影者の発した言葉１０２’を画像に重畳表示した例であり、（ａ）で撮影時に撮影者が発した「おめでとうございます」という音声を手前のデジタルカメラ２００で捉えて、（ｂ）’に示すように画像前方に吹出し枠１０２付きで重畳表示している。
上述の例のように被撮影者の言葉や動物の鳴き声等を表示する場合は吹出し口を像の方向に向け、撮影者の言葉を表示する場合は吹出し口を外側に向けることにより、被撮影者（物）の発した音声か、撮影者の発した音声かを一見して明らかに表示できる。
【００６１】
なお、上例では吹出しを横方向に長めに形成し、文字も横書きとしているが、吹出しを縦長にしたり、文字を縦書きにすることもできる。また、吹出し枠を実線で現わされる矩形状としているが、破線で形成してもよく、また、大音響や驚き等を表現する場合に用いられる突起状の角を有する吹出しも表示できる。
【００６２】
図１１は本発明を適用したデジタルカメラ一実施例の斜視図であり、（ａ）は正面図、（ｂ）は背面図である。
デジタルカメラ２００の上面には、動作モードを本発明の音声認識画像処理モードに切換えるモード切換えスイッチ（スライドスイッチ）４１と、編集用ボタン４２〜４５、出力用ボタン４７、デジタルカメラ２００を起動するメインスイッチ２０１、撮像用シャッターボタン２０２が設けられている。
前面（正面）には、撮像部２１０、撮像レンズ２０１、ファインダー２２０、ファインダーレンズ２２１が設けられ、前面の内部にはステレオマイク２３１，２３２が設けられている。ここで、ステレオマイク２３１は音声入力部３１の右耳（Ｒ）に、ステレオマイク２３２は左耳（Ｌ）に相当する。
【００６３】
背部には、記録モードと再生モードを切換える記録／再生モード切換えスイッチ４６と、光学ファインダー２０２と、画像表示用の液晶ディスプレイ５３が設けられている。なお、背部の内部に撮影者の音声入力用マイク２３３を設けてもよい。音声入力用マイク２３３を設けた場合には撮影者からの音声であることを確実に判定できるので、音声方向解析手段３４２の構成が音声入力用マイク２３３を設けない場合に比べて簡易になる。
【００６４】
図１２は図１１のデジタルカメラ２００の回路構成例を示すブロック図である。以下、図１の画像処理装置１００と同じ機能を有する構成部分については同じ記号を用い、詳細な説明は省略する。
【００６５】
光学系１１，信号変換部１２，信号処理部１３，ＤＲＡＭ（ダイナミックメモリー）１４は図１の画像データ入力系１０に相当する。
光学系１１は、撮像レンズおよび絞り等の光学系機構１１を含み、被写体からの光を後段の信号変換部１２のＣＣＤ上に結像させる。
信号変換部１２は、ＣＣＤ，Ａ／Ｄ変換部およびＣＣＤ駆動信号生成回路を含み、前段の光学系１１を介してＣＣＤに結像した画像を電気信号に変換すると共にデジタルデータ（以下、画像データ）に変換してＤＲＡＭ１４に一時的に記憶させる。
【００６６】
信号処理部１３は、画像データをＪＰＥＧ方式等の圧縮方式により圧縮し、また、圧縮された画像データに伸張処理を施す。また、信号処理部１３はＤＲＡＭ１４からの画像データ或いはフラッシュメモリー６１から読み出した画像データに伸張処理を施した後、ＶＲＡＭ（ビデオＲＡＭ）５１にイメージ展開する。
【００６７】
制御部２０は上述の各回路および図示しない電源切換えスイッチ等にバスラインを介して接続し、ＲＯＭ２１内に格納された制御プログラムによりデジタルカメラ２００全体の動作を制御する。また、制御部２０はＲＯＭ２１内に格納された音声認識画像処理手段１１０（図３）を実行して音声認識画像処理モードの制御を行なう。
【００６８】
音声／文字入力部３０は音声認識画像処理モードの時に、撮像の際入力される被撮影者（物）或いは撮影者から発せられた音声を認識して文字コードに変換し、撮像結果（画像）上の表示位置、文字の大きさ等を決定して、文字イメージを吹出しとともにＶＲＡＭ５２に展開する。
【００６９】
モード切換えスイッチ４１，移動ボタン４２，拡大／縮小ボタン４３，音声再入力ボタン４４，文字変換ボタン４５，記録／再生スイッチ４６および出力ボタン４７（以下、単にスイッチ４１，４６、ボタン４２，４３，４４，４５，４７と記す）は図１の操作部４０の構成部分に相当する。
ＶＲＡＭ５１，ＶＲＡＭ５２，および液晶ディスプレイ５３は表示部５０を構成する（ＶＲＡＭ５１はＶＲＡＭａに、ＶＲＡＭ５２はＶＲＡＭｂに相当する）。
【００７０】
液晶ディスプレイ（ＬＣＤ）５３の電源がオン（ＯＮ）であれば、ＶＲＡＭ５１上の画像データが液晶ディスプレイ５３に画像表示される。また、制御部２０を介してＶＲＡＭ５２に書込まれる音声変換後の文字および吹出しや選択画像フォーマットや各種メニューおよびメッセージを液晶ディスプレイ５３に表示する。さらに、ＶＲＡＭ５１上の画像イメージとＶＲＡＭ５２上のイメージを液晶ディスプレイ５３に合成（重畳）して表示できる。
【００７１】
フラッシュメモリー６１は画像データの記録媒体として圧縮された画像データと、音声／文字変換された文字データを記録し、また、必要参照事項を記録する参照リストを有する（図７，図８）。
インターフェイス８３はデジタルカメラ２００と、プリンタやパソコン、その他の画像処理装置、ＣＤ−ＲＯＭ等の外部機器との間のデータの授受を行なう。フラッシュメモリー６１に記録された画像データおよび文字データ等の外部機器への送信（出力）は、図示しない出力手段１１５（プログラム）に基づいて行なわれる。
【００７２】
＜モードの切換＞
スイッチ４１は、「ＮＯＰ」、「通常」、「特殊」、「音声／文字変換」の４位置にスライド可能に構成されている。スイッチ４１が「ＮＯＰ」に位置する場合はメインスイッチ２０１がオンであってもモード処理動作に移行しない（すなわち、ノーオペレーション状態である）。また、スイッチ４１はメインスイッチ２０１をオフにすると自動的に「ＮＯＰ」位置に戻る。
【００７３】
メインスイッチ２０１をオン（ＯＮ）にした後、スイッチ４１を「通常」側に切換えると、デジタルカメラ２００は通常処理モード（図４）となり、被写体の撮像、表示、記録等、一連の撮像動作を行なうことができる。
また、スイッチ４１を「特殊」側に切換えると、デジタルカメラ２００は特殊処理モード（図４）となり、接写や連写その他特殊処理動作を行なうことができる。
【００７４】
さらに、スイッチ４１を「音声／文字変換］側に切換えると、音声認識画像処理モードとなり、撮像／音声入力モード、文字／画像再生モードおよび文字／画像出力モードを実行することができる（図４）。
スイッチ４１を「音声／文字変換］側に切換えた場合、撮像スイッチ２０２が２段となり、一回押すとステレオマイク２３１，２３２（およびマイク２３３）が起動され、被撮影者（物）または撮影者の発する音声の入力を可能とする。撮像スイッチをもう一回押すと被写体が撮像され、撮像／音声入力モード処理ブロック１１１１が実行されて液晶ディスプレイ５３上に撮像結果である静止画像と入力音声が変換された文字が（吹出し付きで）重畳表示される（図１３参照）。
【００７５】
記録／再生スイッチ４６は、「ＮＯＰ」、「記録」、「再生」の３位置にスライド可能に構成されている。スイッチ４６が「ＮＯＰ」に位置する場合はメインスイッチ２０１およびスイッチ４１がオンであってもモード処理動作に移行しない（すなわち、ノーオペレーション状態である）。また、スイッチ４６はメインスイッチ２０１をオフにするか或いはスイッチ４１を「ＮＯＰ」に位置させるとスイッチ４６は自動的に「ＮＯＰ」位置に戻る（図１４参照）。
【００７６】
スイッチ４１を「音声／文字変換」側に切換えた場合にスイッチ４６を「記録」に切換えると撮像／音声入力モード処理により液晶ディスプレイ５３に表示中の画像および文字に係わるデータ（画像データ，文字データおよび表示位置データ、大きさデータ、太さデータ、吹出し図形番号）がフラッシュメモリー６１に記録される。
【００７７】
スイッチ４１を「音声／文字変換」側に切換えた場合にスイッチ４６を「再生」に切換えるとデジタルカメラ２００は文字／画像再生モードとなり、文字／画像再生モード処理ブロック１１１２が実行され、フラッシュメモリー６１に記録されている画像データおよび文字データが読み出され、各変換処理等を経て液晶ディスプレイ５３上に静止画像と入力音声が変換された文字が（吹出し付きで）重畳表示される（図１５参照）。
【００７８】
スイッチ２１１を「音声／文字変換］側に切換えた場合に、ボタン４７を押すと文字／画像出力モードとなり、文字／画像出力モード処理ブロック１１１３により画像データおよび文字データがインターフェイス８３を介して外部機器に送信される。
【００７９】
図１３〜図１５は音声認識画像処理モードにおける画像処理装置２００の動作を示すフローチャートであり、図１３は音声／画像入力モード時の動作フローチャート、図１４は文字／画像再生モード時の動作フローチャート、図１５は文字／画像出力モード時の動作フローチャートである。
【００８０】
（イ）音声／画像入力モード時の動作
図１３で、選択モードを調べ、音声／画像入力モードが選択された場合にはＳ３に移行し、その他の場合にはＳ２のその他のモード処理に移行する（Ｓ１）。
上記Ｓ２では音声／画像入力モード処理以外のモード処理を行ない、終了するとＳ１に戻る。
【００８１】
音声／画像モードが選択された場合、撮像シャッター２０２を一回押すとステレオマイク２３１，２３２（およびマイク２３３）が起動され、２回目に撮像シャッター２０２を押すと所定時間経つとオフとなる（Ｓ３）。
また、２回目の撮像シャッター押し下げにより撮像が行なわれ（Ｓ３’）、撮像データは信号変換処理（Ｓ４’）を経てＶＲＡＭ５１（ＶＲＡＭｂ）にイメージ展開される（Ｓ５’）。
【００８２】
ステレオマイク２３１，２３２（およびマイク２３３）から入力された音は、音声信号処理手段３２により一定の強度以上の音が抽出され、突出波形のカットや雑音処理等が施された後に特徴抽出処理を経てからＡ／Ｄ変換されて音声データとしてＤＲＡＭ１４に一時的に格納される（Ｓ４）。
【００８３】
ＶＲＡＭ１４に格納した音声データを取り出して、音声／文字変換手段３４１による特徴解析（Ｓ５）、文字変換（Ｓ６）および仮名漢字変換処理等の音声／文字変換（Ｓ７）を行ない、次に、音声方向解析手段３４２による発声位置の推測（Ｓ８）、文字および吹出し表示位置候補の決定（Ｓ９）を行なう。さらに、および表示状態決定手段３４３による表示文字形状決定（Ｓ１０）と文字濃度（文字の太さ）の決定（Ｓ１１）を行ない、吹出しおよび文字をＶＲＡＭ５２（ＶＲＡＭａ）にイメージ展開する（Ｓ１２）。
【００８４】
ＶＲＡＭ５１への１枚分の画像イメージ展開とＶＲＡＭ５２への文字イメージ展開が終ると、画像／文字表示手段１１２によりＶＲＡＭ５１の画像イメージとＶＲＡＭ５２の文字イメージを合成し、液晶ディスプレイ５３上に画像と吹出しに囲まれた文字を重畳表示する（Ｓ１３）。
【００８５】
ここで、制御部２０は操作部４０からの信号状態を調べ、信号状態が「記録」を意味している場合（すなわち、再生／記録ボタン４６が「記録」位置に切換えられた場合）にはＳ１５に移行し、信号状態が「編集」を意味している場合（すなわち、ボタン４２〜４５のいずれかが押し下げられた場合）には、Ｓ１６に移行し、その他の場合にはＳ１に戻る（Ｓ１４）。
【００８６】
上記Ｓ１５で、再生／記録ボタン４６が「記録」位置に切換えられた場合には、記録手段１１３（図３）が起動され、フラッシュメモリー６１に現在液晶ディスプレイ５３に重畳表示されている画像の圧縮データ、文字データを格納すると共にフラッシュメモリー６１に設けられている参照リストに当該画像の画像番号、画像データ格納アドレス（ポインタ１）、文字データ格納アドレス（ポインタ２）、画像表示位置情報、濃度情報、吹出し図形番号等の必要情報を登録し、Ｓ１に戻る（Ｓ１５）。
【００８７】
上記Ｓ１５で、ボタン４２〜４５のいずれかが押し下げられた場合には、編集割込みとして対応の編集処理に移行する。すなわち、ボタン４２が押し下げられた場合には文字（吹出し）移動処理を、ボタン４３が押し下げられた場合にはサイズ拡大／縮小処理を、ボタン４４が押し下げられた場合には音声再入力処理を、ボタン４５が押し下げられた場合には文字変換処理を実行し、それぞれの処理が終了するとＳ１５に戻る（Ｓ１６）。
【００８８】
（ロ）文字／画像再生モード時の動作
文字／画像再生モードが選択されると、図１４で、再生手段１１４により参照リスト、画像データおよび文字データが記録媒体６１から読み出され（Ｔ１）、画像データについては伸張処理が施された後にＶＲＡＭ５１にイメージ展開され（Ｔ２）、文字データについては参照リストに格納された各情報（画像表示位置情報、濃度情報、吹出し図形番号等）を基にして吹出しおよび文字列がＶＲＡＭ５２にイメージ展開される（Ｔ３）。
【００８９】
ＶＲＡＭ５１への１枚分の画像イメージ展開とＶＲＡＭ５２への文字イメージ展開が終ると、画像／文字表示手段１１２によりＶＲＡＭ５１の画像イメージとＶＲＡＭ５２の文字イメージを合成し、液晶ディスプレイ５３上に画像と吹出しに囲まれた文字を重畳表示する（Ｔ４）。
【００９０】
ここで、ＣＰＵ２１は操作部４０からの信号状態を調べ、信号状態が「編集」を意味している場合（すなわち、ボタン４２〜４５のいずれかが押し下げられた場合）にはＴ６に移行し、その他の場合には図１３のＳ１に戻る（Ｔ５）。
【００９１】
上記Ｔ５で、ボタン４７が押し下げられた場合には文字／画像出力モード（図１５）に移行する。また、ボタン４２〜４５のいずれかが押し下げられた場合には、編集割込みとして対応の編集処理に移行する。すなわち、ボタン４２が押し下げられた場合には文字（吹出し）移動処理を、ボタン４３が押し下げられた場合にはサイズ拡大／縮小処理を、ボタン４４が押し下げられた場合には音声再入力処理を、ボタン４５が押し下げられた場合には文字変換処理を実行する（Ｔ６）。
【００９２】
それぞれの編集処理が終了すると、記録手段１１３が起動され、フラッシュメモリー６１に現在液晶ディスプレイ５３に重畳表示されている画像の圧縮データ、文字データを格納すると共にフラッシュメモリー６１に設けられている参照リストに当該画像の画像番号、画像データ格納アドレス（ポインタ１）、文字データ格納アドレス（ポインタ２）、画像表示位置情報、濃度情報、吹出し図形番号等の必要情報を登録し、図１３のＳ１に戻る（Ｔ７）。
【００９３】
（ハ）文字／画像出力モード時の処理
文字／画像出力モードが選択されると、図１５で、出力手段１１５により画面上に表示されている画像および文字に対応する画像データおよび文字データ、或いは指定の番号の画像および文字に対応する画像データおよび文字データをフラッシュメモリー６１から読み出し（Ｕ１）、イターフェイス８３を介して外部装置に送信する（Ｕ２）。
なお、上記実施例では吹出しのなかに文字を表示したが、吹出しを設けず文字をそのまま表示するようにしてもよい。
【００９４】
他の実施例として、先に撮像を行なって画像データを記録しておき、後から音声入力を行なって画像と変換された文字を重畳表示するように構成できる。この場合、前述の実施例において通常モードを選択し、次に画像入力モード（撮像モード）１１１４を選択して撮像および記録を行なった後、所望の時期に音声認識処理モードを選択し、次いで文字／画像再生モードを選択して記録画像を表示し、編集割込みにより編集処理（この場合は、音声再入力）を行なって、変換された文字（言葉）を重畳表示するようにしてもよい。
【００９５】
以上本発明の実施例について説明したが、本発明は上記実施例に限定されるものではなく、種々の変形実施が可能であることはいうまでもない。
【００９６】
【発明の効果】
以上説明したように本発明によれば、デジタルカメラ等の画像処理装置での画像入力時（デジタルカメラの場合は撮影時）に音声を入力し、音声認識を行なって文字に変換して、液晶ディスプレイに画像と文字で現わされた言葉を重畳表示でき、また、画像データおよび文字データを記録／出力できるので、撮像時の印象や事実を画像と共に表示および記録することができる。これにより画像処理装置としてのデジタルカメラの新しい利用分野、例えば、写真撮影時の印象や事実等が表示されたアルバムの作成や、画像データに印象や事実を記述した文字データを臨場的に対応させて外部に送信し、外部装置で加工できる。
また、文字表示の際に、漫画等での言語表示の一手法である「吹出し」を形成し言語（文字）をその中に表示するようにできるので、画像の印象付けや、誰が言ったか等を画像中に明示できる。
【図面の簡単な説明】
【図１】本発明の音声認識画像処理装置の構成例を示すブロック図である。
【図２】音声／文字変換系の構成例を示すブロック図である。
【図３】音声認識画像処理系の構成例を示すブロック図である。
【図４】動作モードの構成例を示す構成図である。
【図５】音声／文字変換処理手段の構成例を示すブロック図である。
【図６】標準図形テーブルの一実施例を示す図である。
【図７】記録媒体のレイアウトの一例を示す図である。
【図８】記録媒体のレイアウトの一例を示す図である。
【図９】編集手段の構成例を示すブロック図である。
【図１０】本発明をデジタルカメラに適用した場合の文字／画像の重畳表示例を示す説明図である。
【図１１】本発明をデジタルカメラに適用した場合の一実施例の斜視図である。
【図１２】図１１のデジタルカメラの回路構成例を示すブロック図である。
【図１３】音声認識画像処理装置の音声／画像入力モード時の動作を示すフローチャートである。
【図１４】音声認識画像処理装置の文字／画像再生モード時の動作を示すフローチャートである。
【図１５】音声認識画像処理装置の文字／画像出力モード時の動作を示すフローチャートである。
【符号の説明】
１０画像データ入力系
３０音声／文字変換系
３１音声入力手段
３２音声信号処理手段
３４音声／文字変換処理手段
５０表示部（表示装置；ＶＲＡＭａ，ＶＲＡＭ，液晶ディスプレイ））
６０記録部（記録装置）
６１記録媒体
７０編集手段
７１表示位置移動手段（移動手段）
７２サイズ拡大／縮小手段（調整表示手段）
７３音声再入力手段（修正手段）
７４文字変換手段（変換手段）
１００音声認識画像処理装置
１０１，１０２吹出し枠（閉鎖図形）
１１２画像／文字表示手段（画像表示手段）
１１３記録遮断
１１４再生／表示手段（画像表示手段）
２００デジタルカメラ（音声認識画像処理装置）
３４２音声方向解析手段
３４３表示状態決定手段

Claims

画像データを入力する画像データ入力系と、
音声を入力して認識して認識結果を文字，記号，または絵文字に変換する音声／文字変換系と、
画像データと、図形枠で囲まれた前記音声／文字変換系による変換結果とを合成する合成手段と、
この合成手段によって合成された画像データを表示する画像表示手段と、
前記合成手段によって合成された画像データを記録媒体に記録する記録手段と、
音声の発せられた方向を検出して前記変換結果の合成位置情報を得る音声方向解析手段とを備え、
前記音声／文字変換系は、音声を入力して音声信号に変換する音声入力手段と、前記音声入力手段の出力から所定の強度範囲の音声信号を抽出し音声データを得る音声信号処理手段と、前記音声データを認識処理して文字に変換する音声／文字変換処理手段とからなり、
前記合成手段は、前記音声方向解析手段の合成位置情報に基づいて音声の発生方向が一見してわかるように合成することを特徴とする音声認識画像処理装置。
前記音声／文字変換処理手段が、更に、音声の強度を基に前記認識結果の表示サイズおよび表示濃度情報を得る表示状態決定手段を有することを特徴とする請求項１記載の音声認識画像処理装置。
前記図形枠が吹き出し口を備えた吹出し枠であり、前記吹き出し口は前記音声の発生方向を示すことを特徴とする請求項１記載の音声認識画像処理装置。
更に、前記表示された変換結果を修正または編集する編集手段を有することを特徴とする請求項１または３に記載の音声認識画像処理装置。
前記編集手段が、前記認識結果の表示位置を移動する移動手段と、前記認識結果の表示サイズおよび表示濃度を調整する調整表示手段を有することを特徴とする請求項４記載の音声認識画像処理装置。
前記編集手段が、前記認識結果と前記図形枠の表示位置を移動する移動手段と、前記認識結果と前記図形枠の表示サイズおよび表示濃度を調整する調整表示手段を有することを特徴とする請求項４記載の音声認識画像処理装置。
前記編集手段が、更に、表示された前記認識結果の一部または全部を指定して、該指定部分に相当する音声を再入力して当該指定部分を修正する修正手段を有することを特徴とする請求項４記載の音声認識画像処理装置。
前記編集手段が、更に、表示された前記認識結果の一部または全部を指定して、他の文字列、記号或いは絵文字に変換する変換手段を有することを特徴とする請求項４記載の音声認識画像処理装置。
前記変換結果と前記画像データと対応づけて別々に保存する手段を設けたことを特徴とする請求項１記載の音声認識画像処理装置。