JP2006267934A - 議事録作成装置および議事録作成処理プログラム - Google Patents

Abstract

【課題】発言音声やプロジェクタ投影画像などのメディア情報を用いて会議の議事録を自動作成する議事録作成装置であって、処理能力の余り高くない携帯型電子機器などにあっても、処理負荷が大き過ぎることなく、容易に円滑な議事録作成処理を行う。
【解決手段】プロジェクタによる投影プレゼン画像をカメラ部１６により撮影し、この撮影画像から文字認識テキスト化処理を行うと共に、そのテキストデータに含まれる語句の全てまたは多数を有する分野別の音声認識辞書データ１４anを選択設定し、この設定分野別辞書データ１４anを用いて音声入力部１７による入力発言音声を認識してテキスト化処理を行い、前記撮影画像からの文字認識テキスト化データと１ファイルにした議事録データを作成する。議事録を容易に自動作成できるだけでなく分野別の音声認識辞書データ１４anを選択設定して大きな処理負荷を要さず発言音声を適切に認識テキスト化処理する。
【選択図】 図１

Description

本発明は、会議での発言に応じた音声情報やプロジェクタにより投影される画像情報などのメディア情報を用いて会議の議事録を自動作成するための議事録作成装置および議事録作成処理プログラムに関する。

従来、会議における議事録は、その発言者の発言内容をその場で記述して作成したり、議事進行の内容を一旦録音した後にこの録音内容を聞きながら作成したりしていた。

最近では、例えば会議室のプロジェクタによって投影された画像データと発言者によって発声された音声データとを記録して自動的に議事録として作成する議事録作成装置が考えられている（例えば、特許文献１参照）。

すなわち、従来の議事録作成装置では、プロジェクタなどによって投影される画像データを記録すると共に、発言者により発声された音声データを音声認識してテキストデータ化して記録し、それぞれ対応する部分の画像データと音声認識データとを組み合わせて保存することで、自動的に議事録データを作成するものである。
特開２００４−２８７２０１号公報

一般に、音声データを認識してテキストデータ化する処理では、その音声の読みを音声認識用の辞書内で認識して対応する文字を検索するのに大量の演算処理が必要になるため、処理能力の高いパーソナルコンピュータなどを使用して行われることが多い。一方で、処理能力の余り高くないデジタルカメラなどの携帯型電子機器によって同様の議事録作成処理を行うのは処理の負荷が大き過ぎ、リアルタイムな議事録作成を円滑に行えなくなる問題がある。

本発明は、このような問題に鑑みなされたもので、処理能力の余り高くない携帯型電子機器などにあっても、処理負荷が大き過ぎることなく、容易に円滑な議事録作成処理を行うことが可能になる議事録作成装置および議事録作成処理プログラムを提供することを目的とする。

本発明の請求項１に記載の議事録作成装置は、プロジェクタによって投影される画像データを入力する投影画像入力手段と、この投影画像入力手段により入力された投影画像に含まれる文字列を認識してテキスト化する文字認識手段と、分野別の複数の音声認識用辞書データを記憶する音声認識辞書記憶手段と、前記文字認識手段により前記投影画像から認識された文字列を有している前記分野別の音声認識用辞書データを音声認識対象の辞書データとして選択設定する対象辞書設定手段と、音声データを入力する音声入力手段と、この音声入力手段により入力された音声データを前記対象辞書設定手段により設定された分野別の音声認識用辞書データに基づき音声認識してテキスト化する音声認識手段と、前記文字認識手段により認識された文字認識テキスト化データと前記音声認識手段により認識された音声認識テキスト化データとを１つのファイルとした議事録データを作成する議事録作成制御手段とを備えたことを特徴としている。

本発明の請求項２に記載の議事録作成装置は、前記請求項１に記載の議事録作成装置にあって、前記対象辞書設定手段は、前記文字認識手段により前記投影画像から認識された文字列に含まれる全ての語句を有している前記分野別の音声認識用辞書データの有無を判断する最適分野別辞書有無判断手段を有し、この最適分野別辞書有無判断手段により前記投影画像から認識された文字列に含まれる全ての語句を有している分野別の音声認識用辞書データが有ると判断された場合には当該辞書データを音声認識対象の辞書データとして選択設定し、前記最適分野別辞書有無判断手段により前記投影画像から認識された文字列に含まれる全ての語句を有している分野別の音声認識用辞書データが無いと判断された場合には当該認識文字列に含まれる最も多くの語句を有している分野別の辞書データを音声認識対象の辞書データとして選択設定することを特徴としている。

本発明の請求項３に記載の議事録作成装置は、前記請求項２に記載の議事録作成装置にあって、さらに、かな漢字辞書データを記憶するかな漢字辞書記憶手段と、前記最適分野別辞書有無判断手段により前記投影画像から認識された文字列に含まれる全ての語句を有している分野別の音声認識用辞書データが無いと判断されることで、当該認識文字列に含まれる最も多くの語句を有している分野別の辞書データが音声認識対象の辞書データとして選択設定された場合に、当該設定された分野別の音声認識用辞書データに無い語句について前記かな漢字辞書記憶手段により記憶されたかな漢字辞書データに基づき取得された読みと文字列を拡張辞書データとして登録する拡張辞書登録制御手段とを備え、前記音声認識手段は、前記音声入力手段により入力された音声データを前記対象辞書設定手段により設定された分野別の音声認識用辞書データおよび前記拡張辞書登録制御手段により登録された拡張辞書データに基づき音声認識してテキスト化することを特徴としている。

本発明の請求項４に記載の議事録作成装置は、前記請求項１ないし請求項３の何れか１項に記載の議事録作成装置にあって、前記投影画像入力手段は、画像撮影手段を有し、この画像撮影手段により前記プロジェクタによって投影される画像データを撮影して入力することを特徴としている。

本発明の請求項１（請求項５）に記載の議事録作成装置（議事録作成処理プログラム）によれば、プロジェクタによる投影画像に含まれる文字列を認識してテキスト化すると共に、分野別にした複数の音声認識用辞書データの中から前記投影画像から認識された文字列（語句）を有している分野別音声認識用辞書データを音声認識対象の辞書データとして選択設定し、音声入力手段により入力された発言者の音声データを前記設定された分野別の音声認識用辞書データに基づき音声認識してテキスト化し、前記投影画像からの文字認識テキスト化データと前記発言音声からの音声認識テキスト化データとを１つのファイルとした議事録データとして作成するので、容易に会議の議事録を自動生成できるだけでなく、分野別の音声認識用辞書データを設定利用することで音声認識の処理負荷を大幅に低減でき、小型デジタルカメラなどの高性能ＣＰＵを持たない電子機器であっても、適切な文字認識テキストと音声認識テキストに変換した議事録データを作成できるようになる。

本発明の請求項２に記載の議事録作成装置によれば、前記請求項１に記載の議事録作成装置にあって、前記投影画像から認識された文字列に含まれる全ての語句を有している分野別の音声認識用辞書データが有ると判断された場合には当該辞書データを音声認識対象の辞書データとして選択設定し、無いと判断された場合には当該認識文字列に含まれる最も多くの語句を有している分野別の辞書データを音声認識対象の辞書データとして選択設定するので、投影画像からの認識文字列（語句）に相応しい分野別の音声認識用辞書データが設定され、処理負荷が大きくならずとも適切な音声認識テキスト化処理を行うことができる。

本発明の請求項３に記載の議事録作成装置によれば、前記請求項２に記載の議事録作成装置にあって、さらに、前記投影画像から認識された文字列に含まれる全ての語句を有している分野別の音声認識用辞書データが無いと判断されることで、当該認識文字列に含まれる最も多くの語句を有している分野別の辞書データが音声認識対象の辞書データとして選択設定された場合には、当該設定された分野別の音声認識用辞書データに無い語句について、かな漢字辞書データに基づき取得された読みと文字列が拡張辞書データとして登録され、入力音声データは前記設定された分野別の音声認識用辞書データおよび前記登録された拡張辞書データに基づき音声認識されテキスト化されるので、投影画像からの認識文字列（語句）の全てを有するものではない分野別の音声認識用辞書データが設定されても、適切に発音声を認識しテキスト化することができる。

本発明の請求項４に記載の議事録作成装置によれば、前記請求項１ないし請求項３の何れか１項に記載の議事録作成装置にあって、プロジェクタによって投影される画像データは、画像撮影手段により撮影されて入力されるので、音声入力用のマイクを備えたデジタルカメラによって本議事録作成装置を実現できる。

よって、本発明によれば、処理能力の余り高くない携帯型電子機器などにあっても、処理負荷が大き過ぎることなく、容易に円滑な議事録作成処理を行うことが可能になる議事録作成装置および議事録作成処理プログラムを提供できる。

以下図面により本発明の実施の形態について説明する。

（第１実施形態）
図１は、本発明の実施形態に係る議事録作成機能付きデジタルカメラ１０の電子回路の構成を示すブロック図である。

この議事録作成機能付きデジタルカメラ１０は、コンピュータであるＣＰＵ(central processor unit)１１を備えている。

このＣＰＵ１１は、半導体のＲＯＭからなる記憶装置１２に予め記憶された装置制御プログラムに従って回路各部の動作を制御する。

ＣＰＵ１１には、前記記憶装置１２が接続される他に、半導体のＲＡＭからなる作業用メモリ１３、分野別の音声認識辞書データ１４a1，１４a2，…及びその拡張辞書データ１４b1，１４b2，…を記憶する音声認識辞書メモリ１４、電源のＯＮ／ＯＦＦ操作や撮影モード・再生モード・議事録作成モード・議事録再生モードなどの切り替え操作、各種撮影パラメータの設定操作、シャッタ操作などを行うためのキーやボタンを備えた操作部１５、光学画像を撮像するＣＣＤ(charge coupled device)を備えたカメラ部１６、音声を入力するマイクを備えた音声入力部１７、画像データやテキストデータを表示するＬＣＤ(liquid crystal display)からなる表示装置１８が接続される。

記憶装置１２には、装置制御プログラムと共に画像の撮影処理プログラム・再生処理プログラム、および議事録の作成処理プログラム・再生処理プログラムなどが予め記憶される他に、語句のひらがな読みに対応した漢字を検索するためのかな漢字辞書１２ａが予め記憶される。

作業用メモリ１３には、カメラ部１６により撮影される画像データを記憶するための撮影画像メモリ１３ａ、この撮影画像メモリ１３ａに記憶された撮影画像に含まれる文字を認識しその認識文字列から語句を抽出して記憶するための文字認識抽出語句メモリ１３ｂ、音声認識辞書１４に記憶されている分野別の音声認識用辞書データ１４a1，１４a2，…のうち前記撮影画像から認識抽出されて文字認識抽出語句メモリ１３ｂに記憶された当該撮影画像中の語句が最も多く存在する辞書データ１４anを議事録作成時の音声認識辞書として設定するための設定辞書No.メモリ１３ｃ、撮影画像（１３ａ）からの文字認識及び音声入力部１７による入力音声からの音声認識に基づき作成された議事録データを記憶するための議事録メモリ１３ｄなどが備えられる。

音声認識辞書１４には、前記分野別の音声認識用辞書データ１４a1，１４a2，…が予め記憶されると共に、前記設定辞書No.メモリ１３ｃに設定された音声認識用の辞書データ１４anにおいて前記撮影画像（１３ａ）から認識抽出された語句がない場合に、当該辞書データ１４anにない語句の読みと漢字のデータが前記かな漢字辞書１２ａから検索されて対応付けられる拡張辞書データ１４bnが生成記憶される。

図２は、前記議事録作成機能付きデジタルカメラ１０により議事録作成を行う場合の一使用例を示すイメージ図である。

すなわち、この議事録作成機能付きデジタルカメラ１０は、会議室（場）などにおいてプロジェクタ２０によってスクリーン３０に投影されるプレゼンテーション画像（プレゼン画像）が撮影可能な位置に配置され、当該投影されたプレゼン画像がカメラ部１６によって撮像されて解析されると共に、発言者４０によって発声される音声が音声入力部１７によって入力され、この撮像画像と入力音声との組み合わせに基づき議事録データ１３ｄを作成する。

図３は、前記議事録作成機能付きデジタルカメラ１０の議事録メモリ１３ｄに記憶された議事録データの内容を示す図である。

すなわち、議事録メモリ１３ｄには、個々の会議毎に議事録データ（１）１３d1、議事録データ（２）１３d2、…として作成され記憶されるもので、各議事録データ（ｎ）１３dnは、プレゼン画像１，２，３，…の１枚毎に当該各画像から認識された文字認識テキスト１，２，３，…とそのときの発言者４０による音声認識テキスト１，２，３，…とが組み合わされて生成記憶される。

図４は、前記議事録作成機能付きデジタルカメラ１０の議事録メモリ１３ｄに記憶された１プレゼン画像あたりの議事録データの変換再生状態を示す図である。

すなわち、カメラ部１６により撮影されたプレゼン画像からの文字認識テキストと、当該プレゼン画像の表示中において音声入力部１７により入力された発言者４０の音声認識テキストとが対応付けられて、議事録データとされる。

この際、音声認識を行うための音声認識辞書データ１４anは、プレゼン画像からの文字認識に基づく抽出語句を最も多く収録している分野別の音声認識辞書データ１４anに設定されるので、膨大な音声認識処理を要さずとも適切な音声認識テキスト化処理を行うことができる。しかも、このプレゼン画像に対応して設定された分野別の音声認識辞書データ１４anに存在しない語句であっても、かな漢字辞書１２ａに存在する語句であればその読みと漢字が対応付けられて当該分野別の音声認識辞書データ１４anに属する拡張辞書データ１４bnとして生成記憶されて音声認識に利用されるので、前記分野別の音声認識辞書データ１４anを設定していても十分に適切な不足のない音声認識テキスト化処理を行うことができる。

次に、前記構成の議事録作成機能付きデジタルカメラ１０による議事録作成機能について説明する。

図５は、前記議事録作成機能付きデジタルカメラ１０による議事録作成機能の全体的な流れを示す図である。

この議事録作成機能付きデジタルカメラ１０の議事録作成機能は、撮影画像（プレゼン画像）に含まれる文字を認識しテキスト化すると共に分野別の音声認識辞書データ１４anを設定するための図６における議事録作成（画像処理）（ステップＳＡ）と、これにより設定された分野別の音声認識辞書データ１４anを用いて発言音声を認識しテキスト化するための図７における議事録作成（音声処理）（ステップＳＢ）と、この文字認識テキスト及び音声認識テキストを対応付けして保存するためのファイル化処理（ステップＳＣ）とからなっている。

図６は、前記議事録作成機能付きデジタルカメラ１０による議事録作成（画像処理）を示すフローチャートである。

例えば前記図２で示したような会議室（場）における本議事録作成機能付きデジタルカメラ１０、およびプロジェクタ２０、スクリーン３０の配置構成において、まず、発言者４０による発言（プレゼン）に先立ちプロジェクタ２０によってスクリーン３０上に投影されている画像は、本デジタルカメラ１０のカメラ部１６によってリアルタイムに撮影され、作業用メモリ１３内の撮影画像メモリ１３ａに逐次更新記憶される（ステップＡ１）。

まず、投影画像のない状態から１枚目のプレゼン画像がスクリーン３０に投影されることで、カメラ部１６により撮像される画像が変化したと判断されると（ステップＡ２）、この１枚目のプレゼン画像の撮影画像が取り込まれて前記撮影画像メモリ１３ａに記憶され（ステップＡ３）、この撮影画像から書式（縦書き・横書きの区別、文字・イメージの区別、配置など）が解析されると共に、解析された書式中の文字が認識（画像認識）され、１枚目のプレゼン画像に対応する文字認識テキスト１として議事録メモリ１３ｄ（図３参照）に記憶される（ステップＡ４）。

すると、前記１枚目のプレゼン画像から文字認識されたテキストデータに含まれる語句（名詞、動詞など）が抽出されて文字認識抽出語句メモリ１３ｂに記憶され（ステップＡ５）、この抽出された全ての語句が含まれている分野別の音声認識辞書データ１４anが音声認識辞書メモリ１４内に存在するか否か検索判断される（ステップＡ６，Ａ７）。

ここで、前記プレゼン画像から認識されたテキストデータ中の全ての語句を含んでいる分野別の音声認識辞書データ１４anが有ると判断された場合には、当該分野別の音声認識辞書データ１４anが発言音声認識対象の辞書として設定され、その辞書Ｎｏ．が設定辞書Ｎｏ．メモリ１３ｃに記憶される（ステップＡ７→Ａ８）。

一方、前記プレゼン画像から認識されたテキストデータ中の全ての語句を含んでいる分野別音声認識辞書データ１４anは無いと判断された場合には、各分野別の音声認識辞書データ１４a1，１４a1，…のうちで前記テキスト抽出された語句を最も多く含んでいる分野別の音声認識辞書データ１４anが発言音声認識対象の辞書として設定され、その辞書Ｎｏ．が設定辞書Ｎｏ．メモリ１３ｃに記憶される（ステップＡ７→Ａ９）。

すると、この設定辞書Ｎｏ．メモリ１３ｃにて記憶設定された分野別音声認識辞書データ１４anに含まれない前記テキスト抽出の語句それぞれについて、漢字混じりの語句であるか否か判断され（ステップＡ１０，Ａ１１）、漢字混じりの語句である判断された場合には、当該漢字混じりの語句がかな漢字辞書１２ａ内に登録が有る語句である否か判断される（ステップＡ１２）。

そして、前記音声認識対象の辞書として設定された分野別の音声認識辞書データ１４anには含まれない語句であるものの、かな漢字辞書１２ａには登録されている漢字混じりの語句であると判断された場合には、当該かな漢字辞書１２ａから該当語句の読みと文字のデータが取得され（ステップＡ１２→Ａ１３）、前記音声認識対象の辞書として設定された分野別の音声認識辞書データ１４anに対応するところの拡張辞書データ１４bnとして音声認識辞書メモリ１４に登録される（ステップＡ１４）。

ここで、前記設定辞書Ｎｏ．メモリ１３ｃにて記憶設定された分野別音声認識辞書データ１４anに含まれない前記テキスト抽出の語句の残りが有ると判断された場合には、前記ステップＡ１０から処理が繰り返され、そのそれぞれの語句についてかな漢字辞書１２ａに登録有るか否かの判断処理、かな漢字辞書登録がある場合の拡張辞書データ１４bnとしての登録処理が実行される（ステップＡ１５→Ａ１０〜Ａ１４）。

これにより、プロジェクタ２０によってスクリーン３０に投影されたプレゼン画像が文字認識されテキスト化されて議事録メモリ１３ｄに記憶される一方で、当該テキストデータに含まれる語句の全てまたは最も多くを含む分野別の音声認識辞書データ１４anが発言音声認識対象の辞書として設定され、しかも、この設定された分野別の音声認識辞書データ１４anに含まれない漢字混じりの語句については、かな漢字辞書１２ａからその読みと文字が取得されて当該分野別の音声認識辞書データ１４anの拡張辞書データ１４bnとして登録されるようになる。

なお、この図６における議事録作成（画像処理）は、プロジェクタ２０によってスクリーン３０に投影されるプレゼン画像が更新される毎、つまりカメラ部１６によって撮影されている画像が変化する毎に、その画像変化のタイミングで実行される。

図７は、前記議事録作成機能付きデジタルカメラ１０による議事録作成（音声処理）を示すフローチャートである。

プロジェクタ２０によってプレゼン画像がスクリーン３０に投影されたのに伴い、発言者４０によって発言が開始されると、この発言者４０による発言音声は音声入力部１７から入力されて取り込まれ（ステップＢ１）、設定辞書Ｎｏ．メモリ１３ｃによって記憶設定されている辞書Ｎｏ．に対応するところの分野別音声認識辞書データ１４anに基づいて音声認識処理される（ステップＢ２）。

ここで、前記入力された発言音声に対応する読みが前記分野別音声認識辞書データ１４anに基づき認識されて有る場合には、その音声認識文字列がテキスト化されて、現在のプレゼン画像に対応して前記議事録メモリ１３ｄに記憶保存された文字認識テキストデータと共に１つのデータ（ファイル）として記憶保存される（ステップＢ３→Ｂ４）（図３参照）。

一方、前記ステップＢ３において、入力された発言音声に対応する読みが前記設定された分野別音声認識辞書データ１４anの中に無いと判断された場合には、当該分野別音声認識辞書データ１４anに対応付けられて登録されている拡張辞書データ１４bnに基づいて音声認識処理される（ステップＢ３→Ｂ５）。

そして、前記入力された発言音声に対応する読みが前記拡張辞書データ１４bnに基づき認識されて有る場合には、その音声認識文字列がテキスト化されて、現在のプレゼン画像に対応して前記議事録メモリ１３ｄに記憶保存された文字認識テキストデータと共に１つのデータ（ファイル）として記憶保存される（ステップＢ６→Ｂ４）（図３参照）。

一方、前記入力された発言音声に対応する読みについて、前記設定された分野別音声認識辞書データ１４anおよびこれに対応付けられた拡張辞書データ１４bnの何れによっても漢字認識できないと判断された場合には、その発言音声の読みに対応するひらがな文字のまま、前記議事録メモリ１３ｄに記憶保存された文字認識テキストデータと共に１つのデータ（ファイル）として追加され記憶保存される（ステップＢ６→Ｂ７）。

これにより、前記図６における議事録作成（画像処理）によりプレゼン画像から文字認識されて作成された文字認識テキストデータと共に、前記図７における議事録作成（音声処理）により発言者４０の発言音声から音声認識されて作成された音声認識テキストデータが１つの議事録データ（ファイル）として議事録メモリ１３ｄに記憶保存される。

そして、この議事録作成（音声処理）における発言音声認識処理では、前記議事録作成（画像処理）においてプレゼン画像からの認識文字列（語句）に基づき予め選択的に設定された分野別の音声認識辞書データ１４anおよびその拡張辞書データ１４bnを用いて音声認識テキスト化処理が行われるので、膨大な辞書データとの比較認識処理を要さずに、このデジタルカメラ１０のＣＰＵ１１においても処理負荷が大きすぎることなく、適切な音声認識テキスト化処理を行い、容易に正しい議事録データを作成できるようになる。

こうして、議事録メモリ１３ｄに作成記憶されたプレゼン画像毎の文字認識テキスト化データと音声認識テキスト化データとの組み合わせからなる議事録データは、その再生処理に従って、例えば図４に示すように表示装置１８によって表示され、ユーザに確認される。

したがって、前記構成の議事録作成機能付きデジタルカメラ１０によれば、プロジェクタ２０によってスクリーン３０に投影されたプレゼン画像をカメラ部１６により撮影して取り込み、このプレゼン画像から文字認識テキスト化処理を行うと共に、このプレゼン画像のテキストデータに含まれる語句の全てあるいはその多数を有する分野別の音声認識辞書データ１４anを選択的に設定し、この設定分野別の音声認識辞書データ１４anを用いて音声入力部１７により入力される発言音声を認識してテキスト化処理を行い、前記撮影されたプレゼン画像から文字認識されたテキスト化データと１ファイルにした議事録データとして作成記憶されるので、議事録を容易に自動作成できるだけでなく、分野別の音声認識辞書データ１４anを選択設定して大きな処理負荷を要さずに適切な発言音声の認識テキスト化処理を行うことができる。

しかも、プレゼン画像からの文字認識テキストデータに含まれる語句に基づき選択設定された分野別の音声認識辞書データ１４anに存在しない漢字混じりの語句が有った場合には、当該語句の読みと文字データがかな漢字辞書１２ａから取得され前記設定された音声認識辞書データ１４anの拡張辞書データ１４bnとして登録され、前記発言音声の認識テキスト化処理に利用されるので、前記分野別の音声認識辞書データ１４anを設定していても十分に適切且つ不足のない音声認識テキスト化処理を行い、品質の高い議事録データを作成することができる。

なお、前記実施形態における議事録作成（画像処理）（図６参照）では、撮影されたプレゼン画像から文字認識されたテキストデータに含まれる全ての語句かあるいはその最も多くを有する１つの分野別音声認識辞書データ１４anを発言音声認識のための辞書として選択設定する構成としたが、文字認識テキスト抽出された語句の全てあるいは最も多くとその次に多くの各分野別の複数の音声認識辞書データ１４an…までを同発言音声認識のための辞書として選択設定する構成としてもよい。

この場合、実際の議事録作成（音声処理）において利用頻度が一定以下である音声認識辞書データ１４anについては、発言音声認識のための設定辞書から除外する構成とする。

（第２実施形態）
前記第１実施形態における議事録作成機能付きデジタルカメラ１０では、図２で示したように、プロジェクタ２０によってスクリーン３０に投影されたプレゼン画像をカメラ部１６により撮影して取り込み、この撮影画像から文字認識テキスト化処理を行う構成としたが、この第２実施形態の図８にて示す議事録作成装置１０Ａのように、パーソナルコンピュータ（ＰＣ）によってプロジェクタ２０に送出するプレゼン画像のデータを直接的に議事録作成装置１０Ａに取り込み、この直接取り込まれたプレゼン画像データから文字認識テキスト化処理を行い、撮影機能を必要としない構成としてもよい。

図８は、本発明の第２実施形態に係る議事録作成装置１０Ａにより議事録作成を行う場合の使用例を示すイメージ図である。

（第３実施形態）
あるいは、図９の第３実施形態にて示す議事録作成機能付きプロジェクタ１０Ｂのように、当該プロジェクタ１０Ｂ内に前記実施形態同様の議事録作成機能を組み込むものとし、パーソナルコンピュータ（ＰＣ）から当プロジェクタ１０Ｂに送られて来るプレゼン画像のデータを直接的に取り込み、この直接取り込まれたプレゼン画像データから文字認識テキスト化処理を行い、撮影機能を必要としない構成としてもよい。

図９は、本発明の第３実施形態に係る議事録作成機能付きプロジェクタ１０Ｂにより議事録作成を行う場合の使用例を示すイメージ図である。

そして、前記図８における第２実施形態の議事録作成装置１０Ａ、あるいは前記図９における第３実施形態の議事録作成機能付きプロジェクタ１０Ｂの何れにあっても、プレゼン画像はカメラ撮影による画像データとして取り込むのではなく、パーソナルコンピュータ（ＰＣ）から直接転送されて取得されるので、より高品質なプレゼン画像から高精度な文字認識テキスト化処理を行うことができる。

なお、前記各実施形態において記載した議事録作成機能による各処理の手法、すなわち、図５のフローチャートに示す議事録作成処理に伴い実施される図６のフローチャートに示す議事録作成（画像処理）、図７のフローチャートに示す議事録作成（音声処理）、そしてファイル化処理等の各手法は、何れもコンピュータに実行させることができるプログラムとして、メモリカード（ＲＯＭカード、ＲＡＭカード等）、磁気ディスク（フロッピディスク、ハードディスク等）、光ディスク（ＣＤ−ＲＯＭ、ＤＶＤ等）、半導体メモリ等の外部記録媒体１９に格納して配布することができる。そして、画像入力機能および音声入力機能を有する電子機器のコンピュータ（制御部（ＣＰＵ）１１）は、この外部記録媒体１９に記憶されたプログラムを記憶装置１２に読み込み、この読み込んだプログラムによって動作が制御されることにより、前記実施形態において説明した議事録作成機能を実現し、前述した手法による同様の処理を実行することができる。

また、前記各手法を実現するためのプログラムのデータは、プログラムコードの形態として通信ネットワーク（インターネット）Ｎ上を伝送させることができ、この通信ネットワーク（インターネット）Ｎに接続されたコンピュータ端末（プログラムサーバ）ＳＶから前記のプログラムデータを通信部５０を介して取り込んで記憶装置１２に記憶させ、前述した議事録作成機能を実現することもできる。

なお、本願発明は、前記各実施形態に限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で種々に変形することが可能である。さらに、前記各実施形態には種々の段階の発明が含まれており、開示される複数の構成要件における適宜な組み合わせにより種々の発明が抽出され得る。例えば、各実施形態に示される全構成要件から幾つかの構成要件が削除されたり、幾つかの構成要件が組み合わされても、発明が解決しようとする課題の欄で述べた課題が解決でき、発明の効果の欄で述べられている効果が得られる場合には、この構成要件が削除されたり組み合わされた構成が発明として抽出され得るものである。

本発明の実施形態に係る議事録作成機能付きデジタルカメラ１０の電子回路の構成を示すブロック図。 前記議事録作成機能付きデジタルカメラ１０により議事録作成を行う場合の一使用例を示すイメージ図。 前記議事録作成機能付きデジタルカメラ１０の議事録メモリ１３ｄに記憶された議事録データの内容を示す図。 前記議事録作成機能付きデジタルカメラ１０の議事録メモリ１３ｄに記憶された１プレゼン画像あたりの議事録データの変換再生状態を示す図。 前記議事録作成機能付きデジタルカメラ１０による議事録作成機能の全体的な流れを示す図。 前記議事録作成機能付きデジタルカメラ１０による議事録作成（画像処理）を示すフローチャート。 前記議事録作成機能付きデジタルカメラ１０による議事録作成（音声処理）を示すフローチャート。 本発明の第２実施形態に係る議事録作成装置１０Ａにより議事録作成を行う場合の使用例を示すイメージ図。 本発明の第３実施形態に係る議事録作成機能付きプロジェクタ１０Ｂにより議事録作成を行う場合の使用例を示すイメージ図。

符号の説明

１０ …議事録作成機能付きデジタルカメラ
１０Ａ…議事録作成装置
１０Ｂ…議事録作成機能付きプロジェクタ
１１ …制御部（ＣＰＵ）
１２ …記憶装置
１２ａ…かな漢字辞書
１３ …メモリ
１３ａ…撮影画像メモリ
１３ｂ…文字認識抽出語句メモリ
１３ｃ…設定辞書Ｎｏ．メモリ
１３ｄ…議事録メモリ
１４ …音声認識辞書メモリ
１４an…分野別音声認識辞書データ
１４bn…拡張辞書データ
１５ …操作部
１６ …カメラ部
１７ …音声入力部
１８ …表示装置
１９ …外部記録媒体
２０ …プロジェクタ
３０ …スクリーン
４０ …発言者
５０ …通信部
ＰＣ …パーソナルコンピュータ
Ｎ …通信ネットワーク（インターネット）
ＳＶ …Ｗｅｂサーバ

Claims (5)

1. プロジェクタによって投影される画像データを入力する投影画像入力手段と、
   この投影画像入力手段により入力された投影画像に含まれる文字列を認識してテキスト化する文字認識手段と、
   分野別の複数の音声認識用辞書データを記憶する音声認識辞書記憶手段と、
   前記文字認識手段により前記投影画像から認識された文字列を有している前記分野別の音声認識用辞書データを音声認識対象の辞書データとして選択設定する対象辞書設定手段と、
   音声データを入力する音声入力手段と、
   この音声入力手段により入力された音声データを前記対象辞書設定手段により設定された分野別の音声認識用辞書データに基づき音声認識してテキスト化する音声認識手段と、
   前記文字認識手段により認識された文字認識テキスト化データと前記音声認識手段により認識された音声認識テキスト化データとを１つのファイルとした議事録データを作成する議事録作成制御手段と、
   を備えたことを特徴とする議事録作成装置。
2. 前記対象辞書設定手段は、
   前記文字認識手段により前記投影画像から認識された文字列に含まれる全ての語句を有している前記分野別の音声認識用辞書データの有無を判断する最適分野別辞書有無判断手段を有し、
   この最適分野別辞書有無判断手段により前記投影画像から認識された文字列に含まれる全ての語句を有している分野別の音声認識用辞書データが有ると判断された場合には当該辞書データを音声認識対象の辞書データとして選択設定し、前記最適分野別辞書有無判断手段により前記投影画像から認識された文字列に含まれる全ての語句を有している分野別の音声認識用辞書データが無いと判断された場合には当該認識文字列に含まれる最も多くの語句を有している分野別の辞書データを音声認識対象の辞書データとして選択設定することを特徴とする請求項１に記載の議事録作成装置。
3. さらに、
   かな漢字辞書データを記憶するかな漢字辞書記憶手段と、
   前記最適分野別辞書有無判断手段により前記投影画像から認識された文字列に含まれる全ての語句を有している分野別の音声認識用辞書データが無いと判断されることで、当該認識文字列に含まれる最も多くの語句を有している分野別の辞書データが音声認識対象の辞書データとして選択設定された場合に、当該設定された分野別の音声認識用辞書データに無い語句について前記かな漢字辞書記憶手段により記憶されたかな漢字辞書データに基づき取得された読みと文字列を拡張辞書データとして登録する拡張辞書登録制御手段とを備え、
   前記音声認識手段は、前記音声入力手段により入力された音声データを前記対象辞書設定手段により設定された分野別の音声認識用辞書データおよび前記拡張辞書登録制御手段により登録された拡張辞書データに基づき音声認識してテキスト化することを特徴とする請求項２に記載の議事録作成装置。
4. 前記投影画像入力手段は、画像撮影手段を有し、この画像撮影手段により前記プロジェクタによって投影される画像データを撮影して入力することを特徴とする請求項１ないし請求項３の何れか１項に記載の議事録作成装置。
5. プロジェクタによって投影される画像データを入力する投影画像入力手段と、音声データを入力する音声入力手段と、分野別の複数の音声認識用辞書データを記憶する音声認識辞書記憶手段とを備えた電子機器のコンピュータを制御して議事録データを作成するための議事録作成処理プログラムであって、
   前記コンピュータを、
   前記投影画像入力手段により入力された投影画像に含まれる文字列を認識してテキスト化する文字認識手段、
   この文字認識手段により前記投影画像から認識された文字列を有している前記分野別の音声認識用辞書データを音声認識対象の辞書データとして選択設定する対象辞書設定手段、
   前記音声入力手段により入力された音声データを前記対象辞書設定手段により設定された分野別の音声認識用辞書データに基づき音声認識してテキスト化する音声認識手段、
   前記文字認識手段により認識された文字認識テキスト化データと前記音声認識手段により認識された音声認識テキスト化データとを１つのファイルとした議事録データを作成する議事録作成制御手段、
   として機能させるようにしたコンピュータ読み込み可能な議事録作成処理プログラム。

Images