JP2021089576A - 情報処理装置、情報処理方法およびプログラム - Google Patents

Abstract

【課題】記録データに添付されたメモの内容を一瞥可能にし、メモの内容が表示されない場合にもその原因を推測できるようにする。【解決手段】実施形態によれば、情報処理装置は、取得部と、変換部と、表示制御部とを有する。取得部は、複数の項目を有する記録データの項目に関連付けられたマルチメディアデータを取得する。変換部は、上記マルチメディアデータから、当該マルチメディアデータの内容を表す第１の表示データへの変換処理を行う。表示制御部は、上記変換処理が完了した場合には上記第１の表示データを、上記変換処理が完了していない場合には上記変換処理の進捗状況を表す第２の表示データを、上記記録データの上記項目に関連付けて表示する。【選択図】図１

Description

本発明の実施形態は、情報処理装置、情報処理方法、およびプログラムに関する。

製造現場や保守点検現場においては、作業者等により、様々な情報が記録される。例えば、測定機器を使った結果の測定値や、目視で点検した結果などが、帳票／表作成ツール（ソフトウェア）等を介して記録データとして記録される。そのような記録データは、しばしば作業者同士や顧客との間で共有される。

ここで、多くの帳票／表作成ツールでは、各項目に入力すべき内容があらかじめ定められている。したがって、それ以外の内容を入力するためには、欄外にメモとして入力しておいたり、帳票ツールの機能を使用して指定した項目に対しテキストメモを添付したりする必要がある。

記録データには、テキストに限らず、マルチメディアデータをメモとして関連付けることも可能である。例えば、表データにマルチメディアデータをメモとして添付し、メモが添付されていることを示すアイコンを表示させる手法がある。

特開２０００−１３２５６１号公報 特開２０１６−１７７４７４号公報

しかし、記録データに添付されたメモの内容を確認するためには、作業者が、作業の手を止めて、例えば添付された動画メモを再生させるなどの操作を行う必要がある。また、内容の確認には時間を要するので、作業時間のロスをまねく。さらに、音声メモを音声認識処理によってテキストに変換し、記録データに添付するとしても、通常、そのような処理には一定の時間がかかる。テキストが表示されない場合、作業者は、なぜ表示されないのか理解できず、やはりマルチメディアデータを再生せざるを得ない。

本発明が解決しようとする課題は、記録データに添付されたメモの内容を一瞥でき、メモの内容が表示されない場合にもその原因を推測できるようにする、情報処理装置、情報処理方法およびプログラムを提供することにある。

実施形態によれば、情報処理装置は、取得部と、変換部と、表示制御部とを有する。取得部は、複数の項目を有する記録データの項目に関連付けられたマルチメディアデータを取得する。変換部は、上記マルチメディアデータから当該マルチメディアデータの内容を表す第１の表示データへの変換処理を行う。表示制御部は、上記変換処理が完了した場合には上記第１の表示データを、上記変換処理が完了していない場合には上記変換処理の進捗状況を表す第２の表示データを、上記記録データの上記項目に関連付けて表示する。

図１は、第１の実施形態に係る情報処理装置の機能構成の一例を示す図である。 図２は、第１の実施形態に係る情報処理装置のハードウェア構成の一例を示す図である。 図３は、第１の実施形態に係る情報処理装置による処理の一例を示すフローチャートである。 図４は、図３に示した処理のうちメモ追加処理の一例を示すフローチャートである。 図５は、図３に示した処理のうちメモ変換処理の一例を示すフローチャートである。 図６は、第１の実施形態に係る記録データの一例を示す図である。 図７は、第１の実施形態に係るメモ管理データの一例を示す図である。 図８は、第１の実施形態に係るメモ取込み画面の一例を示す図である。 図９は、第１の実施形態に係るメモ表示画面の第１の例を示す図である。 図１０Ａは、第１の実施形態に係るメモ表示画面の第２の例を示す図である。 図１０Ｂは、第１の実施形態に係るメモ表示画面の第３の例を示す図である。 図１１は、第２の実施形態に係る情報処理装置の機能構成の一例を示す図である。 図１２は、第２の実施形態に係る情報処理装置による処理の一例を示すフローチャートである。 図１３は、図１２に示した処理のうち音声入力処理の一例を示すフローチャートである。 図１４は、第２の実施形態に係る入力手順リストの一例を示す図である。 図１５は、第３の実施形態に係る情報処理装置の機能構成の一例を示す図である。 図１６は、第３の実施形態に係る情報処理装置による再変換処理の第１の例を示すフローチャートである。 図１７は、第３の実施形態に係る情報処理装置による再変換処理の第２の例を示すフローチャートである。 図１８は、第４の実施形態に係るメモ管理データの一例を示す図である。 図１９は、第４の実施形態に係るメモ優先度変更の一例を示す図である。

以下、図面を参照してこの発明に係わる実施形態を説明する。

［第１の実施形態］
（１−１）構成
図１は、この発明の第１の実施形態に係る情報処理装置１の機能構成の一例を示す図である。
情報処理装置１は、帳票や表データなど、複数の項目を有する記録データにマルチメディアデータをメモとして添付し、関連付けて取り扱うことが可能なもので、例えば、パーソナルコンピュータ（ＰＣ）、スマートフォン、タブレット端末等である。情報処理装置１はさらに、マルチメディアデータを、その内容を表す表示データに変換し、得られた表示データまたは変換処理の進捗状況を表す表示データをマルチメディアデータが添付された記録データの項目に関連付けて表示する。

情報処理装置１は、ネットワークＮＷを介してサーバ１００と通信可能に構成される。

ネットワークＮＷは、例えば、インターネットに代表されるＩＰ（Internet Protocol）網と、このＩＰ網に対しアクセスするための複数のアクセス網とから構成される。アクセス網としては、例えば、無線ＬＡＮ（Local Area Network）、携帯電話網、有線電話網、ＦＴＴＨ（Fiber To The Home）、ＣＡＴＶ（Cable Television）網が用いられる。

サーバ１００は、例えば、サービス提供事業者によって運営管理され、オンラインでデータ変換サービスを提供する。情報処理装置１は、ネットワークＮＷを介してマルチメディアデータをサーバ１００に送信し、サーバ１００から、変換結果として、上記マルチメディアデータの内容を表す表示データを受信する。例えば、サーバ１００は、音声データをテキストデータに変換する音声認識サービス（以下、「クラウド型音声認識サービス」と言う。）を提供する。

情報処理装置１は、複数のサーバ１００と通信可能に構成されてもよい。複数のサーバ１００は、すべて音声認識サービスを提供するものであってもよいし、音声認識、文字認識、画像認識など、それぞれ異なるデータ変換サービスを提供するものであってもよい。

情報処理装置１は、入出力インタフェース１１と、通信インタフェース１２と、制御部２０と、記憶部３０とを備える。

通信インタフェース１２は、例えば１つ以上の有線または無線の通信インタフェースユニットを含んでおり、サーバ１００との間で情報の送受信を可能にする。有線インタフェースとしては、例えば有線ＬＡＮが使用され、また無線インタフェースとしては、例えば無線ＬＡＮやＢｌｕｅｔｏｏｔｈ（登録商標）などの小電力無線データ通信規格を採用したインタフェースが使用される。

入出力インタフェース１１には、情報処理装置１に付設される入力デバイス２および出力デバイス３が接続される。入力デバイス２は、マルチメディアデータの入力デバイスとして、ユーザが発話した音声メモを録音するためのマイクロフォンや、動画または静止画を撮像するためのカメラ等を含む。入力デバイス２はまた、ユーザの操作を受け付ける入力デバイスとして、キーボード、マウス、ボタン、スイッチ等を含む。出力デバイス３は、再生された音声メモを出力するためのスピーカに加え、種々のデータを表示するための液晶または有機ＥＬ（Electro Luminescence）等のディスプレイを含む。タブレット端末のように、タッチ入力および表示機能を有するタッチスクリーンを備える場合など、入力デバイス２と出力デバイス３は一体であってもよい。

入出力インタフェース１１は、入力デバイス２を通じてユーザが入力した音声データや操作データを取り込んで制御部２０に渡すとともに、制御部２０から出力される表示データを出力デバイス３へ出力して表示させる処理を行う。なお、入力デバイス２および出力デバイス３としては、装置１に内蔵されたデバイスを使用してもよく、またネットワークＮＷを介して通信可能な他の情報端末の入力デバイスおよび出力デバイスを使用してもよい。

記憶部３０は、記録データ記憶部３１と、メモ記憶部３２とを備える。

記録データ記憶部３１は、メモの添付先である、複数の項目を有する記録データを記憶する。記録データは、帳票や表のように、項目ごとに入力欄のあるデータを言う。

メモ記憶部３２は、第１の記憶部または第２の記憶部として機能し、添付されるメモごとに、添付先項目へのポインタ、マルチメディアデータへのポインタ、メモの変換状況、変換結果、および失敗内容を保持するメモ管理データを記憶する。

制御部２０は、中央処理ユニット（Central Processing Unit：ＣＰＵ）等のハードウェアプロセッサを有する。制御部２０は、実施形態に係る処理機能部として、マルチメディアデータ取得部２１と、変換制御部２２と、表示制御部２３とを備える。

マルチメディアデータ取得部２１は、第１の取得部として、入出力インタフェース１１を介してマルチメディアデータを取り込む処理を行う。マルチメディアデータは記録データの項目に関連付けられている。マルチメディアデータ取得部２１はまた、マルチメディアデータの添付先項目を識別する情報を取得して、メモ記憶部３２に記憶されたメモ管理データに書き込む処理も行う。情報処理装置１が取り扱うことのできるマルチメディアデータには、音声データ、静止画データ、および動画データなど多様なデータが含まれる。

変換制御部２２は、変換部として、取得されたマルチメディアデータを、当該マルチメディアデータの内容を表す表示データに変換する処理を行う。表示データは、テキストデータであってもよいし、アイコンやピクトグラムなどの画像データであってもよい。変換制御部２２はまた、表示データへの変換処理の進捗状況（「変換状況」とも言う）を表す進捗情報を生成する。進捗状況には、例えば、未変換、変換中、変換済み、または変換失敗等の状況が含まれる。変換制御部２２はまた、変換結果や進捗情報をメモ記憶部３２に記憶されたメモ管理データに書き込む処理も行う。

変換制御部２２は、音声認識クライアント２２１を含み得る。
音声認識クライアント２２１は、変換クライアント部として、クラウド型音声認識サービスにより音声データをテキストデータに変換する処理を行う。すなわち音声認識クライアント２２１は、通信インタフェース１２を介して、音声データを、声認識サーバまたは変換サーバとしてのサーバ１００に送信し、サーバ１００から変換結果としてテキストデータを受信する。

変換制御部２２はまた、音声データ以外のマルチメディアデータから、その内容を表す表示データへの変換処理を行い得る。例えば、変換制御部２２は、静止画または動画データからパターン認識技術等を用いて文字情報を抽出するようにしてもよい。一例として、変換制御部２２は、撮像されたディジタルメータもしくはアナログメータの指示値からテキストデータを生成することができる。すなわち変換制御部２２は、静止画または動画データから文字認識結果を表すテキストデータへの変換処理を行い得る。あるいは変換制御部２２は、静止画または動画データから物体認識や異常検知などを行い、その結果を表示データとして出力するようにしてもよい。一例として、変換制御部２２は、撮像された被検体におけるひび割れや亀裂の有無、密度、破断パターン、色の変化などの解析結果を、文字または画像を含む表示データとして出力することができる。すなわち変換制御部２２は、静止画または動画データを、当該静止画または動画データから抽出される特徴を表すテキストデータまたは画像データに変換し得る。このような変換処理もまたクラウド型サービスとして実現されてよく、変換制御部２２は、音声データ以外のデータを表示データに変換するためのクライアント部をさらに備え得る。

ただし、変換制御部２２による変換処理は、マルチメディアデータからテキストデータまたは画像データへの変換処理だけに限定されず、変換後データは任意のデータ形式であってよい。例えば、変換制御部２２が、マルチメディアデータからバイナリデータに変換し、表示制御部２３などの後続の機能部においてバイナリデータから表示データへの変換を行うようにしてもよい。

表示制御部２３は、メモ記憶部３２に記憶されたメモ管理データに基づき、記録データの項目に添付されたメモの内容またはメモの変換状況や変換結果を、その添付先項目に関連付けて表示する表示データを生成し、ディスプレイ等の出力デバイス３に出力する。

ここで、図１に示した情報処理装置１の各構成について、さらに詳しく説明する。
以下では、主に、情報処理装置１が、タッチ入力および表示機能を有するタッチスクリーンと音声入力用のマイクロフォンとを備えるタブレット端末であるものとして説明する。また以下では主に、マルチメディアデータが音声データであり、音声認識クライアント２２１は、サーバ１００と通信し、サーバ１００が提供するクラウド型の音声認識サービスを利用して音声データからテキストデータへの変換を行うものとして説明する。

情報処理装置（タブレット端末）１は、ユーザの操作を受け付けて、記録データとしての表データに対して音声メモを添付し、変換し、表示を行う。このような音声メモの添付、変換および表示機能（以下、まとめて「音声メモ添付機能」という。）を持つ端末は、タブレット端末に限らず、スマートフォンはもちろん、マウスを備えたＰＣ等、入力部と出力部を備える端末であれば何を用いてもよい。また、音声メモ添付機能は、表データを表示・入力するためのプログラム（以下、「表入力プログラム」）とは別のプログラムになっていてもよいし、一機能やアドオンとして同プログラムに組み込まれていてもよい。

図６は、記録データ記憶部３１に記憶される記録データの一例を示す。記録データ５０は、行番号（ＲＷ１〜ＲＷ５）と、列番号（ＣＬ１〜ＣＬ７）により対象項目（入力欄）を指定可能である。この例では、記録データ５０は、項目名として、「試験番号」、「試験項目」、「測定値（Ｒ，Ｓ，Ｔ）」、「単位」および「判定（良／否）」を含む。この例では、記録データ５０の行ＲＷ２〜ＲＷ５の、列ＣＬ３〜ＣＬ５（「測定値（Ｒ，Ｓ，Ｔ）」）およびＣＬ７（「判定（良／否）」）に値を入力可能であり、ＲＷ２の行（「試験番号１」、「最小動作試験」）にはすでに仮想の値（「３．９１」、「４．０５」、「４．１２」、「良」）が入力されている。

図７は、メモ記憶部３２に記憶されるメモ管理データ５５の一例を示す。メモ管理データ５５は、各行が１つのメモに相当し、項目名として、「項目ポインタ」５５ａ、「音声データファイル」５５ｂ、「変換状況」５５ｃ、「変換結果」５５ｄ、「失敗内容」５５ｅを含む。

項目ポインタ５５ａは、メモが添付された項目を表す。例えば、添付先データが表データの場合、項目の位置を“（行（ＲＷ）番号，列（ＣＬ）番号）”の形式で表すことができる。図７の例では、特定の１項目を表す場合には“（項目の行番号，項目の列番号）”、複数の項目を表す場合には“（最初の項目の行番号，最初の項目の列番号）−（最後の項目の行番号，最後の項目の列番号）”という表記を用いている。例えば、項目ポインタ＝（２，７）は、図６では「良」という値が入力された行番号２（ＲＷ２），列番号７（ＣＬ７）の項目を表す。項目ポインタ＝（３，１）−（３，７）は、図６では行番号３（ＲＷ３）の列番号１〜７（ＣＬ１〜ＣＬ７）の項目すべてを表す。

なお、項目ポインタの形式はこの形式に限定されるものではなく、例えば帳票データで入力項目にＩＤが付与されていればそのＩＤを項目ポインタとして用いてもよい。

音声データファイル５５ｂは、音声データへのポインタを表す。図７では、音声データへのポインタは、音声データファイルのファイル名（もしくはＵＲＬ）として表される。ファイル名は、メモ添付時に自動で生成される。例えば、メモ添付時の日時をファイル名とすればよい。ユーザ等がファイル名を任意に設定できるようにしてもよい。

変換状況５５ｃは、変換制御部２２におけるメモの変換状況を表す。この実施形態では、変換状況として、「未変換」、「変換中」、「変換済み」、「変換失敗」の４つを含むものとする。なお、変換失敗は、変換結果が「空」である場合も含み得る。これについては後述する。

変換結果５５ｄは、変換制御部２２におけるメモの変換処理が成功（完了）した場合の変換結果を表す。変換制御部２２における変換処理が音声認識である場合、変換結果は、録音された音声データからの音声認識結果の文字列（テキストデータ）を表す。

失敗内容５５ｅは、変換制御部２２におけるメモの変換処理が失敗した場合の失敗の内容を表す。変換制御部２２は、サーバ１００からの応答メッセージやサーバ１００との間の通信失敗を示すメッセージを音声認識クライアント２２１から受け取り、失敗の内容を判定する。

変換制御部２２がクラウド型音声認識サービスを利用可能なクライアントである場合、失敗内容には、例えば、各種のネットワークエラーや、音声認識サービス側のエラーが含まれる。ネットワークエラーの例として、例えば、クラウド型音声認識サービスにネットワーク上到達できなかった場合や、そもそもネットワークに接続していないなどのネットワークエラーが含まれる。この場合、クライアントからサーバ側に通信する段階でエラーが発生し、クライアントはそれを例えばプログラム上の例外という形で取得し、変換失敗であったこと、失敗内容がネットワークエラーであったことを判断できる。音声認識サービス側のエラーとして、音声認識サーバがビジー状態であった、音声認識サーバ内部でエラーが起こった、などの問題が発生することもある。これらのサーバ側のエラーは、サーバからの応答（エラーメッセージ）として得られる。クライアントはサーバからの応答がエラーメッセージであった場合、変換失敗であったこと、失敗内容についてはエラーメッセージに書かれた内容であったことを判断できる。

音声認識サービスにおける音声認識処理が正常に動作した上で、その認識結果が空文字列、つまり何も認識されないことがある。実施形態では、クライアントが空の認識結果を受け取ったら、それを変換失敗として扱い、失敗内容については「変換結果が空」であった、と扱うものとする。これは後述する関連付け表示の際に、空の認識結果をエラーとして表示することで、ユーザから見てそれが空なのか、それとも何らかの理由でまだ認識されていないのかの判別をしやすくするためである。

音声認識クライアント２２１がネットワークＮＷを介してサーバ１００に音声データを送信すると、サーバ１００において音声認識処理が実行され、音声認識結果としてのテキストがネットワークＮＷを介して音声認識クライアント２２１により受信される。これをもって音声認識クライアント２２１は認識完了イベントを送出する。また、ネットワークエラーが発生した場合、音声認識サービスでエラーが発生した場合、または音声認識結果としてのテキストが空であった場合には、音声認識クライアント２２１は認識失敗イベントを送出する。

情報処理装置１は、上述したように、音声データだけでなく、画像データや動画データを扱ってもよい。変換制御部２２は、マルチメディアデータを他のデータに変換するものであれば何でもよい。例えば、添付された音声データを解析し、騒音状況が問題ないかどうかを、テキストでなく「○（Good／Pass）」と「×（Bad／Fail）」の二値で返すものや、添付された写真データを解析し、写真上に見られる部品の破断箇所を強調した結果の画像データを返すもの、写真上に見られるヒビの面積上の割合を返すもの、なども考えられる。

図２は、図１に示した情報処理装置１のハードウェア構成の一例を示す。
情報処理装置１は、入出力インタフェース（Ｉ／Ｆ）１１と、通信インタフェース（Ｉ／Ｆ）１２と、制御部２０と、記憶部３０とを備え、これらがバス４０を介して接続される。

記憶部３０は、例えば、記憶媒体としてＳＳＤ（Solid State Drive）等の随時書込みおよび読出しが可能な不揮発性メモリを使用する。なお、記憶媒体は、上記ＳＳＤに加えて、あるいは代えて、ＨＤＤ（Hard Disk Drive）、ＲＯＭ（Read Only Memory）およびＲＡＭ（Random Access Memory）を組み合わせたものを使用してもよい。

記憶部３０の記憶領域には、プログラム記憶領域およびデータ記憶領域が設けられている。プログラム記憶領域には、ＯＳ（Operating System）等のミドルウェアに加えて、この発明の一実施形態に係る制御処理を実行するために必要なアプリケーション・プログラムが格納される。データ記憶領域には、実施形態を実施する上で必要な記憶部として、記録データ記憶部３１と、メモ記憶部３２とが記憶される。

制御部２０は、ＣＰＵ等のプロセッサである。制御部２０は、記憶部３０のプログラム記憶領域に記憶されたプログラムを実行することによって、マルチメディアデータ取得部２１、変換制御部２２、表示制御部２３を含む処理機能部として動作する。制御部は、ＭＰＵ（Micro Processing Unit）、ＡＳＩＣ（Application Specific Integrated Circuit）、ＦＰＧＡ（field-programmable gate array）等など他の多様な形式で実現されてもよい。

上述したように、製造現場や保守点検現場においては、様々な情報を記録データに入力し、記録データを作業員同士や顧客との間で共有することが多い。そのような記録データにメモを添付するには、多くの場合、欄外にテキスト形式でメモとして入力したり、テキストメモを添付したりする必要がある。しかし、作業中に作業の手を止めてテキストメモを入力するのは時間がかかる。そこで、例えばマイクに向かって発話した音声や、撮影した写真をメモとして添付することが考えられる。しかし、そのようなメモを添付しても、中身を確認するためには、その内容を明示的に表示（音声メモであれば再生）しなければならない。手を使って内容を表示させること、時間をかけて内容を確認する必要があること（音声メモであれば、実際に聞く必要がある）は、大きな時間ロスとなる。

音声メモを追加する場合、メモの音声データを音声認識した結果のテキストを表示することも可能である。しかし、音声認識には時間がかかるため、すぐにテキストを表示できるわけではない。また音声認識に失敗することもあり、その場合もテキストが表示できない。このような場合、作業者は何故テキストが表示されていないのかを理解できず、やはりメモを表示（再生）させるしか内容を確認する方法が無くなってしまう。

実施形態に係る情報処理装置１は、帳票や表（添付先データ）に添付されたマルチメディアメモを、添付先の情報、変換状況、変換結果とともに表示することで、添付先データの元の内容と、メモの内容を紐づけた上で一瞥できるようにすることを可能にし、またメモの内容が表示されていない場合にはその対処方法を検討できるようにする。

（１−２）動作
次に、以上のように構成された第１の実施形態に係る情報処理装置１による情報処理動作について説明する。

図３は、第１の実施形態に係る情報処理装置１による処理手順と処理内容の一例を示すフローチャートである。タブレット端末等の情報処理装置１上で、表入力プログラムが起動され、記録データとしての表データが表示されているものとする。

情報処理装置１は、ステップＳ１１により、処理を開始するためのトリガの有無を監視している。この状態で、ユーザがマイクロフォンを通じて発話音声を入力し、例えば「音声メモ追加」といった音声コマンドが認識されると、情報処理装置１は、制御部２０の制御の下、メモ添付先の項目を特定しつつ、音声メモ添付機能を起動して以下の処理を実行する。なお、音声コマンドは、例えば特許文献２に記載されるような、情報処理装置１上で動作する軽量な音声認識を利用して認識されてよい。メモ添付先の項目は、例えば、当該項目を識別する情報をマルチメディアデータ取得部２１が表入力プログラムに対して要求することにより特定されてよい。

ステップＳ１２において、情報処理装置１は、表示制御部２３の制御の下、例えば記憶部３０にあらかじめ記憶された表示データと、マルチメディアデータ取得部２１により取得された項目識別情報とをもとに、メモ取込み画面を生成し表示する。

図８は、そのようなメモ取込み画面の一例を示す。メモ取込み画面は、記録データ表示領域６０と、メモ表示領域６１と、録音ウィンドウ６２とを含む。

記録データ表示領域６０は、表入力プログラムの起動時に表示されるものであり、表データの内容を示す。音声メモ添付機能が起動されると、記録データ表示領域６０は、さらに当該メモの添付先項目を示す。この例では、メモの添付先として項目（２，７）が反転表示される。

メモ表示領域６１は、音声メモ添付機能の起動時に表示される。メモ表示領域６１は、同時に閲覧可能なように、記録データ表示領域６０と並べて表示されてよい。メモ表示領域６１は、メモの内容または変換の状況を表す表示データを表示するが、この時点ではまだメモの取り込みが完了していないので空欄で表示される。

録音ウィンドウ６２もまた音声メモ添付機能の起動時に表示される。この例では、録音ウィンドウ６２は、「音声メモ録音中」と表示されたタイトル部６２１と、録音音量を示すバー６２２と、「ＯＫ」ボタン６２３と、「Ｃａｎｃｅｌ」ボタン６２４とを含む。例えば、録音ウィンドウ６２が表示されるとともに音声メモの録音が開始され、ＯＫボタン６２３またはＣａｎｃｅｌボタン６２４が押されるまで録音を行う。

ステップＳ１３において、情報処理装置１は、どちらのボタンが押されたかを判定する。Ｃａｎｃｅｌボタン６２４が押されたと判定された場合（ＣＡＮＣＥＬ）、音声メモ添付機能を終了し、録音ウィンドウ６２を閉じて、ステップＳ１１に戻る。ＯＫボタン６２３が押されたと判定された場合（ＯＫ）、情報処理装置１は、音声メモ添付機能は起動したまま、録音を終了し、録音ウィンドウ６２を閉じて、ステップＳ１４に移行する。

ステップＳ１４において、情報処理装置１は、マルチメディアデータ取得部２１の制御の下、録音された音声データを、添付すべきマルチメディアデータとして取得する。

ステップＳ１５において、情報処理装置１は、マルチメディアデータ取得部２１の制御の下、取得された音声データを用いてメモ追加処理を開始する。

図４は、メモ追加処理の詳細を示すフローチャートである。
まずステップＳ１５１において、マルチメディアデータ取得部２１は、添付先項目を表す項目ポインタ（Ｐ）を生成する。上述したように、この実施形態では、項目ポインタは、“（項目の行番号，項目の列番号）”もしくは“（最初の項目の行番号，最初の項目の列番号）−（最後の項目の行番号，最後の項目の列番号）”という形式で表される。

次いでステップＳ１５２において、マルチメディアデータ取得部２１は、音声データを保存し、そのファイル名または保存先ＵＲＬ（Ｕ）を生成する。なお、音声データの保存先は、記憶部３０内の図示しない記憶領域であってもよいし、外部の記憶装置であってもよい。

ステップＳ１５３において、マルチメディアデータ取得部２１は、メモ記憶部３２に記憶されたメモ管理データに新しいメモデータ（レコード）を追加し、「項目ポインタ」に上記「項目ポインタ（Ｐ）」を、「音声データファイル」に上記「ファイル名または保存先ＵＲＬ（Ｕ）」を、「変換状況」に「未変換」を入力する。「変換結果」および「失敗内容」は空（ブランク）にする。

続いて図３のステップＳ１６において、情報処理装置１は、変換制御部２２の制御の下、メモ変換処理を実行する。

図５は、メモ変換処理の詳細を示すフローチャートである。
まずステップＳ１６１において、変換制御部２２は、メモ記憶部３２に記憶されたメモ管理データを監視し、変換状況が「未変換」のメモデータがあるか否かを判定する。「未変換」のメモがない場合（ＮＯ）、メモ変換処理は終了する。「未変換」のメモデータがある場合（ＹＥＳ）、ステップＳ１６２に移行する。

ステップＳ１６２において、変換制御部２２は、メモ記憶部３２から変換状況＝「未変換」のメモデータとしてのメモ（ｍ_i ）を取り出す。

ステップＳ１６３において、変換制御部２２は、メモ管理データにおけるメモｍ_i の変換状況を「変換中」に変更する。

ステップＳ１６４において、変換制御部２２は、音声認識クライアント２２１の制御の下、メモｍ_i に添付された音声データの変換処理を開始する。実施形態では、音声認識クライアント２２１は、メモｍ_i に記載されたファイル名またはＵＲＬに基づき音声データを取得して、当該音声データをサーバ１００に送信し、サーバ１００から変換結果が返ってくるのを待つ。変換制御部２２は、サーバ１００からの変換結果の受信またはサーバ１００との通信失敗など、所定の条件が検知されたら、ステップＳ１６５に移行する。

ステップＳ１６５において、変換制御部２２は、変換（音声認識）が成功したか否かを判定する。変換に成功した場合、すなわち音声認識結果が得られた場合（ＹＥＳ）、ステップＳ１６６に移行する。

ステップＳ１６６において、変換制御部２２は、メモ記憶部３２に記憶されたメモ管理データ内のメモｍ_i の変換状況を「変換済み」にする。

ステップＳ１６７において、変換制御部２２は、メモ管理データ内の変換結果の欄に音声認識結果のテキストをセットする。

一方、ステップＳ１６５において、変換に失敗したと判定される場合（ＮＯ）、ステップＳ１６８に移行する。

ステップＳ１６８において、変換制御部２２は、メモ記憶部３２に記憶されたメモ管理データ内のメモｍ_i の変換状況を「変換失敗」にする。

ステップＳ１６９において、変換制御部２２は、メモ管理データ内のメモｍ_i の失敗内容に、判定された失敗内容をセットする。

ステップＳ１６７またはＳ１６９が終了したら、処理は再びステップＳ１６１に戻る。そして、変換制御部２２は、まだ未変換のメモがあれば、そのメモを取り出して処理を継続する。ステップＳ１６１において未変換のメモが複数ある場合には、時間的に古いメモから順に変換するようにしてもよい。未変換のメモがないと判定されたら、メモ変換処理を終了し、図３のステップＳ１７に戻る。

上記のメモ変換処理では一度に１つのメモのみを変換しているが、音声認識サービスが複数利用可能な場合や、音声認識サービスが一度に複数の音声認識を許容する場合などには、複数のメモの変換を並列に行ってもよい。

ステップＳ１７において、情報処理装置１は、メモ記憶部３２に記憶されたメモ管理データを監視する。そして、メモ管理データが変更された場合、表示制御部２３の制御の下、表示を更新するために、メモ管理データに基づく表示を生成し、出力して、出力デバイス３に表示させる。

図９は、出力デバイス３としてのディスプレイに表示されるメモ表示画面の一例を示す。メモ表示画面は、記録データ表示領域６０と、メモ表示領域６１と、再生用ウィンドウ６３とを含む。この例では、記録データ表示領域６０に表示された記録データに対して４つのメモが添付され、メモ表示領域６１は、添付されたメモそれぞれを行ごとに表示する（６１ａ〜６１ｄ）。メモ表示領域６１は、メモごとに、音声データのファイル名から生成した日時を表すテキスト６１１、項目ポインタを表すテキスト６１２、音声データ再生ボタン６１３、および音声データの内容または変換処理の進捗状況を表すテキスト６１４を含む。この例では、音声データの内容または変換処理の進捗状況を表すテキスト６１４は、音声認識結果、変換中であればそれを表すアイコン（時計マーク）、または失敗内容を表示する。音声データ再生ボタン６１３が押されると、再生用ウィンドウ６３が表示される。再生用ウィンドウ６３は、再生対象を識別するタイトル部６３１と、シークバー６３１、再生ボタン６３２、および停止ボタン６３４を含む。例えばユーザが再生ボタン６３２を押すことによって音声データが再生される。

なお、この例では、項目ポインタを表すテキスト６１２として、“（項目の行ヘッダ）−（項目の列ヘッダ）”の形式を用いているが、これに限るものではなく、他にも“（行番号，列番号）”など、どのような形式を用いてもよい。

例えば行６１ａは、テキスト６１１として「０８／２１ １０：３０」を表示し、「８月２１日１０：３０」に録音されたメモが存在することを示している。行６１ａはまた、テキスト６１２として「２−判定」を表示し、メモが行番号２（ＲＷ２）の「判定」欄（ＣＬ７）に添付されていることを示す。行６１ａはまた、テキスト６１４として、音声データの変換結果である「測定時異音有り」を表示する。なお、このような音声データの変換結果とともに、「変換完了」や「変換済み」といった変換状況を表すテキストを表示するようにしてもよい。

行６１ｂは、テキスト６１４として「認識失敗（ネットワーク未接続）」を表示し、ネットワーク未接続が原因で音声データの認識（変換）に失敗したことを示す。行６１ｃは、テキスト６１４として時計マークおよび「（認識中）」の文字を表示し、音声データが認識（変換）処理中であることを示す。行６１ｄは、テキスト６１４として「（認識待ち）」を表示し、まだ認識（変換）処理が実施されていない（未実施）であることを示す。

実施形態によれば、認識結果と失敗内容は、区別できるように表示されてもよい。例えば、認識結果は通常のテキスト色（黒など）で表示され、失敗内容はエラー用のテキスト色（赤など）で表示されてもよい。他にも、認識失敗の場合には専用のアイコンを表示してもよい。認識中（変換中）または認識待ち（未変換）を表すアイコンを用いてもよいし、図に示したようにテキストでその旨を表示してもよい。

上述したようにメモ添付先の項目とメモをテキスト表示で関連付けるほか、記録データ内のメモが添付された項目に番号付きのアイコンを表示し、メモ表示部分では対応する番号を表示する方法をとってもよい。

図１０Ａはそのようなメモ表示画面の一例を示す。図１０Ａでは、記録データ表示領域６０に、「※１」〜「※４」のアイコンが表示され、それぞれメモの添付先項目であることを示す。メモ表示領域６１には、図９に示した項目ポインタを表すテキスト６１２の代わりに、記録データ表示領域６０の「※１」〜「※４」に対応する項目ポインタ６１５が表示される。

また、メモが添付された項目の背景色をそれぞれ別の色にし、対応するメモの表示欄も同色にする、というように色を使って関連付けを表してもよい。

図１０Ｂはそのようなメモ表示画面の一例を示す。メモの添付先である記録データ表示領域６０内の項目と、メモ表示領域６１内の各行が同じ色で表示され、対応することを示している。

以上のように、第１の実施形態では、所定の音声コマンドが認識されると、メモ添付機能が起動される。またメモ添付機能が実行されている間、常にメモ変換処理が動作する。メモの取り込み、追加、変換等の処理によって、メモ記憶部３２内のデータが更新され、データが更新されるたびに表示制御部は表示を更新する。

なお、上記実施形態では、音声認識結果のテキストを変換結果として表示しているが、変換制御部２２が音声認識ではない場合やテキストを返さないものであった場合には、それを画面上に表示できる形式で表示すればよい。例えば、マルチメディアデータの内容を表す表示データとして、アイコンや画像を生成し、表示させてもよい。

（１−３）効果
以上説明したように、この発明の第１の実施形態に係る情報処理装置１は、帳票などの記録データに対してメモとして添付されたマルチメディアデータを取り込み、当該マルチメディアデータの内容を表す表示データに変換し、添付先の項目に関連付けて、変換後の表示データまたは変換処理の進捗状況を表す情報を、記録データともに表示する。マルチメディアデータが音声データの場合、情報処理装置１は、音声認識の進捗状況と、音声認識結果のテキストを、音声メモの添付先項目と関連付けて表示し、さらに音声認識が失敗した場合にはその原因に関する情報を表示する。マルチメディアデータが音声データ以外の場合にも、情報処理装置１は同様に、その内容を表す表示データへの変換処理の進捗状況または変換結果を添付先項目に関連付けて表示する。このように、情報処理装置１は、記録データはもとのまま表示しつつ、添付先項目に紐づけられたメモ内容を一覧性高く表示する。表示される進捗状況としては、未変換であるのか、変換中であるのか、変換に失敗したのかの情報が含まれる。変換に失敗した場合、それがネットワークエラーに起因するのかサーバ側エラーに起因するのかの情報も表示可能である。これにより、情報処理装置１のユーザは、記録データを見ればメモの内容を一瞥することができ、またメモ内容が表示されていない場合にもその原因を一瞥して適切な対処を検討することができる。

またこれにより、例えば製造保守の現場においては、作業員が作業結果を帳票等の表にデータを音声入力する際に、手を離すことなく音声メモを入力することができる。さらに記録済みのデータを複数の作業者間で共有する際にも、メモの内容を一瞥して確認することができる。

［第２の実施形態］
第２の実施形態に係る情報処理装置１は、記録データの項目への入力にも音声認識を用い、メモ添付操作を含めてすべて音声により行うものである。

より具体的には、第２の実施形態に係る情報処理装置１は、入力手順リストを用いて帳票などの記録データへの音声入力を行う。音声入力処理では、情報処理装置１は、入力手順リストから手順番号に従って順番に入力手順を１つずつ取り出す。そして、取り出した入力手順に設定されている入力形式に応じたコマンド辞書を用いて、発話された音声をコマンド認識する。例えば、入力形式が「数値」であれば数値を入力するためのコマンドとメモ添付用のコマンドの両方が認識できるようなコマンド辞書が使用される。
以下、第２の実施形態について、第１の実施形態との差を中心に説明する。

（２−１）構成
図１１は、第２の実施形態に係る情報処理装置１の機能構成を示す。第１の実施形態と同様の構成には同じ参照符号を付し、詳細な説明は省略する。なお、ハードウェア構成は第１の実施形態と同じ構成を採用することができる。

第２の実施形態に係る情報処理装置１は、第１の実施形態と同様に、入出力インタフェース１１と、通信インタフェース１２と、制御部２０と、記憶部３０とを備える。

第２の実施形態に係る情報処理装置１の記憶部３０は、記録データ記憶部３１およびメモ記憶部３２に加え、入力手順記憶部３３と、辞書記憶部３４とを備える。

入力手順記憶部３３は、記録データの項目への入力順を指定する、あらかじめ定義された入力手順リストを記憶する。制御部２０は、このリストに従って、入力対象項目に対して、音声認識されたテキストを値として入力する。値の入力中にメモ添付用コマンドが認識されると、メモ添付を行う。

辞書記憶部３４は、音声コマンドを認識するために使用されるコマンド辞書を記憶する。

第２の実施形態に係る情報処理装置１の制御部２０は、マルチメディアデータ取得部２１、変換制御部２２および表示制御部２３に加え、項目特定部２４と、音声データ取得部２５と、コマンド認識部２６とを備える。

項目特定部２４は、入力対象項目を特定する特定部として、入力手順記憶部３３に記憶された入力手順リストに基づいて、記録データにおける現在の入力手順の対象項目を特定する処理を行う。

音声データ取得部２５は、第２の取得部として、マイクロフォン等を介して入力される音声データを取得する処理を行う。音声データ取得部２５は、マルチメディアデータ取得部２１と一体であってもよい。

コマンド認識部２６は、軽量な音声認機能部であり、端末上の音声認識部として動作する。コマンド認識部２６は、取得した音声データから、記録データの項目に入力する内容（例えば簡単な数値や単語）、メモ添付用のコマンド（例えば「前の項目に音声メモ追加」、「音声メモ追加」、「写真メモ追加」）、音声メモ終了用のコマンド（例えば「音声メモ終了」）などの簡単なコマンドを認識することができる。コマンド認識部２６が認識する内容は、辞書記憶部３４に記憶されるコマンド辞書で指定される。コマンド辞書は、認識可能な語彙やその組み合わせをリストとして保持する。コマンド認識には、例えば特許文献２に記載される技術を使用してもよいし、他の技術を使用してもよい。

（２−２）動作
次に、以上のように構成された第２の実施形態に係る情報処理装置１による情報処理動作について説明する。

図１２は、第２の実施形態に係る情報処理装置１による処理手順と処理内容の一例を示すフローチャートである。

ステップＳ２１において、情報処理装置１は、音声データ取得部２５の制御の下、音声入力の受付けを監視している。ユーザがマイクロフォン等を通じて発話すると、情報処理装置１は、その発話を音声入力として受け付け、音声データ取得部２５に音声データとして取得させるとともに、ステップＳ２２に移行する。

ステップＳ２２において、情報処理装置１は、音声入力処理を行う。
図１３は、音声入力処理の詳細を示すフローチャートである。
まずステップＳ２２１において、情報処理装置１は、項目特定部２４の制御の下、入力手順記憶部３３に記憶された入力手順リストを読み出し、入力手順リストが空であるかどうか、すなわち、次に入力する対象項目があるかどうかの判定を行う。入力手順リストが空でなければ（ＮＯ）、ステップＳ２２２に移行し、入力手順リストが空であれば（ＹＥＳ）、音声入力処理を終了する。

ステップＳ２２２において、項目特定部２４は、入力手順リストから次に入力する対象項目の情報を取り出して、コマンド認識部２６に渡す。

ここで、図１４は、入力手順リストの一例を示す。入力手順リスト７０は、手順番号７０ａ、対象項目７０ｂ、および入力形式７０ｃの組をリストにして保持する。対象項目７０ｂは、入力する対象項目をポインタ（行番号，列番号）として表示する。入力形式７０ｃは、対象項目７０ｂに示される項目に入力すべき入力形式を表し、例えば数値または単語（認識可能な単語）を指定する。コマンド認識部２６は、この入力形式、メモ添付用のコマンドおよびメモ終了用のコマンドを認識可能である。第２の実施形態に係る情報処理装置１は、このような入力手順リスト７０によってあらかじめ指定された入力順序に従って動作する。

ステップＳ２２３において、コマンド認識部２６は、入力手順リストに指定された情報に基づき、コマンド辞書を用いて、音声データ取得部２５によって取得された音声データからのコマンド認識処理を行う。

ステップＳ２２４において、コマンド認識部２６は、音声データから音声メモ添付用コマンドが認識されるかどうかの判定を行う。音声メモ添付用コマンドは、音声メモの入力開始を指示するためのコマンドであり、例えば、現在の項目への音声メモ添付用コマンドとして「音声メモ追加」、入力手順における１つ前の項目への音声メモ添付用コマンドとして「前の項目に音声メモ追加」等を含むことができる。ユーザが発話した内容がメモ添付用コマンドでない場合、すなわち音声データから音声メモ添付用コマンドが認識されない場合（ＮＯ）、コマンド認識部２６は、認識された内容が項目への値入力を指示するものと判定し、ステップＳ２２５に移行する。

ステップＳ２２５において、コマンド認識部２６は、音声データから認識された内容を記録データの対象項目（入力手順に設定された項目）に入力するための指示を出力する。記録データ記憶部３１に記憶された記録データへの値の入力処理は、コマンド認識部２６が実行してもよいし、制御部２０の図示しない他の機能部が実行してもよい。

一方、ステップＳ２２４において、音声メモ添付用コマンドが認識された場合（ＹＥＳ）、ステップＳ２２６に移行する。

ステップＳ２２６において、コマンド認識部２６は、前の項目への添付コマンドかどうかを判定する。この判定は、図１４に示したような入力手順リスト７０に従って音声入力を行う場合に、音声メモの添付対象項目を特定するために行われる。

例えば、図１４では、はじめに手順番号１が実行される。手順番号１においては、コマンド認識部２６は、入力手順リスト７０の手順番号１で指定された入力形式である「数値」、またはメモ添付用コマンドを認識する。このとき、ユーザが「３．９１」と発話すると、コマンド認識部２６は、この発話から数値「３．９１」を認識し、対象項目（２，３）に認識された値「３．９１」を入力する（入力後の記録データは図８を参照）。次いで、項目特定部２４は、自動的に次の入力項目に進み、手順番号２において指定された項目（２，４）を現在の項目として特定する。ユーザが次に「４．０５」と発話すると、コマンド認識部２６は、現在の項目（２，４）に対して認識された値「４．０５」を入力し、同様に自動的に次の入力項目に進む。同様に手順番号３、４と進み、手順番号４においては、コマンド認識部２６は、単語［良］もしくは［否］またはメモ添付用コマンドを認識する。この手順番号４において、ユーザが「前の項目に音声メモ追加」と発話した場合、コマンド認識部２６は、前の手順である手順番号３の入力対象項目（２，５）に対するメモの添付指示であるとコマンド認識する。一方、ユーザが単に「音声メモ追加」と発話した場合、コマンド認識部２６は、現在の入力対象項目（２，７）に対するメモの添付指示と認識する。

なお、入力対象項目は、音声コマンドにより指定されてもよい。例えば、ユーザ（作業者）が「行番号２、列番号３」と発話し、それをコマンド認識することで、項目（２，３）を入力対象項目と特定するようにしてもよい。この場合、「行番号」、「列番号」、数値が認識できるようにコマンド辞書を構築しておけばよい。入力対象項目の指定は、これらの手法に限られるものではなく、ユーザが入力対象項目をタッチ操作やマウス操作により指定するようにしてもよい。

ステップＳ２２６において前の項目への添付コマンドであると判定された場合（ＹＥＳ）、ステップＳ２２７に移行する。ステップＳ２２７では、コマンド認識部２６は、上述したように、１つ前の入力手順に設定された対象項目を添付先項目とする。ステップＳ２２６において前の項目への添付コマンドでないと判定された場合（ＮＯ）、ステップＳ２２８に移行する。ステップＳ２２８では、コマンド認識部２６は、上述したように、現在の入力手順に設定された対象項目を添付先項目とする。

ステップＳ２２９において、コマンド認識部２６は、マルチメディアデータ取得部２１にデータ取得を指示し、音声メモ録音を開始する。このとき、第１の実施形態のように図８に示したようなメモ取込み画面を表示するようにしてもよい。なお、第１の実施形態と同様に、音声メモに限らず、静止画や動画をメモとして取り込むようにしてもよい。この場合、コマンド認識部２６は、例えば「画像メモ追加」といった音声コマンドを認識可能なように構成され、そのような音声コマンドを認識すると、マルチメディアデータ取得部２１に指示してカメラを起動させ、撮影を開始させる。

マルチメディアデータ取得部２１によるデータ取得の間、コマンド認識部２６は、引き続き、ステップＳ２３０において、ユーザからのメモ終了用コマンドの入力を監視する。例えば「音声メモ終了」などのメモ終了用コマンドが認識されたら（ＹＥＳ）、ステップＳ２３１に移行する。あるいは、メモ終了用コマンドでなく、一定時間経過したらデータ取得を終了するようにしてもよい。

ステップＳ２３１において、音声メモ録音を終了し、ステップＳ２２３に戻る。

仮にステップＳ２２４において、ユーザの発話音声からコマンド辞書で指定されるコマンドが認識されなかった場合、ユーザに対し、再度の発話を促すメッセージを表示するようにしてもよい。

続いて、情報処理装置１は、図１２のステップＳ２３に戻り、ステップＳ２３においてメモ追加処理、ステップＳ２４においてメモ変換処理、ステップＳ２５において表示の生成・出力処理を行う。ステップＳ２３〜Ｓ２５の処理は、第１の実施形態に関して図４および図５を参照して説明したのと同様の処理を用いることができる。

以上のように、第２の実施形態に係る情報処理装置１は、コマンド認識部２６による認識処理と、変換制御部２２による認識処理の、２種類の認識処理を使用する。コマンド認識部２６による認識処理は、項目自体への入力のために使用され、高速に動作するが認識対象が限定的である（例えば、トリガワード検出やリスト型の音声コマンド認識など）。変換制御部２２による認識処理は、マルチメディアデータからの表示データの生成のために使用され、時間がかかるが限定的でない（例えば、自由発話の音声認識や動画からの動作認識など）。

また第２の実施形態に係る情報処理装置１では、項目特定部２４が入力対象項目を特定する。上述のような入力手順リストを用いることにより、項目特定部２４は、手順ごとに対象項目を特定することができる。入力手順リストを用いる代わりに、コマンド認識部２６で項目名を認識できるようにしてもよい。あるいは、メモの取り込み後に、入力対象項目についてユーザに問い合わせるようにしてもよい。

（２−３）効果
以上説明したように、この発明の第２の実施形態に係る情報処理装置１は、第１の実施形態に加えて、音声による項目への値入力の途中で音声によりメモ添付指示を受け付けることができる。そのため、ユーザは、記録データへの音声による記録中に、手を使わずに、したがって作業の手を止めることなく、メモの添付までも行うことができる。あらかじめ適切なコマンド辞書を作成し、記憶しておくことにより、高速に、かつネットワーク状況に左右されることなく、値の入力およびメモ添付のためのコマンド認識を情報処理装置１内で行うことができる。

［第３の実施形態］
第３の実施形態に係る情報処理装置１は、変換に失敗したメモがある場合に、データを表示するときやエラーが解消できる状態になったときに、変換失敗のメモがあることを提示するとともにデータの再変換を行うものである。以下、第３の実施形態について、第１の実施形態との差を中心に説明する。

（３−１）構成
図１５は、第３の実施形態に係る情報処理装置１の機能構成を示す。やはり第１の実施形態と同様の構成には同じ参照符号を付し、詳細な説明は省略する。なお、ハードウェア構成は第１の実施形態と同じ構成を採用することができる。

第３の実施形態に係る情報処理装置１は、第１の実施形態と同様に、入出力インタフェース１１と、通信インタフェース１２と、制御部２０と、記憶部３０とを備える。

第３の実施形態に係る情報処理装置１の制御部２０は、第１の実施形態と同様に、マルチメディアデータ取得部２１と、変換制御部２２と、表示制御部２３とを備える。変換制御部２２は、音声認識クライアント２２１に加え、監視部２２２と、再変換制御部２２３とをさらに備える。

監視部２２２は、第１の監視部として、メモ記憶部３２に記憶されたメモ管理データ内の変換失敗データの有無を監視する。監視部２２２はまた、第２の監視部として、音声認識クライアント２２１とサーバ１００との間の通信の状況を監視する。

再変換制御部２２３は、監視部２２２による監視の結果を受けて、音声認識クライアント２２１に対し、データの再変換を指示する。

（３−２）動作
第３の実施形態に係る情報処理装置１は、第１の実施形態と同様に、メモの取り込み、追加、変換および表示処理を行うことができる。
第３の実施形態に係る情報処理装置１は、さらに、任意のタイミングで以下の再変換処理を実行する。

（３−２−１）メモ再変換処理１
第３の実施形態に係る情報処理装置１は、第１の実施例として、メモ再変換処理１を行う。メモ再変換処理１は、変換失敗したメモのデータの変換を再度試みることによって、これまで変換失敗だったメモを変換済にできる可能性があるタイミングで行われる。例えば、帳票データを一度閉じ、再度開いたタイミングや、ネットワーク接続状況が変化したタイミングが考えられる。

図１６は、メモ再変換処理１の処理の一例を示す。この例では、帳票データを開いたタイミングでの再変換処理について説明する。

まずステップＳ６１において、情報処理装置１は、帳票データを開いたタイミングで、監視部２２２の制御の下、メモ記憶部３２に記憶されたデータのうち、変換状況が「変換失敗」で、かつ失敗内容が「変換結果が空」以外のメモがあるか否かを判定する。これは、音声認識結果が空である場合、もとのデータに何らかの問題がある（音声を入力し直す必要がある）ので、再変換処理に意味がないからである。ステップＳ６１の条件に該当するメモがなければ（ＮＯ）、処理は終了する。

該当するメモがある場合（ＹＥＳ）、ステップＳ６２において、再変換制御部２２３の制御の下、メモ記憶部３２から該当するメモ（メモデータ）（ｍ_i ）を取り出し、音声認識クライアント２２１に渡す。

以降の処理は、第１の実施形態で図５を参照して説明したのと同様の処理（ステップＳ１６３〜Ｓ１６９）を採用することができる。すなわち、ステップＳ６３において、メモ管理データにおけるメモｍ_i の変換状況を「変換中」に変更する。ステップＳ６４において、変換制御部２２は、音声認識クライアント２２１の制御の下、メモｍ_i に添付された音声データの変換処理を開始する。ステップＳ６５において、変換制御部２２は、変換（音声認識）が成功したか否かを判定する。変換に成功した場合（ＹＥＳ）、ステップＳ６６に移行する。ステップＳ６６において、変換制御部２２は、メモ記憶部３２に記憶されたメモ管理データ内のメモｍ_i の変換状況を「変換済み」にする。次いでステップＳ６７において、変換制御部２２は、メモ管理データ内の変換結果に音声認識結果のテキストをセットする。一方、ステップＳ６５において変換に失敗した場合（ＮＯ）、ステップＳ６８に移行する。ステップＳ６８において、変換制御部２２は、メモ記憶部３２に記憶されたメモ管理データ内のメモｍ_i の変換状況を「変換失敗」にする。ステップＳ６９において、変換制御部２２は、メモ管理データ内のメモｍ_i の失敗内容に、判定された失敗内容をセットする。

ステップＳ６７またはＳ６９が終了したら、処理は再びステップＳ６１に戻る。ステップＳ６１において該当するメモが複数ある場合、時間的に古いメモから順に再変換の対象とするようにしてもよい。また、再変換に一度失敗したメモは、帳票データがいったん終了され再び起動されるまで、または何らかの所定の条件を満たすまで、あるいは所定の時間が経過するまで、再変換の対象としないように設定されてもよい。

（３−２−２）メモ再変換処理２
第３の実施形態に係る情報処理装置１は、第２の実施例として、メモ再変換処理２を行うこともできる。メモ再変換処理２は、ネットワーク接続状況が変化したタイミングで行われる。

図１７は、メモ再変換処理２の処理の一例を示す。この例では、監視部２２２による監視の結果、認識クライアント２２１とサーバ１００との間のネットワーク接続状況が変化したことが検知されたタイミングでの再変換処理について説明する。

ステップＳ７１において、再変換制御部２２３は、メモ記憶部３２から変換状況が「変換失敗」で、かつ失敗内容がネットワーク関係のエラーであるメモがあるか否かを判定する。ステップＳ７１の条件に該当するメモがなければ（ＮＯ）、処理は終了する。

該当するメモがある場合（ＹＥＳ）、ステップＳ７２において、再変換制御部２２３の制御の下、メモ記憶部３２から該当するメモ（メモデータ）（ｍ_i ）を取り出し、音声認識クライアント２２１に渡す。

以降の処理は、第１の実施例（メモ再変換処理１）で説明したのと同様の処理を採用することができる。すなわち、ステップＳ７３において、メモ管理データにおけるメモｍ_i の変換状況を「変換中」に変更する。ステップＳ７４において、変換制御部２２は、音声認識クライアント２２１の制御の下、メモｍ_i に添付された音声データの変換処理を開始する。ステップＳ７５において、変換制御部２２は、変換（音声認識）が成功したか否かを判定する。変換に成功した場合（ＹＥＳ）、ステップＳ７６に移行する。ステップＳ７６において、変換制御部２２は、メモ記憶部３２に記憶されたメモ管理データ内のメモｍ_i の変換状況を「変換済み」にする。次いでステップＳ７７において、変換制御部２２は、メモ管理データ内の変換結果に音声認識結果のテキストをセットする。一方、ステップＳ７５において変換に失敗した場合（ＮＯ）、ステップＳ７８に移行する。ステップＳ７８において、変換制御部２２は、メモ記憶部３２に記憶されたメモ管理データ内のメモｍ_i の変換状況を「変換失敗」にする。ステップＳ７９において、変換制御部２２は、メモ管理データ内のメモｍ_i の失敗内容に、判定された失敗内容をセットする。

ステップＳ７７またはＳ７９が終了したら、処理は再びステップＳ７１に戻る。ステップＳ７１において該当するメモが複数ある場合、時間的に古いメモから順に再変換の対象とするようにしてもよい。また、再変換に一度失敗したメモは、何らかの所定の条件を満たすまで、または所定の時間が経過するまで、再変換の対象としないように設定されてもよい。

（３−３）効果
以上説明したように、この発明の第３の実施形態に係る情報処理装置１は、第１の実施形態に加えて、メモ再変換処理１またはメモ再変換処理２により、変換に失敗したメモであっても、所定の条件を満たすものに対しては自動的に再変換を試行する。これにより、ユーザの手を煩わせることなく、一度変換に失敗したメモでも自動的に変換結果を得られる可能性があり、ユーザビリティを向上させることができる。

さらに、第３の実施形態によれば、情報処理装置１としてのタブレット端末を持ったまま場所を移動するなどして無線ネットワークに接続できたタイミングなどに、音声メモが自動的に再変換され、その内容を閲覧できるようになる。なお、再変換処理は自動で行ってもよいし、一度作業者に再変換をするかどうかの確認を行ってもよい。

［第４の実施形態］
第４の実施形態に係る情報処理装置１は、第１の実施形態と同様に音声メモ添付機能を有し、さらに、メモごとに変換優先度をもち、優先度の高いメモから変換を行うように構成される。以下、第４の実施形態について、第１の実施形態との差を中心に説明する。

（４−１）構成
第４の実施形態に係る情報処理装置１は、図１および図２に示したような、第１の実施形態と同じ機能構成およびハードウェア構成を有する。

第４の実施形態では、メモ記憶部３２は、第１の実施形態に関して説明したメモ管理データ５５に加えて、メモの変換優先度を指定する情報を含む。

図１８は、第４の実施形態に係るメモ管理データ８０の一例を示す。メモ管理データ８０もまた、各行が１つのメモに相当し、項目名として、「項目ポインタ」８０ａ、「音声データファイル」８０ｂ、「優先度」８０ｃ、「変換状況」８０ｄ、「変換結果」８０ｅ、「失敗内容」８０ｆを含む。

メモ管理データ５５と同様に、項目ポインタ８０ａはメモが添付された項目を表し、音声データファイル８０ｂはマルチメディアデータへのポインタを表し、変換状況８０ｄはメモの変換状況を表し、変換結果８０ｅは、メモの変換が成功した場合の結果を表し、失敗内容８０ｆは、メモの変換が失敗した場合の失敗の内容を表す。

一方、メモ管理データ８０において、優先度８０ｃは、変換制御部２２による変換の優先度の高さを表す。優先度８０ｃの値は、変換状況が「変換済」または「変換中」以外のメモで保持され、初期値は０である。

（４−２）動作
第４の実施形態に係る情報処理装置１は、第１の実施形態に関して図３〜５を参照して説明したのと同様の動作を行う。ただし、図５に示したフローのステップＳ１６２において、メモ記憶部３２からメモを１つ取り出す際、変換状況が未変換であり、さらにその中で変換優先度の値が最も高いメモを取り出すように動作する。同じ優先度の値を有するメモが複数ある場合、時間的に古いメモから順に変換するようにしてもよい。

優先度８０ｃの値は、メモが添付された時点では初期値０として保存される。そして、メモを添付したユーザまたは記録データを閲覧したユーザの操作により、優先度の値が任意に変更される。例えば、未変換のメモが複数ある場合に、ユーザがタッチスクリーンに表示されたメモ表示領域６１をタップするなど、メモを選択する操作を行うことによって、選択されたメモの変換優先度を高くすることができる。

図１９は、そのようなメモ優先度変更の一例を示す。第１の実施形態と同様に、メモ表示画面として、記録データ表示領域６０と、メモ表示領域６１とが表示される。メモ表示領域６１は、例えば、「認識待ち」と表示された未変換のメモをタップ可能に表示する。ユーザＵＳによってこれらのメモがタップされると、メモ記憶部３２に記憶された管理データ８０において、該当するメモの優先度が＋１となる。ユーザＵＳが同じメモを複数回タップすると、タップした回数だけ優先度が増加するようにしてもよい。これらに限るものではなく、音声コマンドを含む、他の方法で優先度が変更されてもよい。

（４−３）効果
以上説明したように、この発明の第４の実施形態に係る情報処理装置１は、第１の実施形態に加えて、メモごとに優先度を設定して優先度の高いものから順に変換が行われるようにする。これにより、例えばユーザがすぐに内容を確認したいメモがある場合に、簡易な操作によって変換の優先度を高めることができる。ユーザは、他のメモの認識が終わるまで待つことなく、知りたいメモの内容を早く確認することができる。

［他の実施形態］
なお、この発明は上記実施形態に限定されるものではない。例えば、変換制御部２２によるデータ変換処理は、必ずしもオンラインサーバを介して行われる必要はなく、変換制御部２２内で全変換処理が実施されてもよい。また、メモの変換順序は、時間的に古いものから行われる必要はなく、メモとして添付されたマルチメディアデータの種類やサイズに応じて行われてもよい。また、変換優先度についても、ユーザＵＳの操作によらずにシステムが自動的に設定するようにしてもよい。

情報処理装置１が備える各機能部は、複数の装置に分散配置され、これらの装置が互いに連携することにより処理を行うようにしてもよい。また各機能部は、回路を用いることで実現されてもよい。回路は、特定の機能を実現する専用回路であってもよいし、プロセッサのような汎用回路であってもよい。同様に、記憶部３０の一部は、情報処理装置１とは別体であってもよい。例えば、記録データ記憶部３１が、ネットワークを介して情報処理装置１と通信可能な他の装置に設けられてもよい。

さらに、以上で説明した各処理の流れは、説明した手順に限定されるものではなく、いくつかのステップの順序が入れ替えられてもよいし、いくつかのステップが同時並行で実施されてもよい。また、以上で説明した一連の処理は、時間的に連続して実行される必要はなく、各ステップは任意のタイミングで実行されてもよい。例えば、図３に示したフローチャートは、情報処理装置１における処理の概要を説明するために示すものにすぎず、各ステップは必ずしも時間的に連続して実行される必要はない。

以上で記載した手法は、計算機（コンピュータ）に実行させることができるプログラム（ソフトウェア手段）として、例えば磁気ディスク（フロッピー（登録商標）ディスク、ハードディスク等）、光ディスク（ＣＤ−ＲＯＭ、ＤＶＤ、ＭＯ等）、半導体メモリ（ＲＯＭ、ＲＡＭ、フラッシュメモリ等）等の記録媒体（記憶媒体）に格納し、また通信媒体により伝送して頒布することもできる。なお、媒体側に格納されるプログラムには、計算機に実行させるソフトウェア手段（実行プログラムのみならずテーブル、データ構造も含む）を計算機内に構成させる設定プログラムをも含む。上記装置を実現する計算機は、記録媒体に記録されたプログラムを読み込み、また場合により設定プログラムによりソフトウェア手段を構築し、このソフトウェア手段によって動作が制御されることにより上述した処理を実行する。なお、本明細書でいう記録媒体は、頒布用に限らず、計算機内部あるいはネットワークを介して接続される機器に設けられた磁気ディスク、半導体メモリ等の記憶媒体を含むものである。

なお、本発明は上記実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成できる。例えば、実施形態に示される全構成要素から幾つかの構成要素を削除してもよい。さらに、異なる実施形態にわたる構成要素を適宜組み合わせてもよい。

１…情報処理装置、２…入力デバイス、３…出力デバイス、１１…入出力インタフェース、１２…通信インタフェース、２０…制御部、２１…マルチメディアデータ取得部、２２…変換制御部、２２１…音声認識クライアント、２２２…監視部、２２３…再変換制御部、２３…表示制御部、２４…項目特定部、２５…音声データ取得部、２６…コマンド認識部、３０…記憶部、３１…記録データ記憶部、３２…メモ記憶部、３３…入力手順記憶部、３４…辞書記憶部、４０…バス、１００…サーバ。

Claims (11)

1. 複数の項目を有する記録データの項目に関連付けられたマルチメディアデータを取得する第１の取得部と、
   前記マルチメディアデータから当該マルチメディアデータの内容を表す第１の表示データへの変換処理を行う変換部と、
   前記変換処理が完了した場合には前記第１の表示データを、前記変換処理が完了していない場合には前記変換処理の進捗状況を表す第２の表示データを、前記記録データの前記項目に関連付けて表示する表示制御部と、
   を備える情報処理装置。
2. 前記表示制御部は、前記第２の表示データとして、前記変換処理が未実施であること、前記変換処理が処理中であること、または前記変換処理に失敗したことを表すデータを表示する、
   請求項１に記載の情報処理装置。
3. 前記マルチメディアデータは、音声データ、静止画データ、もしくは動画データのうちのいずれかまたはそれらの組み合わせである、請求項１に記載の情報処理装置。
4. 前記変換部は、前記変換処理に失敗した場合、当該失敗の原因に関する情報を出力し、
   前記表示制御部は、前記第２の表示データとともに前記失敗の原因に関する情報をさらに表示する、
   請求項１に記載の情報処理装置。
5. 前記記録データの前記複数の項目のうち、入力対象項目を特定する特定部と、
   前記入力対象項目に関連付けられる音声データを取得する第２の取得部と、
   前記音声データから、前記マルチメディアデータの取得に係る音声コマンドまたは前記入力対象項目に入力すべき値に係る文字情報を認識するコマンド認識部とをさらに備え、
   前記コマンド認識部は、前記音声データから前記音声コマンドが認識される場合には、前記第１の取得部に対して前記マルチメディアデータの取得の開始を指示し、前記音声データから前記文字情報が認識される場合には、前記文字情報を前記入力対象項目に対する入力値として出力する、
   請求項１に記載の情報処理装置。
6. 前記マルチメディアデータが関連付けられた項目の識別情報に紐づけて、前記変換部による変換処理の結果を表す情報を記憶する第１の記憶部をさらに備え、
   前記変換部は、
   前記第１の記憶部に記憶された情報を監視する第１の監視部と、
   前記監視の結果、前記変換処理の結果を表す情報が所定の条件を満たす場合に、対応するマルチメディアデータを用いて再び前記変換処理を試行するように指示する再変換指示部と
   をさらに備える、
   請求項１に記載の情報処理装置。
7. 前記変換部は、
   ネットワークを介して接続された変換サーバに前記変換処理の一部を実行させる変換クライアント部と、
   前記変換クライアント部と前記変換サーバとの間の通信の状況を監視する第２の監視部と
   をさらに備え、
   前記再変換指示部は、前記第１の監視部による監視の結果、前記情報が通信エラーに起因する前記変換処理の失敗を示す場合に、前記第２の監視部による監視の結果、前記通信の状況が変化したときに、前記対応するマルチメディアデータを用いて再び前記変換処理を試行するように指示する、
   請求項６に記載の情報処理装置。
8. 前記マルチメディアデータを識別する情報と、当該マルチメディアデータの変換処理の優先度の高さを表す優先情報とを記憶する第２の記憶部をさらに備え、
   前記変換部は、変換処理の対象となるマルチメディアデータが複数あるときに、前記第２の記憶部に記憶された前記優先情報を読み出すことにより、優先度の高いマルチメディアデータから順に変換処理を行い、
   前記第２の記憶部に記憶される優先情報は、前記第２の表示データの表示に対するユーザ入力に応じて更新される、
   請求項１に記載の情報処理装置。
9. 前記変換部は、前記マルチメディアデータから、前記マルチメディアデータに含まれる音声データからの音声認識結果を表すテキストデータ、前記マルチメディアデータに含まれる画像データからの文字認識結果を表すテキストデータ、前記マルチメディアデータに含まれる画像データから抽出される特徴を表すテキストデータ、または前記マルチメディアデータに含まれる動画データから抽出される特徴を表すテキストデータへの変換処理を行う、
   請求項１に記載の情報処理装置。
10. 情報処理装置が実行する情報処理方法であって、
    複数の項目を有する記録データの項目に関連付けられたマルチメディアデータを取得することと、
    前記マルチメディアデータから当該マルチメディアデータの内容を表す第１の表示データへの変換処理を行うことと、
    前記変換処理が完了した場合には前記第１の表示データを、前記変換処理が完了していない場合には前記変換処理の進捗状況を表す第２の表示データを、前記記録データの前記項目に関連付けて表示することと、
    を備える情報処理方法。
11. 請求項１乃至請求項９の何れかに記載の装置の各機能部による処理をプロセッサに実行させるプログラム。

Images