JP2019159333A - 文字入力支援システム、文字入力支援プログラム - Google Patents

Abstract

【課題】静止画、動画を問わず、撮像現場での状況を発話することで、リアルタイムに発話音声の内容を撮像画像のファイル名や画像に関するコメントとして登録する。【解決手段】記録データに特殊ファイル名を付与する、コメントは付与しない、かつ、編集しない、という基本的な処理の流れに特化して要約すると、まず、撮像者は、通信端末装置１２を持って、現場で撮像する（動画、静止画は問わない）。次に、通信端末のモニタ機能で、プレビュー表示する（動画の場合は収録の一部の動画又は間引きしたコマ送りの静止画）。次に、撮像者からのタイミングで発話の開始指示があると、発話音声−文字変換制御装置１６によって発話音声が文字に変換される。最後に、文字変換された文字データをプレビュー表示されている画像データのファイル名領域に特殊ファイル名として保存する。【選択図】図４

Description

本発明は、撮像現場での発話音声データを用いて、ファイル名やコメントを登録するための文字入力支援システム、文字入力支援制御装置、文字入力支援プログラムに関するものである。

例えば、製造業等の広大な工場を管理する企業において、日々の点検業務やトラブル時の対応業務の際、デジタルカメラやスマートホン（スマートフォンという場合もある）を用いて現場の状況をデジタルファイルとして映像記録する必要がある。また、撮像デバイスとして、近年では、スマートグラスに代表されるウェアラブル端末を用いることもある。

ところで、撮像したデジタルファイルの対象物及びファイル名の紐付けは、オフィス等に戻ってからパソコン等でリネームする必要があったが、類似の映像記録から撮像時の状況を思い出して入力するのは労力がかかっている。

なお、参考として、撮像したデジタルファイルを自動で整理する技術として、特許文献１〜特許文献３の技術が提案されている。

特許文献１には、デジタルカメラ等で撮像した画像データの中から、ユーザのプリント傾向・嗜好を反映させたプリント推奨画像を自動的に選択することが記載されている。

また、特許文献２には、動画像からベストショットに対応するフレーム画像を、精度よく、効率的かつ高速に抽出することが記載されている。

さらに、特許文献３には、予め登録された認識用の画像パターンに応じて自動的に撮像画像を振り分けることが記載されている。

特開２００６−１７２０９７号公報 特開２０１６−２２５６７９号公報 特開２０１０−５６８８４号公報

しかしながら、特許文献１及び特許文献２のように、大量の映像を自動で整理、または類似映像からベストショットだけを抜き出すなどの画像解析技術は従来から存在し、サービスとしても提供されているが、上記課題（類似の映像記録から撮像時の状況を思い出して入力するときの労力膨大）を解決するものではない。

なお、特許文献３では、予め登録した認識用の画像パターンに応じて、自動的に撮像画像を振り分けているが、初期設定（認識用の画像パターンの登録）が必須であり、撮像現場における様々な状況変化に対応できない。

本発明は、静止画、動画を問わず、撮像現場での状況を発話することで、リアルタイムに発話音声の内容を撮像画像のファイル名や画像に関するコメントとして登録することができる文字入力支援システム、文字入力支援制御装置、文字入力支援プログラムを得ることにある。

本発明に係る文字入力支援システムは、画像を撮像する撮像機能、撮像した画像を表示する表示機能、及び、発話音声を入力する音声入力機能を備え、外部とデータ通信可能な通信端末装置と、音声データを文字データに変換するデータ変換制御装置と、を有する文字入力支援システムであって、前記通信端末装置が、撮像された画像に自動的に付与される通常ファイル名とは別に、発話され、かつ前記音声入力機能によって入力された特殊ファイル名を示す音声データを受け付ける受付部と、前記受付部で受け付けた音声データから、前記データ変換制御装置により変換された文字データを取得する取得部と、文字登録可能なコメント領域に、発話による音声データによって文字を付与するコメント付与部とを有し、前記取得部で取得した文字データ、及びコメント付与部で付与された文字データを、撮像された画像に付与する特殊ファイル名とすることを特徴としている。
本発明に係る文字入力支援プログラムは、上記の文字入力支援システムにおける、通信端末装置の受付部、取得部、コメント付与部、として動作させることを特徴としている。

本発明は以下の形態をとり得る。
文字入力支援システムは、画像を撮像する撮像機能、撮像した画像を表示する表示機能、及び、発話音声を入力する音声入力機能を備え、外部とデータ通信可能な通信端末装置と、音声データを文字データに変換するデータ変換制御装置と、を有する文字入力支援システムであって、前記通信端末装置が、前記撮像機能によって撮像した画像を、前記表示機能によってプレビュー表示するプレビュー表示手段と、撮像された画像に自動的に付与される通常ファイル名とは別に、特殊ファイル名を付与するか否かを、対話形式で問い合わせる問い合わせ手段と、問い合わせ手段の問い合わせにより、前記特殊ファイル名を付与する要求があった場合に、発話され、かつ前記音声入力機能によって入力された特殊ファイル名を示す音声データを受け付ける受付手段と、前記受付手段で受け付けた音声データから、前記データ変換制御装置により変換された文字データを取得する取得手段とを有し、前記取得手段で取得した文字データを、撮像された画像に付与する特殊ファイル名とすることを特徴としている。
撮像機能、表示機能、及び、音声入力機能を備えた通信端末装置と、データ変換制御装置と、で文字入力支援システムを構成する。

通信端末装置では、プレビュー表示手段が、通信端末の撮像機能によって撮像した画像を、表示機能にプレビュー表示する。

問い合わせ手段では、撮像された画像に自動的に付与される通常ファイル名とは別に、特殊ファイル名を付与するか否かを、対話形式で問い合わせる。

受付手段では、問い合わせ手段の問い合わせにより、前記特殊ファイル名を付与する要求があった場合に、発話され、かつ前記音声入力機能によって入力された特殊ファイル名を示す音声データを受け付ける。

取得手段では、受付手段で受け付けた発話による音声データから、変換制御装置のデータ変換機能により変換された文字データを取得する。

取得した文字データは、撮像された画像の画像データを格納する場合の特殊ファイル名とされる。

すなわち、撮像現場において、撮像した状況を見ながら当該撮像画像を容易に特定し得る特殊ファイル名を付与することができるため、撮像現場とは異なる場所（例えば、ファイル管理施設）でのファイル整理を実行する場合の仕分け等の作業が容易となる。

また、発話による音声データを文字データに変換して特殊ファイル名を付与することができるため、撮像者の労力を増大させることがない。

前記通常ファイル名又は前記特殊ファイル名が付与された画像を含む記録データファイルを受け付けて、格納するファイルサーバーをさらに有している。

文字入力支援システムとして、例えば、ネットワークに接続された記録データ管理制御装置の一部であるファイルサーバーを備えることで、当該記録データ管理制御装置により、記録データファイルの格納、読み出し、及び編集等、一括管理することができる。

前記通常ファイル名又は前記特殊ファイル名が付与された画像を含む記録データファイルには、文字登録可能なコメント領域が付与されており、当該コメント領域に、発話による音声データによって文字を付与するコメント付与手段をさらに有している。

発話による音声データにより、記録データファイルに設けられたコメント領域に文字データを登録することができる。

文字入力支援制御装置は、画像を撮像する撮像機能、撮像した画像を表示する表示機能、発話音声を入力する音声入力機能、及び、音声データを文字データに変換するデータ変換機能を有する記録データファイル名入力支援制御装置であって、前記撮像機能によって撮像した画像を、前記表示機能によってプレビュー表示するプレビュー表示手段と、撮像された画像に自動的に付与される通常ファイル名とは別に、特殊ファイル名を付与するか否かを、対話形式で問い合わせる問い合わせ手段と、問い合わせ手段の問い合わせにより、前記特殊ファイル名を付与する要求があった場合に、発話され、かつ前記音声入力機能によって入力された特殊ファイル名を示す音声データを受け付ける受付手段と、前記受付手段で受け付けた音声データから、前記データ変換機能により変換された文字データを取得する取得手段とを有し、前記取得手段で取得した文字データを、撮像された画像の画像データを格納する記録データファイルの特殊ファイル名とすることを特徴としている。

文字入力支援制御装置は、撮像機能、表示機能、音声入力機能、及び、データ変換機能を備えている。

文字入力支援制御装置では、プレビュー表示手段が、通信端末の撮像機能によって撮像した画像を、表示機能にプレビュー表示する。

問い合わせ手段では、撮像された画像に自動的に付与される通常ファイル名とは別に、特殊ファイル名を付与するか否かを、対話形式で問い合わせる。

受付手段では、問い合わせ手段の問い合わせにより、特殊ファイル名を付与する要求があった場合に、プレビュー表示されている画像に付与する特殊ファイル名として、発話による入力を受け付ける。

取得手段では、受付手段で受け付けた発話による音声データから、変換制御装置のデータ変換機能により変換された文字データを取得する。

取得した文字データは、撮像された画像の画像データを格納する場合の特殊ファイル名とされる。

すなわち、撮像現場において、撮像した状況を見ながら当該撮像画像を容易に特定し得る特殊ファイル名を付与することができるため、撮像現場とは異なる場所（例えば、ファイル管理施設）でのファイル整理を実行する場合の仕分け等の作業が容易となる。

また、発話による音声データを文字データに変換して特殊ファイル名を付与することができるため、撮像者の労力を増大させることがない。

前記通常ファイル名又は前記特殊ファイル名が付与された画像を含む記録データファイルを格納するファイルサーバー機能をさらに有している。

記録データファイル名入力支援制御装置がファイルサーバー機能を備えることで、当該記録データファイル名入力支援制御装置により、記録データファイルの格納、読み出し、及び編集等、一括管理することができる。

前記通常ファイル名又は前記特殊ファイル名が付与された画像を含む記録データファイルには、文字登録可能なコメント領域が付与されており、当該コメント領域に、発話による音声データによって文字を付与するコメント付与手段をさらに有している。

発話による音声データにより、記録データファイルに設けられたコメント領域に文字データを登録することができる。

文字入力支援プログラムは、画像を撮像する撮像機能、撮像した画像を表示する表示機能、及び、発話音声を入力する音声入力機能を備えたコンピュータに、前記撮像機能によって撮像した画像を、前記表示機能によってプレビュー表示し、撮像された画像に自動的に付与される通常ファイル名とは別に、特殊ファイル名を付与するか否かを、対話形式で問い合わせすると共に、問い合わせにより、前記特殊ファイル名を付与する要求があった場合に、発話され、かつ前記音声入力機能によって入力された特殊ファイル名を示す音声データを受け付け、受け付けた音声データを文字データに変換し、変換した文字データを、撮像された画像の画像データを格納する記録データファイルの特殊ファイル名とする、ことを実行させることを特徴としている。

発話による音声データにより、通常ファイル名とは別に、特殊ファイル名を付与することができる。

文字入力支援プログラムは、画像を撮像する撮像機能、撮像した画像を表示する表示機能、及び、発話音声を入力する音声入力機能を備えたコンピュータに、前記撮像機能によって撮像した画像を、前記表示機能によってプレビュー表示し、撮像された画像に設定されたコメント領域にコメントを付与するか否かを、対話形式で問い合わせすると共に、問い合わせにより、前記コメントを付与する要求があった場合に、発話され、かつ前記音声入力機能によって入力された特殊ファイル名を示す音声データを受け付け、受け付けた音声データを文字列に変換し、前記コメント領域に、文字列を付与する、
ことを実行させることを特徴としている。

発話による音声データにより、通常ファイル名とは別に、特殊ファイル名を付与することができる。

本発明では、従来技術に対し、撮像現場で特殊ファイル名等を付与することができ、かつ、発話による音声データを文字データに変換して特殊ファイル名等とすることができる。

本発明によれば、静止画、動画を問わず、撮像現場での状況を発話することで、リアルタイムに発話音声の内容を撮像画像のファイル名や画像に関するコメントとして登録することができる。

本実施の形態に係る記録データファイル名入力支援システムが構築されたネットワーク図である。 本実施の形態に係る通信端末装置のハード構成を示すブロック図である。 本実施の形態に適用可能な通信端末装置の例であり、（Ａ）がスマートフォンの斜視図、（Ｂ）がデジタルカメラの斜視図、（Ｃ）がヘッドセット型ウェアラブルカメラの斜視図、（Ｄ）がスマートグラス型ウェアラブルカメラの斜視図である。 本実施の形態に係る記録データファイル名入力支援プログラムを実行するときの機能ブロック図である。 本実施の形態に係る記録データファイル名入力支援プログラムを実行するときのフローチャートである。 特殊ファイル名を付与するときのサブルーチンを示すフローチャートである。 記録データの格納状態とファイル名の付与の関係を示す概念図である。 変形例に係る記録データファイル名入力支援プログラムを実行するときの機能ブロック図であり、通信端末装置が文字変換機能を備えた場合を示す。

図１には、本実施の形態に係る記録データファイル用文字入力支援システム１０の概略構成図が示されている。

記録データファイル用文字入力支援システム１０は、通信端末装置１２と、記録データ管理制御装置１４と、発話音声−文字変換制御装置１６とで構成され、ネットワーク１８を介して、相互に通信可能となっている。

（通信端末装置１２）

図２に示される如く、通信端末装置１２は、マイクロコンピュータ２０を備えている。マイクロコンピュータ２０は、ＣＰＵ２０Ａ、ＲＡＭ２０Ｂ、ＲＯＭ２０Ｃ、入出力ポート２０Ｄ、及びこれらを接続するデータバスやコントロールバス等で構成されたバス２０Ｅによって構成されている。

Ｉ／Ｏ２０Ｄには、入出力デバイス２２、ハードディスク２４、撮像デバイス２６、及びネットワーク１８と接続するための通信Ｉ／Ｆ２８が接続されている。

入出力デバイス２２は、モニタ及び入力パッドとして機能するタッチパネル部２２Ａと、スピーカ２２Ｂと、マイクロフォン２２Ｃとを備える。

通信Ｉ／Ｆ２８は、ネットワーク１８に接続された無線中継装置３０を介してネットワーク１８との間で、データを送受信する。より具体的には、撮像デバイス２６で撮像した画像データを、ネットワーク１８を介して記録データ管理制御装置１４（図１参照）へ送信するようになっている。なお、撮像は、動画と静止画の何れであってもよい。

動画の場合は、マイクロフォン２２Ｃで収録した音データ（後述する環境音データ）を含み、静止画の場合は、環境音データは存在しないという違いはある。

以下において、単に、「撮像」とした場合は、動画と静止画とを含むものとする。また、以下において、画像データと音声データとを総称して、「記録データ」という。すなわち、記録データ管理制御装置１４は、画像データと音声データとを管理制御する機能を有する。

また、以下において、単に、音声データという場合は、撮像デバイス２６による動画の撮像時の周辺環境音データと、通信端末装置１２を管理（所持）する管理者が撮像している対象を特定するために発話する発話音声データとを含むものとし、必要に応じて、環境音データと発話音声データとは、区別して説明する。また、静止画の場合、発話音声データは収録可能である。

（通信端末装置１２の適用例）

通信端末装置１２は、少なくとも、上記基本機能（入出力デバイス機能（特に、マイクロフォン）、撮像デバイス機能、及び通信Ｉ／Ｆ機能）を備えていればよい。一例として、図３（Ａ）に示すスマートフォン１２ＳＰが代表的な通信端末装置１２として適用可能である。

すなわち、図３（Ａ）に示される如く、スマートフォン１２ＳＰは、通信機能（通信Ｉ／Ｆ２８に相当）を備えており、筐体３２の前面がタッチパネル部２２Ａとされ、タッチパネル部２２Ａの周囲には、スピーカ２２Ｂ及びマイクロフォン２２Ｃが設けられている。また、筐体の前面及び背面には、撮像デバイス２６が設けられている。

また、その他の通信端末装置１２の例としては、図３（Ｂ）に示すデジタルカメラ１２ＤＣ、図３（Ｃ）に示すヘッドセット型ウェラブルカメラユニット１２ＨＳが適用可能である。

なお、ヘッドセット型ウェラブルカメラユニット１２ＨＳに限らず、図３（Ｄ）に示される如く、入出力デバイス２２及び撮像デバイス２６を含む一部又は全部の機能が眼鏡型の装着部に組み込まれたスマートグラス型ウェラブルカメラユニット１２ＳＧであってもよい。

（記録データ管理制御装置１４）

図１に示される如く、記録データ管理制御装置１４は、マイクロコンピュータとしての機能を備えており（詳細省略）、ハード構成としては、制御装置本体１４Ａ、モニタ１４Ｂ、キーボード１４Ｃ、及びマウス１４Ｄを有する。制御装置本体１４Ａは、図示は省略するが、ＣＰＵ、ＲＡＭ、ＲＯＭ、Ｉ／Ｏ、及びバスを備えている。

また。記録データ管理制御装置１４は、記録データファイルサーバ１４Ｅを備えており、記録データファイルサーバ１４Ｅには、制御装置本体１４Ａの制御に基づき、通信端末装置１２から受信した記録データがファイル化されて格納されるようになっている。

このとき、ファイル名は、規則性を持つ番号や日付等が、自動的に付与され、設定されるのが一般的である（例えば、「DVC01012020-001」等）。

ここで、ファイル名が設定され、記録データファイルサーバ１４Ｅに格納された複数のファイルは、記録データ管理制御装置１４の制御装置本体１４Ａに一時的に読み出され、ファイル内の記録データの編集等が実行される。

このとき、複数のファイルの中から、必要なファイルを選択するには、ファイル名が重要となる。このため、記録データが比較的に容易に特定し得る特殊ファイル名を、自動的に付与されたファイル名に代えて、或いは追加して付与（以下、ファイル名の変更という）する場合がある。

特殊ファイル名への変更は、比較例として、撮像拠点ではなく、記録データ管理制御装置１４の設置拠点（オフィス等）において、記録データファイルサーバ１４Ｅに格納された状態で，記録データ管理制御装置１４の制御装置本体１４Ａに読み出して実行されていた。

しかしながら、比較例では、類似の記録データから撮像時の状況を思い出して、変更するべき特殊ファイル名を入力するのは労力がかかっている。

そこで、本実施の形態では、通信端末装置１２による撮像が実行される撮像拠点において、撮像が動画の場合は、撮像中又は撮像後のプレビュー表示中に、撮像者３４（図１参照）が発話した音声（発話音声データ）を文字情報に変換し、記録データの特殊ファイル名とした。

また、撮像が静止画の場合は、静止画の撮像後に当該静止画を一定時間プレビュー表示させている間に、撮像者３４（図１参照）が発話した音声（発話音声データ）を文字情報に変換し、記録データの特殊ファイル名とした。

なお、特殊ファイル名と共に、或いは特殊ファイル名に代えて、記録データに付加されるコメント領域のコメント内容とするようにしてもよい。例えば、自動的に付与されるファイル名を維持したい場合は、記録データを特定し得る情報をコメント領域のコメント内容として保存すれば、コメント領域のコメント内容が、特殊ファイル名と同等の機能を有する。

本実施の形態では、この発話音声データから文字情報への変換は、通信端末装置１２とネットワーク１８を介して接続されている発話音声−文字変換制御装置１６により、通信端末装置１２の撮像デバイス２６（図２参照）による撮像と同期して実行される。

図４は、本実施の形態に係る通信端末装置１２で実行される、撮像時の特殊ファイル名及び／又はコメント付与のための記録データファイル名入力支援制御を機能別に示した機能ブロック図である。なお、図２における各ブロックは、通信端末装置１２のハード構成を限定するものではなく、一部又は全部の機能が、マイクロコンピュータ２０（図２参照）に予めインストールされたソフトウェア（アプリケーションプログラム）の動作として実行させるようにしてもよい。

図２に示される如く、撮像デバイス２６は、撮像制御部５０に接続されている。撮像制御部５０は、入出力デバイス２２からの撮像開始指示及び撮像終了指示を受けて、撮像デバイス２６及び画像取込部５２を制御する。

撮像デバイス２６で撮像された画像データは、画像取込部５２に取り込まれる。

画像取込部５２には、撮像制御部５０を介して、撮像時に入出力デバイス２２のマイクロフォンで同期して収録した撮像時の環境音データが入力される。

画像取込部５２は、一時格納部５４に接続されている。画像取込部５２では、画像データと環境音データとが結合されて記録データファイルが生成される共に、当該記録データファイルには自動的に通常ファイル名が付与されて、一時格納部５４に一時的に格納される。

一方、画像取込部５２は、プレビュー制御部５６に接続されている。画像取込部５２は、撮像デバイス２６から取り込んだ画像データをプレビュー制御部５６へ送出する。

プレビュー制御部５６は、入出力デバイス２２及び特殊ファイル名要否判定部５８に接続されている。

プレビュー制御部５６は、入出力デバイス２２との間で、情報の送受信を実行する。

すなわち、プレビュー制御部５６は、モニタに撮像中の画像を表示する（プレビュー表示）と共に、通常ファイル名と、特殊ファイル名を付与するか否かの問い合わせのためのメッセージを表示する。

また、プレビュー制御部５６は、入出力デバイス２２の機能であるタッチパネル部２２Ａ（図２参照）の入力パッドの操作に基づく、問い合わせの回答を受け付け、受け付けた回答を、特殊ファイル名要否判定部５８へ送出する。

特殊ファイル名要否判定部５８は、特殊ファイル名管理制御部６０及び記録データ取込部６２に接続されている。

特殊ファイル名管理制御部６０は、入出力デバイス２２に接続されている。

特殊ファイル名管理制御部６０では、特殊ファイル名要否判定部５８から、特殊ファイルが必要である旨の判定結果（必要判定）を受けると、入出力デバイス２２の機能であるタッチパネル部２２Ａ（図２参照）のモニタに対して、発話開始指示を送信すると共に、当該発話開始指示後は、入出力デバイス２２の機能であるマイクロフォン２２Ｃで収録した発話音声データを取り込む体制をとる。

この場合、予め定めた命令語（「はじめ」「おわり」等）によって、発話開始時期と発話終了時期を認識することは、周知の技術が適用可能である。

特殊ファイル名管理制御部６０に取り込んだ、発話音声データは、通信Ｉ／Ｆ２８及びネットワーク１８を介して発話音声−文字変換制御装置１６へ通知することで、文字データに変換された状態で返信される。

特殊ファイル名管理制御部６０では、返信された文字データを入出力デバイス２２へ送出することで、文字データの編集が可能である。編集するか否かは、撮像者に問い合わせればよい。

なお、編集の要否は、撮像者に問い合わせることなく、例えば、ＡＩ機能を搭載し、画像データとの照合で、過去の撮像者の要求（適正な特殊ファイル名）を適宜学習し、変換した文字データを取捨選択し、自動的に編集するようにしてもよい。

また、特殊ファイル名管理制御部６０は、特殊ファイル名（文字情報）の生成と同様に、記録データに付与されるコメント領域へのコメント情報に関しても、発話音声データから文字情報を生成する。

特殊ファイル名管理制御部６０は、文字データの編集が終了すると、特殊ファイル名・コメント付与部６４に文字情報を送出すると共に、記録データ取込部６２に対して、送信指示を出力する。

記録データ取込部６２では、前記特殊ファイル名要否判定部５８から、特殊ファイル不要（否）情報が通知されると、一時格納部５４から記録データを取り込み、記録データと通常ファイル名を記録データ送信部６６へ送出する。

一方、記録データ取込部６２では、前記特殊ファイル名要否判定部５８から、特殊ファイル必要（要）情報が通知されると、特殊ファイル名管理制御部６０からの送信指示を待って、一時格納部５４から記録データを取り込み、記録データと通常ファイル名を特殊ファイル名・コメント付与部６４へ送出する。

特殊ファイル名・コメント付与部６４では、記録データに特殊ファイル名（＋コメント）を付加して、記録データ送信部６６へ送出する。

記録データ送信部６６は、記録データを通信Ｉ／Ｆ２８及びネットワーク１８を介して、記録データ管理制御装置１４へ送出する。記録データ管理制御装置１４では、受信した記録データを記録データ管理制御装置１４の記録データファイルサーバ１４Ｅへ格納する。

以下に、本実施の形態の作用を、図５及び図６のフローチャートに従い説明する。

ステップ１００では、撮像が終了したか否かを判断し、撮像が終了するまで（否定判定）は、ステップ１００で待機し、肯定判定されると、ステップ１０２へ移行して、プレビュー表示する。

プレビュー表示は、必要に応じて、静止画の場合は低解像度に変換し、動画の場合は間引きした動画又は静止画を繰り返し再生して、処理速度を高めるようにしてもよい。

次のステップ１０４では、プレビュー表示された画像に自動付与される通常ファイル名を表示して、ステップ１０６へ移行する。

ステップ１０６では、特殊ファイル名の要否に関するメッセージを報知する。報知の手段としては、通信端末装置１２のタッチパネル部２２Ａに表示する（視覚を通じた報知）、並びに、スピーカ２２Ｂを適用して音声で出力する（聴覚を通じた報知）、の少なくとも一方の報知手段を用いる。

視覚を通じた報知例としては、タッチパネル部２２Ａに、前記プレビュー表示及び通常ファイル名と共に、「特殊ファイル名を付与しますか？」と表示する。聴覚を通じた報知例としては、この表示文字を音声として出力すればよい。

次のステップ１０８では、報知したメッセージに対して、回答があったか否かを判断し、否定判定された場合は、ステップ１１０へ移行する。ステップ１１０では、所定時間経過したか否かを判断し、否定判定された場合は、ステップ１０８へ戻る。また、ステップ１１０で肯定判定、すなわち、報知メッセージが実行されてから所定時間経過しても回答がない場合は、特殊ファイル名を付与する必要がないと判断し、ステップ１１２へ移行して、記録データを通常ファイル名で保存処理し、ステップ１１４へ移行する。ステップ１１４では、コメント領域に関する処理が実行され（後述、図６のフローチャート参照）、このルーチンは終了する。

また、ステップ１０８で、肯定判定、すなわち、報知メッセージに対して回答があると、ステップ１１６へ移行する。ステップ１１６では、回答内容として、特殊ファイル名を付与するか付与しないかを判断し、回答内容が付与しないと判定された場合は、ステップ１１２へ移行して、記録データを通常ファイル名で保存処理し、ステップ１１４へ移行する。ステップ１１４では、コメント領域に関する処理が実行され（後述、図６のフローチャート参照）、このルーチンは終了する。

一方、ステップ１１６で、回答内容が付与すると判定された場合は、ステップ１１８へ移行して、発話音声の取得処理及び文字変換処理を実行する。

具体的には、予め定め命令語等によって、発話開始を指示し、次いで、撮像者は、プレビュー表示を見ながら、特殊ファイル名となる内容を発話する。

この発話音声データは、発話音声−文字変換制御装置１６へ送出され、文字データに変換されて、返信される。

発話音声データから文字データへの変換は、音声認識による単純文字変換や、予め定めた文字コマンドに基づく文字変換等、特に変換手段は限定されるものではない。

特殊ファイル名に関する発話が終了すると、発話終了を指示することで、ステップ１１８の発話音声の取得処理及び文字変換処理が終了し、ステップ１２０へ移行する。

ステップ１２０では、特殊ファイル名となる文字列を、タッチパネル部２２Ａのモニタに表示し、ステップ１２２へ移行する。

ステップ１２２では、特殊ファイル名の編集の要否に関するメッセージを報知する。報知の手段としては、通信端末装置１２のタッチパネル部２２Ａに表示する（視覚を通じた報知）、並びに、スピーカ２２Ｂを適用して音声で出力する（聴覚を通じた報知）、の少なくとも一方の報知手段を用いる。

視覚を通じた報知例としては、タッチパネル部２２Ａに、特殊ファイル名と共に、「特殊ファイル名を編集しますか？」と表示する。聴覚を通じた報知例としては、この表示文字を音声として出力すればよい。

次のステップ１２４では、報知したメッセージに対して、回答があったか否かを判断し、否定判定された場合は、ステップ１２６へ移行する。ステップ１２６では、所定時間経過したか否かを判断し、否定判定された場合は、ステップ１２４へ戻る。また、ステップ１２６で肯定判定、すなわち、報知メッセージが実行されてから所定時間経過しても回答がない場合は、特殊ファイル名を編集する必要がないと判断し、ステップ１２８へ移行して、記録データを現在の特殊ファイル名で保存処理し、ステップ１３０へ移行する。ステップ１３０では、コメント領域に関する処理が実行され（後述、図５のフローチャート参照）、このルーチンは終了する。

また、ステップ１２４で、肯定判定、すなわち、報知メッセージに対して回答があると、ステップ１３２へ移行する。ステップ１３２では、回答内容として、特殊ファイル名に対して、編集必要か編集不要かを判断し、回答内容が編集不要と判定された場合は、ステップ１２８へ移行して、記録データを現在の特殊ファイル名で保存処理し、ステップ１３０へ移行する。ステップ１３０では、コメント領域に関する処理が実行され（後述、図５のフローチャート参照）、このルーチンは終了する。

一方、ステップ１３２で、回答内容が編集必要と判定された場合は、ステップ１３４移行して、編集内容を特定するメッセージを、表示及び／又は音声で報知する。報知メッセージ例としては、「編集要件（書換、挿入、削除）と、編集範囲（一部、全部）を指定して下さい」等といった、編集に関する詳細事項の提示を要求する内容である。

次のステップ１３６では、特殊ファイル名の編集内容を確定し、ステップ１１８へ戻り、上記工程を繰り返す。すなわち、編集箇所に対して、発話音声データの入力を実行する。

なお、入出力デバイス２２のモニタに特殊ファイル名が表示されているので、タッチパネル部２２Ａの入力パッドを適用し、表示されている特殊ファイル名を所謂ワードプロセッサ機能で編集するようにしてもよい。特に、編集箇所が一部である場合は、入力パッドを適用した方が、簡便となる場合がある。

図６は、図５のステップ１１４又はステップ１３０におけるコメント領域に関する処理の詳細を示すフローチャートである。基本的には、特殊ファイル名を付与する処理の流れと同等であるが、図６に従い、発話音声データの入力から、コメント領域へ文字データを付与するまでの一連の処理を説明する。

ステップ１５０では、コメント領域への文字付与の要否に関するメッセージを報知する。報知の手段としては、通信端末装置１２のタッチパネル部２２Ａに表示する（視覚を通じた報知）、並びに、スピーカ２２Ｂを適用して音声で出力する（聴覚を通じた報知）、の少なくとも一方の報知手段を用いる。

視覚を通じた報知例としては、タッチパネル部２２Ａに、前記プレビュー表示及び通常ファイル名と共に、「コメント領域に文字を付与しますか？」と表示する。聴覚を通じた報知例としては、この表示文字を音声として出力すればよい。

次のステップ１５２では、報知したメッセージに対して、回答があったか否かを判断し、否定判定された場合は、ステップ１５４へ移行する。ステップ１５４では、所定時間経過したか否かを判断し、否定判定された場合は、ステップ１５２へ戻る。また、ステップ１５４で肯定判定、すなわち、報知メッセージが実行されてから所定時間経過しても回答がない場合は、コメント領域に文字を付与する必要がないと判断し、このルーチンは終了する（図５のステップ１１４又はステップ１３０の後にリターンし、終了する）。

また、ステップ１５２で、肯定判定、すなわち、報知メッセージに対して回答があると、ステップ１５６へ移行する。ステップ１５６では、回答内容として、コメント領域に文字を付与するか付与しないかを判断し、回答内容が付与しないと判定された場合は、このルーチンは終了する（図５のステップ１１４又はステップ１３０の後にリターンし、終了する）。

一方、ステップ１５６で、回答内容が付与すると判定された場合は、ステップ１５８へ移行して、発話音声の取得処理及び文字変換処理を実行する。

具体的には、予め定め命令語等によって、発話開始を指示し、次いで、撮像者は、例えば、プレビュー表示を見ながら、コメント領域に付与する文字列となる内容を発話する。

この発話音声データは、発話音声−文字変換制御装置１６へ送出され、文字データに変換されて、返信される。

発話音声データから文字データへの変換は、音声認識による単純文字変換や、予め定めた文字コマンドに基づく文字変換等、特に変換手段は限定されるものではない。

コメント領域に付与する文字列に関する発話が終了すると、発話終了を指示することで、ステップ１５８の発話音声の取得処理及び文字変換処理が終了し、ステップ１６０へ移行する。

ステップ１６０では、コメント領域に付与する文字列を、タッチパネル部２２Ａのモニタに表示し、ステップ１６２へ移行する。

ステップ１６２では、コメント領域に付与する文字列の編集の要否に関するメッセージを報知する。報知の手段としては、通信端末装置１２のタッチパネル部２２Ａに表示する（視覚を通じた報知）、並びに、スピーカ２２Ｂを適用して音声で出力する（聴覚を通じた報知）、の少なくとも一方の報知手段を用いる。

視覚を通じた報知例としては、タッチパネル部２２Ａに、特殊ファイル名と共に、「コメントを編集しますか？」と表示する。聴覚を通じた報知例としては、この表示文字を音声として出力すればよい。

次のステップ１６４では、報知したメッセージに対して、回答があったか否かを判断し、否定判定された場合は、ステップ１６６へ移行する。ステップ１６６では、所定時間経過したか否かを判断し、否定判定された場合は、ステップ１６４へ戻る。また、ステップ１６６で肯定判定、すなわち、報知メッセージが実行されてから所定時間経過しても回答がない場合は、コメント領域に付与する文字列を編集する必要がないと判断し、ステップ１６８へ移行して、現在のコメント内容の文字列で保存処理し、このルーチンは終了する（図５のステップ１１４又はステップ１３０の後にリターンし、終了する）。

また、ステップ１６４で、肯定判定、すなわち、報知メッセージに対して回答があると、ステップ１７０へ移行する。ステップ１７０では、回答内容として、コメント領域に付与する文字列に対して、編集必要か編集不要かを判断し、回答内容が編集不要と判定された場合は、ステップ１６８へ移行して、記録データを現在のコメント内容の文字列で保存処理し、このルーチンは終了する（図５のステップ１１４又はステップ１３０の後にリターンし、終了する）。

一方、ステップ１７０で、回答内容が編集必要と判定された場合は、ステップ１７２へ移行して、編集内容を特定するメッセージを、表示及び／又は音声で報知する。報知メッセージ例としては、「編集要件（書換、挿入、削除）と、編集範囲（一部、全部）を指定して下さい」等といった、編集に関する詳細事項の提示を要求する内容である。

次のステップ１７４では、コメント領域に付与する文字列の編集内容を確定し、ステップ１５８へ戻り、上記工程を繰り返す。すなわち、編集箇所に対して、発話音声データの入力を実行する。

なお、入出力デバイス２２Ａのモニタに特殊ファイル名が表示されているので、タッチパネル部２２Ａの入力パッドを適用し、表示されているコメント領域に付与する文字列を所謂ワードプロセッサ機能で編集するようにしてもよい。特に、編集箇所が一部である場合は、入力パッドを適用した方が、簡便となる場合がある。

ここで、図５及び図６のフローチャートの処理の流れを、記録データに特殊ファイル名を付与する、コメントは付与しない、かつ、編集しない、という基本的な処理の流れに特化して要約すると、以下の手順となる。

（手順１） 撮像者は、通信端末装置１２を持って、現場で撮像する（動画、静止画は問わない）。

（手順２） 通信端末のモニタ機能で、プレビュー表示する（動画の場合は収録の一部の動画又は間引きしたコマ送りの静止画）

（手順３） 撮像者からのタイミングで発話を開始指示があると、発話音声−文字変換制御装置１６によって発話音声が文字に変換される。

（手順４） 文字変換された文字データをプレビュー表示されている画像データのファイル名領域に特殊ファイル名として保存する。

図７は、上記手順に基づき、記録データの格納状態とファイル名の付与の関係を示す概念図を示したものである。

記録データには、静止画ファイル７０と動画ファイル７２とが混在しているが、撮像順に通常ファイル名が付与される。図７では、連番として、「０００１」、「０００２」、・・・「０００６」が付与されている。

プレビュー表示されると、例えば、通常ファイル名「０００１」において、撮像者が、『ＬＮＧタンク設備の外観』と発話すると、音声解析によって文字列に変換され、通常ファイル名「０００１」が、特殊ファイル名「０００１−ＬＮＧタンク外観」に変更される。この場合、編集によって、発話から変換された文字が編集されて（・・・「設備の」が削除）特殊ファイル名となっている。

また、通常ファイル名「０００６」において、撮像者が、『サテライト基地のＬＮＧ運搬状況』と発話すると、音声解析によって文字列に変換され、通常ファイル名「０００６」が、特殊ファイル名「０００１−サテライト基地のＬＮＧ運搬状況」に変更される。この場合、編集はされず、発話から変換された文字がそのまま特殊ファイル名となっている。

（変形例）

上記実施の形態では、ネットワーク１８を介して、通信端末装置１２と、発話音声−文字変換制御装置１６とを相互に連携させることで、発話音声データから、記録データに特殊ファイル名を付与するようにしたが、通信端末装置１２に音声−文字データ変換機能を備えるようにしてもよい。

また、ハードディスク２４を、記録データファイルサーバ１４Ｅとして機能させるようにしてもよい。

この変形例に係る通信端末装置１２は、単体で、記録データファイル用文字入力支援システム、記録データファイル用文字入力支援制御装置として機能させることができる。

図８は、変形例に係る記録データファイル名入力支援プログラムを実行するときの機能ブロック図である。なお、図４に示す、本実施の形態の記録データファイル名入力支援プログラムを実行するときの機能ブロック図と同一構成部分については、同一の符号を付して、その構成の説明を省略する。

図８に示される如く、変形例に係る通信端末装置１２Ａの特殊ファイル名管理制御部６０は、音声−文字データ変換処理部６０Ａを備えている。

特殊ファイル名管理制御部６０は、特殊ファイル名要否判定部５８から、特殊ファイルが必要である旨の判定結果（必要判定）を受けると、入出力デバイス２２の機能であるタッチパネル部２２Ａ（図２参照）のモニタに対して、発話開始指示を送信すると共に、当該発話開始指示後は、入出力デバイス２２の機能であるマイクロフォン２２Ｃで収録した発話音声データを取り込む体制をとる。

この場合、予め定めた命令語（「はじめ」「おわり」等）によって、発話開始時期と発話終了時期を認識することは、周知の技術が適用可能である。

特殊ファイル名管理制御部６０に取り込んだ、発話音声データは、発話音声−文字変換処理部６０Ａで文字データに変換される。

特殊ファイル名管理制御部６０では、変換された文字データを入出力デバイス２２へ送出することで、文字データの編集が可能である。編集するか否かは、撮像者に問い合わせればよい。

また、特殊ファイル名管理制御部６０は、特殊ファイル名（文字情報）の生成と同様に、記録データに付与されるコメント領域へのコメント情報に関しても、発話音声データから文字情報を生成する。

特殊ファイル名管理制御部６０は、文字データの編集が終了すると、特殊ファイル名・コメント付与部６４に文字情報を送出すると共に、記録データ取込部６２に対して、送信指示を出力する。

記録データ取込部６２では、前記特殊ファイル名要否判定部５８から、特殊ファイル不要（否）情報が通知されると、一時格納部５４から記録データを取り込み、記録データと通常ファイル名を記録データ格納処理部６８へ送出する。

一方、記録データ取込部６２では、前記特殊ファイル名要否判定部５８から、特殊ファイル必要（要）情報が通知されると、特殊ファイル名管理制御部６０からの送信指示を待って、一時格納部５４から記録データを取り込み、記録データと通常ファイル名を特殊ファイル名・コメント付与部６４へ送出する。

特殊ファイル名・コメント付与部６４では、記録データに特殊ファイル名（＋コメント）を付加して、記録データ格納処理部６８へ送出する。

記録データ格納処理部６８は、ハードディスク２４を制御して、記録データを当該ハードディスク２４へ格納する。

１０ 記録データファイル用文字入力支援システム
１２ 通信端末装置
１２ＳＰ スマートフォン
１２ＤＣ デジタルカメラ
１２ＨＳ ヘッドセット型ウェラブルカメラユニット
１２ＳＧ スマートグラス型ウェラブルカメラユニット
１４ 記録データ管理制御装置
１４Ａ 制御装置本体
１４Ｂ モニタ
１４Ｃ キーボード
１４Ｄ マウス
１４Ｅ 記録データファイルサーバ
１６ 発話音声−文字変換制御装置
１８ ネットワーク
２０ マイクロコンピュータ
２０Ａ ＣＰＵ
２０Ｂ ＲＡＭ
２０Ｃ ＲＯＭ
２０Ｄ 入出力ポート
２０Ｅ バス
２２ 入出力デバイス
２２Ａ タッチパネル部
２２Ｂ スピーカ
２２Ｃ マイクロフォン
２４ ハードディスク
２６ 撮像デバイス
２８ 通信Ｉ／Ｆ
３０ 無線中継装置
３２ 筐体
３４ 撮像者
５０ 撮像制御部
５２ 画像取込部
５４ 一時格納部
５６ プレビュー制御部
５８ 特殊ファイル名要否判定部
６０ 特殊ファイル名管理制御部
６２ 記録データ取込部
６４ 特殊ファイル名・コメント付与部
６６ 記録データ送信部
７０ 静止画ファイル
７２ 動画ファイル

本発明は、撮像現場での発話音声データを用いて、ファイル名やコメントを登録するための文字入力支援システム、文字入力支援プログラムに関するものである。

本発明は、静止画、動画を問わず、撮像現場での状況を発話することで、リアルタイムに発話音声の内容を撮像画像のファイル名や画像に関するコメントとして登録することができる文字入力支援システム、文字入力支援プログラムを得ることにある。

Claims (2)

1. 画像を撮像する撮像機能、撮像した画像を表示する表示機能、及び、発話音声を入力する音声入力機能を備え、外部とデータ通信可能な通信端末装置と、
   音声データを文字データに変換するデータ変換制御装置と、
   を有する文字入力支援システムであって、
   前記通信端末装置が、
   撮像された画像に自動的に付与される通常ファイル名とは別に、発話され、かつ前記音声入力機能によって入力された特殊ファイル名を示す音声データを受け付ける受付部と、
   前記受付部で受け付けた音声データから、前記データ変換制御装置により変換された文字データを取得する取得部と、
   文字登録可能なコメント領域に、発話による音声データによって文字を付与するコメント付与部とを有し、
   前記取得部で取得した文字データ、及びコメント付与部で付与された文字データを、撮像された画像に付与する特殊ファイル名とする文字入力支援システム。
2. コンピュータを、
   請求項１の文字入力支援システムにおける、通信端末装置の受付部、取得部、コメント付与部、
   として動作させる文字入力支援プログラム。