JP5959771B2 - 電子機器、方法およびプログラム - Google Patents

Description

この発明は、電子機器及び音声再生方法に関する。

電子機器におけるユーザの利便性の高い電子機器及び音声再生方法を実現する。

特開２０１１−１９１８２４号公報

ユーザが電子機器に音声の再生開始位置を指示するとき、音声再生開始位置の微調整が困難であり、ユーザが意図した音声再生開始位置とは異なる位置から音声再生を開始してしまう場合がある。例えばユーザが意図した音声再生開始位置とはずれた位置から音声再生が開始されてしまった場合、再生する音声が会話や人物が発話した音声であれば、発話の途中から音声が再生されてもユーザにとって発話内容の把握が困難となることがある。

この発明の目的は、好適な再生開始位置から音声再生を開始する電子機器及び音声再生方法を提供することである。

実施の形態によれば、電子機器は、スクリーンと、前記電子機器の周辺の音を取り込み、音声情報を生成するマイクロフォンと、前記音声情報を記録している期間中に、前記マイクロフォンによって第１ユーザによる発言単位の第１区間の発言と第２ユーザによる発言単位の第２区間の発言が取り込まれた場合、前記第１ユーザの発言単位の第１区間の発言の長さに対応する長さを有する第１バーを前記スクリーン上に表示し、前記第２ユーザの発言単位の第２区間の発言の長さに対応する長さを有する第２バーを前記スクリーン上に表示するものであって、前記第１バーの長手方向と前記第２バーの長手方向とは同一であって、前記第１バー及び前記第２バーはユーザにより選択可能である、表示制御手段と、前記音声情報を記録している期間中に、前記第１バーまたは前記第２バーを選択するためのユーザの操作を受け付ける受付手段と、前記音声情報を記憶媒体に記録する記録手段と、記録された前記音声情報を再生する再生手段と、を備え 前記音声情報を再生している期間中に、前記表示制御手段は、前記第１区間の長さに対応する長さを有する第３バーと、前記第２区間の長さに対応する長さを有する第４バーと、前記音声情報に含まれる音声の区間の長さに対応する長さを有するシークバーとを前記スクリーン上に表示するものであって、前記第３バーの長手方向と前記第４バーの長手方向と前記シークバーの長手方向とは、同一であって、前記シークバー上の第１位置が指定された場合、前記再生手段は、前記第１位置に対応する第１時点から、前記音声情報を再生するものであって、前記第１バーが選択された場合には、前記表示制御手段は、前記第３バーを、他のバーとは識別可能に表示するものであって、前記第２バーが選択された場合には、前記表示制御手段は、前記第４バーを、他のバーとは識別可能に表示するものであることを特徴とする。

実施形態に係る電子機器の表示面の表示の一例を示す概略図。 実施形態に係る電子機器のハードウェア構成の一例を示す概略図。 実施形態に係る電子機器のハードウェア構成の一例を示す概略図。 実施形態に係るデータ再生開始位置自動調整動作の画面表示の表示の一例を示す概略図。 実施形態に係るデータ再生開始位置自動調整のためのユーザ操作（指示入力）の概要を示す概略図。 実施形態に係るデータ再生開始位置自動調整の手順の一例を示す概略図。 実施形態に係るデータ再生開始位置自動調整の概要の一例を示す概略図。 実施形態に係るデータ再生開始位置自動調整動作の画面表示の表示の一例を示す概略図。 実施形態に係るデータ再生開始位置自動調整動作の画面表示の表示の一例を示す概略図。 実施形態に係るデータ再生開始位置自動調整動作の画面表示の表示の一例を示す概略図。 実施形態に係るデータ再生開始位置自動調整動作の画面表示の表示の一例を示す概略図。 実施形態に係るデータ再生開始位置自動調整動作の画面表示の表示の一例を示す概略図。 実施形態に係るデータ再生開始位置自動調整動作の画面表示の表示の一例を示す概略図。 実施形態に係るデータ再生開始位置自動調整動作の画面表示の表示の一例を示す概略図。 実施形態に係るデータ再生開始位置自動調整動作の画面表示の表示の一例を示す概略図。 実施形態に係るデータ再生開始位置自動調整動作の画面表示の表示の一例を示す概略図。 実施形態に係るデータ再生開始位置自動調整の概要の一例を示す概略図。 実施形態に係るデータ再生開始位置自動調整の概要の一例を示す概略図。

以下、図面を参照して、実施の一形態を説明する。

図１が示す電子機器１は、例えばタブレット型パーソナルコンピュータ（携帯可能なＰＣ（Personal Computer））、スマートフォン（多機能携帯電話装置（Smart Phone））あるいはＰＤＡ（携帯端末装置（Personal Digital assistant））等である。なお、以下では、タブレット型パーソナルコンピュータを、電子機器１として説明する。また、以下に説明する要素や構成は、ハードウェアを用いて実現できるが、マイクロコンピュータ（処理装置、ＣＰＵ（Central Processing Unit））を用いるソフトウェアによっても実現できる。

タブレット型パーソナルコンピュータ（以下、タブレット端末装置と略称する）１は、本体ユニット（ＰＣ本体）１０とタッチスクリーンディスプレイ２０と、を含む。

ＰＣ本体（本体ユニット）１０の所定の位置には、タッチスクリーンディスプレイ２０に面する撮影対象、例えばユーザやユーザとその背景あるいはユーザの周囲に位置に位置する物体、等の情報を映像（画像情報）として取り込むカメラユニット１１が位置する。ＰＣ本体１０の所定の位置にはまた、ユーザあるいはユーザとその周囲に居る任意数の人の音声及びまたは周辺の音（音響）を取り込む第一及び第二のマイクロフォン１２Ｒ，１２Ｌが位置する。第一及び第二のマイクロフォン１２Ｒ，１２Ｌは、例えばカメラユニット１１を仮想的中心とし、カメラユニット１１から実質的に等距離に位置する。尚、本実施形態ではマイクロフォンが２つ設けられた形態を例示するが、設けられるマイクロフォンは１つであってもよい。

また、ＰＣ本体１０の所定の位置には、ＰＣ本体１０が保持する音声／音響データ（以下音声データと称する）を再生するスピーカ１３Ｒ，１３Ｌが位置する。なお、ＰＣ本体１０の所定の位置には、詳述しないが、電源オンスイッチ（パワーボタン）、ロック機構及び認証ユニット、等が位置する。パワーボタン（電源オンスイッチ）は、タブレット端末装置１の利用を可能とする（タブレット端末装置１を起動する）ための電源のオン／オフを制御する。ロック機構は、例えば持ち運び時のパワーボタン（電源オンスイッチ）の動作をロックする。認証ユニットは、例えばユーザを認証するために、ユーザの指や手のひらと関連付けられる（生体）情報を読み取る。

タッチスクリーンディスプレイ２０は、液晶表示ユニット（ＬＣＤ（Liquid Crystal Display）／表示ユニット）２１とタッチパネル（指示入力受けつけユニット）２２と、を含む。タッチパネル２２は、少なくともＬＣＤ２１の表示面（画面）を覆うように、ＰＣ本体１０の所定の位置に位置する。

タッチスクリーンディスプレイ２０は、外部オブジェクト（タッチペンもしくはユーザの手の指等の体の一部）が接触する表示画面上の指示入力位置（タッチ位置もしくは接触位置）を検知する。タッチスクリーンディスプレイ２０はまた、同時に複数の指示入力位置を検知可能なマルチタッチ機能を有する（サポートしている）。なお、外部オブジェクトは上述の通りタッチペンやユーザの指等の体の一部のいずれでもよいが、以降の説明ではユーザの指を例示して説明を行う。

タッチスクリーンディスプレイ２０はまた、タブレット端末装置１における各種アプリケーションプログラムの画面や画像表示（オブジェクト）を表示するメインディスプレイとして使用される。なお、タッチスクリーンディスプレイ２０は、ＰＣ本体１０の起動時に、ユーザが起動しようとする任意のアプリケーションプログラムの実行開始（起動）を外部オブジェクトによる指示入力にて受けつけ、任意数の起動されたアプリケーションプログラムについてのアイコンを表示する。また、タッチスクリーンディスプレイ２０の表示画面の向きは、横向き（ランドスケープ）と縦向き（ポートレート）との間で切り替えることができ、図１は、ランドスケープ時の起動完了画面の表示の一例を示している。

図２に、タブレット端末装置のシステム構成の一例を示す。

タブレット端末装置１のＰＣ本体１０は、ＣＰＵ（Central Processing Unit）１０１、ノースブリッジ１０２、主メモリ１０３、サウスブリッジ１０４、グラフィクスコントローラ１０５、サウンドコントローラ１０６、ＢＩＯＳ−ＲＯＭ１０７、ＬＡＮコントローラ１０８、不揮発性メモリ１０９、バイブレータ１１０、加速度センサ１１１、オーディオキャプチャ（ボード）１１２、無線ＬＡＮコントローラ１１４、ＥＥＰＲＯＭ１１６、エンベデッドコントローラ（ＥＣ，Embedded Contoller）１１７、等を備える。

ＣＰＵ１０１は、ＰＣ本体１０とタッチスクリーンディスプレイ２０の各部の動作を制御する。すなわち、ＣＰＵ１０１は、不揮発性メモリ１０９から主メモリ１０３にロードされる、オペレーティングシステム（ＯＳ）２０１、および各種アプリケーションプログラムを実行する。アプリケーションプログラムの１つは、図５−図７に概略を示す音声再生調整プログラム２０２を含む。音声再生プログラム２０２は、ＯＳ（オペレーティングシステム）２０１上で実行されるソフトウェアである。なお、音声再生プログラム２０２は、例えば１チップマイコン等により構成する音声再生プロセッサ１２１を用いてハードウェアにより実現することもできる。

ＣＰＵ１０１はまた、ＢＩＯＳ−ＲＯＭ１０７に格納されたＢＩＯＳも実行する。ＢＩＯＳは、ハードウェア制御のためのプログラムである。

ノースブリッジ１０２は、ＣＰＵ１０１のローカルバスとサウスブリッジ１０４との間を接続するブリッジデバイスである。ノースブリッジ１０２には、主メモリ１０３をアクセス制御するメモリコントローラも内蔵されている。また、ノースブリッジ１０２は、ＰＣＩ ＥＸＰＲＥＳＳ規格のシリアルバスなどを介してグラフィクスコントローラ１０５との通信を実行する機能も有している。

グラフィクスコントローラ１０５は、ＰＣ本体１０のタッチスクリーンディスプレイ２０のＬＣＤ２１を制御する表示コントローラである。グラフィクスコントローラ１０５が生成する表示信号がＬＣＤ２１に送られ、ＬＣＤ２１は、表示信号に基づいて映像を表示する。ＬＣＤ２１上に位置するタッチパネル２２は、ＬＣＤ２１の画面が表示する表示に対応する入力信号を入力するためのポインティングデバイス（ユーザ操作指示入力機構）である。ユーザは、タッチパネル２２によりＬＣＤ２１の画面に表示されたグラフィカルユーザインタフェース（ＧＵＩ）等に、ユーザ操作すなわち指示入力を入力することができ、これによりＰＣ本体１０を操作することができる。すなわちユーザは、タッチパネル２２を通じてＬＣＤ２１が表示する起動アイコンやＬＣＤ２１が表示するボタンをタッチすることで、起動アイコンやボタンに対応する機能の実行を指示することができる。

サウスブリッジ１０４は、ＰＣＩ（Peripheral Component Interconnect）バス１１３上の各デバイス及びＬＰＣ（Low Pin Count）バス１１５上の各デバイスを制御する。サウスブリッジ１０４はまた、不揮発性メモリ１０９を制御するためのＡＴＡコントローラを内蔵している。

サウスブリッジ１０４はさらに、各種ＵＳＢデバイスを制御するためのＵＳＢコントローラを内蔵している。また、サウスブリッジ１０４は、サウンドコントローラ１０６及びオーディオキャプチャ１１２との通信を実行する機能も有している。なお、カメラ１１が取得（撮影）する画像データ（動画／静止画）は、カメラ１１において所定のフォーマットに変換され、サウスブリッジ１０４を通じて主メモリ１０３上で動作する画像処理プログラムに供給される。従い、カメラ１１からの画像データは、ユーザの要求に応じて起動する、カメラ１１からの画像データに対応するフォーマットの画像を再生可能な画像処理プログラムにおいて再生され、ＬＣＤ２１に表示される。また、カメラ１１からの画像データは、例えば不揮発性メモリ１０９が保持できる。

サウンドコントローラ１０６は、音源デバイスであり、再生対象の音声データをアナログ出力に変換した後、スピーカ１３Ｒ，１３Ｌに出力する。

ＬＡＮコントローラ１０８は、例えばＩＥＥＥ ８０２．３規格の有線通信を実行する有線通信デバイスである。

バイブレータ１１０は、ＰＣ本体１０に対し、必要に応じて振動（バイブレーション）を与える。

加速度センサ１１１は、タッチスクリーンディスプレイ２０の表示画面のポートレートとランドスケープとの間の切り換えのためのＰＣ本体１０の回転や、ユーザの指の動きのうちの衝撃の強さ、等を検出する。

オーディオキャプチャ１１２は、マイク１２Ｒ（例えばカメラ１１の右側に位置する）及び１２Ｌ（カメラ１１の左側に位置する）のそれぞれが取得する音声または音響（オーディオ）をアナログ−デジタル変換し、デジタル信号を出力する。オーディオキャプチャ１１２はまた、どちらのマイクへの入力信号のレベルが大きいかを示す情報を、主メモリ１０３上で動作する音声再生プログラム２０２へ、サウスブリッジ１０４を通じて入力する。オーディオキャプチャ１１２は、音声再生プログラム２０２において利用可能な所定の前処理の一部あるいは全部を分担することも可能である。

無線ＬＡＮコントローラ１１４は、例えばＩＥＥＥ ８０２．１１規格の無線通信を実行する無線通信デバイスである。

ＥＣ１１７は、電力管理のためのエンベデッドコントローラを含む、１チップマイクロコンピュータである。ＥＣ１１７はまた、ユーザによるパワーボタンの操作に応じたＰＣ本体１０の電源オン／電源オフを制御する。

図３は、音声再生プログラム２０２の構成の一例を説明する。

音声再生プログラム２０２は、音声の録音及び保存された音声の再生ならびに保存された音声の編集機能を有している。音声再生プログラム２０２は、同プログラムを実行するための機能モジュールとして、タッチ情報受信部３１０、制御部３２０、フィードバック処理部３３０及びタイムバー表示処理部３４０、を、少なくとも備える。

タッチ情報受信部３１０は、ユーザの指示（ユーザの指の動作）のある毎に、第一の座標情報、第二の座標情報及びユーザの指の動きの情報を、タッチパネルドライバ２０１Ａを経由してタッチパネル２２から受け取り、制御部３２０出力する。第一の座標情報は、ユーザの指がタッチパネル２２の表示面の任意の位置に触れた位置の座標情報（ｘ，ｙ）である。第二の座標情報は、ユーザの指がタッチパネル２２の表示面から離れた位置の座標情報（ｘ´，ｙ´）である、ユーザの指の動き情報は、第一の座標情報（ｘ，ｙ）と第二の座標情報（ｘ´，ｙ´）との間のユーザの指の動き、あるいは第二の座標情報に付属するユーザの指の動き、例えば指が離れる際の方向の情報、等を含む。

なお、本実施形態でのユーザの操作入力（ユーザの指の動作）とその呼称は、以下のとおりとする。

［１］ タッチ：ユーザの指が一定期間、タッチパネル２２の表示面上の所定の位置に位置する（第一の座標情報と第二の座標情報が実質的に同一であって、一定時間経過後、表示面とほぼ直交する方向に離される）。

［２］ タップ：ユーザの指が、タッチパネル２２の表示面上に任意の位置に所定時間触れた後、表示面と直交する方向に離される（タッチと同義に扱われる場合もある）。

［３］ スワイプ：ユーザの指がタッチパネル２２の表示面の任意の位置に触れた後、任意の方向に移動する（第一の座標情報と第二の座標情報との間に指の動き情報を含む、すなわち、表示面をなぞるようにユーザの指が表示面を移動する）。

［４］ フリック：ユーザの指がタッチパネル２２の表示面の任意の位置に触れた後、任意の方向に向けて掃われるように移動し、表示面から離される（タップにおいてユーザの指が表示面から離れる際に、方向の情報をともなう）。

［５］ ピンチ：ユーザの２本の指がタッチパネル２２の任意の位置に触れた後、表示面で指の間隔を変更する。特に、指の間隔を広げる（指を開く）場合をピンチアウト、指の間隔を狭める（指を閉じる）場合をピンチイン、と称する場合もある。

制御部３２０は、タッチ情報受信部３１０が出力する第一の座標情報、第二の座標情報及びユーザの指の動き情報に基づいて、上述の［１］−［５］のユーザの指の動きの情報により特定されるユーザの動作（ユーザの指示入力）に対応するプログラム（アプリケーション）を起動する。なお、制御部３２０は、以下に説明するキーボードモードあるいはマウスモードのどちらのの動作モードにおいても、タッチ情報受信部３１０からの第一の座標情報、第二の座標情報及びユーザの指の動き情報に基づいて、ユーザからの指示入力（ユーザ入力）に対応するアプリケーション（プログラム）を実行する。なお、上述において、タッチ［１］は、タップ［２］に準じた動作であってもよいが、実施例では、制御部３２０は、実質的にタッチに引き続きタッチパネル２２の表示面上をユーザの指が移動することをスワイプ［３］と判定するものとする。また、制御部３２０は、ユーザの指がタッチパネル２２上の移動から離れる位置の座標情報（ｘ´，ｙ´）を受け取った場合、スワイプ［３］またはフリック［４］と判定するものとする。また、制御部３２０は、タッチパネル２２からの第一の座標情報、第二の座標情報及びユーザの指の動き情報に基づいて、タッチパネル２２の表示面をユーザの指がなぞった（スワイプした）スワイプ長さ（指示区間長）も、求めることができる。すなわち、指示区間長（スワイプ長さ）は、後段に説明する音声データの編集において、シーク位置を基点とする区間の長さを求めることができる。

キーボードモードは、一般には、ＬＣＤ２１が表示するキーボード配列の画像に対するタッチパネル２２からのタップに従い対応する個々のキーに固有の文字コードを出力することで、タッチスクリーンディスプレイ２０を仮想キーボードとして利用することを可能とする。マウスモードは、タッチパネル２２上の（指の）接触位置の移動に応じて、その接触位置の移動の方向および距離を示す相対座標データを出力する動作モードである。

例えば、ユーザがタッチパネル２２の表示面が表示する所定のアイコン（またはボタン表示）のうちの音声再生アイコン２９０（図１参照）をタッチすると、制御部３２０は、ユーザの指の表示面の位置の座標情報に対応する音声再生アイコン２９０と関連付けられたアプリケーションを起動する。

制御部３２０は、音声再生プログラム２０２を実行するための機能モジュールとして、例えばシーク位置（ユーザ指定位置）検出部３２１、再生開始位置調整部３２２、話者判定部３２３、等を含む。

シーク位置検出部３２１は、タッチ情報受信部３１０からの第一の座標情報、第二の座標情報及びユーザの指の動き情報に基づいて、シーク位置を特定する。

すなわち、シーク位置検出部３２１は、ＬＣＤ２１が表示するＸ−Ｙ平面において、時間軸をＸ軸に一致させたタイムバー表示上で、ユーザ指示に対応するシーク位置を特定する。

再生開始位置調整部３２２は、シーク位置検出部３２１が特定したシーク位置の近傍の音声データをバッファリングし、シーク位置近傍の音声区間の先頭である無音区間を検出し、再生開始位置として利用する自動調整位置を設定する。

話者判定部３２３は、再生開始位置調整部３２２が検出した無音区間を用いて区切られた前後の音声データについて、当該音声データに基づいて話者を特定する。

話者判別（特定）方法については、例えば特開２０１０−０５５１０３号公報（特許第５１７４０６８号公報）等に具体的な方法が詳細に説明されており、ここでは話者判定方法の詳細については説明を割愛する。

フィードバック処理部３３０は、ＯＳ２０１に組み込まれる（ＯＳ２０１のファームウェアである）表示ドライバ２０１Ｂ（図１ではグラフィックスコントローラ１０５）及びサウンドコントローラ１０６のそれぞれと、接続する。

フィードバック処理部３３０はまた、サウンドコントローラ１０６に対し、録音時の話者の位置を擬似的に再現できるように、例えば再生中の音声データに対応する話者の位置を基に、スピーカ１２Ｒ及びスピーカ１２Ｌが出力する再生音声の出力割合を変更する制御を行うことができる。

フィードバック処理部３３０は、図４、図８−図１６に示す画面表示例を参照しながら後段に詳述するが、ＰＣ本体１０の画面表示２１０内にさまざまな情報を表示するための表示信号及び音声再生プログラム２０２において再生する音声出力信号を処理する。

また、フィードバック処理部３３０は、サウンドコントローラ１０６に対し、録音時の話者の位置を擬似的に再現できるように、例えば再生中の音声データに対応する話者の位置を基に、スピーカ１２Ｒ及びスピーカ１２Ｌが出力する再生音声の出力割合を変更する制御を行うことができる。

タイムバー表示処理部３４０は、ＯＳ２０１に組み込まれる（ＯＳ２０１のファームである）表示ドライバ２０１Ｂ（図１ではグラフィックスコントローラ１０５）に、タッチパネル２２の表示面に対応する画像表示にタイムバー２１１をＯＳＤ（On Screen Display）表示するための機能ジュールである。

図４に、音声再生プログラム２０２が起動している状態における音声データ表示画面の表示の一例を示す。なお、図４が示す表示例は、音声再生プログラム２０２により録音した音声データの再生時の表示例である。

ＰＣ本体１０の画面表示２１０内に表示される音声再生プログラム２０２の動作時の音声データ表示画面４１０は、画面の上下方向において大まかに３つに区切られた第一の表示領域４１１、第二の表示領域４１２及び第三の表示領域４１３を含む。第一の表示領域４１１は、表示するステータスや情報と関連して、例えば［レコード名、認識された話者／全体ビュー、ステータス］欄とも称される。第二の表示領域４１２は、表示するステータスや情報の内容から、例えば［拡大ビュー、ステータス］欄とも称される。第三の表示領域４１３は、表示するステータスや情報に関連づけられて、例えば［コントロール］欄とも称される。

第一の表示領域４１１は、再生中（再生対象）の音声コンテンツ（音声データ）の全体を示すタイムバー２１１と音声コンテンツのうちの現在の再生位置またはユーザが指示を行った音声の再生開始位置を示すロケーター２１１ａ（音声再生位置表示）を表示する。ロケーター２１１ａは、コンテンツ先頭からの再生時間（経過時間）を、タイムバー２１１が示す総時間に対して比例分配した位置に、位置する。

第一の表示領域４１１はまた、例えば特定できた話者を話者毎に表示する話者表示領域２１２、リスト表示を表示するためのリスト表示ボタン２１３、等を含む。第一の表示領域４１１はまた、レコード名を表示するレコード欄２１４、等を含む。

話者表示領域２１２は、再生時に、特定できた話者をアルファベット、例えば［Ａ］−［Ｊ］により、最大１０人まで表示できる（図４は、［Ａ］−［Ｄ］の４人を表示する例である）。また、話者表示領域２１２は、現在発話中の話者を、発話マーク２１５により表示できる。

第二の表示領域４１２は、音声コンテンツ（音声データ）の再生位置（時間）を表示する再生位置表示欄２２１、発言バー２２２ａ，２２２ｂ，・・・，２２２ｎ（ｎは正の整数）、話者識別子２２３ａ，２２３ｂ，・・・，２２３ｎ（ｎは正の整数）、現在位置マーク（ライン）２２４、マーキング制御子（☆マーク）２２５、等を含む。

再生位置表示欄２２１は、再生時において、現在位置マーク（ライン））の左側が、既に再生の終わった時間（音声データ）、現在位置マーク（ライン））の右側が、これから再生される時間（音声データ）を示す。

発言バー２２２ａ，２２２ｂ，・・・，２２２ｎは、再生位置表示欄２２１上に、話者毎の発話すなわち音声データの長さ（時間）と話者とを関連づけて表示する。従い、発言バー２２２ａ，２２２ｂ，・・・，２２２ｎには、話者識別子２２３ａ，２２３ｂ，・・・，２２３ｎ（ｎは正の整数）が一体的に付属する。現在位置マーク（ライン）２２４は、再生位置表示欄２２１上の現在の位置（時間）を示す。なお、発言バー２２２ａ，２２２ｂ，・・・，２２２ｎは、再生対象の話者毎の音声データをスワイプ操作により、選択できる。また、その際、スワイプ時のスワイプ（指の移動）の強さ（速度／圧力の変化の程度、すなわちユーザの指が表示面を移動する際の速度や圧力の変化によって、スキップする話者区間（発言バー）の数を変更できる。

マーキング制御子（☆マーク）２２５は、話者毎の発言バー２２３（２２３ａ−２２３ｎ）の長さ方向（時間）の概ね中央近傍に表示され、☆マーク２２５付近をタップすることにより、発言単位に、印をつける（マーキングする）ことが可能である。

第三の表示領域４１３は、一時停止ボタン２３１／再生ボタン２３２、停止ボタン２３３、スキップボタン（進む）２３４Ｆ、スキップボタン（戻る）２３４Ｒ、スロー再生ボタン２３５、高速再生ボタン２３６、☆マークスキップボタン（進む）２３７Ｆ、☆マークスキップボタン（戻る）２３７Ｒ、マーキング制御子（☆マーク）一覧表示ボタン２３８、リピートボタン２３９、戻るボタン２４０、等を含む。第三の表示領域４１３はまた、画面表示２１０内の表示形式を後段に説明するスナップビュー画面との間で切り換える表示切り換えを指示入力可能な表示切り換えボタン２４１を含む。

一時停止ボタン２３１／再生ボタン２３２は、再生ボタン２３２と一時停止ボタン２３１とが交互に表示されるトグル方式であり、再生ボタン２３２にタッチまたはタップすることで、選択されている音声データ（コンテンツ）の再生が開始される。また、再生ボタン２３２によりコンテンツが再生されている状態においては、一時停止ボタン２３１が表示される。従い、一時停止ボタン２３１にタッチまたはタップされた場合、コンテンツの再生が一時的に停止され、再生ボタン２３２が表示される。

停止ボタン２３３は、再生中または一時停止中のコンテンツの再生を停止し、または一時停止を解除してそのコンテンツの再生を停止する。

スキップボタン（進む）２３４Ｆ、スキップボタン（戻る）２３４Ｒは、タッチまたはタップすることにより、発言バー２２２ａ，２２２ｂ，・・・，２２２ｎを１つ分、スキップする。なお、スキップボタン（進む）２３４Ｆがタッチまたはタップされた場合、発言バー２２２ａ，２２２ｂ，・・・，２２２ｎは、再生位置表示欄２２１において、画面表示２１０内の右方向、すなわちこれから再生される音声データ（発言バー）を１つ分、スキップする。また、スキップボタン（戻る）２３４Ｒがタッチまたはタップされた場合、発言バー２２２ａ，２２２ｂ，・・・，２２２ｎは、再生位置表示欄２２１において、画面表示２１０内の左方向、すなわち既に再生が終了した音声データ（発言バー）を１つ分、スキップする。スキップボタン表示をタップすると、発言単位のスキップを可能とする制御コマンドを入力可能である。なお、スキップは、発言単位のみとする（スキップすると次の音声の一群の先頭へジャンプする）。

スロー再生ボタン２３５は、再生中の発話について、例えば０．５倍速または０．７５倍速のスロー再生を実行する。スロー再生ボタンをタップすると、例えば０．７５（３／４）倍速再生、０．５（１／２）倍速再生、通常再生、が順番に繰り返される。

高速再生ボタン２３６は、再生中の発話について、例えば１．２５倍速，１．５倍速，１．７５倍速もしくは２．０倍速の高速再生を実行する。高速再生ボタンをタップすると、例えば１．２５（５／４）倍速再生、１．５（３／２）倍速再生、２倍速再生、通常再生、が順番に繰り返される。なお、スロー再生／高速再生時のいずれにおいても、所定の表示領域に、ステータス（例えば、ｘ倍再生、等の表示）を表示することが好ましい。

☆マークスキップボタン（進む）２３７Ｆ、☆マークスキップボタン（戻る）２３７Ｒは、マーキング制御子（☆マーク）２２５が付与されている発言バーを、１つ分スキップする。すなわち、☆マークスキップボタン（進む）２３７Ｆがタッチまたはタップされた場合、☆マーク２２５が付与されている発言バーのうちの再生位置表示欄２２１において画面表示２１０内の右方向、すなわちこれから再生される音声データ（発言バー）を、１つ分、スキップする。また、☆マークスキップボタン（戻る）２３７Ｒがタッチまたはタップされた場合、☆マーク２２５が付与されている発言バーのうちの再生位置表示欄２２１において画面表示２１０内の左方向、すなわち既に再生が終了した音声データ（発言バー）を、１つ分、スキップする。

マーキング制御子（☆マーク）一覧表示ボタン２３８は、図１２により後段に説明するが、☆マーク２２５が付与されている全ての発言バーを、ポップアップ表示により☆マークが付与されているファイル一覧表示２５１を表示する。

リピートボタン２３９は、現在再生中の発言バーに対応する音声データをリピート再生する。。

戻るボタン２４０は、１つ前の動作状態に戻るための制御信号を、サウスブリッジ１０４に、入力する。

表示切り換えボタン２４１は、画面表示２１０内の表示方式を、スナップビュー画面との間で切り換える表示切り換えを入力する。

以下、図４が表示する画面表示２１０において、ロケーター２１１ａにユーザが指を触れ、タイムバー２１１の時間軸方向に指をスワイプした任意の位置で指を離すことで、図３に説明した再生開始位置調整部３２２の制御の下で、以下に説明する自動調整位置を設定する。

なお、図４が表示する上述のさまざまな表示は、図３に説明したフィードバック処理部３３０の制御の下で、ＬＣＤ２１に表示される。また、フィードバック処理部３３０が出力するさまざまな表示信号は、話者を表示する表示欄２２１に、現在再生中の話者を特定可能に、話者毎の識別子２２３ａ，２２３ｂ，・・・，２２３ｎを付して表示するための映像信号（表示信号）を出力することが好ましい。あるいは、フィードバック処理部３３０が出力する表示信号は、話者毎の識別を可視的に容易とするために、音声データの再生位置の表示欄２２１が示す再生中の話者に対応する話者毎の識別子２２３ａ，２２３ｂ，・・・，２２３ｎの表示の背景色を変えることが好ましい。もしくは、フィードバック処理部３３０は、その話者の識別子の表示の輝度を変える／点滅表示する、等の任意の表示が可能な映像信号（表示信号）を出力することが好ましい。

なお，フィードバック処理部３３０が出力する表示信号は、話者毎の識別子に関して、音声データの再生位置（時間）の表示欄２２１（第二の表示領域４１２）の表示及び話者表示領域２１２の表示のそれぞれにおいて、例えば表示色を共通にして表示するための映像信号（表示信号）を出力することが好ましい。

なお、図４において、タイムバー２１１は、再生中コンテンツの先頭位置（００時間００分）から終端位置（ｈｈ時間ｍｍ分）を、タッチスクリーンディスプレイ２０のＬＣＤ２１の表示領域内に、所定の長さで表示する。ロケーター２１１ａは、再生中コンテンツの先頭位置から現在の再生位置までの経過時間（経過状態）を、タイムバー２１１上において、タイムバー２１１の全長を比例分配したコンテンツの先頭位置からの位置に、表示する。従って、ロケーター２１１ａの移動量は、タイムバー２１１の全長、すなわち再生中コンテンツの総時間に依存する。このように、音声再生プログラム２０２は、再生中コンテンツの再生位置をユーザがタイムバー２１１上のロケーター２１１ａをシークして再生する場合、音声の再生開始位置をユーザの指定位置近傍の所定の位置に、自動的に調整することができる。

また、図４が示す画面表示２１０においては、第一の表示領域４１１が表示する情報やステータスは、タッチおよびドラック操作のみ可能である、一方、第二の表示領域４１２が表示する情報やステータスは、スワイプ操作による指示入力が可能である。すなわち、音声再生プログラム２０２は、音声データをスワイプで操作できる。また、その際、スワイプの強さによってスキップする話者区間の数を変更することができる。

次に、音声再生プログラム２０２により音声データを再生する際の、再生開始位置の自動調整について説明する。図１が示す音声再生アイコン２９０により音声再生プログラム２０２が実行され、音声再生プログラム２０２に起動指示が指示入力される、として制御部３２０の動作の一例を説明する。なお、音声再生プログラム２０２は、音声の録音及び保存された音声の再生機能を有しているが、音声の録音機能については後述にて説明を行い、まず音声再生の方法について説明を行う。

図５は、音声再生において、再生開始位置を自動的に調整する自動調整の概念を示す。

ユーザが、図４に２１１と示したタイムバー上で、図４に２１１ａと示したロケーターを移動（スワイプ）して任意の位置で指をタッチパネル２２から離すことでシーク位置を特定する［ｉ］。シーク位置の特定は、図３に示した制御部３２０のシーク位置検出部３２１が受け持つことはいうまでもない。

次に、シーク位置の近傍の音声データをバッファリングし、シーク位置近傍の音声区間の先頭である無音区間を検出する［ii］。これにより、再生開始位置として利用する自動調整位置が設定される［iii］。すなわち、音声再生プログラム２０２における再生開始位置を自動調整する。なお、再生開始位置の自動調整は、制御部３２０の再生開始位置調整部３２２が受け持つことは、上述の通りである。

図６を用いて、図５に示した再生開始位置の自動調整について、ソフトウェア的に説明する。なお、タイムバー２１１及びロケーター２１１ａは、図４に示した表示例に対応する。

はじめに、ユーザによるタイムバー２１１上のロケーター２１１ａの移動後の位置を、シーク位置（ユーザ指定位置）として一時的に記憶する［０１］。

次に、シーク位置の音声データの近傍の音声データをバッファリングする［０２］。

次に、バッファリングした音声データについて、その振幅が閾値γの絶対値よりも小さい範囲を、無音区間（無音時間）と判定する［０３］。

次に、無音区間と判定された音声データについて、どの無音区間のうちのいずれの位置より再生を開始するか、を決定（特定）する［０４］。

そして、特定された無音区間（位置）を再生開始位置として、自動調整する［０５］。

図７は、図６に示した再生開始位置の自動調整を、より具体的に示す。

ユーザ操作により特定されたシーク位置から、少なくともシーク位置よりも時間軸上で前側になる（時間的に早い）音声データ（音声の一群）の先頭を検出する。なお、音声の一群は、任意の話者の発言（発声）のうちの、以下で説明する無音区間として区切ることのできる一つの区切りを示す。また、音声の一群は、複数のユーザによる会話や会議、音楽の演奏、あるいはテレビ放送の番組（コンテンツ）中のシーンの切り替わり、等であってもよい。

音声データの先頭を検出するために、始めにシーク位置を概ね中心とするその前後の時間的な変化を含む所定時間分の音声データをバッファリングする。

次に、バッファリングした音声データについて、その振幅が閾値γの絶対値すなわち閾値γと閾値−γとの範囲内よりも小さい範囲を、無音区間（無音時間）として検出する。

以下、無音区間として無音判定された音声データについて、連続数をカウントして無音区間Ｚｓ（ｓ＝１，２，３，…，ｎ、ｎは、正の整数）を推定する（一つ以上の区切りを特定する）。最後に、無音区間Ｚｓのいずれかの位置に、再生開始位置を自動調整する。

ここで、無音区間Ｚｓからのいずれを選出する（何番目の区間を再生する）かについては、最もシーク位置に近い区間であっても良いし、無音区間が最も長い区間であってもよい。それ以外にも、会話の切り替わりの最適値（無音区間の長さ）を事前に評価し、評価した無音区間の長さに最も近い無音区間を伴った区切りを、再生開始位置としてもよい。なお、好適な無音区間の長さは、例えば３−４秒、あるいは２−３秒、もしくは１−２秒である。また、無音区間の中で、どの位置にシークさせるか（再生開始位置を無音区間のどの位置にするか）についても、無音区間の中間点、終点もしくは先頭、等、いずれでも構わない。

次に、音声再生プログラム２０２による保存された音声の再生及び音声の録音、ならびに録音前の設定について、ＰＣ本体１０のタッチパネル２２の表示面の画像表示２１０の表示例とともに説明する。

図４により既に説明した再生中画面表示は、音声再生プログラム２０２が含む「録音開始前」画面表示２１０−１（図８（ａ））、「録音中」画面表示２１０−２（図８（ｂ））及び「再生中」画面表示２１０−３（図８（ｃ））のそれぞれの画面表示のうちのユーザ操作（指示入力）に対応して表示された「再生中」画面表示２１０−３（図８（ｃ））に相当する。また、音声再生プログラム２０２の動作時の画面表示について、図９−図１６により、拡大表示あるいは説明のための模式的な表示を付属させて説明する。

すなわち、図８に一例を示す音声再生プログラム２０２が含む「録音開始前」画面表示２１０−１、「録音中」画面表示２１０−２及び「再生中」画面表示２１０−３のそれぞれは、ユーザ操作（指示入力）に対応して、その都度、遷移する。なお、図８（ａ）、図８（ｂ）及び図８（ｃ）、ならびに図９−図１６は、画面表示例を表示するが、タッチパネル２２は、ＬＣＤ２１が表示する画面表示に対応する制御入力が可能であることはいうまでもない。

図８（ａ）が示す「録音開始前」画面表示２１０−１は、例えばインデックス部表示２２７を、画面表示２１０−１を左右２分割表示とした表示の左右の一方に含む。なお、拡大した画面表示例を図９に示す。

図８（ａ）及び図９における「録音開始前」画面表示２１０−１のインデックス部表示２２７は、既に録音され、保存されている記録済みのレコード名を表示する。

図８（ｃ）が示す「再生中」画面表示２１０−３及び図１０が示す画面表示１０１１は、図４により既に説明した表示例と実質的に同一であるから詳細な説明を省略するが、第一の表示領域４１１に、タイムバー２１１とロケーター２１１ａとを含む。また、第二の表示領域４１２は、音声コンテンツ（音声データ）の再生位置（時間）を表示する再生位置表示欄２２１、発言バー２２２ａ，２２２ｂ，・・・，２２２ｎ、話者識別子２２３ａ，２２３ｂ，・・・，２２３ｎ、現在位置マーク（ライン）２２４、マーキング制御子（☆マーク）２２５、等を含む。また、第三の表示領域４１３は、一時停止ボタン２３１／再生ボタン２３２、停止ボタン２３３、スキップボタン（進む）２３４Ｆ、スキップボタン（戻る）２３４Ｒ、スロー再生ボタン２３５、高速再生ボタン２３６、☆マークスキップボタン（進む）２３７Ｆ、☆マークスキップボタン（戻る）２３７Ｒ、マーキング制御子（☆マーク）一覧表示ボタン２３８、リピートボタン２３９、戻るボタン２４０、等を含む。第三の表示領域４１３はまた、画面表示２１０内の表示形式を後段に説明するスナップビュー画面との間で切り換える表示切り換えを指示入力可能な表示切り換えボタン２４１を含む。

表示切り換えボタン２４１をタッチまたはタップすると、図１１が示す画面表示１１１１のように、第一の表示領域４１１−第三の表示領域４１３が、画面表示１１１１を左右２分割表示とした表示の左右の一方に、スナップビュー画面２４５が表示される。スナップビュー画面２４５は、例えば特定された個々の話者の発言バー毎に、その開始時間と終了時間とを、順に表示する。

図８（ｃ）または図９もしくは図１１において、例えば第一の表示領域（［レコード名、認識された話者／全体ビュー、ステータス］欄）４１２内の任意の場所をタップすると、タップされた位置に対応する再生時間の近傍の音声データの再生を実行する制御コマンドを、ＰＣ本体１０のＣＰＵ１０１に入力可能である。

また、第二の表示領域（［拡大ビュー、ステータス］欄）４１２が表示する任意の場所の表示をドラッグした場合には、実質的にシーク操作と同様の表示制御及び再生位置の変更（設定）が可能である。また、話者識別の表示方法として、選択した話者の表示のみの表示色を変更することが可能である。なお、発言が短い場合においても、最低ピクセル数にて話者を特定可能に、表示することができる、さらに、第二の表示領域４１２内の中央底部付近に、再生中の発言（音声の一群）の再生時間あるいは発言の総時間もしくは同一の話者の発言の時間を合計した話者別総時間、等の時間表示２４３を表示することが可能である。

また、拡大ビュー（第二の表示領域）４１２においては、拡大部分全体を左右にドラッグして、再生位置を微調整するための制御コマンドを入力可能である。

拡大ビュー時に、拡大表示部分を、例えばフリックあるいはスワイプによりスクロールした場合は、上述の音声再生プログラム２０２の起動及び動作により、音声データの再生開始位置を発言（音声データ）の先頭の位置に自動調整（スナップ）する。なお、スクロールは、慣性をつけた表示（動作）であることが好ましい。

なお、図１１が示す画面表示１１１１においては、スナップビュー画面表示２４５を表示したことにより、第一の表示領域４１１−第三の表示領域４１３のそれぞれの表示幅がせまくなる。このため、例えば話者表示領域２１２が表示する話者数が表示領域のサイズに収まりきらない場合に、スクロールを促すために一部を途切れさせた「見切れ表示（Ticker，特定範囲内に文字列を流して（都度、ある文字の表示位置を一方向に変化させて）表示する）」が可能である。

図１２は、マーキング制御子（☆マーク）一覧表示ボタン２３８のタッチまたはタップにより、☆マーク（マーキング制御子）２２５が付与されている全ての発言バーを、ポップアップ表示により☆マークが付与されているファイル一覧表示２５１として表示した表示例である。なお、図１２が示す☆マークが付与されているファイル一覧表示２５１は、任意の話者の音声データの再生中に、☆マーク（識別子）２２５をタッチまたはタップすることにより、選択された話者の音声データの個数及び個々の音声データの録音された時間の総時間に対する概略の位置（総時間に対して、どのあたりの時間に録音されているか）を表示することも可能である。

図１３は、図８（ｃ）、図９もしくは図１１において例示した第一の表示領域４１１が表示する表示時間の全長を１／４時間（１５分）とした「再生中」画面が表示するタイムバーの表示例である。すなわち、図１３が示すように、図９において現在再生位置２２４に差しかかって再生されている話者の発言（発言バー２２２ｄ及び話者識別表示［Ｄ］２２３ｄ）の発言についてタイムバー２１１の表示範囲を変更することにより、対応する１つの発言バーが表示する音声データの再生位置を、より詳細に表示することができる。なお、拡大ビューにおいては、拡大部分全体の表示幅（横いっぱい）において、約３０秒とする。

図８（ｂ）が示す「録音中」画面表示２１０−２及び図１４に示す「録音中」画面表示１４１０は、第一の表示領域１４１１に、タイムバー表示及びロケーター表示を持たず、録画時間表示部表示２１０−２１（図１４における２６１）に、録画時間（経過時間）を表示する。また、話者を表示する話者表示領域２１２には、録音に際しては、話者判定部３２３による話者判定がないため、フィードバック処理部３３０からの出力として、例えば「−」，・・・，［−］等の再生時とは異なる動作中であることを表示するための映像信号（表示信号）を出力し、表示することが好ましい。なお、既に保存されている音声データすなわち録音済リストを表示可能な［リスト表示］欄２２７を表示するためのリスト表示ボタン２１３が、所定の位置に表示される。、
第二の表示領域１４１２には、録音中であってもリアルタイムに解析可能な一部の情報、例えば音声区間の検出結果（発言バー）２２２ａ−２２２ｎ、のみを表示する。なお、話者判定部３２３による話者判定がないため、話者識別については、例えば「−」，・・・，［−］２２３ａ−２２３ｎにより、音声区間を検出できたことのみを表示することが好ましい。また、現在の録音時間（位置）を表示する現在位置マーク（ライン）２２４は、再生中に比較して、表示欄２２１の右側の所定の位置に、移動されることが好ましい。

また、マーキング制御子（☆マーク）２２５は、発言バー２２２ａ−２２３ｎの長さ方向（時間）の概ね中央近傍に表示され、☆マーク２２５付近をタップすることにより、録音中の発言単位に、印をつける（マーキングする）ことが可能である。

第三の表示領域１４１３には、一時停止ボタン２３１／録音ボタン２６２、停止ボタン２３３、戻るボタン２４０、等を含む。第三の表示領域４１３はまた、画面表示２１０内の表示形式を図１５に一例を示すスナップビュー画面との間で切り換える表示切り換えを指示入力可能な表示切り換えボタン２４１を含む。なお、一時停止ボタン２３１と録音ボタン２６２とは、タッチまたはタップされる毎に、トグル方式により交互に表示される。従い、録音ボタン２６２にタッチまたはタップすることで、現在の話者の発言の録音が開始される。また、録音ボタン２６２により現在の話者の発言が録音されている状態においては、一時停止ボタン２３１が表示される。従い、一時停止ボタン２３１にタッチまたはタップされた場合、録音が一時的に停止され、録音ボタン２３２が表示される。

なお、図１５に一例を示すスナップビュー画面表示においては、画面表示１５１１のように、第一の表示領域１４１１−第三の表示領域１４１３が、画面表示１７１１を左右２分割表示とした表示の左右の一方に、スナップビュー画面２７１が表示される。スナップビュー画面２７１は、例えば特定された個々の音声区間毎に、その開始時間と終了時間とを、順に表示することができる。

また、スナップビュー画面表示においては、［全体ビュー／タイムライン、ガイド］欄（第一の表示領域）１４１１中の音声区間領域１４１２において、検出できた音声区間数が表示領域のサイズに収まりきらない場合に、スクロールを促すために一部を途切れさせた「見切れ表示（Ticker，特定範囲内に文字列を流して（都度、ある文字の表示位置を一方向に変化させて）表示する）」が可能である。これにより、録音された音声区間が音声区間領域１４１２における表示数よりも多いことをユーザに報知できる。

図１６は、録画中の画面表示の別の表示の一例を示す。例えば、画面表示２１０内に、音声／音響の入力のある方向すなわち話者の居る方向を推定した結果を示す話者方向マーク２１９を表示し、検出している音声の発話者の居る方向を表示することも可能である。

なお、図１４−図１６が示す音声区間は、録音が終了した以降の所定のタイミングで、録音した全データについて統計解析（クラスタリング分析）され、話者特定される。特定された話者については、再生中表示に際して、話者表示に更新される。

なお、上述した音声再生プログラム２０２の再生開始位置調整部３２２が検出した無音区間を用いることにより、保存されている録音された音声データを、図１７もしくは図１８に示すように、編集できる。図１７は、例えば録音した音声データの一部区間の削除の一例を示す。図１８は、音声データのうちの必要情報の切り出し（トリミング）の一例を示す。すなわち、図１７あるいは図１８に示す編集においても、対象となる音声データの先頭を、容易に設定できる。

例えば、図１７に示すように、図４に２１１と示したタイムバーの所定の位置に位置するロケーター２１１ａ（図４参照）のユーザの指による移動による（指示入力）［ａ］−［ｃ］により、録音した音声データの一部区間を削除することができる。

はじめに、タイムバー２１１のロケーター２１１ａに対するユーザの指の第一の動作、例えばタイムバー２１１が延びる方向と直交する方向からタイムバー２１１へ向かう動作を検出する［ａ］。

次に、ロケーター２１１のタイムバー２１１上のユーザの指による移動（第二の動作）を対象区間の設定動作と判断する［ｂ］。

次に、ユーザの指の移動方向（第三の動作）に基づいて、ユーザが指示入力する処理の内容を特定する［ｃ］。

例えば、ユーザの指の移動方向が［ｂ］による対象区間の設定のための指の移動方向と概ね直交する場合であって、その移動方向が、タッチパネル２２の表示面が表示する画像表示の基底部（正立表示した画面表示の底辺）に向かう方向である場合に、『削除』と定義する。

このとき、ユーザの指の第一の動作［ａ］及びユーザの指の第三の動作により特定するユーザの指の第二の動作の終端位置［ｂ］のそれぞれにおいて、上述の自動調整を、適用できる。

すなわち、ユーザは、時間軸上に表示された音声データの一部区間のデータを削除する場合、削除開始位置（音声区間の先端）及び削除終了位置（音声区間の後端）を、タッチパネル２２が表示するタイムバー２１１上で、おおまかに指示（入力）するのみで、削除する音声データの区間を、音声区間の先端の無音区間からその音声区間の後端の無音区間の範囲に、容易に設定できる。これにより、録音した音声データの一部区間を削除する場合に、直感的に削除区間を設定することができる。

図１８は、図４に２１１と示したタイムバーの所定の位置に位置するロケーター２１１ａ（図４参照）のユーザの指による移動による（指示入力）［ａ］−［ｃ］により、録音した音声データの一部区間（必要情報）の切り出し（トリミング）を行う例を示す。

はじめに、タイムバー２１１のロケーター２１１ａに対するユーザの指の第一の動作、例えばタイムバー２１１が延びる方向と直交する方向からタイムバー２１１へ向かう動作を検出する［ａ］。

次に、ロケーター２１１のタイムバー２１１上のユーザの指による移動（第二の動作）を対象区間の設定動作と判断する［ｂ］。

次に、ユーザの指の移動方向（第三の動作）に基づいて、ユーザが指示入力する処理の内容を特定する［ｃ］。

例えば、ユーザの指の移動方向が［ｂ］による対象区間の設定のための指の移動方向と概ね直交する場合であって、その移動方向が、タッチパネル２２の表示面が表示する画像表示の上方（正立表示した画面表示の頂部）に向かう方向である場合に、『切り出し（トリミング）』と定義する。

このとき、ユーザの指の第一の動作［ａ］及びユーザの指の第三の動作により特定するユーザの指の第二の動作の終端位置［ｂ］のそれぞれにおいて、上述の自動調整を、適用できる。

すなわち、ユーザは、時間軸上に表示された音声データの一部区間のデータを切り出す（トリミングする）場合、対象となる音声区間の先端（開始位置）及び後端（終了位置）を、タッチパネル２２が表示するタイムバー２１１上で、おおまかに指示（入力）するのみで、切り出す（トリミングする）音声データの区間を、音声区間の先端の無音区間からその音声区間の後端の無音区間の範囲に、容易に設定できる。

これにより、録音した音声データの必要情報の切り出し（トリミング）の対象となる区間を、直感的に設定することができる。

なお、図１７または図１８が示す上述の処理例においては、以下に説明する話者特定と関連付けて、同一の話者の先話（判定された区間が異なる複数の同一の話者の音声データ）を全て切り出して保存することも可能である。この場合、例えばＵＩ（User Interface）画面を表示し、特定された区間のみの音声データの保存であるか、同一話者に関する全ての音声データの保存であるか、の指示入力を、ユーザに選択させることが好ましい。

また、上述した実施の形態においては、タイムバー上のロケーターの操作以外に、話者識別結果を表示する音声録音コンテンツの場合、タイムバーの表示範囲に応じて、話者識別された発話区間の先頭から再生するように、自動調整することが好ましい。

また、上述した実施の形態においては、タイムバー上のロケーターの操作以外に、話者識別結果を表示する音声録音コンテンツの場合、タイムバーの表示範囲に応じて、シーク位置近傍の音声データをバッファリングし、区間判定を行うことで、再生位置を自動調整することが好ましい。

また、上述した実施の形態においては、タイムバー上のロケーターの操作以外に、話者識別結果を表示する音声録音コンテンツの場合、タイムバーの表示範囲に応じて、あえて自動調整は行わないようにすることが好ましい。

また、上述した実施の形態においては、タイムバーの表示範囲は、ズームイン・ズームアウト操作で切り替えられることが好ましい。

また、上述した実施の形態においては、タッチパネルからユーザ指示を入力する場合、ズームイン・ズームアウト操作は、通常のボタン以外に加え、ピンチイン・ピンチアウトで操作してできることが好ましい。

また、上述した実施の形態においては、図１７及び図１８により説明した編集時のように、タイムバー上のロケーターの操作以外にも、音声ファイル切り出し、等の編集操作を行う場合の範囲指定において、指定近傍の音声データをバッファリングし、区間判定を行うように自動調整することが好ましい。その場合、タッチパネルからのユーザ指示入力に際して、編集操作時のトリミング（切り出し保存）、区間削除の指示入力として、フリックが利用可能であることが好ましい。

以下、音声再生プログラム２０２の機能とタッチパネル２２の表示面に対応する画像表示について、さらに説明する。

以下に、音声再生プログラム２０２の仕様を説明する。

図４、図８−図１６を用いて説明した音声再生プログラム２０２の動作時の画面表示例と、それぞれの表示に対応する機能は、以下の通りである。

［録音前］
［メイン画面］
［録音ファイルの一覧表示］
録音済みのファイルを一覧表示
−ファイル名（会議名）
−録音日時（ｙｙｙｙ／ｍｍ／ｄｄ）
（ｈｈ：ｍｍ：ｓｓ − ｈｈ：ｍｍ：ｓｓ）
−録音時間（ｈｈ：ｍｍ：ｓｓ）
−ファイルプロテクトマーク。

［録音済みファイルのシェア］
録音済みファイルをシェアできる。

［会議名の入力］
録音開始前に会議名を事前に入力できる。

［アプリバーの表示］
表示画面下部の所定の位置に「アプリバー」を表示する。

［新規録音ボタン］
録音を開始する。

［録音可能時間残量の表示］
ストレージ残量から録音可能時間を表示（ｈｈ：ｍｍ：ｓｓ）。

［ソート機能］
以下の項目で録音済みファイルのソートが可能
−作成日時が新しい順／古い順
−名前順
−参加人数が多い順／少ない順。

［使用方法説明の表示］
使用方法の説明を表示する。

［拡大ビューの表示］
リアルタイムに話者の切り替わりが分かるライン形式の表示バーを表示。

［アプリバー］
［（選択されたファイルの）削除］
（選択された）録音済みのファイルを削除。

［ファイルを選択］
録音済みファイル一覧を選択モードで表示する。

［エクスポート］
所定のフォルダに選択したファイルをエクスポートする。

［編集］
録音済みファイルの以下の項目を編集できる
−会議タイトル
−参加人数。

［選択解除］
選択済みのファイルの選択の解除。

［再生］
選択されたファイルの再生。

［全て選択］
録音済みのファイルを全て選択。

［その他］
［タブレット操作音キャンセル Ｏｎ／Ｏｆｆ］
ＯＮ／ＯＦＦが交互に切り替わるトグルボタン方式
ペン音やキーボードタイプ音を抑圧する。

［ノイズ除去 Ｏｎ／Ｏｆｆ］
ＯＮ／ＯＦＦが交互に切り替わるトグルボタン方式
空調の音やＰＣのファンの音等を抑圧する。

［プリレコーディング Ｏｎ／Ｏｆｆ］
録音開始ボタンを押下する前のデータを遡って録音する。

［マイクゲインコントロール Ａｕｔｏ／Ｍａｎｕａｌ］
ＡＵＴＯ／ＯＦＦが交互に切り替わるトグルボタン方式
マイクゲインの自動調整を設定できる。

［ヘルプ］
ヘルプファイルを表示。

［バージョン情報］
アプリケーションのバージョンを表示。

［録音中］
［メイン画面］
［会議名の表示］
録音前の画面で決定した会議名を表示する。

［会議名の追記・修正］
会議名を編集できる。

［会議参加者の表示］
参加者をアルファベットで表示する。

［☆マークの表示］
☆マークをタップすることで、該当発話区間に目印をつける。

［停止ボタンによる停止］
録音停止、録音停止後、録音前画面に遷移する。

［録音ボタンによる録音一時停止］
録音一時停止。

［録音ボタンによる録音再開］
録音再開。

［録音時間残量が少ない場合の自動停止］
録音可能時間の残量が少ない場合は自動停止する
−自動停止前にポップアップでユーザに録音停止する旨通知する。

［ユーザー通知（トースト）］
以下の動作においてユーザー通知する
−録音可能時間が少なくなった時
−バックグラウンド録音中での通知
（定期的に録音中というメッセージと録音時間を表示）。

［会議参加人数の確認・選択画面］
録音終了時にユーザに選択させる
−２〜３名が発言
−３〜５名が発言
−６名以上が発言。

［録音経過時間の表示］
録音経過時間を表示（ｈｈ：ｍｍ：ｓｓ）。

［拡大ビューの表示］
拡大ビュー時、アルファベットで話者を表示する。

［アプリバー］
［編集］
会議名及び参加人数を編集できる。

［スナップ表示］
［会議参加者の表示］
会議参加者をアルファベットで表現する。

［バックグランド］
［定期的にトーストで通知］
録音停止忘れ防止等の為に定期的に通知する。

［再生中］
［メイン画面］
［会議名の表示］
会議名を表示する。

［会議名の追記・編集］
会議名を追記・編集できる。

［会議参加者の表示］
会議参加者をアルファベットで表示する。

［再生ボタン］
再生開始。

［再生一時停止］
一時停止。

［停止ボタンによる停止］
停止、停止後ファイルを閉じることも設定により可能。

［スロー再生ボタン］
スロー再生を実行する
（０．５倍速／０．７５倍速）。

［高速再生ボタン］
高速再生を実行する
（１．２５倍速／１．５倍速／１．７５倍速／２．０倍速）。

［☆マーク一覧から選ぶボタン］
☆マークのファイルの一覧を表示する。

［☆マークスキップボタン］
☆マークをスキップ再生する。

［再生位置の時間表示］
再生位置の時間を表示する。

［録音時間の表示］
録音時間を表示する。

［スキップボタンの表示］
ボタン操作で、前後の発話区間にジャンプする。

［リピートボタンの表示］
ボタン操作でリピート再生する。

［戻るボタン］
録音開始画面に戻る。

［特定話者のみ表示］
以下の条件で特定話者の発話を再生する
−拡大ビューの中から選択された参加者の発話のみ表示する
−特定話者（複数話者選択可能）の発話のみ再生する。

［時間目盛り］
実時間を表すスケールを表示する。

［再生中の発言に対するシークバー（ロケーター）の表示］
現在再生中の位置を表示する。

［再生中の発言に対するシークバー（ロケーター）のスクロール（移動）］
スクロール（移動）された再生位置をシークする。

［全体ビューの表示］
録音コンテンツの全体を表示する。

［再生位置微調整］
全体ビューの再生位置をスワイプ操作で調整する。

［再生箇所拡大表示枠］
現在再生している箇所付近を示す拡大枠を表示する。

［拡大ビューの表示］
拡大ビュー時、話者をアルファベットで表示する。

［☆マークの表示］
☆マークをタップすることで、該当発話区間に目印をつけることができる。

［☆マークのエクスポート］
☆マーク一覧表示されている☆マークを選択して、エクスポートする。

［アプリバー］
［無音区間スキップＯＮ／ＯＦＦ］
無音区間のスキップＯＮ／ＯＦＦを設定する。

［特定話者のみ再生］
特定話者の発話のみ再生する。

［編集］
会議名及び参加人数を編集できる。

［スナップ表示］
［会議参加者の表示］
会議参加者をアルファベットで表現。

［全般（その他）］
［画面回転］
ランドスケープ／ポートレートに対応。

［バックグラウンド録音］
アプリケーションがバックグラウンドに遷移しても録音を継続する。

［スナップ画面のスケーリング］
アプリケーションをスナップ表示する。

このように、本実施形態により、ユーザが音声・音響信号を含むコンテンツを再生する時に、タイムバーとロケーターとを再生映像とともにディスプレイに表示し、ロケーターの移動により再生位置を任意にシークした場合、音声・音響信号の再生開始位置を、音声・音響信号の切れ間に、自動調整することが可能となる。

本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。

Claims (18)

1. 電子機器であって、
   スクリーンと、
   前記電子機器の周辺の音を取り込み、音声情報を生成するマイクロフォンと、
   前記音声情報を記録している期間中に、前記マイクロフォンによって第１ユーザによる発言単位の第１区間の発言と第２ユーザによる発言単位の第２区間の発言が取り込まれた場合、前記第１ユーザの発言単位の第１区間の発言の長さに対応する長さを有する第１バーを前記スクリーン上に表示し、前記第２ユーザの発言単位の第２区間の発言の長さに対応する長さを有する第２バーを前記スクリーン上に表示するものであって、前記第１バーの長手方向と前記第２バーの長手方向とは同一であって、前記第１バー及び前記第２バーはユーザにより選択可能である、表示制御手段と、
   前記音声情報を記録している期間中に、前記第１バーまたは前記第２バーを選択するためのユーザの操作を受け付ける受付手段と、
   前記音声情報を記憶媒体に記録する記録手段と、
   記録された前記音声情報を再生する再生手段と、を備え
   前記音声情報を再生している期間中に、前記表示制御手段は、前記第１区間の長さに対応する長さを有する第３バーと、前記第２区間の長さに対応する長さを有する第４バーと、前記音声情報に含まれる音声の区間の長さに対応する長さを有するシークバーとを前記スクリーン上に表示するものであって、前記第３バーの長手方向と前記第４バーの長手方向と前記シークバーの長手方向とは、同一であって、
   前記シークバー上の第１位置が指定された場合、前記再生手段は、前記第１位置に対応する第１時点から、前記音声情報を再生するものであって、
   前記第１バーが選択された場合には、前記表示制御手段は、前記第３バーを、他のバーとは識別可能に表示するものであって、
   前記第２バーが選択された場合には、前記表示制御手段は、前記第４バーを、他のバーとは識別可能に表示するものであることを特徴とする電子機器。
2. 前記表示制御手段は、前記音声情報が再生されているとき、前記音声情報に含まれる音声の区間のどの時点が再生されているかを示す識別子を前記スクリーン上に表示する請求項１に記載の電子機器。
3. 前記表示制御手段は、前記第１ユーザを識別可能な情報を前記第３バーと関連付けて表示し、前記第２ユーザを識別可能な情報を前記第４バーと関連付けて表示する請求項１または請求項２に記載の電子機器。
4. 前記第２区間が前記第１区間の後に続く場合であって、前記第１区間の再生中に、第１操作がなされた場合、前記再生手段は、前記第１操作に応じて、前記第１区間の再生を停止し、前記第２区間の再生を開始し、
   前記第２区間が前記第１区間の後に続く場合であって、前記第２区間の再生中に、第２操作がなされた場合、前記再生手段は、前記第２操作に応じて、前記第２区間の再生を停止し、前記第１区間の再生を開始する請求項１乃至請求項３のいずれか１項に記載の電子機器。
5. 前記第１時点は、前記第１位置により特定される第２時点の近傍であって、前記第２時点よりも前の時点に決定される請求項１乃至請求項４のいずれか１項に記載の電子機器。
6. 前記第１時点は、前記第２時点の近傍に位置する無音区間に基づいて決定される請求項５に記載の電子機器。
7. 電子機器により実行される方法であって
   マイクロフォンにより音を取り込み音声情報を生成し、
   前記音声情報を記録している期間中に、前記マイクロフォンによって第１ユーザによる発言単位の第１区間の発言と第２ユーザによる発言単位の第２区間の発言が取り込まれた場合、前記第１ユーザの発言単位の第１区間の発言の長さに対応する長さを有する第１バーを前記スクリーン上に、ユーザにより選択可能に表示し、前記第１バーの長手方向と長手方向を同一として、前記第２ユーザの発言単位の第２区間の発言の長さに対応する長さを有する第２バーを前記スクリーン上に、ユーザにより選択可能に表示し、
   前記音声情報を記録している期間中に、前記第１バーまたは前記第２バーを選択するためのユーザの操作を受け付け、
   前記音声情報を記憶媒体に記録し、
   記録された前記音声情報を再生する方法であって、
   前記音声情報を再生している期間中に、前記第１区間の長さに対応する長さを有する第３バーと、前記第２区間の長さに対応する長さを有する第４バーと、前記音声情報に含まれる音声の区間の長さに対応する長さを有するシークバーとを前記第３バーの長手方向と前記第４バーの長手方向と前記シークバーの長手方向を同一としてスクリーン上に表示し、
   前記シークバー上の第１位置が指定された場合、前記第１位置に対応する第１時点から前記音声情報を再生し、
   前記第１バーが選択された場合には、前記第３バーを、他のバーとは識別可能に表示し、
   前記第２バーが選択された場合には、前記第４バーを、他のバーとは識別可能に表示する方法。
8. 前記音声情報が再生されているとき、前記音声情報に含まれる音声の区間のどの時点が再生されているかを示す識別子を前記スクリーン上に表示する請求項７に記載の方法。
9. 前記第１ユーザを識別可能な情報を前記第３バーと関連付けて表示し、前記第２ユーザを識別可能な情報を前記第４バーと関連付けて表示する請求項７または請求項８に記載の方法。
10. 前記第２区間が前記第１区間の後に続く場合であって、前記第１区間の再生中に、第１操作がなされた場合、前記第１操作に応じて、前記第１区間の再生を停止し、前記第２区間の再生を開始し、
    前記第２区間が前記第１区間の後に続く場合であって、前記第２区間の再生中に、第２操作がなされた場合、前記第２操作に応じて、前記第２区間の再生を停止し、前記第１区間の再生を開始する請求項７乃至請求項９のいずれか１項に記載の方法。
11. 前記第１時点は、前記第１位置により特定される第２時点の近傍であって、前記第２時点よりも前の時点に決定される請求項７乃至請求項１０のいずれか１項に記載の方法。
12. 前記第１時点は、前記第２時点の近傍に位置する無音区間に基づいて決定される請求項１１に記載の方法。
13. コンピュータに、
    マイクロフォンより生成された音声情報を取得させ、
    前記音声情報を記録している期間中に、前記マイクロフォンによって第１ユーザによる発言単位の第１区間の発言と第２ユーザによる発言単位の第２区間の発言が取り込まれた場合、前記第１ユーザの発言単位の第１区間の発言の長さに対応する長さを有する第１バーを前記スクリーン上に、ユーザにより選択可能に表示させ、前記第１バーの長手方向と長手方向を同一として、前記第２ユーザの発言単位の第２区間の発言の長さに対応する長さを有する第２バーを前記スクリーン上に、ユーザにより選択可能に表示させ、
    前記音声情報を記録している期間中に、前記第１バーまたは前記第２バーを選択するためのユーザの操作を受け付け、前記音声情報を記憶媒体に記録し、記録された前記音声情報を再生するプログラムであって、
    前記音声情報を再生している期間中に、前記第１区間の長さに対応する長さを有する第３バーと、前記第２区間の長さに対応する長さを有する第４バーと、前記音声情報に含まれる音声の区間の長さに対応する長さを有するシークバーとを前記第３バーの長手方向と前記第４バーの長手方向と前記シークバーの長手方向を同一としてスクリーン上に表示させ、
    前記シークバー上の第１位置が指定された場合、前記第１位置に対応する第１時点から前記音声情報を再生を開始させ、
    前記第１バーが選択された場合には、前記第３バーを、他のバーとは識別可能に表示させ、
    前記第２バーが選択された場合には、前記第４バーを、他のバーとは識別可能に表示させる、プログラム。
14. 前記コンピュータに、
    前記音声情報が再生されているとき、前記音声情報に含まれる音声の区間のどの時点が再生されているかを示す識別子を前記スクリーン上に表示させる請求項１３に記載のプログラム。
15. 前記コンピュータに、
    前記第１ユーザを識別可能な情報を前記第３バーと関連付けて表示させ、
    前記第２ユーザを識別可能な情報を前記第４バーと関連付けて表示させる請求項１３または請求項１４に記載のプログラム。
16. 前記コンピュータに、
    前記第２区間が前記第１区間の後に続く場合であって、前記第１区間の再生中に、第１操作がなされた場合、前記第１操作に応じて、前記第１区間の再生を停止させ、前記第２区間の再生を開始させ、
    前記第２区間が前記第１区間の後に続く場合であって、前記第２区間の再生中に、第２操作がなされた場合、前記第２操作に応じて、前記第２区間の再生を停止させ、前記第１区間の再生を開始させる請求項１３乃至請求項１５のいずれか１項に記載のプログラム。
17. 前記コンピュータに、
    前記第１時点は、前記第１位置により特定される第２時点の近傍であって、前記第２時点よりも前の時点に決定させる請求項１３乃至請求項１６のいずれか１項に記載のプログラム。
18. 前記コンピュータに、
    前記第２時点の近傍に位置する無音区間に基づいて前記第１時点を決定させる請求項１７に記載のプログラム。

Images