JP2013229658A - 処理装置、処理方法、プログラム、記録媒体及び処理システム - Google Patents

Abstract

【課題】入力される音に含まれる非音声音に応じて被制御部を制御し、入力される音から非音声音を除去することが可能な処理装置を提供すること。
【解決手段】周囲の音を集音して音信号に変換する音信号変換部と、前記音信号変換部によって変換された前記音信号から非音声音信号を検出する非音声音検出部と、前記非音声音信号の検出パターンと被制御部の制御情報とを対応させて記憶する記憶部と、前記非音声音検出部によって検出された検出パターンに対応する制御情報を前記記憶部から取得する制御情報取得部と、前記パターン認識部によって取得される前記制御情報に基づいて前記被制御部を制御する制御部と、前記音信号から前記非音声音検出部によって検出された前記非音声音信号を除去する非音声音除去部とを備える処理装置。
【選択図】図１

Description

本発明は、処理装置、処理方法、プログラム、記録媒体及び処理システムに関する。

例えばテレビ、ビデオ、プロジェクタ等の様に、ユーザが離れた位置から利用できる様々な装置がある。この様な装置において、例えばテレビの音量、プロジェクタの画像調整、或いはテレビ会議システム等におけるカメラの向きやマイクの音量等を操作する場合には、利用者が装置本体に設けられている操作部で直接操作するか、リモコン等を用いて操作を行うのが一般的である。

しかし、本体の操作部で直接操作する場合には、利用者が離れた位置から装置本体まで移動する必要が生じる。また、リモコンを用いる場合であっても、複数人での利用時には操作者にリモコンを手渡しする等の動作が必要となり、何れの場合にも煩雑な動作を要する。

そこで、発音部により発生されるリズム音に合わせた声や手打ち等の音波を検知することで、チャンネル、音量及び電源の操作を行うリモコン装置が知られている（例えば特許文献１参照）。特許文献１に記載されているリモコン装置によれば、利用者は離れた位置から装置の操作を行うことができる。

しかしながら、例えば装置が集音した音声等を保存する場合や、集音した音声等をネットワークを介して接続される他の装置に送信する場合等には、保存や送信等される音声に装置を操作するための音が含まれてしまう、という問題がある。

本発明は上記に鑑みてなされたものであって、入力される音に含まれる非音声音に応じて被制御部を制御し、入力される音から非音声音を除去することが可能な処理装置を提供することを目的とする。

本発明の一態様によれば、周囲の音を集音して音信号に変換する音信号変換部と、前記音信号変換部によって変換された前記音信号から非音声音信号を検出する非音声音検出部と、前記非音声音信号の検出パターンと被制御部の制御情報とを対応させて記憶する記憶部と、前記非音声音検出部によって検出された検出パターンに対応する制御情報を前記記憶部から取得する制御情報取得部と、前記パターン認識部によって取得される前記制御情報に基づいて前記被制御部を制御する制御部と、前記音信号から前記非音声音検出部によって検出された前記非音声音信号を除去する非音声音除去部とを備える。

本発明の実施形態によれば、入力される音に含まれる非音声音に応じて被制御部を制御し、入力される音から非音声音を除去することが可能な処理装置を提供できる。

第１の実施形態に係る会議端末の機能構成を例示するブロック図である。 第１の実施形態に係る会議端末のハードウェア構成を例示する図である。 第１の実施形態に係る会議端末の制御フローチャートを例示する図である。 第１の実施形態に係る会議端末の音信号変換部に入力される音を例示する図である。 第１の実施形態に係る会議端末の非音声音検出部の機能構成を例示するブロック図である。 第１の実施形態に係る会議端末の非音声音検出部における非音声音信号の検出処理のフローチャートを例示する図（１）である。 第１の実施形態に係る会議端末の非音声音検出部による非音声音の検出結果を例示する図である。 第１の実施形態に係る会議端末の非音声音検出部における非音声音信号の検出処理のフローチャートを例示する図（２）である。 第１の実施形態に係る会議端末における被制御部の制御手順のシーケンスを例示する図である。 第１の実施形態に係る会議端末における制御情報取得部の認識部が備えるバッファに記憶される非音声音検出結果を例示する図である。 第１の実施形態に係る会議端末の制御情報記憶部の制御情報を例示する図である。 第１の実施形態に係る会議端末において制御情報の確認を行う制御フローチャートを例示する図である。 第１の実施形態に係る会議端末におけるディスプレイへの制御情報の表示例を示す図である。 第１の実施形態に係る会議端末の制御情報記憶部の確認情報を例示する図である。 第２の実施形態に係る会議システムにおける会議端末及び他の会議端末のハードウェア構成を例示する図である。 第２の実施形態に係る会議システムにおける会議端末及び他の会議端末の機能構成を例示するブロック図である。

以下、図面を参照して発明を実施するための形態について説明する。各図面において、同一構成部分には同一符号を付し、重複した説明を省略する場合がある。

[第１の実施形態]
第１の実施形態として、本発明に係る処理装置の一例としての会議端末１００について説明するが、本発明の実施形態はこれに限るものではなく、例えばテレビ、ビデオカメラ、デジタルカメラ、ＩＣレコーダ等の様々な装置に適用することが可能である。

＜会議端末の機能構成＞
図１は、第１の実施形態に係る会議端末１００の機能構成を例示するブロック図である。

図１に示す様に、会議端末１００は、音信号変換部１０１、非音声音検出部１０２、非音声音除去部１０３、制御情報取得部１０４、制御情報記憶部１０５、制御部１０６、被制御部１０７、送信部１０８、保存部１０９等を有する。

音信号変換部１０１は、会議端末１００の周囲の音を集音して音信号に変換し、非音声音検出部１０２及び非音声音除去部１０３に音信号を送信する。音信号変換部１０１は、例えばマイクロホン等を含んで構成できる。

非音声音検出部１０２は、音信号変換部１０１から入力される音信号に非音声音信号が含まれているか否かを判定し、非音声音検出結果を非音声音除去部１０３と制御情報取得部１０４に送信する。

非音声音除去部１０３は、非音声音検出部１０２から送信される非音声音検出結果に基づいて、受信部１０１から送信される音信号から非音声音信号を除去し、被制御部１０７、保存部１０９に出力する。

制御情報取得部１０４は、非音声音検出部１０２による非音声音信号の検出パターンを認識する。制御情報取得部１０４は、検出パターンに対応する制御情報を制御情報記憶部１０５から取得し、制御部１０６に送信する。制御情報取得部１０４が非音声音信号の検出パターンを認識し、制御情報を取得する方法については後述する。

制御情報記憶部１０５は、制御情報取得部１０４によって認識される非音声音信号の検出パターンと、被制御部１０７の制御情報とを対応して記憶する記憶部の一例である。

制御部１０６は、制御情報取得部１０４から送信される制御情報に基づく制御信号を送信することで、被制御部１０７の制御を行う。

被制御部１０７は、ディスプレイ１０７ａ、スピーカ１０７ｂ、カメラ１０７ｃを有する。ディスプレイ１０７ａは、カメラ１０７ｃによって撮影される映像、若しくは他の装置から受信する映像等を表示する。スピーカ１０７ｂは、非音声音除去部１０３によって非音声音信号が除去された音信号を外部に出力する。カメラ１０７ｃは、ディスプレイ１０７ａ若しくは他の装置に表示させる映像を撮影する。なお、被制御部１０７は、第１の実施形態において例示する構成に限るものではなく、例えば照明等の他の装置を含んで構成しても良い。

制御部１０６は、例えば被制御部１０７のディスプレイ１０７ａのズームイン及びズームアウト、スピーカ１０７ｂの音量、カメラ１０７ｃの向き等の制御を、制御情報に基づいて行う。

送信部１０８は、非音声音除去部１０３が非音声音信号を除去して出力する音信号を受け取り、ネットワーク等を介して接続する他の装置に音信号を送信する。また、被制御部１０７のカメラ１０７ｃが撮影した映像等を他の装置に送信できる。

保存部１０９は、非音声音除去部１０３により非音声音信号が除去された音信号を保存して録音する。保存部１０９に保存された音信号は、後からスピーカ１０７ｂにより再生することができ、また他の装置や記録媒体等にデータとして出力することもできる。

＜会議端末のハードウェア構成＞
図２は、第１の実施形態に係る会議端末１００のハードウェア構成を例示する図である。

図２に示す様に、会議端末１００は、音信号変換部１０１、被制御部１０７、ＣＰＵ１１１、ＨＤＤ（Hard Disk Drive）１１２、ＲＯＭ（Read Only Memory）１１３、ＲＡＭ（Read and Memory）１１４、操作部１１５、ネットワークＩ／Ｆ部１１６、記録媒体Ｉ／Ｆ部１１７等を備え、それぞれがバスＢで相互に接続されている。

ＣＰＵ１１１は、ＨＤＤ１１２やＲＯＭ１１３等の記憶装置からプログラムやデータをＲＡＭ１１４上に読み出して処理を実行することで、会議端末１００が備える各機能を実現する演算装置である。ＣＰＵ１１１は、図１に示す非音声音検出部１０２、非音声音除去部１０３、制御情報取得部１０４、制御部１０６等として機能する。

ＨＤＤ１１２は、プログラムやデータを格納している不揮発性の記憶装置である。格納されるプログラムやデータには、会議端末１００全体を制御する基本ソフトウェアであるＯＳ（Operating System）、及びＯＳ上において各種機能を提供するアプリケーションソフトウェア等がある。また、ＨＤＤ１１２は、制御情報記憶部１０５、保存部１０９等として機能する。

ＲＯＭ１１３は、電源を切ってもプログラムやデータを保持することができる不揮発性の半導体メモリ（記憶装置）である。ＲＯＭ１１３には、会議端末１００の起動時に実行されるＢＩＯＳ（Basic Input/Output System）、ＯＳ設定、及びネットワーク設定等のプログラムやデータが格納されている。ＲＡＭ１１４は、プログラムやデータを一時保持する揮発性の半導体メモリ（記憶装置）である。

操作部１１５は、ユーザインターフェースの役割を果たし、例えばキースイッチ（ハードキー）等で構成され、会議端末１００に各操作信号を入力するのに用いられる。

ネットワークＩ／Ｆ部１１６は、有線及び／又は無線回線などのデータ伝送路により構築されたＬＡＮ（Local Area Network）、ＷＡＮ（Wide Area Network）などのネットワークを介して接続される通信機能を有する周辺機器と会議端末１００とのインタフェースである。

記録媒体Ｉ／Ｆ部１１７は、記録媒体とのインタフェースである。会議端末１００は記録媒体Ｉ／Ｆ１１７を介して、記録媒体１１８の読み取り及び／又は書き込みを行うことができる。記録媒体１１８にはフレキシブルディスク、ＣＤ、ＤＶＤ（Digital Versatile Disk）、ＳＤメモリカード（SD Memory card）、ＵＳＢメモリ（Universal Serial Bus memory）等がある。

＜会議端末における入力音に基づく被制御部の制御＞
次に、第１の実施形態に係る会議端末１００における入力音に基づく被制御部１０７の制御について説明する。

図３は、第１の実施形態に係る会議端末１００における制御フローチャートを例示する図である。

まず、ステップＳ１にて、音信号変換部１０１が会議端末１００の周囲の音を集音し、集音した入力音を音信号に変換する。次に、ステップＳ２にて、非音声音検出部１０２が、音信号変換部１０１によって変換された入力音信号から非音声音信号の検出を行う。非音声音信号とは、会議端末１００を使用するユーザが発する音声以外の音であり、例えば机を叩く音、手を叩く音等をいう。

ステップＳ２にて、入力音信号から非音声音信号が検出された場合には、ステップＳ３にて、非音声音除去部１０３が入力音信号から非音声音信号の除去を行い、ステップＳ４にて、送信部１０８から非音声音信号が除去された音信号を外部に出力する。また、保存部１０９に、非音声音信号が除去された音信号を保存しても良い。

ステップＳ２にて、入力音信号に非音声音信号が検出された場合には、さらにステップＳ５にて、制御情報取得部１０４が、非音声音信号の検出パターンを認識する。制御情報取得部１０４が認識する非音声音信号の検出パターンとは、例えば所定の時間以内に検出される非音声音信号の数、種類、検出される非音声音信号の時間間隔等である。

ステップＳ６にて、制御情報取得部１０４は、制御情報記憶部１０６に検出パターンに合致する制御情報がある場合にはこれを取得して制御部１０６に送信する。次にステップＳ７にて、制御部１０６が、制御情報取得部１０４が取得した制御情報に基づく制御信号を送信し、被制御部１０７を制御する。

以上で説明した様に、第１の実施形態に係る会議端末１００は、会議端末１００に入力される音声以外の非音声音信号を検出し、被制御部１０７の制御を行う。したがって、会議端末１００を利用するユーザは、非音声音を発することにより会議端末１００のディスプレイ１０７ａ、スピーカ１０７ｂ、カメラ１０７ｃといった被制御部１０７を、装置本体の操作部１１５やリモコン等を用いずに操作することができる。

次に、会議端末１００の各部が行う処理の詳細について、図面に基づいて説明する。

≪音信号への変換≫
図４は、会議端末１００の音信号変換部１０１に入力される音を例示する図である。図４は、音信号変換部１０１が集音する音を、横軸を時間、縦軸を振幅とするグラフで表示したものである。

例えば会議端末１００の周囲で音声等が生じると、音信号変換部１０１がこれを集音することで、図中の実線枠で示される振幅の大きい音が入力される。音信号変換部１０１は、この様に入力される音を図中破線で示す単位時間間隔に区切って入力音信号に変換する。

≪非音声音の検出≫
図５は、入力音信号から非音声音の検出を行う非音声音検出部１０２の機能構成を例示するブロック図である。

図５に示す様に、非音声音検出部１０２は、線形予測誤差計算部２０、平均値計算部２１、非音声音判定部Ａ２２、切替部２３、ＦＦＴ計算部２４、ＭＦＣＣ計算部２５、尤度計算部２６、非音声音判定部Ｂ２７、最終判定部２８、音モデル記憶部２９を備える。

非音声音検出部１０２に、音信号変換部１０１によって変換された入力音信号が入力されると、まず線形予測誤差計算部２０が、入力音信号の線形予測誤差信号を一定区間ごとに計算して出力する。

例えば、現在の時刻をｋとし、ある区間ごとの音信号の値ｘを以下の様に表す。

…, x_k-1, x_k, x_k+1, …
このとき、ある区間の音信号の値ｘ_ｋ＋１を当該区間の前までの値ｘ_１〜ｘ_ｋを用いて以下の式により予測する際に、最適となる線形予測係数ａ_ｎ（ｎ＝０〜Ｎ−１）を求める。

x^{^} _k+1 = a₀ x_k + a₁ x_k-1 + a₂ x_k-2 + ・・・ + a_N-1 x_k-(N-1)
次に、上式で予測される予測値ｘ^{^} _ｋ＋１と、実際の値ｘ_ｋ＋１との差として、線形予測誤差ｅ_ｋ＋１を以下の式により求めることができる。

e_k+1 = x^{^} _k+1 - x_k+1
この誤差は予測と実測とのずれを示すことから、誤差が大きいほど、入力音波形に急峻な変化（＝音声、非音声音の混入）が起きていると考えることができる。

この様に、線形予測誤差計算部２０が上式に基づいて線形予測誤差を算出し、平均値計算部２１が、誤差の平均値を一定区間ごとに計算し、非音声音判定部Ａ２２に出力する。

非音声音判定部Ａ２２は、平均値計算部２１によって計算される線形予測誤差の平均値と、例えば予め設定される閾値とを比較し、平均値が閾値よりも大きい場合には、平均値を算出した入力音信号には音声又は非音声音信号が含まれていると判定し、判定結果情報１を出力する。

切替部２３は、非音声音判定部Ａ２２において線形予測誤差の平均値が閾値を上回った場合に、入力音信号をＦＦＴ計算部２４に入力する。なお、本実施形態では、非音声音判定部Ａ２２において線形予測誤差の平均値が、予め設定される閾値を上回った場合に、切替部２３がＦＦＴ計算部２４に入力音信号を入力する様に信号の切り替えを行うが、常にＦＦＴ計算部２４に入力音信号を入力する様に構成しても良い。

ＦＦＴ計算部２４は、入力音信号に対してある一定区間ごとに高速フーリエ変換（ＦＦＴ）を行い、周波数スペクトルを計算する。

ＭＦＣＣ計算部２５は、ＦＦＴ計算部２４によって計算された周波数スペクトルからメル周波数ケプストラム係数（ＭＦＣＣ）を計算する。ＭＦＣＣは、人間の聴覚の性質を取り入れた特徴量であり、音声認識等に用いられる。

ＭＦＣＣの計算は、ＦＦＴにより得られる周波数スペクトルに対して、（１）絶対値を取る、（２）メル尺度（人間の聴覚に応じた音の高さの尺度）上で等間隔なフィルタバンクにかけて、各帯域のスペクトルの和を求める、（３）対数を取る、（４）離散コサイン変換（ＤＣＴ）を行う、（５）低次成分を取り出す、というものである。

尤度計算部２６は、音モデル記憶部２９に記憶されているモデルパラメータを読み込み、ＭＦＣＣ計算部２５により求められるＭＦＣＣに対する尤度を計算する。

音モデル記憶部２９には、音声及び検出対象とする非音声音信号の音モデルのモデルパラメータが記憶されている。ここで、音モデルとは、音声等の特徴をモデル化したものであり、例えばガウス混合モデル（ＧＭＭ）等で音声等の特徴がモデル化され、その場合には各多次元ガウス分布の重み、平均や共分散等がモデルパラメータとなる。モデルパラメータは、予め収集される音声及び非音声音のデータベースから抽出した特徴量を用いて推定される。

尤度計算部２６により求められる尤度は、音モデル記憶部２９に記憶されている音モデルに対する尤もらしさを示すものであり、この場合、尤度が高いほど入力音信号は音声又は検出対象とする非音声音である可能性が高いということになる。

尤度計算部２６における尤度Ｌは、例えばＧＭＭに対して行う場合には以下の式により求めることができる。

ここで、ｘがＭＦＣＣのベクトル、Ｗ_ｋがｋ番目の分布の重み、Ｎ_ｋがｋ番目の多次元ガウス分布を表す。

非音声音判定部Ｂ２７は、尤度計算部２６によって計算される尤度と、例えば予め設定される閾値とを比較することで、この区間における入力音声信号に対して音声信号又は非音声音信号の有無等を判定し、判定結果情報２を出力する。

最終判定部２８は、非音声音判定部Ａ２２による判定結果情報１と、非音声音判定部Ｂ２７による判定結果情報２とに基づいて、最終的な検出結果を出力する。例えば、入力音信号に音声信号又は非音声音信号が有るという判定結果情報１と、入力音信号に非音声音信号が有るという判定結果情報２を得た場合にのみ、非音声音信号有りという検出結果を出力する。

図６は、非音声音検出部１０２における非音声音信号の検出処理のフローチャートを例示する図（１）である。

図６に示す様に、非音声音検出部１０２では、まずステップＳ１１にて、線形予測誤差計算部２０が、入力音信号から線形予測誤差を計算する。次にステップＳ１２にて、平均値計算部２１が、線形予測誤差計算部２０による線形予測誤差のある区間における平均値を計算する。

ステップＳ１３にて、非音声音判定部Ａ２２が平均値計算部２１によって計算される平均値と予め設定される閾値１とを比較し、線形予測誤差の平均値が閾値１以下の場合には、ステップＳ２１にて、最終判定部２８が非音声音信号なしと最終判定して処理を終了する。

ステップＳ１３にて、線形予測誤差の平均値が閾値１よりも大きい場合には、切替部２３が入力音信号をＦＦＴ計算部２４に送信し、ステップＳ１４にて、ＦＦＴ計算部２４が入力音信号から周波数スペクトルを計算する。

次に、ステップＳ１５にて、ＦＦＴ計算部２４によって計算される周波数スペクトルから、ＭＦＣＣ計算部２５がＭＦＣＣを計算し、ステップＳ１６にて、尤度計算部２６が音モデル記憶部２９に記憶されている音声の音モデルに対する尤度を計算する。

ステップＳ１７にて、尤度計算部２６によって計算された尤度が、予め設定される閾値２以上の場合には、入力音信号には人間が発する音声が含まれているものとして、ステップＳ２１にて、最終判定部２８が非音声音信号なしと最終判定して処理を終了する。

ステップＳ１７にて、尤度計算部２６によって計算された音声の音モデルとの尤度が、閾値２よりも小さい場合には、ステップＳ１８にて、尤度計算部２６が検出対象とする非音声音の音モデルに対する尤度を計算する。

次にステップＳ１９にて、非音声音判定部Ｂ２７が尤度と閾値３とを比較し、尤度が閾値３より大きい音モデルが存在する場合には、ステップＳ２０にて、最終判定部２８が検出対象とする非音声音信号が入力音信号に含まれていると最終判定して処理を終了する。

ステップＳ１９にて、尤度が閾値３より大きい音モデルが存在しない場合には、ステップＳ２２にて、入力音には検出対象とする非音声音信号は含まれていないものと最終判定して処理を終了する。

図７は、非音声音検出部１０２による非音声音信号の検出結果を例示する図である。

図７に示す様に、非音声音検出部１０２は、入力音信号における単位時間ごとに非音声音信号を検出し、単位時間ごとに付与される区間ＩＤ、非音声音の有無、非音声音の種類といった情報と共に出力する。

非音声音検出部１０２が検出する非音声音信号の種類は、例えば机を叩く音、手を叩く音（手拍子）等である。なお、音モデル記憶部２９にさらに多くの種類の非音声音信号の音モデルを記憶させることで、非音声音検出部１０２において多様な種類の非音声音信号を検出する様に設けることができる。また、入力音信号に含まれる非音声音信号の有無のみを検出する様に設けても良い。

非音声音信号の有無のみを検出する場合には、音モデル記憶部２９に音声の音モデルが記憶され、非音声音検出部１０２は、図８に示すフローチャートに基づいて非音声音信号の検出処理を行う。

図８に示す様に、まずステップＳ３１にて、線形予測誤差計算部２０が、入力音信号から線形予測誤差を計算する。次にステップＳ３２にて、平均値計算部２１が、線形予測誤差計算部２０による線形予測誤差の平均値を計算する。

ステップＳ３３にて、非音声音判定部Ａ２２が平均値計算部２１によって計算される平均値と閾値１とを比較し、線形予測誤差の平均値が閾値１以下の場合には、ステップＳ３９にて、最終判定部２８が非音声音信号なしと最終判定して処理を終了する。

ステップＳ３３にて、線形予測誤差の平均値が予め設定される閾値１よりも大きい場合には、切替部２３が入力音信号をＦＦＴ計算部２４に送信し、ステップＳ３４にて、ＦＦＴ計算部２４が入力音信号から周波数スペクトルを計算する。

次に、ステップＳ３５にて、ＦＦＴ計算部２４によって計算される周波数スペクトルから、ＭＦＣＣ計算部２５がＭＦＣＣを計算し、ステップＳ３６にて、尤度計算部２６が音モデル記憶部２９に記憶されている音声の音モデルに対する尤度を計算する。

ステップＳ３７にて、尤度計算部２６によって計算された尤度が、予め設定される閾値２以上の場合には、入力音信号には人間が発する声が含まれているものとして、ステップＳ３９にて、最終判定部２８が非音声音信号なしと最終判定して処理を終了する。

ステップＳ３７にて、尤度計算部２６によって計算された音声の音モデルとの尤度が、閾値２以上の場合には、入力音信号には人間が発する声が含まれているものとして、ステップＳ３９にて、最終判定部２８が非音声音信号なしと最終判定して処理を終了する。

ステップＳ３７にて、尤度計算部２６によって計算された音声の音モデルとの尤度が閾値２より小さい場合には、ステップＳ３９にて、最終判定部２８が非音声音信号ありと最終判定して処理を終了する。

この様に、会議端末１００は、入力音信号に対して非音声音信号の有無を検出し、非音声音信号の有無に基づいて被制御部１０７の制御を行うことも可能である。

≪被制御部の制御≫
非音声音検出部１０２にて、上記した処理により入力音信号に含まれる非音声音の有無が検出されると、次に制御情報取得部１０４が非音声音信号の検出パターンを認識する。

図９は、第１の実施形態に係る会議端末１００における被制御部１０７の制御手順のシーケンスを例示する図である。

会議端末１００の制御情報取得部１０４は、認識部１０４ａ、監視部１０４ｂを備え、非音声音検出部１０２による検出結果は、認識部１０４ａに入力される。

図９に示す様に、非音声音検出部１０２は入力音信号から非音声音信号の検出を行い、非音声音検出結果を制御情報取得部１０４の認識部１０４ａに出力する（ステップＳ１０１）。

制御情報取得部１０４の認識部１０４ａは、監視部１０４ｂに非音声音信号が検出されたことを通知し、監視部１０４ｂは、時間の計測を開始する（ステップＳ１０２）。また、認識部１０４ａは、非音声音検出結果を認識部１０４ａが備えるバッファに記憶させる（ステップＳ１０３）。

同様に、非音声音検出部１０２によって非音声音信号が検出された場合には、非音声音検出部１０２が非音声音検出結果を制御情報取得部１０４の認識部１０４ａに出力し（ステップＳ１０４，Ｓ１０６）、認識部１０４ａが非音声音検出結果をバッファに記憶させる（ステップＳ１０５，Ｓ１０７）。

図１０は、制御情報取得部１０４の認識部１０４ａが備えるバッファに記憶される非音声音検出結果の例である。図１０に示す様に、認識部１０４ａのバッファには、非音声音信号の検出結果として、付与される非音声音ＩＤ、非音声音信号が検出された区間ＩＤ、非音声音信号の種類が記憶される。

次に、時間の計測を開始していた監視部１０４ｂは、一定の時間ｔ秒（例えば２秒等）が経過した時点で、認識部１０４ａに一定の時間ｔ秒が経過したことを通知する（ステップＳ１０８）。次に、制御情報取得部１０４の認識部１０４ａが制御情報記憶部１０５との間で検出パターンの照合を行う（ステップＳ１０９）。

ここで、制御情報記憶部１０５には、図１１に例示する様に、非音声音信号の検出パターンに対応する被制御部１０７の制御情報が記憶されている。検出パターンは、非音声音検出部１０２によって検出される非音声音信号の数、種類、間隔等によって構成される。

例えば、[制御ＩＤ：０]は、上記した監視部１０４ｂによって計測される所定の時間ｔ秒の間に、非音声音信号として「机を叩く音」が間隔ｔ１で２回検出された場合には、被制御部１０７のカメラ１０７ｃをズームイン制御する、という制御情報である。また、[制御ＩＤ：１]は、非音声音信号として「机を叩く音」が間隔ｔ２、ｔ３で３回検出された場合には、被制御部１０７のスピーカ１０７ｂのボリュームを上げる様に制御する、という制御情報である。また、[制御ＩＤ：２]は、[制御ＩＤ：１]と非音声音信号の種類、回数は同じだが、非音声音信号の検出間隔が異なり、カメラ１０７ｃをズームアウトする、という制御情報である。さらに、[制御ＩＤ：３]は、非音声音信号として「手を叩く音」が間隔ｔ６で２回検出された場合には、ディスプレイ１０７ａの画面レイアウトを変える様に制御する、という制御情報である。

なお、制御情報記憶部１０５に記憶される検出パターンに対応する被制御部１０７の制御情報は、図１１に示す例に限るものではなく、異なる検出パターンに対応して異なる制御情報を記憶させても良い。制御情報は、所定の時間以内に検出される非音声音信号についての、数、時間間隔及び種類のうち少なくとも１つ以上を用いた組み合わせにより、多様な種類の制御を行うことが可能になる。また、非音声音検出部１０２にて、非音声音信号の有無のみを検出する場合には、例えば非音声音信号の検出回数と、検出される非音声音信号の間隔等を組み合わせることで、複数の検出パターンを構成できる。

図９のシーケンス図に戻り、認識部１０４ａは、バッファに記憶させた非音声音信号の数、種類及び区間ＩＤから求められる間隔に基づいて検出パターンを認識し、制御情報記憶部１０６に記憶されている制御情報との照合を行う（ステップＳ１０９）。

認識部１０４ａのバッファに記憶された検出パターンに合致する検出パターンが制御情報記憶部１０５に存在する場合には、認識部１０４ａは、制御情報記憶部１０５からこの検出パターンに対応する制御情報を取得する（ステップＳ１１０）。

認識部１０４ａは、制御情報を取得すると、制御部１０６に制御情報を送信し（ステップＳ１１１）、制御部１０６が制御情報に基づいて被制御部１０７に制御信号を送信する（ステップＳ１１２）。

この様に、会議端末１００を使用する利用者は、予め設定されている制御情報の検出パターンに対応する非音声音を発することで、会議端末１００の操作部１１５や、リモコン等を直接操作することなく、被制御部１０７の動作を制御することが可能になる。

≪非音声音の除去≫
非音声音除去部１０３には、音信号変換部１０１が入力音から変換して生成する入力音信号と、非音声音検出部１０２によって検出される非音声音信号とが入力され、入力音信号と非音声音信号との差分を出力音信号として出力する。

この様に、非音声音除去部１０３は、入力音信号から非音声音信号を除去することで、会議端末１００の被制御部１０７を制御するために発せられる本来不必要な非音声音を除去した出力音信号を、例えば他の装置に送信したり、保存することが可能になる。したがって、例えば会議端末１００の送信部１０８から他の端末に出力音信号を送信する場合に、会議端末１００のユーザが非音声音を発して被制御部１０７の制御を行っても、相手側の他の端末には、不必要な非音声音は送信されずに済む。また、例えば保存部１０９に、会議端末１００が集音した音を保存する場合にも、保存に不必要な非音声音が除去され、本来必要な音声等を保存することが可能になる。

≪制御情報の表示≫
ここで、会議端末１００の制御情報取得部１０４が制御情報記憶部１０６から取得した制御情報を、例えば被制御部１０７のディスプレイ１０７ａに表示させ、会議端末１００のユーザに確認させる様にしても良い。

図１２は、第１の実施形態に係る会議端末１００において制御情報の確認を行う制御フローチャートを例示する図である。

まず、ステップＳ４１にて、音信号変換部１０１が会議端末１００の周囲の音を集音して音信号に変換する。次に、ステップＳ４２にて、非音声音検出部１０２が、音信号変換部１０１によって変換された入力音信号から非音声音信号の検出を行う。

ステップＳ４２にて、入力音信号から非音声音信号が検出された場合には、ステップＳ４３にて、非音声音除去部１０３が入力音信号から非音声音信号の除去を行い、ステップＳ４４にて、送信部１０８から非音声音信号が除去された音信号を外部に出力する。また、保存部１０９に、非音声音信号が除去された音信号を保存しても良い。

ステップＳ４２にて、入力音信号から非音声音信号が検出された場合には、さらにステップＳ４５にて、制御情報取得部１０４が、非音声音信号の検出パターンを認識する。

ステップＳ４６にて、制御情報取得部１０４が、検出パターンに合致する制御情報が制御情報記憶部１０６にある場合にはこれを取得する。

ここで、ステップＳ４６にて、制御情報取得部１０４が制御情報を取得した場合には、ステップＳ４７にて、制御情報取得部１０４が制御情報を制御部１０６に送信し、制御部１０６は表示部の一例としての被制御部１０７のディスプレイ１０７ａに、制御情報の内容を表示させる制御信号を送信する。

図１３は、ディスプレイ１０７ａによる制御情報の表示例であり、例えば制御情報取得部１０４によって取得された制御情報が、スピーカ１０７ｂの音量を上げる、という内容だった場合に、ディスプレイ１０７ａの右上に「Ｖｏｌｕｍｅ Ｕｐ」と表示させる。

この様に、制御情報をディスプレイ１０７ａに表示させ、会議端末１００のユーザは、ディスプレイ１０７ａに表示されている制御情報が、ユーザ自身が意図する制御内容に一致する場合又は一致しない場合に、それぞれ所定の非音声音を発する。

この場合において制御情報記憶部１０６には、図１４に例示する様に、非音声音信号の検出パターンに対応する確認情報が記憶されている。例えばユーザは、ディスプレイ１０７ａに表示されている制御情報が、意図する制御情報と一致する場合には所定時間内に机を２回叩き、意図する制御情報と一致しない場合には所定時間内に机を１回叩く、といったことによって、会議端末１００は制御情報の一致／不一致を検出することが可能になる。

そこで、図１２に示すフローチャートに戻り、ステップＳ４７にて制御情報をディスプレイ１０７ａに表示した状態で、ステップＳ４８にて、非音声音検出部１０２が入力音信号から非音声音信号の検出を行う。

ステップＳ４８にて、非音声音検出部１０２により非音声音信号が検出された場合には、制御情報取得部１０４が非音声音信号の検出パターンと制御情報記憶部１０６に記憶されている確認情報との照合を行う。

ステップＳ４０にて、制御情報取得部１０４の制御情報がユーザの意図と一致する場合には、ステップＳ４１にて、ディスプレイ１０７ａに表示した制御情報に基づいて、制御部１０６が被制御部１０７の制御を行って処理を終了する。

この様に、ディスプレイ１０７ａに制御情報を表示し、ユーザへの確認を行うことによって、会議端末１００が、ユーザが意図しない制御を行うことを防止できる。

以上で説明した様に、第１の実施形態に係る会議端末１００によれば、ユーザは所定の非音声音を発することで、会議端末１００の装置本体や、リモコン等を操作することなく、会議端末１００の被制御部１０７の制御を行うことが可能である。

また、会議端末１００は、非音声音除去部１０３が入力音信号から非音声音を除去した音信号を、例えば送信部１０８を介して他の装置に送信したり、保存部１０９に保存することができる。したがって、会議端末１００を操作するために発せられる非音声音が、他の装置に送信される音信号や、保存部１０９に保存される音信号に含まれるのを防止することができる。

[第２の実施形態]
次に、第２の実施形態について図面に基づいて説明する。なお、既に説明した実施形態と同一構成部分についての説明は省略する。

＜会議システムのハードウェア構成＞
図１５は、第２の実施形態に係る会議システム３００のハードウェア構成を例示する図である。

図１５に示す様に、会議システム３００は、会議端末１００と、会議端末２００とがネットワーク４００を介して接続することにより構成されている。会議システム３００を構成する会議端末の数はこれに限らず、ネットワーク４００等を介して接続するさらに多数の会議端末で構成しても良い。

会議システム３００の会議端末１００は、第１の実施形態と同様の構成を有し、ネットワークＩ／Ｆ部１１５が、ネットワーク４００を介して会議端末２００と接続している。

会議端末２００は、図１５に示す様に、ディスプレイ２０１、スピーカ２０２、カメラ２０３、マイクロホン２０４、ＣＰＵ２０５、ＨＤＤ（Hard Disk Drive）２０６、ＲＯＭ（Read Only Memory）２０７、ＲＡＭ（Read and Memory）２０８、操作部２０９、ネットワークＩ／Ｆ部２１０等を備え、それぞれがバスＢで相互に接続されている。

ディスプレイ２０１は、例えばＣＲＴ，液晶ディスプレイ等であり、カメラ２０３で撮影した映像や、ネットワーク４００を介して接続する他の装置から送信される映像等を表示する。また、例えばスクリーン等に画像を拡大して投影するプロジェクタ等であっても良い。

スピーカ２０２は、マイクロホン２０４で集音した音声や、ネットワーク４００を介して接続する他の装置から送信される音信号に基づいて音を出力する音出力部である。

カメラ２０３は、例えば会議端末２００の周囲のユーザ等を撮影する。カメラ２０３が撮影した映像はディスプレイ２０１に表示させることも可能であり、ネットワークを介して接続する他の装置に送信することもできる。

マイクロホン２０４は、会議端末２００の周囲の音を集音する。マイクロホン２０４が集音した音声はスピーカ２０２から出力させることも可能であり、ネットワークを介して接続する他の装置に送信することもできる。

ＣＰＵ２０５は、ＨＤＤ２０６やＲＯＭ２０７等の記憶装置からプログラムやデータをＲＡＭ２０８上に読み出して処理を実行することで、会議端末２００が備える各機能を実現する演算装置である。

ＨＤＤ２０６は、プログラムやデータを格納している不揮発性の記憶装置である。格納されるプログラムやデータには、会議端末２００全体を制御する基本ソフトウェアであるＯＳ（Operating System）、及びＯＳ上において各種機能を提供するアプリケーションソフトウェア等がある。

ＲＯＭ２０７は、電源を切ってもプログラムやデータを保持することができる不揮発性の半導体メモリ（記憶装置）である。ＲＯＭ２０７には、会議端末２００の起動時に実行されるＢＩＯＳ（Basic Input/Output System）、ＯＳ設定、及びネットワーク設定等のプログラムやデータが格納されている。ＲＡＭ２０８は、プログラムやデータを一時保持する揮発性の半導体メモリ（記憶装置）である。

操作部２０９は、ユーザインターフェースの役割を果たし、例えばキースイッチ（ハードキー）等で構成され、会議端末２００に各操作信号を入力するのに用いられる。

ネットワークＩ／Ｆ部２１０は、有線及び／又は無線回線などのデータ伝送路により構築されたＬＡＮ（Local Area Network）、ＷＡＮ（Wide Area Network）などのネットワークを介して接続される通信機能を有する周辺機器と会議端末２００とのインタフェースである。

＜会議システムの機能構成＞
図１６は、第２の実施形態に係る会議システム３００の機能構成を例示するブロック図である。

図１６に示す様に、会議端末１００は、音信号変換部１０１、非音声音検出部１０２、非音声音除去部１０３、制御情報取得部１０４、制御情報記憶部１０５、制御部１０６、被制御部１０７、送信部１０８、保存部１０９、受信部１１０等を備える。

会議端末１００は、音信号変換部１０１が会議端末１００の周囲の音を集音して音信号に変換し、非音声音検出部１０２が非音声音信号の検出を行う。制御情報取得部１０４は、制御情報記憶部１０５に記憶されている制御情報と、検出される非音声音信号の検出パターンとの照合を行い、制御部１０６に制御情報を送信する。制御部１０６は、送信される制御情報に基づいて、被制御部１０７のディスプレイ１０７ａ、スピーカ１０７ｂ、カメラ１０７ｃに制御信号を送信して制御を行う。

また、会議端末１００は、非音声音除去部１０３が、入力音信号から非音声音信号を除去した音信号を、送信部１０８又は保存部１０９に出力する。

さらに、会議端末１００は、送信部１０８、受信部１１０を備え、ネットワーク４００を介して接続する会議端末２００との間で音声や映像を送受信できる。送信部１０８は、非音声音除去部１０３により非音声音が除去された音信号や、被制御部１０７ｃのカメラ１０７ｃで撮影した映像等を会議端末２００に送信する。受信部１１０は、会議端末２００から送信される映像や音声等を受信することで、会議端末１００のディスプレイ１０７ａは受信した映像を表示し、スピーカ１０７ｂは受信した音声を出力できる。

また、保存部１０９には、被制御部１０７のカメラ１０７ｃによって撮影された映像信号や、受信部１１０が受信する音信号及び映像信号等を保存しても良い。

会議端末２００は、受信部２１１、送信部２１２を備え、ネットワーク４００に接続することで、会議端末１００との間で音声や映像を送受信できる。受信部２１１は、会議端末１００から送信される映像や音声等を受信し、ディスプレイ２０１、スピーカ２０２に表示又は出力させることができる。また、送信部２１２は、カメラ２０３で撮影した映像や、マイクロホン２０４で集音した音声を送信する。

会議システム３００は、上記した構成により、遠隔地にそれぞれ設置される会議端末１００，２００の間で音声及び映像を送受信することで、会議システム３００の各会議端末１００，２００のユーザは、お互いの音声や映像を介して会議等を行うことができる。

また、会議端末１００のユーザは、所定の非音声音を発することで、会議端末１００の装置本体や、リモコン等を操作することなく、会議端末１００の被制御部１０７の制御を行うことができる。このとき、ユーザが発する非音声音は、非音声音除去部１０３によって音信号除去され、非音声音信号が除去された音信号が送信部１０８から会議端末２００に送信される。したがって、会議端末２００のユーザは、会議システム１００の被制御部１０７を制御するために発せられる非音声音に煩わされることなく、円滑に会議等を行うことが可能になる。

また、ユーザが発する非音声音により被制御部１０７を制御できる会議端末１００を、ネットワーク４００を介して複数接続させる様に構成しても良い。各会議端末１００のユーザは、非音声音により被制御部１０７を制御することができ、被制御部１０７を制御するために発する非音声音は除去されるため、各ユーザ間で円滑に会議を行うことが可能になる。

ここまで、上記各実施形態に基づき本発明の説明を行ってきたが、上記実施形態に係る会議端末１００が有する機能は、上記に説明を行った各処理手順を、上記各実施形態に係る会議端末１００にあったプログラミング言語でコード化したプログラムとしてコンピュータで実行することで実現することができる。よって、上記各実施形態に係る会議端末１００を実現するためのプログラムは、コンピュータが読み取り可能な記録媒体１１８に格納することができる。

よって、上記各実施形態に係るプログラムは、フレキシブルディスク、ＣＤ、ＤＶＤ、ＵＳＢメモリ等の記録媒体１１８に記憶させることによって、これらの記録媒体１１８から、会議端末１００にインストールすることができる。また、会議端末１００は、ネットワークＩ／Ｆ部１１５を有していることから、上記各実施形態に係るプログラムは、インターネット等の電気通信回線を介してダウンロードし、インストールすることもできる。

以上、本発明の実施形態について説明したが、上記実施形態に挙げた構成等に、その他の要素との組み合わせなど、ここで示した構成に本発明が限定されるものではない。これらの点に関しては、本発明の趣旨を逸脱しない範囲で変更することが可能であり、その応用形態に応じて適切に定めることができる。

１００ 会議端末
１０１ 音信号変換部
１０２ 非音声音検出部
１０３ 非音声音除去部
１０４ 制御情報取得部
１０５ 制御情報記憶部（記憶部）
１０６ 制御部
１０７ 被制御部
１０７ａ ディスプレイ（表示部）
１０８ 送信部
１０９ 保存部
１１８ 記録媒体
２０２ スピーカ（音発生部）
２１１ 受信部
３００ 会議システム

特開平３−５４９８９号公報

Claims (8)

1. 周囲の音を集音して音信号に変換する音信号変換部と、
   前記音信号変換部によって変換された前記音信号から非音声音信号を検出する非音声音検出部と、
   前記非音声音信号の検出パターンと被制御部の制御情報とを対応させて記憶する記憶部と、
   前記非音声音検出部によって検出された検出パターンに対応する制御情報を前記記憶部から取得する制御情報取得部と、
   前記パターン認識部によって取得される前記制御情報に基づいて前記被制御部を制御する制御部と、
   前記音信号から前記非音声音検出部によって検出された前記非音声音信号を除去する非音声音除去部とを備える
   ことを特徴とする処理装置。
2. 前記非音声音除去部により前記非音声音信号が除去された前記音信号を保存する保存部を備えることを特徴とする請求項１に記載の処理装置。
3. 前記被制御部は、映像を表示する表示部を備え、
   前記制御部は、前記制御情報取得部によって取得される前記制御情報を前記表示部に表示させる
   ことを特徴とする請求項１又は２に記載の処理装置。
4. 前記記憶部に記憶される前記検出パターンは、所定の時間以内に検出される前記非音声音信号についての、数、時間間隔及び種類のうち少なくとも１つ以上で構成されている
   ことを特徴とする請求項１から３の何れか一項に記載の処理装置。
5. 周囲の音を集音して音信号に変換する音信号変換ステップと、
   前記音信号変換ステップによって前記音信号から非音声音信号を検出する非音声音検出ステップと、
   前記非音声音検出ステップによって検出された検出パターンに対応する制御情報を、前記非音声音信号の検出パターンと前記被制御部の制御情報とを対応させて記憶する記憶部から取得する制御情報取得ステップと、
   前記制御情報取得ステップによって取得された前記制御情報に基づいて被制御部を制御する制御ステップと、
   前記音信号から前記非音声音検出部によって検出される前記非音声音信号を除去する非音声音除去ステップとを備える
   ことを特徴とする処理方法。
6. 請求項５に記載の処理方法をコンピュータに実行させるためのプログラム。
7. 請求項６に記載のプログラムを記録したことを特徴とするコンピュータが読み取り可能な記録媒体。
8. 第１の処理装置と第２の処理装置とを少なくとも備え、音に応じて前記第１の処理装置が備える被制御部の制御処理を行う処理システムであって、
   前記第１の処理装置は、
   周囲の音を集音して音信号に変換する音信号変換部と、
   前記音信号から非音声音信号を検出する非音声音検出部と、
   前記非音声音検出部で検出された前記非音声音信号の検出パターンと前記被制御部の制御情報とを対応させて記憶する記憶部と、
   前記非音声音検出部によって検出された前記非音声音信号の検出パターンに対応する前記制御情報を前記記憶部から取得する制御情報取得部と、
   前記制御情報取得部によって取得された前記制御情報に基づいて前記被制御部を制御する制御部と、
   前記音信号から前記非音声音検出部によって検出される前記非音声音信号を除去する非音声音除去部と、
   前記非音声音信号が除去された前記音信号を送信する送信部とを備え、
   第２の処理装置は、
   前記音信号を受信する受信部と、
   受信した前記音信号に基づいて音を発生する音発生部とを備える
   ことを特徴とする処理システム。

Images