JP2007034238A - 現場作業支援システム - Google Patents
現場作業支援システム Download PDFInfo
- Publication number
- JP2007034238A JP2007034238A JP2005221648A JP2005221648A JP2007034238A JP 2007034238 A JP2007034238 A JP 2007034238A JP 2005221648 A JP2005221648 A JP 2005221648A JP 2005221648 A JP2005221648 A JP 2005221648A JP 2007034238 A JP2007034238 A JP 2007034238A
- Authority
- JP
- Japan
- Prior art keywords
- signal
- site
- base station
- work
- support information
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Closed-Circuit Television Systems (AREA)
Abstract
【解決手段】 作業現場で音声入力するマイクロホン11a〜11cと,入力した複数音源からの音声が重畳された混合音声信号から音源各々に対応する分離信号各々を音源分離処理部Zで生成し,生成した複数の分離信号からマルチプレクサ14によりいずれかを選択若しくは複数を選択し,現場映像をカメラ18で撮像し,マルチプレクサ14で選択された分離信号及びカメラ18で得た現場映像を無線通信部23等によりネットワーク70を通じて基地局装置Cへ送信し,基地局装置Cにおいて受信した分離信号をスピーカ63で音声出力し,受信した現場映像を表示部62aに表示し,基地局装置Cで現場の支援情報を設定して現場の端末装置Aに送信し,その支援情報を現場でHMD25に表示させる。
【選択図】図1
Description
一方,現場作業に精通した熟練者の数は年々減少する傾向にあり,少ない熟練者によって日々の現場作業を効率的に行いながら,後継者を育成することが重要課題となっている。
これに対し,熟練者を工場における中央制御室や基地となる事務所等の基地局に,非熟練作業者を各作業現場に各々配置し,各作業現場から基地局へ現場の情報を伝送することによって現場作業者と基地局の熟練者との間で現場の情報を共有するとともに,熟練者が存在する基地局から作業現場へ作業の支援情報を伝送することにより,現場作業を支援する現場作業支援システムが有効である。これにより,熟練者は,基地局に居ながらにして各作業現場の非熟練作業者を支援でき,非熟練作業者を通じて間接的に日々の現場作業を行いつつ,その非熟練作業者を育成指導できる。
また,特許文献1には,設備機器の過去の状態を表す履歴データを,作業管理サーバから現場作業者が身に付けるウェアラブルコンピュータへ伝送し,現場作業者側でその履歴データを表示させる現場支援システムが示されている。
従って,本発明は上記事情に鑑みてなされたものであり,その目的とするところは,作業現場の映像や音声をその作業現場と基地局とで共有できるとともに,作業現場における複数の音源からの音声各々を区別して把握できる現場作業支援システムを提供することにある。
なお,複数の音源からの音声信号が混合された信号から各音源に対応する信号を分離する技術としては,以下のようなものがある。
例えば,所定の音響空間に複数の音源と複数のマイク(音声入力手段)とが存在する場合,その複数のマイクごとに,複数の音源各々からの個別音声信号(以下,音源信号という)が重畳された音声信号(以下,混合音声信号という)が取得される。このようにして取得(入力)された複数の前記混合音声信号のみに基づいて,前記音源信号各々を同定(分離)する音源分離処理の方式は,ブラインド音源分離方式(Blind Source Separation方式,以下,BSS方式という)と呼ばれる。
さらに,BSS方式の音源分離処理の1つに,独立成分分析法(Independent Component Analysis,以下,ICA法という)に基づくBSS方式の音源分離処理がある。このICA法に基づくBSS方式は,複数のマイクを通じて入力される複数の前記混合音声信号(時系列の音声信号)において,前記音源信号どうしが統計的に独立であることを利用して所定の分離行列(逆混合行列)を最適化し,入力された複数の前記混合音声信号に対して最適化された分離行列によるフィルタ処理を施すことによって前記音源信号の同定(音源分離)を行う処理方式である。その際,分離行列の最適化は,ある時点で設定されている分離行列を用いたフィルタ処理により同定(分離)された信号(分離信号)に基づいて,逐次計算(学習計算)により以降に用いる分離行列を計算することによって行われる。このようなICA法に基づくBSS方式の音源分離処理は,例えば,非特許文献1〜5等に詳説されている。さらに,非特許文献6には,多段階のICA法に基づくBSS方式の音源分離処理について示されている。
また,特許文献2には,周波数領域におけるブラインド音源分離処理において,permutation(周波数解析窓ごとに分離音源の入れ替わりが発生する現象)の問題を分離信号の類似度計算によって解決する技術が示されている。
また,その他の音源分離処理としては,例えば,バイノーラル信号処理(分解)を起源として3つ以上の音源信号の分離が可能なバイナリーマスキング処理等による音源分離処理も知られている。バイノーラル信号処理は,人間の聴覚モデルに基づいて複数の入力音声信号に時変のゲイン調節を施して音源分離を行うものであり,比較的低い演算負荷で実現できる音源分離処理である。これについては,例えば,非特許文献7や非特許文献8等に詳説されている。また,帯域フィルタ処理や,複数の音源が空間的に離れている場合に,複数のマイクロホンに到達する波面の時間差を遅延器によって調整することにより,同定対象とする音源を強調して分離する遅延和型ビームフォーマ音源分離処理等もある。
これにより,作業現場の映像や音声をその作業現場と基地局とで共有できるとともに,基地局側において,作業現場における複数の音源からの音声各々の中から聞きたい音源の音声のみを聞くことができ,作業現場の音の状況を的確に把握できる。
これにより,作業現場で視認される特定の設備や設備の特定箇所を基地局側から指定しながらの作業指示等の的確な作業支援を行うことが可能となる。
また,前記支援情報設定手段が,前記支援情報の候補を予め記憶する支援情報記憶手段の記憶情報の中から前記作業現場に送信する前記支援情報を選択して設定する支援情報選択手段を備えたものであれば好適である。
これにより,現場作業に有用な設備の説明情報や過去の作業履歴情報等を迅速に現場作業者に提供することができ,迅速かつ的確な作業支援を行うことが可能となる。
これらの他,基地局が,各設備の温度や回転数等の運転情報を監視するシステムが配置されている中央制御室等であるような場合には,前記支援情報設定手段が,その監視システムを通じて得られる作業現場に存在する設備の現在の運転情報(監視画面の映像や運転情報の数値そのもの等)を前記支援情報として設定するものであっても有効である。
また,前記現場信号送信手段を,前記分離信号選択手段により複数の前記分離信号が選択された場合に,選択された複数の前記分離信号を合成した音声信号を前記現場の映像信号とともに前記基地局へ送信するよう構成したものも考えられる。
これにより,前記音源分離手段により必要以上に音源が細分化された前記分離信号が生成された場合に,前記分離信号を現場状況の判断に必要な単位にまとめて(合成して)基地局側で把握することが可能となる。また,複数の前記分離信号を分けて伝送する場合に比べ,伝送する音声の情報量を減らし,伝送トラフィックを低減することができる。
この場合,前記分離信号選択手段が,前記作業現場における所定の操作入力手段を通じて入力される選択情報(第2の選択情報)に従って前記分離信号を選択する現場選択手段を備えたものであればなお好適である。
これにより,例えば基地局からの支援を受けずに現場作業者が自らの判断で分離信号を選択して聞きたい場合に対応できる。
また,前述した基地局側と同様に,前記現場音声出力手段が,前記分離信号選択手段により複数の前記分離信号が選択された場合に,選択された複数の前記分離信号を合成した音声信号を音声出力するものであれば,作業現場側においても,前記分離信号を現場状況の判断に必要な単位にまとめて(合成して)把握することが可能となり好適である。
また,前記現場音声入力手段,前記撮像手段及び前記支援情報出力手段が,前記作業現場における作業者の身体に装着可能に構成された(いわゆる,ウェアラブルな)ものであれば,現場作業者の作業性が高まり好適である。
ここに,図1は本発明の実施形態に係る現場作業支援システムXの概略構成図,図2は現場作業支援システムXにおける端末装置Aをウェアラブルに構成した場合の外観の一例を表す図,図3は現場作業支援システムXにおける基地局側と現場側の各表示画面例を表す図,図4は現場作業支援システムXが備える音源分離処理部Zに適用され得るTDICA法に基づくBSS方式の音源分離処理を行う音源分離装置Z1の概略構成を表すブロック図,図5は音源分離処理部Zに適用され得るFDICA法に基づく音源分離処理を行う音源分離装置Z2の概略構成を表すブロック図,図6はICA−BSS方式の音源分離処理における分離行列計算の第1例を説明するためのタイムチャート,図7はICA−BSS方式の音源分離処理における分離行列計算の第2例を説明するためのタイムチャート,図8は音源分離処理部Zに適用され得るバイナリーマスキング処理を説明するための図である。
支援システムXは,所定の作業現場と基地局との間で情報(信号)の伝送を行うことにより,作業者による作業現場での作業を,熟練者によって基地局側から支援する現場作業支援システムである。
図1に示すように,支援システムXは,端末装置Aと中継装置Bと基地局装置Cとを備えて構成されている。
端末装置Aは,作業者が居る工場等の作業現場に存在し,作業者のヘルメット等に装着されて作業者とともに移動する。
中継装置Bは,作業現場に配置され,端末装置Aと無線LAN通信等によって無線通信を行うとともに,インターネットやLAN等の所定のネットワーク70を介して基地局装置Cと通信を行うことにより,端末装置Aと基地局装置Cとの間の通信を中継する。
一方,基地局装置Cは,熟練者が居る工場等における管理棟や所定の事務所等である基地局に配置され,中継装置B及びネットワーク70を介して端末装置Aと通信を行う。
端末装置Aは,作業現場において音声を入力する複数のマイクロホン11a〜11d(現場音声入力手段の一例)と,そのマイクロホンによる入力音声信号を増幅するアンプ12a〜12dと,アンプにより増幅された音声信号をA/D変換するA/Dコンバータ13とを備える。
作業現場には運転中の複数の設備や他の作業者等が存在するため,各マイクロホン11a〜11dには,複数の設備各々からの運転音や他の作業者の話し声等,様々な音源からの音声が重畳された混合音声信号が入力される。
さらに,端末装置Aは,複数(図1では3つ)のマイクロホン11a〜11cにより入力される混合音声信号から,音源各々に対応する音声信号を分離した分離信号各々を音源分離に用いた混合音声信号の数(マイクロホン11a〜11cの数)だけ生成する音源分離処理部Zと,これにより生成された複数の分離信号(音声信号)からいずれか1つ又は複数を選択するマルチプレクサ14(分離信号選択手段の一例)と,これにより選択された分離信号が複数である場合にその複数の分離信号(音声信号)を合成する音声合成部15と,2つのマイクロホン11c,11dにより入力された音声信号について,A/D変換後にそれらの差分を求める減算器16とを具備している。以下,減算器16による減算処理後の分離信号(音声信号)を差分音声信号という。
また,音声合成部15は,PCMデジタル信号(音声信号)を加算すること等により音声合成を行い,マルチプレクサ14により1つの分離信号のみが選択された場合は,それをそのまま出力する。
ここで,音源分離処理部Zは,独立成分分析に基づく音源分離法や,マイクロホンアレイの遅延和型ビームフォーマ,或いはバイナリーマスク法等に基づく音源分離処理により,マイクロホン11a〜11cが置かれた音響環境に存在する複数の音源からの音声を分離(同定)するものである。音源分離処理の具体例については後述する。
さらに,端末装置Aは,カメラ18により得られた映像信号(A/D変換後),前記差分音声信号及び前記音声合成部15が出力する音声信号(分離信号若しくは複数の分離信号の合成信号)の各々に対して所定の符号化処理を施す符号化部20と,CPU及びその周辺装置からなるコンピュータである制御演算部22と,この制御演算部22に接続された表示装置であるHMD25(Head Mounted Display)と,同じく制御演算部22に接続された操作部26と,制御演算部22と中継装置Bとの間における無線LAN等プロトコルに基づく無線通信制御を行う無線通信部23とを具備している。この無線通信部23は,無線通信に用いる無線信号を送受信するアンテナ24とを備えている。
そして,制御演算部22及び無線通信部23は,マルチプレクサ14により選択された分離信号と,カメラ18により撮像された現場の映像信号と,前記差分音声信号とを,無線通信及びネットワーク70(信号伝送媒体)を通じて,基地局側の基地局装置Cへ送信する(現場信号送信手段の一例)。
また,前述した音声合成部15の機能により,マルチプレクサ14(分離信号選択手段)によって複数の分離信号が選択された場合には,選択された複数の分離信号を合成した音声信号が,基地局装置C側へ送信される。
即ち,スピーカ19は,基地局側から受信した音声信号を音声出力する手段であるとともに,作業現場においてマルチプレクサ14により選択された分離信号を音声出力する手段(現場音声出力手段の一例)でもある。
また,前述した音声合成部15の機能により,マルチプレクサ14(分離信号選択手段)により複数の分離信号が選択された場合には,選択された複数の分離信号を合成した音声信号が,スピーカ19から音声出力される。
一方,中継装置Bは,アンテナ51を備えたアクセスポイント装置50と,このアクセスポイント装置50とネットワーク70との間で信号変換を行うモデム52とを具備している。
アクセスポイント装置50は,端末装置Aとの間で無線LAN等による無線通信を行うとともに,TCP/IPプロトコル等に基づく通信を基地局装置Cとの間で行うことにより,無線端末Aと基地局装置Cとの間の通信を中継する。
図2に示す例では,2つのマイクロホン11a,11bが,作業者が身に付けるヘルメット40の上部や側面部等に取り付けられ,カメラ18がヘルメット40の正面に取り付けられている。
また,ヘルメット40の側面下部には,当該ヘルメット40をかぶる作業者の耳に近接するようにスピーカ19が内蔵されるとともに,アンテナ24が支持されたヘッドホン41が取り付けられている。従って,後述するように基地局装置Cにおいて熟練者の発する音声が入力され,その音声信号が無線通信部23及び制御演算部22により受信され,スピーカ19により音声出力されると,ヘルメット40をかぶる作業者により聴取される。これにより,基地局側からの熟練者による音声による作業指示等を作業現場の作業者が聞き取ることができる。
なお,スピーカ19は,ヘッドホン41として構成されたものの他,作業者の耳穴に挿入されるイヤホンとして構成されたものも考えられる。いずれにしても,ヘッドホンやイヤホンのように,周りの騒音を遮断してその影響を受けにくい構成とすることが望ましい。
また,特許文献3に示されるように,ノイズキャンセル型ヘッドフォンを用いれば,雑音除去による周囲の音の遮音効果はさらに高まる。
なお,端末装置Aが備える図2に示すもの以外の構成要素については,例えば,ヘッドホン41に内蔵させることや,ベルト等に装着可能な本体ユニットに内蔵させ,その本体ユニットとマイクロホン11a〜11dやカメラ18等とを所定の信号線で接続した構成とすること等が考えられる。
これにより,作業者は,作業を行いながらHMD25の表示内容を見ることができる。
また,残り2つのマイクロホン11c,11dは,ヘッドホン41に設けられたアーム部43により,ヘルメット40をかぶる作業者の口元に近接する位置に支持されている。但し,その一方のマイクロホン11dは,作業者の口元に向けて取り付けられ,他方のマイクロホン11cは,その反対方向に向けて取り付けられている。ここで,口元に向けられたマイクロホン11dは,向けられた方向に対して指向性を有する。
このような配置により,作業者が発する声は,マイクロホン11c,11dの両方に入力(集音)されるが,マイクロホン11dの方に,より効率的に(高い強度で)入力(集音)される。同時に,マイクロホン11c,11dは近接しているので,周囲にある設備の運転音等の雑音についてはほぼ同等のレベルで入力される。従って,マイクロホン11dによる入力音声信号からマイクロホン11cによる入力音声信号を差し引いた前記差分音声信号(減算器16の出力信号)は,雑音の混入が少なく作業者が発する音声がよりクリアに再現された音声信号となる。この差分音声信号を基地局側に送信し,基地局装置Cを通じて音声出力することにより,作業現場における雑音のボリュームが大きい場合であっても,基地局側で作業者の声をクリアに聞き取ることが可能となる。
ここで,図1に示したように,マイクロホン11cにより入力される音声信号は,音源分離処理にも用いられる。従って,マイクロホン11cは,作業者の発する音声の入力用と,音源分離に用いる混合音声信号の入力用とに兼用されるものである。
図1に示すように,基地局装置Cは,モデム61,計算機62,スピーカ63及びマイクロホン64を備えている。
モデム61は,計算機62とネットワーク70との間において無線信号の変換を行う。
計算機62は,CPU及びその周辺装置を備えた不図示の演算処理部,及びモデム61を通じて端末装置Aとの通信を行う不図示の通信インターフェースに加え,読み書き可能なハードディスク等の不揮発性記憶手段である記憶装置62cと,マウスやキーボード等からなる操作入力手段である操作入力部62bと,液晶ディスプレイ等の表示手段である表示部62aとを備えたパーソナルコンピュータ等である。
まず,支援システムXは,基地局装置Cにおいて,作業現場における端末装置Aの無線通信部23(現場信号送信手段の一例)からの送信信号(送信データ)を,中継装置B及びネットワーク並びにモデム61を通じて受信する基地局信号受信機能を有する。
受信される信号(データ)としては,作業現場における端末装置Aの音源分離処理部Zによって混合音声信号から分離された分離信号(音声信号)のうち,マルチプレクサ14でいずれかの分離信号が選択された場合にはその分離信号(音声信号)のデータが,マルチプレクサ14によって複数の分離信号が選択された場合にはそれらが音声合成部15によって合成された音声信号のデータが受信される。
さらに,端末装置Aのカメラ18で撮像される映像信号のデータも受信される。
そして,支援システムXは,基地局装置Cにおいて,受信した映像信号のデータに復号化処理を施し,さらに復号化後の映像信号のデータに基づく映像(作業現場の映像)を,計算機62の表示部62aに表示させる映像表示制御機能を有する。即ち,表示部62aは,基地局において受信された作業現場の映像信号に基づく映像を表示する手段(基地局映像表示手段)と,当該計算機62を操作する際のマンマシンインターフェース機能を果たす表示手段とを兼ねたものである。
加えて,支援システムXは,基地局装置Cにおいて,受信した音声信号のデータ,即ち,端末装置Aの音源分離処理部Zにより生成された分離信号若しくは複数の分離信号の合成信号,及び主として作業現場の作業者が発する音声が主となっている前記差分音声信号の各データに復号化処理を施し,さらに復号化後の音声信号のデータに基づく音声を,スピーカ63を通じて音声出力させる基地局音声出力機能と,作業現場の端末装置Aにおけるマルチプレクサ14を基地局装置C側から遠隔制御して分離信号を選択する遠隔選択機能を有する。なお,スピーカ63は,作業現場の端末装置Aにおいてマルチプレクサ14(分離信号選択手段)により選択された分離信号(不図示の通信インターフェースを介して受信した分離信号)を音声出力する手段(基地局音声出力手段)と,現場の作業者が発する音声を基地局側で音声出力する手段とを兼ねたものである。
まず,遠隔選択機能について説明する。
計算機62において現場作業支援プログラムが起動されると,基地局側の表示部62aには,図3(a)に示すように,音源選択メニューg3(図3(a)ではプルダウンメニュー)と,音源音声(分離信号)の出力/停止の切替ボタンg4とを含む画面が表示される。
基地局の計算機62は,その操作部62aに対し,音源選択メニューg3における選択肢である音源a,音源b,音源cの中からの任意の1つ又は複数の組み合わせを選択する操作が行われると,その音源選択情報(第1の選択情報)が前記通信インターフェースにより,作業現場の端末装置Aに対してネットワーク70を通じて伝送される。
これに対し,作業現場の端末装置Aにおける制御演算部22は,無線通信部23を通じて受信された音源選択情報に従って,マルチプレクサ14を制御することにより分離信号を選択するとともに,現在の選択状況を表す情報g3’をHMD25に表示させる。これが遠隔選択機能である。
なお,端末装置Aにおいて,操作部26から入力される所定の選択情報に従って制御演算部22がマルチプレクサ14を制御することにより,端末装置A側で分離信号の選択を可能とする現場選択機能を加えた構成や,或いは遠隔選択機能をこの現場選択機能に置き換えた構成等も考えられる。
前述の遠隔選択機能により1又は複数の分離信号が選択されると,選択された1つの分離信号若しくは選択された複数の分離信号の合成信号が音声合成部15から出力され,それが符号化部20によって符号化されて制御演算部22に取り込まれる。
一方,基地局装置Cにおいて,計算機62の操作部62bを通じて切替ボタンg4の操作がなされ,「出力」又は「停止」のいずれかが選択されると,その選択結果を表す出力選択情報が計算機62の通信インターフェースによりネットワーク70を通じて作業現場の端末装置Aに送信される。
これにより,切替ボタンg4により「出力」が選択されている間は,分離信号若しくはその合成信号が作業現場の端末装置Aから基地局装置Cに逐次伝送され,前述の基地局信号受信機能により,基地局装置Cにおける計算機62によって分離信号若しくはその合成信号が受信され,受信された分離信号若しくはその合成信号が計算機62によって復号化及びD/A変換されてスピーカ63により音声出力される。これが基地局音声出力機能である。
このように,基地局において,作業現場における複数の音源からの音声各々の中から聞きたい音源の音声のみを選択して聞くことができ,熟練者は,作業現場の音の状況を的確に把握できる。
以下,図3の表示画面例を参照しつつ,支援情報設定機能及びその関連機能について説明する。
計算機62において現場作業支援プログラムが起動されると,基地局側の表示部62aには,図3(a)に示すように,前述した音源選択メニューg3及び音源音声の出力/停止の切替ボタンg4に加え,検索キーワード入力枠g1と,検索ボタンg2と,現場映像g5と,検索結果送信ボタンg6と,検索結果表示枠g7と,現場映像内の部分指定ポインタg8とが表示される。
計算機62の記憶装置62cには,作業現場に設置された各設備に関する取扱説明書や,過去の保守記録情報等,現場の作業者にとって有用な各種の支援情報が,設備名や各情報の名前(取扱説明書,保守履歴,…)等の1又は複数のキーワードと関連付けられた支援情報データベースとして予め登録(記憶)されている。ここで,記憶装置62cが支援情報記憶手段の一例である。
そして,操作部62bを通じて検索キーワード入力枠g1にキーワードが入力され,検索ボタンg2が操作されると,入力されたキーワードに関連する支援情報が検索され,検索結果である支援情報が検索結果表示枠g7に表示される。これは,検索キーワードに基づいて,支援情報データベースに登録(記憶)された支援情報の候補の中から,作業現場に送信する支援情報を選択して設定する処理である(支援情報選択手段の一例)。
このように検索結果が得られた状態で,検索結果送信ボタンg6が操作されると,その検索結果(支援情報)が,前記通信インターフェース及びモデム61(支援情報送信手段の一例)により,ネットワーク70を通じて作業現場の端末装置Aに送信される。これが支援情報送信機能である。
さらに,制御演算部22によりHMD25が制御され,受信された支援情報がHMD25の表示画面における支援情報表示枠g7’に表示(画像として出力)される。これが支援情報出力機能である。
これにより,基地局側から作業現場に適切な情報を提供して効果的な現場作業の支援を行うことができる。
例えば,音源分離処理部Zにより得られた分離信号から,ある設備の異常な運転音が確認された場合に,その設備の取扱説明書や過去の保守情報等を支援情報として作業現場のHMD25に表示させれば,作業者は,迅速に適切な処置をとることができる。また,比較的経験の浅い作業者の訓練にもなる。
一方,基地局の計算機62は,その表示部62aに作業現場から送信されてきた現場映像g5を表示させるが,操作部62bの所定の操作(マウス操作等)に従って,例えば矢印形状の部分指定ポインタg8の表示位置を現場映像g5の表示範囲で任意に移動させ,その部分指定ポインタg8の移動によって現場映像g5における任意の部分を指定できる映像部分指定機能を備えている。
さらに,基地局の計算機62は,現場映像g5内における部分指定ポインタg8の位置情報(座標情報(映像部分指定情報の一例))を,前記通信インターフェースにより作業現場の端末装置Aへ送信する機能を備える。
さらに,図3(b)に示すように,端末装置Aの制御演算部22は,カメラ18により得られる作業現場の映像信号に基づく現場映像g5’をHMD25に表示させるとともに,その現場映像g5’と併せて,受信された部分指定ポインタg8の位置情報に対応する位置(部分)を指し示す位置に部分指定ポインタg8’の映像をHMD25に表示させる。これにより,基地局の熟練者が,作業現場における特定の設備等を指し示しながら指示を与えることができる等,的確な現場支援が可能となる。即ち,部分指定ポインタg8の位置情報も,基地局装置Cから作業現場の端末装置Aに送信する支援情報の一つといえ,その部分指定ポインタg8の位置情報を設定(指定)する上記映像部分指定機能は,支援情報設定機能の一例として捉えることができる。
なお,部分指定ポインタg8,g8’は,矢印状の映像(画像)の他,所定の範囲(部分)を囲む枠の映像や,あるポイントを指す「×」状の映像等,各種考えられ,それらを切り替え可能に構成してもよい。
この基地局音声現場出力機能は,基地局装置Cにおいて,マイクロホン64を通じて入力された音声信号をA/D変換及び符号化して作業現場の端末装置Aに送信するとともに,端末装置Aにおいて,その音声信号を無線通信部23を通じて受信するとともに,その音声信号について復号化部21による復号化及びD/Aコンバータ17によるD/A変換を行った後にスピーカ19によって音声出力することにより実現される。
これにより,基地局の熟練者は,音声によって作業現場の作業者に指示やアドバイスを送ることができ,円滑な作業支援が行える。
ここで,基地局装置Cで入力される音声信号も,基地局装置Cから作業現場の端末装置Aに送信する支援情報の一つといえ,その音声信号を入力(設定)する機能は,支援情報設定機能の一例として捉えることができる。
まず,音源分離処理部Zに適用可能な音源分離処理の一例として,図4及び図5に示すブロック図を参照しつつ,独立成分分析法に基づくブラインド音源分離方式(以下,ICA−BSS方式という)の音源分離処理について説明する。
なお,以下に示すICA−BSS方式の音源分離処理は,いずれも所定の音響空間に複数の音源と複数のマイクロホン(現場音声入力手段)とが存在する状態で,そのマイクロホン各々を通じて入力される前記音源各々からの個別の音声信号(以下,音源信号という)が重畳された複数の混合音声信号から,1以上の音源信号を分離(同定)した分離信号を生成して出力信号とする音源分離処理或いはその処理を行う装置等に関するものである。
図4は,ICA法の一種である時間領域独立成分分析法(time-domain independent component analysis法,以下,TDICA法という)に基づくBSS方式の音源分離処理を行う従来の音源分離装置Z1の概略構成を表すブロック図である。なお,本処理の詳細は,非特許文献1や非特許文献2等に示されている。
音源分離装置Z1は,分離フィルタ処理部100により,2つの音源1,2からの音源信号S1(t),S2(t)(音源ごとの音声信号)を2つのマイクロホン(現場音声入力手段)11a,11bで入力した2チャンネル(マイクロホンの数)の混合音声信号x1(t),x2(t)について,分離行列W(z)によりフィルタ処理を施すことによって音源分離を行う。
図4には,2つの音源1,2からの音源信号S1(t),S2(t)(個別音声信号)を2つのマイクロホン11a,11bで入力した2チャンネル(マイクロホンの数)の混合音声信号x1(t),x2(t)に基づいて音源分離を行う例について示しているが,2チャンネル以上であっても同様である。ICA法に基づくBSS方式による音源分離の場合,(入力される混合音声信号のチャンネル数n(即ち,マイクロホンの数))≧(音源の数m)であればよい。
複数のマイクロホン11a,11b各々で集音された各混合音声信号x1(t),x2(t)には,複数音源からの音源信号が重畳されている。以下,各混合音声信号x1(t),x2(t)を総称してx(t)と表す。この混合音声信号x(t)は音源信号S(t)の時間的空間的な畳み込み信号として表現され,次の(1)式のように表される。
ここで,当該音源分離処理に用いる分離行列をW(z)とすれば,分離信号(即ち,同定信号)y(t)は,次の(2)式で表される。
なお,音源合成処理はこのW(z)に関する情報により,逆演算処理に相当する配列を形成し,これを用いて逆演算を行えばよい。また,分離行列W(z)の逐次計算を行う際の分離行列の初期値(初期行列)は,予め定められたものが設定される。
このようなICA法に基づくBSS方式による音源分離を行うことにより,例えば,人の歌声とギター等の楽器の音とが混合した複数チャンネル分の混合音声信号から,歌声の音源信号と楽器の音源信号とが分離(同定)される。
ここで,(2)式は,次の(3)式のように書き換えて表現できる。
FDICA法では,まず,入力された混合音声信号x(t)について,ST−DFT処理部101によって所定の周期ごとに区分された信号であるフレーム毎に短時間離散フーリエ変換(Short Time Discrete Fourier Transform,以下,ST−DFT処理という)を行い,観測信号の短時間分析を行う。そして,そのST−DFT処理後の各チャンネルの信号(各周波数成分の信号)について,分離フィルタ処理部100fにより分離行列W(f)に基づく分離フィルタ処理を施すことによって音源分離(音源信号の同定)を行う。ここでfを周波数ビン,mを分析フレーム番号とすると,分離信号(同定信号)y(f,m)は,次の(5)式のように表すことができる。
ここで,FDICA法における分離行列W(f)の学習計算では,周波数ビンごとに独立して学習が可能である(相互に演算結果が干渉しない)。従って,全周波数帯域を周波数ビンの単位で複数に区分すれば,その区分した周波数帯域各々について学習計算を並行処理(並列処理)することができる。
このFDICA法(FDICA方式)に基づく音源分離処理を音源分離処理部Zに適用すれば,比較的小さな演算負荷で音源分離処理を行うことができる。
ここで,図6は,分離行列Wの計算と音源分離処理(フィルタ処理)との各々に用いる混合音声信号の区分の第1例をタイムチャート的に表したものである。
この第1例は,逐次入力される混合音声信号を所定時間長(例えば3秒)分のフレーム信号(以下,Frameという)ごとに,その全てを用いて学習計算を行う例である。
また,図6に示す例は,分離行列の学習計算と,その分離行列に基づくフィルタ処理(行列演算)により分離信号を生成(同定)する処理とを,異なるFrameを用いて実行する場合を表す。
図6に示すように,時刻Ti〜Ti+1の期間(周期:Ti+1−Ti)に入力された前記混合音声信号全てに相当するFrame(i)を用いて分離行列の計算(学習)を行い,それにより求められた分離行列を用いて時刻(Ti+1+Td)〜(Ti+2+Td)の期間に入力された前記混合音声信号全てに相当するFrame(i+1)’について分離処理(フィルタ処理)を実行する。ここで,Tdは1つのFrameを用いた分離行列の学習に要する時間である。即ち,ある1期間の混合音声信号に基づき計算された分離行列を用いて,Frame時間長+学習時間だけずれた次の1期間の混合音声信号について分離処理(同定処理)を行う。但し,処理の開始時から1Frame分の時間長+学習時間Tdが経過するまでは,予め定められた初期行列を分離行列として用いることになる。このとき,ある1期間のFrame(i)を用いて計算(学習)された分離行列を,次の1期間のFrame(i+1)’を用いて分離行列を計算(逐次計算)する際の初期値(初期分離行列)として用いれば,学習計算の収束が早まり好適である。
これにより,マイクロホン11a,11bを通じて逐次入力される混合音声信号に対し,生成される分離信号に時間遅れが生じず,他の映像信号や作業者が発する音声の信号との間で同期のとれた分離信号若しくはその合成信号を生成することができる。
しかしながら,学習計算を複数のプロセッサで分担して並行処理する等により高速化した場合でも,1つのFrameの時間範囲内(Ti〜Ti+1)に,十分な音源分離性能を確保できるだけの十分な学習計算(逐次計算処理)を常には完了させられないことも考え得る。
そこで,図7に示す例は,逐次入力される混合音声信号を所定時間長(例えば3秒)分のフレーム信号(Frame)ごとに,そのフレーム信号の先頭側の一部を用いて学習計算を行う例,即ち,分離行列の逐次計算に用いる混合音声信号のサンプル数を通常よりも減らす(間引く)例である。
これにより,学習計算の演算量が抑えられるので,より短周期で分離行列の学習を行うことが可能となる。
図7も,図6と同様に,分離行列Wの学習計算と音源分離処理との各々に用いる混合音声信号の区分の第2例をタイムチャート的に表したものであり,分離行列の学習計算と,その分離行列に基づくフィルタ処理(行列演算)により分離信号を生成(同定)する処理とを,異なるFrameを用いて実行する例である。
図7に示すように,時刻Ti〜Ti+1の期間(周期:Ti+1−Ti)に入力された前記混合音声信号(Frame)であるFrame(i)のうち,先頭側の一部(例えば,先頭から所定時間分)の信号(以下,Sub-Frame(i)という)を用いて分離行列の計算(学習)を行い,それにより求められた分離行列を用いて時刻Ti+1〜Ti+2の期間に入力された前記混合音声信号全てに相当するFrame(i+1)について分離処理(フィルタ処理)を実行する。即ち,ある1期間の混合音声信号の先頭側の一部に基づき計算された分離行列を用いて次の1期間の混合音声信号の分離処理(同定処理)を行う。このとき,ある1期間のFrame(i)の先頭側の一部を用いて計算(学習)された分離行列を,次の1期間のFrame(i+1)を用いて分離行列を計算(逐次計算)する際の初期値(初期分離行列)として用いれば,逐次計算(学習)の収束が早まり好適である。
このような処理によっても,マイクロホン11a,11bを通じて逐次入力される混合音声信号に対し,生成される分離信号に時間遅れが生じず,他の映像信号や作業者が発する音声の信号との間で同期のとれた分離信号若しくはその合成信号を生成することができる。
図8は,バイナリーマスキング処理を説明するための図である。このバイナリーマスキング処理は,バイノーラル信号処理の考え方を起源とする信号処理の一例であって,比較的処理がシンプルでありリアルタイム処理に適している。なお,バイノーラル信号処理による信号分離処理は,人間の聴覚モデルに基づいて前記混合音声信号に時変のゲイン調節を施して音源分離を行うものであり,例えば,非特許文献7や非特許文献8等に詳説されている。
バイナリーマスキング処理を行う音源分離処理部Zは,複数の入力信号(複数の混合音声信号Xi(t))の比較処理を行う比較部31と,その比較部31による比較処理の結果に基づいて入力信号にゲイン調節を施して信号分離(音源分離)を行う分離部32とを有して構成される。
バイナリーマスキング処理では,まず,前記比較部31において,入力信号各々について周波数成分ごとの信号レベル(振幅)分布AL,ARを検出し,同じ周波数成分における信号レベルの大小関係を判別する。
次に,前記分離部32により,前記比較部31による信号比較の結果(大小判別の結果)に基づいて,入力信号各々にゲイン乗算(ゲイン調節)を施すことにより分離信号(同定信号)を生成する。この分離部32における最も簡単な処理の例としては,入力信号について,周波数成分ごとに,信号レベルが最も大きいと判別された入力信号の周波数成分にゲイン1を乗算し,その他の入力信号全ての同じ周波数成分にゲイン0(ゼロ)を乗算すること等が考えられる。
これにより,入力信号と同数の分離信号(同定信号)CL,CRが得られる。この分離信号CL,CRのうち,一方は,入力信号の同定の対象となった音源信号に相当するものとなり,他方は入力信号に混在するノイズ(同定対象の音源信号以外の音源信号)に相当するものとなる。
なお,図8には,2つの入力信号に基づくバイナリーマスキング処理の例を示すが,3つ以上の入力信号に基づく処理であっても同様である。
これら帯域フィルタ処理やビームフォーマでは,長くても数ms〜数百ms程度の瞬時の混合音声信号のみを用いて音源分離が可能であり,演算負荷が小さくリアルタイム処理に適している。
また,音源分離処理部Zにビームフォーマを適用した場合,制御演算部22等により,カメラ18で得られた映像から作業者が向いている方向を検知し,その検知方向に基づいて音源分離処理部Z及びマルチプレクサ14を制御することにより,作業者の向いている方向に存在する音源に対応する分離信号を自動選択することも考えられる。
A…作業現場の端末装置
B…中継装置
C…基地局装置
11a〜11d…マイクロホン
13…A/Dコンバータ
14…マルチプレクサ
15…音声合成部
16…減算器
17…D/Aコンバータ
18…作業現場のカメラ
19…作業現場のスピーカ
20…符号化部
21…復号化部
22…制御演算部
23…無線通信部
25…HMD(Head Mounted Display)
50…アクセスポイント装置
62…計算機
63…基地局のスピーカ
64…作業現場のマイクロホン
Claims (9)
- 所定の作業現場において音声を入力する現場音声入力手段と,
前記現場音声入力手段により入力される複数の音源からの音声が重畳された混合音声の信号から前記音源各々に対応する音声信号を分離した分離信号各々を生成する音源分離手段と,
前記音源分離手段により生成された複数の前記分離信号からいずれかを選択若しくは複数を選択する分離信号選択手段と,
前記作業現場において映像を撮像する撮像手段と,
前記分離信号選択手段により選択された前記分離信号及び前記撮像手段により撮像された現場の映像信号を所定の信号伝送媒体を通じて所定の基地局へ送信する現場信号送信手段と,
前記基地局において前記現場信号送信手段からの送信信号を受信する基地局信号受信手段と,
前記基地局において前記基地局信号受信手段により受信された前記分離信号を音声出力する基地局音声出力手段と,
前記基地局において前記基地局信号受信手段により受信された前記現場の映像信号に基づく映像を表示する基地局映像表示手段と,
前記基地局において所定の支援情報を設定する支援情報設定手段と,
前記支援情報設定手段により設定された前記支援情報を前記信号伝送媒体を通じて前記作業現場へ送信する支援情報送信手段と,
前記作業現場において前記支援情報送信手段による送信情報を受信する支援情報受信手段と,
前記作業現場において前記支援情報受信手段により受信された前記支援情報に基づく情報を出力する支援情報出力手段と,
を具備してなることを特徴とする現場作業支援システム。 - 前記支援情報設定手段が,前記基地局映像表示手段の表示映像における任意の部分を指定する映像部分指定情報を前記支援情報として設定する映像部分指定手段を備え,
前記支援情報出力手段が,前記撮像手段により得られる前記現場の映像信号に基づく映像と前記支援情報受信手段によって受信された前記映像部分指定情報による指定部分を特定する映像とを併せて映像表示する現場映像表示手段を備えてなる請求項1に記載の現場作業支援システム。 - 前記支援情報の候補を予め記憶する支援情報記憶手段を具備し,
前記支援情報設定手段が,前記支援情報記憶手段の記憶情報の中から前記作業現場に送信する前記支援情報を選択して設定する支援情報選択手段を備えてなる請求項1又は2のいずれかに記載の現場作業支援システム。 - 前記分離信号選択手段が,前記基地局において所定の操作入力手段を通じて入力される第1の選択情報を前記信号伝送媒体を通じて前記作業現場に伝送し,該第1の選択情報に従って前記作業現場において前記分離信号を選択する遠隔選択手段を備えてなる請求項1〜3のいずれかに記載の現場作業支援システム。
- 前記現場信号送信手段が,前記分離信号選択手段により複数の前記分離信号が選択された場合に,選択された複数の前記分離信号を合成した音声信号を前記現場の映像信号とともに前記基地局へ送信してなる請求項1〜4のいずれかに記載の現場作業支援システム。
- 前記作業現場において前記分離信号選択手段により選択された前記分離信号を音声出力する現場音声出力手段を具備してなる請求項1〜5のいずれかに記載の現場作業支援システム。
- 前記分離信号選択手段が,前記作業現場における所定の操作入力手段を通じて入力される第2の選択情報に従って前記分離信号を選択する現場選択手段を備えてなる請求項6に記載の現場作業支援システム。
- 前記現場音声出力手段が,前記分離信号選択手段により複数の前記分離信号が選択された場合に,選択された複数の前記分離信号を合成した音声信号を音声出力してなる請求項6又は7のいずれかに記載の現場作業支援システム。
- 前記現場音声入力手段,前記撮像手段及び前記支援情報出力手段が,前記作業現場における作業者の身体に装着可能に構成されてなる請求項1〜8のいずれかに記載の現場作業支援システム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2005221648A JP2007034238A (ja) | 2005-07-29 | 2005-07-29 | 現場作業支援システム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2005221648A JP2007034238A (ja) | 2005-07-29 | 2005-07-29 | 現場作業支援システム |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2007034238A true JP2007034238A (ja) | 2007-02-08 |
Family
ID=37793529
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2005221648A Pending JP2007034238A (ja) | 2005-07-29 | 2005-07-29 | 現場作業支援システム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2007034238A (ja) |
Cited By (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2008295011A (ja) * | 2007-04-26 | 2008-12-04 | Kobe Steel Ltd | 目的音抽出装置,目的音抽出プログラム,目的音抽出方法 |
JP2008295010A (ja) * | 2007-04-26 | 2008-12-04 | Kobe Steel Ltd | 目的音抽出装置,目的音抽出プログラム,目的音抽出方法 |
JP2009141812A (ja) * | 2007-12-07 | 2009-06-25 | Nippon Telegr & Teleph Corp <Ntt> | 遠隔テレビ会議システム |
JP2011049959A (ja) * | 2009-08-28 | 2011-03-10 | Aiphone Co Ltd | インターホンシステム |
JP2016181751A (ja) * | 2015-03-23 | 2016-10-13 | 株式会社日立ソリューションズ | 遠隔作業支援システム |
WO2018193509A1 (ja) * | 2017-04-17 | 2018-10-25 | 株式会社オプティム | 遠隔作業支援システム、遠隔作業支援方法、及びプログラム |
JP2018169649A (ja) * | 2017-03-29 | 2018-11-01 | 三菱電機株式会社 | 監視システムおよび監視用の端末 |
JP2023047367A (ja) * | 2021-09-27 | 2023-04-06 | 株式会社 日立産業制御ソリューションズ | 作業支援装置、作業支援システム及び作業支援プログラム |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2000115753A (ja) * | 1998-10-06 | 2000-04-21 | Sony Corp | 通信システムおよび方法、被制御撮影装置並びに端末装置 |
JP2000231625A (ja) * | 1999-02-12 | 2000-08-22 | Sanyo Electric Co Ltd | 指示情報伝達装置 |
JP2000299851A (ja) * | 1999-02-12 | 2000-10-24 | Sanyo Electric Co Ltd | 指示情報伝達装置 |
JP2002041133A (ja) * | 2000-07-31 | 2002-02-08 | Toyoda Mach Works Ltd | 作業支援装置及び作業支援方法 |
JP2004109779A (ja) * | 2002-09-20 | 2004-04-08 | Kobe Steel Ltd | 音声処理装置 |
-
2005
- 2005-07-29 JP JP2005221648A patent/JP2007034238A/ja active Pending
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2000115753A (ja) * | 1998-10-06 | 2000-04-21 | Sony Corp | 通信システムおよび方法、被制御撮影装置並びに端末装置 |
JP2000231625A (ja) * | 1999-02-12 | 2000-08-22 | Sanyo Electric Co Ltd | 指示情報伝達装置 |
JP2000299851A (ja) * | 1999-02-12 | 2000-10-24 | Sanyo Electric Co Ltd | 指示情報伝達装置 |
JP2002041133A (ja) * | 2000-07-31 | 2002-02-08 | Toyoda Mach Works Ltd | 作業支援装置及び作業支援方法 |
JP2004109779A (ja) * | 2002-09-20 | 2004-04-08 | Kobe Steel Ltd | 音声処理装置 |
Cited By (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2008295011A (ja) * | 2007-04-26 | 2008-12-04 | Kobe Steel Ltd | 目的音抽出装置,目的音抽出プログラム,目的音抽出方法 |
JP2008295010A (ja) * | 2007-04-26 | 2008-12-04 | Kobe Steel Ltd | 目的音抽出装置,目的音抽出プログラム,目的音抽出方法 |
JP4519900B2 (ja) * | 2007-04-26 | 2010-08-04 | 株式会社神戸製鋼所 | 目的音抽出装置,目的音抽出プログラム,目的音抽出方法 |
JP4519901B2 (ja) * | 2007-04-26 | 2010-08-04 | 株式会社神戸製鋼所 | 目的音抽出装置,目的音抽出プログラム,目的音抽出方法 |
JP2009141812A (ja) * | 2007-12-07 | 2009-06-25 | Nippon Telegr & Teleph Corp <Ntt> | 遠隔テレビ会議システム |
JP2011049959A (ja) * | 2009-08-28 | 2011-03-10 | Aiphone Co Ltd | インターホンシステム |
JP2016181751A (ja) * | 2015-03-23 | 2016-10-13 | 株式会社日立ソリューションズ | 遠隔作業支援システム |
JP2018169649A (ja) * | 2017-03-29 | 2018-11-01 | 三菱電機株式会社 | 監視システムおよび監視用の端末 |
WO2018193509A1 (ja) * | 2017-04-17 | 2018-10-25 | 株式会社オプティム | 遠隔作業支援システム、遠隔作業支援方法、及びプログラム |
US10591986B2 (en) | 2017-04-17 | 2020-03-17 | Optim Corporation | Remote work supporting system, remote work supporting method, and program |
JP2023047367A (ja) * | 2021-09-27 | 2023-04-06 | 株式会社 日立産業制御ソリューションズ | 作業支援装置、作業支援システム及び作業支援プログラム |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10275210B2 (en) | Privacy protection in collective feedforward | |
JP2007034238A (ja) | 現場作業支援システム | |
EP2708040B1 (en) | System and method for emitting and especially controlling an audio signal in an environment using an objective intelligibility measure | |
US10176821B2 (en) | Monaural intrusive speech intelligibility predictor unit, a hearing aid and a binaural hearing aid system | |
US20160142820A1 (en) | Personal audio system using processing parameters learned from user feedback | |
EP3203473B1 (en) | A monaural speech intelligibility predictor unit, a hearing aid and a binaural hearing system | |
EP3005344A1 (en) | An audio scene apparatus | |
US10275209B2 (en) | Sharing of custom audio processing parameters | |
US10531178B2 (en) | Annoyance noise suppression | |
WO2007139040A1 (ja) | 音声状況データ生成装置、音声状況可視化装置、音声状況データ編集装置、音声データ再生装置、および音声通信システム | |
WO2016185668A1 (ja) | 指向性制御システム及び音声出力制御方法 | |
US11218796B2 (en) | Annoyance noise suppression | |
US20220261213A1 (en) | Multi-frequency sensing method and apparatus using mobile-clusters | |
CN112352441A (zh) | 增强型环境意识*** | |
JP4185866B2 (ja) | 音響信号処理装置および音響信号処理方法 | |
EP3900399B1 (en) | Source separation in hearing devices and related methods | |
JP6447976B2 (ja) | 指向性制御システム及び音声出力制御方法 | |
JP5451562B2 (ja) | 音響処理システム及びこれを用いた機械 | |
CN105474665A (zh) | 声音处理装置、声音处理***及声音处理方法 | |
US20140324418A1 (en) | Voice input/output device, method and programme for preventing howling | |
US9678709B1 (en) | Processing sound using collective feedforward | |
JP2009111506A (ja) | 監視情報生成装置 | |
US11145320B2 (en) | Privacy protection in collective feedforward | |
KR101604130B1 (ko) | 건물 내부용 경보방송시스템 및 경보방송방법 | |
JP2002304191A (ja) | 鳴き声による音声ガイドシステム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20070928 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20100406 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20100413 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20100608 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20110208 |