JP2017108287A - 通信装置、制御方法及び制御プログラム - Google Patents
通信装置、制御方法及び制御プログラム Download PDFInfo
- Publication number
- JP2017108287A JP2017108287A JP2015240562A JP2015240562A JP2017108287A JP 2017108287 A JP2017108287 A JP 2017108287A JP 2015240562 A JP2015240562 A JP 2015240562A JP 2015240562 A JP2015240562 A JP 2015240562A JP 2017108287 A JP2017108287 A JP 2017108287A
- Authority
- JP
- Japan
- Prior art keywords
- image
- mask
- sound
- region
- area
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Circuit For Audible Band Transducer (AREA)
- Telephone Function (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
- Obtaining Desirable Characteristics In Audible-Bandwidth Transducers (AREA)
Abstract
【課題】マイクによる音の収集を好適に制御する、通信装置、制御方法及び制御プログラムを提供する。
【解決手段】通信装置100は、検出部104と、判定部105と、指向性制御部106とを有する。検出部104は、通信装置が設置された自拠点で、複数のマイクを含むマイクアレイにより収集された音の発生源の方向を検出する。判定部105は、他拠点の表示装置に表示させる表示画像の領域に対応し、検出された発生源の方向を含む画像領域に、他拠点の表示装置での表示をマスクするためのマスク領域が含まれるか否かを判定する。指向性制御部106は、画像領域にマスク領域が含まれると判定された場合に、該マスク領域に対応する自拠点の範囲からの音の収集を制限するように、マイクアレイの指向性を制御する。
【選択図】図3
【解決手段】通信装置100は、検出部104と、判定部105と、指向性制御部106とを有する。検出部104は、通信装置が設置された自拠点で、複数のマイクを含むマイクアレイにより収集された音の発生源の方向を検出する。判定部105は、他拠点の表示装置に表示させる表示画像の領域に対応し、検出された発生源の方向を含む画像領域に、他拠点の表示装置での表示をマスクするためのマスク領域が含まれるか否かを判定する。指向性制御部106は、画像領域にマスク領域が含まれると判定された場合に、該マスク領域に対応する自拠点の範囲からの音の収集を制限するように、マイクアレイの指向性を制御する。
【選択図】図3
Description
本発明は、通信装置、制御方法及び制御プログラムに関する。
従来、インターネット等のネットワークを利用して、各拠点のユーザ間の会話を実現するテレビ会議のための通信システムが知られている。テレビ会議のための通信システムでは、各拠点に設置されたカメラやマイクによって収集された映像や音を、ネットワークに接続された各拠点の通信装置間で送受して、他の拠点の表示装置やスピーカから出力させることにより、拠点間でのテレビ会議を実現する。
テレビ会議では、全方位を撮影可能なカメラや、指向性を有するマイクが利用されることがある。全方位を撮影可能なカメラを利用することで、会議に参加する全てのユーザを撮影することが可能となる。また、指向性を有するマイクを利用することで、ユーザの音声を明瞭に収集することが可能となる。さらに、より円滑な会話を実現することを目的として、マイクによって検知された音の音源方向にカメラの向きを制御する技術も存在する。
ところで、テレビ会議では、映像に映りたくないユーザや、映したくない物が存在する場合がある。かかる場合には、表示装置に表示する映像に映さない領域であるマスク領域を予め決定しておき、カメラのパン、チルト、ズームに応じてマスク領域をマスク処理した映像を表示装置に表示する。
しかしながら、従来技術では、マイクによる音の収集を好適に制御することが困難であるという問題がある。例えば、マスク領域をマスク処理した映像を表示させる際に、マスク領域で発生する音についても収集したくないという要求がある。従来技術は、マスク領域をマスク処理した映像を表示するものであり、マスク領域で発生する音については収集されることになるため、この要求を満たせているとは言えない。
本発明は、上記に鑑みてなされたものであって、マイクによる音の収集を好適に制御することを目的とする。
上述した課題を解決し、目的を達成するため、本発明に係る通信装置は、通信装置であって、前記通信装置が設置された自拠点で、複数のマイクを含むマイクアレイにより収集された音の発生源の方向を検出する検出部と、他拠点の表示装置に表示させる表示画像の領域に対応し、検出された前記発生源の方向を含む画像領域に、前記表示装置での表示をマスクするためのマスク領域が含まれるか否かを判定する判定部と、前記画像領域に前記マスク領域が含まれると判定された場合に、該マスク領域に対応する前記自拠点の範囲からの音の収集を制限するように、前記マイクアレイの指向性を制御する指向性制御部とを有する。
本発明の一つの様態によれば、マイクによる音の収集を好適に制御することができるという効果を奏する。
以下に添付図面を参照して、本発明に係る通信装置、制御方法及び制御プログラムの実施の形態を説明する。以下では、本発明に係る通信装置を適用した通信システムの一例として、地理的に離れた拠点間での会議を可能にするテレビ会議システムを例示する。但し、本発明は、複数の通信装置の間で映像や音を送受する各種の通信システム、及び、該通信システムで用いられる各種の通信装置に対して広く適用可能であり、以下の実施の形態により限定されるものではない。
(実施の形態1)
[実施の形態1に係るシステム構成]
図1を用いて、実施の形態1に係る通信システムの構成を説明する。図1は、実施の形態1に係る通信システムのシステム構成例を示す図である。
[実施の形態1に係るシステム構成]
図1を用いて、実施の形態1に係る通信システムの構成を説明する。図1は、実施の形態1に係る通信システムのシステム構成例を示す図である。
図1に示すように、通信システム1には、複数の拠点に設置された通信装置100と、中継装置200とが含まれる。複数の拠点に設置された通信装置100と、中継装置200とは、インターネットやLAN(Local Area Network)等のネットワーク2に接続し、相互に通信可能である。これらのうち、通信システム1に含まれる通信装置100の台数は、テレビ会議等に参加する拠点数に対応する。図1では、拠点A、拠点B及び拠点Cのそれぞれに通信装置100が設置されている場合を例に挙げている。
通信装置100は、中継装置200を介して、他拠点の通信装置100との間で各種情報を送受信する。また、通信装置100は、受信した情報の出力を制御する。例えば、出力される情報は、カメラによって撮影された各拠点の映像や、マイクによって収集された各拠点の音(主に、話者の音声)等である。通信装置100は、テレビ会議のための専用端末であっても良いし、PC(Personal Computer)やスマートフォン、タブレット端末等の汎用端末であっても良い。汎用端末は、本実施の形態に係る制御プログラムをインストールすることによって、アプリケーションの一つとして通信装置100の各機能を実現する。中継装置200は、各拠点に設置された複数の通信装置100の間における映像や音等の各種情報の伝送を中継するサーバ装置等である。
上述した構成において、通信装置100は、自拠点で、複数のマイクを含むマイクアレイにより収集された音の発生源の方向を検出する。例えば、テレビ会議において、音の発生源は、主に話者による発話となる。また、マイクアレイを構成する各マイクは、指向性を有し、通信装置100の筐体に分散して配置されている。通信装置100は、各マイクに対して有効と無効とを切り替える制御を行ない、各マイクによって収集された音を積算することで、自拠点での任意の範囲の音を取得することができる。これらから、本実施の形態では、指向性を有する複数のマイクを含むマイクアレイを用いて、各マイクに到達する音の時間差等を利用することで、テレビ会議における音の発生源である話者の方向を検出する。
そして、通信装置100は、他拠点の表示装置に表示させる表示画像の領域に対応し、検出された発生源の方向を含む画像領域に、他拠点の表示装置での表示をマスクするためのマスク領域が含まれるか否かを判定する。他拠点の表示装置に表示させる表示画像は、自拠点の映像に対応する。自拠点の撮影では、一つの様態として、全方位を撮影可能な全方位カメラを採用する。また、本実施の形態では、マイクアレイに基づき検出された音の発生源の方向を含む映像を利用することで、音の発生源となり得る話者の映像を他拠点に送信する。このため、画像領域は、全方位カメラによる自拠点の撮影に基づき、検出された音の発生源の方向を中心として切り出したときの画像の領域に対応する。また、通信装置100は、画像領域にマスク領域が含まれるか否かについて、予め記憶されたマスクデータをもとに判定する。例えば、マスクデータは、全方位カメラで撮影される自拠点の映像に対する座標範囲である。ユーザは、マスク対象となる座標範囲を予め設定することができる。
続いて、通信装置100は、画像領域にマスク領域が含まれると判定された場合に、該マスク領域に対応する自拠点の範囲からの音の収集を制限するように、マイクアレイの指向性を制御する。例えば、通信装置100は、画像領域にマスク領域が含まれる場合に、画像領域に対応する自拠点の範囲のうち、マスク領域に対応する範囲からの音の収集を制限するように、マイクアレイに含まれる各マイクの指向性を制御する。すなわち、通信装置100は、他拠点の表示装置で表示される映像にマスク領域が含まれる場合に、マスク領域に対応する自拠点の範囲からの音の収集を制限し、主に、マスク領域を除く自拠点の範囲から音を収集するように、マイクアレイの指向性を制御する。これにより、マスク領域で発生する音については収集したくないといった要求に対し、マイクによる音の収集を好適に制御することができる。
その後、通信装置100は、マスク領域に基づきマスク処理を実行し、他拠点の表示装置に表示させる表示画像を生成して、生成した表示画像と、指向性を制御されたマイクアレイにより収集された音とを含む出力情報を、他拠点に設置された通信装置100に対して送信する。
[実施の形態1に係る通信装置のハードウェア構成]
次に、図2を用いて、実施の形態1に係る通信装置100のハードウェア構成を説明する。図2は、実施の形態1に係る通信装置100のハードウェア構成例を示すブロック図である。
次に、図2を用いて、実施の形態1に係る通信装置100のハードウェア構成を説明する。図2は、実施の形態1に係る通信装置100のハードウェア構成例を示すブロック図である。
図2に示すように、通信装置100は、CPU(Central Processing Unit)11と、ROM(Read Only Memory)12と、RAM(Random Access Memory)13と、SSD(Solid State Drive)15と、メディアドライブ17と、操作部18と、電源スイッチ19とを有する。加えて、通信装置100は、ネットワークI/F21と、カメラ22と、撮像素子I/F23と、マイクアレイ24と、スピーカ25と、音声入出力I/F26と、ディスプレイI/F27と、外部機器接続I/F28とを有する。
CPU11は、通信装置100全体の動作を制御する。CPU11は、ROM12等に記憶されたプログラムを、RAM13等を作業領域として実行することで、通信装置100全体の動作を制御する。ROM12は、通信装置100による処理を実現するためのプログラムを記憶する。RAM13は、ROM12等に格納されたプログラムの実行時の作業領域である。SSD15は、各種プログラムや各種データを記憶可能なフラッシュメモリ14に対する、データの読み出しや書き込みを制御する。メディアドライブ17は、記録メディア16に対するデータの読み出しや書き込み(記録)を制御する。
操作部18は、通信装置100の通信先となる他拠点の通信装置100の選択や、マスク領域の設定、この他の各種設定のために操作される。例えば、操作部18は、マウスやキーボード、ハードキー等を備えていても良いし、操作入力可能なタッチパネル等であっても良い。電源スイッチ19は、通信装置100の電源の投入と切断とを切り替えるためのものである。ネットワークI/F21は、ネットワーク2への接続や、各種情報の送受信を制御するためのインタフェースである。カメラ22は、拠点内を撮影する。撮像素子I/F23は、CPU11による制御に従って、カメラ22の駆動を制御するためのインタフェースである。例えば、カメラ22は、拠点内の全方位を撮影可能な全方位カメラであっても良いし、マイクアレイに基づき検出された音の方向に追従して、撮影方向の切り替えができるカメラであっても良い。本実施の形態では、カメラ22の一つの様態として、全方位カメラを適用する場合を例に挙げる。なお、撮影方向の切り替えについては、デジタル式とアナログ式との何れであっても良い。
マイクアレイ24は、複数のマイクで構成されたマイクアレイにより拠点内の音を収集し、収集した音を通信装置100に入力する。スピーカ25は、音を出力する。音声入出力I/F26は、CPU11による制御に従って、マイクアレイ24に対する指向性を制御して信号(主に、音声信号)の入力を処理するとともに、スピーカ25の音量等を制御して信号の出力を処理するためのインタフェースである。ディスプレイI/F27は、CPU11による制御に従って、表示装置50に表示させる映像のデータを伝送するためのインタフェースである。例えば、表示装置50は、通信装置100に外付けされるプロジェクタや液晶パネル等である。外部機器接続I/F28は、各種の外部機器を通信装置100に接続するためのインタフェースである。また、通信装置100は、上記各部を電気的に接続するためのアドレスバスやデータバス等のバス20を有する。なお、図2に示したハードウェア構成は一例であり、上記以外のハードウェアを追加しても良い。
[実施の形態1に係る通信装置の機能構成]
次に、図3を用いて、実施の形態1に係る通信装置100の機能構成を説明する。図3は、実施の形態1に係る通信装置100の機能構成例を示すブロック図である。
次に、図3を用いて、実施の形態1に係る通信装置100の機能構成を説明する。図3は、実施の形態1に係る通信装置100の機能構成例を示すブロック図である。
図3に示すように、通信装置100は、操作入力受付部101と、表示制御部102と、音声出力制御部103と、検出部104と、判定部105と、指向性制御部106と、撮影制御部107と、画像生成部108と、音声入力制御部109と、送受信制御部110とを有する。上記各部は、ソフトウェア(プログラム)で実現されても良いし、ハードウェア回路で実現されても良い。また、上記各部は、例えば、フラッシュメモリ14等からRAM13上に展開された制御プログラムをCPU11が実行することにより実現される機能である。
操作入力受付部101は、通信装置100を利用するユーザによる各種の操作入力を受け付ける。具体的には、操作入力受付部101は、操作部18や電源スイッチ19等に対するユーザ操作に応じて、各種設定に関する情報や電源制御のための情報の入力を受け付ける。図4は、実施の形態1に係るマスク領域の設定例を説明する図である。図4左方は、ある拠点の会議室の鳥瞰図を示し、図4右方は、設定画面を示している。
例えば、図4に示すように、ある拠点の会議室には、ユーザA、ユーザB、ユーザC及びユーザDの4人のユーザが参加している。また、円形のテーブルに置かれた通信装置100を中心として、0°の方向にユーザA、90°の方向にユーザB、180°の方向にユーザC、270°の方向にユーザDが存在するものとする。ここで、あるユーザが、マスク領域を設定するために通信装置100を操作する。これにより、表示装置50には、図4右方に示す設定画面が表示出力される。設定画面には、会議の参加者を含む全方位映像と、「マスク追加」ボタンと、「マスク削除」ボタンと、「OK」ボタンと、「キャンセル」ボタンとが含まれる。
設定画面において、「マスク追加」ボタンが押下されると、破線によって構成される方形が出現する。破線で囲まれる範囲は、マスク領域に対応する。ユーザは、マスクしたい範囲(破線で囲まれる方形の大きさ)を指定し、「OK」ボタンを押下する。これにより、通信装置100は、指定された範囲をマスクデータとして設定する。設定画面では、「マスク追加」ボタンを押下すれば、複数のマスク領域を設定することが可能である。また、設定済みのマスク領域を削除したい場合には、削除対象のマスク領域を選択したうえで「マスク削除」ボタンを押下すれば良い。「キャンセル」ボタンは、設定画面からキャンセルする場合に利用される。このようにして、ユーザは、事前にマスク領域を設定することができる。なお、マスク領域として指定するための範囲は、方形に限られることなく任意の形であっても良い。
表示制御部102は、表示装置50に対する表示処理を制御する。例えば、表示制御部102は、他拠点の通信装置100から受け付けられた他拠点における映像に対し、描画処理等を実行し、処理したデータを表示装置50に対して出力する。これにより、表示装置50は、他拠点における映像を含んだ画像(表示画像)を表示出力する。
音声出力制御部103は、スピーカ25に対する音の出力処理を制御する。例えば、音声出力制御部103は、他拠点の通信装置100から受け付けられた他拠点における音データを復号し、復号したデータ(主に、音声データ)をスピーカ25に対して出力する。これにより、スピーカ25は、他拠点における音声データを再生出力する。
検出部104は、自拠点で、複数のマイクを含むマイクアレイ24により収集された音の発生源の方向を検出する。より具体的には、検出部104は、指向性を有する複数のマイクを含むマイクアレイ24による音の収集に基づき、各マイクに到達する音の時間差等を利用して、自拠点での音の発生源である話者の方向を検出する。音の発生源である話者の方向は、通信装置100に対する方向である。
判定部105は、他拠点の表示装置50に表示させる表示画像の領域に対応し、検出された発生源の方向を含む画像領域に、他拠点の表示装置50での表示をマスクするためのマスク領域が含まれるか否かを判定する。より具体的には、判定部105は、予め設定されたマスクデータの座標範囲に基づき、検出部104によって検出された音の発生源である話者の方向を含む画像領域に、マスク領域が含まれるか否かを判定する。例えば、画像領域は、全方位カメラによる自拠点の撮影に基づき、検出された発生源の方向を中心として切り出したときの画像の領域に対応する。
指向性制御部106は、画像領域にマスク領域が含まれると判定された場合に、該マスク領域に対応する自拠点の範囲からの音の収集を制限するように、マイクアレイ24の指向性を制御する。より具体的には、指向性制御部106は、判定部105によって、画像領域にマスク領域が含まれると判定された場合に、画像領域に対応する自拠点の範囲のうち、マスク領域に対応する自拠点の範囲からの音の収集を制限するように、マイクアレイ24の各マイクの指向性を制御する。
図5は、実施の形態1に係るマイクアレイ24による音の収集範囲の例を説明する図である。例えば、図5上段に示すように、矢印で表された音の発生源の方向を含む太線に囲まれた画像領域の一部に、網掛けで表されたマスク領域が含まれるものとする。このとき、図5下段に示すように、指向性制御部106は、画像領域に対応する自拠点の範囲のうち、マスク領域に対応する自拠点の範囲からの音の収集を制限し、主に、太線に囲まれた範囲からの音を収集するように、マイクアレイ24の指向性を制御する。
撮影制御部107は、カメラ22による撮影を制御する。例えば、撮影制御部107は、全方位カメラであるカメラ22による撮影の開始や終了、倍率等を制御する。また、撮影制御部107は、カメラ22によって撮影された画像を画像生成部108に対して出力する。
画像生成部108は、マスク領域に基づきマスク処理を実行し、他拠点の表示装置50に表示させる表示画像を生成する。より具体的には、画像生成部108は、撮影制御部107によって出力された画像から、音の発生源の方向を中心とした画像を切り出す。切り出された画像は、画像領域に相当する。そして、画像生成部108は、マスク領域に対応するマスクデータの座標範囲に基づき、切り出した画像に対してマスク処理を実行し、他拠点の表示装置50に表示させる表示画像を生成する。すなわち、表示画像は、音の発生源の方向を中心として、全方位映像から所定画角に合わせて切り出された画像となる。マスク処理では、マスク対象となる座標範囲を単一色で塗りつぶす、又は、モザイク状にする等の任意のマスキングが施されれば良い。その後、画像生成部108は、生成した表示画像を送受信制御部110に対して出力する。
音声入力制御部109は、マイクアレイ24からの音の入力処理を制御する。例えば、音声入力制御部109は、マイクアレイ24によって収集された拠点内の音に対し、PCM(Pulse Code Modulation)等の任意の符号化フォーマットで符号化し、符号化したデータ(主に、音声データ)を送受信制御部110に対して出力する。
送受信制御部110は、ネットワーク2を介して、中継装置200を経由して他拠点の通信装置100との間における各種情報の送受信を制御する。送受信制御部110は、一つの様態として「送信制御部」に対応する。例えば、送受信制御部110は、画像生成部108によって出力された表示画像と、音声入力制御部109によって出力された音声データとを含む出力情報を、中継装置200を介して、他拠点に設置された通信装置100に対して送信する。また、送受信制御部110は、他拠点に設置された通信装置100からの出力情報を受信する。送受信制御部110は、受信した出力情報に含まれる表示画像に関するデータについては表示制御部102に対して出力し、音声に関するデータについては音声出力制御部103に対して出力する。これらにより、表示制御部102や音声出力制御部103による制御によって、他拠点の映像や音声が出力される。
図6は、実施の形態1に係る表示画像の例を説明する図である。図6上段は音の発生源の方向をクローズアップした映像の例であり、図6下段は画像領域及びマスク領域を含む全方位映像の例である。表示装置50には、クローズアップ映像を表示画像として表示出力させても良いし、クローズアップ映像と全方位映像とを表示画像として表示出力させても良い。例えば、図6に示すように、全方位映像において、音の発生源となるユーザB(話者)を含む画像領域の一部にマスク領域が含まれる場合に、横線で表された範囲が音を収集する範囲となる。また、クローズアップ映像には、ユーザBや単一色で塗りつぶされたマスク領域等が含まれる。スピーカ25からは、マスク領域に対応する範囲からの音の収集が制限され、主に、横線で表された範囲から収集された音のデータが出力されることになる。
[実施の形態1に係る制御処理フロー]
次に、図7を用いて、実施の形態1に係る通信装置100による制御処理の流れを説明する。図7は、実施の形態1に係る通信装置100による制御処理の流れの例を示すフローチャートである。
次に、図7を用いて、実施の形態1に係る通信装置100による制御処理の流れを説明する。図7は、実施の形態1に係る通信装置100による制御処理の流れの例を示すフローチャートである。
図7に示すように、通信装置100は、複数のマイクを含むマイクアレイ24による音の収集に基づき、各マイクに到達する音の時間差等を利用して、自拠点での音の発生源の方向を検出する(ステップS101)。そして、通信装置100は、予め設定されたマスクデータの座標範囲に基づき、検出された音の発生源の方向がマスク領域に含まれるか否かを判定する(ステップS102)。このとき、通信装置100は、音の発生源の方向がマスク領域に含まれる場合に(ステップS102:Yes)、検出された方向からの音を収集することは好ましくないため、マイクアレイ24の指向性の制御等を実行することなく処理を終了する。一方、通信装置100は、音の発生源の方向がマスク領域に含まれない場合に(ステップS102:No)、マスクデータの座標範囲に基づき、検出された音の発生源の方向を含む画像領域に、マスク領域が含まれるか否かを判定する(ステップS103)。
通信装置100は、画像領域にマスク領域が含まれる場合に(ステップS103:Yes)、画像領域に対応する自拠点の範囲のうち、マスク領域に対応する自拠点の範囲からの音の収集を制限するように、マイクアレイ24の各マイクの指向性を制御する(ステップS104)。また、通信装置100は、画像領域にマスク領域が含まれない場合に(ステップS103:No)、画像領域に対応する自拠点の範囲からの音の収集に関して制限することなく、発生源からの音を収集するように、マイクアレイ24の各マイクの指向性を制御する(ステップS105)。
そして、通信装置100は、撮影された画像から、音の発生源の方向を中心として画像を切り出し、マスク領域に対応するマスクデータの座標範囲に基づき、必要に応じて、切り出した画像に対してマスク処理を実行し、他拠点の表示装置50に表示させる表示画像を生成する(ステップS106)。続いて、通信装置100は、表示画像と、音声データとを含む出力情報を、中継装置200を介して、他拠点に設置された通信装置100に対して送信する(ステップS107)。
[実施の形態1による効果]
上述したように、通信装置100は、音の発生源の方向を検出し、検出した発生源の方向を含む画像領域にマスク領域が含まれる場合に、該マスク領域に対応する自拠点の範囲からの音の収集を制限するように、マイクアレイ24の指向性を制御するので、マイクによる音の収集を好適に制御することができる。換言すると、通信装置100は、マスク領域を除く自拠点の範囲からの音を主に収集するので、マスク領域に対応する自拠点の範囲からの音を収集したくないといった要求に対し、マイクによる音の収集を好適に制御することができる。
上述したように、通信装置100は、音の発生源の方向を検出し、検出した発生源の方向を含む画像領域にマスク領域が含まれる場合に、該マスク領域に対応する自拠点の範囲からの音の収集を制限するように、マイクアレイ24の指向性を制御するので、マイクによる音の収集を好適に制御することができる。換言すると、通信装置100は、マスク領域を除く自拠点の範囲からの音を主に収集するので、マスク領域に対応する自拠点の範囲からの音を収集したくないといった要求に対し、マイクによる音の収集を好適に制御することができる。
(実施の形態1の変形例)
上記実施の形態1では、画像領域において、マスク領域と、マスク領域ではない領域(以下、「非マスク領域」と呼ぶ)との数がそれぞれ一つである場合を説明した。上記実施の形態1において、マスク領域は、音の収集を制限する対象となる自拠点の範囲に対応し、非マスク領域は、音を収集する主な対象となる自拠点の範囲に対応している。但し、マスク領域の設定によっては、画像領域に複数のマスク領域、非マスク領域が含まれる場合も有り得る。そこで、実施の形態1の変形例では、画像領域に複数の非マスク領域が含まれる場合の音の収集範囲について説明する。なお、実施の形態1の変形例に係る通信装置100のハードウェア構成については、実施の形態1に係る通信装置100のハードウェア構成と同様である。以下では、図3等を用いながら、実施の形態1に係る通信装置100とは異なる機能について説明する。
上記実施の形態1では、画像領域において、マスク領域と、マスク領域ではない領域(以下、「非マスク領域」と呼ぶ)との数がそれぞれ一つである場合を説明した。上記実施の形態1において、マスク領域は、音の収集を制限する対象となる自拠点の範囲に対応し、非マスク領域は、音を収集する主な対象となる自拠点の範囲に対応している。但し、マスク領域の設定によっては、画像領域に複数のマスク領域、非マスク領域が含まれる場合も有り得る。そこで、実施の形態1の変形例では、画像領域に複数の非マスク領域が含まれる場合の音の収集範囲について説明する。なお、実施の形態1の変形例に係る通信装置100のハードウェア構成については、実施の形態1に係る通信装置100のハードウェア構成と同様である。以下では、図3等を用いながら、実施の形態1に係る通信装置100とは異なる機能について説明する。
判定部105は、マスク領域によって画像領域が複数の非マスク領域に分割されるか否かをさらに判定する。より具体的には、判定部105は、予め設定されたマスクデータの座標範囲に基づき、検出部104によって検出された音の発生源である話者の方向を含む画像領域が、マスク領域によって複数の非マスク領域に分割されるか否かを判定する。
指向性制御部106は、マスク領域によって画像領域が複数の非マスク領域に分割されると判定された場合に、発生源を含む非マスク領域を除いた領域に対応する自拠点の範囲からの音の収集を制限するように、マイクアレイ24の指向性を制御する。より具体的には、指向性制御部106は、判定部105によって、マスク領域によって画像領域が複数の非マスク領域に分割されると判定された場合に、画像領域に対応する自拠点の範囲のうち、マスク領域に対応する自拠点の範囲と、音の発生源の方向を含まない非マスク領域に対応する自拠点の範囲とからの音の収集を制限するように、マイクアレイ24の各マイクの指向性を制御する。
図8は、実施の形態1の変形例に係る表示画像の例を説明する図である。図8上段は音の発生源の方向をクローズアップした映像の例であり、図8下段は画像領域及びマスク領域を含む全方位映像の例である。例えば、図8に示すように、全方位映像において、音の発生源となるユーザB(話者)を含む画像領域の一部に存在するマスク領域により、複数の非マスク領域に分割される場合に、横線で表された範囲が音を収集する範囲となる。スピーカ25からは、マスク領域と、音の発生源であるユーザB(話者)を含まない非マスク領域とに対応する自拠点の範囲からの音の収集が制限され、主に、横線で表された自拠点の範囲から収集された音のデータが出力されることになる。
[実施の形態1の変形例に係る制御処理フロー]
次に、図9を用いて、実施の形態1の変形例に係る通信装置100による制御処理の流れを説明する。図9は、実施の形態1に係る通信装置100による制御処理の流れの例を示すフローチャートである。なお、実施の形態1に係る制御処理の流れと同様のステップについては説明を省略する場合がある。具体的には、ステップS201〜ステップS203は、ステップS101〜ステップS103における処理と同様である。また、ステップS207〜ステップS209は、ステップS105〜ステップS107における処理と同様である。
次に、図9を用いて、実施の形態1の変形例に係る通信装置100による制御処理の流れを説明する。図9は、実施の形態1に係る通信装置100による制御処理の流れの例を示すフローチャートである。なお、実施の形態1に係る制御処理の流れと同様のステップについては説明を省略する場合がある。具体的には、ステップS201〜ステップS203は、ステップS101〜ステップS103における処理と同様である。また、ステップS207〜ステップS209は、ステップS105〜ステップS107における処理と同様である。
図9に示すように、通信装置100は、画像領域にマスク領域が含まれる場合に(ステップS203:Yes)、マスク領域により画像領域が複数の非マスク領域に分割されるか否かを判定する(ステップS204)。このとき、通信装置100は、画像領域が複数の非マスク領域に分割されない場合に(ステップS204:No)、画像領域に対応する自拠点の範囲のうち、マスク領域に対応する自拠点の範囲からの音の収集を制限するように、マイクアレイ24の各マイクの指向性を制御する(ステップS205)。一方、通信装置100は、画像領域が複数の非マスク領域に分割される場合に(ステップS204:Yes)、画像領域に対応する自拠点の範囲のうち、音の発生源を含む非マスク領域を除いた領域に対応する自拠点の範囲からの音の収集を制限するように、マイクアレイ24の指向性を制御する(ステップS206)。
[実施の形態1の変形例による効果]
上述したように、通信装置100は、マスク領域によって画像領域が複数の非マスク領域に分割される場合に、音の発生源を含む非マスク領域を除いた領域に対応する自拠点の範囲からの音の収集を制限するように、マイクアレイ24の指向性を制御するので、マイクによる音の収集をより好適に制御することができる。換言すると、通信装置100は、非マスク領域のうち、音の発生源となる話者を含む領域に対応する自拠点の範囲からの音を主に収集するので、マイクによる音の収集をより好適に制御することができる。
上述したように、通信装置100は、マスク領域によって画像領域が複数の非マスク領域に分割される場合に、音の発生源を含む非マスク領域を除いた領域に対応する自拠点の範囲からの音の収集を制限するように、マイクアレイ24の指向性を制御するので、マイクによる音の収集をより好適に制御することができる。換言すると、通信装置100は、非マスク領域のうち、音の発生源となる話者を含む領域に対応する自拠点の範囲からの音を主に収集するので、マイクによる音の収集をより好適に制御することができる。
(その他の実施の形態)
さて、これまで本発明に係る通信装置100の実施の形態について説明したが、上述した実施の形態以外にも種々の異なる形態にて実施されて良いものである。そこで、(1)構成、(2)プログラム、について異なる実施の形態を説明する。
さて、これまで本発明に係る通信装置100の実施の形態について説明したが、上述した実施の形態以外にも種々の異なる形態にて実施されて良いものである。そこで、(1)構成、(2)プログラム、について異なる実施の形態を説明する。
(1)構成
上記文書中や図面中等で示した処理手順、制御手順、具体的名称、各種のデータやパラメタ等を含む情報は、特記する場合を除いて任意に変更することができる。また、図示した装置の各構成要素は、機能概念的なものであり、必ずしも物理的に図示の如く構成されていることを要しない。すなわち、装置の分散又は統合の具体的形態は、図示のものに限られず、その全部又は一部を各種の負担や使用状況等に応じて、任意の単位で機能的又は物理的に、分散又は統合することができる。
上記文書中や図面中等で示した処理手順、制御手順、具体的名称、各種のデータやパラメタ等を含む情報は、特記する場合を除いて任意に変更することができる。また、図示した装置の各構成要素は、機能概念的なものであり、必ずしも物理的に図示の如く構成されていることを要しない。すなわち、装置の分散又は統合の具体的形態は、図示のものに限られず、その全部又は一部を各種の負担や使用状況等に応じて、任意の単位で機能的又は物理的に、分散又は統合することができる。
また、上記実施の形態ではカメラ22が全方位カメラである場合を例に挙げたが、カメラ22は全方位カメラでなく、撮影方向を切り替えられるカメラであっても良い。全方位カメラを採用しない場合、撮影制御部107は、音の発生源の方向を中心としてカメラ22による撮影の向きを制御する。このとき、画像領域は、音の発生源の方向を中心としてカメラ22の向きを制御したときの画角で撮影されたときの画像の領域に対応する。また、画像生成部108による表示画像の生成の際には、全方位映像ではなくなるため、画像の切り出しは行なわれない。
また、上記実施の形態では、画像領域が、一つのマスク領域により、二つの非マスク領域に分割される場合を例に挙げた。マスク領域・非マスク領域の数や範囲は一例であって、図示した数や範囲に限られるものではない。すなわち、非マスク領域の分割は上記以外にも様々なケースが有り得るし、画像領域には複数のマスク領域が含まれる場合も有り得る。
(2)プログラム
また、通信装置100で実行される制御プログラムは、一つの様態として、インストール可能な形式又は実行可能な形式のファイルでCD−ROM、フレキシブルディスク(FD)、CD−R、DVD(Digital Versatile Disk)等のコンピュータで読み取り可能な記録媒体に記録されて提供される。また、通信装置100で実行される制御プログラムを、インターネット等のネットワークに接続されたコンピュータ上に格納し、ネットワーク経由でダウンロードさせることにより提供するようにしても良い。また、通信装置100で実行される制御プログラムをインターネット等のネットワーク経由で提供又は配布するように構成しても良い。また、通信装置100で実行される制御プログラムを、ROM等に予め組み込んで提供するように構成しても良い。
また、通信装置100で実行される制御プログラムは、一つの様態として、インストール可能な形式又は実行可能な形式のファイルでCD−ROM、フレキシブルディスク(FD)、CD−R、DVD(Digital Versatile Disk)等のコンピュータで読み取り可能な記録媒体に記録されて提供される。また、通信装置100で実行される制御プログラムを、インターネット等のネットワークに接続されたコンピュータ上に格納し、ネットワーク経由でダウンロードさせることにより提供するようにしても良い。また、通信装置100で実行される制御プログラムをインターネット等のネットワーク経由で提供又は配布するように構成しても良い。また、通信装置100で実行される制御プログラムを、ROM等に予め組み込んで提供するように構成しても良い。
通信装置100で実行される制御プログラムは、上述した各部(少なくとも、検出部104、判定部105、指向性制御部106)を含むモジュール構成となっており、実際のハードウェアとしてはCPUが記憶媒体からプログラムを読み出して実行することにより、上記各部が主記憶装置上にロードされ、検出部104、判定部105、指向性制御部106等が主記憶装置上に生成されるようになっている。
100 通信装置
101 操作入力受付部
102 表示制御部
103 音声出力制御部
104 検出部
105 判定部
106 指向性制御部
107 撮影制御部
108 画像生成部
109 音声入力制御部
110 送受信制御部
200 中継装置
101 操作入力受付部
102 表示制御部
103 音声出力制御部
104 検出部
105 判定部
106 指向性制御部
107 撮影制御部
108 画像生成部
109 音声入力制御部
110 送受信制御部
200 中継装置
Claims (8)
- 通信装置であって、
前記通信装置が設置された自拠点で、複数のマイクを含むマイクアレイにより収集された音の発生源の方向を検出する検出部と、
他拠点の表示装置に表示させる表示画像の領域に対応し、検出された前記発生源の方向を含む画像領域に、前記表示装置での表示をマスクするためのマスク領域が含まれるか否かを判定する判定部と、
前記画像領域に前記マスク領域が含まれると判定された場合に、該マスク領域に対応する前記自拠点の範囲からの音の収集を制限するように、前記マイクアレイの指向性を制御する指向性制御部と
を有することを特徴とする通信装置。 - 前記画像領域は、全方位カメラによる前記自拠点の撮影に基づき、前記発生源の方向を中心として切り出したときの画像の領域に対応することを特徴とする請求項1に記載の通信装置。
- 前記画像領域は、前記発生源の方向を中心としてカメラの向きを制御したときの画角で撮影された画像の領域に対応することを特徴とする請求項1に記載の通信装置。
- 前記判定部は、前記マスク領域によって前記画像領域が複数の非マスク領域に分割されるか否かをさらに判定し、
前記指向性制御部は、前記マスク領域によって前記画像領域が複数の非マスク領域に分割されると判定された場合に、前記発生源を含む非マスク領域を除いた領域に対応する前記自拠点の範囲からの音の収集を制限するように、前記マイクアレイの指向性を制御することを特徴とする請求項1〜3の何れか一つに記載の通信装置。 - 前記マスク領域に基づきマスク処理を実行し、前記表示画像を生成する画像生成部をさらに有することを特徴とする請求項1〜4の何れか一つに記載の通信装置。
- 生成された前記表示画像と、収集された音とを含む出力情報の、他拠点に設置された通信装置に対する送信を制御する送信制御部をさらに有することを特徴とする請求項5に記載の通信装置。
- 通信装置における制御方法であって、
前記通信装置が設置された自拠点で、複数のマイクを含むマイクアレイにより収集された音の発生源の方向を検出するステップと、
他拠点の表示装置に表示させる表示画像の領域に対応し、検出された前記発生源の方向を含む画像領域に、前記表示装置での表示をマスクするためのマスク領域が含まれるか否かを判定するステップと、
前記画像領域に前記マスク領域が含まれると判定された場合に、該マスク領域に対応する前記自拠点の範囲からの音の収集を制限するように、前記マイクアレイの指向性を制御するステップと
を含むことを特徴とする制御方法。 - 通信装置に、
前記通信装置が設置された自拠点で、複数のマイクを含むマイクアレイにより収集された音の発生源の方向を検出するステップと、
他拠点の表示装置に表示させる表示画像の領域に対応し、検出された前記発生源の方向を含む画像領域に、前記表示装置での表示をマスクするためのマスク領域が含まれるか否かを判定するステップと、
前記画像領域に前記マスク領域が含まれると判定された場合に、該マスク領域に対応する前記自拠点の範囲からの音の収集を制限するように、前記マイクアレイの指向性を制御するステップと
を実行させるための制御プログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2015240562A JP2017108287A (ja) | 2015-12-09 | 2015-12-09 | 通信装置、制御方法及び制御プログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2015240562A JP2017108287A (ja) | 2015-12-09 | 2015-12-09 | 通信装置、制御方法及び制御プログラム |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2017108287A true JP2017108287A (ja) | 2017-06-15 |
Family
ID=59060206
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2015240562A Pending JP2017108287A (ja) | 2015-12-09 | 2015-12-09 | 通信装置、制御方法及び制御プログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2017108287A (ja) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2020241120A1 (ja) * | 2019-05-30 | 2020-12-03 | パナソニックIpマネジメント株式会社 | 精算装置および精算方法 |
-
2015
- 2015-12-09 JP JP2015240562A patent/JP2017108287A/ja active Pending
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2020241120A1 (ja) * | 2019-05-30 | 2020-12-03 | パナソニックIpマネジメント株式会社 | 精算装置および精算方法 |
JP2020197758A (ja) * | 2019-05-30 | 2020-12-10 | パナソニックIpマネジメント株式会社 | 精算装置および精算方法 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6547496B2 (ja) | 通信装置、通信方法、プログラムおよび通信システム | |
US8711201B2 (en) | Controlling a video window position relative to a video camera position | |
JP6171263B2 (ja) | 遠隔会議システム及び遠隔会議端末 | |
US9648278B1 (en) | Communication system, communication apparatus and communication method | |
JP6582874B2 (ja) | 通信システム、通信装置、通信方法およびプログラム | |
US20040257432A1 (en) | Video conferencing system having focus control | |
EP3151550A1 (en) | Apparatus, system and method of controlling display of image data, and carrier means | |
JP6414223B2 (ja) | 操作システム、通信端末、通信システム、操作方法、及びプログラム | |
JP2017034312A (ja) | 通信装置、通信システム、およびプログラム | |
JP6149433B2 (ja) | テレビ会議装置、テレビ会議装置の制御方法、及びプログラム | |
JP2009177592A (ja) | 通信端末装置、画像表示制御方法 | |
US10939030B2 (en) | Video audio processing system and method of controlling the video audio processing system | |
JP2017108287A (ja) | 通信装置、制御方法及び制御プログラム | |
JP6835205B2 (ja) | 撮影収音装置、収音制御システム、撮影収音装置の制御方法、及び収音制御システムの制御方法 | |
JP2017168977A (ja) | 情報処理装置、会議システムおよび情報処理装置の制御方法 | |
JP6524732B2 (ja) | 通信装置、通信システム、通信装置の制御方法およびプログラム | |
US9392036B2 (en) | Terminal device and communication system | |
JP7167610B2 (ja) | 通信端末、通信システム、撮像装置及び撮像方法 | |
JP6565777B2 (ja) | 通信装置、会議システム、プログラムおよび表示制御方法 | |
JP2015027054A (ja) | 通信システム、方法、通信装置およびプログラム | |
JP6645129B2 (ja) | 通信装置、制御方法及び制御プログラム | |
JP5184229B2 (ja) | 同期制御装置、及び同期制御プログラム | |
JP2010028299A (ja) | 会議撮影画像処理方法及び会議装置等 | |
JP2020191514A (ja) | 情報処理装置および情報処理方法 | |
JP2010045539A (ja) | 情報処理装置及びその制御方法 |