以下、本発明に係る指向性制御システム及び音声出力制御方法の各実施形態について、図面を参照して説明する。各実施形態の指向性制御システムは、例えば工場、企業、公共施設(例えば図書館、イベント会場)、又は店舗(例えば小売店、銀行)に設置される監視システム(有人監視システム及び無人監視システムを含む)として用いられるが、設置場所は特に限定されない。以下の各実施形態では、各実施形態の指向性制御システムは、例えば企業内に設置されるとして説明する。
なお、本発明は、指向性制御システムを構成する各装置(例えば後述する指向性制御装置)、又は指向性制御システムを構成する各装置が行う各動作(ステップ)を有する音声出力制御方法として表現することも可能である。
(指向性制御システムのシステム構成)
図1は、第1の実施形態の指向性制御システム10のシステム構成を示すブロック図である。図1に示す指向性制御システム10は、少なくとも1つのカメラ装置11,〜,1nと、全方位マイクアレイ装置2と、指向性制御装置3と、レコーダ装置4とを含む。nはカメラ装置の台数を表し、1以上の整数である。カメラ装置11〜1nと、全方位マイクアレイ装置2と、指向性制御装置3と、レコーダ装置4は、ネットワークNWを介して互いに接続されている。ネットワークNWは、有線ネットワーク(例えばイントラネット、インターネット)でも良いし、無線ネットワーク(例えば無線LAN(Local Area Network))でも良く、以下の各実施形態においても同様である。
少なくとも1つの撮像部としてのカメラ装置11〜1nは、不図示の光学系(例えば広角レンズ)及び撮像系(例えばイメージセンサ)が内蔵された筐体を有し、例えば企業内の室内の天井面又は所定のスタンド(図4(A)参照)に固定して設置される監視カメラとしての機能を有する。カメラ装置11〜1nは、ネットワークNWを介して接続された中央制御室(不図示)の指向性制御装置3に接続され、指向性制御装置3からの遠隔操作に応じて、パン方向動作、チルト方向動作、ズーム動作、撮像動作、撮像映像が表示されたディスプレイ装置36(後述参照)の画面において指定された位置(例えば後述する指定位置A’)に対応する実際の位置までの距離を測定するための測距動作及び角度(例えば水平角及び垂直角)を測定するための測角動作等を行う。なお、カメラ装置11は、映像を撮像した時刻(撮像時刻)を映像データと対応付けて記憶する。カメラ装置11は、映像データ及び撮像時刻のデータを、ネットワークNWを介して、指向性制御装置3又はレコーダ装置4に送信する。
また、カメラ装置11〜1nは、光軸CX(図12(B)参照)を中心とした既定の画角内に存在する被写体の映像(静止画及び動画を含む。以下同様)を撮像する。カメラ装置11〜1nは、撮像した映像データと後述する指向方向を示す座標(θMAh,θMAv)(以下、単に指向方向(θMAh,θMAv)と略記する場合がある)を算出するための入力パラメータを取得して、ネットワークNWを介して、指向性制御装置3又はレコーダ装置4に送信する。
収音部としての全方位マイクアレイ装置2は、例えば筐体中心に開口部21aが形成されたドーナツ型又はリング型(環状型)の形状の筐体21C(図2(D)参照)を有し、例えば企業内の室内の天井面又は所定のスタンド(図4(A)参照)に固定して設置される。全方位マイクアレイ装置2は、全方位マイクアレイ装置2自身が設置された収音空間(収音領域)における全方位の音声を収音する。また、全方位マイクアレイ装置2は、全方位マイクアレイ装置2の設置位置Mから音声位置A(後述参照)に向かう指向方向に、収音された音声の指向性を高精度に形成し、指向方向に存在する被写体である2人の人物の会話音声(例えば「Hello」)を強調して出力しても良い。なお、全方位マイクアレイ装置2の筐体形状については、ドーナツ型又はリング型(環状型)形状に限定されず、図2を参照して後述する。
全方位マイクアレイ装置2では、開口部21aの周囲に、筐体21の円周方向に沿って複数のマイクロホンユニット22が同心円状に配置される。マイクロホンユニット22は、例えば高音質小型エレクトレットコンデンサーマイクロホン(ECM:Electret Condenser Microphone)が用いられ、以下の各実施形態においても同様である。
全方位マイクアレイ装置2は、ネットワークNWに接続され、等間隔毎に設けられたマイクロホンを含むマイクロホンユニット22,23(図2(A)〜図2(E)参照)と、各マイクロホンユニット22,23の各動作を制御するための制御部(不図示)とを少なくとも含む構成である。
全方位マイクアレイ装置2は、各々のマイクロホンユニット22,23を用いて、音声収音対象となる被写体が存在する収音空間Kにおける全方位の音声を収音し、又は被写体が存在する指向方向の音声を収音し、各々のマイクロホンユニット22,23が収音した音声データ、若しくは当該音声データ及び指向方向(θMAh,θMAv)を用いて指向性を形成した音声データを記憶する。なお、全方位マイクアレイ装置2は、音声を収音した時刻(収音時刻)を音声データと対応付けて記憶する。更に、全方位マイクアレイ装置2は、記憶した音声データ及び収音時刻のデータを、ネットワークNWを介して、指向性制御装置3又はレコーダ装置4に送信する。
全方位マイクアレイ装置2は、後述する指向性制御装置3からの指向性形成指示に応じて、指向性形成指示に含まれる指向方向(θMAh,θMAv)に、各々のマイクロホンユニット22,23の指向性を形成する。
これにより、全方位マイクアレイ装置2は、被写体が存在する指向方向(θMAh,θMAv)の音声データの音量レベルを相対的に増大でき、被写体が存在しない方向の音声データの音量レベルを相対的に低減できる。なお、指向方向(θMAh,θMAv)の算出方法については後述する。
ここで、全方位マイクアレイ装置2の外観について、図2(A)〜(E)を参照して説明する。図2(A)〜図2(E)は、全方位マイクアレイ装置2の外観図である。図2(A)〜図2(E)に示す全方位マイクアレイ装置2C,2A,2B,2,2Dは、外観及び複数のマイクロホンユニットの配置位置が異なるが、各々の全方位マイクアレイ装置自身の機能は同等である。
図2(A)に示す全方位マイクアレイ装置2Cは、円盤状の筐体21を有する。筐体21には、複数のマイクロホンユニット22,23が同心円状に配置されている。具体的には、複数のマイクロホンユニット22が、筐体21と同一の中心を有する同心円状に且つ筐体21の外側に配置され、複数のマイクロホンユニット23が、筐体21と同一の中心を有する同心円状に且つ筐体21の内側に配置されている。各々のマイクロホンユニット22は、互いの間隔が広く、直径が大きく、低い音域に適した特性を有する。一方、各々のマイクロホンユニット23は、互いの間隔が狭く、直径が小さく、高い音域に適した特性を有する。
図2(B)に示す全方位マイクアレイ装置2Aは、円盤状の筐体21を有する。筐体21には、複数のマイクロホンユニット22が、一様な間隔を隔てて縦方向と横方向の2方向に沿って直線上に配置され、縦方向の配列と横方向の配列とが筐体21の中心において交わっている。全方位マイクアレイ装置2Aは、複数のマイクロホンユニット22が縦方向と横方向の2方向に直線的に配置されているので、音声データの指向性の形成処理の演算量を低減できる。なお、図2(B)に示す全方位マイクアレイ装置2Aにおいて、縦方向又は横方向の1列だけに、複数のマイクロホンユニット22が配置されても良い。
図2(C)に示す全方位マイクアレイ装置2Bは、図2(A)に示す全方位マイクアレイ装置2に比べ、直径の小さい円盤状の筐体21Bを有する。筐体21Bには、複数のマイクロホンユニット22が、筐体21Bの円周方向に沿って一様な間隔を隔てて配置されている。図2(C)に示す全方位マイクアレイ装置2Bは、各々のマイクロホンユニット22の間隔が短いので、高い音域に適した特性を有する。
図2(D)に示す全方位マイクアレイ装置2は、筐体21Cの中心に所定の直径を有する開口部21aが形成されたドーナツ型形状又はリング型形状の筐体21Cを有する。本実施形態の指向性制御システム10では、例えば図2(D)に示す全方位マイクアレイ装置2Cが用いられる。筐体21Cでは、複数のマイクロホンユニット22が、筐体21Cの円周方向において、一様な間隔を隔てて同心円状に配置されている。
図2(E)に示す全方位マイクアレイ装置2Dは、矩形状の筐体21Dを有する。筐体21Dには、複数のマイクロホンユニット22が、筐体21Dの外周方向に沿って一様な間隔を隔てて配置されている。図2(E)に示す全方位マイクアレイ装置2Dでは、筐体21Dが矩形形状であるため、例えばコーナー又は壁面においても全方位マイクアレイ装置2Dの設置を簡易化できる。
なお、各マイクロホンユニット22,23を構成するマイクロホンは、無指向性マイクロホンでも良いし、双指向性マイクロホン、単一指向性マイクロホン、鋭指向性マイクロホン、超指向性マイクロホン(例えばガンマイク)又はこれらの組み合わせが用いられても良い。
指向性制御装置3は、例えば企業内の中央制御室(不図示)に設置される据置型のPC(Personal Computer)でも良いし、ユーザが携帯可能な携帯電話機、タブレット端末、スマートフォン等のデータ通信端末機でも良い。
指向性制御装置3は、通信部31と、操作部32と、信号処理部33と、ディスプレイ装置36と、スピーカ装置37と、メモリ38とを少なくとも含む構成である。信号処理部33は、指向方向算出部34と、出力制御部35とを少なくとも含む。
通信部31は、カメラ装置11〜1nが送信した撮像時刻を含む映像データ、若しくは指向方向(θMAh,θMAv)を算出するために必要な入力パラメータのデータ、又は、全方位マイクアレイ装置2が送信した収音時刻を含む音声データを受信して信号処理部33に出力する。
操作部32は、ユーザの入力操作の内容を信号処理部33に通知するためのユーザインターフェース(UI:User Interface)であり、例えばマウス、キーボード等のポインティングデバイスである。また、操作部32は、例えばディスプレイ装置36の画面に対応して配置され、ユーザの指FG又はスタイラスペンによって入力操作が可能なタッチパネル又はタッチパッドを用いて構成されても良い。
操作部32は、ディスプレイ装置36に表示されたカメラ装置11の映像データ(図4(B)参照)の中で、ユーザが音量レベルの増大を希望する位置、即ち図4(B)又は図5(B)に示す指定位置A’を表す座標データを取得して信号処理部33に出力する。
また、操作部32は、ディスプレイ装置36に表示されたカメラ装置11の映像データの中で、後述する基準点Oがユーザの指FGにより指定されると、指定された基準点Oの位置の座標データを取得して信号処理部33に出力する。
信号処理部33は、例えばCPU(Central Processing Unit)、MPU(Micro Processing Unit)又はDSP(Digital Signal Processor)を用いて構成され、指向性制御装置3の各部の動作を全体的に統括するための制御処理、他の各部との間のデータの入出力処理、データの演算(計算)処理及びデータの記憶処理を行う。
指向方向算出部34は、ディスプレイ装置36に表示された、いずれかのカメラ装置11〜1n(例えばカメラ装置11とする。以下同様。)により撮像された映像データからユーザによる任意の位置(=指定位置A’)の指定に応じて、全方位マイクアレイ装置2の設置位置Mから、指定位置A’に対応する音声位置Aに向かう指向方向を示す座標(θMAh,θMAv)を算出する。
指向方向(θMAh,θMAv)のうち、θMAhは全方位マイクアレイ装置2から音声位置Aに向かう指向方向の水平角を表し、θMAvは全方位マイクアレイ装置2から音声位置Aに向かう指向方向の垂直角を表す。なお、音声位置Aは、操作部32がディスプレイ装置36に表示された映像データにおいてユーザの指FG又はスタイラスペンによって指定された指定位置A’に対応する実際の監視対象となる現場の位置である。
制御部としての出力制御部35は、カメラ装置11〜1n、全方位マイクアレイ装置2、ディスプレイ装置36及びスピーカ装置37の動作を制御し、カメラ装置11〜1nから送信された映像データをディスプレイ装置36に再生出力させ、全方位マイクアレイ装置2から送信された音声データをスピーカ装置37に音声出力させる。出力制御部35は、指向方向算出部34により算出された収音方向座標(θMAh,θMAv)に対応する指向方向に、音声データの指向性を全方位マイクアレイ装置2に形成させる。なお、出力制御部35自身が、全方位マイクアレイ装置2が収音して指向性制御装置3に送信した音声データを用いて指向性の形成処理(図3参照)を行うことで、指向方向算出部34により算出された収音方向座標(θMAh,θMAv)に対応する指向方向に、音声データの指向性を形成しても良い。
また、出力制御部35は、指向方向算出部34により算出された指向方向を示す座標データを基に、音声位置Aが収音空間K内の予め設定されたプライバシー保護領域PRA(図4(A)参照)内に含まれるか否かを判定する。出力制御部35は、音声位置Aが収音空間K内の予め設定されたプライバシー保護領域PRA内に含まれると判定した場合に、全方位マイクアレイ装置2により収音された音声、若しくは全方位マイクアレイ装置2により収音されて指向性が形成された音声の出力を制御(制御内容は後述参照)し、あるいは全方位マイクアレイ装置2における音声の収音を休止させる。プライバシー保護領域PRAについては、図4(A)を参照して説明する。
また、出力制御部35は、音声位置Aがプライバシー保護領域PRA内に含まれるか否かの判定処理の代わりに、全方位マイクアレイ装置2における収音時刻又はレコーダ装置4における録音時刻(後述参照)が予め設定されたプライバシー保護時間PRT内に含まれるか否かを判定しても良い。出力制御部35は、収音時刻又は録音時刻がプライバシー保護時間PRT内に含まれると判定した場合に、全方位マイクアレイ装置2により収音された音声、若しくは全方位マイクアレイ装置2により収音されて指向性が形成された音声の出力を制御(制御内容は後述参照)し、あるいは全方位マイクアレイ装置2における音声の収音を休止させる。なお、プライバシー保護時間PRTは、出力制御部35の動作において予め規定されても良いし、出力制御部35が必要に応じてメモリ38から読み出したものでも良い。更に、プライバシー保護時間PRTは、ユーザの入力操作に応じて、適宜変更されても良い。
ここで、出力制御部35は、上述した音声出力の制御処理の一例として、例えば全方位マイクアレイ装置2により収音された音声、若しくは全方位マイクアレイ装置2により収音されて指向性が形成された音声の音声信号をミュート処理することで、全方位マイクアレイ装置2により収音された音声、若しくは全方位マイクアレイ装置2により収音されて指向性が形成された音声の出力を抑制する。又は、出力制御部35は、全方位マイクアレイ装置2により収音された音声の音声信号波形(図24(A)参照)の逆位相波形(図24(B)参照)を生成し、図24(A)に示す音声信号波形と図24(B)に示す音声信号波形の逆位相波形とを合成処理(マスキング処理ともいう)することで、全方位マイクアレイ装置2により収音された音声、若しくは全方位マイクアレイ装置2により収音されて指向性が形成された音声の出力を抑制する。図24(A)は、音声データの波形を示す図である。図24(B)は、図24(A)に示す波形の逆位相信号の波形を示す図である。図24(C)は、図24(A)及び図24(B)に示す各波形の合成後の波形を示す図である。
また、出力制御部35は、上述した音声出力の制御処理の他の一例として、例えば全方位マイクアレイ装置2により収音された音声の音声データ、若しくは全方位マイクアレイ装置2により収音されて指向性が形成された音声の音声データに対してボイスチェンジ処理を施しても良い(図25(A)及び(B)参照)。図25(A)は、ボイスチェンジ処理前のピッチに対応した波形例を示す図である。図25(B)は、ボイスチェンジ後のピッチに対応した波形例を示す図である。なお、ボイスチェンジ処理の一例として、出力制御部35は、例えば全方位マイクアレイ装置2により収音された音声の音声データ、若しくは全方位マイクアレイ装置2により収音されて指向性が形成された音声の音声データの波形(例えば図25(A)参照)のピッチを増大又は減少する。これにより、出力制御部35は、全方位マイクアレイ装置2により収音された音声、若しくは全方位マイクアレイ装置2により収音されて指向性が形成された音声が誰の声であるかの特定を困難化することができ、プライバシー保護領域PRA内に存在する被写体(例えば人物)のプライバシーを効果的に保護することができる。
また、出力制御部35は、全方位マイクアレイ装置2における音声の収音を休止させるための収音休止指示を全方位マイクアレイ装置2に送信する。全方位マイクアレイ装置2は、指向性制御装置3から送信された収音休止指示に応じて、音声の収音を一時的に休止する。これにより、出力制御部35は、例えば秘匿性が高い内容の会話が行われているプライバシー保護領域PRA内において、何かしらの証拠となり得る会話自体の記録を回避することができる。なお、出力制御部35における音声出力の制御処理又は全方位マイクアレイ装置2における音声の休止処理は、以下の第2の実施形態においても同様に適用可能である。
更に、出力制御部35は、ユーザの指FG又はスタイラスペンによって指定された指定位置A’に対応する音声位置Aがプライバシー保護領域PRAに含まれる旨、あるいは全方位マイクアレイ装置2における収音時刻若しくはレコーダ装置4における録音時刻がプライバシー保護時間PRT内に含まれる旨を、ユーザに対して明示的に通知しても良い。出力制御部35は、例えば指定位置A’に対応する音声位置Aがプライバシー保護領域PRAに含まれる旨、あるいは全方位マイクアレイ装置2における収音時刻若しくはレコーダ装置4における録音時刻がプライバシー保護時間PRT内に含まれる旨のメッセージをディスプレイ装置36に表示(図4(B)参照)又は点滅させ、又は、スピーカ装置37から所定のアラーム音を音声出力させる。これにより、出力制御部35は、ユーザの指FG又はスタイラスペンによって指定された指定位置A’に対応する音声位置Aがプライバシー保護領域PRAに含まれる旨、あるいは全方位マイクアレイ装置2における収音時刻若しくはレコーダ装置4における録音時刻がプライバシー保護時間PRT内に含まれる旨を、ユーザに対して明示的に認知させることができる。
表示部としてのディスプレイ装置36は、カメラ装置11〜1nが撮像した映像データを画面に表示する。
音声出力部としてのスピーカ装置37は、全方位マイクアレイ装置2が収音した音声データ、又は指向方向算出部34が算出した指向方向(θMAh,θMAv)に指向性が形成された全方位マイクアレイ装置2が収音した音声データを音声出力する。なお、ディスプレイ装置36及びスピーカ装置37は、指向性制御装置3とは別々の構成としても良い。
メモリ38は、例えばRAM(Random Access Memory)を用いて構成され、指向性制御装置3の各部の動作時のプログラムメモリ、データメモリ、ワークメモリとして機能する。
記録部の一例としてのレコーダ装置4は、カメラ装置11〜1nが撮像した撮像時刻のデータを含む映像データと、全方位マイクアレイ装置2が収音した収音時刻のデータを含む音声データとを対応付けて記録する。なお、レコーダ装置4は、例えば記録された映像データ及び音声データが指向性制御装置3によって再生(例えば、映像データの表示及び音声データの出力)される場合に、全方位マイクアレイ装置2が収音した収音時刻のデータを、レコーダ装置4における録音時刻のデータとして指向性制御装置3に送信する。
図3は、全方位マイクアレイ装置2が音声の指向方向として所定方向θに指向性を形成する内容を説明する原理図である。説明を分かり易くするため、マイクロホンは直線上に一次元配列としている。この場合、指向性は面内の二次元空間になるが、三次元空間で指向性を形成するためには、マイクロホンを二次元配列にして同様な処理方法を行えば良い。図3では、例えば遅延和方式を用いた指向性制御処理の原理について簡単に説明する。音源80から発した音波は、全方位マイクアレイ装置2のマイクロホンユニット22,23に内蔵される各マイクロホン221,222,223,〜,22(n−1),22nに対し、ある一定の角度(入射角=(90−θ)[度])で入射する。図3に示す入射角θは、全方位マイクアレイ装置2から音声位置Aに向かう指向方向の水平角θMAhでも垂直角θMAvでも良い。
音源80は、例えば全方位マイクアレイ装置2が収音する収音方向に存在するカメラ装置11の被写体(例えば図4(A)に示す役員会議室内にいる2人の人物、又は役員会議室の外にいる2人の人物)の会話であり、全方位マイクアレイ装置2の筐体21の面上に対し、所定角度θの方向に存在する。また、各マイクロホン221,222,223,〜,22(n−1),22n間の間隔dは一定とする。
音源80から発した音波は、最初にマイクロホン221に到達して収音され、次にマイクロホン222に到達して収音され、同様に次々に収音され、最後にマイクロホン22nに到達して収音される。
なお、全方位マイクアレイ装置2の各マイクロホン221,222,223,〜,22(n−1),22nの位置から音源80に向かう方向は、例えば音源80が人物の会話時の音声である場合に、全方位マイクアレイ装置2の各マイクロホンから、ユーザがディスプレイ装置36の画面上に指定した指定位置A’に対応する音声位置Aに向かう方向と同じである。
ここで、音波がマイクロホン221,222,223,〜,22(n−1)に到達した時刻から最後に収音されたマイクロホン22nに到達した時刻までには、到達時間差τ1,τ2,τ3,〜,τ(n−1)が生じる。このため、各々のマイクロホン221,222,223,〜,22(n−1),22nが収音した音声の音声データがそのまま加算された場合には、位相がずれた状態で加算されるため、音波の音量レベルが全体的に弱め合う。
なお、τ1は音波がマイクロホン221に到達した時刻と音波がマイクロホン22nに到達した時刻との差分の時間であり、τ2は音波がマイクロホン222に到達した時刻と音波がマイクロホン22nに到達した時刻との差分の時間であり、同様に、τ(n−1)は音波がマイクロホン22(n−1)に到達した時刻と音波がマイクロホン22nに到達した時刻との差分の時間である。
本実施形態では、全方位マイクアレイ装置2は、マイクロホン221,222,223,〜,22(n−1),22n毎に対応して設けられたA/D変換器241,242,243,〜,24(n−1),24nと、遅延器251,252,253,〜,25(n−1),25nと、加算器26と、を有する構成である(図3参照)。
即ち、全方位マイクアレイ装置2は、各マイクロホン221,222,223,〜,22(n−1),22nが収音したアナログの音声データを、A/D変換器241,242,243,〜,24(n−1),24nにおいてデジタルの音声データにAD変換する。
更に、全方位マイクアレイ装置2は、遅延器251,252,253,〜,25(n−1),25nにおいて、各々のマイクロホン221,222,222,〜,22(n−1),22nにおける到達時間差に対応する遅延時間を与えて全ての音波の位相を揃えた後、加算器26において遅延処理後の音声データを加算する。これにより、全方位マイクアレイ装置2は、各マイクロホン221,222,223,〜,22(n−1),22nに、所定角度θの方向に音声データの指向性を形成できる。
例えば図3では、遅延器251,252,253,〜,25(n−1),25nに設定された各遅延時間D1,D2,D3,〜,D(n−1),Dnは、それぞれ到達時間差τ1,τ2,τ3,〜,τ(n−1)に相当し、数式(1)により示される。
L1は、マイクロホン221とマイクロホン22nとにおける音波到達距離の差である。L2は、マイクロホン222とマイクロホン22nとにおける音波到達距離の差である。L3は、マイクロホン223とマイクロホン22nとにおける音波到達距離の差であり、同様に、L(n−1)は、マイクロホン22(n−1)とマイクロホン22nとにおける音波到達距離の差である。Vsは音波の速度(音速)である。L1,L2,L3,〜,L(n−1),Vsは既知の値である。図3では、遅延器25nに設定される遅延時間Dnは0(ゼロ)である。
このように、全方位マイクアレイ装置2は、遅延器251,252,253,〜,25(n−1),25nに設定される遅延時間D1,D2,D3,〜,Dn−1,Dnを変更することで、各々のマイクロホンユニット22,23が収音した音声データの指向性を簡易に形成することができる。
なお、図3に示す指向性の形成処理の説明は、説明を簡単にするために全方位マイクアレイ装置2が行うことを前提として記載した。但し、指向性制御装置3の信号処理部33が全方位マイクアレイ装置2のマイクロホンの数と同数のAD変換器24及び遅延器251〜25nと1つの加算器26とを有する構成である場合には、指向性制御装置3の信号処理部33が全方位マイクアレイ装置2の各マイクロホンにより収音された音声の音声データを用いて、図3に示す指向性の形成処理を行っても良い。また、遅延器以降の処理は、全方位マイクアレイ装置2の制御部(不図示)、あるいは指向性制御装置3の信号処理部33において、ソフトウェアによる処理として実現されても良い。
次に、本実施形態の指向性制御システム10の動作概要について、図4(A)及び図4(B)を参照して説明する。図4(A)は、第1の実施形態の指向性制御システム10が設置された収音空間K内のプライバシー保護領域PRAの説明図である。図4(B)は、ディスプレイ装置36に表示された映像の中からユーザの指FGにより指定された指定位置A’に対応する音声位置Aがプライバシー保護領域PRAに含まれる場合に、全方位マイクアレイ装置2により収音された音声の出力が抑制される様子を示す図である。
図4(A)に示す指向性制御システム10では、カメラ装置11は、カメラ装置11に固有の画角の範囲内に映る被写体(例えば図4(A)に示す役員会議室内にいる2人の人物、又は役員会議室外にいる2人の人物)を撮像する。なお、図4(A)の説明を簡単にするために、カメラ装置11及び全方位マイクアレイ装置2は、収音空間K内の役員会議室の高さよりも更に高い位置に設置され、役員会議室は天井が設けられていない部屋とする。従って、役員会議室内の2人の人物も、役員会議室外の2人の人物も、被写体としてカメラ装置11により撮像される。
全方位マイクアレイ装置2は、収音空間K内において、全方位マイクアレイ装置2の設置位置Mの周囲の音声を収音する。図4(A)では、役員会議室内の2人の人物は、例えば秘匿性の高い情報を用いた会話を行っており、「#$%&」は秘匿性の高い情報を用いた会話内容の一例である。更に、役員会議室外の2人の人物は、例えば役員会議室外の廊下等において秘匿性の高くない情報を用いて日常的な会話を行っており、「Hello」は秘匿性の高くない情報を用いた日常的な会話内容の一例である。カメラ装置11が撮像した映像データは、指向性制御装置3のディスプレイ装置36に表示される(図4(B)参照)。
ここで、ユーザの指FGにより、ディスプレイ装置36の指定位置A’が指定されると、指向性制御装置3は、指定位置A’を表す座標データを用いて、全方位マイクアレイ装置2の設置位置Mから音声位置Aに向かう指向方向を示す座標(θMAh,θMAv)を算出する。全方位マイクアレイ装置2又は指向性制御装置3は、指向性制御装置3が算出した指向方向を示す座標(θMAh,θMAv)の座標データを用いて、全方位マイクアレイ装置2の設置位置Mから音声位置Aに向かう指向方向MIXに、指向性を形成する。
また、本実施形態では、全方位マイクアレイ装置2の設置位置Mから、収音空間K内の所定の範囲PRB(図4(A)に示す長鎖線参照)に向かう四角錐の範囲は、全方位マイクアレイ装置2により収音された音声の出力が制御(例えばミュート処理、マスキング処理若しくはボイスチェンジ処理)又は音声の収音が休止されるプライバシー保護領域PRAとして予め設定されている。プライバシー保護領域PRAの初期設定は、例えば図4(A)に示す指向性制御システム10を構成するカメラ装置11又は全方位マイクアレイ装置2の設置時に行われれば良い。
従って、本実施形態の指向性制御システム10では、指向性制御装置3の信号処理部33の出力制御部35は、全方位マイクアレイ装置2から、ユーザの指FG又はスタイラスペンにより指定された指定位置A’に対応する音声位置Aがプライバシー保護領域PRAに含まれると判定した場合には、音声位置A、即ち役員会議室外の廊下等に存在する2人の人物の会話の音声の出力を制御(例えばミュート処理、マスキング処理若しくはボイスチェンジ処理)又は全方位マイクアレイ装置2に音声の収音を休止させる。
即ち、役員会議室外の廊下等に存在する2人の人物の会話の音声は、スピーカ装置37から出力されないか、出力されたとしても誰の声であるかの特定が困難となる(図4(B)参照)。更に、出力制御部35は、ユーザの指FG又はスタイラスペンにより指定された指定位置A’に対応する音声位置Aがプライバシー保護領域PRAに含まれると判定した場合には、例えば音声位置Aがプライバシー保護領域PRAに含まれる旨のメッセージをディスプレイ装置36に表示させる(図4(B)参照)。
なお、図4(A)では、ディスプレイ装置36に表示された映像の中で役員会議室内に存在する2人の人物の周囲が指定された場合でも、この指定位置がプライバシー保護領域PRAに含まれると判定された場合には、同様に、指向性制御装置3の信号処理部33の出力制御部35は、音声位置A、即ち役員会議室内に存在する2人の人物の会話の音声の出力を制御(例えばミュート処理、マスキング処理又はボイスチェンジ処理)又は音声の収音を休止させる。
従って、ユーザの指FG又はスタイラスペンにより指定された指定位置A’に対応する音声位置Aがプライバシー保護領域PRAに含まれる場合には、被写体の人物の音声が秘匿性の高い情報を用いているか否かに拘わらず、指向性制御装置3は、音声位置Aに存在する被写体の人物の会話音声の出力を制御(例えばミュート処理、マスキング処理又はボイスチェンジ処理)し、又は全方位マイクアレイ装置2に音声の収音を休止させる。なお、音声位置Aがプライバシー保護領域PRAに含まれるか否かについては、図6を参照して詳述する。
次に、本実施形態の指向性制御システム10の初期設定の動作手順について、図5(A)を参照して説明する。図5(A)は、第1の実施形態の指向性制御システム10の初期設定の動作手順を説明するフローチャートである。初期設定には、例えばカメラ装置11〜1n又は全方位マイクアレイ装置2が初期設置される動作、指向方向算出部34が指向方向を算出するために必要となる入力パラメータが取得される動作が含まれる。
図5(A)において、指向性制御システム10を構成するカメラ装置11及び全方位マイクアレイ装置2が所定の位置(例えば企業内の室内の天井面又はスタンド)に固定するように初期設置される(ST1)。カメラ装置11及び全方位マイクアレイ装置2は、それぞれ異なる位置に設置される(図4(A)参照)。
カメラ装置11及び全方位マイクアレイ装置2が初期設置された後、指向方向算出部34が指向方向を示す座標(θMAh,θMAv)を算出するために必要となる各入力パラメータの測定が行われる(ST2)。ステップST2では、ユーザが測定器(例えばレーザ距離計)を用いて測定する場合、又はカメラ装置11がカメラ装置11自身の公知技術の機能を用いて測定して取得する場合が含まれる。ステップST2における各入力パラメータは指向方向の算出方法毎に異なり、詳しくは図7〜図9を参照して説明する。
ステップST2の後、ステップST2において測定された各入力パラメータが、カメラ装置11から指向性制御装置3の信号処理部33に入力され、又は操作部32から信号処理部33に入力される(ST3)。例えばカメラ装置11は、カメラ装置11自身の公知技術の機能によって取得した入力パラメータを指向性制御装置3の通信部31に送信する。通信部31は、カメラ装置11が送信した入力パラメータを信号処理部33に出力する。
信号処理部33は、ステップST3において取得した各入力パラメータをメモリ38に一時的に保存する(ST4)。以上により、指向性制御システム10の初期設定の動作は終了する。
次に、本実施形態の指向性制御システム10の初期設定後の動作手順について、図6〜図11を参照して説明する。図6は、第1の実施形態の指向性制御システム10において指向方向を示す座標に応じて音声の出力制御を切り替える動作手順を説明するフローチャートである。なお、図6〜図11に示すフローチャートの開始前において、全方位マイクアレイ装置2は収音空間K内の音声を収音しているとする。
図6において、指向性制御装置3は、図4(B)に示すディスプレイ装置36に表示されている映像データの中から任意の指定位置A’の指定を、操作部32を介して受け付ける(ST11)。指向性制御装置3は、ディスプレイ装置36に表示されている映像データの中で任意の指定位置A’の指定を受け付けた旨をカメラ装置11に送信する。なお、ステップST11では、指向性制御装置3は、映像データが表示されたディスプレイ装置36の指定位置A’の座標データをカメラ装置11に送信する。
ステップST11の後、カメラ装置11は、指定位置A’の座標データ及び指定を受け付けた旨を指向性制御装置3から受信した場合、カメラ装置11の設置位置Cを起点として、ステップST11において指定された指定位置A’に対応する音声位置Aまでの距離、水平角及び垂直角(LCA,θCAh,θCAv)の座標データを算出して取得する。
カメラ装置11は、カメラ装置11の設置位置Cを起点として、ステップST11において指定された指定位置A’に対応する音声位置Aまでの距離、水平角及び垂直角(LCA,θCAh,θCAv)の座標データを指向性制御装置3に送信する。
指向性制御装置3の信号処理部33の指向方向算出部34は、カメラ装置11から音声位置Aまでの距離、水平角及び垂直角(LCA,θCAh,θCAv)の座標データと、図5(A)に示すステップST4においてメモリ38に一時的に保存している各入力パラメータとを用いて、全方位マイクアレイ装置2の設置位置Mから音声位置Aに向かう指向方向を示す座標(θMAh,θMAv)を算出する(ST12)。指向方向を示す座標(θMAh,θMAv)の算出処理については、図12〜図14を参照して詳述する。
指向性制御装置3は、ステップST12において算出した指向方向を示す座標(θMAh,θMAv)の座標データを含む指向性形成指示を全方位マイクアレイ装置2に送信する。全方位マイクアレイ装置2は、指向性制御装置3からの指向性形成指示に応じて、指向性制御装置3が算出した座標(θMAh,θMAv)の指向方向に、音声データの指向性を形成する(ST13)。
なお、ステップST13に示す収音された音声の指向性形成処理では、指向性制御装置3から送信された指向性形成指示に従って全方位マイクアレイ装置2が行うと説明しているが、指向性制御装置3自身がステップST13に示す収音された音声の指向性形成処理を行っても良い。具体的には、出力制御部35は、ステップST12において算出された収音方向座標(θMAh,θMAv)の座標データと、全方位マイクアレイ装置2により収音された音声の音声データとを用いて、図3を参照して説明した指向性の形成処理を行う。これにより、指向性制御装置3は、指向方向の座標(θMAh,θMAv)が示す指向方向MIXに指向性が形成された音声を容易に得ることができる。
これにより、全方位マイクアレイ装置2は、被写体が存在する指向方向(θMAh,θMAv)から収音した音声の音声データの音量レベルを増大でき、被写体が存在しない方向から収音した音声の音声データの音量レベルを低減できる。
指向性制御装置3の信号処理部33の出力制御部35は、指向方向算出部34により算出された指向方向を示す座標(θMAh,θMAv)の座標データを基に、音声位置Aが収音空間K内のプライバシー保護領域PRA内に含まれるか否かを判定する(ST14)。
具体的には、出力制御部35は、指向方向算出部34により算出された指向方向を示す座標の水平角θMAhが所定値θhp1からθhp2までの範囲の角度であり、且つ、指向方向算出部34により算出された指向方向を示す座標の垂直角θMAvが所定値θvp1からθvp2までの範囲の角度であるか否かを判定する。
所定値θhp1及びθhp2は、図4(A)に示すプライバシー保護領域PRAの範囲を、全方位マイクアレイ装置2の設置位置Mからの指向方向の水平角を用いて定めるために設けられた下限値及び上限値である。同様に、所定値θvp1及びθvp2は、プライバシー保護領域PRAの範囲を、全方位マイクアレイ装置2の設置位置Mからの指向方向の垂直角によって定めるために設けられた下限値及び上限値である。なお、プライバシー保護領域PRAが収音空間Kの全域である場合には、所定値θhp1及びθvp1は0(ゼロ)であり、所定値θhp2及びθvp2は360となり、以下の第2の実施形態においても同様である。
従って、本実施形態では、出力制御部35は、ステップST12により算出された指向方向を示す座標(θMAh,θMAv)が数式(2)を満たす場合に、ユーザの指FGにより指定された指定位置A’に対応する音声位置Aがプライバシー保護領域PRA内に含まれると判定する。
出力制御部35は、音声位置Aが収音空間K内の予め設定されたプライバシー保護領域PRA内に含まれると判定した場合に(ST14、YES)、ステップST13において指向性が指向方向に形成された音声の出力を制御(例えば、ミュート処理若しくはマスキング処理等の抑制処理、又はボイスチェンジ処理。以下同様とする。)する(ST15)。更に、出力制御部35は、ユーザの指FG又はスタイラスペンによって指定された指定位置A’に対応する音声位置Aがプライバシー保護領域PRA内に含まれる旨を、ユーザに対して明示的に通知する(ST15)。出力制御部35は、例えば指定位置A’に対応する音声位置Aがプライバシー保護領域PRA内に含まれる旨のメッセージをディスプレイ装置36に表示(図4(B)参照)又は点滅させ、又は、スピーカ装置37から所定のアラーム音を音声出力させる(ST15)。
一方、出力制御部35は、音声位置Aが収音空間K内の予め設定されたプライバシー保護領域PRA内に含まれないと判定した場合に(ST14、NO)、ステップST13において指向性が指向方向(θMAh,θMAv)に形成された音声をスピーカ装置37からそのまま出力させる(ST16)。以上により、図6に示す指向性制御システム10の動作は終了する。
図7は、第1の実施形態の指向性制御システム10において指向方向を示す座標に応じて音声の出力制御を切り替える動作手順の他の一例を説明するフローチャートである。図7に示すフローチャートの説明では、図6に示すフローチャートの説明と異なる内容について説明し、同様の内容の説明は省略又は簡略化する。
図7に示すフローチャートと図6に示すフローチャートとの主な違いは、ステップST13における指向性の形成処理の実行タイミングである。即ち図7では、ステップST13における指向性の形成処理は、ステップST14において音声位置Aが収音空間K内の予め設定されたプライバシー保護領域PRA内に含まれないと判定された場合に行われる。出力制御部35は、ステップST13において、全方位マイクアレイ装置2により収音された音声の音声データに、指向方向(θMAh,θMAv)に指向性を形成した後、スピーカ装置37からそのまま音声出力させる(ST16)。
一方、ステップST14において音声位置Aが収音空間K内の予め設定されたプライバシー保護領域PRA内に含まれると判定された場合には(ST14、YES)、出力制御部35は、指向性が指向方向(θMAh,θMAv)に形成されていない状態で、全方位マイクアレイ装置2により収音された音声の出力を制御する(ST15’)。更に、出力制御部35は、音声位置Aがプライバシー保護領域PRA内に含まれる旨のメッセージをディスプレイ装置36に表示(図4(B)参照)又は点滅させ、又は、スピーカ装置37から所定のアラーム音を音声出力させる(ST15’)。以上により、図7に示す指向性制御システム10の動作は終了する。
図8は、第1の実施形態の指向性制御システム10において収音時刻又は録音時刻に応じて音声の出力制御を切り替える動作手順を説明するフローチャートである。図8に示すフローチャートの説明では、図6に示すフローチャートの説明と異なる内容について説明し、同様の内容の説明は省略又は簡略化する。図8に示すフローチャートは、全方位マイクアレイ装置2が収音空間Kの音声をリアルタイムに収音している場合でも、全方位マイクアレイ装置2により収音された音声の音声データがレコーダ装置4から読み出されて指向性制御装置3から再生されている場合のどちらでも適用可能である。
図8に示すフローチャートと図6に示すフローチャートとの主な違いは、ステップST14’(図8参照)における判定内容とステップST14(図6参照)における判定内容である。即ち図8では、出力制御部35は、全方位マイクアレイ装置2における収音時刻(例えば現在時刻)あるいはレコーダ装置4が記録した音声データの録音時刻が予め設定されたプライバシー保護時間PRT内に含まれるか否かを判定する(ST14’)。出力制御部35は、例えばレコーダ装置4から読み出した音声ファイルのヘッダ領域を参照することで音声データの録音時刻のデータを取得する。
出力制御部35は、収音時刻あるいは録音時刻がプライバシー保護時間PRT内に含まれると判定した場合に(ST14’、YES)、ステップST13において指向性が指向方向(θMAh,θMAv)に形成された音声の出力を制御する(ST15)。更に、出力制御部35は、収音時刻又は録音時刻がプライバシー保護時間PRT内に含まれる旨のメッセージをディスプレイ装置36に表示又は点滅させ、又は、スピーカ装置37から所定のアラーム音を音声出力させる(ST15’)。
一方、出力制御部35は、収音時刻及び録音時刻がプライバシー保護時間PRT内に含まれないと判定した場合に(ST14’、NO)、ステップST13において指向性が指向方向(θMAh,θMAv)に形成された音声をスピーカ装置37からそのまま出力させる(ST16)。以上により、図8に示す指向性制御システム10の動作は終了する。
図9は、第1の実施形態の指向性制御システム10において収音時刻又は録音時刻に応じて音声の出力制御を切り替える動作手順の他の一例を説明するフローチャートである。図9に示すフローチャートの説明では、図7に示すフローチャートの説明と異なる内容について説明し、同様の内容の説明は省略又は簡略化する。図9に示すフローチャートは、図8に示すフローチャートと同様に、全方位マイクアレイ装置2が収音空間Kの音声をリアルタイムに収音している場合でも、全方位マイクアレイ装置2により収音された音声の音声データがレコーダ装置4から読み出されて指向性制御装置3から再生されている場合のどちらでも適用可能である。
図9に示すフローチャートと図7に示すフローチャートとの主な違いは、ステップST14’(図9参照)における判定内容とステップST14(図7参照)における判定内容である。即ち図9では、出力制御部35は、全方位マイクアレイ装置2における収音時刻(例えば現在時刻)あるいはレコーダ装置4が記録した音声データの録音時刻が予め設定されたプライバシー保護時間PRT内に含まれるか否かを判定する(ST14’)。出力制御部35は、例えばレコーダ装置4から読み出した音声データのファイルのヘッダ領域を参照することで音声データの録音時刻のデータを取得する。
出力制御部35は、収音時刻あるいは録音時刻がプライバシー保護時間PRT内に含まれると判定した場合に(ST14’、YES)、指向性が指向方向(θMAh,θMAv)に形成されていない状態で、全方位マイクアレイ装置2により収音された音声の出力を制御する(ST15’)。更に、出力制御部35は、収音時刻又は録音時刻がプライバシー保護時間PRT内に含まれる旨のメッセージをディスプレイ装置36に表示又は点滅させ、又は、スピーカ装置37から所定のアラーム音を音声出力させる(ST15’)。
一方、出力制御部35は、収音時刻及び録音時刻がプライバシー保護時間PRT内に含まれないと判定した場合に(ST14’、NO)、全方位マイクアレイ装置2により収音された音声を用いて、指向方向(θMAh,θMAv)に指向性を形成する(ST13)。出力制御部35は、指向方向(θMAh,θMAv)に指向性が形成された音声をスピーカ装置37からそのまま出力させる(ST16)。以上により、図9に示す指向性制御システム10の動作は終了する。
図10は、第1の実施形態の指向性制御システム10において指向方向を示す座標に応じて音声の収音処理の継続又は休止を切り替える動作手順を説明するフローチャートである。図10に示すフローチャートの説明では、図7に示すフローチャートの説明と異なる内容について説明し、同様の内容の説明は省略又は簡略化する。
図10に示すフローチャートと図7に示すフローチャートとの主な違いは、ステップST15”の処理内容とステップST15’の処理内容である。即ち図10では、出力制御部35は、ステップST14において音声位置Aが収音空間K内のプライバシー保護領域PRA内に含まれると判定した場合に、全方位マイクアレイ装置2における収音を一時的に休止させるための収音休止指示を生成して通信部31に出力し、通信部31に収音休止指示を全方位マイクアレイ装置2に送信させる。これにより、全方位マイクアレイ装置2は、指向性制御装置3から送信された収音休止指示に応じて、収音空間K内の音声の収音を一時的に休止する(ST15”)。更に、出力制御部35は、音声位置Aがプライバシー保護領域PRA内に含まれる旨のメッセージをディスプレイ装置36に表示又は点滅させ、又は、スピーカ装置37から所定のアラーム音を音声出力させる(ST15”)。
なお、音声位置Aが収音空間K内のプライバシー保護領域PRAに含まれないと判定された場合の出力制御部35の動作は図7に示すステップST13及びST16と同様であるため、説明を割愛する。以上により、図10に示す指向性制御システム10の動作は終了する。
図11は、第1の実施形態の指向性制御システム10において収音時刻に応じて音声の収音処理の継続又は休止を切り替える動作手順を説明するフローチャートである。図11に示すフローチャートは、全方位マイクアレイ装置2が収音空間Kの音声をリアルタイムに収音している場合に行われる。
図11において、出力制御部35は、全方位マイクアレイ装置2における収音時刻(例えば現在時刻)が予め設定されたプライバシー保護時間PRT内に含まれるか否かを判定する(ST14”)。
出力制御部35は、収音時刻がプライバシー保護時間PRT内に含まれると判定した場合に(ST14”、YES)、全方位マイクアレイ装置2における収音を一時的に休止させるための収音休止指示を生成して通信部31に出力し、通信部31に収音休止指示を全方位マイクアレイ装置2に送信させる。これにより、全方位マイクアレイ装置2は、指向性制御装置3から送信された収音休止指示に応じて、収音空間K内の音声の収音を一時的に休止する(ST15”)。更に、出力制御部35は、音声位置Aがプライバシー保護領域PRAに含まれる旨のメッセージをディスプレイ装置36に表示又は点滅させ、又は、スピーカ装置37から所定のアラーム音を音声出力させる(ST15”)。
一方、出力制御部35は、収音時刻がプライバシー保護時間PRT内に含まれないと判定した場合に(ST14”、NO)、指向性が指向方向(θMAh,θMAv)に形成されていない状態で、全方位マイクアレイ装置2により収音された音声をスピーカ装置37からそのまま出力させる(ST16)。なお、出力制御部35は、収音時刻がプライバシー保護時間PRT内に含まれないと判定した場合に(ST14”、NO)、全方位マイクアレイ装置2により収音された音声を用いて、指向方向(θMAh,θMAv)に指向性を形成した上でスピーカ装置37から出力させても良い。以上により、図11に示す指向性制御システム10の動作は終了する。
(全方位マイクアレイ装置2の収音方向を示す座標(θMAh,θMAv)の算出方法)
ここで、指向性制御装置3の信号処理部33の指向方向算出部34が全方位マイクアレイ装置2の指向方向を示す座標(θMAh,θMAv)を算出する方法について、図5(B)、図12〜図14を参照して詳細に説明する。
図5(B)は、全方位マイクアレイ装置2の指向方向を算出するための基準点Oと指定位置A’とのディスプレイ装置36の画面上における位置を示す図である。図12(A)は、カメラ装置11、全方位マイクアレイ装置2、基準点O及び音声位置Aの各位置を示す斜視図である。図12(B)は、図12(A)の鉛直上方向から鉛直下方向を見た水平方向平面図である。図12(C)は、図12(B)のK−K’線による垂直方向断面図である。
図13(A)は、カメラ装置11、全方位マイクアレイ装置2、基準点O及び音声位置Aの各位置を示す斜視図である。図13(B)は、図13(A)の鉛直上方向から鉛直下方向を見た水平方向平面図である。図13(C)は、図13(B)のQ−Q’線による垂直方向断面図である。図14(A)は、カメラ装置11、全方位マイクアレイ装置2、基準点O及び音声位置Aの各位置を示す斜視図である。図14(B)は、図14(A)の鉛直上方向から鉛直下方向を見た水平方向平面図である。図14(C)は、図14(B)のR−R’線による垂直方向断面図である。
例えば、指向方向算出部34における指向方向の算出方法(以下、「本算出方法」という)では、例えばカメラ装置11の光軸CXの方向の所定位置に基準点Oが設けられる。基準点Oは、カメラ装置11の光軸CXの方向に存在するので、図5(B)に示すディスプレイ装置36の画面の中心点O’に対応する実際の現場の位置である。
指向方向算出部34は、
(1)カメラ装置11から全方位マイクアレイ装置2までの距離LCMの水平成分の距離LCMhと、
(2)カメラ装置11から基準点Oまでの距離LCO及び俯角θCOと、
(3)全方位マイクアレイ装置2から基準点Oまでの距離LMO及び俯角θMOと、
(4)カメラ装置11、全方位マイクアレイ装置2、基準点Oの水平面(例えば企業内のフロア内の床面)からの各高さHC,HM,HOと、
(5)カメラ装置11から音声位置Aまでの水平角θCAh及び垂直角θCAvと、
(6)音声位置Aの水平面(例えば企業内のフロア内の床面)からの高さHAと、を基に、全方位マイクアレイ装置2の指向方向を示す座標(θMAh,θMAv)を算出する。
本算出方法では、図5(A)に示すステップST2における入力パラメータは、
(1)カメラ装置11から全方位マイクアレイ装置2までの距離LCMの水平成分の距離LCMhと、
(2)カメラ装置11から基準点Oまでの距離LCO及び俯角θCOと、
(3)全方位マイクアレイ装置2から基準点Oまでの距離LMO及び俯角θMOと、
(4)カメラ装置11、全方位マイクアレイ装置2、基準点Oの水平面(例えば企業内のフロア内の床面)からの各高さHC,HM,HOである。
(1)カメラ装置11から全方位マイクアレイ装置2までの距離LCMの水平成分の距離LCMhは、カメラ装置11及び全方位マイクアレイ装置2が初期設置された時に定められる固定値である。
(2)カメラ装置11から基準点Oまでの距離LCO及び俯角θCOは、例えばユーザが基準点Oの位置においてレーザ距離計をカメラ装置11に向けることで、簡易に測定できる。測定された距離LCO及び俯角θCOのデータは、例えばユーザの入力操作に応じて、操作部32から信号処理部33に入力される。
(3)全方位マイクアレイ装置2から基準点Oまでの距離LMO及び俯角θMOは、例えばユーザが基準点Oの位置においてレーザ距離計を全方位マイクアレイ装置2に向けることで、簡易に測定できる。測定された距離LMO及び俯角θMOのデータは、例えばユーザの入力操作に応じて、操作部32から信号処理部33に入力される。
(4)カメラ装置11、全方位マイクアレイ装置2の水平面(例えば企業内のフロア内の床面)からの各高さHC,HMは、カメラ装置11、全方位マイクアレイ装置2の各初期設定時に定められる固定値であり、更に、基準点Oの水平面(例えば企業内のフロア内の床面)からの高さHOは、基準点Oの位置が決められた時に定められる固定値である。
また、本算出方法では、図6に示すステップST11の後に得られた座標(LCA,θCAh,θCAv)のうち、
(5)カメラ装置11から音声位置Aに向かう方向の水平角θCAh及び垂直角θCAv、が用いられ、例えばこれらはカメラ装置11における公知技術の機能によって取得される。
更に、本算出方法では、
(6)音声位置Aの水平面(例えば企業内のフロア内の床面)からの高さHAは、予め決められた固定値であり、例えばユーザの指FGが図5(B)に示す指定位置A’を指定する時に、音声位置Aの周囲に人物がいる場合には人物の大きさをHAとして選択された値又は入力された値である。又は、ユーザの指FGが指定位置A’を指定した時に、指向性制御装置3が指定された指定位置A’に人物(例えば大人又は子供)がいることを判定した場合に、既定値(例えば1.5m又は0.8m)が用いられても良い。
以下の本算出方法の説明において、ユーザの指FGが指定した指定位置A’は中心点O’と異なる位置とする(図5(B)参照)。
以下、指向方向算出部34が全方位マイクアレイ装置2の設置位置Mから音声位置Aに向かう指向方向を示す座標(θMAh,θMAv)の算出方法(本算出方法)について、具体的に説明する。本算出方法では、カメラ装置11及び全方位マイクアレイ装置2の各水平角の0度方向基準線は、例えば図12(B)に示す水平方向平面図において、カメラ装置11及び全方位マイクアレイ装置2を互いに結ぶ直線方向である。
指向方向算出部34は、カメラ装置11から基準点Oまでの距離LCO及び俯角θCOを用いて、カメラ装置11から基準点Oまでの距離LCOの水平成分の距離LCOhを数式(3)に従って算出する。
指向方向算出部34は、全方位マイクアレイ装置2から基準点Oまでの距離LMO及び俯角θMOを用いて、全方位マイクアレイ装置2から基準点Oまでの距離LMOの水平成分の距離LMOhを数式(4)に従って算出する。
指向方向算出部34は、数式(3),(4)の各算出結果を用いて、図12(B)に示す△COMに対する余弦定理により、数式(5)に従って、カメラ装置11から基準点Oまでの俯角θCOの水平角θCOhの余弦値cosθCOhを算出する。
指向方向算出部34は、数式(3),(4)の各算出結果を用いて、図12(B)に示す△COMに対する余弦定理により、数式(6)に従って、全方位マイクアレイ装置2から基準点Oまでの俯角θMOの水平角θMOhの余弦値cosθMOhを算出する。
指向方向算出部34は、カメラ装置11及び基準点Oの水平面(例えば企業内のフロア内の床面)からの各高さHC,HOと、数式(3)及び(5)の各算出結果とを用いて、数式(7)に従って、カメラ装置11から基準点Oまでの距離LCOの垂直成分の距離LCOvを算出する。
指向方向算出部34は、全方位マイクアレイ装置2及び基準点Oの水平面(例えば企業内のフロア内の床面)からの各高さHM,HOと、数式(4)及び(6)の各算出結果とを用いて、数式(8)に従って、全方位マイクアレイ装置2から基準点Oまでの距離LMOの垂直成分の距離LMOvを算出する。
指向方向算出部34は、カメラ装置11及び全方位マイクアレイ装置2の水平面(例えば企業内のフロア内の床面)からの各高さHC,HMと、カメラ装置11と全方位マイクアレイ装置2との間の距離LCMの水平成分の距離LCMhとを用いて、数式(9)に従って、カメラ装置11と全方位マイクアレイ装置2との距離LCMの垂直成分の距離LCMv(=LCM)を算出する。
指向方向算出部34は、数式(7)〜(9)の各算出結果を用いて、図12(C)に示す△COMに対する余弦定理により、数式(10)に従って、カメラ装置11から基準点Oまでの俯角θCOの垂直角θCOvの余弦値cosθCOvを算出する。
指向方向算出部34は、数式(9)の算出結果と、カメラ装置11及び全方位マイクアレイ装置2の水平面(例えば企業内のフロア内の床面)からの各高さHC,HMとを用いて、数式(11)に従って、図12(C)に示すカメラ装置11から全方位マイクアレイ装置2に向かう方向と水平面(例えば企業内のフロア内の天井面)との間の角度θδの正弦値sinθδを算出する。
次に、指向方向算出部34は、数式(10),(11)の各算出結果と、カメラ装置11から音声位置Aまでの垂直角θCAvと、音声位置Aの水平面(例えば企業内のフロア内の床面)からの高さHAと、カメラ装置11の水平面(例えば企業内のフロア内の床面)からの高さHCとを用いて、数式(12)に従って、カメラ装置11と音声位置Aまでの距離LCAを算出する。
指向方向算出部34は、数式(10)〜(12)の各算出結果と、カメラ装置11から音声位置Aまでの垂直角θCAvとを用いて、数式(13)に従って、カメラ装置11と音声位置Aまでの距離LCAの水平成分の距離LCAhを算出する。
指向方向算出部34は、数式(5),(13)の各算出結果と、カメラ装置11から音声位置Aまでの水平角θCAhと、カメラ装置11と全方位マイクアレイ装置2との間の距離LCMの水平成分の距離LCMhとを用いて、図12(B)に示す△CAMに対する余弦定理により、数式(14)に従って、全方位マイクアレイ装置2から音声位置Aまでの距離の水平成分の距離LMAhを算出する。
指向方向算出部34は、数式(13),(14)の各算出結果と、カメラ装置11と全方位マイクアレイ装置2との間の水平方向の距離LCMhとを用いて、図12(B)に示す△CAMに対する余弦定理により、数式(15)に従って、全方位マイクアレイ装置2から音声位置Aまでの俯角θMAの水平角θMAhの余弦値cosθMAhを算出する。
これにより、指向方向算出部34は、全方位マイクアレイ装置2から音声位置Aに向かう指向方向の水平角θMAhを、数式(16)に従って、算出できる。
更に、指向方向算出部34は、数式(14)の算出結果と、全方位マイクアレイ装置2の水平面(例えば企業内のフロア内の床面)からの高さHMと、音声位置Aの水平面(例えば企業内のフロア内の床面)からの高さHAとを用いて、図14(C)に示す△MAPに対する正接により、数式(17)に従って、全方位マイクアレイ装置2から音声位置Aに向かう指向方向の垂直角θMAvの正接値tanθMAvを算出する。
これにより、指向方向算出部34は、数式(18)に従って、全方位マイクアレイ装置2から音声位置Aに向かう指向方向の垂直角θMAvを算出できる。
以上により、本実施形態の指向性制御システム10では、指向性制御装置3の指向方向算出部34は、ディスプレイ装置36に表示された映像データのユーザによる任意の指定位置A’の指定に応じて、全方位マイクアレイ装置2から、指定された指定位置A’に対応する音声位置Aに向かう指向方向を算出する。指向性制御装置3の出力制御部35は、算出された指向方向に、全方位マイクアレイ装置2により収音された音声に指向性を形成する。また、出力制御部35は、音声位置Aが予め設定されたプライバシー保護領域PRA内に含まれると判定した場合に、全方位マイクアレイ装置2により収音された音声、若しくは全方位マイクアレイ装置2により収音されて指向性が形成された音声の出力を制御し、あるいは全方位マイクアレイ装置2における音声の収音を休止させる。
これにより、指向性制御システム10では、指向性制御装置3は、全方位マイクアレイ装置2から音声位置Aに向かう指向方向に指向性を形成することができ、更に、例えばユーザの入力操作によって指定された音声位置Aが所定のプライバシー保護領域PRA内である場合に、全方位マイクアレイ装置2により収音された音声、若しくは全方位マイクアレイ装置2により収音されて指向性が形成された音声の出力を制御(例えば抑制処理又はボイスチェンジ処理)し、あるいは全方位マイクアレイ装置2における音声の収音を休止させることができる。
従って、指向性制御装置3は、カメラ装置11が撮像している被写体の映像データにおいて、例えば被写体である人物が秘匿性の高い情報を用いて会話している場合に、その人物が会話している空間的な位置(音声位置A)が全方位マイクアレイ装置2から見てプライバシー保護領域に含まれると判定された場合に、秘匿性の高い情報を用いた会話の音声の出力の抑制若しくは音声のボイスチェンジを実行でき、あるいは音声の収音を休止でき、例えば関係者以外の第三者への情報の漏えいを回避若しくは誰が会話していたかの特定を困難化することができ、あるいは何かしらの証拠となり得る会話自体の記録を回避することができる。
(第2の実施形態)
第2の実施形態では、指向性制御装置3Aは、第1の実施形態と同様に、音声位置Aがプライバシー保護領域PRA内に含まれるか否かの判定結果、又は収音時刻若しくは録音時刻がプライバシー保護時間PRT内に含まれるか否かの判定結果に応じて、全方位マイクアレイ装置2により収音された音声、若しくは全方位マイクアレイ装置2により収音されて指向性が形成された音声の出力制御又は全方位マイクアレイ装置2における音声の休止の有無を切り替える。更に、指向性制御装置3Aは、後述するプライバシー保護信号発信機7又はカメラ装置11から送信されたプライバシー保護信号を受信した場合には、音声位置Aがプライバシー保護領域PRAに含まれるか否かの判定結果、及び、収音時刻若しくは録音時刻がプライバシー保護時間PRT内に含まれるか否かの判定結果よりも優先して、全方位マイクアレイ装置2により収音された音声、若しくは全方位マイクアレイ装置2により収音されて指向性が形成された音声の出力を制御し、又は全方位マイクアレイ装置2における音声を休止させる。
図15は、第2の実施形態の指向性制御システム10Aのシステム構成を示すブロック図である。図15に示す指向性制御システム10Aは、少なくとも1つのカメラ装置11A,〜,1nAと、全方位マイクアレイ装置2と、指向性制御装置3Aと、レコーダ装置4と、プライバシー保護信号発信機7とを含む。
指向性制御装置3Aは、通信部31Aと、操作部32と、信号処理部33Aと、ディスプレイ装置36と、スピーカ装置37と、メモリ38と、外部信号受信部39とを含む。図15に示す指向性制御システム10を構成する各部の動作が図1に示す指向性制御システム10を構成する各部の動作と同一であるものには、同一の符号を付して説明を省略又は簡略化する。
次に、本実施形態の動作概要について、図15、図16(A)、図16(B)及び図16(C)を参照して説明する。
図16(A)は、第2の実施形態の指向性制御システム10Aが設置された収音空間K内において役員会議室内の人物の操作によってプライバシー保護信号PRS1又はPRS2が送信される様子を示す図である。図16(B)は、図16(A)に示す役員会議室内の人物の操作によってプライバシー保護信号発信機7から送信されたプライバシー保護信号PRS1によって、全方位マイクアレイ装置2により収音された音声、若しくは全方位マイクアレイ装置2により収音されて指向性が形成された音声の出力が制御され、又は全方位マイクアレイ装置2における音声の収音が休止される様子を示す図である。図16(C)は、図16(A)に示す役員会議室内の人物の操作によってカメラ装置11Aから送信されたプライバシー保護信号PRS2によって、全方位マイクアレイ装置2により収音された音声、若しくは全方位マイクアレイ装置2により収音されて指向性が形成された音声の出力が制御され、又は全方位マイクアレイ装置2における音声の収音が休止される様子を示す図である。
プライバシー保護信号発信機7は、例えば図16(A)に示す役員会議室内における自己の会話音声を関係者以外の第三者に聞かれたくないと考える被写体の人物が用いる携帯可能な発信機である。プライバシー保護信号発信機7は、この人物の操作に応じて、プライバシー保護信号PRS1を送信する。プライバシー保護信号PRS1は、指向性制御装置3の外部信号受信部39において受信される。
プライバシー保護信号PRS1は、例えば音声位置Aが第1の実施形態において説明したプライバシー保護領域PRAに含まれる場合又は含まれない場合のいずれの場合でも、カメラ装置11Aの被写体である人物の会話音声の出力を制御し、又は全方位マイクアレイ装置2における音声の収音を休止させるために、プライバシー保護信号発信機7から送信される信号である。
プライバシー保護信号発信機7から送信されたプライバシー保護信号PRS1が指向性制御装置3Aの外部信号受信部39において受信されると、指向性制御装置3Aの出力制御部35Aは、全方位マイクアレイ装置2により収音された音声、若しくは全方位マイクアレイ装置2により収音されて指向性が形成された音声の出力を制御し、又は全方位マイクアレイ装置2における音声の収音を休止させる。更に、指向性制御装置3Aの出力制御部35Aは、プライバシー保護信号PRS1が受信された旨のメッセージをディスプレイ装置36において表示又は点滅させ、又は所定のアラーム音の音声出力によってユーザに通知する(図16(B)参照)。
また、本実施形態では、カメラ装置11A〜1nAは、例えば図11(A)に示す役員会議室内における自己の会話音声を関係者以外の第三者に聞かれたくないと考える被写体の人物がカメラ装置の遠隔操作用のリモコンRMを用いた操作に応じて、カメラ装置11A〜1nAからプライバシー保護信号PRS2を送信する。プライバシー保護信号PRS2は、指向性制御装置3Aの通信部31Aにおいて受信される。以下、説明を簡単にするために、カメラ装置11A〜1nAのうち、例えばカメラ装置11Aがプライバシー保護信号PRS2を送信するとして説明する。
プライバシー保護信号PRS2は、例えば音声位置Aが第1の実施形態において説明したプライバシー保護領域PRAに含まれる場合又は含まれない場合のいずれの場合でも、カメラ装置11Aの被写体である人物の会話音声の出力を制御し、又は全方位マイクアレイ装置2における音声の収音を休止させるために、カメラ装置11Aが既存の機能として有するプライバシー保護機能を起動させるためのリモコンRMの操作に応じて、例えばカメラ装置11から送信される信号である。
カメラ装置11Aから送信されたプライバシー保護信号PRS2が指向性制御装置3Aの通信部31Aにおいて受信されると、指向性制御装置3Aの出力制御部35Aは、全方位マイクアレイ装置2により収音された音声、若しくは全方位マイクアレイ装置2により収音されて指向性が形成された音声の出力を制御し、又は全方位マイクアレイ装置2における音声の収音を休止させる。更に、指向性制御装置3Aの出力制御部35Aは、カメラ装置11Aから送信されたプライバシー保護信号PRS2が受信された旨のメッセージをディスプレイ装置36において表示又は点滅させ、又は所定のアラーム音の音声出力によってユーザに通知する(図16(C)参照)。
次に、本実施形態の指向性制御システム10Aのプライバシー保護信号が受信された後の動作手順について、図17を参照して説明する。図17は、第2の実施形態の指向性制御システム10Aのプライバシー保護信号PRS1又はPRS2が受信された場合の動作手順を説明するフローチャートである。
図17において、プライバシー保護信号発信機7から送信されたプライバシー保護信号PRS1が指向性制御装置3Aの外部信号受信部39により受信された場合(ST21、YES)、又はカメラ装置11Aから送信されたプライバシー保護信号PRS2が指向性制御装置3Aの通信部31Aにより受信された場合(ST21、YES)、指向性制御装置3Aの動作はステップST22に進む。
なお、図17の説明を簡単にするために、指向性制御装置3Aの外部信号受信部39が、プライバシー保護信号発信機7から送信されたプライバシー保護信号PRS1を受信したとして説明するが、指向性制御装置3Aの通信部31Aが、カメラ装置11Aから送信されたプライバシー保護信号PRS2を受信した場合も同様である。
即ち、指向性制御装置3Aの出力制御部35Aは、プライバシー保護信号PRS1が受信された旨を示すプライバシー保護信フラグを1に設定し、更に、プライバシー保護信号PRS1が受信された時刻、即ちプライバシー保護を開始した時刻(プライバシー保護開始時刻)をメモリ38に記憶する(ST22)。出力制御部35Aは、全方位マイクアレイ装置2により収音されている音声の音声データと、プライバシー保護信号フラグ(=1)と、プライバシー保護開始時刻とを対応付けてメモリ38又はレコーダ装置4に記憶する。
出力制御部35Aは、プライバシー保護信号が受信された場合に、全方位マイクアレイ装置2により収音された音声、若しくは全方位マイクアレイ装置2により収音されて指向性が形成された音声の出力制御、又は全方位マイクアレイ装置2における音声の収音の一時的な休止を開始する(ST22)。
プライバシー保護信号発信機7からプライバシー保護を解除するためのプライバシー保護解除信号が指向性制御装置3Aの外部信号受信部39により受信された場合(ST23、YES)、指向性制御装置3Aの動作はステップST25に進む。また、プライバシー保護信号発信機7からプライバシー保護を解除するためのプライバシー保護解除信号が指向性制御装置3Aの外部信号受信部39により受信されない場合でも(ST23、NO)、プライバシー保護信号フラグが1に設定されてから所定時間が経過した場合には(ST24、YES)、指向性制御装置3Aの動作はステップST25に進む。
即ち、プライバシー保護解除信号が受信された場合、又はプライバシー保護信号フラグが1に設定されてから所定時間が経過した場合に、出力制御部35Aは、プライバシー保護信号フラグを0に設定し、更に、プライバシー保護解除信号が受信された時刻、即ちプライバシー保護を解除(終了)した時刻(プライバシー保護終了時刻)をメモリ38に記憶する(ST25)。出力制御部35Aは、全方位マイクアレイ装置2により収音されている音声の音声データと、プライバシー保護信号フラグ(=0)と、プライバシー保護終了時刻とを対応付けてメモリ38又はレコーダ装置4に記憶する。
出力制御部35Aは、プライバシー保護解除信号が受信された場合、又はプライバシー保護信号フラグが1に設定されてから所定時間が経過した場合に、全方位マイクアレイ装置2により収音された音声、若しくは全方位マイクアレイ装置2により収音されて指向性が形成された音声の出力制御を終了し、又は全方位マイクアレイ装置2における音声の一時的な収音を再開させる(ST25)。
次に、本実施形態の指向性制御システム10Aが音声をリアルタイムに収音している間の動作手順(図18、図20、図22参照)と、例えば音声収音後にレコーダ装置4に記録された音声ファイルを再生する場合の動作手順(図19、図21、図23参照)とについて、各々の図面を参照して説明する。
図18は、第2の実施形態の指向性制御システム10Aが音声をリアルタイムに収音している間においてプライバシー保護信号PRS1,PRS2の受信の有無に応じて音声の出力制御を切り替える動作手順を説明するフローチャートである。図19は、第2の実施形態の指向性制御システム10Aが記録された音声ファイルの音声データを再生する場合においてプライバシー保護信号PRS1,PRS2の受信の有無に応じて音声の出力制御を切り替える動作手順を説明するフローチャートである。なお、図18及び図19において、図6に示す各ステップの動作の内容と同一である場合には、同一のステップ番号を付して説明を省略又は簡略化し、異なる内容について説明する。
図18において、出力制御部35Aは、ステップST13において全方位マイクアレイ装置2により収音された音声の音声データを用いて、指向方向(θMAh,θMAv)に指向性を形成した後、メモリ38又はレコーダ装置4を参照し、リアルタイムに収音されている音声の音声データに対応付けられているプライバシー保護信号フラグが1に設定されているか否かを判定する(ST31)。即ち、出力制御部35Aは、ステップST31では、全方位マイクアレイ装置2が音声をリアルタイムに収音している場合に、プライバシー保護信号PRS1又はPRS2が受信されたか否かを判定する。
出力制御部35Aは、プライバシー保護信号フラグが1に設定されていると判定した場合には(ST31、YES)、ステップST13において指向性が指向方向(θMAh,θMAv)に形成された音声の出力を制御する(ST32)。更に、出力制御部35Aは、プライバシー保護信号発信機7又はカメラ装置11Aから送信されたプライバシー保護信号PRS1又はPRS2が受信された旨を、ユーザに対して明示的に通知する(ST32)。出力制御部35Aは、プライバシー保護信号PRS1又はPRS2が受信された旨のメッセージをディスプレイ装置36に表示(図16(B)又は図16(C)参照)又は点滅させ、又は、スピーカ装置37から所定のアラーム音を音声出力させる(ST32)。
一方、出力制御部35Aは、プライバシー保護信号フラグが1に設定されていないと判定した場合には(ST31、NO)、図6に示すステップST14、図8に示すステップST14’及び図11に示すステップST14”のうちいずれかが満たされるか否かを判定する。いずれかが満たされる場合には、出力制御部35Aは、ステップST32の処理を実行する。即ち、出力制御部35Aは、全方位マイクアレイ装置2により音声がリアルタイムに収音されている間にプライバシー保護信号が受信されていない場合でも、音声位置Aがプライバシー保護領域PRA内に含まれている場合、又は収音時刻若しくは録音時刻がプライバシー保護時間PRT内に含まれている場合には、第1の実施形態と同様に、ステップST13において指向性が指向方向(θMAh,θMAv)に形成された音声の出力を制御する。しかし、ステップST14、ステップST14’及びステップST14”のうちいずれも満たされない場合には、出力制御部35Aは、ステップST13において指向性が指向方向(θMAh,θMAv)に形成された音声をスピーカ装置37からそのまま音声出力させる(ST16)。
また、ステップST32の後、出力制御部35Aは、リアルタイムに収音されている音声の音声データに対応付けられているプライバシー保護信号フラグが0に設定されているか否かを判定する(ST33)。即ち、出力制御部35Aは、ステップST33では、全方位マイクアレイ装置2が音声をリアルタイムに収音している場合に、プライバシー保護解除信号が受信されたか否か、又はプライバシー保護信号PRS1若しくはPRS2が受信されてから所定時間が経過したか否かを判定する。
出力制御部35Aは、プライバシー保護信号フラグが0に設定されていると判定した場合には(ST33、YES)、ステップST32の処理を終了し(ST34)、その後、ステップST13において指向性が指向方向(θMAh,θMAv)に形成された音声をスピーカ装置37からそのまま音声出力させる(ST16)。一方、プライバシー保護信号フラグが0に設定されていないと判定された場合には(ST33、NO)、ステップST32の処理が継続する。以上により、図18に示す指向性制御システム10Aの動作の説明は終了する。
次に、図19において、例えばユーザの入力操作として、レコーダ装置4に記録された再生対象の音声ファイルの再生操作が行われると(ST41)、図6に示すステップST11、ステップST12及びステップST13の順番に各処理が実行される。その後、指向性制御装置3Aの出力制御部35Aは、音声ファイルの音声データに対して、プライバシー保護開始時刻及びプライバシー保護終了時刻のデータが対応付けられているか否かを判定する(ST42)。即ち、出力制御部35Aは、ステップST42では、音声ファイルの音声が全方位マイクアレイ装置2により収音されていた間に、プライバシー保護信号PRS1又はPRS2が受信されたか否かを判定する。
出力制御部35Aは、音声ファイルの音声データに対して、プライバシー保護開始時刻及びプライバシー保護終了時刻のデータが対応付けられていると判定した場合には(ST42、YES)、ステップST45の処理を優先的に実行する(ST45)。ステップST45の処理内容については後述する。
一方、出力制御部35Aは、音声ファイルの音声データに対して、プライバシー保護開始時刻及びプライバシー保護終了時刻のデータが対応付けられていないと判定された場合には(ST42、NO)、第1の実施形態と同様に、音声ファイルの音声データの録音時刻が所定のプライバシー保護時間PRT内に含まれていたか否かを判定する(ST44)。出力制御部35Aは、音声ファイルの音声データの録音時刻が所定のプライバシー保護時間PRT内に含まれていたと判定した場合には(ST44、YES)、ステップST45の処理を実行する。出力制御部35Aは、音声ファイルの音声データの録音時刻が所定のプライバシー保護時間PRT内に含まれていないと判定した場合には(ST44、NO)、ステップST13において指向性が指向方向(θMAh,θMAv)に形成された音声をそのままスピーカ装置37から出力させる(ST16)。
出力制御部35Aは、ステップST45では、ステップST13において指向性が指向方向(θMAh,θMAv)に形成された音声の出力を制御し、更に、プライバシー保護信号PRS1若しくはPRS2が受信された旨、又は録音時刻がプライバシー保護時間PRT内に含まれる旨を、ユーザに対して明示的に通知する(ST45)。出力制御部35Aは、例えばプライバシー保護信号PRS1若しくはPRS2が受信された旨のメッセージをディスプレイ装置36に表示(図16(B)又は図16(C)参照)又は点滅させ、又は、スピーカ装置37から所定のアラーム音を音声出力させる(ST45)。
また、ステップST45の後、出力制御部35Aは、録音時刻がプライバシー保護時間PRT外又はプライバシー保護終了時刻以降となったか否かを判定する(ST46)。即ち、出力制御部35Aは、ステップST46では、音声ファイルの再生中に、所定のプライバシー保護時間PRTが終わったか、プライバシー保護解除信号が受信されたか、又はプライバシー保護信号PRS1若しくはPRS2が受信されてから所定時間が経過したか否かを判定する。
出力制御部35Aは、録音時刻がプライバシー保護時間PRT外又はプライバシー保護終了時刻以降となったと判定した場合には(ST46、YES)、ステップST45の処理を終了し(ST47)、その後、ステップST13において指向性が指向方向(θMAh,θMAv)に形成された音声をスピーカ装置37からそのまま音声出力させる(ST16)。一方、録音時刻がプライバシー保護時間PRT外及びプライバシー保護終了時刻以降ではないと判定された場合には(ST46、NO)、ステップST45の処理が継続する。以上により、図19に示す指向性制御システム10Aの動作の説明は終了する。
図20は、第2の実施形態の指向性制御システムが音声をリアルタイムに収音している間においてプライバシー保護信号の受信の有無に応じて音声の出力制御を切り替える動作手順の他の一例を説明するフローチャートである。図20に示すフローチャートの説明では、図18に示すフローチャートの説明と異なる内容について説明し、同様の内容の説明は省略又は簡略化する。
図20に示すフローチャートと図18に示すフローチャートとの主な違いは、ステップST13における指向性の形成処理の実行タイミングである。即ち図20では、ステップST13における指向性の形成処理は、ステップST14、ステップST14’及びステップST14”のうちいずれも満たされない場合に行われる。
一方、ステップST31においてプライバシー保護信号フラグが1に設定されていると判定された場合には(ST31、YES)、出力制御部35Aは、指向性が指向方向(θMAh,θMAv)に形成されていない状態で、全方位マイクアレイ装置2により収音された音声の出力を制御する(ST32’)。更に、出力制御部35Aは、プライバシー保護信号発信機7又はカメラ装置11Aから送信されたプライバシー保護信号PRS1又はPRS2が受信された旨を、ユーザに対して明示的に通知する(ST32’)。出力制御部35Aは、プライバシー保護信号PRS1又はPRS2が受信された旨のメッセージをディスプレイ装置36に表示又は点滅させ、又は、スピーカ装置37から所定のアラーム音を音声出力させる(ST32’)。
また、ステップST32’の後、出力制御部35Aは、リアルタイムに収音されている音声の音声データに対応付けられているプライバシー保護信号フラグが0に設定されているか否かを判定する(ST33)。即ち、出力制御部35Aは、ステップST33では、全方位マイクアレイ装置2が音声をリアルタイムに収音している場合に、プライバシー保護解除信号が受信されたか否か、又はプライバシー保護信号PRS1若しくはPRS2が受信されてから所定時間が経過したか否かを判定する。
出力制御部35Aは、プライバシー保護信号フラグが0に設定されていると判定した場合には(ST33、YES)、ステップST32’の処理を終了し(ST34’)、その後、全方位マイクアレイ装置2により収音された音声の音声データを用いて、指向性を指向方向(θMAh,θMAv)に形成し(ST13)、指向性が形成された音声をスピーカ装置37からそのまま音声出力させる(ST16)。以上により、図20に示す指向性制御システム10Aにおける動作の説明は終了する。
図21は、第2の実施形態の指向性制御システムが記録された音声ファイルの音声データを再生する場合においてプライバシー保護信号の受信の有無に応じて音声の出力制御を切り替える動作手順の他の一例を説明するフローチャートである。図21に示すフローチャートの説明では、図19に示すフローチャートの説明と異なる内容について説明し、同様の内容の説明は省略又は簡略化する。
図21に示すフローチャートと図19に示すフローチャートとの主な違いは、ステップST11〜ステップST13の各処理の実行タイミングである。即ち図21では、ステップST11〜ステップST13における各処理は、ステップST44において、音声ファイルの音声データの録音時刻がプライバシー保護時間PRT内に含まれないと判定された場合に行われる。
一方、出力制御部35Aは、音声ファイルの音声データに対して、プライバシー保護開始時刻及びプライバシー保護終了時刻のデータが対応付けられていると判定した場合には(ST42、YES)、ステップST45’の処理を優先的に実行する(ST45’)。ステップST45’の処理内容については後述する。
一方、出力制御部35Aは、音声ファイルの音声データに対して、プライバシー保護開始時刻及びプライバシー保護終了時刻のデータが対応付けられていないと判定された場合には(ST42、NO)、第1の実施形態と同様に、音声ファイルの音声データの録音時刻が所定のプライバシー保護時間PRT内に含まれていたか否かを判定する(ST44)。出力制御部35Aは、音声ファイルの音声の録音時刻が所定のプライバシー保護時間PRT内に含まれていたと判定した場合には(ST44、YES)、ステップST45’の処理を実行する。出力制御部35Aは、音声ファイルの音声の録音時刻が所定のプライバシー保護時間PRT内に含まれていないと判定した場合には(ST44、NO)、ディスプレイ装置36に表示されている映像データの中から任意の指定位置A’の指定を、操作部32を介して受け付ける(ST11)。ステップST11〜ステップST13の各処理の内容の説明は割愛する。
出力制御部35Aは、ステップST45’では、指向性が指向方向(θMAh,θMAv)に形成されていない状態で、全方位マイクアレイ装置2により収音された音声の出力を制御し、更に、プライバシー保護信号PRS1若しくはPRS2が受信された旨、又は録音時刻がプライバシー保護時間PRT内に含まれる旨を、ユーザに対して明示的に通知する(ST45’)。出力制御部35Aは、例えばプライバシー保護信号PRS1若しくはプライバシー保護信号PRS2が受信された旨のメッセージをディスプレイ装置36に表示又は点滅させ、又は、スピーカ装置37から所定のアラーム音を音声出力させる(ST45’)。
また、ステップST45’の後、出力制御部35Aは、録音時刻がプライバシー保護時間PRT外又はプライバシー保護終了時刻以降となったか否かを判定する(ST46)。即ち、出力制御部35Aは、ステップST46では、音声ファイルの再生中に、所定のプライバシー保護時間PRTが終わったか、プライバシー保護解除信号が受信されたか、又はプライバシー保護信号PRS1若しくはPRS2が受信されてから所定時間が経過したか否かを判定する。
出力制御部35Aは、録音時刻がプライバシー保護時間PRT外又はプライバシー保護終了時刻以降となったと判定した場合には(ST46、YES)、ステップST45’の処理を終了し(ST47’)、その後、ステップST11以降の処理を実行する。一方、録音時刻がプライバシー保護時間PRT外及びプライバシー保護終了時刻以降ではないと判定された場合には(ST46、NO)、ステップST45’の処理が継続する。以上により、図21に示す指向性制御システム10Aの動作の説明は終了する。
図22は、第2の実施形態の指向性制御システムが音声をリアルタイムに収音している間においてプライバシー保護信号の受信の有無に応じて音声の収音処理の継続又は休止を切り替える動作手順を説明するフローチャートである。図22に示すフローチャートの説明では、図18に示すフローチャートの説明と異なる内容について説明し、同様の内容の説明は省略又は簡略化する。
図22に示すフローチャートと図18に示すフローチャートとの主な違いは、ステップST11〜ステップST13の各処理の実行タイミングである。即ち図22では、ステップST11〜ステップST13における各処理は、ステップST31において、プライバシー保護信号フラグが1に設定されていないと判定された場合に行われる。
一方、出力制御部35Aは、プライバシー保護信号フラグが1に設定されていると判定した場合に(ST31、YES)、全方位マイクアレイ装置2における音声の収音を一時的に休止させる(ST32”)。更に、出力制御部35Aは、プライバシー保護信号発信機7又はカメラ装置11Aから送信されたプライバシー保護信号PRS1又はPRS2が受信された旨を、ユーザに対して明示的に通知する(ST32”)。出力制御部35Aは、プライバシー保護信号PRS1又はPRS2が受信された旨のメッセージをディスプレイ装置36に表示又は点滅させ、又は、スピーカ装置37から所定のアラーム音を音声出力させる(ST32”)。
また、ステップST32”の後、出力制御部35Aは、リアルタイムに収音されている音声の音声データに対応付けられているプライバシー保護信号フラグが0に設定されているか否かを判定する(ST33)。即ち、出力制御部35Aは、ステップST33では、全方位マイクアレイ装置2が音声をリアルタイムに収音している場合に、プライバシー保護解除信号が受信されたか否か、又はプライバシー保護信号PRS1若しくはPRS2が受信されてから所定時間が経過したか否かを判定する。
出力制御部35Aは、プライバシー保護信号フラグが0に設定されていると判定した場合には(ST33、YES)、ステップST32”の処理を終了して全方位マイクアレイ装置2における音声の収音を再開させる(ST34”)。その後、出力制御部35Aは、ディスプレイ装置36に表示されている映像データの中から任意の指定位置A’の指定を、操作部32を介して受け付ける(ST11)。ステップST11〜ステップST13の各処理の内容の説明は割愛する。なお、ステップST13の後、図18に示すステップST14、ステップST14’及びステップST14”のうちいずれかが満たされるか否かの判定処理が行われ、いずれかが満たされた場合には、ステップST32”の処理が実行される。以上により、図22に示す指向性制御システム10Aにおける動作の説明は終了する。
図23は、第2の実施形態の指向性制御システムが記録された音声ファイルの音声データを再生する場合においてプライバシー保護信号の受信の有無に応じて音声の収音処理の継続又は休止を切り替える動作手順を説明するフローチャートである。図23に示すフローチャートの説明では、図19に示すフローチャートの説明と異なる内容について説明し、同様の内容の説明は省略又は簡略化する。
図23に示すフローチャートと図19に示すフローチャートとの主な違いは、ステップST11〜ステップST13の各処理の実行タイミングである。即ち図23では、ステップST11〜ステップST13における各処理は、ステップST44において、録音時刻がプライバシー保護時間PRT内に含まれないと判定された場合に行われる。
一方、出力制御部35Aは、録音時刻がプライバシー保護時間PRT内に含まれると判定した場合(ST44、YES)、又は音声ファイルの音声データに対して、プライバシー保護開始時刻及びプライバシー保護終了時刻のデータが対応付けられていると判定した場合には(S42、YES)、全方位マイクアレイ装置2における音声の収音を一時的に休止させる(ST45”)。更に、出力制御部35Aは、プライバシー保護信号PRS1若しくはPRS2が受信された旨、又は録音時刻がプライバシー保護時間PRT内に含まれる旨を、ユーザに対して明示的に通知する(ST45”)。出力制御部35Aは、例えばプライバシー保護信号PRS1若しくはPRS2が受信された旨のメッセージをディスプレイ装置36に表示又は点滅させ、又は、スピーカ装置37から所定のアラーム音を音声出力させる(ST45”)。
また、ステップST45”の後、出力制御部35Aは、録音時刻がプライバシー保護時間PRT外又はプライバシー保護終了時刻以降となったか否かを判定する(ST46)。即ち、出力制御部35Aは、ステップST46では、音声ファイルの再生中に、所定のプライバシー保護時間PRTが終わったか、プライバシー保護解除信号が受信されたか、又はプライバシー保護信号PRS1若しくはPRS2が受信されてから所定時間が経過したか否かを判定する。
出力制御部35Aは、録音時刻がプライバシー保護時間PRT外又はプライバシー保護終了時刻以降となったと判定した場合には(ST46、YES)、ステップST45”の処理を終了し(ST47”)、その後、ディスプレイ装置36に表示されている映像データの中から任意の指定位置A’の指定を、操作部32を介して受け付ける(ST11)。ステップST11〜ステップST13の各処理の内容の説明は割愛する。出力制御部35Aは、ステップST13の後、指向性が指向方向(θMAh,θMAv)に形成された音声をスピーカ装置37からそのまま音声出力させる(ST16)。一方、録音時刻がプライバシー保護時間PRT外又はプライバシー保護終了時刻以降ではないと判定された場合には(ST46、NO)、ステップST45”の処理が継続する。以上により、図23に示す指向性制御システム10Aの動作の説明は終了する。
以上により、本実施形態の指向性制御システム10Aでは、指向性制御装置3Aの外部信号受信部39は、外部機器であるプライバシー保護信号発信機7から送信されたプライバシー保護信号PRS1を受信する。指向性制御装置3Aの出力制御部35Aは、プライバシー保護信号発信機7から送信されたプライバシー保護信号PRS1が受信されると、音声位置Aがプライバシー保護領域PRA内に含まれるか否かの判定結果、又は収音時刻若しくは録音時刻がプライバシー保護時間PRT内に含まれるか否かの判定結果よりも優先して、全方位マイクアレイ装置2により収音された音声、若しくは全方位マイクアレイ装置2により収音されて指向性が形成された音声の出力を制御し、あるいは全方位マイクアレイ装置2における音声の収音を一時的に休止させる。
これにより、指向性制御システム10Aでは、指向性制御装置3Aは、例えばカメラ装置11Aの被写体である人物の操作によってプライバシー保護信号発信機7から送信されたプライバシー保護信号PRS1が受信されると、例えば被写体である人物がいる位置がプライバシー保護領域PRA内に予め設定されていない場合又は収音時刻若しくは録音時刻がプライバシー保護時間PRT内に含まれていない場合でも、プライバシー保護領域PRAに含まれている場合又は収音時刻若しくは録音時刻がプライバシー保護時間PRT内に含まれていない場合と同様に、全方位マイクアレイ装置2により収音された音声、若しくは全方位マイクアレイ装置2により収音されて指向性が形成された音声の出力を制御し、あるいは全方位マイクアレイ装置2における音声の収音を休止させることができ、例えば関係者以外の第三者への情報の漏えいを回避することができる。
また、指向性制御装置3Aの外部信号受信部39は、プライバシー保護信号発信機7から送信された、プライバシー保護信号の内容を解除するためのプライバシー保護解除信号を受信する。指向性制御装置3Aの出力制御部35Aは、プライバシー保護解除信号が受信された場合、又はプライバシー保護信号の受信から所定期間が経過した場合には、全方位マイクアレイ装置2により収音された音声、若しくは全方位マイクアレイ装置2により収音されて指向性が形成された音声の出力制御を終了し、あるいは全方位マイクアレイ装置2における音声の収音を再開させる。
これにより、指向性制御システム10Aでは、指向性制御装置3Aは、例えばユーザのプライバシー保護信号発信機7を用いた操作によってプライバシー保護信号発信機7から送信されたプライバシー保護解除信号が受信された場合、又はプライバシー保護信号の受信から所定期間が経過した場合に、例えば秘匿性の高い情報を用いた会話が終了した後の雑談内容など、関係者以外の第三者に聞かれても良い会話内容の音声については出力することができる。
以下、上述した本発明に係る指向性制御システム及び音声出力制御方法の構成、作用及び効果を説明する。
本発明の一実施形態は、映像を撮像する少なくとも1つの撮像部と、音声を収音する収音部と、前記少なくとも1つの撮像部により撮像された映像データを表示する表示部と、表示された前記映像データの任意の位置指定に応じて、前記収音部から、指定された前記映像データの指定位置に対応する音声位置に向かう指向方向を算出する指向方向算出部と、算出された前記指向方向に、前記収音部により収音された音声に指向性を形成する制御部と、を備え、前記制御部は、前記音声位置が予め設定された保護領域に含まれると判定した場合に、前記収音部により収音された音声、若しくは前記収音部により収音されて前記指向性が形成された音声の出力を制御し、あるいは前記収音部における音声の収音を休止させる、指向性制御システムである。
上述した構成では、指向性制御装置3の指向方向算出部34は、ディスプレイ装置36に表示された映像データのユーザによる任意の指定位置A’の指定に応じて、全方位マイクアレイ装置2から、指定位置A’に対応する音声位置Aに向かう指向方向を算出する。指向性制御装置3の出力制御部35は、算出された指向方向に、全方位マイクアレイ装置2により収音された音声の指向性を形成する。また、出力制御部35は、音声位置Aが予め設定されたプライバシー保護領域PRAに含まれると判定した場合に、全方位マイクアレイ装置2により収音された音声、若しくは全方位マイクアレイ装置2により収音されて指向性が形成された音声の出力を制御し、あるいは全方位マイクアレイ装置2における音声の収音を休止させる。
これにより、指向性制御システム10では、指向性制御装置3は、全方位マイクアレイ装置2から音声位置Aに向かう指向方向に指向性を形成することができ、更に、例えばユーザの入力操作によって指定された音声位置Aが所定のプライバシー保護領域PRAである場合に、全方位マイクアレイ装置2により収音された音声、若しくは全方位マイクアレイ装置2により収音されて指向性が形成された音声の出力を制御(例えば抑制処理又はボイスチェンジ処理)し、あるいは全方位マイクアレイ装置2における音声の収音を休止させることができる。
従って、指向性制御装置3は、カメラ装置11が撮像している被写体の映像データにおいて、例えば被写体である人物が秘匿性の高い情報を用いて会話している場合に、その人物が会話している空間的な位置(音声位置A)が全方位マイクアレイ装置2から見てプライバシー保護領域に含まれると判定された場合に、秘匿性の高い情報を用いた会話の音声の出力の抑制若しくは音声のボイスチェンジを実行でき、あるいは音声の収音を休止でき、例えば関係者以外の第三者への情報の漏えいを回避若しくは誰が会話していたかの特定を困難化することができ、あるいは何かしらの証拠となり得る会話自体の記録を回避することができる。
本発明の一実施形態は、映像を撮像する少なくとも1つの撮像部と、音声を収音する収音部と、前記収音部により収音された音声を録音する記録部と、前記少なくとも1つの撮像部により撮像された映像データを表示する表示部と、表示された前記映像データの任意の位置指定に応じて、前記収音部から、指定された前記映像データの指定位置に対応する音声位置に向かう指向方向を算出する指向方向算出部と、算出された前記指向方向に、前記収音部により収音された音声に指向性を形成する制御部と、を備え、前記制御部は、前記収音部における収音時刻又は前記記録部における録音時刻が予め設定された保護時間に含まれると判定した場合に、前記収音部により収音された音声、若しくは前記収音部により収音されて前記指向性が形成された音声の出力を制御し、あるいは前記収音部における音声の収音を休止させる、指向性制御システムである。
上述した構成では、指向性制御装置3の指向方向算出部34は、ディスプレイ装置36に表示された映像データのユーザによる任意の指定位置A’の指定に応じて、全方位マイクアレイ装置2から、指定位置A’に対応する音声位置Aに向かう指向方向を算出する。指向性制御装置3の出力制御部35は、算出された指向方向に、全方位マイクアレイ装置2により収音された音声の指向性を形成する。また、出力制御部35は、全方位マイクアレイ装置2における収音時刻又はレコーダ装置4における録音時刻が予め設定されたプライバシー保護時間PRTに含まれると判定した場合に、全方位マイクアレイ装置2により収音された音声、若しくは全方位マイクアレイ装置2により収音されて指向性が形成された音声の出力を制御し、あるいは全方位マイクアレイ装置2における音声の収音を休止させる。
これにより、指向性制御システム10では、指向性制御装置3は、全方位マイクアレイ装置2から指定された音声位置Aに向かう指向方向に指向性を形成することができ、更に、例えばユーザの入力操作によって開始された全方位マイクアレイ装置2における収音時刻又はレコーダ装置4における録音時刻が所定のプライバシー保護時間PRT内である場合に、全方位マイクアレイ装置2により収音された音声、若しくは全方位マイクアレイ装置2により収音されて指向性が形成された音声の出力を制御(例えば抑制処理又はボイスチェンジ処理)し、あるいは全方位マイクアレイ装置2における音声の収音を休止させることができる。
従って、指向性制御装置3は、カメラ装置11が撮像している被写体の映像データにおいて、例えば被写体である人物が秘匿性の高い情報を用いて会話している場合に、その人物が会話している音声の収音時刻又は録音時刻がプライバシー保護時間PRT内に含まれると判定された場合に、秘匿性の高い情報を用いた会話の音声の出力の抑制若しくは音声のボイスチェンジを実行でき、あるいは音声の収音を休止でき、例えば関係者以外の第三者への情報の漏えいを回避若しくは誰が会話していたかの特定を困難化することができ、あるいは何かしらの証拠となり得る会話自体の記録を回避することができる。
また、本発明の一実施形態は、前記制御部は、指定された前記映像データの指定位置に対応する音声位置が前記保護領域に含まれる旨を通知する、指向性制御システムである。
上述した構成では、指向性制御装置3の出力制御部35は、例えばユーザの入力操作に応じて指定された指定位置A’に対応する音声位置Aがプライバシー保護領域PRAに含まれる旨をユーザに通知するので、音声位置Aがプライバシー保護領域PRAに含まれることをユーザに対して明示的に認知させることができる。
また、本発明の一実施形態は、前記制御部は、前記収音部における収音時刻又は前記記録部における録音時刻が前記保護時間に含まれる旨を通知する、指向性制御システムである。
上述した構成では、指向性制御装置3の出力制御部35は、例えばユーザの入力操作に応じて開始された全方位マイクアレイ装置2における収音時刻又はレコーダ装置4における録音時刻がプライバシー保護時間PRT内に含まれる旨をユーザに通知するので、会話音声の収音時刻又は録音時刻がプライバシー保護時間PRT内に含まれることをユーザに対して明示的に認知させることができる。
また、本発明の一実施形態は、外部機器から送信された所定の第1保護信号を受信する外部信号受信部、を更に備え、前記制御部は、前記第1保護信号が受信された場合に、前記音声位置が前記保護領域に含まれるか否かの判定結果より優先して、前記収音部により収音された音声、若しくは前記収音部により収音されて前記指向性が形成された音声の出力を制御し、あるいは前記収音部における音声の収音を休止させる、指向性制御システムである。
上述した構成では、指向性制御装置3Aの外部信号受信部39は、外部機器であるプライバシー保護信号発信機7から送信されたプライバシー保護信号PRS1を受信する。指向性制御装置3Aの出力制御部35Aは、プライバシー保護信号発信機7から送信されたプライバシー保護信号PRS1が受信されると、音声位置がプライバシー保護領域PRAに含まれるか否かの判定結果より優先して、全方位マイクアレイ装置2により収音された音声、若しくは全方位マイクアレイ装置2により収音されて指向性が形成された音声の出力を制御し、あるいは全方位マイクアレイ装置2における音声の収音を休止させる。
これにより、指向性制御システム10Aでは、指向性制御装置3Aは、例えばカメラ装置11Aの被写体である人物の操作によってプライバシー保護信号発信機7から送信されたプライバシー保護信号PRS1が受信されると、例えば被写体である人物がいる位置(音声位置)がプライバシー保護領域PRAに予め設定されていない場合でも、プライバシー保護領域PRAに含まれている場合と同様に、全方位マイクアレイ装置2により収音された音声、若しくは全方位マイクアレイ装置2により収音されて指向性が形成された音声の出力を制御(例えば抑制処理又はボイスチェンジ処理)し、あるいは全方位マイクアレイ装置2における音声の収音を休止させることができ、例えば関係者以外の第三者への情報の漏えいを回避することができる。
また、本発明の一実施形態は、外部機器から送信された所定の第1保護信号を受信する外部信号受信部、を更に備え、前記制御部は、前記第1保護信号が受信された場合に、前記収音部における収音時刻又は前記記録部における録音時刻が前記保護時間に含まれるか否かの判定結果より優先して、前記収音部により収音された音声、若しくは前記収音部により収音されて前記指向性が形成された音声の出力を制御し、あるいは前記収音部における音声の収音を休止させる、指向性制御システムである。
上述した構成では、指向性制御装置3Aの外部信号受信部39は、外部機器であるプライバシー保護信号発信機7から送信されたプライバシー保護信号PRS1を受信する。指向性制御装置3Aの出力制御部35Aは、プライバシー保護信号発信機7から送信されたプライバシー保護信号PRS1が受信されると、収音時刻又は録音時刻がプライバシー保護時間PRT内に含まれるか否かの判定結果より優先して、全方位マイクアレイ装置2により収音された音声、若しくは全方位マイクアレイ装置2により収音されて指向性が形成された音声の出力を制御し、あるいは全方位マイクアレイ装置2における音声の収音を休止させる。
これにより、指向性制御システム10Aでは、指向性制御装置3Aは、例えばカメラ装置11Aの被写体である人物の操作によってプライバシー保護信号発信機7から送信されたプライバシー保護信号PRS1が受信されると、例えば被写体である人物の会話音声の収音時刻又は録音時刻がプライバシー保護時間PRTに予め設定されていない場合でも、プライバシー保護時間PRT内に含まれている場合と同様に、全方位マイクアレイ装置2により収音された音声、若しくは全方位マイクアレイ装置2により収音されて指向性が形成された音声の出力を制御(例えば抑制処理又はボイスチェンジ処理)し、あるいは全方位マイクアレイ装置2における音声の収音を休止させることができ、例えば関係者以外の第三者への情報の漏えいを回避することができる。
また、本発明の一実施形態は、前記制御部は、前記外部機器から前記第1保護信号が受信された旨を通知する、指向性制御システムである。
上述した構成では、指向性制御装置3の出力制御部35Aは、プライバシー保護信号発信機7から送信されたプライバシー保護信号が受信されたことをユーザに対して明示的に認知させることができる。
また、本発明の一実施形態は、前記制御部は、前記外部機器から送信された前記第1保護信号を解除する所定の第1プライバシー保護解除信号が受信された場合、又は前記第1保護信号の受信から第1所定時間が経過した場合に、前記収音部により収音された音声、若しくは前記収音部により収音されて前記指向性が形成された音声の出力制御を終了し、あるいは前記収音部における音声の収音を再開させる、指向性制御システムである。
上述した構成では、指向性制御装置3Aの外部信号受信部39は、プライバシー保護信号発信機7から送信された、プライバシー保護信号の内容を解除するためのプライバシー保護解除信号を受信する。指向性制御装置3Aの出力制御部35Aは、プライバシー保護解除信号が受信された場合、又はプライバシー保護信号の受信から第1所定期間が経過した場合には、全方位マイクアレイ装置2により収音された音声、若しくは全方位マイクアレイ装置2により収音されて指向性が形成された音声の出力抑制を終了し、あるいは全方位マイクアレイ装置2における音声の収音を再開させる。
これにより、指向性制御システム10Aでは、指向性制御装置3Aは、例えばユーザのプライバシー保護信号発信機7を用いた操作によってプライバシー保護信号発信機7から送信されたプライバシー保護解除信号が受信された場合、又はプライバシー保護信号の受信から第1所定期間が経過した場合に、例えば秘匿性の高い情報を用いた会話が終了した後の雑談内容など、関係者以外の第三者に聞かれても良い会話内容の音声については出力することができる。
また、本発明の一実施形態は、前記少なくとも1つの撮像部から送信された所定の第2保護信号を受信する通信部31Aを、更に備え、前記制御部は、前記第2保護信号が受信された場合に、前記音声位置が前記保護領域に含まれるか否かの判定結果より優先して、前記収音部により収音された音声、若しくは前記収音部により収音されて前記指向性が形成された音声の出力を制御し、あるいは前記収音部における音声の収音を休止させる、指向性制御システムである。
上述した構成では、指向性制御装置3Aの通信部31Aは、例えばユーザのリモコンRMの操作によってカメラ装置11から送信されたプライバシー保護信号PRS2を受信する。指向性制御装置3Aの出力制御部35Aは、カメラ装置11から送信されたプライバシー保護信号PRS2が受信されると、指定された指定位置A’に対応する音声位置がプライバシー保護領域に含まれるか否かの判定結果より優先して、全方位マイクアレイ装置2により収音された音声、若しくは全方位マイクアレイ装置2により収音されて指向性が形成された音声の出力を制御し、あるいは全方位マイクアレイ装置2における音声の収音を休止させる。
これにより、指向性制御システム10Aでは、指向性制御装置3Aは、例えばカメラ装置11の被写体である人物のリモコン操作によってカメラ装置11から送信されたプライバシー保護信号PRS1が受信されると、例えば被写体である人物がいる位置(音声位置)がプライバシー保護領域PRAに予め設定されていない場合でも、プライバシー保護領域PRAに含まれている場合と同様に、全方位マイクアレイ装置2により収音された音声、若しくは全方位マイクアレイ装置2により収音されて指向性が形成された音声の出力を制御(例えば抑制処理又はボイスチェンジ処理)し、あるいは全方位マイクアレイ装置2における音声の収音を休止させることができ、例えば関係者以外の第三者への情報の漏えいを回避することができる。
また、本発明の一実施形態は、前記少なくとも1つの撮像部から送信された所定の第2保護信号を受信する通信部、を更に備え、前記制御部は、前記第2保護信号が受信された場合に、前記収音部における収音時刻又は前記記録部における録音時刻が前記保護時間に含まれるか否かの判定結果より優先して、前記収音部により収音された音声、若しくは前記収音部により収音されて前記指向性が形成された音声の出力を制御し、あるいは前記収音部における音声の収音を休止させる、指向性制御システムである。
上述した構成では、指向性制御装置3Aの通信部31Aは、例えばユーザのリモコンRMの操作によってカメラ装置11から送信されたプライバシー保護信号PRS2を受信する。指向性制御装置3Aの出力制御部35Aは、カメラ装置11から送信されたプライバシー保護信号PRS2が受信されると、収音時刻又は録音時刻がプライバシー保護時間PRT内に含まれるか否かの判定結果より優先して、全方位マイクアレイ装置2により収音された音声、若しくは全方位マイクアレイ装置2により収音されて指向性が形成された音声の出力を制御し、あるいは全方位マイクアレイ装置2における音声の収音を休止させる。
これにより、指向性制御システム10Aでは、指向性制御装置3Aは、例えばカメラ装置11Aの被写体である人物のリモコン操作によってカメラ装置11から送信されたプライバシー保護信号PRS2が受信されると、例えば被写体である人物の会話音声の収音時刻又は録音時刻がプライバシー保護時間PRTに予め設定されていない場合でも、プライバシー保護時間PRT内に含まれている場合と同様に、全方位マイクアレイ装置2により収音された音声、若しくは全方位マイクアレイ装置2により収音されて指向性が形成された音声の出力を制御(例えば抑制処理又はボイスチェンジ処理)し、あるいは全方位マイクアレイ装置2における音声の収音を休止させることができ、例えば関係者以外の第三者への情報の漏えいを回避することができる。
また、本発明の一実施形態は、前記制御部は、前記少なくとも1つの撮像部から前記第2保護信号が受信された旨を通知する、指向性制御システムである。
上述した構成では、指向性制御装置3の出力制御部35Aは、カメラ装置11から送信されたプライバシー保護信号が受信されたことをユーザに対して明示的に認知させることができる。
また、本発明の一実施形態は、前記制御部は、前記少なくとも1つの撮像部から送信された前記第2保護信号を解除する所定の第2プライバシー保護解除信号が受信された場合、又は前記第2保護信号の受信から第2所定時間が経過した場合に、前記収音部により収音された音声、若しくは前記収音部により収音されて前記指向性が形成された音声の出力制御を終了し、あるいは前記収音部における音声の収音を再開させる、指向性制御システムである。
上述した構成では、指向性制御装置3Aの通信部31Aは、カメラ装置11から送信された、プライバシー保護信号の内容を解除するためのプライバシー保護解除信号を受信する。指向性制御装置3Aの出力制御部35Aは、プライバシー保護解除信号が受信された場合、又はプライバシー保護信号の受信から第2所定期間が経過した場合には、全方位マイクアレイ装置2により収音された音声、若しくは全方位マイクアレイ装置2により収音されて指向性が形成された音声の出力抑制を終了し、あるいは全方位マイクアレイ装置2における音声の収音を再開させる。
これにより、指向性制御システム10では、指向性制御装置3Aは、例えばユーザのリモコンRMを用いた操作によってカメラ装置11から送信されたプライバシー保護解除信号が受信された場合、又はプライバシー保護信号の受信から第2所定期間が経過した場合に、例えば秘匿性の高い情報を用いた会話が終了した後の雑談内容など、関係者以外の第三者に聞かれても良い会話内容の音声については出力することができる。
また、本発明の一実施形態は、前記制御部は、前記収音部により収音された音声の音声データ、若しくは前記収音部により収音されて前記指向性が形成された音声の音声データをミュート処理、マスキング処理又はボイスチェンジ処理することで、前記収音部により収音された音声、若しくは前記収音部により収音されて前記指向性が形成された音声の出力を制御する、指向性制御システムである。
上述した構成では、指向性制御装置3の出力制御部35Aは、全方位マイクアレイ装置2により収音された音声をミュート処理、マスキング処理又はボイスチェンジ処理することによって、全方位マイクアレイ装置2により収音された音声、若しくは指向性が形成された音声の出力を抑制し、あるいは全方位マイクアレイ装置2により収音された音声、若しくは指向性が形成された音声が誰の声であるかの特定を困難化することができる。
また、本発明の一実施形態は、前記制御部は、指定された前記映像データの指定位置に対応する音声位置が前記保護領域に含まれる旨を、前記表示部に表示若しくは点滅させ、又は所定のアラーム音を出力することで通知する、指向性制御システムである。
上述した構成では、指向性制御装置3の出力制御部35は、例えばユーザの入力操作により指定された映像データの指定位置A’に対応する音声位置Aがプライバシー保護領域PRAに含まれる旨を、ディスプレイ装置36に表示若しくは点滅させたり、所定のアラーム音を出力したりすることで、ユーザに明示的に認知させることができる。
また、本発明の一実施形態は、前記制御部は、前記収音部における収音時刻又は前記記録部における録音時刻が前記保護時間に含まれる旨を、前記表示部に表示若しくは点滅させ、又は所定のアラーム音を出力することで通知する、指向性制御システムである。
上述した構成では、指向性制御装置3の出力制御部35は、例えばユーザの入力操作により開始された全方位マイクアレイ装置2における収音時刻又はレコーダ装置4における録音時刻がプライバシー保護時間PRT内に含まれる旨を、ディスプレイ装置36に表示若しくは点滅させたり、所定のアラーム音を出力したりすることで、ユーザに明示的に認知させることができる。
また、本発明の一実施形態は、映像を撮像する少なくとも1つの撮像部と、音声を収音する収音部とを含む指向性制御システムにおける音声出力制御方法であって、前記少なくとも1つの撮像部により撮像された映像データを表示するステップと、表示された前記映像データの任意の位置指定に応じて、前記収音部から、指定された前記映像データの指定位置に対応する音声位置に向かう指向方向を算出するステップと、算出された前記指向方向に、前記収音部により収音された音声に指向性を形成するステップと、前記音声位置が予め設定された保護領域に含まれるか否かを判定するステップと、前記音声位置が前記保護領域に含まれると判定された場合に、前記収音部により収音された音声、若しくは前記収音部により収音されて前記指向性が形成された音声の出力を制御し、あるいは前記収音部における音声の収音を休止させるステップと、を有する、音声出力制御方法である。
上述した方法では、指向性制御装置3の指向方向算出部34は、ディスプレイ装置36に表示された映像データのユーザによる任意の指定位置A’の指定に応じて、全方位マイクアレイ装置2から、指定位置A’に対応する音声位置Aに向かう指向方向を算出する。指向性制御装置3の出力制御部35は、算出された指向方向に、全方位マイクアレイ装置2により収音された音声の指向性を形成する。また、出力制御部35は、音声位置Aが予め設定されたプライバシー保護領域PRAに含まれると判定した場合に、全方位マイクアレイ装置2により収音された音声、若しくは全方位マイクアレイ装置2により収音されて指向性が形成された音声の出力を制御し、あるいは全方位マイクアレイ装置2における音声の収音を休止させる。
これにより、指向性制御システム10では、指向性制御装置3は、全方位マイクアレイ装置2から指定された音声位置Aに向かう指向方向に指向性を形成することができ、更に、例えばユーザの入力操作によって指定された音声位置Aが所定のプライバシー保護領域PRAである場合に、全方位マイクアレイ装置2により収音された音声、若しくは全方位マイクアレイ装置2により収音されて指向性が形成された音声の出力を制御(例えば抑制処理又はボイスチェンジ処理)し、あるいは全方位マイクアレイ装置2における音声の収音を休止させることができる。
従って、指向性制御装置3は、カメラ装置11が撮像している被写体の映像データにおいて、例えば被写体である人物が秘匿性の高い情報を用いて会話している場合に、その人物が会話している空間的な位置(音声位置A)が全方位マイクアレイ装置2から見てプライバシー保護領域に含まれると判定された場合に、秘匿性の高い情報を用いた会話の音声の出力の抑制若しくは音声のボイスチェンジを実行でき、あるいは音声の収音を休止でき、例えば関係者以外の第三者への情報の漏えいを回避若しくは誰が会話していたかの特定を困難化することができ、あるいは何かしらの証拠となり得る会話自体の記録を回避することができる。
また、本発明の一実施形態は、映像を撮像する少なくとも1つの撮像部と、音声を収音する収音部と、前記収音部により収音された音声を録音する記録部とを含む指向性制御システムにおける音声出力制御方法であって、前記少なくとも1つの撮像部により撮像された映像データを表示するステップと、表示された前記映像データの任意の位置指定に応じて、前記収音部から、指定された前記映像データの指定位置に対応する音声位置に向かう指向方向を算出するステップと、算出された前記指向方向に、前記収音部により収音された音声に指向性を形成するステップと、前記収音部における収音時刻又は前記記録部における録音時刻が予め設定された保護時間に含まれるか否かを判定するステップと、前記収音時刻又は前記録音時刻が前記保護時間に含まれると判定された場合に、前記収音部により収音された音声、若しくは前記収音部により収音されて前記指向性が形成された音声の出力を制御し、あるいは前記収音部における音声の収音を休止させるステップと、を有する、音声出力制御方法である。
上述した方法では、指向性制御装置3の指向方向算出部34は、ディスプレイ装置36に表示された映像データのユーザによる任意の指定位置A’の指定に応じて、全方位マイクアレイ装置2から、指定位置A’に対応する音声位置Aに向かう指向方向を算出する。指向性制御装置3の出力制御部35は、算出された指向方向に、全方位マイクアレイ装置2により収音された音声の指向性を形成する。また、出力制御部35は、全方位マイクアレイ装置2における収音時刻又はレコーダ装置4における録音時刻が予め設定されたプライバシー保護時間PRTに含まれると判定した場合に、全方位マイクアレイ装置2により収音された音声、若しくは全方位マイクアレイ装置2により収音されて指向性が形成された音声の出力を制御し、あるいは全方位マイクアレイ装置2における音声の収音を休止させる。
これにより、指向性制御システム10では、指向性制御装置3は、全方位マイクアレイ装置2から指定された音声位置Aに向かう指向方向に指向性を形成することができ、更に、例えばユーザの入力操作によって開始された全方位マイクアレイ装置2における収音時刻又はレコーダ装置4における録音時刻が所定のプライバシー保護時間PRT内である場合に、全方位マイクアレイ装置2により収音された音声、若しくは全方位マイクアレイ装置2により収音されて指向性が形成された音声の出力を制御(例えば抑制処理又はボイスチェンジ処理)し、あるいは全方位マイクアレイ装置2における音声の収音を休止させることができる。
従って、指向性制御装置3は、カメラ装置11が撮像している被写体の映像データにおいて、例えば被写体である人物が秘匿性の高い情報を用いて会話している場合に、その人物が会話している音声の収音時刻又は録音時刻がプライバシー保護時間PRT内に含まれると判定された場合に、秘匿性の高い情報を用いた会話の音声の出力の抑制若しくは音声のボイスチェンジを実行でき、あるいは音声の収音を休止でき、例えば関係者以外の第三者への情報の漏えいを回避若しくは誰が会話していたかの特定を困難化することができ、あるいは何かしらの証拠となり得る会話自体の記録を回避することができる。
以上、図面を参照しながら各種の実施形態について説明したが、本発明はかかる例に限定されないことは言うまでもない。当業者であれば、特許請求の範囲に記載された範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、それらについても当然に本発明の技術的範囲に属するものと了解される。