JP6758956B2 - 制御装置、制御方法およびプログラム - Google Patents
制御装置、制御方法およびプログラム Download PDFInfo
- Publication number
- JP6758956B2 JP6758956B2 JP2016130420A JP2016130420A JP6758956B2 JP 6758956 B2 JP6758956 B2 JP 6758956B2 JP 2016130420 A JP2016130420 A JP 2016130420A JP 2016130420 A JP2016130420 A JP 2016130420A JP 6758956 B2 JP6758956 B2 JP 6758956B2
- Authority
- JP
- Japan
- Prior art keywords
- sound
- sound collection
- range
- unit
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims description 33
- 230000008569 process Effects 0.000 claims description 11
- 230000035945 sensitivity Effects 0.000 claims description 6
- 238000012545 processing Methods 0.000 description 71
- 238000004458 analytical method Methods 0.000 description 17
- 230000008859 change Effects 0.000 description 10
- 230000036544 posture Effects 0.000 description 7
- 230000006870 function Effects 0.000 description 6
- 238000001514 detection method Methods 0.000 description 5
- 230000015572 biosynthetic process Effects 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 238000003384 imaging method Methods 0.000 description 3
- 238000012546 transfer Methods 0.000 description 3
- 239000003550 marker Substances 0.000 description 2
- 238000003491 array Methods 0.000 description 1
- 230000002238 attenuated effect Effects 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 238000011960 computer-aided design Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000007935 neutral effect Effects 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 229920006395 saturated elastomer Polymers 0.000 description 1
- 230000005236 sound signal Effects 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
- H04R29/00—Monitoring arrangements; Testing arrangements
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
- H04R29/00—Monitoring arrangements; Testing arrangements
- H04R29/008—Visual indication of individual signal levels
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T11/00—2D [Two Dimensional] image generation
- G06T11/001—Texturing; Colouring; Generation of texture or colour
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T11/00—2D [Two Dimensional] image generation
- G06T11/20—Drawing from basic elements, e.g. lines or circles
- G06T11/206—Drawing of charts or graphs
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T11/00—2D [Two Dimensional] image generation
- G06T11/60—Editing figures and text; Combining figures or text
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
- G10L21/06—Transformation of speech into a non-audible representation, e.g. speech visualisation or speech processing for tactile aids
- G10L21/10—Transforming into visible information
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
- H04R5/00—Stereophonic arrangements
- H04R5/027—Spatial or constructional arrangements of microphones, e.g. in dummy heads
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04S—STEREOPHONIC SYSTEMS
- H04S2400/00—Details of stereophonic systems covered by H04S but not provided for in its groups
- H04S2400/15—Aspects of sound capture and related signal processing for recording or reproduction
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Acoustics & Sound (AREA)
- Signal Processing (AREA)
- General Physics & Mathematics (AREA)
- Health & Medical Sciences (AREA)
- Otolaryngology (AREA)
- General Health & Medical Sciences (AREA)
- Data Mining & Analysis (AREA)
- Computational Linguistics (AREA)
- Quality & Reliability (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Human Computer Interaction (AREA)
- Multimedia (AREA)
- Circuit For Audible Band Transducer (AREA)
- Obtaining Desirable Characteristics In Audible-Bandwidth Transducers (AREA)
Description
特許文献1では、収音対象エリアの表示に指定範囲を表す表示を重畳し、ユーザの操作入力による指定範囲の変更に応じて、収音部の指向制御を行っている。
特許文献2では、撮影した映像信号の各分割領域に、対応するチャンネルの収音された音響信号のレベルをバー状のレベルメータで重畳表示している。
特許文献2の方法では、複数の収音された音響信号のレベルを把握することはできるが、収音部が形成する指向性による収音状態を把握することはできない。
本発明は上記課題を解決するために成されたものであり、収音対象エリアの音を収音する収音部の指向性による収音状態を容易に認識することができる制御装置、制御方法およびプログラムを提供することを課題とする。
図1は、本発明の実施形態に係る信号処理システム1の構成を示すブロック図である。信号処理システム1は、システム全体の制御を行う制御装置10、収音対象エリアに配置されたM個の収音部31〜3MおよびC個の撮影部41〜4Cを備えている。制御装置10と各収音部31〜3Mおよび各撮影部41〜4Cはネットワーク2で接続されている。
収音部31〜3Mは、指向性マイクもしくはマイクアレイで構成され、収音に係るI/Fを備え、収音している音響信号をネットワーク2を介して制御装置10に供給する。マイクアレイは例えば、複数のマイク素子が全方位に等方的に配置された球形マイクアレイで構成される。撮影部41〜4Cは、カメラで構成され、撮影に係るI/Fを備え、撮影している映像信号をネットワーク2を介して制御装置10に供給する。なお、収音部31〜3Mは、撮影部41〜4Cの少なくとも一つと位置および姿勢関係が明らかなように配置されているものとする。
例えば収音部31〜39は、指向性マイクで構成されている。また例えば収音部330、340および収音部351、352は、マイクアレイで構成されている。
制御装置10は、収音部31〜3Mから供給された音響信号と、撮影部41〜4Cから供給された映像信号とを記憶部11に遂次記録する。
また、記憶部11には、収音対象エリア(スタジアム)の3Dモデル、指向性マイクのビームパターン、指向性形成のフィルタ係数、各方向の音源とマイクアレイの各マイク素子間の伝達関数等のデータも格納されている。
図1の制御装置10の各機能ブロックはプログラムとして、後述するROM22等の記憶部に記憶され、CPU21によって実行される。なお、図1に示す機能ブロックの少なくとも一部をハードウェアにより実現してもよい。ハードウェアにより実現する場合、例えば、所定のコンパイラを用いることで、各ステップを実現するためのプログラムからFPGA上に自動的に専用回路を生成すればよい。FPGAとは、Field Programmable Gate Arrayの略である。また、FPGAと同様にしてGate Array回路を形成し、ハードウェアとして実現するようにしてもよい。また、ASIC(Application Specific Integrated Circuit)により実現するようにしてもよい。
CPU21は、入力された信号やプログラムに従って、各種の演算や制御装置10を構成する各部分の制御を行う。具体的には、CPU21は、収音対象エリアの音を収音する複数の収音部夫々の指向性による収音対象エリア上の収音範囲の検出、表示部14に表示させる表示画像の生成等を行う。前述した図1の機能ブロックは、CPU21によって実行される機能を図示したものである。
また、RAM23あるいは外部メモリ24の所定の領域は記憶部11として使われる。
入力部25は、各収音部31〜3Mから供給された音響信号をRAM23あるいは外部メモリ24の記憶部11として使われる領域に格納する。また、入力部25は、各よび各撮影部41〜4Cから供給された映像信号をRAM23あるいは外部メモリ24の記憶部11として使われる領域に格納する。出力部26は、CPU21が生成した表示画像を表示部14に表示させる。
以下、本実施形態における表示処理の詳細について、図4のフローチャートに沿って説明する。
S1では、幾何処理部13と信号解析処理部12が連携して、各撮影部41〜4Cの位置および姿勢を算出する。さらに、幾何処理部13と信号解析処理部12が連携して、何れかの撮影部と位置および姿勢の関係が明らかである各収音部31〜3Mの位置と姿勢を算出する。ここで、位置および姿勢はグローバル座標系で記述するものとする。例えばグラウンドエリア31の中心にグローバル座標系の原点を取り、グラウンドエリア31の各辺と平行になるようにx軸およびy軸を設定し、x軸およびy軸と垂直な上方向にz軸を設定する。これによりグラウンドエリア31は、z=0でx座標およびy座標の範囲が限定された、グラウンドエリア平面として記述される。
各撮影部の位置および姿勢は、カメラキャリブレーションと呼ばれる公知の手法により、例えばグラウンドエリアに広く配置したキャリブレーション用のマーカを複数の撮影部で撮影し、得られた複数の映像信号を用いて算出することができる。そして、各撮影部41〜4Cの位置および姿勢が分かれば、少なくとも何れかの撮影部と位置および姿勢関係が明らかである各収音部31〜3Mの位置および姿勢を算出することができる。
また、キャリブレーション用のマーカ、音源、GPS受信機等をグラウンドエリア31の例えば四隅にも配置しておくことで、このS1において、グローバル座標系におけるグラウンドエリア31四隅の位置を取得することができる。
ここで、収音対象エリアであるスタジアムの3Dモデルは、図2のグラウンドエリア31だけでなく、観客席エリア32〜39の情報も有しているものとする。このため、収音対象エリアとしてz=0上のグラウンドエリア平面だけでなく、グラウンドエリア平面に対して傾きを有する観客席エリア32〜39についても、観客席エリア平面としてグローバル座標系で記述することができる。
なお、S2おいては、必ずしも収音対象エリアの3Dモデルを用いなくてもよい。すなわち、S1でキャリブレーション用のマーカ、音源、GPS受信機等を観客席エリアにも配置できる場合には、収音対象エリアであるグラウンドエリア平面および観客席エリア平面の両方について、グローバル座標系における記述がS1で得られる。このため、S2の処理は不要になる。
S3では、表示処理部15が、S2でグローバル座標系に対応づけた収音対象エリア(スタジアム5)の3Dモデルをもとに、収音対象エリアを構成する図2のグラウンドエリア31および観客席エリア32〜39の模式的な表示6を図5のように生成する。ここで図5は、収音対象エリアであるスタジアム5の3Dモデルを真上から見た場合の、二次元的な表示となっている。
このS3では、表示処理部15は、まず、グラウンドエリア31と観客席エリア32〜39に対応するグランドエリアの表示31’と観客席エリアの表示32’〜39’を生成する。
S4では、表示処理部15が、S1で算出した各収音部31〜3Mの位置および姿勢が明確になるように表示を生成する。さらに、表示処理部15は、生成した表示をS3で生成した収音対象エリアの表示にさらに重畳表示させる。これにより、各収音部31〜3Mの位置および姿勢を示す表示が表示される。すなわち、表示処理部15は、収音対象エリアを示す表示31’〜39’に、収音部の指向性に応じた表示を重畳表示させる。
具体的には、収音部が指向性マイクで構成される場合は、表示処理部15は、例えば図5の収音部の表示311〜319のように、指向性マイクを模式的に表す長方形で表示する。すなわち、表示処理部15は、長方形で刻み線(図6の311a)がある方の短辺の中点(図6の311b)を収音部の位置に対応させ、刻み線がない方からある方へ向かう方向(図6の矢印Xの方向)を収音部の方向(指向性マイクの軸方向)に対応させる。もしくは、中点311bの代わりに、長方形の中心など任意の位置を収音部の位置に対応させてもよい。なお、指向性マイクの指向性が鋭いほど長方形の長辺を長くしたり、長方形ではなく台形として、その上底と下底の比で収音部の仰角を表現したりしてもよい。
なお、収音部を模式的に表す方法は上記に限らず、例えば二等辺三角形の頂点の位置を収音部の位置に、底辺の中点から頂点に向かう方向を収音部の方向に対応させるなど、位置と方向を表現可能な任意の図形、表現等を用いることができる。
S5では、信号解析処理部12が、現在の収音部ループが対象とする収音部について、現在の指向性ループが対象とする指向性のビームパターンを取得し、幾何処理部13が、このビームパターンに応じて収音範囲を算出する。この実施形態において、収音部の指向性による収音範囲とは、例えば収音部による収音を行う収音対象エリアの範囲とし、以下のように算出する。
収音部が指向性マイクで構成される場合は、信号解析処理部12は、記憶部11が保持している当該指向性マイクのビームパターンを取得する。ここで、ビームパターンの指向方向(指向性マイクの軸方向[図7の指向方向A])の収音レベルからの減衰量が所定値(例えば3dB)となる方向の集合を考えると、図7に示すように、これらの方向を母線方向(母線B)とする円錐を形成する。本実施形態では、これを指向性円錐と呼び、信号解析処理部12は、指向性円錐内の音が収音され、指向性円錐外の音が抑制されるとして扱う。すなわち、幾何処理部13は、収音部の向きを基準とした、収音部の指向性ビームパターンの収音感度の減衰量に基づいて、収音範囲の境界を決める。
また、図7に示すように、平面による円錐の断面は、円錐曲線と呼ばれる楕円D、放物線E、または双曲線Fとなる。例えば、図2の収音部316〜319のように観客席エリアを上方から収音しており、指向方向A(収音部の方向)と観客席エリア平面の成す角が比較的大きい場合は、図5の収音範囲の表示326〜329のように指向性円錐の断面が楕円となる。
ただし、指向性円錐の断面が双曲線や放物線となる場合は、幾何処理部13は、収音部からの距離が所定値(例えば自由空間で基準距離1mに対して収音感度が20dB減衰する距離である10m)となる点の集合により、収音範囲の境界の一部を定める。これにより、収音部からの距離による減衰量が所定値となる点を、収音範囲の境界に対応させることができる。
なお、上記の説明では、指向性のビームパターンによる減衰量が所定値となる指向性円錐と、距離による減衰量が所定値となる点の集合から、それぞれ別々に収音範囲の境界を定めたが、これら二つの減衰量を総合的に考えて収音範囲の境界を定めてもよい。すなわち、収音対象エリアの各点について、指向性のビームパターン(指向方向からのずれ)による減衰量と、収音部からの距離による減衰量との合計を算出し、合計減衰量が所定値(例えば20dB)となる点の集合から収音範囲の境界を定めてもよい。なお、収音部が無指向性の場合は収音範囲の境界が収音感度が所定値以上となる範囲を示す円となり、これは例えば半径10mの球の収音対象エリアの平面による断面に対応する。
なお、必ずしも三次元的なビームパターンや指向性円錐を考えなくてもよい。例えば、指向性の指向方向と収音対象エリアである観客席エリア平面が略同一平面上にあると仮定して、簡易的に収音範囲を算出してもよい。より具体的には、方位角のみの二次元的なビームパターンを考え、指向方向からの減衰量が所定値となる方向を半径方向とする、例えば収音部の位置を中心とする半径10mの円弧を収音範囲とするようにしてもよい。
上述した観客席エリア32〜39の収音については、収音部の指向性から収音範囲が定まった。これに対し、グラウンドエリア31の収音については、図5のようにグラウンドエリア31をタイル状に15個に分割した分割エリア(分割エリアの表示311〜3115に対応)が、個々の収音範囲としてあらかじめ定まっているものとする。そして、本実施形態では、このような収音範囲を実現する収音部351〜352の指向性が既に決定され、対応する指向性形成のフィルタ係数が使用されているものとする。すなわち、三次元的な指向性のグラウンドエリア平面による断面が、既定の収音範囲である分割エリア(表示311〜3115に対応)となるべく近くなるよう、収音部351、352が形成する各指向性の指向方向や鋭さがあらかじめ最適化されているものとする。
このように、収音対象エリアを示す表示を表示させ、また収音部をその位置と方向が明らかなように表示させ、さらに収音範囲を収音部との対応が明らかなように表示することで、収音対象エリアの各収音部の指向性による収音状態を容易に認識することができる。
また、図2の特に観客席エリア32〜39のような収音においては、収音部が形成する指向性の鋭さや観客席エリア平面との位置関係によって、収音範囲の大きさは様々に変わり得る。このため、観客の盛り上がりが同程度であっても、無指向性のような収音部で収音範囲が広い場合は指向性収音レベルが大きくなり、指向性を有する収音部で収音範囲が狭い場合は指向性収音レベルが小さくなる。
さらに、図2の特にグラウンドエリア31のような収音においては、マイクアレイで構成される収音部351〜352と、グラウンドエリアの各収音範囲(分割エリア)との距離がそれぞれ異なる。このため、仮に各分割エリアで同一の音が発生したとしても、収音部との距離が遠い収音範囲の指向性収音レベルほど小さくなるため、指向性収音レベルと音源のパワーとの対応が崩れる。
S8では、収音制御部17が、現在の収音部ループの対象である収音部について、デフォルトの収音ゲインからの調整量(例えば+AdB)を取得する。そして、信号解析処理部12が、この調整量を相殺するように、S7で算出した指向性収音レベルを(例えばA[dB]下げて)正規化する。これにより、デフォルトの収音ゲインからの調整があっても、音源のパワーとの対応が取れるような正規化収音レベルを算出することができる。
S10では、幾何処理部13が、S1で算出した収音部の位置と、S5で求めた収音範囲とから、収音部と収音範囲との間の距離を算出する。収音範囲を代表する位置は、収音範囲の中心としてもよいし、収音範囲の境界で収音部に最も近い位置などとしてもよい。
そして、信号解析処理部12が、S9で算出した正規化収音レベルに上記距離の二乗を掛けることでさらに正規化する。これにより、収音部と収音範囲との間の距離が様々であっても、音源のパワーとの対応が取れるような正規化収音レベルを算出する。なお、距離の二乗をかけることとしたのは、自由空間の逆二乗則による距離減衰分を相殺するためである。なお、反射のある空間では減衰は少ないと考えられるため、二乗より小さくしてもよい。
すなわち、表示処理部15は、図5の観客席エリアの収音範囲の表示321〜329、331〜333、341〜342や、グラウンドエリアの15の収音範囲(分割エリア)の表示のように、正規化収音レベルに応じて収音範囲の表示の塗り潰し色を変える。すなわち、正規化収音レベルに応じて収音範囲の表示に異なる色を着色する。なお、図5では塗り潰し色の違いをグレースケールで表示している。このように、広範な収音対象エリアの収音範囲(分割エリア)の正規化収音レベルを示す音圧マップのような表示を生成することで、各収音範囲に存在する音源の空間平均的なパワーを直感的に把握して、容易に認識することができる。図5では色の違いはグレースケールで示されているが、正規化収音レベルが大きい収音範囲に赤のような暖色、正規化収音レベルが小さい収音範囲に青のような寒色、また正規化収音レベルが中程度の収音範囲に黄緑のような中性色を用いるのが好適である。グレースケールの図5の表示においては、白に近い明度の高い収音範囲ほど正規化収音レベルが大きく、黒に近い明度の低い収音範囲ほど正規化収音レベルが小さいことを表している。
S12では、表示処理部15が、S11で生成した図5のような表示を表示部14に表示させる。このように表示された表示を見ることにより、収音対象エリアの音を収音する収音部の指向性による収音状態を容易に認識することができる。
なお、収音範囲の塗り潰し色と正規化収音レベル(dB)との対応を示すカラーバーを、例えば収音対象エリアの外側に表示するようにしてもよい。
また、収音範囲の音源の空間平均的なパワーに対応する正規化収音レベルではなく、表示処理部15が、指向性収音信号そのものをモニタリングするための、正規化していない指向性収音レベルを収音範囲に表示するようにしてもよい。表示方法として、上述した正規化収音レベルの表示と同様に、指向性収音レベルに応じて収音範囲の塗り潰し色を変えてもよい。あるいは、図8に示すように、表示処理部15が指向性収音レベルに応じて収音範囲の塗り潰し範囲を変えてもよい。
収音範囲と指向性収音レベルが一体となったこのような表示により、収音対象エリアの収音状態を容易に認識することができるため、指向性収音信号のクリッピングの把握や収音ゲインの調整等を効果的に行うことができる。
なお、指向性収音レベルではなく、正規化収音レベルに応じて収音範囲の塗り潰し範囲や塗り潰し範囲の色を変えるようにしてもよい。
また、収音部が指向性マイクで構成される場合は、指向性収音信号と指向性マイクが収音している音響信号は同じであるが、収音部がマイクアレイで構成される場合は、指向性収音信号とマイクアレイの各マイク素子が収音している音響信号は異なる。そこで、音響信号のレベルである音響収音レベルを、例えば現時間ブロックの音響信号の二乗平均値として算出し、複数チャンネルの音響収音レベルのうち、例えば最大のものを収音部や収音範囲の塗り潰しにより表示するようにしてもよい。
収音範囲や収音部の塗り潰しに用いる彩度の高い色を目立たせるため、収音対象エリアや収音部を表す図形の線、収音範囲の境界線、また表示の背景色として、彩度の低い色や無彩色を用いるようにしてもよい。
本実施形態の塗り潰しにおける透過性(例えば0〜100%)は任意である。
図5の収音範囲の表示325のように、S8で取得したデフォルトの収音ゲインからの調整量(または収音ゲインそのもの)を、収音範囲(または収音部)の表示に対応付けて、例えば数値(+5)で表示するようにしてもよい。
なお、上記実施形態において記憶部11が保持しているとした各種データは、不図示のデータ入出力部を介して外部から入力するようにしてもよい。
また、上記実施形態では図5のように、収音対象エリアを真上から見た場合の二次元的な表示を生成したが、他の方向から見た場合の三次元的な表示を生成してもよい。
また、収音対象エリアが例えばサッカースタジアムである場合は、グラウンドエリアにサッカーフィールドの各種ラインやゴールを模式的に表示してもよい。また、位置および姿勢が既知の撮影部による映像信号を射影変換し、グラウンドエリア平面や観客席エリアに平面に合わせて(例えば白黒で)表示するようにしてもよい。このとき、映像信号に映像認識を適用し、表示処理部15が、選手やボールなど主要なオブジェクトのみ表示するようにしてもよい。このような表示により、試合状況との対応を確認しながら、収音対象エリアの収音状態を容易に認識することができる。
例えば図5では、ボール360を表示しており、主要なプレーが発生していると考えられるボール付近の収音対象エリア(分割エリア317)が、周囲の分割エリアより相対的に白く表示されている。このような表示により、ユーザが当該分割エリア317の正規化収音レベルが高くなっていることを容易に認識することができる。
Claims (20)
- 収音対象エリアの音を収音する収音部の指向性に関する情報を取得する取得手段と、
前記収音対象エリアを表すエリア画像と、前記取得手段により取得された情報により特定される前記収音部の指向性に応じた収音範囲を表す範囲画像であって前記収音範囲における音の大きさを表す範囲画像と、が重畳された重畳画像を表示部に表示させる表示制御手段と、
を有し、
前記表示制御手段は、前記収音部の指向性のビームパターンの方向と前記収音対象エリアの平面によって形成される角度に基づいて前記範囲画像の形状を決定する
ことを特徴とする制御装置。 - 収音対象エリアの音を収音する収音部の指向性に関する情報を取得する取得手段と、
前記収音対象エリアを表すエリア画像と、前記取得手段により取得された情報により特定される前記収音部の指向性に応じた収音範囲を表す範囲画像であって前記収音範囲における音の大きさを表す範囲画像と、が重畳された重畳画像を表示部に表示させる表示制御手段と、
を有し、
前記範囲画像が表す音の大きさは、前記収音部によって収音された音の大きさを前記収音範囲に基づいて正規化した収音レベルである
ことを特徴とする制御装置。 - 収音対象エリアの音を収音する収音部の指向性に関する情報を取得する取得手段と、
前記収音対象エリアを表すエリア画像と、前記取得手段により取得された情報により特定される前記収音部の指向性に応じた収音範囲を表す範囲画像であって前記収音範囲における音の大きさを表す範囲画像と、が重畳された重畳画像を表示部に表示させる表示制御手段と、
を有し、
前記範囲画像が表す音の大きさは、前記収音部によって収音された音の大きさを前記収音部からの距離に基づいて正規化した収音レベルである
ことを特徴とする制御装置。 - 前記表示制御手段は、前記エリア画像と前記範囲画像と前記収音部の位置を示す収音画像と、が重畳された前記重畳画像を前記表示部に表示させることを特徴とする請求項1乃至3の何れか1項記載の制御装置。
- 前記表示制御手段は、前記収音範囲における音量に応じて前記収音画像の色を決定することを特徴とする請求項4に記載の制御装置。
- 前記表示制御手段は、前記収音範囲における音量に応じて前記収音画像の着色する部分のサイズを決定することを特徴とする請求項4または5に記載の制御装置。
- 前記収音画像は、前記収音部の位置と向きを示すことを特徴とする請求項4から6のいずれか1項に記載の制御装置。
- 前記表示制御手段は、前記収音部の指向性のビームパターンの方向に基づいて前記範囲画像の形状を決定することを特徴とする請求項1から7のいずれか1項に記載の制御装置。
- 前記表示制御手段は、前記収音部からの距離に応じた前記収音部の収音感度の減衰量に基づいて、前記範囲画像の形状を決定することを特徴とする請求項1から8のいずれか1項に記載の制御装置。
- 前記範囲画像が表す音の大きさは、前記収音部によって収音された音の大きさを予め設定されたゲイン調整量に基づいて正規化した収音レベルであることを特徴とする請求項1から9のいずれか1項に記載の制御装置。
- 前記表示制御手段は、前記収音範囲における音量に応じて前記範囲画像の色を決定することを特徴とする請求項1から10のいずれか1項に記載の制御装置。
- 前記表示制御手段は、前記収音範囲における音量に応じて前記範囲画像の着色する部分のサイズを決定することを特徴とする請求項1から11のいずれか1項に記載の制御装置。
- 前記取得手段は、複数の前記収音部夫々の指向性に関する情報を取得し、
前記表示制御手段は、前記複数の収音部に対応する複数の前記範囲画像を重畳した前記重畳画像を表示部に表示させることを特徴とする請求項1から12のいずれか1項に記載の制御装置。 - 前記表示制御手段は、前記複数の収音部夫々の位置を示す複数の収音画像を重畳した前記重畳画像を前記表示部に表示させることを特徴とする請求項13記載の制御装置。
- 前記表示制御手段は、第1の収音部に応じた第1の前記範囲画像と、前記第1の収音部に応じた第1の前記収音画像との、少なくとも色、線種、及び線の太さのいずれかを対応させることを特徴とする請求項14記載の制御装置。
- 収音対象エリアの音を収音する収音部の指向性に関する情報を取得する取得工程と、
前記収音対象エリアを表すエリア画像と、前記取得された情報により特定される前記収音部の指向性に応じた収音範囲を表す範囲画像であって前記収音範囲における音の大きさを表す範囲画像と、が重畳された重畳画像を表示部に表示させる表示制御工程と、
を有し、
前記表示制御工程は、前記収音部の指向性のビームパターンの方向と前記収音対象エリアの平面によって形成される角度に基づいて前記範囲画像の形状を決定する
ことを特徴とすることを特徴とする制御方法。 - 収音対象エリアの音を収音する収音部の指向性に関する情報を取得する取得工程と、
前記収音対象エリアを表すエリア画像と、前記取得された情報により特定される前記収音部の指向性に応じた収音範囲を表す範囲画像であって前記収音範囲における音の大きさを表す範囲画像と、が重畳された重畳画像を表示部に表示させる表示制御工程と、
を有し、
前記範囲画像が表す音の大きさは、前記収音部によって収音された音の大きさを前記収音範囲に基づいて正規化した収音レベルである
ことを特徴とする制御方法。 - 収音対象エリアの音を収音する収音部の指向性に関する情報を取得する取得工程と、
前記収音対象エリアを表すエリア画像と、前記取得された情報により特定される前記収音部の指向性に応じた収音範囲を表す範囲画像であって前記収音範囲における音の大きさを表す範囲画像と、が重畳された重畳画像を表示部に表示させる表示制御工程と、
を有し、
前記範囲画像が表す音の大きさは、前記収音部によって収音された音の大きさを前記収音部からの距離に基づいて正規化した収音レベルである
ことを特徴とする制御方法 - 前記表示制御工程は、前記エリア画像と前記範囲画像と前記収音部の位置を示す収音部の画像と、が重畳された前記重畳画像を表示部に表示させる、ことを特徴とする請求項16から18のいずれか1項に記載の制御方法。
- コンピュータを、請求項1乃至15の何れか1項に記載の制御装置として動作させるためのプログラム。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2016130420A JP6758956B2 (ja) | 2016-06-30 | 2016-06-30 | 制御装置、制御方法およびプログラム |
US15/613,825 US10448178B2 (en) | 2016-06-30 | 2017-06-05 | Display control apparatus, display control method, and storage medium |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2016130420A JP6758956B2 (ja) | 2016-06-30 | 2016-06-30 | 制御装置、制御方法およびプログラム |
Publications (3)
Publication Number | Publication Date |
---|---|
JP2018006967A JP2018006967A (ja) | 2018-01-11 |
JP2018006967A5 JP2018006967A5 (ja) | 2019-08-15 |
JP6758956B2 true JP6758956B2 (ja) | 2020-09-23 |
Family
ID=60808072
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2016130420A Active JP6758956B2 (ja) | 2016-06-30 | 2016-06-30 | 制御装置、制御方法およびプログラム |
Country Status (2)
Country | Link |
---|---|
US (1) | US10448178B2 (ja) |
JP (1) | JP6758956B2 (ja) |
Families Citing this family (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2019064181A1 (en) * | 2017-09-26 | 2019-04-04 | Cochlear Limited | ACOUSTIC POINT IDENTIFICATION |
US11102601B2 (en) * | 2017-09-29 | 2021-08-24 | Apple Inc. | Spatial audio upmixing |
US10264379B1 (en) * | 2017-12-01 | 2019-04-16 | International Business Machines Corporation | Holographic visualization of microphone polar pattern and range |
WO2019229909A1 (ja) * | 2018-05-30 | 2019-12-05 | 株式会社ウフル | 熱狂度表示システム、スタジアム熱狂度表示方法、プログラム、およびセンサ端末 |
WO2019231630A1 (en) * | 2018-05-31 | 2019-12-05 | Shure Acquisition Holdings, Inc. | Augmented reality microphone pick-up pattern visualization |
JP7114414B2 (ja) * | 2018-09-07 | 2022-08-08 | キヤノン株式会社 | 表示装置、表示装置の制御方法およびプログラム |
Family Cites Families (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7920102B2 (en) * | 1999-12-15 | 2011-04-05 | Automotive Technologies International, Inc. | Vehicular heads-up display system |
JP5939444B2 (ja) | 2012-12-25 | 2016-06-22 | 株式会社Jvcケンウッド | 撮像装置 |
JP5924295B2 (ja) | 2013-03-12 | 2016-05-25 | 沖電気工業株式会社 | パラメータ推定装置、パラメータ推定プログラム、機器決定システム及び機器決定プログラム |
WO2014199453A1 (ja) * | 2013-06-11 | 2014-12-18 | Toa株式会社 | マイクロホンアレイ制御装置 |
US20150189457A1 (en) * | 2013-12-30 | 2015-07-02 | Aliphcom | Interactive positioning of perceived audio sources in a transformed reproduced sound field including modified reproductions of multiple sound fields |
JP6125457B2 (ja) | 2014-04-03 | 2017-05-10 | 日本電信電話株式会社 | 収音システム及び放音システム |
US9661435B2 (en) * | 2014-08-29 | 2017-05-23 | MUSIC Group IP Ltd. | Loudness meter and loudness metering method |
WO2017004584A1 (en) * | 2015-07-02 | 2017-01-05 | Dolby Laboratories Licensing Corporation | Determining azimuth and elevation angles from stereo recordings |
-
2016
- 2016-06-30 JP JP2016130420A patent/JP6758956B2/ja active Active
-
2017
- 2017-06-05 US US15/613,825 patent/US10448178B2/en active Active
Also Published As
Publication number | Publication date |
---|---|
US10448178B2 (en) | 2019-10-15 |
JP2018006967A (ja) | 2018-01-11 |
US20180007481A1 (en) | 2018-01-04 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6758956B2 (ja) | 制御装置、制御方法およびプログラム | |
US20210049367A1 (en) | Pilotless flying object detection system and pilotless flying object detection method | |
EP3336848A1 (en) | Method for operating a medical imaging device and medical imaging device | |
US10397525B2 (en) | Monitoring system and monitoring method | |
WO2016042926A1 (ja) | 画像処理装置、画像処理方法、及びプログラム | |
US10088868B1 (en) | Portable electronic device for acustic imaging and operating method for the same | |
US20200204741A1 (en) | Camera array for a mediated-reality system | |
TW201246950A (en) | Method of controlling audio recording and electronic device | |
US20070265530A1 (en) | Ultrasonic imaging apparatus and a method of obtaining ultrasonic images | |
EP2697697A1 (en) | Object tracking with projected reference patterns | |
JP6330056B2 (ja) | 情報処理装置、情報処理システム、制御方法、及びプログラム | |
WO2017043145A1 (ja) | 情報処理装置、情報処理方法、およびプログラム | |
KR20170127103A (ko) | 카메라와 거리 센서의 3차원 캘리브레이션 시스템 및 방법, 그리고 캘리브레이션 장치 및 캘리브레이션 지그 | |
US9648413B2 (en) | Loudspeaker system | |
US20120188434A1 (en) | Method for acquiring audio signals, and audio acquisition system thereof | |
US20200167944A1 (en) | Information processing device, information processing method, and individual imaging device | |
US20220132261A1 (en) | Information processing apparatus, information processing method, and program | |
WO2018214401A1 (zh) | 移动平台、飞行体、支持装置、便携式终端、摄像辅助方法、程序以及记录介质 | |
JPWO2021231337A5 (ja) | ||
EP3665656A1 (en) | Three-dimensional video processing | |
KR20170033783A (ko) | 골프 플레이 지원 시스템 | |
US11909945B2 (en) | Display control device, display control method, and program | |
US20220060664A1 (en) | Information processing apparatus, information processing method, and recording medium | |
JP6685814B2 (ja) | 撮像装置およびその制御方法 | |
JP2019012516A5 (ja) |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20190701 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20190701 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20200327 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20200407 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20200602 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20200804 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20200902 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 6758956 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |
|
RD03 | Notification of appointment of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: R3D03 |