JP6631193B2

JP6631193B2 - 動画像音収録システム、動画像音収録装置、動画像音収録プログラム、および動画像音収録方法

Info

Publication number: JP6631193B2
Application number: JP2015226788A
Authority: JP
Inventors: 亮人相場
Original assignee: Ricoh Co Ltd
Current assignee: Ricoh Co Ltd
Priority date: 2015-01-23
Filing date: 2015-11-19
Publication date: 2020-01-15
Anticipated expiration: 2035-11-19
Also published as: JP2016140055A

Description

本発明は、動画像および音を収録する動画像音収録システム、動画像音収録装置、動画像音収録プログラム、および動画像音収録方法に関する。

ビデオカメラやスマートフォン（高機能携帯電話機）、タブレット端末、テレビ会議装置など、カメラとマイクを内蔵し、カメラによる動画像信号の取得と並行して、マイクによる音声信号の取得を行う機能を備えた機器（デバイス）がある。

しかし、これらの機器では、カメラで撮影した被写体とは無関係で不要な音声がマイクに混入してしまう問題がある。そこで、この問題に対処した装置として、動画像信号を取得するカメラと、音声信号を取得するマイクと、前記カメラで取得された動画像信号内における撮影対象者の位置と、前記カメラが撮影に用いるパラメータ情報（画角情報、焦点距離情報など）とに基づき、自端末に対する前記撮影対象者の相対位置を推定する推定手段と、前記相対位置に向けて、前記マイクの指向性を調整する調整手段と、を備えた携帯端末がある（特許文献１）。

しかしながら、この携帯端末には、カメラとマイクがどちらも同一の装置に内蔵され、その位置関係が変化しないという前提がある。したがって、カメラとマイクが別々の装置に備わっており、動画像信号あるいは音声信号を無線通信等でやり取りする場合、さらにそれぞれの装置を持って動かす場合などは、その位置関係が変動するため適応できないという問題がある。

本発明は、このような問題を解決するためになされたものであり、その目的は、動画像信号と、音信号とを同時に取得するときに、動画像信号を取得する位置と、音信号を取得する位置との関係が変化する場合でも、音信号を高精度に取得できるようにすることである。

本発明は、被写体を撮影して動画像信号を取得する動画像取得手段と、音を収録して音信号を取得する音取得手段と、前記動画像取得手段の撮影方向を表す情報、および前記動画像取得手段と前記音取得手段との位置関係を表す情報を取得する撮影パラメータ取得手段と、前記撮影パラメータ取得手段により取得された前記情報に基づいて、前記音取得手段により取得する前記音信号のうち、所定の方向の音信号を強調する音強調手段と、前記動画像取得手段の動きの状態を表す情報を取得する装置状態取得手段と、前記動画像取得手段により取得された動画像信号から、空間内の所定の基準点の座標が画像上の所定の座標と合致しているか否かを判定する基準点認識手段と、を有し、前記撮影パラメータ取得手段は、前記装置状態取得手段により取得された情報を用いて、前記動画像取得手段と前記音取得手段との位置関係を表す情報を取得し、前記基準点認識手段により合致していると判定され、かつ前記装置状態取得手段により生成された動きの状態を表す情報が静止を表しているとき、撮影方向を表す情報の基準値、および位置関係を表す情報の基準値を取得する、動画像音収録システムである。

本発明によれば、動画像信号と、音信号とを同時に取得するときに、動画像信号を取得する位置と、音信号を取得する位置との関係が変化する場合でも、音信号を高精度に取得することができる。

本発明の実施形態に係る動画像音声収録ステムの構成を示すブロック図である。本発明の実施形態に係る動画像音声収録システムにおける撮影パラメータ情報および装置状態情報の関係について説明するための図である。本発明の実施形態に係る動画像音声収録システムにおいて、音声収録装置に対する動画像撮影装置の位置および向きを所定の状態に調整する操作の流れの一例について説明するための図である。本発明の実施形態に係る動画像音声収録システムが撮影パラメータ情報の基準状態を取得する処理の流れを示すフローチャートである。本発明の実施形態における動画像撮影装置の撮影方向と音声収録装置の指向性との対応関係について説明するための図である。本発明の実施形態に係る動画像音声収録システムにおいて、音声収録装置に対する動画像撮影装置の位置が変化する場合の音声収録装置の指向性の制御について説明するための図である。本発明の実施形態に係る動画像音声収録システムの動作を示すフローチャートである。本発明の実施形態に係る動画像音声収録システムを実現するコンピュータシステムのハードウェア構成を示すブロック図である。

以下、本発明の実施形態について図面を参照しつつ詳細に説明する。
〈動画像音声収録システム〉
図１は、本発明の実施形態に係る動画像音声収録システム１の構成を示すブロック図である。図示のように、本発明の実施形態に係る動画像音声収録システム（以下、本システム）１は、動画像撮影装置２と、音声収録装置３からなる。

動画像撮影装置２は被写体を撮影して動画像信号を取得する。音声収録装置３は音声を収録して音声信号（音声に対応する電気信号）を取得する。また、動画像撮影装置２は、自身が取得した動画像信号と、音声収録装置３が取得した音声信号とを結合して動画像音声信号を生成し、記憶する。

なお、音声収録装置３は、音声（人間の発声による音）を収録して音声信号を生成するだけでなく、周囲に他の音（物音、機械の動作音、騒音など）が存在するときは、それらの音に対応する電気信号も生成する。すなわち、音声収録装置３は、音声を含む全ての音を収録して、それらに対応する電気信号である音信号を生成する。したがって、厳密には「音声収録装置３」は「音収録装置３」、「動画像音声収録システム１」は「動画像音収録システム１」とすべきであるが、便宜上、本実施形態では「音声収録装置３」、「動画像音声収録システム１」とした。

動画像撮影装置２は、動画像撮影手段２１、基準点認識手段２２、装置状態取得手段２３、撮影パラメータ取得手段２４、送信手段２５、受信手段２６、動画像音声結合手段２７、および動画像音声記憶手段２８を備えている。ここで、基準点認識手段２２、撮影パラメータ取得手段２４、および動画像音声結合手段２７は、ＣＰＵ、ＲＯＭ、およびＲＡＭを有する制御手段２０により構成される。すなわち、ＲＯＭに記憶されている動画像音声収録プログラムなどのコンピュータプログラムをＣＰＵがＲＡＭを作業エリアとして処理することにより実現される機能ブロックである。

また、音声収録装置３は、音声収録手段３１、音声強調手段３２、強調パラメータ制御手段３３、受信手段３４、および送信手段３５を備えている。ここで、音声強調手段３２および強調パラメータ制御手段３３は、ＣＰＵ、ＲＯＭ、およびＲＡＭを有する制御手段３０により構成される。すなわち、ＲＯＭに記憶されている動画像音声収録プログラムなどのコンピュータプログラムをＣＰＵがＲＡＭを作業エリアとして処理することにより実現される機能ブロックである。

《動画像撮影装置》
動画像撮影装置２における動画像撮影手段２１は、例えばカメラであり、被写体を撮影して動画像信号を取得する。動画像撮影手段２１は本発明に係る動画像取得手段として機能する。

基準点認識手段２２は、動画像音声収録システム１が動画像信号および音声信号の取得を開始するに先立ち、動画像撮影装置２と音声収録装置３とを所定の位置関係（以下、初期位置関係）に設定するための手段である。

より詳しくは、動画像信号により構成される画像上の音声収録装置３の位置（以下、動画像信号により構成される画像上の位置を画像座標という）が所定の位置であるか否かを認識し、その結果を基準点合致情報として出力する。基準点合致情報は、例えば音声収録装置３の画像座標が所定の位置である場合は“true”、所定の位置でない場合は“false”となる。認識には、例えばパターンマッチングなどの手法を用いる（詳細については図３を参照して後述する）。なお、基準点は複数あってもよく、その場合、全ての点がそれぞれの所定の座標にあるか否かを判定する。

装置状態取得手段２３は装置状態情報を取得する。装置状態情報とは、動画像撮影装置２の加速度や角加速度などである。装置状態情報は例えば、三次元空間内に設定したＸＹＺ直交座標におけるＸ軸方向の加速度ａ_X、Ｙ軸方向の加速度ａ_Y、Ｚ軸に対する角加速度ω_Z、からなる３つの値の組（ａ_X，ａ_Y，ω_Z）で表すことができる。ここで、Ｘ軸およびＹ軸を含む面が水平面であり、Ｚ軸は鉛直線である。これらの加速度や角加速度は、例えば加速度センサや角加速度センサを用いて取得することができる。

撮影パラメータ取得手段２４は動画像撮影装置２の撮影パラメータ情報を取得する。撮影パラメータ情報とは、例えば、動画像撮影装置２が前述した初期位置関係に設定された状態を原点（位置関係を表す情報の基準値）、および０度（撮影方向を表す情報の基準値）としたときの、現在の動画像撮影装置２の座標（位置関係を表す情報）、および角度（撮影方向を表す情報）である。

例えばこの情報は（Ｘ，Ｙ，θ）の３組の値で表すことが出来る。これらは、装置状態情報と、基準点認識手段２２の基準点合致情報から推定する。すなわち、装置状態情報を取得する時間間隔をΔｔ、前回推定した撮影パラメータ情報を（Ｘ₀，Ｙ₀，θ₀）とすると、現在の撮影パラメータ情報は下記の式〔１〕〜式〔３〕により算出できる。

Ｘ＝Ｘ₀＋ａ_XΔｔ²…式〔１〕
Ｙ＝Ｙ₀＋ａ_YΔｔ²…式〔２〕
θ＝θ₀＋ω_ZΔｔ²…式〔３〕
これらの式において、ａ_XΔｔ²、ａ_YΔｔ²、ω_ZΔｔ²は、それぞれ加速度ａ_X、加速度ａ_Y、角加速度ω_Zの時間軸上の二重積分を表す。

ここで、初めの推定時の（Ｘ₀，Ｙ₀，θ₀）については、基準点合致情報が“true”、かつ装置状態情報が静止、すなわち（ａ_X，ａ_Y，ω_Z）＝（０，０，０）の状態を基準状態、すなわち（Ｘ₀，Ｙ₀，θ₀）＝（０，０，０）とし、そこから推定を始めるやり方がある。この場合、基準状態から、装置状態情報（ａ_X、ａ_Y、ω_Z）の時間軸上の二重積分を算出することで、動画像撮影装置２の現在の位置および撮影方向を表す撮影パラメータ情報を取得する。

図２は、撮影パラメータ情報と装置状態情報との関係について説明するための図である。ここで、図２Ａは撮影パラメータ情報を示し、図２Ｂは装置状態情報を示す。

図２Ａにおいて、（Ｘ，Ｙ，θ）＝（０，０，０）の点１０１は初期位置関係における動画像撮影装置２の撮影パラメータ情報を表し、（Ｘ，Ｙ，θ）＝（Ｘ₁，Ｙ₁，θ₁）の点１０２は動画像撮影装置２の現在の撮影パラメータ情報を表す。また、矢印１０３は動画像撮影装置２の現在の撮影方向（θ₁）を表す。また、（Ｘ，Ｙ，θ）＝（０，Ｙ_ref，０）の点１００は初期位置関係における音声収録装置３に対する撮影パラメータ情報を表す。すなわち、初期位置関係では、動画像撮影装置２に対して、音声収録装置３がＹ軸方向（＝矢印１０３に示す撮影方向）にＹ_ref離れた位置に存在することを表す。

図２Ｂにおいて、ａ_X，ａ_Y，ω_Zは、任意の点１０５（Ｘ，Ｙ，θ）におけるＸ軸方向の加速度、Ｙ軸方向の加速度、Ｚ軸の周りの角加速度の向きを表す。

図１の説明に戻る。送信手段２５は撮影パラメータ情報を音声収録装置３へ送信する。通信方法は有線通信でも無線通信でもよい。受信手段２６は音声収録装置３で収録され、強調処理された音声信号（以下、強調音声信号）を受信する。この通信方法も有線通信でも無線通信でもよい。

動画像音声結合手段２７は、動画像撮影手段２１により取得された動画像信号と、受信手段２６により受信された強調音声信号とを結合し、関連付けられた動画像音声信号とする。動画像音声記憶手段２８は、例えばハードディスク、ソリッドステートディスク、ＳＤメモリなどからなり、動画像音声信号を記憶する。

《音声収録装置》
本発明に係る音取得手段としての音声収録手段３１は、例えばマイクアレイからなり、音声を収録して音声信号を生成する。音声強調手段３２は、音声信号から、任意の方向から来た音声を強調した強調音声信号を生成する。強調方法には、例えばマイクアレイによるビームフォーミングや、指向性の向きの異なるマイクの切り替えなどを用いる。マイクアレイによるビームフォーミングについては後に詳述する。

受信手段３４は動画像撮影装置２から撮影パラメータ情報を受信する。強調パラメータ制御手段３３は、受信手段３４により受信された撮影パラメータ情報に基づいて、音声強調手段３２の強調パラメータを制御する。この強調パラメータについては後に詳述する。送信手段３５は、音声強調手段３２により生成された強調音声信号を動画像撮影装置２へ送信する。

なお、この実施形態では、動画像撮影装置２側に動画像音声記憶手段２８があり、音声収録装置３からの音声信号を受信しているが、逆に、音声収録装置３側に動画像音声記憶手段を設けて、動画像撮影装置２からの動画像信号を受信するように構成することもできる。また、動画像音声記憶手段をさらに別の装置に設けてもよい。

また、この実施形態では、動画像音声信号を最終的に記憶しているが、例えばディスプレイやスピーカなどの出力手段を設けて、そこから出力してもよいし、テレビ会議のような用途でネットワークを介して他装置へ送信してもよい。

また、この実施形態では、動画像撮影装置２と音声収録装置３とが初期位置関係であることを認識した後は、音声収録装置３は動かず、動画像撮影装置２が動くことを前提としているため、装置状態取得手段２３を動画像撮影装置２３内に設けたが、音声収録装置３内にも装置状態取得手段を設けることで、音声収録装置３の装置状態情報を取得するように構成してもよい。このように構成すれば、音声収録装置３が動いても、動画像撮影装置２は撮影パラメータ情報を取得することができる。

〈撮影パラメータ情報の基準状態の取得〉
音声収録装置３に対する動画像撮影装置２の位置、および向きを所定の状態に調整する操作の流れの一例について図３を参照して説明する。ここでは、図３Ａに示すように、動画像撮影装置２をカメラ付きタブレット端末とし、音声収録装置３を動画像撮影装置２と無線通信可能なワイヤレスマイクとした。

この操作は第１〜第３の前提のもとで実行する。
第１の前提：音声収録装置３上の３点を基準点とする。ここでは、図３Ａに示すように、音声収録装置３に付けた３つの十字型のマーカーＰa、Ｐb、Ｐcの中心を基準点とした。
第２の前提：この３点を、所定の位置、所定の向きで動画像撮影装置２により撮影したときの画像座標をそれぞれ（ｘa，ｙa）、（ｘb，ｙb）、（ｘc，ｙc）とする。
第３の前提：そのとき、音声収録装置３は静止していなければならない。

ユーザは撮影中の音声収録装置３の画像を見ながら、３つの基準点であるマーカーＰa、Ｐb、Ｐcの中心がそれぞれ（ｘ₁，ｙ₁）、（ｘ₂，ｙ₂）、（ｘ₃，ｙ₃）に一致するように動画像撮影装置２を動かす。このとき、確認用に撮影中の画像の（ｘ₁，ｙ₁）、（ｘ₂，ｙ₂）、（ｘ₃，ｙ₃）の点にガイドを表示することが好適である。ここでは、図３Ｂに示すように、（ｘ₁，ｙ₁）、（ｘ₂，ｙ₂）、（ｘ₃，ｙ₃）を指示する矢印Ｐ₁、Ｐ₂、Ｐ₃をディスプレイ２００に表示した。

ユーザが動画像撮影装置２を動かした結果、図３Ｃに示すように、撮影中の画像上の３つの基準点の座標がそれぞれ（ｘ₁，ｙ₁）、（ｘ₂，ｙ₂）、（ｘ₃，ｙ₃）に一致すると、基準点認識手段２２は基準点合致情報として“true”を出力する。

さらに、装置状態取得手段２３は、動画像撮影装置２の加速度および角加速度をセンサから取得し、装置状態情報を出力する。動画像撮影装置２が静止していれば装置状態情報は（０，０，０）を示す。

基準点合致情報として“true”を、装置状態情報として（０，０，０）を受け取った撮影パラメータ取得手段２４は、その時点の状態を、座標、角度計算のための基準状態とする。すなわち、撮影パラメータ情報：（Ｘ，Ｙ，θ）＝（０，０，０）とし、操作を終了する。

図４は、動画像音声収録システム１が撮影パラメータ情報の基準状態を取得する処理の流れを示すフローチャートである。

まず、動画像撮影手段２１が動画像信号を取得する(ステップＳ１)。次に、取得された動画像信号により構成される動画像上の基準点の画像座標（例えば図３ＢにおけるマーカーＰa、Ｐb、Ｐcの中心の画像座標（ｘa，ｙa）、（ｘb，ｙb）、（ｘc，ｙc））が所定の座標（例えば（ｘ₁，ｙ₁）、（ｘ₂，ｙ₂）、（ｘ₃，ｙ₃））と一致しているか否かを基準点認識手段２２が判定する（ステップＳ２）。判定の結果、一致していれば（ステップＳ２：YES）、ステップＳ３へ進み、一致していなければ（ステップＳ２：NO）、ステップＳ１に戻る。

ステップＳ３では、装置状態取得手段２３が装置状態情報（ａ_X，ａ_Y，ω_Z）を取得する。次に、この装置状態情報が、動画像撮影装置２が静止していることを示しているか否か、すなわち（ａ_X，ａ_Y，ω_Z）＝（０，０，０）であるか否かを撮影パラメータ取得手段２４が判定する（ステップＳ４）。判定の結果、静止していることを示していれば（ステップＳ４：YES）、ステップＳ５へ進み、静止していることを示していなければ（ステップＳ４：NO）、ステップＳ１に戻る。

ステップＳ５では、撮影パラメータ取得手段２４が、現在の撮影パラメータ情報を基準状態に設定する。すなわち（ａ_X，ａ_Y，ω_Z）＝（０，０，０）のとき、動画像撮影装置２の撮影パラメータ情報（Ｘ，Ｙ，θ）として、基準状態、すなわち（Ｘ₀，Ｙ₀，θ₀）＝（０，０，０）を設定する。この結果、例えば図３のマーカーＰa、Ｐb、Ｐcの中心が矢印Ｐ₁、Ｐ₂、Ｐ₃の先端に一致し、かつ動画像撮影装置２が静止している時に、図２Ａの点１０１における撮影パラメータ情報が設定される。

〈動画像撮影装置の撮影方向と音声収録装置の指向性との関係〉
図５は、動画像音声収録システム１における動画像撮影装置２の撮影方向と音声収録装置３の指向性との対応関係について説明するための図である。

図５Ａは、動画像撮影手段２１の撮影方向が音声収録装置３に向かう方向１１１である状態を示している。この図において、ｐ，ｑ，ｒ，ｓはマイク（音声収録手段３１）を表している。すなわち、４つのマイクが正方形の頂点に配置されているといえる。

この状態では、音声収録装置３の指向性を、動画像撮影手段２１の中心に向いている方向にピーク値を有する指向性１２１、およびその反対の方向にピーク値を有する指向性１２２からなる双極性にする。

図５Ｂは、動画像撮影手段２１の撮影方向が音声収録装置３へ向かう方向から反時計回りにθ回転した方向１１２に向いている状態を示している。この状態では、音声収録装置３の指向性を、動画像撮影手段２１への方向から時計回りにφ回転した方向１１３にピーク値を有する指向性１２３からなる単極性にする。

図５Ｃは、動画像撮影手段２１の撮影方向が音声収録装置３へ向かう方向から時計回りにθ回転した方向１１４に向いている状態を示している。この状態では、音声収録装置３の指向性を、動画像撮影手段２１への方向から反時計回りにφ回転した方向１１５にピーク値を有する指向性１２４からなる単極性にする。

図５Ａ、図５Ｂ、図５Ｃに示すように、通常、注目している音源は動画像撮影手段２１の撮影方向１１１、１１２、１１４に位置すると考えられるため、音声収録装置３の指向性を１２２、１２３、１２４のように設定することにより、音源からの音を強調することができる。これらの指向性を実現するには、音声収録装置３の強調パラメータ制御手段３３が制御信号として、撮影方向情報θに応じて形成する指向性の種類（単極性か双極性か）と、その向きを示すφの値を音声強調手段３２に出力し、音声強調手段３２がその制御信号を基に指向性を形成することになる。

θとφとの関係を示すテーブルの一例を下記の表１に示す。ここで、θ＝０は図５Ａに示されている方向１１１、すなわち、動画像撮影手段２１の中心から音声収録装置３のマイクに向かう方向である。また、時計回りがθのプラス方向、反時計回りがθのマイナス方向である。つまり、図５Ｂではθはほぼ−π／４であり、図５Ｃではθはほぼπ／４である。

また、表１において、φ=０は音声収録装置３から動画像撮影手段２１の中心に向かう方向、すなわちθ＝πの方向である。また、時計回りがφのプラス方向、反時計回りがφのマイナス方向である。

したがって、図５Ａ、図５Ｂ、図５Ｃと表１との関係は下記のようになる。
図５Ａ：「−π／６＜θ≦π／６」・・・「双極性、φ＝０」
図５Ｂ：「７π／６＜θ≦１１π／６」・・・「単極性、φ＝π／４」
図５Ｃ：「π／６＜θ≦５π／６」・・・「単極性、φ＝−π／４」

音声信号を強調する方法としては、マイクアレイによるビームフォーミングなどを用いる。例えば、φ方向に指向性を形成する場合、遅延和ビームフォーミングでは下記の式〔４〕で強調音声信号が得られる。

Ｙ(ω)＝Ｗ^H(ω)ｚ(ω) …式〔４〕
ここでωは音声信号のスペクトルの角周波数、Ｙは強調音声信号のスペクトル、ｚは入力音声信号のスペクトル、Ｗは強調のためのフィルタ係数、Ｈは複素共役転置を表す。ｚとＷはベクトル表現になっており、それぞれ、下記の式〔５〕、〔６〕で表される。

ｚ(ω)＝［Ｚ₁(ω),・・・,Ｚ_M(ω)］^T …式〔５〕
Ｗ(ω)＝［Ｗ₁(ω),・・・,Ｗ_M(ω)］^T …式〔６〕
ここで、Ｚの添え字はマイクの番号を表し、Ｍはマイクの個数である。また、Ｔは行列の転置を表す。

ここでＷの値は、各マイクの位置と強調したい音源の方向が同一平面状にあるとすると、次の式〔７〕のようになる。
Ｗ_m(ω)＝exp｛ｊ(ω/c)(ｘ_msinφ＋ｙ_mcosφ)｝ …式〔７〕
ここで、ｃは音速、ｘ_m，ｙ_mはマイクの座標、φは強調したい音声信号の音源の方向である。

〈音声収録装置に対する動画像撮影装置の位置が変化する場合の音声収録装置の指向性の制御〉
図６は、音声収録装置に対する動画像撮影装置の位置が変化する場合の音声収録装置の指向性の制御について説明するための図である。

この場合は例えば、音声収録装置３から見て、３６０度（２π）を８分割した領域ａ〜ｈのどこに動画像撮影装置２が位置するかで制御信号を切り替える。例えば図示のように動画像撮影装置２が領域ｃに位置する場合、下記の表２のように撮影方向θと制御信号（指向性の種類、向きφ）を設定する。

この表において、θ＝０は音声収録装置３から領域ｅの中心に向かう方向である。また、時計回りがθのプラス方向、反時計回りがθのマイナス方向である。また、φ＝０は音声収録装置３から領域ａの中心に向かう方向である。また、時計回りがφのプラス方向、反時計回りがφのマイナス方向である。

この表に示すデータを持つテーブルを領域毎に用意することで、音声収録装置３に対する動画像撮影装置２の方向が変化しても、適切な指向性を形成することができる。なお、動画像撮影装置２が領域ｃ以外の領域（以下、注目領域）に位置するときは、表２におけるθの範囲の値を領域ｃと注目領域との角度差を付加した値にすればよい。

なお、ここではφの値を４段階に変化させているが、例えばθの値に応じて連続的に変化させるなど、より多くの段階に変化させてもよい。

〈動画像音声収録システムの動作〉
図７は、動画像音声収録システム１の動作を示すフローチャートである。

まず、動画像撮影装置２では、装置状態取得手段２３が装置状態情報を取得する（ステップＳ１１）。次に、撮影パラメータ取得手段２４が、ステップＳ１で取得された装置状態情報から撮影パラメータ情報を推定する（ステップＳ１２）。このときの基準状態については図４に示した処理により設定済みのものを用いる。

次いで、送信手段２５が、ステップＳ２で推定された撮影パラメータ情報を音声収録装置３へ送信する（ステップＳ１３）。次に、動画像撮影手段２１が動画像信号を取得する（ステップＳ１４）。

音声収録装置３では、受信手段３４が撮影パラメータ情報を受信し（ステップＳ２１）、強調パラメータ制御手段３３が、ステップＳ２１で受信された撮影パラメータ情報に応じて、音声強調パラメータを制御する（ステップＳ２２）。

次に、音声収録手段３１が音声信号を取得し（ステップＳ２３）、音声強調手段３２が、ステップＳ２３で取得された音声信号をステップＳ２２で取得された音声強調パラメータに基づいて強調処理し、強調音声信号を取得する（ステップＳ２４）。次に、送信手段３５が、ステップＳ２４で取得された強調音声信号を動画像撮影装置２へ送信し、音声収録装置３側の処理を終える。

動画像撮影装置２では、受信手段２６が強調音声信号を受信し（ステップＳ１５）、動画像音声結合手段２７が、ステップ１４で取得された動画像信号と、ステップＳ１５で受信された強調音声信号を結合して、動画像音声信号を取得する（ステップＳ１６）。次に、動画像音声記憶手段２８が、ステップＳ１５で取得された動画像音声信号を記憶し（ステップＳ１７）、動画像撮影装置２側の処理を終える。

〈動画像音声収録システムを実現するコンピュータシステム〉
図８は、動画像撮影装置２および音声収録装置３を実現するコンピュータシステムのハードウェア構成を示すブロック図である。

動画像撮影装置２および音声収録装置３は、図８に示すような汎用のコンピュータシステムにより実現することができる。このコンピュータシステムは、ＣＰＵ（Central Processing Unit）１１、ＲＯＭ（Read Only Memory）１２、ＲＡＭ（Random Access Memory）１３、ＨＤＤ（Hard Disk Drive）１４、およびＩ／Ｆ（インタフェース）１５がバス１０を介して接続された構成を有し、Ｉ／Ｆ１５にはＬＣＤ（Liquid Crystal Display）などの表示部１６および操作部１７が接続されている。

ＣＰＵ１１は演算手段であり、コンピュータシステム全体の動作を制御する。ＲＯＭ１２は、読み出し専用の不揮発性記憶媒体であり、ファームウェア等のプログラムが格納されている。ＲＡＭ１３は、情報の高速な読み書きが可能な揮発性の記憶媒体であり、ＣＰＵ１１が情報を処理する際の作業領域として用いられる。ＨＤＤ１４は、情報の読み書きが可能な不揮発性の記憶媒体であり、ＯＳ（Operating System）や各種の制御プログラム、アプリケーションプログラム等が格納されている。Ｉ／Ｆ１５は、バスと各種のハードウェアやネットワーク等を接続し制御する。表示部１６は、ユーザがコンピュータシステムの状態を確認するための視覚的ユーザインタフェースである。操作部１７は、キーボードやマウス等、ユーザがコンピュータシステムに情報を入力するためのユーザインタフェースである。

以上詳細に説明したように、本発明の実施形態に係る動画像音声収録システム１には下記（１）〜（５）の特徴がある。
（１）音声収録手段３１に対する動画像撮影手段２１の位置、および動画像撮影手段２１の撮影方向を推定し、その推定結果に応じて、音声収録手段３１へ到来する音声の方向を特定し、音声収録手段３１の指向性を変化させるので、音声収録手段３１と動画像撮影手段２１との位置関係が変化する場合でも、良好な音声信号を取得することができる。
（２）動画像撮影手段２１の撮影方向の推定結果に応じて、撮影範囲の外側から到来する音を相対的に多く抑圧することができる。
（３）動画像撮影装置２の加速度および角加速度から、動画像撮影装置２の位置および撮影方向を推定することができる。
（４）音声収録手段３１に対する動画像撮影手段２１の基準位置、および動画像撮影手段２１の基準の撮影方向を、位置および撮影方向の推定に利用することができる。
（５）ユーザシステム利用時に、音声収録手段３１に対する動画像撮影手段２１の基準位置、および動画像撮影手段２１の基準の撮影方向を得ることができる。

なお、以上説明した実施形態では、動画像撮影装置２と、音声収録装置３とが別々の装置であり、かつ動画像撮影装置２が動画像撮影手段（カメラ）２１を内蔵し、音声収録装置３が音声収録手段（マイク）３１を内蔵しているが、動画像撮影装置と音声収録装置とを１つの動画像音声収録装置とし、かつ動画像撮影手段、音声収録手段を装置と別に設けるように構成してもよい。

１…動画像音声収録システム、２…動画像撮影装置、３…音声収録装置、２１…動画像撮影手段、２２…基準点認識手段、２３…装置状態取得手段、２４…撮影パラメータ取得手段、３１…音声収録手段、３２…音声強調手段、３３…強調パラメータ制御手段。

特開２０１１−４１０９６号公報

Claims

被写体を撮影して動画像信号を取得する動画像取得手段と、
音を収録して音信号を取得する音取得手段と、
前記動画像取得手段の撮影方向を表す情報、および前記動画像取得手段と前記音取得手段との位置関係を表す情報を取得する撮影パラメータ取得手段と、
前記撮影パラメータ取得手段により取得された前記情報に基づいて、前記音取得手段により取得する前記音信号のうち、所定の方向の音信号を強調する音強調手段と、
前記動画像取得手段の動きの状態を表す情報を取得する装置状態取得手段と、
前記動画像取得手段により取得された動画像信号から、空間内の所定の基準点の座標が画像上の所定の座標と合致しているか否かを判定する基準点認識手段と、
を有し、
前記撮影パラメータ取得手段は、前記装置状態取得手段により取得された情報を用いて、前記動画像取得手段と前記音取得手段との位置関係を表す情報を取得し、前記基準点認識手段により合致していると判定され、かつ前記装置状態取得手段により生成された動きの状態を表す情報が静止を表しているとき、撮影方向を表す情報の基準値、および位置関係を表す情報の基準値を取得する、動画像音収録システム。
請求項１に記載された動画像音収録システムにおいて、
前記音強調手段は、前記撮影パラメータ取得手段により取得された前記情報から推定される撮影範囲の外側から到来する音を相対的に多く抑圧する、動画像音収録システム。
請求項１に記載された動画像音収録システムにおいて、
前記位置関係を表す情報は、前記音取得手段に対する前記動画像取得手段の位置を表す情報である、動画像音収録システム。
請求項１に記載された動画像音収録システムにおいて、
前記動きの状態を表す情報は、加速度および角加速度を表す情報である、動画像音収録システム。
請求項１に記載された動画像音収録システムにおいて、
前記撮影パラメータ取得手段が前記撮影方向を表す情報の基準値および位置関係を表す情報の基準値を取得するまで、前記動画像取得手段の位置と向きの調整をガイドする表示を行う手段を有する、動画像音収録システム。
被写体を撮影して動画像信号を取得する動画像取得手段と、
音を収録して音信号を取得する音取得手段と、
前記動画像取得手段の撮影方向を表す情報、および前記動画像取得手段と前記音取得手段との位置関係を表す情報を取得する撮影パラメータ取得手段と、
前記撮影パラメータ取得手段により取得された前記情報に基づいて、前記音取得手段により取得する前記音信号のうち、所定の方向の音信号を強調する音強調手段と、
前記動画像取得手段の動きの状態を表す情報を取得する装置状態取得手段と、
前記動画像取得手段により取得された動画像信号から、空間内の所定の基準点の座標が画像上の所定の座標と合致しているか否かを判定する基準点認識手段と、
を有し、
前記撮影パラメータ取得手段は、前記装置状態取得手段により取得された情報を用いて、前記動画像取得手段と前記音取得手段との位置関係を表す情報を取得し、前記基準点認識手段により合致していると判定され、かつ前記装置状態取得手段により生成された動きの状態を表す情報が静止を表しているとき、撮影方向を表す情報の基準値、および位置関係を表す情報の基準値を取得する、動画像音収録装置。
動画像取得手段により取得された動画像信号、および音取得手段により取得された音信号をコンピュータにより処理する動画像音収録プログラムであって、
前記コンピュータを、
前記動画像取得手段の撮影方向を表す情報、および前記動画像取得手段と前記音取得手段との位置関係を表す情報を取得する撮影パラメータ取得手段と、前記撮影パラメータ取得手段により取得された前記情報に基づいて、前記音取得手段により取得する前記音信号のうち、所定の方向の音信号を強調する音強調手段と、前記動画像取得手段の動きの状態を表す情報を取得する装置状態取得手段と、前記動画像取得手段により取得された動画像信号から、空間内の所定の基準点の座標が画像上の所定の座標と合致しているか否かを判定する基準点認識手段、として機能させるための動画像音収録プログラムであって、
前記撮影パラメータ取得手段は、前記装置状態取得手段により取得された情報を用いて、前記動画像取得手段と前記音取得手段との位置関係を表す情報を取得し、前記基準点認識手段により合致していると判定され、かつ前記装置状態取得手段により生成された動きの状態を表す情報が静止を表しているとき、撮影方向を表す情報の基準値、および位置関係を表す情報の基準値を取得する、動画像音収録プログラム。
動画像取得手段が被写体を撮影して動画像信号を取得する動画像取得ステップと、
音を収録して音信号を取得する音取得ステップと、
前記動画像取得ステップにおける撮影の方向を表す情報、および前記動画像取得ステップにおける撮影の位置と前記音取得ステップにおける収録の位置との関係を表す情報を取得する撮影パラメータ取得ステップと、
前記撮影パラメータ取得ステップにより取得された前記情報に基づいて、前記音取得ステップにより取得する前記音信号のうち、所定の方向の音信号を強調する音強調ステップと、
前記動画像取得手段の動きの状態を表す情報を取得する装置状態取得ステップと、
前記動画像取得ステップにより取得された動画像信号から、空間内の所定の基準点の座標が画像上の所定の座標と合致しているか否かを判定する基準点認識ステップと、
を有し、
前記撮影パラメータ取得ステップは、前記装置状態取得ステップにより取得された情報を用いて、前記動画像取得ステップと前記音取得ステップとの位置関係を表す情報を取得し、前記基準点認識ステップにより合致していると判定され、かつ前記装置状態取得ステップにより生成された動きの状態を表す情報が静止を表しているとき、撮影方向を表す情報の基準値、および位置関係を表す情報の基準値を取得する、動画像音収録方法。