JP2010283706A - ビデオカメラ - Google Patents

Abstract

【課題】ズーム比率に連動したマイク指向角の制御において、映像と音声の整合をとって被写体の声を確実に捉えるため、ビデオカメラのマイク指向角と被写体との距離を関連付ける。
【解決手段】ズーム比率に連動してマイクの指向角を制御するとともに、撮影画像内に映る被写体の大きさに応じて更にマイクの指向角を制御することで、映像と音声の整合をとりつつ、騒がしい撮影環境下でも確実に被写体の声を捉えることができるようになる。
【選択図】図１

Description

本発明は、ビデオカメラに関する。例えば、撮影した映像に応じてマイクの指向角を制御する音声信号処理機能を有するビデオカメラに関するものである。

本技術分野の背景技術として、例えば、特開２００４−３２８０５２号公報（特許文献１）がある。該公報には「［課題］ビデオカメラのテレ（望遠）側の音質を目的音の間近で聞く音質に近いものとし、臨場感溢れる音声ズーム効果を得ること。［解決手段］ビデオカメラのズームレンズ比率に連動させてマイクからの音声信号を制御するズームマイクロホン装置であって、音声信号の指向性と感度とをズームレンズ比率に連動させて変化させる（３）とともに、ズームレンズ比率に連動させて音声信号の周波数特性を変化させる構成（４）とする。また、マイクからの音声信号は、ステレオマイク又はモノラルマイクからの信号（１）と超指向性マイクからの信号（２）とからなる構成とする。また、音声信号の周波数特性変化は、音声信号の低域成分と高域成分とを強調する処理である構成とする。」（要約）と記載されている。

また、例えば、特開２００６−２５８８３６号公報（特許文献２）がある。該公報には、「［課題］カメラの駆動音の影響を抑えて高音質な音を録音することができ、また、撮影画像と音声との整合がとれ、さらに、撮影状況に応じて最適な機材構成を選択可能な外付け照明装置、カメラシステムを提供する。［解決手段］デジタルカメラ本体１００に対して着脱自在な外付け照明装置１０に、マイク部１２ａ，１２ｂを設ける。そして、マイク部１２ａ，１２ｂから得た情報、及び、デジタルカメラ本体１００が得た情報を相互に利用し合い、マイク部１２ａ，１２ｂの制御、及び、デジタルカメラ本体１００の制御をより的確に行う。」（要約）と記載されている。

特開２００４−３２８０５２号公報 特開２００６−２５８８３６号公報

ビデオカメラにおいては、ズームレンズが搭載されているものが一般的であり、広角側（以降、Ｗ側という）から望遠側（以降、Ｔ側という）まで、さまざまな映像が撮影できるようになっている。撮影時には音声も同時に録音しており、単機能のマイクでは、撮影映像と音声の整合がとれないという問題がある。この問題を解決するため、例えば、特開２００４−３２８０５２号公報に記載のように、ビデオカメラのズーム比率に連動させて、マイクからの音声信号の指向性と感度とを変化させるとともに、音声信号の周波数特性を変化させるものがある。

また、例えば、特開２００６−２５８８３６号公報に記載のように、撮影画像の一部を切り取り記録するデジタルズーム時には、マイクの集音範囲（指向性）を狭くするようにマイクズームを制御したり、顔認識機能により認識された顔の方向にマイクの集音指向性を対応させるものがある。

特開２００４−３２８０５２号公報に記載の技術を用いたビデオカメラにおいては、ズーム比率に連動して、マイクからの音声信号の指向性（以降、指向角という）を制御している。すなわち、Ｔ側でマイクの指向角を狭くし、Ｗ側でマイクの指向角を広くして目的音を捉えようとしているものである。しかし、人物を撮影する場合、上記のビデオカメラにおいては、ビデオカメラと被写体との距離について、何ら考慮されていない。人物を撮影する場合、被写体とビデオカメラとの距離は撮影シーンによって異なる。撮影シーンによっては、被写体が図５に示す（ｃ）の位置にいる場合や、（ｅ）の位置にいる場合が考えられる。これを、Ｔ側で撮影するとズーム比率は同じであるため、マイクの指向角も同じ状態で撮影することになる。撮影画像内に写る範囲の音声を録音するようにマイクの指向角が設定されていると、（ｃ）の位置にいる場合は被写体の声をうまく録音することができるが、（ｅ）の位置にいる場合は被写体の周囲の音を拾ってしまい、周囲が騒がしい撮影環境下の場合、被写体の声をうまく録音することができず、映像と音声の整合が取れない場合がある。また、（ｅ）の位置にいる被写体の声を録音できるように、撮影画像内に移る範囲よりもさらにマイクの指向角を狭く設定すると、（ｃ）の位置にいる被写体を撮影した場合、マイクの指向角が狭すぎて、映像と音声の整合がとれなくなってしまう。これは、Ｗ側においても同様である。すなわち、ズーム比率のみでマイクの指向角を制御すると、映像と音声の整合が取れないケースが出てくる。

特開２００６−２５８８３６号公報に記載の技術を用いたビデオカメラにおいては、顔認識により取得した撮影画像内の被写***置情報を利用してマイクの集音指向性を制御するものであるが、撮影画像内の被写体の大きさ（ビデオカメラと被写体の距離に相当）に関することについては記載がなく、何ら考慮されていない。よって、上記特開２００４−３２８０５２号公報に記載の技術を用いたビデオカメラと同様な問題を生じてしまう。

本発明の目的は、映像と音声の整合を取りつつ、被写体の声をより確実に捉えることができるビデオカメラを提供することである。

前記課題の全部または一部を解決または改善するために、特許請求の範囲に記載の構成とする。例えば、ズーム比率に連動してマイクの指向角を制御するとともに、顔検出機能より撮影画像内の被写体の顔を検出し、その顔の大きさに連動させて、さらにマイクの指向角を制御する構成とする。

本発明によれば、映像と音声の整合を取りつつ、被写体の声をより確実に捉えることができる。

上記した以外の課題、構成及び効果は、以下の実施形態の説明により明らかにされる。

本発明の実施形態に係る全体構成を示すブロック図である。 内蔵マイクの指向角を制御する際の動作を示すフロー図である。 人物が映っている時の、一般的な撮影画像である。 ズーム比率、顔の大きさ、マイクの指向角の関係を示した図である。 ビデオカメラと被写体との位置関係を示した図である。 撮影画像の一覧図である。 顔の大きさによって制御範囲を３段階に分割した場合のズーム比率、顔の大きさ、マイクの指向角の関係を示した図である。

以下に本発明の実施形態について図面を用いて詳細に説明する。

本発明の実施形態に係るビデオカメラのシステムを説明する。
図１は第１の本実施形態のビデオカメラの全体構成を示すブロック図である。図１において、１００はズームレンズ、１０１は画像センサー、１０２は画像処理回路、１０３は撮影画像表示装置、１０４はズーミングスイッチ、１０５はズームレンズ制御回路、１０６はＣＰＵ、１０７は記録手段、１０８はマイク制御回路、１０９は音声信号演算処理回路、１１０は内蔵マイク、１２０はビデオカメラである。

まず、最初に映像について説明する。画像センサー１０１は、例えばＣＣＤセンサーなどであり、ズームレンズ１００から入射した光学映像を電気信号に変換し、その電気信号は画像処理回路１０２により画像処理され、ＣＰＵ１０６に出力する。ＣＰＵ１０６には、顔の検出・解析等を行う機能（以降、顔検出機能という）を備えており、画像処理回路１０２からの映像信号から、人物（被写体）の顔の位置、大きさを検出し、その顔情報をズームレンズ制御回路１０５に出力する。ズームレンズ制御回路１０５は、ＣＰＵ１０６にて検出された人物の顔の位置にフォーカスを合わせるようにズームレンズ１００を制御する。このとき、撮影者に人物の顔を検出したことを通知するために、検出した顔部分に枠（顔検知枠）を付けて表示している。顔検知枠については後述する。顔の検出と同時に顔検出枠の大きさ（顔の大きさ）の情報をマイク制御回路１０８に出力している。なお、顔検出枠を付けて表示するのは、後述する撮影画像表示装置１０３のみである。
なお、撮影画像が風景などの人物を含まない場合は、ＣＰＵ１０６においては、被写体（人物）の顔の位置、大きさを検出できないため、このときズームレンズ制御回路１０５は、例えば撮影画像の中心近傍にフォーカスを合わせるようにズームレンズ１００を制御する。

また、ビデオカメラ１２０には、ズーム機能が設けられており、ユーザーがズーミングスイッチ１０４を操作することにより、そのズーム制御情報がＣＰＵ１０６、ズームレンズ制御回路１０５に出力し、ズームレンズ１００のズーム比率を制御する。このとき、上記ズーム制御情報（ズーム比率）はマイク制御情報回路１０８にも出力される。
次に、音声について説明する。音声は内蔵マイク１１０にて、電気信号に変換される。ここで、マイク制御回路１０８は、ＣＰＵ１０６より出力されてきた顔の大きさ情報、ズーム制御情報（ズーム比率）によりマイクの指向角を求め、その指向角になるように音声信号演算回路１０９は、内蔵マイク１１０からの音声信号を演算処理を行い、ＣＰＵ１０６に出力する。

ＣＰＵ１０６に入力された映像信号、音声信号は所定のフォーマットに変換され、記録手段１０７に記録される。記録手段１０７は、ハードディスクドライブ、光ディスクドライブ、半導体メモリ等であり、ビデオカメラ１２０から脱着可能、内部固定など特に限定されない。このときの映像は、撮影画像表示装置１０３に表示され、ユーザーは撮影中の映像を確認することができる。また、記録手段１０７に保存してある映像・音声データを撮影画像表示装置１０３に出力することもできる。

図２は、内蔵マイク１１０の指向角を制御する際の動作を示すフロー図である。撮影を開始すると、同時に本動作も開始（Ｓ２０１）する。次に、ＣＰＵ１０６の顔検出機能により被写体の顔の検出を行う（Ｓ２０２）。被写体の顔が検出されたら（Ｓ２０３）、顔の部分に顔検出枠を付け、顔の大きさ）を求める（Ｓ２０４）。次にズームレンズ制御回路を制御するためのズーム比率情報を検出（Ｓ２０５）する。Ｓ２０４にて顔が検出された場合は、顔の大きさ（Ｓ２０４）とズーム比率（Ｓ２０５）の２つの情報より、マイクの指向角を演算する（Ｓ２０６）。また、Ｓ２０３にて顔が検出されなかった場合は、Ｓ２０６ではズーム比率（Ｓ２０５）よりマイクの指向角を演算する。ここで、Ｓ２０６の演算は上記したようにマイク制御回路１０８にて行っており、ここで求めたマイクの指向角になるように音声信号演算回路１０９を制御する（Ｓ２０７）。Ｓ２０８にて撮影が継続されているかを判断し、継続されている場合はＳ２０２に戻り、本処理を繰り返す。撮影が終了している場合は、本処理を終了する（Ｓ２０９）。

次に、ズーム比率、および撮影画像内の人物の顔の大きさと、マイクの指向角について説明する。まず、撮影画像と顔検出枠の関係を説明する。

図３は、撮影画像の一例であり、１は撮影画像、２は顔検出枠、３は人物（被写体）である。ＣＰＵ１０６は、撮影画像１内の人物３の顔を検出して、撮影画像表示装置１０３に表示する映像の顔の位置に顔検出枠２を表示するようにしている。これは、撮影者に顔を検出したことを知らせるためである。また、撮影画像１を用いてＣＰＵ１０６は顔検出しているため、顔検出能力には限界がある。たとえば、顔の大きさが小さすぎると、顔の中の目や鼻などが識別できないため、顔として検出することができない。また、逆に顔が大きすぎた場合でも、撮影画像１から顔の一部がはみ出てしまい、顔として検出することができない。撮影画像において検出可能な顔の大きさの最小値をａとし、検出可能な顔の大きさの最大値をｂとする。すなわち顔の大きさをｃとすると、ａ＜ｃ＜ｂという関係となる。

図４はズーム比率、顔の大きさ、マイクの指向角の関係を示した図である。Ｘ軸が顔の大きさ、Ｙ軸がズーム比率、Ｚ軸がマイクの指向角を示している。４０１はＣＰＵ１０６により顔が検出された場合、すなわち、顔の大きさｃが顔検出可能範囲（ａ＜ｃ＜ｂ）のときのマイクの指向角であり、４０２はＣＰＵ１０６にて顔が検出されなかったときのマイクの指向角である。４０１に示すように、顔の大きさｃが顔検出可能範囲（ａ＜ｃ＜ｂ）においては、マイクの指向角はズーム比率、及び撮影画像内の人物の顔の大きさの２つの情報によって決定される。ズーム比率が大きいほどマイクの指向角を小さくし、さらに顔の大きさが大きいほどマイクの指向角が大きくなるように制御している。顔の大きさｃが検出可能な顔の大きさの最小値ａより小さいとき（ｃ＜ａ）、検出可能な顔の大きさの最大値ｂより大きいとき（ｂ＜ｃ）、または撮影画像の中に人物がいない場合においては、４０２に示すようにズーム比率の情報のみで指向角が決定され、ズーム比率が大きいほどマイクの指向角を小さくするよう制御している。なお、４０１の顔の大きさｃと検出可能な顔の大きさの最大値が同じとき（ｃ＝ｂ）と、４０２の傾きは一致するようにしている。すなわち、図２のＳ２０３において、顔が検出されたときはＳ２０７では４０１の制御を行い、顔が検出されなかったときはＳ２０７では４０２の制御を行う。

次に、ビデオカメラと人物の距離と、そのときの撮影画像の関係について説明する。図５はビデオカメラと被写体との位置関係を示した図（上から見た図）である。図５（ａ）はビデオカメラの画角を示しており、５０１ＷはＷ側の画角、５０１ＴはＴ側の画角である。また、５１０は被写体である人物であり、ａ〜ｅは位置を示している。図５（ｂ）はマイクの指向角を示しており、５０２Ｗａ〜５０２Ｗｃは、ズーム比率がＷ側で被写***置がそれぞれａ〜ｃ時のマイクの指向角であり、５０２Ｔｃ〜５０２Ｔｅは、ズーム比率がＴ側で被写***置がそれぞれｃ〜ｅ時のマイクの指向角である。

図６は、撮影画像の一覧図である。被写体の位置ａ〜ｅは図５と対応している。１Ｗａ〜１Ｗｃは、Ｗ側で被写体が位置ａ〜ｃにいる時の撮影画像、２Ｗａ〜２Ｗｃは撮影画像１Ｗａ〜１Ｗｃに映る人物の顔検出枠である。一方、１Ｔｃ〜１ＴｅはＴ側で被写体が位置ｃ〜ｅにいる時の撮影画像。２Ｔｃ〜２Ｔｅは撮影画像１Ｔｃ〜１Ｔｅに映る人物の顔検出枠である。Ｗ側では人物がａからｃへと遠ざかるにつれて、ビデオカメラ１２０と人物の距離に比例して顔検出枠が小さくなっていく。Ｔ側でも同様に、人物がｃからｅへと遠ざかるにつれて、顔検出枠が小さくなっていく。

図７は、図４の４０１を変形した制御方法の一例である。７０１のような制御を行うことで顔がある程度大きくなったら指向角を変化させるのを止めたり、顔が小さい時はより指向角を狭くするといった詳細な設定を行うことができる。

上記のズーム比率と撮影画像内の顔の大きさによるマイク指向角の制御により、以下のように課題を解決することが出来る。

例えば、被写体が図５に示す(ｃ)の位置と(ｅ)の位置におりＴ側で撮影するシーンを想定する。(ｃ)の位置にいる場合は図６の２Ｔｃに示すように撮影画像内の顔検出枠が大きいため、図４の４０１の傾きが４０２に近い制御となる。すなわち、ズーム比率によるマイク指向角の制御のみで映像と音声の整合が取れており、顔の大きさによる制御はほとんど行われないようになっている。

一方、(ｅ)の位置にいる場合は図６の２Ｔｅに示すように撮影画像内の顔検出枠が小さいため、図４の４０１に示すようにマイク指向角を狭くするような制御が働く。これにより、ズーム比率による制御のみでは映像と音声に不整合が発生するような撮影シーンでも整合を取ることが可能となる。Ｗ側でも同様である。

上記の撮影画像内の被写体の大きさに応じたマイク指向角の制御は、ビデオカメラに本発明を実現するスイッチボタンを取り付けることでＯＮ/ＯＦＦを切替えられるものとする。

なお、以上の説明はビデオカメラに関して行ってきたが、ズーム機能・顔認識機能をもつその他の動画撮影記録装置についても本発明の実施形態に含まれる。

また，添付図面を参照しながら本発明にかかる好適な実施形態について説明したが，本発明はかかる例に限定されないことは言うまでもない。当業者であれば，特許請求の範囲に記載された技術的思想の範疇内において，各種の変更例または修正例に想到し得ることは明らかであり，それらについても当然に本発明の技術的範囲に属するものと了解される。

１００ ズームレンズ
１０１ 画像センサー
１０２ 画像処理回路
１０３ 撮影画像表示装置
１０４ ズーミングスイッチ
１０５ ズームレンズ制御回路
１０６ ＣＰＵ
１０７ 記録手段
１０８ マイク制御回路
１０９ 音声信号演算処理回路
１１０ 内蔵マイク
１２０ ビデオカメラ
Ｓ２０１ 内蔵マイクの指向角制御フローの開始
Ｓ２０２ 顔検出開始
Ｓ２０３ 撮影画像内に顔があるかないかの判定
Ｓ２０４ 顔の大きさ検出
Ｓ２０５ ズーム比率検出
Ｓ２０６ マイク指向角演算
Ｓ２０７ マイク指向角制御
Ｓ２０８ 撮影継続か終了かの判定
Ｓ２０９ 内蔵マイクの指向角制御フローの終了
１ 撮影画像
２ 撮影画像内の顔検出枠
３ 撮影画像内の被写体
４０１ 顔の大きさとズーム比率の２つの情報によって決まるマイクの指向角
４０２ ズーム比率の情報のみで決まるマイクの指向角
５０１Ｗ Ｗ側での撮影画角及び音声指向角
５０１Ｔ Ｔ側での撮影画角及び音声指向角
５１０ａ〜５１０ｅ ビデオカメラに対する被写体の位置
５０２Ｗａ〜５０２Ｗｃ ズーム比率がＷ側で被写***置がそれぞれａ〜ｃ時のマイクの指向角
５０２Ｔｃ〜５０２Ｔｅ ズーム比率がＴ側で被写***置がそれぞれｃ〜ｅ時のマイクの指向角
１Ｗａ〜１Ｗｃ 被写***置ａ〜ｃに対応したＷ側での撮影画像
２Ｗａ〜２Ｗｃ 撮影画像１Ｗａ〜１Ｗｃに対応した顔検出枠
１Ｔｃ〜１Ｔｅ 被写***置ｃ〜ｅに対応したＴ側での撮影画像
２Ｔｃ〜２Ｔｅ 撮影画像１Ｔｃ〜１Ｔｅに対応した顔検出枠
７０１ 顔の大きさとズーム比率の２つの情報によって決まるマイクの指向角（顔の大きさによって制御範囲を３段階に分割した例）

Claims (5)

1. 撮影した画面内から人物の顔を検出する顔検出機能を有するビデオカメラにおいて、ズーム比率に連動して、マイクの指向角を変化させ、撮影した画面内の人物の顔の大きさに応じて、さらにマイクの指向角を変化させる音声信号処理機能を有することを特徴とするビデオカメラ。
2. 被写体を撮像する撮像手段と、
   撮像する被写体に対し所定のズーム比率で大きさを変えるズーム手段と、
   被写体に含まれる特定被写体の大きさを検出する検出手段と、
   音声を集音するマイクと、
   前記ズーム手段におけるズーム比率と前記検出手段で検出される特定被写体の大きさとに応じて、前記マイクの指向角を変化させるマイク制御手段と、
   を備えることを特徴とするビデオカメラ。
3. 請求項２において、
   前記特定被写体は、人物の顔であること、
   を特徴とするビデオカメラ。
4. 請求項１ないし３のいずれかにおいて、
   前記ズーム比率が大きくなるほど、前記マイクの指向角を狭くするように変化させること、
   を特徴とするビデオカメラ。
5. 請求項１ないし４のいずれかにおいて、
   前記顔の大きさが大きくなるほど、前記マイクの指向角を広くするように変化させること、
   を特徴とするビデオカメラ。

Images