JP2013525831A

JP2013525831A - 遠隔注視制御システムおよび方法

Info

Publication number: JP2013525831A
Application number: JP2013503948A
Authority: JP
Inventors: イサック・レヴィー; タル・シャローム; メイヤー・セラ; シュテファン・ヴェンガー
Original assignee: デルタ・ヴィディオ・インコーポレイテッド
Priority date: 2010-04-08
Filing date: 2011-04-07
Publication date: 2013-06-20
Also published as: AU2011237473A1; CA2795338A1; WO2011127269A1; CN102918547A; US9141864B2; US20110249136A1; EP2556466A1; AU2011237473B2

Abstract

本発明は、メディアの専門家(例えば、インタビュアーまたは監督)、もしくはメディアの最良の慣行に精通している他の人物が被写体と同じ場所に配置されてない場合に、視覚的に訴求力のある画像をカメラによって撮影することができるように、被写体が見る方向、または被写体とカメラ間の距離を含む、カメラによって画像が撮影される被写体の注視を誘導する技法を提供する。本技法により、メディアの専門家は、手動および自動の両方で、遠くに配置された被写体に視覚的なヒントを提供することができる。

Description

関連出願の相互参照
本出願は、参照により本明細書にその全体が組み込まれている、2010年4月8日に出願した米国仮出願第61/322129号の優先権の利益を主張するものである。

本発明は、TV制作環境におけるユーザインターフェースに関する。より詳細には、本発明は、カメラが視覚的に訴求力のある画像を撮影することができるように、同一場所に配置されていないメディアの専門家(例えば、監督またはプロデューサー)が、カメラによって画像が撮影される被写体の「注視位置」(すなわち、被写体の視覚が注目している方向または被写体が見ている方向)、もしくはカメラと被写体間の距離を誘導することができるように設計された方法、システム、およびプロトコルに関する。

TV制作の1つのシナリオは、インタビューされる被写体が、インタビュアーの場所と物理的に異なる場所にいるインタビューの状況である。インタビュアーが、どうすればTV視聴者に物理的に心地よく見えるかを知っているメディアの専門家であることは極めて一般的であるが、これは、インタビューされる被写体には必ずしも当てはまらない。したがって、メディアの専門家(例えば、インタビュアー、プロデューサー、または監督)が、視聴者が心地よく感じる振る舞いに関するヒントを被写体に提供できれば助けとなりうる。あるいは、または追加で、それらのヒントの提供が自動化できれば助けとなるであろう。

対象とする2つの領域は、被写体の「注視」または「注視位置」、すなわち被写体が見る方向、および被写体とカメラの撮影場所間の距離である。TV放送中、インタビューの状況は、例えば、インタビュアー、被写体、TV視聴者間であたかも直接的な会話を行なっているように、またそれらを適切に撮影するようにしようとする。三者間全てのアイコンタクトは、TV視聴者にとって視覚的に心地よい体験をするのに重要である。したがって、被写体の注視は、インタビュアーおよび撮影カメラに向けられるべきである。同様に、近すぎる(例えば、TV視聴者の文化的な背景に依存しうる、TV視聴者の「快適空間」を侵害する)こともなく、また遠く離れすぎている(明白に距離がある、または遠くにいる印象をもたらす)こともないTV視聴者と被写体間の距離の印象を伝えるように、被写体の頭または顔が再生されるならば、視覚的に心地よい。インタビュアーが、物理的にインタビュアーと同じ場所にいる場合は、どちらの目的も達成困難ではない。しかし、インタビュアーが、遠隔地に配置されている(例えば、別のスタジオに配置されている)場合は、メディアの専門でない被写体に、適切に被写体の注視を誘導し、カメラから一定の距離を保つようにヒントを与える必要がありうる。

スタジオ環境では、注視、距離、および同様の制御は、多くの様々なメカニズムによって提供されうる。例えば、人間の技師が、カメラの物理的な位置を移動させることによって、または被写体の注視をある一定の方向に向けるように被写体に身振りをすることによって、被写体の注視を誘導することができる。技術的なメカニズムの一例は、スタジオTVカメラがそのケーシング上に有しうる「放送中」ライトである。また、専用のライトが被写体の注視を誘導するために使用されることがある。被写体は、例えば、多くのスタジオカメラが備える「放送中」ライト、またはこの目的のために使用される専用のライトに、常に注目するように、インタビュー前にアドバイスを受け訓練を受けることができる。また、専門のオペレータの制御下にあるカメラを、最も心地よい視角を撮影するように移動させることができる。距離の制御に関しては、専門のオペレータの制御の下でカメラをズームすることが、スタジオ環境での1つの手法である。

被写体の注視に関わる対象とする領域には、例えば、虹彩(iris)を、頭もしくは顔の残りの部分との関連で観察することによって、または被写体の頭もしくは顔を、体の他の部位および背景との関連で識別することによって、被写体の目が見る方向を追尾することが含まれる。頭および目の追尾メカニズムおよびアルゴリズムは、以前より幅広く研究されている。入門資料としては、例えば、http://portal.acm.org/citation.cfm?id=355028からも入手可能な、Salvucci、Goldberg、「Identifying fixations and saccades in eye-tracking protocols」、Proceedings of the 2000 symposium on Eye tracking research & applications、71〜78頁、Palm Beach Gardens、Florida、United States、SBN; 1-58113-280-8、および本資料の参考文献を参照されたい。

本発明は、メディアの専門家(例えば、インタビュアーまたは監督)、もしくはメディアの最良の慣行に精通している他の人物が被写体と同じ場所に配置されてない場合に、視覚的に訴求力のある画像をカメラによって撮影することができるように、被写体が見る方向、および被写体とカメラ間の距離を含む、カメラによって画像が撮影される被写体の注視を誘導する技法を提供する。本技法により、メディアの専門家は、手動および自動の両方で、遠くに配置された被写体にヒントを提供することができる。

一例示的な実施形態において、このヒントは、被写体へ視覚的に表示される明示的な指図であってよい。同じまたは別の実施形態において、ヒントは、被写体へ視覚的に表示される明示的な指図以外の視覚的なヒントであってよい。同じまたは別の実施形態において、ヒントは、専用の装置によって提供されうる。同じまたは別の実施形態において、画像解析装置は、被写体の注視位置、または被写体とカメラ間の距離を決定し、それに影響を与えることができる。同じまたは別の実施形態において、被写体の注視位置、または被写体とカメラ間の距離は、手動で決定しうる。

本発明による被写体の注視および被写体とカメラ間の距離を遠隔誘導する高レベルのシステムを示すブロック図である。本発明による例示的なビデオディスプレイを示す図である。本発明による例示的なビデオディスプレイおよびカメラを示す図である。本発明による例示的なビデオディスプレイおよびカメラを示す図である。本発明による視覚的なヒントを移動させるための例示的な機械的な装置を示す図である。本発明による被写体の注視および被写体とカメラ間の距離を遠隔誘導する高レベルのシステムを示すブロック図である。本発明による被写体の注視および被写体とカメラ間の距離を遠隔誘導する高レベルのシステムを示すブロック図である。本発明による被写体の注視および被写体とカメラ間の距離を遠隔誘導する高レベルのシステムを示すブロック図である。

各図面を通して、同じ参照数字および文字は、他の方法で述べられない場合は、例示された実施形態の同様の特徴、要素、構成要素、または部分を指すために使用される。さらに、開示される本発明は、つぎに各図を参照して詳細に説明されるが、例示的な実施形態に関連してそのようになされている。

提示される本発明は、カメラが人間の被写体画像を撮影する環境において有用である。非限定的な例として、インタビュー被写体は、最良のメディアの慣行にほとんど、または全く訓練を受けずに、注視位置およびカメラからの距離に関して被写体に指図することのできる精通したメディアの専門家(例えば、インタビュアー)のいない、専門のスタジオ以外のどこかに配置されていることがある。

図1に示すように、一例示的な実施形態において、本発明は、街頭インタビューの状況で使用されうる。例えば、技師は、携帯メディア撮影装置、例えば、カメラ(103)、マイク(104)、およびビデオディスプレイ(ラップトップ画面)(105)を装備しうるラップトップ(102)を立ち上げることができる。しかし、本発明では、他のメディア撮影装置および視聴覚設備を使用できることが意図されている。ラップトップは、モバイル、無線、または有線のアクセスリンクによって、例えば、インターネットを使用するデータリンク(107)を介して、スタジオ(106)に接続されうる。技師は、被写体がラップトップ画面(105)を見ることができるように、さらに被写体がカメラ(103)の視角内にいるようにラップトップ(102)および被写体(108)を誘導することができる。カメラ(103)はラップトップ(102)に固定されてよく、固定焦点であってよい(すなわち、ズーム機能はない)。同じまたは別のデータリンク(107)によって、ラップトップ(102)は、画面(105)上に表示され、および/もしくは1つまたは複数の音声出力装置(109)、例えばスピーカーを使用して被写体(108)が利用可能な情報を受け取ることができる。

図2は、携帯メディア撮影装置に接続されている例示的なビデオディスプレイ(201)(すなわち、ラップトップ画面)上に表示される例示的な画面内容を示す。インタビューのシナリオでは、インタビューされる被写体が遠隔のインタビュアーから実時間のフィードバックを(主観的に)受け取ることが助けとなり、したがって、インタビュアーの画像を示す1つの窓(202)があってよい。さらに、被写体が「放送中」にあるかどうかを示す表示または明示的な警告(203)があってよい。画面は、他の内容も同様に示すことができる。しかし、ある状況では、他の内容は、気を散らす可能性があり、したがって省略されることがある。

ラップトップの画面は、被写体が見るために設定されうるので、画面を使用して、被写体に視覚的なヒントを提供することができる。例えば、被写体がカメラレンズとアイコンタクトをしなくなった場合、そのことがスタジオで検出されると(人間、または以下に説明する自動監視によって)、画面は、「カメラをのぞき込んでください!」などの警告メッセージを光らせることができる。同じまたは別の実施形態において、ビデオディスプレイは、被写体がカメラレンズに近すぎる、またはカメラレンズから遠く離れすぎていることがスタジオで(人間または自動化手段によって)検出された場合、「もっと近くに!」、または「もっと離れて!」を光らせることができる。しかし、そうした直接的な対話は、被写体が理想的とはいえない振る舞いをする原因となりうる。例えば、アイコンタクトが重要であると手短に説明を受けた被写体は、警告を受けると、自分が専門的に振る舞っていないことに戸惑いを感じ、このことが、インタビューの質にとってマイナスの意味合いをもつことがあり、例えば、被写体が自分の思考の脈絡を失うことがあり、または赤面することがある。同様に、被写体は、自分の頭または顔とカメラ間の理想的な距離に関して手短に説明を受け、しかしそれにもかかわらずその距離から離れ、画面上に明示的な警告メッセージを受けた場合、戸惑いを感じることがある。したがって、被写体にもっと巧妙な誘導を提供するための技法が必要である。

図3を参照すると、本発明の一例示的な実施形態において、巧妙な誘導には、明確なメッセージを表示することによって被写体に指図することなく被写体の注意を引きつける、画面(302)上に表示される視覚的なヒント(301)を表示することが含まれてよく、その結果被写体がこの視覚的ヒントに注目するとき、被写体が自分の注視位置またはカメラからの距離を変え、結果としてより訴求力のある画像となる。視覚的なヒントには、例えば、(画面背景に対して)対照的な色のドットを点滅させることが含まれうる。

良好な注視位置は、被写体ができる限りカメラレンズの近くに注目しているように見えるものであってよく、したがって視覚的なヒントはカメラ(303)の位置に近接して配置されてよく、被写体の注視位置を視覚的なヒント(301)の方に向けるため移動されうる(カメラ(303)は、前から見て描かれており、円はレンズを表し、カメラの視軸の中心は図面の面に対して垂直である)。被写体はラップトップ(302)画面により近づく(またラップトップに据え付けられたカメラのせいで、視覚的なヒントがより小さくなるとカメラにより近づく)傾向にあるが、被写体は視覚的なヒントがより大きくなるとラップトップ画面(およびカメラ)から離れる傾向にあるため、視覚的なヒント(301)の大きさは、例えば、被写体のカメラ(303)までの好ましい距離に応じて変わりうる。

ある一定の心理光学的効果(psycho-optical effects)は、視覚的なヒントをカメラ位置に最も近い点から意図的に離すことによって達成されうることに留意されるべきである。例えば、視覚的なヒントがカメラ視野の中心線よりかなり下の方に配置されている場合、被写体は、この視覚的なヒントに注目する傾向があり、たとえ被写体が控えめな印象を示す意図がなくても、そうした印象を与えうる。視覚的なヒントがカメラ視野の中心線よりかなり上の方に配置されている場合、被写体はこの視覚的なヒントに注目する傾向があり、被写体があたかも自分が「観客よりも上」であると信じているかのように、尊大にさえ被写体を見せることができる。同様に、視覚的なヒントをカメラ視野の右または左に動かすと、被写体がインタビュアーに注意を払らっておらず、むしろ何か他のものに関心を持っているように見せることができる。類似の効果は、たとえ被写体がカメラから適切な距離に位置していても、意図的に、より小さいまたはより大きい視覚的なヒントを選択することによって達成されうる。

視覚的なヒントの位置の他の用途も考えられる。例えば、設定がインタビューの状況ではなくむしろ映画の撮影である場合、被写体(ここでは、俳優)に、遠隔地に配置されているメディアの専門家(例えば、監督)が望むように俳優の見る方向およびカメラの距離を誘導する視覚的なヒントを提供することができる。ほとんどの俳優が抽象的な画面の指令に追随することが可能であるはずだが、視覚的なヒントを使うことによって、俳優は監督の意図を読んで実行する負担から解放され、俳優の精神が自由となり自分の演技の他の面に集中することになる。

図4を参照すると、同じまたは別の実施形態において、視覚的なヒントは、画面(402)上のインタビュアーの窓(401)の位置でありうる。インタビュアーの窓(401)を使用することは、たとえ相手が画面(402)上でしか見えない場合であっても、一部の文化では、被写体が人間のコミュニケーションする相手と自然にアイコンタクトを保ち、相手からの最小および最大の距離を守るため、他のタイプの視覚的なヒントよりも有利である。様々な位置および大きさで、画面(402)上でインタビュアーの窓(401)の形態で視覚的なヒントを提供することによって、被写体は、より抽象的な視覚的なヒントによってよりも、自分の注視および画面(402)(および適切なカメラの配置を想定して、カメラ)からの距離を本能的に調整する傾向が強くなる。

同じまたは他の実施形態において、視覚的なヒントを、画面によってよりもむしろ、または画面に加えて、専用の装置によって提供することもできる。例えば、図5に示すように、機械的な装置を、視覚的なヒントを位置させおよび/またはその大きさを変えるために使用することができる。被写体(501)およびカメラ(502)は、固定位置に配置されうる。例えば、工業用ロボット(503)の形態の装置は、視覚的なヒントを表示することができる(ここでは、視覚的なヒントを被写体の視野内で移動することができるようにランプ(504)の形態で)。工業用ロボット(503)は、被写体(501)の気を散らさないように、ランプ(504)の光は通すが、そうでない場合はロボット(503)を隠す半透明な壁(505)の背後に隠すことができる。本発明により、視覚的なヒントを表示するため多くの他のメカニズムの実装形態を使用することが可能であることが想到される。

図6を参照すると、例示的な実施形態において、ラップトップ(602)にローカルに組み込まれたハードウェアまたはソフトウェアとして実装されうる画像解析装置(601)は、カメラ(604)によって撮影されるようなカメラ信号(603)を解析することができる。この信号解析には、例えば、被写体(606)の虹彩位置(605)の識別、またはカメラ(604)と被写体(606)間の距離(607)の発見的測定(heuristic measurement)(例えば、被写体の頭または顔の平均的な大きさと、カメラの視角と、ビデオストリームの中で頭または顔の描写が占める画素数との相関をとることによる)を含みうる。例えば、被写体(606)が、カメラが見る理想的な中心線の外側の領域に注目している場合は、画像解析装置は、この状況を識別し、視覚的なヒント(609)をカメラ視野の中心線の方に移動するようにラップトップ画面(608)を構成することができる。同様に、画像解析装置(601)は、被写体(606)の頭または顔とカメラ(604)間の距離を決定し、視覚的なヒント(609)を修正して、被写体(606)が理想的な位置に向かって(カメラにより近づくか、またはカメラからより遠くに離れるように)移動しなければならないという誘導を反映するようにラップトップ画面(608)を構成することができる。

同じまたは別の実施形態において、上記で論じたものと同等の画像解析装置を、スタジオに配置した設備に実装することができる。このことは、複雑で潜在的に高価な画像解析ソフトウェア/ハードウェアを、バッテリーで電力を供給され、確実にCPU能力に制約のある、ラップトップ、または他の同様の現場の設備上で実行するか、もしくはラップトップと同じ場所に配置する必要がないので有利である。図7を参照すると、ラップトップ(701)のカメラ(702)は被写体(703)を撮影し、得られたビデオストリームは、カメラまたはラップトップによって圧縮することが可能であり、カメラまたはラップトップによってネットワーク(704)(例えば、インターネット)を介して、スタジオ(705)に送られる。スタジオ(705)において、このビデオストリームは、スタジオが必要としうる制作後のどのような処理にも使用され、放送され、および/または将来使用するために貯めておかれる。しかし、さらにビデオストリームは、画像解析装置(706)にも供給される。

画像解析装置(706)は、確定させることができ、または設定可能とすることができる指針(707)に従ってビデオストリームを解析する。1つの指針は、例えば、視覚的なヒント(711)をカメラ(702)が見る中心線にできる限り近い位置に移動させることによって、被写体(703)のカメラ(702)とのアイコンタクトを最適化するように視覚的なヒント(711)の位置を生成しなければならないということを提供できる。別の指針(707)は、例えば、視覚的なヒント(711)の大きさは、視覚的に最も心地よいカメラ(702)に対する被写体(703)の距離に応じて調整されるべきであるということ、すなわち被写体がカメラの位置により近く移動する必要がある場合は、ヒントの大きさを小さくし、被写体がカメラの位置から遠く離れる必要がある場合は、ヒントの大きさを拡大するということを提供する。これらの例示的な指針(707)は両方とも、例えば、被写体(703)の虹彩位置および顔の空間的な領域をビデオストリームの内容から識別し、視覚的なヒント(711)に対する最新の位置および大きさを作成することによって達成され、この視覚的なヒント(711)が、それを被写体(703)が追うときに、被写体の焦点をカメラ(702)が見る中心線により近づけ、および/またはカメラにより近づけ、もしくはカメラから遠ざけることになる。

一旦作成されると、位置は、プロトコルによってカプセル化され、このプロトコルのプロトコルデータユニット(PDU)(708)がネットワークを介してラップトップ(701)に運ばれうる。ラップトップ(701)内のディスプレイマネージャ(710)は、PDU(708)を受け取り、その内容(最新の位置)を解釈し、それに応じて視覚的なヒント(711)をラップトップ画面(712)上で移動する。

同じまたは別の実施形態において、視覚的なヒントの位置および大きさは、手動で操作し、または決定することもできる。図8を参照すると、スタジオ(804)に配置された人間のオペレータ(801)(例えば、映画監督)は、ラップトップ(802)のカメラによって撮影され、ラップトップ(802)またはカメラによってネットワーク(803)を介してスタジオ(804)まで送られた、カメラまたはラップトップによって圧縮可能な、ビデオストリームを監視することができる。適切な入力メカニズム(805)(例えば、マウス、ジョイスティック、またはキーボード)によって、オペレータは、視覚的なヒントを結合器(806)に供給することができ、この結合器(806)は上記したような画像解析装置(807)からの入力を受け取ることもできる。結合器は、オペレータ(801)からの入力を画像解析装置(807)からの出力と組み合わせて、視覚的なヒントの位置および大きさを収容するPDUを形成し、このPDUがネットワーク(803)を介してラップトップ(802)に運ばれ表示される。

102 ラップトップ
103 カメラ
104 マイク
105 ラップトップ画面
106 スタジオ
107 データリンク
108 被写体
109 スピーカー

Claims

被写体の位置特性を制御するメディア撮影装置であって、
(a)前記被写体の1つまたは複数の画像を撮影するようになされたカメラであり、前記画像の一部が、もしあるとすれば虹彩に対応するカメラと、
(b)前記1つまたは複数の撮影された画像を解析して、虹彩位置および前記被写体と前記カメラ間の距離のうちの1つまたは複数を含む位置特性を決定する、前記カメラと動作可能に結合された画像解析装置と、
(c)前記位置特性に対応する視覚的なヒントを表示する、前記画像解析装置と動作可能に結合された画面と
を備えるメディア撮影装置。
前記視覚的なヒントが、前記被写体の注視を誘導するようになされた視覚的な情報を含む、請求項1に記載のメディア撮影装置。
前記視覚的なヒントが、前記被写体と前記カメラ間の距離を維持するように前記被写体を誘導するようになされた視覚的な情報を含む、請求項1に記載のメディア撮影装置。
被写体の注視位置を制御するシステムであって、
(a)少なくとも1つのメディア撮影装置であり、
(i)前記被写体の1つまたは複数の画像を撮影するようになされたカメラであり、前記画像の一部が、もしあるとすれば虹彩に対応するカメラと、
(ii)位置特性に対応する視覚的なヒントを表示する画面と、
(iii)前記カメラから前記1つまたは複数の撮影された画像を受け取り、前記位置特性に対応する視覚的なヒント情報を前記画面に提供する、前記カメラおよび前記画面に動作可能に結合されたディスプレイマネージャとを備えるメディア撮影装置と、
(b)前記ディスプレイマネージャと動作可能に結合された少なくとも1つのスタジオ設備であり、
(i)前記1つまたは複数の撮影された画像を受け取り、解析して、虹彩位置および前記被写体と前記カメラ間の距離のうちの1つまたは複数を含む位置特性を決定する手段と、
(ii)少なくとも1つの特質を有する、前記位置特性に対応する視覚的なヒント情報を前記画面に対して生成するとともに、前記視覚的なヒント情報を前記ディスプレイマネージャに送る手段とを備えるスタジオ設備と
を備えるシステム。
前記スタジオ設備がオペレータの制御下にある少なくとも1つの入力装置をさらに備える、請求項4に記載のシステム。
前記スタジオ設備が画像解析装置をさらに備える、請求項4に記載のシステム。
前記スタジオ設備が結合器をさらに備える、請求項4に記載のシステム。
前記少なくとも1つの特質が前記ヒントの大きさを含む、請求項4に記載のシステム。
前記少なくとも1つの特質が前記画面上の前記ヒントの場所を含む、請求項4に記載のシステム。
被写体の注視位置を制御する方法であって、
(a)少なくとも1つのスタジオ設備が、少なくとも1つのメディア撮影装置から、前記被写体の1つまたは複数の画像を受け取り、解析して、虹彩位置および前記被写体と前記カメラ間の距離のうちの1つまたは複数を含む位置特性を決定するステップと、
(b)前記少なくとも1つのスタジオ設備が、少なくとも1つの特質を有する、前記位置特性に対応する視覚的なヒント情報を前記少なくとも1つのメディア撮影装置に対して生成するステップと、
(c)前記少なくとも1つのスタジオ設備が、前記視覚的なヒント情報を前記少なくとも1つのメディア撮影装置に送るステップと、
(d)前記少なくとも1つのメディア撮影装置が、位置特性に対応する視覚的なヒント情報を画面上に表示するステップと
を含む方法。
前記視覚的なヒントの前記少なくとも1つの特質の決定が、少なくとも一人の人間のオペレータ、少なくとも1つの画像解析装置、または少なくとも1つの結合器のうちの少なくとも1つによってなされる、請求項10に記載の方法。
前記少なくとも1つの特質が、前記視覚的なヒントの大きさを含む、請求項10に記載の方法。
前記少なくとも1つの特質が、前記視覚的なヒントの位置を含む、請求項10に記載の方法。