JP2006197505A - カメラ制御装置、カメラシステム、電子会議システムおよびカメラ制御方法 - Google Patents

カメラ制御装置、カメラシステム、電子会議システムおよびカメラ制御方法 Download PDF

Info

Publication number
JP2006197505A
JP2006197505A JP2005009417A JP2005009417A JP2006197505A JP 2006197505 A JP2006197505 A JP 2006197505A JP 2005009417 A JP2005009417 A JP 2005009417A JP 2005009417 A JP2005009417 A JP 2005009417A JP 2006197505 A JP2006197505 A JP 2006197505A
Authority
JP
Japan
Prior art keywords
camera
face
person
information
direction information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2005009417A
Other languages
English (en)
Other versions
JP4770178B2 (ja
Inventor
Jo Matsui
丈 松井
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Priority to JP2005009417A priority Critical patent/JP4770178B2/ja
Priority to US11/328,258 priority patent/US7675539B2/en
Priority to EP06250146A priority patent/EP1681855A3/en
Priority to TW095101216A priority patent/TW200643806A/zh
Priority to KR1020060004313A priority patent/KR101231518B1/ko
Priority to CNB2006100050881A priority patent/CN100556079C/zh
Publication of JP2006197505A publication Critical patent/JP2006197505A/ja
Application granted granted Critical
Publication of JP4770178B2 publication Critical patent/JP4770178B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • EFIXED CONSTRUCTIONS
    • E02HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
    • E02DFOUNDATIONS; EXCAVATIONS; EMBANKMENTS; UNDERGROUND OR UNDERWATER STRUCTURES
    • E02D29/00Independent underground or underwater structures; Retaining walls
    • E02D29/02Retaining or protecting walls
    • E02D29/0225Retaining or protecting walls comprising retention means in the backfill
    • E02D29/0241Retaining or protecting walls comprising retention means in the backfill the retention means being reinforced earth elements
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/14Systems for two-way working
    • H04N7/141Systems for two-way working between two video terminals, e.g. videophone
    • H04N7/142Constructional details of the terminal equipment, e.g. arrangements of the camera and the display
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/61Control of cameras or camera modules based on recognised objects
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/695Control of camera direction for changing a field of view, e.g. pan, tilt or based on tracking of objects
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/14Systems for two-way working
    • H04N7/141Systems for two-way working between two video terminals, e.g. videophone
    • H04N7/147Communication arrangements, e.g. identifying the communication as a video-communication, intermediate storage of the signals
    • EFIXED CONSTRUCTIONS
    • E02HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
    • E02DFOUNDATIONS; EXCAVATIONS; EMBANKMENTS; UNDERGROUND OR UNDERWATER STRUCTURES
    • E02D2300/00Materials
    • E02D2300/0085Geotextiles

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Mining & Mineral Resources (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Life Sciences & Earth Sciences (AREA)
  • Environmental & Geological Engineering (AREA)
  • Paleontology (AREA)
  • Civil Engineering (AREA)
  • General Engineering & Computer Science (AREA)
  • Structural Engineering (AREA)
  • Studio Devices (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Closed-Circuit Television Systems (AREA)

Abstract

【課題】 人物ごとの撮像方向の登録操作を行うことなく、簡単な操作で複数のうちの1人の人物をカメラにより確実に撮像させる。
【解決手段】 カメラ10の撮像対象とする複数の人物のそれぞれの顔がカメラ10による撮像範囲の中央に位置するときの顔方向情報を人物ごとに記憶する顔位置データベース31と、カメラ10の撮像画像信号から顔の位置を検出する顔認識モジュール32と、顔位置検出による検出結果と現在のカメラ10の撮像方向を示す情報とを基に顔方向情報を算出して顔位置データベース31に登録するデータベース更新モジュール33と、ユーザの操作入力により指定された隣接方向の人物に対応する顔方向情報を顔位置データベース31から読み出し、当該顔方向情報に応じて雲台20を制御してカメラ10の撮像方向を変化させるデータベース検索モジュール34とを具備する。
【選択図】 図2

Description

本発明は、撮像方向を変化させる駆動装置を備えたカメラの撮像範囲を制御するカメラ制御装置、このカメラ制御装置を備えたカメラシステムおよび電子会議システム、およびカメラ制御方法に関し、特に、カメラの撮像方向を変える操作の利便性を高めたカメラ制御装置、カメラシステム、電子会議システム、およびカメラ制御方法に関する。
近年、会議における集音音声および撮像画像の信号を通信回線を通じて互いに送受信することで、遠隔地で会議を行うことが可能なテレビ会議システムが注目されている。このようなシステムでは、発言している人を撮像してその画像信号を相手側に送信できることが望ましいが、そのためには、人の操作によりカメラを切り替えたり、あるいは発言者側にカメラを向ける必要があった。
一方、画像信号から人物などを自動認識する技術が様々な装置に利用されている。例えば、カメラによる撮像信号のうち、時間的に隣接する2つのフレーム間の差分から人物などの動体を検出し、カメラの撮像方向を動かしてその動体を追尾するようにした動体画像監視装置があった(例えば、特許文献1参照)。また、撮像範囲内の人物の顔を検出して追尾するとともに、その顔の特徴情報を記憶しておき、その後に撮像された人物の特徴情報と記憶された特徴情報とを比較して、危険人物に対して警報できるようにした撮影装置もあった(例えば、特許文献2参照)。
特開2003−219225号公報(段落番号〔0009〕〜〔0011〕、図2) 特開2000−163600号公報(段落番号〔0098〕〜〔0103〕、図18)
ところで、上述したテレビ会議システムでは、簡単な操作で、あるいは自動的に発言者を撮像して、その画像信号を相手側に送信できることが望ましい。そのためには、撮像方向を変化させるための機構を備えたカメラを用い、電子制御により発言者の方向にカメラを向けるシステムを構築すればよい。しかし、カメラの撮像方向やズーム倍率を徐々に変化させる操作手法では、撮像方向を素早く移動させ、発言者を画面中央に確実に映すためには操作者の負担が大きいという問題があった。また、発言者の位置情報をあらかじめ記憶させておき、ボタン操作などによりその位置情報を読み出すことでそれぞれの発言者を自動的に撮像する構成とすれば、操作が簡単になる。しかしそのためには、システムの使用前に発言者の位置をあらかじめ記憶させる必要があり、操作が面倒であるという問題があった。
本発明はこのような点に鑑みてなされたものであり、人物ごとの撮像方向の登録操作を行うことなく、簡単な操作で複数のうちの1人の人物をカメラにより確実に撮像させることが可能なカメラ制御装置を提供することを目的とする。
また、本発明の他の目的は、人物ごとの撮像方向の登録操作を行うことなく、簡単な操作で複数のうちの1人の人物をカメラにより確実に撮像させることが可能なカメラシステムを提供することである。
さらに、本発明の他の目的は、人物ごとの撮像方向の登録操作を行うことなく、簡単な操作で複数のうちの1人の人物をカメラにより確実に撮像させることが可能なカメラシステムを備えた電子会議システムを提供することである。
また、本発明の他の目的は、人物ごとの撮像方向の登録操作を行うことなく、簡単な操作で複数のうちの1人の人物をカメラにより確実に撮像させることが可能なカメラ制御方法を提供することである。
本発明では上記課題を解決するために、撮像方向を変化させる駆動装置を備えたカメラの撮像範囲を制御するカメラ制御装置において、前記カメラの撮像対象とする複数の人物のそれぞれの顔が、前記カメラによる撮像範囲の中央に位置するときの顔方向情報を、撮像対象の人物ごとに記憶する記憶手段と、前記カメラの撮像画像信号から人物の顔の位置を検出する顔位置検出手段と、前記顔位置検出手段による検出結果と現在の前記カメラの撮像方向を示す情報とを基に前記顔方向情報を算出して前記記憶手段に登録する登録手段と、ユーザの操作入力により指定された人物に対応する前記顔方向情報を前記記憶手段から読み出し、当該顔方向情報に応じて前記駆動装置を制御して前記カメラの撮像方向を変化させる駆動制御手段とを有することを特徴とするカメラ制御装置が提供される。
このようなカメラ制御装置では、撮像対象とする各人物に対応する顔方向情報を記憶手段が記憶し、駆動制御手段が、ユーザの操作入力により指定された人物に対応する顔方向情報を記憶手段から読み出し、その顔方向情報に応じて駆動装置を制御する。これにより、ユーザ操作により例えば人物を指定するだけで、指定された人物の顔が画面の中央に位置するように自動的にカメラの撮像方向が変化する。また、顔位置検出手段がカメラの撮像画像信号から人物の顔の位置を検出し、その検出結果と現在のカメラの撮像方向を示す情報とを基に登録手段が顔方向情報を算出して、記憶手段に登録する。これにより、撮像された人物に対応する顔方向情報が記憶手段に自動的に登録される。
また、本発明では、撮像方向を変化させる駆動装置を備えたカメラの撮像範囲を制御するためのカメラ制御方法において、検出手段が、前記カメラの撮像画像信号から人物の顔の位置を検出する検出ステップと、登録手段が、前記検出ステップによる検出結果と現在の前記カメラの撮像方向を示す情報とを基に、前記カメラの撮像対象とする複数の人物のそれぞれの顔が前記カメラによる撮像範囲の中央に位置するときの顔方向情報を算出し、検出された人物ごとにデータベースに登録する登録ステップと、駆動制御手段が、ユーザの操作入力により指定された人物に対応する前記顔方向情報を前記データベースから読み出し、当該顔方向情報に応じて前記駆動装置を制御して前記カメラの撮像方向を変化させる駆動制御ステップとを含むことを特徴とするカメラ制御方法が提供される。
このようなカメラ制御方法では、登録ステップにより、撮像対象とする各人物に対応する顔方向情報がデータベースに記憶され、駆動制御ステップにより、ユーザの操作入力により指定された人物に対応する顔方向情報がデータベースから読み出され、その顔方向情報に応じて駆動装置が制御される。これにより、ユーザ操作により例えば人物を指定するだけで、指定された人物の顔が画面の中央に位置するように自動的にカメラの撮像方向が変化する。また、検出ステップにより、カメラの撮像画像信号から人物の顔の位置が検出され、その検出結果と現在のカメラの撮像方向を示す情報とを基に、登録ステップで顔方向情報が算出されてデータベースに登録される。これにより、撮像された人物に対応する顔方向情報がデータベースに自動的に登録される。
本発明のカメラ制御装置によれば、撮像対象とする各人物に対応する顔方向情報を記憶手段が記憶し、駆動制御手段が、ユーザの操作入力により指定された人物に対応する顔方向情報を記憶手段から読み出し、その顔方向情報に応じて駆動装置を制御するようにしたことで、例えば人物を指定するという簡単な操作入力を行うだけで、指定された人物の顔が画面の中央に正確に位置するようにカメラの撮像方向を自動的に変化させることができる。また、顔位置検出手段がカメラの撮像画像信号から人物の顔の位置を検出し、その検出結果と現在のカメラの撮像方向を示す情報とを基に登録手段が顔方向情報を算出して、記憶手段に登録するようにしたことで、あらかじめ人物ごとの顔方向情報の登録操作を行うことなく、撮像された人物に対応する顔方向情報を記憶手段に自動的に登録することができる。
また、本発明のカメラ制御方法によれば、撮像対象とする各人物に対応する顔方向情報をデータベースに記憶し、駆動制御ステップで、ユーザの操作入力により指定された人物に対応する顔方向情報をデータベースから読み出して、その顔方向情報に応じて駆動装置を制御するようにしたことで、例えば人物を指定するという簡単な操作入力を行うだけで、指定された人物の顔が画面の中央に正確に位置するようにカメラの撮像方向を自動的に変化させることができる。また、検出ステップでカメラの撮像画像信号から人物の顔の位置を検出し、その検出結果と現在のカメラの撮像方向を示す情報とを基に登録ステップで顔方向情報を算出して、データベースに登録するようにしたことで、あらかじめ人物ごとの顔方向情報の登録操作を行うことなく、撮像された人物に対応する顔方向情報をデータベースに自動的に登録することができる。
以下、本発明の実施の形態を図面を参照して詳細に説明する。以下の説明では、テレビ会議システムに用いられるカメラシステムに本発明を適用した場合を想定する。
<第1の実施の形態>
図1は、第1の実施の形態に係るカメラシステムのシステム構成を示す図である。
図1に示すカメラシステムは、会議に出席している複数の人物を1台のカメラ10で撮像するためのものである。このシステムは、ズーム機能を備えたカメラ10と、カメラ10の撮像方向を変化させる雲台20と、雲台20の動作を制御するカメラ制御装置30と、リモートコントローラ40aからの赤外線信号を受信する赤外線受光部40と、システム全体を統括的に制御するCPU50と、撮像画像などを表示するディスプレイ60と、画像信号を圧縮符号化する画像エンコーダ70とを具備する。
カメラ10は、雲台20によりその撮像方向が水平方向/垂直方向に変化され、またCPU50からの制御信号(ズームコマンド)によってズームレンズの焦点距離が制御されるようになっている。また、このカメラ10は、撮像した画像信号をカメラ制御装置30に供給する。雲台20は、水平方向/垂直方向に対する撮像方向を指示する制御情報(後述するPdeg,Tdeg)をカメラ制御装置30から受けて、それらの値に応じて駆動する。また、現在のPdeg,Tdegの値をカメラ制御装置30に通知できるようになっている。
カメラ制御装置30は、CPU50からのパン/チルト動作に対する操作コマンドに応じて、雲台20の動作を制御する。また、カメラ10による撮像画像信号をディスプレイ60や画像エンコーダ70に供給する。
これらに加えてカメラ制御装置30は、複数の人物の顔の位置をデータベースとして保持し、操作コマンドに応じて任意の顔が規定の大きさで自動的に撮像されるように雲台20やズーム動作を制御する機能、および、カメラ10による撮像画像信号から人物の顔を認識して、その位置情報をデータベースに登録/更新する機能を具備している。そして、それらの機能のために、雲台20から現在のPdeg,Tdegの値を取得することや、また、CPU50から現在のズーム動作の制御値(後述するZdeg)を取得すること、CPU50にZdegの値を出力してカメラ10のズーム動作を制御することなどが可能となっている。
赤外線受光部40は、雲台20の駆動やカメラ10のズーム機能を制御するための赤外線信号をリモートコントローラ40aから受信し、それらに応じたキー操作信号をCPU50に供給する。CPU50は、キー操作信号に応じてカメラ制御装置30にパン/チルト動作に対する操作コマンドを出力し、またズーム制御信号をカメラ10に出力して、雲台20の回転動作およびカメラ10のズーム動作を制御する。また、カメラ制御装置30からのZdegに応じてカメラ10のズーム動作を制御する場合もある。
ディスプレイ60は、カメラ10による撮像画像信号を受信して、会議室などにおける現在の撮像画像などを表示する。画像エンコーダ70は、カメラ制御装置30からの撮像画像信号を圧縮符号化して、画像ストリームを生成する。生成された画像ストリームは、同時に会議室で集音した音声ストリームとともに通信回線を通じて遠隔地の会議室に送信され、受信側の会議室において、送信側の会議室における画像および音声がリアルタイムに再生される。また、遠隔地の会議室で撮像・集音された画像および音声のストリームも同時に受信して、画像および音声をディスプレイ60およびスピーカで再生することで、遠隔地の会議室同士で画面を見ながら会議を行うことが可能となる。
図2は、カメラ制御装置30およびCPU50が備えるカメラ制御のための機能を示すブロック図である。
図2に示すように、カメラ制御装置30は、顔位置データベース31、顔認識モジュール32、データベース更新モジュール33、データベース検索モジュール34、およびパン/チルト制御部35を具備している。また、CPU50は、ズーム制御部51、PTZ(PAN,TILT,ZOOM)コマンド制御部52、およびMove_Nextコマンド制御部53を具備している。
顔位置データベース31は、会議の出席者の顔が画面の中央に所定の大きさで映るときの雲台20の回転動作およびカメラ10のズーム動作の制御情報を、出席者ごとに記憶するデータベースである。この制御情報は図3で後述するように、水平および垂直に対するカメラ10の撮像方向と、カメラ10のズーム動作状態とを角度形式で表したデータ(Pdeg,Tdeg,Zdeg)からなる。
顔認識モジュール32は、カメラ10によって撮像されたデジタル画像信号から、画像認識技術を用いて人物の顔の位置を検出し、座標形式の顔位置情報(Ppx,Tpx,Zpx)を算出する。
データベース更新モジュール33は、顔認識モジュール32によって算出された顔位置情報(Ppx,Tpx,Zpx)を角度形式に変換し、顔位置データベース31に登録する。また、カメラ10による撮像動作中でも、顔認識モジュール32からの顔位置情報に基づいて、顔位置データベース31の内容を随時更新する。
データベース検索モジュール34は、顔位置データベース31の記憶情報を用いてカメラ10の撮像方向およびズーム動作を制御するための機能ブロックである。このデータベース検索モジュール34は、Move_Nextコマンド制御部53からの方向指示情報に応じて、現在撮像している出席者の隣りに位置する出席者に対応する顔位置情報(Pdeg,Tdeg,Zdeg)を顔位置データベース31から抽出し、その情報に応じてパン/チルト制御部35およびズーム制御部51を介して撮像方向およびズーム動作を制御する。
パン/チルト制御部35は、PTZコマンド制御部52からの操作コマンド、あるいはデータベース検索モジュール34からの制御情報(Pdeg,Tdeg)に応じて、雲台20に制御信号を出力してそのパン/チルト動作を制御する。同様に、ズーム制御部51は、PTZコマンド制御部52からの操作コマンド、あるいはデータベース検索モジュール34からの制御情報(Zdeg)に応じて、カメラ10に制御コマンドを出力してズーム動作を制御する。
PTZコマンド制御部52は、赤外線受光部40からのキー操作信号に応じて操作コマンドを生成し、パン/チルト動作に対するコマンドをパン/チルト制御部35に、ズーム動作に対応するコマンドをズーム制御部51にそれぞれ出力する。Move_Nextコマンド制御部53は、同様に赤外線受光部40からのキー操作信号に応じて操作コマンドを生成し、データベース検索モジュール34に出力する。
ここで、本実施の形態のリモートコントローラ40aは、パン/チルトの方向やズーム倍率を徐々に変化させるためのPTZキーと、顔位置データベース31を利用して、現在撮像中の人物に隣接する他の人物を撮像するための方向を指定するMove_Nextキーとを具備する。
そして、PTZキーへの入力操作により、パン/チルトの方向およびズーム倍率の拡大/縮小を示すキー操作信号が赤外線受光部40を通じてCPU50に供給され、PTZコマンド制御部52はこれらの信号に応じてPTZコマンドを発行する。これにより、パン/チルト制御部35は、PTZコマンドに応じてカメラ10の方向を徐々に変化させるように雲台20を制御し、またズーム制御部51は、PTZコマンドに応じてカメラ10のズーム倍率を徐々に拡大または縮小させる。
一方、Move_Nextキーへの入力操作により、左右それぞれの方向を指示するキー操作信号が赤外線受光部40を通じてCPU50に供給され、Move_Nextコマンド制御部53はこれらの信号に応じて左右いずれかの方向を示すMove_Nextコマンドを発行する。これによりデータベース検索モジュール34は、指示された方向に隣接する人物に対応する顔位置情報を顔位置データベース31から抽出し、その情報をパン/チルト制御部35およびズーム制御部51に出力して、隣接する人物の顔を自動的に撮像させる。
このようにMove_Nextキーを操作することにより、カメラシステムの操作者は、会議の出席者の1人を撮像した状態から他の出席者を撮像した状態に簡単な操作で切り替えることができ、ディスプレイ60を見ながらカメラ10の撮像方向やズーム倍率をマニュアル調節する必要がなくなる。
図3は、パン/チルト/ズーム動作の制御情報(Pdeg,Tdeg,Zdeg)について説明するための図である。
本実施の形態では、パン/チルト/ズーム動作の制御情報を、水平および垂直に対するカメラ10の撮像方向と、カメラ10のズーム動作状態とを角度形式で表したPdeg,Tdeg,Zdegによって表す。水平方向の回転動作(パン動作)については、図3(A)に示すように、雲台20の回転角度を例えば最大180°とし、雲台20の回転中心と撮像される人物の顔の中心点とを結ぶ直線の角度(−90.0°〜+90.0°)をパン動作の制御情報(Pdeg)とする。同様に、垂直方向の回転動作(チルト動作)については、図3(B)に示すように、雲台20の回転角度を例えば最大60°とし、雲台20の回転中心と顔の中心点とを結ぶ直線の角度(−30.0°〜+30.0°)をチルト動作の制御情報(Tdeg)とする。
また、ズーム動作の制御情報(Zdeg)については、図3(A)に示すように、カメラ10の視野角として表す。この図では視野角を1.0°〜45.0°の範囲としており、値が小さいほど望遠側のズーム状態となって、被写体が拡大される。
これらの制御情報は、パン/チルト/ズーム動作を制御するためのパン/チルト制御部35やズーム制御部51に供給される。これとともに、顔位置データベース31に記憶される各人物の顔位置情報も、これらの角度情報の組(Pdeg,Tdeg,Zdeg)とされる。なお、顔位置データベース31内のズーム動作の情報は、例えば、人物の顔が画面いっぱいに表示されるときの視野角とする。
次に、このカメラシステムの動作をフローチャートを用いて具体的に説明する。まず、図4は、カメラシステムの処理全体の流れを示すフローチャートである。
〔ステップS101〕顔位置データベース31に対する顔位置情報の自動登録処理を実行する。この処理は、カメラシステムの使用を開始する際に、例えばCPU50の制御により、カメラ10の撮像方向を変化させながら撮像しうる範囲内の人物の顔を画像認識技術を用いて自動的に認識し、それらの顔位置情報を顔位置データベース31に登録していく処理である。なお、この処理については次の図5で説明する。
〔ステップS102〕カメラ10によって1フレーム分の撮像画像信号が出力され、顔認識モジュール32がこの信号を受信するまで待機する。そして、受信した場合にはステップS103に進む。
〔ステップS103〕実行待ち状態のPTZコマンドがある場合には、パン/チルト制御部35およびズーム制御部51がPTZコマンド制御部52からPTZコマンドを受信し、ステップS104に進む。PTZコマンドがない場合にはステップS105に進む。
〔ステップS104〕受信したPTZコマンドに応じて、パン/チルト制御部35が雲台20を制御してカメラ10の撮像方向を1ステップ分変化させ、またズーム制御部51がカメラ10のズーム倍率を1ステップ分変化させる。この後、ステップS109に進む。
〔ステップS105〕実行待ち状態のMove_Nextコマンドがある場合には、データベース検索モジュール34がMove_Nextコマンド制御部53からMove_Nextコマンドを受信し、ステップS106に進む。Move_Nextコマンドがない場合にはステップS107に進む。
〔ステップS106〕データベース検索モジュール34は、コマンドで指定された方向に隣接する人物の顔を撮像するように、カメラ10の方向を移動させる処理を実行する。そして、処理終了後にステップS109に進む。なお、ステップS106の処理については図7で詳しく説明する。
〔ステップS107〕PTZコマンドおよびMove_Nextコマンドのいずれも受信していない場合には、現在撮像中の範囲についての画像認識を利用した顔位置データベース31の更新処理を、顔認識モジュール32およびデータベース更新モジュール33が実行する。なお、この処理については図6で詳しく説明する。
〔ステップS108〕データベース検索モジュール34が、更新された顔位置データベース31から現在撮像中の顔の顔位置情報をあらためて抽出し、その顔が画面の中心に位置するようにカメラ10の方向を制御し、さらに画面上の顔が所定の大きさになるようにズーム動作を制御する。なお、ステップS107の処理で、撮像中の画面内から複数の人物の顔が認識された場合には、その中でPdegの値が画面内の中心に最も近い顔を撮像するように制御する。以上の処理終了後、ステップS109に進む。
〔ステップS109〕CPU50は、例えば電源切断操作などにより処理の終了が要求されたか否かを判定し、要求されていない場合はステップS102に戻る。
以上のフローチャートによる処理では、例として画像信号の1フレーム分の同期期間(垂直同期期間)において1つの操作コマンドに応じた処理を実行している。PTZコマンドを受信した場合は、それに応じて1ステップ分のパン/チルト/ズーム動作の状態が変更される(ステップS104)。また、Move_Nextコマンドを受信した場合には、指定された方向に隣接する人物の顔が撮像されるように、パン/チルト/ズーム動作が自動的に制御される(ステップS106)。
なお、例えば雲台20の回転速度が遅く、隣接する顔が撮像されるまでに垂直同期期間より長い時間を要する場合には、その動作が完了するまでの間、次のコマンド受信に応じた処理やステップS107でのデータベース更新処理の実行を保留しておくようにしてもよい。
また、PTZコマンドおよびMove_Nextコマンドのいずれも受信していない場合、すなわち、カメラ10の撮像方向やズームレンズ位置が止まっている場合には、そのときの撮像画像信号を基に画像認識が行われて、撮像されている範囲についての顔位置データベース31内の記憶情報が更新される(ステップS107)。これにより、会議の参加者の席の移動や参加人数の増減があった場合などに、顔位置データベース31が自動的に更新される。
さらに、更新された顔位置情報に基づいて、撮像中の顔を画面の中心に移動させるようにカメラ10の方向やズーム倍率が修正される(ステップS108)。このため、会議の参加者の細かい位置の移動にカメラ10が追随して、その顔が常に中心に映るようになり、生成される画像の品質が向上する。また、誰の顔も映っていない状態が回避されて、無駄な画像信号が送信されなくなる。
図5は、顔位置データベース31の自動登録処理の流れを示すフローチャートである。
〔ステップS201〕パン/チルト制御部35は、カメラ10の撮像方向を示す雲台20の制御値を初期値に設定する。例えば、カメラ10が撮像範囲の最も左上を向くように制御する。なお、この処理中においてズーム制御部51は、最も広角側のズーム状態となるようにカメラ10を制御する。
〔ステップS202〕現在撮像中の範囲についての画像認識を利用した顔位置データベース31の更新処理を、顔認識モジュール32およびデータベース更新モジュール33が実行する。ここでは、対応する範囲についての顔位置情報が新規に登録される。なお、このステップS202の処理は、図4のステップS107と同様であり、次の図6で詳しく説明する。
〔ステップS203〕パン/チルト制御部35は、撮像可能な範囲のすべてについて、画像認識による顔位置検出を行い、顔位置情報を更新したか否かを判定する。画像認識を行っていない範囲がある場合にはステップS204に進み、すべての範囲について終了した場合には、初期動作を終了し、図4のステップS102に進んで通常動作を開始する。
〔ステップS204〕パン/チルト制御部35は、顔位置検出が行われていない次の撮像範囲を撮像するように、カメラ10の方向を制御する。この後、ステップS202に戻って、現在の範囲についての顔位置検出を行い、対応する顔位置情報を登録する。
以上のフローチャートの処理により、撮像可能なすべての範囲内をカメラ10により撮像して、その範囲内に存在する人物の顔の位置を自動的に検出し、その顔の顔位置情報を顔位置データベース31に登録することができる。
図6は、顔位置データベース31の更新処理の流れを示すフローチャートである。
〔ステップS301〕データベース更新モジュール33は、雲台20からパン/チルト制御部35を通じて現在のPdeg,Tdegを取得し、ズーム制御部51から現在のZdegを取得する。そして、これらの制御情報を基に、更新対象とする範囲(現在撮像中の範囲に対応)を特定する。
〔ステップS302〕データベース更新モジュール33は、顔位置データベース31中の更新範囲内の記憶データをクリアする。
〔ステップS303〕顔認識モジュール32は、カメラ10から撮像画像信号を受信する。
〔ステップS304〕顔認識モジュール32は、受信した画像信号を用いて画像認識処理を行い、顔の位置を検出する。ここで、本実施の形態では1フレーム分の画像信号から顔の位置を検出するため、フレーム間の差分を利用した画像認識の手法は使用できない。適用可能な画像認識の手法としては、例えば、画像信号の色情報を基に肌色分布を検出して顔の輪郭を含む範囲を特定し、その範囲内の輪郭線や目、口などの部位の位置などをあらかじめ記憶していた複数の顔形態のテンプレートと比較して、顔の存在の有無を判定する手法などが挙げられる。
また、顔を1つ以上検出した場合には、それぞれの顔を収容可能な最小の正方形枠を生成し、その正方形枠の中心位置の画面上における座標(画素番号)を水平方向および垂直方向の顔位置情報(Ppx,Tpx)とし、正方形枠の一辺の長さ(画素数)をズーム動作に対応するデータ(Zpx)とする。そして、この顔位置情報(Ppx,Tpx,Zpx)のリストを一時的に記憶する。
例えば、352×288画素のCIF(Common Intermediate Format)サイズの画像であれば、Ppxは0〜351,Tpxは0〜287の値をとる。また、Zpxは例えば20〜200の値とする。
〔ステップS305〕ステップS304において人物の顔を1つ以上検出した場合にはステップS306に進み、検出されなかった場合にはステップS308に進む。
〔ステップS306〕データベース更新モジュール33は、現在のPdeg,Tdeg,Zdegの値を基に、顔認識モジュール32に記憶された座標形式の顔位置情報(Ppx,Tpx,Zpx)を、角度形式の顔位置情報(Pdeg,Tdeg,Zdeg)に変換する。
例えば、現在のPdeg,Tdeg、Zdegがそれぞれ−30.0,+10.0,+40.0である場合、撮像している画像の左端のPdegは、−30.0−40.0/2=−50.0、右端のPdegは、−30.0+40.0/2=−10.0、上端のTdegは、+10.0+(40.0×3/4)/2=+25.0、下端のTdegは、+10.0−(40.0×3/4)/2=−5.0となる。従って、これらの値と画像の端部の座標値とを線形に対応させることにより、座標形式の顔位置情報(Ppx,Tpx,Zpx)を角度形式の顔位置情報(Pdeg,Tdeg,Zdeg)に換算することができる。
〔ステップS307〕データベース更新モジュール33は、角度形式に変換した顔位置情報のリストを顔位置データベース31に登録する。
〔ステップS308〕顔位置データベース31は、記憶した顔位置情報をPdegが小さい順にソートする。
以上のフローチャートの処理により、現在撮像している範囲に含まれる顔位置情報のみが更新される。例えば、撮像範囲に複数の顔が検出された場合には、それらのすべての顔位置情報が顔位置データベース31に登録される。また、画像認識により顔が検出されなかった場合には、その範囲に対応する顔位置情報が顔位置データベース31から削除される。そして、更新後の顔位置情報はPdegが小さい順にソートされるので、後述するMove_Nextコマンドに応じたカメラ方向移動処理において、隣接する顔の顔位置情報を効率よく抽出できるようになる。
図7は、隣接する顔へのカメラ方向移動処理の流れを示すフローチャートである。
〔ステップS401〕データベース検索モジュール34は、雲台20からパン/チルト制御部35を通じて現在のPdeg,Tdegを取得し、ズーム制御部51から現在のZdegを取得する。
〔ステップS402〕データベース検索モジュール34は、顔位置データベース31を検索して、Move_Nextコマンドで指定された左右いずれかの方向について、現在のPdegの値に最も近いPdegを持つ顔位置情報を抽出する。
〔ステップS403〕データベース検索モジュール34は、抽出した顔位置情報のPdegと、現在のPdegとの差分を演算する。
〔ステップS404〕Pdegの差分の絶対値が所定のしきい値以下である場合はステップS405に進み、しきい値を超えた場合はステップS406に進む。
〔ステップS405〕データベース検索モジュール34は、Move_Nextコマンドで指定された方向について、現在のPdegに2番目に近いPdegを持つ顔位置情報を抽出する。
〔ステップS406〕データベース検索モジュール34は、ステップS402またはステップS405で顔位置データベース31から抽出したPdeg,Tdegをパン/チルト制御部35に出力して雲台20を制御し、その顔位置情報に対応する顔の方向にカメラ10を向ける。
また、同様に抽出したZdegを用いて、カメラ10のズーム動作を制御する。ここで、本実施の形態では、顔位置データベース31内のZdegは、画像認識により検出された顔の大きさとほぼ等しい正方形枠を画面いっぱいに撮像するような値となっている。このため、データベース検索モジュール34は、抽出したZdegの値を、対応する顔が画面内で所定の大きさとなるように換算して、ズーム制御部51に出力し、ズーム倍率を制御する。例えば、正方形枠の一辺の長さが画像の横幅の1/4、縦方向長さの1/3となるように顔の大きさを設定した場合、顔位置データベース31から抽出したZdegを4倍にしてズーム制御部51に出力すればよい。
以上のフローチャートの処理では、例えばその直前の垂直同期期間にPTZコマンドに応じたカメラ方向やズーム動作の制御が行われたことなどにより、現在のPdeg,Tdeg,Zdegが顔位置データベース31内の顔位置情報と一致しない場合にも、Move_Nextコマンドによる制御を実行できるようにされている。
すなわち、隣接する顔のPdegと現在のPdegとの差分値をしきい値と比較し(ステップS404)、それらの差分値が小さければPdegのずれ量を誤差の範囲内と判断して、指定された方向に最も近いPdegを持つ顔位置情報を現在の制御量と見なし、その方向に次に隣接する顔にカメラ10を向けさせるように制御する(ステップS405およびS406)。逆に、Pdegのずれ量が大きい場合には、指定された方向に最も近いPdegを持つ顔位置情報を用いてカメラ方向を制御することで、操作者が自然な感覚で操作できるようになる。
以上説明したように、第1の実施の形態に係るカメラシステムでは、カメラ10が撮像範囲をすべてスキャンして、画像認識処理により会議の出席者の顔の位置を検出して、その情報を顔位置データベース31に登録する。このため、出席者の顔の位置情報を顔位置データベース31に事前に登録する操作が不要となり、ユーザの手間が省けて利便性が高まる。
そして、Move_Nextコマンドに応じて顔位置データベース31に登録された顔位置情報を抽出して制御を行うことで、方向を示すMove_Nextキーのみを用いた簡単な操作で、隣に存在する人物の顔を画面内の正確な位置に適度な大きさで映すことができる。また、例えば顔位置データベース31の顔位置情報にPdegの大きさ順に番号を付しておき、リモートコントローラ40aなどによって番号を指定するだけで、任意の人物の顔を撮像させることも可能である。
さらに、通常動作時でもパン/チルト/ズーム動作を変化させる要求がないときには、画像認識により撮像中の顔が常に画面の中心に映るように自動的に制御されるので、送信先の会議室において自然で高品質な画像を表示させることができる。
<第2の実施の形態>
図8は、第2の実施の形態に係るカメラシステムのシステム構成を示す図である。なお、この図8では、図1と対応する機能には同じ符号を付して示し、その説明を省略する。
図8に示すカメラシステムは、図1に示したシステムの構成に加えて、音声信号解析装置80と、2つのマイクロフォン81および82とを具備している。マイクロフォン81および82は、カメラ10で撮像している会議室における出席者の声を集音するためのもので、集音された音声信号は音声信号解析装置80に入力される。音声信号解析装置80は、入力された2つの音声信号から人間の声を抽出し、その声の発生された方向を推測して、方向を示す音声方向情報をカメラ制御装置30に出力する。これによりカメラ制御装置30は、音声方向情報に基づいて発言している出席者の方向を特定し、その方向にカメラ10を向けることができるようになる。なお、音声方向情報は例えばPdeg,Tdegの値として与えられる。
図9は、第2の実施の形態に係るカメラシステムの処理全体の流れを示すフローチャートである。
〔ステップS501〕カメラ10によって1フレーム分の撮像画像信号が出力され、顔認識モジュール32がこの信号を受信するまで待機する。そして、受信した場合にはステップS502に進む。
〔ステップS502,S503〕これらのステップは、図4のステップS103およびS104にそれぞれ対応する。すなわち、実行待ち状態のPTZコマンドがある場合にのみステップS503に進んで、パン/チルト制御部35およびズーム制御部51がPTZコマンド制御部52からPTZコマンドを受信し、そのPTZコマンドに応じて雲台20が制御されてカメラ10の撮像方向が1ステップ分変化され、またカメラ10のズーム倍率が1ステップ分変化される。この後、ステップS510に進む。
〔ステップS504,S505〕これらのステップは、図4のステップS105およびS106に対応する。すなわち、実行待ち状態のMove_Nextコマンドがある場合にのみステップS505に進んで、データベース検索モジュール34がMove_Nextコマンド制御部53からMove_Nextコマンドを受信し、コマンドで指定された方向に隣接する人物の顔を撮像するようにカメラ10の方向を移動させる。この後、ステップS510に進む。
〔ステップS506〕音声信号解析装置80から音声方向情報が出力されている場合は、パン/チルト制御部35がこの情報(Pdeg,Tdeg)を受信して、ステップS507に進む。また、音声方向情報が出力されていない場合はステップS508に進む。
〔ステップS507〕パン/チルト制御部35は、音声方向情報によって指定された方向にカメラ10を向けるように雲台20を制御する。この後、ステップS510に進む。
〔ステップS508,S509〕これらのステップは、図4のステップS107およびS108にそれぞれ対応する。すなわち、ステップS508では、現在撮像中の範囲についての画像認識を利用した顔位置データベース31の更新処理を、顔認識モジュール32およびデータベース更新モジュール33が実行する。そして、ステップS509では、データベース検索モジュール34が、更新された顔位置データベース31から現在撮像中の顔の顔位置情報をあらためて抽出し、その顔が画面の中心に位置するようにカメラ10の方向を制御し、さらに画面上の顔が所定の大きさになるようにズーム動作を制御する。この後、ステップS510に進む。
〔ステップS510〕CPU50は、例えば電源切断操作などにより処理の終了が要求されたか否かを判定し、要求されていない場合はステップS501に戻る。
以上のフローチャートによる処理では、図4の処理に加えて、音声信号解析装置80からの音声方向情報に応じて、発言者の方向にカメラ10を自動的に向けて撮像することができる。また、カメラ10を発言者に向けた後、PTZコマンドやMove_Nextコマンド、音声方向情報が受信されなければ、ステップS508およびS509の処理が実行される。このため、発言者やその周囲に位置する人物の顔位置情報が顔位置データベース31に自動的に登録され、さらに、発言者の顔が画面の中央に位置するようにカメラ10の方向が自動的に調整される。従って、ユーザ操作を行うことなく、発言者の顔を適度な大きさで正確に撮像することができるようになる。また、音声方向情報に応じて発言者の近辺を自動的に撮像させた後、Move_Nextキーを用いて撮像方向を正確に合わせることもできる。
さらに、上記処理を用いると、例えば会議の開始時に出席者全員が順に声を発することで、各出席者の顔位置情報を顔位置データベース31に自動的に登録し、その後に、Move_Nextキーを用いたカメラ方向切り替え処理や、番号指定などにより任意の出席者の顔にカメラ10を自動的に向ける処理を実行させることもできるようになる。
なお、以上の各実施の形態のカメラシステムでは、PTZコマンドやMove_Nextコマンドを遠隔地から通信回線を通じて受信し、その受信コマンドに応じてカメラ10の撮像方向やズーム動作が制御できるようにしてもよい。これにより、一方の会議室から他方の会議室におけるカメラ動作を通信回線を通じて簡単に制御することが可能になる。また、各地の会議室におけるカメラ動作を1カ所で簡単に制御することも可能になる。
また、上記の各実施の形態では、本発明を適用したカメラシステムを電子会議システムに使用した場合について説明したが、このようなカメラシステムは他に、例えば録画メディア用や放送用の映像コンテンツを作成する際にカメラ方向の切り替えを簡単な操作で行うようにするといった用途にも使用することができる。
第1の実施の形態に係るカメラシステムのシステム構成を示す図である。 カメラ制御装置およびCPUが備えるカメラ制御のための機能を示すブロック図である。 パン/チルト/ズーム動作の制御情報について説明するための図である。 カメラシステムの処理全体の流れを示すフローチャートである。 顔位置データベースの自動登録処理の流れを示すフローチャートである。 顔位置データベースの更新処理の流れを示すフローチャートである。 隣接する顔へのカメラ方向移動処理の流れを示すフローチャートである。 第2の実施の形態に係るカメラシステムのシステム構成を示す図である。 第2の実施の形態に係るカメラシステムの処理全体の流れを示すフローチャートである。
符号の説明
10……カメラ、20……雲台、30……カメラ制御装置、31……顔位置データベース、32……顔認識モジュール、33……データベース更新モジュール、34……データベース検索モジュール、35……パン/チルト制御部、40……赤外線受光部、40a……リモートコントローラ、50……CPU、51……ズーム制御部、52……PTZコマンド制御部、53……Move_Nextコマンド制御部、60……ディスプレイ、70……画像エンコーダ

Claims (12)

  1. 撮像方向を変化させる駆動装置を備えたカメラの撮像範囲を制御するカメラ制御装置において、
    前記カメラの撮像対象とする複数の人物のそれぞれの顔が、前記カメラによる撮像範囲の中央に位置するときの顔方向情報を、撮像対象の人物ごとに記憶する記憶手段と、
    前記カメラの撮像画像信号から人物の顔の位置を検出する顔位置検出手段と、
    前記顔位置検出手段による検出結果と現在の前記カメラの撮像方向を示す情報とを基に前記顔方向情報を算出して前記記憶手段に登録する登録手段と、
    ユーザの操作入力により指定された人物に対応する前記顔方向情報を前記記憶手段から読み出し、当該顔方向情報に応じて前記駆動装置を制御して前記カメラの撮像方向を変化させる駆動制御手段と、
    を有することを特徴とするカメラ制御装置。
  2. 前記駆動制御手段は、前記カメラの撮像方向を現在撮像されている人物の左右いずれかの隣接人物に切り替えるための方向指示信号を受信すると、指示された方向に対して現在撮像されている人物に最も近い他の人物の前記顔方向情報を前記記憶手段から抽出し、抽出した前記顔方向情報を用いて前記駆動装置を制御することを特徴とする請求項1記載のカメラ制御装置。
  3. 前記登録手段は、前記顔位置検出手段により人物の顔の位置が検出されると、前記記憶手段に記憶された前記顔方向情報のうち、現在の前記カメラによる撮像範囲に含まれる前記顔方向情報を消去し、前記顔位置検出手段による検出結果に基づいて前記顔方向情報を再度算出して前記記憶手段に登録することを特徴とする請求項1記載のカメラ制御装置。
  4. 前記カメラの撮像可能な範囲を分割して、その分割範囲を前記カメラが順に撮像するように前記駆動装置を制御する初期駆動制御手段をさらに有し、
    前記顔位置検出手段が、前記分割範囲に対する前記カメラの撮像画像信号から人物の位置を検出し、前記登録手段が、前記分割範囲で検出された人物の前記顔方向情報を算出して前記記憶手段に順次登録することで、撮像可能な全範囲に存在する人物の前記顔方向情報を前記記憶手段に自動的に登録することを特徴とする請求項1記載のカメラ制御装置。
  5. 前記カメラの撮像方向を変化させるためのユーザの操作入力が一定時間行われなかった場合に、
    前記顔位置検出手段は、前記カメラによる現在の撮像画像信号から人物の顔の位置を検出し、
    前記登録手段は、前記カメラによる現在の撮像範囲に含まれる前記顔方向情報を前記記憶手段から消去した後、前記顔位置検出手段により検出された人物の前記顔方向情報を前記記憶手段に登録し、
    前記駆動制御手段は、前記顔位置検出手段により検出された人物の顔のうち、現在の撮像範囲の中心に最も近い顔に対応する顔位置情報を前記記憶手段から読み出し、当該顔位置情報に応じて前記駆動装置を制御して前記カメラの撮像方向を修正する、
    ことを特徴とする請求項1記載のカメラ制御装置。
  6. 前記顔方向情報は、前記顔位置検出手段により検出された人物の顔の中心位置を示す水平方向および垂直方向に対する角度情報からなることを特徴とする請求項1記載のカメラ制御装置。
  7. 前記カメラのズーム倍率を制御するズーム制御手段をさらに有し、
    前記登録手段は、前記顔位置検出手段により検出された人物の顔の大きさを示す顔大きさ情報を、前記顔方向情報に対応付けて前記記憶手段に登録し、
    前記ズーム制御手段は、前記駆動制御手段により読み出された前記顔方向情報に対応する前記記憶手段内の前記顔大きさ情報を基に、当該顔方向情報に基づいて撮像される人物の顔が撮像画面内において所定の大きさになるように前記カメラのズーム倍率を制御する、
    ことを特徴とする請求項1記載のカメラ制御装置。
  8. 前記顔大きさ情報は、前記顔位置検出手段により検出された人物の顔を収容可能な最小の正方形範囲を前記カメラが画面全体で撮像するときの視野角情報からなることを特徴とする請求項7記載のカメラ制御装置。
  9. 前記カメラの撮像対象とする人物から発せられる声の方向を検出する音声検出装置からの検出信号を受信して、前記検出信号の示す方向を前記カメラが撮像するように前記駆動装置を制御する自動駆動制御手段をさらに有し、
    前記自動駆動制御手段により前記カメラの撮像方向が制御された場合に、
    前記顔位置検出手段は、前記カメラの撮像画像信号から人物の顔の位置を検出し、
    前記登録手段は、前記カメラによる現在の撮像範囲に含まれる前記顔方向情報を前記記憶手段から消去した後、前記顔位置検出手段により検出された人物の前記顔方向情報を前記記憶手段に登録する、
    ことを特徴とする請求項1記載のカメラ制御装置。
  10. 複数の人物を撮像するためのカメラと、前記カメラの撮像方向を変化させる駆動装置と、前記駆動装置を制御するカメラ制御装置とからなるカメラシステムにおいて、
    前記カメラ制御装置は、
    前記カメラの撮像対象とする人物のそれぞれの顔が、前記カメラによる撮像範囲の中央に位置するときの顔方向情報を、撮像対象の人物ごとに記憶する記憶手段と、
    前記カメラの撮像画像信号から人物の顔の位置を検出する顔位置検出手段と、
    前記顔位置検出手段による検出結果と現在の前記カメラの撮像方向を示す情報とを基に前記顔方向情報を算出して前記記憶手段に登録する登録手段と、
    ユーザの操作入力により指定された人物に対応する前記顔方向情報を前記記憶手段から読み出し、当該顔方向情報に応じて前記駆動装置を制御して前記カメラの撮像方向を変化させる駆動制御手段と、
    を有することを特徴とするカメラシステム。
  11. 複数の人物を撮像するためのカメラシステムと、複数の人物が発する音声を集音する集音装置と、前記カメラシステムからの画像信号と前記集音装置からの音声信号とを多重化して通信回線を通じて送信する送信装置とを備えた電子会議システムにおいて、
    前記カメラシステムは、カメラと、前記カメラの撮像方向を変化させる駆動装置と、前記駆動装置を制御するカメラ制御装置とからなり、
    前記カメラ制御装置は、
    前記カメラの撮像対象とする人物のそれぞれの顔が、前記カメラによる撮像範囲の中央に位置するときの顔方向情報を、撮像対象の人物ごとに記憶する記憶手段と、
    前記カメラの撮像画像信号から人物の顔の位置を検出する顔位置検出手段と、
    前記顔位置検出手段による検出結果と現在の前記カメラの撮像方向を示す情報とを基に前記顔方向情報を算出して前記記憶手段に登録する登録手段と、
    ユーザの操作入力により指定された人物に対応する前記顔方向情報を前記記憶手段から読み出し、当該顔方向情報に応じて前記駆動装置を制御して前記カメラの撮像方向を変化させる駆動制御手段と、
    を有することを特徴とする電子会議システム。
  12. 撮像方向を変化させる駆動装置を備えたカメラの撮像範囲を制御するためのカメラ制御方法において、
    検出手段が、前記カメラの撮像画像信号から人物の顔の位置を検出する検出ステップと、
    登録手段が、前記検出ステップによる検出結果と現在の前記カメラの撮像方向を示す情報とを基に、前記カメラの撮像対象とする複数の人物のそれぞれの顔が前記カメラによる撮像範囲の中央に位置するときの顔方向情報を算出し、検出された人物ごとにデータベースに登録する登録ステップと、
    駆動制御手段が、ユーザの操作入力により指定された人物に対応する前記顔方向情報を前記データベースから読み出し、当該顔方向情報に応じて前記駆動装置を制御して前記カメラの撮像方向を変化させる駆動制御ステップと、
    を含むことを特徴とするカメラ制御方法。
JP2005009417A 2005-01-17 2005-01-17 カメラ制御装置、カメラシステム、電子会議システムおよびカメラ制御方法 Expired - Fee Related JP4770178B2 (ja)

Priority Applications (6)

Application Number Priority Date Filing Date Title
JP2005009417A JP4770178B2 (ja) 2005-01-17 2005-01-17 カメラ制御装置、カメラシステム、電子会議システムおよびカメラ制御方法
US11/328,258 US7675539B2 (en) 2005-01-17 2006-01-10 Camera control apparatus, camera system, electronic conference system, and camera control method
EP06250146A EP1681855A3 (en) 2005-01-17 2006-01-12 Camera control apparatus, electronic conference system and camera control method
TW095101216A TW200643806A (en) 2005-01-17 2006-01-12 Camera controller, camera system, electronic conference system and camera control method
KR1020060004313A KR101231518B1 (ko) 2005-01-17 2006-01-16 카메라 제어 장치, 카메라 시스템, 전자 회의 시스템 및카메라 제어 방법
CNB2006100050881A CN100556079C (zh) 2005-01-17 2006-01-17 摄像机控制设备、摄像机***、电子会议***以及摄像机控制方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2005009417A JP4770178B2 (ja) 2005-01-17 2005-01-17 カメラ制御装置、カメラシステム、電子会議システムおよびカメラ制御方法

Publications (2)

Publication Number Publication Date
JP2006197505A true JP2006197505A (ja) 2006-07-27
JP4770178B2 JP4770178B2 (ja) 2011-09-14

Family

ID=36202422

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2005009417A Expired - Fee Related JP4770178B2 (ja) 2005-01-17 2005-01-17 カメラ制御装置、カメラシステム、電子会議システムおよびカメラ制御方法

Country Status (6)

Country Link
US (1) US7675539B2 (ja)
EP (1) EP1681855A3 (ja)
JP (1) JP4770178B2 (ja)
KR (1) KR101231518B1 (ja)
CN (1) CN100556079C (ja)
TW (1) TW200643806A (ja)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008211485A (ja) * 2007-02-26 2008-09-11 Fujifilm Corp 撮像装置
JP2008227918A (ja) * 2007-03-13 2008-09-25 Ricoh Co Ltd 撮像装置
JP2008288639A (ja) * 2007-05-15 2008-11-27 Nec Corp 画像撮像装置
US8044990B2 (en) 2005-08-17 2011-10-25 Sony Corporation Camera controller and teleconferencing system
JP2013162525A (ja) * 2012-02-07 2013-08-19 Google Inc 通信システムにおける音声レベルを変化させるための制御システムおよび制御方法
JP2018106696A (ja) * 2016-12-23 2018-07-05 雨暹 李 移動オブジェクトの仮想情報構築方法、移動オブジェクトの仮想情報検索方法及びアプリケーションシステム
JP2022544570A (ja) * 2019-08-16 2022-10-19 グーグル エルエルシー ビデオ通話用の顔ベースのフレームパッキング

Families Citing this family (42)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003296711A (ja) * 2002-03-29 2003-10-17 Nec Corp 顔画像識別方法、装置およびプログラム
CN101378454B (zh) 2007-08-31 2010-06-16 鸿富锦精密工业(深圳)有限公司 摄像设备及其拍摄方法
US8237769B2 (en) * 2007-09-21 2012-08-07 Motorola Mobility Llc System and method of videotelephony with detection of a visual token in the videotelephony image for electronic control of the field of view
JP4663700B2 (ja) * 2007-09-28 2011-04-06 富士フイルム株式会社 撮影装置、及び撮影方法
JP5115139B2 (ja) * 2007-10-17 2013-01-09 ソニー株式会社 構図判定装置、構図判定方法、プログラム
US8203593B2 (en) 2007-12-28 2012-06-19 Motorola Solutions, Inc. Audio visual tracking with established environmental regions
TWI369135B (en) * 2007-12-31 2012-07-21 Nat Applied Res Lab Nat Ct For High Performance Computing Camera control system capable of positioning and tracking object in space and method thereof
TW200928860A (en) 2007-12-31 2009-07-01 Htc Corp Method and device for adjusting output frame
JP4623193B2 (ja) * 2008-09-29 2011-02-02 カシオ計算機株式会社 撮像装置、撮像方法、及びプログラム
CN101404726B (zh) * 2008-10-20 2012-05-02 华为终端有限公司 一种远端摄像机的控制方法、***和装置
KR20100081049A (ko) * 2009-01-05 2010-07-14 삼성전자주식회사 휴대용 단말기에서 영상 촬영 방법 및 장치
JP5359645B2 (ja) * 2009-07-23 2013-12-04 ソニー株式会社 構図判定装置、撮像システム、構図判定方法、プログラム
WO2011011917A1 (zh) * 2009-07-29 2011-02-03 华为终端有限公司 视频通信方法、装置和***
WO2011127201A1 (en) * 2010-04-06 2011-10-13 Youbiq Llc Camera control
US8941706B2 (en) 2010-04-07 2015-01-27 Apple Inc. Image processing for a dual camera mobile device
US9294716B2 (en) * 2010-04-30 2016-03-22 Alcatel Lucent Method and system for controlling an imaging system
US8878773B1 (en) 2010-05-24 2014-11-04 Amazon Technologies, Inc. Determining relative motion as input
WO2013014872A1 (ja) * 2011-07-25 2013-01-31 パナソニック株式会社 画像変換装置、カメラ、映像システム、画像変換方法およびプログラムを記録した記録媒体
US10088924B1 (en) 2011-08-04 2018-10-02 Amazon Technologies, Inc. Overcoming motion effects in gesture recognition
US8683054B1 (en) * 2011-08-23 2014-03-25 Amazon Technologies, Inc. Collaboration of device resources
US9223415B1 (en) 2012-01-17 2015-12-29 Amazon Technologies, Inc. Managing resource usage for task performance
US20130335587A1 (en) * 2012-06-14 2013-12-19 Sony Mobile Communications, Inc. Terminal device and image capturing method
US8914837B2 (en) 2012-12-14 2014-12-16 Biscotti Inc. Distributed infrastructure
US9654563B2 (en) 2012-12-14 2017-05-16 Biscotti Inc. Virtual remote functionality
US9300910B2 (en) 2012-12-14 2016-03-29 Biscotti Inc. Video mail capture, processing and distribution
US9485459B2 (en) * 2012-12-14 2016-11-01 Biscotti Inc. Virtual window
KR101470939B1 (ko) * 2013-02-20 2014-12-09 경희대학교 산학협력단 감시카메라와 이를 이용한 얼굴 검출 시스템 및 얼굴 검출 방법
JP6203515B2 (ja) * 2013-03-29 2017-09-27 株式会社メガチップス 画像処理装置
TWI502583B (zh) 2013-04-11 2015-10-01 Wistron Corp 語音處理裝置和語音處理方法
US9113036B2 (en) 2013-07-17 2015-08-18 Ebay Inc. Methods, systems, and apparatus for providing video communications
CN103501423A (zh) * 2013-09-18 2014-01-08 苏州景昱医疗器械有限公司 远程程控的视频监测方法及装置
US20150288857A1 (en) * 2014-04-07 2015-10-08 Microsoft Corporation Mount that facilitates positioning and orienting a mobile computing device
CN106161916B (zh) * 2015-04-08 2019-10-29 联想(北京)有限公司 一种图像采集方法及电子设备
JP6528574B2 (ja) 2015-07-14 2019-06-12 株式会社リコー 情報処理装置、情報処理方法、および情報処理プログラム
JP2017028375A (ja) 2015-07-16 2017-02-02 株式会社リコー 映像処理装置、及びプログラム
JP2017028633A (ja) 2015-07-27 2017-02-02 株式会社リコー 映像配信端末、プログラム、及び、映像配信方法
CN107786834A (zh) * 2016-08-31 2018-03-09 宝利通公司 用于视频会议***中的摄像机底座及其方法
EP3293963A1 (en) 2016-09-12 2018-03-14 Axis AB Improved monitoring camera direction control
US11095825B1 (en) * 2020-06-02 2021-08-17 Vitalchat, Inc. Camera pan, tilt, and zoom history
CN111757042A (zh) * 2020-06-28 2020-10-09 深圳市闪联信息技术有限公司 一种基于人脸认证的远程协同入会的方法及***
AU2021286429A1 (en) * 2021-12-17 2023-07-06 Oxti Corporation Camera device
CN114776981B (zh) * 2022-06-20 2022-09-06 四川创丰产融信息技术有限公司 一种企业孵化器公共会议室影音装置及控制方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06141312A (ja) * 1992-10-26 1994-05-20 Canon Inc テレビ会議装置
JPH1051755A (ja) * 1996-05-30 1998-02-20 Fujitsu Ltd テレビ会議端末の画面表示制御装置
JP2002112215A (ja) * 2000-09-29 2002-04-12 Nec Corp テレビ会議システム
JP2003189273A (ja) * 2001-12-20 2003-07-04 Sharp Corp 発言者識別装置及び該発言者識別装置を備えたテレビ会議システム

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5206721A (en) * 1990-03-08 1993-04-27 Fujitsu Limited Television conference system
JP3302715B2 (ja) * 1992-04-20 2002-07-15 キヤノン株式会社 ビデオカメラ装置
US5742329A (en) * 1992-10-26 1998-04-21 Canon Kabushiki Kaisha Image pickup system and communication system for use in video conference system or the like
CN1135823A (zh) * 1993-10-20 1996-11-13 电视会议***公司 自适应电视会议***
JPH08163522A (ja) * 1994-11-30 1996-06-21 Canon Inc テレビ会議システムおよび端末装置
JP3541339B2 (ja) * 1997-06-26 2004-07-07 富士通株式会社 マイクロホンアレイ装置
US6593956B1 (en) * 1998-05-15 2003-07-15 Polycom, Inc. Locating an audio source
IT1306261B1 (it) * 1998-07-03 2001-06-04 Antonio Messina Procedimento ed apparato per la guida automatica di videocameremediante microfoni.
US7057636B1 (en) * 1998-12-22 2006-06-06 Koninklijke Philips Electronics N.V. Conferencing system and method for the automatic determination of preset positions corresponding to participants in video-mediated communications
US6894714B2 (en) * 2000-12-05 2005-05-17 Koninklijke Philips Electronics N.V. Method and apparatus for predicting events in video conferencing and other applications

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06141312A (ja) * 1992-10-26 1994-05-20 Canon Inc テレビ会議装置
JPH1051755A (ja) * 1996-05-30 1998-02-20 Fujitsu Ltd テレビ会議端末の画面表示制御装置
JP2002112215A (ja) * 2000-09-29 2002-04-12 Nec Corp テレビ会議システム
JP2003189273A (ja) * 2001-12-20 2003-07-04 Sharp Corp 発言者識別装置及び該発言者識別装置を備えたテレビ会議システム

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8044990B2 (en) 2005-08-17 2011-10-25 Sony Corporation Camera controller and teleconferencing system
JP2008211485A (ja) * 2007-02-26 2008-09-11 Fujifilm Corp 撮像装置
JP4655054B2 (ja) * 2007-02-26 2011-03-23 富士フイルム株式会社 撮像装置
US8254771B2 (en) 2007-02-26 2012-08-28 Fujifilm Corporation Image taking apparatus for group photographing
US8346073B2 (en) 2007-02-26 2013-01-01 Fujifilm Corporation Image taking apparatus
JP2008227918A (ja) * 2007-03-13 2008-09-25 Ricoh Co Ltd 撮像装置
JP2008288639A (ja) * 2007-05-15 2008-11-27 Nec Corp 画像撮像装置
JP2013162525A (ja) * 2012-02-07 2013-08-19 Google Inc 通信システムにおける音声レベルを変化させるための制御システムおよび制御方法
JP2018106696A (ja) * 2016-12-23 2018-07-05 雨暹 李 移動オブジェクトの仮想情報構築方法、移動オブジェクトの仮想情報検索方法及びアプリケーションシステム
JP2022544570A (ja) * 2019-08-16 2022-10-19 グーグル エルエルシー ビデオ通話用の顔ベースのフレームパッキング
JP7354417B2 (ja) 2019-08-16 2023-10-02 グーグル エルエルシー ビデオ通話用の顔ベースのフレームパッキング

Also Published As

Publication number Publication date
TW200643806A (en) 2006-12-16
JP4770178B2 (ja) 2011-09-14
CN1809126A (zh) 2006-07-26
KR20060083883A (ko) 2006-07-21
US7675539B2 (en) 2010-03-09
TWI311286B (ja) 2009-06-21
KR101231518B1 (ko) 2013-02-07
EP1681855A2 (en) 2006-07-19
EP1681855A3 (en) 2011-11-23
US20060187306A1 (en) 2006-08-24
CN100556079C (zh) 2009-10-28

Similar Documents

Publication Publication Date Title
JP4770178B2 (ja) カメラ制御装置、カメラシステム、電子会議システムおよびカメラ制御方法
JP4356663B2 (ja) カメラ制御装置および電子会議システム
CN105657329B (zh) 视频会议***、处理装置及视频会议方法
US6563528B2 (en) Video conference system
JP2007158680A (ja) 追尾撮像装置およびこれを利用した追尾撮像システム
JP2005033570A (ja) 移動体画像提供方法、移動体画像提供システム
JP2006014119A (ja) 撮影画像送受信システム
JP4649640B2 (ja) 画像処理方法、画像処理装置、及びコンテンツ作成システム
KR101393147B1 (ko) 이동단말기 및 그 촬영방법
JP2008182321A (ja) 画像表示システム
JP2010004480A (ja) 撮像装置、その制御方法及びプログラム
US11665391B2 (en) Signal processing device and signal processing system
JP2004289779A (ja) 移動体撮像方法、移動体撮像システム
JP2008147910A (ja) テレビ会議装置
JP2012034119A (ja) 端末装置および処理方法
JP4934871B2 (ja) 撮影支援システム
US11805231B2 (en) Target tracking method applied to video transmission
WO2023080099A1 (ja) 会議システムの処理方法および会議システムの制御装置
JP2004193661A (ja) 双方向コミュニケーションシステム,映像通信装置,および映像通信装置の撮影処理制御方法
JP2002262138A (ja) 撮像システム、テレビ会議システム、監視システムおよび撮像機能を有した情報端末機器
JP2003256842A (ja) 動***置検出装置および方法
JP2006246352A (ja) 遠隔作業支援システムとその作業側装置及び移動ロボット
CN113507586A (zh) 智能会议***、用于智能会议的信息处理方法
JP2005295133A (ja) 情報配信装置
WO2019093016A1 (ja) 撮影システム、撮影方法、及びプログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20071012

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20100915

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20100921

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20101112

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20110524

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20110606

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140701

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140701

Year of fee payment: 3

LAPS Cancellation because of no payment of annual fees