JP2003516049A - Personality-based intelligent camera system - Google Patents
Personality-based intelligent camera systemInfo
- Publication number
- JP2003516049A JP2003516049A JP2001541236A JP2001541236A JP2003516049A JP 2003516049 A JP2003516049 A JP 2003516049A JP 2001541236 A JP2001541236 A JP 2001541236A JP 2001541236 A JP2001541236 A JP 2001541236A JP 2003516049 A JP2003516049 A JP 2003516049A
- Authority
- JP
- Japan
- Prior art keywords
- camera
- camera system
- controllable
- feature
- anthropomorphic
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
- H04N7/183—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/695—Control of camera direction for changing a field of view, e.g. pan, tilt or based on tracking of objects
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
- Studio Devices (AREA)
Abstract
(57)【要約】 カメラシステムは、制御可能な造作を有する生き物のような擬人化された物体に埋め込まれ又はさもなければ関連付けられるカメラを含む。造作は、その特定の形態がカメラシステムの作動状態を示すよう制御される。カメラは、例えば、物体の目又は他の造作に埋め込まれたズームカメラでもよい。例示する実施例では、物体は、頭と体を有し、制御可能な造作は顔の造作であり、例えば、制御可能な一対の眉、制御可能な一対の瞼、及び、制御可能な口である。制御可能な造作は、例えば、機械的モータ制御又はスクリーンベースのアニメーション制御を用いて実行されてもよい。パン及びチルト制御は、埋め込まれたカメラがパン、チルト、及び、ズームすることができるよう、擬人化された物体の頭に対して設けられる。システムは、様々な異なるカメラアングルを提供するよう、追加のカメラ、例えば、ビデオ存在カメラを含んでもよい。擬人化された物体の制御可能な造作は、カメラシステムの対応する作動状態に対して造作の特定の形態を特定する対話プロトコルに従って調節され、それにより、自然且つ理解することが簡単なユーザインタフェースを提供する。 SUMMARY A camera system includes a camera embedded or otherwise associated with an anthropomorphic object, such as a creature having controllable features. The features are controlled such that the particular configuration indicates the operational status of the camera system. The camera may be, for example, a zoom camera embedded in the eye or other feature of the object. In the illustrated embodiment, the object has a head and a body, and the controllable feature is a facial feature, such as a pair of controllable eyebrows, a pair of controllable eyelids, and a controllable mouth. is there. The controllable features may be performed using, for example, mechanical motor controls or screen-based animation controls. Pan and tilt controls are provided for the head of the anthropomorphic object so that the embedded camera can pan, tilt, and zoom. The system may include additional cameras, for example, a video presence camera, to provide a variety of different camera angles. The controllable features of the anthropomorphic object are adjusted according to an interactive protocol that specifies a particular form of the feature for a corresponding operating state of the camera system, thereby providing a natural and easy to understand user interface. provide.
Description
【0001】
[発明の分野]
本発明は、ビデオ信号処理の分野、より特定的には、ビデオ会議及び他の用途
に使用するカメラシステムに関わる。FIELD OF THE INVENTION The present invention relates to the field of video signal processing, and more particularly to camera systems used in video conferencing and other applications.
【0002】
[発明の背景]
トラッキング能力を含むカメラシステムが周知である。ヒト又は関心のある他
の対象物を追跡する例えば、パン−チルト−ズーム(PTZ)カメラは、ビデオ
会議システム及びビデオ監視システムのような多くのビデオ−カメラベースのシ
ステムの重要な面である。例えば、ビデオ会議システムでは、結果となる出力ビ
デオ信号において特定の会議出席者の頭及び肩にフレームを付けることがしばし
ば望ましい一方で、ビデオ監視システムでは、例えば、システムによってモニタ
される制限域に入る又は出るヒトの体全体にフレームを付けることが望ましい。
結果となるビデオ又はオーディオ信号のコンテンツによって制御され得る知的カ
メラシステムも周知である。BACKGROUND OF THE INVENTION Camera systems that include tracking capabilities are well known. For example, pan-tilt-zoom (PTZ) cameras that track humans or other objects of interest are an important aspect of many video-camera based systems, such as video conferencing and video surveillance systems. For example, while it is often desirable in video conferencing systems to frame the heads and shoulders of certain conferees in the resulting output video signal, video surveillance systems, for example, fall within the limits monitored by the system. Or, it is desirable to attach a frame to the whole body of the human being.
Intelligent camera systems that can be controlled by the content of the resulting video or audio signal are also well known.
【0003】
従来の知的カメラシステムにおける顕著な問題は、このようなシステムが十分
なユーザインタフェースを一般的に提供しない点である。例えば、従来のシステ
ムは、ユーザ対話を勧めず、ユーザを見ている移動カメラの「目」が及ぼすスト
レス誘発影響を緩和せず、更に、システムの様々な作動状態を示す自然な直観的
インタフェース及び適当なユーザ入力も提供しない。この問題は、ホームベース
のビデオ会議、ビデオ監視、器具又は他の装置を制御する入力並びに出力等のよ
うなホームベースの用途で特に見られる。このような環境でカメラシステムと接
触する多くのユーザは、意味のある方法でこのシステムと対話するにはこのシス
テムの動作を十分に熟知していない。従って、ホームベースのビデオ会議、ビデ
オ監視、装置の制御のような用途、又は、知的カメラシステムが実行され得る全
ての他の用途におけるシステムとのヒューマン対話を容易化するために、従来の
システムによって提供されるよりもより自然且つ簡単に理解できるユーザインタ
フェースを組み込む改善されたカメラシステムが必要である。A significant problem with conventional intelligent camera systems is that such systems generally do not provide a sufficient user interface. For example, conventional systems do not recommend user interaction, mitigate the stress-induced effects of the "eyes" of the moving camera looking at the user, and also provide a natural intuitive interface and indication of various operating states of the system. It also does not provide appropriate user input. This problem is especially seen in home-based applications such as home-based video conferencing, video surveillance, inputs and outputs controlling appliances or other devices. Many users who come into contact with the camera system in such an environment are not sufficiently familiar with its operation to interact with it in a meaningful way. Therefore, conventional systems have been developed to facilitate human interaction with the system in applications such as home-based video conferencing, video surveillance, device control, or any other application in which an intelligent camera system may be implemented. There is a need for an improved camera system that incorporates a user interface that is more natural and easily understood than that provided by.
【0004】
[発明の要約]
本発明は、擬人化された物体、例えば、生き物のような物体を含むパーソナリ
ティベースのカメラシステムを提供し、この擬人化された物体は、関連する制御
可能な顔の造作を有する。本発明によると、擬人化された物体の造作は、カメラ
が物体に埋め込み又はさもなければ関連付けられる、ユーザインタフェースを提
供するために制御される。造作は、その特定の形態がカメラシステムの作動状態
を示すよう制御される。カメラは、物体の目又は他の造作の中に埋め込まれた例
えば、ズームカメラでもよい。SUMMARY OF THE INVENTION The present invention provides a personality-based camera system that includes an anthropomorphic object, for example, an object such as a creature, which anthropomorphic object has an associated controllable face. Have the features of. According to the present invention, the creation of an anthropomorphic object is controlled to provide a user interface with which a camera is embedded or otherwise associated with the object. The feature is controlled such that its particular form indicates the operational state of the camera system. The camera may be, for example, a zoom camera embedded in the eyes or other features of the object.
【0005】
本発明の例示する実施例では、物体は、頭と体を有し、制御可能な造作は、顔
の造作、例えば、制御可能な一対の眉、制御可能な一対の瞼、及び、制御可能な
口である。制御可能な造作は、例えば、機械的モータ制御又はスクリーンベース
のアニメーション制御を用いて実行されてもよい。埋め込まれたカメラがパン、
チルト、及び、ズームすることができるよう、パン及びチルト制御も擬人化され
た物体の頭に対して設けられる。擬人化された物体の制御可能な造作は、カメラ
システムの対応する作動状態に対して造作の特定の形態を指定する対話プロトコ
ルに従って調節される。In an exemplary embodiment of the invention, the object has a head and a body and the controllable feature is a facial feature, such as a controllable pair of eyebrows, a controllable pair of eyelids, and It has a controllable mouth. The controllable feature may be performed using, for example, mechanical motor control or screen-based animation control. Embedded camera pans,
Pan and tilt controls are also provided for the head of the anthropomorphic object so that it can tilt and zoom. The controllable features of the anthropomorphic object are adjusted according to a dialogue protocol that specifies the particular form of the feature for the corresponding operating conditions of the camera system.
【0006】
本発明によると、擬人化された物体と関連付けられるカメラは、ユーザとの対
話を制御し、交渉する。ビデオ存在用途のために例えば、対応する部屋中の活動
を覆う追加のカメラが擬人化カメラとは無関係に作動するよう構成されてもよく
、それにより、ユーザインタフェース及びコンテンツ適用範囲の機能を別々にす
ることを可能にする。According to the invention, the camera associated with the anthropomorphic object controls and negotiates the interaction with the user. For video presence applications, for example, an additional camera covering activity in the corresponding room may be configured to operate independently of the anthropomorphic camera, thereby providing separate functionality for user interface and content coverage. To be able to do.
【0007】
有利的には、本発明は、パーソナリティベースのカメラシステムとのヒューマ
ン対話を容易化するよう、擬人化された物体の造作を知的な方法で制御する。擬
人化された物体は、自然且つ理解することが簡単なユーザインタフェースを提供
する。本発明の上記及び他の特徴は、添付の図面及び以下の詳細な説明からより
明らかになる。Advantageously, the present invention controls the creation of anthropomorphic objects in an intelligent manner to facilitate human interaction with personality-based camera systems. Anthropomorphic objects provide a natural and easy-to-understand user interface. The above and other features of the present invention will become more apparent from the accompanying drawings and the following detailed description.
【0008】
[発明の詳細な説明]
本発明は、カメラが生き物のような擬人化された物体の中に埋め込まれる又は
さもなければ関連付けられる、改善された知的カメラシステムを提供する。シス
テムは、装置とのユーザ対話を容易化するよう生き物のような装置の造作の制御
を提供するために構成される。カメラシステムは、パン、チルト、及び、ズーム
することができ得、ホームベースのビデオ会議、ビデオ監視、器具又は他の装置
を制御するための入力及び出力等の用途に使用され得る。カメラシステムと結合
されるコンピュータ又は他のプロセッサベースの装置によって実行されるシステ
ムソフトウェアは、所与の適用法に対してカメラシステムが何の動作を適当とす
るかを決定するために使用される。カメラシステムは、最も関心のある活動をい
つでもフレーム内で維持することを試みるためにマルチモーダル入力を用いて、
例えば、話者又は関心のある他の対象物をビデオフレーム内で維持するために従
来のトラッキング能力を含んでもよい。DETAILED DESCRIPTION OF THE INVENTION The present invention provides an improved intelligent camera system in which a camera is embedded or otherwise associated with an anthropomorphic object such as a living being. The system is configured to provide control of features of a creature-like device to facilitate user interaction with the device. The camera system may be capable of panning, tilting, and zooming, and may be used in applications such as home-based video conferencing, video surveillance, input and output to control appliances or other devices. System software executed by a computer or other processor-based device associated with the camera system is used to determine what operation the camera system will be suitable for a given application. The camera system uses multi-modal input to try to keep the activity of most interest in the frame at all times,
For example, conventional tracking capabilities may be included to keep the speaker or other object of interest within the video frame.
【0009】
カメラシステムを生き物のようなパーソナリティと実行することにより、本発
明は、システムと対話する最適な方法にユーザを自然且つ直観的な方法で導くこ
とができる著しく改善されたユーザインタフェースを提供する。結果として、カ
メラシステムはユーザにさほど脅威を与えるものでなくなり、このようなユーザ
は従ってカメラシステムと話す又はさもなければ対話する可能性が高い。例えば
、カメラシステムは、本発明に従って犬のようなパーソナリティを与えられても
よく、ユーザはカメラシステムが犬であるかのようにカメラシステムと話し対話
する可能性が高い。より特定的には、ユーザは、何かすることを期待する前に名
前で呼び、対話するときに広く容易に認識可能なジェスチュアを使用し、誤りを
許しシステムの故障を受け入れるために通常のことばとは異なる明確なコマンド
を一般に使用する可能性が高く、楽しむことができ且つ楽しみながら動作を理解
することができる。簡単なことば又は他の発言、例えば、「フンフン」、吠える
音等を用いて、システムは、コマンド及び指示の確認応答を示し得る。これは、
ユーザのカメラシステムとの対話におけるストレスを更に減少させる傾向にある
。By implementing the camera system with a living-like personality, the present invention provides a significantly improved user interface that can guide the user in a natural and intuitive way to the optimal way to interact with the system. To do. As a result, the camera system is less of a threat to the user, and such a user is therefore likely to talk or otherwise interact with the camera system. For example, the camera system may be provided with a dog-like personality in accordance with the present invention, and the user is likely to talk and interact with the camera system as if it were a dog. More specifically, users call gestures by name before they expect to do something, use widely and easily recognizable gestures when interacting, and use normal words to allow errors and to accept system failures. It is likely that you will generally use explicit commands that are different from and that you can enjoy and understand the behavior while having fun. Using simple words or other remarks, such as "hump", barking sounds, etc., the system may indicate an acknowledgment of commands and instructions. this is,
It tends to further reduce the stress of the user's interaction with the camera system.
【0010】
更に、カメラシステムの内部の状態を示すために一般的な生き物のような顔の
造作の表情を使用することにより、システムは複雑なユーザインタフェースの問
題を直観的に表現し得る。例えば、オン/オフ状態は目を閉じることで、カメラ
のズームは目を細くする又は見開くことで、検索は目を迅速に往復させることで
、困惑は目を回すことで、了解は頭を頷くことで示す。既知の感情からシステム
の内部の状態に良くマップする表情の多数の他の状態も使用され得る。システム
は、一旦特定の形態の対話がユーザによって学ばれると、毎回本質的に同じ方法
で動くべき点で一貫性を提供するよう構成されてもよい。システムが実際に一貫
して動いていることをユーザが理解することを確実にするために適当なフィード
バックが提供されてもよい。Moreover, by using common creature-like facial features to indicate the internal state of the camera system, the system can intuitively represent complex user interface problems. For example, the on / off state is by closing your eyes, the zoom of the camera is by narrowing or opening your eyes, the search is by moving your eyes back and forth quickly, the confusion is by turning your eyes, and the comprehension is nodding. This will be shown. Many other states of facial expression that map well from known emotions to the internal states of the system may also be used. The system may be configured to provide consistency in that once a particular form of interaction has been learned by a user, it should behave in essentially the same way each time. Appropriate feedback may be provided to ensure that the user understands that the system is in fact consistently behaving.
【0011】
図1は、本発明の例示的な実施例によるパーソナリティベースの知的カメラシ
ステム100を示す図である。システム100は、カメラ制御器104によって
制御されるズームカメラ102を含む。図2及び図4と共により詳細に説明する
ように、カメラ102は、特定の擬人化された物体、例えば、パン及びチルトす
ることができ、眉、口、及び、瞼のような顔の造作を有する頭のような、ある一
般的な造作を有する生き物のような物体と関連付けられる。この生き物は、人間
、動物、宇宙人、昆虫等でもよい。より特定的には、カメラ102は、擬人化さ
れた物体に埋め込まれた、取り付けられた、又は、さもなければ付着されてもよ
く、例えば、物体の目又は他の素子の少なくとも一部分を構成する。FIG. 1 is a diagram illustrating a personality-based intelligent camera system 100 according to an exemplary embodiment of the present invention. The system 100 includes a zoom camera 102 controlled by a camera controller 104. As will be described in more detail in conjunction with FIGS. 2 and 4, the camera 102 can pan and tilt certain anthropomorphic objects, such as facial features such as eyebrows, mouth, and eyelids. Associated with a creature-like object with some common features, such as having a head. The creature may be human, animal, alien, insect, etc. More specifically, the camera 102 may be embedded, attached, or otherwise attached to an anthropomorphic object, eg, forming at least a portion of an eye or other element of the object. .
【0012】
有利的には、本発明は、パーソナリティベースのカメラシステム100とのヒ
ューマン対話を容易化するために、このような造作が知的な方法で制御されるこ
とを可能にする。前記の通り、擬人化された物体は自然且つ理解することが簡単
なユーザインタフェースを提供する。Advantageously, the present invention enables such features to be controlled in an intelligent manner to facilitate human interaction with the personality-based camera system 100. As mentioned above, anthropomorphized objects provide a natural and easy-to-understand user interface.
【0013】
カメラ102は、アナログ−ディジタル(A/D)変換器106に入力とし供
給されるアナログビデオ信号を生成する。A/D変換器106は、カメラ102
からのアナログビデオ信号を一組のシステムソフトウェア108によって処理さ
れることに適しているディジタルビデオ信号に変換する。システムソフトウェア
108は、カメラ制御器104に供給されカメラ102に供給する適当なカメラ
調節信号を生成するために使用されるカメラ制御コマンドを生成する。システム
ソフトウェア108は、モータ制御器110に供給されるモータ制御コマンドも
生成する。モータ制御器110は、頭制御モータ112及び顔造作モータ114
に対してモータ動作信号を生成する。これらモータ112及び114は、カメラ
102に結合される上記擬人化された物体の頭及び顔造作の物理的な動作を夫々
制御する。The camera 102 produces an analog video signal which is input to and supplied to an analog-to-digital (A / D) converter 106. The A / D converter 106 is connected to the camera 102.
From the analog video signal to a digital video signal suitable for being processed by a set of system software 108. The system software 108 produces camera control commands that are provided to the camera controller 104 and used to produce the appropriate camera adjustment signals that are provided to the camera 102. The system software 108 also generates motor control commands that are supplied to the motor controller 110. The motor controller 110 includes a head control motor 112 and a face making motor 114.
To generate a motor operation signal. The motors 112 and 114 control the physical movements of the head and face features of the anthropomorphic object coupled to the camera 102, respectively.
【0014】
図2は、図1のシステムのより特定的な実行を表示するパーソナリティベース
の知的カメラシステム200を示す図である。システム200は、ズームカメラ
202、カメラ制御器204、A/D変換器206、システムソフトウェア20
8、及び、モータ制御器210を含む。図1のシステムにおけるように、カメラ
202は、ディジタルビデオ信号に変換するためにA/D変換器206に供給さ
れるアナログビデオ信号を生成する。ディジタルビデオ信号は、システムソフト
ウェア208に供給され、このシステムソフトウェアはカメラ制御器204に供
給する適当なカメラ制御コマンドを生成する。システムソフトウェア208は、
モータ制御器210に供給されるモータ制御コマンドも生成する。FIG. 2 is a diagram showing a personality-based intelligent camera system 200 displaying a more specific implementation of the system of FIG. The system 200 includes a zoom camera 202, a camera controller 204, an A / D converter 206, and system software 20.
8 and a motor controller 210. As in the system of FIG. 1, camera 202 produces an analog video signal that is provided to A / D converter 206 for conversion into a digital video signal. The digital video signal is provided to system software 208, which produces the appropriate camera control commands to provide to camera controller 204. The system software 208 is
It also generates motor control commands that are supplied to the motor controller 210.
【0015】
システム200では、ズームカメラ202は、特定の擬人化された物体、例え
ば、人間のような、動物のような、又は、他の生き物のような物体の頭215の
中に埋め込まれる。例えば、カメラは、擬人化された物体の目又は他の素子の一
部でもよい。図2に示すように、頭215に関連して一対の眉221並びに22
2、一対の瞼223並びに224、及び、口225を含む幾つかの顔の造作があ
る。頭215は、図示する方法にパンしチルトする。眉221並びに222は、
傾けられ、矢印の方向に上下に動かされる。瞼223並びに224は、開けられ
閉じられ、口は、一の自由度を有し、唇の中央が不快な顔のときは上げられ、笑
顔のときは下げられる。In the system 200, the zoom camera 202 is embedded within the head 215 of a particular anthropomorphic object, such as a human-like, animal-like, or other creature-like object. For example, the camera may be part of the anthropomorphic object's eye or other element. As shown in FIG. 2, a pair of eyebrows 221 and 22 are associated with the head 215.
There are several facial features including two, a pair of eyelids 223 and 224, and a mouth 225. The head 215 pans and tilts in the manner shown. Eyebrows 221 and 222
It is tilted and moved up and down in the direction of the arrow. The eyelids 223 and 224 are opened and closed, the mouth has one degree of freedom, and the center of the lips is raised when the face is uncomfortable and lowered when smiling.
【0016】
有利的には、所与の組の顔の造作の特定の状態は、カメラシステムの特定の状
態を示す。例えば、瞼が閉じていることはシステムがオフの状態にあることを示
し、眉が上がっていることはユーザからの入力を要求することを表し得る。造作
のこの特定の配置は例示的に過ぎず、多数の他の配置も当然のことながら使用さ
れることを強調すべきである。Advantageously, the particular state of a given set of facial features is indicative of the particular state of the camera system. For example, a closed eyelid may indicate that the system is in an off state, and a raised eyebrow may indicate input required by the user. It should be emphasized that this particular arrangement of features is exemplary only, and numerous other arrangements are of course used.
【0017】
モータ制御器210は、頭215及びそれに関連する顔の造作の動作を制御す
るために、6つのモータ230、232、234、236、238、及び240
の組にモータ動作信号を供給する。より特定的には、モータ制御器210によっ
て頭パン用モータ230並びに頭チルト用モータ232に供給されるモータ動作
信号は、頭125のパン及びチルトを夫々制御する。モータ制御器210によっ
て眉傾き用モータ234及び眉高さ用モータ236に供給されるモータ動作信号
は、一対の眉221並びに222の傾き及び上/下の動作を夫々制御する。同様
にして、モータ制御器210によって瞼の上/下モータ238に供給されるモー
タ動作信号は瞼223並びに224の開閉を制御し、モータ制御器210によっ
て口モータ240に供給されるモータ動作信号は口225の動作を制御する。Motor controller 210 controls six motors 230, 232, 234, 236, 238, and 240 to control the movement of head 215 and associated facial features.
Supply a motor operation signal to the set of. More specifically, the motor operation signals supplied by the motor controller 210 to the head pan motor 230 and the head tilt motor 232 control the pan and tilt of the head 125, respectively. The motor operation signals supplied to the eyebrow tilting motor 234 and the eyebrow height motor 236 by the motor controller 210 control the tilting and up / down operations of the pair of eyebrows 221 and 222, respectively. Similarly, the motor operation signal supplied to the upper / lower eyelid motor 238 by the motor controller 210 controls opening / closing of the eyelids 223 and 224, and the motor operation signal supplied to the mouth motor 240 by the motor controller 210 is Controls the movement of mouth 225.
【0018】
図3は、図1のシステムの可能な別の実行を表示するパーソナリティベースの
知的カメラシステム300を示す図である。システム300は、ズームカメラ3
02、カメラ制御器304、A/D変換器306、システムソフトウェア308
、及び、モータ制御器310を有する。図1及び図2のシステムにおけるように
、カメラ302は、ディジタルビデオ信号に変換するためにA/D変換器306
に供給されるアナログビデオ信号を生成する。ディジタルビデオ信号は、システ
ムソフトウェア308に供給され、このシステムソフトウェア308はカメラ制
御器304に供給する適当なカメラ制御コマンドを生成する。システムソフトウ
ェア308は、モータ制御器310に供給されるモータ制御コマンドも生成する
。本実施例におけるモータ制御器310は、特定の擬人化された物体の頭316
の物理的な動作例えば、パン及びチルトを制御する頭制御モータ312にモータ
動作信号を供給する。カメラ302は、この擬人化された物体の頭又は他の適切
な部分に埋め込まれる又はさもなければ結合されてもよい。FIG. 3 is a diagram showing a personality-based intelligent camera system 300 displaying another possible implementation of the system of FIG. The system 300 includes the zoom camera 3
02, camera controller 304, A / D converter 306, system software 308
, And a motor controller 310. As in the system of FIGS. 1 and 2, the camera 302 includes an A / D converter 306 for converting to a digital video signal.
To generate an analog video signal. The digital video signal is provided to system software 308, which produces the appropriate camera control commands to provide to camera controller 304. The system software 308 also generates motor control commands that are provided to the motor controller 310. The motor controller 310 in this example is designed for a specific anthropomorphic object head 316.
The motor operation signal is supplied to the head control motor 312 that controls the pan and tilt, for example. The camera 302 may be embedded or otherwise coupled to the head or other suitable portion of this anthropomorphic object.
【0019】
システム300では、擬人化された物体は、顔造作アニメーションを提供する
液晶ディスプレイ(LCD)スクリーン318を有する。例えば、スクリーン3
18は、頭316に取り付けられ又はさもなければ結合されてもよく、図2のシ
ステム200と共に説明した機械的なモータベースの制御によって提供されるの
に類似する造作アニメーションを提供するために構成されてもよい。システムソ
フトウェア308は、LCDスクリーン駆動器314にスクリーングラフィック
スコマンドを供給し、駆動器314はスクリーン318上に所望のアニメーショ
ンを提供するための対応するLCDピクセル制御信号を生成する。In system 300, the anthropomorphic object has a liquid crystal display (LCD) screen 318 that provides facial feature animation. For example, screen 3
18 may be attached to or otherwise coupled to head 316 and is configured to provide a feature animation similar to that provided by the mechanical motor-based control described with system 200 of FIG. May be. The system software 308 supplies the screen graphics commands to the LCD screen driver 314, which generates corresponding LCD pixel control signals to provide the desired animation on the screen 318.
【0020】
図4は、本発明の例示的な実施例によるパーソナリティベースの知的カメラシ
ステム400の外見の例を示す図である。システム400の外見は、頭415と
体417を有する人間、動物、又は、他の生き物の擬人化された物体である。頭
415と関連して、眉421並びに422、瞼423並びに424、及び、口4
25を含む幾つかの顔造作がある。頭415及び関連する顔造作は、例えば、図
2と共に説明したモータベース制御技法、図3と共に説明したスクリーンベース
制御技法、又は、これら及び他の制御技法の組み合わせを用いて制御され得る。FIG. 4 is a diagram illustrating an example appearance of a personality-based intelligent camera system 400 according to an exemplary embodiment of the present invention. The appearance of system 400 is an anthropomorphic object of a human, animal, or other creature having head 415 and body 417. In relation to the head 415, eyebrows 421 and 422, eyelids 423 and 424, and mouth 4
There are several facial features, including 25. Head 415 and associated facial features may be controlled using, for example, the motor-based control technique described in conjunction with FIG. 2, the screen-based control technique described in conjunction with FIG. 3, or a combination of these and other control techniques.
【0021】
前述の実施例におけるカメラ102、202、又は、302のようなズームカ
メラは、擬人化された物体の全ての所望の場所、例えば、頭415の目又は他の
造作の一部に、体417に、又は、全ての他の場所に埋め込まれ、取り付けられ
、又は、さもなければ設置されてもよい。この例に関して、ズームカメラが頭4
15の一方の目の中に埋め込まれていると仮定する。システム400は、頭に取
り付けられるインジケータ430、及び、横に取り付けられるカメラ432並び
に434を含み、この横に取り付けられるカメラは対応するインジケータ436
並びに438を含む。横に取り付けられるカメラ432並びに434は、本願で
は「ビデオ存在」カメラとしても称される。A zoom camera, such as the camera 102, 202, or 302 in the embodiments described above, may be used in all desired locations of the anthropomorphic object, for example, in the eyes of the head 415 or as part of other features. It may be embedded, attached, or otherwise installed in the body 417 or in all other places. For this example, the zoom camera is head 4
Suppose it is embedded in one of fifteen eyes. System 400 includes a head-mounted indicator 430 and side-mounted cameras 432 and 434, which are side-mounted cameras with corresponding indicators 436.
And 438. The laterally mounted cameras 432 and 434 are also referred to herein as "video present" cameras.
【0022】
本願で使用する「ビデオ存在」といった用語は、ビデオ会議の概念を拡大する
。従来のビデオ会議は、一組の出席者がオーディオ/ビデオリンク上で別の組の
出席者と話すことを試みる通信ベースの対話を一般的に提唱する。ビデオ存在は
、遠隔な場所に「存在している」感覚を作るようオーディオ/ビデオリンクを使
用する全ての活動を含むまで概念を拡大する。これは、
1.出席者の半分がリンクの一方の端におり、残りの半分が他端にいる集まり、
2.出席者が互いを見、聞くことができるが積極的に会話していない晩、
3.通信が話により少なく集中する、例えば、家族に新しい赤ん坊、新しい家具
等を見せている状況、
4.例えば、一人の出席者が別の出席者を旅行に「連れて」いく共通の経験、
5.各出席者が共通の放送イベントに対する他の出席者の反応を見、聞くことが
できる共有するテレビジョン鑑賞、のような活動も含み得る。As used herein, the term “video presence” extends the concept of video conferencing. Conventional video conferencing generally advocates communication-based interaction in which one set of attendees attempts to talk to another set of attendees on an audio / video link. Video presence extends the concept to include all activities that use audio / video links to create the feeling of "being" at remote locations. This is 1. Half of the attendees are at one end of the link and the other half are at the other end,
2. 2. Nights when attendees can see and hear each other, but are not actively speaking. 3. The situation where communication is less concentrated in the conversation, eg showing new babies, new furniture, etc. to the family. For example, a common experience in which one attendee “takes” another attendee on a trip. It may also include activities such as shared television viewing, where each attendee can see and listen to other attendees' reactions to a common broadcast event.
【0023】
これらは例に過ぎず、本願で使用する「ビデオ存在」の概念は、オーディオ/
ビデオリンクが使用され得る、通常ビデオ会議の定義外にあると考えられる全て
の他のタイプの活動も含み得る。These are merely examples, and the concept of “video present” as used in this application refers to audio / audio
It may also include all other types of activities that are normally considered outside the definition of a video conference, where video links may be used.
【0024】
各インジケータ430、436、及び、438には、ユーザにインジケータ情
報を提供するために形成される例えば、適切な光源が結合されてもよい。例えば
、インジケータ光は、システム400の特定の状態に基づいて点灯又は消灯され
てもよく、例えば、インジケータ430、436、及び、438は、対応する頭
ベース及び横に取り付けられるカメラが夫々作動されるとき点灯され、これらカ
メラがオフにされるとき消灯されてもよい。Each indicator 430, 436, and 438 may be coupled with, for example, a suitable light source configured to provide indicator information to a user. For example, the indicator light may be turned on or off based on the particular state of the system 400, for example, indicators 430, 436, and 438 may be activated by corresponding head base and side mounted cameras, respectively. It may be turned on when the cameras are turned off and turned off when the cameras are turned off.
【0025】
図4は、従って、多数のカメラを含み、生き物のような擬人化された物体は、
その頭の中に埋め込まれたカメラ、及び、生き物のような物体によって「保持」
されているように見える2つの取り付けられたカメラを具備して形成される。こ
の配置では、埋め込まれたカメラがパーソナリティベースのカメラとして機能し
、他のカメラが話者又は関心のある他の対象物を追う従来のトラッキングカメラ
として機能する。例えば、2つの完全に独立したカメラを使用することにより、
シーンが擬専門的な方法、例えば、一つのカメラが話者の枠いっぱいのショット
のためにズームする一方で別のカメラが部屋の広い確立したショットを捕捉する
ように撮られ得る。FIG. 4 thus includes a number of cameras, and anthropomorphic objects such as living things
"Hold" by a camera embedded in its head and a living-like object
Formed with two attached cameras that appear to be. In this arrangement, the embedded camera acts as a personality-based camera and the other camera acts as a traditional tracking camera that follows the speaker or other objects of interest. For example, by using two completely independent cameras,
The scene can be taken in a pseudo-professional manner, for example, one camera zooming for a framed shot of the speaker while another camera captures a wide established shot of the room.
【0026】
広いショットがライブフィードに対応するとき、クローズアップカメラが移動
され得、生の標準的なテレビジョンディレクタモデルをまねる洗練された方向技
法を可能にする。When a wide shot corresponds to a live feed, the close-up camera can be moved, allowing for sophisticated directional techniques that mimic a live standard television director model.
【0027】
システム400、並びに、本願で説明する他のシステムは、オーディオ、音声
、又は、他の可聴で認知できる情報をユーザに提供するために適当なオーディオ
、音声、又は、他の処理及び発生回路を含んでもよい。例えば、従来の音響モジ
ュールは、さえずり、きしみ、及び他のノイズの生成を可能にするためにカメラ
システムの中に組み込まれてもよい。System 400, as well as other systems described herein, provide audio, voice, or other processing and generation suitable for providing audio, voice, or other audibly perceptible information to a user. It may include a circuit. For example, a conventional acoustic module may be incorporated into a camera system to enable the generation of twitter, squeaks, and other noise.
【0028】
以下は、図4の上記のカメラシステム400又は、本発明による他のパーソナ
リティベースの知的カメラシステムにおいて実行されてもよい例示的な対話プロ
トコルである。このプロトコルは、ビデオ存在又はビデオ会議のような用途にお
いて使用するために設計されていることに注意する。プロトコルは、単一のカメ
ラが生き物のような物体の目の中に埋め込まれ、図4に示すように2つのビデオ
存在カメラが両側に取り付けられると仮定する。ビデオ存在カメラは、カメラの
レンズ上で開閉し得るシャッタを含むと仮定する。更に、本例に関して、カメラ
システムが受信器及びLCDディスプレイ、並びに、遠隔な装置と通信を送受信
する例えば、電話機又はインターネット接続のようなネットワーク接続を確立す
る能力を含むセットトップボックスと対話すると仮定する。これらの仮定は、例
示目的に過ぎず、如何なる方法でも本発明の範囲を制限するものとして解釈され
てはならない。
1.オフ位置。システムは完全に電源が切られ、どのビデオも送信又は処理され
ていないことを明示する。瞼は目のカメラ上で閉じ、シャッタが2つのビデオ存
在カメラ上で閉じる。全てのインジケータ光はオフである。
2.オン/ウェイクアップ。瞼が目のカメラ上で開き、頭がユーザと対面するよ
う回される。2つのビデオ存在カメラ上のシャッタは閉じられたままであり、ど
のビデオも送信されていないことを示す。
3.ビデオを受信器に送る。ライブビデオがセットトップボックス中の受信器に
送信されるとき、ビデオ存在カメラ上のシャッタが開き、インジケータ光が点灯
する。セットトップボックスの受信器及びLCDディスプレイは、ビデオが例え
ば、VCR又は他の記憶装置に記録される、又は、遠隔な場所に送信されるか否
かを示す本文情報を示すために使用されてもよい。
4.確認応答。コマンドが聞かれ理解される場合、システムは頭のチルトの自由
度ですばやく頷く。確認のさえずり音が発生される。
5.誤解。コマンドが誤解された場合、システムはどのようにしてより良く理解
できるかをユーザに示すことを試みる。以下は、可能な誤解の幾つかの例である
。The following is an exemplary interaction protocol that may be implemented in the above camera system 400 of FIG. 4 or other personality-based intelligent camera system according to the present invention. Note that this protocol is designed for use in applications such as video presence or video conferencing. The protocol assumes that a single camera is embedded in the eye of a living object and two video present cameras are mounted on each side, as shown in FIG. It is assumed that the video present camera includes a shutter that can be opened and closed on the lens of the camera. Further, for the purposes of this example, assume that the camera system interacts with a receiver and LCD display, as well as a set top box that includes the ability to establish a network connection, such as a telephone or Internet connection, for sending and receiving communications with remote devices. . These assumptions are for illustration purposes only and should not be construed as limiting the scope of the invention in any way. 1. Off position. The system indicates that it has been completely powered down and no video is being transmitted or processed. The eyelids close on the eye camera and the shutter closes on the two video present cameras. All indicator lights are off. 2. On / wake up. The eyelids open over the camera of the eye and the head is turned so that it faces the user. The shutters on the two video present cameras remain closed, indicating that no video is being transmitted. 3. Send video to receiver. When live video is sent to the receiver in the set top box, the shutter on the video present camera opens and the indicator light illuminates. The receiver and LCD display of the set top box may also be used to show textual information indicating whether the video is recorded on a VCR or other storage device or transmitted to a remote location, for example. Good. 4. Acknowledgment. If the command is heard and understood, the system nods quickly in the degree of tilt of the head. A confirmation chirp is generated. 5. Misunderstanding. If the command is misunderstood, the system tries to show the user how it can be better understood. The following are some examples of possible misunderstandings.
【0029】 (a)コマンドを認めていない−システムは困惑した表情を表示する。[0029] (A) Not accepting commands-The system displays a confused look.
【0030】
(b)コマンドを認めたが、今実行できない、例えば、完全に右を向いている
ときに「右に向け」の場合‐パンの自由度で「ノー」と頭を振る、及び、否定の
ビーッという音を発生する。(B) A command is accepted, but it cannot be executed now, for example, in the case of "pointing to the right" when completely facing to the right-shaking the head "no" in the degree of freedom of pan, and Generates a negative beep.
【0031】
(c)オーディオが低すぎる又はジェスチュアが認められない−システムは困
惑した表情を示し、目が細くなるよう狭める。
6.ダイアリング。システムがダイアリングしているとき、システムは待機の挙
動を表示し、上の左の方を見、下の中央を見、上の右の方を見、下の中央を見な
がら眉を上げているとき瞬きする。
7.接続。システムは、笑顔を表示し、成功したさえずりを発する。セットトッ
プボックス上のLCDが送信状態を示す。
8.接続失敗/再試行/再試行待ち/話中/未応答の呼鈴。システムは、不快及
び困惑した表情を表示する。不快な表情は、非常に怒っているように見えないよ
う僅かである。セットトップボックスのLCDは、問題の原因に関するテキスト
情報を提供する。
9.外からの呼を受信。注意をひく音響を発生する。システムは、ユーザの注意
をひく一方で、眉を上げ瞼を大きく開く。
10.オン及び接続。装置がオンであり接続されており、セットトップボックス
に送信しているとき幾つかの状態が存在する。これらは、自動及び手動のモード
の間の移行、注意の焦点等を示す。これらは、以下に詳細に記載する。
11.自動モード。この状態では、システムは、ユーザからの直接的なコマンド
に応答することに対して自動カメラ制御下で作動する。この状態では、システム
は無表情、例えば、眉は上げられても下げられてもなく、瞼は7/8開けられ、
口は笑顔でも不快な顔でもない表情を示す。低い、略可聴できないあいまいな自
動モードオーディオ信号を発生してもよい。(C) Audio too low or no gesture-the system shows a confused look and narrows the eyes narrow. 6. Dialing. When the system is dialing, the system displays the waiting behavior, looking up to the left, looking down to the center, looking up to the right, and looking down to the center to raise the eyebrows. Blink when you are there. 7. Connection. The system displays a smile and emits a successful twitter. The LCD on the set top box indicates the transmission status. 8. Connection bell / retry / waiting for retry / busy / unanswered call bell. The system displays an unpleasant and confused look. The unpleasant look is so slight that it does not look very angry. The LCD of the set top box provides textual information about the cause of the problem. 9. Receive calls from outside. Generates a noteworthy sound. The system raises the eyebrows and widens the eyelids while attracting the user's attention. 10. On and connected. There are several states when the device is on and connected and sending to the set top box. These indicate transitions between automatic and manual modes, focus of attention, etc. These are described in detail below. 11. auto mode. In this state, the system operates under automatic camera control in response to direct commands from the user. In this state, the system is expressionless, for example, the eyebrows are not raised or lowered, the eyelids are opened 7/8,
The mouth shows a smile and an unpleasant face. It may generate a low, almost inaudible and ambiguous automatic mode audio signal.
【0032】
自動モードにあるとき、埋め込まれたカメラは、現在送信しているビデオ存在
カメラと同方向に一般に向けられる。しかしながら、自動トラッキングシステム
が会話にパターンを検出したとき、埋め込まれたカメラを次にどこに向けるかを
予測することをシステムに可能にさせ、埋め込まれたカメラはビデオ存在カメラ
の前にその方向に向けられる。これは、カメラ外にいるヒトにカメラ上のヒトに
応答することを可能にさせる。第1の応答が生じると直ぐに、埋め込まれたカメ
ラは応答の確認応答を示すために向けられる。応答が続けられ、第2の話者が一
次の話者になる場合、ビデオ存在カメラが間もなく後続する。応答が確認の発言
だけの場合、埋め込まれたカメラは主な話者に向けられる。
12.注意の焦点。ビデオ存在カメラが部屋の一方の側に向けられてもよいが、
装置は部屋の他方の側にいるユーザからコマンドを受信してもよい。この場合、
埋め込まれたカメラは、システムを制御しているユーザに向けられ、この方向は
システムを誰が制御しているかを示す。When in automatic mode, the embedded camera is generally pointed in the same direction as the currently present video present camera. However, when the automatic tracking system detects a pattern in the conversation, it allows the system to predict where the embedded camera will turn next, with the embedded camera pointing in that direction in front of the video presence camera. To be This allows a person outside the camera to respond to the person on the camera. As soon as the first response occurs, the embedded camera is turned to show the acknowledgment of the response. If the response continues and the second speaker becomes the primary speaker, the video presence camera will soon follow. If the response is only a confirmatory utterance, the embedded camera is aimed at the main speaker. 12. Focus of attention. The video present camera may be pointed to one side of the room,
The device may receive commands from users on the other side of the room. in this case,
The embedded camera is aimed at the user controlling the system and this direction indicates who controls the system.
【0033】
13.オーバーロード。何らかの理由により、例えば、過度の動き、過度の分
散している音声等によりカメラシステムが部屋の中の活動を理解できない場合、
システムはユーザがカメラを制御すべきことを示し得る。この場合、頭は「スピ
ン」し(協調してパン及びチルトする)、眉が急速に上下に動く。
14.手動モード。手動モードでは、システムはユーザのコマンドに細心の注意
を払っていることを示す。埋め込まれたカメラの注意の焦点は、制御するユーザ
の方に向けられる。眉は僅かに上げられ、関心及び注意を示し、僅かな笑みを発
生する。特別な集中ノイズを発生する。
15.ポインティング。手動モードの能力の一つは、ユーザに部屋の中の何かを
指し、カメラにそのポインティングを追うことを可能にすることである。この場
合、装置は、頭の明るい焦合された赤光をオンにし、頭を推測するポインティン
グの場所の方に向け、システムを制御するユーザにカメラがどこに向けられるべ
きかの装置が考える場所を示す。これが正しくない場合、ユーザは、場所を調節
するためにフィードバックを用いてポイントを調節し得る。システムが短時間、
例えば、3乃至5秒間同じ場所にいると、赤光がオフにされ、装置は、この場所
でカメラを維持することを示すためにわずかに頷く。13. Overload. If for some reason the camera system is unable to understand activity in the room, for example due to excessive movement, excessive dispersed voice, etc.,
The system may indicate that the user should control the camera. In this case, the head “spins” (coordinates pan and tilt) and the eyebrows move rapidly up and down. 14. Manual mode. In manual mode, the system indicates that it is paying close attention to the user's commands. The focus of attention of the embedded camera is directed towards the controlling user. The eyebrows are slightly raised, showing interest and attention, producing a slight smile. Generates special concentrated noise. 15. pointing. One of the capabilities of the manual mode is to allow the user to point at something in the room and follow the pointing at the camera. In this case, the device turns on the bright, focused red light of the head and points it towards the pointing location to guess the head, to the user controlling the system where the device thinks where the camera should be. Show. If this is incorrect, the user may adjust the points using feedback to adjust the location. System is short time,
For example, if at the same location for 3-5 seconds, the red light is turned off and the device nods slightly to indicate keeping the camera at this location.
【0034】
上記の対話プロトコルは、例示的に過ぎず、カメラシステムの特定の実行に向
けられる。本発明の他の実施例と使用することに好適な同様のプロトコルは、簡
単な方法で形成され得る。The interaction protocol described above is exemplary only and is directed to the particular implementation of the camera system. Similar protocols suitable for use with other embodiments of the invention can be formed in a straightforward manner.
【0035】
ホームベースのビデオ会議に使用することに特に適切であるが、上記の例示的
なシステム100、200、300、及び、400は、幅広い他の用途にも使用
され得る。例えば、これらシステムは、ビデオ存在及びビデオ監視用途に使用さ
れ得る。更に、本発明は、例えば、パン−チルト−ズーム(PTZ)カメラを含
む、ズームカメラ以外の画像捕捉装置と使用され得ることが明らかである。本願
で使用する「カメラ」といった用語は、従って、パーソナリティベースのシステ
ムと共に使用され得る全てのタイプの画像捕捉装置を含むことを意図する。Although particularly suitable for use in home-based video conferencing, the exemplary systems 100, 200, 300, and 400 described above may also be used in a wide variety of other applications. For example, these systems may be used for video presence and video surveillance applications. Further, it should be apparent that the present invention may be used with image capture devices other than zoom cameras, including, for example, pan-tilt-zoom (PTZ) cameras. The term "camera" as used herein is therefore intended to include all types of image capture devices that may be used with personality based systems.
【0036】
上記の例示的なカメラシステムの素子又は素子の群は、他の点ではコンピュー
タ、セットトップボックス等である対応する素子、並びに、これら及び他の処理
装置の一部分又は組み合わせを表示してもよいことに注意する。更に、システム
100、200、300、及び、400の個々の素子の幾つか又は全ての機能は
、単一の装置に組み合わされてもよい。例えば、一つ以上のこれらシステム素子
は、コンピュータ、テレビジョン、セットトップボックス、又は、他の処理装置
の中に組み込まれるべき特定用途向け集積回路(ASIC)又は回路カードとし
て実行されてもよい。The elements or groups of elements of the exemplary camera system described above represent corresponding elements, which are otherwise computers, set-top boxes, etc., as well as portions or combinations of these and other processing devices. Note that it is okay. Moreover, the functionality of some or all of the individual components of systems 100, 200, 300, and 400 may be combined into a single device. For example, one or more of these system elements may be implemented as an application specific integrated circuit (ASIC) or circuit card to be incorporated into a computer, television, set top box, or other processing device.
【0037】
システムソフトウェアは、マイクロプロセッサ、中央処理ユニット、マイクロ
コントローラ、又は、システム中で実施されてもよい全ての他のデータ処理素子
によって実行されるよう構成されてもよい。更に、システム100、200、3
00、及び、400は、対応するシステムソフトウェアの記憶及び実行に使用す
るために、電子メモリ、光学的又は磁気的なディスクベースのメモリ、テープベ
ースのメモリ、並びに、これら及び他のタイプの記憶装置の組み合わせ又は一部
分を含むよう構成されてもよい。更に、システムソフトウェアを実行するために
使用されるコンピュータ又は他の処理装置は、擬人化された物体及び関連付けら
れるカメラと同じ場所に配置されてもよく、又は、供給される信号がカメラ、モ
ータ制御器等、及び処理装置の間を従来の遠隔制御配置を介して送られて遠隔に
配置されてもよい。The system software may be configured to be executed by a microprocessor, central processing unit, microcontroller, or any other data processing element that may be implemented in the system. Furthermore, the systems 100, 200, 3
00 and 400 are electronic memories, optical or magnetic disk-based memories, tape-based memories, and these and other types of storage devices for use in storing and executing corresponding system software. May be configured to include a combination or a part of. Further, the computer or other processing device used to execute the system software may be co-located with the anthropomorphic object and associated camera, or the signals provided may be camera, motor control. It may also be remotely located by sending it through a conventional remote control arrangement between the device etc. and the processing device.
【0038】
本発明の上記実施例は例示的に過ぎないことをここで再び強調する。例えば、
本発明は、制御された造作の多数の異なる組み合わせで幅広い異なる生き物のよ
うな物体と使用され得る。更に、単一のズームカメラを具備するシステムを用い
て例示したが、本発明は、多数のカメラを具備するシステム、PTZカメラを具
備するシステム、及び、他のタイプ及び配置の画像捕捉装置を具備するシステム
にも適用可能である。更に、本発明は、関心のある対象物を検出し追跡し、ユー
ザにフィードバックを供給するために多数の異なるタイプの技法を利用し得る。
添付の特許請求の範囲内のこれら及び多数の他の実施例は当業者に明らかである
。It is again emphasized that the above embodiments of the present invention are exemplary only. For example,
The present invention can be used with a wide variety of different creature-like objects in many different combinations of controlled features. Further, while illustrated using a system with a single zoom camera, the present invention includes systems with multiple cameras, systems with PTZ cameras, and other types and arrangements of image capture devices. It is also applicable to a system that does. Further, the present invention may utilize many different types of techniques to detect and track objects of interest and provide feedback to the user.
These and numerous other embodiments within the scope of the appended claims will be apparent to those skilled in the art.
【図1】
本発明の例示する実施例による、パーソナリティベースの知的カメラシステム
の一般的な実行を示すブロック図である。1 is a block diagram illustrating a general implementation of a personality-based intelligent camera system according to an exemplary embodiment of the present invention.
【図2】
図1のパーソナリティベースの知的カメラシステムのより特定の実行を示すブ
ロック図である。2 is a block diagram illustrating a more specific implementation of the personality-based intelligent camera system of FIG.
【図3】
図1のパーソナリティベースのカメラシステムの例示的な別の実行を示すブロ
ック図である。3 is a block diagram illustrating another exemplary implementation of the personality-based camera system of FIG.
【図4】
本発明によるパーソナリティベースのカメラシステムの例の外見を示す図であ
る。FIG. 4 is a diagram showing the appearance of an example of a personality-based camera system according to the present invention.
───────────────────────────────────────────────────── フロントページの続き (72)発明者 ライオンズ,ダミアン エム オランダ国,5656 アーアー アインドー フェン,プロフ・ホルストラーン 6 Fターム(参考) 5C022 AA12 AB66 AC21 AC27 AC77 5C064 AA02 AC04 AC20 【要約の続き】 インタフェースを提供する。─────────────────────────────────────────────────── ─── Continued front page (72) Inventor Lions, Damien M Netherlands, 5656 Earth Ardine Fen, Plov Holstran 6 F-term (reference) 5C022 AA12 AB66 AC21 AC27 AC77 5C064 AA02 AC04 AC20 [Continued summary] Provides the interface.
Claims (16)
カメラと、 上記造作の特定の形態がカメラシステムの作動状態を示すよう、上記擬人化さ
れた物体の上記造作を制御する制御信号を生成するために上記カメラに結合され
る制御器とを有するカメラシステム。1. A camera associated with an anthropomorphic object having a controllable feature, and controlling the feature of the anthropomorphic object such that a particular form of the feature is indicative of the operating state of a camera system. A camera system coupled to the camera to generate a control signal.
を有する請求項1記載のカメラシステム。2. The camera system of claim 1, wherein the camera comprises a zoom camera with adjustable zoom settings.
込まれる請求項1記載のカメラシステム。3. The camera system of claim 1, wherein the camera is embedded during a particular feature of the anthropomorphic object.
項1記載のカメラシステム。4. The camera system of claim 1, wherein the anthropomorphic object comprises a creature-like object.
物体の上記制御可能な造作は、上記頭と関連付けられる顔の造作を有する請求項
1記載のカメラシステム。5. The camera of claim 1, wherein the anthropomorphic object has a head and a body and the controllable feature of the anthropomorphic object has a facial feature associated with the head. system.
な一対の瞼、及び、制御可能な口の少なくとも一つを有する請求項5記載のカメ
ラシステム。6. The camera system of claim 5, wherein the controllable facial feature comprises at least one of a controllable pair of eyebrows, a controllable pair of eyelids, and a controllable mouth.
まれ、上記制御器は、上記頭のパン及びチルトを制御する制御信号を生成するた
めに更に有効である請求項5記載のカメラシステム。7. The camera is embedded within the head of the anthropomorphized object, and the controller is further effective for generating control signals for controlling pan and tilt of the head. Item 5. The camera system according to Item 5.
記擬人化された物体の上記制御可能な造作と関連付けられ、少なくとも一つの追
加のカメラはビデオ存在カメラを有する請求項1記載のカメラシステム。8. The method of claim 1, further comprising a plurality of cameras, at least one of the cameras being associated with the controllable feature of the anthropomorphized object and at least one of the additional cameras being a video presence camera. The described camera system.
し、上記システムソフトウェアは上記モータ制御器に供給される制御コマンドを
生成する請求項1記載のカメラシステム。9. The camera system of claim 1, wherein the controller comprises system software and a motor controller, the system software generating control commands supplied to the motor controller.
ルトを制御する一つ以上の頭制御モータを駆動する請求項9記載のカメラシステ
ム。10. The camera system of claim 9, wherein the motor controller drives one or more head control motors that control pan and tilt of the anthropomorphized object.
な一対の眉、制御可能な一対の瞼、及び、制御可能な口の少なくとも一つを有し
、 上記モータ制御器は、上記眉の傾きを制御する眉傾き用モータ、上記眉の高さ
を制御する眉高さ用モータ、上記瞼の上下の動作を制御する瞼用モータ、上記口
を制御する口用モータの少なくとも一つを駆動する請求項9記載のカメラシステ
ム。11. The controllable feature of the anthropomorphized object has at least one of a pair of controllable eyebrows, a pair of controllable eyelids, and a controllable mouth, the motor control The device is an eyebrow tilting motor that controls the tilt of the eyebrow, an eyebrow height motor that controls the height of the eyebrow, an eyelid motor that controls the up and down movements of the eyelid, and a mouth motor that controls the mouth. The camera system according to claim 9, which drives at least one of the above.
ラシステムのディスプレイスクリーンにおいて少なくとも部分的に実行され、上
記システムソフトウェアは上記造作を制御するためにディスプレイスクリーン駆
動器に供給される制御信号を生成する請求項9記載のカメラシステム。12. The controllable feature of the anthropomorphic object is performed at least partially on a display screen of the camera system, and the system software feeds a display screen driver to control the feature. 10. The camera system according to claim 9, wherein the camera system generates a controlled signal.
生成し、上記カメラによって生成されるビデオ信号を処理する請求項9記載のカ
メラシステム。13. The camera system of claim 9, wherein the system software produces a control signal for the camera and processes a video signal produced by the camera.
メラシステムに対応する作動状態に対する特定の形態を特定する対話プロトコル
による上記擬人化された物体の上記制御可能な造作に対して制御信号を生成する
請求項9記載のカメラシステム。14. The system software controls signals for the camera and the controllable feature of the anthropomorphic object according to a dialogue protocol that identifies a particular configuration for an operating state corresponding to the camera system. The camera system according to claim 9, wherein
化された物体の上記造作を制御する制御信号を生成する段階とを有する方法。15. A method of implementing a camera system, associating a camera with an anthropomorphic object having a controllable feature, wherein a particular form of the feature is indicative of an operating condition of the camera system. Generating a control signal controlling the feature of the anthropomorphic object.
つ以上のプログラムを記憶する記憶媒体であって、 上記一つ以上のプログラムは、上記カメラシステムのプロセッサによって実行
されるとき、 上記造作の特定の形態が上記カメラシステムの作動状態を示すよう、上記カメ
ラシステムのカメラと関連付けられる擬人化された物体の造作を制御する制御信
号を生成する段階を有する、記憶媒体。16. A storage medium for storing one or more programs of a set of system software for controlling a camera system, wherein the one or more programs are executed by a processor of the camera system. A storage medium having a step of generating a control signal controlling a feature of an anthropomorphic object associated with a camera of the camera system such that a particular configuration of the camera system indicates an operating state of the camera system.
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US45023099A | 1999-11-29 | 1999-11-29 | |
US09/450,230 | 1999-11-29 | ||
PCT/EP2000/011296 WO2001041428A1 (en) | 1999-11-29 | 2000-11-10 | Personality-based intelligent camera system |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2003516049A true JP2003516049A (en) | 2003-05-07 |
Family
ID=23787271
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2001541236A Pending JP2003516049A (en) | 1999-11-29 | 2000-11-10 | Personality-based intelligent camera system |
Country Status (4)
Country | Link |
---|---|
EP (1) | EP1157545A1 (en) |
JP (1) | JP2003516049A (en) |
TW (1) | TW519826B (en) |
WO (1) | WO2001041428A1 (en) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2010512685A (en) * | 2006-12-07 | 2010-04-22 | センサーマティック・エレクトロニクス・コーポレーション | Video surveillance system with communication status confirmation signal |
Families Citing this family (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6982748B2 (en) * | 2002-02-25 | 2006-01-03 | Koninklijke Philips Electronics N.V. | Automatically switched camera system with indicator for notifying the next subject of the camera system |
US7705877B2 (en) | 2004-01-28 | 2010-04-27 | Hewlett-Packard Development Company, L.P. | Method and system for display of facial features on nonplanar surfaces |
TWI507028B (en) * | 2010-02-02 | 2015-11-01 | Hon Hai Prec Ind Co Ltd | Controlling system and method for ptz camera, adjusting apparatus for ptz camera including the same |
US8704904B2 (en) | 2011-12-23 | 2014-04-22 | H4 Engineering, Inc. | Portable system for high quality video recording |
EP2820837A4 (en) | 2012-03-01 | 2016-03-09 | H4 Eng Inc | Apparatus and method for automatic video recording |
EP2820840A4 (en) * | 2012-03-02 | 2015-12-30 | H4 Eng Inc | Multifunction automatic video recording device |
US9723192B1 (en) | 2012-03-02 | 2017-08-01 | H4 Engineering, Inc. | Application dependent video recording device architecture |
JP2019101492A (en) * | 2017-11-28 | 2019-06-24 | トヨタ自動車株式会社 | Communication apparatus |
CN108490645B (en) * | 2018-06-06 | 2024-06-21 | 仁怀市五马小学 | Glasses with quick snapshot function |
Family Cites Families (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US4819076A (en) * | 1987-08-14 | 1989-04-04 | Briggs John A | Dual-camera photographic system |
JP2001524286A (en) * | 1997-05-07 | 2001-11-27 | テルボティクス・インク | Teleconference robot with swiveling video monitor |
DE19729508C2 (en) * | 1997-07-10 | 2001-08-30 | Dirk Pohl | Communication device |
-
2000
- 2000-11-08 TW TW089123616A patent/TW519826B/en not_active IP Right Cessation
- 2000-11-10 JP JP2001541236A patent/JP2003516049A/en active Pending
- 2000-11-10 EP EP00983139A patent/EP1157545A1/en not_active Withdrawn
- 2000-11-10 WO PCT/EP2000/011296 patent/WO2001041428A1/en not_active Application Discontinuation
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2010512685A (en) * | 2006-12-07 | 2010-04-22 | センサーマティック・エレクトロニクス・コーポレーション | Video surveillance system with communication status confirmation signal |
Also Published As
Publication number | Publication date |
---|---|
WO2001041428A1 (en) | 2001-06-07 |
TW519826B (en) | 2003-02-01 |
EP1157545A1 (en) | 2001-11-28 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4569196B2 (en) | Communication system | |
US8063929B2 (en) | Managing scene transitions for video communication | |
US8154578B2 (en) | Multi-camera residential communication system | |
US20080297589A1 (en) | Eye gazing imaging for video communications | |
Shell et al. | Interacting with groups of computers | |
US20080297586A1 (en) | Personal controls for personal video communications | |
US20080298571A1 (en) | Residential video communication system | |
US11343471B2 (en) | Information processing device and information processing method for communication using three-dimensional space | |
JP2014506023A (en) | Customizable robot system | |
JP2007216363A (en) | Communication robot | |
CN112639686A (en) | Converting between video and audio of a virtual environment and video and audio of a real environment | |
JP2003516049A (en) | Personality-based intelligent camera system | |
KR20190100703A (en) | Speaker with motion recognition technology using artificial intelligence and control method therefore | |
JP2022169645A (en) | Device and program, or the like | |
JP2012175136A (en) | Camera system and control method of the same | |
US11511410B2 (en) | Artificial intelligence (AI) robot and control method thereof | |
CN111275158A (en) | Method and apparatus for generating and displaying electronic avatar | |
JP2004234631A (en) | System for managing interaction between user and interactive embodied agent, and method for managing interaction of interactive embodied agent with user | |
US20190080458A1 (en) | Interactive observation device | |
JP2000349920A (en) | Intention transmitter | |
KR102591830B1 (en) | Apparatus and Method for Determining Interaction Action between Human and Robot | |
JP2019208167A (en) | Telepresence system | |
US10924710B1 (en) | Method for managing avatars in virtual meeting, head-mounted display, and non-transitory computer readable storage medium | |
JP7257022B2 (en) | Communication support system, robot, video processing device and video processing program | |
WO2024154626A1 (en) | Electronic apparatus and program |