JP2010244322A

JP2010244322A - Communication character device and program therefor

Info

Publication number: JP2010244322A
Application number: JP2009092727A
Authority: JP
Inventors: Ei Akayama; 永赤山; Mikiya Yasuda; 幹哉安田
Original assignee: BITTO DESIGN KK
Current assignee: BITTO DESIGN KK
Priority date: 2009-04-07
Filing date: 2009-04-07
Publication date: 2010-10-28

Abstract

<P>PROBLEM TO BE SOLVED: To provide a communication character device for making a character to be formed by a computer or the like operate in response to a candidate in a real space, and to provide a program therefor. <P>SOLUTION: This communication character device includes: an image pickup means 16 for photographing the image of a candidate; a display means 14 for displaying a communication character 30; a recognition means 26 for recognizing the location and/or shape of the specific site of a candidate 22 from the image of the candidate; and a character operation control means 26 for setting the photographic image obtained by the image pickup means 16 as the visual region of the communication character 30, and for making the communication character 30 perform a corresponding operation according to the position and/or shape of the specific site of the candidate 22 in the visual region. <P>COPYRIGHT: (C)2011,JPO&INPIT

Description

本発明はコミュニケーションキャラクター装置、及びそのプログラム、特にキャラクター動作制御機構の改良に関する。 The present invention relates to a communication character device and a program thereof, and particularly to an improvement of a character motion control mechanism.

近年のコンピュータの急速な発展に伴い、パーソナルコンピュータレベルでも、そのユーザーがあたかもコンピュータ内のキャラクターの一員として仮想空間を移動できるゲーム等が開発され、注目されている（特許文献１〜３等）。
これらの技術によれば、ユーザー自身のデジタル写真などをコンピュータ内に取り込み、キャラクターの表示に用いることで、より臨場感を演出することもできる。
前記従来のゲーム等は、コンピュータ内に形成される仮想空間にユーザーがいかに溶け込めるかという観点が重視されていたが、一方で一部のロボットなどに見られるように現実空間の一員としてキャラクターを引き出すことができれば、単にゲームという枠を超え、日常的なコミュニケーションの対象としてコンピュータが作り出すキャラクタを用いることもできる。 With the rapid development of computers in recent years, games and the like that allow a user to move in a virtual space as a member of a character in the computer have been developed and attracted attention even at the personal computer level (Patent Documents 1 to 3).
According to these technologies, a user's own digital photograph or the like can be taken into a computer and used for displaying a character, thereby providing a more realistic feeling.
In the conventional game, etc., the viewpoint of how the user can be integrated into the virtual space formed in the computer has been emphasized. On the other hand, as seen in some robots, the character is used as a member of the real space. If it can be pulled out, it is possible to use a character created by a computer as an object of daily communication beyond the game.

特開平１１−６６２７２JP-A-11-66272 特開２００４−４６７９３JP2004-46793A 特開２００９−３７２７６JP2009-37276

本発明は前記従来技術に鑑みなされたものであり、その解決すべき課題はコンピュータ等が形成するキャラクターが現実空間の対象者に対応して動作するコミュニケーションキャラクター装置、及びそのプログラムを提供することにある。 The present invention has been made in view of the prior art, and the problem to be solved is to provide a communication character device in which a character formed by a computer or the like operates corresponding to a subject in real space, and a program thereof. is there.

前記課題を解決するために本発明にかかるコミュニケーションキャラクター装置は、
対象者の画像を撮影する撮像手段と、
コミュニケーションキャラクターを表示可能な表示手段と、
該対象者画像より対象者の特定部位の位置及び／又は形状を認識する認識手段と、
前記撮像手段による撮影画像を、前記コミュニケーションキャラクターによる目視領域として設定し、該目視領域内での対象者の特定部位の位置及び／又は形状により、コミュニケーションキャラクターに対応動作を取らせるキャラクター動作制御手段と、
を備えたことを特徴とする。 In order to solve the above problems, a communication character device according to the present invention includes:
Imaging means for capturing an image of the subject;
Display means capable of displaying communication characters;
Recognition means for recognizing the position and / or shape of the specific part of the subject from the subject image;
Character action control means for setting a photographed image by the imaging means as a viewing area by the communication character and causing the communication character to take a corresponding action according to the position and / or shape of the specific part of the subject within the viewing area. ,
It is provided with.

また、前記装置において、キャラクター動作制御手段は、表示手段の表示面と撮影画面を仮想的に離隔配置し、撮影画面上での対象者顔面位置及び仮想離隔距離により対象者顔面位置を推定し、表示面上のコミュニケーションキャラクターに対象者顔面推定位置方向にキャラクターの視線ないし姿勢を向けさせることが好適である。
また、前記装置において、キャラクター動作制御手段は、コミュニケーションキャラクターを仮想空間内に配置し、対象者顔面推定位置からコミュニケーションキャラクター目視した場合の仮想空間背景を、コミュニケーションキャラクター背景に表示させることが好適である。
また、前記装置において、キャラクター動作制御手段は、撮影画面内に対象者顔面が特定できない場合には仮想空間内の奥にコミュニケーションキャラクターを配置し、撮影画面内に対象者画面が特定された場合は、コミュニケーションキャラクターを前面に移動させることが好適である。 Further, in the above apparatus, the character motion control means virtually arranges the display surface of the display means and the photographing screen, and estimates the subject face position from the subject face position and the virtual separation distance on the photographing screen, It is preferable to direct the character's line of sight or posture in the direction of the estimated position of the subject's face to the communication character on the display surface.
In the above apparatus, it is preferable that the character motion control means arranges the communication character in the virtual space and displays the virtual space background when the communication character is viewed from the estimated face position of the target person on the communication character background. .
Further, in the above apparatus, the character motion control means arranges a communication character in the back of the virtual space when the target person's face cannot be specified in the shooting screen, and when the target person screen is specified in the shooting screen. It is preferable to move the communication character to the front.

また、本発明にかかるプログラムは、対象者の画像を撮影する撮像手段と、コミュニケーションキャラクターを表示可能な表示手段と、を備えたコンピュータまたはゲーム機用プログラムであって、
該対象者画像より対象者の特定部位の位置及び／又は形状を認識する認識手段と、
前記撮像手段による撮影画像を前記コミュニケーションキャラクターによる目視領域として設定し、該目視領域内での対象者の特定部位の位置及び／又は形状により、コミュニケーションキャラクターに対応動作を取らせるキャラクター動作制御手段と、
を備えたことを特徴とする。 Further, a program according to the present invention is a program for a computer or game machine including an imaging unit that captures an image of a subject and a display unit that can display a communication character,
Recognition means for recognizing the position and / or shape of the specific part of the subject from the subject image;
Character action control means for setting a photographed image by the imaging means as a viewing area by the communication character, and taking action corresponding to the communication character according to a position and / or shape of a specific part of the subject in the viewing area;
It is provided with.

以上説明したように本発明にかかるコミュニケーションキャラクター装置ないしそのプログラムによれば、コンピュータ等で形成されたコミュニケーションキャラクターの目をカメラにより代用させ、対象者の動作を視覚的に認識して仮想空間内で所定の動作を取らせることが可能となる。 As described above, according to the communication character apparatus or the program thereof according to the present invention, the eyes of the communication character formed by a computer or the like are substituted by a camera, and the movement of the target person is visually recognized in the virtual space. It is possible to take a predetermined action.

本発明の一実施形態にかかるコミュニケーションキャラクター装置の概略構成の説明図である。It is explanatory drawing of schematic structure of the communication character apparatus concerning one Embodiment of this invention. 図１に示した装置におけるユーザーとキャラクターの対応動作制御状態を示す説明図である。It is explanatory drawing which shows the corresponding | compatible action control state of the user and character in the apparatus shown in FIG. 図１に示した装置における、ユーザー位置とキャラクターの相対状態の説明図である。It is explanatory drawing of the relative state of a user position and a character in the apparatus shown in FIG. 図１に示した装置における、ユーザー認知とキャラクターの動作の説明図である。It is explanatory drawing of a user's recognition and a character's operation | movement in the apparatus shown in FIG. 図１に示した装置における、ユーザー位置と表示手段上への表示領域の説明図である。It is explanatory drawing of the display area on a user position and a display means in the apparatus shown in FIG. 本発明による表示手段への表示例の説明図である。It is explanatory drawing of the example of a display on the display means by this invention.

以下、図面に基づき本発明の好適な実施形態について説明する。
図１は本発明の一実施形態にかかるコミュニケーションキャラクター装置１０を示しており、実際には家庭用のパーソナルコンピューターにより代用することができる。
同図に示すように、本実施形態にかかるコミュニケーションキャラクター装置１０は、パーソナルコンピュータ１２と、モニター１４と、ＵＳＢ接続等によりコンピュータに接続されたカメラ１６、マイク１８、スピーカー２０を有する。
そして、前記カメラ１６は、たとえばモニター１４上部等、ユーザー２２のおおよそ正面に位置する部分に設置され、ユーザー２２（対象者）の画像を撮影する撮像手段として機能する。
また、モニター１４は、コミュニケーションキャラクターを表示可能な表示手段として機能する。
また、コンピュータ１２は、カメラによって撮影された画像の認識を行う認識手段２４、およびモニター１４に表示されるコミュニケーションキャラクターに対して所望の動作を取らせるキャラクター動作制御手段２６として機能する。 Preferred embodiments of the present invention will be described below with reference to the drawings.
FIG. 1 shows a communication character device 10 according to an embodiment of the present invention. In practice, the communication character device 10 can be replaced by a home personal computer.
As shown in the figure, a communication character device 10 according to the present embodiment includes a personal computer 12, a monitor 14, and a camera 16, a microphone 18, and a speaker 20 connected to the computer by a USB connection or the like.
The camera 16 is installed in a portion located approximately in front of the user 22 such as the upper part of the monitor 14 and functions as an imaging unit that captures an image of the user 22 (subject).
The monitor 14 functions as a display unit that can display a communication character.
The computer 12 also functions as a recognition unit 24 that recognizes an image captured by the camera, and a character operation control unit 26 that causes the communication character displayed on the monitor 14 to take a desired action.

そして、本実施形態においては、モニター１４に映し出されるキャラクターの「目」として前記カメラ１６を用い、「耳」として前記マイク１８を用い、さらに口（音声発生）としてスピーカー２０を用いるものである。
すなわち、図２に示すように、本実施形態においては、制御手段２６はコミュニケーションキャラクター３０および該キャラクター３０が存在する仮想空間３２を作成する。
そして、キャラクター３０は、仮想空間３２内を自由に移動でき、キャラクター３０の目視領域（カメラ１６の視野Ａ）内にユーザー２２の顔が認識されない間は、仮想空間奥側（図中、点線キャラクター３０）に位置する。 In this embodiment, the camera 16 is used as the “eye” of the character displayed on the monitor 14, the microphone 18 is used as the “ear”, and the speaker 20 is used as the mouth (sound generation).
That is, as shown in FIG. 2, in this embodiment, the control means 26 creates a communication character 30 and a virtual space 32 where the character 30 exists.
The character 30 can freely move in the virtual space 32, and while the face of the user 22 is not recognized in the viewing area of the character 30 (the field of view A of the camera 16), 30).

これに対し、カメラ視野Ａ内にユーザー２２の顔が認識されると、動作制御手段２６はキャラクター３０を仮想空間前面側（図中、実線キャラクター３０）に移動させる。この際、たとえば図２に示すように仮想空間３２内に形成された道３４にそって移動するようにすることも好適である。 On the other hand, when the face of the user 22 is recognized in the camera view A, the motion control means 26 moves the character 30 to the front side of the virtual space (solid character 30 in the figure). At this time, for example, it is also preferable to move along a road 34 formed in the virtual space 32 as shown in FIG.

そして、ユーザー２２は、モニター１４をはさんで仮想空間３２内のキャラクター３０と対峙する。このこめ、仮想空間３２の一端面３２ａに近接してモニター画面１４が位置しているように、該モニター画面１４にはキャラクター３０およびその背景が表示される。すなわち、図２においてカメラ視野Ａ左端にいるユーザー２２は、仮想空間３２への窓として機能するモニター１４を介してキャラクター３０、およびその背景（仮想空間右側のモニター表示領域）を見ることができる。そして、カメラ１６の画像３６内におけるユーザー２２の位置により、ユーザー２２の実位置を推定することが可能であり、キャラクター３０はユーザー２２に相対するように視線Ｂを向ける。このユーザー２２の実位置は、ユーザー２２とモニター１４の一般的な離隔距離Ｃの位置に撮影画像３６を位置させ、画像３６内でのユーザー顔面位置から推定することができる。無論、カメラにフェーストラッキング機能及びオートフォーカス機能を持たせ、そのトラッキング及びフォーカス位置からユーザー顔面位置を推定させることもできる。そして、ユーザー２２がキャラクター３０（モニター）に近づいてくる、あるいは遠ざかる等の距離情報を利用し、キャラクター３０の動作（近づく、遠ざかる等）を、よりリアルに実行させることもできる。同様に、顔面の大きさの変化により、ユーザー２２とキャラクター３０との距離変化を認識することも好適である。
この状態で、ユーザー２２の音声をマイク１８で採取し、その特定のキーワードなどに反応して、キャラクター３０（制御手段２６）がスピーカー２０を介して返答をするようにしてもよい。
また、ユーザー２２はコンピュータに汎用される他の入力手段、たとえばマウス操作、キーボード操作によりキャラクターと会話、動作指示を行うこともできる。 Then, the user 22 faces the character 30 in the virtual space 32 across the monitor 14. In this way, the character 30 and its background are displayed on the monitor screen 14 so that the monitor screen 14 is positioned close to the one end surface 32a of the virtual space 32. That is, the user 22 at the left end of the camera view A in FIG. 2 can see the character 30 and the background (monitor display area on the right side of the virtual space) through the monitor 14 functioning as a window to the virtual space 32. The actual position of the user 22 can be estimated from the position of the user 22 in the image 36 of the camera 16, and the character 30 directs the line of sight B so as to face the user 22. The actual position of the user 22 can be estimated from the position of the user's face in the image 36 by positioning the captured image 36 at a general distance C between the user 22 and the monitor 14. Of course, the camera can have a face tracking function and an autofocus function, and the user face position can be estimated from the tracking and focus positions. Then, by using distance information such as the user 22 approaching or moving away from the character 30 (monitor), the action of the character 30 (approaching or moving away) can be executed more realistically. Similarly, it is also preferable to recognize a change in the distance between the user 22 and the character 30 based on a change in the size of the face.
In this state, the voice of the user 22 may be collected by the microphone 18 and the character 30 (control unit 26) may respond via the speaker 20 in response to the specific keyword or the like.
In addition, the user 22 can also perform a conversation with a character and give an operation instruction by other input means generally used for a computer, for example, a mouse operation or a keyboard operation.

図３にはキャラクター３０によるユーザー２２への相対状態が示されている。
同図に示すようにカメラ１６での撮影画像が、そのままキャラクター３０の目視領域として設定され、該目視領域の左側にユーザー２２の顔が認識されれば、それに対応してキャラクター３０は顔、ないし視線Ｂをユーザー側に向け（同図（Ａ））、同様に目視領域中央にユーザー２２が認識されればその方へ（同図（Ｂ））、目視領域右側に認識されればそちらへ（同図（Ｃ））、それぞれキャラクター３０は顔ないし視線Ｂを向ける。このため、ユーザー２２はあたかもキャラクター３０が意思を持って現実空間のユーザー２２と相対し、対話しているかのように感じることができる。 FIG. 3 shows a relative state of the character 30 to the user 22.
As shown in the figure, if an image captured by the camera 16 is set as a viewing area of the character 30 as it is and the face of the user 22 is recognized on the left side of the viewing area, the character 30 corresponds to the face or The line of sight B is directed toward the user side (FIG. (A)). Similarly, if the user 22 is recognized in the center of the viewing area (FIG. (B)), if the user 22 is recognized on the right side of the viewing area, ( (C)), each character 30 faces the face or line of sight B. For this reason, the user 22 can feel as if the character 30 has an intention and is interacting with the user 22 in the real space.

また、図４にはキャラクター３０がユーザー２２を認識した際の移動状態が示されている。
同図に示すように、カメラ１４による撮影画像３６（視野Ａ）内にユーザー２２が認識されていない状態では、キャラクター３０は仮想空間３２奥に位置しており、視野Ａ内にユーザー２２を認識すると手前に向かい仮想空間内を移動してくる。このため、ユーザー２２は、キャラクター３０が現実空間におけるユーザーの行動を認識しているかのように感じることができる。 FIG. 4 shows a movement state when the character 30 recognizes the user 22.
As shown in the figure, when the user 22 is not recognized in the captured image 36 (view A) by the camera 14, the character 30 is located in the virtual space 32 and recognizes the user 22 in the view A. Then, it moves toward the front and moves in the virtual space. For this reason, the user 22 can feel as if the character 30 recognizes the user's action in the real space.

さらに、図５は、カメラ視野Ａ内でユーザー２２が移動した際のモニター１４に表示される画像の変化を示している。
同図に示すように、モニター１４は仮想空間３２の端面に配置された窓のように設定され、モニター１４中心と推定ユーザー２２位置を結ぶ線を中心にモニタ１４枠で制限された角度領域のキャラクター３０およびその背景画像を観察することができる。
なお、本実施形態において、ユーザー２２の認識は、カメラによる撮影画像を二値化し、眼窩、鼻梁、***部等の顔面特異形状の位置を認識するなど、公知の手法を用いることができる。 Further, FIG. 5 shows a change in an image displayed on the monitor 14 when the user 22 moves within the camera view A.
As shown in the figure, the monitor 14 is set like a window arranged on the end face of the virtual space 32, and has an angle region limited by the monitor 14 frame around a line connecting the center of the monitor 14 and the estimated user 22 position. The character 30 and its background image can be observed.
In the present embodiment, the user 22 can recognize the user 22 by using a known method such as binarizing the image captured by the camera and recognizing the position of the face-specific shape such as the eye socket, nose bridge, and lip.

図６には、モニターへのキャラクターおよび背景（仮想空間）の表示例が示されており、神社境内という仮想空間内に、少女（キャラクター）を配置している。そして、カメラによる撮影画像を二値化した画像が図中右下に表示され、これがキャラクターによるユーザー認識状態である。そして、顔面位置は、顔面特徴点を囲う状態で矩形枠にて示されている。無論、実際の使用時には、このような二値化画像を並置させる必要はない。
また、上記説明においては、キャラクター３０は水平面内での移動、あるいはユーザー２２への相対動作について説明したが、たとえばカメラ１６視野内でユーザー２２の顔が上部に位置し、あるいは下部に位置した場合などには、それに対応してキャラクター３０の顔、姿勢ないし視線を上下方向に角度変更することができる。
また、本発明において、たとえばユーザーの指の形状を認識可能とし、じゃんけん等の動作を行うこともできる。
FIG. 6 shows a display example of a character and background (virtual space) on a monitor, and a girl (character) is arranged in a virtual space called a shrine precinct. An image obtained by binarizing the image captured by the camera is displayed at the lower right in the figure, and this is a user recognition state by the character. The face position is indicated by a rectangular frame surrounding the face feature point. Of course, in actual use, it is not necessary to juxtapose such binarized images.
In the above description, the character 30 has been described as moving in the horizontal plane or relative to the user 22. For example, when the face of the user 22 is positioned at the top or the bottom within the field of view of the camera 16. For example, the face, posture or line of sight of the character 30 can be changed in the vertical direction correspondingly.
Further, in the present invention, for example, the shape of the user's finger can be recognized, and an operation such as Janken can be performed.

１０コミュニケーションキャラクター装置
１４モニター
１６カメラ
２２ユーザー（対象者）
２４認識手段
２６キャラクター動作制御手段
３０コミュニケーションキャラクター
３２仮想空間
３６撮影画像
10 Communication character device
14 Monitor
16 Camera 22 User (subject)
24 recognition means 26 character motion control means 30 communication character 32 virtual space 36 photographed image

Claims

対象者の画像を撮影する撮像手段と、
コミュニケーションキャラクターを表示可能な表示手段と、
該対象者画像より対象者の特定部位の位置及び／又は形状を認識する認識手段と、
前記撮像手段による撮影画像を前記コミュニケーションキャラクターの目視領域として設定し、該目視領域内での対象者の特定部位の位置及び／又は形状により、コミュニケーションキャラクターに対応動作を取らせるキャラクター動作制御手段と、
を備えたことを特徴とするコミュニケーションキャラクター装置。 Imaging means for capturing an image of the subject;
Display means capable of displaying communication characters;
Recognition means for recognizing the position and / or shape of the specific part of the subject from the subject image;
Character action control means for setting a captured image by the imaging means as a viewing area of the communication character, and taking action corresponding to the communication character according to the position and / or shape of the specific part of the subject within the viewing area;
A communication character device characterized by comprising:

請求項１記載の装置において、キャラクター動作制御手段は、表示手段の表示面と撮影画面を仮想的に離隔配置し、目視領域面上での対象者顔面位置及び仮想離隔距離により対象者顔面位置を推定し、表示面上のコミュニケーションキャラクターに対象者顔面推定位置方向にキャラクター視線を向けさせることを特徴とするコミュニケーションキャラクター装置。 2. The apparatus according to claim 1, wherein the character motion control means virtually separates the display surface of the display means and the photographing screen, and determines the subject face position based on the subject face position and the virtual separation distance on the viewing area surface. A communication character device characterized by estimating and directing a character line of sight toward a target person face estimation position direction on a communication character on a display surface.

請求項１または２記載の装置において、キャラクター動作制御手段は、コミュニケーションキャラクターを仮想空間内に配置し、対象者顔面推定位置からコミュニケーションキャラクター目視した場合の仮想空間背景を、コミュニケーションキャラクター背景に表示させることを特徴とするコミュニケーションキャラクター装置。 3. The apparatus according to claim 1, wherein the character motion control means places the communication character in the virtual space, and displays the virtual space background when the communication character is viewed from the estimated position of the face of the target person on the communication character background. Communication character device characterized by.

請求項３に記載の装置において、キャラクター動作制御手段は、撮影画面内に対象者顔面が特定できない場合には仮想空間内の奥にコミュニケーションキャラクターを配置し、撮影画面内に対象者画面が特定された場合は、コミュニケーションキャラクターを前面に移動させることを特徴とするコミュニケーションキャラクター装置。 4. The apparatus according to claim 3, wherein the character motion control means places a communication character in the back of the virtual space when the target person's face cannot be specified in the shooting screen, and the target person screen is specified in the shooting screen. The communication character device is characterized in that the communication character is moved to the front in the event of a failure.

対象者の画像を撮影する撮像手段と、
コミュニケーションキャラクターを表示可能な表示手段と、を備えたコンピュータまたはゲーム機用プログラムであって、
該対象者画像より対象者の特定部位の位置及び／又は形状を認識する認識手段と、
前記撮像手段による撮影画像を前記コミュニケーションキャラクターの目視領域として設定し、該目視領域内での対象者の特定部位の位置及び／又は形状により、コミュニケーションキャラクターに対応動作を取らせるキャラクター動作制御手段と、
を備えたことを特徴とするコミュニケーションキャラクタープログラム。 Imaging means for capturing an image of the subject;
A computer or game machine program comprising display means capable of displaying a communication character,
Recognition means for recognizing the position and / or shape of the specific part of the subject from the subject image;
Character action control means for setting a captured image by the imaging means as a viewing area of the communication character, and taking action corresponding to the communication character according to the position and / or shape of the specific part of the subject within the viewing area;
A communication character program characterized by