WO2023210164A1 - アニメーション操作方法、アニメーション操作プログラム及びアニメーション操作システム - Google Patents

アニメーション操作方法、アニメーション操作プログラム及びアニメーション操作システム Download PDF

Info

Publication number
WO2023210164A1
WO2023210164A1 PCT/JP2023/008121 JP2023008121W WO2023210164A1 WO 2023210164 A1 WO2023210164 A1 WO 2023210164A1 JP 2023008121 W JP2023008121 W JP 2023008121W WO 2023210164 A1 WO2023210164 A1 WO 2023210164A1
Authority
WO
WIPO (PCT)
Prior art keywords
animation
motion
user
ear
predetermined
Prior art date
Application number
PCT/JP2023/008121
Other languages
English (en)
French (fr)
Inventor
桂明 戴
俊昭 柿井
Original Assignee
住友電気工業株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 住友電気工業株式会社 filed Critical 住友電気工業株式会社
Priority to JP2023545371A priority Critical patent/JP7371820B1/ja
Priority to CN202380013697.3A priority patent/CN117980875A/zh
Publication of WO2023210164A1 publication Critical patent/WO2023210164A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04845—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range for image manipulation, e.g. dragging, rotation, expansion or change of colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04883—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text

Definitions

  • One aspect of the present disclosure relates to an animation manipulation method, an animation manipulation program, and an animation manipulation system.
  • This application claims priority based on Japanese Application No. 2022-072171 filed on April 26, 2022, and incorporates all the contents described in the said Japanese application.
  • Patent Document 1 discloses a speech animation generation device that generates a facial image.
  • This speech animation generation device uses a pre-prepared acoustic model, a language model, and a correspondence table between multiple phonemes and multiple visual elements to gradually perform speech recognition on the audio signal. Generate a visual element sequence.
  • the speech animation generation device further smoothes the generated visual element sequence to generate mixture weights for each of the plurality of visual elements, and generates a plurality of face models corresponding to each of the plurality of visual elements according to the mixture weight for each of the plurality of visual elements.
  • a facial image is generated by mixing the two.
  • An animation operation method is an operation method for operating an animation motion imitating an ear that expresses non-verbal information, the method comprising: A predetermined animation action set in advance is associated with the action, and when the predetermined action is detected by the detection device, the predetermined animation action corresponding to the predetermined action is executed.
  • FIG. 1 is a diagram illustrating an example of a schematic configuration of a communication support system according to an embodiment.
  • FIG. 2 is a diagram illustrating an example of communication provided by the communication support system according to an embodiment.
  • FIG. 3 is a diagram showing an example of functional blocks of a terminal and a server.
  • FIG. 4 is a perspective view of the operating device according to the first embodiment.
  • FIG. 5 is a diagram showing an example of functional blocks of the operating device shown in FIG. 4.
  • the motion pattern in FIG. 6 is a diagram illustrating an example of an ear animation motion
  • the user motion in FIG. 6 is a diagram illustrating an example of a user's hand movement when operating the ear animation shown in the motion pattern in FIG. It is.
  • FIG. 7 is a diagram showing an example of the action of the ear animation
  • the user action in FIG. 7 is a diagram showing an example of the user's hand movement when operating the ear animation shown in the action pattern in FIG. It is.
  • the motion pattern in FIG. 8 is a diagram illustrating an example of an ear animation motion
  • the user motion in FIG. 8 is a diagram illustrating an example of a user's hand movement when operating the ear animation shown in the motion pattern in FIG. It is.
  • the motion pattern in FIG. 9 is a diagram illustrating an example of an ear animation motion
  • the user motion in FIG. 9 is a diagram illustrating an example of a user's hand movement when operating the ear animation shown in the motion pattern in FIG. It is.
  • FIG. 10 is a diagram showing an example of the action of the ear animation
  • the user action in FIG. 10 is a diagram showing an example of the user's hand movement when operating the ear animation shown in the action pattern in FIG. 10.
  • the action pattern in FIG. 11 is a diagram showing an example of the action of the ear animation
  • the user action in FIG. 11 is a diagram showing an example of the user's hand movement when operating the ear animation shown in the action pattern in FIG. 11.
  • FIG. 12 is a perspective view of the operating device according to the second embodiment.
  • FIG. 13 is a diagram showing an example of functional blocks of the operating device shown in FIG. 12.
  • the action pattern in FIG. 14 is a diagram showing an example of the action of the ear animation, and the user action in FIG.
  • the 14 is a diagram showing an example of the user's hand movement when operating the ear animation shown in the action pattern in FIG. 14. It is.
  • the action pattern in FIG. 15 is a diagram showing an example of the action of the ear animation
  • the user action in FIG. 15 is a diagram showing an example of the user's hand movement when operating the ear animation shown in the action pattern in FIG. 15. It is.
  • the motion pattern in FIG. 16 is a diagram illustrating an example of an ear animation motion
  • the user motion in FIG. 16 is a diagram illustrating an example of a user's hand movement when operating the ear animation shown in the motion pattern in FIG. It is.
  • the action pattern in FIG. 17 is a diagram showing an example of the action of the ear animation, and the user action in FIG.
  • FIG. 17 is a diagram showing an example of the user's hand movement when operating the ear animation shown in the action pattern in FIG. 17. It is.
  • the action pattern in FIG. 18 is a diagram showing an example of the action of the ear animation
  • the user action in FIG. 18 is a diagram showing an example of the user's hand movement when operating the ear animation shown in the action pattern in FIG. 18.
  • the motion pattern in FIG. 19 is a diagram showing an example of the motion of the ear animation
  • the user motion in FIG. 19 is a diagram depicting an example of the user's hand movement when operating the ear animation shown in the motion pattern in FIG. 19.
  • FIG. 20 is a diagram showing an operating device according to the third embodiment.
  • FIG. 20 is a diagram showing an operating device according to the third embodiment.
  • FIG. 21 is a diagram showing a state in which the operating device is attached to a user's finger.
  • FIG. 22 is a diagram illustrating an example of functional blocks of the operating device.
  • the motion pattern in FIG. 23 is a diagram illustrating an example of an ear animation motion
  • the user motion in FIG. 23 is a diagram illustrating an example of a user's hand movement when operating the ear animation shown in the motion pattern in FIG. It is.
  • the motion pattern in FIG. 24 is a diagram illustrating an example of an ear animation motion
  • the user motion in FIG. 24 is a diagram illustrating an example of a user's hand movement when operating the ear animation shown in the motion pattern in FIG. It is.
  • FIG. 25 is a diagram showing an example of the action of the ear animation
  • the user action in FIG. 25 is a diagram showing an example of the user's hand movement when operating the ear animation shown in the action pattern in FIG. 24.
  • the action pattern in FIG. 26 is a diagram showing an example of the action of the ear animation
  • the user action in FIG. 26 is a diagram showing an example of the user's hand movement when operating the ear animation shown in the action pattern in FIG. 26.
  • the action pattern in FIG. 27 is a diagram showing an example of the action of the ear animation
  • the user action in FIG. 27 is a diagram showing an example of the user's hand movement when operating the ear animation shown in the action pattern in FIG. 27. It is.
  • FIG. 28 is a diagram illustrating an example of an ear animation motion
  • the user motion in FIG. 28 is a diagram illustrating an example of a user's hand movement when operating the ear animation shown in the motion pattern in FIG. 28.
  • FIG. 29 is a perspective view of the operating device according to the fourth embodiment.
  • FIG. 30 is a diagram showing an example of functional blocks of the operating device shown in FIG. 29.
  • the action pattern in FIG. 31 is a diagram showing an example of the action of the ear animation
  • the user action in FIG. 31 is a diagram showing an example of the user's hand movement when operating the ear animation shown in the action pattern in FIG. 31. It is.
  • FIG. 32 is a diagram illustrating an example of an ear animation motion
  • the user motion in FIG. 32 is a diagram illustrating an example of a user's hand movement when operating the ear animation shown in the motion pattern in FIG. It is.
  • the motion pattern in FIG. 33 is a diagram illustrating an example of an ear animation motion
  • the user motion in FIG. 33 is a diagram illustrating an example of a user's hand movement when operating the ear animation shown in the motion pattern in FIG. It is.
  • the action pattern in FIG. 34 is a diagram showing an example of the action of the ear animation
  • the user action in FIG. 34 is a diagram showing an example of the user's hand movement when operating the ear animation shown in the action pattern in FIG. 34. It is.
  • ear animation animation imitating animal ears
  • the animation is generated by estimating the user's state based on the audio data and image data acquired by the terminal.
  • the user's status is reflected in the animation in real time, the status of the other user on the other end of the conversation can be recognized. Therefore, it may be possible to realize smooth communication in calls made using the terminal.
  • the user's state may not necessarily be a desirable form for the user's state to be reflected in the animation in real time. For example, if a user is performing other activities (such as checking email) during a video conference, the user may not want other users to know that the user is participating in the video conference while performing other activities. Furthermore, when the user's state is estimated and reflected in the animation in real time, the user may feel nervous. Therefore, it is desirable to reflect only the necessary actions in the animation at the timing the user intends.
  • One aspect of the present disclosure aims to provide an animation operation method, an animation operation program, and an animation operation system that can operate an animation according to a user's intention.
  • animation can be operated according to the user's intention.
  • An animation operation method is an operation method for operating an animation motion imitating an ear expressing non-verbal information, the method comprising at least one of a user's hand and fingers detected by a detection device.
  • a predetermined animation action is associated with one predetermined action, and when the predetermined action is detected by the detection device, the predetermined animation action corresponding to the predetermined action is executed.
  • a predetermined animation motion set in advance is associated with a predetermined motion of at least one of a user's hand and fingers detected by a detection device,
  • a predetermined animation motion corresponding to the predetermined motion is executed.
  • the predetermined animation operates when a specific motion is detected by the detection device. Therefore, for example, in the case of an action such as simply moving a hand or fingers, the animation does not work. In this way, only the necessary actions can be reflected in the animation at the user's intended timing. Therefore, the animation can be operated according to the user's intention.
  • the predetermined animation motion and the predetermined motion of at least one of the user's hand and fingers may be similar.
  • the predetermined animation is executed by performing a predetermined action similar to (related to) the predetermined animation. Therefore, intuitive operation is possible.
  • a detection device that detects the motion of the user's finger is used, and a predetermined preset motion is detected in response to a predetermined motion of the user's finger detected by the detection device. If animation actions are associated and a predetermined action of the finger is detected by the detection device, a predetermined animation action corresponding to the predetermined action may be executed. Thereby, the predetermined animation operates when the detection device detects a specific finger motion. Therefore, for example, in the case of an action such as simply moving a finger, the animation does not work. In this way, only the necessary actions can be reflected in the animation at the user's intended timing. Therefore, the animation can be operated according to the user's intention.
  • a detection device having an angular velocity detection unit that detects the angular velocity of the detection device is used, and a preset value is set in advance for a predetermined value of the angular velocity detected by the angular velocity detection unit If a predetermined animation action is associated with the angular velocity detection unit and a predetermined value of angular velocity is detected by the user's operation of the detection device, the predetermined animation action corresponding to the predetermined value may be executed. .
  • the animation does not operate unless the user operates the detection device.
  • the predetermined animation operates when a specific operation is performed that causes the angular velocity of the detection device to reach a predetermined value. Therefore, for example, in the case of an operation such as simply moving the detection device, the animation does not work. In this way, only the necessary actions can be reflected in the animation at the user's intended timing. Therefore, the animation can be operated according to the user's intention.
  • the detection device may be used by attaching it to the user's finger.
  • the motion of the animation can be controlled by the motion of the user's fingers (hands).
  • the detection device may be held and used in the user's hand. Thereby, the motion of the animation can be controlled by the motion of the user's hand.
  • a detection device having a display section that displays animation may be used.
  • the animation is displayed on the display section of the detection device, so the detection device can be operated while checking the animation.
  • the predetermined animation action may be executed. good.
  • the predetermined animation does not operate. Therefore, it is possible to prevent the animation from operating against the user's intention.
  • a detection device having a push part that is pressed by the user may be used, and when the push part is pressed by the user, a predetermined animation operation may be executed.
  • a predetermined animation operation may be executed.
  • the push portion of the detection device is pressed as a predetermined action by the user, a predetermined animation action is performed.
  • the predetermined animation does not operate unless the user presses the button. Therefore, it is possible to prevent the animation from operating against the user's intention.
  • a detection device having an input section for inputting the user's voice may be used, and when the user's voice is input to the input section, a predetermined animation operation may be executed.
  • a predetermined animation operation may be executed.
  • a predetermined animation action is executed.
  • the predetermined animation does not operate. Therefore, it is possible to prevent the animation from operating against the user's intention.
  • a predetermined animation operation when the angular velocity detected by the angular velocity detection section becomes equal to or higher than a certain value due to the user's operation of the detection device, a predetermined animation operation may be executed.
  • the constant value of the angular velocity may be set to be greater than or equal to the predetermined value of the angular velocity.
  • a detection device having an acceleration detection section that detects the acceleration of the detection device is used, and a predetermined value of acceleration detected by the acceleration detection section is set in advance.
  • a predetermined animation action that has been set is associated, and when an acceleration of a predetermined value is detected by the acceleration detection unit by the user's operation of the detection device, the predetermined animation action corresponding to the predetermined value is executed. You may let them.
  • the animation does not operate unless the user operates the detection device.
  • the predetermined animation operates when a specific operation is performed that causes the acceleration of the detection device to reach a predetermined value. Therefore, for example, in the case of an operation such as simply moving the detection device, the animation does not work. In this way, only the necessary actions can be reflected in the animation at the user's intended timing. Therefore, the animation can be operated according to the user's intention.
  • An animation operation program is an operation program that operates an animation motion imitating an ear expressing non-verbal information, and includes at least one of a user's hand and fingers detected by a detection device.
  • a predetermined animation action is associated with one predetermined action, and when the predetermined action is detected by the detection device, the predetermined animation action corresponding to the predetermined action is executed. cause the computer to perform the steps you want to perform.
  • a predetermined animation motion set in advance is associated with a predetermined motion of at least one of a user's hand and fingers detected by a detection device,
  • a predetermined animation motion corresponding to the predetermined motion is executed.
  • the predetermined animation operates when a specific motion is detected by the detection device. Therefore, for example, in the case of an action such as simply moving a hand or fingers, the animation does not work. In this way, only the necessary actions can be reflected in the animation at the user's intended timing. Therefore, the animation can be operated according to the user's intention.
  • An animation operation system is an operation system that operates an animation motion imitating an ear expressing non-verbal information, and includes at least one of a user's hand and fingers detected by a detection device.
  • a predetermined animation action is associated with one predetermined action, and when the predetermined action is detected by the detection device, the predetermined animation action corresponding to the predetermined action is executed.
  • a predetermined animation motion set in advance is associated with a predetermined motion of at least one of a user's hand and finger detected by the detection device,
  • a predetermined animation motion corresponding to the predetermined motion is executed.
  • the predetermined animation operates when a specific motion is detected by the detection device. Therefore, for example, in the case of an action such as simply moving a hand or fingers, the animation does not work. In this way, only the necessary actions can be reflected in the animation at the user's intended timing. Therefore, the animation can be operated according to the user's intention.
  • FIG. 1 is a diagram showing an example of a schematic configuration of a communication support system (animation operation system) (hereinafter sometimes simply referred to as "system").
  • System 100 is a computer system that supports communication. Examples of communication include video conferences, medical examinations, counseling, interviews (personal evaluation), telework, etc., which involve calls with other users.
  • System 100 includes terminal 10, terminal 20, and terminal 30.
  • the terminal 10 is a laptop personal computer (PC) used by a user U1.
  • the terminal 20 is a mobile phone (such as a smartphone) used by the user U2.
  • Terminal 30 is a desktop PC used by user U3.
  • Terminal 10, terminal 20, and terminal 30 can be connected to network N.
  • the terminal 10 is connected to the network N via the access point AP, the terminal 20 is connected to the base station BS, and the terminal 30 is connected to the network N by wire (not shown).
  • the terminal 10 As the terminal 10, the terminal 20, and the terminal 30, in addition to the above-mentioned PC and mobile phone, a tablet terminal, a wearable terminal, a head-mounted display (HMD) terminal, and various other terminals may be used. Note that the number of terminals included in the system 100 is not limited to the example in FIG. 1.
  • the system 100 includes a server 40.
  • Server 40 is connected to network N. Therefore, the terminal 10, the terminal 20, the terminal 30, and the server 40 can communicate with each other via the network N. Note that the number of servers included in the system 100 is not limited to the example in FIG. 1.
  • the configuration of network N is not limited.
  • the network N may include the Internet (public network), a communication carrier network, a business operator network, and the like.
  • FIG. 2 is a diagram illustrating an example of communications provided by system 100. Communication takes place on a call screen G rendered by a computer.
  • the call screen G is displayed on the terminal 10, the terminal 20, and the terminal 30, and is presented to the user U1, the user U2, and the user U3. Users U1, U2, and U3 are communication targets with each other.
  • the character C1 of the user U1, the character C2 of the user U2, and the character C3 of the user U3 appear on the call screen G as participants in the communication.
  • the characters C1, C2, and C3 are displayed on the call screen G, for example, in the same size.
  • the characters C1, C2, and C3 are displayed in one space (continuous background space).
  • a table T is displayed as an object in one space.
  • Characters C1, C2, and C3 are displayed surrounding table T and facing each other.
  • the characters C1, C2, and C3 are arranged on the table T at equal intervals (60° intervals), for example.
  • the characters C1 and C2 are displayed facing diagonally, surrounding the table T, and facing each other.
  • the character C3 is displayed in the center of the screen so as to be on the back side.
  • the screen shown in FIG. 2 is the screen of the terminal 30 of the user U3, the character C3 of the user U3 may be displayed in the background as a default.
  • the ear animations E of the characters C1 and C2 of the other users U1 and U2 are easier to see, so the states of the other users U1 and U2 can be accurately grasped.
  • the positions of the characters C1, C2, and C3 can be changed.
  • the observation viewpoint can be changed.
  • the viewpoint can be changed to look down on the characters C1, C2, and C3 from above (bird's-eye view, bird's-eye view).
  • the viewpoint change may be performed by manual operation on a keyboard or the like, or may be performed based on sensing by a wearable sensor. In this way, by displaying the characters C1, C2, and C3 in one continuous space, it is possible to create a sense of presence in the same space. This makes it possible to have a conversation with a sense of realism and unity.
  • Characters C1, C2, and C3 represent users U1, U2, and U3 on the call screen G.
  • Characters C1, C2, and C3 are dynamic characters.
  • the characters C1, C2, and C3 are generated from image materials independent of the actual images (imaging data, etc.) of the users U1, U2, and U3.
  • the image material is a material for generating an animation character.
  • the characters C1, C2, and C3 may be drawn by two-dimensional or three-dimensional computer graphics (CG).
  • the characters C1, C2, and C3 are configured to include a body B and an ear animation E.
  • the body B and the ear animation E are displayed integrally on the call screen G.
  • Being displayed integrally means that when the characters C1, C2, and C3 are viewed, the body B and the ear animation E are visually recognized as one unit. That is, being displayed integrally may be any state in which it can be recognized at a glance that the body B and the ear animation E are connected (corresponding). Therefore, being displayed integrally may be a state in which the body B and the ear animation E are in contact with each other, or a state in which the body B and the ear animation E are separated from each other.
  • Body B is identification information that can identify the user on the other end of the call.
  • Body B includes at least one of an image representing the user and text representing the user. Shadows are displayed for the characters C1, C2, and C3.
  • Body B has a spherical shape and includes text ("A", "B", "C") that can identify the user.
  • the characters C1, C2, and C3 may be configured to include a speech animation (not shown) or may be configured to include an arm animation A.
  • the ear animation E is an animation that expresses nonverbal information.
  • the ear animation E is an animation that shows the state (movement) of the user.
  • the ear animation E is an animation that expresses the user's state in a form different from the user's actual moving parts.
  • Ear animation E does not include dynamically changing facial expressions.
  • the ear animation E is displayed outside the display area of the body B so as to protrude from the display area.
  • the ear animation E is an animation that imitates the ears of an animal (for example, a rabbit, etc.), and operates according to changes in the user's state.
  • the ear animation E operates according to the user's motion.
  • the ear animation E performs movements such as stretching, bending, and rocking, for example.
  • the states, reactions, etc. of the users U1, U2, and U3 can be confirmed by the ear animations E of the characters C1, C2, and C3 displayed on the call screen G.
  • FIG. 3 is a diagram showing an example of functional blocks of the terminal 10, the terminal 20, the terminal 30, and the server 40. Since the functional blocks of the terminal 20 and the terminal 30 are similar to the functional blocks of the terminal 10, the terminal 10 and the server 40 will be explained below. First, the terminal 10 will be explained, and then the server 40 will be explained.
  • Terminal 10 includes an input section 11 .
  • the input unit 11 is a part into which the user U1's audio data and image data are input.
  • Video data of the user U1 may be input to the input unit 11.
  • the video includes user U1's audio data and image data.
  • the terminal 10 includes a control unit 12.
  • the control unit 12 is a part that generates control data for the user U1.
  • the control data of the user U1 is generated based on the operation data output from the operating device (detection device) 50.
  • the control data is data that causes the ear animation E of the character C1 to perform six actions: “nod,” “agree,” “praise (clap),” “question,” “raise hand,” and “surprise.” generate.
  • the control data is associated with the operation data.
  • motion data is associated with each control data of "nod”, “agree”, “praise (applause)", “question”, “raise hand”, and “surprise”.
  • the operation data is data transmitted from the operating device 50.
  • the control unit 12 generates control data when the operation data corresponds to control data.
  • the control data may be generated based on the user U1's audio data and image data input to the input unit 11.
  • Image data is composed of a plurality of consecutive unit frames.
  • the unit frame typically includes image information of the user U1. For example, 60 frames/second image data includes 60 unit frames per second. Details of the generation of control data by the control unit 12 will be described later.
  • the control unit 12 generates control data for controlling the motion of the character C1 based on the user's line of sight detected based on the image data. For example, when the user U1 is staring at the character C2, the character C1 is made to face the character C2. That is, the body B and ear animation E of the character C1 are rotated, for example, by 30 degrees around the Z axis (vertical axis) so that the character C1 faces the character C2. As a result, the ear animation E of the character C1 directly faces the character C2. When the line of sight of the user U1 is not on the characters C2 and C3, the character C1 may face forward.
  • the behavior of the character C1 based on the information regarding the line of sight does not have to completely match the line of sight of the user U1. For example, even if the user U1 fixes his/her line of sight on the character C2 and then immediately takes his/her line of sight off, the character C1 may remain facing the character C2 for a certain period of time. That is, the stop time may be set so that the objects stop facing each other for a certain period of time. Furthermore, the speed at which the user U1 moves his line of sight to the character C2 and the speed at which the character C1 rotates may not match. That is, the rotation speed of the character C1 may be set. With these settings, it is possible to prevent the character C1 from frequently moving (rotating) in accordance with the line of sight of the user U1, thereby avoiding the movement of the character C1 from interfering with the conversation.
  • the control unit 12 generates line-of-sight data that includes information regarding the line-of-sight of the user U1.
  • the control unit 12 outputs the line of sight data to the communication unit 14.
  • the control unit 12 can include content for controlling the rhythm of the movement of the character C1 in the above control data.
  • the control unit 12 generates control data in which rhythms are adjusted (set) for the actions of the ear animation E (bending, stretching, vibration, color change, etc.).
  • the control unit 12 detects the speech rate based on the audio data, and causes the movement of the ear animation E to reflect the rhythm based on the speech rate.
  • the control unit 12 can divide the voice data into subwords based on the voice model or the acoustic model and detect the speech rate.
  • the control unit 12 causes the movement of the ear animation E of the character C1 to reflect the rhythm based on the speech rate of the user U1.
  • the control unit 12 detects the speed of the user's U1's body movement (swaying, etc.) based on the image data, and causes the movement of the ear animation E to reflect a rhythm based on the movement speed.
  • the control unit 12 detects key points (body joint points) based on the posture estimation model, detects movement trajectories of the same key points at predetermined time intervals from time-series scenes, and detects movement speeds. obtain.
  • the control unit 12 causes the movement of the ear animation E of the character C1 to reflect a rhythm based on the movement speed of the user U1.
  • the control unit 12 is also a part that controls the actions of the characters C1, C2, and C3 based on control data.
  • the control unit 12 displays the characters C1, C2, and C3 on the call screen G, and controls the motion of the ear animation E of the characters C1, C2, and C3, based on the generated control data and the received control data.
  • the control unit 12 adjusts the motion of the ear animation E of the character C1 to a rhythm based on the speech rate of the speaker character C2 or character C3 based on the received control data. It may be synchronized. When there is no speaker (the user is not speaking), the control unit 12 causes the ear animation E of the characters C1, C2, and C3 to be performed at a prescribed rhythm (rhythm applied to all user characters). make it work.
  • the control unit 12 is also a part that generates video data for the call screen G.
  • the video data of the call screen G includes video data of the characters C1, C2, and C3 that are controlled based on the control data.
  • various objects appearing on the call screen G may be included in the video data of the call screen G.
  • the terminal 10 includes a storage unit 13.
  • the storage unit 13 is a part that stores information necessary for controlling (processing) the terminal 10.
  • a terminal program 13P is illustrated as information stored in the storage unit 13.
  • the terminal program 13P is a program for operating the terminal 10, and operates the computer so that control etc. by the control unit 12 are executed. Since the system 100 is a communication support system, the terminal program 13P can also be said to be a communication support program (animation operation program).
  • the terminal 10 includes a communication section 14.
  • the communication unit 14 is a part that communicates with an external device of the terminal 10 via the network N (see FIG. 1). Examples of external devices for the terminal 10 are the terminal 20, the terminal 30, the server 40, and the operating device 50.
  • the communication unit 14 transmits audio data and control data generated by the control unit 12 to the server 40, and receives audio data and control data from the server 40.
  • the communication unit 14 is a part that communicates with the operating device 50.
  • the communication unit 14 transmits line-of-sight data to the operating device 50 and receives motion data from the operating device 50.
  • the terminal 10 includes an output section 15.
  • the output unit 15 outputs the video of the call screen G.
  • the video of the call screen G is a video based on the video data of the call screen G generated by the control unit 12.
  • Server 40 includes a control unit 42 .
  • the control unit 42 controls the operation of the server 40.
  • Server 40 includes a storage unit 43.
  • the storage unit 43 is a part that stores information necessary for controlling the server 40.
  • FIG. 3 illustrates a server program 43P and received data 43S as information stored in the storage unit 43.
  • the server program 43P is a program for operating the server 40, and operates the computer so that control etc. by the control unit 42 are executed.
  • the received data 43S is data sent from the terminals 10, 20, and 30 to the server 40, and may include control data generated by the terminals 10, 20, and 30.
  • the server 40 includes a communication section 44.
  • the communication unit 44 is a part that communicates with an external device of the server 40 via the network N (see FIG. 1). Examples of external devices of the server 40 are the terminal 10, the terminal 20, and the terminal 30.
  • the communication unit 44 receives the control data of the user U1, the control data of the user U2, and the control data of the user U3 from the terminal 10, the terminal 20, and the terminal 30, respectively, and receives the control data generated by the terminal 10, the terminal 20, and the terminal 30. is transmitted to each of the terminals 10, 20, and 30.
  • the communication unit 44 of the server 40 may be configured using a network card or a wireless communication device to access the network N.
  • the control unit 42 of the server 40 may be configured using a processor such as a CPU (Central Processing Unit) or a GPU (Graphics Processing Unit), a clock, and a built-in memory.
  • the control unit 42 may be configured as one piece of hardware (SoC: System On a Chip) that integrates a processor, a clock, a built-in memory, a storage unit 43, and a communication unit 44.
  • SoC System On a Chip
  • the control unit 42 causes the server computer to operate as the server 40 by operating based on the server program 43P.
  • the storage unit 43 of the server 40 may be configured using a nonvolatile storage medium such as a flash memory, a hard disk, or a solid state disk (SSD).
  • the input unit 11 of the terminal 10 may be configured using a microphone, a camera, etc.
  • the microphone captures user U1's voice. That is, a microphone is a type of audio sensor that acquires audio. An image of the user U1 is acquired by the camera. That is, a camera is a type of image sensor that captures images.
  • the input unit 11 may also be configured using an operating device such as a keyboard, a mouse, or a touch panel.
  • the control unit 12 of the terminal 10 may be configured similarly to the control unit 42 of the server 40.
  • the control unit 12 causes the general-purpose computer to operate as the terminal 10 by operating based on the terminal program 13P.
  • the storage unit 13 of the terminal 10 may be configured similarly to the storage unit 43 of the server 40.
  • the communication unit 14 of the terminal 10 may be configured similarly to the communication unit 44 of the server 40.
  • the output unit 15 of the terminal 10 may be configured using a display device such as a liquid crystal panel, an organic EL panel, etc. (a touch panel may also be used). Furthermore, the output section 15 may also be configured using a speaker.
  • FIG. 4 is a perspective view of the operating device 50 according to the first embodiment.
  • FIG. 4 is a diagram showing a state in which the operating device 50 is being operated by the fingers F of users U1, U2, and U3.
  • the operating device 50 is a device operated by users U1, U2, and U3.
  • the ear animation E is operated by the operation of the operating device 50 by the users U1, U2, and U3.
  • the operating device 50 is a touch pad.
  • As the touch pad method a capacitance method, a pressure-sensitive touch method, an ultrasonic method, etc. can be adopted.
  • the operating device 50 includes a main body 51 as a hardware configuration.
  • the main body 51 has an operation surface 51A.
  • the operating device 50 is operated by the fingers F of the hands H of the users U1, U2, and U3.
  • the operating device 50 may be provided alone, or may be provided as part of a remote control for operating a television display or the like. That is, the operating device 50 may be a part of the device.
  • FIG. 5 is a diagram showing an example of functional blocks of the operating device 50.
  • the operating device 50 includes a communication section 52.
  • the communication unit 52 is a part that communicates with an external device by wireless communication or wired communication.
  • Wireless communication is, for example, LAN, Bluetooth (registered trademark), Wifi, or the like.
  • Examples of external devices are terminal 10, terminal 20, and terminal 30.
  • the communication unit 52 transmits the motion data output from the control unit 54 to the terminals 10, 20, and 30, and receives line-of-sight data from the terminals 10, 20, and 30.
  • the operating device 50 includes an input section 53.
  • the input unit 53 is a part for inputting operations by users U1, U2, and U3 on the operation surface 51A.
  • the input unit 53 detects operations (gestures) on the operation surface 51A by the users U1, U2, and U3. Examples of operations include clicking, tapping, sliding, scrolling, and the like.
  • the input section 53 outputs an operation signal to the control section 54.
  • the operating device 50 includes a control section 54.
  • the control unit 54 generates motion data based on the operation signal from the input unit 53.
  • the control unit 54 outputs the operation data to the communication unit 52.
  • the control unit 54 causes the vibration unit 55 to vibrate for a predetermined period of time when the line of sight data is output from the communication unit 14 .
  • the predetermined period of time for vibrating the vibrating section 55 is set as appropriate.
  • the control unit 54 may be configured using a processor such as a CPU (Central Processing Unit) or a GPU (Graphics Processing Unit), a clock, and a built-in memory.
  • the control unit 54 may be configured as one piece of hardware (SoC: System On a Chip) in which a processor, a clock, a built-in memory, and a communication unit 52 are integrated.
  • SoC System On a Chip
  • the operating device 50 includes a vibrating section 55.
  • the vibration section 55 vibrates the operation surface 51A of the main body 51.
  • the vibrating section 55 may be composed of a motor, a piezoelectric element, or the like.
  • the vibration section 55 is controlled by the control section 54.
  • the operating device 50 includes a battery 56.
  • the battery 56 supplies power to each part of the operating device 50.
  • the battery 56 is charged by attaching a charging cable to the main body 51. Note that when the operating device 50 is connected to the terminals 10, 20, 30 by a cable, power may be supplied from the terminals 10, 20, 30. That is, when the operating device 50 is connected to the terminals 10, 20, and 30 by a cable, the operating device 50 does not need to include the battery 56.
  • the user when operating the "nodding" ear animation E, the user performs an action similar to a nodding action using the finger F on the operating surface 51A of the operating device 50. That is, the users U1, U2, and U3 can operate the ear animation E by performing an operation similar to the ear animation E that they want to operate on the operating device 50.
  • the similar motion is a motion that is pronounced of the motion of the ear animation E or corresponds to the expressed image, and is a motion whose classification can be easily understood.
  • the operation pattern in FIG. 6 to the operation pattern in FIG. 11 are diagrams showing an example of the operation of the ear animation E.
  • the user actions in FIG. 6 to FIG. 11 are diagrams showing an example of the movements of the fingers F of users U1, U2, and U3 when operating the ear animation E shown in the action pattern in FIG. 6 to the action pattern in FIG. 11. It is.
  • the motion pattern in FIG. 6 shows the "nodding" motion in the ear animation E.
  • the ear animation E performs the "nodding" motion
  • the users U1, U2, and U3 touch the operating surface 51A of the main body 51 of the operating device 50 with two fingers, as shown in the user motion in FIG. Touch with F (for example, index finger, middle finger).
  • F for example, index finger, middle finger
  • the users U1, U2, and U3 slide their two fingers F while touching the operation surface 51A.
  • the amount of sliding the finger F is, for example, 1 cm to 2 cm.
  • the operating device 50 detects the operation with the input unit 53 and transmits it to the terminals 10, 20, 30 as operation data.
  • the control unit 12 of the terminal 10, 20, 30 generates control data that causes the ear animation E to operate as a "nod" based on the motion data.
  • the finger F is slid in the user movement shown in FIG. 6, if the movement of the finger F is stopped after the finger F slides, even if the ear is stopped with the ear bent in the ear animation E. good.
  • the motion pattern in FIG. 7 shows the "agree” motion in the ear animation E.
  • the ears are entirely bent forward.
  • the users U1, U2, and U3 have two buttons on the operation surface 51A, as shown in the user actions in FIG.
  • finger F for example, index finger, middle finger
  • the amount of sliding the finger F is, for example, longer than 2 cm, for example, 3 cm to 4 cm. That is, when the ear animation E performs the "agree” action, the users U1, U2, and U3 slide the finger F longer than when the ear animation E performs the "nod” action. .
  • the operating device 50 detects the operation with the input unit 53 and transmits it to the terminals 10, 20, and 30 as operation data.
  • the control unit 12 of the terminal 10, 20, 30 generates control data that causes the ear animation E to operate as "agreement" based on the operation data.
  • the motion pattern in FIG. 8 shows the "clap (praise)" motion in the ear animation E.
  • the ears move toward and away from each other.
  • users U1, U2, and U3 touch the operation surface 51A with two fingers F (for example, With the thumb and index finger (or index finger and middle finger) touching, the two fingers F are moved closer together (in contact) or separated.
  • the operating device 50 detects the action using the input unit 53 and transmits it to the terminals 10, 20, 30 as action data.
  • the control unit 12 of the terminal 10, 20, 30 generates control data for causing the ear animation E to operate as "clap (praise)" based on the operation data.
  • the control unit 12 of the terminal 10, 20, 30 may generate control data for clapping multiple times in response to motion data related to a single motion of bringing two fingers F closer together or moving them apart. good.
  • the motion pattern in FIG. 9 shows the "question” motion in the ear animation E.
  • the ears of the character C are entangled in the ear animation E.
  • the ear animation E performs the action of "Question”
  • the users U1, U2, and U3 touch the operation surface 51A with two fingers F (for example, the index finger and the middle finger), as shown in the user action of FIG. ) while touching it, slide it in a semicircular (arc) motion.
  • the operating device 50 detects the operation with the input unit 53 and transmits it to the terminals 10, 20, 30 as operation data.
  • the control unit 12 of the terminal 10, 20, 30 generates control data for operating the ear animation E as a "question" based on the operation data.
  • the motion pattern in FIG. 10 shows the "raise hand” motion in ear animation E.
  • the ears of the character C extend in the ear animation E.
  • the ear animation E performs the "raise hand” action, the users U1, U2, and U3 have two While touching the finger F (for example, index finger, middle finger), slide only one finger F (middle finger) upward.
  • the finger F for example, index finger, middle finger
  • the operating device 50 detects the operation with the input unit 53 and transmits it to the terminals 10, 20, 30 as operation data.
  • the control unit 12 of the terminal 10, 20, 30 generates control data for operating the ear animation E as a "raised hand” based on the motion data.
  • the motion pattern in FIG. 11 shows the "surprise” motion in ear animation E.
  • the tips of the ears become larger in the ear animation E of the character C.
  • the body B of the character C curves backward.
  • the users U1, U2, and U3 move two fingers F (for example, index finger, middle finger, ) while touching, slide the two fingers F apart.
  • the operating device 50 detects the operation with the input unit 53 and transmits it to the terminals 10, 20, and 30 as operation data.
  • the control unit 12 of the terminal 10, 20, 30 generates control data that causes the ear animation E to operate as a "surprise” based on the operation data.
  • the operating device 50 performs the operations shown in any of the user operations in FIG. 6, the user operations in FIG. 7, the user operations in FIG. 8, the user operations in FIG. 9, the user operations in FIG. , when the operation surface 51A is operated by one or three or more fingers F, no motion data is generated. That is, the operating device 50 generates motion data only when a predetermined operation is performed with two fingers F on the operating surface 51A.
  • the terminals 10, 20, and 30 When the terminals 10, 20, and 30 receive the operation data, they generate control data corresponding to the operation data. As a result, on the call screen G of the terminals 10, 20, and 30, the ear animations E of the characters C1, C2, and C3 are displayed as “nod,” “agree,” “praise (clap),” “question,” “raise hand,” or Do one of the "surprise” actions. In this way, the motion of the ear animation E of the character C is controlled by the users U1, U2, and U3 operating the operating device 50.
  • the system 100 includes the operating device 50.
  • the operating device 50 detects the motions of the fingers F of the users U1, U2, and U3, generates motion data, and transmits the motion data to the terminals 10, 20, and 30.
  • the terminals 10, 20, and 30 generate control data corresponding to the motion data and cause the motion of the ear animation E to be executed.
  • the ear animation E operates when a specific operation is performed on the operating device 50. Therefore, for example, in the case of an operation such as simply touching the operating device 50, the ear animation E does not operate. In this way, only the necessary movements can be reflected in the ear animation E at the timings intended by the users U1, U2, and U3. Therefore, the ear animation E can be operated according to the intentions of the users U1, U2, and U3.
  • the ear animation E may be operated based on the intentions of the users U1, U2, and U3.
  • the ear animation E it is possible to turn on the microphone or camera when the ear animation E is to be operated, or to turn off the microphone or camera when the ear animation E is not to be operated.
  • turning the camera and microphone on and off every time is a hassle.
  • the ear animation E operates against the intentions of the users U1, U2, and U3.
  • the operation of the ear animation E is executed only when a specific operation is performed on the operating device 50 by the users U1, U2, and U3. Therefore, in the system 100, the ear animation E can be operated according to the intentions of the users U1, U2, and U3 without performing any troublesome operations.
  • the motion of the ear animation E and the predetermined motion of the fingers F of the users U1, U2, and U3 are similar.
  • the ear animation E is executed by performing a predetermined action similar to (related to) the ear animation E. Therefore, intuitive operation is possible.
  • the terminals 10, 20, and 30 generate line-of-sight data including information related to the line-of-sight of the users U1, U2, and U3, and transmit the line-of-sight data to the operating device 50.
  • the operating device 50 vibrates the vibrating section 55 for a certain period of time based on the line of sight data.
  • the users U1, U2, and U3 who are operating the operating device 50 can experience that the other users U1, U2, and U3 are directing their own characters C1, C2, and C3. I can do it.
  • the operating device 50 generates motion data only when a predetermined operation is performed on the operating surface 51A using a preset number of fingers F (two in this embodiment). do.
  • a preset number of fingers F two in this embodiment.
  • the finger F of the user U1, U2, or U3 unintentionally contacts the operation surface 51A of the operation device 50, no motion data is generated, and therefore the ear animation E does not operate. Therefore, since only the necessary movements can be reflected in the ear animation E at the timings intended by the users U1, U2, and U3, the ear animation E can be operated according to the intentions of the users U1, U2, and U3. .
  • the configuration of the operating device is different from the first embodiment.
  • the control unit 12 is a part that generates control data for the user U1.
  • the control data for the user U1 is generated based on the motion data output from the operating device (detection device) 60.
  • the control data is data that causes the ear animation E of the character C1 to perform six actions: "nod,””agree,””praise(clap),""question,””raisehand,” and "surprise.” generate.
  • Control data is associated with operation data.
  • motion data is associated with each control data of "nod”, “agree”, “praise (applause)", “question”, “raise hand”, and “surprise”.
  • the operation data is data transmitted from the operating device 60.
  • the motion data includes a value detected by the acceleration sensor 65 of the operating device (detection device) 60 and a value detected by the gyro sensor 66.
  • a predetermined ear animation E that is set in advance is associated with a predetermined value of acceleration detected by the acceleration sensor 65 and a predetermined value of angular velocity detected by the gyro sensor 66.
  • the predetermined value of the angular velocity detected by the gyro sensor 66 may be set to about 180 deg/s. In the case of "agree", the predetermined value of the angular velocity detected by the gyro sensor 66 may be set to about 90 deg/s.
  • the predetermined value may include a predetermined numerical range. Specifically, the predetermined value is set as ⁇ m/s 2 to ⁇ m/s 2 for acceleration, and as ⁇ deg/s to ⁇ deg/s for angular velocity. It's okay.
  • the control unit 12 generates control data when the operation data corresponds to control data.
  • FIG. 12 is a perspective view of the operating device 60 according to the second embodiment.
  • FIG. 12 is a diagram showing a state in which the operating device 70 is attached to the fingers F of users U1, U2, and U3.
  • the operating device 60 includes a main body 61 and a switch 62 as a hardware configuration.
  • the operating device 60 is a device operated by users U1, U2, and U3.
  • the ear animation E operates according to the operation of the operating device 60 by the users U1, U2, and U3.
  • the main body 61 is held by users U1, U2, and U3. In this embodiment, the main body 61 is held by the hands H of the users U1, U2, and U3 (see user action 14).
  • the main body 61 has a cross shape.
  • the main body 61 can be made of resin, metal, or the like.
  • the main body 61 includes a first main body part 61A, a second main body part 61B, and a protrusion 61C.
  • the first main body part 61A and the second main body part 61B have an elongated rectangular parallelepiped shape.
  • the first main body part 61A and the second main body part 61B are arranged so that their extending directions are perpendicular to each other.
  • the protrusion 61C has, for example, a cylindrical shape.
  • the protruding portion 61C protrudes from the surfaces of the first body portion 61A and the second body portion 61B at a portion where the first body portion 61A and the second body portion 61B intersect.
  • the switch 62 is arranged on the side surface (end surface) of the second main body portion 61B of the main body 61.
  • the switch 62 is, for example, a mechanical switch.
  • the switch 62 protrudes from the side surface of the second main body portion 61B.
  • the switch 62 outputs an activation signal to the input unit 64 when pressed by the user U1, U2, or U3.
  • the main body 61 of the operating device 60 is held in the hands H of the users U1, U2, and U3. Specifically, the operating device 60 is held in the left hand of each of the users U1, U2, and U3, for example. Specifically, the operating device 60 is held such that the projection 61C is inserted between the index and middle fingers of the left hand, and the second main body 61B is located at the third joint of the fingers. Thereby, the switch 62 of the operating device 60 is held so as to face the thumb side. Therefore, the switch 62 can be operated with the thumb.
  • FIG. 13 is a diagram showing an example of functional blocks of the operating device 60.
  • the operating device 60 includes a communication section 63.
  • the communication unit 63 is a part that communicates with an external device by wireless communication or wired communication. Wireless communication is, for example, LAN, Bluetooth (registered trademark), Wifi, or the like. Examples of external devices are terminal 10, terminal 20, and terminal 30.
  • the communication unit 63 transmits the motion data output from the control unit 67 to the terminals 10, 20, and 30, and receives the line of sight data from the terminals 10, 20, and 30.
  • the operating device 60 includes an input section 64.
  • the input section 64 is a section into which an activation signal for the switch 62 is input.
  • the input section 64 outputs an actuation signal to the control section 67.
  • the operating device 60 includes an acceleration sensor (acceleration detection section) 65.
  • Acceleration sensor 65 detects acceleration of main body 61. That is, the acceleration sensor 65 detects the acceleration of the hands H of the users U1, U2, and U3 holding the operating device 60.
  • the detection sensitivity of the acceleration sensor 65 can be set as appropriate. Acceleration sensor 65 outputs a detected value to control section 67 .
  • the operating device 60 includes a gyro sensor (angular velocity detection section) 66.
  • the gyro sensor 66 detects the angular velocity of the main body 61.
  • the gyro sensor 66 is a three-axis (X-axis, Y-axis, Z-axis) gyro sensor.
  • the gyro sensor 66 detects rotation and changes in orientation of the main body 61 as angular velocity. That is, the gyro sensor 66 detects the angular velocity of the hands H of the users U1, U2, and U3 holding the operating device 60.
  • the detection sensitivity of the gyro sensor 66 can be set as appropriate.
  • Gyro sensor 66 outputs a detected value to control section 67.
  • the operating device 60 includes a control section 67.
  • the control unit 67 generates motion data based on the detection results of the acceleration sensor 65 and the gyro sensor 66.
  • the control unit 67 generates operation data when an operation signal is output from the input unit 64.
  • the control unit 67 When the actuation signal is output, the control unit 67 generates operation data including detection results output from the acceleration sensor 65 and the gyro sensor 66 within a predetermined time (for example, 5 seconds) after the actuation signal is input. do. That is, the control unit 67 generates operation data using the depression of the switch 62 as a trigger.
  • the predetermined time can be set as appropriate by the user.
  • the control section 67 outputs the operation data to the communication section 63.
  • control unit 67 may generate operation data including the detection results output from the acceleration sensor 65 and the gyro sensor 66 while the switch 62 is being pressed, that is, while the activation signal is being output. . Further, the control unit 67 may generate operation data including detection results output from the acceleration sensor 65 and the gyro sensor 66 after the switch 62 is pressed until the switch 62 is pressed again. .
  • the control unit 67 causes the vibration unit 68 to vibrate for a predetermined period of time.
  • the predetermined time period for which the vibrating section 68 is vibrated is set as appropriate.
  • the control unit 67 may be configured using a processor such as a CPU or GPU, a clock, and a built-in memory.
  • the control unit 77 may be configured as a single piece of hardware that integrates a processor, a clock, a built-in memory, and the communication unit 63.
  • the operating device 60 includes a vibrating section 68.
  • the vibrating section 68 vibrates the main body 61.
  • the vibrating section 68 may be constituted by a motor, a piezoelectric element, or the like.
  • the vibration section 68 is controlled by the control section 67.
  • the operating device 60 includes a battery 69.
  • the battery 69 supplies power to each part of the operating device 60.
  • the battery 69 may be charged by attaching a charging cable to the main body 61 or may be charged by wireless power transmission.
  • the operation pattern in FIG. 14 to the operation pattern in FIG. 19 are diagrams showing an example of the operation of the ear animation E.
  • the user actions in FIG. 14 to the user actions in FIG. 19 are diagrams showing examples of the movements of the hands H of users U1, U2, and U3 when operating the ear animation E shown in the action patterns in FIG. 14 to the action patterns in FIG. 19. It is.
  • the motion pattern in FIG. 14 shows the "nodding” motion in the ear animation E.
  • the “nodding” motion in the ear animation E of the character C, the upper half of the ear is bent forward.
  • the ear animation E performs the "nodding” motion, the users U1, U2, and U3 move their hand H, which is gripping the operating device 60, forward with the wrist as shown in the user motion in FIG. Fold it slightly.
  • the operating device 60 detects the operation using the acceleration sensor 65 and the gyro sensor 66, and transmits the detected operation to the terminals 10, 20, and 30 as operation data.
  • the control unit 12 of the terminal 10, 20, 30 generates control data that causes the ear animation E to operate as a "nod" based on the motion data. Note that when the motion of the hand H is stopped at the position shown in the user motion of FIG. 14, the motion of the hand H may be stopped with the ear bent in the ear animation E.
  • the motion pattern in FIG. 15 shows the "agree” motion in the ear animation E.
  • the ears are entirely bent forward.
  • the users U1, U2, and U3 deeply bend the hand H on which the operating device 60 is attached forward, as shown in the user motion of FIG. 15. Deeply bending means bending deeper than the action shown in the user action of FIG. 14 .
  • the operating device 60 detects the operation using the acceleration sensor 65 and the gyro sensor 66, and transmits the detected operation to the terminals 10, 20, and 30 as operation data.
  • the control unit 12 of the terminal 10, 20, 30 generates control data that causes the ear animation E to operate as "agreement" based on the operation data.
  • the motion pattern in FIG. 16 shows the "clap (praise)" motion in the ear animation E.
  • the ears move toward and away from each other.
  • the ear animation E performs the motion of "applause (praise),” the users U1, U2, and U3 move their hands H holding the operating device 60 to the left and right (back and forth) as shown in the user motion in FIG. ) horizontally.
  • the users U1, U2, and U3 may perform clapping motions with the hand H holding the operating device 60 and the other hand.
  • the operating device 60 detects the operation using the acceleration sensor 65 and the gyro sensor 66, and transmits the detected operation to the terminals 10, 20, and 30 as operation data.
  • the control unit 12 of the terminal 10, 20, 30 generates control data that causes the ear animation E to operate as "clap (praise)" based on the operation data.
  • the motion pattern in FIG. 17 shows the "question” motion in the ear animation E.
  • the ears of the character C are entangled in the ear animation E.
  • the ear animation E performs the action of "Question”
  • the users U1, U2, and U3 rotate the hand H, which is gripping the operating device 60, back and forth around the wrist, as shown in the user action of FIG. Perform the action to do so.
  • the operating device 60 detects the operation using the acceleration sensor 65 and the gyro sensor 66, and transmits the detected operation to the terminals 10, 20, and 30 as operation data.
  • the control unit 12 of the terminal 10, 20, 30 generates control data for operating the ear animation E as a "question" based on the operation data.
  • the motion pattern in FIG. 18 shows the "raise hand” motion in ear animation E.
  • the ears of the character C extend in the ear animation E.
  • the ear animation E performs the "raise hand” motion
  • the users U1, U2, and U3 perform a motion of raising the hand H holding the operating device 60 upward, as shown in the user motion of FIG. .
  • the operating device 60 detects the operation using the acceleration sensor 65 and the gyro sensor 66, and transmits the detected operation to the terminals 10, 20, and 30 as operation data.
  • the control unit 12 of the terminal 10, 20, 30 generates control data for operating the ear animation E as a "raised hand” based on the motion data.
  • the motion pattern in FIG. 19 shows the "surprise” motion in ear animation E.
  • the tips of the ears become larger in the ear animation E of the character C.
  • the body B of the character C curves backward.
  • the ear animation E performs the "surprise” motion
  • the users U1, U2, and U3 move their hand H, which is gripping the operating device 60, backward around the wrist, as shown in the user motion in FIG. Make it warp.
  • the operating device 60 detects the operation using the acceleration sensor 65 and the gyro sensor 66, and transmits it to the terminals 10, 20, and 30 as operation data.
  • the control unit 12 of the terminal 10, 20, 30 generates control data that causes the ear animation E to operate as a "surprise” based on the operation data.
  • the users U1, U2, and U3 press the switch 62 of the operating device 60.
  • the users U1, U2, and U3 perform the user action in FIG. 14, the user action in FIG. 15, the user action in FIG. 16, the user action in FIG. 18 or the user actions shown in FIG. 19.
  • motion data is generated in the operating device 60.
  • the operating device 60 transmits operation data to the terminals 10, 20, and 30.
  • the terminals 10, 20, and 30 When the terminals 10, 20, and 30 receive the operation data, they generate control data corresponding to the operation data. As a result, on the call screen G of the terminals 10, 20, and 30, the ear animations E of the characters C1, C2, and C3 are displayed as “nod,” “agree,” “praise (clap),” “question,” “raise hand,” or Do one of the "surprise” actions. In this way, the motion of the ear animation E of the character C is controlled by the users U1, U2, and U3 operating the operating device 60.
  • the operating device 60 includes an acceleration sensor 65 and a gyro sensor 66.
  • the operating device 60 detects the motions of the users U1, U2, and U3 holding the operating device 60 using an acceleration sensor 65 and a gyro sensor 66, generates motion data, and transmits the motion data to the terminals 10, 20, and 30.
  • the terminals 10, 20, and 30 generate control data corresponding to the motion data and cause the motion of the ear animation E to be executed.
  • the ear animation E does not operate when the operating device 60 is not operated by the users U1, U2, and U3.
  • the ear animation E operates when a specific operation is performed such that the acceleration and angular velocity of the operating device 60 become predetermined values. Therefore, for example, in the case of an operation such as simply moving the operating device 60, the ear animation E does not operate. In this way, only the necessary movements can be reflected in the ear animation E at the timings intended by the users U1, U2, and U3. Therefore, the ear animation E can be operated according to the intentions of the users U1, U2, and U3.
  • the operating device 60 is held in the hands H of the users U1, U2, and U3. Therefore, the users U1, U2, and U3 can operate the motion of the ear animation E by moving their hands H. Therefore, a large operation space for operating the operating device 50 is not required. Moreover, since the operating device 60 is operated by the movement of the hand H by the users U1, U2, and U3, the operation can be performed naturally and easily. Furthermore, since the hand H is capable of various motions, it is possible to increase the variations of the ear animation E corresponding to the motion data.
  • the operating device 60 includes a switch 62.
  • the operating device 60 generates operation data when the switch 62 is pressed and transmits the operation data to the terminals 10, 20, and 30. In this way, the operating device 60 generates operation data only when the switch 62 is pressed. That is, if the switch 62 is not pressed, no operation data is generated even if a specific operation is performed on the operating device 60. Therefore, in the operating device 60, operation data is not generated contrary to the intentions of the users U1, U2, and U3. Therefore, the ear animation E can be operated according to the intentions of the users U1, U2, and U3.
  • the terminals 10, 20, and 30 generate line-of-sight data including information related to the line-of-sight of the users U1, U2, and U3, and transmit the line-of-sight data to the operating device 60.
  • the operating device 60 causes the vibrating section 68 to vibrate for a certain period of time based on the line of sight data.
  • the users U1, U2, and U3 who are wearing the operating device 60 can experience that the other users U1, U2, and U3 are directing their own characters C1, C2, and C3. I can do it.
  • the configuration of the operating device is different from the first embodiment and the second embodiment.
  • the control unit 12 is a part that generates control data for the user U1.
  • the control data for the user U1 is generated based on the motion data output from the operating device (detection device) 70.
  • the control data is data that causes the ear animation E of the character C1 to perform six actions: "nod,”"agree,””praise(clap),""question,””raisehand,” and "surprise.” generate.
  • Control data is associated with operation data.
  • motion data is associated with each control data of "nod”, “agree”, “praise (applause)", “question”, “raise hand”, and “surprise”.
  • the operation data is data transmitted from the operating device 70.
  • the motion data includes a value detected by the acceleration sensor 75 of the operating device 70 and a value detected by the gyro sensor 76.
  • a predetermined ear animation E that is set in advance is associated with a predetermined value of acceleration detected by the acceleration sensor 75 and a predetermined value of the angular velocity detected by the gyro sensor 76.
  • the predetermined value of the angular velocity detected by the gyro sensor 76 may be set to about 180 deg/s. In the case of "agree", the predetermined value of the angular velocity detected by the gyro sensor 76 may be set to about 90 deg/s.
  • the predetermined value may include a predetermined numerical range. Specifically, the predetermined value is set as ⁇ m/s 2 to ⁇ m/s 2 for acceleration, and as ⁇ deg/s to ⁇ deg/s for angular velocity. It's okay.
  • the control unit 12 generates control data when the operation data corresponds to control data.
  • FIG. 20 is a diagram showing an operating device 70 according to the third embodiment.
  • FIG. 21 is a diagram showing a state in which the operating device 70 is attached to the fingers F of users U1, U2, and U3.
  • the operating device 70 includes a main body 71 and a switch 72 as a hardware configuration.
  • the operating device 70 is a device operated by users U1, U2, and U3.
  • the ear animation E operates according to the operation of the operating device 70 by the users U1, U2, and U3.
  • the main body 71 is attached to the bodies of users U1, U2, and U3. In this embodiment, the main body 71 is attached to the fingers F of the hands H of the users U1, U2, and U3 (see FIG. 21).
  • the main body 71 has a ring-like shape.
  • the main body 71 can be made of resin, metal, or the like.
  • the main body 71 has a pair of arms 71A and 71B.
  • the pair of arms 71A and 71B form an opening 71C into which a finger F is inserted. It is preferable that the pair of arms 71A, 71B are formed of an elastic member. In this case, since the pair of arms 71A and 71B can be expanded, the ease of mounting can be improved.
  • the switch 72 is arranged on the side surface of the arm 71A of the main body 71.
  • the switch 72 is, for example, a mechanical switch.
  • the switch 72 protrudes from the side surface of the arm 71A.
  • the switch 72 outputs an activation signal to the input unit 74 when pressed by the user U1, U2, or U3.
  • the main body 71 of the operating device 70 is attached to the fingers F of the hands H of users U1, U2, and U3.
  • the operating device 70 is attached to the index finger F, for example.
  • the operating device 70 can be mounted above the second joint of the index finger F.
  • the operating device 70 is mounted so that the switch 72 faces the thumb side. This allows the switch 72 to be operated with the thumb.
  • FIG. 22 is a diagram showing an example of functional blocks of the operating device 70.
  • the operating device 70 includes a communication section 73.
  • the communication unit 73 is a part that communicates with an external device by wireless communication or wired communication. Wireless communication is, for example, LAN, Bluetooth (registered trademark), Wifi, or the like. Examples of external devices are terminal 10, terminal 20, and terminal 30.
  • the communication unit 73 transmits the motion data output from the control unit 77 to the terminals 10, 20, and 30, and receives the line of sight data from the terminals 10, 20, and 30.
  • the operating device 70 includes an input section 74.
  • the input section 74 is a section into which an activation signal for the switch 72 is input.
  • Input section 74 outputs an actuation signal to control section 77 .
  • the operating device 70 includes an acceleration sensor (acceleration detection section) 75.
  • Acceleration sensor 75 detects acceleration of main body 71. That is, the acceleration sensor 75 detects the acceleration of the fingers F of the users U1, U2, and U3 wearing the operating device 70.
  • the detection sensitivity of the acceleration sensor 75 can be set as appropriate. Acceleration sensor 75 outputs a detected value to control section 77 .
  • the operating device 70 includes a gyro sensor (angular velocity detection section) 76.
  • Gyro sensor 76 detects the angular velocity of main body 71.
  • the gyro sensor 76 is a three-axis (X-axis, Y-axis, Z-axis) gyro sensor.
  • the gyro sensor 76 detects rotation and changes in orientation of the main body 71 as angular velocity. That is, the gyro sensor 76 detects the angular velocity of the fingers F of the users U1, U2, and U3 wearing the operating device 70.
  • the detection sensitivity of the gyro sensor 76 can be set as appropriate.
  • the gyro sensor 76 outputs the detected value to the control section 77.
  • the operating device 70 includes a control section 77.
  • the control unit 77 generates motion data based on the detection results of the acceleration sensor 75 and the gyro sensor 76.
  • the control section 77 generates operation data when the operation signal is output from the input section 74 .
  • the control unit 77 When the actuation signal is output, the control unit 77 generates operation data including detection results output from the acceleration sensor 75 and the gyro sensor 76 within a predetermined time (for example, 5 seconds) after the actuation signal is input. do. That is, the control unit 77 generates operation data using the depression of the switch 72 as a trigger.
  • the predetermined time can be set as appropriate by the user.
  • the control section 77 outputs the operation data to the communication section 73.
  • control unit 77 may generate operation data including the detection results output from the acceleration sensor 75 and the gyro sensor 76 while the switch 72 is pressed down, that is, while the activation signal is output. . Further, the control unit 77 may generate operation data including detection results output from the acceleration sensor 75 and the gyro sensor 76 from when the switch 72 is pressed until when the switch 72 is pressed again. .
  • the control unit 77 causes the vibration unit 78 to vibrate for a predetermined period of time.
  • the predetermined time period for which the vibrating section 78 is vibrated is set as appropriate.
  • the control unit 77 may be configured using a processor such as a CPU (Central Processing Unit) or a GPU (Graphics Processing Unit), a clock, and a built-in memory.
  • the control unit 77 may be configured as a single piece of hardware (SoC: System On a Chip) in which a processor, a clock, a built-in memory, and a communication unit 73 are integrated.
  • SoC System On a Chip
  • the operating device 70 includes a vibrating section 78.
  • the vibrating section 78 vibrates the main body 71.
  • the vibrating section 78 may be configured by a motor, a piezoelectric element, or the like.
  • the vibration section 78 is controlled by the control section 77.
  • the operating device 70 includes a battery 79.
  • the battery 79 supplies power to each part of the operating device 70.
  • the battery 79 may be charged by attaching a charging cable to the main body 71 or may be charged by wireless power transmission.
  • the operation pattern in FIG. 23 to the operation pattern in FIG. 28 are diagrams showing an example of the operation of the ear animation E.
  • the user actions in FIG. 23 to the user actions in FIG. 28 are the movements of the hands H (finger F) of the users U1, U2, and U3 when operating the ear animation E shown in the action patterns in FIG. 23 to the action patterns in FIG. It is a figure showing an example.
  • the motion pattern in FIG. 23 shows the "nodding” motion in the ear animation E.
  • the “nodding” motion in the ear animation E of the character C, the upper half of the ear is bent forward.
  • the users U1, U2, and U3 lightly bend the finger F on which the operating device 70 is attached forward, as shown in the user motion of FIG.
  • the operating device 70 detects the operation using the acceleration sensor 75 and the gyro sensor 76, and transmits the detected operation to the terminals 10, 20, and 30 as operation data.
  • the control unit 12 of the terminal 10, 20, 30 generates control data that causes the ear animation E to operate as a "nod" based on the motion data. Note that when the motion of the finger F is stopped at the position shown in the user motion of FIG. 23, the ear may be stopped with the ear bent in the ear animation E.
  • the motion pattern in FIG. 24 shows the "agree” motion in the ear animation E.
  • the ears are entirely bent forward.
  • the ear animation E performs the "agree” motion
  • the users U1, U2, and U3 deeply bend the finger F on which the operating device 70 is attached forward, as shown in the user motion of FIG. Deeply bending means bending deeper than the action shown in the user action of FIG. 23 .
  • the operating device 70 detects the operation using the acceleration sensor 75 and the gyro sensor 76, and transmits the detected operation to the terminals 10, 20, and 30 as operation data.
  • the control unit 12 of the terminal 10, 20, 30 generates control data that causes the ear animation E to operate as "agreement" based on the operation data.
  • the motion pattern in FIG. 25 shows the "clap (praise)” motion in the ear animation E.
  • the ears move toward and away from each other.
  • the ear animation E performs the action of "clap (praise)”
  • the users U1, U2, and U3 clap with their hands H equipped with the operating device 70 as shown in the user action of FIG. perform an action.
  • the users U1, U2, and U3 may hit a desk or the like with the hand H to which the operating device 70 is attached.
  • the operating device 70 detects the operation using the acceleration sensor 75 and the gyro sensor 76, and transmits the detected operation to the terminals 10, 20, and 30 as operation data.
  • the control unit 12 of the terminal 10, 20, 30 generates control data for causing the ear animation E to operate as "clap (praise)" based on the operation data.
  • the motion pattern in FIG. 26 shows the "question” motion in the ear animation E.
  • the ears of the character C are entangled in the ear animation E.
  • the ear animation E performs the action of "Question”
  • the users U1, U2, and U3 reciprocate around the wrist with the hand H on which the operating device 70 is attached, as shown in the user action of FIG. Make a rotating motion.
  • the operating device 70 detects the operation using the acceleration sensor 75 and the gyro sensor 76, and transmits the detected operation to the terminals 10, 20, and 30 as operation data.
  • the control unit 12 of the terminal 10, 20, 30 generates control data for operating the ear animation E as a "question" based on the operation data.
  • the motion pattern in FIG. 27 shows the "raise hand” motion in ear animation E.
  • the ears of the character C extend in the ear animation E.
  • the ear animation E performs the "raise hand” motion
  • the users U1, U2, and U3 raise the hand H on which the operating device 70 is attached, as shown in the user motion in FIG. conduct.
  • the operating device 70 detects the operation using the acceleration sensor 75 and the gyro sensor 76, and transmits the detected operation to the terminals 10, 20, and 30 as operation data.
  • the control unit 12 of the terminal 10, 20, 30 generates control data for operating the ear animation E as a "raised hand” based on the motion data.
  • the motion pattern in FIG. 28 shows the "surprise” motion in the ear animation E.
  • the tips of the ears become larger in the ear animation E of the character C.
  • the body B of the character C curves backward.
  • the ear animation E performs the "surprise” motion
  • the users U1, U2, and U3 move their hand H, on which the operating device 70 is attached, backwards around the wrist, as shown in the user motion of FIG. make it warp.
  • the operating device 70 detects the operation using the acceleration sensor 75 and the gyro sensor 76, and transmits the detected operation to the terminals 10, 20, and 30 as operation data.
  • the control unit 12 of the terminal 10, 20, 30 generates control data that causes the ear animation E to operate as a "surprise” based on the operation data.
  • the users U1, U2, and U3 press the switch 72 of the operating device 70.
  • the users U1, U2, and U3 perform the user actions in FIG. 23, the user actions in FIG. 24, the user actions in FIG. 25, the user actions in FIG. 27 or the user action shown in FIG. 28.
  • motion data is generated in the operating device 70.
  • the operating device 70 transmits operation data to the terminals 10, 20, and 30.
  • the terminals 10, 20, and 30 When the terminals 10, 20, and 30 receive the operation data, they generate control data corresponding to the operation data. As a result, on the call screen G of the terminals 10, 20, and 30, the ear animations E of the characters C1, C2, and C3 are displayed as “nod,” “agree,” “praise (clap),” “question,” “raise hand,” or Do one of the "surprise” actions. In this way, the motion of the ear animation E of the character C is controlled by the users U1, U2, and U3 operating the operating device 70.
  • the system 100 includes the operating device 70.
  • the operating device 70 includes an acceleration sensor 75 and a gyro sensor 76.
  • the operating device 70 detects the motions of users U1, U2, and U3 wearing the operating device 70 using an acceleration sensor 75 and a gyro sensor 76, generates motion data, and transmits the generated motion data to the terminals 10, 20, and 30.
  • the terminals 10, 20, and 30 generate control data corresponding to the motion data and cause the motion of the ear animation E to be executed.
  • the operating device 70 is not operated by the users U1, U2, and U3, the ear animation E does not operate.
  • the ear animation E operates when a specific operation is performed such that the acceleration and angular velocity of the operating device 70 become predetermined values. Therefore, for example, in the case of an operation such as simply moving the operating device 70, the ear animation E does not operate. In this way, only the necessary movements can be reflected in the ear animation E at the timings intended by the users U1, U2, and U3. Therefore, the ear animation E can be operated according to the intentions of the users U1, U2, and U3.
  • the ear animation E may be operated based on the intentions of the users U1, U2, and U3.
  • the ear animation E it is possible to turn on the microphone or camera when the ear animation E is to be operated, or to turn off the microphone or camera when the ear animation E is not to be operated.
  • turning the camera and microphone on and off every time is a hassle.
  • the ear animation E operates against the intentions of the users U1, U2, and U3.
  • the operation of the ear animation E is executed only when a specific operation is performed on the operating device 70 by the users U1, U2, and U3. Therefore, in the system 100, the ear animation E can be operated according to the intentions of the users U1, U2, and U3 without performing any troublesome operations.
  • the operating device 70 is attached to the fingers F of users U1, U2, and U3. Therefore, the users U1, U2, and U3 can manipulate the motion of the ear animation E by moving their fingers F. Therefore, a large operation space for operating the operating device 70 is not required. Further, since the operating device 70 is operated by the movement of the fingers F by the users U1, U2, and U3, the operating device 70 can be operated naturally and easily. Furthermore, since the finger F is capable of various motions, variations in the ear animation E corresponding to motion data can be increased.
  • the operating device 70 includes a switch 72.
  • the operating device 70 generates operation data when the switch 72 is pressed and transmits the operation data to the terminals 10, 20, and 30. In this manner, the operating device 70 generates operation data only when the switch 72 is pressed. That is, when the switch 72 is not pressed, no operation data is generated even if a specific operation is performed on the operating device 70. Therefore, in the operating device 70, operation data is not generated against the intentions of the users U1, U2, and U3. Therefore, the ear animation E can be operated according to the intentions of the users U1, U2, and U3.
  • the terminals 10, 20, and 30 generate line-of-sight data including information related to the line-of-sight of the users U1, U2, and U3, and transmit the line-of-sight data to the operating device 70.
  • the operating device 70 causes the vibrating section 78 to vibrate for a certain period of time based on the line of sight data.
  • the users U1, U2, and U3 who are wearing the operating device 70 can experience that the other users U1, U2, and U3 are directing their own characters C1, C2, and C3. I can do it.
  • FIG. 29 is a perspective view of the operating device 80 according to the fourth embodiment.
  • FIG. 29 is a diagram showing a state in which the operating device 80 is being operated by the fingers F of users U1, U2, and U3.
  • the operating device 80 is a device operated by users U1, U2, and U3.
  • the ear animation E operates according to the operation of the operating device 80 by the users U1, U2, and U3.
  • the operating device 80 is a mouse.
  • As the mouse method an optical type, a laser type, a Blue LED, an IR LED, a ball type, etc. can be adopted.
  • the operating device 80 includes a main body 81, a right button 82, a left button 83, and a wheel 84.
  • FIG. 30 is a diagram showing an example of functional blocks of the operating device 80.
  • the operating device 80 includes a communication section 85.
  • the communication unit 85 is a part that communicates with an external device by wireless communication or wired communication.
  • the wireless communication is, for example, Bluetooth (registered trademark), 2.4 GHz method, or the like.
  • Examples of external devices are terminal 10, terminal 20, and terminal 30.
  • the communication unit 85 transmits the motion data output from the control unit 87 to the terminals 10, 20, and 30, and receives the line of sight data from the terminals 10, 20, and 30.
  • the operating device 80 includes an input section 86.
  • the input unit 86 is a part for inputting operations by users U1, U2, and U3.
  • the input unit 86 detects operations of the right button 82, left button 83, and wheel 84 by users U1, U2, and U3.
  • the input section 86 outputs an operation signal to the control section 87.
  • the operating device 80 includes a control section 87.
  • the control section 87 generates motion data based on the operation signal from the input section 86 .
  • the control section 87 outputs the operation data to the communication section 85.
  • the control unit 87 causes the vibration unit 88 to vibrate for a predetermined period of time. The predetermined time period for which the vibrating section 88 is vibrated is appropriately set.
  • the control unit 87 may be configured using a processor such as a CPU or GPU, a clock, and a built-in memory.
  • the control unit 87 may be configured as a single piece of hardware (SoC: System On a Chip) in which a processor, a clock, a built-in memory, and a communication unit 85 are integrated.
  • SoC System On a Chip
  • the operating device 80 includes a vibrating section 88.
  • the vibrating section 88 vibrates the main body 81.
  • the vibrating section 88 may be configured by a motor, a piezoelectric element, or the like.
  • the vibration section 88 is controlled by the control section 87.
  • the operating device 80 includes a battery 89 when performing wireless communication.
  • the battery 89 supplies power to each part of the operating device 80.
  • the operation pattern in FIG. 31 to the operation pattern in FIG. 34 are diagrams showing an example of the operation of the ear animation E.
  • the user actions in FIG. 31 to the user actions in FIG. 34 are diagrams showing an example of the movements of the fingers F of users U1, U2, and U3 when operating the ear animation E shown in the action pattern in FIG. 31 to the action pattern in FIG. 34. It is.
  • the motion pattern in FIG. 31 shows the "nodding” motion in the ear animation E.
  • the “nodding” motion in the ear animation E of the character C, the upper half of the ear is bent forward.
  • the users U1, U2, and U3 move the wheel 84 of the operating device 80 with the finger F (for example, the index finger), as shown in the user motion in FIG. Rotate backwards.
  • the operating device 80 detects the operation with the input unit 86 and transmits it to the terminals 10, 20, 30 as operation data.
  • the control unit 12 of the terminal 10, 20, 30 generates control data that causes the ear animation E to operate as a "nod" based on the motion data.
  • the operation speed of the ear animation E may be changed based on the rotation speed of the wheel 84. For example, if the rotation speed of the wheel 84 is slow, the operating speed of the ear animation E may be slowed down. Further, the operation of the ear animation E may change based on the amount of rotation of the wheel 84.
  • a “nod” action is performed, and when the amount of rotation of the wheel 84 is greater than or equal to a predetermined value, an “agree” action is performed. Good too.
  • the motion pattern in FIG. 32 shows the "surprise” motion in the ear animation E.
  • the tips of the ears become larger in the ear animation E of the character C.
  • the body B of the character C curves backward.
  • the ear animation E performs the "surprise” action
  • the users U1, U2, and U3 rotate the wheel 84 forward with the finger F (for example, the index finger), as shown in the user action of FIG. .
  • the operating device 80 detects the operation with the input unit 86 and transmits it to the terminals 10, 20, 30 as operation data.
  • the control unit 12 of the terminal 10, 20, 30 generates control data that causes the ear animation E to operate as a "surprise” based on the operation data.
  • the motion pattern in FIG. 33 shows the “clap (praise)” motion in the ear animation E.
  • the ears move toward and away from each other.
  • the ear animation E performs the action of "applause (praise),” users U1, U2, and U3 press the right button 82 and the left button 83 with two fingers, as shown in the user action of FIG. Click simultaneously with F (for example, index finger and middle finger).
  • the operating device 80 detects the operation with the input unit 86 and transmits it to the terminals 10, 20, and 30 as operation data.
  • the control unit 12 of the terminal 10, 20, 30 generates control data that causes the ear animation E to operate as "clap (praise)" based on the operation data.
  • the control unit 12 of the terminal 10, 20, 30 may generate control data such that the user claps multiple times in response to the action data related to the action of clicking the right button 82 and the left button 83 once.
  • the motion pattern in FIG. 34 shows the "question” motion in the ear animation E.
  • the ears of the character C are entangled in the ear animation E.
  • the users U1, U2, and U3 press the right button 82 and the left button 83 with two fingers F (for example, , index finger and middle finger) alternately.
  • the operating device 80 detects the operation with the input unit 86 and transmits it to the terminals 10, 20, 30 as operation data.
  • the control unit 12 of the terminal 10, 20, 30 generates control data for operating the ear animation E as a "question" based on the operation data.
  • the terminals 10, 20, and 30 When the terminals 10, 20, and 30 receive the operation data, they generate control data corresponding to the operation data. As a result, on the call screen G of the terminals 10, 20, and 30, the ear animations E of the characters C1, C2, and C3 are displayed as "nod (agreement),” “surprise,” “praise (applause),” or “question.” Perform the action. In this way, the motion of the ear animation E of the character C is controlled by the users U1, U2, and U3 operating the operating device 80.
  • the operating device 80 includes a right button 82, a left button 83, and a wheel 84.
  • the operating device 80 detects the movements of the users U1, U2, and U3 using the right button 82, the left button 83, or the wheel 84, generates movement data, and transmits the generated movement data to the terminals 10, 20, and 30.
  • the terminals 10, 20, and 30 generate control data corresponding to the motion data and cause the motion of the ear animation E to be executed.
  • the operating device 80 is not operated by the users U1, U2, and U3, the ear animation E does not operate.
  • the ear animation E does not operate. In this way, only the necessary movements can be reflected in the ear animation E at the timings intended by the users U1, U2, and U3. Therefore, the ear animation E can be operated according to the intentions of the users U1, U2, and U3.
  • the ear animation E is made to act as one of “nod”, “agree”, “praise (applause)", “question”, “raise hand”, or “surprise” as an example.
  • the motion of the ear animation E may be other motions or may further include other motions.
  • an "OK" action may be performed in the ear animation E.
  • the users U1, U2, and U3 touch the operation surface 51A with two fingers F (for example, index finger and middle finger). Then, for example, slide it in a circular motion.
  • the correspondence between motion patterns and user motions is not limited to the example of the embodiment described above.
  • the ear animation E executes the action of "Question” in FIG.
  • the explanation has been given using an example of sliding in a semicircle (arc) while touching , but it is also possible to slide in an ⁇ (infinity) direction.
  • the correspondence between motion patterns and user motions can be set as appropriate.
  • the operation of the hand H or finger F of the user U1, U2, U3 is detected by any one of the operating device 50, the operating device 60, the operating device 70, and the operating device 80.
  • the hands H or fingers F of the users U1, U2, U3 may be detected by an image sensor (camera, laser, etc.).
  • the operating device may be any device that can detect acceleration and angular velocity.
  • the operating device may be, for example, a mobile phone (such as a smartphone) having a display (display unit) that displays the ear animation E.
  • operation data is generated by operating the mobile phone in the same manner as the operating devices 50, 60, 70, and 80.
  • the mobile phone is tilted forward.
  • the ear animation E performs the action of "agreeing”
  • the mobile phone is tilted forward more deeply than the motion of "nodding”.
  • the action of "praise (applause)” shake the mobile phone little by little.
  • the ear animation E executes the action of "question”
  • the mobile phone is rotated back and forth.
  • performing the ear animation E of the "raise hand” action the mobile phone is lifted upward.
  • the ear animation E (character C) is displayed on the display of the operating device, so the user can operate the operating device while checking the ear animation E. Furthermore, since the operating device and the display for displaying the ear animation E are integrated, the configuration can be simplified.
  • the operating device 50 includes the vibrating section 55 and operates the vibrating section 55 (vibrates the main body 51) based on line-of-sight data.
  • the operating device 50 does not need to include the vibrating section 55.
  • the operating device 50 may include, for example, a light emitting section (for example, an LED). In this configuration, the light emitting section is caused to emit light based on the line of sight data.
  • the operating device 50 may vibrate the vibrating section 55 based on the operation data.
  • a vibration pattern can be set corresponding to the operation data.
  • the vibration pattern can be set corresponding to each of "nod”, “agree”, “praise (applause)", “question”, “raised hand”, or “surprise”.
  • the vibration can be made for a short time in the case of "nodding”, and the vibration can be made for a longer time than the vibration for "nodding” in the case of "agree”.
  • the operating device 50 since the operating device 50 vibrates according to the intentions of the users U1, U2, and U3, a sense of unity of operation can be obtained.
  • the motion of the ear animation E may change based on at least one of the motion speed and movement amount of the fingers F (hands H) of the users U1, U2, and U3 on the operating device 50. That is, at least one of the motion speed and movement amount of the fingers F (hands H) of the users U1, U2, and U3 on the operating device 50 may be reflected in the motion of the ear animation E.
  • the motion speed of the ear animation E may change depending on the motion speed of the finger F. Specifically, for example, when the users U1, U2, and U3 increase the speed of the finger F sliding the operating surface 51A of the operating device 50 in the "nodding" motion shown in the motion pattern of FIG.
  • the speed at which the ears are bent may be decreased.
  • the "nodding" motion shown in the motion pattern of FIG. If the bending angle is increased and the sliding amount of the operation surface 51A is reduced, the angle at which the ears are bent may be reduced.
  • the operations of other ear animations E can also be set as appropriate.
  • the sensitivity of the movement of the ear animation E to the movement speed and movement amount of the fingers F (hands H) of the users U1, U2, and U3 on the operating device 50 can be set while actually checking the movement of the ear animation E. .
  • the operating device 50 that detects at least one of the operating speed and the amount of movement of at least one of the hands H and fingers F of the users U1, U2, and U3 is used, and based on at least one of the operating speed and the amount of movement, to change the behavior of the ear animation E.
  • the motion speed or amount of motion of the ear animation E changes depending on the motion speed or amount of movement.
  • sensitive non-verbal information can be expressed (expressed) according to the situations of the users U1, U2, and U3 (including conversation content, context, etc.). Therefore, since the emotions (feelings) of the users U1, U2, and U3 are more clearly expressed in the ear animation E, smooth communication can be achieved.
  • At least one of the operating speed and the amount of movement of at least one of the hands H and fingers F of the users U1, U2, and U3 is detected by the operating devices 60, 70, and 80, and the operating speed and the amount of movement are detected.
  • the behavior of the ear animation E can be changed based on at least one of the two.
  • the operation device 60 is held in the hand H and the operation of the ear animation E is operated.
  • the operation of the ear animation E may be controlled by holding a plurality of operating devices 60.
  • the operating device 60 can be held in each of both hands.
  • the motion data generated by the two operating devices 60 can be linked, and the motions of the ear animation E can be diversified.
  • the operating device 60 includes the acceleration sensor 65 as an example. However, the operating device 60 does not need to include the acceleration sensor 65. That is, the operating device 60 may include only the gyro sensor 66.
  • the operating device 60 includes the switch 62 as an example. However, the operating device 60 does not need to include the switch 62.
  • the control unit 67 may generate the operation data when the value detected by the acceleration sensor 65 and/or the gyro sensor 66 of the operating device 60 exceeds a certain value.
  • the constant value may be set to be greater than or equal to the predetermined value of the acceleration sensor 65 and/or the gyro sensor 66. This allows the users U1, U2, and U3 to operate the motion of the ear animation E without performing any special operations.
  • the operating device 60 may have an input unit for inputting the voices of the users U1, U2, and U3.
  • motion data is generated when the voices of users U1, U2, and U3 are input to the input unit.
  • the operating device 60 generates motion data when a predetermined voice, such as "Yeah hi", is input at the input section.
  • the audio input to generate the motion data may not be transmitted to other users.
  • the operating device 60 includes the vibrating section 68 and operates the vibrating section 68 (vibrates the main body 61) based on line-of-sight data.
  • the operating device 60 does not need to include the vibrating section 68.
  • the operating device 60 may include, for example, a light emitting section (for example, an LED). In this configuration, the light emitting section is caused to emit light based on the line of sight data.
  • the operating device 60 may vibrate the vibrating section 68 based on the operation data.
  • a vibration pattern can be set corresponding to the operation data. Vibration patterns can be set corresponding to each of "nod”, “agree”, “praise (clap)", “question”, “raised hand”, and “surprise”. For example, the vibration can be made for a short time in the case of "nodding”, and the vibration can be made for a longer time than the vibration for "nodding” in the case of "agree". In this configuration, since the operating device 60 vibrates according to the intentions of the users U1, U2, and U3, a sense of unity of operation can be obtained.
  • one operating device 70 is attached to the finger F to operate the motion of the ear animation E, as an example.
  • the operation of the ear animation E may be operated by wearing a plurality of operating devices 70.
  • the operating device 70 may be attached to the index finger and middle finger, or may be attached to each finger of both hands. With this configuration, the motion data generated by the two operating devices 70 can be linked, and the motions of the ear animation E can be diversified.
  • the operating device 70 includes the acceleration sensor 75 as an example. However, the operating device 70 does not need to include the acceleration sensor 75. That is, the operating device 70 may include only the gyro sensor 76.
  • the operating device 70 includes the switch 72 as an example. However, the operating device 70 does not need to include the switch 72.
  • the control unit 77 may generate the operation data when the value detected by the acceleration sensor 75 and/or the gyro sensor 76 of the operating device 70 exceeds a certain value.
  • the constant value may be set to be greater than or equal to the predetermined value of the acceleration sensor 75 and/or the gyro sensor 76. This allows the users U1, U2, and U3 to operate the motion of the ear animation E without performing any special operations.
  • the operating device 70 may have an input unit for inputting the voices of the users U1, U2, and U3.
  • motion data is generated when the voices of users U1, U2, and U3 are input to the input unit.
  • the operating device 70 generates motion data when a predetermined voice, such as "Yeah hi", is input at the input section.
  • the audio input to generate the motion data may not be transmitted to other users.
  • the operating device 70 includes the vibrating section 78 and operates the vibrating section 78 (vibrates the main body 71) based on line-of-sight data, as an example.
  • the operating device 70 does not need to include the vibrating section 78.
  • the operating device 70 may include, for example, a light emitting section (for example, an LED). In this configuration, the light emitting section is caused to emit light based on the line of sight data.
  • the operating device 70 may vibrate the vibrating section 78 based on the operation data.
  • a vibration pattern can be set corresponding to the operation data. Vibration patterns can be set corresponding to each of "nod”, “agree”, “praise (clap)", “question”, and “raised hand”. For example, the vibration can be made for a short time in the case of "nodding”, and the vibration can be made for a longer time than the vibration for "nodding” in the case of "agree". In this configuration, since the operating device 70 vibrates according to the intentions of the users U1, U2, and U3, a sense of unity of operation can be obtained.
  • the operating device 80 includes the vibrating section 88 and operates the vibrating section 88 (vibrates the main body 81) based on line-of-sight data.
  • the operating device 80 does not need to include the vibrating section 88.
  • the operating device 80 may include, for example, a light emitting section (for example, an LED). In this configuration, the light emitting section is caused to emit light based on the line of sight data.
  • the operating device 80 may vibrate the vibrating section 88 based on the operation data.
  • a vibration pattern can be set corresponding to the operation data. Vibration patterns can be set corresponding to each of "nod”, “surprise”, “praise (applause)", and “question”. In this configuration, since the operating device 80 vibrates according to the intentions of the users U1, U2, and U3, a sense of unity of operation can be obtained.
  • control data may also be generated by the server 40.
  • terminal 10, terminal 20, and terminal 30 transmit operational data to server 40, and server 40 generates control data based on the operational data.
  • the body B of the characters C1, C2, and C3 is spherical.
  • the shapes of the bodies B of the characters C1, C2, and C3 are not limited to spherical shapes.
  • the body B may have a form imitating a display.
  • the body B may display materials, a translated text of the speaker's utterance (for example, “Hello!”, etc.), facial images of the users U1, U2, U3, and the like.
  • the content of the utterance may be linked to AI to automatically display diagrams, text, video, audio, etc. in accordance with the conversation on the display of the body B.
  • the body B may have a shape that resembles a car, an alarm clock, or a tree.
  • the body B may change, deform, etc. depending on the user's condition and the like.
  • the characters C1, C2, and C3 may have a form in which the ear animation E is displayed on the head of a robot or the like.
  • a part of the body B for example, a semicircular shape
  • the hat of the ear animation E may be displayed as being placed on the head of the robot or the like.
  • body B may become a display.
  • headphones or the like having the ear animation E may be displayed together with the robot or the like.
  • the characters C1, C2, and C3 may have foot animations.
  • the foot animations of the characters C1, C2, and C3 may operate based on the detection results of the sensors that detect the foot movements of the users U1, U2, and U3.
  • the characters C1, C2, and C3 of all the users U1, U2, and U3 participating in the communication are displayed on the call screen G, as an example.
  • only the character of the user who is the communication target may be displayed on the call screen.
  • only the character C2 of the user U2 and the character C3 of the user U3 may be displayed on the call screen G of the terminal 10 of the user U1.
  • FIG. 2 illustrates a form in which the characters C1, C2, and C3 are displayed facing each other surrounding the table T.
  • the arrangement of the characters C1, C2, C3, etc. is not limited to this.
  • characters C1, C2, and C3 may be placed on the stage.
  • the stage may be movable.
  • the characters C1, C2, and C3 can dance and perform gymnastics in response to operations by users U1, U2, and U3.
  • a display on which materials etc. are displayed may be displayed on the call screen G. This allows lectures, training sessions, lectures, etc. to be held. At this time, the display of the body B can display a translated text according to the attributes (nationality, country of residence, etc.) of the users U1, U2, and U3.
  • the case where the body B, ear animation E, etc. are displayed on the call screen G of the terminals 10, 20, and 30 has been described as an example.
  • the terminal is a wearable terminal or a head mounted display (HMD) terminal
  • the body B, ear animation E, etc. may be displayed on a lens or the like, or may be displayed as a hologram. That is, characters C1, C2, and C3 are displayed in cyberspace.
  • Cyberspace may include VR (Virtual Reality), AR (Augmented Reality), and MR (Mixed Reality).
  • the operation of the ear animations E of the characters C1, C2, and C3 displayed on the call screen G in a video conference or the like is explained as an example.
  • the animation manipulation method may also be applied to manipulation of ear animation movements of a character performing a dance or song performance.
  • Communication section 64... Input section, 65... Acceleration sensor (acceleration detection section), 66... Gyro sensor (angular velocity detection section), 67... Control section, 68... Vibration section, 69... Battery, 70... Operating device (detection) 71A...arm, 71B...arm, 71C...opening, 72...switch, 73...communication section, 74...input section, 75...acceleration sensor (acceleration detection section), 76...gyro sensor (angular velocity detection section), 77... Control section, 78... Vibration section, 79... Battery, 80... Operating device (detection device), 81... Main body, 82... Right button, 83... Left button, 84... Wheel, 85... Communication section, 86...
  • Input section 87...Control unit, 88...Vibration unit, 89...Battery, 100...System, A...Arm animation, AP...Access point, B...Body, BS...Base station, C...Character, C1...Character, C2...Character, C3...Character, E...Ear animation, F...Finger, G...Call screen, H...Hand, N...Network, T...Table, U1...User, U2...User, U3...User.

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Processing Or Creating Images (AREA)

Abstract

アニメーション操作方法は、操作装置によって検出されるユーザの手及び指の少なくとも一方の所定の動作に対して、予め設定された所定のアニメーションの動作が対応付けられており、所定の動作が操作装置によって検出された場合、所定の動作に対応する所定のアニメーションの動作を実行させる。

Description

アニメーション操作方法、アニメーション操作プログラム及びアニメーション操作システム
　本開示の一側面は、アニメーション操作方法、アニメーション操作プログラム及びアニメーション操作システムに関する。
　本出願は、２０２２年４月２６日出願の日本出願第２０２２－０７２１７１号に基づく優先権を主張し、前記日本出願に記載された全ての記載内容を援用するものである。
　コンピュータを用いるコミュニケーションに関して、例えば特開２０１５－３８７２５号公報（特許文献１）は、顔画像を生成する発話アニメーション生成装置を開示する。この発話アニメーション生成装置は、予め用意された音響モデル、言語モデル、及び複数の音素と複数の視覚素との間の対応表を使用して、音声信号に対して音声認識を漸次的に行って視覚素系列を生成する。発話アニメーション生成装置はさらに、生成した視覚素系列を平滑化して複数の視覚素ごとの混合重みを生成し、複数の視覚素ごとの混合重みに従って、複数の視覚素それぞれに対応する複数の顔モデルを混合することにより、顔画像を生成する。
特開２０１５－３８７２５号公報
　本開示の一側面に係るアニメーション操作方法は、非言語情報を表現する耳を模したアニメーションの動作を操作する操作方法であって、検出装置によって検出されるユーザの手及び指の少なくとも一方の所定の動作に対して、予め設定された所定のアニメーションの動作が対応付けられており、所定の動作が検出装置によって検出された場合、所定の動作に対応する所定のアニメーションの動作を実行させる。
図１は、一実施形態に係るコミュニケーション支援システムの概略構成の例を示す図である。 図２は、一実施形態に係るコミュニケーション支援システムによって提供されるコミュニケーションの例を示す図である。 図３は、端末及びサーバの機能ブロックの例を示す図である。 図４は、第一実施形態に係る操作装置の斜視図である。 図５は、図４に示す操作装置の機能ブロックの例を示す図である。 図６の動作パターンは、耳アニメーションの動作の一例を示す図であり、図６のユーザ動作は、図６の動作パターンに示す耳アニメーションを動作させるときのユーザの手の動きの一例を示す図である。 図７の動作パターンは、耳アニメーションの動作の一例を示す図であり、図７のユーザ動作は、図７の動作パターンに示す耳アニメーションを動作させるときのユーザの手の動きの一例を示す図である。 図８の動作パターンは、耳アニメーションの動作の一例を示す図であり、図８のユーザ動作は、図８の動作パターンに示す耳アニメーションを動作させるときのユーザの手の動きの一例を示す図である。 図９の動作パターンは、耳アニメーションの動作の一例を示す図であり、図９のユーザ動作は、図９の動作パターンに示す耳アニメーションを動作させるときのユーザの手の動きの一例を示す図である。 図１０の動作パターンは、耳アニメーションの動作の一例を示す図であり、図１０のユーザ動作は、図１０の動作パターンに示す耳アニメーションを動作させるときのユーザの手の動きの一例を示す図である。 図１１の動作パターンは、耳アニメーションの動作の一例を示す図であり、図１１のユーザ動作は、図１１の動作パターンに示す耳アニメーションを動作させるときのユーザの手の動きの一例を示す図である。 図１２は、第二実施形態に係る操作装置の斜視図である。 図１３は、図１２に示す操作装置の機能ブロックの例を示す図である。 図１４の動作パターンは、耳アニメーションの動作の一例を示す図であり、図１４のユーザ動作は、図１４の動作パターンに示す耳アニメーションを動作させるときのユーザの手の動きの一例を示す図である。 図１５の動作パターンは、耳アニメーションの動作の一例を示す図であり、図１５のユーザ動作は、図１５の動作パターンに示す耳アニメーションを動作させるときのユーザの手の動きの一例を示す図である。 図１６の動作パターンは、耳アニメーションの動作の一例を示す図であり、図１６のユーザ動作は、図１６の動作パターンに示す耳アニメーションを動作させるときのユーザの手の動きの一例を示す図である。 図１７の動作パターンは、耳アニメーションの動作の一例を示す図であり、図１７のユーザ動作は、図１７の動作パターンに示す耳アニメーションを動作させるときのユーザの手の動きの一例を示す図である。 図１８の動作パターンは、耳アニメーションの動作の一例を示す図であり、図１８のユーザ動作は、図１８の動作パターンに示す耳アニメーションを動作させるときのユーザの手の動きの一例を示す図である。 図１９の動作パターンは、耳アニメーションの動作の一例を示す図であり、図１９のユーザ動作は、図１９の動作パターンに示す耳アニメーションを動作させるときのユーザの手の動きの一例を示す図である。 図２０は、第三実施形態に係る操作装置を示す図である。 図２１は、操作装置がユーザの指に装着されている状態を示す図である。 図２２は、操作装置の機能ブロックの例を示す図である。 図２３の動作パターンは、耳アニメーションの動作の一例を示す図であり、図２３のユーザ動作は、図２３の動作パターンに示す耳アニメーションを動作させるときのユーザの手の動きの一例を示す図である。 図２４の動作パターンは、耳アニメーションの動作の一例を示す図であり、図２４のユーザ動作は、図２４の動作パターンに示す耳アニメーションを動作させるときのユーザの手の動きの一例を示す図である。 図２５の動作パターンは、耳アニメーションの動作の一例を示す図であり、図２５のユーザ動作は、図２４の動作パターンに示す耳アニメーションを動作させるときのユーザの手の動きの一例を示す図である。 図２６の動作パターンは、耳アニメーションの動作の一例を示す図であり、図２６のユーザ動作は、図２６の動作パターンに示す耳アニメーションを動作させるときのユーザの手の動きの一例を示す図である。 図２７の動作パターンは、耳アニメーションの動作の一例を示す図であり、図２７のユーザ動作は、図２７の動作パターンに示す耳アニメーションを動作させるときのユーザの手の動きの一例を示す図である。 図２８の動作パターンは、耳アニメーションの動作の一例を示す図であり、図２８のユーザ動作は、図２８の動作パターンに示す耳アニメーションを動作させるときのユーザの手の動きの一例を示す図である。 図２９は、第四実施形態に係る操作装置の斜視図である。 図３０は、図２９に示す操作装置の機能ブロックの例を示す図である。 図３１の動作パターンは、耳アニメーションの動作の一例を示す図であり、図３１のユーザ動作は、図３１の動作パターンに示す耳アニメーションを動作させるときのユーザの手の動きの一例を示す図である。 図３２の動作パターンは、耳アニメーションの動作の一例を示す図であり、図３２のユーザ動作は、図３２の動作パターンに示す耳アニメーションを動作させるときのユーザの手の動きの一例を示す図である。 図３３の動作パターンは、耳アニメーションの動作の一例を示す図であり、図３３のユーザ動作は、図３３の動作パターンに示す耳アニメーションを動作させるときのユーザの手の動きの一例を示す図である。 図３４の動作パターンは、耳アニメーションの動作の一例を示す図であり、図３４のユーザ動作は、図３４の動作パターンに示す耳アニメーションを動作させるときのユーザの手の動きの一例を示す図である。
［本開示が解決しようとする課題］
　ビデオ会議（ＷＥＢ会議）等では、通信環境（帯域制限等）やプライバシーの観点から、カメラを使用せずに、音声のみで会議に参加する場合がある。この場合、各ユーザの端末には、会議に参加しているユーザのアイコン等が表示される。アイコン等の表示からは、通話相手が発話に対して関心を示しているか等の状態・状況を認識（把握）することが困難である。そのため、円滑なコミュニケーションを図ることが難しい。
　そこで、円滑なコミュニケーションを図るために、ユーザの状態を耳アニメーション（動物の耳を模したアニメーション）で示す方法がある。アニメーションは、端末によって取得された音声データ及び画像データに基づいて、ユーザの状態を推定して生成される。この場合、ユーザの状態がアニメーションにリアルタイムで反映されるため、通話相手である他のユーザの状態を認識することができる。そのため、端末を用いて行う通話において円滑なコミュニケーションの実現が可能となり得る。
　ここで、ユーザの状態がリアルタイムでアニメーションに反映されることが、必ずしも好ましい形態とはならない場合もある。例えば、ユーザがビデオ会議中に他の動作（メールの確認等）を行っている場合、他の動作を行いながらビデオ会議に参加していることを他のユーザに知られたくない場合もある。また、ユーザの状態が推定されてリアルタイムでアニメーションに反映される場合、ユーザが緊張感を覚えることがある。そのため、ユーザの意図するタイミングにおいて、必要な動作だけをアニメーションに反映させることが望まれる。
　本開示の一側面は、ユーザの意図に応じてアニメーションを動作させることができるアニメーション操作方法、アニメーション操作プログラム及びアニメーション操作システムを提供することを目的とする。
［本開示の効果］
　本開示の一側面によれば、ユーザの意図に応じてアニメーションを動作させることができる。
［本開示の実施形態の説明］
　最初に、本開示の実施形態の内容を列記して説明する。以下に記載する実施形態の少なくとも一部を任意に組み合わせてもよい。
　（１）本開示の一側面に係るアニメーション操作方法は、非言語情報を表現する耳を模したアニメーションの動作を操作する操作方法であって、検出装置によって検出されるユーザの手及び指の少なくとも一方の所定の動作に対して、予め設定された所定のアニメーションの動作が対応付けられており、所定の動作が検出装置によって検出された場合、所定の動作に対応する所定のアニメーションの動作を実行させる。
　本開示の一側面に係るアニメーション操作方法では、検出装置によって検出されるユーザの手及び指の少なくとも一方の所定の動作に対して、予め設定された所定のアニメーションの動作が対応付けられており、所定の動作が検出装置によって検出された場合、所定の動作に対応する所定のアニメーションの動作を実行させる。これにより、ユーザの動作が所定の動作が検出装置によって検出されない場合には、アニメーションは動作しない。また、所定のアニメーションは、検出装置において特定の動作が検出された場合に動作する。そのため、例えば、単に手や指を移動させたりするような動作の場合には、アニメーションは動作しない。このように、ユーザの意図するタイミングにおいて、必要な動作だけをアニメーションに反映させることができる。したがって、ユーザの意図に応じてアニメーションを動作させることができる。
　（２）上記（１）において、所定のアニメーションの動作と、ユーザの手及び指の少なくとも一方の所定の動作とが類似していてもよい。これにより、所定のアニメーションに類似（関連）する所定の動作を行うことによって、所定のアニメーションが実行される。したがって、直感的な操作が可能となる。
　（３）上記（１）又は（２）において、ユーザの指の動作を検出する検出装置を使用し、検出装置によって検出されるユーザの指の所定の動作に対して、予め設定された所定のアニメーションの動作が対応付けられており、指の所定の動作が検出装置によって検出された場合、所定の動作に対応する所定のアニメーションの動作を実行させてもよい。これにより、所定のアニメーションは、検出装置において特定の指の動作が検出された場合に動作する。そのため、例えば、単に指を動かすような動作の場合には、アニメーションは動作しない。このように、ユーザの意図するタイミングにおいて、必要な動作だけをアニメーションに反映させることができる。したがって、ユーザの意図に応じてアニメーションを動作させることができる。
　（４）上記（１）又は（２）において、検出装置の角速度を検出する角速度検出部を有する検出装置を使用し、角速度検出部によって検出される角速度の所定値に対して、予め設定された所定のアニメーションの動作が対応付けられており、ユーザによる検出装置の操作により、所定値の角速度が角速度検出部によって検出された場合、所定値に対応する所定のアニメーションの動作を実行させてもよい。これにより、ユーザによって検出装置の操作が行われない場合には、アニメーションは動作しない。また、所定のアニメーションは、検出装置の角速度が所定値となるような特定の操作が行われた場合に動作する。そのため、例えば、検出装置を単に移動させるような操作の場合には、アニメーションは動作しない。このように、ユーザの意図するタイミングにおいて、必要な動作だけをアニメーションに反映させることができる。したがって、ユーザの意図に応じてアニメーションを動作させることができる。
　（５）上記（４）において、ユーザの指に検出装置を装着して使用してもよい。これにより、ユーザの指（手）の動作によって、アニメーションの動作を操作することができる。
　（６）上記（４）において、ユーザの手に検出装置を保持して使用してもよい。これにより、ユーザの手の動作によって、アニメーションの動作を操作することができる。
　（７）上記（４）～（６）のいずれかにおいて、アニメーションを表示する表示部を有する検出装置を使用してもよい。これにより、検出装置の表示部にアニメーションが表示されるため、アニメーションを確認しながら検出装置を操作することができる。
　（８）上記（４）から（７）のいずれかにおいて、所定のアニメーションの動作を実行させるための所定の入力又は操作がユーザによって行われた場合に、所定のアニメーションの動作を実行させてもよい。これにより、所定の入力又は操作がユーザによって行われない場合には、所定のアニメーションが動作しない。そのため、ユーザの意図に反してアニメーションが動作することを回避できる。
　（９）上記（８）において、ユーザによって押下される押下部を有する検出装置を使用し、ユーザによって押下部が押下された場合に、所定のアニメーションの動作を実行させてもよい。このように、ユーザによる所定の動作として、検出装置の押下部が押下された場合に、所定のアニメーションの動作を実行させる。これにより、ユーザによって押下部が押下されない場合には、所定のアニメーションが動作しない。そのため、ユーザの意図に反してアニメーションが動作することを回避できる。
　（１０）上記（８）において、ユーザの音声を入力する入力部を有する検出装置を使用し、ユーザの音声が入力部に入力された場合に、所定のアニメーションの動作を実行させてもよい。このように、ユーザによる所定の動作として、検出装置の入力部にユーザの音声が入力された場合に、所定のアニメーションの動作を実行させる。これにより、ユーザによって音声が入力されない場合には、所定のアニメーションが動作しない。そのため、ユーザの意図に反してアニメーションが動作することを回避できる。
　（１１）上記（８）において、ユーザによる検出装置の操作によって、角速度検出部により検出される角速度が一定値以上となった場合に、所定のアニメーションの動作を実行させてもよい。角速度の一定値は、角速度の上記所定値以上に設定され得る。これにより、ユーザが特別の操作（ボタンの押下等）を行わなくても、所定のアニメーションの動作を操作することができる。
　（１２）上記（１）～（１１）のいずれかにおいて、検出装置の加速度を検出する加速度検出部を有する検出装置を使用し、加速度検出部によって検出される加速度の所定値に対して、予め設定された所定のアニメーションの動作が対応付けられており、ユーザによる検出装置の操作により、所定値の加速度が加速度検出部によって検出された場合、所定値に対応する所定の前記アニメーションの動作を実行させてもよい。これにより、ユーザによって検出装置の操作が行われない場合には、アニメーションは動作しない。また、所定のアニメーションは、検出装置の加速度が所定値となるような特定の操作が行われた場合に動作する。そのため、例えば、検出装置を単に移動させるような操作の場合には、アニメーションは動作しない。このように、ユーザの意図するタイミングにおいて、必要な動作だけをアニメーションに反映させることができる。したがって、ユーザの意図に応じてアニメーションを動作させることができる。
　（１３）上記（１）～（１２）のいずれかにおいて、ユーザの手及び指の少なくとも一方の、動作速度及び移動量の少なくとも一方を検出する検出装置を使用し、動作速度及び移動量の少なくとも一方に基づいて、所定のアニメーションの動作を変化させてもよい。この方法では、アニメーションは、動作速度又は移動量によって、動作速度が変化したり、動作量が変化したりする。これにより、アニメーションにおいて、ユーザの状況に応じた機微な非言語情報の表現（表出）を行うことができる。そのため、ユーザの感情（気持ち）がよりアニメーションに表現されるため、円滑なコミュニケーションを実現することができる。
　（１４）本開示の一側面に係るアニメーション操作プログラムは、非言語情報を表現する耳を模したアニメーションの動作を操作する操作プログラムであって、検出装置によって検出されるユーザの手及び指の少なくとも一方の所定の動作に対して、予め設定された所定のアニメーションの動作が対応付けられており、所定の動作が検出装置によって検出された場合、所定の動作に対応する所定のアニメーションの動作を実行させるステップを、コンピュータに実行させる。
　本開示の一側面に係るアニメーション操作プログラムでは、検出装置によって検出されるユーザの手及び指の少なくとも一方の所定の動作に対して、予め設定された所定のアニメーションの動作が対応付けられており、所定の動作が検出装置によって検出された場合、所定の動作に対応する所定のアニメーションの動作を実行させる。これにより、ユーザの動作が所定の動作が検出装置によって検出されない場合には、アニメーションは動作しない。また、所定のアニメーションは、検出装置において特定の動作が検出された場合に動作する。そのため、例えば、単に手や指を移動させたりするような動作の場合には、アニメーションは動作しない。このように、ユーザの意図するタイミングにおいて、必要な動作だけをアニメーションに反映させることができる。したがって、ユーザの意図に応じてアニメーションを動作させることができる。
　（１５）本開示の一側面に係るアニメーション操作システムは、非言語情報を表現する耳を模したアニメーションの動作を操作する操作システムであって、検出装置によって検出されるユーザの手及び指の少なくとも一方の所定の動作に対して、予め設定された所定のアニメーションの動作が対応付けられており、所定の動作が検出装置によって検出された場合、所定の動作に対応する所定のアニメーションの動作を実行させる。
　本開示の一側面に係るアニメーション操作システムでは、検出装置によって検出されるユーザの手及び指の少なくとも一方の所定の動作に対して、予め設定された所定のアニメーションの動作が対応付けられており、所定の動作が検出装置によって検出された場合、所定の動作に対応する所定のアニメーションの動作を実行させる。これにより、ユーザの動作が所定の動作が検出装置によって検出されない場合には、アニメーションは動作しない。また、所定のアニメーションは、検出装置において特定の動作が検出された場合に動作する。そのため、例えば、単に手や指を移動させたりするような動作の場合には、アニメーションは動作しない。このように、ユーザの意図するタイミングにおいて、必要な動作だけをアニメーションに反映させることができる。したがって、ユーザの意図に応じてアニメーションを動作させることができる。
［本開示の実施形態の詳細］
　本開示の実施形態の具体例を、以下に図面を参照しつつ説明する。本開示はこれらの例示に限定されるものではなく、請求の範囲によって示され、請求の範囲と均等の意味及び範囲内でのすべての変更が含まれることが意図される。図面の説明においては同一要素には同一符号を付し、重複する説明を省略する。
　図１は、コミュニケーション支援システム（アニメーション操作システム）（以下、単に「システム」という場合もある。）の概略構成の例を示す図である。システム１００は、コミュニケーションを支援するコンピュータシステムである。コミュニケーションの例は、テレビ会議、診察、カウンセリング、面接（人物評価）、テレワーク等、他のユーザとの通話を伴うものである。
＜システムの構成＞
　システム１００は、端末１０、端末２０及び端末３０を含む。図１に示される例では、端末１０は、ユーザＵ１が使用するラップトップ型のパーソナルコンピュータ（ＰＣ）である。端末２０は、ユーザＵ２が使用する携帯電話機（スマートフォン等）である。端末３０は、ユーザＵ３が使用するデスクトップ型のＰＣである。端末１０、端末２０及び端末３０は、ネットワークＮに接続可能である。この例では、端末１０はアクセスポイントＡＰを介して、端末２０は基地局ＢＳを介して、端末３０は有線（不図示）により、それぞれネットワークＮに接続される。端末１０、端末２０及び端末３０には、上述のＰＣ、携帯電話機以外にも、タブレット端末、ウェアラブル端末、ヘッドマウントディスプレイ（ＨＭＤ）端末、その他さまざまな端末が用いられてよい。なお、システム１００に含まれる端末の数は、図１の例に限定されない。
　システム１００は、サーバ４０を含む。サーバ４０は、ネットワークＮに接続される。したがって、端末１０、端末２０、端末３０及びサーバ４０は、ネットワークＮを介して互いに通信可能である。なお、システム１００に含まれるサーバの数は、図１の例に限定されない。
　ネットワークＮの構成は限定されない。例えば、ネットワークＮは、インターネット（公衆網）、通信キャリアネットワーク、事業者ネットワーク等を含んで構成されてよい。
　図２は、システム１００によって提供されるコミュニケーションの例を示す図である。コミュニケーションは、コンピュータによって表現される通話画面Ｇで行われる。通話画面Ｇは、端末１０、端末２０及び端末３０に表示されることで、ユーザＵ１、ユーザＵ２及びユーザＵ３に提示される。ユーザＵ１，Ｕ２，Ｕ３は、互いにコミュニケーション対象である。図２に示す例では、ユーザＵ１のキャラクタＣ１、ユーザＵ２のキャラクタＣ２及びユーザＵ３のキャラクタＣ３が、コミュニケーションの参加者として通話画面Ｇに現れている。キャラクタＣ１，Ｃ２，Ｃ３は、例えば、同じサイズで通話画面Ｇに表示される。
　図２に示す例では、キャラクタＣ１，Ｃ２，Ｃ３は、一つの空間（連続背景空間）に表示されている。一つの空間には、例えば、オブジェクトとしてテーブルＴが表示されている。キャラクタＣ１，Ｃ２，Ｃ３は、テーブルＴを囲んで向かい合うように表示される。キャラクタＣ１，Ｃ２，Ｃ３は、テーブルＴにおいて、例えば、等間隔（６０°間隔）で配置される。図２に示す例では、キャラクタＣ１とキャラクタＣ２とは、斜めを向いた状態で、テーブルＴを囲んで向かい合うように表示される。キャラクタＣ３は、画面中央において、背後側となるように表示される。図２に示される画面がユーザＵ３の端末３０の画面である場合、デフォルトとして、ユーザＵ３のキャラクタＣ３が背後となるように表示されるようにしてもよい。この場合、他のユーザＵ１，Ｕ２のキャラクタＣ１，Ｃ２の耳アニメーションＥが見易くなるため、他のユーザＵ１，Ｕ２の状態を正確に把握することができる。
　テーブルＴを回転させることにより、キャラクタＣ１，Ｃ２，Ｃ３の位置を変更することができる。また、観察視点を変更することができる。例えば、キャラクタＣ１，Ｃ２，Ｃ３を上方から見下ろすような視点（鳥瞰的視点、俯瞰的視点）に変更することができる。視点の変更は、キーボード等における手動操作によって行われてもよいし、ウェアラブルセンサのセンシングに基づいて行われてもよい。このように、連続した一つの空間にキャラクタＣ１、キャラクタＣ２及びキャラクタＣ３を表示させることにより、同一空間での存在感を生成することができる。これにより、臨場感、一体感のある会話を実現することができる。
　キャラクタＣ１，Ｃ２，Ｃ３は、通話画面ＧにおいてユーザＵ１，Ｕ２，Ｕ３を示すものである。キャラクタＣ１，Ｃ２，Ｃ３は、ダイナミックなキャラクタである。キャラクタＣ１，Ｃ２，Ｃ３は、ユーザＵ１，Ｕ２，Ｕ３の実際の像（撮像データ等）とは独立した画像素材によって生成される。画像素材は、アニメーションキャラクタを生成するための素材である。キャラクタＣ１，Ｃ２，Ｃ３は二次元又は三次元のコンピュータグラフィック（ＣＧ）によって描画されてもよい。
　キャラクタＣ１，Ｃ２，Ｃ３は、ボディＢ及び耳アニメーションＥを含んで構成される。キャラクタＣ１，Ｃ２，Ｃ３では、ボディＢと耳アニメーションＥとが通話画面Ｇにおいて、一体的に表示される。一体的に表示されるとは、キャラクタＣ１，Ｃ２，Ｃ３を見たときに、視覚的にボディＢと耳アニメーションＥとが一つのまとまりとして認識されることを意味する。すなわち、一体的に表示されるとは、ボディＢと耳アニメーションＥとが結びついている（対応している）ことを一見して認識できる状態であればよい。そのため、一体的に表示されるとは、ボディＢと耳アニメーションＥとが接触している状態であってもよいし、ボディＢと耳アニメーションＥとが離隔している状態であってもよい。
　ボディＢは、通話相手であるユーザを識別可能な識別情報である。ボディＢは、ユーザを示す画像及びユーザを示すテキストの少なくとも一方を含む。キャラクタＣ１，Ｃ２，Ｃ３には、影が表示される。ボディＢは、球状を呈しており、ユーザを識別可能なテキスト（「Ａ」、「Ｂ」、「Ｃ」）を含んでいる。キャラクタＣ１，Ｃ２，Ｃ３は、発話アニメーション（図示省略）を含んで構成されていてもよいし、腕アニメーションＡを含んで構成されていてもよい。
　耳アニメーションＥは、非言語情報を表現するアニメーションである。耳アニメーションＥは、ユーザの状態（動作）を示すアニメーションである。耳アニメーションＥは、ユーザの状態を、ユーザの実際の動作部位とは異なる形態で表現したアニメーションである。耳アニメーションＥは、動的に変化する顔表情を含まない。耳アニメーションＥは、ボディＢの表示領域の外側に表示領域から突出するように表示される。耳アニメーションＥは、動物（例えば、うさぎ等）の耳を模したアニメーションであり、ユーザの状態の変化に応じて動作する。耳アニメーションＥは、ユーザの動作に応じて動作する。耳アニメーションＥは、例えば、伸縮、折り曲げ、揺動等の動作をする。
　システム１００では、通話画面Ｇに表示されるキャラクタＣ１，Ｃ２，Ｃ３の耳アニメーションＥによって、ユーザＵ１，Ｕ２，Ｕ３の状態、リアクション等を確認することができる。
　図３は、端末１０、端末２０、端末３０、及びサーバ４０の機能ブロックの例を示す図である。端末２０及び端末３０の機能ブロックは、端末１０の機能ブロックと同様であるので、以下では端末１０及びサーバ４０について説明する。はじめに端末１０について説明し、次にサーバ４０について説明する。
＜端末の構成＞
　端末１０は、入力部１１を含む。入力部１１は、ユーザＵ１の音声データ及び画像データが入力される部分である。入力部１１は、ユーザＵ１の映像データが入力されてもよい。映像は、ユーザＵ１の音声データ及び画像データを含む。
　端末１０は、制御部１２を含む。制御部１２は、ユーザＵ１の制御データを生成する部分である。ユーザＵ１の制御データは、操作装置（検出装置）５０から出力された動作データに基づいて生成される。本実施形態では、制御データとして、キャラクタＣ１の耳アニメーションＥを、「うなずき」、「同意」、「賞賛（拍手）」、「質問」、「挙手」及び「驚き」の６つの動作をさせるデータを生成する。
　制御データは、動作データに対応付けられている。本実施形態では、「うなずき」、「同意」、「賞賛（拍手）」、「質問」、「挙手」及び「驚き」のそれぞれの制御データに対して、動作データが対応付けられている。動作データは、操作装置５０から送信されるデータである。制御部１２は、動作データが制御データに対応している場合、制御データを生成する。
　制御データは、入力部１１に入力されたユーザＵ１の音声データ及び画像データに基づいて生成されてもよい。画像データは、連続する複数の単位フレームによって構成される。単位フレームは、通常、ユーザＵ１の画像情報を含む。例えば６０フレーム／秒の画像データは、一秒間に６０個の単位フレームを含む。制御部１２による制御データの生成の詳細については後述する。
　制御部１２は、画像データに基づいて検出されたユーザの視線に基づいて、キャラクタＣ１の動作を制御する制御データを生成する。例えば、ユーザＵ１がキャラクタＣ２を見つめている場合には、キャラクタＣ１がキャラクタＣ２を向くようにする。すなわち、キャラクタＣ１のボディＢ及び耳アニメーションＥをＺ軸（鉛直方向の軸）を中心に例えば３０°回転させて、キャラクタＣ１がキャラクタＣ２を向くようにする。これにより、キャラクタＣ１の耳アニメーションＥがキャラクタＣ２と正対する。ユーザＵ１の視線がキャラクタＣ２，Ｃ３上にない場合には、キャラクタＣ１は、前を向くようにしてもよい。
　視線に係る情報に基づくキャラクタＣ１の動作は、ユーザＵ１の視線と完全に一致していなくてもよい。例えば、ユーザＵ１がキャラクタＣ２に視線を合わせた後、直ぐに視線を外した場合であっても、一定時間はキャラクタＣ１がキャラクタＣ２を向いているようにしてもよい。すなわち、一定時間向き合った状態で停止するように、停止時間が設定できるようにしてもよい。また、ユーザＵ１がキャラクタＣ２に視線を移動させる速度と、キャラクタＣ１が回転する速度とが一致していなくてもよい。すなわち、キャラクタＣ１の回転速度を設定できるようにしてもよい。これらの設定により、ユーザＵ１の視線に合わせてキャラクタＣ１が頻繁に動作（回転）しないようにできるため、キャラクタＣ１の動きが会話の妨げとなることを回避できる。
　制御部１２は、ユーザＵ１の視線に係る情報を含む視線データ生成する。制御部１２は、視線データを通信部１４に出力する。
　制御部１２は、上記の制御データにおいて、キャラクタＣ１の動作のリズムを制御する内容を含めることができる。制御部１２は、耳アニメーションＥの動作（折り曲げ、伸縮、振動、色変化等）に対して、リズムを調整（設定）した制御データを生成する。
　制御部１２は、音声データに基づいて発話速度を検出し、耳アニメーションＥの動作に発話速度に基づくリズムを反映させる。制御部１２は、音声モデル又は音響モデルに基づいて音声データをサブワード分割し、発話速度を検出し得る。制御部１２は、キャラクタＣ１の耳アニメーションＥの動作に、ユーザＵ１の発話速度に基づくリズムを反映させる。
　制御部１２は、画像データに基づいてユーザＵ１の身体の動作（揺れ等）速度を検出し、耳アニメーションＥの動作に動作速度に基づくリズムを反映させる。制御部１２は、姿勢推定モデルに基づいてキーポイント（身体の関節点）を検出し、時系列のシーンから所定時間の間隔での同一キーポイントの動きの軌跡を検出し、動作速度を検出し得る。制御部１２は、キャラクタＣ１の耳アニメーションＥの動作に、ユーザＵ１の動作速度に基づくリズムを反映させる。
　制御部１２は、制御データに基づいて、キャラクタＣ１，Ｃ２，Ｃ３の動作を制御する部分でもある。制御部１２は、生成した制御データ及び受信した制御データに基づいて、通話画面ＧにキャラクタＣ１，Ｃ２，Ｃ３を表示させると共に、キャラクタＣ１，Ｃ２，Ｃ３の耳アニメーションＥの動作を制御する。
　制御部１２は、ユーザＵ１が受話者（聞き手）である場合、受信した制御データに基づいて、キャラクタＣ１の耳アニメーションＥの動作を、発話者のキャラクタＣ２又はキャラクタＣ３の発話速度に基づくリズムに同調させてもよい。制御部１２は、発話者が存在していない（ユーザが発言していない）場合、規定のリズム（全てのユーザのキャラクタに適用されるリズム）で、キャラクタＣ１，Ｃ２，Ｃ３の耳アニメーションＥを動作させる。
　制御部１２は、通話画面Ｇの映像データを生成する部分でもある。通話画面Ｇの映像データは、制御データに基づいて制御されるキャラクタＣ１、キャラクタＣ２及びキャラクタＣ３の映像データを含む。この他に、通話画面Ｇに現れるさまざまなオブジェクトが、通話画面Ｇの映像データに含まれてよい。
　端末１０は、記憶部１３を含む。記憶部１３は、端末１０の制御（処理）に必要な情報を記憶する部分である。図３には、記憶部１３に記憶される情報として、端末プログラム１３Ｐが例示される。端末プログラム１３Ｐは、端末１０を動作させるためのプログラムであり、制御部１２による制御等が実行されるようにコンピュータを動作させる。システム１００がコミュニケーション支援システムであるので、端末プログラム１３Ｐは、コミュニケーション支援プログラム（アニメーション操作プログラム）ともいえる。
　端末１０は、通信部１４を含む。通信部１４は、ネットワークＮ（図１参照）を介して、端末１０の外部装置と通信する部分である。端末１０の外部装置の例は、端末２０、端末３０、サーバ４０及び操作装置５０である。通信部１４は、音声データ及び制御部１２が生成した制御データをサーバ４０に送信したり、音声データ及び制御データをサーバ４０から受信したりする。通信部１４は、操作装置５０と通信する部分である。通信部１４は、視線データを操作装置５０に送信したり、動作データを操作装置５０から受信したりする。
　端末１０は、出力部１５を含む。出力部１５は、通話画面Ｇの映像を出力する。通話画面Ｇの映像は、制御部１２によって生成された通話画面Ｇの映像データに基づく映像である。
＜サーバの構成＞
　サーバ４０は、制御部４２を含む。制御部４２は、サーバ４０の動作を制御する。サーバ４０は、記憶部４３を含む。記憶部４３は、サーバ４０の制御に必要な情報を記憶する部分である。図３には、記憶部４３に記憶される情報として、サーバプログラム４３Ｐ及び受信データ４３Ｓが例示される。サーバプログラム４３Ｐは、サーバ４０を動作させるためのプログラムであり、制御部４２による制御等が実行されるようにコンピュータを動作させる。受信データ４３Ｓは、端末１０、端末２０及び端末３０からサーバ４０に送られるデータであり、端末１０、端末２０及び端末３０が生成した制御データを含み得る。
　サーバ４０は、通信部４４を含む。通信部４４は、ネットワークＮ（図１参照）を介して、サーバ４０の外部装置と通信する部分である。サーバ４０の外部装置の例は、端末１０、端末２０及び端末３０である。通信部４４は、ユーザＵ１の制御データ、ユーザＵ２の制御データ及びユーザＵ３の制御データを端末１０、端末２０及び端末３０からそれぞれ受信したり、端末１０、端末２０及び端末３０が生成した制御データを端末１０、端末２０及び端末３０のそれぞれに送信したりする。
＜ハードウェア構成＞
　端末１０及びサーバ４０の各機能部分に関するハードウェア構成の例を説明する。サーバ４０の通信部４４は、ネットワークＮにアクセスできるように、ネットワークカード又は無線通信デバイスを用いて構成され得る。サーバ４０の制御部４２は、ＣＰＵ（Ｃｅｎｔｒａｌ　Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔ）、ＧＰＵ（Ｇｒａｐｈｉｃｓ　Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔ）等のプロセッサと、クロックと、内蔵メモリとを用いて構成され得る。制御部４２は、プロセッサ、クロック、内蔵メモリ、記憶部４３及び通信部４４を集積した一つのハードウェア（ＳｏＣ：Ｓｙｓｔｅｍ　Ｏｎ　ａ　Ｃｈｉｐ）として構成されてもよい。制御部４２は、サーバプログラム４３Ｐに基づいて動作することで、サーバコンピュータをサーバ４０として動作させる。サーバ４０の記憶部４３は、フラッシュメモリ、ハードディスク、ＳＳＤ（Ｓｏｌｉｄ　Ｓｔａｔｅ　Ｄｉｓｋ）等の不揮発性記憶媒体を用いて構成され得る。
　端末１０の入力部１１は、マイクロフォン、カメラ等を用いて構成され得る。マイクロフォンにより、ユーザＵ１の音声が取得される。すなわち、マイクロフォンは、音声を取得する音声センサの一種である。カメラにより、ユーザＵ１の画像が取得される。すなわち、カメラは、画像を取得する画像センサの一種である。さらに、入力部１１は、キーボード、マウス、タッチパネルの操作デバイスも用いて構成されてよい。端末１０の制御部１２は、サーバ４０の制御部４２と同様に構成され得る。制御部１２は、端末プログラム１３Ｐに基づいて動作することで、汎用コンピュータを端末１０として動作させる。端末１０の記憶部１３は、サーバ４０の記憶部４３と同様に構成され得る。端末１０の通信部１４は、サーバ４０の通信部４４と同様に構成され得る。端末１０の出力部１５は、液晶パネル、有機ＥＬパネル等（タッチパネルでもよい）等のディスプレイ装置を用いて構成され得る。さらに、出力部１５は、スピーカも用いて構成されてよい。
［第一実施形態］
＜操作装置の構成＞
　図４は、第一実施形態に係る操作装置５０の斜視図である。図４では、操作装置５０がユーザＵ１，Ｕ２，Ｕ３の指Ｆによって操作されている状態を示す図である。操作装置５０は、ユーザＵ１，Ｕ２，Ｕ３によって操作される装置である。ユーザＵ１，Ｕ２，Ｕ３による操作装置５０の操作によって、耳アニメーションＥが動作する。操作装置５０は、タッチパッドである。タッチパッドの方式としては、静電容量方式、感圧タッチ式、超音波方式等を採用することができる。
　図４に示されるように、操作装置５０は、ハードウェア構成として、本体５１を備えている。本体５１は、操作面５１Ａを有する。操作装置５０は、ユーザＵ１，Ｕ２，Ｕ３の手Ｈの指Ｆによって操作される。操作装置５０は、単体で設けられていてもよいし、テレビディスプレイ等を操作するリモコンの一部に設けられていてもよい。すなわち、操作装置５０は、機器の一部であってもよい。
　図５は、操作装置５０の機能ブロックの例を示す図である。図５に示されるように、操作装置５０は、通信部５２を含む。通信部５２は、無線通信又は有線通信によって、外部装置と通信する部分である。無線通信は、例えば、ＬＡＮ、Ｂｌｕｅｔｏｏｔｈ（登録商標）、Ｗｉｆｉ等である。外部装置の例は、端末１０、端末２０及び端末３０である。通信部５２は、制御部５４から出力された動作データを端末１０、端末２０及び端末３０に送信したり、視線データを端末１０、端末２０及び端末３０から受信したりする。
　操作装置５０は、入力部５３を含む。入力部５３は、操作面５１ＡにおけるユーザＵ１，Ｕ２，Ｕ３の操作を入力する部分である。入力部５３は、ユーザＵ１，Ｕ２，Ｕ３による操作面５１Ａの操作（ジェスチャ）を検出する。操作としては、クリック、タップ、スライド、スクロール等が挙げられる。入力部５３は、操作信号を制御部５４に出力する。
　操作装置５０は、制御部５４を含む。制御部５４は、入力部５３の操作信号に基づいて、動作データを生成する。制御部５４は、動作データを通信部５２に出力する。制御部５４は、通信部１４から視線データが出力された場合、振動部５５を所定時間振動させる。振動部５５を振動させる所定時間は、適宜設定される。
　制御部５４は、ＣＰＵ（Ｃｅｎｔｒａｌ　Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔ）、ＧＰＵ（Ｇｒａｐｈｉｃｓ　Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔ）等のプロセッサと、クロックと、内蔵メモリとを用いて構成され得る。制御部５４は、プロセッサ、クロック、内蔵メモリ、通信部５２を集積した一つのハードウェア（ＳｏＣ：Ｓｙｓｔｅｍ　Ｏｎ　ａ　Ｃｈｉｐ）として構成されてもよい。
　操作装置５０は、振動部５５を含む。振動部５５は、本体５１の操作面５１Ａを振動させる。振動部５５は、モータ、圧電素子等によって構成され得る。振動部５５は、制御部５４により制御される。
　操作装置５０は、バッテリ５６を含む。バッテリ５６は、操作装置５０の各部に電力を供給する。バッテリ５６は、本体５１に充電ケーブルが装着されることによって充電される。なお、操作装置５０が端末１０，２０，３０にケーブルによって接続される場合には、端末１０，２０，３０から電力が供給されてもよい。すなわち、操作装置５０が端末１０，２０，３０にケーブルによって接続される場合には、操作装置５０はバッテリ５６を含んでいなくてもよい。
　続いて、キャラクタＣ（Ｃ１，Ｃ２，Ｃ３）の耳アニメーションＥを、「うなずき」、「同意」、「賞賛（拍手）」、「質問」、「挙手」又は「驚き」として動作させる場合の、ユーザＵ１，Ｕ２，Ｕ３による操作装置５０の操作について説明する。すなわち、キャラクタＣの耳アニメーションＥの動作と、操作装置５０によって検出されるユーザＵ１，Ｕ２，Ｕ３の動作との関係について説明する。耳アニメーションＥの動作と、耳アニメーションＥを動作させるためのユーザＵ１，Ｕ２，Ｕ３の指Ｆの動作とは類似（関連）している。例えば、「うなずき」の耳アニメーションＥを動作させる場合には、うなずく動作に似た動作を操作装置５０の操作面５１Ａ上で指Ｆによって行う。すなわち、ユーザＵ１，Ｕ２，Ｕ３は、動作させたい耳アニメーションＥと似た動作を操作装置５０において行うことで、耳アニメーションＥを動作させることができる。類似動作は、耳アニメーションＥの動作を連想させたり、表出イメージに対応していたりするものであり、容易に動作の区分けが理解できるような動きである。
　図６の動作パターン～図１１の動作パターンは、耳アニメーションＥの動作の一例を示す図である。図６のユーザ動作～図１１のユーザ動作は、図６の動作パターン～図１１の動作パターンに示す耳アニメーションＥを動作させるときのユーザＵ１，Ｕ２，Ｕ３の指Ｆの動きの一例を示す図である。
　図６の動作パターンでは、耳アニメーションＥにおける「うなずき」の動作を示している。図６の動作パターンに示されるように、「うなずき」の動作では、キャラクタＣの耳アニメーションＥにおいて、耳の上部１／２部分が前方に折り曲がる。「うなずき」の動作を耳アニメーションＥに実行させる場合には、ユーザＵ１，Ｕ２，Ｕ３は、図６のユーザ動作に示されるように、操作装置５０の本体５１の操作面５１Ａを二本の指Ｆ（例えば、人差し指、中指）でタッチする。或いは、ユーザＵ１，Ｕ２，Ｕ３は、操作面５１Ａに二本の指Ｆをタッチさせた状態で、二本の指Ｆをスライドさせる。指Ｆをスライドさせるスライド量は、例えば、１ｃｍ～２ｃｍである。
　操作装置５０は、図６のユーザ動作に示される動作が行われた場合、当該動作を入力部５３で検出し、動作データとして端末１０，２０，３０に送信する。端末１０，２０，３０の制御部１２は、当該動作データに基づいて、耳アニメーションＥを「うなずき」として動作させる制御データを生成する。なお、図６のユーザ動作において指Ｆをスライドさせて場合において、指Ｆのスライド後に指Ｆの動作が停止された場合には、耳アニメーションＥにおいて耳が折れ曲がった状態で停止するようにしてもよい。
　図７の動作パターンでは、耳アニメーションＥにおける「同意」の動作を示している。「同意」の動作では、キャラクタＣの耳アニメーションＥにおいて、耳が全体的に前方に折り曲がる。「同意」の動作を耳アニメーションＥに実行させる場合には、ユーザＵ１，Ｕ２，Ｕ３は、図７のユーザ動作に示されるように、ユーザＵ１，Ｕ２，Ｕ３は、操作面５１Ａに二本の指Ｆ（例えば、人差し指、中指）をタッチさせた状態で、二本の指Ｆをスライドさせる。指Ｆをスライドさせるスライド量は、例えば、２ｃｍよりも長く、例えば、３ｃｍ～４ｃｍである。すなわち、「同意」の動作を耳アニメーションＥに実行させる場合には、ユーザＵ１，Ｕ２，Ｕ３は、「うなずき」の動作を耳アニメーションＥに実行させる場合よりも、指Ｆのスライド量を長くする。
　操作装置５０は、７のユーザ動作に示される動作が行われた場合、当該動作を入力部５３で検出し、動作データとして端末１０，２０，３０に送信する。端末１０，２０，３０の制御部１２は、当該動作データに基づいて、耳アニメーションＥを「同意」として動作させる制御データを生成する。
　図８の動作パターンでは、耳アニメーションＥにおける「拍手（賞賛）」の動作を示している。「拍手（賞賛）」の動作では、キャラクタＣの耳アニメーションＥにおいて、耳が近づいたり離れたりする。「拍手（賞賛）」の動作を耳アニメーションＥに実行させる場合には、ユーザＵ１，Ｕ２，Ｕ３は、図８のユーザ動作に示されるように、操作面５１Ａに二本の指Ｆ（例えば、親指と人差し指、又は、人差し指と中指）をタッチさせた状態で、二本の指Ｆを近接（接触）させたり離間させたりする。
　操作装置５０は、図２５のユーザ動作に示される動作が行われた場合、当該動作を入力部５３で検出し、動作データとして端末１０，２０，３０に送信する。端末１０，２０，３０の制御部１２は、当該動作データに基づいて、耳アニメーションＥを「拍手（賞賛）」として動作させる制御データを生成する。端末１０，２０，３０の制御部１２は、二本の指Ｆを近接させたり離間させたりする一回の動作に係る動作データに対して、複数回拍手するように制御データを生成してもよい。
　図９の動作パターンでは、耳アニメーションＥにおける「質問」の動作を示している。「質問」の動作では、キャラクタＣの耳アニメーションＥにおいて、耳が絡まる。「質問」の動作を耳アニメーションＥに実行させる場合には、ユーザＵ１，Ｕ２，Ｕ３は、図９のユーザ動作に示されるように、操作面５１Ａに二本の指Ｆ（例えば、人差し指と中指）をタッチさせた状態で、半円（円弧）を描くようにスライドさせる。
　操作装置５０は、図９のユーザ動作に示される動作が行われた場合、当該動作を入力部５３で検出し、動作データとして端末１０，２０，３０に送信する。端末１０，２０，３０の制御部１２は、当該動作データに基づいて、耳アニメーションＥを「質問」として動作させる制御データを生成する。
　図１０の動作パターンでは、耳アニメーションＥにおける「挙手」の動作を示している。「挙手」の動作では、キャラクタＣの耳アニメーションＥにおいて、耳が伸びる。「挙手」の動作を耳アニメーションＥに実行させる場合には、ユーザＵ１，Ｕ２，Ｕ３は、図１０のユーザ動作に示されるように、ユーザＵ１，Ｕ２，Ｕ３は、操作面５１Ａに二本の指Ｆ（例えば、人差し指、中指）をタッチさせた状態で、一方の指Ｆ（中指）のみを上方にスライドさせる。
　操作装置５０は、図１０のユーザ動作に示される動作が行われた場合、当該動作を入力部５３で検出し、動作データとして端末１０，２０，３０に送信する。端末１０，２０，３０の制御部１２は、当該動作データに基づいて、耳アニメーションＥを「挙手」として動作させる制御データを生成する。
　図１１の動作パターンでは、耳アニメーションＥにおける「驚き」の動作を示している。「驚き」の動作では、キャラクタＣの耳アニメーションＥにおいて、耳の先端が大きくなる。このとき、キャラクタＣのボディＢが後ろに反る。「驚き」の動作を耳アニメーションＥに実行させる場合には、ユーザＵ１，Ｕ２，Ｕ３は、図１１のユーザ動作に示されるように、操作面５１Ａに二本の指Ｆ（例えば、人差し指、中指）をタッチさせた状態で、二本の指Ｆをスライドさせつつ離間させる。
　操作装置５０は、図１１のユーザ動作に示される動作が行われた場合、当該動作を入力部５３で検出し、動作データとして端末１０，２０，３０に送信する。端末１０，２０，３０の制御部１２は、当該動作データに基づいて、耳アニメーションＥを「驚き」として動作させる制御データを生成する。
　なお、操作装置５０は、図６のユーザ動作、図７のユーザ動作、図８のユーザ動作、図９のユーザ動作、図１０のユーザ動作又は図１１のユーザ動作の何れかに示される動作において、操作面５１Ａが一本又は三本以上の指Ｆによって操作された場合には、動作データを生成しない。すなわち、操作装置５０は、操作面５１Ａにおいて、二本の指Ｆによって所定の操作がされた場合にのみ、動作データを生成する。
＜耳アニメ－ションの動作の操作方法＞
　続いて、キャラクタＣの耳アニメーションＥの動作の操作方法について説明する。耳アニメーションＥを操作する場合には、ユーザＵ１，Ｕ２，Ｕ３は、図６のユーザ動作、図７のユーザ動作、図８のユーザ動作、図９のユーザ動作、図１０のユーザ動作又は図１１のユーザ動作の何れかに示される動作を行う。これにより、操作装置５０において動作データが生成される。操作装置５０は、動作データを端末１０，２０，３０に送信する。
　端末１０，２０，３０は、動作データを受信すると、動作データに対応する制御データを生成する。これにより、端末１０，２０，３０の通話画面Ｇにおいて、キャラクタＣ１，Ｃ２，Ｃ３の耳アニメーションＥが、「うなずき」、「同意」、「賞賛（拍手）」、「質問」、「挙手」又は「驚き」の何れかの動作を行う。このように、ユーザＵ１，Ｕ２，Ｕ３による操作装置５０の操作により、キャラクタＣの耳アニメーションＥの動作を操作する。
［効果］
　以上説明したように、本実施形態に係るシステム１００では、操作装置５０を備えている。操作装置５０は、ユーザＵ１，Ｕ２，Ｕ３の指Ｆの動作を検出し、動作データを生成して端末１０，２０，３０に送信する。端末１０，２０，３０は、動作データに対応する制御データを生成し、耳アニメーションＥの動作を実行させる。これにより、システム１００では、ユーザＵ１，Ｕ２，Ｕ３によって操作装置５０の操作が行われない場合には、耳アニメーションＥは動作しない。また、耳アニメーションＥは、操作装置５０において特定の操作が行われた場合に動作する。そのため、例えば、操作装置５０に単に接触するような操作の場合には、耳アニメーションＥは動作しない。このように、ユーザＵ１，Ｕ２，Ｕ３の意図するタイミングにおいて、必要な動作だけを耳アニメーションＥに反映させることができる。したがって、ユーザＵ１，Ｕ２，Ｕ３の意図に応じて耳アニメーションＥを動作させることができる。
　例えば、マイクやカメラによって取得される音声データ及び画像データに基づいて、ユーザＵ１，Ｕ２，Ｕ３の状態を推定して耳アニメーションＥを動作させる形態において、ユーザＵ１，Ｕ２，Ｕ３の意図に応じて耳アニメーションＥを動作させるために、耳アニメーションＥを動作させたいときにマイクやカメラをオンにする、あるいは、耳アニメーションＥを動作させないときにマイクやカメラをオフにする方法が考えられる。しかしながら、その都度カメラやマイクをオン／オフにすることは、煩に堪えない。また、マイクやカメラをオフにし忘れた場合、ユーザＵ１，Ｕ２，Ｕ３の意図に反して耳アニメーションＥが動作する。これに対して、システム１００では、ユーザＵ１，Ｕ２，Ｕ３によって、操作装置５０において特定の操作が行われた場合にのみ耳アニメーションＥの動作が実行される。そのため、システム１００では、煩わしい操作を行うことなく、ユーザＵ１，Ｕ２，Ｕ３の意図に応じて耳アニメーションＥを動作させることができる。
　本実施形態に係るシステム１００では、耳アニメーションＥの動作と、ユーザＵ１，Ｕ２，Ｕ３の指Ｆの所定の動作とが類似している。これにより、耳アニメーションＥに類似（関連）する所定の動作を行うことによって、耳アニメーションＥが実行される。したがって、直感的な操作が可能となる。
　本実施形態に係るシステム１００では、端末１０，２０，３０は、ユーザＵ１，Ｕ２，Ｕ３の視線に係る情報を含む視線データ生成し、視線データを操作装置５０に送信する。操作装置５０は、視線データに基づいて、振動部５５を一定時間振動させる。これにより、操作装置５０を操作しているユーザＵ１，Ｕ２，Ｕ３は、自身のキャラクタＣ１，Ｃ２，Ｃ３に他のユーザＵ１，Ｕ２，Ｕ３の視線が向けられていることを体感的に感じることができる。
　本実施形態に係るシステム１００では、操作装置５０は、操作面５１Ａにおいて、予め設定された本数（本実施形態では二本）の指Ｆによって所定の操作がされた場合にのみ、動作データを生成する。これにより、ユーザＵ１，Ｕ２，Ｕ３の指Ｆが操作装置５０の操作面５１Ａに無意識に接触したような場合等には動作データが生成されないため、耳アニメーションＥは動作しない。したがって、ユーザＵ１，Ｕ２，Ｕ３の意図するタイミングにおいて、必要な動作だけを耳アニメーションＥに反映させることができるため、ユーザＵ１，Ｕ２，Ｕ３の意図に応じて耳アニメーションＥを動作させることができる。
［第二実施形態］
　続いて、第二実施形態について説明する。第二実施形態では、操作装置の構成が第一実施形態と異なっている。第二実施形態において、制御部１２は、ユーザＵ１の制御データを生成する部分である。ユーザＵ１の制御データは、操作装置（検出装置）６０から出力された動作データに基づいて生成される。本実施形態では、制御データとして、キャラクタＣ１の耳アニメーションＥを、「うなずき」、「同意」、「賞賛（拍手）」、「質問」、「挙手」及び「驚き」の６つの動作をさせるデータを生成する。
　制御データは、動作データに対応付けられている。本実施形態では、「うなずき」、「同意」、「賞賛（拍手）」、「質問」、「挙手」及び「驚き」のそれぞれの制御データに対して、動作データが対応付けられている。動作データは、操作装置６０から送信されるデータである。動作データは、操作装置（検出装置）６０の加速度センサ６５によって検出された値、及び、ジャイロセンサ６６によって検出された値を含む。加速度センサ６５によって検出される加速度の所定値、及び、ジャイロセンサ６６によって検出される角速度の所定値に対して、予め設定された所定の耳アニメーションＥが対応付けられている。例えば、「うなずき」の動作の場合、ジャイロセンサ６６によって検出される角速度の所定値は、１８０ｄｅｇ／ｓ程度に設定され得る。「同意」の場合、ジャイロセンサ６６によって検出される角速度の所定値は、９０ｄｅｇ／ｓ程度に設定され得る。所定値は、所定の数値範囲を含み得る。具体的には、所定値は、加速度である場合は〇〇ｍ／ｓ２～〇〇ｍ／ｓ２、角速度である場合は〇〇ｄｅｇ／ｓ～〇〇ｄｅｇ／ｓのように設定されていてもよい。制御部１２は、動作データが制御データに対応している場合、制御データを生成する。
　図１２は、第二実施形態に係る操作装置６０の斜視図である。図１２は、操作装置７０がユーザＵ１，Ｕ２，Ｕ３の指Ｆに装着されている状態を示す図である。図１２に示されるように、操作装置６０は、ハードウェア構成として、本体６１と、スイッチ６２と、を備えている。操作装置６０は、ユーザＵ１，Ｕ２，Ｕ３によって操作される装置である。ユーザＵ１，Ｕ２，Ｕ３による操作装置６０の操作によって、耳アニメーションＥが動作する。
　本体６１は、ユーザＵ１，Ｕ２，Ｕ３によって保持される。本実施形態では、本体６１は、ユーザＵ１，Ｕ２，Ｕ３の手Ｈ（１４のユーザ動作参照）に把持される。本体６１は、十字状を呈している。本体６１は、樹脂、金属等によって形成することができる。本実施形態では、本体６１は、第一本体部６１Ａと、第二本体部６１Ｂと、突起部６１Ｃと、を有している。第一本体部６１Ａ及び第二本体部６１Ｂは、長尺の直方体形状を呈している。第一本体部６１Ａと第二本体部６１Ｂとは、その延在方向が互いに直交するように配置されている。突起部６１Ｃは、例えば、円柱状を呈している。突起部６１Ｃは、第一本体部６１Ａと第二本体部６１Ｂとが交差する部分において、第一本体部６１Ａ及び第二本体部６１Ｂの表面から突出している。
　スイッチ６２は、本体６１の第二本体部６１Ｂの側面（端面）に配置されている。スイッチ６２は、例えば、機械式のスイッチである。スイッチ６２は、第二本体部６１Ｂの側面から突出している。スイッチ６２は、ユーザＵ１，Ｕ２，Ｕ３によって押下されると、作動信号を入力部６４に出力する。
　操作装置６０の本体６１は、ユーザＵ１，Ｕ２，Ｕ３の手Ｈに把持される。具体的には、操作装置６０は、例えば、ユーザＵ１，Ｕ２，Ｕ３の左手に把持される。詳細には、操作装置６０は、突起部６１Ｃが左手の人差し指と中指との間に挿入され、第二本体部６１Ｂが指の第三関節に位置するように把持される。これにより、操作装置６０のスイッチ６２が親指側を向くように把持される。そのため、親指によってスイッチ６２を操作することができる。
　図１３は、操作装置６０の機能ブロックの例を示す図である。図１３に示されるように、操作装置６０は、通信部６３を含む。通信部６３は、無線通信又は有線通信によって、外部装置と通信する部分である。無線通信は、例えば、ＬＡＮ、Ｂｌｕｅｔｏｏｔｈ（登録商標）、Ｗｉｆｉ等である。外部装置の例は、端末１０、端末２０及び端末３０である。通信部６３は、制御部６７から出力された動作データを端末１０、端末２０及び端末３０に送信したり、視線データを端末１０、端末２０及び端末３０から受信したりする。
　操作装置６０は、入力部６４を含む。入力部６４は、スイッチ６２の作動信号を入力する部分である。入力部６４は、作動信号を制御部６７に出力する。
　操作装置６０は、加速度センサ（加速度検出部）６５を含む。加速度センサ６５は、本体６１の加速度を検出する。すなわち、加速度センサ６５は、操作装置６０を把持したユーザＵ１，Ｕ２，Ｕ３の手Ｈの加速度を検出する。加速度センサ６５の検出感度は、適宜設定することができる。加速度センサ６５は、検出値を制御部６７に出力する。
　操作装置６０は、ジャイロセンサ（角速度検出部）６６を含む。ジャイロセンサ６６は、本体６１の角速度を検出する。ジャイロセンサ６６は、三軸（Ｘ軸、Ｙ軸、Ｚ軸）のジャイロセンサである。ジャイロセンサ６６は、本体６１の回転や向きの変化を角速度として検出する。すなわち、ジャイロセンサ６６は、操作装置６０を把持したユーザＵ１，Ｕ２，Ｕ３の手Ｈの角速度を検出する。ジャイロセンサ６６の検出感度は、適宜設定することができる。ジャイロセンサ６６は、検出値を制御部６７に出力する。
　操作装置６０は、制御部６７を含む。制御部６７は、加速度センサ６５及びジャイロセンサ６６の検出結果に基づいて、動作データを生成する。制御部６７は、入力部６４から作動信号が出力された場合、動作データを生成する。制御部６７は、作動信号が出力された場合、作動信号が入力されてからの所定時間（例えば、５秒）内に加速度センサ６５及びジャイロセンサ６６から出力された検出結果を含む動作データを生成する。すなわち、制御部６７は、スイッチ６２が押下されたことをトリガーとして、動作データを生成する。所定時間は、ユーザによって適宜設定することができる。制御部６７は、動作データを通信部６３に出力する。
　なお、制御部６７は、スイッチ６２が押下されている間、すなわち作動信号が出力されている間に、加速度センサ６５及びジャイロセンサ６６から出力された検出結果を含む動作データを生成してもよい。また、制御部６７は、スイッチ６２が押下されてから、もう一度スイッチ６２が押下されるまでの間に、加速度センサ６５及びジャイロセンサ６６から出力された検出結果を含む動作データを生成してもよい。
　制御部６７は、通信部１４から視線データが出力された場合、振動部６８を所定時間振動させる。振動部６８を振動させる所定時間は、適宜設定される。
　制御部６７は、ＣＰＵ、ＧＰＵ等のプロセッサと、クロックと、内蔵メモリとを用いて構成され得る。制御部７７は、プロセッサ、クロック、内蔵メモリ、通信部６３を集積した一つのハードウェアとして構成されてもよい。
　操作装置６０は、振動部６８を含む。振動部６８は、本体６１を振動させる。振動部６８は、モータ、圧電素子等によって構成され得る。振動部６８は、制御部６７により制御される。
　操作装置６０は、バッテリ６９を含む。バッテリ６９は、操作装置６０の各部に電力を供給する。バッテリ６９は、本体６１に充電ケーブルが装着されることによって充電されてもよい、ワイヤレス電力伝送によって充電されてもよい。
　続いて、キャラクタＣ（Ｃ１，Ｃ２，Ｃ３）の耳アニメーションＥを、「うなずき」、「同意」、「賞賛（拍手）」、「質問」、「挙手」又は「驚き」として動作させる場合の、ユーザＵ１，Ｕ２，Ｕ３による操作装置６０の操作について説明する。すなわち、キャラクタＣの耳アニメーションＥの動作と、操作装置６０によって検出されるユーザＵ１，Ｕ２，Ｕ３の動作との関係について説明する。図１４の動作パターン～図１９の動作パターンは、耳アニメーションＥの動作の一例を示す図である。図１４のユーザ動作～図１９のユーザ動作は、図１４の動作パターン～図１９の動作パターンに示す耳アニメーションＥを動作させるときのユーザＵ１，Ｕ２，Ｕ３の手Ｈの動きの一例を示す図である。
　図１４の動作パターンでは、耳アニメーションＥにおける「うなずき」の動作を示している。図１４の動作パターンに示されるように、「うなずき」の動作では、キャラクタＣの耳アニメーションＥにおいて、耳の上部１／２部分が前方に折り曲がる。「うなずき」の動作を耳アニメーションＥに実行させる場合には、ユーザＵ１，Ｕ２，Ｕ３は、図１４のユーザ動作に示されるように、操作装置６０を把持した手Ｈを、手首を中心に前方に軽く折り曲げる。
　操作装置６０は、図１４のユーザ動作に示される動作が行われた場合、当該動作を加速度センサ６５及びジャイロセンサ６６で検出し、動作データとして端末１０，２０，３０に送信する。端末１０，２０，３０の制御部１２は、当該動作データに基づいて、耳アニメーションＥを「うなずき」として動作させる制御データを生成する。なお、図１４のユーザ動作に示される位置で手Ｈの動作が停止された場合には、耳アニメーションＥにおいて耳が折れ曲がった状態で停止するようにしてもよい。
　図１５の動作パターンでは、耳アニメーションＥにおける「同意」の動作を示している。「同意」の動作では、キャラクタＣの耳アニメーションＥにおいて、耳が全体的に前方に折り曲がる。「同意」の動作を耳アニメーションＥに実行させる場合には、ユーザＵ１，Ｕ２，Ｕ３は、図１５のユーザ動作に示されるように、操作装置６０が装着された手Ｈを前方に深く折り曲げる。深く折り曲げるとは、図１４のユーザ動作に示される動作よりも深く折り曲げることを意味する。
　操作装置６０は、図１５のユーザ動作に示される動作が行われた場合、当該動作を加速度センサ６５及びジャイロセンサ６６で検出し、動作データとして端末１０，２０，３０に送信する。端末１０，２０，３０の制御部１２は、当該動作データに基づいて、耳アニメーションＥを「同意」として動作させる制御データを生成する。
　図１６の動作パターンでは、耳アニメーションＥにおける「拍手（賞賛）」の動作を示している。「拍手（賞賛）」の動作では、キャラクタＣの耳アニメーションＥにおいて、耳が近づいたり離れたりする。「拍手（賞賛）」の動作を耳アニメーションＥに実行させる場合には、ユーザＵ１，Ｕ２，Ｕ３は、図１６のユーザ動作に示されるように、操作装置６０を把持した手Ｈを左右（前後）に水平移動させる。なお、ユーザＵ１，Ｕ２，Ｕ３は、操作装置６０を把持した手Ｈともう一方の手とにより拍手する動作を行ってもよい。
　操作装置６０は、図１６のユーザ動作に示される動作が行われた場合、当該動作を加速度センサ６５及びジャイロセンサ６６で検出し、動作データとして端末１０，２０，３０に送信する。端末１０，２０，３０の制御部１２は、当該動作データに基づいて、耳アニメーションＥを「拍手（賞賛）」として動作させる制御データを生成する。
　図１７の動作パターンでは、耳アニメーションＥにおける「質問」の動作を示している。「質問」の動作では、キャラクタＣの耳アニメーションＥにおいて、耳が絡まる。「質問」の動作を耳アニメーションＥに実行させる場合には、ユーザＵ１，Ｕ２，Ｕ３は、図１７のユーザ動作に示されるように、操作装置６０を把持した手Ｈを手首を軸として往復回転させる動作を行う。
　操作装置６０は、図１７のユーザ動作に示される動作が行われた場合、当該動作を加速度センサ６５及びジャイロセンサ６６で検出し、動作データとして端末１０，２０，３０に送信する。端末１０，２０，３０の制御部１２は、当該動作データに基づいて、耳アニメーションＥを「質問」として動作させる制御データを生成する。
　図１８の動作パターンでは、耳アニメーションＥにおける「挙手」の動作を示している。「挙手」の動作では、キャラクタＣの耳アニメーションＥにおいて、耳が伸びる。「挙手」の動作を耳アニメーションＥに実行させる場合には、ユーザＵ１，Ｕ２，Ｕ３は、図１８のユーザ動作に示されるように、操作装置６０を把持した手Ｈを上方に挙げる動作を行う。
　操作装置６０は、図１８のユーザ動作に示される動作が行われた場合、当該動作を加速度センサ６５及びジャイロセンサ６６で検出し、動作データとして端末１０，２０，３０に送信する。端末１０，２０，３０の制御部１２は、当該動作データに基づいて、耳アニメーションＥを「挙手」として動作させる制御データを生成する。
　図１９の動作パターンでは、耳アニメーションＥにおける「驚き」の動作を示している。「驚き」の動作では、キャラクタＣの耳アニメーションＥにおいて、耳の先端が大きくなる。このとき、キャラクタＣのボディＢが後ろに反る。「驚き」の動作を耳アニメーションＥに実行させる場合には、ユーザＵ１，Ｕ２，Ｕ３は、図１９のユーザ動作に示されるように、操作装置６０を把持した手Ｈを手首を中心に後方に反らせる。
　操作装置６０は、図１９のユーザ動作に示される動作が行われた場合、当該動作を加速度センサ６５及びジャイロセンサ６６で検出し、動作データとして端末１０，２０，３０に送信する。端末１０，２０，３０の制御部１２は、当該動作データに基づいて、耳アニメーションＥを「驚き」として動作させる制御データを生成する。
＜耳アニメ－ションの動作の操作方法＞
　続いて、キャラクタＣの耳アニメーションＥの動作の操作方法について説明する。耳アニメーションＥを操作する場合には、ユーザＵ１，Ｕ２，Ｕ３は、操作装置６０のスイッチ６２を押下する。ユーザＵ１，Ｕ２，Ｕ３は、操作装置６０のスイッチ６２を押下してから所定の時間内に、図１４のユーザ動作、図１５のユーザ動作、図１６のユーザ動作、図１７のユーザ動作、図１８のユーザ動作又は図１９のユーザ動作の何れかに示される動作を行う。これにより、操作装置６０において動作データが生成される。操作装置６０は、動作データを端末１０，２０，３０に送信する。
　端末１０，２０，３０は、動作データを受信すると、動作データに対応する制御データを生成する。これにより、端末１０，２０，３０の通話画面Ｇにおいて、キャラクタＣ１，Ｃ２，Ｃ３の耳アニメーションＥが、「うなずき」、「同意」、「賞賛（拍手）」、「質問」、「挙手」又は「驚き」の何れかの動作を行う。このように、ユーザＵ１，Ｕ２，Ｕ３による操作装置６０の操作により、キャラクタＣの耳アニメーションＥの動作を操作する。
［効果］
　以上説明したように、本実施形態に係る操作装置６０は、加速度センサ６５及びジャイロセンサ６６を有している。操作装置６０は、操作装置６０を把持したユーザＵ１，Ｕ２，Ｕ３の動作を加速度センサ６５及びジャイロセンサ６６によって検出し、動作データを生成して端末１０，２０，３０に送信する。端末１０，２０，３０は、動作データに対応する制御データを生成し、耳アニメーションＥの動作を実行させる。これにより、システム１００では、ユーザＵ１，Ｕ２，Ｕ３によって操作装置６０の操作が行われない場合には、耳アニメーションＥは動作しない。また、耳アニメーションＥは、操作装置６０の加速度及び角速度が所定値となるような特定の操作が行われた場合に動作する。そのため、例えば、操作装置６０を単に移動させるような操作の場合には、耳アニメーションＥは動作しない。このように、ユーザＵ１，Ｕ２，Ｕ３の意図するタイミングにおいて、必要な動作だけを耳アニメーションＥに反映させることができる。したがって、ユーザＵ１，Ｕ２，Ｕ３の意図に応じて耳アニメーションＥを動作させることができる。
　本実施形態に係る操作装置６０は、ユーザＵ１，Ｕ２，Ｕ３の手Ｈに把持される。そのため、ユーザＵ１，Ｕ２，Ｕ３は、手Ｈの動きによって、耳アニメーションＥの動作を操作することができる。そのため、操作装置５０を操作するための広い操作スペースが必要とならない。また、ユーザＵ１，Ｕ２，Ｕ３による手Ｈの動きによって操作装置６０を操作するため、自然と楽に操作することができる。また、手Ｈは多様な動作が可能であるため、動作データに対応する耳アニメーションＥのバリエーションを増やすことができる。
　本実施形態に係る操作装置６０は、スイッチ６２を有している。操作装置６０では、スイッチ６２が押下された場合に動作データを生成して、動作データを端末１０，２０，３０に送信する。このように、操作装置６０では、スイッチ６２が押下された場合にのみ、動作データを生成する。すなわち、スイッチ６２が押下されない場合には、操作装置６０において特定の操作が行われた場合であっても、動作データが生成されない。そのため、操作装置６０では、ユーザＵ１，Ｕ２，Ｕ３の意図に反して動作データが生成されることがない。したがって、ユーザＵ１，Ｕ２，Ｕ３の意図に応じて耳アニメーションＥを動作させることができる。
　本実施形態では、端末１０，２０，３０は、ユーザＵ１，Ｕ２，Ｕ３の視線に係る情報を含む視線データ生成し、視線データを操作装置６０に送信する。操作装置６０は、視線データに基づいて、振動部６８を一定時間振動させる。これにより、操作装置６０を装着しているユーザＵ１，Ｕ２，Ｕ３は、自身のキャラクタＣ１，Ｃ２，Ｃ３に他のユーザＵ１，Ｕ２，Ｕ３の視線が向けられていることを体感的に感じることができる。
［第三実施形態］
　続いて、第三実施形態について説明する。第三実施形態では、操作装置の構成が第一実施形態及び第二実施形態と異なっている。第三実施形態において、制御部１２は、ユーザＵ１の制御データを生成する部分である。ユーザＵ１の制御データは、操作装置（検出装置）７０から出力された動作データに基づいて生成される。本実施形態では、制御データとして、キャラクタＣ１の耳アニメーションＥを、「うなずき」、「同意」、「賞賛（拍手）」、「質問」、「挙手」及び「驚き」の６つの動作をさせるデータを生成する。
　制御データは、動作データに対応付けられている。本実施形態では、「うなずき」、「同意」、「賞賛（拍手）」、「質問」、「挙手」及び「驚き」のそれぞれの制御データに対して、動作データが対応付けられている。動作データは、操作装置７０から送信されるデータである。動作データは、操作装置７０の加速度センサ７５によって検出された値、及び、ジャイロセンサ７６によって検出された値を含む。加速度センサ７５によって検出される加速度の所定値、及び、ジャイロセンサ７６によって検出される角速度の所定値に対して、予め設定された所定の耳アニメーションＥが対応付けられている。例えば、「うなずき」の動作の場合、ジャイロセンサ７６によって検出される角速度の所定値は、１８０ｄｅｇ／ｓ程度に設定され得る。「同意」の場合、ジャイロセンサ７６によって検出される角速度の所定値は、９０ｄｅｇ／ｓ程度に設定され得る。所定値は、所定の数値範囲を含み得る。具体的には、所定値は、加速度である場合は〇〇ｍ／ｓ２～〇〇ｍ／ｓ２、角速度である場合は〇〇ｄｅｇ／ｓ～〇〇ｄｅｇ／ｓのように設定されていてもよい。制御部１２は、動作データが制御データに対応している場合、制御データを生成する。
＜操作装置の構成＞
　図２０は、第三実施形態に係る操作装置７０を示す図である。図２１は、操作装置７０がユーザＵ１，Ｕ２，Ｕ３の指Ｆに装着されている状態を示す図である。図２０に示されるように、操作装置７０は、ハードウェア構成として、本体７１と、スイッチ７２と、を備えている。操作装置７０は、ユーザＵ１，Ｕ２，Ｕ３によって操作される装置である。ユーザＵ１，Ｕ２，Ｕ３による操作装置７０の操作によって、耳アニメーションＥが動作する。
　本体７１は、ユーザＵ１，Ｕ２，Ｕ３の身体に装着される。本実施形態では、本体７１は、ユーザＵ１，Ｕ２，Ｕ３の手Ｈの指Ｆ（図２１参照）に装着される。本体７１は、指輪のような形状を呈している。本体７１は、樹脂、金属等によって形成することができる。本実施形態では、本体７１は、一対のアーム７１Ａ，７１Ｂを有している。一対のアーム７１Ａ，７１Ｂによって、指Ｆが挿入される開口部７１Ｃが形成されている。一対のアーム７１Ａ，７１Ｂは、弾性部材によって形成されていることが好ましい。この場合、一対のアーム７１Ａ，７１Ｂを広げることができるため、装着性の向上が図れる。
　スイッチ７２は、本体７１のアーム７１Ａの側面に配置されている。スイッチ７２は、例えば、機械式のスイッチである。スイッチ７２は、アーム７１Ａの側面から突出している。スイッチ７２は、ユーザＵ１，Ｕ２，Ｕ３によって押下されると、作動信号を入力部７４に出力する。
　図２１に示されるように、操作装置７０の本体７１は、ユーザＵ１，Ｕ２，Ｕ３の手Ｈの指Ｆに装着される。具体的には、操作装置７０は、例えば、人差し指Ｆに装着される。詳細には、操作装置７０は、人差し指Ｆの第二関節の上方に装着することができる。操作装置７０は、スイッチ７２が親指側を向くように装着される。これにより、親指によってスイッチ７２を操作することができる。
　図２２は、操作装置７０の機能ブロックの例を示す図である。図２２に示されるように、操作装置７０は、通信部７３を含む。通信部７３は、無線通信又は有線通信によって、外部装置と通信する部分である。無線通信は、例えば、ＬＡＮ、Ｂｌｕｅｔｏｏｔｈ（登録商標）、Ｗｉｆｉ等である。外部装置の例は、端末１０、端末２０及び端末３０である。通信部７３は、制御部７７から出力された動作データを端末１０、端末２０及び端末３０に送信したり、視線データを端末１０、端末２０及び端末３０から受信したりする。
　操作装置７０は、入力部７４を含む。入力部７４は、スイッチ７２の作動信号を入力する部分である。入力部７４は、作動信号を制御部７７に出力する。
　操作装置７０は、加速度センサ（加速度検出部）７５を含む。加速度センサ７５は、本体７１の加速度を検出する。すなわち、加速度センサ７５は、操作装置７０を装着したユーザＵ１，Ｕ２，Ｕ３の指Ｆの加速度を検出する。加速度センサ７５の検出感度は、適宜設定することができる。加速度センサ７５は、検出値を制御部７７に出力する。
　操作装置７０は、ジャイロセンサ（角速度検出部）７６を含む。ジャイロセンサ７６は、本体７１の角速度を検出する。ジャイロセンサ７６は、三軸（Ｘ軸、Ｙ軸、Ｚ軸）のジャイロセンサである。ジャイロセンサ７６は、本体７１の回転や向きの変化を角速度として検出する。すなわち、ジャイロセンサ７６は、操作装置７０を装着したユーザＵ１，Ｕ２，Ｕ３の指Ｆの角速度を検出する。ジャイロセンサ７６の検出感度は、適宜設定することができる。ジャイロセンサ７６は、検出値を制御部７７に出力する。
　操作装置７０は、制御部７７を含む。制御部７７は、加速度センサ７５及びジャイロセンサ７６の検出結果に基づいて、動作データを生成する。制御部７７は、入力部７４から作動信号が出力された場合、動作データを生成する。制御部７７は、作動信号が出力された場合、作動信号が入力されてからの所定時間（例えば、５秒）内に加速度センサ７５及びジャイロセンサ７６から出力された検出結果を含む動作データを生成する。すなわち、制御部７７は、スイッチ７２が押下されたことをトリガーとして、動作データを生成する。所定時間は、ユーザによって適宜設定することができる。制御部７７は、動作データを通信部７３に出力する。
　なお、制御部７７は、スイッチ７２が押下されている間、すなわち作動信号が出力されている間に、加速度センサ７５及びジャイロセンサ７６から出力された検出結果を含む動作データを生成してもよい。また、制御部７７は、スイッチ７２が押下されてから、もう一度スイッチ７２が押下されるまでの間に、加速度センサ７５及びジャイロセンサ７６から出力された検出結果を含む動作データを生成してもよい。
　制御部７７は、通信部１４から視線データが出力された場合、振動部７８を所定時間振動させる。振動部７８を振動させる所定時間は、適宜設定される。
　制御部７７は、ＣＰＵ（Ｃｅｎｔｒａｌ　Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔ）、ＧＰＵ（Ｇｒａｐｈｉｃｓ　Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔ）等のプロセッサと、クロックと、内蔵メモリとを用いて構成され得る。制御部７７は、プロセッサ、クロック、内蔵メモリ、通信部７３を集積した一つのハードウェア（ＳｏＣ：Ｓｙｓｔｅｍ　Ｏｎ　ａ　Ｃｈｉｐ）として構成されてもよい。
　操作装置７０は、振動部７８を含む。振動部７８は、本体７１を振動させる。振動部７８は、モータ、圧電素子等によって構成され得る。振動部７８は、制御部７７により制御される。
　操作装置７０は、バッテリ７９を含む。バッテリ７９は、操作装置７０の各部に電力を供給する。バッテリ７９は、本体７１に充電ケーブルが装着されることによって充電されてもよい、ワイヤレス電力伝送によって充電されてもよい。
　続いて、キャラクタＣ（Ｃ１，Ｃ２，Ｃ３）の耳アニメーションＥを、「うなずき」、「同意」、「賞賛（拍手）」、「質問」、「挙手」又は「驚き」として動作させる場合の、ユーザＵ１，Ｕ２，Ｕ３による操作装置７０の操作について説明する。すなわち、キャラクタＣの耳アニメーションＥの動作と、操作装置７０によって検出されるユーザＵ１，Ｕ２，Ｕ３の動作との関係について説明する。図２３の動作パターン～図２８の動作パターンは、耳アニメーションＥの動作の一例を示す図である。図２３のユーザ動作～図２８のユーザ動作は、図２３の動作パターン～図２８の動作パターンに示す耳アニメーションＥを動作させるときのユーザＵ１，Ｕ２，Ｕ３の手Ｈ（指Ｆ）の動きの一例を示す図である。
　図２３の動作パターンでは、耳アニメーションＥにおける「うなずき」の動作を示している。図２３の動作パターンに示されるように、「うなずき」の動作では、キャラクタＣの耳アニメーションＥにおいて、耳の上部１／２部分が前方に折り曲がる。「うなずき」の動作を耳アニメーションＥに実行させる場合には、ユーザＵ１，Ｕ２，Ｕ３は、図２３のユーザ動作に示されるように、操作装置７０が装着された指Ｆを前方に軽く折り曲げる。
　操作装置７０は、図２３のユーザ動作に示される動作が行われた場合、当該動作を加速度センサ７５及びジャイロセンサ７６で検出し、動作データとして端末１０，２０，３０に送信する。端末１０，２０，３０の制御部１２は、当該動作データに基づいて、耳アニメーションＥを「うなずき」として動作させる制御データを生成する。なお、図２３のユーザ動作に示される位置で指Ｆの動作が停止された場合には、耳アニメーションＥにおいて耳が折れ曲がった状態で停止するようにしてもよい。
　図２４の動作パターンでは、耳アニメーションＥにおける「同意」の動作を示している。「同意」の動作では、キャラクタＣの耳アニメーションＥにおいて、耳が全体的に前方に折り曲がる。「同意」の動作を耳アニメーションＥに実行させる場合には、ユーザＵ１，Ｕ２，Ｕ３は、図２４のユーザ動作に示されるように、操作装置７０が装着された指Ｆを前方に深く折り曲げる。深く折り曲げるとは、図２３のユーザ動作に示される動作よりも深く折り曲げることを意味する。
　操作装置７０は、図２４のユーザ動作に示される動作が行われた場合、当該動作を加速度センサ７５及びジャイロセンサ７６で検出し、動作データとして端末１０，２０，３０に送信する。端末１０，２０，３０の制御部１２は、当該動作データに基づいて、耳アニメーションＥを「同意」として動作させる制御データを生成する。
　図２５の動作パターンでは、耳アニメーションＥにおける「拍手（賞賛）」の動作を示している。「拍手（賞賛）」の動作では、キャラクタＣの耳アニメーションＥにおいて、耳が近づいたり離れたりする。「拍手（賞賛）」の動作を耳アニメーションＥに実行させる場合には、ユーザＵ１，Ｕ２，Ｕ３は、図２５のユーザ動作に示されるように、操作装置７０が装着された手Ｈで拍手する動作を行う。なお、ユーザＵ１，Ｕ２，Ｕ３は、操作装置７０が装着された手Ｈで机等を叩いてもよい。
　操作装置７０は、図２５のユーザ動作に示される動作が行われた場合、当該動作を加速度センサ７５及びジャイロセンサ７６で検出し、動作データとして端末１０，２０，３０に送信する。端末１０，２０，３０の制御部１２は、当該動作データに基づいて、耳アニメーションＥを「拍手（賞賛）」として動作させる制御データを生成する。
　図２６の動作パターンでは、耳アニメーションＥにおける「質問」の動作を示している。「質問」の動作では、キャラクタＣの耳アニメーションＥにおいて、耳が絡まる。「質問」の動作を耳アニメーションＥに実行させる場合には、ユーザＵ１，Ｕ２，Ｕ３は、図２６のユーザ動作に示されるように、操作装置７０が装着された手Ｈを手首を軸として往復回転させる動作を行う。
　操作装置７０は、図２６のユーザ動作に示される動作が行われた場合、当該動作を加速度センサ７５及びジャイロセンサ７６で検出し、動作データとして端末１０，２０，３０に送信する。端末１０，２０，３０の制御部１２は、当該動作データに基づいて、耳アニメーションＥを「質問」として動作させる制御データを生成する。
　図２７の動作パターンでは、耳アニメーションＥにおける「挙手」の動作を示している。「挙手」の動作では、キャラクタＣの耳アニメーションＥにおいて、耳が伸びる。「挙手」の動作を耳アニメーションＥに実行させる場合には、ユーザＵ１，Ｕ２，Ｕ３は、図２７のユーザ動作に示されるように、操作装置７０が装着された手Ｈを上方に挙げる動作を行う。
　操作装置７０は、図２７のユーザ動作に示される動作が行われた場合、当該動作を加速度センサ７５及びジャイロセンサ７６で検出し、動作データとして端末１０，２０，３０に送信する。端末１０，２０，３０の制御部１２は、当該動作データに基づいて、耳アニメーションＥを「挙手」として動作させる制御データを生成する。
　図２８の動作パターンでは、耳アニメーションＥにおける「驚き」の動作を示している。「驚き」の動作では、キャラクタＣの耳アニメーションＥにおいて、耳の先端が大きくなる。このとき、キャラクタＣのボディＢが後ろに反る。「驚き」の動作を耳アニメーションＥに実行させる場合には、ユーザＵ１，Ｕ２，Ｕ３は、図２８のユーザ動作に示されるように、操作装置７０が装着された手Ｈを手首を中心に後方に反らせる。
　操作装置７０は、図２８のユーザ動作に示される動作が行われた場合、当該動作を加速度センサ７５及びジャイロセンサ７６で検出し、動作データとして端末１０，２０，３０に送信する。端末１０，２０，３０の制御部１２は、当該動作データに基づいて、耳アニメーションＥを「驚き」として動作させる制御データを生成する。
＜耳アニメ－ションの動作の操作方法＞
　続いて、キャラクタＣの耳アニメーションＥの動作の操作方法について説明する。耳アニメーションＥを操作する場合には、ユーザＵ１，Ｕ２，Ｕ３は、操作装置７０のスイッチ７２を押下する。ユーザＵ１，Ｕ２，Ｕ３は、操作装置７０のスイッチ７２を押下してから所定の時間内に、図２３のユーザ動作、図２４のユーザ動作、図２５のユーザ動作、図２６のユーザ動作、図２７のユーザ動作又は図２８のユーザ動作の何れかに示される動作を行う。これにより、操作装置７０において動作データが生成される。操作装置７０は、動作データを端末１０，２０，３０に送信する。
　端末１０，２０，３０は、動作データを受信すると、動作データに対応する制御データを生成する。これにより、端末１０，２０，３０の通話画面Ｇにおいて、キャラクタＣ１，Ｃ２，Ｃ３の耳アニメーションＥが、「うなずき」、「同意」、「賞賛（拍手）」、「質問」、「挙手」又は「驚き」の何れかの動作を行う。このように、ユーザＵ１，Ｕ２，Ｕ３による操作装置７０の操作により、キャラクタＣの耳アニメーションＥの動作を操作する。
［効果］
　以上説明したように、本実施形態に係るシステム１００では、操作装置７０を備えている。操作装置７０は、加速度センサ７５及びジャイロセンサ７６を有している。操作装置７０は、操作装置７０を装着したユーザＵ１，Ｕ２，Ｕ３の動作を加速度センサ７５及びジャイロセンサ７６によって検出し、動作データを生成して端末１０，２０，３０に送信する。端末１０，２０，３０は、動作データに対応する制御データを生成し、耳アニメーションＥの動作を実行させる。これにより、システム１００では、ユーザＵ１，Ｕ２，Ｕ３によって操作装置７０の操作が行われない場合には、耳アニメーションＥは動作しない。また、耳アニメーションＥは、操作装置７０の加速度及び角速度が所定値となるような特定の操作が行われた場合に動作する。そのため、例えば、操作装置７０を単に移動させるような操作の場合には、耳アニメーションＥは動作しない。このように、ユーザＵ１，Ｕ２，Ｕ３の意図するタイミングにおいて、必要な動作だけを耳アニメーションＥに反映させることができる。したがって、ユーザＵ１，Ｕ２，Ｕ３の意図に応じて耳アニメーションＥを動作させることができる。
　例えば、マイクやカメラによって取得される音声データ及び画像データに基づいて、ユーザＵ１，Ｕ２，Ｕ３の状態を推定して耳アニメーションＥを動作させる形態において、ユーザＵ１，Ｕ２，Ｕ３の意図に応じて耳アニメーションＥを動作させるために、耳アニメーションＥを動作させたいときにマイクやカメラをオンにする、あるいは、耳アニメーションＥを動作させないときにマイクやカメラをオフにする方法が考えられる。しかしながら、その都度カメラやマイクをオン／オフにすることは、煩に堪えない。また、マイクやカメラをオフにし忘れた場合、ユーザＵ１，Ｕ２，Ｕ３の意図に反して耳アニメーションＥが動作する。これに対して、システム１００では、ユーザＵ１，Ｕ２，Ｕ３によって、操作装置７０において特定の操作が行われた場合にのみ耳アニメーションＥの動作が実行される。そのため、システム１００では、煩わしい操作を行うことなく、ユーザＵ１，Ｕ２，Ｕ３の意図に応じて耳アニメーションＥを動作させることができる。
　本実施形態に係る操作装置７０は、ユーザＵ１，Ｕ２，Ｕ３の指Ｆに装着される。そのため、ユーザＵ１，Ｕ２，Ｕ３は、指Ｆの動きによって、耳アニメーションＥの動作を操作することができる。そのため、操作装置７０を操作するための広い操作スペースが必要とならない。また、ユーザＵ１，Ｕ２，Ｕ３による指Ｆの動きによって操作装置７０を操作するため、自然と楽に操作することができる。また、指Ｆは多様な動作が可能であるため、動作データに対応する耳アニメーションＥのバリエーションを増やすことができる。
　本実施形態に係る操作装置７０は、スイッチ７２を有している。操作装置７０では、スイッチ７２が押下された場合に動作データを生成して、動作データを端末１０，２０，３０に送信する。このように、操作装置７０では、スイッチ７２が押下された場合にのみ、動作データを生成する。すなわち、スイッチ７２が押下されない場合には、操作装置７０において特定の操作が行われた場合であっても、動作データが生成されない。そのため、操作装置７０では、ユーザＵ１，Ｕ２，Ｕ３の意図に反して動作データが生成されることがない。したがって、ユーザＵ１，Ｕ２，Ｕ３の意図に応じて耳アニメーションＥを動作させることができる。
　本実施形態に係るシステム１００では、端末１０，２０，３０は、ユーザＵ１，Ｕ２，Ｕ３の視線に係る情報を含む視線データ生成し、視線データを操作装置７０に送信する。操作装置７０は、視線データに基づいて、振動部７８を一定時間振動させる。これにより、操作装置７０を装着しているユーザＵ１，Ｕ２，Ｕ３は、自身のキャラクタＣ１，Ｃ２，Ｃ３に他のユーザＵ１，Ｕ２，Ｕ３の視線が向けられていることを体感的に感じることができる。
［第四実施形態］
＜操作装置の構成＞
　図２９は、第四実施形態に係る操作装置８０の斜視図である。図２９では、操作装置８０がユーザＵ１，Ｕ２，Ｕ３の指Ｆによって操作されている状態を示す図である。操作装置８０は、ユーザＵ１，Ｕ２，Ｕ３によって操作される装置である。ユーザＵ１，Ｕ２，Ｕ３による操作装置８０の操作によって、耳アニメーションＥが動作する。操作装置８０は、マウスである。マウスの方式としては、光学式、レーザ式、Ｂｌｕｅ　ＬＥＤ、ＩＲ　ＬＥＤ、ボール式等を採用することができる。操作装置８０は、本体８１と、右ボタン８２と、左ボタン８３と、ホイール８４と、を有している。
　図３０は、操作装置８０の機能ブロックの例を示す図である。図３０に示されるように、操作装置８０は、通信部８５を含む。通信部８５は、無線通信又は有線通信によって、外部装置と通信する部分である。無線通信は、例えば、Ｂｌｕｅｔｏｏｔｈ（登録商標）、２．４ＧＨｚ方式等である。外部装置の例は、端末１０、端末２０及び端末３０である。通信部８５は、制御部８７から出力された動作データを端末１０、端末２０及び端末３０に送信したり、視線データを端末１０、端末２０及び端末３０から受信したりする。
　操作装置８０は、入力部８６を含む。入力部８６は、ユーザＵ１，Ｕ２，Ｕ３の操作を入力する部分である。入力部８６は、ユーザＵ１，Ｕ２，Ｕ３による右ボタン８２、左ボタン８３及びホイール８４の操作を検出する。入力部８６は、操作信号を制御部８７に出力する。
　操作装置８０は、制御部８７を含む。制御部８７は、入力部８６の操作信号に基づいて、動作データを生成する。制御部８７は、動作データを通信部８５に出力する。制御部８７は、通信部１４から視線データが出力された場合、振動部８８を所定時間振動させる。振動部８８を振動させる所定時間は、適宜設定される。
　制御部８７は、ＣＰＵ、ＧＰＵ等のプロセッサと、クロックと、内蔵メモリとを用いて構成され得る。制御部８７は、プロセッサ、クロック、内蔵メモリ、通信部８５を集積した一つのハードウェア（ＳｏＣ：Ｓｙｓｔｅｍ　Ｏｎ　ａ　Ｃｈｉｐ）として構成されてもよい。
　操作装置８０は、振動部８８を含む。振動部８８は、本体８１を振動させる。振動部８８は、モータ、圧電素子等によって構成され得る。振動部８８は、制御部８７により制御される。
　操作装置８０は、無線通信を行う場合、バッテリ８９を含む。バッテリ８９は、操作装置８０の各部に電力を供給する。
　続いて、キャラクタＣ（Ｃ１，Ｃ２，Ｃ３）の耳アニメーションＥを、「うなずき」、「同意」、「驚き」、「賞賛（拍手）」又は「質問」として動作させる場合の、ユーザＵ１，Ｕ２，Ｕ３による操作装置８０の操作について説明する。すなわち、キャラクタＣの耳アニメーションＥの動作と、操作装置８０によって検出されるユーザＵ１，Ｕ２，Ｕ３の動作との関係について説明する。
　図３１の動作パターン～図３４の動作パターンは、耳アニメーションＥの動作の一例を示す図である。図３１のユーザ動作～図３４のユーザ動作は、図３１の動作パターン～図３４の動作パターンに示す耳アニメーションＥを動作させるときのユーザＵ１，Ｕ２，Ｕ３の指Ｆの動きの一例を示す図である。
　図３１の動作パターンでは、耳アニメーションＥにおける「うなずき」の動作を示している。図３１の動作パターンに示されるように、「うなずき」の動作では、キャラクタＣの耳アニメーションＥにおいて、耳の上部１／２部分が前方に折り曲がる。「うなずき」の動作を耳アニメーションＥに実行させる場合には、ユーザＵ１，Ｕ２，Ｕ３は、図３１のユーザ動作に示されるように、操作装置８０のホイール８４を指Ｆ（例えば、人差し指）によって後方に回転させる。
　操作装置８０は、図３０のユーザ動作に示される動作が行われた場合、当該動作を入力部８６で検出し、動作データとして端末１０，２０，３０に送信する。端末１０，２０，３０の制御部１２は、当該動作データに基づいて、耳アニメーションＥを「うなずき」として動作させる制御データを生成する。なお、図３１のユーザ動作において、ホイール８４の回転速度に基づいて耳アニメーションＥの動作速度が変化するようにしてもよい。例えば、ホイール８４の回転速度が遅い場合には、耳アニメーションＥの動作速度を遅くしてもよい。また、ホイール８４の回転量に基づいて耳アニメーションＥの動作が変化してもよい。例えば、ホイール８４の回転量が所定値未満である場合には、「うなずき」の動作を行い、ホイール８４の回転量が所定値以上である場合には、「同意」の動作を行うようにしてもよい。
　図３２の動作パターンでは、耳アニメーションＥにおける「驚き」の動作を示している。「驚き」の動作では、キャラクタＣの耳アニメーションＥにおいて、耳の先端が大きくなる。このとき、キャラクタＣのボディＢが後ろに反る。「驚き」の動作を耳アニメーションＥに実行させる場合には、ユーザＵ１，Ｕ２，Ｕ３は、図３２のユーザ動作に示されるように、ホイール８４を指Ｆ（例えば、人差し指）によって前方に回転させる。
　操作装置８０は、図３２のユーザ動作に示される動作が行われた場合、当該動作を入力部８６で検出し、動作データとして端末１０，２０，３０に送信する。端末１０，２０，３０の制御部１２は、当該動作データに基づいて、耳アニメーションＥを「驚き」として動作させる制御データを生成する。
　図３３の動作パターンでは、耳アニメーションＥにおける「拍手（賞賛）」の動作を示している。「拍手（賞賛）」の動作では、キャラクタＣの耳アニメーションＥにおいて、耳が近づいたり離れたりする。「拍手（賞賛）」の動作を耳アニメーションＥに実行させる場合には、ユーザＵ１，Ｕ２，Ｕ３は、図３３のユーザ動作に示されるように、右ボタン８２及び左ボタン８３を二本の指Ｆ（例えば、人差し指と中指）によって同時にクリックする。
　操作装置８０は、図３３のユーザ動作に示される動作が行われた場合、当該動作を入力部８６で検出し、動作データとして端末１０，２０，３０に送信する。端末１０，２０，３０の制御部１２は、当該動作データに基づいて、耳アニメーションＥを「拍手（賞賛）」として動作させる制御データを生成する。端末１０，２０，３０の制御部１２は、右ボタン８２及び左ボタン８３を一回クリックする動作に係る動作データに対して、複数回拍手するように制御データを生成してもよい。
　図３４の動作パターンでは、耳アニメーションＥにおける「質問」の動作を示している。「質問」の動作では、キャラクタＣの耳アニメーションＥにおいて、耳が絡まる。「質問」の動作を耳アニメーションＥに実行させる場合には、ユーザＵ１，Ｕ２，Ｕ３は、図３４のユーザ動作に示されるように、右ボタン８２及び左ボタン８３を二本の指Ｆ（例えば、人差し指と中指）によって交互にクリックする。
　操作装置８０は、図３４のユーザ動作に示される動作が行われた場合、当該動作を入力部８６で検出し、動作データとして端末１０，２０，３０に送信する。端末１０，２０，３０の制御部１２は、当該動作データに基づいて、耳アニメーションＥを「質問」として動作させる制御データを生成する。
＜耳アニメ－ションの動作の操作方法＞
　続いて、キャラクタＣの耳アニメーションＥの動作の操作方法について説明する。耳アニメーションＥを操作する場合には、ユーザＵ１，Ｕ２，Ｕ３は、図３１のユーザ動作、図３２のユーザ動作、図３３のユーザ動作又は図３４のユーザ動作の何れかに示される動作を行う。これにより、操作装置８０において動作データが生成される。操作装置８０は、動作データを端末１０，２０，３０に送信する。
　端末１０，２０，３０は、動作データを受信すると、動作データに対応する制御データを生成する。これにより、端末１０，２０，３０の通話画面Ｇにおいて、キャラクタＣ１，Ｃ２，Ｃ３の耳アニメーションＥが、「うなずき（同意）」、「驚き」、「賞賛（拍手）」又は「質問」の何れかの動作を行う。このように、ユーザＵ１，Ｕ２，Ｕ３による操作装置８０の操作により、キャラクタＣの耳アニメーションＥの動作を操作する。
　［効果］
　以上説明したように、本実施形態に係る操作装置８０は、右ボタン８２、左ボタン８３及びホイール８４を有している。操作装置８０は、ユーザＵ１，Ｕ２，Ｕ３の動作を右ボタン８２、左ボタン８３又はホイール８４によって検出し、動作データを生成して端末１０，２０，３０に送信する。端末１０，２０，３０は、動作データに対応する制御データを生成し、耳アニメーションＥの動作を実行させる。これにより、システム１００では、ユーザＵ１，Ｕ２，Ｕ３によって操作装置８０の操作が行われない場合には、耳アニメーションＥは動作しない。また、例えば、操作装置８０を単に移動させるような操作の場合には、耳アニメーションＥは動作しない。このように、ユーザＵ１，Ｕ２，Ｕ３の意図するタイミングにおいて、必要な動作だけを耳アニメーションＥに反映させることができる。したがって、ユーザＵ１，Ｕ２，Ｕ３の意図に応じて耳アニメーションＥを動作させることができる。
　以上、本発明の実施形態について説明してきたが、本発明は必ずしも上述した実施形態に限定されるものではなく、その要旨を逸脱しない範囲で様々な変更が可能である。
　上記実施形態では、耳アニメーションＥを、「うなずき」、「同意」、「賞賛（拍手）」、「質問」、「挙手」又は「驚き」の何れかで動作させる形態を一例に説明した。しかし、ユーザの動作に応じた耳アニメーションＥの動作はこれに限定されない。耳アニメーションＥの動作は、他の動作であってもよいし、更に他の動作を含んでいてもよい。例えば、耳アニメーションＥにおいて「ＯＫ」の動作をさせてもよい。第一実施形態において、「ＯＫ」の動作を耳アニメーションＥに動作させる場合には、ユーザＵ１，Ｕ２，Ｕ３が操作面５１Ａに二本の指Ｆ（例えば、人差し指と中指）をタッチさせた状態で、例えば円を描くようにスライドさせる。
　また、耳アニメーションＥを、「うなずき」、「同意」、「賞賛（拍手）」、「質問」、「挙手」又は「驚き」の何れかで動作させる場合のユーザＵ１，Ｕ２，Ｕ３の動作について、動作パターンとユーザ動作との対応関係は上記実施形態の一例に限定されない。例えば、第一実施形態において、図９の「質問」の動作を耳アニメーションＥに実行させる場合には、ユーザＵ１，Ｕ２，Ｕ３が操作面５１Ａに二本の指Ｆ（例えば、人差し指と中指）をタッチさせた状態で、半円（円弧）を描くようにスライドさせる形態を一例に説明したが、∞（無限）を描くようスライドさせてもよい。動作パターンとユーザ動作との対応関係は、適宜設定可能である。
　上記実施形態では、操作装置５０、操作装置６０、操作装置７０及び操作装置８０のいずれかによってユーザＵ１，Ｕ２，Ｕ３の手Ｈ又は指Ｆの動作を検出する形態を一例に説明した。しかし、ユーザＵ１，Ｕ２，Ｕ３の手Ｈ又は指Ｆは、画像センサ（カメラ、レーザ等）によって検出してもよい。
　上記実施形態において、操作装置は、加速度及び角速度を検出できるものであればよい。操作装置は、例えば、耳アニメーションＥを表示するディスプレイ（表示部）を有する携帯電話機（スマートフォン等）であってもよい。携帯電話機である場合、操作装置５０，６０，７０，８０と同様に携帯電話機を操作することによって、動作データが生成される。
　具体的には、「うなずき」の動作を耳アニメーションＥに実行させる場合には、例えば、携帯電話機を前方に傾ける。「同意」の動作を耳アニメーションＥに実行させる場合には、携帯電話機を「うなずき」よりも深く前方に傾ける。「賞賛（拍手）」の動作を耳アニメーションＥに実行させる場合には、携帯電話機を小刻みに振る。「質問」の動作を耳アニメーションＥに実行させる場合には、携帯電話機を往復回転させる。「挙手」の動作の耳アニメーションＥを実行させる場合には、携帯電話機を上方に持ち上げる。
　操作装置が携帯電話機である場合には、操作装置のディスプレイに耳アニメーションＥ（キャラクタＣ）が表示されるため、耳アニメーションＥを確認しながら操作装置を操作することができる。また、操作装置と耳アニメーションＥを表示するディスプレイとが一体化されているため、構成の簡易化を図ることができる。
　上記第一実施形態では、操作装置５０が振動部５５を有し、視線データに基づいて振動部５５を作動させる（本体５１をバイブレーションさせる）形態を一例に説明した。しかし、操作装置５０は、振動部５５を有していなくてもよい。また、操作装置５０は、例えば、発光部（例えば、ＬＥＤ）等を有していてもよい。この構成では、視線データに基づいて発光部を発光させる。
　上記第一実施形態に加えて、操作装置５０は、動作データに基づいて、振動部５５を振動させてもよい。動作データに対応して、振動パターンを設定することができる。振動パターンは、「うなずき」、「同意」、「賞賛（拍手）」、「質問」、「挙手」又は「驚き」のそれぞれに対応して設定することができる。例えば、「うなずき」の場合には短時間の振動、「同意」の場合には「うなずき」の振動よりも長時間の振動にすることができる。この構成では、ユーザＵ１，Ｕ２，Ｕ３の意図に応じて操作装置５０が振動するため、動作の一体感を得ることができる。
　上記第一実施形態において、耳アニメーションＥは、操作装置５０におけるユーザＵ１，Ｕ２，Ｕ３の指Ｆ（手Ｈ）の動作速度及び移動量の少なくとも一方に基づいて、動作が変化してもよい。すなわち、操作装置５０におけるユーザＵ１，Ｕ２，Ｕ３の指Ｆ（手Ｈ）の動作速度及び移動量の少なくとも一方を、耳アニメーションＥの動作に反映させてもよい。
　例えば、耳アニメーションＥの動作速度は、指Ｆの動作速度に応じて変化してもよい。具体的には、例えば、図６の動作パターンに示される「うなずき」の動作において、ユーザＵ１，Ｕ２，Ｕ３が操作装置５０の操作面５１Ａをスライドさせる指Ｆの速度を速くした場合には、耳アニメーションＥにおいて、耳が折り曲がる速度を速くし、操作面５１Ａをスライドさせる指Ｆの速度を遅くした場合には、耳が折り曲がる速度を遅くしてもよい。また、例えば、図６の動作パターンに示される「うなずき」の動作において、ユーザＵ１，Ｕ２，Ｕ３が操作面５１Ａのスライド量（移動量）を大きくした場合には、耳アニメーションＥにおいて、耳が折り曲がる角度を大きくし、操作面５１Ａのスライド量を小さくした場合には、耳が折り曲がる角度を小さくしてもよい。他の耳アニメーションＥの動作についても、適宜設定することができる。操作装置５０におけるユーザＵ１，Ｕ２，Ｕ３の指Ｆ（手Ｈ）の動作速度及び移動量に対する耳アニメーションＥの動作の感度の設定は、耳アニメーションＥの動作を実際に確認しながら行うことができる。
　上記のように、ユーザＵ１，Ｕ２，Ｕ３の手Ｈ及び指Ｆの少なくとも一方の、動作速度及び移動量の少なくとも一方を検出する操作装置５０を使用し、動作速度及び移動量の少なくとも一方に基づいて、耳アニメーションＥの動作を変化させる。この方法では、耳アニメーションＥは、動作速度又は移動量によって、動作速度が変化したり、動作量が変化したりする。これにより、耳アニメーションＥにおいて、ユーザＵ１，Ｕ２，Ｕ３の状況（会話内容、文脈等も含む）に応じた機微な非言語情報の表現（表出）を行うことができる。そのため、ユーザＵ１，Ｕ２，Ｕ３の感情（気持ち）がより耳アニメーションＥに表現されるため、円滑なコミュニケーションを実現することができる。他の実施形態についても、ユーザＵ１，Ｕ２，Ｕ３の手Ｈ及び指Ｆの少なくとも一方の、動作速度及び移動量の少なくとも一方を操作装置６０，７０，８０によって検出し、動作速度及び移動量の少なくとも一方に基づいて、耳アニメーションＥの動作を変化させることができる。
　上記第二実施形態では、操作装置６０を手Ｈに一つ把持して耳アニメーションＥの動作を操作する形態を一例に説明した。しかし、操作装置６０を複数把持して耳アニメーションＥの動作を操作してもよい。例えば、操作装置６０は、両手のそれぞれに把持することができる。この構成では、二つの操作装置６０において生成される動作データを連携させて、耳アニメーションＥの動作の多様化を図ることができる。
　上記第二実施形態では、操作装置６０が加速度センサ６５を有している形態を一例に説明した。しかし、操作装置６０は、加速度センサ６５を有していなくてもよい。すなわち、操作装置６０は、ジャイロセンサ６６のみを有していてもよい。
　上記第二実施形態では、操作装置６０がスイッチ６２を備える形態を一例に説明した。しかし、操作装置６０は、スイッチ６２を備えていなくてもよい。この構成では、操作装置６０の加速度センサ６５及び／又はジャイロセンサ６６において検出される値が一定値以上となった場合に、制御部６７が動作データを生成してもよい。一定値は、加速度センサ６５及び／又はジャイロセンサ６６の上記所定値以上に設定され得る。これにより、ユーザＵ１，Ｕ２，Ｕ３が特別の操作を行わなくても、耳アニメーションＥの動作を操作することができる。
　また、操作装置６０が、ユーザＵ１，Ｕ２，Ｕ３の音声を入力する入力部を有していてもよい。この構成では、ユーザＵ１，Ｕ２，Ｕ３の音声が入力部に入力された場合に、動作データを生成する。操作装置６０は、入力部において所定の音声、例えば「うんうん」等が入力されて場合に、動作データを生成する。動作データを生成するために入力される音声は、他のユーザに伝送されないようにしてもよい。
　上記第二実施形態では、操作装置６０が振動部６８を有し、視線データに基づいて振動部６８を作動させる（本体６１をバイブレーションさせる）形態を一例に説明した。しかし、操作装置６０は、振動部６８を有していなくてもよい。また、操作装置６０は、例えば、発光部（例えば、ＬＥＤ）等を有していてもよい。この構成では、視線データに基づいて発光部を発光させる。
　上記第二実施形態に加えて、操作装置６０は、動作データに基づいて、振動部６８を振動させてもよい。動作データに対応して、振動パターンを設定することができる。振動パターンは、「うなずき」、「同意」、「賞賛（拍手）」、「質問」、「挙手」及び「驚き」のそれぞれに対応して設定することができる。例えば、「うなずき」の場合には短時間の振動、「同意」の場合には「うなずき」の振動よりも長時間の振動にすることができる。この構成では、ユーザＵ１，Ｕ２，Ｕ３の意図に応じて操作装置６０が振動するため、動作の一体感を得ることができる。
　上記第三実施形態では、操作装置７０を指Ｆに一つ装着して耳アニメーションＥの動作を操作する形態を一例に説明した。しかし、操作装置７０を複数装着して耳アニメーションＥの動作を操作してもよい。例えば、操作装置７０は、人差し指と中指とに装着してもよいし、両手の指のそれぞれに装着することもできる。この構成では、二つの操作装置７０において生成される動作データを連携させて、耳アニメーションＥの動作の多様化を図ることができる。
　上記第三実施形態では、操作装置７０が加速度センサ７５を有している形態を一例に説明した。しかし、操作装置７０は、加速度センサ７５を有していなくてもよい。すなわち、操作装置７０は、ジャイロセンサ７６のみを有していてもよい。
　上記実施形態では、操作装置７０がスイッチ７２を備える形態を一例に説明した。しかし、操作装置７０は、スイッチ７２を備えていなくてもよい。この構成では、操作装置７０の加速度センサ７５及び／又はジャイロセンサ７６において検出される値が一定値以上となった場合に、制御部７７が動作データを生成してもよい。一定値は、加速度センサ７５及び／又はジャイロセンサ７６の上記所定値以上に設定され得る。これにより、ユーザＵ１，Ｕ２，Ｕ３が特別の操作を行わなくても、耳アニメーションＥの動作を操作することができる。
　また、操作装置７０が、ユーザＵ１，Ｕ２，Ｕ３の音声を入力する入力部を有していてもよい。この構成では、ユーザＵ１，Ｕ２，Ｕ３の音声が入力部に入力された場合に、動作データを生成する。操作装置７０は、入力部において所定の音声、例えば「うんうん」等が入力されて場合に、動作データを生成する。動作データを生成するために入力される音声は、他のユーザに伝送されないようにしてもよい。
　上記実施形態では、操作装置７０が振動部７８を有し、視線データに基づいて振動部７８を作動させる（本体７１をバイブレーションさせる）形態を一例に説明した。しかし、操作装置７０は、振動部７８を有していなくてもよい。また、操作装置７０は、例えば、発光部（例えば、ＬＥＤ）等を有していてもよい。この構成では、視線データに基づいて発光部を発光させる。
　上記実施形態に加えて、操作装置７０は、動作データに基づいて、振動部７８を振動させてもよい。動作データに対応して、振動パターンを設定することができる。振動パターンは、「うなずき」、「同意」、「賞賛（拍手）」、「質問」及び「挙手」のそれぞれに対応して設定することができる。例えば、「うなずき」の場合には短時間の振動、「同意」の場合には「うなずき」の振動よりも長時間の振動にすることができる。この構成では、ユーザＵ１，Ｕ２，Ｕ３の意図に応じて操作装置７０が振動するため、動作の一体感を得ることができる。
　上記第四実施形態では、操作装置８０が振動部８８を有し、視線データに基づいて振動部８８を作動させる（本体８１をバイブレーションさせる）形態を一例に説明した。しかし、操作装置８０は、振動部８８を有していなくてもよい。また、操作装置８０は、例えば、発光部（例えば、ＬＥＤ）等を有していてもよい。この構成では、視線データに基づいて発光部を発光させる。
　上記第四実施形態に加えて、操作装置８０は、動作データに基づいて、振動部８８を振動させてもよい。動作データに対応して、振動パターンを設定することができる。振動パターンは、「うなずき」、「驚き」、「賞賛（拍手）」及び「質問」のそれぞれに対応して設定することができる。この構成では、ユーザＵ１，Ｕ２，Ｕ３の意図に応じて操作装置８０が振動するため、動作の一体感を得ることができる。
　上記実施形態では、端末１０、端末２０及び端末３０において制御データを生成する形態を一例に説明した。しかし、制御データは、サーバ４０によって生成されてもよい。この構成では、端末１０、端末２０及び端末３０は、動作データをサーバ４０に送信し、サーバ４０は、動作データに基づいて、制御データを生成する。
　上記実施形態では、キャラクタＣ１，Ｃ２，Ｃ３のボディＢが球状である形態を一例に説明した。しかし、キャラクタＣ１，Ｃ２，Ｃ３のボディＢの形状は球状に限定されない。ボディＢは、ディスプレイを模した形態であってもよい。この場合、例えば、ボディＢに、資料、発話者の発話内容の翻訳文（例えば、「Ｈｅｌｌｏ！」等）、ユーザＵ１，Ｕ２，Ｕ３の顔画像等が表示されるようにしてもよい。また、発話内容をＡＩとリンクさせて、会話に応じた図、テキスト、動画又は音声等をボディＢのディスプレイに自動的に表示させてもよい。
　また、ボディＢは、車を模した形状であってもよいし、目覚まし時計を模した形状であってもよいし、木を模した形状であってもよい。ボディＢは、ユーザの状態等に応じて、変化、変形等してもよい。また、キャラクタＣ１，Ｃ２，Ｃ３は、ロボット等の頭部に耳アニメーションＥが表示される形態であってもよい。この場合、耳アニメーションＥに加えて、ボディＢの一部（例えば、半円形状）が表示されてもよい。この構成では、ロボット等の頭部に、耳アニメーションＥの帽子が被されるように表示され得る。この場合、ボディＢは、ディスプレイになってよい。なお、耳アニメーションＥを有するヘッドフォン等がロボット等と一緒に表示されてもよい。さらに、キャラクタＣ１，Ｃ２，Ｃ３は、足のアニメーションを有していてもよい。この場合、ユーザＵ１，Ｕ２，Ｕ３の足の動きを検出するセンサの検出結果に基づいて、キャラクタＣ１，Ｃ２，Ｃ３の足のアニメーションが動作してもよい。
　上記実施形態では、図２に示されるように、コミュニケーションに参加する全てのユーザＵ１，Ｕ２，Ｕ３のキャラクタＣ１，Ｃ２，Ｃ３が通話画面Ｇに表示される形態を一例に説明した。しかし、コミュニケーション対象であるユーザのキャラクタのみが通話画面に表示されてもよい。例えば、ユーザＵ１の端末１０の通話画面Ｇには、ユーザＵ２のキャラクタＣ２及びユーザＵ３のキャラクタＣ３のみが表示されてもよい。
　また、図２では、キャラクタＣ１，Ｃ２，Ｃ３が、テーブルＴを囲んで向かい合うように表示される形態を例示している。しかし、キャラクタＣ１，Ｃ２，Ｃ３の配置等は、これに限定されない。例えば、キャラクタＣ１，Ｃ２，Ｃ３がステージに配置されていてもよい。ステージは、移動可能であってもよい。ステージ上において、キャラクタＣ１，Ｃ２，Ｃ３は、ユーザＵ１，Ｕ２，Ｕ３の操作に応じて、ダンスや体操を行うことができる。
　また、ボディＢがディスプレイを模した形態である場合において、通話画面Ｇには、資料等が表示されるディスプレイが表示されてもよい。これにより、講義、研修会、講演会等を行うことができる。このとき、ボディＢのディスプレイには、ユーザＵ１，Ｕ２，Ｕ３の属性（国籍、居住国等）に応じた翻訳文を表示することができる。
　上記実施形態では、端末１０，２０，３０の通話画面ＧにボディＢ及び耳アニメーションＥ等が表示される形態を一例に説明した。しかし、端末がウェアラブル端末、ヘッドマウントディスプレイ（ＨＭＤ）端末である場合には、ボディＢ及び耳アニメーションＥ等がレンズ等に表示されてもよいし、ホログラムで表示されてもよい。すなわち、サイバー空間において、キャラクタＣ１，Ｃ２，Ｃ３を表示させる。サイバー空間には、ＶＲ（Virtual　Reality：仮想現実）、ＡＲ（Augmented　Reality：拡張現実）、ＭＲ（Mixed　Reality：混合現実）が含まれ得る。
　上記実施形態では、テレビ会議等において通話画面Ｇに表示されるキャラクタＣ１，Ｃ２，Ｃ３の耳アニメーションＥの動作を操作する形態を一例に説明した。しかし、アニメーション操作方法は、ダンスや歌のパフォーマンスを行うキャラクタの耳アニメーションの動作の操作に適用されてもよい。
１０…端末、１１…入力部、１２…制御部、１３…記憶部、１３Ｐ…端末プログラム、１４…通信部、１５…出力部、２０…端末、３０…端末、４０…サーバ、４２…制御部、４３…記憶部、４３Ｐ…サーバプログラム、４３Ｓ…受信データ、４４…通信部、５０…操作装置（検出装置）、５１…本体、５１Ａ…操作面、５２…通信部、５３…入力部、５４…制御部、５５…振動部、５６…バッテリ、５８…振動部、６０…操作装置（検出装置）、６１Ａ…第一本体部、６１Ｂ…第二本体部、６１Ｃ…突起部、６２…スイッチ、６３…通信部、６４…入力部、６５…加速度センサ（加速度検出部）、６６…ジャイロセンサ（角速度検出部）、６７…制御部、６８…振動部、６９…バッテリ、７０…操作装置（検出装置）、７１Ａ…アーム、７１Ｂ…アーム、７１Ｃ…開口部、７２…スイッチ、７３…通信部、７４…入力部、７５…加速度センサ（加速度検出部）、７６…ジャイロセンサ（角速度検出部）、７７…制御部、７８…振動部、７９…バッテリ、８０…操作装置（検出装置）、８１…本体、８２…右ボタン、８３…左ボタン、８４…ホイール、８５…通信部、８６…入力部、８７…制御部、８８…振動部、８９…バッテリ、１００…システム、Ａ…腕アニメーション、ＡＰ…アクセスポイント、Ｂ…ボディ、ＢＳ…基地局、Ｃ…キャラクタ、Ｃ１…キャラクタ、Ｃ２…キャラクタ、Ｃ３…キャラクタ、Ｅ…耳アニメーション、Ｆ…指、Ｇ…通話画面、Ｈ…手、Ｎ…ネットワーク、Ｔ…テーブル、Ｕ１…ユーザ、Ｕ２…ユーザ、Ｕ３…ユーザ。

Claims (15)

  1. 　非言語情報を表現する耳を模したアニメーションの動作を操作する操作方法であって、
    　検出装置によって検出されるユーザの手及び指の少なくとも一方の所定の動作に対して、予め設定された所定の前記アニメーションの動作が対応付けられており、
    　前記所定の動作が前記検出装置によって検出された場合、前記所定の動作に対応する所定の前記アニメーションの動作を実行させる、アニメーション操作方法。
  2. 　所定の前記アニメーションの動作と、前記ユーザの前記手及び前記指の少なくとも一方の前記所定の動作とが類似している、請求項１に記載のアニメーション操作方法。
  3. 　前記ユーザの前記指の動作を検出する前記検出装置を使用し、
    　前記検出装置によって検出される前記ユーザの前記指の前記所定の動作に対して、予め設定された所定の前記アニメーションの動作が対応付けられており、
    　前記指の前記所定の動作が前記検出装置によって検出された場合、前記所定の動作に対応する所定の前記アニメーションの動作を実行させる、請求項１又は請求項２に記載のアニメーション操作方法。
  4. 　前記検出装置の角速度を検出する角速度検出部を有する前記検出装置を使用し、
    　前記角速度検出部によって検出される角速度の所定値に対して、予め設定された所定の前記アニメーションの動作が対応付けられており、
    　前記ユーザによる前記検出装置の操作により、前記所定値の角速度が前記角速度検出部によって検出された場合、前記所定値に対応する所定の前記アニメーションの動作を実行させる、請求項１又は請求項２に記載のアニメーション操作方法。
  5. 　前記ユーザの手に前記検出装置を保持して使用する、請求項４に記載のアニメーション操作方法。
  6. 　前記ユーザの指に前記検出装置を装着して使用する、請求項４に記載のアニメーション操作方法。
  7. 　前記アニメーションを表示する表示部を有する前記検出装置を使用する、請求項４に記載のアニメーション操作方法。
  8. 　所定の前記アニメーションの動作を実行させるための所定の入力又は操作が前記ユーザによって行われた場合に、所定の前記アニメーションの動作を実行させる、請求項４に記載のアニメーション操作方法。
  9. 　前記ユーザによって押下される押下部を有する前記検出装置を使用し、
    　前記ユーザによって前記押下部が押下された場合に、所定の前記アニメーションの動作を実行させる、請求項８に記載のアニメーション操作方法。
  10. 　前記ユーザの音声を入力する入力部を有する前記検出装置を使用し、
    　前記ユーザの前記音声が前記入力部に入力された場合に、所定の前記アニメーションの動作を実行させる、請求項８に記載のアニメーション操作方法。
  11. 　前記ユーザによる前記検出装置の操作によって、前記角速度検出部により検出される角速度が一定値以上となった場合に、所定の前記アニメーションの動作を実行させる、請求項８に記載のアニメーション操作方法。
  12. 　前記検出装置の加速度を検出する加速度検出部を有する前記検出装置を使用し、
    　前記加速度検出部によって検出される加速度の所定値に対して、予め設定された所定の前記アニメーションの動作が対応付けられており、
    　前記ユーザによる前記検出装置の操作により、前記所定値の加速度が前記加速度検出部によって検出された場合、前記所定値に対応する所定の前記アニメーションの動作を実行させる、請求項１又は請求項２に記載のアニメーション操作方法。
  13. 　前記ユーザの前記手及び前記指の少なくとも一方の、動作速度及び移動量の少なくとも一方を検出する前記検出装置を使用し、
    　前記動作速度及び前記移動量の少なくとも一方に基づいて、所定の前記アニメーションの動作を変化させる、請求項１又は請求項２に記載のアニメーション操作方法。
  14. 　非言語情報を表現する耳を模したアニメーションの動作を操作する操作プログラムであって、
    　検出装置によって検出されるユーザの手及び指の少なくとも一方の所定の動作に対して、予め設定された所定の前記アニメーションの動作が対応付けられており、
    　前記所定の動作が前記検出装置によって検出された場合、前記所定の動作に対応する所定の前記アニメーションの動作を実行させるステップを、コンピュータに実行させる、アニメーション操作プログラム。
  15. 　非言語情報を表現する耳を模したアニメーションの動作を操作する操作システムであって、
    　検出装置によって検出されるユーザの手及び指の少なくとも一方の所定の動作に対して、予め設定された所定の前記アニメーションの動作が対応付けられており、
    　前記所定の動作が前記検出装置によって検出された場合、前記所定の動作に対応する所定の前記アニメーションの動作を実行させる、アニメーション操作システム。
PCT/JP2023/008121 2022-04-26 2023-03-03 アニメーション操作方法、アニメーション操作プログラム及びアニメーション操作システム WO2023210164A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2023545371A JP7371820B1 (ja) 2022-04-26 2023-03-03 アニメーション操作方法、アニメーション操作プログラム及びアニメーション操作システム
CN202380013697.3A CN117980875A (zh) 2022-04-26 2023-03-03 动画操作方法、动画操作程序以及动画操作***

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2022072171 2022-04-26
JP2022-072171 2022-04-26

Publications (1)

Publication Number Publication Date
WO2023210164A1 true WO2023210164A1 (ja) 2023-11-02

Family

ID=88518530

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2023/008121 WO2023210164A1 (ja) 2022-04-26 2023-03-03 アニメーション操作方法、アニメーション操作プログラム及びアニメーション操作システム

Country Status (1)

Country Link
WO (1) WO2023210164A1 (ja)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008065860A (ja) * 2007-11-26 2008-03-21 Olympus Corp 操作入力装置
JP2016126500A (ja) * 2014-12-26 2016-07-11 Kddi株式会社 ウェアラブル端末装置およびプログラム
WO2017150129A1 (ja) * 2016-03-04 2017-09-08 株式会社ソニー・インタラクティブエンタテインメント 制御装置
JP2018041164A (ja) * 2016-09-05 2018-03-15 東芝テック株式会社 操作入力装置及びプログラム
JP2019046250A (ja) * 2017-09-04 2019-03-22 株式会社コロプラ 仮想空間を提供するためにコンピュータで実行されるプログラム、方法、および当該プログラムを実行するための情報処理装置
WO2022079933A1 (ja) * 2020-10-14 2022-04-21 住友電気工業株式会社 コミュニケーション支援プログラム、コミュニケーション支援方法、コミュニケーション支援システム、端末装置及び非言語表現プログラム

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008065860A (ja) * 2007-11-26 2008-03-21 Olympus Corp 操作入力装置
JP2016126500A (ja) * 2014-12-26 2016-07-11 Kddi株式会社 ウェアラブル端末装置およびプログラム
WO2017150129A1 (ja) * 2016-03-04 2017-09-08 株式会社ソニー・インタラクティブエンタテインメント 制御装置
JP2018041164A (ja) * 2016-09-05 2018-03-15 東芝テック株式会社 操作入力装置及びプログラム
JP2019046250A (ja) * 2017-09-04 2019-03-22 株式会社コロプラ 仮想空間を提供するためにコンピュータで実行されるプログラム、方法、および当該プログラムを実行するための情報処理装置
WO2022079933A1 (ja) * 2020-10-14 2022-04-21 住友電気工業株式会社 コミュニケーション支援プログラム、コミュニケーション支援方法、コミュニケーション支援システム、端末装置及び非言語表現プログラム

Similar Documents

Publication Publication Date Title
JP7277545B2 (ja) 検出された手入力に基づく仮想手ポーズのレンダリング
US11450073B1 (en) Multi-user virtual and augmented reality tracking systems
JP6244593B1 (ja) 情報処理方法、装置、および当該情報処理方法をコンピュータに実行させるためのプログラム
KR102194164B1 (ko) 홀로그램 객체 피드백
CN107199571B (zh) 机器人控制***
CN110633006A (zh) 用于虚拟现实用户的真实世界触觉交互
WO2015188614A1 (zh) 操作虚拟世界里的电脑和手机的方法、装置以及使用其的眼镜
JP7193015B2 (ja) コミュニケーション支援プログラム、コミュニケーション支援方法、コミュニケーション支援システム、端末装置及び非言語表現プログラム
JP2018124981A (ja) 情報処理方法、装置、および当該情報処理方法をコンピュータに実行させるためのプログラム
JP2019106220A (ja) ヘッドマウントデバイスを介して仮想空間を提供するためにコンピュータで実行されるプログラムおよび方法ならびに情報処理装置
JP7371820B1 (ja) アニメーション操作方法、アニメーション操作プログラム及びアニメーション操作システム
WO2023210164A1 (ja) アニメーション操作方法、アニメーション操作プログラム及びアニメーション操作システム
Meske et al. Enabling human interaction in virtual reality: An explorative overview of opportunities and limitations of current VR technology
JP2018092635A (ja) 情報処理方法、装置、および当該情報処理方法をコンピュータに実行させるためのプログラム
Yim et al. Development of communication model for social robots based on mobile service
JP2019046250A (ja) 仮想空間を提供するためにコンピュータで実行されるプログラム、方法、および当該プログラムを実行するための情報処理装置
JP2019020836A (ja) 情報処理方法、装置、および当該情報処理方法をコンピュータに実行させるためのプログラム
CN115280261A (zh) 用于在多用户通信会话期间调用公共或私有交互的方法和设备
JP7517390B2 (ja) コミュニケーション支援プログラム、コミュニケーション支援方法、コミュニケーション支援システム、端末装置及び非言語表現プログラム
JP7413472B1 (ja) 情報処理システムおよびプログラム
JP7412497B1 (ja) 情報処理システム
US20240233233A1 (en) Techniques for animating an avatar based on sensor data from an artificial-reality headset collected while preparing a speech-based communication, and systems and methods using these techniques
WO2023189405A1 (ja) 入出力装置
JP2018036974A (ja) 情報処理システム
JP2023072111A (ja) 情報処理装置、制御プログラム、制御方法および情報処理システム

Legal Events

Date Code Title Description
WWE Wipo information: entry into national phase

Ref document number: 2023545371

Country of ref document: JP

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 23795912

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 202380013697.3

Country of ref document: CN