WO2015186534A1 - 情報処理装置および方法、並びにプログラム - Google Patents

情報処理装置および方法、並びにプログラム Download PDF

Info

Publication number
WO2015186534A1
WO2015186534A1 PCT/JP2015/064676 JP2015064676W WO2015186534A1 WO 2015186534 A1 WO2015186534 A1 WO 2015186534A1 JP 2015064676 W JP2015064676 W JP 2015064676W WO 2015186534 A1 WO2015186534 A1 WO 2015186534A1
Authority
WO
WIPO (PCT)
Prior art keywords
user
communication
message
information processing
display
Prior art date
Application number
PCT/JP2015/064676
Other languages
English (en)
French (fr)
Inventor
城井 学
育英 細田
Original Assignee
ソニー株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニー株式会社 filed Critical ソニー株式会社
Priority to EP15803179.9A priority Critical patent/EP3153973A4/en
Priority to JP2016525767A priority patent/JP6670450B2/ja
Priority to US15/311,641 priority patent/US20170093785A1/en
Publication of WO2015186534A1 publication Critical patent/WO2015186534A1/ja

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L51/00User-to-user messaging in packet-switching networks, transmitted according to store-and-forward or real-time protocols, e.g. e-mail
    • H04L51/07User-to-user messaging in packet-switching networks, transmitted according to store-and-forward or real-time protocols, e.g. e-mail characterised by the inclusion of specific contents
    • H04L51/10Multimedia information
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F13/00Interconnection of, or transfer of information or other signals between, memories, input/output devices or central processing units
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G06F3/147Digital output to display device ; Cooperation and interconnection of the display device with other functional units using display panels
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00Administration; Management
    • G06Q10/10Office automation; Time management
    • G06Q10/107Computer-aided management of electronic mailing [e-mailing]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00General purpose image data processing
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L51/00User-to-user messaging in packet-switching networks, transmitted according to store-and-forward or real-time protocols, e.g. e-mail
    • H04L51/21Monitoring or handling of messages
    • H04L51/216Handling conversation history, e.g. grouping of messages in sessions or threads
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L51/00User-to-user messaging in packet-switching networks, transmitted according to store-and-forward or real-time protocols, e.g. e-mail
    • H04L51/52User-to-user messaging in packet-switching networks, transmitted according to store-and-forward or real-time protocols, e.g. e-mail for supporting social networking services
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04MTELEPHONIC COMMUNICATION
    • H04M11/00Telephonic communication systems specially adapted for combination with other electrical systems
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04817Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance using icons
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/0482Interaction with lists of selectable items, e.g. menus
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/174Facial expression recognition
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2310/00Command of the display device
    • G09G2310/02Addressing, scanning or driving the display screen or processing steps related thereto
    • G09G2310/0264Details of driving circuits
    • G09G2310/027Details of drivers for data electrodes, the drivers handling digital grey scale data, e.g. use of D/A converters
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00Aspects of display data processing
    • G09G2340/04Changes in size, position or resolution of an image
    • G09G2340/0407Resolution change, inclusive of the use of different resolutions for different screen areas
    • G09G2340/0435Change or adaptation of the frame rate of the video stream
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04MTELEPHONIC COMMUNICATION
    • H04M1/00Substation equipment, e.g. for use by subscribers
    • H04M1/72Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
    • H04M1/724User interfaces specially adapted for cordless or mobile telephones
    • H04M1/72403User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality
    • H04M1/72427User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality for supporting games or graphical animations
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04MTELEPHONIC COMMUNICATION
    • H04M1/00Substation equipment, e.g. for use by subscribers
    • H04M1/72Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
    • H04M1/724User interfaces specially adapted for cordless or mobile telephones
    • H04M1/72403User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality
    • H04M1/7243User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality with interactive means for internal management of messages
    • H04M1/72436User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality with interactive means for internal management of messages for text messaging, e.g. short messaging services [SMS] or e-mails
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04MTELEPHONIC COMMUNICATION
    • H04M2250/00Details of telephonic subscriber devices
    • H04M2250/60Details of telephonic subscriber devices logging of communication history, e.g. outgoing or incoming calls, missed calls, messages or URLs

Definitions

  • Patent Document 1 As a means of communication, a communication tool that uses various data such as images and sounds as well as text data has been developed (see, for example, Patent Document 1). For example, in the network system described in Patent Document 1, a chat system that provides and receives an avatar image reflecting a user's facial expression together with a message is provided.
  • Patent Document 1 is not sufficient as a method for communication, and other methods have been required.
  • This disclosure has been made in view of such a situation, and is intended to improve the expressiveness of communication.
  • the information processing apparatus includes a display control unit that is displayed on the display unit in a state of being arranged along the same time series.
  • the communication history between the users includes a communication history between a first user who is a predetermined user and a user other than the first user, and a communication history between the virtual character and the user is: A history of communication between the first user and the virtual character corresponding to the other user, or a history of communication between the virtual character corresponding to the first user and the other user is included. it can.
  • the communication history further includes a third display that expresses an emotion assigned when each message is exchanged, and the display control unit displays an emotion expression assigned when the message is exchanged together with the message. Can be displayed on the display unit.
  • the emotional expression includes a facial expression of a user or a virtual character that is a sender of the message, and the display control unit is configured to express the emotion of the message together with each message.
  • the face image of the user or the virtual character can be displayed on the display unit.
  • the emotion expression includes an effect image representing the emotion of the message, and the display control unit can cause the display unit to display an effect image representing the emotion of the message together with each message.
  • the emotion expression includes a balloon shape representing the emotion of the message, and the display control unit can display a balloon having a shape representing the emotion of the message on the display unit together with each message.
  • the emotional expression can be based on information obtained by sensing the first user or the other user who is the recipient of the message when the message is exchanged.
  • the display control unit sends a message sent from the first user to the other user or a virtual character corresponding to the other user, and a virtual character corresponding to the first user to the other user. Displayed on the display unit in a state where they can be distinguished from each other, the message sent from the other user to the first user or a virtual character corresponding to the first user, and the other Messages sent from the virtual character corresponding to the user to the first user can be displayed on the display unit in a state where they can be distinguished from each other.
  • An instruction receiving unit that receives an instruction to rearrange the messages; and the display control unit receives the instruction to rearrange the messages when the instruction receiving unit receives the instruction to rearrange the messages.
  • the messages can be rearranged according to the message rearrangement conditions and displayed on the display unit.
  • the user of the information processing apparatus itself and the other information processing apparatus Both the history of communication with the virtual character corresponding to the user or the second display representing the history of communication between the virtual character corresponding to the user of the information processing apparatus itself and the user of the other information processing apparatus Can be displayed on the display unit in a state of being arranged along the same time series.
  • the communication processing unit realizes the communication in a state where a communication screen which is a screen for communication is displayed on the display unit, and the display control unit displays a history display screen different from the communication screen.
  • the history display screen both the first display and the second display can be displayed in a state of being arranged along the same time series.
  • the communication processing unit includes a face image of a virtual character corresponding to the user of the other information processing apparatus or the user of the other information processing apparatus that is the communication partner on the communication screen, and the other information processing apparatus.
  • a message sent from a virtual character corresponding to the user of the user or the other information processing device, and a virtual character corresponding to the user of the other information processing device or the user of the other information processing device One message sent can be displayed.
  • the communication processing unit can further display an emotion expression assigned to a message displayed on the communication screen on the communication screen.
  • the communication processing unit as the emotion expression assigned to a message sent from a user of the other information processing apparatus or a virtual character corresponding to the user of the other information processing apparatus, expresses an expression representing the emotion of the message.
  • the face image of the virtual character corresponding to the user of the other information processing apparatus or the user of the other information processing apparatus can be displayed on the communication screen.
  • the communication processing unit is an effect image representing the emotion of the message as the emotion expression assigned to the message sent from the user of the other information processing device or a virtual character corresponding to the user of the other information processing device. Can be displayed at any position on the communication screen.
  • One aspect of the present technology also includes both a first display representing a communication history between users and a second display representing a communication history between a virtual character that can respond on behalf of the user and the user. Is an information processing method for displaying on the display unit in a state of being arranged along the same time series.
  • the computer further includes a first display that represents a history of communication between users, and a second that represents a history of communication between the virtual character that can respond on behalf of the user and the user.
  • This is a program for causing both displays to function as a display control unit that is displayed on the display unit in a state of being arranged along the same time series.
  • the number of terminal devices 131 included in the communication system 100 is arbitrary. Further, as the terminal device 131, for example, a plurality of types of information processing devices such as a mobile phone and a smartphone may be applied.
  • the input / output interface 160 is also connected to the bus 154.
  • An input unit 161, an output unit 162, a storage unit 163, a communication unit 164, and a drive 165 are connected to the input / output interface 160.
  • the output unit 162 includes an output device that outputs information such as images and sounds.
  • the output unit 162 includes a display, a speaker, an output terminal, and the like.
  • the user management server 111 implements functional blocks such as a user information management unit 181 and a friend management unit 182.
  • the user information management unit 181 performs processing related to management of user information that is information related to the user 101.
  • the content of the user information is arbitrary.
  • the user information may include personal information of the user 101, an ID and password for logging in to the communication system 100, and other various setting information.
  • the friend management unit 182 performs processing related to management of friends who are communication partners of each user set by each user 101.
  • each user 101 can communicate with another user 101 set as a friend (or the virtual character 103 corresponding to the other user 101).
  • the user 101 preliminarily uses another user 101 as the communication partner (or another user 101 corresponding to the virtual character 103 as the communication partner) as a friend. It is necessary to register with the management server 111 (friend management unit 182).
  • the terminal device 131 includes an SOC (System-on-a-Chip) 201, a RAM (Random Access Memory) 202, an input unit 211, an output unit 212, a storage unit 213, a communication unit 214, and A drive 215 is included.
  • SOC System-on-a-Chip
  • RAM Random Access Memory
  • the input unit 211 includes various input devices.
  • the input unit 211 includes, for example, an operation unit 221, a touch panel 222, a photographing unit 223, an audio input unit 224, a sensor unit 225, and an input terminal 226.
  • the operation unit 221 includes, for example, arbitrary input devices operated by the user such as keys, buttons, switches, and levers.
  • the operation unit 221 accepts user input by user operations on the input devices, and accepts the received user input to the SOC 201, for example. Supply.
  • the touch panel 222 is formed, for example, so as to overlap a display unit 231 described later, and a user operation (for example, movement of a user's finger or stylus pen or the like) performed based on a GUI (Graphical User Interface) displayed on the display unit 231 Information (namely, user input) indicated by the position etc. is received, and the received user input is supplied to, for example, the SOC 201 or the like.
  • GUI Graphic User Interface
  • the photographing unit 223 has, for example, a lens, a diaphragm, an image sensor, and the like, obtains a photographed image by photographing a subject, and supplies the obtained photographed image data to the SOC 201, for example.
  • the voice input unit 224 has a voice input device such as a microphone, for example, receives voice input, and supplies the received voice data to the SOC 201 or the like.
  • the sensor unit 225 includes, for example, various sensors such as an acceleration sensor, an optical sensor, and a temperature sensor, obtains information corresponding to the sensor through sensing, and supplies the obtained various sensor information to, for example, the SOC 201 and the like.
  • the input terminal 226 has an input terminal for an arbitrary signal such as an analog signal input terminal, and supplies the input data to the SOC 201 or the like.
  • the drive 215 drives a removable medium 251 such as a magnetic disk, an optical disk, a magneto-optical disk, or a semiconductor memory, and reads information stored in the removable medium 251 or writes information in the removable medium 251.
  • a removable medium 251 such as a magnetic disk, an optical disk, a magneto-optical disk, or a semiconductor memory
  • this program can be installed in advance in the ROM or the storage unit 213 in the SOC 201.
  • the user 101 operates the terminal device 131 to communicate with the user management server 111 and the virtual character management server 112, and performs processing such as registration of user information and setting information of the virtual character 103 as an initial setting.
  • the initial setting unit 261 accepts registration of an image (icon) in step S103.
  • This “image (icon)” is an image showing the user 101 and the virtual character 103 corresponding to the user 101 and the emotion on the conversation screen displayed on the display unit 231 when communication is performed. Details of the conversation screen will be described later.
  • the initial setting unit 261 causes the display unit 231 to display an icon registration screen 310 as shown in FIG.
  • a photographed image obtained by newly photographing is registered as an image (icon). That is, in this case, photographing is performed, and a photographed image obtained by the photographing is registered as an image (icon).
  • an image registered in the album function for example, a captured image acquired in the past or an image downloaded from the outside (another device)
  • images (icons) are registered as images (icons). That is, in this case, an image selected from the image group registered in the album function is registered as an image (icon).
  • selection buttons are provided for each emotion (for example, emotions, etc.) (selection button 332-1 to photographing button 332-4).
  • the selection buttons 332-1 to 332-4 are referred to as selection buttons 332 when there is no need to distinguish them from each other.
  • Each selection button 332 displays a message, a picture, or the like indicating that an image is selected by an operation by the user 101, such as “select” in the example of FIG. You may do it. In this way, the user 101 can more easily grasp the meaning of operating the selection button 332 (contents of processing performed by the user 101 operating the selection button 332).
  • the user information management unit 181 of the user management server 111 notifies the terminal device 131 that the user information has been successfully registered. Upon receiving the notification, the initial setting unit 261 of the terminal device 131 completes the account registration.
  • effect image by expressing emotions using effect images (effects), it is possible to increase the expressive power of communication rather than communication that simply transmits and receives messages.
  • the message analysis unit 191 of the analysis server 114 acquires the message and the like in step S231, and analyzes the message in step S232.
  • the emotion setting unit 192 sets an emotion corresponding to the message based on the message analysis result.
  • the effect setting unit 193 sets an effect (effect image) corresponding to the set emotion.
  • a stamp image that makes an image of an explosion is received over the entire communication display area 363 (image display area 381, send message display) in response to a received message “Donto Koidaa! Area 382, received message display area 383, etc.).
  • effect image effect
  • the conversation screen 360 on the message transmitting side An effect image (effect) may be displayed only in the image display area 381 as shown in FIG.
  • the communication management server 113 manages such communication using information of the user management server 111, for example. Also, the communication management server 113 creates a message for the virtual character 103 using the virtual character management server 112. Further, the communication management server 113 uses the analysis server 114 to generate and add an emotion expression corresponding to the message of the virtual character 103.
  • the emotional expression of the virtual character 103 is displayed on the display unit 231 of the terminal device 131.
  • an emotional expression is generated based on a transmitted / received message. Therefore, the emotional expression of the virtual character 103 can be performed in the same manner as the user 101. That is, it is possible to improve the communication expression.
  • the emotional expression ability of the virtual character 103 may be increased.
  • step S291 the communication processing unit 263 of the terminal device 131 that is the transmission source of the stamp image controls, for example, the operation unit 221 and receives a message input.
  • the user 101 inputs a message on the conversation screen 360 displayed on the display unit 231 of the terminal device 131.
  • the message analysis unit 191 of the analysis server 114 acquires the stamp image or the like in step S311, and analyzes the stamp image in step S312. That is, it is determined whether or not the stamp image is a predetermined stamp image 421 determined in advance. In step S313, the message analysis unit 191 of the analysis server 114 supplies the stamp image and the analysis result of the stamp image to the virtual character management server 112.
  • step S321 the setting management unit 183 of the virtual character management server 112 acquires the supplied stamp image and the analysis result of the stamp image. If the supplied stamp image is a predetermined stamp image 421 determined in advance, the setting management unit 183 counts the number of acquired stamp images 421 in step S322. In step S323, the setting management unit 183 updates the setting of the virtual character 103 in accordance with the totaling result (that is, the number of acquired stamp images 421). For example, as shown in FIG. 30, an image (expression) used as an image representing each emotion is updated (the more stamp images are obtained, the more images can be used). .
  • step S317 the effect setting unit 193 supplies the communication management server 113 with information related to the set emotion and effect.
  • the communication management unit 189 of the communication management server 113 acquires information about the emotion or effect in step S303, based on the user information managed by the user information management unit 181 of the user management server 111, a virtual corresponding to the emotion is obtained.
  • An image showing the character 103 is acquired, and the conversation screen 630 is generated using the image, effect, and the like.
  • the communication between the user 101 and the virtual character 103 of the other user has been described.
  • the communication between the user 101 and the virtual character 103 of the user 101 also includes the above-described virtual character of the user 101 and the other user. Processing can be performed in the same manner as in the case of communication with 103. That is, the above description can also be applied to communication between the user 101 and the virtual character 103 of the user 101.
  • the user 101 may allow other users to participate in communication with the virtual character 103 of the user 101 from the middle (that is, replace the virtual character 103).
  • an image for accepting midway participation may be displayed on the display unit 231 of the terminal device 131 of the user 101.
  • the user 101-2 which is another user, operates the terminal device 131-2 to communicate with the server 110, and communicates with the virtual character 103-1 of the user 101-1.
  • the user 101 may operate the terminal device 131-1 to access the server 110 and participate in the communication halfway.
  • participation is performed halfway, the state shown in the example of FIG. 19 is obtained, and communication between users is performed.
  • step S361 the communication processing unit 263 of the terminal device 131-2 that is the message transmission source, for example, controls the operation unit 221 or the like to receive the message input.
  • the user 101-2 inputs a message on the conversation screen 360 displayed on the display unit 231 of the terminal device 131-2.
  • step S344 the communication management unit 189 supplies the data of the conversation confirmation screen to the terminal device 131-1 on the virtual character side.
  • step S331 the interrupt processing unit 264 of the terminal device 131-1 acquires the data of the conversation confirmation screen.
  • step S332 the communication processing unit 263 of the terminal device 131-1 displays the conversation confirmation screen on the display unit 231.
  • the exchanged message may be displayed as in the conversation confirmation screen 432 shown in FIG.
  • the conversation confirmation screen 432 is provided with a GO button 432A.
  • the user 101-1 becomes the communication partner of the user 101-2 instead of the virtual character 103-1, and the user 101-2 Communication between each other is started.
  • the conversation confirmation screen 434 is shown in FIG.
  • the shoji is half-opened, and you can see a picture that looks like a musical note mark behind the shoji.
  • the user 101-1 becomes the virtual character 103-1 and the user 101-2 becomes the communication partner of the user 101-2, and the communication between the users starts (that is, the user 101-2). 101 participates on the way).
  • the conversation confirmation screen 434 is shown in FIG.
  • the image is like a shoji screen.
  • the user 101-1 becomes the virtual character 103-1 and the user 101-2 becomes the communication partner of the user 101-2, and the communication between the users starts (that is, the user 101-2). 101 participates on the way).
  • display may be made so as to prompt the user 101 to participate in the middle depending on the situation.
  • step S346 the state management unit 188 of the communication management server 113 updates the state of the user 101-1 and its virtual character 103-1. That is, the user 101-1 is a communication partner.
  • step S347 the communication management unit 189 of the communication management server 113 generates a conversation screen with which the user 101-1 is a communication partner and supplies it to the terminal device 131-2.
  • the history management unit 190 of the communication management server 113 records and manages the message transmitted as described above and the emotion expression given to the message as a log.
  • the log recording location may be the storage unit 163 of the communication management server 113 or another data server (not shown).
  • the user 101 operates the terminal device 131 to exchange information with the user management server 111, the virtual character management server 112, the communication management server 113, and the like. This can be done.
  • the mode management unit 185 of the virtual character management server 112 receives the block mode setting instruction in step S391, and in step S392, in accordance with the instruction, the user 101 of the virtual character 103-1 corresponding to the user 101-1. -2 is set to block mode.
  • step S401 the square management unit 187 of the communication management server 113 acquires the block mode setting instruction.
  • step S402 the friend (user) who is the target of the block mode on the square screen of the requesting user 101-1.
  • the image of 101-2) is set to the block mode.
  • step S403 the square management unit 187 transmits the updated square screen to the terminal device 131-1.
  • step S404 the square management unit 187 of the communication management server 113 sets the image of the requesting friend (user 101-1) on the square screen of the requesting user 101-2 as the virtual character 103.
  • step S405 the square management unit 187 transmits the updated square screen to the terminal device 131-2.
  • the square processing unit 262 of the terminal device 131-2 receives the updated square screen in step S381, and causes the display unit 231 to display the updated square screen in step S382. That is, a square screen in which an image of a friend who is a block mode request source is a virtual character is displayed on the display unit 231 of the terminal device 131-2.
  • the square processing unit 262 of the terminal device 131-2 receives the updated square screen in step S421, and causes the display unit 231 to display the updated square screen in step S382. That is, a square screen in which the image of the friend who has requested the block mode is returned to the user 101 is displayed on the display unit 231 of the terminal device 131-2.
  • step S451 the mode setting unit 265 of the terminal device 131 accepts a friend deletion instruction. For example, when the user 101-1 inputs an instruction or the like and a friend deletion instruction for a predetermined other user is received, the mode setting unit 265 displays the received friend deletion instruction in step S 452. Transmit to the management server 111.
  • step S471 the user information management unit 181 of the user management server 111 receives the friend deletion instruction, and in step S472, deletes the specified other user from the friend of the user 101 according to the instruction. .
  • step S473 the user information management unit 181 notifies the communication management server 113 that it has been deleted from the friend.
  • the message screen is basically not displayed on the conversation screen 360, but the message history may be displayed as a matter of course. In that case, the message history may be displayed on a screen different from the conversation screen 360. By doing so, the message history can be displayed while maintaining the above-described features of the conversation screen 360. That is, also in this case, it is possible to increase the expressiveness of communication.
  • FIG. 42 A display example of the message history display screen 442 is shown in FIG. As shown in FIG. 42, the message history display screen 442 may be a screen wider than the display area of the display unit 231. In the case of the example in FIG. 42, the area surrounded by the dotted frame 443 indicates the display area of the display unit 231. In this case, the user 101 can display all message histories on the display unit 231 by sliding the message history display screen 442 up and down.
  • the first display representing the communication history between the users
  • the second display representing the communication history between the virtual character that can respond on behalf of the user and the user.
  • Both displays may be displayed on the display unit 231 in a state of being arranged along the same time series.
  • the message of the user 101 and the message of the virtual character 103 are displayed in a time series (for example, from the top to the bottom).
  • the history can be referred to as one time series, and the message history is easy to see. Therefore, communication using the user 101 and the virtual character 103 can be realized without reducing the visibility of the message history, and more various communication can be performed. That is, it is possible to improve the communication expression.
  • information other than a message may be included. That is, it may be a communication history.
  • a question mark is added to the message 456, and an exclamation mark is added to the message 457.
  • emotional expressions are not limited to facial images.
  • the emotional expression may include a balloon shape representing the emotion of the message.
  • a balloon having a shape representing the emotion of the message may be displayed on the display unit 231 together with each message.
  • these messages can be identified by changing the color (pattern) of the balloon.
  • a message 451 and a message 457 displayed in a white balloon on the left side of the message history display screen 442 are messages sent from the first user to another user or a virtual character corresponding to another user.
  • a message 453 and a message 455 displayed in a hatched balloon on the left side of the message history display screen 442 are messages sent from the virtual character corresponding to the first user to another user.
  • the message 452, message 454, and message 456 displayed in the white balloon on the right side of the message history display screen 442 are messages sent from other users to the first user or the virtual character corresponding to the first user. It is.
  • a message 458 displayed in a diagonally-shaped balloon on the right side of the message history display screen 442 is a message sent from the virtual character corresponding to another user to the first user.
  • communication is realized in a state where the communication screen, which is a communication screen, is displayed on the display unit 231, and a history display screen different from the communication screen is displayed on the display unit 231. You may make it display both the said 1st display and the said 2nd display in the state arranged along the same time series.
  • the communication history may be displayed on a message history display screen 442 different from the conversation screen 360 which is a communication screen.
  • the face image of the virtual character corresponding to the user of the other information processing apparatus or the user of the other information processing apparatus that is the communication partner, the user of the other information processing apparatus or the other information processing apparatus One message sent from the virtual character corresponding to the user and one message sent to the virtual character corresponding to the user of the other information processing apparatus or the user of the other information processing apparatus are displayed. May be.
  • the communication screen may be realized as the conversation screen 360 configured as described with reference to FIG.
  • the conversation screen 360 By using such a conversation screen 360, communication expressiveness can be increased.
  • emotion expressions assigned to messages displayed on the communication screen may be displayed. As described with reference to FIG. 21, an emotional expression may be displayed in addition to the message on the conversation screen 360. By using such emotional expressions, communication expressiveness can be increased.
  • an expression of another information processing apparatus having an expression representing the emotion of the message A face image of a virtual character corresponding to a user or a user of another information processing apparatus may be displayed on the communication screen.
  • an image corresponding to an emotion estimated from a transmitted / received message is selected from images registered for each emotion in the initial setting. It may be selected and displayed.
  • an effect image representing the emotion of the message can be displayed at any position on the communication screen. You may make it display on.
  • This production image (effect) is optional.
  • it may be a predetermined stamp image representing emotion, a design of a display area of a message displayed in the communication display area 363 (any visual effect such as size, shape, pattern, color, etc.) or a message.
  • Design arbitrary visual effects such as font type, size, shape, pattern, color, etc., etc., or a presentation effect that changes the display of part or all of the communication display area 363. Also good.
  • an effect image (effect) displayed on the entire communication display area 363 as shown in B of FIG. 25 is displayed on the conversation screen 360 on the message receiving side, and the conversation screen 360 on the message transmitting side is displayed on the conversation screen 360 of FIG.
  • it may be displayed only in the image display area 381.
  • a display unit 231 may be further provided.
  • step S511 the history display control unit 266 of the terminal device 131 controls the operation unit 221, the touch panel 222, and the like to receive an input of a history display instruction. For example, when an input of a history display instruction that instructs the user 101 or the like to display a message history is received, the history display control unit 266 displays the received history display instruction in step S512 as the communication management server 113. Send to.
  • the history display screen is displayed as described above.
  • the history display control unit 266 of the terminal device 131 receives the history alignment instruction for instructing the rearrangement of the history by controlling the operation unit 221 or the touch panel 222 in step S515. For example, when an input of a history alignment instruction made by the user 101 or the like is received, the history display control unit 266 transmits the received history alignment instruction to the communication management server 113 in step S516.
  • step S544 the history management unit 190 of the communication management server 113 receives the history alignment instruction.
  • step S545 the history management unit 190 aligns the history on the history display screen under the conditions specified in the history alignment instruction.
  • step S546 the history management unit 190 transmits the history display screen in which the history is rearranged to the terminal device 131.
  • the history display control unit 266 of the terminal device 131 receives a history selection instruction for controlling the operation unit 221 and the touch panel 222 and the like to instruct selection of the history to be displayed in step S519. .
  • the history display control unit 266 transmits the received history selection instruction to the communication management server 113 in step S520.
  • step S547 the history management unit 190 of the communication management server 113 receives the history selection instruction.
  • step S548 the history management unit 190 selects a history to be displayed on the history display screen under the conditions specified in the history selection instruction.
  • step S549 the history management unit 190 transmits the history display screen that has selected the history to the terminal device 131.
  • step S521 the history display control unit 266 of the terminal device 131 receives the history display screen.
  • step S522 the history display control unit 266 causes the display unit 231 to display a history display screen in which the history is selected.
  • the program can be installed in the storage unit 163 by attaching the removable medium 171 to the drive 165.
  • the program can be installed in the storage unit 213 by attaching the removable medium 251 to the drive 215.
  • this program can also be installed in advance in a storage unit or ROM.
  • the program in the case of the user management server 111 to the analysis server 114 or the like (or the server 110), the program can be installed in advance in the storage unit 163, the ROM 152, or the like.
  • the program in the case of the terminal device 131, the program can be installed in advance in the storage unit 213 or the ROM in the SOC 201.
  • Such an application activation method is arbitrary, and a predetermined command may be input in a predetermined CLI (Command Line Interface), or a predetermined icon is operated in a predetermined GUI (Graphical User Interface) ( For example, a tap or the like may be used, or other methods may be used.
  • CLI Common Line Interface
  • GUI Graphic User Interface
  • this icon is configured only by the outer frame (the line representing the outer shape) of the cloud-shaped design portion of the example shown in FIG. 44A. May be.
  • the color of the outer frame (line representing the outer shape) is arbitrary. For example, it may be black or any other color.
  • the color inside the outer frame is also arbitrary. For example, it may be white, other colors, or may be transmitted.
  • an icon having a design such as the example shown in FIG. 44A or FIG. 44B may be used on the various screens described above. For example, you may make it use as a design of the transmission button 372 (FIG. 21) of the conversation screen 360. FIG. Of course, this icon design may be used for other parts of the conversation screen 360 or any part of any screen other than the conversation screen 360. In this way, by using the icon design on the screen displayed as the user interface of the activated application, the user 101 can confirm that the activated application corresponds to the icon operated by the user 101. It can be grasped more easily.
  • the program executed by the computer may be a program that is processed in time series in the order described in this specification, or in parallel or at a necessary timing such as when a call is made. It may be a program for processing.
  • the step of describing the program recorded on the recording medium is not limited to the processing performed in chronological order according to the described order, but may be performed in parallel or It also includes processes that are executed individually.
  • each step described above can be executed in each device described above or any device other than each device described above.
  • the device that executes the process may have the functions (functional blocks and the like) necessary for executing the process described above.
  • Information necessary for processing may be transmitted to the apparatus as appropriate.
  • the system means a set of a plurality of components (devices, modules (parts), etc.), and it does not matter whether all the components are in the same housing. Accordingly, a plurality of devices housed in separate housings and connected via a network and a single device housing a plurality of modules in one housing are all systems. .
  • the present technology can take a configuration of cloud computing in which one function is shared by a plurality of devices via a network and is jointly processed.
  • the plurality of processes included in the one step can be executed by being shared by a plurality of apparatuses in addition to being executed by one apparatus.
  • Both the first display representing the history of communication between users and the second display representing the history of communication between the virtual character that can respond on behalf of the user and the user are the same time series.
  • An information processing apparatus comprising: a display control unit that displays on a display unit in a state of being arranged along the line.
  • the communication history between the users includes a communication history between a first user who is a predetermined user and a user other than the first user,
  • the communication history between the virtual character and the user is the communication history between the first user and the virtual character corresponding to the other user, or the virtual character and the other user corresponding to the first user.
  • the information processing apparatus according to (1), including a history of communication with the information processing apparatus.
  • the emotion expression includes a facial expression of a face image of a user or a virtual character who is a sender of the message, The information processing unit according to (4), wherein the display control unit causes the display unit to display a face image of a user or a virtual character who is a sender of the message and has a facial expression representing the emotion of the message together with each message.
  • apparatus. (6)
  • the emotion expression includes an effect image representing the emotion of the message, The information processing apparatus according to (4) or (5), wherein the display control unit causes the display unit to display an effect image representing the emotion of the message together with each message.
  • the emotional expression includes a balloon shape representing the emotion of the message,
  • the information processing apparatus according to any one of (4) to (6), wherein the display control unit causes the display unit to display, together with each message, a balloon having a shape representing the emotion of the message.
  • the emotional expression is based on information obtained by sensing the first user or the other user who is the recipient of the message when the message is exchanged (4) to (7 ).
  • the display control unit A message sent from the first user to the other user or a virtual character corresponding to the other user, and a message sent from the virtual character corresponding to the first user to the other user, Display on the display unit in a state where they can be distinguished from each other, A message sent from the other user to the first user or a virtual character corresponding to the first user, and a message sent from the virtual character corresponding to the other user to the first user.
  • the information processing apparatus according to any one of (3) to (8), wherein the information is displayed on the display unit in a state where they can be distinguished from each other.
  • (10) It further includes an instruction receiving unit that receives an instruction to rearrange the messages, The display control unit rearranges each message according to the message reordering condition received by the instruction accepting unit when the instruction reordering instruction is accepted by the instruction accepting unit, and displays the display The information processing apparatus according to any one of (3) to (9).
  • An instruction receiving unit that receives an instruction to select the message is further provided, The display control unit, when an instruction for selecting the message is received by the instruction receiving unit, selects a message according to the message selection condition received by the instruction receiving unit, and selects the selected message, The information processing apparatus according to any one of (3) to (10), which is displayed on a display unit.
  • the display control unit includes the first display representing a history of communication between the user of the information processing apparatus and the user of the other information processing apparatus performed by the communication processing unit, and the information processing apparatus.
  • the information processing apparatus according to any one of (3) to (11), wherein both of the second displays representing the history are displayed on the display unit in a state of being arranged along the same time series.
  • the communication processing unit realizes the communication in a state where the communication screen which is the communication screen is displayed on the display unit,
  • the display control unit displays a history display screen different from the communication screen on the display unit, and in the history display screen, both the first display and the second display are performed along the same time series.
  • the information processing apparatus according to (12), which is displayed in an aligned state.
  • the communication processing unit may include a face image of a virtual character corresponding to a user of the other information processing apparatus or a user of the other information processing apparatus that is the communication partner, One message sent from a virtual character corresponding to the user of the information processing device or the user of the other information processing device, and the user of the other information processing device or the user of the other information processing device.
  • the information processing apparatus according to (13), wherein one message sent to the virtual character is displayed.
  • the communication processing unit further displays an emotion expression assigned to a message displayed on the communication screen on the communication screen.
  • the communication processing unit uses the emotion of the message as the emotion expression assigned to the message sent from the virtual character corresponding to the user of the other information processing device or the user of the other information processing device.
  • the information processing apparatus according to (15), wherein a face image of a virtual character corresponding to the user of the other information processing apparatus or the user of the other information processing apparatus having a facial expression is displayed on the communication screen.
  • the communication processing unit uses the emotion of the message as the emotion expression assigned to the message sent from the virtual character corresponding to the user of the other information processing apparatus or the user of the other information processing apparatus.
  • the information processing apparatus according to (15) or (16) wherein an effect image to be displayed is displayed at an arbitrary position on the communication screen.
  • the communication processing unit represents the emotion of the message as the emotion expression assigned to the message sent from the user of the information processing apparatus itself or a virtual character corresponding to the user of the information processing apparatus itself. Any one of (15) to (17), wherein an image is displayed on the communication screen in a region where a face image of a virtual character corresponding to the user of the other information processing apparatus or the user of the other information processing apparatus is displayed.
  • An information processing method for displaying on a display unit in a state of being arranged along a line. (21) Connect the computer Both the first display representing the history of communication between users and the second display representing the history of communication between the virtual character that can respond on behalf of the user and the user along the same time series A program for functioning as a display control unit to be displayed on the display unit in an aligned state.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Human Resources & Organizations (AREA)
  • Strategic Management (AREA)
  • Entrepreneurship & Innovation (AREA)
  • General Engineering & Computer Science (AREA)
  • Quality & Reliability (AREA)
  • Computer Hardware Design (AREA)
  • General Business, Economics & Management (AREA)
  • Tourism & Hospitality (AREA)
  • Operations Research (AREA)
  • Computing Systems (AREA)
  • Marketing (AREA)
  • Data Mining & Analysis (AREA)
  • Economics (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • Information Transfer Between Computers (AREA)
  • User Interface Of Digital Computer (AREA)
  • Processing Or Creating Images (AREA)
  • Telephonic Communication Services (AREA)

Abstract

 本開示は、コミュニケーションの表現力を向上させることができるようにする情報処理装置および方法、並びにプログラムに関する。 情報処理装置を介して行われるユーザ同士のコミュニケーションの履歴を表す第1の表示、並びに、その情報処理装置を介して行われる、ユーザの代わりに応答することができる仮想キャラクタとユーザとのコミュニケーションの履歴を表す第2の表示の両方を、同一の時系列に沿って並べた状態で、その情報処理装置の表示部に表示させる。本開示は、例えば、情報処理装置に適用することができる。

Description

情報処理装置および方法、並びにプログラム
 本開示は情報処理装置および方法、並びにプログラムに関し、特に、コミュニケーションの表現力を向上させることができるようにした情報処理装置および方法、並びにプログラムに関する。
 近年、インターネット等のネットワークを介した個人ユーザ同士のコミュニケーションツールとして、電子メールや電子掲示板の他にも、ソーシャル・ネットワーキング・サービス(SNS)やチャットシステム等、様々なシステムやサービスが普及している。
 コミュニケーションの手段としては、テキストデータだけでなく、画像や音声等、様々なデータを利用するコミュニケーションツールが開発されている(例えば、特許文献1参照)。例えば、特許文献1に記載のネットワークシステムでは、ユーザの表情を反映したアバタの画像をメッセージとともに授受するチャットシステムが提供されている。
特開2013-9073号公報
 しかしながら、情報処理技術や通信設備等の向上とともに、コミュニケーションツールに対する要求は高まる一方であり、コミュニケーションをとる方法として特許文献1に記載の方法で十分ということはなく、その他の方法も求められていた。
 本開示は、このような状況に鑑みてなされたものであり、コミュニケーションの表現力を向上させることができるようにするものである。
 本技術の一側面は、ユーザ同士のコミュニケーションの履歴を表す第1の表示、並びに、ユーザの代わりに応答することができる仮想キャラクタとユーザとのコミュニケーションの履歴を表す第2の表示の両方を、同一の時系列に沿って並べた状態で、表示部に表示させる表示制御部を備える情報処理装置である。
 前記ユーザ同士のコミュニケーションの履歴は、所定のユーザである第1のユーザと、前記第1のユーザ以外の他のユーザとのコミュニケーションの履歴を含み、前記仮想キャラクタとユーザとのコミュニケーションの履歴は、前記第1のユーザと前記他のユーザに対応する仮想キャラクタとのコミュニケーションの履歴、または、前記第1のユーザに対応する仮想キャラクタと前記他のユーザとのコミュニケーションの履歴を含むようにすることができる。
 前記第1の表示は、前記第1のユーザから前記他のユーザに送られたメッセージ、または、前記他のユーザから前記第1のユーザに送られたメッセージを表すテキスト情報を含み、前記第2の表示は、前記第1のユーザから前記他のユーザに対応する仮想キャラクタに送られたメッセージ、または、前記他のユーザに対応する仮想キャラクタから前記第1のユーザに送られたメッセージを表すテキスト情報、または、前記第1のユーザに対応する仮想キャラクタから前記他のユーザに送られたメッセージ、または、前記他のユーザから前記第1のユーザに対応する仮想キャラクタに送られたメッセージを表すテキスト情報を含むようにすることができる。
 前記コミュニケーションの履歴は、各メッセージを授受した際に割り当てられた感情を表現する第3の表示をさらに含み、前記表示制御部は、前記メッセージとともに、前記メッセージを授受した際に割り当てられる感情表現を、前記表示部に表示させることができる。
 前記感情表現は、前記メッセージの発信者となるユーザ若しくは仮想キャラクタの顔画像の表情を含み、前記表示制御部は、各メッセージとともに、前記メッセージの感情を表す表情をした、前記メッセージの発信者となるユーザ若しくは仮想キャラクタの顔画像を、前記表示部に表示させることができる。
 前記感情表現は、前記メッセージの感情を表す演出画像を含み、前記表示制御部は、各メッセージとともに、前記メッセージの感情を表す演出画像を、前記表示部に表示させることができる。
 前記感情表現は、前記メッセージの感情を表す吹き出し形状を含み、前記表示制御部は、各メッセージとともに、前記メッセージの感情を表す形状の吹き出しを、前記表示部に表示させることができる。
 前記感情表現は、前記メッセージを授受した際の、メッセージの受信者となる前記第1のユーザ、または、前記他のユーザをセンシングすることにより得られる情報に基づくようにすることができる。
 前記表示制御部は、前記第1のユーザから前記他のユーザ若しくは前記他のユーザに対応する仮想キャラクタに送られたメッセージと、前記第1のユーザに対応する仮想キャラクタから前記他のユーザに送られたメッセージとを、互いに識別可能な状態で前記表示部に表示させ、前記他のユーザから前記第1のユーザ若しくは前記第1のユーザに対応する仮想キャラクタに送られたメッセージと、前記他のユーザに対応する仮想キャラクタから前記第1のユーザに送られたメッセージとを、互いに識別可能な状態で前記表示部に表示させることができる。
 前記メッセージの並べ替えの指示を受け付ける指示受付部をさらに備え、前記表示制御部は、前記指示受付部により前記メッセージの並べ替えの指示が受け付けられた場合、前記指示受付部により受け付けられた、前記メッセージの並べ替えの条件に従って各メッセージを並べ変えて、前記表示部に表示させることができる。
 前記メッセージの選択の指示を受け付ける指示受付部をさらに備え、前記表示制御部は、前記指示受付部により前記メッセージの選択の指示が受け付けられた場合、前記指示受付部により受け付けられた、前記メッセージの選択の条件に従ってメッセージを選択し、選択したメッセージを、前記表示部に表示させることができる。
 通信部を介して前記他の情報処理装置と通信を行って前記メッセージを授受させることにより、前記情報処理装置自身のユーザと前記他の情報処理装置のユーザとのコミュニケーション、前記情報処理装置自身のユーザと前記他の情報処理装置のユーザに対応する仮想キャラクタとのコミュニケーション、並びに、前記情報処理装置自身のユーザに対応する仮想キャラクタと前記他の情報処理装置のユーザとのコミュニケーションを実現するコミュニケーション処理部をさらに備え、前記表示制御部は、前記コミュニケーション処理部により行われた、前記情報処理装置自身のユーザと前記他の情報処理装置のユーザとのコミュニケーションの履歴を表す前記第1の表示、並びに、前記情報処理装置自身のユーザと前記他の情報処理装置のユーザに対応する仮想キャラクタとのコミュニケーションの履歴、または、前記情報処理装置自身のユーザに対応する仮想キャラクタと前記他の情報処理装置のユーザとのコミュニケーションの履歴を表す前記第2の表示の両方を、同一の時系列に沿って並べた状態で、前記表示部に表示させることができる。
 前記コミュニケーション処理部は、前記コミュニケーション用の画面であるコミュニケーション画面を前記表示部に表示させた状態で、前記コミュニケーションを実現し、前記表示制御部は、前記コミュニケーション画面と異なる履歴表示画面を前記表示部に表示させ、前記履歴表示画面において、前記第1の表示および前記第2の表示の両方を、同一の時系列に沿って並べた状態で表示させることができる。
 前記コミュニケーション処理部は、前記コミュニケーション画面において、前記コミュニケーションの相手である、前記他の情報処理装置のユーザ若しくは前記他の情報処理装置のユーザに対応する仮想キャラクタの顔画像、前記他の情報処理装置のユーザ若しくは前記他の情報処理装置のユーザに対応する仮想キャラクタから送られた1回分のメッセージ、並びに、前記他の情報処理装置のユーザ若しくは前記他の情報処理装置のユーザに対応する仮想キャラクタに送られた1回分のメッセージを表示させることができる。
 前記コミュニケーション処理部は、前記コミュニケーション画面において、さらに、前記コミュニケーション画面に表示されるメッセージに割り当てられた感情表現を表示させることができる。
 前記コミュニケーション処理部は、前記他の情報処理装置のユーザ若しくは前記他の情報処理装置のユーザに対応する仮想キャラクタから送られたメッセージに割り当てられた前記感情表現として、前記メッセージの感情を表す表情をした、前記他の情報処理装置のユーザ若しくは前記他の情報処理装置のユーザに対応する仮想キャラクタの顔画像を、前記コミュニケーション画面に表示させることができる。
 前記コミュニケーション処理部は、前記他の情報処理装置のユーザ若しくは前記他の情報処理装置のユーザに対応する仮想キャラクタから送られたメッセージに割り当てられた前記感情表現として、前記メッセージの感情を表す演出画像を、前記コミュニケーション画面の任意の位置に表示させることができる。
 前記コミュニケーション処理部は、前記情報処理装置自身のユーザ若しくは前記情報処理装置自身のユーザに対応する仮想キャラクタから送られたメッセージに割り当てられた前記感情表現として、前記メッセージの感情を表す演出画像を、前記コミュニケーション画面の、前記他の情報処理装置のユーザ若しくは前記他の情報処理装置のユーザに対応する仮想キャラクタの顔画像が表示される領域に表示させることができる。
 本技術の一側面は、また、ユーザ同士のコミュニケーションの履歴を表す第1の表示、並びに、ユーザの代わりに応答することができる仮想キャラクタとユーザとのコミュニケーションの履歴を表す第2の表示の両方を、同一の時系列に沿って並べた状態で、表示部に表示させる情報処理方法である。
 本技術の一側面は、さらに、コンピュータを、ユーザ同士のコミュニケーションの履歴を表す第1の表示、並びに、ユーザの代わりに応答することができる仮想キャラクタとユーザとのコミュニケーションの履歴を表す第2の表示の両方を、同一の時系列に沿って並べた状態で、表示部に表示させる表示制御部として機能させるためのプログラムである。
 本技術の一側面においては、ユーザ同士のコミュニケーションの履歴を表す第1の表示、並びに、ユーザの代わりに応答することができる仮想キャラクタとユーザとのコミュニケーションの履歴を表す第2の表示の両方が、同一の時系列に沿って並べられた状態で、表示部に表示される。
 本開示によれば、コミュニケーションに関する情報を処理することができる。特に、コミュニケーションの表現力を向上させることができる。
コミュニケーションシステムの概要を説明する図である。 コミュニケーションシステムの主な構成例を示す図である。 ユーザ管理サーバ等の主な構成例を示すブロック図である。 各サーバが実現する機能例を示す機能ブロック図である。 端末装置の主な構成例を示すブロック図である。 端末装置が実現する機能例を示す機能ブロック図である。 初期設定の概要を説明する図である。 初期設定に関する各処理の流れの例を説明するフローチャートである。 画面例を説明する図である。 画面例を説明する図である。 画面例を説明する図である。 画面例を説明する図である。 画面例を説明する図である。 広場画面の例を説明する図である。 広場に関する処理の概要を説明する図である。 広場画面に関する処理の流れの例を説明するフローチャートである。 広場画面に関する処理の流れの例を説明するフローチャートである。 広場画面に関する処理の流れの例を説明するフローチャートである。 ユーザ同士のコミュニケーションの概要を説明する図である。 ユーザ同士のコミュニケーションに関する処理の流れの例を説明するフローチャートである。 画面例を説明する図である。 画面の構成例を説明する図である。 入力画面の例を説明する図である。 演出画像の例を説明する図である。 演出画像の表示例を説明する図である。 仮想キャラクタとのコミュニケーションに関する処理の概要を説明する図である。 仮想キャラクタとのコミュニケーションに関する処理の流れの例を説明するフローチャートである。 スタンプ画像を用いた仮想キャラクタとのコミュニケーションに関する処理の流れの例を説明するフローチャートである。 スタンプ画像入力の様子の例を示す図である。 スタンプ数に応じた感情表現の制限の例を説明する図である。 他のユーザと仮想キャラクタとのコミュニケーションに関する処理の概要を説明する図である。 他のユーザと仮想キャラクタとのコミュニケーションに関する処理の流れの例を説明するフローチャートである。 画面例を説明する図である。 画面例を説明する図である。 画面例を説明する図である。 設定や学習等に関する処理の概要を説明する図である。 ブロックモード設定に関する処理の流れの例を説明するフローチャートである。 ブロックモード解除に関する処理の流れの例を説明するフローチャートである。 お友達削除に関する処理の流れの例を説明するフローチャートである。 ログの学習に関する処理の流れの例を説明するフローチャートである。 履歴表示画面の例を説明する図である。 履歴表示画面の例を説明する図である。 履歴表示に関する処理の流れの例を説明するフローチャートである。 アイコンの例を示す図である。
 以下、本開示を実施するための形態(以下実施の形態とする)について説明する。なお、説明は以下の順序で行う。
 1.第1の実施の形態(コミュニケーションシステム)
 <1.第1の実施の形態>
  <コミュニケーションツールの表現力>
 従来、インターネット等のネットワークを介した個人ユーザ同士のコミュニケーションツールとして、例えば特許文献1に記載のシステムのように、様々なシステムやサービスが普及している。
 しかしながら、このようなコミュニケーションツールに対しては、これまでのシステムやコミュニケーション方法で十分ということはなく、更なる他の方法が求められている。例えば、より豊かな表現力を備えることが求められる。
 コミュニケーションの表現力は、コミュニケーションの指向性や娯楽性に影響を及ぼす。より豊かで多様な表現が可能な程、ユーザはコミュニケーションをより楽しむことができる。つまり、コミュニケーションの表現力が低減すると、コミュニケーションの嗜好性や娯楽性が低減し、ユーザの満足度や興味が低減し、結果としてコミュニケーションツールの利用への意欲が低減してしまう可能性がある。また、既存の表現力に対して、ユーザは、時間の経過とともに慣れが生じ、満足度や興味が低減する可能性がある。そのため、情報処理技術や通信環境の向上等に伴い、コミュニケーションツールに対して、さらなる表現力が求められている。
  <コミュニケーションシステムの概要>
 図1は、本技術を適用したコミュニケーションを実現するシステムの一実施の形態であるコミュニケーションシステムの概要を説明する図である。
 図1に示されるコミュニケーションシステム100は、例えば、ユーザ(ユーザ101-1乃至ユーザ101-3)同士のコミュニケーションや、各ユーザが仮想空間102に設けた仮想キャラクタ(仮想キャラクタ103-1乃至仮想キャラクタ103-3)とユーザとの間のコミュニケーション等を実現するシステムである。
 仮想空間102は、後述するように、例えば、サーバや情報処理装置やネットワーク等により実現される、仮想の空間(非現実空間)である。仮想キャラクタ103-1乃至仮想キャラクタ103-3は、それぞれ、その仮想空間102において設定された、ユーザ101-1乃至ユーザ101に対応する仮想のキャラクタ(非現実のキャラクタ)である。
 以下において、ユーザ101-1乃至ユーザ101-3を互いに区別して説明する必要が無い場合、ユーザ101と称する。また、仮想キャラクタ103-1乃至仮想キャラクタ103-3を互いに区別して説明する必要が無い場合、仮想キャラクタ103と称する。
 例えば、ユーザ101-1は、コミュニケーションシステム100を利用して、ユーザ101-2との間でコミュニケーション(両矢印104-1)を行うことができる。また、ユーザ101-1は、例えば、コミュニケーションシステム100を利用して、仮想空間102に設けられたユーザ101-2に対応する仮想キャラクタ103-2との間でコミュニケーション(両矢印104-2)を行うこともできる。さらに、ユーザ101-1は、例えば、コミュニケーションシステム100を利用して、仮想空間102に設けられたユーザ101-1に対応する仮想キャラクタ103-1との間でコミュニケーション(両矢印104-3)を行うこともできる。
 同様に、ユーザ101-1は、コミュニケーションシステム100を利用して、ユーザ101-3との間でもコミュニケーション(両矢印104-4)を行うことができる。また、ユーザ101-1は、例えば、コミュニケーションシステム100を利用して、仮想空間102に設けられたユーザ101-3に対応する仮想キャラクタ103-3との間でも同様にコミュニケーション(両矢印104-5)を行うこともできる。
 つまり、ユーザ101-1は、コミュニケーションシステム100を利用することにより、複数の他のユーザ(または、他のユーザに対応する仮想キャラクタ)のそれぞれに対して、同様に、コミュニケーションを行うことができる。
 同様に、ユーザ101-2は、コミュニケーションシステム100を利用して、仮想空間102に設けられたユーザ101-1に対応する仮想キャラクタ103-1との間でコミュニケーション(両矢印104-6)を行うことができる。また、ユーザ101-2は、例えば、コミュニケーションシステム100を利用して、仮想空間102に設けられたユーザ101-2に対応する仮想キャラクタ103-2との間でコミュニケーション(両矢印104-7)を行うこともできる。
 同様に、ユーザ101-3は、コミュニケーションシステム100を利用して、仮想空間102に設けられたユーザ101-1に対応する仮想キャラクタ103-1との間でコミュニケーション(両矢印104-8)を行うことができる。また、ユーザ101-3は、例えば、コミュニケーションシステム100を利用して、仮想空間102に設けられたユーザ101-3に対応する仮想キャラクタ103-3との間でコミュニケーション(両矢印104-9)を行うこともできる。
 図示は省略するが、ユーザ101-2(若しくは仮想キャラクタ103-2)とユーザ101-3(若しくは仮想キャラクタ103-3)との間のコミュニケーションも可能である。
 つまり、各ユーザ101は、コミュニケーションシステム100を利用することにより、単数若しくは複数の他のユーザ101とのコミュニケーションや、単数若しくは複数の他のユーザ101に対応する仮想キャラクタ103とのコミュニケーションや、ユーザ101自身に対応する仮想キャラクタ103とのコミュニケーション等を行うことができる。
 このように、ユーザ101同士だけでなく、ユーザ101と仮想キャラクタ103との間でもコミュニケーションを行うことができるようにすることにより、各ユーザ101がコミュニケーションを行うことができない状態にある場合でも、そのユーザ101の代わりに、そのユーザ101に対応する仮想キャラクタ103がコミュニケーションを行うことができる。したがって、ユーザ101は、より多様な状況や時間帯において、コミュニケーションを行うことができる。つまり、コミュニケーションシステム100の利便性を向上させることができる。また、仮想キャラクタ103は、その仮想キャラクタ103に対応するユーザの指示無しに応答することができる。したがって、ユーザ101と、そのユーザ101に対応する仮想キャラクタ103とは、コミュニケーションの相手として完全に一致する(同一である)訳ではない。つまり、ユーザ101と、そのユーザ101に対応する仮想キャラクタ103とで応答の仕方、すなわちコミュニケーションの取り方が変わる可能性が高い。したがって、このように仮想キャラクタ103を設けることにより、コミュニケーションシステム100は、より多様なコミュニケーションを実現することができる。すなわち、コミュニケーションの表現力を向上させることができる。
 もちろん、コミュニケーションシステム100のユーザ101の人数(すなわち、仮想キャラクタ103の数)は、任意であり、2名以下であってもよいし、4名以上であってもよい。
 コミュニケーションの内容は任意である。以下においては、コミュニケーションとして、主にテキストデータを用いたメッセージの授受が行われるものとして説明する。また、適宜、画像や音声等のテキストデータ以外のデータの授受も可能であるものとして説明する。
  <コミュニケーションシステムの説明>
 図2は、図1を参照して説明したコミュニケーションシステム100の主な物理構成の例を示す図である。
 図2に示されるように、コミュニケーションシステム100は、ユーザ管理サーバ111、仮想キャラクタ管理サーバ112、コミュニケーション管理サーバ113、および解析サーバ114等の各サーバ、ネットワーク121、並びに、端末装置131-1乃至端末装置131-N(Nは任意の自然数)を有する。
 ユーザ管理サーバ111は、コミュニケーションシステム100のユーザ101に関する情報を管理するサービスを提供する。仮想キャラクタ管理サーバ112は、コミュニケーションシステム100の仮想空間102に設定された各ユーザ101に対応する仮想キャラクタ103に関する情報を管理するサービスを提供する。コミュニケーション管理サーバ113は、コミュニケーションシステム100のユーザ101や仮想キャラクタ103の間で行われるコミュニケーションを管理するサービスを提供する。解析サーバ114は、コミュニケーションシステム100のユーザ101や仮想キャラクタ103の間で行われるコミュニケーションの内容についての解析を行うサービスを提供する。
 なお、上述したサービスは一例であり、コミュニケーションシステム100の実現に関するサービスであれば、どのようなサービスが提供されるようにしてもよい。つまり、上述した例のサービス以外のサービスが提供されるようにしてもよい。例えば、ユーザ管理サーバ111乃至解析サーバ114以外のサーバが設けられるようにしてもよい。
 また、各サーバの物理構成は任意であり、上述した図2の例のように、ユーザ管理サーバ111乃至解析サーバ114が、互いに異なる装置として構成されるようにしてもよいし、それ以外であってもよい。例えば、ユーザ管理サーバ111乃至解析サーバ114の一部若しくは全部が、1つの装置(サーバ110)により実現される仮想サーバとして構成されるようにしてもよい。また、サーバ110(ユーザ管理サーバ111乃至解析サーバ114)が、所謂クラウドコンピューティングとして実現され、各サーバが提供する上述したようなサービスが、クラウドサービスとして提供されるようにしてもよい。
 ネットワーク121は、通信媒体となる通信網である。ネットワーク121は、どのような通信網であってもよく、有線通信網であってもよいし、無線通信網であってもよいし、それらの両方であってもよい。例えば、有線LAN(Local Area Network)、無線LAN、公衆電話回線網、所謂3G回線や4G回線等の無線移動体用の広域通信網、またはインターネット等であってもよいし、それらの組み合わせであってもよい。また、ネットワーク121は、単数の通信網であってもよいし、複数の通信網であってもよい。また、例えば、ネットワーク121は、その一部若しくは全部が、例えばUSB(Universal Serial Bus)ケーブルやHDMI(登録商標)(High-Definition Multimedia Interface)ケーブル等のような、所定の規格の通信ケーブルにより構成されるようにしてもよい。さらに、例えば、ネットワーク121は、その一部若しくは全部が、IEEE(Institute of Electrical and Electronic Engineers)802.11無線LANのアドホックモード、IrDA(InfraRed Data Association)のような赤外線等の光通信、またはBluetooth(登録商標)等の所定の規格に準拠する方法であっても良いし、独自の通信方式の無線通信により構成されるようにしてもよい。
 ネットワーク121には、ユーザ管理サーバ111乃至解析サーバ114、並びに、端末装置131-1乃至端末装置131-Nが接続される。なお、図2においては、それらの装置とネットワーク121との接続が直線で示されているが、ユーザ管理サーバ111乃至解析サーバ114、並びに、端末装置131-1乃至端末装置131-Nは、有線通信を介してネットワーク121に接続されるようにしてもよいし、無線通信を介して(図示せぬアクセスポイントや基地局等を介して)ネットワーク121に接続されるようにしてもよい。
 端末装置131-1乃至端末装置131-Nは、コミュニケーションシステム100の端末装置として動作する情報処理装置であり、ユーザ101により操作される。以下において、端末装置131-1乃至端末装置131-Nを互いに区別して説明する必要が無い場合、端末装置131と称する。
 端末装置131は、ネットワーク121を介して他の装置と通信可能であれば(他の装置のユーザ101や、そのユーザ101に対応する仮想キャラクタ103とのコミュニケーションが可能な機能を備えているものであれば)、任意の情報処理装置により構成される。例えば、端末装置131が、携帯電話機、スマートフォン、タブレットデバイス等のような携帯型の(小型の)情報処理装置(所謂モバイル機器)により構成されるようにしてもよい。このように、端末装置131として可搬性の高い情報処理装置を適用することができるようにすることにより、ユーザ101がより多様な時間とより多様な場所においてより気軽にコミュニケーションシステム100を利用することができるようになる。すなわち、コミュニケーションシステム100の利便性を向上させることができる。
 なお、コミュニケーションシステム100が有する端末装置131の台数は任意である。また、端末装置131として、例えば、携帯電話機とスマートフォンといったように、複数種類の情報処理装置が適用されるようにしてもよい。
  <サーバの構成>
 次に各サーバの構成例について説明する。図3は、ユーザ管理サーバ111の主な構成例を示すブロック図である。
 図3に示されるように、ユーザ管理サーバ111において、CPU(Central Processing Unit)151、ROM(Read Only Memory)152、RAM(Random Access Memory)153は、バス154を介して相互に接続されている。
 バス154にはまた、入出力インタフェース160も接続されている。入出力インタフェース160には、入力部161、出力部162、記憶部163、通信部164、およびドライブ165が接続されている。
 入力部161は、ユーザ入力等の外部の情報を受け付ける入力デバイスよりなる。例えば、入力部161には、操作ボタン、タッチパネル、カメラ、マイクロホン、入力端子等が含まれる。また、加速度センサ、光センサ、温度センサ等の各種センサが入力部161に含まれるようにしてもよい。
 出力部162は、画像や音声等の情報を出力する出力デバイスよりなる。例えば、出力部162には、ディスプレイ、スピーカ、出力端子等が含まれる。
 記憶部163は、例えば、ハードディスク、RAMディスク、不揮発性メモリなどよりなる。通信部164は、例えば、ネットワークインタフェースよりなる。例えば、通信部164は、ネットワーク121に接続され、ネットワーク121を介して接続される他の装置(例えば端末装置131)や他のサーバと通信を行う。ドライブ165は、例えば磁気ディスク、光ディスク、光磁気ディスク、または半導体メモリなどのリムーバブルメディア171を駆動する。
 CPU151は、例えば、記憶部163に記憶されているプログラムを、入出力インタフェース160およびバス154を介して、RAM153にロードして実行することにより、各種処理を行う。RAM153にはまた、CPU151が各種の処理を実行する上において必要なデータなども適宜記憶される。
 CPU151が実行するプログラムは、例えば、パッケージメディア等としてのリムーバブルメディア171に記録してユーザ管理サーバ111に提供することができる。その場合、プログラムは、リムーバブルメディア171をドライブ165に装着することにより、入出力インタフェース160を介して、記憶部163にインストールすることができる。
 また、このプログラムは、LAN、インターネット、デジタル衛星放送といった、有線または無線の伝送媒体を介してユーザ管理サーバ111に提供することもできる。その場合、プログラムは、有線または無線の伝送媒体を介して、通信部164で受信し、記憶部163にインストールすることができる。
 その他、このプログラムは、ROM152や記憶部163に、あらかじめインストールしておくこともできる。
 なお、仮想キャラクタ管理サーバ112乃至解析サーバ114の各構成は、ユーザ管理サーバ111と同様である。つまり、図3の説明は、仮想キャラクタ管理サーバ112乃至解析サーバ114の各サーバの説明にも適用することができる。また、サーバ110とする場合の、サーバ110の構成も、ユーザ管理サーバ111と同様である。つまり、図3の説明は、サーバ110の説明としても適用することができる。
  <サーバの機能ブロックの構成>
 次に、ユーザ管理サーバ111乃至解析サーバ114が実現する機能について説明する。ユーザ管理サーバ111乃至解析サーバ114のCPU151は、プログラムを実行することにより、各種機能を実現する。図4は、各サーバにおいて実現される主な機能の例を示す機能ブロック図である。
 図4に示されるように、ユーザ管理サーバ111は、ユーザ情報管理部181およびお友達管理部182等の機能ブロックを実現する。ユーザ情報管理部181は、ユーザ101に関する情報であるユーザ情報の管理に関する処理を行う。ユーザ情報の内容は任意である。例えば、ユーザ情報には、ユーザ101の個人情報、コミュニケーションシステム100にログインするためのIDやパスワード、その他各種設定情報等が含まれるようにしてもよい。
 お友達管理部182は、各ユーザ101が設定した、各ユーザのコミュニケーションの相手であるお友達の管理に関する処理を行う。コミュニケーションシステム100においては、各ユーザ101は、お友達として設定した他のユーザ101(若しくは、その、他のユーザ101に対応する仮想キャラクタ103)とコミュニケーションを行うことができる。換言するに、コミュニケーションを行うためには、ユーザ101は、そのコミュニケーションの相手とする他のユーザ101(若しくは、コミュニケーションの相手とする仮想キャラクタ103に対応する他のユーザ101)を予めお友達としてユーザ管理サーバ111(お友達管理部182)に登録しておく必要がある。
 仮想キャラクタ管理サーバ112は、設定管理部183、学習部184、モード管理部185、およびメッセージ設定部186等の機能ブロックを実現する。
 設定管理部183は、仮想キャラクタ103の設定の管理に関する処理を行う。学習部184は、仮想キャラクタ103の応答の仕方についての学習に関する処理を行う。モード管理部185は、仮想キャラクタ103の動作モードの管理についての処理を行う。メッセージ設定部186は、仮想キャラクタ103が送るメッセージの設定に関する処理を行う。
 コミュニケーション管理サーバ113は、広場管理部187、状態管理部188、コミュニケーション管理部189、および履歴管理部190等の機能ブロックを実現する。
 広場管理部187は、広場の管理に関する処理を行う。状態管理部188は広場におけるコミュニケーションの相手の状態の管理に関する処理を行う。コミュニケーション管理部189は、コミュニケーションの管理に関する処理を行う。履歴管理部190は、コミュニケーションの履歴の管理に関する処理を行う。
 解析サーバ114は、メッセージ解析部191、感情設定部192、およびエフェクト設定部193等の機能ブロックを実現する。
 メッセージ解析部191は、メッセージの解析に関する処理を行う。感情設定部192は、メッセージに対応する感情の設定に関する処理を行う。エフェクト設定部193は、演出画像(エフェクト)の設定に関する処理を行う。
  <端末装置の構成>
 次に端末装置131の構成例について説明する。図5は、端末装置131の主な構成例を示すブロック図である。
 図5に示されるように、端末装置131は、SOC(System-on-a-Chip)201、RAM(Random Access Memory)202、入力部211、出力部212、記憶部213、通信部214、およびドライブ215を有する。
 SOC201は、端末装置131において実現される各種機能を実装したチップである。SOC201は、例えば、プログラムやデータをRAM202にロードして実行する。
 入力部211は、各種入力デバイスよりなる。入力部211は、例えば、操作部221、タッチパネル222、撮影部223、音声入力部224、センサ部225、および入力端子226を有する。
 操作部221は、例えば、キー、ボタン、スイッチ、レバー等のユーザに操作される任意の入力デバイスを含み、それらの入力デバイスに対するユーザ操作によるユーザ入力を受け付け、受け付けたユーザ入力を例えばSOC201等に供給する。タッチパネル222は、例えば、後述する表示部231に重畳して形成され、表示部231に表示されるGUI(Graphical User Interface)に基づいて行われるユーザ操作(例えばユーザの指やスタイラスペン等の動きや位置等)が示す情報(つまりユーザ入力)を受け付け、受け付けたユーザ入力を例えばSOC201等に供給する。
 撮影部223は、例えばレンズ、絞り、イメージセンサ等を有し、被写体を撮影することにより撮影画像を得て、その得た撮影画像のデータを例えばSOC201等に供給する。音声入力部224は、例えばマイクロホン等の音声入力デバイスを有し、音声入力を受け付け、受け付けた音声データを例えばSOC201等に供給する。センサ部225は、例えば、加速度センサ、光センサ、温度センサ等の各種センサを有し、センシングによりそのセンサに応じた情報を得て、その得た各種センサ情報を例えばSOC201等に供給する。入力端子226は、例えばアナログ信号入力端子等、任意の信号の入力端子を有し、入力されたデータを例えばSOC201等に供給する。
 出力部212は、表示部231、音声出力部232、および出力端子233を有する。表示部231は、例えばLCD(Liquid Crystal Display)やOELD(Organic ElectroLuminescence Display)等の任意のディスプレイを有し、例えばSOC201等から供給される画像情報を表示する。音声出力部232は、例えばスピーカ等よりなり、例えばSOC201等から供給される音声情報を出力する。出力端子233は、例えばアナログ信号出力端子等、任意の信号の出力端子を有し、例えばSOC201等から供給される情報を端末装置131の外部に出力する。
 記憶部213は、例えば、ハードディスク、RAMディスク、不揮発性メモリなどよりなる。通信部214は、例えば、ネットワークインタフェースよりなる。通信部214は、例えば、無線通信部241、有線通信部242、およびNFC(Near Field Communication)部243を有する。無線通信部241は、所定の通信規格の無線通信により他の装置と通信を行う無線通信インタフェースを有する。有線通信部242は、所定の通信規格の有線通信により他の装置と通信を行う有線通信インタフェースを有する。NFC部243は、近接された他の通信デバイスと近接無線通信を行う近接無線通信インタフェースである。例えば、NFC部243は、その近接無線通信により、コミュニケーションシステム100への参加に必要な端末装置131の情報等を、他の端末装置131と授受する。
 ドライブ215は、例えば磁気ディスク、光ディスク、光磁気ディスク、または半導体メモリなどのリムーバブルメディア251を駆動し、そのリムーバブルメディア251に記憶されている情報を読み出したり、リムーバブルメディア251に情報を書き込んだりする。
 なお、これらの各処理部は、SOC201により制御されて動作する。
 SOC201は、例えば、記憶部213に記憶されているプログラムを、RAM202にロードして実行することにより、各種処理を行う。RAM202にはまた、SOC201が各種の処理を実行する上において必要なデータなども適宜記憶される。
 SOC201が実行するプログラムは、例えば、パッケージメディア等としてのリムーバブルメディア251に記録して端末装置131に提供することができる。その場合、プログラムは、リムーバブルメディア251をドライブ215に装着することにより、SOC201を介して、記憶部213にインストールすることができる。
 また、このプログラムは、LAN、インターネット、デジタル衛星放送といった、有線または無線の伝送媒体を介して端末装置131に提供することもできる。その場合、プログラムは、有線または無線の伝送媒体を介して、通信部214(無線通信部241若しくは有線通信部242)で受信し、記憶部213にインストールすることができる。
 その他、このプログラムは、SOC201内のROMや記憶部213に、あらかじめインストールしておくこともできる。
 なお、上述した構成は一例であり、端末装置131が上述した処理部以外の処理部を有するようにしてもよい。また、端末装置131が上述した各処理部の内一部を省略するようにしてもよい。
  <端末装置の機能ブロックの構成>
 次に、端末装置131が実現する機能について説明する。端末装置131のSOC201は、プログラムを実行することにより、各種機能を実現する。図6は、端末装置131において実現される主な機能の例を示す機能ブロック図である。
 図6に示されるように、端末装置131は、初期設定部261、広場処理部262、コミュニケーション処理部263、割り込み処理部264、モード設定部265、および履歴表示制御部266等の機能ブロックを実現する。
 初期設定部261は、初期設定に関する処理を行う。広場処理部262は、広場に関する処理を行う。コミュニケーション処理部263は、コミュニケーションに関する処理を行う。割り込み処理部264は、コミュニケーションの割り込みに関する処理を行う。モード設定部265は、モードの設定に関する処理を行う。履歴表示制御部266は、コミュニケーションの履歴の表示に関する処理を行う。
  <初期設定の概要>
 次に、以上のようなコミュニケーションシステム100において行われる各種処理について説明する。最初に図7を参照して、初期設定の概要について説明する。コミュニケーションシステム100を利用するためには、ユーザ101の情報(ユーザ情報)をユーザ管理サーバ111に登録する必要がある。また、上述したように、コミュニケーションシステム100においては、仮想キャラクタ103を用いたコミュニケーションも行われるため、仮想キャラクタを仮想キャラクタ管理サーバ112に登録する必要がある。
 そこで、ユーザ101は、端末装置131を操作して、ユーザ管理サーバ111や仮想キャラクタ管理サーバ112と通信を行わせ、ユーザ情報や仮想キャラクタ103の設定情報の登録等の処理を初期設定として行う。
  <初期設定に関する処理の流れ>
 初期設定の処理の流れの例を、図8のフローチャートを参照して説明する。必要に応じて図9乃至図13を参照して説明する。この処理は、例えば、ユーザ101が端末装置131において、コミュニケーションシステム100を用いたコミュニケーションを行うためのアプリケーションを起動させることにより開始される。
 初期設定に関する処理が開始されると、端末装置131の初期設定部261は、ステップS101において、ニックネームの登録を受け付ける。初期設定部261は、例えば図9のAに示されるようなニックネーム登録画面301を表示部231に表示させる。図9のAに示されるように、ニックネーム登録画面301には、ニックネーム入力欄302と決定ボタン303が設けられている。ユーザ101が、このニックネーム入力欄302にニックネームを入力し、決定ボタン303を操作すると、初期設定部261は、そのニックネーム入力欄302に入力されたニックネームを、ユーザ101のニックネームとして受け付ける。このニックネームは、例えば、ユーザ101に対応する仮想キャラクタ103が、ユーザ101とのコミュニケーションにおいて、ユーザ101を呼ぶとき等に使用される。
 例えば、入力されたニックネームが不適切と判定されたり、文字数が制限を超えたりした場合、初期設定部261は、図9のBに示されるような登録失敗通知画面304を表示部231に表示させる。図9のBに示されるように、登録失敗通知画面304には、例えば「ご希望のニックネームは登録できません」といった、ニックネームの登録に失敗したことを示すメッセージと、OKボタン305が表示される。ユーザ101が、登録の失敗を確認し、このOKボタン305を操作すると、この登録失敗通知画面304が消え、表示部231の表示が図9のAの状態に戻り、再度、ニックネームの登録が受け付けられる。
 ニックネームが受け付けられると、初期設定部261は、ステップS102において、性別の登録を受け付ける。初期設定部261は、例えば図9のCに示されるような性別登録画面306を表示部231に表示させる。図9のCに示されるように、この性別登録画面306には、男性ボタン307と女性ボタン308が設けられている。ユーザ101は、自身が男性であれば男性ボタン307を操作し、女性であれば女性ボタン308を操作する。初期設定部261は、このように操作されたボタンに対応する性別を、ユーザ101の性別として受け付ける。
 性別の指定が受け付けられると、初期設定部261は、ステップS103において、画像(アイコン)の登録を受け付ける。この「画像(アイコン)」は、コミュニケーションが行われる際に表示部231に表示される会話画面において、ユーザ101やそのユーザ101に対応する仮想キャラクタ103を示すとともに、その感情を示す画像である。会話画面の詳細については後述する。初期設定部261は、例えば図10に示されるようなアイコン登録画面310を表示部231に表示させる。
 図10に示されるように、アイコン登録画面310には、写真撮影ボタン311、画像選択ボタン312、キャラクタ選択ボタン313、および設定拒否ボタン314が設けられている。ユーザ101は、これらのボタンのいずれかを選択することにより、登録する画像(アイコン)の入手方法を選択する。
 例えば、ユーザ101が写真撮影ボタン311を操作した場合、新たに撮影して得られる撮影画像が画像(アイコン)として登録される。つまり、この場合、撮影が行われ、その撮影により得られた撮影画像が画像(アイコン)として登録される。また、例えば、ユーザ101が画像選択ボタン312を操作した場合、アルバム機能に登録済みの画像(例えば、過去に撮影されて得られた撮影画像や外部(他の装置)からダウンロードされた画像等)が画像(アイコン)として登録される。つまり、この場合、アルバム機能に登録されている画像群の中から選択された画像が画像(アイコン)として登録される。
 さらに、例えば、ユーザ101がキャラクタ選択ボタン313を操作した場合、コミュニケーションシステム100において予め用意されたキャラクタの画像が画像(アイコン)として登録される。つまり、この場合、キャラクタの選択が行われその選択されたキャラクタの画像が画像(アイコン)として登録される。例えば、ユーザ101が設定拒否ボタン314を操作した場合、この画像(アイコン)の登録が省略される。つまり、ここでは画像(アイコン)が登録されない。画像(アイコン)の登録は、初期設定完了後の任意のタイミングにおいて行うことができるようにしてもよい。
 例えば、写真撮影ボタン311が操作されると、初期設定部261は、図11のAに示されるような撮影画像登録画面320を表示部231に表示させる。図11のAに示されるように、撮影画像登録画面320には、登録する撮影画像を表示する表示領域が感情毎(例えば喜怒哀楽等)に設けられている(表示領域321-1乃至表示領域321-4)。表示領域321-1乃至表示領域321-4を互いに区別して説明する必要が無い場合は、表示領域321と称する。撮影が行われる前において、表示領域321は、空欄となるようにしてもよいし、感情を示す表現(例えば、喜、怒、哀、楽、の文字等)が表示されるようにしてもよい。
 また、撮影画像登録画面320には、撮影ボタンが感情毎(例えば喜怒哀楽等)に設けられている(撮影ボタン322-1乃至撮影ボタン322-4)。撮影ボタン322-1乃至撮影ボタン322-4を互いに区別して説明する必要が無い場合は、撮影ボタン322と称する。なお、各撮影ボタン322には、図11のAの例の「撮影する」等のように、ユーザ101が操作することにより撮影が行われることを示すようなメッセージや絵柄等が表示されるようにしてもよい。このようにすることにより、ユーザ101は、撮影ボタン322を操作することの意味(ユーザ101が撮影ボタン322を操作することにより行われる処理の内容)をより容易に把握することができる。
 ユーザ101が所望の感情の撮影ボタン322を操作すると、その感情を表す撮影画像を得るための撮影が行われる。例えば、その感情に応じた表情のユーザ101の顔画像の撮影が行われる。
 初期設定部261は、図11のBに示されるような撮影画面324を表示部231に表示させる。図11のBに示されるように、この撮影画面324には、この撮影に対応する感情を示すメッセージ等が表示される感情表示領域325、取り込み画像や撮影画像が表示される画像表示領域326、並びに、ユーザ101が操作することにより撮影が行われる撮影ボタン327が設けられている。
 感情表示領域325には、ユーザ101が撮影画像登録画面320において操作した撮影ボタン322に対応する感情に応じた表情を得るためのメッセージ等が表示される。図11のBの例の場合、ユーザ101が撮影画像登録画面320において撮影ボタン322-1を操作しており、その撮影ボタン322-1に対応する感情が「喜」であるので、感情表示領域325には、「笑ってー」等の笑顔を要求するメッセージ等が表示されている。
 ユーザ101が撮影ボタン327を操作する前、画像表示領域326には、撮影部223により取り込まれた取り込み画像が表示される。ユーザ101が撮影ボタン327を操作すると、画像表示領域326に表示されている取り込み画像が撮影画像として保存される。したがってユーザ101は、画像表示領域326に表示されている取り込み画像を確認しながら撮影を行うことができるので、より容易に所望の表情の撮影画像を得ることができる。
 撮影画像が得られると、図11のCに示されるように、その撮影画像が画像表示領域326に表示される。そして、表示部231には、撮影画面324に重畳して、OKボタン328と取り直しボタン329が表示される。ユーザ101が取り直しボタン329を操作すると、表示部231の表示は、図11のBの状態に戻り、再度、撮影が行われる。また、ユーザ101がOKボタン328を操作すると、その撮影画像が、画像(アイコン)として登録される画像として保存される。初期設定部261は、図11のDに示されるように、撮影画像登録画面320を表示部231に表示させる。その際、撮影画像登録画面320の、ユーザ101が所望した感情の表示領域321には、画像(アイコン)として登録される画像として保存された撮影画像が表示される。例えば、上述したように、感情「喜」についての撮影が行われた場合、その撮影画像が表示領域321-1に表示される。
 以上のような撮影を各感情について行うと、図11のDに示されるように、各感情の撮影画像が、画像表示領域321に表示される。なお、この段階において撮影をやり直したい場合、ユーザ101は、所望の感情の撮影ボタン322を操作することにより、その感情についての撮影をやり直すことができるようにしてもよい。図11のAや図11のDに示されるように、この撮影画像登録画面320には、決定ボタン323が設けられている。全ての感情の撮影画像が得られると、ユーザ101は、この決定ボタン323を操作する。決定ボタン323が操作されると、各感情の撮影画像が画像(アイコン)として受け付けられる。
 また、例えば、画像選択ボタン312が操作されると、初期設定部261は、図12のAに示されるような選択画像登録画面330を表示部231に表示させる。図12のAに示されるように、選択画像登録画面330には、選択された画像を表示する表示領域が感情毎(例えば喜怒哀楽等)に設けられている(表示領域331-1乃至表示領域331-4)。表示領域331-1乃至表示領域331-4を互いに区別して説明する必要が無い場合は、表示領域331と称する。撮影が行われる前において、表示領域331は、空欄となるようにしてもよいし、感情を示す表現(例えば、喜、怒、哀、楽、の文字等)が表示されるようにしてもよい。
 また、選択画像登録画面330には、選択ボタンが感情毎(例えば喜怒哀楽等)に設けられている(選択ボタン332-1乃至撮影ボタン332-4)。選択ボタン332-1乃至撮影ボタン332-4を互いに区別して説明する必要が無い場合は、選択ボタン332と称する。なお、各選択ボタン332には、図12のAの例の「選ぶ」等のように、ユーザ101が操作することにより画像の選択が行われることを示すようなメッセージや絵柄等が表示されるようにしてもよい。このようにすることにより、ユーザ101は、選択ボタン332を操作することの意味(ユーザ101が選択ボタン332を操作することにより行われる処理の内容)をより容易に把握することができる。
 ユーザ101が所望の感情の選択ボタン332を操作すると、その感情を表す画像(撮影画像等)を得るための画像選択が行われる。
 初期設定部261は、図12のBに示されるような画像選択画面334を表示部231に表示させる。図12のBに示されるように、この画像選択画面334では、アルバムに登録された画像の一覧(サムネイル画像の一覧)が表示される。ユーザ101が所望の画像(サムネイル画像)を選択すると、初期設定部261は、図12のCに示されるような、選択画像表示画面335を表示部231に表示させる。選択画像表示画面335には、画像表示領域336と決定ボタン337とが設けられている。画像表示領域336には、画像選択画面334においてユーザ101により選択された画像が表示される。ユーザ101が決定ボタン337を操作すると、画像選択画面334において選択された画像の、この画像表示領域336内に表示される部分がトリミングされ(切り出され)、画像(アイコン)として登録される画像として保存される。
 なお、この画像表示領域336においては、ユーザ101は、この画像表示領域336に表示されている画像を拡大縮小したり表示範囲を移動させたり(ずらしたり)することができる。このようにすることにより、ユーザ101は、よりユーザ101の好みに応じた画像を登録することができる。
 以上のように選択された画像が得られると、初期設定部261は、図12のDに示されるように、選択画像登録画面330を表示部231に表示させる。その際、選択画像登録画面330の、ユーザ101が所望した感情の表示領域331には、選択された画像が表示される。例えば、上述したように、感情「喜」についての画像選択が行われた場合、その選択された画像が表示領域331-1に表示される。
 以上のような画像選択を各感情について行うと、図12のDに示されるように、各感情の撮影画像が、画像表示領域331に表示される。なお、この段階において画像選択をやり直したい場合、ユーザ101は、所望の感情の選択ボタン332を操作することにより、その感情についての画像選択をやり直すことができるようにしてもよい。図12のAや図12のDに示されるように、この選択画像登録画面330には、決定ボタン333が設けられている。全ての感情の画像選択が行われると、ユーザ101は、この決定ボタン333を操作する。決定ボタン333が操作されると、各感情の選択画像が画像(アイコン)として受け付けられる。
 また、例えば、キャラクタ選択ボタン313が操作されると、初期設定部261は、図13に示されるようなキャラクタ紹介画面341を表示部231に表示させる。例えば、キャラクタ紹介画面341は、図13に示されるように、各キャラクタを紹介する紹介画面により構成される(キャラクタ紹介画面341-1乃至キャラクタ紹介画面341-4)ようにしてもよい。その際、各キャラクタを紹介する紹介画面が、表示部231の表示領域分の大きさを持つようにしてもよい。つまり、図13の点線枠342が示す表示部231の表示領域には、1キャラクタずつその紹介画面が表示されるようにしてもよい。その場合、ユーザ101は、例えば左右にスクロールすることにより、各キャラクタの紹介画面を表示部231の表示領域内に表示させることができる。ユーザ101が、所望のキャラクタの紹介画面を表示領域内に表示させ、決定ボタン343を操作すると、そのキャラクタが選択され、そのキャラクタの各感情の画像が画像(アイコン)として受け付けられる。
 図8に戻り、以上のように画像の登録が受け付けられると、初期設定部261は、ステップS104において、仮想キャラクタを起動する。ステップS105において、初期設定部261は、仮想キャラクタの設定を受け付ける。ここで、ユーザ101は、例えば、仮想キャラクタの性格や、仮想キャラクタの好きな物や言葉(キーワード)等を設定する。
 以上の設定は、まだ、サーバに登録されていない。
 ステップS106において、初期設定部261は、ユーザIDやパスワード等の、アカウントの登録を受け付ける。このアカウントは、例えば、既存の所定のサービスのIDやパスワードを流用することができるようにしてもよい。初期設定部261は、このアカウント登録処理において、そのアカウントや、上述した処理において受け付けた各種設定等を含むユーザ情報を、ユーザ管理サーバ111に供給する。
 ユーザ管理サーバ111のユーザ情報管理部181は、ステップS111において、供給されたユーザ情報の登録を試みる。登録に成功した場合、ユーザ情報管理部181は、仮想キャラクタ管理サーバ112に対して、ユーザ情報に含まれる仮想キャラクタの設定に関する情報を供給する。仮想キャラクタ管理サーバ112の設定管理部183は、ステップS121において、供給された仮想キャラクタの設定情報を登録する。
 仮想キャラクタの設定情報が仮想キャラクタ管理サーバ112に登録されると、ユーザ管理サーバ111のユーザ情報管理部181は、ユーザ情報の登録に成功した旨を端末装置131に通知する。端末装置131の初期設定部261は、その通知を受け取ると、アカウントの登録を完了する。
 また、コミュニケーションシステム100においてコミュニケーションを行うためには、コミュニケーションの相手とする他のユーザを予め「お友達」として登録しておく必要がある。
 そこで、初期設定部261は、ステップS107において、お友達の登録を受け付ける。ユーザ101の操作によりお友達の登録を受け付けると、初期設定部261は、そのお友達に関する情報を、ユーザ管理サーバ111に供給する。ユーザ管理サーバ111のお友達管理部182は、そのお友達に関する情報を登録し、管理する。すなわち、お友達管理部182は、供給されたお友達に関する情報において指定されるユーザをユーザ101のお友達として登録し、管理する。お友達管理部182は、登録が完了すると、その旨を端末装置131に通知する。初期設定部261は、その通知を受け取ると、お友達の登録を完了する。
 以上のように、初期設定として各種処理を行うことができる。
  <広場>
 次に、広場について説明する。端末装置131においては、ユーザ101のお友達の画像(アイコン)の一覧が広場画面に表示される。ユーザ101は、この広場画面において、コミュニケーションを行うお友達を選択する。
 図14に広場画面の例を示す。図14の例の場合、広場画面350は、表示部231の表示領域より広く、その一部(広場画面350-1)のみが表示部231に表示されている。つまり、広場画面350-2および広場画面350-3は、広場画面350の、表示部231に表示されていない部分を示す。すなわち、広場画面350は、広場画面350-1乃至広場画面350-3により構成される。なお、広場画面350-2や広場画面350-3は、例えば表示中の広場画面350-1において左右にスクロールすることにより、表示させることができる。
 広場画面350には、画像351-1乃至画像351-9のように、この端末装置131のユーザ101のお友達として登録された他のユーザ若しくは他のユーザに対応する仮想キャラクタを示す画像(アイコン)が表示される。ユーザ101は、この画像(アイコン)群のいずれか1つを選択することにより、その画像(アイコン)が示す他のユーザ(若しくは他のユーザに対応する仮想キャラクタ)をコミュニケーションの相手として指定することができる。このように、画像(アイコン)の一覧を用いてコミュニケーションの相手を指定することができるようにすることにより、ユーザ101は、より容易に、各ユーザを識別し、所望のユーザをコミュニケーションの相手として選択することができる。
 なお、この広場画面350において、画像(アイコン)が示すのがユーザ101であるか仮想キャラクタ103であるかを識別することができるようにしてもよい。例えば、図14に示されるように、仮想キャラクタ103を示す画像(アイコン)には、「P」の文字が付加されるようにしてもよい。このようにすることにより(文字「P」が付加されているか否かによって)、ユーザ101が、画像(アイコン)が示すのがユーザ101であるか仮想キャラクタ103であるかを、より容易に識別することができる。
 また、広場画面350における各画像(アイコン)の位置は任意である。例えば、所定の条件に基づいて並べられる(配置される)ようにしてもよい。この条件は任意である。例えば、年齢、性別、氏名、新密度、感情等であってもよいし、それら以外であってもよい。また、複数の条件に基づいて並べられるようにしてもよい。
 また、その条件を示すような文字や画像を広場画面350の背景等に含めるようにしてもよい。例えば、各ユーザ(若しくは仮想キャラクタ)の感情に応じて画像(アイコン)を配置する場合、その感情を(直接的若しくは間接的に)示す画像を広場画面350の背景に含めるようにしてもよい。例えば、画像351-5乃至画像351-7が示すユーザ101若しくは仮想キャラクタ103の感情が「喜」の場合、それらの画像が配置される広場画面350の領域352-1に、喜びを表すような背景画像を用いるようにしてもよい。また、例えば、画像351-8および画像351-9が示すユーザ101若しくは仮想キャラクタ103の感情が「哀」の場合、それらの画像が配置される広場画面350の領域352-2に、哀しみを表すような背景画像を用いるようにしてもよい。このようにすることにより、ユーザ101は、より容易に、他のユーザ若しくは仮想キャラクタの感情を把握することができる。
 また、広場画面350には、並び替えボタン353やフィルタボタン354を設けるようにしてもよい。並び替えボタン353は、画像(アイコン)の配置(並び)を変える場合に、ユーザ101が操作する。ユーザ101がこの並び替えボタン353を操作すると、条件の入力若しくは選択が可能になり、その入力若しくは選択された条件に従って画像(アイコン)の並べ替えが行われる。フィルタボタン354は、所望の画像(アイコン)のみ表示させたい場合、ユーザ101が操作する。ユーザ101がこのフィルタボタン354を操作すると、条件の入力若しくは選択が可能になり、その入力若しくは選択された条件に従って画像(アイコン)の選択(絞り込み)が行われ、選択された画像(アイコン)のみが広場画面350に表示される。
  <広場に関する処理の概要>
 次に、図15を参照して、広場に関する処理の概要について説明する。上述したように、ユーザ101は、コミュニケーションの相手を広場画面350において選択する。この広場画面350の表示、広場画面350における画像(アイコン)の並べ替えやフィルタリング、広場画面350におけるコミュニケーション相手の指定等の、広場に関する処理は、図15に示されるように、端末装置131、コミュニケーション管理サーバ113、およびユーザ管理サーバ111等により行われる。
  <広場に関する処理の流れ>
 広場に関する処理として、最初に、広場画面の表示に関する処理の流れの例を、図16のフローチャートを参照して説明する。
 端末装置131の広場処理部262は、ステップS141において、例えば操作部221等を制御して、広場画面350の表示要求を受け付ける。広場画面350の表示要求を受け付けると、広場処理部262は、ステップS142において、例えば無線通信部241若しくは有線通信部242を制御して、その要求を、コミュニケーション管理サーバ113に送信する。
 コミュニケーション管理サーバ113の広場管理部187は、ステップS151において、例えば通信部164等を制御して、その要求を取得する。広場管理部187は、ステップS152において、ユーザ管理サーバ111にアクセスし、端末装置131のユーザのお友達に関する情報(お友達情報)を取得する。ユーザ管理サーバ111のお友達管理部182は、ステップS161において、要求されたユーザ101のお友達情報を、コミュニケーション管理サーバ113に供給する。そのお友達情報には、例えば、お友達であるユーザ101若しくはユーザ101に対応する仮想キャラクタを示す画像(以下において、お友達の画像とも称する)を含む。広場管理部187は、供給されたお友達情報からお友達の画像を抽出し、得られたお友達の画像を加えた広場画面350を生成する。
 ステップS153において、広場管理部187は、状態管理部188が管理する各ユーザ101の状態に関する情報に基づいて、広場画面350に加えられた各画像(アイコン)が示すお友達(ユーザ101)の状態(つまり、各画像(アイコン)がユーザ101を示すか、ユーザ101に対応する仮想キャラクタ103を示すか)を設定する。また、広場管理部187は、お友達情報や履歴管理部190が管理する履歴情報等に基づいて、画像(アイコン)に付加するメッセージや画像等の設定を行う。
 このようにして広場画面350が生成されると、広場管理部187は、ステップS154において、例えば通信部164等を制御して、生成された広場画面350のデータを端末装置131に供給する。端末装置の広場処理部262は、ステップS143において、例えば無線通信部241若しくは有線通信部242を制御して、その広場画面350のデータを取得する。
 ステップS144において、広場処理部262は、このように供給された広場画面350を、表示部231に表示させる。
 以上のようにすることにより、広場処理部262は、お友達の状態等を反映した、各お友達の画像(アイコン)を含む広場画面350を表示部231に表示させることができる。したがって、ユーザ101は、より容易にコミュニケーションの相手を選択することができる。
 次に、広場画面におけるお友達の画像の並べ替えやフィルタリングに関する処理の流れの例を、図17のフローチャートを参照して説明する。
 端末装置131の広場処理部262は、ステップS171において、例えば操作部221等を制御して、広場画面350に対するお友達の画像(アイコン)の並び替えの要求を受け付ける。例えば、広場画面350の並び替えボタン353が操作される等してお友達の画像(アイコン)の並び替えの要求が受け付けられると、広場処理部262は、ステップS172において、例えば無線通信部241若しくは有線通信部242を制御して、その要求を、コミュニケーション管理サーバ113に送信する。
 コミュニケーション管理サーバ113の広場管理部187は、ステップS181においてその要求を取得する。広場管理部187は、ステップS182において、その要求に含まれるソート条件等に従って、広場画面350のお友達の画像を並べ替える。ステップS183において、広場管理部187は、お友達の画像を並べ替えた広場画面350のデータを、要求元である端末装置131に供給する。
 端末装置131の広場処理部262は、ステップS173において、そのデータを受け取る。ステップS174において、広場処理部262は、お友達の画像を並べ替えた広場画面350を、表示部231に表示させる。
 以上のように並べ替えが行われることにより、ユーザ101は、広場画面350に表示されるお友達の画像を、より容易に、ユーザ101が所望する順に並べ替えることができる。このような並べ替えを行うことにより、ユーザ101がコミュニケーションを取りたい相手となり得る可能性が高いお友達の画像をより目立つ位置に移動させることができる。したがって、ユーザ101は、より容易に、所望のお友達を検索し、そのお友達である他のユーザ101(若しくはそのお友達(他のユーザ101)に対応する仮想キャラクタ103)とコミュニケーションを行うことができる。
 また、端末装置131の広場処理部262は、ステップS175において、例えば操作部221等を制御して、広場画面350に対するお友達の画像(アイコン)のフィルタリング(表示する画像の選択)の要求を受け付ける。例えば、広場画面350のフィルタボタン354が操作される等してお友達の画像(アイコン)のフィルタリングの要求が受け付けられると、広場処理部262は、ステップS176において、例えば無線通信部241若しくは有線通信部242を制御して、その要求を、コミュニケーション管理サーバ113に送信する。
 コミュニケーション管理サーバ113の広場管理部187は、ステップS184においてその要求を取得する。広場管理部187は、ステップS185において、その要求に含まれるフィルタリング条件等に従って、広場画面350に表示するお友達の画像を選択する。ステップS186において、広場管理部187は、お友達の画像をフィルタリングした(一部のお友達の画像を表示させないようにした)広場画面350のデータを、要求元である端末装置131に供給する。
 端末装置131の広場処理部262は、ステップS177において、そのデータを受け取る。ステップS178において、広場処理部262は、お友達の画像をフィルタリングした広場画面350を、表示部231に表示させる。
 以上のようにフィルタリングが行われることにより、ユーザ101は、広場画面350に表示されるお友達の画像を、より容易に、ユーザ101が所望する条件で絞り込むことができる。例えば、ユーザ101にお友達が多数存在する場合、ユーザ101は、コミュニケーションの相手を選択する際に、広場画面350に並ぶ多数のお友達の画像の中から所望のお友達の画像を選択しなければならず、煩雑な作業を必要とする可能性があった。これに対して、上述したように、ユーザ101が所望する条件によって絞り込みを行うことにより、広場画面350に表示されるお友達の画像の数を、ユーザ101の希望に沿った形で低減させることができる。つまり、ユーザ101がコミュニケーションを取りたい相手となり得る可能性が高いお友達の画像を残すように、広場画面350に表示されるお友達の画像の絞り込みを行うことができる。したがって、ユーザ101は、より容易に、所望のお友達を検索し、そのお友達である他のユーザ101(若しくはそのお友達(他のユーザ101)に対応する仮想キャラクタ103)とコミュニケーションを行うことができる。
 次に、広場画面におけるコミュニケーションの相手の選択に関する処理の流れの例を、図18のフローチャートを参照して説明する。
 端末装置131の広場処理部262は、ステップS191において、例えば操作部221等を制御して、広場画面350におけるお友達の画像(アイコン)の選択を受け付ける。つまり、広場処理部262は、ユーザによる、広場画面350のお友達の画像(アイコン)を用いた、コミュニケーションの相手の選択を受け付ける。
 コミュニケーションの相手の選択を受け付けると、広場処理部262は、ステップS192において、例えば無線通信部241若しくは有線通信部242を制御して、その要求を、コミュニケーション管理サーバ113に送信する。
 コミュニケーション管理サーバ113の広場管理部187は、ステップS201においてその要求を取得する。コミュニケーション管理サーバ113のコミュニケーション管理部189は、ステップS202において、その要求に従って、ユーザ101により選択されたお友達とのコミュニケーションを行うためのGUIである会話画面を生成する。会話画面の詳細については後述する。会話画面が生成されると、コミュニケーション管理部189は、ステップS203において、例えば通信部164等を制御して、その会話画面のデータを要求元である端末装置131に供給する。
 端末装置131のコミュニケーション処理部263は、ステップS193において、例えば無線通信部241若しくは有線通信部242を制御して、その会話画面のデータを受け取る。ステップS194において、広場処理部262は、表示部231を制御して広場画面350の表示を終了する。ステップS195において、コミュニケーション処理部263は、ステップS193において取得された会話画面を表示部231に表示させる。
 以上のように、各処理を行うことにより、広場画面350を用いたコミュニケーション相手の選択を実現することができ、ユーザ101は、お友達の画像を選択するだけで、より容易に、コミュニケーションの相手を選択することができる。
  <ユーザ同士のコミュニケーションの概要>
 次に、ユーザ101同士のコミュニケーションについて説明する。例えば、図1の両矢印104-1のように、ユーザ101-1とユーザ101-2とがコミュニケーションを行う場合、図19に示されるように、端末装置131-1において作成されたユーザ101-1のメッセージは、ユーザ101-2の端末装置131-2に伝送され、表示される。逆に、端末装置131-2において作成されたユーザ101-2のメッセージは、ユーザ101-1の端末装置131-1に伝送され、表示される。
 このようなメッセージの授受は、コミュニケーション管理サーバ113により管理される。コミュニケーション管理サーバ113は、例えば、ユーザ管理サーバ111の情報を用いて、このようなコミュニケーションを管理する。
 また、その際、コミュニケーション管理サーバ113は、解析サーバ114等を用いて、授受されるメッセージを解析し、そのメッセージに応じた感情表現をそのメッセージに付与する。これにより、メッセージ受信側の端末装置131においては、メッセージとともにその感情表現も表示される。この感情表現は、その詳細については後述するが、例えば、メッセージ送信者であるユーザ101の顔画像の表情や、所定の演出画像(エフェクト)により実現される。このようにすることにより、コミュニケーションの表現力を向上させることができる。なお、感情表現は、メッセージ送信側においても表示されるようにしてもよい(詳細については後述する)。
  <ユーザ同士のコミュニケーションに関する処理の流れ>
 ユーザ同士のコミュニケーションに関する処理の流れの例を、図20のフローチャートを参照して説明する。必要に応じて図21乃至図25を参照して説明する。なお、ここでは、メッセージの送信元をユーザ101-1(端末装置131-1)とし、送信先をユーザ101-2(端末装置131-2)として説明する。ユーザ101同士、端末装置131同士は、特に区別しないので、いずれのユーザ101(端末装置131)から、いずれのユーザ101(端末装置131)に対してメッセージを送信する場合も、下記の説明と同様に行うことができる(下記の説明を適用することができる)。
 メッセージ送信元である端末装置131-1のコミュニケーション処理部263は、ステップS211において、例えば操作部221等を制御して、メッセージの入力を受け付ける。ユーザ101-1は、端末装置131-1の表示部231に表示される会話画面においてメッセージを入力する。
 コミュニケーションを行う端末装置131の表示部231には、例えば、図21に示されるような会話画面360が表示される。この会話画面360は、表示部231の表示領域全体に表示される。図21に示される例のように、会話画面360が、メニューバー361、操作バー362、およびコミュニケーション表示領域363により構成されるようにしてもよい。
 メニューバー361には、設定や情報表示等の各種メニューが表示される。ユーザ101は、このメニューバー361を操作する(所望のメニューを選択する)ことにより、各種機能を実行させることができる。操作バー362には、送信するメッセージが入力されるメッセージ入力欄371や、入力されたメッセージの送信を指示する送信ボタン372等が表示される。ユーザ101は、この操作バー362を操作する(メッセージを入力したり送信ボタン372を操作したりする)ことにより、コミュニケーション(メッセージの送信)を行うことができる。
 コミュニケーション表示領域363には、コミュニケーションの様子、つまり、授受されるメッセージや画像等の情報が表示される。ユーザ101は、このコミュニケーション表示領域363の表示を閲覧することにより、自身が行っているコミュニケーションの様子(授受したメッセージや画像等)を把握することができる。
 そして、図21に示されるように、このコミュニケーション表示領域363が会話画面360の大部分(つまり表示部231の表示領域の大部分)を占有する。つまり、コミュニケーションの様子を示す領域としてより広い領域が確保されている。そのため、より多様な表現が可能になる。つまり、コミュニケーションの表現力を向上させることができる。
 個人ユーザ同士のコミュニケーションを提供するシステムでは、ユーザが、端末装置として、例えば携帯電話機、スマートフォン、タブレットデバイス等のような携帯型の情報処理装置を利用することができるようにすると、ユーザがより多様な時間と場所においてより気軽にシステムを利用することができ、システムの利便性が向上する。つまり、端末装置131として、上述したような携帯型の情報処理装置を適用することができるようにすると、コミュニケーションシステム100の利便性を向上させることができる。
 しかしながら、一般的にそのような携帯型の情報処理装置の表示部は比較的小さい。そのため、例えばメッセージや画像等のコミュニケーションの様子を示す表示が小さくなり易く、コミュニケーションの表現力が低減してしまう可能性がある。コミュニケーションの表現力が低減すると、コミュニケーションの嗜好性や娯楽性が低減し、ユーザの満足度や興味が低減し、結果としてコミュニケーションツールの利用への意欲が低減してしまう可能性がある。そこで、上述したように、コミュニケーションの様子を示す領域としてより広い領域を確保することにより、コミュニケーションの表現力の低減を抑制することができる。
 また、図21に示されるように、コミュニケーション表示領域363には、直近のコミュニケーションの様子のみが表示されるようにしてもよい。すなわち、表示部231の表示領域の大部分を使用して直近のコミュニケーションの様子のみが表示されるようにしてもよい。例えば、図21に示されるコミュニケーション表示領域363においては、コミュニケーションの相手(および相手の感情)を示す画像(アイコン)を表示する画像表示領域381、相手に送信した直前のメッセージが表示される送信メッセージ表示領域382、並びに、相手が送信した直前のメッセージが表示される受信メッセージ表示領域383が形成されているが、過去に送受信されたメッセージのリストであるメッセージ履歴等は表示されない。
 一般的に、コミュニケーションにおいて、より直前に送受信されたメッセージの方が、より過去に送受信されたメッセージよりも重要である。しかしながら、メッセージ履歴等を表示するようにすると、そのメッセージ履歴の表示の為にコミュニケーション表示領域363の多くの部分が占有されてしまい、最も重要な直近のコミュニケーションの様子の表示が、メッセージ履歴の表示の為に小さくなってしまう可能性があった。つまり、コミュニケーションの最も重要な部分の表現力が低減してしまう可能性があった。
 そこで、コミュニケーション表示領域363の構成を出来るだけ簡素化し、最も重要な、直近のコミュニケーションの様子に関する表示をより広い領域で行うことができるようにしてもよい。このようにすることにより、画像表示領域381、送信メッセージ表示領域382、並びに、受信メッセージ表示領域383の各領域の表現力を増大させることができる。これにより、コミュニケーションシステム100に対するユーザ101の満足度や興味の低減を抑制することができる。
 また、上述したコミュニケーションにおいて、メッセージとともにユーザ101の感情表現を授受することができるようにしてもよい。この感情表現の具体的な方法は任意であるが、例えば、メッセージ送信者(ユーザ101や仮想キャラクタ103)を示す画像の表情により感情表現を行うようにしてもよい。
 例えば、画像表示領域381には、上述した初期設定において登録された感情毎の画像の中から、送受信されたメッセージから推定される感情に対応するものが選択されて表示されるようにしてもよい。例えば、送受信されたメッセージ(受信メッセージ表示領域383に表示されるメッセージ)から感情「喜」が推定される場合、画像表示領域381には、予め登録された感情毎の画像の内、その感情「喜」に対応する画像(例えば、ユーザ101の笑顔の撮影画像)が表示されるようにしてもよい。
 このようにすることにより、単に送受信されたメッセージを表示する場合よりも、コミュニケーションの表現力を増大させることができる。なお、この画像は、メッセージ送信者(ユーザ101や仮想キャラクタ103)の表情を直接的に示す画像で無くてもよい。例えば、メッセージ送信者の顔画像で無くてもよい。ただし、感情をより容易に把握することができる画像である方が望ましい。
 また、例えば、メッセージ送信者を示す画像以外の演出画像(エフェクト)により感情表現を行うようにしてもよい。この演出画像(エフェクト)は任意である。例えば、感情を表すような所定のスタンプ画像であってもよいし、コミュニケーション表示領域363に表示されるメッセージの表示領域のデザイン(サイズ、形状、模様、色等の任意の視覚的効果)やメッセージのデザイン(フォント種類、サイズ、形状、模様、色等の任意の視覚的効果)等であってもよいし、コミュニケーション表示領域363の一部若しくは全部の表示を変化させるような演出効果であってもよい。
 例えば、図21の例の場合、受信メッセージ表示領域383に表示されている「今日はさむいね」のメッセージに対応して、風邪や雨を示すデザインのスタンプ画像384が、コミュニケーション表示領域363に表示されている。このようにすることにより、単に、「今日はさむいね」のメッセージを表示する場合よりも、「寒さ」をより引き立てるように演出することができる。つまり、コミュニケーションの表現力を増大させることができる。
 また、例えば、図21の例の場合、送信メッセージ表示領域382や受信メッセージ表示領域383は、所謂吹き出しの形状をなしている。この吹き出しのデザインや、その吹き出し内に表示されるメッセージのデザイン等によって感情表現を行うようにしてもよい。この場合、送信メッセージ表示領域382のデザイン、並びに、送信メッセージ表示領域382内に表示されるメッセージのデザインは、当該端末装置131のユーザ101(若しくは、その仮想キャラクタ103)の感情表現(送信メッセージに対応する感情表現)を示し、受信メッセージ表示領域383のデザイン、並びに、受信メッセージ表示領域383内に表示されるメッセージのデザインは、コミュニケーション相手であるユーザ101(若しくは、その仮想キャラクタ103)の感情表現(受信メッセージに対応する感情表現)を示す。このようにすることにより、単に送受信されたメッセージをテキストデータとして表示する場合よりも、コミュニケーションの表現力を増大させることができる。
 なお、演出画像(エフェクト)を複数組み合わせてもよい。例えば、スタンプ画像と吹き出しのデザインの変化等のように、複数種類の演出画像(エフェクト)を組み合わせるようにしてもよい。
 演出画像(エフェクト)の詳細については後述する。このように、演出画像(エフェクト)を用いて感情表現を行うことにより、単にメッセージを送受信するだけのコミュニケーションよりも、コミュニケーションの表現力を増大させることができる。
 なお、以上のような感情表現は、メッセージの解析結果に基づいて感情が決定されて付加されるようにしてもよい。詳細については後述するが、このようにすることにより、カメラ等のユーザの表情検出の手段が不要になりコストを低減させることができる。また、メッセージの内容に応じた表情を造る等のユーザの煩雑な作業が不要になる。
 以上のような会話画面360は、例えば、図22に示されるような階層構造を有するようにしてもよい。例えば、メニューバー361や操作バー362を含む第1階層391(図22のA)、スタンプ画像384を含む第2階層392(図22のB)、送信メッセージ表示領域382や受信メッセージ表示領域383を含む第3階層393(図22のC)、画像表示領域381を含む第4階層394(図22のD)、並びに、背景画像を含む第5階層395(図22のE)を有する。これらの階層の画像が互いに重畳されて会話画面360が形成される。
 したがって、各階層の画像は、他の階層の画像の表示領域に関わらず、容易にレイアウトすることができる。例えば、互いに異なる階層の画像同士が重なり合うようにすることも容易に実現することができる。会話画面360が1階層の場合、画面内の各構成同士が重なり合わないので、各構成のレイアウトを総合的に考慮する必要があり、レイアウトの制限も多い。また、仮に、各構成同士が重なり合っているような結果の画像を得る場合、そのような画像を新たに生成しなければならない。
 これに対して、上述したように会話画面360を階層化(多層化)することにより、各階層の画像のレイアウトを互いに独立して制御することができるので、画像のレイアウトの自由度を向上させることができる。すなわち、このように会話画面360を階層化することにより、コミュニケーション表示領域363内の表現力、すなわち、コミュニケーションの表現力を容易に増大させることができる。
 もちろん、図22に示される階層構造は一例であり、会話画面360がこれ以外の階層構造を有するようにしてもよい。各階層に形成される画像も任意であり、各階層の重なり合う順序も任意であり、階層数も任意である。
 以上のような会話画面360において、ユーザは、メッセージ(送信メッセージ)の入力を行う。例えば、ユーザが、操作バー362のメッセージ入力欄371を選択すると、図23に示されるようなメッセージ入力用画面411が、会話画面360の図中下方からせりあがってくるように表示される。ユーザ101がこのメッセージ入力用画面411を操作すると、その操作に応じたメッセージが、メッセージ入力欄371に表示される。メッセージの入力が完了し、ユーザ101が送信ボタン372を操作すると、メッセージ入力欄371に入力されたメッセージが送信メッセージとして、コミュニケーションの相手のユーザ101-2が操作する端末装置131-2に送信され、その表示部231に表示される。
 つまり、図20に戻り、ステップS211においてメッセージの入力が受け付けられると、端末装置131-1のコミュニケーション処理部263は、ステップS212において、その受け付けたメッセージ等をコミュニケーション管理サーバ113に送信する。コミュニケーション管理サーバ113のコミュニケーション管理部189は、ステップS221において、そのメッセージ等を受信し、その受信されたメッセージ等を、ステップS222において、解析サーバ114に供給する。
 解析サーバ114のメッセージ解析部191は、ステップS231において、そのメッセージ等を取得し、ステップS232において、そのメッセージを解析する。ステップS233において、感情設定部192は、そのメッセージ解析結果に基づいて、そのメッセージに対応する感情を設定する。ステップS234において、エフェクト設定部193は、その設定された感情に対応するエフェクト(演出画像)を設定する。
 ステップS235において、エフェクト設定部193は、設定した感情やエフェクトに関する情報をコミュニケーション管理サーバ113に供給する。コミュニケーション管理サーバ113のコミュニケーション管理部189は、ステップS223において、その感情やエフェクトに関する情報を取得すると、ユーザ管理サーバ111のユーザ情報管理部181が管理するユーザ情報等に基づいて、感情に応じたメッセージ送信者を示す画像を取得し、送信されたメッセージとともにその画像やエフェクト等を用いて、会話画面630を生成する。
 ステップS224において、コミュニケーション管理部189は、以上のようにメッセージとともに感情表現が施された会話画面630のデータを、メッセージ受信側の端末装置131-2に供給する。端末装置131-2のコミュニケーション処理部263は、ステップS241において、その会話画面630のデータを取得する。端末装置131-2のコミュニケーション処理部263は、ステップS242において、その会話画面360を表示部231に表示させる。つまり、コミュニケーション管理サーバ113や解析サーバ114の処理により設定された、メッセージ送信者を示す画像、メッセージ、エフェクト等が会話画面360において表示される。
 図24に演出画像(エフェクト)の例を示す。図24のAの例では、演出画像(エフェクト)として、受信メッセージの「フトコロがさむいわ」の冗談に対してオチを付ける(冗談であることをより強調する)ように、コミュニケーション表示領域363に表示される画像全てが凍りついて割れ崩れるような演出が行われている。
 また、図24のBの例では、エクスクラメーションマークのスタンプ画像がコミュニケーション表示領域363に表示され、受信メッセージ表示領域383のデザイン、および、その受信メッセージ表示領域383内に表示されるメッセージのデザインが、驚きを強調するようなデザインに変更されている。
 さらに、図24のCの例では、食べることに関する話題のメッセージに応じて、カップケーキ、フォーク、スプーン等の、スイーツをイメージさせるようなスタンプ画像がコミュニケーション表示領域363に表示されている。
 また、図24のDの例では、「どんとこいだあー!!」という受信メッセージに対して、爆発をイメージさせるスタンプ画像が、コミュニケーション表示領域363全体に渡って(画像表示領域381、送信メッセージ表示領域382、受信メッセージ表示領域383等に重畳されて)表示されている。
 これらのように、演出画像(エフェクト)は、その制限をできるだけ少なくすることにより、より表現力を増大させることができる。例えば、表示領域の任意の位置に演出画像(エフェクト)を表示させることができるようにするのが望ましい。例えば、表示領域全体(より広範な領域)に演出画像(エフェクト)を表示させることができるようにするのが望ましい。また、例えば、演出画像(エフェクト)は、他のメッセージや画像と任意の階層において重畳して表示させることができるようにするのが望ましい。例えば、演出画像(エフェクト)を、メッセージやユーザの感情を表す画像の手前側に表示させるようにしてもよいし、メッセージやユーザの感情を表す画像の奥側に表示させるようにしてもよい。以上のように、演出画像(エフェクト)の表示の自由度を向上させることにより、コミュニケーションの表現力をより増大させることができる。
 もちろん、演出画像(エフェクト)は、任意であり、図24の各例以外であってもよい。例えば、画像に合わせて音声が出力されるようにしてもよい。
 なお、演出画像(エフェクト)は、メッセージの受信側だけでなく、メッセージの送信側にも表示されるようにしてもよい。その場合、メッセージの送信側に、メッセージの受信側と同様に演出画像(エフェクト)を表示させると、送信メッセージに対する演出画像(エフェクト)であるのか、受信メッセージに対する演出画像(エフェクト)であるのかがユーザ101にとって分かりにくくなる可能性がある。そこで、メッセージの受信側に表示する場合と、メッセージの送信側に表示する場合とで、演出画像(エフェクト)の表示の仕方を変えるようにしてもよい(非対象とするようにしてもよい)。
 例えば、メッセージの受信側の会話画面360に、図25のBのような、コミュニケーション表示領域363全体に演出画像(エフェクト)が表示される場合であっても、メッセージ送信側の会話画面360には、図25のAのような、画像表示領域381内にのみ、演出画像(エフェクト)が表示されるようにしてもよい。
 このようにすることにより、メッセージ送信側のユーザ101-1は、この演出画像(エフェクト)が、コミュニケーションの相手(ユーザ101-2)に向けたものであることを容易に理解することができる。また、メッセージ送信側のユーザ101-1は、このような演出画像(エフェクト)の表示により、自分が送信したメッセージによって、メッセージの受信側にどのような演出画像(エフェクト)が行われたかを把握することができる。つまり、このようにすることにより、コミュニケーションの表現力を向上させることができる。
 図20に戻り、コミュニケーション管理サーバ113の履歴管理部190は、ステップS225において、以上のように伝送されたメッセージやそのメッセージに付与された感情表現を、ログとして記録し、管理する。このログの記録場所は、コミュニケーション管理サーバ113の記憶部163であってもよいし、図示せぬその他のデータサーバ等であってもよい。
 以上のように、各処理を行うことにより、ユーザ同士のコミュニケーションを実現するとともに、そのコミュニケーションの表現力を向上させることができる。
  <ユーザと仮想キャラクタのコミュニケーションの概要>
 次に、ユーザ101と仮想キャラクタ103とのコミュニケーションについて説明する。最初に、ユーザ101と、他のユーザ101の仮想キャラクタ103とのコミュニケーションについて説明する(例えば、図1の両矢印104-2)。この場合、仮想キャラクタのメッセージは、仮想空間102、すなわち、サーバ110等により生成される。つまり、端末装置131において作成されたユーザ101のメッセージは、図26に示されるように、サーバ110に供給される。サーバ110の各サーバは、協働し、ユーザ101からのメッセージに対する仮想キャラクタ103の応答メッセージや、その応答メッセージに応じた感情表現を生成する。その応答メッセージや感情表現は、メッセージ送信元の端末装置131に送信され、その表示部231に表示される。
 つまり、コミュニケーション管理サーバ113は、例えば、ユーザ管理サーバ111の情報を用いて、このようなコミュニケーションを管理する。また、コミュニケーション管理サーバ113は、仮想キャラクタ管理サーバ112を用いて仮想キャラクタ103のメッセージを作成する。さらに、コミュニケーション管理サーバ113は、解析サーバ114を用いて、その仮想キャラクタ103のメッセージに応じた感情表現を生成し、付加する。
 つまり、仮想キャラクタ103とコミュニケーションを行う場合であっても、端末装置131の表示部231には、メッセージだけでなく仮想キャラクタ103の感情表現が表示される。例えば、メッセージ送信の際にユーザの顔画像を撮影して、それを感情表現とするような方法では、このような仮想キャラクタ103の感情表現を行うことは困難であるが、コミュニケーションシステム100の場合、上述したように、送受信されるメッセージに基づいて感情表現が生成される。したがって、このような仮想キャラクタ103の感情表現も、ユーザ101の場合と同様に行うことができる。つまり、コミュニケーションの表現力を向上させることができる。
  <ユーザと仮想キャラクタのコミュニケーションに関する処理の流れ>
 ユーザと仮想キャラクタのコミュニケーションに関する処理の流れの例を、図27のフローチャートを参照して説明する。
 メッセージ送信元である端末装置131のコミュニケーション処理部263は、ステップS251において、例えば操作部221等を制御して、メッセージの入力を受け付ける。ユーザ101は、端末装置131の表示部231に表示される会話画面360においてメッセージを入力する。
 ステップS251においてメッセージの入力が受け付けられると、端末装置131のコミュニケーション処理部263は、ステップS252において、その受け付けたメッセージ等をコミュニケーション管理サーバ113に送信する。コミュニケーション管理サーバ113のコミュニケーション管理部189は、ステップS261において、そのメッセージ等を受信し、その受信されたメッセージ等を、ステップS262において、解析サーバ114に供給する。
 解析サーバ114のメッセージ解析部191は、ステップS271において、そのメッセージ等を取得し、ステップS272において、そのメッセージを解析する。ステップS273において、解析サーバ114のメッセージ解析部191は、そのメッセージとメッセージの解析結果を仮想キャラクタ管理サーバ112に供給する。
 仮想キャラクタ管理サーバ112のメッセージ設定部186は、ステップS281において、そのメッセージおよびメッセージの解析結果を取得する。ステップS282において、メッセージ設定部186は、メッセージおよびメッセージの解析結果や、設定管理部183が管理する仮想キャラクタ103の設定情報に基づいて、そのメッセージに対する応答として、仮想キャラクタ103のメッセージを設定する。ステップS283において、メッセージ設定部186は、設定した仮想キャラクタ103のメッセージを解析サーバ114に供給する。
 ステップS274において、解析サーバ114のメッセージ解析部191は、仮想キャラクタ103のメッセージを解析する。ステップS275において、感情設定部192は、そのメッセージ解析結果に基づいて、仮想キャラクタ103の感情を設定する。ステップS277において、エフェクト設定部193は、その設定された感情に対応するエフェクト(演出画像)を設定する。
 ステップS278において、エフェクト設定部193は、設定された感情やエフェクトに関する情報をコミュニケーション管理サーバ113に供給する。コミュニケーション管理サーバ113のコミュニケーション管理部189は、ステップS263において、その感情やエフェクトに関する情報を取得すると、ユーザ管理サーバ111のユーザ情報管理部181が管理するユーザ情報等に基づいて、感情に応じた仮想キャラクタ103を示す画像を取得し、仮想キャラクタ103のメッセージとともにその画像やエフェクト等を用いて、会話画面630を生成する。
 ステップS264において、コミュニケーション管理部189は、以上のようにメッセージとともに感情表現が施された会話画面630のデータを、メッセージの送信元である端末装置131に供給する。端末装置131のコミュニケーション処理部263は、ステップS253において、その会話画面630のデータを取得する。端末装置131のコミュニケーション処理部263は、ステップS254において、その会話画面360を表示部231に表示させる。つまり、コミュニケーション管理サーバ113や解析サーバ114の処理により設定された、仮想キャラクタ103(の感情)を示す画像、仮想キャラクタ103のメッセージ、仮想キャラクタ103の感情を示すエフェクト等が会話画面360において表示される。
 コミュニケーション管理サーバ113の履歴管理部190は、ステップS265において、以上のように伝送されたメッセージやそのメッセージに付与された感情表現を、ログとして記録し、管理する。このログの記録場所は、コミュニケーション管理サーバ113の記憶部163であってもよいし、図示せぬその他のデータサーバ等であってもよい。
 以上のように、各処理を行うことにより、ユーザと仮想キャラクタのコミュニケーションを実現するとともに、そのコミュニケーションの表現力を向上させることができる。
  <その他のコミュニケーション>
 なお、以上のようなユーザ101と仮想キャラクタ103とのコミュニケーションにおいて、ユーザ101がコミュニケーションとして授受するデータは、任意であり、メッセージデータに限らず、例えばスタンプ画像のような所定の絵柄の画像データであってもよい。
 また、仮想キャラクタ103がデータ(メッセージやスタンプ画像等)を送信する際だけでなく、仮想キャラクタ103がデータを受信する際にも、その仮想キャラクタ103の感情表現を行うことができるようにしてもよい。例えば、予め設定された特定のメッセージや特定の図柄の画像データを受信する際に、データ送信元の端末装置131において、仮想キャラクタ103の感情表現が行われるようにしてもよい。
 さらに、仮想キャラクタ103に対して、所定のデータを送信することにより、その仮想キャラクタ103が有する感情表現能力が増大するようにしてもよい。
  <仮想キャラクタに対するその他のコミュニケーションに関する処理の流れ>
 仮想キャラクタに対するその他のコミュニケーションに関する処理の流れの例を、図28のフローチャートを参照して説明する。必要に応じて、図29および図30を参照して説明する。なお、ここでは、メッセージの代わりにスタンプ画像のデータがコミュニケーションとして送受信されるものとして説明する。
 スタンプ画像の送信元である端末装置131のコミュニケーション処理部263は、ステップS291において、例えば操作部221等を制御して、メッセージの入力を受け付ける。ユーザ101は、端末装置131の表示部231に表示される会話画面360においてメッセージを入力する。
 例えば図29に示されるように、ユーザ101は、スタンプ画像を入力するための所定の操作を行い、会話画面360をタップすることにより、そのタップした位置にスタンプ画像を入力することができる。図29の例では、ユーザにより入力された、ハート形のスタンプ画像421が会話画面360に表示されている。このスタンプ画像421の位置は、コミュニケーション表示領域363内であれば、何処でも良い。
 このように所定の形(例えばハート形)のスタンプ画像が入力されると、そのスタンプ画像のデータを受信する側である仮想キャラクタ103の感情表現が、端末装置131の会話画面360において行われる。つまり、この場合、メッセージやスタンプ画像等のデータによる応答は行われないが、感情表現を用いた応答が行われる。例えば、図29に示されるようにハート形のスタンプ画像421が入力(つまり、仮想キャラクタ103に送信)されると、画像表示領域381に表示される仮想キャラクタ103を示す画像の表情が、「喜び」を示す表情(例えば笑顔)に変わるようにしてもよい。
 また、入力されたスタンプ画像421の数に応じて、仮想キャラクタ103の感情表現能力が向上するようにしてもよい。例えば、図30に示されるように、各感情を表す仮想キャラクタ103を示す画像の表情の種類が、以上のように入力されたスタンプ画像421の数に応じて増大するようにしてもよい。つまり、スタンプ画像421がより多く得られる程、コミュニケーションの表現力が向上するようにすることができる。
 図28に戻り、ステップS291においてスタンプ画像の入力が受け付けられると、端末装置131のコミュニケーション処理部263は、ステップS292において、その受け付けたスタンプ画像等をコミュニケーション管理サーバ113に送信する。コミュニケーション管理サーバ113のコミュニケーション管理部189は、ステップS301において、そのスタンプ画像等を受信し、その受信されたスタンプ画像等を、ステップS302において、解析サーバ114に供給する。
 解析サーバ114のメッセージ解析部191は、ステップS311において、そのスタンプ画像等を取得し、ステップS312において、そのスタンプ画像を解析する。つまり、スタンプ画像が予め定められた所定のスタンプ画像421であるか否かが判定される。ステップS313において、解析サーバ114のメッセージ解析部191は、そのスタンプ画像とスタンプ画像の解析結果を仮想キャラクタ管理サーバ112に供給する。
 仮想キャラクタ管理サーバ112の設定管理部183は、ステップS321において、供給されたスタンプ画像およびスタンプ画像の解析結果を取得する。供給されたスタンプ画像が予め定められた所定のスタンプ画像421である場合、設定管理部183は、ステップS322において、取得したスタンプ画像421の数を集計する。ステップS323において、設定管理部183は、集計の結果(すなわち取得したスタンプ画像421の数)に応じて、当該仮想キャラクタ103の設定を更新する。例えば、図30に示されるように、各感情を表す画像として用いられる画像(表情)が更新される(より多くのスタンプ画像を得る程、より多くの画像を利用することができるようになる)。
 ステップS324において、設定管理部183は、スタンプ画像の集計結果や更新した設定等の情報を解析サーバ114に供給する。ステップS314において、解析サーバ114の感情設定部192は、スタンプ画像の集計結果や更新した設定等の情報に基づいて、仮想キャラクタ103の感情を設定する。ステップS316において、エフェクト設定部193は、その設定された感情に対応するエフェクト(演出画像)を設定する。
 ステップS317において、エフェクト設定部193は、設定された感情やエフェクトに関する情報をコミュニケーション管理サーバ113に供給する。コミュニケーション管理サーバ113のコミュニケーション管理部189は、ステップS303において、その感情やエフェクトに関する情報を取得すると、ユーザ管理サーバ111のユーザ情報管理部181が管理するユーザ情報等に基づいて、感情に応じた仮想キャラクタ103を示す画像を取得し、その画像やエフェクト等を用いて、会話画面630を生成する。
 ステップS304において、コミュニケーション管理部189は、以上のようにメッセージとともに感情表現が施された会話画面630のデータを、スタンプ画像の送信元である端末装置131に供給する。端末装置131のコミュニケーション処理部263は、ステップS293において、その会話画面630のデータを取得する。端末装置131のコミュニケーション処理部263は、ステップS294において、その会話画面360を表示部231に表示させる。つまり、コミュニケーション管理サーバ113や解析サーバ114の処理により設定された、仮想キャラクタ103(の感情)を示す画像、仮想キャラクタ103の感情を示すエフェクト等が会話画面360において表示される。
 コミュニケーション管理サーバ113の履歴管理部190は、ステップS305において、以上のように伝送されたスタンプ画像やそのスタンプ画像に付与された感情表現を、ログとして記録し、管理する。このログの記録場所は、コミュニケーション管理サーバ113の記憶部163であってもよいし、図示せぬその他のデータサーバ等であってもよい。
 以上のように、各処理を行うことにより、ユーザと仮想キャラクタのより多様なコミュニケーションを実現するとともに、そのコミュニケーションの表現力を向上させることができる。
 なお、以上においては、ユーザ101と他のユーザの仮想キャラクタ103とのコミュニケーションについて説明したが、ユーザ101とそのユーザ101の仮想キャラクタ103とのコミュニケーションも、上述したユーザ101と他のユーザの仮想キャラクタ103とのコミュニケーションの場合と同様に処理を行うことができる。つまり、ユーザ101とそのユーザ101の仮想キャラクタ103とのコミュニケーションにも、上述した説明を適用することができる。
  <他のユーザと仮想キャラクタとのコミュニケーションに関する処理の概要>
 なお、他のユーザが当該ユーザ101の仮想キャラクタ103とコミュニケーションを行っている間、当該ユーザ101の端末装置131の表示部231には、そのコミュニケーションの内容を示す情報が表示されるようにしてもよい。
 例えば、図31に示されるように、他のユーザであるユーザ101-2が端末装置131-2を操作してサーバ110と通信を行い、ユーザ101-1の仮想キャラクタ103-1とのコミュニケーションを行っている間に、そのコミュニケーションの内容を示す情報が、サーバ110から端末装置131-1に供給され、表示されるようにしてもよい。
 この、「(他のユーザと当該ユーザ101の仮想キャラクタ103との)コミュニケーションの内容を示す画像」は、どのようなものであってもよい。例えば、他のユーザと当該ユーザ101の仮想キャラクタ103との間で行われた全てのコミュニケーション(授受されたメッセージや感情表現等)であってもよいし、授受されたメッセージや感情表現の一部を抜粋したもの(サマリ)であってもよいし、コミュニケーションの様子を具体的若しくは抽象的に表すような、授受されたメッセージや感情表現等以外の画像や音声であってもよい。
 また、当該ユーザ101が、他のユーザが当該ユーザ101の仮想キャラクタ103とコミュニケーションに途中から参加する(つまり、仮想キャラクタ103と入れ替わる)ことができるようにしてもよい。その場合、他のユーザが当該ユーザ101の仮想キャラクタ103とコミュニケーションを行っている間、当該ユーザ101の端末装置131の表示部231に、途中参加を受け付ける画像を表示させるようにしてもよい。
 例えば、図31に示されるように、他のユーザであるユーザ101-2が端末装置131-2を操作してサーバ110と通信を行い、ユーザ101-1の仮想キャラクタ103-1とのコミュニケーションを行っているところに、ユーザ101が端末装置131-1を操作してサーバ110にアクセスし、そのコミュニケーションに途中参加するようにしてもよい。途中参加が行われると、図19の例のような状態になり、ユーザ同士のコミュニケーションが行われる。
  <他のユーザと仮想キャラクタとのコミュニケーションに関する処理の流れ>
 他のユーザと仮想キャラクタとのコミュニケーションに関する処理の流れの例を、図32のフローチャートを参照して説明する。必要に応じて図33乃至図35を参照して説明する。
 メッセージ送信元である端末装置131-2のコミュニケーション処理部263は、ステップS361において、例えば操作部221等を制御して、メッセージの入力を受け付ける。ユーザ101-2は、端末装置131-2の表示部231に表示される会話画面360においてメッセージを入力する。
 ステップS251においてメッセージの入力が受け付けられると、端末装置131-2のコミュニケーション処理部263は、ステップS362において、その受け付けたメッセージ等をコミュニケーション管理サーバ113に送信する。コミュニケーション管理サーバ113のコミュニケーション管理部189は、ステップS341において、そのメッセージ等を受信し、その受信されたメッセージ等を、ステップS342において、解析サーバ114に供給する。
 解析サーバ114のメッセージ解析部191は、ステップS351において、そのメッセージ等を取得し、ステップS352において、そのメッセージを解析する。ステップS353において、解析サーバ114の感情設定部192は、仮想キャラクタ103の感情を設定する。ステップS354において、エフェクト設定部193は、その設定された感情に対応するエフェクト(演出画像)を設定する。
 なお、例えば図27の例のように、仮想キャラクタ103の応答メッセージを生成する場合、仮想キャラクタ管理サーバ112が、図27の場合と同様に応答メッセージを生成し、解析サーバ114が、感情を設定したり、エフェクト(演出画像)を設定したりする。
 ステップS354において、エフェクト設定部193は、設定された感情やエフェクトに関する情報をコミュニケーション管理サーバ113に供給する。コミュニケーション管理サーバ113のコミュニケーション管理部189は、ステップS343において、その感情やエフェクトに関する情報を取得すると、ユーザ管理サーバ111のユーザ情報管理部181が管理するユーザ情報等に基づいて、感情に応じた仮想キャラクタ103を示す画像を取得し、仮想キャラクタ103のメッセージとともにその画像やエフェクト等を用いて、会話確認画面を生成する。
 なお、この場合も、図27等を参照して説明したように、会話画面が端末装置131-2に供給されるが、その説明は省略する。
 ステップS344において、コミュニケーション管理部189は、この会話確認画面のデータを、仮想キャラクタ側の端末装置131-1に供給する。端末装置131-1の割り込み処理部264は、ステップS331において、その会話確認画面のデータを取得する。端末装置131-1のコミュニケーション処理部263は、ステップS332において、その会話確認画面を表示部231に表示させる。
 図33は、会話確認画面の例を示す図である。図33に示されるように会話確認画面430には、他のユーザと自身の仮想キャラクタ103とがコミュニケーション中であることを示す画像が表示されるとともに、途中参加を行う際にユーザ101が操作する途中参加画面431が表示されている。この途中参加画面431には、「○○○が×××Pと会話中です」といった、他のユーザと自身の仮想キャラクタ103とがコミュニケーション中であることを示す表示がなされる。ユーザ101がこの途中参加画面431の「本人乱入する」のリンクをタップすると、仮想キャラクタ103-1に変わりユーザ101-1がユーザ101-2のコミュニケーションの相手となり、ユーザ同士のコミュニケーションが開始される。
 また、図34のAに示される会話確認画面432のように、授受されたメッセージが表示されるようにしてもよい。この会話確認画面432にはGOボタン432Aが設けられており、ユーザ101がこのGOボタン432Aを操作すると、仮想キャラクタ103-1に変わりユーザ101-1がユーザ101-2のコミュニケーションの相手となり、ユーザ同士のコミュニケーションが開始される。
 さらに、図34のBに示される会話確認画面433のように、授受されたメッセージの解析結果に応じて、その表示が変化するようにしてもよい。例えば、図34のように、「私、もうだめ。。。自身ない。。」といった所定の感情のメッセージが表示されると、会話確認画面433の色や模様が変化する(図34のBの例の場合、斜線模様になる)ようにしてもよい。会話確認画面433には、GOボタン433Aが設けられており、ユーザ101がこのGOボタン433Aを操作すると、仮想キャラクタ103-1に変わりユーザ101-1がユーザ101-2のコミュニケーションの相手となり、ユーザ同士のコミュニケーションが開始される。このように状況に応じてユーザ101による途中参加を促すような表示とするようにしてもよい。
 さらに、図35のAに示されるような会話確認画面434としてもよい。会話確認画面434には、通常、図35のAに示されるような障子の絵柄が表示されている。この状態は、他のユーザと自身の仮想キャラクタとの間のコミュニケーションにおいて、特筆すべき事が生じていないことを示している。この状態において、ユーザ101が障子を開くような操作をすると、仮想キャラクタ103-1に変わりユーザ101-1がユーザ101-2のコミュニケーションの相手となり、ユーザ同士のコミュニケーションが開始される(つまり、ユーザ101が途中参加する)。
 また、例えば、他のユーザと自身の仮想キャラクタとの間のコミュニケーションにおいて、当該ユーザ101が途中参加したくなるような良い事が発生した場合、会話確認画面434は、図35のBに示されるように、障子が半開きになり、その障子の奥の音符マークのような楽しそうな絵柄が見えるようになる。この状態において、ユーザ101が障子を開くような操作をすると、仮想キャラクタ103-1に変わりユーザ101-1がユーザ101-2のコミュニケーションの相手となり、ユーザ同士のコミュニケーションが開始される(つまり、ユーザ101が途中参加する)。
 さらに、例えば、他のユーザと自身の仮想キャラクタとの間のコミュニケーションにおいて、当該ユーザ101が途中参加せざる負えないような事態が発生した場合、会話確認画面434は、図35のCに示されるように、障子が炎上したような画像になる。この状態において、ユーザ101が障子を開くような操作をすると、仮想キャラクタ103-1に変わりユーザ101-1がユーザ101-2のコミュニケーションの相手となり、ユーザ同士のコミュニケーションが開始される(つまり、ユーザ101が途中参加する)。このように状況に応じてユーザ101による途中参加を促すような表示とするようにしてもよい。
 もちろん、これら以外の例であってもよい。
 図32に戻り、ステップS333において、割り込み処理部264は、以上のような会話確認画面において行われるユーザ101等による途中参加指示の入力を受け付ける。途中参加指示が受け付けられると、割り込み処理部264は、ステップS334において、受け付けた途中参加指示をコミュニケーション管理サーバ113に供給する。
 コミュニケーション管理サーバ113の状態管理部188は、ステップS346において、ユーザ101-1およびその仮想キャラクタ103-1の状態を更新する。つまり、ユーザ101-1がコミュニケーションの相手となる。
 ステップS347において、コミュニケーション管理サーバ113のコミュニケーション管理部189は、ユーザ101-1がコミュニケーションの相手となる会話画面を生成し、それを端末装置131-2に供給する。
 端末装置131-2のコミュニケーション処理部263は、ステップS363において、その会話画面を取得すると、ステップS364において、その会話画面を表示部231に表示させる(会話画面を更新する)。
 また、コミュニケーション管理サーバ113の履歴管理部190は、ステップS348において、以上のように伝送されたメッセージやそのメッセージに付与された感情表現を、ログとして記録し、管理する。このログの記録場所は、コミュニケーション管理サーバ113の記憶部163であってもよいし、図示せぬその他のデータサーバ等であってもよい。
 以上のように、各処理を行うことにより、ユーザと仮想キャラクタのコミュニケーションを実現するとともに、そのコミュニケーションの表現力を向上させることができる。
  <ブロックモードの概要>
 以上のように本コミュニケーションシステム100を用いたコミュニケーションにおいて、応答の仕方を変えるモードを設けるようにしてもよい。例えば、上述したように、あるユーザをコミュニケーションを行うためには、そのユーザを予めお友達として登録しておく必要がある。換言するに、あるユーザとのコミュニケーションを拒否したい場合、そのユーザをお友達から外せば良い。ただし、このような処置を行うと、それまでの関係がリセットされ、メッセージ履歴等もシステムから破棄されてしまう。再度そのユーザとコミュニケーションを行う場合、改めて、お友達として登録し直す必要がある。
 このような方法でしかコミュニケーションを拒否することができないと、例えば一時的にコミュニケーションを拒否したい場合等において、不都合が生じる可能性がある。
 そこで、通常の状態と応答方法が異なるブロックモードを設けるようにしてもよい。これまでに説明した、ユーザ101でも仮想キャラクタ103でもコミュニケーション可能な状態を通常モードとすると、ブロックモードでは、仮想キャラクタ103によるコミュニケーションしか行うことができない。また、ブロックモードの場合、仮想キャラクタ103は、通常モードの場合の応答メッセージと異なる応答メッセージを返す。
 このようなブロックモードを設けることにより、ユーザ101は、より多様な状況に応じたコミュニケーションを行うことができる。つまり、コミュニケーションの表現力を増大させることができる。
 このようなブロックモードの設定や解除は、図36に示されるように、ユーザ101が端末装置131を操作し、ユーザ管理サーバ111、仮想キャラクタ管理サーバ112、およびコミュニケーション管理サーバ113等と情報を授受することにより、行うことができる。
  <ブロックモードの設定に関する処理の流れ>
 図37のフローチャートを参照して、ブロックモードの設定に関する処理の流れの例を説明する。
 ステップS371において、端末装置131-1のモード設定部265は、ブロックモード設定指示を受け付ける。例えば、ユーザ101-1が指示を入力する等して、ユーザ101-2に対するブロックモードの設定指示が受け付けられると、モード設定部265は、ステップS372において、受け付けられたブロックモード設定指示を、仮想キャラクタ管理サーバ112に送信する。
 仮想キャラクタ管理サーバ112のモード管理部185は、ステップS391において、そのブロックモード設定指示を受信し、ステップS392において、その指示に従って、そのユーザ101-1に対応する仮想キャラクタ103-1の、ユーザ101-2に対するモードをブロックモードに設定する。
 モード管理部185は、ステップS393において、ブロックモード設定指示を、コミュニケーション管理サーバ113に供給する。
 コミュニケーション管理サーバ113の広場管理部187は、ステップS401において、そのブロックモード設定指示を取得し、ステップS402において、要求元のユーザ101-1の広場画面における、ブロックモードの対象となるお友達(ユーザ101-2)の画像をブロックモードにする。ステップS403において、広場管理部187は、その更新した広場画面を、端末装置131-1に送信する。
 端末装置131-1の広場処理部262は、ステップS373において、その更新された広場画面を受信し、ステップS374において、その更新された広場画面を表示部231に表示させる。つまり、ブロックモードの対象となるお友達の画像をブロックモードの画像にした広場画面が端末装置131-1の表示部231に表示される。これにより、ブロックモードを設定したユーザ101-1は、広場画面において、どのお友達に対してブロックモードを設定したかをより容易に把握することができる。
 また、コミュニケーション管理サーバ113の広場管理部187は、ステップS404において、要求先のユーザ101-2の広場画面における、要求元のお友達(ユーザ101-1)の画像を仮想キャラクタ103にする。ステップS405において、広場管理部187は、その更新した広場画面を、端末装置131-2に送信する。
 端末装置131-2の広場処理部262は、ステップS381において、その更新された広場画面を受信し、ステップS382において、その更新された広場画面を表示部231に表示させる。つまり、ブロックモードの要求元となるお友達の画像を仮想キャラクタにした広場画面が端末装置131-2の表示部231に表示される。
 このようにブロックモードが設定されると、ユーザ101-2(端末装置131-2)は、ユーザ101-2に対してブロックモードを設定したユーザ101-1とコミュニケーションを行うことができない(仮想キャラクタ103-1とのコミュニケーションしか行うことができない)。また、ブロックモードの場合、仮想キャラクタ103-1は、通常モードの場合と異なる応答を返す。例えば、仮想キャラクタ103-1が、ユーザ101-2からのメッセージに関わらず、予め定められた所定のメッセージを返すようにしてもよい。
 なお、この場合も、ユーザ101-2は、ユーザ101-2に対してブロックモードを設定していない他のユーザに対しては、ユーザとも仮想キャラクタともコミュニケーションを行うことができる(通常モードのままである)。同様に、ユーザ101-1は、ブロックモードを設定したユーザ101-2以外のユーザに対しては、ユーザとも仮想キャラクタともコミュニケーションを行うことができる(通常モードのままである)。
 この状態において、ユーザ101-2からみて、ユーザ101-1(仮想キャラクタ103-1)が自分に対してブロックモードであるか否かを判別することができるようにしてもよいし、判別することができないようにしてもよい。
  <ブロックモードの解除に関する処理の流れ>
 図38のフローチャートを参照して、ブロックモードの解除に関する処理の流れの例を説明する。例えば、ユーザ101-1に対応する仮想キャラクタ103-1に、ユーザ101-2に対するブロックモードが設定されている状態とする。
 ステップS411において、端末装置131-1のモード設定部265は、ブロックモード解除指示を受け付ける。例えば、ユーザ101-1が指示を入力する等して、ユーザ101-2に対するブロックモードの解除指示が受け付けられると、モード設定部265は、ステップS372において、受け付けられたブロックモード解除指示を、仮想キャラクタ管理サーバ112に送信する。
 仮想キャラクタ管理サーバ112のモード管理部185は、ステップS431において、そのブロックモード解除指示を受信し、ステップS432において、その指示に従って、そのユーザ101-1に対応する仮想キャラクタ103-1に設定された、ユーザ101-2に対するブロックモードを解除する。
 モード管理部185は、ステップS433において、ブロックモード解除指示を、コミュニケーション管理サーバ113に供給する。
 コミュニケーション管理サーバ113の広場管理部187は、ステップS441において、そのブロックモード解除指示を取得し、ステップS442において、要求元のユーザ101-1の広場画面における、ブロックモードの対象となるお友達(ユーザ101-2)の画像を通常モードにする。ステップS443において、広場管理部187は、その更新した広場画面を、端末装置131-1に送信する。
 端末装置131-1の広場処理部262は、ステップS413において、その更新された広場画面を受信し、ステップS414において、その更新された広場画面を表示部231に表示させる。つまり、ブロックモードの対象とされていたお友達の画像を通常モードの画像にした広場画面が端末装置131-1の表示部231に表示される。これにより、ブロックモードを解除したユーザ101-1は、広場画面において、ブロックモードが解除されたことをより容易に把握することができる。
 また、コミュニケーション管理サーバ113の広場管理部187は、ステップS444において、要求先のユーザ101-2の広場画面における、要求元のお友達(ユーザ101-1)の画像をユーザ101にする。ステップS445において、広場管理部187は、その更新した広場画面を、端末装置131-2に送信する。
 端末装置131-2の広場処理部262は、ステップS421において、その更新された広場画面を受信し、ステップS382において、その更新された広場画面を表示部231に表示させる。つまり、ブロックモードの要求元であったお友達の画像をユーザ101に戻した広場画面が端末装置131-2の表示部231に表示される。
 このようにブロックモードが解除されると、ユーザ101-2(端末装置131-2)は、ユーザ101-1とも仮想キャラクタ103-1ともコミュニケーションを行うことができる(通常モードになる)。また、仮想キャラクタ103-1の応答も、通常モードの応答となる。
 なお、以上においては、ブロックモードが解除された広場画面のお友達の画像をユーザ101にするように説明したが、仮想キャラクタ103のままとしてもよい(その場合も通常モードである)。
  <お友達削除に関する処理の流れ>
 図39のフローチャートを参照して、ブロックモードではなく、所望のユーザをお友達から削除する場合の処理の流れの例を説明する。
 ステップS451において、端末装置131のモード設定部265は、お友達削除指示を受け付ける。例えば、ユーザ101-1が指示を入力する等して、所定の他のユーザに対するお友達削除指示が受け付けられると、モード設定部265は、ステップS452において、受け付けられたお友達削除指示を、ユーザ管理サーバ111に送信する。
 ユーザ管理サーバ111のユーザ情報管理部181は、ステップS471において、そのお友達削除指示を受信し、ステップS472において、その指示に従って、そのユーザ101のお友達から、指定された他のユーザを削除する。そしてステップS473において、ユーザ情報管理部181は、お友達から削除したことをコミュニケーション管理サーバ113に通知する。
 コミュニケーション管理サーバ113の広場管理部187は、ステップS461において、その通知を取得し、ステップS462において、要求元のユーザ101の広場画面における、処理対象となるお友達の画像を削除する。ステップS463において、広場管理部187は、その更新した広場画面を、端末装置131に送信する。
 端末装置131の広場処理部262は、ステップS453において、その更新された広場画面を受信し、ステップS454において、その更新された広場画面を表示部231に表示させる。つまり、処理対象のお友達の画像を削除した広場画面が端末装置131の表示部231に表示される。
 以上のように各種処理を行うことにより、通常モードとも、お友達の削除とも異なる動作モードであるブロックモードを実現することができる。
  <学習処理の流れ>
 なお、仮想キャラクタ103が、応答の仕方を、その仮想キャラクタ103に対応するユーザ101の応答の仕方に基づいて学習するようにしてもよい。このようにすることにより、仮想キャラクタ103が、よりユーザ101の応答の仕方に近づけることができ、より個性的な応答を返すことができるようになる。つまり、コミュニケーションの表現力を向上させることができる。
 図40のフローチャートを参照して、このような仮想キャラクタ103の応答の学習に関する処理の流れの例を説明する。
 例えば、端末装置131のコミュニケーション処理部263がステップS481において、コミュニケーション管理サーバ113のコミュニケーション管理部189等がステップS491において、それぞれ会話(メッセージの授受など)に関する処理を行っているとする。このようにメッセージの授受が行われると、コミュニケーション管理サーバ113の履歴管理部190は、ステップS492において、その会話ログ(授受されたメッセージのログ)を、仮想キャラクタ管理サーバ112に供給する。
 仮想キャラクタ管理サーバ112の学習部184は、ステップS501において、その会話ログを取得すると、ステップS502において、取得した会話ログに基づいて、応答方法を学習する。
 例えば、具体的にユーザ101が行ったメッセージのやり取りを記憶し、そのパターンに当てはまる場合、そのメッセージを用いて応答するようにしてもよい。また、パターン解析を行うようにしてもよい。また、ユーザ101による応答メッセージの使用頻度等に基づいて重み付けをして最適な応答メッセージを検出するようにしてもよい。
  <履歴表示>
 上述したように、会話画面360においては、基本的にメッセージ履歴は表示しないように説明したが、メッセージ履歴を表示することができるようにしてももちろんよい。その場合、会話画面360と異なる画面にメッセージ履歴が表示されるようにしてもよい。このようにすることにより、会話画面360の上述した特徴を保ちながら、メッセージ履歴を表示させることができるようになる。つまり、この場合も、コミュニケーションの表現力を増大させることができる。
 例えば、図41に示されるように、ユーザ101が、会話画面360において、指441を画面上から下に向かってスライドさせると、会話画面360の上側から、会話画面360の手前に重畳された状態で、メッセージ履歴を表示するメッセージ履歴表示画面442が表示されるようにしてもよい。
 メッセージ履歴表示画面442の表示例を図42に示す。図42に示されるように、メッセージ履歴表示画面442は、表示部231の表示領域よりも広い画面であってもよい。図42の例の場合、点線枠443で囲まれる領域が、表示部231の表示領域を示している。この場合、ユーザ101が、メッセージ履歴表示画面442を上下にスライドさせることにより、全てのメッセージ履歴を表示部231に表示させることができる。
 上述したように、コミュニケーションシステム100を用いたコミュニケーションでは、ユーザ101同士のコミュニケーションの他に、ユーザ101と仮想キャラクタ103とのコミュニケーションを行うことができる。ユーザ101と仮想キャラクタ103とは互いに対応しており、無関係ではないので、これらのコミュニケーションをそれぞれ別の履歴として表示させると、ユーザ101にとって分かり難い表示となってしまう可能性がある。
 例えば、コミュニケーションの途中で、コミュニケーションを行う者が、ユーザ101から仮想キャラクタ103に変わったり、仮想キャラクタ103からユーザ101に変わったりすることができるが、ユーザ101同士のコミュニケーションの履歴と、ユーザ101と仮想キャラクタ103とのコミュニケーションの履歴とを別々に表示させると、会話の繋がりが不明確になり、履歴としての価値が低減する可能性がある。
 そこで、図42に示される例のように、ユーザ同士のコミュニケーションの履歴を表す第1の表示、並びに、ユーザの代わりに応答することができる仮想キャラクタとユーザとのコミュニケーションの履歴を表す第2の表示の両方を、同一の時系列に沿って並べた状態で、表示部231に表示させるようにしてもよい。
 図42に示される例においては、ユーザ101のメッセージも、仮想キャラクタ103のメッセージも1つの時系列に沿って(例えば、上から下に向かって)並べられて表示されている。
 このようにすることにより、コミュニケーションを行うのがユーザ101であっても仮想キャラクタ103であっても、1つの時系列として履歴を参照することができるようになり、メッセージ履歴が見やすくなる。そのため、メッセージ履歴の見やすさを低減させずに、ユーザ101と仮想キャラクタ103とを用いたコミュニケーションを実現することができ、より多様なコミュニケーションを行うことができるようになる。すなわち、コミュニケーションの表現力を向上させることができる。なお、以上においてはメッセージの履歴として説明したが、メッセージ以外の情報が含まれていてもよい。つまり、コミュニケーションの履歴であってもよい。
 なお、上述したユーザ同士のコミュニケーションの履歴は、所定のユーザである第1のユーザと、その第1のユーザ以外の他のユーザとのコミュニケーションの履歴を含むようにしてもよい。また、上述した仮想キャラクタとユーザとのコミュニケーションの履歴は、第1のユーザと他のユーザに対応する仮想キャラクタとのコミュニケーションの履歴、または、第1のユーザに対応する仮想キャラクタと他のユーザとのコミュニケーションの履歴を含むようにしてもよい。
 上述した第1の表示は、第1のユーザから他のユーザに送られたメッセージ、または、他のユーザから第1のユーザに送られたメッセージを表すテキスト情報を含むようにしてもよい。また、上述した第2の表示は、第1のユーザから他のユーザに対応する仮想キャラクタに送られたメッセージ、または、他のユーザに対応する仮想キャラクタから第1のユーザに送られたメッセージを表すテキスト情報、または、第1のユーザに対応する仮想キャラクタから他のユーザに送られたメッセージ、または、他のユーザから第1のユーザに対応する仮想キャラクタに送られたメッセージを表すテキスト情報を含むようにしてもよい。
 つまり、上述したいずれのパターンのコミュニケーションのメッセージ履歴も同様に表示させるようにすることができる。
 上述したコミュニケーションの履歴は、各メッセージを授受した際に割り当てられた感情を表現する第3の表示をさらに含むようにしてもよい。また、そのメッセージを授受した際に割り当てられる感情表現を、表示部231に表示させるようにしてもよい。
 図42の例では、各メッセージとともに、そのメッセージに割り当てられた感情表現が表示されている。このようにすることにより、メッセージ履歴の内容がより直感的に把握することができるようなる。そのため、メッセージ履歴の見やすさを低減させずに、より多様なコミュニケーションを行うことができるようになる。
 また、感情表現は、メッセージの発信者となるユーザ若しくは仮想キャラクタの顔画像の表情を含むようにしてもよい。また、各メッセージとともに、そのメッセージの感情を表す表情をした、そのメッセージの発信者となるユーザ若しくは仮想キャラクタの顔画像を、表示部231に表示させるようにしてもよい。
 例えば、図42の場合、メッセージ453とメッセージ454には、ユーザ101(若しくは仮想キャラクタ103)の顔画像が、感情表現として付加されている。このようにすることにより、そのメッセージに対応する感情がより直感的に把握することができるようなる。そのため、メッセージ履歴の見やすさを低減させずに、より多様なコミュニケーションを行うことができるようになる。
 また、感情表現は、メッセージの感情を表す演出画像を含むようにしてもよい。また、各メッセージとともに、そのメッセージの感情を表す演出画像を、表示部231に表示させるようにしてもよい。
 例えば、図42の場合、メッセージ456には、クエスチョンマークが付加されて、メッセージ457には、エクスクラメーションマークが付加されている。このように、感情表現は、顔画像に限定されない。
 また、感情表現は、メッセージの感情を表す吹き出し形状を含むようにしてもよい。また、各メッセージとともに、そのメッセージの感情を表す形状の吹き出しを、表示部231に表示させるようにしてもよい。
 図42の例の場合、メッセージ451乃至メッセージ458の各メッセージは、それぞれ、様々なデザインの吹き出し内に表示されている。この吹き出しのデザイン(サイズ、形状、模様、色等の任意の視覚的効果)を用いて感情表現を行うようにしてもよい。なお、吹き出しだけでなく、メッセージそのもののデザイン(フォント種類、サイズ、形状、模様、色等の任意の視覚的効果)を用いて感情表現を行うようにしてもよい。
 また、感情表現は、メッセージを授受した際の、そのメッセージの受信者となる第1のユーザ、または、他のユーザをセンシングすることにより得られる情報に基づくようにしてもよい。
 例えば、端末装置131の撮影部223により、メッセージを受信した際のユーザ101を撮影し、その撮影画像に基づいて感情表現が行われるようにしてもよい。また、例えば、端末装置131のセンサ部225により、メッセージを受信した際のユーザ101の脈拍、脳波、発汗などをセンシングし、そのセンシングにより得られた情報(生体センシング情報)に基づいて、感情表現が行われるようにしてもよい。なお、これらの場合も、感情表現の方法は任意である。例えば、端末装置131の撮影部223により、メッセージを受信した際のユーザ101の顔を撮影し、その撮影画像(すなわち、メッセージを受信した際のユーザ101の顔画像)を用いて感情表現が行われるようにしてもよい。
 第1のユーザから他のユーザ若しくは他のユーザに対応する仮想キャラクタに送られたメッセージと、第1のユーザに対応する仮想キャラクタから他のユーザに送られたメッセージとを、互いに識別可能な状態で表示部231に表示させるようにしてもよい。また、他のユーザから第1のユーザ若しくは第1のユーザに対応する仮想キャラクタに送られたメッセージと、他のユーザに対応する仮想キャラクタから第1のユーザに送られたメッセージとを、互いに識別可能な状態で表示部231に表示させるようにしてもよい。
 図42の例の場合、吹き出しの色(模様)を変えることによって、これらのメッセージを識別可能な状態としている。例えば、メッセージ履歴表示画面442の左側の白地の吹き出しに表示されるメッセージ451とメッセージ457は、第1のユーザから他のユーザ若しくは他のユーザに対応する仮想キャラクタに送られたメッセージである。また、メッセージ履歴表示画面442の左側の斜線模様の吹き出しに表示されるメッセージ453とメッセージ455は、第1のユーザに対応する仮想キャラクタから他のユーザに送られたメッセージである。また、メッセージ履歴表示画面442の右側の白地の吹き出しに表示されるメッセージ452、メッセージ454、メッセージ456は、他のユーザから第1のユーザ若しくは第1のユーザに対応する仮想キャラクタに送られたメッセージである。さらに、メッセージ履歴表示画面442の右側の斜線模様の吹き出しに表示されるメッセージ458は、他のユーザに対応する仮想キャラクタから第1のユーザに送られたメッセージである。
 このようにすることにより、これらのメッセージをより容易に識別することができるようになる。そのため、メッセージ履歴の見やすさを低減させずに、より多様なコミュニケーションを行うことができるようになる。
 なお、メッセージの並べ替えの指示を受け付ける指示受付部をさらに備えるようにしてもよい。また、その指示受付部によりメッセージの並べ替えの指示が受け付けられた場合、指示受付部により受け付けられた、メッセージの並べ替えの条件に従って各メッセージを並べ変えて、表示部231に表示させるようにしてもよい。
 このような指示受付部として、例えば、操作部221やタッチパネル222等を設けるようにしてもよい。また、ユーザ101等が所望する条件に応じてメッセージの並べ替えを行うことができるようにすることにより、ユーザ101にとってより見やすい形式で履歴を表示させることができるようになる。そのため、メッセージ履歴の見やすさを低減させずに、より多様なコミュニケーションを行うことができるようになる。
 また、メッセージの選択の指示を受け付ける指示受付部をさらに備えるようにしてもよい。また、その指示受付部によりメッセージの選択の指示が受け付けられた場合、指示受付部により受け付けられた、メッセージの選択の条件に従ってメッセージを選択し、選択したメッセージを、表示部231に表示させるようにしてもよい。
 このような指示受付部として、例えば、操作部221やタッチパネル222等を設けるようにしてもよい。また、ユーザ101等が所望する条件に応じてメッセージの選択を行うことができるようにすることにより、ユーザ101にとって不要な履歴の表示を低減し、より見やすい形式で履歴を表示させることができるようになる。そのため、メッセージ履歴の見やすさを低減させずに、より多様なコミュニケーションを行うことができるようになる。
 このような並べ替えや選択の条件の具体的な内容は任意である。例えば、ユーザ101や仮想キャラクタ103等のように、メッセージの送信者や受信者を条件としてもよい。また、例えば、メッセージに対応付けられた感情(感情表現)を条件としてもよい。
 通信部を介して他の情報処理装置と通信を行ってメッセージを授受させることにより、情報処理装置自身のユーザと他の情報処理装置のユーザとのコミュニケーション、情報処理装置自身のユーザと他の情報処理装置のユーザに対応する仮想キャラクタとのコミュニケーション、並びに、情報処理装置自身のユーザに対応する仮想キャラクタと他の情報処理装置のユーザとのコミュニケーションを実現するコミュニケーション処理部をさらに備えるようにしてもよい。また、このようなコミュニケーション処理部により行われた、情報処理装置自身のユーザと他の情報処理装置のユーザとのコミュニケーションの履歴を表す第1の表示、並びに、情報処理装置自身のユーザと他の情報処理装置のユーザに対応する仮想キャラクタとのコミュニケーションの履歴、または、情報処理装置自身のユーザに対応する仮想キャラクタと他の情報処理装置のユーザとのコミュニケーションの履歴を表す前記第2の表示の両方を、同一の時系列に沿って並べた状態で、表示部231に表示させるようにしてもよい。
 つまり、例えば図42に示されるようなメッセージ履歴表示画面442を、端末装置131において生成するようにしてもよい。
 また、コミュニケーション用の画面であるコミュニケーション画面を表示部231に表示させた状態で、コミュニケーションを実現し、そのコミュニケーション画面と異なる履歴表示画面を表示部231に表示させ、その履歴表示画面において、上述した前記第1の表示および前記第2の表示の両方を、同一の時系列に沿って並べた状態で表示させるようにしてもよい。
 つまり、図42の例のように、コミュニケーション画面である会話画面360と異なるメッセージ履歴表示画面442にコミュニケーションの履歴を表示させるようにしてもよい。
 また、コミュニケーション画面において、コミュニケーションの相手である、他の情報処理装置のユーザ若しくは他の情報処理装置のユーザに対応する仮想キャラクタの顔画像、他の情報処理装置のユーザ若しくは他の情報処理装置のユーザに対応する仮想キャラクタから送られた1回分のメッセージ、並びに、他の情報処理装置のユーザ若しくは他の情報処理装置のユーザに対応する仮想キャラクタに送られた1回分のメッセージを表示させるようにしてもよい。
 つまり、コミュニケーション画面は、図21を参照して説明したような構成の会話画面360として実現するようにしてもよい。このような会話画面360を用いることにより、コミュニケーションの表現力を増大させることができる。
 また、コミュニケーション画面において、さらに、コミュニケーション画面に表示されるメッセージに割り当てられた感情表現を表示させるようにしてもよい。図21を参照して説明したように、会話画面360において、メッセージの他に感情表現を表示させるようにしてもよい。このような感情表現を用いることにより、コミュニケーションの表現力を増大させることができる。
 また、他の情報処理装置のユーザ若しくは他の情報処理装置のユーザに対応する仮想キャラクタから送られたメッセージに割り当てられた感情表現として、メッセージの感情を表す表情をした、他の情報処理装置のユーザ若しくは他の情報処理装置のユーザに対応する仮想キャラクタの顔画像を、コミュニケーション画面に表示させるようにしてもよい。
 図21を参照して説明したように、会話画面360の画像表示領域381には、初期設定において登録された感情毎の画像の中から、送受信されたメッセージから推定される感情に対応するものが選択されて表示されるようにしてもよい。
 また、他の情報処理装置のユーザ若しくは他の情報処理装置のユーザに対応する仮想キャラクタから送られたメッセージに割り当てられた感情表現として、メッセージの感情を表す演出画像を、コミュニケーション画面の任意の位置に表示させるようにしてもよい。
 この演出画像(エフェクト)は任意である。例えば、感情を表すような所定のスタンプ画像であってもよいし、コミュニケーション表示領域363に表示されるメッセージの表示領域のデザイン(サイズ、形状、模様、色等の任意の視覚的効果)やメッセージのデザイン(フォント種類、サイズ、形状、模様、色等の任意の視覚的効果)等であってもよいし、コミュニケーション表示領域363の一部若しくは全部の表示を変化させるような演出効果であってもよい。
 また、情報処理装置自身のユーザ若しくは情報処理装置自身のユーザに対応する仮想キャラクタから送られたメッセージに割り当てられた感情表現として、メッセージの感情を表す演出画像を、コミュニケーション画面の、他の情報処理装置のユーザ若しくは他の情報処理装置のユーザに対応する仮想キャラクタの顔画像が表示される領域に表示させるようにしてもよい。
 例えば、メッセージの受信側の会話画面360に、図25のBのようにコミュニケーション表示領域363全体に表示される演出画像(エフェクト)が、メッセージ送信側の会話画面360には、図25のAのように、画像表示領域381内にのみ表示されるようにしてもよい。このようにすることにより、コミュニケーションの表現力を向上させることができる。
 なお、表示部231をさらに備えるようにしてもよい。
  <履歴表示に関する処理の流れ>
 次にこのような履歴表示に関する処理の流れの例を、図43のフローチャートを参照して説明する。
 例えば、端末装置131の履歴表示制御部266は、ステップS511において、操作部221やタッチパネル222等を制御して、履歴表示指示の入力を受け付ける。例えば、ユーザ101等が行った、メッセージ履歴を表示させるように指示する履歴表示指示の入力が受け付けられると、履歴表示制御部266は、ステップS512において、受け付けた履歴表示指示を、コミュニケーション管理サーバ113に送信する。
 ステップS541において、コミュニケーション管理サーバ113の履歴管理部190は、その履歴表示指示を受信する。履歴管理部190は、ステップS542において、その指示に従って、履歴表示画面(例えば、図42のメッセージ履歴表示画面442)を生成する。履歴管理部190は、生成したその履歴表示画面を、ステップS543において、端末装置131に送信する。
 ステップS513において、端末装置131の履歴表示制御部266は、その履歴表示画面を受信する。履歴表示制御部266は、ステップS514において、その履歴表示画面を表示部231に表示させる。
 以上のように履歴表示画面の表示が行われる。
 また、メッセージ履歴を並べ替える場合、端末装置131の履歴表示制御部266は、ステップS515において、操作部221やタッチパネル222等を制御して、履歴の並べ替えを指示する履歴整列指示を受け付ける。例えば、ユーザ101等が行った、履歴整列指示の入力が受け付けられると、履歴表示制御部266は、ステップS516において、受け付けた履歴整列指示を、コミュニケーション管理サーバ113に送信する。
 ステップS544において、コミュニケーション管理サーバ113の履歴管理部190は、その履歴整列指示を受信する。履歴管理部190は、ステップS545において、その履歴整列指示において指定される条件で、履歴表示画面の履歴を整列させる。履歴管理部190は、履歴を並べ替えた履歴表示画面を、ステップS546において、端末装置131に送信する。
 ステップS517において、端末装置131の履歴表示制御部266は、その履歴表示画面を受信する。履歴表示制御部266は、ステップS518において、その履歴が整列された履歴表示画面を表示部231に表示させる。
 以上のように履歴表示画面における履歴の並べ替えが行われる。
 また、表示させるメッセージ履歴の絞り込み場合、端末装置131の履歴表示制御部266は、ステップS519において、操作部221やタッチパネル222等を制御して、表示させる履歴の選択を指示する履歴選択指示を受け付ける。例えば、ユーザ101等が行った、履歴選択指示の入力が受け付けられると、履歴表示制御部266は、ステップS520において、受け付けた履歴選択指示を、コミュニケーション管理サーバ113に送信する。
 ステップS547において、コミュニケーション管理サーバ113の履歴管理部190は、その履歴選択指示を受信する。履歴管理部190は、ステップS548において、その履歴選択指示において指定される条件で、履歴表示画面に表示させる履歴を選択する。履歴管理部190は、履歴を選択した履歴表示画面を、ステップS549において、端末装置131に送信する。
 ステップS521において、端末装置131の履歴表示制御部266は、その履歴表示画面を受信する。履歴表示制御部266は、ステップS522において、その履歴が選択された履歴表示画面を表示部231に表示させる。
 以上のように履歴表示画面における履歴の選択が行われる。
 以上のように各処理を行うことにより、ユーザ101の履歴だけでなく、仮想キャラクタ103の履歴も見やすく表示させることができ、履歴の見やすさの低減を抑制しながら、コミュニケーションにおけるより多様な表現を実現することができる。つまり、コミュニケーションの表現力を増大させることができる。
  <ソフトウェア>
 上述した一連の処理は、ハードウェアにより実行させることもできるし、ソフトウェアにより実行させることもできる。上述した一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムが、ネットワークや記録媒体からインストールされる。
 この記録媒体は、例えば、図3や図5に示されるように、装置本体とは別に、ユーザにプログラムを配信するために配布される、プログラムが記録されているリムーバブルメディア171やリムーバブルメディア251により構成される。このリムーバブルメディア171やリムーバブルメディア251には、磁気ディスク(フレキシブルディスクを含む)や光ディスク(CD-ROMやDVDを含む)が含まれる。さらに、光磁気ディスク(MD(Mini Disc)を含む)や半導体メモリ等も含まれる。
 その場合、例えばユーザ管理サーバ111乃至解析サーバ114等(またはサーバ110)においては、プログラムは、そのリムーバブルメディア171をドライブ165に装着することにより、記憶部163にインストールすることができる。また、例えば端末装置131においては、プログラムは、そのリムーバブルメディア251をドライブ215に装着することにより、記憶部213にインストールすることができる。
 また、このプログラムは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の伝送媒体を介して提供することもできる。その場合、例えばユーザ管理サーバ111乃至解析サーバ114等(またはサーバ110)においては、プログラムは、通信部164で受信し、記憶部163にインストールすることができる。また、例えば端末装置131においては、プログラムは、通信部214で受信し、記憶部213にインストールすることができる。
 その他、このプログラムは、記憶部やROM等に、あらかじめインストールしておくこともできる。例えばユーザ管理サーバ111乃至解析サーバ114等(またはサーバ110)の場合、プログラムは、記憶部163やROM152等に、あらかじめインストールしておくこともできる。また、例えば端末装置131の場合、プログラムは、記憶部213やSOC201内のROM等に、あらかじめインストールしておくこともできる。
 上述した一連の処理をソフトウェアにより実行させる場合、そのソフトウェアを構成するプログラムを、例えば、コミュニケーションシステム100のユーザインタフェースに関する機能や通信に関する機能等を提供するアプリケーションとして、ユーザ101に提供するようにしてもよい。その場合、ユーザ101が、そのプログラムを実行する、すなわち、アプリケーションを起動することにより、上述した初期設定や、広場画面350や会話画面360等の各種画面の表示や、メッセージや感情表現の送受信等の機能がユーザ101に対して提供される。すなわち、ユーザ101がコミュニケーションシステム100を利用して他のユーザとコミュニケーションを行うことができるようになる。
 このようなアプリケーションの起動方法は任意であり、所定のCLI(Command Line Interface)において所定のコマンドを入力するようにしてもよいし、所定のGUI(Graphical User Interface)において所定のアイコンを操作する(例えば、タップ等)ようにしてもよいし、その他の方法であってもよい。
 アイコンを操作してアプリケーションを起動させる場合、例えば、所定のデザインのアイコンを端末装置131の表示部231の表示領域内等に予め表示させておき、ユーザ101がコミュニケーションシステム100を利用する場合、そのアイコンを操作するようにしてもよい。
 このアイコンのデザインは、任意である。例えば、図44のAに示されるようなデザインであってもよい。図44のAにおいては、アイコンは、グレーの雲型のデザインの部分とその内側の白文字「ペチャ」により構成されているが、この例に限らない。例えば、グレーの部分が赤色であってもよい。つまり、このアイコンが、赤色の雲型のデザインの部分とその内側の白文字「ペチャ」により構成されるようにしてもよい。また、文字は「ペチャ」以外であってもよいし、白色以外の色であってもよい。
 また、例えば、このアイコンが、例えば図44のBに示されるように、図44のAに示される例の雲型のデザインの部分の外枠(外形を表す線)のみにより構成されるようにしてもよい。この外枠(外形を表す線)の色は任意である。例えば黒色であってもよいし、それ以外の色であってもよい。また、この外枠の内側の色も任意である。例えば白色であってもよいし、その他の色であってもよいし、透過してもよい。
 さらに、例えば図44のAや図44のBに示される例のようなデザインのアイコンを、上述した各種画面において用いるようにしてもよい。例えば、会話画面360の送信ボタン372(図21)のデザインとして用いられるようにしてもよい。もちろん、会話画面360のその他の部分や、会話画面360以外の任意の画面の任意の部分に、このアイコンのデザインが用いられるようにしてもよい。このように、アイコンのデザインを、起動されたアプリケーションのユーザインタフェースとして表示される画面において用いることにより、ユーザ101は、起動されたアプリケーションが、ユーザ101が操作したアイコンに対応するものであることをより容易に把握することができる。
 なお、コンピュータが実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。
 また、本明細書において、記録媒体に記録されるプログラムを記述するステップは、記載された順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。
 また、上述した各ステップの処理は、上述した各装置、若しくは、上述した各装置以外の任意の装置において、実行することができる。その場合、その処理を実行する装置が、上述した、その処理を実行するのに必要な機能(機能ブロック等)を有するようにすればよい。また、処理に必要な情報を、適宜、その装置に伝送するようにすればよい。
 また、本明細書において、システムとは、複数の構成要素(装置、モジュール(部品)等)の集合を意味し、全ての構成要素が同一筐体中にあるか否かは問わない。したがって、別個の筐体に収納され、ネットワークを介して接続されている複数の装置、及び、1つの筐体の中に複数のモジュールが収納されている1つの装置は、いずれも、システムである。
 また、以上において、1つの装置(または処理部)として説明した構成を分割し、複数の装置(または処理部)として構成するようにしてもよい。逆に、以上において複数の装置(または処理部)として説明した構成をまとめて1つの装置(または処理部)として構成されるようにしてもよい。また、各装置(または各処理部)の構成に上述した以外の構成を付加するようにしてももちろんよい。さらに、システム全体としての構成や動作が実質的に同じであれば、ある装置(または処理部)の構成の一部を他の装置(または他の処理部)の構成に含めるようにしてもよい。
 以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示の技術的範囲はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。
 例えば、本技術は、1つの機能を、ネットワークを介して複数の装置で分担、共同して処理するクラウドコンピューティングの構成をとることができる。
 また、上述のフローチャートで説明した各ステップは、1つの装置で実行する他、複数の装置で分担して実行することができる。
 さらに、1つのステップに複数の処理が含まれる場合には、その1つのステップに含まれる複数の処理は、1つの装置で実行する他、複数の装置で分担して実行することができる。
 また、本技術は、これに限らず、このような装置またはシステムを構成する装置に搭載するあらゆる構成、例えば、システムLSI(Large Scale Integration)等としてのプロセッサ、複数のプロセッサ等を用いるモジュール、複数のモジュール等を用いるユニット、ユニットにさらにその他の機能を付加したセット等(すなわち、装置の一部の構成)として実施することもできる。
 なお、本技術は以下のような構成も取ることができる。
 (1) ユーザ同士のコミュニケーションの履歴を表す第1の表示、並びに、ユーザの代わりに応答することができる仮想キャラクタとユーザとのコミュニケーションの履歴を表す第2の表示の両方を、同一の時系列に沿って並べた状態で、表示部に表示させる表示制御部
 を備える情報処理装置。
 (2) 前記ユーザ同士のコミュニケーションの履歴は、所定のユーザである第1のユーザと、前記第1のユーザ以外の他のユーザとのコミュニケーションの履歴を含み、
 前記仮想キャラクタとユーザとのコミュニケーションの履歴は、前記第1のユーザと前記他のユーザに対応する仮想キャラクタとのコミュニケーションの履歴、または、前記第1のユーザに対応する仮想キャラクタと前記他のユーザとのコミュニケーションの履歴を含む
 (1)に記載の情報処理装置。
 (3) 前記第1の表示は、前記第1のユーザから前記他のユーザに送られたメッセージ、または、前記他のユーザから前記第1のユーザに送られたメッセージを表すテキスト情報を含み、
 前記第2の表示は、前記第1のユーザから前記他のユーザに対応する仮想キャラクタに送られたメッセージ、または、前記他のユーザに対応する仮想キャラクタから前記第1のユーザに送られたメッセージを表すテキスト情報、または、前記第1のユーザに対応する仮想キャラクタから前記他のユーザに送られたメッセージ、または、前記他のユーザから前記第1のユーザに対応する仮想キャラクタに送られたメッセージを表すテキスト情報を含む
 (2)に記載の情報処理装置。
 (4) 前記コミュニケーションの履歴は、各メッセージを授受した際に割り当てられた感情を表現する第3の表示をさらに含み、
 前記表示制御部は、前記メッセージとともに、前記メッセージを授受した際に割り当てられる感情表現を、前記表示部に表示させる
 (3)に記載の情報処理装置。
 (5) 前記感情表現は、前記メッセージの発信者となるユーザ若しくは仮想キャラクタの顔画像の表情を含み、
 前記表示制御部は、各メッセージとともに、前記メッセージの感情を表す表情をした、前記メッセージの発信者となるユーザ若しくは仮想キャラクタの顔画像を、前記表示部に表示させる
 (4)に記載の情報処理装置。
 (6) 前記感情表現は、前記メッセージの感情を表す演出画像を含み、
 前記表示制御部は、各メッセージとともに、前記メッセージの感情を表す演出画像を、前記表示部に表示させる
 (4)または(5)に記載の情報処理装置。
 (7) 前記感情表現は、前記メッセージの感情を表す吹き出し形状を含み、
 前記表示制御部は、各メッセージとともに、前記メッセージの感情を表す形状の吹き出しを、前記表示部に表示させる
 (4)乃至(6)のいずれかに記載の情報処理装置。
 (8) 前記感情表現は、前記メッセージを授受した際の、メッセージの受信者となる前記第1のユーザ、または、前記他のユーザをセンシングすることにより得られる情報に基づく
 (4)乃至(7)のいずれかに記載の情報処理装置。
 (9) 前記表示制御部は、
  前記第1のユーザから前記他のユーザ若しくは前記他のユーザに対応する仮想キャラクタに送られたメッセージと、前記第1のユーザに対応する仮想キャラクタから前記他のユーザに送られたメッセージとを、互いに識別可能な状態で前記表示部に表示させ、
  前記他のユーザから前記第1のユーザ若しくは前記第1のユーザに対応する仮想キャラクタに送られたメッセージと、前記他のユーザに対応する仮想キャラクタから前記第1のユーザに送られたメッセージとを、互いに識別可能な状態で前記表示部に表示させる
 (3)乃至(8)のいずれかに記載の情報処理装置。
 (10) 前記メッセージの並べ替えの指示を受け付ける指示受付部をさらに備え、
 前記表示制御部は、前記指示受付部により前記メッセージの並べ替えの指示が受け付けられた場合、前記指示受付部により受け付けられた、前記メッセージの並べ替えの条件に従って各メッセージを並べ変えて、前記表示部に表示させる
 (3)乃至(9)のいずれかに記載の情報処理装置。
 (11) 前記メッセージの選択の指示を受け付ける指示受付部をさらに備え、
 前記表示制御部は、前記指示受付部により前記メッセージの選択の指示が受け付けられた場合、前記指示受付部により受け付けられた、前記メッセージの選択の条件に従ってメッセージを選択し、選択したメッセージを、前記表示部に表示させる
 (3)乃至(10)のいずれかに記載の情報処理装置。
 (12) 通信部を介して前記他の情報処理装置と通信を行って前記メッセージを授受させることにより、前記情報処理装置自身のユーザと前記他の情報処理装置のユーザとのコミュニケーション、前記情報処理装置自身のユーザと前記他の情報処理装置のユーザに対応する仮想キャラクタとのコミュニケーション、並びに、前記情報処理装置自身のユーザに対応する仮想キャラクタと前記他の情報処理装置のユーザとのコミュニケーションを実現するコミュニケーション処理部をさらに備え、
 前記表示制御部は、前記コミュニケーション処理部により行われた、前記情報処理装置自身のユーザと前記他の情報処理装置のユーザとのコミュニケーションの履歴を表す前記第1の表示、並びに、前記情報処理装置自身のユーザと前記他の情報処理装置のユーザに対応する仮想キャラクタとのコミュニケーションの履歴、または、前記情報処理装置自身のユーザに対応する仮想キャラクタと前記他の情報処理装置のユーザとのコミュニケーションの履歴を表す前記第2の表示の両方を、同一の時系列に沿って並べた状態で、前記表示部に表示させる
 (3)乃至(11)のいずれかに記載の情報処理装置。
 (13) 前記コミュニケーション処理部は、前記コミュニケーション用の画面であるコミュニケーション画面を前記表示部に表示させた状態で、前記コミュニケーションを実現し、
 前記表示制御部は、前記コミュニケーション画面と異なる履歴表示画面を前記表示部に表示させ、前記履歴表示画面において、前記第1の表示および前記第2の表示の両方を、同一の時系列に沿って並べた状態で表示させる
 (12)に記載の情報処理装置。
 (14) 前記コミュニケーション処理部は、前記コミュニケーション画面において、前記コミュニケーションの相手である、前記他の情報処理装置のユーザ若しくは前記他の情報処理装置のユーザに対応する仮想キャラクタの顔画像、前記他の情報処理装置のユーザ若しくは前記他の情報処理装置のユーザに対応する仮想キャラクタから送られた1回分のメッセージ、並びに、前記他の情報処理装置のユーザ若しくは前記他の情報処理装置のユーザに対応する仮想キャラクタに送られた1回分のメッセージを表示させる
 (13)に記載の情報処理装置。
 (15) 前記コミュニケーション処理部は、前記コミュニケーション画面において、さらに、前記コミュニケーション画面に表示されるメッセージに割り当てられた感情表現を表示させる
 (14)に記載の情報処理装置。
 (16) 前記コミュニケーション処理部は、前記他の情報処理装置のユーザ若しくは前記他の情報処理装置のユーザに対応する仮想キャラクタから送られたメッセージに割り当てられた前記感情表現として、前記メッセージの感情を表す表情をした、前記他の情報処理装置のユーザ若しくは前記他の情報処理装置のユーザに対応する仮想キャラクタの顔画像を、前記コミュニケーション画面に表示させる
 (15)に記載の情報処理装置。
 (17) 前記コミュニケーション処理部は、前記他の情報処理装置のユーザ若しくは前記他の情報処理装置のユーザに対応する仮想キャラクタから送られたメッセージに割り当てられた前記感情表現として、前記メッセージの感情を表す演出画像を、前記コミュニケーション画面の任意の位置に表示させる
 (15)または(16)に記載の情報処理装置。
 (18) 前記コミュニケーション処理部は、前記情報処理装置自身のユーザ若しくは前記情報処理装置自身のユーザに対応する仮想キャラクタから送られたメッセージに割り当てられた前記感情表現として、前記メッセージの感情を表す演出画像を、前記コミュニケーション画面の、前記他の情報処理装置のユーザ若しくは前記他の情報処理装置のユーザに対応する仮想キャラクタの顔画像が表示される領域に表示させる
 (15)乃至(17)のいずれかに記載の情報処理装置。
 (19) 前記表示部をさらに備える
 (1)乃至(18)のいずれかに記載の情報処理装置。
 (20) ユーザ同士のコミュニケーションの履歴を表す第1の表示、並びに、ユーザの代わりに応答することができる仮想キャラクタとユーザとのコミュニケーションの履歴を表す第2の表示の両方を、同一の時系列に沿って並べた状態で、表示部に表示させる
 情報処理方法。
 (21) コンピュータを、
 ユーザ同士のコミュニケーションの履歴を表す第1の表示、並びに、ユーザの代わりに応答することができる仮想キャラクタとユーザとのコミュニケーションの履歴を表す第2の表示の両方を、同一の時系列に沿って並べた状態で、表示部に表示させる表示制御部
 として機能させるためのプログラム。
 100 コミュニケーションシステム, 101 ユーザ, 102 仮想空間, 103 仮想キャラクタ, 110 サーバ, 111 ユーザ管理サーバ, 112 仮想キャラクタ管理サーバ, 113 コミュニケーション管理サーバ, 114 解析サーバ, 121 ネットワーク, 131 端末装置, 151 CPU, 181 ユーザ情報管理部, 182 お友達管理部, 183 設定管理部, 184 学習部, 185 モード管理部, 186 メッセージ設定部, 187 広場管理部, 188 状態管理部, 189 コミュニケーション管理部, 190 履歴管理部, 191 メッセージ解析部, 192 感情設定部, 193 エフェクト設定部, 201 SOC, 261 初期設定部, 262 広場処理部, 263 コミュニケーション処理部, 264 割り込み処理部, 265 モード設定部, 266 履歴表示制御部

Claims (20)

  1.  ユーザ同士のコミュニケーションの履歴を表す第1の表示、並びに、ユーザの代わりに応答することができる仮想キャラクタとユーザとのコミュニケーションの履歴を表す第2の表示の両方を、同一の時系列に沿って並べた状態で、表示部に表示させる表示制御部
     を備える情報処理装置。
  2.  前記ユーザ同士のコミュニケーションの履歴は、所定のユーザである第1のユーザと、前記第1のユーザ以外の他のユーザとのコミュニケーションの履歴を含み、
     前記仮想キャラクタとユーザとのコミュニケーションの履歴は、前記第1のユーザと前記他のユーザに対応する仮想キャラクタとのコミュニケーションの履歴、または、前記第1のユーザに対応する仮想キャラクタと前記他のユーザとのコミュニケーションの履歴を含む
     請求項1に記載の情報処理装置。
  3.  前記第1の表示は、前記第1のユーザから前記他のユーザに送られたメッセージ、または、前記他のユーザから前記第1のユーザに送られたメッセージを表すテキスト情報を含み、
     前記第2の表示は、前記第1のユーザから前記他のユーザに対応する仮想キャラクタに送られたメッセージ、または、前記他のユーザに対応する仮想キャラクタから前記第1のユーザに送られたメッセージを表すテキスト情報、または、前記第1のユーザに対応する仮想キャラクタから前記他のユーザに送られたメッセージ、または、前記他のユーザから前記第1のユーザに対応する仮想キャラクタに送られたメッセージを表すテキスト情報を含む
     請求項2に記載の情報処理装置。
  4.  前記コミュニケーションの履歴は、各メッセージを授受した際に割り当てられた感情を表現する第3の表示をさらに含み、
     前記表示制御部は、前記メッセージとともに、前記メッセージを授受した際に割り当てられる感情表現を、前記表示部に表示させる
     請求項3に記載の情報処理装置。
  5.  前記感情表現は、前記メッセージの発信者となるユーザ若しくは仮想キャラクタの顔画像の表情を含み、
     前記表示制御部は、各メッセージとともに、前記メッセージの感情を表す表情をした、前記メッセージの発信者となるユーザ若しくは仮想キャラクタの顔画像を、前記表示部に表示させる
     請求項4に記載の情報処理装置。
  6.  前記感情表現は、前記メッセージの感情を表す演出画像を含み、
     前記表示制御部は、各メッセージとともに、前記メッセージの感情を表す演出画像を、前記表示部に表示させる
     請求項4に記載の情報処理装置。
  7.  前記感情表現は、前記メッセージの感情を表す吹き出し形状を含み、
     前記表示制御部は、各メッセージとともに、前記メッセージの感情を表す形状の吹き出しを、前記表示部に表示させる
     請求項4に記載の情報処理装置。
  8.  前記感情表現は、前記メッセージを授受した際の、メッセージの受信者となる前記第1のユーザ、または、前記他のユーザをセンシングすることにより得られる情報に基づく
     請求項4に記載の情報処理装置。
  9.  前記表示制御部は、
      前記第1のユーザから前記他のユーザ若しくは前記他のユーザに対応する仮想キャラクタに送られたメッセージと、前記第1のユーザに対応する仮想キャラクタから前記他のユーザに送られたメッセージとを、互いに識別可能な状態で前記表示部に表示させ、
      前記他のユーザから前記第1のユーザ若しくは前記第1のユーザに対応する仮想キャラクタに送られたメッセージと、前記他のユーザに対応する仮想キャラクタから前記第1のユーザに送られたメッセージとを、互いに識別可能な状態で前記表示部に表示させる
     請求項3に記載の情報処理装置。
  10.  前記メッセージの並べ替えの指示を受け付ける指示受付部をさらに備え、
     前記表示制御部は、前記指示受付部により前記メッセージの並べ替えの指示が受け付けられた場合、前記指示受付部により受け付けられた、前記メッセージの並べ替えの条件に従って各メッセージを並べ変えて、前記表示部に表示させる
     請求項3に記載の情報処理装置。
  11.  前記メッセージの選択の指示を受け付ける指示受付部をさらに備え、
     前記表示制御部は、前記指示受付部により前記メッセージの選択の指示が受け付けられた場合、前記指示受付部により受け付けられた、前記メッセージの選択の条件に従ってメッセージを選択し、選択したメッセージを、前記表示部に表示させる
     請求項3に記載の情報処理装置。
  12.  通信部を介して前記他の情報処理装置と通信を行って前記メッセージを授受させることにより、前記情報処理装置自身のユーザと前記他の情報処理装置のユーザとのコミュニケーション、前記情報処理装置自身のユーザと前記他の情報処理装置のユーザに対応する仮想キャラクタとのコミュニケーション、並びに、前記情報処理装置自身のユーザに対応する仮想キャラクタと前記他の情報処理装置のユーザとのコミュニケーションを実現するコミュニケーション処理部をさらに備え、
     前記表示制御部は、前記コミュニケーション処理部により行われた、前記情報処理装置自身のユーザと前記他の情報処理装置のユーザとのコミュニケーションの履歴を表す前記第1の表示、並びに、前記情報処理装置自身のユーザと前記他の情報処理装置のユーザに対応する仮想キャラクタとのコミュニケーションの履歴、または、前記情報処理装置自身のユーザに対応する仮想キャラクタと前記他の情報処理装置のユーザとのコミュニケーションの履歴を表す前記第2の表示の両方を、同一の時系列に沿って並べた状態で、前記表示部に表示させる
     請求項3に記載の情報処理装置。
  13.  前記コミュニケーション処理部は、前記コミュニケーション用の画面であるコミュニケーション画面を前記表示部に表示させた状態で、前記コミュニケーションを実現し、
     前記表示制御部は、前記コミュニケーション画面と異なる履歴表示画面を前記表示部に表示させ、前記履歴表示画面において、前記第1の表示および前記第2の表示の両方を、同一の時系列に沿って並べた状態で表示させる
     請求項12に記載の情報処理装置。
  14.  前記コミュニケーション処理部は、前記コミュニケーション画面において、前記コミュニケーションの相手である、前記他の情報処理装置のユーザ若しくは前記他の情報処理装置のユーザに対応する仮想キャラクタの顔画像、前記他の情報処理装置のユーザ若しくは前記他の情報処理装置のユーザに対応する仮想キャラクタから送られた1回分のメッセージ、並びに、前記他の情報処理装置のユーザ若しくは前記他の情報処理装置のユーザに対応する仮想キャラクタに送られた1回分のメッセージを表示させる
     請求項13に記載の情報処理装置。
  15.  前記コミュニケーション処理部は、前記コミュニケーション画面において、さらに、前記コミュニケーション画面に表示されるメッセージに割り当てられた感情表現を表示させる
     請求項14に記載の情報処理装置。
  16.  前記コミュニケーション処理部は、前記他の情報処理装置のユーザ若しくは前記他の情報処理装置のユーザに対応する仮想キャラクタから送られたメッセージに割り当てられた前記感情表現として、前記メッセージの感情を表す表情をした、前記他の情報処理装置のユーザ若しくは前記他の情報処理装置のユーザに対応する仮想キャラクタの顔画像を、前記コミュニケーション画面に表示させる
     請求項15に記載の情報処理装置。
  17.  前記コミュニケーション処理部は、前記他の情報処理装置のユーザ若しくは前記他の情報処理装置のユーザに対応する仮想キャラクタから送られたメッセージに割り当てられた前記感情表現として、前記メッセージの感情を表す演出画像を、前記コミュニケーション画面の任意の位置に表示させる
     請求項15に記載の情報処理装置。
  18.  前記コミュニケーション処理部は、前記情報処理装置自身のユーザ若しくは前記情報処理装置自身のユーザに対応する仮想キャラクタから送られたメッセージに割り当てられた前記感情表現として、前記メッセージの感情を表す演出画像を、前記コミュニケーション画面の、前記他の情報処理装置のユーザ若しくは前記他の情報処理装置のユーザに対応する仮想キャラクタの顔画像が表示される領域に表示させる
     請求項15に記載の情報処理装置。
  19.  ユーザ同士のコミュニケーションの履歴を表す第1の表示、並びに、ユーザの代わりに応答することができる仮想キャラクタとユーザとのコミュニケーションの履歴を表す第2の表示の両方を、同一の時系列に沿って並べた状態で、表示部に表示させる
     情報処理方法。
  20.  コンピュータを、
     ユーザ同士のコミュニケーションの履歴を表す第1の表示、並びに、ユーザの代わりに応答することができる仮想キャラクタとユーザとのコミュニケーションの履歴を表す第2の表示の両方を、同一の時系列に沿って並べた状態で、表示部に表示させる表示制御部
     として機能させるためのプログラム。
PCT/JP2015/064676 2014-06-06 2015-05-22 情報処理装置および方法、並びにプログラム WO2015186534A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
EP15803179.9A EP3153973A4 (en) 2014-06-06 2015-05-22 Information processing device and method, and program
JP2016525767A JP6670450B2 (ja) 2014-06-06 2015-05-22 情報処理装置および方法、並びにプログラム
US15/311,641 US20170093785A1 (en) 2014-06-06 2015-05-22 Information processing device, method, and program

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2014118201 2014-06-06
JP2014-118201 2014-06-06

Publications (1)

Publication Number Publication Date
WO2015186534A1 true WO2015186534A1 (ja) 2015-12-10

Family

ID=54766609

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2015/064676 WO2015186534A1 (ja) 2014-06-06 2015-05-22 情報処理装置および方法、並びにプログラム

Country Status (4)

Country Link
US (1) US20170093785A1 (ja)
EP (1) EP3153973A4 (ja)
JP (1) JP6670450B2 (ja)
WO (1) WO2015186534A1 (ja)

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108519977A (zh) * 2018-03-30 2018-09-11 联想(北京)有限公司 一种信息处理方法及电子设备
JP2019191939A (ja) * 2018-04-25 2019-10-31 メドケア株式会社 指導支援システム、指導支援方法及び指導支援サーバ
JP2020009424A (ja) * 2016-05-18 2020-01-16 アップル インコーポレイテッドApple Inc. グラフィカルメッセージユーザインタフェースにおける確認応答オプションの使用
JP2020064616A (ja) * 2018-10-18 2020-04-23 深▲せん▼前海達闥云端智能科技有限公司Cloudminds (Shenzhen) Robotics Systems Co.,Ltd. 仮想ロボットのインタラクション方法、装置、記憶媒体及び電子機器
KR20200113675A (ko) * 2019-03-26 2020-10-07 권택준 대사를 캐릭터별 상이한 목소리로 변환하여 전달하는 웹툰 동영상 생성 방법
US10852935B2 (en) 2016-05-18 2020-12-01 Apple Inc. Devices, methods, and graphical user interfaces for messaging
JPWO2019116488A1 (ja) * 2017-12-14 2020-12-17 Line株式会社 情報処理方法、情報処理装置、プログラム、及び情報処理端末
CN112546638A (zh) * 2020-12-18 2021-03-26 网易(杭州)网络有限公司 一种虚拟角色切换方法、装置、电子设备及存储介质
JP2021157681A (ja) * 2020-03-30 2021-10-07 株式会社エヌ・ティ・ティ・データ 簡易通信システム、簡易通信方法、及びプログラム
US11159922B2 (en) 2016-06-12 2021-10-26 Apple Inc. Layers in messaging applications

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102306538B1 (ko) * 2015-01-20 2021-09-29 삼성전자주식회사 콘텐트 편집 장치 및 방법
US20180025004A1 (en) * 2016-07-19 2018-01-25 Eric Koenig Process to provide audio/video/literature files and/or events/activities ,based upon an emoji or icon associated to a personal feeling
CN107291446B (zh) * 2017-05-16 2021-06-08 北京金山安全软件有限公司 一种桌面管理方法及装置

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001160021A (ja) * 1999-12-03 2001-06-12 Sony Corp 仮想空間による通信システム
JP2002055920A (ja) * 2000-05-31 2002-02-20 Namco Ltd 情報提供システム、プログラムおよび情報記憶媒体
JP2002236656A (ja) * 2001-02-08 2002-08-23 Nifty Corp チャットシステム及びサーバ装置
JP2006338685A (ja) * 2006-08-02 2006-12-14 Konami Digital Entertainment:Kk チャットシステム、通信装置、その制御方法及びプログラム

Family Cites Families (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3597374B2 (ja) * 1998-03-20 2004-12-08 富士通株式会社 チャットシステムにおけるエージェント装置
JP3301983B2 (ja) * 1999-01-12 2002-07-15 富士通株式会社 キャラクタを用いた対話型コミュニケーション装置及び方法
US6907571B2 (en) * 2000-03-01 2005-06-14 Benjamin Slotznick Adjunct use of instant messenger software to enable communications to or between chatterbots or other software agents
US6983305B2 (en) * 2001-05-30 2006-01-03 Microsoft Corporation Systems and methods for interfacing with a user in instant messaging
US20040107251A1 (en) * 2001-09-19 2004-06-03 Hansen Wat System and method for communicating expressive images for meetings
US7913176B1 (en) * 2003-03-03 2011-03-22 Aol Inc. Applying access controls to communications with avatars
US7668922B2 (en) * 2006-01-19 2010-02-23 International Business Machines Corporation Identifying and displaying relevant shared entities in an instant messaging system
EP1984898A4 (en) * 2006-02-09 2010-05-05 Nms Comm Corp PROGRESSIVE MORPHING BETWEEN AVATARS OF VIDEO CALL
JP2008191748A (ja) * 2007-02-01 2008-08-21 Oki Electric Ind Co Ltd ユーザ間コミュニケーション方法、ユーザ間コミュニケーションプログラム、ユーザ間コミュニケーション装置
US8214433B2 (en) * 2008-12-15 2012-07-03 International Business Machines Corporation System and method to provide context for an automated agent to service multiple avatars within a virtual universe
US8279779B2 (en) * 2009-12-10 2012-10-02 Verizon Patent And Licensing Inc. Method and system for virtual agent session monitoring and barge-in
WO2011077501A1 (ja) * 2009-12-26 2011-06-30 株式会社ラピースドリーム コミュニケーションシステム
US20110265018A1 (en) * 2010-04-23 2011-10-27 Ganz Emotion and mood control of virtual characters in a virtual world
US20120130717A1 (en) * 2010-11-19 2012-05-24 Microsoft Corporation Real-time Animation for an Expressive Avatar
JP2013009073A (ja) * 2011-06-23 2013-01-10 Sony Corp 情報処理装置、情報処理方法、プログラム、及びサーバ
US8545330B2 (en) * 2011-07-28 2013-10-01 Zynga Inc. Contextual in-game messaging system
KR101907136B1 (ko) * 2012-01-27 2018-10-11 라인 가부시키가이샤 유무선 웹을 통한 아바타 서비스 시스템 및 방법
US10116598B2 (en) * 2012-08-15 2018-10-30 Imvu, Inc. System and method for increasing clarity and expressiveness in network communications
US9706040B2 (en) * 2013-10-31 2017-07-11 Udayakumar Kadirvel System and method for facilitating communication via interaction with an avatar
US20150149925A1 (en) * 2013-11-26 2015-05-28 Lenovo (Singapore) Pte. Ltd. Emoticon generation using user images and gestures

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001160021A (ja) * 1999-12-03 2001-06-12 Sony Corp 仮想空間による通信システム
JP2002055920A (ja) * 2000-05-31 2002-02-20 Namco Ltd 情報提供システム、プログラムおよび情報記憶媒体
JP2002236656A (ja) * 2001-02-08 2002-08-23 Nifty Corp チャットシステム及びサーバ装置
JP2006338685A (ja) * 2006-08-02 2006-12-14 Konami Digital Entertainment:Kk チャットシステム、通信装置、その制御方法及びプログラム

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP3153973A4 *

Cited By (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11320982B2 (en) 2016-05-18 2022-05-03 Apple Inc. Devices, methods, and graphical user interfaces for messaging
US11112963B2 (en) 2016-05-18 2021-09-07 Apple Inc. Devices, methods, and graphical user interfaces for messaging
US11126348B2 (en) 2016-05-18 2021-09-21 Apple Inc. Devices, methods, and graphical user interfaces for messaging
US11966579B2 (en) 2016-05-18 2024-04-23 Apple Inc. Devices, methods, and graphical user interfaces for messaging
US11954323B2 (en) 2016-05-18 2024-04-09 Apple Inc. Devices, methods, and graphical user interfaces for initiating a payment action in a messaging session
US10852935B2 (en) 2016-05-18 2020-12-01 Apple Inc. Devices, methods, and graphical user interfaces for messaging
US11625165B2 (en) 2016-05-18 2023-04-11 Apple Inc. Devices, methods, and graphical user interfaces for messaging
US11513677B2 (en) 2016-05-18 2022-11-29 Apple Inc. Devices, methods, and graphical user interfaces for messaging
JP2020009424A (ja) * 2016-05-18 2020-01-16 アップル インコーポレイテッドApple Inc. グラフィカルメッセージユーザインタフェースにおける確認応答オプションの使用
US11221751B2 (en) 2016-05-18 2022-01-11 Apple Inc. Devices, methods, and graphical user interfaces for messaging
US10983689B2 (en) 2016-05-18 2021-04-20 Apple Inc. Devices, methods, and graphical user interfaces for messaging
US11159922B2 (en) 2016-06-12 2021-10-26 Apple Inc. Layers in messaging applications
US11778430B2 (en) 2016-06-12 2023-10-03 Apple Inc. Layers in messaging applications
JP7072583B2 (ja) 2017-12-14 2022-05-20 Line株式会社 情報処理方法、情報処理装置、プログラム、及び情報処理端末
JPWO2019116488A1 (ja) * 2017-12-14 2020-12-17 Line株式会社 情報処理方法、情報処理装置、プログラム、及び情報処理端末
CN108519977A (zh) * 2018-03-30 2018-09-11 联想(北京)有限公司 一种信息处理方法及电子设备
JP2019191939A (ja) * 2018-04-25 2019-10-31 メドケア株式会社 指導支援システム、指導支援方法及び指導支援サーバ
JP2020064616A (ja) * 2018-10-18 2020-04-23 深▲せん▼前海達闥云端智能科技有限公司Cloudminds (Shenzhen) Robotics Systems Co.,Ltd. 仮想ロボットのインタラクション方法、装置、記憶媒体及び電子機器
KR102184053B1 (ko) * 2019-03-26 2020-11-27 권택준 대사를 캐릭터별 상이한 목소리로 변환하여 전달하는 웹툰 동영상 생성 방법
KR20200113675A (ko) * 2019-03-26 2020-10-07 권택준 대사를 캐릭터별 상이한 목소리로 변환하여 전달하는 웹툰 동영상 생성 방법
JP2021157681A (ja) * 2020-03-30 2021-10-07 株式会社エヌ・ティ・ティ・データ 簡易通信システム、簡易通信方法、及びプログラム
CN112546638B (zh) * 2020-12-18 2024-05-10 网易(杭州)网络有限公司 一种虚拟角色切换方法、装置、电子设备及存储介质
CN112546638A (zh) * 2020-12-18 2021-03-26 网易(杭州)网络有限公司 一种虚拟角色切换方法、装置、电子设备及存储介质

Also Published As

Publication number Publication date
JP6670450B2 (ja) 2020-03-25
JPWO2015186534A1 (ja) 2017-04-20
EP3153973A1 (en) 2017-04-12
EP3153973A4 (en) 2018-01-17
US20170093785A1 (en) 2017-03-30

Similar Documents

Publication Publication Date Title
WO2015186534A1 (ja) 情報処理装置および方法、並びにプログラム
JP6055731B2 (ja) メンバー追加を拡張するためのメッセージングサービスシステム及びその方法
US9253318B2 (en) Method and apparatus for providing state information
Quinn et al. Our Networked selves: Personal connection and relational maintenance in social media use
US10917368B2 (en) Method and apparatus for providing social network service
CN101478399A (zh) 个人广告简档秘密照片验证过程
JP7326963B2 (ja) 通信端末、通信システム、画像共有方法およびプログラム
CN106471784A (zh) 设备访问控制
US20160335599A1 (en) Systems and methods for exchanging information
US20200225832A1 (en) Information processing method, information processing apparatus, and information processing program
JP2014063342A (ja) 管理装置、メッセージ管理方法およびプログラム
US20130268483A1 (en) Information processing apparatus, information processing method, and computer program
US9866505B2 (en) Configuring presence and notifications in persistent conversations
JP2021051529A (ja) 通信端末、通信システム、データ共有方法およびプログラム
JP2021068346A (ja) 通信端末、通信システム、データ共有方法およびプログラム
KR20150070005A (ko) 프레즌스-기반 콘텐츠 공유 방법 및 이를 지원하는 전자 장치
CN111108491B (zh) 会议***
JP2008276414A (ja) 情報表示システム、情報表示端末、および情報表示方法
JP2020149338A (ja) 通信端末、通信システム、表示制御方法およびプログラム
CN113763192A (zh) 信息处理装置、信息处理方法和计算机可读介质
JP7476646B2 (ja) 情報処理装置及びプログラム
JP2020149344A (ja) 通信端末、通信システム、表示制御方法およびプログラム
JP7467986B2 (ja) 通信端末、通信システム、通信方法およびプログラム
US11743215B1 (en) Artificial reality messaging with destination selection
US20240177248A1 (en) Spot Date App

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 15803179

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2016525767

Country of ref document: JP

Kind code of ref document: A

WWE Wipo information: entry into national phase

Ref document number: 15311641

Country of ref document: US

REEP Request for entry into the european phase

Ref document number: 2015803179

Country of ref document: EP

WWE Wipo information: entry into national phase

Ref document number: 2015803179

Country of ref document: EP

NENP Non-entry into the national phase

Ref country code: DE