JP6263252B1 - 情報処理方法、装置、および当該情報処理方法をコンピュータに実行させるためのプログラム - Google Patents
情報処理方法、装置、および当該情報処理方法をコンピュータに実行させるためのプログラム Download PDFInfo
- Publication number
- JP6263252B1 JP6263252B1 JP2016236776A JP2016236776A JP6263252B1 JP 6263252 B1 JP6263252 B1 JP 6263252B1 JP 2016236776 A JP2016236776 A JP 2016236776A JP 2016236776 A JP2016236776 A JP 2016236776A JP 6263252 B1 JP6263252 B1 JP 6263252B1
- Authority
- JP
- Japan
- Prior art keywords
- user
- image
- virtual space
- hmd
- emotion
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000010365 information processing Effects 0.000 title claims abstract description 35
- 238000003672 processing method Methods 0.000 title claims abstract description 35
- 230000008451 emotion Effects 0.000 claims abstract description 98
- 230000000694 effects Effects 0.000 claims abstract description 68
- 230000033001 locomotion Effects 0.000 claims description 61
- 230000008921 facial expression Effects 0.000 claims description 36
- 230000008859 change Effects 0.000 claims description 18
- 230000014509 gene expression Effects 0.000 claims description 15
- 238000000034 method Methods 0.000 abstract description 32
- 230000002996 emotional effect Effects 0.000 abstract description 2
- 230000000007 visual effect Effects 0.000 description 59
- 230000000875 corresponding effect Effects 0.000 description 35
- 230000008569 process Effects 0.000 description 28
- 238000004891 communication Methods 0.000 description 27
- 210000001508 eye Anatomy 0.000 description 24
- 238000010586 diagram Methods 0.000 description 20
- 230000006870 function Effects 0.000 description 12
- 210000003811 finger Anatomy 0.000 description 11
- 102220471758 Proteasome subunit alpha type-7_S24A_mutation Human genes 0.000 description 10
- 238000001514 detection method Methods 0.000 description 9
- 210000003128 head Anatomy 0.000 description 9
- 230000009471 action Effects 0.000 description 5
- 102220465380 NF-kappa-B inhibitor beta_S23A_mutation Human genes 0.000 description 4
- 239000000284 extract Substances 0.000 description 4
- 238000007654 immersion Methods 0.000 description 4
- 230000003287 optical effect Effects 0.000 description 4
- 230000002123 temporal effect Effects 0.000 description 4
- 230000005540 biological transmission Effects 0.000 description 3
- 210000004247 hand Anatomy 0.000 description 3
- 238000010191 image analysis Methods 0.000 description 3
- 102220151657 rs763546006 Human genes 0.000 description 3
- 210000003813 thumb Anatomy 0.000 description 3
- 241000410367 Clerodendrum thomsoniae Species 0.000 description 2
- 102220496775 Lymphocyte expansion molecule_S23C_mutation Human genes 0.000 description 2
- 241001465754 Metazoa Species 0.000 description 2
- 238000005401 electroluminescence Methods 0.000 description 2
- 238000002834 transmittance Methods 0.000 description 2
- 241000282326 Felis catus Species 0.000 description 1
- 125000002066 L-histidyl group Chemical group [H]N1C([H])=NC(C([H])([H])[C@](C(=O)[*])([H])N([H])[H])=C1[H] 0.000 description 1
- 241000283973 Oryctolagus cuniculus Species 0.000 description 1
- 241000282458 Ursus sp. Species 0.000 description 1
- 230000001133 acceleration Effects 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 210000005252 bulbus oculi Anatomy 0.000 description 1
- 210000004087 cornea Anatomy 0.000 description 1
- 230000008909 emotion recognition Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 210000004709 eyebrow Anatomy 0.000 description 1
- 210000000744 eyelid Anatomy 0.000 description 1
- 210000000887 face Anatomy 0.000 description 1
- 230000001815 facial effect Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 210000004932 little finger Anatomy 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000007935 neutral effect Effects 0.000 description 1
- 230000036544 posture Effects 0.000 description 1
- 210000001747 pupil Anatomy 0.000 description 1
- 230000001846 repelling effect Effects 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T13/00—Animation
- G06T13/20—3D [Three Dimensional] animation
- G06T13/40—3D [Three Dimensional] animation of characters, e.g. humans, animals or virtual beings
-
- A—HUMAN NECESSITIES
- A63—SPORTS; GAMES; AMUSEMENTS
- A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
- A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
- A63F13/20—Input arrangements for video game devices
- A63F13/21—Input arrangements for video game devices characterised by their sensors, purposes or types
- A63F13/213—Input arrangements for video game devices characterised by their sensors, purposes or types comprising photodetecting means, e.g. cameras, photodiodes or infrared cells
-
- A—HUMAN NECESSITIES
- A63—SPORTS; GAMES; AMUSEMENTS
- A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
- A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
- A63F13/20—Input arrangements for video game devices
- A63F13/21—Input arrangements for video game devices characterised by their sensors, purposes or types
- A63F13/215—Input arrangements for video game devices characterised by their sensors, purposes or types comprising means for detecting acoustic signals, e.g. using a microphone
-
- A—HUMAN NECESSITIES
- A63—SPORTS; GAMES; AMUSEMENTS
- A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
- A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
- A63F13/25—Output arrangements for video game devices
-
- A—HUMAN NECESSITIES
- A63—SPORTS; GAMES; AMUSEMENTS
- A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
- A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
- A63F13/70—Game security or game management aspects
- A63F13/79—Game security or game management aspects involving player-related data, e.g. identities, accounts, preferences or play histories
-
- A—HUMAN NECESSITIES
- A63—SPORTS; GAMES; AMUSEMENTS
- A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
- A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
- A63F13/85—Providing additional services to players
- A63F13/87—Communicating with other players during game play, e.g. by e-mail or chat
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
- G06F3/012—Head tracking input arrangements
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
- G06F3/013—Eye tracking input arrangements
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
- G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
- G06F3/0346—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/006—Mixed reality
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/168—Feature extraction; Face representation
- G06V40/171—Local features and components; Facial parts ; Occluding parts, e.g. glasses; Geometrical relationships
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/174—Facial expression recognition
- G06V40/176—Dynamic expression
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/18—Eye characteristics, e.g. of the iris
- G06V40/193—Preprocessing; Feature extraction
-
- A—HUMAN NECESSITIES
- A63—SPORTS; GAMES; AMUSEMENTS
- A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
- A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
- A63F13/50—Controlling the output signals based on the game progress
- A63F13/53—Controlling the output signals based on the game progress involving additional visual information provided to the game scene, e.g. by overlay to simulate a head-up display [HUD] or displaying a laser sight in a shooting game
- A63F13/537—Controlling the output signals based on the game progress involving additional visual information provided to the game scene, e.g. by overlay to simulate a head-up display [HUD] or displaying a laser sight in a shooting game using indicators, e.g. showing the condition of a game character on screen
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
- G06F2203/01—Indexing scheme relating to G06F3/01
- G06F2203/011—Emotion or mood input determined on the basis of sensed human body parameters such as pulse, heart rate or beat, temperature of skin, facial expressions, iris, voice pitch, brain activity patterns
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
- G10L25/48—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use
- G10L25/51—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination
- G10L25/63—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination for estimating an emotional state
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Theoretical Computer Science (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Software Systems (AREA)
- Computer Hardware Design (AREA)
- Computer Graphics (AREA)
- Ophthalmology & Optometry (AREA)
- User Interface Of Digital Computer (AREA)
- Computer Security & Cryptography (AREA)
- General Business, Economics & Management (AREA)
- Business, Economics & Management (AREA)
- Processing Or Creating Images (AREA)
- Child & Adolescent Psychology (AREA)
- Hospice & Palliative Care (AREA)
- Psychiatry (AREA)
- Computational Linguistics (AREA)
- Signal Processing (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Acoustics & Sound (AREA)
Abstract
Description
図1を参照して、HMD(Head Mount Display)システム100の構成について説明する。図1は、ある実施の形態に従うHMDシステム100の構成の概略を表す図である。ある局面において、HMDシステム100は、家庭用のシステムとしてあるいは業務用のシステムとして提供される。
図2を参照して、本実施の形態に係るコンピュータ200について説明する。図2は、一局面に従うコンピュータ200のハードウェア構成の一例を表すブロック図である。コンピュータ200は、主たる構成要素として、プロセッサ10と、メモリ11と、ストレージ12と、入出力インターフェース13と、通信インターフェース14とを備える。各構成要素は、それぞれ、バス15に接続されている。
図3を参照して、uvw視野座標系について説明する。図3は、ある実施の形態に従うHMD装置110に設定されるuvw視野座標系を概念的に表す図である。HMDセンサ120は、HMD装置110の起動時に、グローバル座標系におけるHMD装置110の位置および傾きを検出する。プロセッサ10は、検出された値に基づいて、uvw視野座標系をHMD装置110に設定する。
図4を参照して、仮想空間についてさらに説明する。図4は、ある実施の形態に従う仮想空間2を表現する一態様を概念的に表す図である。仮想空間2は、中心21の360度方向の全体を覆う全天球状の構造を有する。図4では、説明を複雑にしないために、仮想空間2のうちの上半分の天球が例示されている。仮想空間2では各メッシュが規定される。各メッシュの位置は、仮想空間2に規定されるXYZ座標系における座標値として予め規定されている。コンピュータ200は、仮想空間2に展開可能なコンテンツ(静止画、動画等)を構成する各部分画像を、仮想空間2において対応する各メッシュにそれぞれ対応付けて、ユーザによって視認可能な仮想空間画像22が展開される仮想空間2をユーザに提供する。
図5を参照して、ユーザの視線方向の決定について説明する。図5は、ある実施の形態に従うHMD装置110を装着するユーザ190の頭部を上から表した図である。
図6および図7を参照して、視界領域23について説明する。図6は、仮想空間2において視界領域23をX方向から見たYZ断面を表す図である。図7は、仮想空間2において視界領域23をY方向から見たXZ断面を表す図である。
図8を参照して、コントローラ160の一例について説明する。図8は、ある実施の形態に従うコントローラ160の概略構成を表す図である。
図9を参照して、HMD装置110の制御装置について説明する。ある実施の形態において、制御装置は周知の構成を有するコンピュータ200によって実現される。図9は、ある実施の形態に従うコンピュータ200をモジュール構成として表すブロック図である。
図10を参照して、本実施の形態に係るコンピュータ200の制御構造について説明する。図10は、ユーザ190A(第1ユーザ)によって使用されるHMDシステム100Aがユーザ190Aに仮想空間2を提供するために実行する処理を表すフローチャートである。
本実施形態では、VRチャットにおけるユーザ間の感情理解を促進するために、HMDシステム100Aにおけるプロセッサ10は、視界画像Mに含まれるプレイヤキャラクタPCの表示態様を決定する処理(図10におけるステップS10および図13におけるステップS24Aに相当する処理)の一部として、以下の処理を実行する。すなわち、プロセッサ10は、ユーザ190A(第1ユーザ)に提供される視界画像Mにおいて、他ユーザ190B,190C(第2ユーザ)の感情に応じたエフェクト画像を当該他ユーザのプレイヤキャラクタPC2,PC3(第2プレイヤキャラクタ)に関連付けて配置(重畳表示)する処理(エフェクト制御)を実行する。以下、エフェクト制御の第1および第2の例について説明する。
図14および図15を参照して、エフェクト制御の第1の例について説明する。図14は、エフェクト制御の第1の例においてHMDシステム100Aが実行する処理を表すフローチャートである。
図16〜図18を参照して、エフェクト制御の第2の例について説明する。第2の例においては、プロセッサ10は、ユーザ190B,190C(第2ユーザ)に関連付けられたプレイヤキャラクタPC2,PC3(第2プレイヤキャラクタ)の間に所定の関係が成立する場合に、ユーザ190Bの感情とユーザ190Cの感情の組み合わせに基づいて、エフェクト画像Eを決定および配置する。具体的には、プロセッサ10は、上述した表示態様を決定する処理(図10におけるステップS10および図13におけるステップS24Aに相当する処理)において、視界画像生成モジュール223として、以下の処理を実行する。図16は、エフェクト制御の第2の例においてHMDシステム100Aが実行する処理を表すフローチャートである。
(項目1)
第1ヘッドマウントディスプレイ(HMD装置110A)を介して第1ユーザ(ユーザ190A)に仮想空間2を提供するためにコンピュータ200によって実行される情報処理方法であって、
前記第1ユーザに関連付けられた第1プレイヤキャラクタ(プレイヤキャラクタPC1)と、第2ユーザ(ユーザ190B,190C)に関連付けられた第2プレイヤキャラクタ(プレイヤキャラクタPC2,PC3)と、前記第1ヘッドマウントディスプレイに提供される視界画像Mを定義する仮想カメラ1とを含む仮想空間2を定義する仮想空間データを生成するステップ(図10のS1)と、
前記第2ユーザの感情を特定するステップ(例えば図14のS31)と、
前記第2ユーザの感情に基づいて、前記視界画像において前記第2プレイヤキャラクタに関連付けて表示するためのエフェクト画像を決定するステップ(例えば図14のS32)と、
前記視界画像において、前記エフェクト画像を配置するステップ(例えば図14のS35)と、
を含む、情報処理方法。
本項目の情報処理方法によれば、視界画像Mにエフェクト画像Eを配置することにより、第1ユーザに第2ユーザの感情を容易に把握させることができる。これにより、仮想空間2におけるユーザ間の感情理解をより促進し得る。
(項目2)
前記特定するステップにおいて、前記第2ユーザの表情および音声の少なくとも一方に基づいて、前記第2ユーザの感情を特定する、
項目1の情報処理方法。
本項目の情報処理方法によれば、第2ユーザ自身の表情および音声に基づいて、第2ユーザの感情を適切に特定し得る。
(項目3)
前記特定するステップにおいて、前記第2ユーザの感情の度合いを特定し、
前記決定するステップにおいて、前記第2ユーザの感情の度合いに基づいて、前記エフェクト画像の表示態様を決定する、
項目1または2の情報処理方法。
本項目の情報処理方法によれば、第2ユーザの感情の度合いをエフェクト画像の表示態様によって、第1ユーザに視覚的に把握させることが可能となる。
(項目4)
前記仮想空間は、複数の前記第2ユーザのそれぞれに関連付けられた複数の前記第2プレイヤキャラクタを含み、
前記決定するステップにおいて、複数の前記第2プレイヤキャラクタの間に所定の関係が成立する場合に、複数の前記第2ユーザの感情の組み合わせに基づいて、前記エフェクト画像を決定する、
項目1〜3のいずれかの情報処理方法。
本項目の情報処理方法によれば、複数の第2ユーザが互いに抱いている感情に応じたエフェクト画像を視界画像に配置することができる。これにより、第1ユーザに複数の第2ユーザ同士の関係性を容易に把握させることができる。
(項目5)
前記視界画像における前記第2プレイヤキャラクタの顔部分の動作を規定する動作データを生成するステップをさらに含み、
前記配置するステップにおいて、前記動作データに基づく前記第2プレイヤキャラクタの顔部分の動作に合わせて、前記エフェクト画像を配置するステップと、をさらに含む、
項目1〜4のいずれかの情報処理方法。
本項目の情報処理方法によれば、第2プレイヤキャラクタの表情の変化およびエフェクト画像の両方によって、第2ユーザの感情をより効果的に第1ユーザに把握させることができる。
(項目6)
前記生成するステップにおいて、前記第2ユーザの顔画像に対する画像認識結果を取得し、当該画像認識結果に基づいて前記動作データを生成する、
項目5の情報処理方法。
本項目の情報処理方法によれば、顔画像の画像認識結果に基づいて、第2ユーザの表情を表現するための動作データを精度良く生成することができる。
(項目7)
前記生成するステップにおいて、予め用意された前記第2プレイヤキャラクタの表情画像のうちから、前回特定された前記第2ユーザの感情に対応する第1表情画像と今回特定された前記第2ユーザの感情に対応する第2表情画像とを取得し、前記第1表情画像および前記第2表情画像に基づいて、前記第1表情画像から前記第2表情画像への変化を示す映像を前記動作データとして生成する、
項目5の情報処理方法。
本項目の情報処理方法によれば、第2プレイヤキャラクタの変化の前後における2つの表情画像に基づいて、第2プレイヤキャラクタの自然な表情変化を表現することができる。その結果、仮想空間2への高い没入感覚を第1ユーザに提供し得る。また、第2プレイヤキャラクタの表情変化を表現するために必要なデータの通信量を低減することもできる。
(項目8)
項目1〜7のいずれかの情報処理方法をコンピュータに実行させる、プログラム。
(項目9)
項目8のプログラムを格納したメモリと、
前記メモリに結合され、前記プログラムを実行するためのプロセッサとを備える、装置。
Claims (8)
- 第1ヘッドマウントディスプレイを介して第1ユーザに仮想空間を提供するためにコンピュータによって実行される情報処理方法であって、
前記第1ユーザに関連付けられた第1プレイヤキャラクタと、複数の第2ユーザのそれぞれに関連付けられた複数の第2プレイヤキャラクタと、前記第1ヘッドマウントディスプレイに提供される視界画像を定義する仮想カメラとを含む仮想空間を定義する仮想空間データを生成するステップと、
前記第2ユーザの感情を特定するステップと、
複数の前記第2プレイヤキャラクタの間に所定の関係が成立する場合に、複数の前記第2ユーザの感情の組み合わせに基づいて、前記視界画像において前記第2プレイヤキャラクタに関連付けて表示するためのエフェクト画像を決定するステップと、
前記視界画像において、前記エフェクト画像を配置するステップと、
を含む、情報処理方法。 - 前記特定するステップにおいて、前記第2ユーザの表情および音声の少なくとも一方に基づいて、前記第2ユーザの感情を特定する、
請求項1に記載の情報処理方法。 - 前記特定するステップにおいて、前記第2ユーザの感情の度合いを特定し、
前記決定するステップにおいて、前記第2ユーザの感情の度合いに基づいて、前記エフェクト画像の表示態様を決定する、
請求項1または2に記載の情報処理方法。 - 前記視界画像における前記第2プレイヤキャラクタの顔部分の動作を規定する動作データを生成するステップをさらに含み、
前記配置するステップにおいて、前記動作データに基づく前記第2プレイヤキャラクタの顔部分の動作に合わせて、前記エフェクト画像を配置するステップと、をさらに含む、
請求項1〜3のいずれか一項に記載の情報処理方法。 - 前記生成するステップにおいて、前記第2ユーザの顔画像に対する画像認識結果を取得し、当該画像認識結果に基づいて前記動作データを生成する、
請求項4に記載の情報処理方法。 - 前記生成するステップにおいて、予め用意された前記第2プレイヤキャラクタの表情画像のうちから、前回特定された前記第2ユーザの感情に対応する第1表情画像と今回特定された前記第2ユーザの感情に対応する第2表情画像とを取得し、前記第1表情画像および前記第2表情画像に基づいて、前記第1表情画像から前記第2表情画像への変化を示す映像を前記動作データとして生成する、
請求項4に記載の情報処理方法。 - 請求項1〜6のいずれか一項に記載の情報処理方法をコンピュータに実行させる、プログラム。
- 請求項7に記載のプログラムを格納したメモリと、
前記メモリに結合され、前記プログラムを実行するためのプロセッサとを備える、装置。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2016236776A JP6263252B1 (ja) | 2016-12-06 | 2016-12-06 | 情報処理方法、装置、および当該情報処理方法をコンピュータに実行させるためのプログラム |
US15/834,027 US20180165863A1 (en) | 2016-12-06 | 2017-12-06 | Information processing method, device, and program for executing the information processing method on a computer |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2016236776A JP6263252B1 (ja) | 2016-12-06 | 2016-12-06 | 情報処理方法、装置、および当該情報処理方法をコンピュータに実行させるためのプログラム |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2017240951A Division JP2018092635A (ja) | 2017-12-15 | 2017-12-15 | 情報処理方法、装置、および当該情報処理方法をコンピュータに実行させるためのプログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP6263252B1 true JP6263252B1 (ja) | 2018-01-17 |
JP2018089227A JP2018089227A (ja) | 2018-06-14 |
Family
ID=60989163
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2016236776A Active JP6263252B1 (ja) | 2016-12-06 | 2016-12-06 | 情報処理方法、装置、および当該情報処理方法をコンピュータに実行させるためのプログラム |
Country Status (2)
Country | Link |
---|---|
US (1) | US20180165863A1 (ja) |
JP (1) | JP6263252B1 (ja) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2019234879A1 (ja) * | 2018-06-07 | 2019-12-12 | 株式会社ソニー・インタラクティブエンタテインメント | 情報処理システム、情報処理方法およびコンピュータプログラム |
US11132054B2 (en) | 2018-08-14 | 2021-09-28 | Samsung Electronics Co., Ltd. | Electronic apparatus, control method thereof and electronic system |
EP3751395A4 (en) * | 2018-02-11 | 2021-11-17 | Tencent Technology (Shenzhen) Company Limited | INFORMATION EXCHANGE PROCEDURE, DEVICE, STORAGE MEDIUM AND ELECTRONIC DEVICE |
Families Citing this family (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10860841B2 (en) * | 2016-12-29 | 2020-12-08 | Samsung Electronics Co., Ltd. | Facial expression image processing method and apparatus |
GB2571956B (en) * | 2018-03-14 | 2022-04-27 | Sony Interactive Entertainment Inc | Head-mountable apparatus and methods |
JP6770562B2 (ja) * | 2018-09-27 | 2020-10-14 | 株式会社コロプラ | プログラム、仮想空間の提供方法および情報処理装置 |
WO2020202870A1 (ja) * | 2019-03-29 | 2020-10-08 | ソニー株式会社 | 電子機器および撮像システム |
JP6945821B2 (ja) * | 2019-04-15 | 2021-10-06 | 株式会社アクセル | 飲料提供用容器の識別装置、識別方法、及び識別プログラム |
CN110826637A (zh) * | 2019-11-11 | 2020-02-21 | 广州国音智能科技有限公司 | 情绪识别方法、***及计算机可读存储介质 |
JP7229146B2 (ja) * | 2019-11-13 | 2023-02-27 | グリー株式会社 | 情報処理装置、情報処理方法および情報処理プログラム |
US20210263582A1 (en) * | 2020-02-26 | 2021-08-26 | Mursion, Inc. | Systems and methods for automated control of human inhabited characters |
JP7369669B2 (ja) | 2020-06-14 | 2023-10-26 | 株式会社スクウェア・エニックス | 拡張現実表示装置及びプログラム |
WO2022137547A1 (ja) * | 2020-12-25 | 2022-06-30 | 株式会社日立製作所 | コミュニケーション支援システム |
JP6946579B1 (ja) * | 2021-01-20 | 2021-10-06 | 株式会社Synamon | 情報処理装置、情報処理方法及びプログラム |
Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2002077592A (ja) * | 2000-04-13 | 2002-03-15 | Fuji Photo Film Co Ltd | 画像処理方法 |
JP2002190034A (ja) * | 2000-12-20 | 2002-07-05 | Sony Corp | 情報処理装置および方法、並びに記録媒体 |
JP2004185437A (ja) * | 2002-12-04 | 2004-07-02 | Nippon Hoso Kyokai <Nhk> | 身体情報反映チャット用プログラム、身体情報反映チャット用サーバ、身体情報反映チャット用クライアントおよび身体情報反映チャット方法 |
JP2005202854A (ja) * | 2004-01-19 | 2005-07-28 | Nec Corp | 画像処理装置、画像処理方法及び画像処理プログラム |
JP2005235142A (ja) * | 2004-01-21 | 2005-09-02 | Nomura Research Institute Ltd | ユーザ間親密度測定システム及びユーザ間親密度測定プログラム |
JP2006330958A (ja) * | 2005-05-25 | 2006-12-07 | Oki Electric Ind Co Ltd | 画像合成装置、ならびにその装置を用いた通信端末および画像コミュニケーションシステム、ならびにそのシステムにおけるチャットサーバ |
JP2010533006A (ja) * | 2007-03-01 | 2010-10-21 | ソニー コンピュータ エンタテインメント アメリカ リミテッド ライアビリテイ カンパニー | 仮想世界とコミュニケーションを取るためのシステムおよび方法 |
-
2016
- 2016-12-06 JP JP2016236776A patent/JP6263252B1/ja active Active
-
2017
- 2017-12-06 US US15/834,027 patent/US20180165863A1/en not_active Abandoned
Patent Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2002077592A (ja) * | 2000-04-13 | 2002-03-15 | Fuji Photo Film Co Ltd | 画像処理方法 |
JP2002190034A (ja) * | 2000-12-20 | 2002-07-05 | Sony Corp | 情報処理装置および方法、並びに記録媒体 |
JP2004185437A (ja) * | 2002-12-04 | 2004-07-02 | Nippon Hoso Kyokai <Nhk> | 身体情報反映チャット用プログラム、身体情報反映チャット用サーバ、身体情報反映チャット用クライアントおよび身体情報反映チャット方法 |
JP2005202854A (ja) * | 2004-01-19 | 2005-07-28 | Nec Corp | 画像処理装置、画像処理方法及び画像処理プログラム |
JP2005235142A (ja) * | 2004-01-21 | 2005-09-02 | Nomura Research Institute Ltd | ユーザ間親密度測定システム及びユーザ間親密度測定プログラム |
JP2006330958A (ja) * | 2005-05-25 | 2006-12-07 | Oki Electric Ind Co Ltd | 画像合成装置、ならびにその装置を用いた通信端末および画像コミュニケーションシステム、ならびにそのシステムにおけるチャットサーバ |
JP2010533006A (ja) * | 2007-03-01 | 2010-10-21 | ソニー コンピュータ エンタテインメント アメリカ リミテッド ライアビリテイ カンパニー | 仮想世界とコミュニケーションを取るためのシステムおよび方法 |
Non-Patent Citations (1)
Title |
---|
VRVIBE: "Facebook Mark Zuckerberg Social VR Demo OC3 Oculus Connect 3 Keynote", YOUTUBE, JPN6017012137, 6 October 2016 (2016-10-06) * |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP3751395A4 (en) * | 2018-02-11 | 2021-11-17 | Tencent Technology (Shenzhen) Company Limited | INFORMATION EXCHANGE PROCEDURE, DEVICE, STORAGE MEDIUM AND ELECTRONIC DEVICE |
US11353950B2 (en) | 2018-02-11 | 2022-06-07 | Tencent Technology (Shenzhen) Company Limited | Information interaction method and device, storage medium and electronic device |
WO2019234879A1 (ja) * | 2018-06-07 | 2019-12-12 | 株式会社ソニー・インタラクティブエンタテインメント | 情報処理システム、情報処理方法およびコンピュータプログラム |
US11551645B2 (en) | 2018-06-07 | 2023-01-10 | Sony Interactive Entertainment Inc. | Information processing system, information processing method, and computer program |
US11132054B2 (en) | 2018-08-14 | 2021-09-28 | Samsung Electronics Co., Ltd. | Electronic apparatus, control method thereof and electronic system |
Also Published As
Publication number | Publication date |
---|---|
JP2018089227A (ja) | 2018-06-14 |
US20180165863A1 (en) | 2018-06-14 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6263252B1 (ja) | 情報処理方法、装置、および当該情報処理方法をコンピュータに実行させるためのプログラム | |
JP6276882B1 (ja) | 情報処理方法、装置、および当該情報処理方法をコンピュータに実行させるためのプログラム | |
JP6244593B1 (ja) | 情報処理方法、装置、および当該情報処理方法をコンピュータに実行させるためのプログラム | |
JP6392911B2 (ja) | 情報処理方法、コンピュータ、および当該情報処理方法をコンピュータに実行させるためのプログラム | |
JP6290467B1 (ja) | 情報処理方法、装置、および当該情報処理方法をコンピュータに実行させるプログラム | |
JP6201028B1 (ja) | 情報処理方法、装置、および当該情報処理方法をコンピュータに実行させるためのプログラム | |
JP6321263B1 (ja) | 情報処理方法、装置、および当該情報処理方法をコンピュータに実行させるためのプログラム | |
JP2019000174A (ja) | 情報処理方法、プログラム及びコンピュータ | |
US20190217197A1 (en) | Information processing method, apparatus, and system for executing the information processing method | |
JP2018125003A (ja) | 情報処理方法、装置、および当該情報処理方法をコンピュータに実行させるプログラム | |
JP2018124981A (ja) | 情報処理方法、装置、および当該情報処理方法をコンピュータに実行させるためのプログラム | |
JP6479933B1 (ja) | プログラム、情報処理装置、および方法 | |
JP2019032844A (ja) | 情報処理方法、装置、および当該情報処理方法をコンピュータに実行させるためのプログラム | |
JP2018092635A (ja) | 情報処理方法、装置、および当該情報処理方法をコンピュータに実行させるためのプログラム | |
JP6225242B1 (ja) | 情報処理方法、装置、および当該情報処理方法をコンピュータに実行させるプログラム | |
JP6368404B1 (ja) | 情報処理方法、プログラム及びコンピュータ | |
JP6419268B1 (ja) | 情報処理方法、装置、および当該情報処理方法をコンピュータに実行させるためのプログラム | |
JP6554139B2 (ja) | 情報処理方法、装置、および当該情報処理方法をコンピュータに実行させるためのプログラム | |
JP2019030638A (ja) | 情報処理方法、装置、および当該情報処理方法をコンピュータに実行させるためのプログラム | |
JP2018192238A (ja) | 情報処理方法、装置、および当該情報処理方法をコンピュータに実行させるためのプログラム | |
JP2018092592A (ja) | 情報処理方法、装置、および当該情報処理方法をコンピュータに実行させるためのプログラム | |
JP2019020832A (ja) | 情報処理方法、装置、および当該情報処理方法をコンピュータに実行させるためのプログラム | |
JP2019020836A (ja) | 情報処理方法、装置、および当該情報処理方法をコンピュータに実行させるためのプログラム | |
JP6839046B2 (ja) | 情報処理方法、装置、情報処理システム、および当該情報処理方法をコンピュータに実行させるプログラム | |
JP6856572B2 (ja) | 情報処理方法、装置、および当該情報処理方法をコンピュータに実行させるためのプログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
TRDD | Decision of grant or rejection written | ||
RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20171013 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20171117 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20171215 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6263252 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |