JP2022086027A - 情報処理システム - Google Patents
情報処理システム Download PDFInfo
- Publication number
- JP2022086027A JP2022086027A JP2020197819A JP2020197819A JP2022086027A JP 2022086027 A JP2022086027 A JP 2022086027A JP 2020197819 A JP2020197819 A JP 2020197819A JP 2020197819 A JP2020197819 A JP 2020197819A JP 2022086027 A JP2022086027 A JP 2022086027A
- Authority
- JP
- Japan
- Prior art keywords
- user
- information processing
- avatar
- motion data
- attribute
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000010365 information processing Effects 0.000 title claims abstract description 62
- 230000009471 action Effects 0.000 claims description 37
- 238000003672 processing method Methods 0.000 claims description 8
- 238000000034 method Methods 0.000 abstract description 13
- 230000001133 acceleration Effects 0.000 description 9
- 230000006399 behavior Effects 0.000 description 8
- 235000014510 cooky Nutrition 0.000 description 7
- 238000010586 diagram Methods 0.000 description 7
- 238000013135 deep learning Methods 0.000 description 6
- 230000006870 function Effects 0.000 description 5
- 238000005452 bending Methods 0.000 description 4
- 230000000694 effects Effects 0.000 description 4
- 238000010801 machine learning Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 210000000988 bone and bone Anatomy 0.000 description 1
- 230000009194 climbing Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 230000000630 rising effect Effects 0.000 description 1
- 230000007704 transition Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q30/00—Commerce
- G06Q30/02—Marketing; Price estimation or determination; Fundraising
- G06Q30/0241—Advertisements
- G06Q30/0251—Targeted advertisements
- G06Q30/0269—Targeted advertisements based on user profile or attribute
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
- G06F3/04842—Selection of displayed objects or displayed text elements
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q30/00—Commerce
- G06Q30/02—Marketing; Price estimation or determination; Fundraising
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q30/00—Commerce
- G06Q30/02—Marketing; Price estimation or determination; Fundraising
- G06Q30/0241—Advertisements
- G06Q30/0277—Online advertisement
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T13/00—Animation
- G06T13/20—3D [Three Dimensional] animation
- G06T13/40—3D [Three Dimensional] animation of characters, e.g. humans, animals or virtual beings
Landscapes
- Engineering & Computer Science (AREA)
- Business, Economics & Management (AREA)
- Theoretical Computer Science (AREA)
- Strategic Management (AREA)
- Accounting & Taxation (AREA)
- Development Economics (AREA)
- Finance (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Economics (AREA)
- Marketing (AREA)
- Game Theory and Decision Science (AREA)
- General Business, Economics & Management (AREA)
- Entrepreneurship & Innovation (AREA)
- Human Computer Interaction (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
- User Interface Of Digital Computer (AREA)
- Information Transfer Between Computers (AREA)
- Processing Or Creating Images (AREA)
Abstract
【課題】仮想現実空間内においてアバターを操作するユーザの属性を事前の情報入力無しに推定できる技術を提供する。【解決手段】情報処理システムは、仮想現実空間内においてアバターを操作中のユーザの実環境におけるモーションデータを取得するモーションデータ取得部と、取得されたモーションデータに基づいて、前記ユーザの属性を推定する属性推定部と、を備える。【選択図】図1
Description
本発明は、仮想現実空間内においてアバターを操作するユーザの属性を推定する情報処理システムに関する。
従来から、仮想現実空間内でユーザに対して広告を表示する技術が知られている。しかしながら、事前の情報入力無しにヘッドマウントディスプレイ(HMD)の利用者を推定することができていないため、利用者の属性に応じた広告の出し分けができていない。
特許文献1には、仮想現実空間内におけるユーザの過去の一連の行動(たとえば、仮想現実空間上のアイテムを拾って、仮想現実空間に登場する人物に対して拾ったアイテムを渡し、代わりに別のアイテムを受け取ったというような行動)を認証用のパスワードとして事前に記憶(登録)しておき、仮想現実空間内においてユーザがとった新たな行動と、事前に記憶(登録)していた過去の行動との間に一定以上の相関があるか否かを判定し、その判定結果に基づいてユーザの認証を行う技術が提案されている。
しかしながら、特許文献1に記載の技術は、ユーザの認証(本人以外による成りすましではないことの確認)を行う技術であり、ユーザの属性(性別や年齢など)を推定することはできなかった。また、特許文献1に記載の技術では、あるユーザの認証を行うためには、事前(認証前)に、仮想現実空間内における当該ユーザの過去の一連の行動を認証用のパスワードとして記憶(登録)しておく必要があり、すなわち、ユーザからの事前の情報入力が必要であった。
ウェブブラウザを利用する利用者の属性を事前の情報入力無しに推定する技術として、ウェブブラウザに保存されたクッキー(cookie)を取得して利用する手法が知られているが、プライバシー保護の観点からクッキーを今後取得しづらくなることが予想され、クッキーを利用することなくユーザの属性を推定する技術が求められている。
本発明は、以上のような点を考慮してなされたものである。本発明の目的は、仮想現実空間内においてアバターを操作するユーザの属性を事前の情報入力無しに推定できる技術を提供することにある。
本発明の第1の態様に係る情報処理システムは、
仮想現実空間内においてアバターを操作中のユーザの実環境におけるモーションデータを取得するモーションデータ取得部と、
取得されたモーションデータに基づいて、前記ユーザの属性を推定する属性推定部と、
を備える。
仮想現実空間内においてアバターを操作中のユーザの実環境におけるモーションデータを取得するモーションデータ取得部と、
取得されたモーションデータに基づいて、前記ユーザの属性を推定する属性推定部と、
を備える。
このような態様によれば、仮想現実空間内においてアバターを操作中のユーザの実環境におけるモーションデータを取得し、当該モーションデータに基づいてユーザの属性を推定することで、ユーザからの事前の情報入力無しに、かつ、クッキーを利用することなく、当該ユーザの属性を推定できる。
本発明の第2の態様に係る情報処理システムは、第1の態様に係る情報処理システムであって、
推定された属性に応じた広告を前記仮想現実空間内に出力する広告出力部
をさらに備える。
推定された属性に応じた広告を前記仮想現実空間内に出力する広告出力部
をさらに備える。
このような態様によれば、ユーザの属性に応じた広告の出し分けが可能であり、広告効果を高めることができる。
本発明の第3の態様に係る情報処理システムは、第1または2の態様に係る情報処理システムであって、
前記属性推定部は、
取得されたモーションデータに基づいて、前記ユーザの骨格の動きを推定する第1推定部と、
推定された骨格の動きに基づいて、前記ユーザの属性を推定する第2推定部と、
を有する。
前記属性推定部は、
取得されたモーションデータに基づいて、前記ユーザの骨格の動きを推定する第1推定部と、
推定された骨格の動きに基づいて、前記ユーザの属性を推定する第2推定部と、
を有する。
本発明の第4の態様に係る情報処理システムは、第1~3のいずれかの態様に係る情報処理システムであって、
前記モーションデータ取得部は、前記ユーザが前記アバターの操作に利用しているヘッドマウントディスプレイおよび/またはコントローラと、前記ユーザを撮影するカメラと、前記ユーザの体幹および/または体肢に装着されたトラッキングセンサのうちの少なくとも1つから、前記モーションデータを取得する。
前記モーションデータ取得部は、前記ユーザが前記アバターの操作に利用しているヘッドマウントディスプレイおよび/またはコントローラと、前記ユーザを撮影するカメラと、前記ユーザの体幹および/または体肢に装着されたトラッキングセンサのうちの少なくとも1つから、前記モーションデータを取得する。
本発明の第5の態様に係る情報処理システムは、第1~4のいずれかの態様に係る情報処理システムであって、
前記ユーザの属性は、前記ユーザの年齢と性別のうちの少なくとも1つを含む。
前記ユーザの属性は、前記ユーザの年齢と性別のうちの少なくとも1つを含む。
本発明の第6の態様に係る情報処理方法は、
コンピュータが実行する情報処理方法であって
仮想現実空間内においてアバターを操作中のユーザの実環境におけるモーションデータを取得するステップと、
取得されたモーションデータに基づいて、前記ユーザの属性を推定するステップと、
を含む。
コンピュータが実行する情報処理方法であって
仮想現実空間内においてアバターを操作中のユーザの実環境におけるモーションデータを取得するステップと、
取得されたモーションデータに基づいて、前記ユーザの属性を推定するステップと、
を含む。
本発明の第7の態様に係る情報処理プログラムは、
コンピュータに、
仮想現実空間内においてアバターを操作中のユーザの実環境におけるモーションデータを取得するステップと、
取得されたモーションデータに基づいて、前記ユーザの属性を推定するステップと、
を実行させるための情報処理プログラムである。
コンピュータに、
仮想現実空間内においてアバターを操作中のユーザの実環境におけるモーションデータを取得するステップと、
取得されたモーションデータに基づいて、前記ユーザの属性を推定するステップと、
を実行させるための情報処理プログラムである。
本発明の第8の態様に係る情報処理システムは、
ユーザが操作するアバターの仮想現実空間内における行動ログを取得する行動ログ取得部と、
取得された行動ログに基づいて、前記ユーザの属性を推定する属性推定部と、
を備える。
ユーザが操作するアバターの仮想現実空間内における行動ログを取得する行動ログ取得部と、
取得された行動ログに基づいて、前記ユーザの属性を推定する属性推定部と、
を備える。
このような態様によれば、ユーザが操作するアバターの仮想現実空間内における行動ログを取得し、当該行動ログに基づいてユーザの属性を推定することで、ユーザからの事前の情報入力無しに、かつ、クッキーを利用することなく、当該ユーザの属性を推定できる。
このような態様によれば、ユーザの属性に応じた広告の出し分けが可能であり、広告効果を高めることができる。
本発明の第9の態様に係る情報処理システムは、第8の態様に係る情報処理システムであって、
推定された属性に応じた広告を前記仮想現実空間内に出力する広告出力部
をさらに備える。
推定された属性に応じた広告を前記仮想現実空間内に出力する広告出力部
をさらに備える。
本発明の第10の態様に係る情報処理システムは、第8または9の態様に係る情報処理システムであって、
前記行動ログは、前記アバターが訪れたワールドと、前記アバターが掴んだ物と、前記アバターが誰と会話したかと、前記アバターが見たもののうちの少なくとも1つを含む。
前記行動ログは、前記アバターが訪れたワールドと、前記アバターが掴んだ物と、前記アバターが誰と会話したかと、前記アバターが見たもののうちの少なくとも1つを含む。
本発明の第11の態様に係る情報処理システムは、第8~10のいずれかの態様に係る情報処理システムであって、
前記ユーザの属性は、前記ユーザの年齢と性別のうちの少なくとも1つを含む。
前記ユーザの属性は、前記ユーザの年齢と性別のうちの少なくとも1つを含む。
本発明の第12の態様に係る情報処理方法は、
コンピュータが実行する情報処理方法であって、
ユーザが操作するアバターの仮想現実空間内における行動ログを取得するステップと、
取得された行動ログに基づいて、前記ユーザの属性を推定するステップと、
を含む。
コンピュータが実行する情報処理方法であって、
ユーザが操作するアバターの仮想現実空間内における行動ログを取得するステップと、
取得された行動ログに基づいて、前記ユーザの属性を推定するステップと、
を含む。
本発明の第13の態様に係る情報処理プログラムは、
コンピュータに、
ユーザが操作するアバターの仮想現実空間内における行動ログを取得するステップと、
取得された行動ログに基づいて、前記ユーザの属性を推定するステップと、
を実行させるための情報処理プログラムである。
コンピュータに、
ユーザが操作するアバターの仮想現実空間内における行動ログを取得するステップと、
取得された行動ログに基づいて、前記ユーザの属性を推定するステップと、
を実行させるための情報処理プログラムである。
本発明によれば、仮想現実空間内においてアバターを操作するユーザの属性を事前の情報入力無しに推定できる技術を提供できる。
以下に、添付の図面を参照して、実施の形態を詳細に説明する。なお、以下の説明および以下の説明で用いる図面では、同一に構成され得る部分について、同一の符号を用いるとともに、重複する説明を省略する。
(第1の実施形態)
図1は、第1の実施形態に係る情報処理システム1の概略的な構成を示す図である。情報処理システム1は、仮想現実空間内においてアバターを操作するユーザの属性を推定するシステムである。
図1は、第1の実施形態に係る情報処理システム1の概略的な構成を示す図である。情報処理システム1は、仮想現実空間内においてアバターを操作するユーザの属性を推定するシステムである。
図1に示すように、情報処理システム1は、ヘッドマウントディスプレイ(HMD)2と、コントローラ3と、制御装置4とを備えている。ヘッドマウントディスプレイ2と制御装置4は(望ましくは無線接続により)通信可能であり、制御装置4とコントローラ3も通信可能となっている。
このうちヘッドマウントディスプレイ2は、ユーザの頭部に装着され、ユーザに対して各種情報を出力するインターフェースである。ヘッドマウントディスプレイ2は、表示部21と、音声出力部22と、モーションセンサ23とを有している。
表示部21は、たとえば液晶ディスプレイや有機ELディスプレイ等であり、ヘッドマウントディスプレイ2を装着したユーザの両眼の視野を覆う。これにより、ユーザは、表示部21に表示された映像を見ることができる。表示部21には、静止画、動画、文書、ホームページその他任意のオブジェクト(電子ファイル)が表示される。表示部21の表示態様に特に制限はなく、奥行きを持った仮想空間(仮想現実空間)の任意の位置にオブジェクトが表示される態様でもよいし、仮想平面の任意の位置にオブジェクトが表示される態様でもよい。
音声出力部22は、ユーザに対して各種情報を音(音波または骨伝導)で出力するインターフェースであり、たとえばイヤホンやヘッドホン、スピーカーなどである。
モーションセンサ23は、実環境におけるユーザの頭部の向きや動き(加速、回転等)を検出する手段である。モーションセンサ23は、たとえば加速度センサ、角速度センサ(ジャイロセンサ)、地磁気センサなどの様々のセンサを含んでいてもよい。
コントローラ3は、ユーザの手に保持され、ユーザからの操作を受け付ける入力インターフェースである。コントローラ3は、操作部31と、モーションセンサ32とを有している。
操作部31は、ユーザの指の動きに応じた入力を受け付ける手段であり、たとえばボタンやレバー、十字キー、タッチパッドなどである。操作部31からの操作入力により、ユーザは、仮想現実空間内でアバターを移動させたり発話させたりすることができる。
モーションセンサ32は、実環境におけるユーザの手(または腕)の向きや動き(加速、回転等)を検出する手段である。モーションセンサ32は、たとえば加速度センサ、角速度センサ(ジャイロセンサ)、地磁気センサなどの様々のセンサを含んでいてもよい。
次に、制御装置4について説明する。図示された例では、制御装置4は、1台のコンピュータから構成されているが、これに限定されるものではなく、ネットワークを介して互いに通信可能に接続された複数台のコンピュータから構成されていてもよい。制御装置4の機能の一部または全部は、プロセッサが所定の情報処理プログラムを実行することによって実現されてもよいし、ハードウェアで実現されてもよい。
図1に示すように、制御装置4は、モーションデータ取得部41と、属性推定部42と、広告出力部43とを有している。
このうちモーションデータ取得部41は、仮想現実空間内においてアバターを操作中のユーザの実環境におけるモーションデータを取得する。具体的には、たとえば、モーションデータ取得部41は、ヘッドマウントディスプレイ2から、実環境におけるユーザの頭部の向きや動き(加速、回転等)を検出したデータを、モーションデータとして取得してもよい。また、モーションデータ取得部41は、コントローラ3から、実環境におけるユーザの手(または腕)の向きや動き(加速、回転等)を検出したデータを、モーションデータとして取得してもよい。
一変形例として、図2に示すように、ユーザを外部から撮影するカメラ5が制御装置4に通信可能に接続されている場合には、モーションデータ取得部41は、カメラ5から、実環境におけるユーザの身体の向きや動き(加速、回転等)を撮影した画像データを、モーションデータとして取得してもよい。
図示は省略するが、ユーザの体幹(たとえば腰)および/または体肢(たとえば足)に追加のトラッキングセンサ(不図示)が装着されている場合には、モーションデータ取得部41は、当該トラッキングセンサから、実環境におけるユーザの体幹および/または体肢の向きや動き(加速、回転等)を検出したデータを、モーションデータとして取得してもよい。
属性推定部42は、モーションデータ取得部41により取得された実環境におけるモーションデータに基づいて、ユーザの属性(たとえば、年齢、性別、身長など)を推定する。図示された例では、属性推定部42は、第1推定部421と、第2推定部422とを有している。
第1推定部421は、モーションデータ取得部41により取得された実環境におけるモーションデータに基づいて、ユーザの骨格の動き(たとえば、腰をかがめるスピード、肩の上がり方や可動範囲、手足の長さなど)を推定する。具体的には、たとえば、第1推定部421は、過去の複数のユーザの実環境におけるモーションデータと、当該ユーザの骨格の動きとの関係性を機械学習した学習済みモデルを用いて、モーションデータ取得部41により取得された新たなモーションデータを入力として、ユーザの骨格の動きを推定してもよい。機械学習アルゴリズムとしては、たとえばディープラーニング(深層学習)が用いられてもよい。あるいは、たとえば、第1推定部421は、ユーザの実環境におけるモーションデータの計測値と、当該ユーザの骨格の動きとの関係性を規定するルール(対応表や関数)を用いて、モーションデータ取得部41により新たに取得されたモーションデータを入力として、ユーザの骨格の動きを推定してもよい。モーションデータ取得部41が、カメラ5から、実環境におけるユーザの身体の向きや動き(加速、回転等)を撮影した画像データを、モーションデータとして取得した場合には、第1推定部421は、当該画像データを画像処理することにより、ユーザの骨格の動きを推定してもよい。
第2推定部422は、第1推定部421により推定された骨格の動き(たとえば、腰をかがめるスピード、肩の上がり方や可動範囲、手足の長さなど)に基づいて、ユーザの属性(たとえば、年齢、性別、身長など)を推定する。一例として、図3Aに示すように、ユーザの肩の上がり方が所定値より低い(または肩の可動範囲が所定値より狭い)場合には、ユーザの年齢が40代以上であると推定してもよい。また、たとえば、ユーザの肩の上がり方が所定値より低い(または肩の可動範囲が所定値より狭い)場合であって、さらに、ユーザの腰をかがめるスピードが所定値より遅い場合には、ユーザが50代以上であると推定してもよい。他方、図3Bに示すように、ユーザの肩の上り方が所定値より高い(または肩の可動範囲が所定値より広い)場合には、ユーザの年齢が30代以下であると推定してもよい。また、たとえば、ユーザの肩の上り方が所定値より高い(または肩の可動範囲が所定値より広い)場合であって、さらに、ユーザの腰をかがめるスピードが所定値より速い場合には、ユーザが20代以下であると推定してもよい。
第2推定部422は、第1推定部421により推定された骨格の動きを入力として、ルールベースで(対応表や関数を用いて)ユーザの属性を推定してもよいし、骨格の動きとユーザの属性との関係性を機械学習した学習済みモデルを用いて、ユーザの属性を推定してもよい。機械学習アルゴリズムとしては、たとえばディープラーニング(深層学習)が用いられてもよい。
広告出力部43は、属性推定部42により推定された属性に応じた広告(たとえば音声広告、動画広告、3Dオブジェクト広告など)を、たとえば外部の広告主のサーバ(不図示)から取得し、ヘッドマウントディスプレイ2の表示部21または音声出力部22を介して仮想現実空間内に出力する。
広告出力部43は、広告が実環境における現実の商品の広告である場合には、ユーザ本人の属性に応じた広告を仮想現実空間内に出力してもよい。また、広告出力部43は、広告が仮想現実空間内におけるバーチャルの商品の広告である場合には、アバターの情報を加味した広告を仮想現実空間内に出力してもよい。たとえば、広告出力部43は、動物系のアバターの場合には、翼のオプションアイテムの広告を出力し、女性のアバターの場合には、ネイルのオプションアイテムの広告を出力してもよい。
次に、このような構成からなる情報処理システム1の動作の一例について、図4を参照して説明する。図4は、情報処理システム1の動作の一例を示すフローチャートである。
図4に示すように、まず、ユーザがヘッドマウントディスプレイ2およびコントローラ3を用いて仮想現実空間内においてアバターを操作する際に、モーションデータ取得部41が、アバターを操作中のユーザの実環境におけるモーションデータを、ヘッドマウントディスプレイ2およびコントローラ3から取得する(ステップS10)。モーションデータ取得部41は、アバターを操作中のユーザの実環境におけるモーションデータを、カメラ5やトラッキングセンサ(不図示)から取得してもよい。
次に、属性推定部42が、モーションデータ取得部41により取得された実環境におけるモーションデータに基づいて、ユーザの属性(たとえば、年齢、性別、身長など)を推定する。
具体的には、たとえば、まず、第1推定部421が、モーションデータ取得部41により取得された実環境におけるモーションデータに基づいて、ユーザの骨格の動き(たとえば、腰をかがめるスピード、肩の上がり方や可動範囲、手足の長さなど)を推定する(ステップS11)。
次いで、第2推定部422が、第1推定部421により推定された骨格の動き(たとえば、腰をかがめるスピード、肩の上がり方や可動範囲、手足の長さなど)に基づいて、ユーザの属性(たとえば、年齢、性別、身長など)を推定する(ステップS12)。
その後、広告出力部43が、属性推定部42により推定された属性に応じた広告(たとえば音声広告、動画広告、3Dオブジェクト広告など)を、たとえば外部の広告主のサーバ(不図示)から取得し、ヘッドマウントディスプレイ2の表示部21または音声出力部22を介して仮想現実空間内に出力する。
以上のような本実施の形態によれば、モーションデータ取得部41が、仮想現実空間内においてアバターを操作中のユーザの実環境におけるモーションデータを取得し、属性推定部42が、当該モーションデータに基づいてユーザの属性を推定するため、ユーザからの事前の情報入力無しに、かつ、ウェブブラウザに保存されているクッキーを利用することなく、当該ユーザの属性を推定することが可能である。
また、本実施の形態によれば、広告出力部43が、属性推定部42により推定された属性に応じた広告を仮想現実空間内に出力するため、ユーザの属性に応じた広告の出し分けが可能であり、広告効果を高めることができる。
(第2の実施形態)
次に、第2の実施形態に係る情報処理システム10について説明する。図5は、第2の実施形態に係る情報処理システム10の概略的な構成を示す図である。
次に、第2の実施形態に係る情報処理システム10について説明する。図5は、第2の実施形態に係る情報処理システム10の概略的な構成を示す図である。
図2に示すように、情報処理システム10は、ヘッドマウントディスプレイ(HMD)2と、コントローラ3と、制御装置40とを備えている。ヘッドマウントディスプレイ2と制御装置40は(望ましくは無線接続により)通信可能であり、制御装置40とコントローラ3も通信可能となっている。
このうちヘッドマウントディスプレイ2およびコントローラ3の構成は、上述した第1の実施形態と同様であり、説明を省略する。
図示された例では、制御装置40は、1台のコンピュータから構成されているが、これに限定されるものではなく、ネットワークを介して互いに通信可能に接続された複数台のコンピュータから構成されていてもよい。制御装置40の機能の一部または全部は、プロセッサが所定の情報処理プログラムを実行することによって実現されてもよいし、ハードウェアで実現されてもよい。
図5に示すように、制御装置40は、行動ログ取得部44と、属性推定部45と、広告出力部43とを有している。
このうち行動ログ取得部44は、ユーザが操作するアバターの仮想現実空間内における行動ログを取得する。ここで、行動ログは、たとえば、仮想現実空間内においてアバターが訪れたワールド(どのワールドを訪れたか)と、仮想現実空間内においてアバターが掴んだ物(何を掴んだか)と、仮想現実空間内においてアバターが誰と会話したかと、仮想現実空間内においてアバターが見たもの(何を見たか)のうちの少なくとも1つを含んでいてもよい。
属性推定部45は、行動ログ取得部44により取得された仮想現実空間内におけるアバターの行動ログに基づいて、当該アバターを操作するユーザの属性(たとえば、年齢、性別、身長など)を推定する。たとえば、属性推定部45は、アバターの行動ログに基づいて、当該アバターを操作するユーザの嗜好を大別し、大別されたユーザの嗜好に基づいて当該ユーザの属性を推定してもよい。
属性推定部45は、行動ログ取得部44により取得された仮想現実空間内におけるアバターの行動ログを入力として、ルールベースで(対応表や関数を用いて)ユーザの属性を推定してもよいし、過去の複数のアバターの行動ログとアバターを操作するユーザの属性との関係性を機械学習した学習済みモデルを用いて、ユーザの属性を推定してもよい。機械学習アルゴリズムとしては、たとえばディープラーニング(深層学習)が用いられてもよい。
属性推定部45は、行動ログ取得部44により取得された仮想現実空間内におけるアバターの行動ログに基づいて、当該アバターを操作するユーザの属性を推定する際に、ユーザのバイタルデータ(たとえば、ユーザのウェアラブルデバイスから取得される心拍数など)をさらに照合して、ユーザの属性を推定してもよい。
広告出力部43は、属性推定部42により推定された属性に応じた広告(たとえば音声広告、動画広告、3Dオブジェクト広告など)を、たとえば外部の広告主のサーバ(不図示)から取得し、ヘッドマウントディスプレイ2の表示部21または音声出力部22を介して仮想現実空間内に出力する。
広告出力部43は、広告が実環境における現実の商品の広告である場合には、ユーザ本人の属性に応じた広告を仮想現実空間内に出力してもよい。また、広告出力部43は、広告が仮想現実空間内におけるバーチャルの商品の広告である場合には、アバターの情報を加味した広告を仮想現実空間内に出力してもよい。たとえば、広告出力部43は、動物系のアバターの場合には、翼のオプションアイテムの広告を出力し、女性のアバターの場合には、ネイルのオプションアイテムの広告を出力してもよい。
次に、このような構成からなる情報処理システム10の動作の一例について、図6を参照して説明する。図6は、情報処理システム10の動作の一例を示すフローチャートである。
図6に示すように、まず、ユーザがヘッドマウントディスプレイ2およびコントローラ3を用いて仮想現実空間内においてアバターを操作する際に、行動ログ取得部44が、仮想現実空間内におけるアバターの行動ログを取得する(ステップS20)。
次に、属性推定部45が、行動ログ取得部44により取得された仮想現実空間内におけるアバターの行動ログに基づいて、当該アバターを操作するユーザの属性(たとえば、年齢、性別、身長など)を推定する(ステップS21)。
その後、広告出力部43が、属性推定部42により推定された属性に応じた広告(たとえば音声広告、動画広告、3Dオブジェクト広告など)を、たとえば外部の広告主のサーバ(不図示)から取得し、ヘッドマウントディスプレイ2の表示部21または音声出力部22を介して仮想現実空間内に出力する。
以上のような本実施の形態によれば、行動ログ取得部44が、ユーザが操作するアバターの仮想現実空間内における行動ログを取得し、属性推定部45が、当該行動ログに基づいてユーザの属性を推定するため、ユーザからの事前の情報入力無しに、かつ、ウェブブラウザに保存されているクッキーを利用することなく、当該ユーザの属性を推定することが可能である。
また、本実施の形態によれば、上述した第1の実施形態と同様に、広告出力部43が、属性推定部42により推定された属性に応じた広告を仮想現実空間内に出力するため、ユーザの属性に応じた広告の出し分けが可能であり、広告効果を高めることができる。
なお、上述した実施の形態の記載ならびに図面の開示は、特許請求の範囲に記載された発明を説明するための一例に過ぎず、上述した実施の記載または図面の開示によって特許請求の範囲に記載された発明が限定されることはない。上述した実施の形態の構成要素は、発明の主旨を逸脱しない範囲で任意に組み合わせることが可能である。
また、本実施の形態に係る情報処理システム1、10の少なくとも一部はコンピュータによって構成され得るが、コンピュータに情報処理システム1、10の少なくとも一部を実現させるためのプログラム及び当該プログラムを非一時的(non-transitory)に記録したコンピュータ読取可能な記録媒体も、本件の保護対象である。
1、10 情報処理システム
2 ヘッドマウントディスプレイ
21 表示部
22 音声出力部
23 モーションセンサ
3 コントローラ
31 操作部
32 モーションセンサ
4、40 制御装置
41 モーションデータ取得部
42、45 属性推定部
421 第1推定部
422 第2推定部
43 広告出力部
44 行動ログ取得部
5 カメラ
2 ヘッドマウントディスプレイ
21 表示部
22 音声出力部
23 モーションセンサ
3 コントローラ
31 操作部
32 モーションセンサ
4、40 制御装置
41 モーションデータ取得部
42、45 属性推定部
421 第1推定部
422 第2推定部
43 広告出力部
44 行動ログ取得部
5 カメラ
Claims (13)
- 仮想現実空間内においてアバターを操作中のユーザの実環境におけるモーションデータを取得するモーションデータ取得部と、
取得されたモーションデータに基づいて、前記ユーザの属性を推定する属性推定部と、
を備えた情報処理システム。 - 推定された属性に応じた広告を前記仮想現実空間内に出力する広告出力部
をさらに備えた、請求項1に記載の情報処理システム。 - 前記属性推定部は、
取得されたモーションデータに基づいて、前記ユーザの骨格の動きを推定する第1推定部と、
推定された骨格の動きに基づいて、前記ユーザの属性を推定する第2推定部と、
を有する、
請求項1または2に記載の情報処理システム。 - 前記モーションデータ取得部は、前記ユーザが前記アバターの操作に利用しているヘッドマウントディスプレイおよび/またはコントローラと、前記ユーザを撮影するカメラと、前記ユーザの体幹および/または体肢に装着されたトラッキングセンサのうちの少なくとも1つから、前記モーションデータを取得する、
請求項1~3のいずれかに記載の情報処理システム。 - 前記ユーザの属性は、前記ユーザの年齢と性別のうちの少なくとも1つを含む、
請求項1~4のいずれかに記載の情報処理システム。 - コンピュータが実行する情報処理方法であって、
仮想現実空間内においてアバターを操作中のユーザの実環境におけるモーションデータを取得するステップと、
取得されたモーションデータに基づいて、前記ユーザの属性を推定するステップと、
を含む情報処理方法。 - コンピュータに、
仮想現実空間内においてアバターを操作中のユーザの実環境におけるモーションデータを取得するステップと、
取得されたモーションデータに基づいて、前記ユーザの属性を推定するステップと、
を実行させるための情報処理プログラム。 - ユーザが操作するアバターの仮想現実空間内における行動ログを取得する行動ログ取得部と、
取得された行動ログに基づいて、前記ユーザの属性を推定する属性推定部と、
を備えた情報処理システム。 - 推定された属性に応じた広告を前記仮想現実空間内に出力する広告出力部
をさらに備えた、請求項8に記載の情報処理システム。 - 前記行動ログは、前記アバターが訪れたワールドと、前記アバターが掴んだ物と、前記アバターが誰と会話したかと、前記アバターが見たもののうちの少なくとも1つを含む、
請求項8または9に記載の情報処理システム。 - 前記ユーザの属性は、前記ユーザの年齢と性別のうちの少なくとも1つを含む、
請求項8~10のいずれかに記載の情報処理システム。 - コンピュータが実行する情報処理方法であって、
ユーザが操作するアバターの仮想現実空間内における行動ログを取得するステップと、
取得された行動ログに基づいて、前記ユーザの属性を推定するステップと、
を含む情報処理方法。 - コンピュータに、
ユーザが操作するアバターの仮想現実空間内における行動ログを取得するステップと、
取得された行動ログに基づいて、前記ユーザの属性を推定するステップと、
を実行させるための情報処理プログラム。
Priority Applications (4)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2020197819A JP2022086027A (ja) | 2020-11-30 | 2020-11-30 | 情報処理システム |
CA3199624A CA3199624A1 (en) | 2020-11-30 | 2021-10-01 | Information processing system |
US18/254,220 US20240029113A1 (en) | 2020-11-30 | 2021-10-01 | Information processing system |
PCT/JP2021/036408 WO2022113520A1 (ja) | 2020-11-30 | 2021-10-01 | 情報処理システム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2020197819A JP2022086027A (ja) | 2020-11-30 | 2020-11-30 | 情報処理システム |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2022086027A true JP2022086027A (ja) | 2022-06-09 |
Family
ID=81755541
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2020197819A Pending JP2022086027A (ja) | 2020-11-30 | 2020-11-30 | 情報処理システム |
Country Status (4)
Country | Link |
---|---|
US (1) | US20240029113A1 (ja) |
JP (1) | JP2022086027A (ja) |
CA (1) | CA3199624A1 (ja) |
WO (1) | WO2022113520A1 (ja) |
Family Cites Families (15)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP3862348B2 (ja) * | 1997-03-19 | 2006-12-27 | 東京電力株式会社 | モーションキャプチャシステム |
US20090118593A1 (en) * | 2007-11-07 | 2009-05-07 | Searete Llc, A Limited Liability Corporation Of The State Of Delaware | Determining a demographic characteristic based on computational user-health testing of a user interaction with advertiser-specified content |
US8334842B2 (en) * | 2010-01-15 | 2012-12-18 | Microsoft Corporation | Recognizing user intent in motion capture system |
KR101187773B1 (ko) * | 2011-01-28 | 2012-10-05 | 심광호 | 동작인식 맞춤형 광고시스템 |
WO2013140257A1 (en) * | 2012-03-20 | 2013-09-26 | Alexopoulos Llias | Methods and systems for a gesture-controlled lottery terminal |
US20160195923A1 (en) * | 2014-12-26 | 2016-07-07 | Krush Technologies, Llc | Gyroscopic chair for virtual reality simulation |
US10007352B2 (en) * | 2015-08-21 | 2018-06-26 | Microsoft Technology Licensing, Llc | Holographic display system with undo functionality |
US9799161B2 (en) * | 2015-12-11 | 2017-10-24 | Igt Canada Solutions Ulc | Enhanced electronic gaming machine with gaze-aware 3D avatar |
CN109643152B (zh) * | 2016-06-03 | 2020-03-13 | 脸谱科技有限责任公司 | 使用头戴式显示器内的面部传感器的面部和眼睛跟踪以及面部动画 |
JP6095191B1 (ja) * | 2016-07-15 | 2017-03-15 | ブレイニー株式会社 | 仮想現実システム、及び、情報処理システム |
US10769679B2 (en) * | 2017-01-25 | 2020-09-08 | Crackle, Inc. | System and method for interactive units within virtual reality environments |
JP2019021347A (ja) * | 2018-11-07 | 2019-02-07 | 株式会社コロプラ | ヘッドマウントディスプレイシステム制御プログラム |
AU2019412503A1 (en) * | 2018-12-24 | 2021-07-08 | Body Composition Technologies Pty Ltd | Analysing a body |
JP7453490B2 (ja) * | 2019-01-21 | 2024-03-21 | 株式会社アルファコード | ユーザ属性推定装置およびユーザ属性推定方法 |
KR102622883B1 (ko) * | 2019-09-02 | 2024-01-09 | 엘지전자 주식회사 | Xr 디바이스 및 그 제어 방법 |
-
2020
- 2020-11-30 JP JP2020197819A patent/JP2022086027A/ja active Pending
-
2021
- 2021-10-01 CA CA3199624A patent/CA3199624A1/en active Pending
- 2021-10-01 US US18/254,220 patent/US20240029113A1/en active Pending
- 2021-10-01 WO PCT/JP2021/036408 patent/WO2022113520A1/ja active Application Filing
Also Published As
Publication number | Publication date |
---|---|
WO2022113520A1 (ja) | 2022-06-02 |
US20240029113A1 (en) | 2024-01-25 |
CA3199624A1 (en) | 2022-06-02 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11127210B2 (en) | Touch and social cues as inputs into a computer | |
US10317997B2 (en) | Selection of optimally positioned sensors in a glove interface object | |
CN104520849B (zh) | 使用外在物理表达的搜索用户界面 | |
US20130174213A1 (en) | Implicit sharing and privacy control through physical behaviors using sensor-rich devices | |
US20150070274A1 (en) | Methods and systems for determining 6dof location and orientation of head-mounted display and associated user movements | |
US20100045595A1 (en) | System and method for controlling a displayed presentation, such as a sexually explicit presentation | |
CN112198959A (zh) | 虚拟现实交互方法、装置及*** | |
US10514752B2 (en) | Methods and apparatus to determine objects to present in virtual reality environments | |
US10642346B2 (en) | Action control method and device | |
US20170365084A1 (en) | Image generating apparatus and image generating method | |
CN115244495A (zh) | 针对虚拟环境运动的实时式样 | |
JP7077603B2 (ja) | 判定プログラム、判定方法及び画像生成装置 | |
WO2018004776A1 (en) | Virtual manipulator rendering | |
Caserman et al. | Real-time step detection using the integrated sensors of a head-mounted display | |
US10788887B2 (en) | Image generation program, image generation device, and image generation method | |
WO2022113520A1 (ja) | 情報処理システム | |
CN115668260A (zh) | 广告显示*** | |
Lun | Human activity tracking and recognition using Kinect sensor | |
EP4116939A1 (en) | Information processing device and information processing method, computer program, and augmented reality sensing system | |
KR102169146B1 (ko) | 가상 현실 멀미 측정 장치 및 방법 | |
WO2020153031A1 (ja) | ユーザ属性推定装置およびユーザ属性推定方法 | |
KR101605740B1 (ko) | 스마트폰 사용자의 개인화된 동작인식 방법 및 이를 이용한 게임방법 | |
JP7281012B1 (ja) | プログラム、情報処理方法及び情報処理システム | |
US20230360329A1 (en) | Metaverse Experiences | |
WO2024013907A1 (ja) | 情報提供装置、情報提供方法及び情報提供プログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20230522 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20240220 |