JP7418709B2 - コンピュータプログラム、方法及びサーバ装置 - Google Patents
コンピュータプログラム、方法及びサーバ装置 Download PDFInfo
- Publication number
- JP7418709B2 JP7418709B2 JP2022187290A JP2022187290A JP7418709B2 JP 7418709 B2 JP7418709 B2 JP 7418709B2 JP 2022187290 A JP2022187290 A JP 2022187290A JP 2022187290 A JP2022187290 A JP 2022187290A JP 7418709 B2 JP7418709 B2 JP 7418709B2
- Authority
- JP
- Japan
- Prior art keywords
- performer
- change
- terminal device
- region
- amount
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims description 37
- 238000004590 computer program Methods 0.000 title claims description 34
- 230000008859 change Effects 0.000 claims description 162
- 230000033001 locomotion Effects 0.000 claims description 111
- 238000012545 processing Methods 0.000 claims description 33
- 238000005259 measurement Methods 0.000 claims description 30
- 238000001514 detection method Methods 0.000 claims description 23
- 210000004709 eyebrow Anatomy 0.000 claims description 22
- 238000004891 communication Methods 0.000 description 75
- 230000009471 action Effects 0.000 description 74
- 230000008921 facial expression Effects 0.000 description 57
- 230000006870 function Effects 0.000 description 37
- 210000001508 eye Anatomy 0.000 description 29
- 230000014509 gene expression Effects 0.000 description 17
- 238000010586 diagram Methods 0.000 description 15
- 230000008569 process Effects 0.000 description 11
- 238000011156 evaluation Methods 0.000 description 8
- 238000005516 engineering process Methods 0.000 description 6
- 238000004422 calculation algorithm Methods 0.000 description 5
- 238000004364 calculation method Methods 0.000 description 5
- 230000005540 biological transmission Effects 0.000 description 4
- 210000000744 eyelid Anatomy 0.000 description 4
- 230000010365 information processing Effects 0.000 description 4
- 210000000887 face Anatomy 0.000 description 3
- 238000009877 rendering Methods 0.000 description 3
- 230000004044 response Effects 0.000 description 3
- 210000000038 chest Anatomy 0.000 description 2
- 239000003086 colorant Substances 0.000 description 2
- 230000008451 emotion Effects 0.000 description 2
- 230000003203 everyday effect Effects 0.000 description 2
- 230000001815 facial effect Effects 0.000 description 2
- 238000007667 floating Methods 0.000 description 2
- 230000005236 sound signal Effects 0.000 description 2
- 238000012935 Averaging Methods 0.000 description 1
- 230000004913 activation Effects 0.000 description 1
- 230000003190 augmentative effect Effects 0.000 description 1
- 230000004397 blinking Effects 0.000 description 1
- 210000000481 breast Anatomy 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 230000002354 daily effect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000006073 displacement reaction Methods 0.000 description 1
- 210000005069 ears Anatomy 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 210000000214 mouth Anatomy 0.000 description 1
- 210000001331 nose Anatomy 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 210000003625 skull Anatomy 0.000 description 1
Images
Landscapes
- Image Analysis (AREA)
- User Interface Of Digital Computer (AREA)
Description
さらにまた、添付した図面が必ずしも正確な縮尺で記載されている訳ではないということに注意されたい。
本件出願において開示される通信システムでは、簡潔にいえば、配信ユーザ(演者)に対向して設けられた端末装置等が、この配信ユーザの動作に基づいて生成した画像(動画像及び/又は静止画像)を、サーバ装置等を介して、各視聴ユーザの端末装置等に送信することができる。
なお、図1には、端末装置20の例として、3つの端末装置20A~20Cが例示され、サーバ装置30の例として、3つのサーバ装置30A~30Cが例示されている。しかし、端末装置20として、これら以外の1又はそれ以上の端末装置20が通信網10に接続され得る。また、サーバ装置30として、これら以外の1又はそれ以上のサーバ装置30が通信網10に接続され得る。
次に、端末装置20、サーバ装置30及びスタジオユニット40の各々が有するハードウェア構成の一例について説明する。
2-1.端末装置20のハードウェア構成
各端末装置20のハードウェア構成例について図2を参照して説明する。図2は、図1に示した端末装置20(サーバ装置30)のハードウェア構成の一例を模式的に示すブロック図である。なお、図2において、括弧内の参照符号は、後述するように各サーバ装置30に関連して記載されている。
これにより、中央処理装置21は、入出力インタフェイス装置23を介して出力装置26を制御し、或いはまた、入出力インタフェイス装置23及び通信網10を介して、他の装置(例えばサーバ装置30及び他の端末装置20等)との間で様々な情報の送受信を行うことができる。
各サーバ装置30のハードウェア構成例について同じく図2を参照して説明する。各サーバ装置30のハードウェア構成は、例えば、上述した各端末装置20のハードウェア構成と同一とすることができる。したがって、各サーバ装置30が有する構成要素に対する参照符号は、図2において括弧内に示されている。
これにより、中央処理装置31は、入出力インタフェイス装置33を介して出力装置36を制御し、或いはまた、入出力インタフェイス装置33及び通信網10を介して、他の装置(例えば各端末装置20等)との間で様々な情報の送受信を行うことができる。
スタジオユニット40は、パーソナルコンピュータ等の情報処理装置により実装可能である。スタジオユニット40は、図示はされていないが、上述した端末装置20及びサーバ装置30と同様に、主に、中央処理装置と、主記憶装置と、入出力インタフェイス装置と、入力装置と、補助記憶装置と、出力装置と、を含むことができる。これら装置同士は、データバス及び/又は制御バスにより接続されている。
次に、端末装置20、サーバ装置30及びスタジオユニット40の各々が有する機能の一例について説明する。
3-1.端末装置20の機能
端末装置20の機能の一例について図3を参照して説明する。図3は、図1に示した端末装置20(サーバ装置30)の機能の一例を模式的に示すブロック図である。
記憶部100は、画像の配信及び/又は画像の受信に必要とされる様々な情報を記憶することができる。特に、記憶部100は、対応情報を記憶することができる。対応情報では、予め定められた少なくとも1つの特定動作の各々と、演者の身体における複数の部位のうち変化量が大きい上位少なくとも1つの部位とが、対応付けられる。
(A)演者が実際に表現することが困難な様々な表情(以下「特殊表情」ということがある)のうちの少なくとも1つ
(B)身体を使用した様々な動作(両手でハート型を作る動作、及び、両手を用いて手旗信号を表現する動作等)のうちの少なくとも1つ
(A1)顔の形状が漫画のように非現実的に変形した表情
(A2)記号、図形及び/又は色が顔に付加された表情
(A3)喜怒哀楽を含む感情を表現する表情
なお、対応情報の具体例については後述する。
センサ部110は、様々なタイプのカメラ及び/又はマイクロフォン等のセンサと、このようなセンサにより取得された情報を処理する少なくとも1つのプロセッサと、を含むことができる。センサ部110は、このセンサ部110に対向する演者の身体に関するデータ(画像及び/又は音声等)を取得して、さらにこのデータに対する情報処理を実行することが可能である。
メラとしては、https://developer.apple.com/documentation/arkit/arfaceanchorに開示されたカメラを利用することができる。このウェブサイトに記載された事項は、引用によりその全体が本明細書に組み入れられる。
ここで、各ポイント(各部位)の深度は、各ポイント(各部位)と近赤外線カメラとの間の距離であり得る。センサ部110は、このように算出された深度を示す数値を上記のようにタイムコードに対応付けて単位時間ごとに記録したデータを生成することができる。
を利用することができる。Argumented Facesとしては、https://developers.***.com/ar/develop/java/augmented-faces/において開示された情報を利用する
ことができる。このウェブサイトに開示された情報は、引用によりその全体が本明細書に組み入れられる。
により撮像された画像を用いて、次に示す情報を単位時間ごとに取得することができる。
(1)演者の頭蓋骨の物理的な中心位置、
(2)演者の顔を構成する何百もの頂点を含み、上記中心位置に対して定義される顔メッシュ、及び、
(3)上記(1)及び(2)に基づいて識別された、演者の顔における複数の部位(例えば、右頬、左頬、鼻の頂点)の各々の位置(座標)
変化量取得部120は、センサ部110により取得された演者の身体に関するデータ(測定データ)に基づいて、演者の身体における複数の部位の各々の単位時間当たりの変化量を取得することができる。具体的には、変化量取得部120は、例えば、右頬という部位について、第1の単位時間において取得された位置(座標)と、第1の単位時間の次に(直後に)生ずる第2の単位時間において取得された位置(座標)と、の差分をとることができる。これにより、変化量取得部120は、第1の単位時間と第2の単位時間との間において、右頬という部位の変化量を取得することができる。すなわち、変化量取得部120は、右頬という部位の単位時間当たりの変化量を取得することができる。変化量取得部120は、他の部位についても同様にその部位の単位時間当たりの変化量を取得することができる。
り表現され得る。
なお、単位時間は、固定、可変又はこれらの組み合わせであってもよい。また、単位時間は、1フレームに相当する時間であってもよい。
参照値取得部130は、センサ部110により取得された演者の身体に関するデータ(測定データ)に基づいて、演者の身体における複数の部位の単位時間当たりの変化量に基づく参照値を取得する。一実施形態では、参照値Rは、次の数式を用いて算出され得る。
ここで、xiは、前記演者の身体における複数の部位のうちの第i番目の部位の単位時間当たりの変化量である。Nは、部位の総数(2以上)である。この数式により算出される値は、2乗平均平方根(Root Mean Square)と称される。
なお、ここでも、xiは、前記演者の身体における複数の部位のうちの第i番目の部位の単位時間当たりの変化量である。Nは、部位の総数(2以上)である。
識別部140は、変化量取得部120により取得された、演者の身体における複数の部位の各々の単位時間当たりの変化量を用いて、複数の部位のうち、単位時間当たりの変化量が大きい上位少なくとも1つの部位を識別することができる。
決定部150は、記憶部100に記憶された上述した対応情報において、識別部140により識別された単位時間当たりの変化量が大きい上位少なくとも1つの部位に対応付けられたいずれか1つの特定動作を、演者が行った動作(検出動作)として決定することができる。
画像生成部160は、センサ部110により取得された演者の身体に関するデータ(測定データ)を用いて、通常は、演者の身体の動作に追従した仮想的なキャラクターのアニメーションを含む動画を生成することができる。例えば、画像生成部160は、演者の身体の動作に追従して、仮想的なキャラクターが真顔を維持して単に瞬きをした動画、仮想的なキャラクターが真顔を維持して単に俯いた動画、及び、仮想的なキャラクターが演者の顔の動作に合わせて口や目を動かした動画等を生成することができる。このような動画の生成は、画像生成部160が、センサ部110により取得された演者の身体に関するデータ(測定データ)に基づいて、例えば、特定の部位(目等)の位置(座標)が変化したことを検出し、そのような変化に基づいて、この特定の部位を描画すること等により実現可能である。また、このような動画の生成は、当業者にとって周知である様々なレンダリング技術を用いることによって実現可能である。
なお、画像生成部160は、VR(Virtual Reality)に基づく実施形態では、上記の
ように動作する仮想的なキャラクターが、CG等により形成された仮想空間に配置された画像(動画)を生成することができる。画像生成部160は、AR(Augmented Reality
)又はMR(Mixed Reality)に基づく実施形態では、上記のように動作する仮想的なキ
ャラクターが、現実空間に配置された画像(動画)を生成することができる。
表示部170は、例えば、タッチパネル及び/又はディスプレイパネル等を含むことができる。このような表示部170は、記憶部100に記憶された動画を格納したファイルを再生して表示することができる。
ユーザインタフェイス部180は、タッチパネル、マウス及び/又はキーボード等を含むことができる。このようなユーザインタフェイス部180は、演者(ユーザ)により行われた操作の内容を示す情報を生成することができる。
通信部190は、画像の配信及び/又は画像の受信に必要とされる様々な情報を、通信網10を介してサーバ装置30との間で通信することができる。特に、当該端末装置20が演者(配信ユーザ)の端末装置20として動作する場合には、通信部190は、記憶部100に記憶された動画を、サーバ装置30に送信することができる。当該端末装置20が視聴ユーザの端末装置20として動作する場合には、通信部190は、配信ユーザの端末装置20により配信された動画を、サーバ装置30を介して受信することができる。
サーバ装置30の機能の具体例について同じく図3を参照して説明する。サーバ装置30の機能としては、例えば、上述した端末装置20の機能の一部を用いることが可能である。したがって、サーバ装置30が有する構成要素に対する参照符号は、図3において括弧内に示されている。
スタジオユニットは、図3に示した端末装置20又はサーバ装置30と同様の構成を有することにより、端末装置20又はサーバ装置30と同様の動作を行うことが可能である。但し、通信部190(290)は、画像生成部160(260)により生成され記憶部100(200)に記憶された動画を、通信網10を介してサーバ装置30に送信することができる。
次に、上述した構成を有する通信システム1全体の動作の具体例について、図4を参照して説明する。図4は、図1に示した通信システム1全体において行われる動作の一例を示すフロー図である。
次に、図4を参照して説明した動作のうち、ST402及びST404において端末装置20により行われる動画の生成及び送信に関する動作の具体的な例について、図5を参照して説明する。図5は、図4に示した動作のうち動画の生成及び送信に関する動作の一例を示すフロー図である。
・当該端末装置20により生成された対応情報
・専門家、技術者又は他のユーザにより生成されサーバ装置30等から有償若しくは無償で送信された対応情報
・他のユーザの端末装置20から直接的に又はサーバ装置30等を介して間接的に送信された対応情報
なお、後述するように、端末装置20は、保持している対応情報を更新することも可能である。
(1)識別されたM個の部位と完全に同一なM個の部位が対応情報において対応付けられている特定動作。
(2)識別されたM個の部位のうち変化量が大きい上位L個の部位と完全に同一なL個の部位が対応情報において対応付けられている特定動作(但し、Lは、1以上かつM以下の自然数である)。
(3)上記(1)に示した特定動作であって、さらに、当該特定動作に対して対応付けられたM個の部位のうち上位少なくとも1個の部位の変化量の大きさに従った順序が、識別されたM個の部位のうち上位少なくとも1個の部位の変化量の大きさに従った順序と一致する特定動作。なお、この特定動作(3)に対応付けられた少なくとも1個の部位の順序は、識別されたM個の部位の順序に、完全に一致する又は部分的に(近似的に)一致する、ということができる。
(4)上記(2)に示した特定動作であって、さらに、当該特定動作に対して対応付けられたL個の部位のうち上位少なくとも1個の部位の変化量の大きさに従った順序が、識別されたM個の部位のうち上位少なくとも1個の部位の変化量の大きさに従った順序と一致する特定動作。なお、この特定動作(4)に対応付けられた少なくとも1個の部位の順序は、識別されたM個の部位の順序に、完全に一致する又は部分的に(近似的に)一致する、ということができる。
ST512において識別された上位M個の部位が、部位1、部位3、部位2である場合を考える(M=3)。ここで、各部位の変化量は、この順序で小さくなる。すなわち、部位1は、変化量が最大の部位であり、部位2は、変化量が最小の部位である。
記憶部100に記憶された対応情報に含まれた特定動作のうち、例えば、以下の部位が以下の順序で対応付けられた特定動作は、特定動作(1)に該当し得る。
・部位1、部位3、部位2
・部位1、部位2、部位3
・部位2、部位3、部位1
・部位2、部位1、部位3
・部位3、部位1、部位2
・部位3、部位2、部位1
・部位1、部位3、部位2、部位10
・部位1、部位3、部位2、部位21等
記憶部100に記憶された対応情報に含まれた特定動作のうち、例えば、以下の部位が以下の順序で対応付けられた特定動作は、特定動作(2)に該当し得る。
・部位1、部位3、部位2(L=3)
・部位1、部位3、部位2、部位12(L=3)
・部位3、部位2、部位1、部位18(L=3)
・部位3、部位16、部位1、部位2(L=3)
・部位2、部位1、部位3(L=3)
・部位2、部位34、部位1、部位18、部位3(L=3)
・部位89、部位3、部位2(L=3)
・部位1、部位3、部位8(L=2)
・部位1、部位3、部位8、部位12(L=2)
・部位1、部位55、部位24、部位3(L=2)
・部位22、部位1、部位9、部位3(L=2)
・部位1、部位9、部位12(L=1)
・部位1、部位8、部位14、部位22(L=1)
・部位15、部位25、部位1(L=1)等
記憶部100に記憶された対応情報に含まれた特定動作のうち、例えば、以下の部位が以下の順序で対応付けられた特定動作は、特定動作(3)に該当し得る。
・部位1、部位3、部位2
・部位1、部位3、部位2、部位6
・部位1、部位3、部位10、部位2
・部位1、部位2、部位3
・部位1、部位15、部位11、部位3、部位2等
記憶部100に記憶された対応情報に含まれた特定動作のうち、例えば、以下の部位が以下の順序で対応付けられた特定動作は、特定動作(4)に該当し得る。
・部位1、部位3、部位2(L=3)
・部位1、部位3、部位2、部位12(L=3)
・部位1、部位3、部位8(L=2)
・部位1、部位3、部位8、部位12(L=2)
・部位1、部位55、部位24、部位3(L=2)
・部位22、部位1、部位9、部位3(L=2)
・部位1、部位9、部位12(L=1)
・部位1、部位8、部位14、部位22(L=1)
・部位15、部位25、部位1(L=1)等
別の実施形態では、処理は、図5で例示されるように上述したST502に戻ることもできる。ST502では、端末装置20は、記憶部100に記憶されている対応情報を更新することができる。
例えば、検出動作が図6に例示した「バツ目」であったにも関わらず、演者等が適切な特定動作として図6に例示した「怒り顔」を指定した場合を考える。この場合には、端末装置20は、「怒り顔」という特定動作に対して、第1の部位~第6の部位に対して、それぞれ、「右目の右端部」、「左目の左端部」、「右眉毛の右端部」、「左眉毛の左端部」、「右眉毛の左端部」及び「左眉毛の右端部」を対応付けるように、図6に例示した対応情報を更新することができる。或いはまた、端末装置20は、「怒り顔」という特定動作に対して、ST512において識別された上位M個の部位それ自体を、又は、ST512において識別された上位M個の部位のうちの少なくとも一部の部位を、対応付けるように、図6に例示した対応情報を更新することもできる。
・ST506において取得された複数の部位の単位時間当たりの変化量(以下便宜上この単位時間を「基準単位時間」という。)
・基準単位時間の後に生じた少なくとも1つの単位時間に得られた複数の部位の変化量 ・基準単位時間の前に生じた少なくとも1つの単位時間に得られた複数の部位の変化量
次に、端末装置20等により記憶される対応情報の更新方法の具体例について説明する。
端末装置20等により記憶される対応情報は、例えば、以下の3つのタイミングにおいて更新され得る。
(1)初期利用時
(2)毎日の初回利用時
(3)外れ値の発生時
瞼、(iii)右目の下瞼、となり得る。ところが、演者Bが同一の「右ウインク」の表情
を作るとき、演者Bの変化量が大きい上位複数個(例えば3個)の部位は、変化量の大きい順に、例えば、(i)右目の上瞼、(ii)右眉、(iii)右目の下瞼と、なり得る。この場合、演者Aの端末装置20は、演者Bの端末装置20により更新された対応情報をそのまま用いると、演者Aが右ウインクをしても、右ウインクを検出動作として決定できない可能性が高い。
具体的には、例えば、端末装置20は、例えば主要な特定動作(特殊表情等)ごとに、その特定動作に関する指示を表示し、演者は、その指示に従ってその特定動作を演ずることができる。これにより、端末装置20は、各特定動作と、その特定動作に対応する変化量の大きい上位少なくとも1個の部位と、を対応付けた対応情報を生成(更新)することができる。この対応情報は、図5におけるST514において上述したように用いられ得る。さらには、端末装置20は、上記指示に従って演者が作った表情(質問情報)、及び、特定動作(解答情報)を、教師情報として利用して、その演者に対応する学習モデルを生成することができる。かかる学習モデルは、例えば、演者の表情を入力したときに、特定動作を出力するように動作することができる。
同一の演者が、同一の特定動作を行っているつもりであっても、端末装置20により検出される、身体(顔等)における変化量の大きい部位、及び、これらの部位の変化量の大きさに基づく順位は、日によって相違し得る可能性がある。これは、演者の髪型、疲労、撮影環境、及び、カメラと身体(顔等)との位置関係を含む様々な要因に起因し得る。
そこで、各演者は、毎日、最初に利用するとき(例えば毎朝)、アバターオブジェクトに反映される特定動作(特殊表情等)ごとに、端末装置20を用いて、自身の表情を登録することができる(これが上記(1)の場合と同様にターゲットに対する教師情報になる)。
(i)演者が作った表情(質問情報)
(ii)演者の髪型(質問情報)
(iii)演者の疲労度(質問情報)
なお、この疲労度は、例えば、顔のパーツの変化量から判定してもよい(注目すべき部位は変わらないが、最大最小のレンジが狭くなる。すなわち、疲労度が大きい程、注目すべき部位の変化量の最大値と最小値との間の差が小さくなり得る一方、疲労度が小さい程、注目すべき部位の変化量の最大値と最小値との間の差が大きくなり得る)
(iv)撮影環境、例えば、カメラと身体(顔等)との位置関係等(質問情報)
(v)シチュエーション及び/又は目的
シチュエーションや目的によって、演者が、「今回は、この顔は使わない」と判断して、当該特定動作を判定対象から外すことができる。これにより、キャラクタの設計上、演者が使用したくない表情も明らかになる。なお、シチュエーションや目的とは、例えば、どのような仮想空間(カラオケ、ステージ、ライブ会場等)であるかを意味し得る。
(vi)特定動作(解答情報)
顔における変化量の大きい上位3個の部位が、変化量の大きい順に、(i)上唇、(ii
)下唇、(iii)眉、であるときに、端末装置20は、表情「あ」を作るように設定され
ている(演者が、「あああ」と発音しても、「あーあ」と発音しても、同一の表情「あ」がアバターオブジェクトに反映される)とする。ここで、演者が「あれ~」と発音したときに、変化量が大きい上位3個の部位が、変化量の大きい順に、(i)上唇、(iii)眉、(ii)下唇、となり、割り当てるべき特殊表情がないと判定されたとする。
、次回の閾値越えまで待機する)。一方、端末装置20によるユーザインタフェイスを介した問いかけに対して、演者が、新たな特殊表情を登録することができる。この場合、顔における変化量の大きい上位3個の部位が、変化量の大きい順に、(i)上唇、(iii)眉、(ii)下唇であるときに、端末装置20は、新たな特殊表情(あれ~)を発動可能となる。
例えば、初期状態では、微笑fA、笑い(小)fB、及び、笑い(中)fCがターゲットとして登録されている局面を考える。端末装置20は、例えば動画の配信中に、いずれかの部位の変化量が大きく外れる現象を検出した場合に、ユーザインタフェイスを介して、新規に「新しい表情状態を登録」する旨を演者に提案することができる。これにより、演者は、「大笑い」を登録することができる。以後、端末装置20は、新しいターゲット及び評価関数fD()を判定ループに加えることができる。
通信システム1において予め定められる少なくとも1つの特定動作には、演者により行われる第1の動作と、この第1の動作の後により長い時間をおいて演者により行われる第2の動作と、によって識別される特定動作が含まれ得る。例えば、拍手という特定動作は、両手の掌が相互に距離をおいて配置される第1の動作と、この第1の動作の後に両手の掌が相互に当接する第2の動作と、によって識別され得る。
この場合には、ST518では、端末装置20は、決定された検出動作に対応する絵文字及び/又は顔文字等を表示することができる。
さらに、本件出願に開示された技術は、ゲームアプリケーション及びゲームサービスにも適用可能である。この場合には、ST518では、端末装置20は、決定された検出動作に基づいてゲームオブジェクトの動作を制御することができる。
いずれの場合にも、端末装置20等は、途中までのステップを実行することにより得られ、その後のステップの実行のために必要とされるデータ/情報を、1又はそれ以上の他の装置に送信する必要がある。
・サーバ装置30及び/又は視聴ユーザの端末装置20等(第1の態様及び第3の態様の場合)
・他のサーバ装置30及び/又は視聴ユーザの端末装置20等(第2の態様の場合)
ここで、上記「1又はそれ以上の他の装置」が視聴ユーザの端末装置20を含み、当該視聴ユーザの端末装置20がST518(動画の生成まで)を実行する方式は、「クライアントレンダリング」方式と称されることがある。
第1の態様に係るコンピュータプログラムは、「少なくとも1つのプロセッサにより実行されることにより、少なくとも1つの特定動作の各々と、演者の身体における複数の部位のうち変化量が大きい上位少なくとも1つの部位と、を対応付けた情報を保持し、演者の身体に関する測定データを用いて、単位時間当たりの該演者の身体における複数の部位の変化量に基づく参照値を取得し、前記参照値が閾値を上回る事象を検出した場合に、前記測定データを用いて前記演者の身体における単位時間当たりの変化量が大きい上位少なくとも1つの部位を識別し、前記情報を用いて、前記少なくとも1つの特定動作のうち、識別された前記単位時間当たりの変化量が大きい上位少なくとも1つの部位に対応付けられたいずれか1つの特定動作を、検出動作として決定する、ように前記プロセッサを機能させる」ことができる。
第2の態様に係るコンピュータプログラムにあっては、上記第1の態様において「前記情報が、前記少なくとも1つの特定動作の各々と、演者の身体における複数の部位のうち変化量が大きい上位少なくとも1つの部位、及び、該変化量が大きい上位少なくとも1つの部位の前記変化量の大きさに基づく順序と、を対応付け、前記情報を用いて、前記少なくとも1つの特定動作のうち、識別された前記単位時間当たりの変化量が大きい上位少なくとも1つの部位、及び、前記変化量の大きさに基づく順序が一致するいずれか1つの特定動作を、検出動作として決定する、ように前記プロセッサを機能させる」構成を採用することができる。
第3の態様に係るコンピュータプログラムにあっては、上記第1の態様又は上記第2の態様において「前記測定データを用いて前記演者の身体における単位時間当たりの変化量が大きい上位少なくとも1つの部位を識別し、前記少なくとも1つの特定動作のうち、識別された前記単位時間当たりの変化量が大きい上位少なくとも1つの部位に対応付けられたいずれか1つの特定動作を、第1の検出動作として決定した後、前記少なくとも1つの特定動作のうち、識別された前記単位時間当たりの変化量が大きい上位少なくとも1つの部位に対応付けられたいずれか1つの特定動作を、第2の検出動作として決定し、前記第1の検出動作及び前記第2の検出動作に基づいて最終的な検出動作を決定する、ように前記プロセッサを機能させる」構成を採用することができる。
第4の態様に係るコンピュータプログラムにあっては、上記第1の態様から上記第3の態様のいずれかにおいて「前記複数の部位がN個の部位である場合、前記参照値が、
という数式を用いて算出され、ここで、xiは、前記演者の身体における複数の部位のうちの第i番目の部位の単位時間当たりの変化量である」構成を採用することができる。
第5の態様に係るコンピュータプログラムにあっては、上記第1の態様から上記第4の態様のいずれかにおいて「前記少なくとも1つの特定動作の各々は、該特定動作に対応付けられた前記変化量が大きい上位少なくとも1つの部位を用いて表現される」構成を採用することができる。
第6の態様に係るコンピュータプログラムにあっては、上記第5の態様において「前記変化量が大きい上位少なくとも1つの部位の各々は、目、眉毛、鼻、口、耳、顎、頬、首、肩、手及び胸を含む群から選択される」構成を採用することができる。
第7の態様に係るコンピュータプログラムにあっては、上記第1の態様から上記第の態様のいずれかにおいて「決定された前記検出動作に基づいて画像を生成する、ように前記プロセッサを機能させる」構成を採用することができる。
第8の態様に係るコンピュータプログラムにあっては、上記第7の態様において「前記画像が、絵文字、アバターオブジェクト、及び/又は、ゲームオブジェクトを含む」構成を採用することができる。
第9の態様に係るコンピュータプログラムは、「少なくとも1つのプロセッサにより実行されることにより、少なくとも1つの特定動作の各々と、演者の身体における複数の部位のうち変化量が大きい上位少なくとも1つの部位と、を対応付けた情報を記憶し、演者の端末装置から受信した該演者の身体に関する測定データを用いて、単位時間当たりの該演者の身体における複数の部位の変化量に基づく参照値を取得し、前記参照値が閾値を上回る事象を検出した場合に、前記測定データを用いて前記演者の身体における単位時間当たりの変化量が大きい上位少なくとも1つの部位を識別し、前記情報を用いて、前記少なくとも1つの特定動作のうち、識別された前記単位時間当たりの変化量が大きい上位少なくとも1つの部位に対応付けられたいずれか1つの特定動作を、検出動作として決定する、ように前記プロセッサを機能させる」ことができる。
第10の態様に係るコンピュータプログラムにあっては、上記第9の態様において「前記測定データを前記演者の端末装置から通信回線を介して受信する、ように前記プロセッサを機能させる」構成を採用することができる。
第11の態様に係るコンピュータプログラムにあっては、上記第1の態様から上記第10の態様のいずれかにおいて「前記少なくとも1つのプロセッサが、中央処理装置(CPU)、マイクロプロセッサ、及び/又は、グラフィックスプロセッシングユニット(GPU)を含む」構成を採用することができる。
第12の態様に係るコンピュータプログラムにあっては、上記第1の態様から上記第11の態様のいずれかにおいて「前記少なくとも1つのプロセッサが、スマートフォン、タブレット、携帯電話又はパーソナルコンピュータに搭載される」構成を採用することができる。
第13の態様に係る方法は、「コンピュータにより読み取り可能な命令を実行する少なくとも1つのプロセッサにより実行される方法であって、該プロセッサが前記命令を実行することにより、少なくとも1つの特定動作の各々と、演者の身体における複数の部位のうち変化量が大きい上位少なくとも1つの部位と、を対応付けた情報を記憶し、演者の身体に関する測定データを用いて、単位時間当たりの該演者の身体における複数の部位の変化量に基づく参照値を取得し、前記参照値が閾値を上回る事象を検出した場合に、前記測定データを用いて前記演者の身体における単位時間当たりの変化量が大きい上位少なくとも1つの部位を識別し、前記情報を用いて、前記少なくとも1つの特定動作のうち、識別された前記単位時間当たりの変化量が大きい上位少なくとも1つの部位に対応付けられたいずれか1つの特定動作を、検出動作として決定する」ことができる。
第14の態様に係る方法にあっては、上記第13の態様において「前記少なくとも1つのプロセッサが、中央処理装置(CPU)、マイクロプロセッサ、及び/又は、グラフィックスプロセッシングユニット(GPU)を含む」構成を採用することができる。
第15の態様に係る方法にあっては、上記第13の態様又は上記第14の態様において「前記少なくとも1つのプロセッサが、スマートフォン、タブレット、携帯電話、パーソナルコンピュータ、又は、サーバ装置に搭載される」構成を採用することができる。
第16の態様に係るサーバ装置は、「少なくとも1つのプロセッサを具備し、該プロセッサが、コンピュータにより読み取り可能な命令を実行することにより、少なくとも1つの特定動作の各々と、演者の身体における複数の部位のうち変化量が大きい上位少なくとも1つの部位と、を対応付けた情報を記憶し、演者の身体に関する測定データを用いて、単位時間当たりの該演者の身体における複数の部位の変化量に基づく参照値を取得し、前記参照値が閾値を上回る事象を検出した場合に、前記測定データを用いて前記演者の身体における単位時間当たりの変化量が大きい上位少なくとも1つの部位を識別し、前記情報を用いて、前記少なくとも1つの特定動作のうち、識別された前記単位時間当たりの変化量が大きい上位少なくとも1つの部位に対応付けられたいずれか1つの特定動作を、検出動作として決定する」ことができる。
第17の態様に係るサーバ装置にあっては、上記第16の態様において「前記測定データを前記演者の端末装置から通信回線を介して受信する」構成を採用することができる。
第18の態様に係るサーバ装置にあっては、上記第16の態様又は上記第17の態様において「前記少なくとも1つのプロセッサが、中央処理装置(CPU)、マイクロプロセッサ、及び/又は、グラフィックスプロセッシングユニット(GPU)を含む」構成を採用することができる。
30(30A~30C) サーバ装置
40(40A及び40B) スタジオユニット
100(200) 記憶部
110(210) センサ部
120(220) 変化量取得部
130(230) 参照値取得部
140(240) 識別部
150(250) 決定部
160(260) 画像生成部
170(270) 表示部
180(280) ユーザインタフェイス部
190(290) 通信部
Claims (17)
- 少なくとも1つのプロセッサにより実行されることにより、
少なくとも1つの特定動作の各々と、演者の身体における複数の部位のうち変化量が大きい上位少なくとも1つの部位と、を対応付けた情報を保持し、
演者の身体に関する測定データを用いて、単位時間当たりの該演者の身体における複数の部位の変化量を取得し、
前記測定データを用いて前記演者の身体における単位時間当たりの変化量が大きい上位少なくとも1つの部位を識別し、
前記情報を用いて、前記少なくとも1つの特定動作のうち、識別された前記単位時間当たりの変化量が大きい上位少なくとも1つの部位に対応付けられたいずれか1つの特定動作を、検出動作として決定する、
ように前記プロセッサを機能させる、ことを特徴とするコンピュータプログラム。 - 前記情報が、前記少なくとも1つの特定動作の各々と、演者の身体における複数の部位のうち変化量が大きい上位少なくとも1つの部位、及び、該変化量が大きい上位少なくとも1つの部位の前記変化量の大きさに基づく順序と、を対応付け、
前記情報を用いて、前記少なくとも1つの特定動作のうち、識別された前記単位時間当たりの変化量が大きい上位少なくとも1つの部位、及び、前記変化量の大きさに基づく順序が一致するいずれか1つの特定動作を、検出動作として決定する、
ように前記プロセッサを機能させる、請求項1に記載のコンピュータプログラム。 - 前記少なくとも1つの特定動作のうち、識別された前記単位時間当たりの変化量が大きい上位少なくとも1つの部位に対応付けられたいずれか1つの特定動作を、第1の検出動作として決定した後、
前記少なくとも1つの特定動作のうち、識別された前記単位時間当たりの変化量が大きい上位少なくとも1つの部位に対応付けられたいずれか1つの特定動作を、第2の検出動作として決定し、
前記第1の検出動作及び前記第2の検出動作に基づいて最終的な検出動作を決定する、
ように前記プロセッサを機能させる、請求項1又は請求項2に記載のコンピュータプログラム。 - 前記少なくとも1つの特定動作の各々は、該特定動作に対応付けられた前記変化量が大きい上位少なくとも1つの部位を用いて表現される、請求項1から請求項3のいずれかに記載のコンピュータプログラム。
- 前記変化量が大きい上位少なくとも1つの部位の各々は、目、目の一部分、眉毛、眉毛の一部分、鼻、鼻の一部分、口、口の一部分、耳、耳の一部分、顎、顎の一部分、頬、頬の一部分、首、首の一部分、肩、肩の一部分、手、手の一部分、胸、及び、胸の一部分を含む群から選択される、請求項4に記載のコンピュータプログラム。
- 決定された前記検出動作に基づいて画像を生成する、
ように前記プロセッサを機能させる、請求項1から請求項5のいずれかに記載のコンピュータプログラム。 - 前記画像が、
静止画像若しくは動画像を含むか、又は、
絵文字、アバターオブジェクト、及び/若しくは、ゲームオブジェクトを含む、請求項6に記載のコンピュータプログラム。 - 少なくとも1つのプロセッサにより実行されることにより、
少なくとも1つの特定動作の各々と、演者の身体における複数の部位のうち変化量が大きい上位少なくとも1つの部位と、を対応付けた情報を記憶し、
演者の端末装置から受信した該演者の身体に関する測定データを用いて、単位時間当たりの該演者の身体における複数の部位の変化量を取得し、
前記測定データを用いて前記演者の身体における単位時間当たりの変化量が大きい上位少なくとも1つの部位を識別し、
前記情報を用いて、前記少なくとも1つの特定動作のうち、識別された前記単位時間当たりの変化量が大きい上位少なくとも1つの部位に対応付けられたいずれか1つの特定動作を、検出動作として決定する、
ように前記プロセッサを機能させる、ことを特徴とするコンピュータプログラム。 - 前記測定データを前記演者の端末装置から受信する、
ように前記プロセッサを機能させる、請求項8に記載のコンピュータプログラム。 - 前記少なくとも1つのプロセッサが、中央処理装置(CPU)、マイクロプロセッサ、及び/又は、グラフィックスプロセッシングユニット(GPU)を含む、請求項1から請求項9のいずれかに記載のコンピュータプログラム。
- 前記少なくとも1つのプロセッサが、スマートフォン、タブレット、携帯電話又はパーソナルコンピュータに搭載される、請求項1から請求項10のいずれかに記載のコンピュータプログラム。
- コンピュータにより読み取り可能な命令を実行する少なくとも1つのプロセッサにより実行される方法であって、
該プロセッサが前記命令を実行することにより、
少なくとも1つの特定動作の各々と、演者の身体における複数の部位のうち変化量が大きい上位少なくとも1つの部位と、を対応付けた情報を記憶し、
演者の身体に関する測定データを用いて、単位時間当たりの該演者の身体における複数の部位の変化量を取得し、
前記測定データを用いて前記演者の身体における単位時間当たりの変化量が大きい上位少なくとも1つの部位を識別し、
前記情報を用いて、前記少なくとも1つの特定動作のうち、識別された前記単位時間当たりの変化量が大きい上位少なくとも1つの部位に対応付けられたいずれか1つの特定動作を、検出動作として決定する、ことを特徴とする方法。 - 前記少なくとも1つのプロセッサが、中央処理装置(CPU)、マイクロプロセッサ、及び/又は、グラフィックスプロセッシングユニット(GPU)を含む、請求項12に記載の方法。
- 前記少なくとも1つのプロセッサが、スマートフォン、タブレット、携帯電話、パーソナルコンピュータ、又は、サーバ装置に搭載される、請求項12又は請求項13に記載の方法。
- 少なくとも1つのプロセッサを具備し、
該プロセッサが、コンピュータにより読み取り可能な命令を実行することにより、
少なくとも1つの特定動作の各々と、演者の身体における複数の部位のうち変化量が大きい上位少なくとも1つの部位と、を対応付けた情報を記憶し、
演者の身体に関する測定データを用いて、単位時間当たりの該演者の身体における複数の部位の変化量を取得し、
前記測定データを用いて前記演者の身体における単位時間当たりの変化量が大きい上位少なくとも1つの部位を識別し、
前記情報を用いて、前記少なくとも1つの特定動作のうち、識別された前記単位時間当たりの変化量が大きい上位少なくとも1つの部位に対応付けられたいずれか1つの特定動作を、検出動作として決定する、ことを特徴とするサーバ装置。 - 前記測定データを前記演者の端末装置から受信する、請求項15に記載のサーバ装置。
- 前記少なくとも1つのプロセッサが、中央処理装置(CPU)、マイクロプロセッサ、及び/又は、グラフィックスプロセッシングユニット(GPU)を含む、請求項15又は請求項16に記載のサーバ装置。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2022187290A JP7418709B2 (ja) | 2020-03-04 | 2022-11-24 | コンピュータプログラム、方法及びサーバ装置 |
JP2023217320A JP2024029089A (ja) | 2020-03-04 | 2023-12-22 | コンピュータプログラム、方法及びサーバ装置 |
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2020036922A JP7184835B2 (ja) | 2020-03-04 | 2020-03-04 | コンピュータプログラム、方法及びサーバ装置 |
JP2022187290A JP7418709B2 (ja) | 2020-03-04 | 2022-11-24 | コンピュータプログラム、方法及びサーバ装置 |
Related Parent Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2020036922A Division JP7184835B2 (ja) | 2020-03-04 | 2020-03-04 | コンピュータプログラム、方法及びサーバ装置 |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2023217320A Division JP2024029089A (ja) | 2020-03-04 | 2023-12-22 | コンピュータプログラム、方法及びサーバ装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2023022157A JP2023022157A (ja) | 2023-02-14 |
JP7418709B2 true JP7418709B2 (ja) | 2024-01-22 |
Family
ID=77668682
Family Applications (3)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2020036922A Active JP7184835B2 (ja) | 2020-03-04 | 2020-03-04 | コンピュータプログラム、方法及びサーバ装置 |
JP2022187290A Active JP7418709B2 (ja) | 2020-03-04 | 2022-11-24 | コンピュータプログラム、方法及びサーバ装置 |
JP2023217320A Pending JP2024029089A (ja) | 2020-03-04 | 2023-12-22 | コンピュータプログラム、方法及びサーバ装置 |
Family Applications Before (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2020036922A Active JP7184835B2 (ja) | 2020-03-04 | 2020-03-04 | コンピュータプログラム、方法及びサーバ装置 |
Family Applications After (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2023217320A Pending JP2024029089A (ja) | 2020-03-04 | 2023-12-22 | コンピュータプログラム、方法及びサーバ装置 |
Country Status (1)
Country | Link |
---|---|
JP (3) | JP7184835B2 (ja) |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2002077592A (ja) | 2000-04-13 | 2002-03-15 | Fuji Photo Film Co Ltd | 画像処理方法 |
JP2013065112A (ja) | 2011-09-15 | 2013-04-11 | Omron Corp | ジェスチャ認識装置、電子機器、ジェスチャ認識装置の制御方法、制御プログラムおよび記録媒体 |
JP2013223244A (ja) | 2012-04-13 | 2013-10-28 | Samsung Electronics Co Ltd | カメラ装置及びその制御方法 |
JP2015195020A (ja) | 2014-03-20 | 2015-11-05 | 国立研究開発法人産業技術総合研究所 | ジェスチャ認識装置、システム及びそのプログラム |
JP2019200656A (ja) | 2018-05-17 | 2019-11-21 | 株式会社日立製作所 | 計算機及び感情推定方法 |
-
2020
- 2020-03-04 JP JP2020036922A patent/JP7184835B2/ja active Active
-
2022
- 2022-11-24 JP JP2022187290A patent/JP7418709B2/ja active Active
-
2023
- 2023-12-22 JP JP2023217320A patent/JP2024029089A/ja active Pending
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2002077592A (ja) | 2000-04-13 | 2002-03-15 | Fuji Photo Film Co Ltd | 画像処理方法 |
JP2013065112A (ja) | 2011-09-15 | 2013-04-11 | Omron Corp | ジェスチャ認識装置、電子機器、ジェスチャ認識装置の制御方法、制御プログラムおよび記録媒体 |
JP2013223244A (ja) | 2012-04-13 | 2013-10-28 | Samsung Electronics Co Ltd | カメラ装置及びその制御方法 |
JP2015195020A (ja) | 2014-03-20 | 2015-11-05 | 国立研究開発法人産業技術総合研究所 | ジェスチャ認識装置、システム及びそのプログラム |
JP2019200656A (ja) | 2018-05-17 | 2019-11-21 | 株式会社日立製作所 | 計算機及び感情推定方法 |
Also Published As
Publication number | Publication date |
---|---|
JP2021140409A (ja) | 2021-09-16 |
JP2023022157A (ja) | 2023-02-14 |
JP2024029089A (ja) | 2024-03-05 |
JP7184835B2 (ja) | 2022-12-06 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US20220124140A1 (en) | Communication assistance system, communication assistance method, and image control program | |
US11829524B2 (en) | Moving content between a virtual display and an extended reality environment | |
JP7408068B2 (ja) | コンピュータプログラム、サーバ装置及び方法 | |
US10810797B2 (en) | Augmenting AR/VR displays with image projections | |
CN111432267B (zh) | 视频调整方法、装置、电子设备及存储介质 | |
CN112379812A (zh) | 仿真3d数字人交互方法、装置、电子设备及存储介质 | |
JP2018505462A (ja) | アバター選択機構 | |
KR102148151B1 (ko) | 디지털 커뮤니케이션 네트워크에 기반한 지능형 채팅 | |
WO2022252866A1 (zh) | 一种互动处理方法、装置、终端及介质 | |
JP2009104482A (ja) | オブジェクトの表示を制御する技術 | |
EP4158598A1 (en) | Augmented reality content from third-party content | |
US20220300728A1 (en) | True size eyewear experience in real time | |
US20230120037A1 (en) | True size eyewear in real time | |
JP2021068404A (ja) | アバターの顔の表情生成システムおよびアバターの顔の表情生成方法 | |
JP7418709B2 (ja) | コンピュータプログラム、方法及びサーバ装置 | |
WO2002097732A1 (en) | Method for producing avatar using image data and agent system with the avatar | |
JP7162737B2 (ja) | コンピュータプログラム、サーバ装置、端末装置、システム及び方法 | |
CN115426505B (zh) | 基于面部捕捉的预设表情特效触发方法及相关设备 | |
JP2022104554A (ja) | コンピュータプログラム、方法、及び、サーバ | |
JP2023072110A (ja) | 情報処理装置、制御プログラムおよび制御方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20221209 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20221209 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20231205 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20231222 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7418709 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |