JP2021189674A - コンピュータプログラム、サーバ装置、端末装置、及び方法 - Google Patents

コンピュータプログラム、サーバ装置、端末装置、及び方法 Download PDF

Info

Publication number
JP2021189674A
JP2021189674A JP2020093438A JP2020093438A JP2021189674A JP 2021189674 A JP2021189674 A JP 2021189674A JP 2020093438 A JP2020093438 A JP 2020093438A JP 2020093438 A JP2020093438 A JP 2020093438A JP 2021189674 A JP2021189674 A JP 2021189674A
Authority
JP
Japan
Prior art keywords
distributor
predetermined
facial expression
pose
information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2020093438A
Other languages
English (en)
Inventor
匡志 渡邊
Masashi Watanabe
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
GREE Inc
Original Assignee
GREE Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by GREE Inc filed Critical GREE Inc
Priority to JP2020093438A priority Critical patent/JP2021189674A/ja
Priority to PCT/JP2021/015347 priority patent/WO2021210585A1/ja
Publication of JP2021189674A publication Critical patent/JP2021189674A/ja
Priority to US17/956,873 priority patent/US20230023653A1/en
Priority to JP2024029409A priority patent/JP2024063117A/ja
Pending legal-status Critical Current

Links

Images

Landscapes

  • Processing Or Creating Images (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

【課題】アバターをより適切に表現可能な、コンピュータプログラム、サーバ装置、端末装置及び方法を提供する。【解決手段】一実施形態に係るコンピュータプログラムは、一又は複数のプロセッサにより実行されることにより、配信者による所定の動作、前記配信者の表情、前記配信者の顔色、前記配信者の声、又は、前記配信者に対して生じる所定の状況、のうちの一又は複数に係る情報を検知し、前記検知した情報が所定の条件を充足するか否かを判定し、前記所定の条件を充足すると判定した場合に、前記配信者に係る表情又はポーズに基づいて生成されていた前記配信者に係るアバターの表情又はポーズを、前記所定の条件に対応する所定の表情又はポーズとするための情報を生成し、前記所定の表情又はポーズが適用された、前記アバターを表示する、ものである。【選択図】 図３

Description

本件出願に開示された技術は、コンピュータプログラム、サーバ装置、端末装置及び方法に関する。
近年、配信者が演じるアバターを用いた技術が発展している。この種の技術においては、配信サービスを介して、配信者が演じるアバターを、視聴者が視聴可能なようにされている。
また、アバターを用いたサービスに関連して、アバターオブジェクトの表情や動作を演者等の動作に基づいて制御する技術を利用したサービスとして、「カスタムキャスト」と称されるサービスが知られている（非特許文献１）。このサービスでは、演者は、スマートフォンの画面に対する複数のフリック方向の各々に対して、用意された多数の表情や動作のうちのいずれかの表情又は動作を予め割り当てておき、所望する表情又は動作に対応する方向に沿って演者がスマートフォンの画面をフリックすることにより、その動画に表示されるアバターオブジェクトにその表情又は動作を表現させることができる。
"カスタムキャスト"、［online］、Custom Cast Inc.、［２０１９年１２月１０日検索］、インターネット（URL: https://customcast.jp/）
しかしながら、非特許文献１に開示される技術においては、演者が発話しながらスマートフォンの画面をフリックしなければならず、演者にとっては当該フリックの操作を行う困難となり得る。
なお、上記非特許文献１は、引用によりその全体が本明細書に組み入れられる。
本件出願において開示された幾つかの実施形態は、アバターをより適切に表現可能な、コンピュータプログラム、サーバ装置、端末装置、及び方法を提供する。
一態様に係るコンピュータプログラムは、一又は複数のプロセッサにより実行されることにより、配信者による所定の動作、前記配信者の表情、前記配信者の顔色、前記配信者の声、又は、前記配信者に対して生じる所定の状況、のうちの一又は複数に係る情報を検知し、前記検知した情報が所定の条件を充足するか否かを判定し、前記所定の条件を充足すると判定した場合に、前記配信者に係る表情又はポーズに基づいて生成されていた前記配信者に係るアバターの表情又はポーズを、前記所定の条件に対応する所定の表情又はポーズとするための情報を生成し、前記所定の表情又はポーズが適用された、前記アバターを表示する、ように前記一又は複数のプロセッサを機能させるものである。
また、一態様に係るコンピュータプログラムは、一又は複数のプロセッサにより実行されることにより、配信者による所定の動作、前記配信者の表情、前記配信者の顔色、前記配信者の声、又は、前記配信者に対して生じる所定の状況、のうちの一又は複数に係る情報を検知し、前記検知した情報が所定の条件を充足するか否かを判定し、前記所定の条件を充足すると判定した場合に、前記配信者に係る表情又はポーズに基づいて生成されていた前記配信者に係るアバターの表情又はポーズを、前記所定の条件に対応する所定の表情又はポーズとするための情報を生成し、前記所定の表情又はポーズとするための情報を、送信する、ように前記一又は複数のプロセッサを機能させるものである。
また、一態様に係るサーバ装置は、一又は複数のプロセッサを具備し、前記プロセッサが、コンピュータにより読み取り可能な命令を実行することにより、配信者による所定の動作、前記配信者の表情、前記配信者の顔色、前記配信者の声、又は、前記配信者に対して生じる所定の状況、のうちの一又は複数に係る情報を検知し、前記検知した情報が所定の条件を充足するか否かを判定し、前記所定の条件を充足すると判定した場合に、前記配信者に係る表情又はポーズに基づいて生成されていた前記配信者に係るアバターの表情又はポーズを、前記所定の条件に対応する所定の表情又はポーズとするための情報を生成し、前記所定の表情又はポーズとするための情報を、送信する、ものである。
また、一態様に係る方法は、コンピュータにより読み取り可能な命令を実行する一又は複数のプロセッサにより実行される方法であって、配信者による所定の動作、前記配信者の表情、前記配信者の顔色、前記配信者の声、又は、前記配信者に対して生じる所定の状況、のうちの一又は複数に係る情報を検知し、前記検知した情報が所定の条件を充足するか否かを判定し、前記所定の条件を充足すると判定した場合に、前記配信者に係る表情又はポーズに基づいて生成されていた前記配信者に係るアバターの表情又はポーズを、前記所定の条件に対応する所定の表情又はポーズとするための情報を生成し、前記所定の表情又はポーズが適用された、前記アバターを表示する、ものである。
また、一態様に係る方法は、コンピュータにより読み取り可能な命令を実行する一又は複数のプロセッサにより実行される方法であって、配信者による所定の動作、前記配信者の表情、前記配信者の顔色、前記配信者の声、又は、前記配信者に対して生じる所定の状況、のうちの一又は複数に係る情報を検知し、前記検知した情報が所定の条件を充足するか否かを判定し、前記所定の条件を充足すると判定した場合に、前記配信者に係る表情又はポーズに基づいて生成されていた前記配信者に係るアバターの表情又はポーズを、前記所定の条件に対応する所定の表情又はポーズとするための情報を生成し、前記所定の表情又はポーズとするための情報を、送信する、ものである。
また、一態様に係る視聴者端末は、一又は複数のプロセッサを具備し、前記プロセッサが、コンピュータにより読み取り可能な命令を実行することにより、配信者による所定の動作、前記配信者の表情、前記配信者の顔色、前記配信者の声、又は、前記配信者に対して生じる所定の状況、のうちの一又は複数に係る情報を検知し、前記検知した情報が所定の条件を充足するか否かを判定し、前記所定の条件を充足すると判定した場合に、前記配信者に係る表情又はポーズに基づいて生成されていた前記配信者に係るアバターの表情又はポーズを、前記所定の条件に対応する所定の表情又はポーズとするための情報を生成し、前記所定の表情又はポーズが適用された、前記アバターを表示する、ものである。
また、一態様に係る配信者端末は、一又は複数のプロセッサを具備し、前記プロセッサが、コンピュータにより読み取り可能な命令を実行することにより、配信者による所定の動作、前記配信者の表情、前記配信者の顔色、前記配信者の声、又は、前記配信者に対して生じる所定の状況、のうちの一又は複数に係る情報を検知し、前記検知した情報が所定の条件を充足するか否かを判定し、前記所定の条件を充足すると判定した場合に、前記配信者に係る表情又はポーズに基づいて生成されていた前記配信者に係るアバターの表情又はポーズを、前記所定の条件に対応する所定の表情又はポーズとするための情報を生成し、前記所定の表情又はポーズとするための情報を、送信する、ものである。
図１は、一実施形態に係るシステムの構成の一例を示すブロック図である。 図２は、図１に示したサーバ装置２０（端末装置３０）のハードウェア構成の一例を模式的に示すブロック図である。 図３は、一実施形態に係るシステムの機能の一例を模式的に示すブロック図である。 図４は、一実施形態に係るシステムが有するデータの一例である。 図５は、一実施形態に係るシステムが有するデータの一例である。 図６は、一実施形態に係るシステムが有するデータの一例である。 図７は、一実施形態に係るシステムが処理するフローの一例である。 図８は、一実施形態に係るシステムが処理するフローの一例である。 図９は、一実施形態に係るシステムが処理するフローの一例である。
以下、添付図面を参照して本発明の様々な実施形態を説明する。或る図面に表現された構成要素が、説明の便宜上、別の図面においては省略されていることがある点に留意されたい。さらにまた、添付した図面は、本願発明の一実施形態を開示するものではあるものの、必ずしも正確な縮尺で記載されている訳ではないということに注意されたい。また、本願書類において、アプリケーションという用語が示す対象は、ソフトウェア、又はプログラムと呼ばれるものであってよく、コンピュータに対する指令であって、結果を得ることができるように組み合わされたものであればよい。
１．システムの例
図１は、一実施形態に係るシステムの構成の一例を示すブロック図である。図１に示すように、システム１は、通信網１０に接続される１又はそれ以上のサーバ装置２０と、通信網１０に接続される１又はそれ以上の端末装置３０と、を含んでよい。なお、図１には、サーバ装置２０の例として、３つのサーバ装置２０Ａ〜２０Ｃが例示され、端末装置３０の例として、３つの端末装置３０Ａ〜３０Ｃが例示されているが、サーバ装置２０として、これら以外の１又はそれ以上のサーバ装置２０が通信網１０に接続され得るし、端末装置３０として、これら以外の１又はそれ以上の端末装置３０が通信網１０に接続され得る。なお、本出願書類において、システムという用語を、サーバと端末装置の両方を含む場合もあれば、サーバのみ、又は、端末装置のみ、を示す用語としても用いる。すなわち、システムは、サ―バのみ、端末装置のみ、サーバ及び端末装置の両方、のいずれの態様であってもよい。
また、システムは、クラウド上の情報処理装置であってもよい。また、システムは、仮想的な情報処理装置を構成するものであって、論理的に一の情報処理装置と構成されるものであってもよい。また、システムの所有者と管理者は異なってもよい。
通信網１０は、携帯電話網、無線ＬＡＮ、固定電話網、インターネット、イントラネット、イーサネット（登録商標）、及び／又はこれらの組み合わせ等であってよく、また、これらに限定されない。通信網１０においては、本願書類で開示された種々のデータが通信されてよい。
サーバ装置２０は、インストールされた特定のアプリケーションを実行することにより、配信者による所定の動作、前記配信者の表情、前記配信者の顔色、前記配信者の声、又は、前記配信者に対して生じる所定の状況、のうちの一又は複数に係る情報を検知し、前記検知した情報が所定の条件を充足するか否かを判定し、前記所定の条件を充足すると判定した場合に、前記配信者に係る表情又はポーズに基づいて生成されていた前記配信者に係るアバターの表情又はポーズを、前記所定の条件に対応する所定の表情又はポーズとするための情報を生成する、という動作等を実行できてよい。
或いはまた、端末装置３０は、インストールされたウェブブラウザまたは特定のアプリケーションを実行することにより、配信者による所定の動作、前記配信者の表情、前記配信者の顔色、前記配信者の声、又は、前記配信者に対して生じる所定の状況、のうちの一又は複数に係る情報を検知し、前記検知した情報が所定の条件を充足するか否かを判定し、前記所定の条件を充足すると判定した場合に、前記配信者に係る表情又はポーズに基づいて生成されていた前記配信者に係るアバターの表情又はポーズを、前記所定の条件に対応する所定の表情又はポーズとするための情報を生成する、という動作等を実行できてよい。
端末装置３０は、このような動作を実行することができる任意の端末装置であって、スマートフォン、タブレット、携帯電話（フィーチャーフォン）及び／又はパーソナルコンピュータ等であってよく、これらに限定されない。
２．各装置のハードウェア構成
次に、サーバ装置２０が有するハードウェア構成の一例について説明する。
２−１．サーバ装置２０のハードウェア構成
サーバ装置２０のハードウェア構成例について図２を参照して説明する。図２は、図１に示したサーバ装置２０（端末装置３０）のハードウェア構成の一例を模式的に示すブロック図である（なお、図２において、括弧内の参照符号は、後述するように各端末装置３０に関連して記載されたものである。）
図２に示すように、サーバ装置２０は、主に、演算装置２１と、主記憶装置２２と、入出力インタフェイス装置２３を備えることができる。サーバ装置２０は、更に、入力装置２４と、補助出力装置２６と、を含むことができる。これら装置同士は、データバス及び／又は制御バスにより接続されていてよい。
演算装置２１は、主記憶装置２２に記憶されている命令及びデータを用いて演算を行い、その演算の結果を主記憶装置２２に記憶させるものである。さらに、演算装置２１は、入出力インタフェイス装置２３を介して、入力装置２４、補助記憶装置２５及び出力装置２６等を制御することができる。サーバ装置２０は、１以上の演算装置２１を含んでよい。演算装置２１は、１又はそれ以上の、中央処理装置（ＣＰＵ）、マイクロプロセッサ、及び／又は、グラフィックスプロセッシングユニット（ＧＰＵ）を含んでよい。
主記憶装置２２は、記憶機能を有し、入力装置２４、補助記憶装置２５及び通信網１０等（サーバ装置２０等）から、入出力インタフェイス装置２３を介して受信した命令及びデータ、並びに、演算装置２１の演算結果を記憶するものである。主記憶装置２２は、ＲＡＭ（ランダムアクセスメモリ）、ＲＯＭ（リードオンリーメモリ）及び／又はフラッシュメモリ等をこれらに限定することなく含むことができる。
補助記憶装置２５は、記憶装置である。上記特定のアプリケーションやウェブブラウザ等を構成する命令及びデータ（コンピュータプログラム）を記憶してよく、演算装置２１により制御されることにより、これらの命令及びデータ（コンピュータプログラム）は入出力インタフェイス装置２３を介して主記憶装置２２にロードされてよい。補助記憶装置２５は、磁気ディスク装置及び／又は光ディスク装置、ファイルサーバ等であってよく、これらに限定されない。
入力装置２４は、外部からデータを取り込む装置であり、タッチパネル、ボタン、キーボード、マウス及び／又はセンサ等であってよい。
出力装置２６は、ディスプレイ装置、タッチパネル及び／又はプリンタ装置等をこれらに限定することなく含むことができてよい。また、入力装置２４と出力装置２６とが一体化されたものであってもよい。
このようなハードウェア構成にあっては、演算装置２１が、補助記憶装置２５に記憶された特定のアプリケーションを構成する命令及びデータ（コンピュータプログラム）を順次主記憶装置２２にロードし、ロードした命令及びデータを演算することにより、入出力インタフェイス装置２３を介して出力装置２６を制御し、或いはまた、入出力インタフェイス装置２３及び通信網１０を介して、他の装置（例えばサーバ装置２０及び他の端末装置３０等）との間で様々な情報の送受信を行うことができてよい。
サーバ装置２０がかかる構成を備え、インストールされた特定のアプリケーションを実行することにより、以下で定義される、配信者による所定の動作、前記配信者の表情、前記配信者の顔色、前記配信者の声、又は、前記配信者に対して生じる所定の状況、のうちの一又は複数に係る情報を検知し、前記検知した情報が所定の条件を充足するか否かを判定し、前記所定の条件を充足すると判定した場合に、前記配信者に係る表情又はポーズに基づいて生成されていた前記配信者に係るアバターの表情又はポーズを、前記所定の条件に対応する所定の表情又はポーズとするための情報を生成する、という動作等（後に詳述する様々な動作を含む）の一部又は全部を実行できてよい。また、かかる動作等は、ユーザーが、入力装置２４又は後述する端末装置３０に係る入力装置３４を用いて、本願書類で開示する発明の一例のシステムに指示を与えることで動作されてよい。また、プログラムが演算装置２１上で実行されている場合にはユーザーの利用するシステムとしてのサーバ装置２０の出力装置２６によって表示されてよく、又はユーザーの利用するシステムとしての端末装置３０の出力装置３６に表示させる構成であってよい。
２−２．端末装置３０のハードウェア構成
端末装置３０のハードウェア構成例について同じく図２を参照して説明する。各端末装置３０のハードウェア構成としては、例えば、上述した各サーバ装置２０のハードウェア構成と同一のものを用いることが可能である。したがって、各端末装置３０が有する構成要素に対する参照符号は、図２において括弧内に示されている。
図２に示すように、各端末装置３０は、主に、演算装置３１と、主記憶装置３２と、入出力インタフェイス装置３３と、入力装置３４と、補助記憶装置３５と、出力装置３６と、を含むことができる。これら装置同士は、データバス及び／又は制御バスにより接続されている。
演算装置３１、主記憶装置３２、入出力インタフェイス装置３３、入力装置３４、補助記憶装置３５及び出力装置３６は、それぞれ、上述した各サーバ装置２０に含まれる、演算装置２１、主記憶装置２２、入出力インタフェイス装置２３、入力装置２４、補助記憶装置２５及び出力装置２６と略同一であってもよいし、異なるものであってもよい。また、演算装置や記憶装置の容量や能力は、異なっていてよい。特に入力装置３４及び出力装置３６については、以下で詳述する。
このようなハードウェア構成にあっては、演算装置３１が、補助記憶装置３５に記憶された特定のアプリケーションを構成する命令及びデータ（コンピュータプログラム）を順次主記憶装置３２にロードし、ロードした命令及びデータを演算することにより、入出力インタフェイス装置３３を介して出力装置３６を制御し、或いはまた、入出力インタフェイス装置３３及び通信網１０を介して、他の装置（例えば各サーバ装置２０等）との間で様々な情報の送受信を行うことができる。
端末装置３０がかかる構成を備え、配信者による所定の動作、前記配信者の表情、前記配信者の顔色、前記配信者の声、又は、前記配信者に対して生じる所定の状況、のうちの一又は複数に係る情報を検知し、前記検知した情報が所定の条件を充足するか否かを判定し、前記所定の条件を充足すると判定した場合に、前記配信者に係る表情又はポーズに基づいて生成されていた前記配信者に係るアバターの表情又はポーズを、前記所定の条件に対応する所定の表情又はポーズとするための情報を生成する、という動作等（後に詳述する様々な動作を含む）の一部又は全部を実行できてよい。また、インストールされたウェブブラウザを実行することにより、サーバ装置２０からウェブページを受信及び表示して、同様の動作を実行できる。また、かかる動作等は、ユーザーが、入力装置３４を用いて、本願書類で開示する発明の一例のシステムに指示を与えることで動作されてよい。また、プログラムが演算装置３１上で実行されている場合にはユーザーの利用するシステムとしての端末装置３０の出力装置３６に表示する構成であってよい。
端末装置は、本願書類において、「配信者端末」と「視聴者端末」の２種類の端末装置があってよい。これらは端末の役割に対して付与された名称であってよく、一の端末装置が、視聴者端末であることもあれば、配信者端末であることもあり、また、視聴者端末であると同時に配信者端末であってもよい。また、配信者端末と視聴者端末とは異なってよい。配信者端末は、配信されるものにアバターなどの被写体として登場する者である配信者が利用する端末であってよい。他方、視聴者端末は、主に、配信されているものを視聴する者である視聴者が利用する端末であってよい。なお、視聴者も、アバターなどの被写体に対してギフトを提供するギフティング行為によって、配信されるものにギフトが登場するような形で、視聴者が配信されるものに一定の影響をあたえてもよい。同様に、視聴者は、音声、コメント、等の形で、配信されるものに、一定の影響を与えてよい。配信されるものは、動画であってもよいし、映像であってもよいし、アニメーションであってもよく、これらの一部に配信者が演じるアバターなどの被写体が登場する者であればよい。なお、上述の説明は、本願発明の一実施形態が適用される例にすぎず、かかる前提のない被写体が登場する仮想空間においても、本願発明に係る各実施形態は適用されてよい。なお、本願書類において、アニメーションは、仮想現実であってもよいし、拡張現実であってもよい。
視聴者端末は、上述のように、音声の入力、コメントの入力、ギフティングなどが可能に構成されてよい。例えば、視聴者端末は、入力装置３４として、コメントを入力可能であり、テキスト情報たるコメントを取得可能なキーボード、タッチパネル、などを有してよい。また、視聴者端末は、演算装置３４により、一定のコメントやギフトを生成する機能を有してもよい。これらの取得されたコメントやギフトは、同様に、入出力インタフェイス装置２３を介して、通信網１０へ送信されてよい。また、これらのコメントやギフトは、配信されるもの生成に利用されてよい。
なお、本願発明に係るコメントは、視聴者端末によって入力されるコメント以外に、システムが自動的に生成するものであってよい。かかるコメントは、視聴者端末に向けて送信され、視聴者端末において表示されてよい。
また、端末は、入力装置３４として、音を取得可能なマイクを含んでよい。なお、人の音声は、入力装置３４としてのマイクによって取得され、音として扱ってもよいし、入力装置３４としてのマイクによって取得された後、演算装置３１による音声認識によりテキスト化して、コメントとして扱ってもよい。なお、視聴者端末は、演算装置３１によって音を生成してもよい。これらの取得された音又はコメントは、同様に、入出力インタフェイス装置２３を介して、通信網１０へ送信されてよい。
他方、配信者端末は、入力装置３４として、人の動きを検知可能なモーションセンサを含んでよい。モーションセンサは、配信者の身体に装着し、身体の各部の動きを検知可能な機能を有してよい。身体の各部としては、頭部、顔面、上腕、前腕、手、大腿、下腿、足、体幹、など種々の箇所が挙げられうるが、これらの一部又は全部に限られず、身体の動きを検知可能な位置に装着できるものであってよい。かかるセンサによって、配信者の表情やポーズをトラッキングし、情報として生成可能であってよい。モーションセンサは、加速度センサ、ジャイロセンサ、地磁気センサなどを有してよい。これらの取得された情報は、同様に、入出力インタフェイス装置２３を介して、通信網１０へ送信されてよい。
また、配信者端末は、入力装置３４として、動画を撮像可能なカメラを含んでよい。カメラは、配信者の、頭、顔面、目、身体の一部、全身、などを撮像してよい。カメラが、頭や顔面を撮像する場合顔の方向を検知することが可能であり、顔面を撮像する場合表情を検知することが可能であり、目を撮像する場合視線を検知することが可能であり、身体の一部又は全身を撮像する場合上述のモーションセンサと共に又は代えて身体の動きを検知することが可能であってよい。これらの撮像情報に基づいた、顔方向、視線、表情、身体の動きについて取得された情報は、同様に、入出力インタフェイス装置２３を介して、通信網１０へ送信されてよい。
また、視聴者端末及び配信者端末における出力装置３６は、表示装置、音発生装置であってよい。表示装置は、表示可能な機能であれば種々の装置であってよく、例えば、液晶ディスプレイ、プラズマディスプレイ、有機ＥＬディスプレイ、マイクロＬＥＤディスプレイ、ヘッドマウントディスプレイなどが挙げられるが、これらに限らず種々の装置であってよい。音発生装置は、スピーカー、ヘッドフォン、イヤホンなどであってよい。出力装置３６で出力される情報は、演算装置３１において生成された情報であってもよいし、通信網１０から受信した情報であってもよい。なお、配信者端末は、演じる演者についての情報を取得するセンサを専用に備えるスタジオの装置であってもよい。この場合、演者の情報をより精度よく情報を取得できる利点がある。また、配信者は、アバターを演じる演者を含んでよい。
３．各装置の機能
次に、サーバ装置２０及び端末装置３０の各々が有する機能の一例について、図３を参考に、説明する。図３は、図１に示したシステムの機能の一例を模式的に示すブロック図である。
３．１．取得部
取得部は、後述する所定の条件の適用の可否を判断するのに使用できる情報を取得する機能を有する。
取得部の取得する情報は、配信者による所定の動作、前記配信者の表情、前記配信者の顔色、前記配信者の声、又は、前記配信者に対して生じる所定の状況、のうちの一又は複数に係る情報（本願書類において、所定の動作等、ということもある）を含んでよい。また、取得部の取得する情報は、本願発明に係るシステムが接続されている情報処理装置によって検知された情報又は検知された情報に基づく情報であってよい。なお、検知された情報は、検知する検知器に応じた情報であってよく、これらの検知された情報がそのまま取得部において取得されてもよいし、検知された具体的な測定情報について所定の閾値や範囲に応じた対応する情報を取得部において取得されてもよい。検知された情報としては、モーションデータの動きの情報や、アルコール検知器によるアルコール量の情報、サーマルセンサーの温度情報、などであってよい。そして、これらの具体的な測定情報に対する、対応する情報としては、モーションデータについての特定の表情や特定の動きの情報、アルコール量に対する飲酒の量の情報、など本願発明に係る所定の条件に合わせた情報に加工されてよい。これらの、取得部の取得する情報については、条件適用部において、その具体的な内容を説明する。なお、図４は、これらの取得部が取得する情報の一部の一例を示したものである。
ここで、検知する手法は、種々の手法があってよい。例えば、検知した情報は、前記配信者を撮像する一又は複数の撮像装置によって撮像された画像を用いた画像処理によって検知した情報を含んでよい。かかる画像処理によって取得される情報は、例えば、モーションデータに基づくブレンドシェイプを検知してもよい。また、配信者がいる居室内の音声を取得するマイクによる音の検知や、配信者によって操作された音発生機器の操作を検知することによる音の検知であってもよい。また、配信者の手や腕に装着するセンサの動きを用いて、手や腕の動きを検知してもよいし、のどに巻き付ける形状のセンサを用いて、のどの動きを検知し、食べる動作や飲む動作を検知してよい。また、アルコール検知器により、配信者の飲酒動作を検知してよい。本願に係るシステムは、これらの検知器と接続され、配信者の動作等についての情報を検知してよい。なお、配信者は、アバターを操作可能な演者を含んでよい。
図５は、検知する手段の例と、検知される情報の例を示したものである。
なお、取得部が情報を取得する元となる情報処理装置は、取得部の機能を有する情報処理装置と同じであってもよいし、異なってもよい。また、取得という用語は、情報を、他の情報処理装置から受信する意味の上位概念であってよく、また、情報を記憶装置から情報を読み取る意味の上位概念であってよく、また、他のプログラムから記憶装置を介して情報を受け取る意味の上位概念であってよく、また、情報処理装置が検知する意味の上位概念であってよい。
３．２．条件適用部
条件適用部は、前記検知した情報が所定の条件を充足するか否かを判定し、前記所定の条件を充足すると判定した場合に、前記配信者に係る表情又はポーズに基づいて生成されていた前記配信者に係るアバターの表情又はポーズを、前記所定の条件に対応する所定の表情又はポーズとするための情報を生成する、機能を有する。
ここで、前記配信者に係る表情又はポーズに基づいて生成されていた前記配信者に係るアバターの表情又はポーズを、前記所定の条件に対応する所定の表情又はポーズとするための情報を生成するとは、かかる所定の条件が充足された場合において、前記配信者に係る表情に基づいて生成されていた前記配信者に係るアバターの表情を、前記所定の条件に対応する所定の表情とするための情報のみを生成してもよいし、前記配信者に係るポーズに基づいて生成されていた前記配信者に係るアバターのポーズを、前記所定の条件に対応する所定のポーズとするための情報のみを生成してもよいし、前記配信者に係る表情及びポーズに基づいて各々生成されていた前記配信者に係るアバターの表情及びポーズを、前記所定の条件に対応する所定の表情及びポーズとするための情報を生成してもよい。なお、本願書類において、所定の条件に対応して特定される、所定の表情及び／又はポーズについて、所定の表情等ということがあり、また、表情及び／又はポーズを、表情等ということがある。
また、所定の表情等は、予め定められた表情のパラメータ、又は、配信者の表情に基づく表情のパラメータを所定のルールに基づいて補正された表情のパラメータ、を用いて表示される表情であってもよいし、予め定められた形状又は動きの設定により表示される表情であってもよいし、予め定められたポーズのパラメータ、又は、配信者のポーズに基づくポーズのパラメータを所定のルールに基づいて補正されたポーズのパラメータ、を用いて表示されるポーズであってもよいし、予め定められた形状又は動きの設定により表示されるポーズであってもよい。ここで、予め定められた表情のパラメータとは、顔の各部位の動きに影響を与える複数のパラメータを示し、かかる複数のパラメータを各々所定の値に設定することにより、一の表情を示すものであってよい。かかる一又は複数のパラメータは、顔の各部位の動きに影響を与えるパラメータであればよく、各パラメータが、顔の特定の部位についてのものでもよいし、顔全体（又は顔の一部）についてのものであるがパラメータ毎に顔全体（又は顔の一部）の形状が異なるものでもよい。後者は、同じ面積であるが形状が異なるものを複数用意して、それらの一部又は複数の合成によって、一の表情を表現する技術である。後者の例としては、例えば、ブレンドシェイプが挙げられ、かかる技術では、予め形状が異なる複数の顔全体の形状のものを用意しそれらの複数の形状の合成によって一の表情を生成するものである。なお、本技術においては、通常の顔の要素に加えて、予め所定の形状のものを用意しておくことにより、特殊な表情をさせてもよい。例えば、予め顔の縦線を示す形状を用意しておく場合には、かかる顔の縦線の演出が可能となり、予め目がバツの演出の要素を用意しておく場合には、かかる目がバツの演出が可能となる。この場合、パラメータが予め設定されることから、配信者の表情等を問わず、再現される表情等となるため、表情等を示す適切なパラメータが選択される場合には常に分かりやすい表情等を再現できる利点がある。なお、この場合においても、アバターに応じて、所定の表情等が異なるよう設定されてもよい。すなわち、アバターＡとアバターＢについて、同一の所定の条件が充足された場合において適用される所定の表情等が、アバターＡとアバターＢにおいて、異なってもよい。この場合において、個々のアバターに対して設定されてもよいし、アバターの種類に応じて、設定されてもよい。
他方、所定の表情等が、配信者の表情等に基づく表情等のパラメータを所定のルールに基づいて補正された表情等のパラメータである場合は、所定の表情等が、配信者の表情等に基づいた表情等となってよい。例えば、配信者が何らかのギフトに対して、驚いた表情をするとする。このとき、配信者の表情の検知に対応してアバターの表情が一又は複数のパラメータによって驚きに対応する表情に設定されるが、所定の条件に対応する所定の表情として驚きに係る複数のパラメータの値を所定の値分増加させる又は減少させることにより、より驚きの表情を強調するようにする場合を示す。上述の技術を所定の表情として一又は複数のパラメータが決定される点において絶対値的なものであるのに対し、本技術は、いわば、現在の配信者の表情から得られた情報に対する相対的なパラメータを用いるものであってよい。そのため、同一の配信者が演じる同一のアバターが、同一の所定の条件が適用された場合においても、かかる配信者自身がその時点で有している表情等に基づく表情等のパラメータは同じ場合もあれば、異なる可能性もあることから、かかる異なりうるパラメータに応じた表情等が、所定の表情等となる場合がある。そのため、より表情等のバリエーションをもたせることができる可能性がある。
また、予め定められた形状又は動きの設定により表示される表情は、表情として、お面のように予め定められた形状そのものを、所定の表情とするものを示し、かかるものであってもよい。
なお、以上においては、いずれも所定の表情について説明したが、同様に、所定のポーズについても、対応する技術が用いられてよい。
また、所定の表情等は、生じる所定の動作等と関連する表情等であってよい。この場合、視聴者は、所定の表情等が表現される理由を、所定の動作等と関連付けて、容易に理解できる利点がある。
また、所定の表情等は、表情等を構成する全ての個所についてのパラメータに作用してもよいし、その一部のパラメータに作用してもよい。例えば、所定の表情等は、口についてのパラメータのみに作用し、口以外の個所についてのパラメータは、配信者の表情に連動するパラメータであって、配信者端末から配信者の表情の動きに対応した情報に基づくパラメータであってよい。また、所定の表情等は、アバターの外観を含んでもよい。例えば、所定の表情等は、アバターが黒焦げになる演出を含んでよい。なお、パラメータの例としては、目や口の開口度を示すパラメータ（例えば、０％から１００％）を示す数値を含んでもよいし、口の両端の左右位置や上下位置を示すパラメータを含んでもよいし、眉の上下位置を示すパラメータを含んでもよい。
所定のポーズは、種々のポーズであってよい。ポーズは、アバターの体の一部のみであってもよいし、アバターの体の全体であってもよい。例えば、首をかしげるポーズとして頭部のみのポーズや、手が大きくなったり手が赤く腫れた演出を含む手のみのポーズや、ガッツポーズのように上半身のみのポーズであってもよいし、銃を構えるポーズや全身でジャンプするような全体のポーズでもよい。
所定の条件は、配信者が演じるアバターの所定の動作、前記アバターの表情、前記アバターの顔色、前記アバターの声、又は、前記アバターに関して生じる所定の状況、のいずれか一つ又は複数に係る情報、を用いてよい。
前記配信者の所定の動作は、前記配信者に五感で知覚される予め定められた動作であってよい。また、前記配信者の所定の動作は、所定の対象を見る動作を含んでよい。例えば、配信者が、配信者のいるステージや居室などの場所において、他の配信者や所定の物などの所定の対象を見て驚いた場合、所定の表情等として、驚く表情が設定されてよい。
また、所定の対象は、配信者に驚きの感情をもたらす物に限らず、他の感情や感覚をもたらす物であってよく、例えば、怖いという感情をもたらす物、ステーキなどの好きだという感情をもたらす物、納豆などの嫌いだという感情をもたらす物、など人が対象を見たときに一定の感情や感覚が生じる物であってよい。また、かかる物を見た場合の所定の表情等についても、かかる対象を見た場合に人が一般的に生じる顔を示す所定の表情等が設定されてよい。上述の怖いという感情をもたらす物、好きだという感情をもたらす物、嫌いだという感情をもたらす物、については、対応して、ぞっとする表情、笑顔、嫌悪の表情、などであってよい。
また、所定の対象が他の配信者である場合、所定の対象を見る動作は、一の配信者の視線と他の配信者の目を見ることを含んでよい。この場合、かかる他の配信者もかかる一の配信者の目を見た場合、一の配信者と他の配信者とは視線が合うことになる。このような場合に、アバターを所定の表情等に設定してよい。なお、配信者同士の視線が合致している場合、一方のアバターについてのみ、所定の表情等が設定されてもよいし、両方のアバターについて、所定の表情等が設定されてもよい。後者は、例えば、視線が合って、両方のアバターの顔が赤くなる表情やドキドキしている表情等が考えられる。また、後者の両方のアバターについて所定の表情等が設定される場合において、かかる設定される表情等は、同一の所定の表情等であってもよいし、異なる所定の表情等であってもよい。かかる異なる所定の表情等となる理由としては、アバターの属するタイプに応じた所定の表情等であってもよいし、アバターの好みや性質等に応じた所定の表情等であってもよいし、確率的に選定された所定の表情等であってもよい。
この場合、配信者を含む配信者周辺を撮像視野とする撮像装置によって、配信者を撮像しておき、かかる撮像された画像内で、配信者と他の配信者との距離が所定の距離以下になった場合や、配信者が他の配信者を見た場合に、所定の表情等を設定してよい。後者の配信者が他の配信者を見ることは、画像内における画像処理として、配信者の視線をＲａｙｃａｓｔなどすることにより配信者の目の視線の方向を計算し、かかる視線が他の配信者と交差した場合に、他の配信者を見ると判定してよい。
同様に、配信者と物の距離が所定の距離以下になった場合や、配信者がかかる物を見た場合に、所定の表情等を設定してよい。また、前記配信者の所定の動作は、所定の対象に接触する動作を含んでよい。所定の対象は、予め定められていてよく、かかる接触動作は、上述のように、配信者を含む配信者周辺を撮像視野とする撮像装置によって、配信者を撮像しておき、かかる撮像された画像内で、配信者と所定の物との距離が所定の距離以下になった場合や、配信者と所定の物との距離が０になった場合に、所定の表情等を設定してよい。
この点、配信者を撮像する撮像装置の位置によっては、配信者が所定の物と接触するタイミングと、画像内における配信者の輪郭と所定の物の輪郭の接触が、異なるタイミングの場合がある。特に後者は、配信者自身が所定の物と接触していないにもかかわらず、画像上、配信者の輪郭と所定の物の輪郭に重複が生じる場合がある。そこで、画像処理を用いた判定に加えて、又は、画像処理を用いた判定に代えて、配信者が身に着けるセンサを用いてよい。例えば、配信者がセンサ付きのグローブを身に着け、かかるグローブと所定の物との接触をグローブ内のセンサにより検知する構成としてもよい。また、配信者が体に備え付けるセンサによって、他の配信者と接触したり、他の物と接触したりする状況を検知してもよい。また、配信者が体に備え付けるセンサは、マーカー式のトラッカーであってもよい。また、物についても一又は複数のトラッカーを備え付けることで、かかる物に備えられたトラッカーと配信者の体に備え付けられたトラッカーとの関係によって、配信者と物との接触等の関係を判定してよい。
また、前記配信者の所定の動作として、握手する動作を含んでよい。握手は、配信者が装着したセンサ付きのグローブによって指の動きを検知し、握手の指の動きが検知された場合に、握手していると判定されてよい。
また、前記配信者の所定の動作は、所定の対象の飲食動作を含んでよい。飲食動作は、配信者ののどに巻き付ける形のセンサを用いて、のどの動きを検知することを介して、配信者が飲食動作をしていることが検知されてよい。配信者が飲食動作をした場合における所定の動作等としては、配信者に係るアバターが口の中に食べ物を入れた状態で口を動かす動作があげられる。例えば、口をもぐもぐしている表情であってもよい。かかる飲食中の表情は、口の動きに応じるものであって良く、かかる口の動きは、上述ののどの動きに対応したものであってよい。また、上述の技術と共に、または、上述の技術に代えて、配信者を撮像した画像内の情報に基づいて、所定の動作等を設定してもよい。例えば、配信者が所定の物を食べていることを画像内の情報に基づいて判定し、かかる所定の物を食べる対応する食べ方を示す表情としてもよい。例えば、配信者が、ラーメンを食べるとき、カレーを食べるとき、お肉を食べるとき、お魚を食べるとき、野菜を食べるとき、などにおいて、対応する食べ物のアイテム（ラーメン、カレー、お肉、お魚、野菜、など）を仮想空間内のアイテム又はアニメーションとして演出しつつ、かかる食べ物に対応した食べ方を所定の表情等としてもよい。例えば、お肉を食べる場合には、骨付きお肉を横からかぶりつく食べ方、カレーであればスプーンで食べる食べ方等であって良い。また、前記所定の対象に対応するものを、仮想空間上に演出するアイテムを生成してよい。食べ物を食べる表情であれば、対応する上述の食べ物のアイテムを生成し、演出させてもよい。
なお、上述では、仮想空間上に演出として表示されるアイテムとして、飲食動作に対応する食べ物又は飲み物のアイテムを説明したが、新たに表示されるアイテムは、これらに限られない。例えば、配信者が、現実空間内において知覚した物に対応する物のアイテムが、仮想空間上に演出されるアイテムとして、表示されてよい。例えば、楽器の音が聞こえた場合には、楽器がアイテムとして、表示されてよい。また、たらいやボールなどが配信者に対して接触した場合には、かかる対応するたらいやボールのアイテムが、画面上に演出として、表示されてよい。
また、かかる演出として表示されるアイテムは、配信者に係るアバターが所定の表情等に設定されるタイミングに対応して、表示されてよい。また、配信者に係るアバターに対して設定される所定の表情等が元の配信者に対応するアバターの表情等に戻る場合、かかる演出として表示されるアイテムは画面上から消えてもよい。演出として表示されるアイテムは、配信者に係るアバターが所定の表情等が設定される間、対応して、かかるアイテムが表示されてよい。
また、かかる演出として表示されるアイテムは、配信者に係る所定の動作等と関連してアイテムの位置が決定され、移動してもよい。例えば、配信者に係る所定の動作等において、音の強弱、動作の速さ、動作の距離、などに応じて、対応するアイテムの位置や動きや大きさが異なってもよい。更に具体的には、例えば、音が強い場合は、アイテムの位置が近く、音が弱い場合はアイテムの位置が遠い、などであってよい。また、例えば、食べる動作が速ければ、食べ物のアイテムの減りの速さが速い、などであってもよい。また、ボールが飛んできた場合には、かかるボールに対応するボールのアイテムを仮想空間上に表示させ、現実空間における飛んできたボールの速さや大きさに応じて、仮想空間内のボールの速さや大きさを対応付けて表示させてよい。この場合、現実空間内のボールの速さを仮想空間内のボールの速さに対応させ、現実空間内のボールの大きさを仮想空間内のボールの大きさに対応付けてもよいし、速さとボールを交互に対応付けてもよい。
また、配信者の所定の動作として飲酒する場合、所定の表情等として、配信者に係るアバターの顔色を赤くするなどアルコールの影響下の表情をしてよい。飲酒は、アルコール検知器によって判定されてよい。また、アルコール検知器によって検知されたアルコールの分量に応じて、アバターの顔色を変化させてよい。例えば、アルコール量が第１の所定の範囲内の量を検知した場合は、アバターの顔色をピンク色に設定し、アルコール量が第１の所定の範囲内の量よりも多い第２の所定の範囲内の量を検知した場合は、アバターの顔色を赤色に設定し、アルコール量が第２の所定の範囲内の量よりも多い第３の所定の範囲内の量を検知した場合は、濃い赤色を設定する、などしてよい。
前記配信者の所定の動作は、臭う又は匂う所定のジェスチャーを含んでよい。匂う所定のジェスチャーは、鼻に係る動作を含んでよい。例えば、鼻がいわゆるクンクン動く動作やひくひく動く動作のように一般人が匂いを感じることを示すジェスチャーをしている場合を含んでよい。また、臭う所定のジェスチャーは、鼻の穴を塞ごうとする動作や、息を吸うのを止める動作や、鼻の前の空気を手で移動する動作等、一般人が臭いを感じることを示すジェスチャーを含んでよい。また、臭う所定のジェスチャーは、鼻及び顔の動きのみでもよいし、手の動きのみでもよいし、それらの両方であってもよい。かかる動作は、表情等であってよい。
かかる配信者の匂う又は臭う所定のジェスチャーは、モーションデータに基づき、ブレンドシェイプに基づいて鼻の情報を取得してもよい。また、光学センサや、画像処理によって情報を取得してもよい。
また、配信者の所定の動作に対応するアバターの所定の表情等として、配信者による匂う又は臭う動作に対応して、配信者に係るアバターが匂う又は臭う表情等をさせてよい。所定の表情等としてのアバターの匂う又は臭う表情等も、同様に、一般人が匂い又は臭いを嗅いでいることを演出していると感じる所定の匂う又は臭う動作であってよい。かかるアバターによる匂う又は臭う表情等は、配信者による匂う又は臭う表情等と、同じ態様の表情等であってもよいし、異なる態様の表情等であってもよい。また、同じ態様の表情等である場合、アバターによる匂う又は臭う表情等は、配信者による匂う又は臭う表情等を、より動きの幅を大きくする、動きの速さの緩急を明確にするなどして、匂う又は臭う表情等であることが明確なものとしてよい。
また、前記配信者の所定の動作は、音を聞く／聴くことについての所定のジェスチャーを含んでよい。音を聞く／聴くことについての所定のジェスチャーは、耳のみの動作でもよいし、頭部のみの動作でもよいし、手のみの動作でもよいし、これらの一部又は全部の動作でもよい。耳の動作としては、耳を動かす動作が挙げられる。頭部の動作としては、耳を一定の方向に向ける動作が挙げられる。一定の方向は、配信者が、音が聞こえると感じた方向であってよい。また、手の動作としては、手を耳の所定の範囲に近づける動作を含んでよい。また、手の動作としては、手の平を耳側に向ける動作を含んでよく、特定の方向から来る音のみを集める態様の形にしてよい。また、片手のみの動作でもよいし、両手の動作であってもよい。一方の耳について特定の方向から来る音のみを集める態様の形に手の平をした場合において、かかる特定の方向にかかる耳が近づくよう体の向きを変えてもよいし頭部の向きを変えてもよい。配信者の動作は、以上のような一般人が、音を聞こう／聴こうとしている動作であると認識するジェスチャーを含んでよい。かかる動作は、表情等であってよい。かかる配信者の表情等に対応して、配信者に係るアバターについての所定の表情等として、上述のような、一般人が音を聞こう／聴こうとしている表情等であると認識する表情等であってよい。かかるアバターによる音を聞こう／聴こうとしている表情等は、配信者による音を聞こう／聴こうとしている表情等と、同じ態様の表情等であってもよいし、異なる態様の表情等であってもよい。また、同じ態様の表情等である場合、アバターによる表情等は、配信者による音を聞こう／聴こうとしている表情等を、より動きの幅を大きくする、動きの速さの緩急を明確にするなどして、音を聞こう／聴こうとしている表情等であることが明確なものとしてよい。
また、前記配信者に対して生じる所定の状況は、所定の音が生じることを含んでよい。所定の音は、人の音声であってもよいし、自然な音であってもよいし、楽器による音であってもよいし、人工的な音であってもよいし、演出的な音であってもよく、音の種類に制限はなくてよい。人の音声は、人の通常の声、人の通常とは異なる声、人の奇声、人の悲鳴、など、人から発生られる種々の声であってよい。自然の音は、風の音や、水の音、炎の音、台風の音、洪水の音、など種々のものであってよい。楽器による音は、バイオリン、ピアノ、フルート、など種々の楽器の音であってよい。人工的な音は、例えば、問題に対する正解を示すピンポンという効果音や、不正解を示すブーという効果音など種々のものであってよい。また、演出的な音は、例えば、おばけが登場する際に一般的に使用される音であって一般人がおばけの登場を認識可能なヒュードロドロという音であってもよい。
所定の音は、種々の手法で検知されてよい。たとえば、配信者のいる居室やスタジオ等に設置されたマイクで配信者が聞くことが可能な音を検知してもよいし、スタジオにおけるオペレータの指示や配信者自身が入力する指示によって発生される音など配信者に対して音を聞かせることが可能な音発生装置からの情報を検知してもよい。
かかる所定の音の発生に対応して、配信者に係るアバターの所定の表情等としては、かかる音に対応する所定の表情等としてよい。例えば、人の奇声や人の悲鳴が検知されると、所定の表情等として、アバターも奇声や悲鳴をあげる表情に設定されてよい。具体的には、上下に口を開けて目や眉毛を上下に動かすような一般人が悲鳴や奇声を上げていると認識可能な表情に設定してよい。また、ピンポンというような正解を示す効果音が検知された場合は、アバターの所定の表情等として閃いたような表情をしてもよい。この場合、仮想空間上の演出として、更に、アバターが閃いた状態を示すために、アバターの頭部から所定の範囲の周辺にエクスクラメーションマークを表示させてもよい。また、一般人がおばけの登場を認識可能なヒュードロドロという音に対し、所定の表情等として、アバターがおびえた表情をしてもよい。また、楽器の音が検知された場合、所定の表情等として、アバターが歌う表情をしてもよい。この場合、アバターの口が、楽器の音に合わせて、動いてよい。例えば、楽器の音の変化に合わせて、アバターの口が動いてよい。また、音量に応じて、配信者に係るアバターの所定の表情等が設定されてよい。例えば、所定の音よりも大きい音量の音が検出されると、配信者に係るアバターの所定の表情等として、耳をふさぐポーズが設定されてよい。また、所定の音よりも小さな音量の音が検出されると、配信者に係るアバターの所定の表情等として、耳と手との距離が所定の距離よりも短くなり、耳に手が接触する距離となって、耳に手をそえるポーズが設定されてよい。また、音の音質に応じて、配信者に係るアバターの所定の表情等が設定されてよい。例えば、所定の音質として設定されたダミ声が検出されると、配信者に係るアバターの所定の表情等として、厳しい表情が設定されてよい。また、所定の音質として設定されたファルセットが検出されると、配信者に係るアバターの所定の表情等として、酔いしれる表情が設定されてよい。
また、前記配信者に対して生じる所定の状況は、所定の物が前記配信者に接触することを含んでよい。所定の物は、種々のものであってよい。例えば、ボール、バット、たらい、などのものであってよい。但し、実際に配信者に対して物が接触する場合、安全のために、本物でなく、かかる本物を模した物であってもよい。所定の物が接触した場合に、対応して、かかる配信者に係るアバターの所定の表情等として、対応する表情となってよい。例えば、接触により、驚いた表情や、痛がっている表情などとしてよい。この場合、仮想空間上の演出として、更に、アバターが痛がっている状態を示すために、アバターの頭部から所定の範囲の周辺に星のマークなど痛みを一般に示す演出を表示させてもよい。
また、配信者の顔色は、顔色の変化を含んでよい。顔色の変化は、上述のように、配信者を撮像した画像処理に基づいて、判定されてよい。また、顔色の変化は、サーマルセンサーを用いて、配信者の顔の温度を用いて測定されてもよい。また、顔色の変化は、他の情報と合わせて、所定の表情等の設定に使用されてよい。例えば、顔色の変化と、アルコールを検知した情報と、を用いて、飲酒の程度を検知してよい。より具体的には、配信者の顔色が、通常の肌色から、ピンク色、赤色、などの色の変化と、検知されたアルコール量の分量の程度、に対応づけられている、アバターに係る所定の表情等を、設定してよい。かかるアバターの所定の表情等としては、上述のような、アルコールにより酔っている表情等であってよい。また、アルコールにより酔っている表情等として、アバターの足や体の動きを千鳥足の動きを含んでもよい。また、通常の肌色から、青白い色や白い色への顔色の変化と、おばけキャラなどの所定のアイテムと、を用いて、アバターに係る所定の表情等として、怖がっている表情を設定してよい
また、前記配信者の声は、前記配信者の声の音質が所定の範囲以上変化すること、又は、前記配信者の声の音量が所定の量以上変化すること、を含んでよい。声の音質や声の音量は、マイクから検知された情報を用いて、判定されてよい。配信者の声に、一定の変化がある場合、かかる変化に応じた所定の表情等を設定してよい。また、かかる情報は、他の情報と合わせて、検知されてもよい。例えば、配信者の声の音質及び／又は音量と、配信者を撮像する撮像装置によって得られた画像に基づく情報と、を用いてアバターの所定の表情等を設定してよい。より具体的には、例えば、配信者の声の音量が所定の音量よりも大きく検出され、かつ、配信者が口に手を添えるように配信者の手と口とが所定の距離内であると判定された場合、配信者に係るアバターの所定の表情等として、かかるアバターの顔を赤くし、目をつむらせてよい。この場合、更に、メガホンを表示させる、及び／又は、声の大きさを示す雷のようなイラストを表示させてもよい。ここで、かかる雷のようなイラストは、声の大きさに応じた大きさであってよい。また、例えば、配信者の声が所定の音質よりも低い声であると検出され、配信者に係る眉毛の間隔が所定の長さよりも短いと判定された場合、配信者に係るアバターの所定の表情等として、かかるアバターの顔に怒りを示すマークを付けてよい。ここで、眉毛の間隔が所定の長さよりも短いことは、いわゆる、眉間にしわが寄っている状態であってよい。また、配信者が「変身」などの特定のキーワードを発したことが検出され、かつ、配信者が所定のポーズをしたと判定された場合、配信者に係るアバターの所定の表情等として、所定の変身アニメーションが表示されてもよい。例えば、配信者が片手を体の前方で円を描くように移動させると同時に「変身」などの音声を発した場合、例えば、仮面ライダーの変身アニメーションが起動され、配信者に係るアバターの所定の表情等として、表示されてよい。
なお、検知した情報は、第三者が入力したことに起因して検知した情報を含んでよい。例えば、スタジオにおいて配信している場合、演出者と異なる第三者によって入力された情報を検知してもよい。例えば、問題に対して、演出者が回答したことに対し正解した場合のピンポン、という音は、かかる音自体を検知する場合に加えて、又は、代えて、かかるピンポンという音を入力した第三者による入力情報を検知した情報であってよい。また、音以外の情報においても、例えば、演出者が他の演出者を含む他の者や何かの物と接触した場合の接触したことを示す情報を、第三者が入力してもよいし、演出者が、食べ物を食べる飲むなどの飲食動作について、第三者が対応する情報を入力してもよいし、匂い又は臭いが発生していることの情報を、第三者が入力してもよい。このように、配信者が五感で認識可能な情報を、配信者自身又は第三者による入力を検知する情報としてもよい。
また、所定の条件は、複数の所定の条件が成立する場合がある。例えば、一の配信者が他の配信者を見ると同時に、かかる一の配信者に対して、第三の配信者が接触する場合等である。このような場合、他の配信者を見ること及び第三の配信者との距離が所定の距離の範囲内であることの各条件に対応する所定の表情等が異なる場合、複数の所定の条件が充足した場合の処理が定められていてよい。例えば、所定の時間内において、第１の所定の条件が充足し、かつ、第２の所定の条件が充足した場合、前記第１の所定の条件又は前記第２の所定の条件のうち、優先度が高く設定されている所定の条件が充足した場合に対応する所定の表情又はポーズを適用してよい。ここで、優先度は、各所定の条件と、関連付けられて、記憶されていてもよいし、複数の所定の条件が充足した場合のルールとして設定されていてもよい。例えば、所定の条件として、Ａ１、Ａ２、Ａ３、Ａ４などがあった場合において、各所定の条件同士を比較した上で優先される所定の条件を選定できるものであればよい。かかる優先度を用いた機能により、複数の所定の条件が充足された場合においても、特にほぼ同時に複数の所定の条件が充足された場合においても、適確に処理できる利点がある。また、かかる優先度は、確率が用いられてもよい。例えば、確率が、疑似乱数関数等によって判定される場合であって、第１の所定の条件と第２の所定の条件とが充足している場合において、かかる疑似乱数関数値が所定の値以下の場合は、第１の所定の条件に対応する所定の表情等が適用され、所定の値を超える場合は、第２の所定の条件に対応する所定の表情等が適用される、と処理されてよい。この場合、演出のバリエーションが増加することになり、より視聴者の興味を引くことができる可能性がある。
なお、充足しうる複数の条件についての判定において、所定の時間の経過を待って判断することから、所定の時間をある時間以上に設定した場合、所定の条件の充足から所定の表情等の演出まで、タイムラグが生じる可能性がある。そのため、かかる優先度を設けずに、上述の複数の条件が成立する場合に、時間的に先行して充足された所定の条件に対応する所定の表情等を設定してもよい。ここで時間的に先行するとは、ネットワークや情報処理などの結果、実質的にはほぼ同時に所定の条件が成立した場合においても、処理部が所定の条件の充足を先に判定したものであってよい。この場合、所定の時間の経過を待たずに、先に充足した所定の条件に対応する所定の表情等を設定できる利点がある。なお、かかる場合において、後に充足した所定の条件に対応する所定の表情等を設定してもよいし、設定しなくともよい。設定する場合、先に充足された所定の条件に対応する所定の表情等は上書きされてしまうが、後に充足された所定の条件に対応する所定の表情等も視聴者に演出できる利点がある。他方、設定しない場合、先行した所定の表情等について、視聴者は十分楽しむことができる利点がある。なお、このように、第１の所定の条件と第２の所定の条件について、双方ともに充足する場合、第１の所定の条件が充足したタイミングと、第２の所定の条件が充足したタイミングに応じて、所定の表情等を設定してもよい。例えば、第１の所定の条件が充足した第１タイミングと、第２の所定の条件が充足した第２タイミングと、の間の時間が所定の時間よりも短い場合、第１の所定の条件に対応する第１の所定の表情等のみを演出し、第２の所定の条件に対応する第２の所定の表情等を演出しない処理としてよい。この場合、第１の所定の表情等の演出について、視聴者は、途中で変更されず、楽しむことができる利点がある。他の他方、前記第１タイミングと前記第２タイミングとの間の時間が所定の時間よりも長い場合、前記第２の所定の条件が充足したタイミングで、前記第２の所定の条件に対応する所定の表情等を設定してもよい。この場合、視聴者は、第１の所定の表情等に続き、第２の所定の表情等も両方の演出を楽しむことができる利点がある。
なお、かかる第１のタイミングと第２のタイミングとの間の時間について判定する上述の所定の時間は、充足される所定の条件の組に応じて設定されてもよい。例えば、第１の所定の条件が充足した場合に第１の所定の表情等が演出され、第２の所定の条件が充足した場合に第２の所定の表情等が演出され、第３の所定の条件が充足した場合に第３の所定の表情等が演出されたとする。また、第１の所定の条件が第１のタイミングで充足され、第２の所定の条件が第２のタイミングで充足され、第３の所定の条件が第３のタイミングで充足されたとする。この時、第１のタイミングと第２のタイミングとの間の時間が、第１２所定の時間よりも短い場合に、第２の所定の表情等が演出されず、第１２所定の時間以上の場合に第２の所定の表情等が演出されるとする。また、第１のタイミングと第３のタイミングとの間の時間が、第１３所定の時間よりも短い場合に、第３の所定の表情等が演出されず、第１３所定の時間以上の場合に第３の所定の表情等が演出されるとする。このとき、第１２所定の時間と第１３所定の時間は、同じであってもよいし、異なってもよい。同じである場合は、第１の所定の条件の充足の後に、第２の所定の条件が充足されても、第３の所定の条件が充足されても、第１の所定の表情等の演出時間に変わりがないことを意味する。他方、異なる場合は、第１の所定の条件の充足の後に、第２の所定の条件が充足する場合と、第３の所定の条件が充足する場合と、において、第１の所定の表情等の演出時間が変化することになる。この場合、演出のバリエーションが増加することになり、より視聴者の興味を引くことができる可能性がある。
なお、上述において、優先度は、所定の条件と関連付けられている、又は、充足される所定の条件についてのルールの例を説明したが、そのほか、優先度は、所定の条件内の物、イベント、状況、などと関連付けられていてもよい。
所定の条件に係る物、イベント、状況（本願書類において、物等、ということもある）に係る優先度は、物等の表示される大きさ、物等の出現場所、物等の出現のタイミング、などを用いて生成されたものであってよい。
例えば、物等の表示される大きさ、については、第１の物等の大きさよりも、第２の物等の表示される大きさが大きい場合、かかる第２の物等に対して、かかる第１の物等よりも、高い優先度が設定されていてよい。この場合、表示される大きい方が、より視聴者の注目を浴びることから、優先させることが視聴者の意向に沿うと考えられるためである。他方で、逆に設定してもよい。逆に設定した場合、意外性が出る利点がある。
また、物等の大きさの他に、物等に価格がある場合は価格であってもよいし、物等に消費ポイントが設定されている場合には消費ポイントであってもよい。例えば、第１の物等の価格よりも、第２の物等の価格が高い場合、かかる第２の物等に対して、かかる第１の物等よりも、高い優先度が設定されていてよい。この場合、価格が高い方が、より視聴者の注目を浴びることから、優先させることが視聴者の意向に沿うと考えられるためである。他方で、逆に設定してもよい。逆に設定した場合、意外性が出る利点がある。また、同様に、消費ポイントについても、例えば、第１の物等の消費ポイントよりも、第２の物等の消費ポイントが高い場合、かかる第２の物等に対して、かかる第１の物等よりも、高い優先度が設定されていてよい。この場合、価格が高い方が、より視聴者の注目を浴びることから、優先させることが視聴者の意向に沿うと考えられるためである。他方で、逆に設定してもよい。逆に設定した場合、意外性が出る利点がある。
物等の仮想空間内の出現場所としては、例えば、仮想空間内の中央に出現した物等を、仮想空間内の左右などの端に出現した物等よりも、優先度を高く設定してよい。仮想空間内の目立ちやすい場所に出現した物等の優先度を高くした場合、視聴者は、目立ちやすい場所に出現した物等を視野に入れることができるため、視聴者は、所定の表情等の意味を理解しやすくなる利点がある。
また、物等に係る優先度は、その物等に予め設定されている静的な情報であってもよいし、物等が提供された段階で初めて設定される動的な情報であってもよい。後者は、例えば、物等が出現された位置に応じて設定される情報であってよい。例えば、物等が仮想空間上で出現した位置と、アバターとの位置との関係に応じて設定された優先度であってよい。この場合、距離自体が優先度の役割を果たしてもよいし、距離が優先度を設定する一の情報として使用されてもよい。例えば、アバターと出現した第１の物に係る位置の距離が第１距離であり、アバターと出現した第２の物に係る位置の距離が第２距離である場合において、第１距離が第２距離より長い場合、第２の物に対して第１の物に優先度を高く設定してよい。また、そのほか、画面中央と第１の物に係る位置との距離の第１距離が画面中央と第２の物に係る位置との距離の第２距離よりも短い場合、第１の物がより画面中央に出現していることから、第１の物の優先度を第２の物よりも高く設定してもよい。物等に係る優先度が動的に設定される場合、より適切かつダイナミックに、所定の表情等を設定されるギフトを選定できる利点がある。
また、所定の条件が成立した場合に、適用される所定の表情等は、所定の表情等が適用されるアバターに係るアバターが属するタイプを用いてもよい。例えば、所定の条件は、アバターが属するタイプの複数のものの一である、前記アバターの属するタイプを用いてもよい。これは、ある情報を取得した場合、第１のアバターの種類においては所定の表情等となるが、第２のアバターの種類においては所定の表情等とならない、ものであってよい。例えば、あるタイプのアバターは、弱気の性格の設定であるとして、他の配信者との距離が第１の距離の範囲内の場合に、驚く表情が出やすくなってよい。また、あるタイプのアバターは、陽気な性格の設定であるとして、所定の表情等として、笑顔を含む表情となる条件が、他のアバターよりも、緩いよう設定されていてよい。なお、この場合、アバターについて、弱気、陽気、強気、負けず嫌い、など性格という特性を備えさせ、かかる性格という特性を用いて、所定の条件の充足が判定されてよい。なお、性格は、アバターの属するタイプに応じて設定されているものでもよいし、アバターの属するタイプとは別に個々のアバターについて設定されているものであってもよい。また、かかるアバターのタイプは、アバターの設定時に設定された性格であってもよいし、アバターが所定の条件が判定される時点で装備しているパーツや服装から判定されてもよい。
なお、所定の条件は、確率を含んでよい。すなわち、所定の条件は、疑似乱数関数等を含み、かかる関数値が所定の条件を充足すると判定した場合に、所定の表情等を生成してもよい。かかる確率を含む場合、常に、所定の表情等が生成されるわけではないため、視聴者の興味を継続的に引くことができる。また、例えば、その確率値を所定の値よりも低くする場合において、稀な表情とする場合、視聴者が貴重な表情を見ることができるという点において、視聴者の興味を引くことができる。
条件適用部は、配信者について所定の条件の充足によって特定された表情等を、かかる配信者が演じるアバターについての表情等としてよい。より具体的には、所定の条件の充足によって特定された表情等を示す情報は、特定された表情等を示すＩＤや、特定された表情等を示す表情の一又は複数のパラメータであってよく、かかる特定された表情等を、かかるアバターの表情とできるように、かかる特定された表情等を示す情報を用いて、アバターの表情等を設定してよい。かかるＩＤやパラメータの情報は、条件適用部において特定又は生成された後、かかる情報が、映像やアニメーションの生成のためにサーバや端末に送信され、所定期間、利用されてよい。ここで、条件適用部は、各所定の条件と関連付けて、特定される表情等を示す情報を記憶してよく、かかる各所定の条件が充足された場合に、対応する特定される表情等を示す情報を特定できるよう構成されてよい。なお、所定の条件の充足によって適用される所定の表情等がアバターに、所定期間、設定された後は、元のアバターの動作に戻ってよい。すなわち、アバターは、配信者によって演じられていることから、所定期間の後、アバターの表情やポーズは、配信者の表情やポーズの情報に基づくものとなってよい。ここで、配信者の表情やポーズの情報に基づくとは、配信者の表情やポーズを光学センサや慣性センサで検知された情報によってアバターの動作が規定されてよい。
条件適用部が実行される第１情報処理装置と、かかるアバターの表情等を示す情報の設定を含む処理を行う第２情報処理装置と、が同じ場合、条件適用部は、条件適用部が所定の条件の充足によって特定した表情を用いて、前記アバターの表情等を示す情報を設定するよう処理してよい。
また、条件適用部が実行される第１情報処理装置と、かかるアバターの表情等を示す情報の設定を含む処理を行う第２情報処理装置と、が異なる場合、条件適用部が所定の条件の充足によって特定した表情等を示す情報を、第１情報処理装置は、第２情報処理装置に送信し、かかる第２情報処理装置において、特定された表情等を示す情報を用いて、前記アバターの表情等の示す情報を設定するよう処理してよい。
ここで、第１情報処理装置がサーバであって、第２情報処理装置がサーバである場合は、第１情報処理装置のサーバから、第２情報処理装置のサーバに、かかる特定された表情等を示す情報が送信されてよい。また、第１情報処理装置がサーバであって、第２情報処理装置が視聴者端末である場合は、第１情報処理装置のサーバから、第２情報処理装置の視聴者端末に、かかる特定された表情等を示す情報が送信されてよい。また、第１情報処理装置がサーバであって、第２情報処理装置が配信者端末である場合は、第１情報処理装置のサーバから、第２情報処理装置の配信者端末に、かかる特定された表情等を示す情報が送信されてよい。
同様に、第１情報処理装置が視聴者端末であって、第２情報処理装置がサーバである場合は、第１情報処理装置の視聴者端末から、第２情報処理装置のサーバに、かかる特定された表情等を示す情報が送信されてよい。また、第１情報処理装置が視聴者端末であって、第２情報処理装置が視聴者端末である場合は、第１情報処理装置の視聴者端末から、第２情報処理装置の視聴者端末に、かかる特定された表情等を示す情報が送信されてよい。また、第１情報処理装置が視聴者端末であって、第２情報処理装置が配信者端末である場合は、第１情報処理装置の視聴者端末から、第２情報処理装置の配信者端末に、かかる特定された表情等を示す情報が送信されてよい。
同様に、第１情報処理装置が配信者端末であって、第２情報処理装置がサーバである場合は、第１情報処理装置の配信者端末から、第２情報処理装置のサーバに、かかる特定された表情等を示す情報が送信されてよい。また、第１情報処理装置が配信者端末であって、第２情報処理装置が配信者端末である場合は、第１情報処理装置の配信者端末から、第２情報処理装置の配信者端末に、かかる特定された表情等を示す情報が送信されてよい。また、第１情報処理装置が配信者端末であって、第２情報処理装置が視聴者端末である場合は、第１情報処理装置の配信者端末から、第２情報処理装置の視聴者端末に、かかる特定された表情等を示す情報が送信されてよい。
上記では、条件適用部が、単一の情報処理装置において実行される態様を示しているが、複数の情報処理装置において条件適用部を分散して処理してもよい。
また、条件適用部は、所定の表情等が設定されるタイミングを用いて、所定の表情等を示す情報を設定してよい。タイミングは、例えば、上述のように、一の配信者と他の配信者をアバターと、アバター又はキャラクタとの視線が合ったタイミング、アバターが物と接触したタイミング、などであってよい。この場合、かかる所定の表情等を示す情報を含む情報が、表示される情報処理装置に送信されて、表示されてよい。この場合のタイミングのずれは、通信や処理のタイムラグが含まれてよい。
他方、所定の条件が充足された上で、所定の表情等を示す情報が設定されるタイミングは、別途設定されたものが使用されてもよい。例えば、所定の条件が設定されてから、２秒後に、所定の表情等になる、というものでもよい。一例としては、アバターが驚くような状況が生じて、その２秒後という故意に遅らせたタイミングで、所定の驚きの表情を設定するものなどでもよい。
図６は、所定の条件に対する所定の表情等の関係を示した一例である。取得した情報を、所定の条件として用いることにより、対応する、所定の表情等が特定されるものとなる。
上述のように、条件適用部の機能によって、所定の条件が充足した場合に、対応する所定の表情等が実現できることとなり、仮想空間内のアバターの表情やポーズにバリエーションを持たせることができる利点がある。また、現実世界で演者に現実に起こった出来事に対応して、仮想空間内のアバターに表情等を設定できる利点がある。また、前記所定の表情又はポーズとするための情報は、前記配信者端末から前記アバターを操作する情報を取得せずに、生成してよい。この場合、演者は、現実世界の状況への対応していることでアバターの表情等の変化などの入力の負担なく、演者からの何らの情報なく、アバターの表情等が変更できる利点がある。
４．実施形態
４−１．実施形態１
実施形態１は、視聴者端末において、条件適用部が動作する例である。この場合、取得部は、視聴者端末において、動作してよい。本例について、図７を用いて説明する。なお、視聴者端末において、条件適用部が動作するため、視聴者端末に基づく情報を所定の条件として含めることにより、視聴者端末毎に、アバターの表現等を変更することも可能であってよい。
ステップ１
取得部が、所定の動作等の情報を取得する（ステップ００１）。かかる所定の動作等の情報は、配信者端末において取得されたものでもよいし、サーバにおいて取得されたものでもよく、これらが、サーバなどを介して、条件適用部が動作する視聴者端末が取得してもよい。
ステップ２
次に、条件適用部が、少なくとも所定の動作等の情報を用いて、所定の条件を判定し、所定の条件が充足すると判定した場合、充足した所定の条件に対応する表情等を特定する（ステップ００２）。このために、条件適用部は、少なくとも一部の所定の条件とかかる条件が充足した場合における所定の表情等を示す情報を有していてよい。
ステップ３
特定された表情等を、視聴者端末において、所定の条件の充足に使用されたアバターに係る表情等に設定する（ステップ００３）。視聴者は、所定の動作等に対応して、アバターの表情等が変更される反応を視聴できる利点がある。
ステップ４
各視聴者端末において、アバターの所定の表情等が所定の期間表示された後、元のかかるアバターに係る配信者の表情等に基づく表情にアバターに係る表情等は戻る（ステップ００４）。
４−２．実施形態２
実施形態２は、サーバにおいて、条件適用部が動作する例である。この場合、取得部は、サーバにおいて、動作してよい。なお、本例は、視聴者端末上において、アニメーションが生成される前提で、図８を用いて説明する。
ステップ１
取得部が、所定の動作等の情報を取得する（ステップ００１）。
ステップ２
次に、条件適用部が、少なくとも所定の動作等の情報を用いて、所定の条件を判定し、所定の条件が充足すると判定した場合、充足した所定の条件に対応する表情等を特定する（ステップ００２）。
ステップ３
サーバは、特定された表情等を示す情報を、かかるアバターの配信を視聴している、各視聴者端末に送信する（ステップ００３）。
ステップ４
各視聴者端末において、サーバから取得した表情等を示す情報を用いて、アバターの表情等を設定する（ステップ００４）。ここで、各視聴者端末において、かかる設定されたアバターの表情等を用いて、アニメーションが生成されてもよい。
ステップ５
各視聴者端末において、サーバから取得した表情等を示す情報が用いられたアバターの表情等が、所定の期間表示され、その後元のかかるアバターに係る配信者の表情等に基づく表情に設定される（ステップ００５）。なお、アニメ―エションが生成された場合は、各アニメーション内に、所定の期間、かかる生成された表情等が用いられて表示され、その後は、アバターに係る配信者の表情等に基づきトラッキングによって得られた表情等がアバターの表情等として使用されてよい。
４−３．実施形態３
実施形態３は、サーバにおいて、条件適用部が動作する例である。この場合、取得部は、サーバにおいて、動作してよい。なお、本例は、サーバが上において、アバターの表情を含む映像が生成される前提で、図９を用いて説明する。
ステップ１
取得部が、所定の動作等の情報を取得する（ステップ００１）。
ステップ２
次に、条件適用部が、少なくとも所定の動作等の情報を用いて、所定の条件を判定し、所定の条件が充足すると判定した場合、充足した所定の条件に対応する表情等を特定する（ステップ００２）。
ステップ３
サーバは、特定された表情等を示す情報等を用いて、かかるアバターの配信についての映像を生成する（ステップ００３）。ここで、アバターの配信についての映像を生成するサーバと、かかる条件適用部を実行するサーバが、同一のサーバの場合、条件適用部を実行するサーバにおいて、アバターの配信のための映像を生成してよい。他方、アバターの配信についての映像を生成するサーバと、かかる条件適用部を実行するサーバが、異なるサーバの場合、条件適用部を実行するサーバから、かかる映像を生成するサーバに、かかる特定された表情等を示す情報が送信され、かかる映像生成するサーバにおいて、かかる特定された表情等を示す情報が用いられてよい。なお、かかるサーバにおいてアニメーションを生成する場合も同様に、映像と共に又は映像に代えて、かかるアバターの配信についてのアニメーションを生成してもよく、この場合は以降映像と共に又は映像に代えてアニメーションが使用されてよい。
ステップ４
特定された表情等を示す情報に基づいて特定された表情を用いて生成されたアバターの映像が、各視聴者端末に対して送信される（ステップ００４）。
ステップ５
各視聴者端末において、サーバから取得した表情等を示す情報が用いられた映像が、所定の期間表示され、その後元のかかるアバターに係る配信者の表情等に基づく表情等に基づくアバターの映像が表示される（ステップ００５）。
４−４．様々な実施態様について
第１の態様によるコンピュータプログラムは、「一又は複数のプロセッサにより実行されることにより、配信者による所定の動作、前記配信者の表情、前記配信者の顔色、前記配信者の声、又は、前記配信者に対して生じる所定の状況、のうちの一又は複数に係る情報を検知し、前記検知した情報が所定の条件を充足するか否かを判定し、前記所定の条件を充足すると判定した場合に、前記配信者に係る表情又はポーズに基づいて生成されていた前記配信者に係るアバターの表情又はポーズを、前記所定の条件に対応する所定の表情又はポーズとするための情報を生成し、前記所定の表情又はポーズが適用された、前記アバターを表示する、ように前記一又は複数のプロセッサを機能させる」ものである。
第２の態様によるコンピュータプログラムは、上記第１の態様において「前記配信者の所定の動作は、前記配信者に五感で知覚される予め定められた動作である」ものである。
第３の態様によるコンピュータプログラムは、上記第１の態様又は上記第２の態様において「前記配信者の所定の動作は、所定の対象を見る動作を含む」ものである。
第４の態様によるコンピュータプログラムは、上記第１乃至上記第３のいずれか一の態様において「前記配信者の所定の動作は、所定の対象に接触する動作を含む」ものである。
第５の態様によるコンピュータプログラムは、上記第１乃至上記第４のいずれか一の態様において「前記配信者の所定の動作は、所定の対象の飲食動作を含む」ものである。
第６の態様によるコンピュータプログラムは、上記第１乃至上記第５のいずれか一の態様において「前記所定の対象に対応するものを、仮想空間上に演出するアイテムを生成する」ものである。
第７の態様によるコンピュータプログラムは、上記第１乃至上記第６のいずれか一の態様において「前記配信者の所定の動作は、臭う又は匂う所定のジェスチャーを含む」ものである。
第８の態様によるコンピュータプログラムは、上記第１乃至上記第７のいずれか一の態様において「前記配信者の所定の動作は、音を聞く／聴くことについての所定のジェスチャーを含む」ものである。
第９の態様によるコンピュータプログラムは、上記第１乃至上記第８のいずれか一の態様において「前記検知した情報は、第三者が入力したことに起因して検知した情報を含む」ものである。
第１０の態様によるコンピュータプログラムは、上記第１乃至上記第９のいずれか一の態様において「前記検知した情報は、前記配信者を撮像する一又は複数の撮像装置によって撮像された画像を用いた画像処理によって検知した情報を含む」ものである。
第１１の態様によるコンピュータプログラムは、上記第１乃至上記第１０のいずれか一の態様において「前記配信者に対して生じる所定の状況は、所定の音が生じることを含む」ものである。
第１２の態様によるコンピュータプログラムは、上記第１乃至上記第１１のいずれか一の態様において「前記配信者に対して生じる所定の状況は、所定の物が前記配信者に接触することを含む」ものである。
第１３の態様によるコンピュータプログラムは、上記第１乃至上記第１２のいずれか一の態様において「前記配信者の顔色は、顔色の変化を含む」ものである。
第１４の態様によるコンピュータプログラムは、上記第１乃至上記第１３のいずれか一の態様において「前記配信者の声は、前記配信者の声の音質が所定の範囲以上変化すること、又は、前記配信者の声の音量が所定の量以上変化すること、を含む」ものである。
第１５の態様によるコンピュータプログラムは、上記第１乃至上記第１４のいずれか一の態様において「所定の時間内において、第１の所定の条件が充足し、かつ、第２の所定の条件が充足した場合、前記第１の所定の条件又は前記第２の所定の条件のうち、優先度が高く設定されている所定の条件が充足した場合に対応する所定の表情又はポーズを適用する」ものである。
第１６の態様によるコンピュータプログラムは、上記第１乃至上記第１５のいずれか一の態様において「前記所定の表情又はポーズとするための情報は、前記配信者端末から前記アバターを操作する情報を取得せずに、生成する」ものである。
第１７の態様によるコンピュータプログラムは、「コンピュータプログラムであって、一又は複数のプロセッサにより実行されることにより、配信者による所定の動作、前記配信者の表情、前記配信者の顔色、前記配信者の声、又は、前記配信者に対して生じる所定の状況、のうちの一又は複数に係る情報を検知し、前記検知した情報が所定の条件を充足するか否かを判定し、前記所定の条件を充足すると判定した場合に、前記配信者に係る表情又はポーズに基づいて生成されていた前記配信者に係るアバターの表情又はポーズを、前記所定の条件に対応する所定の表情又はポーズとするための情報を生成し、前記所定の表情又はポーズとするための情報を、送信する、ように前記一又は複数のプロセッサを機能させる」ものである。
第１８の態様によるコンピュータプログラムは、上記第１７の態様において「前記配信者の所定の動作は、前記配信者に五感で知覚される予め定められた動作である」ものである。
第１９の態様によるサーバ装置は、「一又は複数のプロセッサを具備し、前記プロセッサが、コンピュータにより読み取り可能な命令を実行することにより、配信者による所定の動作、前記配信者の表情、前記配信者の顔色、前記配信者の声、又は、前記配信者に対して生じる所定の状況、のうちの一又は複数に係る情報を検知し、前記検知した情報が所定の条件を充足するか否かを判定し、前記所定の条件を充足すると判定した場合に、前記配信者に係る表情又はポーズに基づいて生成されていた前記配信者に係るアバターの表情又はポーズを、前記所定の条件に対応する所定の表情又はポーズとするための情報を生成し、前記所定の表情又はポーズとするための情報を、送信する」ものである。
第２０の態様によるサーバ装置は、上記第１９の態様において「前記配信者の所定の動作は、前記配信者に五感で知覚される予め定められた動作である」ものである。
第２１の態様による方法は、「コンピュータにより読み取り可能な命令を実行する一又は複数のプロセッサにより実行される方法であって、配信者による所定の動作、前記配信者の表情、前記配信者の顔色、前記配信者の声、又は、前記配信者に対して生じる所定の状況、のうちの一又は複数に係る情報を検知し、前記検知した情報が所定の条件を充足するか否かを判定し、前記所定の条件を充足すると判定した場合に、前記配信者に係る表情又はポーズに基づいて生成されていた前記配信者に係るアバターの表情又はポーズを、前記所定の条件に対応する所定の表情又はポーズとするための情報を生成し、前記所定の表情又はポーズが適用された、前記アバターを表示する、」ものである。
第２２の態様による方法は、上記第２１の態様において「前記配信者の所定の動作は、前記配信者に五感で知覚される予め定められた動作である」ものである。
第２３の態様による方法は、「コンピュータにより読み取り可能な命令を実行する一又は複数のプロセッサにより実行される方法であって、配信者による所定の動作、前記配信者の表情、前記配信者の顔色、前記配信者の声、又は、前記配信者に対して生じる所定の状況、のうちの一又は複数に係る情報を検知し、前記検知した情報が所定の条件を充足するか否かを判定し、前記所定の条件を充足すると判定した場合に、前記配信者に係る表情又はポーズに基づいて生成されていた前記配信者に係るアバターの表情又はポーズを、前記所定の条件に対応する所定の表情又はポーズとするための情報を生成し、前記所定の表情又はポーズとするための情報を、送信する、」ものである。
第２４の態様による方法は、上記第２３の態様において「前記配信者の所定の動作は、前記配信者に五感で知覚される予め定められた動作である」ものである。
第２５の態様による視聴者端末装置は、「一又は複数のプロセッサを具備し、前記プロセッサが、コンピュータにより読み取り可能な命令を実行することにより、配信者による所定の動作、前記配信者の表情、前記配信者の顔色、前記配信者の声、又は、前記配信者に対して生じる所定の状況、のうちの一又は複数に係る情報を検知し、前記検知した情報が所定の条件を充足するか否かを判定し、前記所定の条件を充足すると判定した場合に、前記配信者に係る表情又はポーズに基づいて生成されていた前記配信者に係るアバターの表情又はポーズを、前記所定の条件に対応する所定の表情又はポーズとするための情報を生成し、前記所定の表情又はポーズが適用された、前記アバターを表示する」ものである。
第２６の態様による配信者端末装置は、「一又は複数のプロセッサを具備し、前記プロセッサが、コンピュータにより読み取り可能な命令を実行することにより、配信者による所定の動作、前記配信者の表情、前記配信者の顔色、前記配信者の声、又は、前記配信者に対して生じる所定の状況、のうちの一又は複数に係る情報を検知し、前記検知した情報が所定の条件を充足するか否かを判定し、前記所定の条件を充足すると判定した場合に、前記配信者に係る表情又はポーズに基づいて生成されていた前記配信者に係るアバターの表情又はポーズを、前記所定の条件に対応する所定の表情又はポーズとするための情報を生成し、前記所定の表情又はポーズとするための情報を、送信する、」ものである。
また、本願書類で説明されたシステム及び情報処理は、ソフトウェア、ハードウェア又はこれらの組み合わせによっても実施されてよく、またかかるシステム及び情報処理の一部又は全部は、処理・手順をコンピュータプログラムとして実装し、各種のコンピュータに実行させられてよく、またこれらのコンピュータプログラムは、記憶媒体に記憶されてよい。また、これらのプログラムは、非一過性又は一時的な記憶媒体に記憶されてよい。
本願書類で説明したものは、本願書類で説明されたものに限られず、本願書類で説明された種々の技術上の利点や構成を有する種々の技術的思想の範囲内で、種々の例に適用できることはいうまでもない。
１ システム
１０ 通信網
２０（２０Ａ〜２０Ｃ） サーバ装置
３０（３０Ａ〜３０Ｃ） 端末装置
２１（３１） 演算装置
２２（３２） 主記憶装置
２３（３３） 入出力インタフェイス
２４（３４） 入力装置
２５（３５） 補助記憶装置
２６（３６） 出力装置
４１ 取得部
４２ 条件適用部

Claims (24)

  1. コンピュータプログラムであって、
    一又は複数のプロセッサにより実行されることにより、
    配信者による所定の動作、前記配信者の表情、前記配信者の顔色、前記配信者の声、又は、前記配信者に対して生じる所定の状況、のうちの一又は複数に係る情報を検知し、
    前記検知した情報が所定の条件を充足するか否かを判定し、
    前記所定の条件を充足すると判定した場合に、前記配信者に係る表情又はポーズに基づいて生成されていた前記配信者に係るアバターの表情又はポーズを、前記所定の条件に対応する所定の表情又はポーズとするための情報を生成し、
    前記所定の表情又はポーズが適用された、前記アバターを表示する、
    ように前記一又は複数のプロセッサを機能させるコンピュータプログラム。
  2. 前記配信者の所定の動作は、前記配信者に五感で知覚される予め定められた動作である、
    請求項１に記載のコンピュータプログラム。
  3. 前記配信者の所定の動作は、所定の対象を見る動作を含む、
    請求項１に記載のコンピュータプログラム。
  4. 前記配信者の所定の動作は、所定の対象に接触する動作を含む、
    請求項１に記載のコンピュータプログラム。
  5. 前記配信者の所定の動作は、所定の対象の飲食動作を含む、
    請求項１に記載のコンピュータプログラム。
  6. 前記所定の対象に対応するものを、仮想空間上に演出するアイテムを生成する、
    請求項３乃至５のいずれか１項に記載のコンピュータプログラム。
  7. 前記配信者の所定の動作は、臭う又は匂う所定のジェスチャーを含む、
    請求項１に記載のコンピュータプログラム。
  8. 前記配信者の所定の動作は、音を聞く／聴くことについての所定のジェスチャーを含む、
    請求項１に記載のコンピュータプログラム。
  9. 前記検知した情報は、第三者が入力したことに起因して検知した情報を含む、
    請求項１乃至８のいずれか１項に記載のコンピュータプログラム。
  10. 前記検知した情報は、前記配信者を撮像する一又は複数の撮像装置によって撮像された画像を用いた画像処理によって検知した情報を含む、
    請求項１乃至８のいずれか１項に記載のコンピュータプログラム。
  11. 前記配信者に対して生じる所定の状況は、所定の音が生じることを含む、
    請求項１に記載のコンピュータプログラム。
  12. 前記配信者に対して生じる所定の状況は、所定の物が前記配信者に接触することを含む、
    請求項１に記載のコンピュータプログラム。
  13. 前記配信者の顔色は、顔色の変化を含む、
    請求項１に記載のコンピュータプログラム。
  14. 前記配信者の声は、前記配信者の声の音質が所定の範囲以上変化すること、又は、前記配信者の声の音量が所定の量以上変化すること、を含む、
    請求項１に記載のコンピュータプログラム。
  15. 所定の時間内において、第１の所定の条件が充足し、かつ、第２の所定の条件が充足した場合、前記第１の所定の条件又は前記第２の所定の条件のうち、優先度が高く設定されている所定の条件が充足した場合に対応する所定の表情又はポーズを適用する、
    請求項１乃至１４のいずれか１項に記載のコンピュータプログラム。
  16. 前記所定の表情又はポーズとするための情報は、前記配信者端末から前記アバターを操作する情報を取得せずに、生成する、
    請求項１乃至１５のいずれか１項に記載のコンピュータプログラム。
  17. コンピュータプログラムであって、
    一又は複数のプロセッサにより実行されることにより、
    配信者による所定の動作、前記配信者の表情、前記配信者の顔色、前記配信者の声、又は、前記配信者に対して生じる所定の状況、のうちの一又は複数に係る情報を検知し、
    前記検知した情報が所定の条件を充足するか否かを判定し、
    前記所定の条件を充足すると判定した場合に、前記配信者に係る表情又はポーズに基づいて生成されていた前記配信者に係るアバターの表情又はポーズを、前記所定の条件に対応する所定の表情又はポーズとするための情報を生成し、
    前記所定の表情又はポーズとするための情報を、送信する、
    ように前記一又は複数のプロセッサを機能させるコンピュータプログラム。
  18. 前記配信者の所定の動作は、前記配信者に五感で知覚される予め定められた動作である、請求項１７に記載のコンピュータプログラム。
  19. 一又は複数のプロセッサを具備し、
    前記プロセッサが、コンピュータにより読み取り可能な命令を実行することにより、
    配信者による所定の動作、前記配信者の表情、前記配信者の顔色、前記配信者の声、又は、前記配信者に対して生じる所定の状況、のうちの一又は複数に係る情報を検知し、
    前記検知した情報が所定の条件を充足するか否かを判定し、
    前記所定の条件を充足すると判定した場合に、前記配信者に係る表情又はポーズに基づいて生成されていた前記配信者に係るアバターの表情又はポーズを、前記所定の条件に対応する所定の表情又はポーズとするための情報を生成し、
    前記所定の表情又はポーズとするための情報を、送信する、
    ことを特徴とするサーバ装置。
  20. 前記配信者の所定の動作は、前記配信者に五感で知覚される予め定められた動作である、請求項１９に記載のサーバ装置。
  21. コンピュータにより読み取り可能な命令を実行する一又は複数のプロセッサにより実行される方法であって、
    配信者による所定の動作、前記配信者の表情、前記配信者の顔色、前記配信者の声、又は、前記配信者に対して生じる所定の状況、のうちの一又は複数に係る情報を検知し、
    前記検知した情報が所定の条件を充足するか否かを判定し、
    前記所定の条件を充足すると判定した場合に、前記配信者に係る表情又はポーズに基づいて生成されていた前記配信者に係るアバターの表情又はポーズを、前記所定の条件に対応する所定の表情又はポーズとするための情報を生成し、
    前記所定の表情又はポーズが適用された、前記アバターを表示する、
    ことを特徴とする方法。
  22. 前記配信者の所定の動作は、前記配信者に五感で知覚される予め定められた動作である、請求項２１に記載の方法。
  23. コンピュータにより読み取り可能な命令を実行する一又は複数のプロセッサにより実行される方法であって、
    配信者による所定の動作、前記配信者の表情、前記配信者の顔色、前記配信者の声、又は、前記配信者に対して生じる所定の状況、のうちの一又は複数に係る情報を検知し、
    前記検知した情報が所定の条件を充足するか否かを判定し、
    前記所定の条件を充足すると判定した場合に、前記配信者に係る表情又はポーズに基づいて生成されていた前記配信者に係るアバターの表情又はポーズを、前記所定の条件に対応する所定の表情又はポーズとするための情報を生成し、
    前記所定の表情又はポーズとするための情報を、送信する、
    ことを特徴とする方法。
  24. 前記配信者の所定の動作は、前記配信者に五感で知覚される予め定められた動作である、請求項２３に記載の方法。
JP2020093438A 2020-04-14 2020-05-28 コンピュータプログラム、サーバ装置、端末装置、及び方法 Pending JP2021189674A (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2020093438A JP2021189674A (ja) 2020-05-28 2020-05-28 コンピュータプログラム、サーバ装置、端末装置、及び方法
PCT/JP2021/015347 WO2021210585A1 (ja) 2020-04-14 2021-04-13 コンピュータプログラム、サーバ装置、端末装置、及び方法
US17/956,873 US20230023653A1 (en) 2020-04-14 2022-09-30 Computer program, server, terminal, and method
JP2024029409A JP2024063117A (ja) 2020-05-28 2024-02-29 コンピュータプログラム、サーバ装置、端末装置、及び方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2020093438A JP2021189674A (ja) 2020-05-28 2020-05-28 コンピュータプログラム、サーバ装置、端末装置、及び方法

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2024029409A Division JP2024063117A (ja) 2020-05-28 2024-02-29 コンピュータプログラム、サーバ装置、端末装置、及び方法

Publications (1)

Publication Number Publication Date
JP2021189674A true JP2021189674A (ja) 2021-12-13

Family

ID=78849585

Family Applications (2)

Application Number Title Priority Date Filing Date
JP2020093438A Pending JP2021189674A (ja) 2020-04-14 2020-05-28 コンピュータプログラム、サーバ装置、端末装置、及び方法
JP2024029409A Pending JP2024063117A (ja) 2020-05-28 2024-02-29 コンピュータプログラム、サーバ装置、端末装置、及び方法

Family Applications After (1)

Application Number Title Priority Date Filing Date
JP2024029409A Pending JP2024063117A (ja) 2020-05-28 2024-02-29 コンピュータプログラム、サーバ装置、端末装置、及び方法

Country Status (1)

Country Link
JP (2) JP2021189674A (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2023004589A (ja) * 2021-06-28 2023-01-17 グリー株式会社 情報処理システム、情報処理方法、情報処理プログラム
US20230127495A1 (en) * 2021-10-22 2023-04-27 Lemon Inc. System and method for animated emoji recording and playback

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20040014123A (ko) * 2002-08-06 2004-02-14 윤재민 가상인격체의 감정표현과 동작구현 시스템 및 그 방법
JP2009536406A (ja) * 2006-05-07 2009-10-08 株式会社ソニー・コンピュータエンタテインメント ゲームプレイ中にコンピュータ生成アバターに感情的特徴を与える方法
JP2013533537A (ja) * 2010-06-02 2013-08-22 マイクロソフト コーポレーション アバター・ジェスチャーの表示制限
US20150325029A1 (en) * 2013-11-14 2015-11-12 Intel Corporation Mechanism for facilitaing dynamic simulation of avatars corresponding to changing user performances as detected at computing devices
CN108986192A (zh) * 2018-07-26 2018-12-11 北京运多多网络科技有限公司 用于直播的数据处理方法及装置
JP6559871B1 (ja) * 2018-11-30 2019-08-14 株式会社ドワンゴ 動画合成装置、動画合成方法及び動画合成プログラム
JP2020017244A (ja) * 2018-07-25 2020-01-30 株式会社バーチャルキャスト サーバ、方法、プログラム、動画像放送システム
JP2020038601A (ja) * 2019-01-24 2020-03-12 株式会社バーチャルキャスト コンテンツ配信サーバ、コンテンツ配信システム、コンテンツ配信方法及びプログラム

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20040014123A (ko) * 2002-08-06 2004-02-14 윤재민 가상인격체의 감정표현과 동작구현 시스템 및 그 방법
JP2009536406A (ja) * 2006-05-07 2009-10-08 株式会社ソニー・コンピュータエンタテインメント ゲームプレイ中にコンピュータ生成アバターに感情的特徴を与える方法
JP2013533537A (ja) * 2010-06-02 2013-08-22 マイクロソフト コーポレーション アバター・ジェスチャーの表示制限
US20150325029A1 (en) * 2013-11-14 2015-11-12 Intel Corporation Mechanism for facilitaing dynamic simulation of avatars corresponding to changing user performances as detected at computing devices
JP2020017244A (ja) * 2018-07-25 2020-01-30 株式会社バーチャルキャスト サーバ、方法、プログラム、動画像放送システム
CN108986192A (zh) * 2018-07-26 2018-12-11 北京运多多网络科技有限公司 用于直播的数据处理方法及装置
JP6559871B1 (ja) * 2018-11-30 2019-08-14 株式会社ドワンゴ 動画合成装置、動画合成方法及び動画合成プログラム
JP2020038601A (ja) * 2019-01-24 2020-03-12 株式会社バーチャルキャスト コンテンツ配信サーバ、コンテンツ配信システム、コンテンツ配信方法及びプログラム

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2023004589A (ja) * 2021-06-28 2023-01-17 グリー株式会社 情報処理システム、情報処理方法、情報処理プログラム
JP7461654B2 (ja) 2021-06-28 2024-04-04 グリー株式会社 情報処理システム、情報処理方法、情報処理プログラム
US20230127495A1 (en) * 2021-10-22 2023-04-27 Lemon Inc. System and method for animated emoji recording and playback

Also Published As

Publication number Publication date
JP2024063117A (ja) 2024-05-10

Similar Documents

Publication Publication Date Title
JP7109408B2 (ja) 広範囲同時遠隔ディジタル提示世界
EP3381175B1 (en) Apparatus and method for operating personal agent
US11178456B2 (en) Video distribution system, video distribution method, and storage medium storing video distribution program
JP2024063117A (ja) コンピュータプログラム、サーバ装置、端末装置、及び方法
WO2019040524A1 (en) METHOD AND SYSTEM FOR MUSIC COMMUNICATION
US20230023653A1 (en) Computer program, server, terminal, and method
CN105955490A (zh) 一种基于增强现实的信息处理方法、装置和移动终端
US10877555B2 (en) Information processing device and information processing method for controlling user immersion degree in a virtual reality environment
US20210312167A1 (en) Server device, terminal device, and display method for controlling facial expressions of a virtual character
JP7479618B2 (ja) 情報処理プログラム、情報処理方法、情報処理装置
JP2024513001A (ja) 顔の表情を取り込んでメッシュデータを生成するための人工知能
JP7329217B2 (ja) コンピュータプログラム、サーバ装置、端末装置、及び方法
JP7509436B2 (ja) コンピュータプログラム、サーバ装置、端末装置、及び方法
Gilroy et al. An affective model of user experience for interactive art
JP7204984B1 (ja) プログラム、方法、情報処理装置
JP7339420B1 (ja) プログラム、方法、情報処理装置
JP7356662B2 (ja) コンピュータプログラム、及び方法
CN109145010A (zh) 信息查询方法、装置、存储介质及穿戴式设备
JP7194371B1 (ja) プログラム、方法、情報処理装置
US11430170B1 (en) Controlling joints using learned torques
Zheleva et al. An Extensive Integrative Literature Review of Quality of Experience in Virtual Reality
TWI814318B (zh) 用於使用模擬角色訓練模型以用於將遊戲角色之臉部表情製成動畫之方法以及用於使用三維（３ｄ）影像擷取來產生遊戲角色之臉部表情之標籤值之方法
WO2022007942A1 (zh) 一种性需求互动平台***
US20230063681A1 (en) Dynamic augmentation of stimuli based on profile of user
Kapralos et al. Serious games: Customizing the audio-visual interface

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20211214

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230117

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230307

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230711

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230821

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20231205