JP2021092883A - Information processing device, information processing method, and program - Google Patents
Information processing device, information processing method, and program Download PDFInfo
- Publication number
- JP2021092883A JP2021092883A JP2019221951A JP2019221951A JP2021092883A JP 2021092883 A JP2021092883 A JP 2021092883A JP 2019221951 A JP2019221951 A JP 2019221951A JP 2019221951 A JP2019221951 A JP 2019221951A JP 2021092883 A JP2021092883 A JP 2021092883A
- Authority
- JP
- Japan
- Prior art keywords
- index
- experiencer
- display
- information processing
- sickness
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 230000010365 information processing Effects 0.000 title claims abstract description 79
- 238000003672 processing method Methods 0.000 title claims 3
- 208000024891 symptom Diseases 0.000 claims abstract description 17
- 238000000034 method Methods 0.000 claims description 38
- 230000008859 change Effects 0.000 claims description 31
- 230000033001 locomotion Effects 0.000 claims description 20
- 230000008569 process Effects 0.000 claims description 18
- 230000009467 reduction Effects 0.000 claims description 4
- 230000035900 sweating Effects 0.000 claims description 3
- 210000005252 bulbus oculi Anatomy 0.000 claims description 2
- 230000004434 saccadic eye movement Effects 0.000 claims description 2
- 238000003780 insertion Methods 0.000 claims 2
- 230000037431 insertion Effects 0.000 claims 2
- 206010025482 malaise Diseases 0.000 abstract description 177
- 230000004048 modification Effects 0.000 description 58
- 238000012986 modification Methods 0.000 description 58
- 238000012545 processing Methods 0.000 description 22
- 238000010586 diagram Methods 0.000 description 7
- 238000005516 engineering process Methods 0.000 description 7
- 230000006870 function Effects 0.000 description 6
- 230000000694 effects Effects 0.000 description 5
- 201000003152 motion sickness Diseases 0.000 description 5
- 238000004458 analytical method Methods 0.000 description 4
- 230000002093 peripheral effect Effects 0.000 description 4
- KNMAVSAGTYIFJF-UHFFFAOYSA-N 1-[2-[(2-hydroxy-3-phenoxypropyl)amino]ethylamino]-3-phenoxypropan-2-ol;dihydrochloride Chemical compound Cl.Cl.C=1C=CC=CC=1OCC(O)CNCCNCC(O)COC1=CC=CC=C1 KNMAVSAGTYIFJF-UHFFFAOYSA-N 0.000 description 3
- 238000004422 calculation algorithm Methods 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 3
- 210000003128 head Anatomy 0.000 description 3
- 238000009877 rendering Methods 0.000 description 3
- 125000002066 L-histidyl group Chemical group [H]N1C([H])=NC(C([H])([H])[C@](C(=O)[*])([H])N([H])[H])=C1[H] 0.000 description 2
- 230000001133 acceleration Effects 0.000 description 2
- 238000013528 artificial neural network Methods 0.000 description 2
- 230000003190 augmentative effect Effects 0.000 description 2
- 238000010219 correlation analysis Methods 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 230000005484 gravity Effects 0.000 description 2
- 238000010801 machine learning Methods 0.000 description 2
- 238000000611 regression analysis Methods 0.000 description 2
- 230000000717 retained effect Effects 0.000 description 2
- 230000036760 body temperature Effects 0.000 description 1
- 230000001364 causal effect Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 239000002131 composite material Substances 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 201000010099 disease Diseases 0.000 description 1
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 1
- 210000001508 eye Anatomy 0.000 description 1
- 208000013057 hereditary mucoepithelial dysplasia Diseases 0.000 description 1
- 230000035790 physiological processes and functions Effects 0.000 description 1
- 238000004088 simulation Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Landscapes
- User Interface Of Digital Computer (AREA)
- Processing Or Creating Images (AREA)
- Controls And Circuits For Display Device (AREA)
Abstract
Description
本発明は、仮想空間の表示設定を行う際の情報処理技術に関する。 The present invention relates to an information processing technique for setting a display in a virtual space.
仮想空間を体験する技術として人工現実感（VR：Virtual Reality）技術が知られている。また、現実空間と仮想空間とをリアルタイムに融合させる技術として、複合現実感（MR：Mixed Reality）技術や拡張現実感（AR：Augmented Reality）技術が知られている。これらの技術は、コンピュータによって作られる仮想空間をあたかも現実空間に存在するかのように表示する技術である。 Artificial reality (VR) technology is known as a technology for experiencing virtual space. In addition, mixed reality (MR) technology and augmented reality (AR) technology are known as technologies for fusing real space and virtual space in real time. These technologies are technologies that display the virtual space created by a computer as if it exists in the real space.
体験者が、仮想物体を現実空間に実在するように感じるための装置の一つとして、ビデオシースルー型の情報処理装置がある。ビデオシースルー型の情報処理装置は、ビデオカメラで現実世界を撮影し、その画像に仮想物体を重畳した合成画像を、リアルタイムにディスプレイ等に表示させて体験者に提示する装置である。一般にこのような情報処理装置としては、背面にビデオカメラを有するタブレット端末と呼ばれる携帯型情報端末や、頭部装着型のビデオシースルー型ＨＭＤ（Head Mounted Display）などが用いられる。体験者は、これら携帯型情報端末やＨＭＤを通して仮想物体などを観察する。以下では、仮想空間上に表示される３次元情報を持った仮想物体を３ＤＣＧと呼ぶ。 There is a video see-through type information processing device as one of the devices for the experiencer to feel that the virtual object actually exists in the real space. The video see-through type information processing device is a device that captures the real world with a video camera, displays a composite image in which a virtual object is superimposed on the image on a display or the like in real time, and presents it to the experiencer. Generally, as such an information processing device, a portable information terminal called a tablet terminal having a video camera on the back, a head-mounted video see-through type HMD (Head Mounted Display), or the like is used. The experiencer observes virtual objects and the like through these portable information terminals and HMDs. Hereinafter, a virtual object having three-dimensional information displayed in the virtual space is referred to as 3DCG.
しかし、３ＤＣＧを観察する場合、現実物を観察する場合との目の輻輳の違いや、画像表示が実時間に対して遅れて表示される現象（表示レイテンシ）などにより、体験者によっては疲労や動揺病に似た症状（以下、３Ｄ酔いと呼ぶ）が生ずる場合がある。このような問題を緩和するために、時間経過とともに色温度を調整する手法（特許文献１）や、体験者の生理状態に基づいて表示する物体の奥行を調整する手法（特許文献２）などが提案されている。また、３ＤＣＧの観察に伴う３Ｄ酔いや疲労の軽減のために色温度（特許文献１）、動画像の動き（特許文献３）、３Ｄ物体の出現頻度（特許文献４）などを調整する手法が提案されている。 However, when observing 3DCG, depending on the experiencer, fatigue may occur due to the difference in eye congestion from when observing a real object, and the phenomenon that the image display is displayed later than the real time (display latency). Symptoms similar to upset disease (hereinafter referred to as 3D motion sickness) may occur. In order to alleviate such problems, there are a method of adjusting the color temperature with the passage of time (Patent Document 1) and a method of adjusting the depth of the object to be displayed based on the physiological state of the experiencer (Patent Document 2). Proposed. Further, in order to reduce 3D sickness and fatigue associated with 3DCG observation, there is a method of adjusting color temperature (Patent Document 1), motion of moving images (Patent Document 3), appearance frequency of 3D objects (Patent Document 4), and the like. Proposed.
しかし、特許文献１〜４に開示されているような表示設定を変更する手法を用いることによる３Ｄ酔いや疲労の軽減効果は、体験者によってまちまちである。このため、各体験者のそれぞれにとって効果のある表示設定を探す必要がある。さらに、どの表示設定がどの程度３Ｄ酔いや疲労を軽減するかを調べるには、複数の表示設定に対して実際に３ＤＣＧを観察して効果を確かめる必要がある。しかしながら、このような体験者にとって効果のある表示設定を探すことは、非常に手間がかかり容易ではない。
However, the effect of reducing 3D sickness and fatigue by using the method of changing the display setting as disclosed in
そこで、本発明は、体験者に生ずる可能性がある３Ｄ酔いや疲労などの症状を軽減できる効果的な表示設定を容易に実現できるようにすることを目的とする。 Therefore, an object of the present invention is to make it possible to easily realize an effective display setting that can reduce symptoms such as 3D sickness and fatigue that may occur in the experiencer.
本発明の情報処理装置は、仮想空間を体験する体験者に生ずる可能性がある症状を表す指標を取得する指標取得手段と、体験者が見る画像の表示設定を取得する表示設定取得手段と、前記取得された指標と前記表示設定とを、前記体験者に通知する通知手段と、を有することを特徴とする。 The information processing device of the present invention includes an index acquisition means for acquiring an index indicating a symptom that may occur in an experiencer who experiences a virtual space, a display setting acquisition means for acquiring a display setting for an image viewed by the experiencer, and the like. It is characterized by having a notification means for notifying the experienced person of the acquired index and the display setting.
本発明によれば、各体験者に生ずる可能性がある３Ｄ酔いや疲労などの症状を軽減できる効果的な表示を容易に実現することができる。 According to the present invention, it is possible to easily realize an effective display capable of reducing symptoms such as 3D sickness and fatigue that may occur in each experiencer.
以下、添付の図面を参照して、本発明に係る実施形態について詳細に説明する。なお、以下の実施形態において示す構成は一例に過ぎず、本発明は図示された構成に限定されるものではない。
＜第一の実施形態＞
本実施形態では、人工現実感（VR：Virtual Reality）、特に複合現実感（MR：Mixed Reality）や拡張現実感（AR：Augmented Reality）を、体験者に対して提供するシステムを例に挙げる。なお、ＭＲやＡＲは、組み立て作業時に作業手順や配線の様子を重畳表示する組み立て支援、患者の体表面に体内の様子を重畳表示する手術支援等、様々な分野への応用が期待されている。
Hereinafter, embodiments according to the present invention will be described in detail with reference to the accompanying drawings. The configuration shown in the following embodiments is only an example, and the present invention is not limited to the illustrated configuration.
<First Embodiment>
In this embodiment, an example is a system that provides an artificial reality (VR), particularly a mixed reality (MR) and an augmented reality (AR) to the experiencer. MR and AR are expected to be applied to various fields such as assembly support that superimposes the work procedure and wiring state during assembly work, and surgical support that superimposes the state of the body on the patient's body surface. ..
本実施形態では、体験者が頭部装着型のビデオシースルー型ＨＭＤを装着し、仮想空間に表示される３次元情報を持った仮想物体（３ＤＣＧ）を、当該ＨＭＤの表示パネルに表示させて、体験者にＭＲやＡＲを提供する例を挙げる。本実施形態の情報処理装置は、仮想空間の体験者に生ずる可能性がある症状を表す指標を取得する指標取得機能と、体験者がＨＭＤの表示パネル上で見る画像の表示設定を取得する表示設定取得機能とを有する。そして、本実施形態の情報処理装置は、それら取得された指標と表示設定とを、体験者に通知する通知機能と、記録する記録機能とを有している。詳細は後述するが、本実施形態の情報処理装置は、ＨＭＤを装着して３ＤＣＧを観察する体験者の位置及び姿勢を基に、体験者に生ずる疲労や動揺病に似た症状（３Ｄ酔い）の程度を示す指標（酔い・疲労指標とする）を算出する。そして本実施形態の情報処理装置は、その酔い・疲労指標とその時のＨＭＤにおける表示設定とを、体験者へ通知し、さらに記録する。すなわち本実施形態では、ＨＭＤの表示パネルに表示される画像の例えば表示画角の違いが、体験者の酔い・疲労にどの程度影響を及ぼすかを、体験者への通知、記録等することでフィードバックする。ＨＭＤの表示パネルに表示される画像の表示画角の違いとは、ＨＭＤの種類による差やＨＭＤに表示する画像の設定による差を挙げることができる。なお、ＨＭＤについては既知であるためその図示や構成等の説明は省略する。 In the present embodiment, the experiencer wears a head-mounted video see-through type HMD, and a virtual object (3DCG) having three-dimensional information displayed in the virtual space is displayed on the display panel of the HMD. Here is an example of providing MR and AR to the experiencer. The information processing device of the present embodiment has an index acquisition function for acquiring an index indicating a symptom that may occur to the experiencer in the virtual space, and a display for acquiring the display setting of the image that the experiencer sees on the display panel of the HMD. It has a setting acquisition function. The information processing device of the present embodiment has a notification function for notifying the experiencer of the acquired indexes and display settings, and a recording function for recording the acquired indexes and display settings. Although the details will be described later, the information processing apparatus of the present embodiment has symptoms similar to fatigue and motion sickness (3D sickness) that occur in the experiencer based on the position and posture of the experiencer who wears the HMD and observes 3DCG. Calculate an index (referred to as a motion sickness / fatigue index) that indicates the degree of. Then, the information processing device of the present embodiment notifies the experiencer of the sickness / fatigue index and the display setting in the HMD at that time, and further records the index. That is, in the present embodiment, for example, by notifying and recording to the experiencer how much the difference in the display angle of view of the image displayed on the display panel of the HMD affects the sickness / fatigue of the experiencer. give feedback. The difference in the display angle of view of the image displayed on the display panel of the HMD includes the difference depending on the type of HMD and the difference depending on the setting of the image to be displayed on the HMD. Since the HMD is known, the description of its illustration and configuration will be omitted.
図１は、本実施形態に係る情報処理装置１００を含むシステムの構成例を示すブロック図である。
図１に示すように、本実施形態に係るシステムは、情報処理装置１００、位置姿勢出力部１１０、指標出力部１５０、表示部１２０、記録部１３０、及び画角設定部１４０を有して構成されている。また情報処理装置１００は、指標取得部１０１、表示設定取得部１０２、及び通知部１０３を有して構成されている。なお情報処理装置１００は、例えば、位置姿勢出力部１１０と指標出力部１５０と画角設定部１４０の一つ以上を含んでいてもよい。
FIG. 1 is a block diagram showing a configuration example of a system including the
As shown in FIG. 1, the system according to the present embodiment includes an
位置姿勢出力部１１０は、ＨＭＤに搭載されている加速度センサ、角速度センサ等からの検出データを基に、当該ＨＭＤを装着している体験者の頭部位置と頭部の向き及び動きを含む姿勢とを算出等して取得する。以下、体験者の頭部の位置と姿勢を合わせて位置姿勢と表記する。なお、体験者の位置姿勢等の算出手法等は既知であるためその説明は省略する。そして、位置姿勢出力部１１０は、体験者の位置姿勢の情報を指標出力部１５０に出力する。
指標出力部１５０は、位置姿勢出力部１１０から出力された位置姿勢の情報を、情報処理装置１００の指標取得部１０１に出力する。
The position /
The
情報処理装置１００の指標取得部１０１は、指標出力部１５０から送出されてきた位置姿勢の情報を取得する。そして、指標取得部１０１は、位置姿勢の情報を基に、ＨＭＤを装着して３ＤＣＧを観察する体験者に生ずる可能性がある疲労や動揺病に似た症状（３Ｄ酔い）を表す指標（以下、酔い・疲労指標と呼ぶ）を算出等して取得する。酔い・疲労指標の詳細は後述する。指標取得部１０１にて取得された酔い・疲労指標の情報は、通知部１０３に送られる。
The
画角設定部１４０は、ＨＭＤに搭載されている表示パネル上に表示される画像の表示画角を、表示設定を表す情報として、情報処理装置１００の表示設定取得部１０２に出力する。
The angle of
情報処理装置１００の表示設定取得部１０２は、画角設定部１４０から表示画角を表す表示設定の情報を取得する。そして、表示設定取得部１０２は、その取得した表示設定の情報を、通知部１０３に出力する。
The display
通知部１０３は、指標取得部１０１から酔い・疲労指標の情報を取得し、また、表示設定取得部１０２から表示設定の情報を取得する。そして、通知部１０３は、その取得した酔い・疲労指標と表示設定の情報を、表示部１２０及び記録部１３０に出力する。
The
表示部１２０は、ＨＭＤの表示パネルに、通知部１０３から送られてきた酔い・疲労指標及び表示設定を表示する。なお、酔い・疲労指標と表示設定の表示は、それら酔い・疲労指標と表示設定の内容を表すテキストや記号、アイコン、画像など、体験者がそれら酔い・疲労指標と表示設定の内容を認識できる情報として表示される。
記録部１３０は、通知部１０３から送られてきた酔い・疲労指標及び表示設定の情報を、ハードディスクやメモリカードなどの記憶媒体に記録する。
The
The
図２は、本実施形態の情報処理装置１００のハードウェア構成例を示した図である。
図２において、ＣＰＵ２０１は、バス２１０を介して接続されている各デバイスを統括的に制御する。ＣＰＵ２０１は、読み出し専用メモリであるＲＯＭ２０３に記憶された処理ステップやプログラムを読み出して実行する。ＲＯＭ２０３には、オペレーティングシステム（ＯＳ）をはじめ、本実施形態に係る各処理プログラム、デバイスドライバ等が記憶されており、それらは、ランダムアクセスメモリであるＲＡＭ２０２に一時記憶され、ＣＰＵ２０１によって適宜実行される。
FIG. 2 is a diagram showing a hardware configuration example of the
In FIG. 2, the
Ｉ／Ｆ２０９は、入力Ｉ／Ｆと出力Ｉ／Ｆを含む。入力Ｉ／Ｆは、外部の装置（ＨＭＤや操作装置など）からの入力信号を、情報処理装置１００で処理可能な形式の信号として入力する。出力Ｉ／Ｆは、情報処理装置１００からの出力信号を、外部の装置（ＨＭＤとその表示パネルなど）が処理可能な形式として出力する。
The I /
キーボード２０４とマウス２０５は、本情報処理装置１００の操作者が指示等を入力するための操作デバイスである。
表示部２０６は、情報処理装置１００のディスプレイ装置に画像やテキスト、ユーザインターフェース画面等を表示する。
外部記憶装置２０７は、情報処理装置１００に接続された記憶装置である。記憶媒体ドライブ２０８は、情報処理装置１００にメモリカード等の記憶媒体が装着された際に記憶媒体を駆動するドライブ装置である。本実施形態の場合、図１の記録部１３０は、通知部１０３から送られてきた酔い・疲労指標と表示設定の情報を、外部記憶装置２０７に記憶又は記憶媒体ドライブ２０８を介して記憶媒体に記録する。
The
The
The
図１に示した情報処理装置１００の各機能部は、図２に示したハードウェア構成におけるＣＰＵ２０１が、ＲＯＭ２０３に格納されたプログラムをＲＡＭ２０２に展開し、後述する各フローチャート等に従った処理を実行することで実現することができる。また例えば、ＣＰＵ２０１を用いたソフトウェア処理の代替としてハードウェアを構成する場合には、本実施形態で説明する各機能部の処理に対応させた演算部や回路を構成すればよい。
In each functional unit of the
次に第一の実施形態に係る情報処理装置１００における処理手順について説明する。図３は、第一の実施形態の情報処理装置１００の処理手順を示すフローチャートである。
ステップＳ３００で処理が開始されると、指標取得部１０１は、ステップＳ３０１として、指標出力部１５０から、現時点から前の直近６０秒間における体験者の位置姿勢の情報を取得する。例えば、ＨＭＤに搭載されている加速度センサ、角速度センサ等の検出データを基に、指標取得部１０１は、直近６０秒間における体験者の位置姿勢の情報を例えばフレーム毎に取得する。そして、指標取得部１０１は、直近６０秒間で取得した各位置姿勢の情報から、空間上での移動距離（軌跡長）をその移動した空間の外周面積で割った単位面積当たりの軌跡長を算出し、それを酔い・疲労指標として取得する。指標取得部１０１は、酔い・疲労指標の情報を通知部１０３に出力し、その後、情報処理装置１００の処理はステップＳ３０２に移る。
Next, the processing procedure in the
When the process is started in step S300, the
なお、位置姿勢に基づく単位面積当たりの軌跡長は、下記の参考文献１に開示されている手法により算出することができる。酔い・疲労指標は、体験者における同一姿勢の連続時間、同一位置の連続時間、姿勢の変化速度、位置の変化速度など、位置姿勢に基づく体験者の状態変化を示す指標であれば、公知のいずれの指標でも良い。
The locus length per unit area based on the position and orientation can be calculated by the method disclosed in
参考文献１：大川剛、喬・柴田康成、小川哲也、宮田秀雄: 重心動揺検査―単位面積軌跡長の意義―健常者における検討、Equilibrium Res Vol. 54 Reference 1: Takeshi Okawa, Takashi Shibata, Tetsuya Ogawa, Hideo Miyata: Center of gravity sway test-Significance of unit area trajectory length-Examination in healthy subjects, Equilibrium Res Vol. 54
ステップＳ３０２に移ると、表示設定取得部１０２は、画角設定部１４０からＨＭＤの表示パネルに表示される画像の表示画角を表す表示設定の情報を取得する。表示設定取得部１０２は表示設定の情報を通知部１０３に出力し、その後、情報処理装置１００の処理はステップＳ３０３に移る。
Moving to step S302, the display setting
ステップＳ３０３に移ると、通知部１０３は、ステップＳ３０３で取得された酔い・疲労指標の情報と、ステップＳ３０２で取得された表示設定の情報とを、表示部１２０に通知する。表示部１２０は、通知された酔い・疲労指標と表示設定とを表示パネルに表示する。ステップＳ３０３の後、情報処理装置１００の処理はステップＳ３０４に移る。
Moving to step S303, the
ステップＳ３０４に移ると、通知部１０３は、酔い・疲労指標と表示設定の情報を、記録部１３０に通知する。記録部１３０は、通知された酔い・疲労指標と表示設定の情報を記憶媒体に記録する。
Moving to step S304, the
本実施形態によれば、体験者は、ステップＳ３０３でＨＭＤの表示パネルに表示された酔い・疲労指標と表示設定の情報を見ることにより、現在の表示画角における自身の単位面積当たりの軌跡長の変化のフィードバックをリアルタイムに知ることができる。これにより、体験者は、現在の表示画角設定が自身の酔い・疲労に与える影響を把握することができることになる。そして、体験者は、複数の表示画角設定において同様の体験を繰り返すことにより、自身の酔い・疲労への影響が少なく、３ＤＣＧの表示にも違和感のない適切な画角設定を学習することができる。 According to the present embodiment, the experiencer sees the information on the sickness / fatigue index and the display setting displayed on the display panel of the HMD in step S303, and finds that the locus length per unit area at the current display angle of view. You can get feedback on changes in real time. As a result, the experiencer can grasp the influence of the current display angle of view setting on his / her own sickness / fatigue. Then, by repeating the same experience in a plurality of display angle of view settings, the experiencer can learn an appropriate angle of view setting that has less influence on his / her own sickness / fatigue and does not cause discomfort in the 3DCG display. it can.
また本実施形態の情報処理装置１００は、ステップＳ３０４で記録部１３０によって記録された表示画角設定と酔い・疲労指標の変化を集計し、表示画角と酔い・疲労指標の相関分析や回帰分析などを行うことができる。これらの分析を行うことで、酔い・疲労と画角設定の相関関係を明らかにでき、この結果に従って、酔い・疲労を軽減するような画角設定を導くことができる。
Further, the
（第一の実施形態の変形例１）
第一の実施形態の変形例１として、体験者の位置姿勢を出力する位置姿勢出力部１１０の代わりに、図４に示すように、酔い・疲労によって変動する指標を取得して出力する変動指標出力部４００が用いられてもよい。なお、第一の実施形態の変形例１の場合、変動指標出力部４００以外の構成は前述の図１と同様であるとする。また変形例１の情報処理装置１００は、変動指標出力部４００と指標出力部１５０と画角設定部１４０の少なくとも一つを含んでいてもよい。
(
As a
変形例１において、変動指標出力部４００が取得する、酔い・疲労によって変動する指標は、体験者の酔い・疲労に影響のある可能性のある指標であれば、どのような指標であってもよい。変形例１の場合、変動指標出力部４００は、酔い・疲労によって変動する指標として、例えば以下の（１）〜（８）のような複数の種類の情報の少なくとも一つを、取得して指標出力部１５０に出力する。
In the first modification, the index that fluctuates due to sickness / fatigue acquired by the fluctuation
（１）体験者自身が酔い・疲労を感じたことをシステムに通知するためユーザ入力
（２）直近の一定期間における体験者の位置の空間上の移動距離（軌跡長）
（３）直近の一定期間における体験者の姿勢の変化量
（４）直近の一定期間における体験者の瞬き回数
（５）直近の一定期間における体験者の眼球のサッケード運動の発生回数
（６）体験者の温度（体温）
（７）体験者の発汗（体験者の掌の伝導率など、体験者の発汗によって変動する指標であれば、公知のいずれの指標でも良い）
（８）直近の一定期間における体験者の心拍数または脈拍数
(1) User input to notify the system that the experiencer himself feels drunk or tired (2) Distance traveled in space (trajectory length) of the experiencer's position in the most recent fixed period
(3) Amount of change in the posture of the experiencer in the latest fixed period (4) Number of blinks of the experiencer in the latest fixed period (5) Number of occurrences of saccade movement of the experiencer's eyeball in the latest fixed period (6) Experience Person's temperature (body temperature)
(7) Experiencer's sweating (Any known index may be used as long as it is an index that fluctuates depending on the experiencer's sweating, such as the conductivity of the experiencer's palm).
(8) Heart rate or pulse rate of the experiencer in the most recent fixed period
上記の（１）に挙げた、体験者からの酔い・疲労を感じたことに関するユーザ入力は、システムが通知を認識できる手法であれば、公知のいずれの手法が用いられてもよい。当該ユーザ入力として、例えば図２のキーボード２０４やマウス２０５の操作、不図示のソフトウェアによるボタンやハードウェアによるボタン操作、音声認識を介した入力などが挙げられる。
As the user input regarding feeling sickness / fatigue from the experiencer mentioned in (1) above, any known method may be used as long as the system can recognize the notification. Examples of the user input include operations of the
変形例１において、変動指標出力部４００は、上記の（１）〜（８）に挙げた少なくとも一つの指標（それらの組み合わせを含む）の情報を、指標出力部１５０に出力する。指標出力部１５０は、変動指標出力部４００から送られてきた情報を、情報処理装置１００の指標取得部１０１に出力する。
In the first modification, the fluctuation
指標取得部１０１は、指標出力部１５０から送られてきた酔い・疲労の変動指標と、前述の表示設定と、酔い・疲労指標とをセットとして、通知部１０３に入力する。
そして変形例１の通知部１０３は、入力された酔い・疲労指標の一覧と、表示設定取得部１０２から入力された表示設定とを、表示部１２０と記録部１３０に出力する。
The
Then, the
第一の実施形態の変形例１によれば、体験者の酔い・疲労の程度をより多くの種類の指標で判別できるようになる。これにより各体験者の酔い・疲労の程度を反映しやすい指標を利用することができるようになり、表示設定と酔い・疲労の相関関係をより正確に検知、分析することが可能となる。 According to the first modification of the first embodiment, the degree of sickness / fatigue of the experiencer can be discriminated by more kinds of indexes. As a result, it becomes possible to use an index that easily reflects the degree of sickness / fatigue of each experienced person, and it becomes possible to more accurately detect and analyze the correlation between the display setting and sickness / fatigue.
（第一の実施形態の変形例２）
第一の実施形態の変形例２として、ＨＭＤの表示パネルに表示される画像の画角表示設定を出力する画角設定部１４０の代わりに、図４に示すように、酔い・疲労に影響のある表示設定の情報を出力する表示設定部４１０が用いられてもよい。なお変形例２の情報処理装置１００は、表示設定部４１０を含んでいてもよい。また第一の実施形態の変形例２の場合、表示設定部４１０以外の構成は前述の図１と同様であってもよく、前述の変形例１と同様に変動指標出力部４００が備えられていてもよい。
(Modification 2 of the first embodiment)
As a second modification of the first embodiment, instead of the angle of
変形例２において、表示設定部４１０が取得する、酔い・疲労に影響のある表示設定は、体験者の酔い・疲労に影響のある可能性のある表示設定であれば、いずれの表示設定であってもよい。変形例２の場合、表示設定部４１０は、酔い・疲労に影響のある表示設定に関する情報として、例えば以下の（９）〜（１９）のような複数の種類の情報の少なくとも一つを、取得して表示設定取得部１０２に出力する。
In the second modification, the display setting that affects the sickness / fatigue acquired by the
（９）Timewarp（参考文献２）の有効・無効と表示画像の最大移動量（強度）
（１０）表示パネルに画像が表示されている時間の割合（DutyRate）
（１１）表示画像の解像度及び表示パネルの解像度
（１２）表示パネルの輝度
（１３）表示パネルの色空間
（１４）表示パネルの色設定
（１５）表示パネル上の一定位置に同じ画像を表示し続けるか否か、及びその画像の表示パネル上での専有面積率（固定画像表示設定）
（１６）表示パネル上のＣＧ（Computer Graphics）表示領域の専有面積率
（１７）FoveatedRendering（参考文献３）の有効・無効と解像度低下範囲と解像度低下率（FoveatedRendering設定）
（１８）体験者の視線移動中の表示パネルへの黒画面の挿入の有効・無効と黒挿入する移動速度の閾値
（１９）体験者の視線移動中の表示パネルのメッシュ分割の有効・無効とメッシュ分割を有効にする移動速度の閾値
(9) Validity / invalidity of Timewarp (Reference 2) and maximum movement amount (intensity) of the displayed image
(10) Percentage of time the image is displayed on the display panel (DutyRate)
(11) Display image resolution and display panel resolution (12) Display panel brightness (13) Display panel color space (14) Display panel color setting (15) Display the same image at a fixed position on the display panel Whether to continue and the occupied area ratio on the display panel of the image (fixed image display setting)
(16) Occupied area ratio of CG (Computer Graphics) display area on the display panel (17) Enable / disable of Foveated Rendering (Reference 3), resolution reduction range, and resolution reduction rate (Foveated Rendering setting)
(18) Enable / disable of inserting a black screen into the display panel while the experiencer's line of sight is moving and the threshold value of the movement speed to insert black (19) Enable / disable mesh division of the display panel while the experiencer's line of sight is moving Movement speed threshold to enable mesh splitting
なお上記の（９）に挙げたTimewarpに関する技術は下記の参考文献２に開示されており、ＨＭＤ装着者の視線の動きに合わせて画像の表示位置を変更する技術である。 The technique related to Timewarp mentioned in (9) above is disclosed in Reference 2 below, and is a technique for changing the display position of an image according to the movement of the line of sight of the HMD wearer.
参考文献２：Daniel Evangelakos, Michael Mara:Extendted TimeWarp Compensation for Virtual Reality, poster at I3D 2016 Reference 2: Daniel Evangelakos, Michael Mara: Extended TimeWarp Compensation for Virtual Reality, poster at I3D 2016
また上記の（１０）に挙げた表示パネルに画像が表示されている時間の割合（DutyRate）は、１フレームのうち、表示パネルに画像が表示されている時間の割合である。
上記の（１４）に挙げた表示パネルの色設定は、ガンマ補正やカラープロファイルなど、実際にパネルに表示される色に関する設定であれば、公知のいずれであってもよい。
上記の（１７）に挙げたFoveatedRenderingに関する技術は、下記の参考文献３に開示されており、ＨＭＤ装着者の注視点以外の画像の解像度を落として描画する技術である。
Further, the ratio of the time during which the image is displayed on the display panel (DutyRate) mentioned in (10) above is the ratio of the time during which the image is displayed on the display panel in one frame.
The color setting of the display panel mentioned in (14) above may be any known setting as long as it is a setting related to the color actually displayed on the panel, such as gamma correction and color profile.
The technique related to Foveated Rendering mentioned in (17) above is disclosed in Reference 3 below, and is a technique for drawing with a reduced resolution of an image other than the gaze point of the HMD wearer.
参考文献３：Wilson S. Geisler, Jeffrey S. Perry:Variable-Resolution Displays for Visual Communication and Simulation, SID Symposium Digest of Technical Papers Volume 30, Issue1 May 1999 Reference 3: Wilson S. Geisler, Jeffrey S. Perry: Variable-Resolution Displays for Visual Communication and Simulation, SID Symposium Digest of Technical Papers Volume 30, Issue1 May 1999
第２の実施形態の変形例２において、表示設定部４１０は、上記の（９）〜（１９）に挙げた少なくとも一つの表示設定に関する情報（それらの組み合わせを含む）を、表示設定取得部１０２に出力する。
変形例２の場合、表示設定取得部１０２は、表示設定部４１０から送られてきた表示設定と、前述の酔い・疲労指標とをセットとして、通知部１０３に入力する。
そして変形例２の通知部１０３は、入力された表示項目と酔い・疲労指標とを、表示部１２０と記録部１３０に出力する。
In the second modification of the second embodiment, the
In the case of the second modification, the display setting
Then, the
第一の実施形態の変形例２によれば、より多くの表示設定が体験者の酔い・疲労に及ぼす影響を検知、分析できるようになる。これにより、各体験者の酔い・疲労をより多く軽減するような表示設定を把握、分析することができるようになる。 According to the second modification of the first embodiment, it becomes possible to detect and analyze the influence of more display settings on the sickness / fatigue of the experiencer. This makes it possible to grasp and analyze display settings that further reduce the sickness and fatigue of each experiencer.
（第一の実施形態の変形例３）
第一の実施形態の変形例３として、体験者に対する酔い・疲労と表示設定の関係を体験後に分析することのみを目的とする場合には、第一の実施形態の表示部１２０を無くし、通知部１０３が記録部１３０に通知するようにしてもよい。
本変形例３によれば、体験中に体験者を邪魔することなく、後から酔い・疲労に関連する表示設定を分析することが可能となる。
(Modification 3 of the first embodiment)
As a modification 3 of the first embodiment, when the purpose is only to analyze the relationship between the sickness / fatigue and the display setting for the experiencer after the experience, the
According to the present modification 3, it is possible to analyze the display settings related to sickness / fatigue later without disturbing the experiencer during the experience.
（第一の実施形態の変形例４）
第一の実施形態の変形例４として、体験者に対する酔い・疲労と表示設定の関係をリアルタイムなフィードバックのみから学習するために、第一の実施形態の記録部１３０を無くし、通知部１０３が表示部１２０のみに通知するようにしてもよい。
本変形例４によれば、酔い・疲労指標と表示設定の記録の負荷がなくなり、体験中の計算負荷を減らしつつ、体験者には現在の表示設定における酔い・疲労指標の変化のフィードバックを与えることができるようになる。
(Modification 4 of the first embodiment)
As a modification 4 of the first embodiment, in order to learn the relationship between sickness / fatigue and display settings for the experiencer only from real-time feedback, the
According to this modification 4, the load of recording the sickness / fatigue index and the display setting is eliminated, and the experiencer is given feedback on the change of the sickness / fatigue index in the current display setting while reducing the calculation load during the experience. You will be able to do it.
（第一の実施形態の変形例５）
第一の実施形態の変形例５として、図３のステップＳ３０３において表示部１２０への通知を単位面積当たりの軌跡長が一定の基準値を超えた場合のみに行うようにしてもよい。この時の基準値は、ユーザが指定した値でも良いし、前述した参考文献１に開示されている健常者の重心動揺の軌跡長など、体験者の酔い・疲労の増大を示すものであれば公知のいずれの値でも良い。
本変形例５によれば、体験者が酔い・疲労を感じた際に有効になっていた表示設定のみを選別することができる。これにより、より精度の高い表示設定の影響度の把握、分析ができるようになる。
(Modification 5 of the first embodiment)
As a modification 5 of the first embodiment, the notification to the
According to the present modification 5, only the display settings that are effective when the experiencer feels sick or tired can be selected. This makes it possible to grasp and analyze the degree of influence of display settings with higher accuracy.
＜第二の実施形態＞
第二の実施形態では、体験者の酔い・疲労指標として体験者の位置姿勢の軌跡長とユーザ入力とを用い、表示設定として表示画角設定とTimewarp表示設定とを用いる。第二の実施形態では、酔い・疲労指標と表示設定の記録と変更を、第一の時点と第二の時点の二つの時点で別々に行う。第一の時点では、各表示設定における酔い・疲労状態への到達時間と、酔い・疲労状態での酔い・疲労指標の値とを記録することで、各体験者の表示設定が酔い・疲労指標へ及ぼす影響を記録する。第二の時点では、第一の時点で記録した結果に基づき、表示設定を自動的に変更する。
<Second embodiment>
In the second embodiment, the locus length of the position and posture of the experiencer and the user input are used as the sickness / fatigue index of the experiencer, and the display angle of view setting and the Timewarp display setting are used as the display settings. In the second embodiment, the sickness / fatigue index and the display setting are recorded and changed separately at two time points, the first time point and the second time point. At the first time point, by recording the time to reach the sickness / fatigue state in each display setting and the value of the sickness / fatigue index in the sickness / fatigue state, the display setting of each experiencer can set the sickness / fatigue index. Record the effect on. At the second time point, the display setting is automatically changed based on the result recorded at the first time point.
図５は、第二の実施形態に係るシステムの構成例を示したブロック図である。なお第一の実施形態と同じ構成については説明を省略する。
第二の実施形態のシステムは、図５に示すように、前述した第一の実施形態の構成に加えて、Timewarp設定取得部５５０、ユーザ入力部５０４、指標及び設定保持部５０６、時間取得部５０７、及び表示設定変更部５０８を有して構成されている。
FIG. 5 is a block diagram showing a configuration example of the system according to the second embodiment. The description of the same configuration as that of the first embodiment will be omitted.
As shown in FIG. 5, the system of the second embodiment has a Timewarp
Timewarp設定取得部５５０は、現在のTimewarpの有効・無効と最大移動量（強度）を取得し、表示設定取得部１０２に送る。
ユーザ入力部５０４は、体験者が酔いや疲労を感じた際の入力を受け付け、指標及び設定保持部５０６に送る。なお、ユーザ入力部５０４はソフトウェアによるボタン入力、ハードウェアによるボタン入力、音声入力などユーザがシステムに酔いや疲労を感じたことを通知できるものであれば、公知のいずれのものでも良い。
The Timewarp
The
指標及び設定保持部５０６は、第一の時点では指標取得部１０１から取得した酔い・疲労指標と、表示設定取得部１０２から取得した表示設定と、時間取得部５０７から取得した体験時間との各情報を保持する。体験時間は、当該表示設定によって体験者に酔い・疲労の症状が生じるまでの時間に相当し、その時間によって当該表示設定による酔い・疲労の症状への影響を評価することが可能な時間である。また指標及び設定保持部５０６は、第二の時点では第一の時点で保持した酔い・疲労指標を判定部５０９に出力する。さらに指標及び設定保持部５０６は、第一の時点で保持した表示設定と体験時間の情報を、表示設定変更部５０８に出力する。
At the first time, the index and setting holding
時間取得部５０７は、体験者によるＭＲやＡＲの体験開始からの経過時間の情報を、指標及び設定保持部５０６に出力する。
表示設定変更部５０８は、通知部１０３からの通知を受け、指標及び設定保持部５０６から、第一の時点で保持した表示設定と体験時間の情報を取得する。
判定部５０９は、指標及び設定保持部５０６が第一の時点で保持した酔い・疲労指標の情報を取得し、判定基準とする。さらに、判定部５０９は、指標取得部１０１から酔い・疲労指標を取得し、その酔い・疲労指標の値が判定基準を超えていた場合には通知部１０３に通知を出力する。
The
The display
The
次に第二の実施形態に係る情報処理装置５００の処理手順について説明する。図６は第一の時点における情報処理装置５００の処理手順を示すフローチャートである。図７は、第二の時点における情報処理装置５００の処理手順を示すフローチャートである。
Next, the processing procedure of the
第二の実施形態の情報処理装置５００は、第一の時点では各表示設定における酔い・疲労状態への到達時間と、酔い・疲労状態での酔い・疲労指標の値を記録する。
At the first time point, the
以下、図６に示すフローチャートを用いて第一の時点における情報処理装置５００の処理の流れを説明する。
ステップＳ６０１で処理が開始されると、指標取得部１０１は、ステップＳ６０２において、指標出力部１５０から、現時点から前の直近６０秒間の体験者の位置姿勢の情報を取得する。
Hereinafter, the processing flow of the
When the process is started in step S601, the
そして、指標取得部１０１は、取得した位置姿勢の空間上での移動距離（軌跡長）を移動した空間の外周面積で割った単位面積当たりの軌跡長を、酔い・疲労指標として取得する。さらに指標取得部１０１は、直近６０秒間の姿勢変化量についても酔い・疲労指標として取得する。なお、第一の実施形態の場合と同様に、酔い・疲労指標は、同一姿勢の連続時間、同一位置の連続時間、姿勢の変化速度、位置の変化速度など位置姿勢を用いて体験者の状態変化を示す指標であれば、公知のいずれの指標でも良い。ステップＳ６０２の後、情報処理装置５００の処理はステップＳ６０３に移る。
Then, the
ステップＳ６０３に移ると、表示設定取得部１０２は、Timewarp設定取得部５５０からTimewarpの有効・無効と最大移動量（強度）の情報を取得し、画角設定部１４０から表示されている画像の表示画角に係る表示設定の情報を取得する。ステップＳ６０３の後、情報処理装置５００の処理はステップＳ６０４へ移る。
Moving to step S603, the display setting
ステップＳ６０４に移ると、指標及び設定保持部５０６は、ユーザ入力部５０４からのユーザ入力があったか否かを判定する。ここで、体験者は、酔いまたは疲労を感じた場合、それをユーザ入力部５０４から入力する。指標及び設定保持部５０６は、ステップＳ６０４において、酔いまたは疲労を感じたユーザ入力があった場合には処理をステップＳ６０５に移し、一方、ユーザ入力がない場合には処理をステップＳ６０１に戻す。
Moving to step S604, the index and setting holding
ステップＳ６０５に移ると、指標及び設定保持部５０６は、指標取得部１０１の出力を受け取る。指標取得部１０１は、第一の実施形態で説明したのと同様に、直近６０秒間の体験者の位置姿勢の空間上での移動距離（軌跡長）を移動した空間の外周面積で割った単位面積当たりの軌跡長を出力する。さらに、指標取得部１０１は、直近６０秒間の姿勢変化量を出力する。そして、指標及び設定保持部５０６は、これらを体験者の酔い・疲労時の位置姿勢の単位面積当たりの軌跡長と姿勢変化量として保持する。ステップＳ６０５の後、情報処理装置５００の処理はステップＳ６０６に移る。
Moving to step S605, the index and setting holding
ステップＳ６０６に移ると、時間取得部５０７は、体験者の連続体験時間を取得し、その連続体験時間の情報を指標及び設定保持部５０６に送る。ステップＳ６０６の後、情報処理装置５００の処理はステップＳ６０７に移る。
Moving to step S606, the
ステップＳ６０７に移ると、指標及び設定保持部５０６は、表示設定取得部１０２からTimewarpの有効・無効と最大移動量（強度）の情報と、表示されている画像の表示画角に係る表示設定の情報を取得する。また、指標及び設定保持部５０６は、ステップＳ６０６で取得された体験者の連続体験時間を、Timewarpの有効・無効と最大移動量と表示されている表示画角の表示設定における酔い・疲労到達時間として保持する。このステップＳ６０７の後、情報処理装置５００は、第一の時間における処理を終了する。
Moving to step S607, the index and setting holding
次に、図７に示すフローチャートを用いて第二の時点における処理の流れを説明する。情報処理装置５００は、第二の時点では体験者の酔い・疲労状態に応じて自動的に表示設定を変更する。
ステップＳ７０１で処理が開始されると、指標取得部１０１は、ステップＳ７０２において、指標出力部１５０から、現時点から前の直近６０秒間の体験者の位置姿勢の情報を取得する。ステップＳ７０２では、前述のステップＳ６０２の処理と同様に、取得した位置姿勢の空間上での移動距離（軌跡長）を移動した空間の外周面積で割った単位面積当たりの軌跡長を、酔い・疲労指標として取得する。また指標取得部１０１は、直近６０秒間の姿勢変化量についても酔い・疲労指標として取得する。なお、この場合も前述同様に、酔い・疲労指標は、同一姿勢の連続時間、同一位置の連続時間、姿勢の変化速度、位置の変化速度など位置姿勢を用いて体験者の状態変化を示す指標であれば、公知のいずれの指標でも良い。ステップＳ７０２の後、情報処理装置５００の処理はステップＳ７０３に移る。
Next, the flow of processing at the second time point will be described with reference to the flowchart shown in FIG. At the second time, the
When the process is started in step S701, the
ステップＳ７０３に移ると、判定部５０９は、指標取得部１０１から、現在の酔い・疲労指標を取得する。さらに判定部５０９は、指標及び設定保持部５０６から図６のステップＳ６０７で記録した体験者の酔い・疲労時の体験者の位置姿勢の軌跡長と姿勢変化量とを取得する。そして、判定部５０９は、酔い・疲労指標が第一の基準に達したか否かを判定する。本実施形態の場合、第一の基準は、現在の単位面積当たりの軌跡長が酔い・疲労時の体験者の単位面積当たりの軌跡長の３０％に達しているか、若しくは現在の姿勢変化量が酔い・疲労時の体験者の姿勢変化量の８０％以下である場合として設定されている。判定部５０９は、現在の単位面積当たりの軌跡長が酔い・疲労時の体験者の単位面積当たりの軌跡長の３０％に達している、若しくは現在の姿勢変化量が酔い・疲労時の体験者の姿勢変化量の８０％以下であると判定した場合にステップＳ７０４に処理を移す。一方、判定部５０９は、現在の単位面積当たりの軌跡長が酔い・疲労時の体験者の単位面積当たりの軌跡長の３０％に達していない、若しくは現在の姿勢変化量が酔い・疲労時の体験者の姿勢変化量の８０％を超えている場合にはステップＳ７０２に処理を戻す。なお第一の基準は、ユーザが任意に決めた値やユーザ入力の有無でも良く、ステップＳ６０５で保持した体験者の酔い・疲労時の酔い・疲労指標に対する任意の割合でも良く、体験者が酔い・疲労の程度が大きくなっていることを示すものであればいずれでも良い。また、酔い・疲労指標は、複数の指標に対して、各指標の酔い・疲労時の値を１として正規化した後に、各指標に対する正規化した値を重み付けして加算した値が用いられても良い。ステップＳ７０３の後、情報処理装置５００の処理はステップＳ７０４に移る。
Moving to step S703, the
ステップＳ７０４に移ると、表示設定変更部５０８は、指標及び設定保持部５０６からステップＳ６０７で保持した表示設定の情報を取得する。そして、表示設定変更部５０８は、取得した表示設定のうち、最も酔い・疲労到達時間の短かったTimewarp設定を取得し、表示部１２０のTimewarp設定に反映する。ステップＳ７０４の後、情報処理装置５００の処理はステップＳ７０５に移る。
Moving to step S704, the display
ステップＳ７０５に移ると、判定部５０９は、指標取得部１０１から現在の単位面積当たりの軌跡長を取得する。さらに判定部５０９は、指標及び設定保持部５０６からステップＳ６０７で記録した体験者の酔い・疲労時の単位面積当たりの軌跡長を取得する。そして、判定部５０９は、酔い・疲労指標が第二の基準に達したか否か判定する。本実施形態の場合、第二の基準は、現在の単位面積当たりの軌跡長が酔い・疲労時の単位面積の軌跡長の８０％に達しているか、若しくは姿勢変化量が酔い・疲労時の姿勢変化量の３０％以下である場合として設定されている。判定部５０９は、現在の単位面積当たりの軌跡長が酔い・疲労時の単位面積の軌跡長の８０％に達している、若しくは姿勢変化量が酔い・疲労時の姿勢変化量の３０％以下であると判定した場合にステップＳ７０６に処理を移す。一方、判定部５０９は、現在の単位面積当たりの軌跡長が酔い・疲労時の単位面積の軌跡長の８０％に達していない、若しくは姿勢変化量が酔い・疲労時の姿勢変化量の３０％を超えていると判定した場合にはステップＳ７０２に処理を戻す。なお第二の基準は、ユーザが任意に決めた値やユーザ入力の有無でも良く、ステップＳ６０５で保持した体験者の酔い・疲労時の酔い・疲労指標に対する任意の割合でも良く、体験者が酔い・疲労の程度が大きくなっていることを示すものであればいずれでも良い。また前述同様に、酔い・疲労指標は、複数の指標に対して、各指標の酔い・疲労時の値を１として正規化した後に、各指標に対する正規化した値を重み付けして加算した値が指標として用いられても良い。また、基準は、第一の基準や第二の基準に限らず任意の数の基準が設けられても良い。
Moving to step S705, the
ステップＳ７０６に移ると、表示設定変更部５０８は、指標及び設定保持部５０６からステップＳ６０７で保持されている画角の表示設定のうち、最も酔い・疲労到達時間の短かった画角の表示設定の情報を取得し、表示部１２０の画角の表示設定に反映する。
Moving to step S706, the display
第２の実施形態によれば、それぞれの体験者が酔い・疲労を感じる前に、酔い・疲労を軽減する表示設定を適用することができる。また、体験者自身が、酔い・疲労を軽減する表示設定を把握していない場合でも、酔い・疲労を軽減する表示設定を推測し、適用することができる。さらに、第２の実施形態によれば、体験の酔い・疲労状態を判別する指標が明らかになっていない場合でも、体験者ごとの酔い・疲労指標と基準と推測し、体験者ごとの酔い・疲労度合を判別することができる。 According to the second embodiment, it is possible to apply a display setting for reducing sickness / fatigue before each experiencer feels sickness / fatigue. Further, even if the experiencer himself does not know the display setting for reducing sickness / fatigue, he / she can guess and apply the display setting for reducing sickness / fatigue. Further, according to the second embodiment, even if the index for discriminating the sickness / fatigue state of the experience is not clear, the sickness / fatigue index and the standard for each experiencer are estimated, and the sickness / fatigue state for each experiencer is estimated. The degree of fatigue can be determined.
（第二の実施形態の変形例１）
第二の実施形態においても変形例１として、前述の第一の実施形態の変形例１と同様に、体験者の位置姿勢を出力する位置姿勢出力部１１０の代わりに、酔い・疲労によって変動する指標を取得して出力する変動指標出力部が用いられてもよい。第二の実施形態の変形例１に係る構成の図示は省略するが、第二の実施形態の場合は図５の位置姿勢出力部１１０に代えて、前述の図４に示したのと同様の変動指標出力部４００が設けられる。
(
Also in the second embodiment, as the first modification, as in the first modification of the first embodiment described above, the position /
第二の実施形態の変形例１の場合、変動指標出力部４００は、前述の第一の実施形態の変形例１において（２）〜（８）で説明した複数の種類の指標のうち、少なくとも一つの指標の情報を、指標出力部１５０に出力する。指標出力部１５０は、変動指標出力部４００から送られてきた情報を、情報処理装置１００の指標取得部１０１に出力する。
第二の実施形態の変形例１においても、指標取得部１０１は、酔い・疲労の変動指標と前述の表示設定と酔い・疲労指標とをセットとして、通知部１０３に入力する。
In the case of the modified example 1 of the second embodiment, the fluctuation
Also in the first modification of the second embodiment, the
第二の実施形態の変形例１においても、第一の実施形態の場合と同様に、体験者の酔い・疲労の程度をより多くの指標で判別できるようになる。これにより各体験者の酔い・疲労の程度を反映しやすい指標を利用することができるようになり、表示設定と酔い・疲労の相関関係をより正確に検知、分析することができる。 Also in the modified example 1 of the second embodiment, as in the case of the first embodiment, the degree of sickness / fatigue of the experiencer can be discriminated by more indexes. This makes it possible to use an index that easily reflects the degree of sickness / fatigue of each experienced person, and it is possible to more accurately detect and analyze the correlation between the display setting and sickness / fatigue.
（第二の実施形態の変形例２）
第二の実施形態においても変形例２として、前述の第一の実施形態の変形例２と同様に、ＨＭＤの表示パネルに表示される画像の画角表示設定を出力する画角設定部１４０の代わりに、酔い・疲労に影響のある表示設定の情報を出力する表示設定部を用いても良い。第二の実施形態の変形例２に係る構成の図示は省略するが、第二の実施形態の場合は図５の画角設定部１４０に代えて、前述の図４に示したのと同様の表示設定部４１０が設けられる。
(Modification 2 of the second embodiment)
Also in the second embodiment, as a modification 2, the angle of
第二の実施形態の変形例２の場合、表示設定部４１０は、前述の第一の実施形態の変形例２において（９）〜（１９）で説明した複数の種類の情報の少なくとも一つを取得して、情報処理装置５００の表示設定取得部１０２に出力する。そして、第二の実施形態の変形例２の場合、表示設定取得部１０２は、それら各表示設定と、Timewarp設定取得部５５０から取得したTimewarpの有効・無効と最大移動量（強度）の情報とを、指標及び設定保持部５０６に出力する。
In the case of the modified example 2 of the second embodiment, the
第二の実施形態の変形例２によれば、第一の実施形態の場合と同様に、より多くの表示設定が体験者の酔い・疲労に及ぼす影響を検知、分析できるようになり、各体験者の酔い・疲労をより多く軽減するような表示設定を把握、分析することができるようになる。 According to the second modification of the second embodiment, as in the case of the first embodiment, it becomes possible to detect and analyze the influence of more display settings on the sickness / fatigue of the experiencer, and each experience. It will be possible to grasp and analyze display settings that will reduce a person's sickness and fatigue.
（第二の実施形態の変形例３）
第二の実施形態の変形例３では、表示設定と体験者の酔い・疲労の関係を機械学習する例を挙げる。第二の実施形態の変形例１と変形例２の場合、指標及び設定保持部５０６は、図６のステップＳ６０７において表示設定取得部１０２から表示設定を取得し、ステップＳ６０６で取得した体験者の連続体験時間を、表示設定の酔い・疲労到達時間として保持する。第二の実施形態の変形例３では、その代わりに、表示設定、酔い・疲労指標を入力とし、ユーザ入力を出力として学習を行い、その結果を保持する。当該学習に用いる学習アルゴリズムは、ニューラルネットワークでの学習など、原因と結果の因果関係を推測するアルゴリズムであれば、公知のいずれの学習アルゴリズムを用いて良い。
(Modification 3 of the second embodiment)
In the third modification of the second embodiment, an example of machine learning the relationship between the display setting and the experiencer's sickness / fatigue will be given. In the case of the
第二の実施形態の変形例３によれば、複数の表示設定の中からどの表示設定がどの程度酔い・疲労に影響するのかをより正確に分析することができる。また、酔い・疲労の判定基準についても複数の酔い・疲労指標の中からより正確に酔い・疲労を判定できる組み合わせを分析することができる。 According to the third modification of the second embodiment, it is possible to more accurately analyze which display setting affects the degree of sickness / fatigue from among the plurality of display settings. In addition, regarding the criteria for determining sickness / fatigue, it is possible to analyze a combination that can more accurately determine sickness / fatigue from a plurality of sickness / fatigue indexes.
（第二の実施形態の変形例４）
第二の実施形態の変形例４では、第一の時点での酔い・疲労指標と第二の時点での酔い・疲労指標とで異なる指標を用いる。
本変形例４の場合、情報処理装置は、前述した図５の構成に指標選定部８０１を加えた、図８に示すような情報処理装置８００となされる。
(Modification 4 of the second embodiment)
In the modified example 4 of the second embodiment, different indexes are used for the sickness / fatigue index at the first time point and the sickness / fatigue index at the second time point.
In the case of the present modification 4, the information processing apparatus is the
指標選定部８０１は、第一の時点においては、保持した酔い・疲労指標から、体験者の酔い・疲労状態をより高い精度で判定できる指標や、より簡便な指標を選定する。そして、判定部５０９は、第二の時点において、指標選定部８０１によって選定された指標を用いて体験者の酔い・疲労状態を判定する。このため、指標選定部８０１は、第一の時点において、指標及び設定保持部５０６から、酔い・疲労状態での酔い・疲労指標を取得する。一方、第二の時点において、指標選定部８０１は、判定部５０９へ酔い・疲労の判定に用いる酔い・疲労指標の種類を出力する。
At the first time point, the
以下、第二の実施形態の変形例４の場合において、図６、図７に示した第二の実施形態のフローチャートとの差異を説明する。
変形例４の場合、指標選定部８０１は、第二の時点のステップＳ７０３、Ｓ７０４で基準とする酔い・疲労指標として、第一の時点のステップＳ６０５で保持した体験者の酔い・疲労状態での酔い・疲労指標のみを基準として出力し、ユーザ入力を出力しない。また単に、ユーザ入力を除くだけでなく、より体験者の酔い・疲労状態と相関の高い指標を学習・分析し、その結果に基づき選定しても良い。
Hereinafter, in the case of the modified example 4 of the second embodiment, the difference from the flowchart of the second embodiment shown in FIGS. 6 and 7 will be described.
In the case of the modified example 4, the
また第一の時点の処理を、第二の実施形態の変形例１で述べたように複数の酔い・疲労指標で複数回行い、各試行のステップＳ６０５で保持した体験者の酔い・疲労状態での酔い・疲労指標が学習、分析されても良い。
このとき、学習や分析は、各酔い・疲労指標を入力とし、ユーザ入力による酔い・疲労状態を出力としたものであれば、相関分析や回帰分析、ニューラルネットによる学習など公知のいずれの手段でも良い。
そして、この学習・分析結果から、ユーザ入力を除く体験者の酔い・疲労状態と相関の高い酔い・疲労指標のみを、第二の時点のステップＳ７０３、Ｓ７０４において指標選定部８０１が出力しても良い。
Further, the processing at the first time point is performed a plurality of times with a plurality of sickness / fatigue indexes as described in the modified example 1 of the second embodiment, and the sickness / fatigue state of the experiencer held in step S605 of each trial is used. The sickness / fatigue index may be learned and analyzed.
At this time, as long as each sickness / fatigue index is input and the sickness / fatigue state by user input is output, the learning or analysis can be performed by any known means such as correlation analysis, regression analysis, and learning by neural network. good.
Then, from this learning / analysis result, even if the
第二の実施形態の変形例４によれば、第二の時点ではユーザ入力の必要がなくなり、体験者の体験を阻害することなく、酔い・疲労を軽減することができる。また、体験者の酔い・疲労状態に関係ない指標を排除することでより軽い負荷と高い精度で酔い・疲労状態を判定するができるようなる。 According to the second modification of the second embodiment, the user input is not required at the second time point, and the sickness / fatigue can be reduced without hindering the experience of the experiencer. In addition, by eliminating the index that is not related to the sickness / fatigue state of the experiencer, it becomes possible to judge the sickness / fatigue state with a lighter load and higher accuracy.
（第二の実施形態の変形例５）
第二の実施形態の変形例５では、体験者ごとに、酔い・疲労指標と表示設定の保持、設定を行う例を挙げる。
本変形例５の場合、情報処理装置は、前述した図５の構成にユーザ特定部８０２を加えた、図８に示す情報処理装置８００となされる。
(Modification 5 of the second embodiment)
In the modified example 5 of the second embodiment, an example in which the sickness / fatigue index and the display setting are maintained and set for each experienced person will be given.
In the case of the present modification 5, the information processing device is the
ユーザ特定部８０２は、現在の体験者を特定し、指標及び設定保持部５０６と判定部５０９へ体験者のＩＤ（識別情報）を出力する。体験者の特定は、ユーザによる入力や、指紋認証など、個人を特定できる方法であれば公知のいずれの手段でも良い。
The
本変形例５の場合、指標及び設定保持部５０６は、第一の時点のステップＳ６０５での各表示設定における酔い・疲労状態への到達時間と、酔い・疲労状態での酔い・疲労指標の値を、体験者ごとに保持する。
本変形例５の場合、第二の時点でも体験者を選び、該当する体験者の酔い・疲労状態への到達時間と、酔い・疲労状態での酔い・疲労指標の値を基準として用いる。
In the case of the present modification 5, the index and setting holding
In the case of the present modification 5, the experiencer is selected even at the second time point, and the time to reach the sickness / fatigue state of the corresponding experiencer and the value of the sickness / fatigue index in the sickness / fatigue state are used as a reference.
さらに、本変形例５においても、前述した第二の実施形態の変形例４と同様に、第一の時点と第二の時点で異なる酔い・疲労指標を用いても良い。このとき、各酔い・疲労指標を入力とし、ユーザ入力による酔い・疲労状態を出力とした、学習・分析が体験者ごとに行い、その学習・分析結果が保持される。 Further, also in the present modification 5, different sickness / fatigue indexes may be used at the first time point and the second time point as in the modification 4 of the second embodiment described above. At this time, learning / analysis is performed for each experiencer by inputting each sickness / fatigue index and outputting the sickness / fatigue state input by the user, and the learning / analysis result is retained.
第二の実施形態の変形例５によれば、体験者ごとに酔い・疲労状態を良く反映する指標が異なる場合でも、適切な酔い・疲労指標を選択することができ、より正確に酔い・疲労状態を判定することができる。これによって、体験者ごとの酔い・疲労を軽減する表示設定の分析と自動設定をより正確に行うことができる。 According to the fifth modification of the second embodiment, even if the index that reflects the sickness / fatigue state is different for each experiencer, an appropriate sickness / fatigue index can be selected, and the sickness / fatigue can be selected more accurately. The state can be determined. This makes it possible to more accurately analyze and automatically set the display settings that reduce sickness and fatigue for each experiencer.
以上説明したように、各実施形態によれば、各体験者にとって、３Ｄ酔いや疲労の軽減効果のある表示設定を提供することができる。これによって、体験者が複数の表示設定の中から３Ｄ酔い、疲労を軽減する設定を選ぶことができるようになる。また、システムが３Ｄ酔いや疲労の度合いに応じて自動的に表示設定を変更することができるようになる。また、機械学習の入力、出力として本発明の表示設定、酔い・疲労の度合いを利用することで、表示設定と酔い・疲労の関係を学習させることができる。 As described above, according to each embodiment, it is possible to provide a display setting having an effect of reducing 3D sickness and fatigue for each experiencer. This allows the experiencer to select a setting that reduces 3D sickness and fatigue from a plurality of display settings. In addition, the system will be able to automatically change the display settings according to the degree of 3D sickness and fatigue. Further, by using the display setting of the present invention and the degree of sickness / fatigue as input and output of machine learning, the relationship between the display setting and sickness / fatigue can be learned.
本発明は、各実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける一つ以上のプロセッサーがプログラムを読み出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。
前述の各実施形態は、何れも本発明を実施するにあたっての具体化の例を示したものに過ぎず、これらによって本発明の技術的範囲が限定的に解釈されてはならないものである。即ち、本発明は、その技術思想、又はその主要な特徴から逸脱することなく、様々な形で実施することができる。
The present invention supplies a program that realizes one or more functions of each embodiment to a system or device via a network or storage medium, and one or more processors in the computer of the system or device reads and executes the program. It can also be realized by processing. It can also be realized by a circuit (for example, ASIC) that realizes one or more functions.
Each of the above-described embodiments is merely an example of embodiment in carrying out the present invention, and the technical scope of the present invention should not be construed in a limited manner by these. That is, the present invention can be implemented in various forms without departing from the technical idea or its main features.
１００：情報処理装置、１０１：指標取得部、１０２：表示設定取得部、１０３：通知部、１１０：位置姿勢出力部、１２０：表示部、１３０：記録部、１４０：画角設定部、１５０：指標出力部 100: Information processing device, 101: Index acquisition unit, 102: Display setting acquisition unit, 103: Notification unit, 110: Position / orientation output unit, 120: Display unit, 130: Recording unit, 140: Angle of view setting unit, 150: Index output section
Claims (13)
前記体験者が見る画像の表示設定を取得する設定取得手段と、
前記取得された指標と前記表示設定とを、前記体験者に通知する通知手段と、
を有することを特徴とする情報処理装置。 An index acquisition means for acquiring an index indicating a symptom that may occur in an experiencer who experiences virtual space,
A setting acquisition means for acquiring the display setting of the image viewed by the experiencer, and
A notification means for notifying the experiencer of the acquired index and the display setting, and
An information processing device characterized by having.
ユーザによって入力された指標と
前記体験者の位置姿勢の変化を表す指標と、
前記体験者の瞬き回数を表す指標と、
前記体験者の眼球のサッケード運動の発生回数を表す指標と、
前記体験者の温度を表す指標と、
前記体験者の発汗を表す指標と、
前記体験者の心拍または脈拍を表す指標と、
の一つ以上を含むことを特徴とする請求項２に記載の情報処理装置。 The plurality of types of indicators are
An index input by the user, an index showing the change in the position and posture of the experiencer, and
An index showing the number of blinks of the experiencer and
An index showing the number of occurrences of saccade movement of the eyeball of the experiencer and
An index showing the temperature of the experiencer and
An index showing the sweating of the experiencer and
An index showing the heartbeat or pulse of the experiencer and
The information processing apparatus according to claim 2, wherein the information processing apparatus includes one or more of the above.
表示パネルに表示される画像の表示画角を表す表示設定と、
前記体験者の視線の動きに合わせて画像の表示位置を変更する機能の有効又は無効及び表示画像の最大移動量を表す表示設定と、
前記表示パネルに画像が表示されている時間の割合を表す表示設定と、
前記表示パネルの解像度及び表示画像の解像度を表す表示設定と、
前記表示パネルの輝度を表す表示設定と、
前記表示パネルの色空間を表す表示設定と、
前記表示パネルの色設定を表す表示設定と、
前記表示パネルの一定位置に同じ画像を表示し続けるか否か及びその画像の表示パネル上での専有面積率を表す表示設定と、
前記表示パネルのＣＧ（Computer Graphics）表示領域の専有面積率を表す表示設定と、
前記体験者の注視点以外の画像の解像度を落として描画する機能の有効・無効と解像度低下範囲と解像度低下率の設定を表す表示設定と、
前記体験者の視線移動中の前記表示パネルへの黒画面の挿入の有効又は無効と黒挿入する移動速度の閾値を表す表示設定と、
前記体験者の視線移動中の表示パネルのメッシュ分割の有効・無効とメッシュ分割を有効にする移動速度の閾値を表す表示設定と、
の一つ以上を含むことを特徴とする請求項４に記載の情報処理装置。 The plurality of types of display settings are
Display settings that represent the display angle of view of the image displayed on the display panel,
The display setting indicating the enable / disable of the function of changing the display position of the image according to the movement of the line of sight of the experiencer and the maximum movement amount of the displayed image, and
Display settings that represent the percentage of time that an image is displayed on the display panel,
Display settings that represent the resolution of the display panel and the resolution of the display image,
Display settings that represent the brightness of the display panel and
Display settings that represent the color space of the display panel and
Display settings that represent the color settings of the display panel and
A display setting indicating whether or not the same image is continuously displayed at a fixed position on the display panel and the occupied area ratio of the image on the display panel, and
Display settings that represent the occupied area ratio of the CG (Computer Graphics) display area of the display panel, and
Display settings that indicate the enable / disable of the function to reduce the resolution of images other than the gaze point of the experiencer and the settings of the resolution reduction range and resolution reduction rate, and
The display setting indicating the valid or invalid of the insertion of the black screen into the display panel while the line of sight of the experiencer is moving and the threshold value of the movement speed of black insertion, and
The display setting indicating the enable / disable of mesh division of the display panel while the experiencer's line of sight is moving and the threshold value of the movement speed for enabling mesh division, and
The information processing apparatus according to claim 4, wherein the information processing apparatus includes one or more of the above.
前記保持された関係に基づいて、前記表示設定を変更する設定変更手段と、を有することを特徴とする請求項１から６のいずれか１項に記載の情報処理装置。 A holding means for maintaining the relationship between the index and the display setting,
The information processing apparatus according to any one of claims 1 to 6, further comprising a setting changing means for changing the display setting based on the held relationship.
前記判定手段は、前記特定された体験者について前記症状の状態を判定することを特徴とする請求項１０に記載の情報処理装置。 Have a specific means to identify the experiencer,
The information processing device according to claim 10, wherein the determination means determines the state of the symptom of the specified experienced person.
仮想空間を体験する体験者に生ずる可能性がある症状を表す指標を取得する指標取得工程と、
体験者が見る画像の表示設定を取得する設定取得工程と、
前記取得された指標と前記表示設定とを、前記体験者に通知する通知工程と、
を有することを特徴とする情報処理方法。 It is an information processing method executed by an information processing device.
The index acquisition process to acquire the index showing the symptoms that may occur in the experiencer who experiences the virtual space, and the index acquisition process.
The setting acquisition process to acquire the display settings of the image seen by the experiencer,
A notification process for notifying the experiencer of the acquired index and the display setting, and
An information processing method characterized by having.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2019221951A JP7467094B2 (en) | 2019-12-09 | 2019-12-09 | Information processing device, information processing method, and program |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2019221951A JP7467094B2 (en) | 2019-12-09 | 2019-12-09 | Information processing device, information processing method, and program |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2021092883A true JP2021092883A (en) | 2021-06-17 |
| JP7467094B2 JP7467094B2 (en) | 2024-04-15 |
Family
ID=76312424
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2019221951A Active JP7467094B2 (en) | 2019-12-09 | 2019-12-09 | Information processing device, information processing method, and program |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP7467094B2 (en) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2023286343A1 (en) * | 2021-07-12 | 2023-01-19 | ソニーグループ株式会社 | Information processing device, information processing method, and program |
Family Cites Families (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2016031439A (en) | 2014-07-28 | 2016-03-07 | ソニー株式会社 | Information processing apparatus and information processing method, computer program, and image display system |
| US9699436B2 (en) | 2014-09-16 | 2017-07-04 | Microsoft Technology Licensing, Llc | Display with eye-discomfort reduction |
| JP2017054457A (en) | 2015-09-11 | 2017-03-16 | 株式会社コーエーテクモゲームス | Information processor, display control method, and display control program |
| JP6934806B2 (en) | 2017-11-02 | 2021-09-15 | キヤノン株式会社 | Display device, control method of display device |
| JP2019152980A (en) | 2018-03-01 | 2019-09-12 | キヤノン株式会社 | Image processing system, image processing method and program |
-
2019
- 2019-12-09 JP JP2019221951A patent/JP7467094B2/en active Active
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2023286343A1 (en) * | 2021-07-12 | 2023-01-19 | ソニーグループ株式会社 | Information processing device, information processing method, and program |
Also Published As
| Publication number | Publication date |
|---|---|
| JP7467094B2 (en) | 2024-04-15 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110167421B (en) | System for integrally measuring clinical parameters of visual function | |
| Arabadzhiyska et al. | Saccade landing position prediction for gaze-contingent rendering | |
| US8878922B2 (en) | Video image information processing apparatus and video image information processing method | |
| US10832483B2 (en) | Apparatus and method of monitoring VR sickness prediction model for virtual reality content | |
| US20210393190A1 (en) | Apparatus and method for evaluating cognitive function | |
| JP2019519053A (en) | Method and system for acquiring, analyzing and generating visual function data and modifying media based on the data | |
| US10725534B2 (en) | Apparatus and method of generating machine learning-based cyber sickness prediction model for virtual reality content | |
| US10768689B2 (en) | System and method for providing virtual reality contents based on body information obtained from user | |
| KR102029219B1 (en) | Method for recogniging user intention by estimating brain signals, and brain-computer interface apparatus based on head mounted display implementing the method | |
| KR102616391B1 (en) | Methods, systems and devices for diagnostic evaluation and screening of binocular disorders | |
| KR102453304B1 (en) | A system that provides virtual reality content for dementia prevention and self-diagnosis | |
| JP6838902B2 (en) | Pseudo-experience providing device, simulated experience providing method, simulated experience providing system, and program | |
| CN115668104A (en) | Advertisement display system | |
| JP7387726B2 (en) | How to adapt vision correction devices according to the wearer's visual search strategy | |
| JP2021092883A (en) | Information processing device, information processing method, and program | |
| KR101734845B1 (en) | Emotion classification apparatus using visual analysis and method thereof | |
| US10747308B2 (en) | Line-of-sight operation apparatus, method, and medical device | |
| Feick et al. | Investigating noticeable hand redirection in virtual reality using physiological and interaction data | |
| JP7334958B2 (en) | Determination device, determination method and determination program | |
| KR20190066429A (en) | Monitoring apparatus and method for cyber sickness prediction model of virtual reality contents | |
| WO2023037691A1 (en) | A method, system, device and computer program | |
| KR20190076722A (en) | Method and system for testing multiple-intelligence based on vr/ar using mobile device | |
| JP6867701B2 (en) | Monitoring equipment, monitoring system, monitoring method and monitoring program | |
| KR102432250B1 (en) | The System that Provides Care Chatbot | |
| KR102191337B1 (en) | Video data construction method and system for emotion recognition |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20221124 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20231113 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20231212 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20240112 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20240305 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20240403 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 7467094 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |