JP7095593B2 - Interest estimation system - Google Patents

Interest estimation system Download PDF

Info

Publication number
JP7095593B2
JP7095593B2 JP2018247540A JP2018247540A JP7095593B2 JP 7095593 B2 JP7095593 B2 JP 7095593B2 JP 2018247540 A JP2018247540 A JP 2018247540A JP 2018247540 A JP2018247540 A JP 2018247540A JP 7095593 B2 JP7095593 B2 JP 7095593B2
Authority
JP
Japan
Prior art keywords
interest
content
seated person
estimation
acceleration sensor
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2018247540A
Other languages
Japanese (ja)
Other versions
JP2020107219A (en
Inventor
伸樹 林
良平 金原
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toyota Boshoku Corp
Original Assignee
Toyota Boshoku Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toyota Boshoku Corp filed Critical Toyota Boshoku Corp
Priority to JP2018247540A priority Critical patent/JP7095593B2/en
Publication of JP2020107219A publication Critical patent/JP2020107219A/en
Application granted granted Critical
Publication of JP7095593B2 publication Critical patent/JP7095593B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • User Interface Of Digital Computer (AREA)
  • Seats For Vehicles (AREA)
  • Information Transfer Between Computers (AREA)

Description

本開示は、興味推定システムに関する。 The present disclosure relates to an interest estimation system.

人が着座するシートにおいて、着席者の姿勢に対応して座面の高さを調整可能なシートが知られている（特許文献１参照）。 Among the seats on which a person sits, a seat in which the height of the seat surface can be adjusted according to the posture of the seated person is known (see Patent Document 1).

特開２０１８－０９５０６２号公報Japanese Unexamined Patent Publication No. 2018-095062

上記公報のシートは、着席者の利便性を高める機能を有しているが、シートが配置されている空間に提供されるコンテンツと連動して、着席者にサービスを提供する機能は備えていない。 The seats in the above publication have a function of enhancing the convenience of the seated person, but do not have a function of providing a service to the seated person in conjunction with the content provided in the space where the seat is arranged. ..

本開示の一局面は、シートが配置された空間に提供されるコンテンツに対する着席者の興味を推定することで、着席者の興味の向上を図る興味推定システムを提供することを目的としている。 One aspect of the present disclosure is to provide an interest estimation system for improving the interest of the seated person by estimating the interest of the seated person in the content provided in the space where the seat is arranged.

本開示の一態様は、コンテンツが提供される空間に配置されたシート本体（２）と、シート本体（２）に配置された少なくとも１つの加速度センサ（３Ａ，３Ｂ，３Ｃ）と、少なくとも１つの加速度センサ（３Ａ，３Ｂ，３Ｃ）の出力に基づいて、シート本体（２）に着座した着席者のコンテンツに対する興味を推定する処理装置（４）と、を備える、興味推定システム（１）である。 One aspect of the present disclosure is a seat body (2) arranged in a space where content is provided, at least one accelerometer (3A, 3B, 3C) arranged in the seat body (2), and at least one. An interest estimation system (1) including a processing device (4) for estimating interest in the content of a seated person seated in a seat body (2) based on the output of an acceleration sensor (3A, 3B, 3C). ..

このような構成によれば、着席者の動きをセンサ出力に基づいた特徴量に変換することで、現在のコンテンツに対する着席者の興味を推定できる。その結果、着席者により興味のあるコンテンツを提供すること等によって、着席者の興味を向上できる。 According to such a configuration, the seated person's interest in the current content can be estimated by converting the seated person's movement into a feature amount based on the sensor output. As a result, the interest of the seated person can be improved by providing the content that is more interesting to the seated person.

また、本開示では、解析精度に左右される言語情報（つまり、着席者の発言内容）を用いずに興味を推定できる。さらに、本開示では、シート本体（２）が配置された空間の明るさ、騒音等の環境にセンサ出力が影響されない。そのため、興味の推定精度が高められる。 Further, in the present disclosure, the interest can be estimated without using the linguistic information (that is, the content of the occupant's remark) that depends on the analysis accuracy. Further, in the present disclosure, the sensor output is not affected by the environment such as the brightness and noise of the space in which the seat body (2) is arranged. Therefore, the accuracy of estimating interest is improved.

本開示の一態様では、処理装置（４）は、着席者のコンテンツに対する興味の推定結果に基づいて、コンテンツの内容を制御してもよい。このような構成によれば、個々の着席者に最適化されたコンテンツへの変更が適時可能となる。 In one aspect of the present disclosure, the processing device (4) may control the content of the content based on the estimation result of the seated person's interest in the content. With such a configuration, it is possible to change to the content optimized for each seated person in a timely manner.

本開示の一態様では、処理装置（４）は、着席者のコンテンツに対する興味の推定結果をデータとして記録してもよい。このような構成によれば、例えば、脈拍、顔の表情等の個人が特定される生体情報を含まない状態で、個人の興味を推定したデータを別のサービスに提供することができる。 In one aspect of the present disclosure, the processing apparatus (4) may record the estimation result of the seated person's interest in the content as data. According to such a configuration, it is possible to provide data for estimating an individual's interest to another service without including biometric information that identifies an individual such as a pulse and a facial expression.

なお、上記各括弧内の符号は、後述する実施形態に記載の具体的構成等との対応関係を
示す一例であり、本開示は上記括弧内の符号に示された具体的構成等に限定されるものではない。 The reference numerals in the parentheses are examples showing the correspondence with the specific configurations and the like described in the embodiments described later, and the present disclosure is limited to the specific configurations and the like shown in the reference numerals in the brackets. It's not something.

図１は、実施形態における興味推定システムを示す模式的な構成図である。FIG. 1 is a schematic configuration diagram showing an interest estimation system in an embodiment. 図２Ａは、図１の推定部が実行する推定処理を概略的に示すフロー図であり、図２Ｂは、興味スコア算出処理を概略的に示すフロー図である。FIG. 2A is a flow chart schematically showing an estimation process executed by the estimation unit of FIG. 1, and FIG. 2B is a flow chart schematically showing an interest score calculation process. 図３は、図１の興味推定システムが搭載された移動体の模式図である。FIG. 3 is a schematic diagram of a moving body equipped with the interest estimation system of FIG. 図４は、図１の推定部が実行する処理におけるロジックの一例を示すブロック図である。FIG. 4 is a block diagram showing an example of logic in the processing executed by the estimation unit of FIG.

以下、本開示が適用された実施形態について、図面を用いて説明する。
［１．第１実施形態］
［１－１．構成］
図１に示す興味推定システム１は、例えば、スタジアム、映画館、劇場、コンサートホール、ライブハウス等の施設、又は、自動車、鉄道車両、船舶、航空機等の移動体に設置される。 Hereinafter, embodiments to which the present disclosure has been applied will be described with reference to the drawings.
[1. First Embodiment]
[1-1. Constitution]
The interest estimation system 1 shown in FIG. 1 is installed in a facility such as a stadium, a movie theater, a theater, a concert hall, or a live house, or a moving body such as an automobile, a railroad vehicle, a ship, or an aircraft.

興味推定システム１は、シート本体２と、複数の加速度センサ３Ａ，３Ｂ，３Ｃと、処理装置４とを備える。 The interest estimation system 1 includes a seat body 2, a plurality of acceleration sensors 3A, 3B, 3C, and a processing device 4.

＜シート本体＞
シート本体２は、施設又は移動体において、コンテンツが提供される空間に配置される。「コンテンツ」には、スポーツ、ボードゲーム、ビデオゲーム等の観戦イベント、演劇、演奏等の鑑賞イベント、実写又は仮想の映像、音楽などが含まれる。 <Seat body>
The seat body 2 is arranged in a space where content is provided in a facility or a moving body. The "contents" include watching events such as sports, board games, and video games, watching events such as plays and performances, live or virtual images, and music.

特に、興味推定システム１は、着席者の行動によって内容が変化する双方向性のあるコンテンツに効果的に適用できる。このような双方向性のコンテンツの例として、仮想現実（ＶＲ：Ｖｉｒｔｕａｌ Ｒｅａｌｉｔｙ）空間又は拡張現実（ＡＲ：Ａｕｇｍｅｎｔｅｄ Ｒｅａｌｉｔｙ）空間と、仮想現実空間又は拡張現実空間に配置される仮想人物のキャラクタとを含むコンテンツが挙げられる。 In particular, the interest estimation system 1 can be effectively applied to interactive content whose content changes depending on the behavior of the seated person. As an example of such bidirectional content, a virtual reality (VR) space or an augmented reality (AR) space and a virtual person character arranged in a virtual reality space or an augmented reality space may be used. Included content.

シート本体２は、シートクッション２１と、シートバック２２とを有する。シートクッション２１は、着席者の臀部等を支持するための部位である。シートバック２２は、着席者の背部を支持するための部位である。 The seat body 2 has a seat cushion 21 and a seat back 22. The seat cushion 21 is a portion for supporting the buttocks and the like of a seated person. The seat back 22 is a portion for supporting the back of the seated person.

シートクッション２１には、後述する第１クッション用加速度センサ３Ａと、第２クッション用加速度センサ３Ｂとが配置されている。シートバック２２には、後述するバック用加速度センサ３Ｃが配置されている。 A first cushion acceleration sensor 3A and a second cushion acceleration sensor 3B, which will be described later, are arranged on the seat cushion 21. A back acceleration sensor 3C, which will be described later, is arranged on the seat back 22.

＜加速度センサ＞
第１クッション用加速度センサ３Ａ、第２クッション用加速度センサ３Ｂ、及びバック用加速度センサ３Ｃは、それぞれ、３軸加速度センサであり、３次元の加速度データを出力可能に構成されている。 <Accelerometer>
The first cushion acceleration sensor 3A, the second cushion acceleration sensor 3B, and the back acceleration sensor 3C are 3-axis acceleration sensors, respectively, and are configured to be capable of outputting three-dimensional acceleration data.

第１クッション用加速度センサ３Ａ、第２クッション用加速度センサ３Ｂ、及びバック用加速度センサ３Ｃは、必要に応じて、３軸の角速度（つまり、ロール角速度、ピッチ角速度、及びヨー角速度）の検出機能を有してもよい。さらに、第１クッション用加速度センサ３Ａ、第２クッション用加速度センサ３Ｂ、及びバック用加速度センサ３Ｃは、加速
度と角速度とを同時に検出できるとよい。 The first cushion acceleration sensor 3A, the second cushion acceleration sensor 3B, and the back acceleration sensor 3C have a detection function of three-axis angular velocities (that is, roll angular velocity, pitch angular velocity, and yaw angular velocity), if necessary. You may have. Further, it is preferable that the first cushion acceleration sensor 3A, the second cushion acceleration sensor 3B, and the back acceleration sensor 3C can detect acceleration and angular velocity at the same time.

ただし、後述する処理装置４において、角速度を入力データとして用いることなく興味の推定が実現される場合は、センサのコストと消費電力とを低減する観点から、各加速度センサは加速度のみの検出機能を有することが好ましい。 However, in the processing device 4 described later, if the estimation of interest is realized without using the angular velocity as input data, each acceleration sensor has a detection function of only acceleration from the viewpoint of reducing the cost and power consumption of the sensor. It is preferable to have.

第１クッション用加速度センサ３Ａ及び第２クッション用加速度センサ３Ｂは、シートクッション２１の幅方向に互いに離間して、つまり左右方向に並んでシートクッション２１の内部に埋められている。 The first cushion acceleration sensor 3A and the second cushion acceleration sensor 3B are separated from each other in the width direction of the seat cushion 21, that is, are arranged side by side in the left-right direction and are embedded inside the seat cushion 21.

具体的には、第１クッション用加速度センサ３Ａは、シートクッション２１の幅方向中心よりも右側に配置されている。第２クッション用加速度センサ３Ｂは、シートクッション２１の幅方向中心よりも左側に配置されている。 Specifically, the first cushion acceleration sensor 3A is arranged on the right side of the center of the seat cushion 21 in the width direction. The second cushion acceleration sensor 3B is arranged on the left side of the center of the seat cushion 21 in the width direction.

第１クッション用加速度センサ３Ａ及び第２クッション用加速度センサ３Ｂは、それぞれ、着席者のヒップポイント（つまり大腿骨の最外部）と重なるように配置されている。また、第１クッション用加速度センサ３Ａと第２クッション用加速度センサ３Ｂとの左右方向の距離は、例えば１００ｍｍ以上１５０ｍｍ以下である。 The first cushion acceleration sensor 3A and the second cushion acceleration sensor 3B are respectively arranged so as to overlap with the hip point of the seated person (that is, the outermost part of the femur). The distance between the first cushion acceleration sensor 3A and the second cushion acceleration sensor 3B in the left-right direction is, for example, 100 mm or more and 150 mm or less.

バック用加速度センサ３Ｃは、シートバック２２の内部に埋められている。バック用加速度センサ３Ｃは、シートバック２２の幅方向中央に配置されている。バック用加速度センサ３Ｃの高さは、例えばヒップポイントに１５０ｍｍ以上４００ｍｍ以下の高さを加えたものである。 The back acceleration sensor 3C is embedded inside the seat back 22. The back acceleration sensor 3C is arranged at the center of the seat back 22 in the width direction. The height of the back acceleration sensor 3C is, for example, a hip point plus a height of 150 mm or more and 400 mm or less.

なお、興味推定システム１は、シート本体２に着席した着席者の姿勢を認識する３次元カメラを備えてもよい。３次元カメラと加速度センサとを組み合わせることで、興味推定のための着席者の動作をより明確に把握することができる。 The interest estimation system 1 may include a three-dimensional camera that recognizes the posture of a seated person seated in the seat body 2. By combining the 3D camera and the acceleration sensor, it is possible to more clearly grasp the movement of the seated person for estimating interest.

＜処理装置＞
処理装置４は、シート本体２に着座している着席者に提供されている現在のコンテンツに対する、着席者の興味を推定する装置である。 <Processing equipment>
The processing device 4 is a device that estimates the seated person's interest in the current content provided to the seated person seated in the seat body 2.

処理装置４は、推定部４１と、記憶部４２と、制御部４３とを有する。処理装置４は、例えばマイクロプロセッサと、ＲＡＭ、ＲＯＭ等の記憶媒体と、入出力部とを備えるマイクロコンピュータにより構成される。処理装置４は、シート本体２に装着又は内蔵されてもよいし、シート本体２とは離間して配置されてもよい。 The processing device 4 has an estimation unit 41, a storage unit 42, and a control unit 43. The processing device 4 includes, for example, a microprocessor, a storage medium such as a RAM and a ROM, and a microcomputer including an input / output unit. The processing device 4 may be mounted on or built in the seat body 2, or may be arranged apart from the seat body 2.

（推定部）
推定部４１は、各加速度センサの出力を取得し、取得した出力に対する積分、平均等の演算に基づいて、少なくとも１つの特徴量を算出する。 (Estimation part)
The estimation unit 41 acquires the output of each acceleration sensor, and calculates at least one feature amount based on calculations such as integration and averaging for the acquired output.

推定部４１が算出する特徴量の内容と、特徴量の算出に使用する入力データとして使用する出力と、特徴量の算出方法との組み合わせの一例を表１及び表２に示す。表１中の「シートバックの加速度」及び「シートバックの角速度」は、バック用加速度センサ３Ｃの出力であり、「シートクッションの加速度」及び「シートクッションの角速度」は、第１クッション用加速度センサ３Ａ及び第２クッション用加速度センサ３Ｂの出力である。 Tables 1 and 2 show an example of a combination of the content of the feature amount calculated by the estimation unit 41, the output used as the input data used for the calculation of the feature amount, and the calculation method of the feature amount. “Seatback acceleration” and “seatback angular velocity” in Table 1 are outputs of the back acceleration sensor 3C, and “seat cushion acceleration” and “seat cushion angular velocity” are the first cushion acceleration sensor. It is the output of 3A and the second cushion accelerometer 3B.

Figure 0007095593000001
Figure 0007095593000001

Figure 0007095593000002
Figure 0007095593000002

推定部４１は、特徴量ごとに予め設定された閾値を用いて、着席者の興味を推定する。具体的には、推定部４１は、１つの特徴量がその特徴量に対して設定された閾値を超えたか判定し、閾値を超えた場合に着席者のコンテンツへの興味度を表す興味スコアに一定の得点を付加する。 The estimation unit 41 estimates the interest of the seated person by using a threshold value set in advance for each feature amount. Specifically, the estimation unit 41 determines whether or not one feature amount exceeds the threshold value set for the feature amount, and if the threshold value is exceeded, the estimation unit 41 is used as an interest score indicating the degree of interest of the seated person in the content. Add a certain score.

例えば、仮想現実空間内でキャラクタが着席者の隣に配置されるコンテンツの供給時に、加速度センサの出力に基づいて算出された特徴量Ｔｉｍｅが一定値より大きくなった場合、着席者のコンテンツ（つまりキャラクタ）に対する反応が大きいとして、興味スコアに一定の正の点数を付加する。 For example, when the feature amount Time calculated based on the output of the accelerometer becomes larger than a certain value when supplying the content in which the character is placed next to the seated person in the virtual reality space, the content of the seated person (that is, that is). Assuming that the reaction to the character) is large, a certain positive score is added to the interest score.

さらに、別の特徴量Ｃｅｎｔｒｏｉｄの左右方向成分が一定値より大きくなった（つまりキャラクタに一定量近づいた）場合、又は特徴量Ｍｏｖｉｎｇ ｄｉｒの前後方向成分が一定値より大きくなった場合、キャラクタへの興味が大きいとして、興味スコアに一定の正の点数を付加する。 Furthermore, when the left-right component of another feature quantity Centroid becomes larger than a certain value (that is, approaches a certain amount to the character), or when the front-back direction component of the feature quantity Moving dir becomes larger than a certain value, the character is assigned. Assuming that the interest is great, a certain positive score is added to the interest score.

特徴量が閾値を超えた場合に付加される点数は、閾値と同様、特徴量ごとに個別に設定される。また、推定部４１は、特徴量が閾値以下の場合、興味スコアに負の点数を付加してもよい。 Similar to the threshold value, the points to be added when the feature amount exceeds the threshold value are individually set for each feature amount. Further, the estimation unit 41 may add a negative score to the interest score when the feature amount is equal to or less than the threshold value.

推定部４１は、このようにして求めた興味スコアの大小によって、興味スコア算出時に供給されていたコンテンツへの興味（つまり、関心度又は没入度）の大きさを推定する。つまり、興味スコアが大きければ、そのコンテンツへの興味が高いと推定し、興味スコアが低ければ、そのコンテンツへの興味が低いと推定する。 The estimation unit 41 estimates the magnitude of interest (that is, the degree of interest or immersiveness) in the content supplied at the time of calculating the interest score based on the magnitude of the interest score thus obtained. That is, if the interest score is high, it is estimated that the interest in the content is high, and if the interest score is low, it is estimated that the interest in the content is low.

なお、表１に示す特徴量は一例である。そのため、推定部４１は、表１に示す特徴量を全て算出する必要はない。また、推定部４１は、表１に示されない特徴量（ただし、加速度センサの出力に基づいて算出されるものに限られる）を用いて、着席者の興味を推定してもよい。 The features shown in Table 1 are examples. Therefore, the estimation unit 41 does not need to calculate all the features shown in Table 1. Further, the estimation unit 41 may estimate the interest of the seated person by using the feature amount (however, limited to the one calculated based on the output of the acceleration sensor) not shown in Table 1.

推定部４１は、複数の興味スコアを同時に算出し、複数の興味スコアの大小を比較することで、着席者の興味を推定してもよい。例えば、複数の要素が組み合わされたコンテンツが供給された場合に、コンテンツが含む要素ごとの興味スコアを算出することで、着席者がどの要素に最も興味があるか推定できる。 The estimation unit 41 may estimate the interest of the seated person by simultaneously calculating a plurality of interest scores and comparing the magnitudes of the plurality of interest scores. For example, when content in which a plurality of elements are combined is supplied, it is possible to estimate which element the seated person is most interested in by calculating the interest score for each element included in the content.

推定部４１は、算出した興味スコアをコンテンツに対する興味の推定結果として、記憶部４２及び制御部４３に出力する。 The estimation unit 41 outputs the calculated interest score to the storage unit 42 and the control unit 43 as the estimation result of the interest in the content.

（記憶部）
記憶部４２は、推定部４１による着席者のコンテンツに対する興味の推定結果（つまり興味スコア）をデータとして記録する。 (Memory)
The storage unit 42 records the estimation result (that is, the interest score) of the seated person's interest in the content by the estimation unit 41 as data.

記憶部４２が記憶したデータは、記録媒体への書き込み、通信回路によるサーバへの送信、紙への印刷等の手段によって出力される。出力されたデータは、着席者により適したサービスを提供するための参照情報、不特定多数の着席者の興味の傾向を解析するためのビッグデータ等として使用することができる。 The data stored in the storage unit 42 is output by means such as writing to a recording medium, transmission to a server by a communication circuit, and printing on paper. The output data can be used as reference information for providing a service more suitable for the seated person, big data for analyzing the tendency of interest of an unspecified number of seated people, and the like.

また、記憶部４２が記憶したデータは、制御部４３からも参照される。制御部４３は、記憶部４２のデータを直接参照することで、過去の興味推定結果に基づいて、後述するようにコンテンツの内容を制御する。 Further, the data stored in the storage unit 42 is also referred to by the control unit 43. The control unit 43 controls the content of the content as described later based on the past interest estimation result by directly referring to the data of the storage unit 42.

（制御部）
制御部４３は、推定部４１による着席者のコンテンツに対する興味の推定結果（つまり興味スコア）に基づいて、コンテンツの内容を制御する。 (Control unit)
The control unit 43 controls the content of the content based on the estimation result (that is, the interest score) of the seated person's interest in the content by the estimation unit 41.

例えば、現在のコンテンツの興味スコアが低い場合は、制御部４３は、現在のコンテンツに替えて、異なるコンテンツの提供を開始する。また、制御部４３は、着席者に現在のコンテンツへの興味を持たせるための新たなイベントの追加又はストーリーの変化（例えば、キャラクタの性格の変更）を実施してもよい。さらに、制御部４３は、視覚以外の知覚で認識される刺激（例えば、音、におい、風、振動等）を着席者に提供してもよい。したがって、制御部４３は、このような刺激を出力するハードウェアを有してもよい。 For example, if the interest score of the current content is low, the control unit 43 starts providing different content in place of the current content. In addition, the control unit 43 may add a new event or change the story (for example, change the character of the character) in order to make the seated person interested in the current content. Further, the control unit 43 may provide the seated person with a stimulus (for example, sound, odor, wind, vibration, etc.) recognized by perception other than vision. Therefore, the control unit 43 may have hardware that outputs such a stimulus.

また、現在のコンテンツの興味スコアが高い場合は、制御部４３は、着席者の興味を促進させ、コンテンツへの没入度が向上するように、イベントの追加、ストーリーの変化、刺激の提供等を行う。 In addition, when the interest score of the current content is high, the control unit 43 adds an event, changes the story, provides a stimulus, etc. so as to promote the interest of the seated person and improve the immersiveness in the content. conduct.

また、制御部４３は、記憶部４２に記憶された過去の興味スコアを現在の興味スコアと組み合わせて着席者の嗜好を判断し、現在提供されているコンテンツの内容を制御してもよい。 Further, the control unit 43 may combine the past interest score stored in the storage unit 42 with the current interest score to determine the preference of the seated person and control the content of the content currently provided.

＜推定部の処理＞
以下、図２Ａのフロー図を参照しつつ、推定部４１が実行する推定処理の一例について説明する。 <Processing of estimation part>
Hereinafter, an example of the estimation process executed by the estimation unit 41 will be described with reference to the flow diagram of FIG. 2A.

本処理では、推定部４１は、最初に、少なくとも１つの加速度センサの出力を取得する（ステップＳ１０）。次に、推定部４１は、センサ出力に基づいて、図２Ｂの興味スコア算出処理を実行する（ステップＳ２０）。なお、推定部４１は、興味判定に使用する特徴量ごとに興味スコア算出処理を実行する。つまり、興味スコア算出処理は、使用する特徴量の種類の数だけ繰り返される。 In this process, the estimation unit 41 first acquires the output of at least one accelerometer (step S10). Next, the estimation unit 41 executes the interest score calculation process of FIG. 2B based on the sensor output (step S20). The estimation unit 41 executes an interest score calculation process for each feature amount used for interest determination. That is, the interest score calculation process is repeated for the number of types of features to be used.

興味スコア算出処理では、推定部４１は、特徴量が閾値以下であるか否か判定する（ステップＳ２１０）。特徴量が閾値以下の場合（Ｓ２１０：ＹＥＳ）、推定部４１は、興味スコアを変化させずに興味スコア算出処理を終了する。一方、特徴量が閾値を超える場合（Ｓ２１０：ＮＯ）、推定部４１は、興味スコアに一定の点数を加算し（ステップＳ２２０）、興味スコア算出処理を終了する。 In the interest score calculation process, the estimation unit 41 determines whether or not the feature amount is equal to or less than the threshold value (step S210). When the feature amount is equal to or less than the threshold value (S210: YES), the estimation unit 41 ends the interest score calculation process without changing the interest score. On the other hand, when the feature amount exceeds the threshold value (S210: NO), the estimation unit 41 adds a certain score to the interest score (step S220), and ends the interest score calculation process.

興味スコア算出後、推定部４１は、興味スコアが閾値以下であるか否か判定する（ステップＳ３０）。興味スコアが閾値以下の場合（Ｓ３０：ＹＥＳ）、推定部４１は、コンテンツを切り替えるように制御部４３に指示する（ステップＳ４０）。なお、上述のように、推定部４１は、コンテンツを切り替える代わりに、興味を高めるためのイベントの追加、ストーリーの変化、刺激の提供等を制御部４３に指示してもよい。 After calculating the interest score, the estimation unit 41 determines whether or not the interest score is equal to or less than the threshold value (step S30). When the interest score is equal to or less than the threshold value (S30: YES), the estimation unit 41 instructs the control unit 43 to switch the content (step S40). As described above, instead of switching the content, the estimation unit 41 may instruct the control unit 43 to add an event to increase interest, change the story, provide a stimulus, and the like.

一方、興味スコアが閾値を超える場合（Ｓ３０：ＮＯ）、推定部４１は、コンテンツを維持する（ステップＳ５０）。このとき、推定部４１は、イベントの追加、ストーリーの変化、刺激の提供等を制御部４３に指示してもよい。 On the other hand, when the interest score exceeds the threshold value (S30: NO), the estimation unit 41 maintains the content (step S50). At this time, the estimation unit 41 may instruct the control unit 43 to add an event, change the story, provide a stimulus, and the like.

また、推定部４１は、興味スコア算出処理を複数の興味スコアに対して行い、ステップＳ３０において算出した複数の興味スコアの比較を行ってもよい。また、ステップＳ３０において、推定部４１は、興味スコアに対応するテーブル又は関数を用いて、コンテンツの分岐を行ってもよい。 Further, the estimation unit 41 may perform the interest score calculation process for the plurality of interest scores and compare the plurality of interest scores calculated in step S30. Further, in step S30, the estimation unit 41 may branch the content by using the table or the function corresponding to the interest score.

＜移動体＞
以下では、図３に示す移動体１０に興味推定システム１が設置され、仮想現実空間と仮想人物であるキャラクタＶとを含むコンテンツが着席者（つまりユーザー）Ｕに提供される例を説明する。 <Mobile>
Hereinafter, an example in which the interest estimation system 1 is installed in the moving body 10 shown in FIG. 3 and the content including the virtual reality space and the character V, which is a virtual person, is provided to the seated person (that is, the user) U will be described.

移動体１０は、興味推定システム１のシート本体２が配置された内部空間１０Ａを有すると共に、電力等の動力を用いて地上を自走可能な装置である。ただし、内部空間１０Ａを有する移動体１０は地上を走行するものに限定されない。 The moving body 10 has an internal space 10A in which the seat body 2 of the interest estimation system 1 is arranged, and is a device capable of self-propelling on the ground by using power such as electric power. However, the moving body 10 having the internal space 10A is not limited to the one traveling on the ground.

移動体１０の内部空間１０Ａは、興味推定システム１を利用する着席者Ｕが滞在する客室を構成する。移動体１０の内部空間１０Ａは、１つの地点に固定されない移動可能な空間（つまりモビリティ空間）である。 The internal space 10A of the moving body 10 constitutes a guest room in which the seated person U who uses the interest estimation system 1 stays. The internal space 10A of the moving body 10 is a movable space (that is, a mobility space) that is not fixed at one point.

移動体１０は、自動運転機能を有し、予め定められたルートに沿った自動走行が可能で
ある。移動体１０は、内部空間１０Ａと移動体１０の外部とを仕切る少なくとも１つの窓を備えており、移動体１０の内部空間１０Ａに搭乗した着席者Ｕは、窓を介して移動体１０の外側の景観を視認できる。ただし、移動体１０は必ずしも自動運転機能を有しなくてもよい。 The moving body 10 has an automatic driving function, and can automatically travel along a predetermined route. The moving body 10 is provided with at least one window that separates the internal space 10A from the outside of the moving body 10, and the seated person U boarding the internal space 10A of the moving body 10 is outside the moving body 10 through the window. You can see the scenery of. However, the moving body 10 does not necessarily have to have an automatic driving function.

移動体１０の内部空間１０Ａには、シート本体２及び後述するキャラクタＶが着席するキャラクタ用シート１１以外に、図示されていない、机、照明、空調設備、ディスプレイ、運転制御機器（例えば、タッチパネル等の入力デバイス）等の設備が配置される。 In the internal space 10A of the moving body 10, in addition to the seat body 2 and the character seat 11 in which the character V described later is seated, a desk, lighting, air conditioning equipment, a display, an operation control device (for example, a touch panel, etc.) (for example, a touch panel, etc.) (not shown) are provided. Equipment such as (input device) is installed.

興味推定システム１の処理装置４は、移動体１０の内部に配置される。また、コンテンツは、表示部１２に表示される。本実施形態では、表示部１２は、着席者Ｕが装着したウェアラブルデバイスによって構成されている。 The processing device 4 of the interest estimation system 1 is arranged inside the moving body 10. Further, the content is displayed on the display unit 12. In the present embodiment, the display unit 12 is configured by a wearable device worn by the seated person U.

表示部１２を構成するウェアラブルデバイスとしては、例えば、着席者Ｕの頭部に装着されるヘッドマウントディスプレイが使用できる。ヘッドマウントディスプレイは、着席者Ｕの眼を覆うディスプレイと、ジャイロセンサ、加速度センサ等のヘッドトラッキング用のセンサとを有する。 As the wearable device constituting the display unit 12, for example, a head-mounted display mounted on the head of the seated person U can be used. The head-mounted display includes a display that covers the eyes of the seated person U, and a sensor for head tracking such as a gyro sensor and an acceleration sensor.

表示部１２としてヘッドマウントディスプレイを用いることで、着席者Ｕの位置及び姿勢を計測できるほか、拡張現実空間への着席者Ｕの没入度を高めることができる。ただし、表示部１２として用いられるウェアラブルデバイスは、ヘッドマウントディスプレイに限定されない。 By using the head-mounted display as the display unit 12, the position and posture of the seated person U can be measured, and the degree of immersion of the seated person U in the augmented reality space can be increased. However, the wearable device used as the display unit 12 is not limited to the head-mounted display.

また、表示部１２は、ウェアラブルデバイスに限定されない。例えば、内部空間１０Ａに配置された平面ディスプレイを表示部１２として用いてもよい。また、内部空間１０Ａを構成する窓にディスプレイ機能を持たせて表示部１２として使用してもよい。 Further, the display unit 12 is not limited to the wearable device. For example, a flat display arranged in the internal space 10A may be used as the display unit 12. Further, the window constituting the internal space 10A may be provided with a display function and used as the display unit 12.

処理装置４は、図示しない撮像部によって撮影した内部空間１０Ａの画像に基づいて、実空間に基づいた拡張現実空間を形成する。また、処理装置４は、予め記憶したキャラクタＶの情報と、キャラクタＶを動かすプログラムとに基づいて、拡張現実空間とこの拡張現実空間に配置されるキャラクタＶとを含む提供画像をリアルタイムに形成する。 The processing device 4 forms an augmented reality space based on the real space based on the image of the internal space 10A taken by the imaging unit (not shown). Further, the processing device 4 forms a provided image including the augmented reality space and the character V arranged in the augmented reality space in real time based on the information of the character V stored in advance and the program for moving the character V. ..

処理装置４が形成した提供画像は、リアルタイムに表示部１２に送信される。例えば、移動体１０から見える景観の変化、内部空間１０Ａの照明の変化等は、即時提供画像に反映される。その結果、着席者Ｕは、表示部１２を介して、これらの変化を拡張現実空間においてリアルタイムで認識することができる。 The provided image formed by the processing device 4 is transmitted to the display unit 12 in real time. For example, a change in the landscape seen from the moving body 10, a change in the lighting of the internal space 10A, and the like are reflected in the immediately provided image. As a result, the seated person U can recognize these changes in real time in the augmented reality space via the display unit 12.

次に、図４を用いて推定部４１による着席者Ｕの興味推定の具体例を説明する。
図４のブロック図は、着席者ＵがキャラクタＶと移動体１０を用いてデートを行うコンテンツにおけるロジックを想定したものである。 Next, a specific example of interest estimation of the seated person U by the estimation unit 41 will be described with reference to FIG.
The block diagram of FIG. 4 assumes the logic in the content in which the seated person U uses the character V and the moving body 10 to date.

このロジックでは、推定部４１は、まず、内部空間１０Ａで提供されるコンテンツに対する着席者Ｕの没入度を判定する。着席者Ｕの没入度は、例えば、コンテンツの内容とユーザーの動作との連動性によって行うことができる。例えば、キャラクタＶが着席者Ｕに言葉を投げかけた際に、着席者Ｕが一定の動作をした場合、没入度が高い（つまり関心がある）と判定できる。 In this logic, the estimation unit 41 first determines the degree of immersion of the seated person U with respect to the content provided in the internal space 10A. The degree of immersiveness of the seated person U can be determined, for example, by linking the content of the content with the action of the user. For example, when the character V throws a word at the seated person U, if the seated person U performs a certain action, it can be determined that the degree of immersiveness is high (that is, there is interest).

着席者Ｕの没入度が低い場合は、推定部４１は、着席者Ｕがコンテンツに対し無関心なユーザータイプであると判定し、ドライブコンテンツへの興味を持つように状態誘導の強いドライブコンテンツの提供を制御部４３に指示する。 When the immersiveness of the seated person U is low, the estimation unit 41 determines that the seated person U is a user type who is indifferent to the content, and provides the drive content with strong state guidance so as to be interested in the drive content. Is instructed to the control unit 43.

一方、着席者Ｕの没入度が高い場合は、推定部４１は、シート本体２に取り付けられた加速度センサの出力に基づいて、第１興味スコアと、第２興味スコアとを算出する。第１興味スコアは、ドライブに関する興味の度合いを示し、第２興味スコアは、キャラクタＶに関する興味の度合いを示す。 On the other hand, when the immersive degree of the seated person U is high, the estimation unit 41 calculates the first interest score and the second interest score based on the output of the acceleration sensor attached to the seat body 2. The first interest score indicates the degree of interest in the drive, and the second interest score indicates the degree of interest in the character V.

推定部４１は、第１興味スコアと第２興味スコアとを比較する。ここで、２つの興味スコアが共に予め定めた基準値以下の場合は、推定部４１は、着席者Ｕがコンテンツに対し無関心なユーザータイプであると判定し、上述のように、状態誘導の強いドライブコンテンツの提供を制御部４３に指示する。 The estimation unit 41 compares the first interest score and the second interest score. Here, when both of the two interest scores are equal to or less than the predetermined reference value, the estimation unit 41 determines that the seated person U is a user type who is indifferent to the content, and as described above, the state guidance is strong. Instruct the control unit 43 to provide the drive content.

第１興味スコアが第２興味スコアよりも高い場合は、推定部４１は、着席者ＵがキャラクタＶよりもドライブに関心があるユーザータイプであると判定し、例えばキャラクタＶがガイドとして振る舞う状態誘導の低いドライブコンテンツの提供を制御部４３に指示する。 When the first interest score is higher than the second interest score, the estimation unit 41 determines that the seated person U is a user type who is more interested in driving than the character V, and for example, the state guidance in which the character V acts as a guide. Instructs the control unit 43 to provide low drive content.

第２興味スコアが第１興味スコアよりも高い場合は、推定部４１は、着席者ＵがドライブよりもキャラクタＶに関心があるユーザータイプであると判定し、例えばキャラクタＶが恋人として振る舞う状態誘導の低いデートコンテンツの提供を制御部４３に指示する。 When the second interest score is higher than the first interest score, the estimation unit 41 determines that the seated person U is a user type who is more interested in the character V than the drive, and induces a state in which the character V behaves as a lover, for example. Instructs the control unit 43 to provide low date content.

［１－２．効果］
以上詳述した実施形態によれば、以下の効果が得られる。
（１ａ）着席者の動きをセンサ出力に基づいた特徴量に変換することで、現在のコンテンツに対する着席者の興味を推定できる。その結果、着席者により興味のあるコンテンツを提供すること等によって、着席者の興味を向上できる。 [1-2. effect]
According to the embodiment described in detail above, the following effects can be obtained.
(1a) By converting the movement of the seated person into a feature amount based on the sensor output, it is possible to estimate the seated person's interest in the current content. As a result, the interest of the seated person can be improved by providing the content that is more interesting to the seated person.

（１ｂ）解析精度に左右される言語情報（つまり、着席者の発言内容）を用いずに興味を推定できる。さらに、シート本体２が配置された空間の明るさ、騒音等の環境にセンサ出力が影響されない。そのため、興味の推定精度が高められる。 (1b) Interest can be estimated without using linguistic information (that is, the content of the occupant's remark) that depends on the analysis accuracy. Further, the sensor output is not affected by the environment such as the brightness and noise of the space where the seat body 2 is arranged. Therefore, the accuracy of estimating interest is improved.

（１ｃ）着席者のコンテンツに対する興味の推定結果に基づいて、制御部４３によってコンテンツの内容を制御することで、個々の着席者に最適化されたコンテンツへの変更が適時可能となる。 (1c) By controlling the content of the content by the control unit 43 based on the estimation result of the seated person's interest in the content, it is possible to change to the content optimized for each seated person in a timely manner.

（１ｄ）着席者のコンテンツに対する興味の推定結果をデータとして記録することで、例えば、脈拍、顔の表情等の個人が特定される生体情報を含まない状態で、個人の興味を推定したデータを別のサービス（例えば、マーケティング、広告配信、データの売買等）に提供することができる。 (1d) By recording the estimation result of the seated person's interest in the content as data, the data in which the individual's interest is estimated without including the biometric information that identifies the individual such as pulse and facial expression can be obtained. It can be provided to other services (eg marketing, advertisement distribution, data buying and selling, etc.).

［２．他の実施形態］
以上、本開示の実施形態について説明したが、本開示は、上記実施形態に限定されることなく、種々の形態を採り得ることは言うまでもない。 [2. Other embodiments]
Although the embodiments of the present disclosure have been described above, it is needless to say that the present disclosure is not limited to the above-described embodiments and can take various forms.

（２ａ）上記実施形態の興味推定システム１において、処理装置４は、必ずしも着席者のコンテンツに対する興味の推定結果に基づいて、コンテンツの内容を制御させなくてもよい。また、処理装置４は、必ずしも着席者のコンテンツに対する興味の推定結果をデータとして記録しなくてもよい。 (2a) In the interest estimation system 1 of the above embodiment, the processing device 4 does not necessarily have to control the content of the content based on the estimation result of the seated person's interest in the content. Further, the processing device 4 does not necessarily have to record the estimation result of the seated person's interest in the content as data.

例えば、処理装置４は、興味を推定する機能と、推定結果を記録する機能とだけを有してもよい。また、処理装置４は、興味を推定する機能と、推定結果に基づいてコンテンツ
の内容を制御する機能とだけを有してもよい。 For example, the processing device 4 may have only a function of estimating interest and a function of recording the estimation result. Further, the processing device 4 may have only a function of estimating interest and a function of controlling the content of the content based on the estimation result.

（２ｂ）上記実施形態の興味推定システム１において、加速度センサの数は、１つ又は２つでもよいし、４つ以上であってもよい。例えば、２つのクッション用加速度センサ３Ａ，３Ｂのみがシート本体２に配置されてもよい。 (2b) In the interest estimation system 1 of the above embodiment, the number of acceleration sensors may be one or two, or four or more. For example, only two cushion acceleration sensors 3A and 3B may be arranged on the seat body 2.

（２ｃ）上記実施形態における１つの構成要素が有する機能を複数の構成要素として分散させたり、複数の構成要素が有する機能を１つの構成要素に統合したりしてもよい。また、上記実施形態の構成の一部を省略してもよい。また、上記実施形態の構成の少なくとも一部を、他の上記実施形態の構成に対して付加、置換等してもよい。なお、特許請求の範囲に記載の文言から特定される技術思想に含まれるあらゆる態様が本開示の実施形態である。 (2c) The functions of one component in the above embodiment may be dispersed as a plurality of components, or the functions of the plurality of components may be integrated into one component. Further, a part of the configuration of the above embodiment may be omitted. Further, at least a part of the configuration of the above embodiment may be added or substituted with respect to the other configurations of the above embodiment. It should be noted that all aspects included in the technical idea specified from the wording described in the claims are embodiments of the present disclosure.

１…興味推定システム、２…シート本体、３Ａ…第１クッション用加速度センサ、
３Ｂ…第２クッション用加速度センサ、３Ｃ…バック用加速度センサ、４…処理装置、
１０…移動体、１０Ａ…内部空間、１１…キャラクタ用シート、１２…表示部、
２１…シートクッション、２２…シートバック、４１…推定部、４２…記憶部、
４３…制御部。 1 ... Interest estimation system, 2 ... Seat body, 3A ... Accelerometer for 1st cushion,
3B ... Accelerometer for 2nd cushion, 3C ... Accelerometer for back, 4 ... Processing device,
10 ... moving body, 10A ... internal space, 11 ... character sheet, 12 ... display unit,
21 ... seat cushion, 22 ... seat back, 41 ... estimation part, 42 ... storage part,
43 ... Control unit.

Claims (3)

コンテンツが提供される空間に配置されたシート本体と、
前記シート本体に配置された少なくとも１つの加速度センサと、
前記少なくとも１つの加速度センサの出力に基づいて、前記シート本体に着座した着席者の前記コンテンツに対する興味を推定する処理装置と、
を備える、興味推定システム。 The seat body placed in the space where the content is provided, and
With at least one accelerometer placed on the seat body,
A processing device that estimates the interest of the seated person in the seat body for the content based on the output of the at least one accelerometer.
An interest estimation system. 請求項１に記載の興味推定システムであって、
前記処理装置は、前記着席者の前記コンテンツに対する興味の推定結果に基づいて、前記コンテンツの内容を制御する、興味推定システム。 The interest estimation system according to claim 1.
The processing device is an interest estimation system that controls the content of the content based on the estimation result of the seated person's interest in the content. 請求項１又は請求項２に記載の興味推定システムであって、
前記処理装置は、前記着席者の前記コンテンツに対する興味の推定結果をデータとして記録する、興味推定システム。 The interest estimation system according to claim 1 or 2.
The processing device is an interest estimation system that records the estimation result of the seated person's interest in the content as data.
JP2018247540A 2018-12-28 2018-12-28 Interest estimation system Active JP7095593B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2018247540A JP7095593B2 (en) 2018-12-28 2018-12-28 Interest estimation system

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2018247540A JP7095593B2 (en) 2018-12-28 2018-12-28 Interest estimation system

Publications (2)

Publication Number Publication Date
JP2020107219A JP2020107219A (en) 2020-07-09
JP7095593B2 true JP7095593B2 (en) 2022-07-05

Family

ID=71449176

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018247540A Active JP7095593B2 (en) 2018-12-28 2018-12-28 Interest estimation system

Country Status (1)

Country Link
JP (1) JP7095593B2 (en)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7359095B2 (en) * 2020-07-27 2023-10-11 トヨタ紡織株式会社 Mobile space provision system

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009116697A (en) 2007-11-07 2009-05-28 Sony Corp Information presenting device, information presenting method, and database preparation method
JP2011007963A (en) 2009-06-24 2011-01-13 Tokyo Denki Univ Remote learning system and remote learning method
WO2013140585A1 (en) 2012-03-22 2013-09-26 トヨタ自動車株式会社 Status estimation device
JP2015226708A (en) 2014-06-02 2015-12-17 日本電信電話株式会社 Mental state estimation device and program
JP2018075357A (en) 2016-11-02 2018-05-17 国立大学法人 奈良先端科学技術大学院大学 Sitting posture determination device, chair, sitting posture determination method and program
WO2018088187A1 (en) 2016-11-08 2018-05-17 ソニー株式会社 Information processing device, information processing method, and program
JP2020086592A (en) 2018-11-16 2020-06-04 国立大学法人秋田大学 Method of estimating task contents and concentration state of worker who uses information device to perform task

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009116697A (en) 2007-11-07 2009-05-28 Sony Corp Information presenting device, information presenting method, and database preparation method
JP2011007963A (en) 2009-06-24 2011-01-13 Tokyo Denki Univ Remote learning system and remote learning method
WO2013140585A1 (en) 2012-03-22 2013-09-26 トヨタ自動車株式会社 Status estimation device
JP2015226708A (en) 2014-06-02 2015-12-17 日本電信電話株式会社 Mental state estimation device and program
JP2018075357A (en) 2016-11-02 2018-05-17 国立大学法人 奈良先端科学技術大学院大学 Sitting posture determination device, chair, sitting posture determination method and program
WO2018088187A1 (en) 2016-11-08 2018-05-17 ソニー株式会社 Information processing device, information processing method, and program
JP2020086592A (en) 2018-11-16 2020-06-04 国立大学法人秋田大学 Method of estimating task contents and concentration state of worker who uses information device to perform task

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
大久保 雅史 藤村 安耶，加速度センサーを利用した集中度合い推定システムの提案，第１６回インタラクティブシステムとソフトウェアに関するワークショップ ［ｏｎｌｉｎｅ］，日本，日本ソフトウェア科学会インタラクティブシステムとソフトウェア研究会，2008年11月28日，URL:http://www.wiss.org/WISS2008Proceedings/posters/paper0038.pdf

Also Published As

Publication number Publication date
JP2020107219A (en) 2020-07-09

Similar Documents

Publication Publication Date Title
KR102442811B1 (en) Method and system for operating at least one pair of virtual reality glasses in a car
US20190061655A1 (en) Method and apparatus for motion sickness prevention
JP5187517B2 (en) Information providing apparatus, information providing method, and program
US20020167486A1 (en) Sensing chair as an input device for human-computer interaction
JP2004224315A (en) On-vehicle display device and portable display device
CN112092704B (en) Amusement device for automatically driving vehicle
WO2016189572A1 (en) Amusement facility
JP7095593B2 (en) Interest estimation system
KR20200062287A (en) Method for operating a head mounted electronic display device and display system for displaying virtual content
JP7247784B2 (en) Interest estimation system
JP2020107220A (en) Absorption promotion system
KR102559138B1 (en) Non-contact control system for vehicle
JP2006047478A (en) Virtual reality producing device, virtual reality production controller, and virtual reality production control program
JP4493575B2 (en) MOBILE BODY SIMULATOR, ITS CONTROL METHOD, AND CONTROL PROGRAM
JP7336228B2 (en) Non-contact operating device for vehicle and vehicle
KR101750064B1 (en) Apparatus and method for simulatin virtual experience
JP7298432B2 (en) Sightseeing simulation experience system
WO2019188229A1 (en) Information processing device, information processing method, and program
JP7359095B2 (en) Mobile space provision system
JP7159110B2 (en) Behavior reporting system, behavior reporting device, behavior reporting method, and behavior reporting control program
KR102541593B1 (en) Device and Method for Controlling Boarding Device of VR System
KR102351036B1 (en) Device and Method for Controlling Boarding Device of VR System
JP2021108037A (en) Immersion promotion system
JP7111655B2 (en) Behavior reporting system, behavior reporting device, behavior reporting method, and behavior reporting control program
Okazaki et al. A system for supporting performers in stuffed suits

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210624

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20220419

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20220524

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20220606

R151 Written notification of patent or utility model registration

Ref document number: 7095593

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151