JPWO2017187708A1 - 情報処理装置、情報処理方法、及びプログラム - Google Patents
情報処理装置、情報処理方法、及びプログラム Download PDFInfo
- Publication number
- JPWO2017187708A1 JPWO2017187708A1 JP2018514127A JP2018514127A JPWO2017187708A1 JP WO2017187708 A1 JPWO2017187708 A1 JP WO2017187708A1 JP 2018514127 A JP2018514127 A JP 2018514127A JP 2018514127 A JP2018514127 A JP 2018514127A JP WO2017187708 A1 JPWO2017187708 A1 JP WO2017187708A1
- Authority
- JP
- Japan
- Prior art keywords
- information processing
- display
- candidates
- user
- information
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 230000010365 information processing Effects 0.000 title claims abstract description 327
- 238000003672 processing method Methods 0.000 title claims description 7
- 238000001514 detection method Methods 0.000 claims abstract description 112
- 238000000034 method Methods 0.000 claims description 45
- 230000008569 process Effects 0.000 claims description 23
- 230000003993 interaction Effects 0.000 abstract description 30
- 238000003384 imaging method Methods 0.000 description 69
- 230000004048 modification Effects 0.000 description 46
- 238000012986 modification Methods 0.000 description 46
- 238000010586 diagram Methods 0.000 description 32
- 238000004891 communication Methods 0.000 description 24
- 210000003128 head Anatomy 0.000 description 24
- 210000001508 eye Anatomy 0.000 description 22
- 239000003550 marker Substances 0.000 description 20
- 230000003287 optical effect Effects 0.000 description 14
- 230000009471 action Effects 0.000 description 13
- 210000005252 bulbus oculi Anatomy 0.000 description 12
- 238000005516 engineering process Methods 0.000 description 12
- 230000008859 change Effects 0.000 description 10
- 230000006870 function Effects 0.000 description 10
- 238000012545 processing Methods 0.000 description 10
- 230000004270 retinal projection Effects 0.000 description 6
- 230000001133 acceleration Effects 0.000 description 5
- 238000004590 computer program Methods 0.000 description 5
- 230000000694 effects Effects 0.000 description 5
- 210000003811 finger Anatomy 0.000 description 5
- 125000002066 L-histidyl group Chemical group [H]N1C([H])=NC(C([H])([H])[C@](C(=O)[*])([H])N([H])[H])=C1[H] 0.000 description 4
- 239000011521 glass Substances 0.000 description 4
- 238000004458 analytical method Methods 0.000 description 3
- 239000004065 semiconductor Substances 0.000 description 3
- 230000000007 visual effect Effects 0.000 description 3
- 238000012937 correction Methods 0.000 description 2
- 238000010801 machine learning Methods 0.000 description 2
- 230000001151 other effect Effects 0.000 description 2
- 230000004044 response Effects 0.000 description 2
- 210000001525 retina Anatomy 0.000 description 2
- 206010020675 Hypermetropia Diseases 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 230000005484 gravity Effects 0.000 description 1
- 230000004886 head movement Effects 0.000 description 1
- 238000010191 image analysis Methods 0.000 description 1
- 230000001678 irradiating effect Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 230000004807 localization Effects 0.000 description 1
- 238000007726 management method Methods 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000000691 measurement method Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000003058 natural language processing Methods 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 230000005236 sound signal Effects 0.000 description 1
- 210000003813 thumb Anatomy 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
- G06F3/013—Eye tracking input arrangements
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
- G06F3/04842—Selection of displayed objects or displayed text elements
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
- G06F3/147—Digital output to display device ; Cooperation and interconnection of the display device with other functional units using display panels
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/20—Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/20—Scenes; Scene-specific elements in augmented reality scenes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/161—Detection; Localisation; Normalisation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/18—Eye characteristics, e.g. of the iris
- G06V40/193—Preprocessing; Feature extraction
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G3/00—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
- G09G3/001—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes using specific devices not provided for in groups G09G3/02 - G09G3/36, e.g. using an intermediate record carrier such as a film slide; Projection systems; Display of non-alphanumerical information, solely or in combination with alphanumerical information, e.g. digital display on projected diapositive as background
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G2340/00—Aspects of display data processing
- G09G2340/04—Changes in size, position or resolution of an image
- G09G2340/0464—Positioning
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G2340/00—Aspects of display data processing
- G09G2340/14—Solving problems related to the presentation of information to be displayed
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G2354/00—Aspects of interface with display user
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
- G09G5/36—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory
- G09G5/38—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory with means for controlling the display position
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Human Computer Interaction (AREA)
- Multimedia (AREA)
- Computer Hardware Design (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Ophthalmology & Optometry (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Architecture (AREA)
- Computer Graphics (AREA)
- Software Systems (AREA)
- Oral & Maxillofacial Surgery (AREA)
- User Interface Of Digital Computer (AREA)
- Controls And Circuits For Display Device (AREA)
Abstract
【解決手段】所定の出力部に1以上の表示情報を表示させる制御部と、視覚的に視認可能なオブジェクトに対する操作を検出する検出部と、前記操作の検出結果に応じて、当該操作の対象となる表示情報の候補を特定する特定部と、を備え、前記制御部は、特定された前記候補が複数存在する場合に、当該複数の候補が互いに離間するように、少なくともいずれかの候補の表示位置を制御する、情報処理装置。
【選択図】図4
Description
前記操作の検出結果に応じて、当該操作の対象となる表示情報の候補を特定することと、特定された前記候補が複数存在する場合に、当該複数の候補が互いに離間するように、少なくともいずれかの候補の表示位置を制御することと、を含む、情報処理方法が提供される。
1.概要
1.1.概略構成
1.2.入出力装置の構成
1.3.自己位置推定の原理
2.インタラクションに関する検討
3.技術的特徴
3.1.基本原理
3.2.機能構成
3.3.処理
4.変形例
4.1.変形例1:表示対象の特性に応じた表示制御の一例
4.2.変形例2:システムの特性に応じた表示制御の一例
4.3.変形例3:視線を誘導する位置の制御例
4.4.変形例4:候補以外の表示情報の表示制御の一例
4.5.変形例5:視線を誘導するための制御の一例
4.6.変形例6:優先度に応じた制御の一例
4.7.変形例7:状態や状況に応じた制御の一例
5.適用例
5.1.適用例1:スマートフォンやタブレット端末への適用例
5.2.適用例2:テーブルトップシステムへの適用例
5.3.適用例3:タッチ操作を採用する場合の制御の一例
6.ハードウェア構成
7.むすび
<1.1.概略構成>
まず、図1を参照して、本開示の一実施形態に係る情報処理システムの概略的な構成の一例について説明する。図1は、本開示の一実施形態に係る情報処理システムの概略的な構成の一例について説明するための説明図である。図1において、参照符号M11は、実空間上に位置する物体(即ち、実オブジェクト)を模式的に示している。また、参照符号V131及びV135は、実空間上に重畳するように提示される仮想的なコンテンツ(即ち、仮想オブジェクト)を模式的に示している。即ち、本実施形態に係る情報処理システム1は、所謂AR技術に基づき、例えば、実オブジェクトM111等の実空間上の物体に対して、仮想オブジェクトを重畳してユーザに提示する。なお、図1では、本実施形態に係る情報処理システムの特徴をよりわかりやすくするために、実オブジェクトと仮想オブジェクトとの双方をあわせて提示している。
続いて、図2を参照して、図1に示した本実施形態に係る入出力装置20の概略的な構成の一例について説明する。図2は、本実施形態に係る入出力装置の概略的な構成の一例について説明するための説明図である。
次いで、入出力装置20が、実オブジェクトに対して仮想オブジェクトを重畳させる際に、実空間上における自身の位置及び姿勢を推定するための手法(即ち、自己位置推定)の原理の一例について説明する。
続いて、情報処理システムとユーザとの間のインタラクションの一例について、特に、視覚的に視認可能に提示された対象(例えば、実オブジェクトや仮想オブジェクト等)に対して操作を行う場合に着目して説明したうえで、本実施形態に係る情報処理システムの課題について整理する。
以下に、本実施形態に係る情報処理システムの技術的特徴について説明する。
まず、図4を参照して、本実施形態に係る情報処理システム1が、視覚的に視認可能に提示された複数の対象に対して選択的に操作が行われるような状況下において、ユーザにより指定された対象をより精度良く特定するための動作の代表的な一例について基本原理を説明する。図4は、本実施形態に係る情報処理システムの動作の基本原理について説明するための説明図である。なお、図4に示す例では、図3に示す例と同様に、AR技術に基づき実空間上に重畳された仮想オブジェクトを、ユーザが視線により操作対象として指定する場合の一例を示している。
続いて、図6を参照して、本実施形態に係る情報処理システム1の機能構成の一例について説明する。図6は、本実施形態に係る情報処理システムの機能構成の一例を示したブロック図である。
続いて、図7を参照して、本実施形態に係る情報処理システム1の一連の処理の流れの一例について、特に情報処理装置10の処理に着目して説明する。図7は、本実施形態に係る情報処理システムの一連の処理の流れの一例を示したフローチャートである。
続いて、本実施形態に係る情報処理システムの変形例について説明する。
まず、変形例1として、情報処理システム1が、操作対象の候補として特定した表示情報の表示制御の一例について、特に、操作対象の候補として特定した表示情報の特性に応じた制御に着目して説明する。本実施形態に係る情報処理システム1は、操作対象の候補として特定された複数の表示情報を互いに離間させることで、ユーザが実際に操作対象として指定していた表示情報に、当該ユーザの視線を誘導することで、当該表示情報を特定する。そのため、情報処理システム1は、操作対象の候補として特定した表示情報の特性や、当該表示情報の表示位置を制御してもよい。
続いて、変形例2として、情報処理システム1が、操作対象の候補として特定した表示情報の表示制御の一例について、特に、当該情報処理システム1を構成する各デバイスの特性に応じた制御に着目して説明する。
続いて、変形例3として、周囲の環境や状況に応じて視線を誘導する位置を制御する場合の一例について説明する。
続いて、変形例4として、操作対象の候補として特定された表示情報とは異なる他の表示情報の表示を制御する場合の一例について説明する。
続いて、変形例5として、ユーザの視線をより好適な態様で誘導するための制御の一例について説明する。
続いて、変形例6として、各種状態や状況に応じて選択対象に対して優先度を設定し(即ち、重み付けを行い)、当該優先度を利用することで、ユーザとの間のインタラクションをより好適な態様で実現するための制御の一例について説明する。
上記において一部の例としても説明したように、本実施形態に係る情報処理システム1は、各種状態や状況に応じて制御を切り替えてもよい。そこで、変形例7として、各種状態や状況に応じた制御の他の一例について以下に説明する。
続いて、本実施形態に係る情報処理システム1の適用例について説明する。
まず、適用例1として、図17を参照して、本実施形態に係る情報処理システムを、所謂スマートフォンやタブレット端末等のように、画面に表示された表示情報に対するタッチ操作によりユーザ入力を行う装置に適用した場合の一例について説明する。図17は、本実施形態に係る情報処理システムの第1の適用例について説明するための説明図であり、上述した本実施形態に係る情報処理システムによるユーザとの間のインタラクションをスマートフォンに適用した場合の一例を示している。
続いて、適用例2として、図18及び図19を参照して本実施形態に係る情報処理システムを、所謂テーブルトップシステムに適用した場合の一例について説明する。図18及び図19は、本実施形態に係る情報処理システムの第2の適用例について説明するための説明図である。なお、以降の説明では、適用例2に係る情報処理システムを、前述した実施形態に係る情報処理システム1と区別するために、「情報処理システム3」と称する場合がある。
続いて、適用例3として、図20及び図21を参照して、前述した適用例1及び2のように、ユーザが情報を入力するための手段としてタッチ操作を採用する場合における制御の一例について説明する。
次に、図22を参照しながら、前述した情報処理装置10及び入出力装置20のように、本実施形態に係る情報処理システム1を構成する情報処理装置900のハードウェア構成について、詳細に説明する。図22は、本開示の一実施形態に係る情報処理システム1を構成する情報処理装置900のハードウェア構成の一例を示す機能ブロック図である。
以上説明したように、本実施形態に情報処理システム1において、情報処理装置10は、所定の出力部211に1以上の表示情報(例えば、仮想オブジェクト)を表示させ、視覚的に視認可能なオブジェクト(例えば、実オブジェクトや仮想オブジェクト)に対する操作を検出する。また、情報処理装置10は、操作の検出結果に応じて、当該操作の対象となる表示情報の候補を特定し、特定された候補が複数存在する場合には、当該複数の候補が互いに離間するように、少なくともいずれかの候補の表示位置を制御する。このような構成に基づき、本実施形態に係る情報処理システム1は、操作対象の候補として特定した複数の表示情報のうち、本来ユーザが操作対象として指定していた表示情報に、当該ユーザの操作を誘導する。これにより、情報処理システム1は、視覚的に視認可能に提示された複数の対象に対して選択的に操作を行うような状況下においても、より自然な態様で、ユーザとの間のインタラクションを実現することが可能となる。
(1)
所定の出力部に1以上の表示情報を表示させる制御部と、
視覚的に視認可能なオブジェクトに対する操作を検出する検出部と、
前記操作の検出結果に応じて、当該操作の対象となる表示情報の候補を特定する特定部と、
を備え、
前記制御部は、特定された前記候補が複数存在する場合に、当該複数の候補が互いに離間するように、少なくともいずれかの候補の表示位置を制御する、
情報処理装置。
(2)
前記制御部は、前記候補の特定に関する所定の条件に基づき、特定された前記複数の候補のうち、少なくともいずれかの候補の表示位置を制御する、前記(1)に記載の情報処理装置。
(3)
前記検出部は、ユーザの視線に基づく操作を検出し、
前記特定部は、検出された前記視線が示す位置に応じて、前記操作の対象となる前記表示情報の候補を特定する、
前記(1)または(2)に記載の情報処理装置。
(4)
前記制御部は、特定された前記複数の候補が、前記ユーザに対して所定の方向に位置するように、当該複数の候補のうちすくなくともいずれかの候補の表示位置を制御する、前記(3)に記載の情報処理装置。
(5)
前記検出部は、前記視線に基づく第1の操作と、当該第1の操作とは異なる第2の操作とを検出し、
前記特定部は、前記第2の操作の検出をトリガとして、前記第1の操作の検出結果に応じて、前記操作の対象となる前記表示情報の候補を特定する、
前記(3)または(4)に記載の情報処理装置。
(6)
以降に入力される操作を予測する予測部を備え、
前記制御部は、前記操作の予測結果に応じて、特定された前記複数の候補のうち、少なくともいずれかの候補の表示位置を制御する、
前記(1)〜(5)のいずれか一項に記載の情報処理装置。
(7)
前記予測部は、特定された前記複数の候補のうち、少なくともいずれかの候補に関連付けられた処理に応じて、以降に入力される操作を予測する、前記(6)に記載の情報処理装置。
(8)
前記制御部は、特定された前記複数の候補間に設定された優先度に応じて、当該複数の候補のうちすくなくともいずれかの候補の表示位置を制御する、前記(1)〜(7)のいずれか一項に記載の情報処理装置。
(9)
前記制御部は、特定された前記複数の候補から、前記優先度のより低い少なくとも一部の候補を除外する、前記(8)に記載の情報処理装置。
(10)
前記優先度は、前記操作により指定された位置と、前記オブジェクトまたは当該オブジェクトに関連付けられた前記表示情報との間の位置関係に応じて設定される、前記(8)または(9)に記載の情報処理装置。
(11)
前記優先度は、前記オブジェクトまたは当該オブジェクトに関連付けられた前記表示情報に対する操作の頻度に応じて設定される、前記(8)または(9)に記載の情報処理装置。
(12)
前記オブジェクトは、実空間上に位置する実オブジェクトであり、
前記制御部は、前記表示情報が前記実オブジェクトに対して重畳するように、当該表示情報を前記出力部に表示させる、前記(1)〜(11)のいずれか一項に記載の情報処理装置。
(13)
前記実オブジェクトを認識する認識部を備え、
前記制御部は、前記実オブジェクトの認識結果に応じて、特定された前記複数の候補のうち、少なくともいずれかの候補の表示位置を制御する、
前記(12)に記載の情報処理装置。
(14)
前記制御部は、前記操作の対象として特定された前記候補の表示位置に応じて、当該操作の対象以外の他の候補の表示を制御する、前記(1)〜(13)のいずれか一項に記載の情報処理装置。
(15)
前記制御部は、前記操作の対象として特定された前記候補の表示位置に応じて、前記他の候補の表示位置を制御する、前記(14)に記載の情報処理装置。
(16)
前記制御部は、前記他の候補の表示を制限する、前記(14)に記載の情報処理装置。
(17)
前記制御部は、特定された前記複数の候補のうち、少なくともいずれかの候補に設定された属性に応じて、当該候補の表示位置を制御する、前記(1)〜(16)のいずれか一項に記載の情報処理装置。
(18)
前記制御部は、ユーザの状態に応じて、特定された前記複数の候補のうち、少なくともいずれかの候補の表示位置を制御する、前記(1)〜(17)のいずれか一項に記載の情報処理装置。
(19)
コンピュータシステムが、
所定の出力部に1以上の表示情報を表示させることと、
視覚的に視認可能なオブジェクトに対する操作を検出することと、
前記操作の検出結果に応じて、当該操作の対象となる表示情報の候補を特定することと、
特定された前記候補が複数存在する場合に、当該複数の候補が互いに離間するように、少なくともいずれかの候補の表示位置を制御することと、
を含む、情報処理方法。
(20)
コンピュータシステムに、
所定の出力部に1以上の表示情報を表示させることと、
視覚的に視認可能なオブジェクトに対する操作を検出することと、
前記操作の検出結果に応じて、当該操作の対象となる表示情報の候補を特定することと、
特定された前記候補が複数存在する場合に、当該複数の候補が互いに離間するように、少なくともいずれかの候補の表示位置を制御することと、
を実行させる、プログラム。
10 情報処理装置
20 入出力装置
101 認識部
103 視線検出部
105 トリガ検出部
107 対象特定部
109 処理実行部
111 表示制御部
151 記憶部
201 撮像部
211 出力部
251 検知部
253 入力部
Claims (20)
- 所定の出力部に1以上の表示情報を表示させる制御部と、
視覚的に視認可能なオブジェクトに対する操作を検出する検出部と、
前記操作の検出結果に応じて、当該操作の対象となる表示情報の候補を特定する特定部と、
を備え、
前記制御部は、特定された前記候補が複数存在する場合に、当該複数の候補が互いに離間するように、少なくともいずれかの候補の表示位置を制御する、
情報処理装置。 - 前記制御部は、前記候補の特定に関する所定の条件に基づき、特定された前記複数の候補のうち、少なくともいずれかの候補の表示位置を制御する、請求項1に記載の情報処理装置。
- 前記検出部は、ユーザの視線に基づく操作を検出し、
前記特定部は、検出された前記視線が示す位置に応じて、前記操作の対象となる前記表示情報の候補を特定する、
請求項1に記載の情報処理装置。 - 前記制御部は、特定された前記複数の候補が、前記ユーザに対して所定の方向に位置するように、当該複数の候補のうちすくなくともいずれかの候補の表示位置を制御する、請求項3に記載の情報処理装置。
- 前記検出部は、前記視線に基づく第1の操作と、当該第1の操作とは異なる第2の操作とを検出し、
前記特定部は、前記第2の操作の検出をトリガとして、前記第1の操作の検出結果に応じて、前記操作の対象となる前記表示情報の候補を特定する、
請求項3に記載の情報処理装置。 - 以降に入力される操作を予測する予測部を備え、
前記制御部は、前記操作の予測結果に応じて、特定された前記複数の候補のうち、少なくともいずれかの候補の表示位置を制御する、
請求項1に記載の情報処理装置。 - 前記予測部は、特定された前記複数の候補のうち、少なくともいずれかの候補に関連付けられた処理に応じて、以降に入力される操作を予測する、請求項6に記載の情報処理装置。
- 前記制御部は、特定された前記複数の候補間に設定された優先度に応じて、当該複数の候補のうちすくなくともいずれかの候補の表示位置を制御する、請求項1に記載の情報処理装置。
- 前記制御部は、特定された前記複数の候補から、前記優先度のより低い少なくとも一部の候補を除外する、請求項8に記載の情報処理装置。
- 前記優先度は、前記操作により指定された位置と、前記オブジェクトまたは当該オブジェクトに関連付けられた前記表示情報との間の位置関係に応じて設定される、請求項8に記載の情報処理装置。
- 前記優先度は、前記オブジェクトまたは当該オブジェクトに関連付けられた前記表示情報に対する操作の頻度に応じて設定される、請求項8に記載の情報処理装置。
- 前記オブジェクトは、実空間上に位置する実オブジェクトであり、
前記制御部は、前記表示情報が前記実オブジェクトに対して重畳するように、当該表示情報を前記出力部に表示させる、請求項1に記載の情報処理装置。 - 前記実オブジェクトを認識する認識部を備え、
前記制御部は、前記実オブジェクトの認識結果に応じて、特定された前記複数の候補のうち、少なくともいずれかの候補の表示位置を制御する、
請求項12に記載の情報処理装置。 - 前記制御部は、前記操作の対象として特定された前記候補の表示位置に応じて、当該操作の対象以外の他の候補の表示を制御する、請求項1に記載の情報処理装置。
- 前記制御部は、前記操作の対象として特定された前記候補の表示位置に応じて、前記他の候補の表示位置を制御する、請求項14に記載の情報処理装置。
- 前記制御部は、前記他の候補の表示を制限する、請求項14に記載の情報処理装置。
- 前記制御部は、特定された前記複数の候補のうち、少なくともいずれかの候補に設定された属性に応じて、当該候補の表示位置を制御する、請求項1に記載の情報処理装置。
- 前記制御部は、ユーザの状態に応じて、特定された前記複数の候補のうち、少なくともいずれかの候補の表示位置を制御する、請求項1に記載の情報処理装置。
- コンピュータシステムが、
所定の出力部に1以上の表示情報を表示させることと、
視覚的に視認可能なオブジェクトに対する操作を検出することと、
前記操作の検出結果に応じて、当該操作の対象となる表示情報の候補を特定することと、
特定された前記候補が複数存在する場合に、当該複数の候補が互いに離間するように、少なくともいずれかの候補の表示位置を制御することと、
を含む、情報処理方法。 - コンピュータシステムに、
所定の出力部に1以上の表示情報を表示させることと、
視覚的に視認可能なオブジェクトに対する操作を検出することと、
前記操作の検出結果に応じて、当該操作の対象となる表示情報の候補を特定することと、
特定された前記候補が複数存在する場合に、当該複数の候補が互いに離間するように、少なくともいずれかの候補の表示位置を制御することと、
を実行させる、プログラム。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2016088361 | 2016-04-26 | ||
JP2016088361 | 2016-04-26 | ||
PCT/JP2017/004475 WO2017187708A1 (ja) | 2016-04-26 | 2017-02-08 | 情報処理装置、情報処理方法、及びプログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JPWO2017187708A1 true JPWO2017187708A1 (ja) | 2019-02-28 |
JP7092028B2 JP7092028B2 (ja) | 2022-06-28 |
Family
ID=60160228
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2018514127A Active JP7092028B2 (ja) | 2016-04-26 | 2017-02-08 | 情報処理装置、情報処理方法、及びプログラム |
Country Status (5)
Country | Link |
---|---|
US (1) | US11017257B2 (ja) |
EP (1) | EP3451135A4 (ja) |
JP (1) | JP7092028B2 (ja) |
CN (1) | CN109074212B (ja) |
WO (1) | WO2017187708A1 (ja) |
Families Citing this family (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP6607149B2 (ja) * | 2016-06-29 | 2019-11-20 | カシオ計算機株式会社 | 経営支援装置及びプログラム |
CN107995478B (zh) * | 2017-12-13 | 2019-08-27 | 歌尔股份有限公司 | 投影方法及投影设备 |
JP6453501B1 (ja) * | 2018-02-01 | 2019-01-16 | 株式会社Cygames | 複合現実システム、プログラム、方法、及び携帯端末装置 |
JP2021140195A (ja) | 2018-05-31 | 2021-09-16 | ソニーグループ株式会社 | 情報処理装置、情報処理方法およびプログラム |
JP7293039B2 (ja) * | 2019-08-16 | 2023-06-19 | キヤノン株式会社 | 撮像装置およびその制御方法 |
FR3105440A1 (fr) | 2019-12-20 | 2021-06-25 | Orange | Assistant et procédé d’assistance de recherche d’un élément dans une zone |
WO2021131562A1 (ja) * | 2019-12-27 | 2021-07-01 | キヤノン株式会社 | 電子機器、電子機器の制御方法、プログラムおよび記憶媒体 |
JP2023068212A (ja) * | 2020-03-31 | 2023-05-17 | 株式会社Nttドコモ | 情報処理システム |
CN114003123A (zh) * | 2020-07-28 | 2022-02-01 | 华为技术有限公司 | 控件移动方法和电子设备 |
JP2022131777A (ja) * | 2021-02-26 | 2022-09-07 | キヤノン株式会社 | 情報処理装置、それを含むシステム、情報処理方法およびプログラム |
JP2022171084A (ja) * | 2021-04-30 | 2022-11-11 | キヤノン株式会社 | 撮像装置及びその制御方法、並びにプログラム |
EP4340965A1 (en) * | 2021-05-19 | 2024-03-27 | Telefonaktiebolaget LM Ericsson (publ) | Prioritizing rendering by extended reality rendering device responsive to rendering prioritization rules |
US11759711B2 (en) * | 2021-09-28 | 2023-09-19 | Sony Group Corporation | Method for quasi-random placement of virtual items in an extended reality (XR) space |
Citations (26)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2002082751A (ja) * | 2000-09-08 | 2002-03-22 | Mitsubishi Electric Corp | 仮想空間とのインタラクション装置およびこれを応用した仮想空間システム |
JP2006126936A (ja) * | 2004-10-26 | 2006-05-18 | Canon Inc | 画像処理方法、画像処理装置 |
JP2006178842A (ja) * | 2004-12-24 | 2006-07-06 | Matsushita Electric Ind Co Ltd | 情報提示装置 |
JP2007233511A (ja) * | 2006-02-28 | 2007-09-13 | Konami Digital Entertainment:Kk | オブジェクト表示装置、オブジェクト配置方法、および、プログラム |
WO2009016736A1 (ja) * | 2007-07-31 | 2009-02-05 | Xanavi Informatics Corporation | 地図表示装置 |
JP2011509480A (ja) * | 2008-01-10 | 2011-03-24 | ソニー エリクソン モバイル コミュニケーションズ, エービー | 3dグラフィカルユーザインタフェースをナビゲートするためのシステム及び方法 |
JP2011175470A (ja) * | 2010-02-24 | 2011-09-08 | Brother Industries Ltd | データ入力装置 |
JP2011191811A (ja) * | 2010-03-11 | 2011-09-29 | Sony Corp | 情報処理装置、情報処理方法およびプログラム |
JP2012022632A (ja) * | 2010-07-16 | 2012-02-02 | Canon Inc | 情報処理装置およびその制御方法 |
US20120229381A1 (en) * | 2011-03-10 | 2012-09-13 | Microsoft Corporation | Push personalization of interface controls |
JP2012217101A (ja) * | 2011-04-01 | 2012-11-08 | Canon Inc | 情報処理装置及びその制御方法、プログラム、並びに記憶媒体 |
JP2013524390A (ja) * | 2010-04-16 | 2013-06-17 | クアルコム,インコーポレイテッド | 仮想キーボード寸法をユーザの指のサイズに動的に相関させるための装置および方法 |
JP2014504413A (ja) * | 2010-12-16 | 2014-02-20 | マイクロソフト コーポレーション | 理解および意図に基づく拡張現実表示用コンテンツ |
JP2014086063A (ja) * | 2012-10-29 | 2014-05-12 | Kyocera Corp | 電子機器、視線入力プログラムおよび視線入力方法 |
JP2014126997A (ja) * | 2012-12-26 | 2014-07-07 | Denso Corp | 操作装置、及び操作検出方法 |
JP2014142882A (ja) * | 2013-01-25 | 2014-08-07 | Nikon Corp | 視線入力装置 |
JP2014164572A (ja) * | 2013-02-26 | 2014-09-08 | Sharp Corp | 情報処理装置およびプログラム |
WO2014188565A1 (ja) * | 2013-05-23 | 2014-11-27 | パイオニア株式会社 | 表示制御装置 |
WO2014207971A1 (ja) * | 2013-06-26 | 2014-12-31 | パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ | ユーザインタフェース装置及び表示オブジェクト操作方法 |
JP2015503162A (ja) * | 2011-12-06 | 2015-01-29 | トムソン ライセンシングThomson Licensing | 3次元で表示されるオブジェクトのユーザの選択ジェスチャに応答する方法およびシステム |
JP2015114757A (ja) * | 2013-12-10 | 2015-06-22 | ソニー株式会社 | 情報処理装置、情報処理方法及びプログラム |
WO2015159550A1 (ja) * | 2014-04-18 | 2015-10-22 | 日本電気株式会社 | 情報処理システム、制御方法、及びプログラム記録媒体 |
JP2016018252A (ja) * | 2014-07-04 | 2016-02-01 | 三菱電機株式会社 | 情報処理装置及び情報処理方法及びプログラム |
JP2016509705A (ja) * | 2012-12-19 | 2016-03-31 | クアルコム,インコーポレイテッド | 視線追跡を使用して拡張現実を可能にする |
JP2016218981A (ja) * | 2015-05-26 | 2016-12-22 | ソニー株式会社 | 表示装置、情報処理システム及び制御方法 |
JP2017027206A (ja) * | 2015-07-17 | 2017-02-02 | キヤノン株式会社 | 情報処理装置、仮想オブジェクトの操作方法、コンピュータプログラム、及び記憶媒体 |
Family Cites Families (17)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP5104679B2 (ja) * | 2008-09-11 | 2012-12-19 | ブラザー工業株式会社 | ヘッドマウントディスプレイ |
EP2395420B1 (en) * | 2009-02-05 | 2018-07-11 | Panasonic Intellectual Property Corporation of America | Information display device and information display method |
JP5315111B2 (ja) * | 2009-03-31 | 2013-10-16 | 株式会社エヌ・ティ・ティ・ドコモ | 端末装置、情報提示システム及び端末画面表示方法 |
AU2009251135B2 (en) * | 2009-12-23 | 2013-03-21 | Canon Kabushiki Kaisha | Method of interfacing with multi-point display device |
US8499257B2 (en) * | 2010-02-09 | 2013-07-30 | Microsoft Corporation | Handles interactions for human—computer interface |
US9335120B2 (en) * | 2010-08-19 | 2016-05-10 | Evrio, Inc. | Display indicating aiming point relative to target size indicator |
JP2012070081A (ja) | 2010-09-21 | 2012-04-05 | Fuji Xerox Co Ltd | 画像表示装置、画像表示プログラム及び画像表示システム |
JP5723149B2 (ja) * | 2010-12-29 | 2015-05-27 | 任天堂株式会社 | 画像処理システム、画像処理プログラム、画像処理方法及び画像処理装置 |
JP5724543B2 (ja) * | 2011-03-31 | 2015-05-27 | ソニー株式会社 | 端末装置、オブジェクト制御方法及びプログラム |
WO2013049248A2 (en) * | 2011-09-26 | 2013-04-04 | Osterhout Group, Inc. | Video display modification based on sensor input for a see-through near-to-eye display |
US9405463B2 (en) * | 2011-11-25 | 2016-08-02 | Samsung Electronics Co., Ltd. | Device and method for gesturally changing object attributes |
CN103472909B (zh) * | 2012-04-10 | 2017-04-12 | 微软技术许可有限责任公司 | 用于头戴式、增强现实显示器的逼真遮挡 |
GB201303707D0 (en) * | 2013-03-01 | 2013-04-17 | Tosas Bautista Martin | System and method of interaction for mobile devices |
CN105339866B (zh) * | 2013-03-01 | 2018-09-07 | 托比股份公司 | 延迟扭曲凝视交互 |
US20150062164A1 (en) * | 2013-09-05 | 2015-03-05 | Seiko Epson Corporation | Head mounted display, method of controlling head mounted display, computer program, image display system, and information processing apparatus |
GB201414609D0 (en) * | 2014-08-18 | 2014-10-01 | Tosas Bautista Martin | Systems and methods for dealing with augmented reality overlay issues |
US20170180680A1 (en) * | 2015-12-21 | 2017-06-22 | Hai Yu | Object following view presentation method and system |
-
2017
- 2017-02-08 JP JP2018514127A patent/JP7092028B2/ja active Active
- 2017-02-08 CN CN201780024847.5A patent/CN109074212B/zh active Active
- 2017-02-08 EP EP17788997.9A patent/EP3451135A4/en active Pending
- 2017-02-08 US US16/082,343 patent/US11017257B2/en active Active
- 2017-02-08 WO PCT/JP2017/004475 patent/WO2017187708A1/ja active Application Filing
Patent Citations (26)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2002082751A (ja) * | 2000-09-08 | 2002-03-22 | Mitsubishi Electric Corp | 仮想空間とのインタラクション装置およびこれを応用した仮想空間システム |
JP2006126936A (ja) * | 2004-10-26 | 2006-05-18 | Canon Inc | 画像処理方法、画像処理装置 |
JP2006178842A (ja) * | 2004-12-24 | 2006-07-06 | Matsushita Electric Ind Co Ltd | 情報提示装置 |
JP2007233511A (ja) * | 2006-02-28 | 2007-09-13 | Konami Digital Entertainment:Kk | オブジェクト表示装置、オブジェクト配置方法、および、プログラム |
WO2009016736A1 (ja) * | 2007-07-31 | 2009-02-05 | Xanavi Informatics Corporation | 地図表示装置 |
JP2011509480A (ja) * | 2008-01-10 | 2011-03-24 | ソニー エリクソン モバイル コミュニケーションズ, エービー | 3dグラフィカルユーザインタフェースをナビゲートするためのシステム及び方法 |
JP2011175470A (ja) * | 2010-02-24 | 2011-09-08 | Brother Industries Ltd | データ入力装置 |
JP2011191811A (ja) * | 2010-03-11 | 2011-09-29 | Sony Corp | 情報処理装置、情報処理方法およびプログラム |
JP2013524390A (ja) * | 2010-04-16 | 2013-06-17 | クアルコム,インコーポレイテッド | 仮想キーボード寸法をユーザの指のサイズに動的に相関させるための装置および方法 |
JP2012022632A (ja) * | 2010-07-16 | 2012-02-02 | Canon Inc | 情報処理装置およびその制御方法 |
JP2014504413A (ja) * | 2010-12-16 | 2014-02-20 | マイクロソフト コーポレーション | 理解および意図に基づく拡張現実表示用コンテンツ |
US20120229381A1 (en) * | 2011-03-10 | 2012-09-13 | Microsoft Corporation | Push personalization of interface controls |
JP2012217101A (ja) * | 2011-04-01 | 2012-11-08 | Canon Inc | 情報処理装置及びその制御方法、プログラム、並びに記憶媒体 |
JP2015503162A (ja) * | 2011-12-06 | 2015-01-29 | トムソン ライセンシングThomson Licensing | 3次元で表示されるオブジェクトのユーザの選択ジェスチャに応答する方法およびシステム |
JP2014086063A (ja) * | 2012-10-29 | 2014-05-12 | Kyocera Corp | 電子機器、視線入力プログラムおよび視線入力方法 |
JP2016509705A (ja) * | 2012-12-19 | 2016-03-31 | クアルコム,インコーポレイテッド | 視線追跡を使用して拡張現実を可能にする |
JP2014126997A (ja) * | 2012-12-26 | 2014-07-07 | Denso Corp | 操作装置、及び操作検出方法 |
JP2014142882A (ja) * | 2013-01-25 | 2014-08-07 | Nikon Corp | 視線入力装置 |
JP2014164572A (ja) * | 2013-02-26 | 2014-09-08 | Sharp Corp | 情報処理装置およびプログラム |
WO2014188565A1 (ja) * | 2013-05-23 | 2014-11-27 | パイオニア株式会社 | 表示制御装置 |
WO2014207971A1 (ja) * | 2013-06-26 | 2014-12-31 | パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ | ユーザインタフェース装置及び表示オブジェクト操作方法 |
JP2015114757A (ja) * | 2013-12-10 | 2015-06-22 | ソニー株式会社 | 情報処理装置、情報処理方法及びプログラム |
WO2015159550A1 (ja) * | 2014-04-18 | 2015-10-22 | 日本電気株式会社 | 情報処理システム、制御方法、及びプログラム記録媒体 |
JP2016018252A (ja) * | 2014-07-04 | 2016-02-01 | 三菱電機株式会社 | 情報処理装置及び情報処理方法及びプログラム |
JP2016218981A (ja) * | 2015-05-26 | 2016-12-22 | ソニー株式会社 | 表示装置、情報処理システム及び制御方法 |
JP2017027206A (ja) * | 2015-07-17 | 2017-02-02 | キヤノン株式会社 | 情報処理装置、仮想オブジェクトの操作方法、コンピュータプログラム、及び記憶媒体 |
Non-Patent Citations (3)
Title |
---|
伊藤 和幸 他: "注視点の仮想拡大表示による視線入力補助方法", 日本バーチャルリアリティ学会論文誌, vol. 第6巻 第3号, JPN6021043064, 2001, JP, pages 185 - 191, ISSN: 0004630685 * |
伊藤 和幸 他: "重度肢体不自由者向けの視線入力コミュニケーション装置", 電子情報通信学会論文誌 D[オンライン], vol. 83, no. 5, JPN6021043062, May 2000 (2000-05-01), JP, pages 495 - 503, ISSN: 0004630687 * |
蜂巣 健一: "ディスプレイユーザインタフェース[第2回]", 映像情報メディア学会誌, vol. 第68巻 、第8号, JPN6021043063, 2014, JP, pages 636 - 42, ISSN: 0004630686 * |
Also Published As
Publication number | Publication date |
---|---|
US11017257B2 (en) | 2021-05-25 |
JP7092028B2 (ja) | 2022-06-28 |
WO2017187708A1 (ja) | 2017-11-02 |
EP3451135A4 (en) | 2019-04-24 |
US20190026589A1 (en) | 2019-01-24 |
CN109074212A (zh) | 2018-12-21 |
EP3451135A1 (en) | 2019-03-06 |
CN109074212B (zh) | 2021-12-31 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
WO2017187708A1 (ja) | 情報処理装置、情報処理方法、及びプログラム | |
US11093045B2 (en) | Systems and methods to augment user interaction with the environment outside of a vehicle | |
CN110647237B (zh) | 在人工现实环境中基于手势的内容共享 | |
KR102473259B1 (ko) | 시선 타겟 애플리케이션 런처 | |
JPWO2017104207A1 (ja) | 情報処理装置、情報処理方法、及びプログラム | |
WO2019187487A1 (ja) | 情報処理装置、情報処理方法、およびプログラム | |
JP2017129904A (ja) | 情報処理装置、情報処理方法、及び記録媒体 | |
WO2019142560A1 (ja) | 視線を誘導する情報処理装置 | |
US11803233B2 (en) | IMU for touch detection | |
US11151804B2 (en) | Information processing device, information processing method, and program | |
CN109844600B (zh) | 信息处理设备、信息处理方法和程序 | |
CN108369451B (zh) | 信息处理装置、信息处理方法及计算机可读存储介质 | |
WO2018179661A1 (ja) | 情報処理装置、情報処理方法およびプログラム | |
JPWO2018146922A1 (ja) | 情報処理装置、情報処理方法、及びプログラム | |
US20230086766A1 (en) | Attention tracking to augment focus transitions | |
WO2021241110A1 (ja) | 情報処理装置、情報処理方法及びプログラム | |
WO2019054037A1 (ja) | 情報処理装置、情報処理方法、およびプログラム | |
EP3851939A1 (en) | Positioning a user-controlled spatial selector based on extremity tracking information and eye tracking information | |
US20210232219A1 (en) | Information processing apparatus, information processing method, and program | |
US11768535B1 (en) | Presenting computer-generated content based on extremity tracking | |
EP4220355A1 (en) | Information processing device, information processing method, and program | |
EP2886173B1 (en) | Augmented reality overlay for control devices | |
WO2023069591A1 (en) | Object-based dual cursor input and guiding system | |
CN115877942A (zh) | 电子设备以及通过检测用户眼睛的状态来控制其的方法 | |
WO2023049746A1 (en) | Attention tracking to augment focus transitions |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20190208 |
|
RD03 | Notification of appointment of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7423 Effective date: 20190214 |
|
RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20190222 |
|
RD02 | Notification of acceptance of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7422 Effective date: 20190515 |
|
RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20190522 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20200117 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20200117 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20210330 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20210525 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20211102 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20211228 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20220517 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20220530 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 7092028 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |