JP6885402B2 - 情報処理装置、情報処理方法、及び、プログラム - Google Patents
情報処理装置、情報処理方法、及び、プログラム Download PDFInfo
- Publication number
- JP6885402B2 JP6885402B2 JP2018523848A JP2018523848A JP6885402B2 JP 6885402 B2 JP6885402 B2 JP 6885402B2 JP 2018523848 A JP2018523848 A JP 2018523848A JP 2018523848 A JP2018523848 A JP 2018523848A JP 6885402 B2 JP6885402 B2 JP 6885402B2
- Authority
- JP
- Japan
- Prior art keywords
- referent
- information
- visible
- additional information
- signboard
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/16—Sound input; Sound output
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
- G06F3/04842—Selection of displayed objects or displayed text elements
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
- G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
- G06F3/038—Control and interface arrangements therefor, e.g. drivers or device-embedded control circuitry
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
- G06F3/04812—Interaction techniques based on cursor appearance or behaviour, e.g. being affected by the presence of displayed objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/40—Processing or translation of natural language
- G06F40/58—Use of machine translation, e.g. for multi-lingual retrieval, for server-side translation for client devices or for real-time translation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
- G06F2203/048—Indexing scheme relating to G06F3/048
- G06F2203/04803—Split screen, i.e. subdividing the display area or the window area into separate subareas
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Human Computer Interaction (AREA)
- Health & Medical Sciences (AREA)
- Audiology, Speech & Language Pathology (AREA)
- General Health & Medical Sciences (AREA)
- Artificial Intelligence (AREA)
- Computational Linguistics (AREA)
- User Interface Of Digital Computer (AREA)
Description
1.実施の形態
2.変形例
{情報処理システム10の構成例}
まず、図1を参照して、本技術を適用した情報処理システム10の構成例について説明する。
次に、図2乃至図12を参照して、情報処理システム10の処理について説明する。
以下、上述した本技術の実施の形態の変形例について説明する。
本技術の適用範囲は、上述した例に限定されるものではない。
図1の情報処理システム10の構成例は、その一例であり、必要に応じて変更することが可能である。
付加情報の生成方法は、上述した例に限定されるものではなく、他の方法を採用することも可能である。
以上の説明では、ユーザの指に装着した情報取得部11の撮影部21により撮影された指示方向画像に基づいて、ユーザの指により指されている指示対象を検出する例を示したが、他の方法により指示対象を検出するようにしてもよい。
本技術に適用可能な指示オブジェクトには、所望の位置を指すことができるものであれば任意のものを採用することができる。例えば、ユーザの指以外の体の一部、例えば、目(視線)、頭部、顔、顔の一部、腕、腕の一部等を指示オブジェクトに用い、それらの部位を用いたジェスチャ等により、所望の位置を指すようにしてもよい。また、例えば、レーザポインタ等のポインティングデバイスやVR(Virtual Reality)デバイス等のデバイスを指示オブジェクトに用いるようにしてもよい。なお、VRデバイスを指示オブジェクトに用いる場合、例えば、VRデバイスの向きにより所望の位置を指すことができる。
指示方向情報リストの項目は、上述した例に限定されるものではなく、必要に応じて変更することが可能である。例えば、詳細情報に、各物体の色、形以外の視覚的な特徴(例えば、模様、素材等)を含めるようにしてもよい。
以上の説明では、指示対象のコンテンツ情報を韓国語からユーザ言語に翻訳する例を示したが、翻訳する言語の組み合わせは、この例に限定されるものではない。また、例えば、翻訳先の言語(ユーザに通知する言語)をユーザが設定できるようにしてもよい。
上述した一連の処理は、ハードウエアにより実行することもできるし、ソフトウエアにより実行することもできる。一連の処理をソフトウエアにより実行する場合には、そのソフトウエアを構成するプログラムが、コンピュータにインストールされる。ここで、コンピュータには、専用のハードウエアに組み込まれているコンピュータや、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどが含まれる。
(1)
三次元空間において指示オブジェクトにより指されている対象である指示対象を検出する指示対象検出部と、
前記指示対象の視認可能なコンテンツを示すコンテンツ情報、及び、前記指示対象に関連する視認可能な特徴を示す付加情報を含む説明情報を生成する情報生成部と、
前記説明情報の音声の出力を制御する出力制御部と
を備える情報処理装置。
(2)
前記情報生成部は、前記指示対象単体の視認可能な特徴と前記指示対象の周囲の視認可能な特徴とを比較して、前記付加情報の情報量を制御する
前記(1)に記載の情報処理装置。
(3)
前記情報生成部は、前記指示対象を周囲と識別できる程度に前記付加情報の情報量を制御する
前記(2)に記載の情報処理装置。
(4)
前記情報生成部は、前記指示対象単体の視認可能な特徴と前記指示対象の周囲の視認可能な特徴とが類似しない場合、前記指示対象単体の視認可能な特徴のみに基づいて前記付加情報を生成し、前記指示対象単体の視認可能な特徴と前記指示対象の周囲の視認可能な特徴とが類似する場合、前記指示対象単体の視認可能な特徴に加えて、前記指示対象の位置及び前記指示対象の周囲の視認可能な特徴のうち少なくとも1つに基づいて前記付加情報を生成する
前記(3)に記載の情報処理装置。
(5)
前記情報生成部は、前記指示対象単体の視認可能な特徴のみに基づいて前記付加情報を生成する場合、前記指示対象単体の視認可能な特徴のうち前記指示対象の周囲の視認可能な特徴と異なる特徴を優先して前記付加情報に含める
前記(4)に記載の情報処理装置。
(6)
前記指示対象単体の視認可能な特徴は、前記指示対象の視覚的な属性を含む
前記(1)乃至(5)のいずれかに記載の情報処理装置。
(7)
前記コンテンツ情報を所定の言語に翻訳する翻訳部を
さらに備え、
前記出力制御部は、前記所定の言語の前記説明情報の音声の出力を制御する
前記(1)乃至(6)のいずれかに記載の情報処理装置。
(8)
前記コンテンツ情報は、前記指示対象の名称、前記指示対象の種類、及び、前記指示対象が視覚的に表しているもののうち少なくとも1つを示す
前記(1)乃至(7)のいずれかに記載の情報処理装置。
(9)
前記指示オブジェクトは、ユーザの体の一部である
前記(1)乃至(8)のいずれかに記載の情報処理装置。
(10)
前記指示対象の周囲を撮影した画像内の物体の検出を行う物体検出部を
さらに備え、
前記指示対象検出部は、前記画像内の物体の中から前記指示対象を検出する
前記(1)乃至(9)のいずれかに記載の情報処理装置。
(11)
三次元空間において指示オブジェクトにより指されている対象である指示対象を検出する指示対象検出ステップと、
前記指示対象の視認可能なコンテンツを示すコンテンツ情報、及び、前記指示対象に関連する視認可能な特徴を示す付加情報を含む説明情報を生成する情報生成ステップと、
前記説明情報の音声の出力を制御する出力制御ステップと
を含む情報処理方法。
(12)
三次元空間において指示オブジェクトにより指されている対象である指示対象を検出する指示対象検出ステップと、
前記指示対象の視認可能なコンテンツを示すコンテンツ情報、及び、前記指示対象に関連する視認可能な特徴を示す付加情報を含む説明情報を生成する情報生成ステップと、
前記説明情報の音声の出力を制御する出力制御ステップと
を含む処理をコンピュータに実行させるためのプログラム。
Claims (11)
- 三次元空間において指示オブジェクトにより指されている対象である指示対象を検出する指示対象検出部と、
前記指示対象の視認可能なコンテンツを示すコンテンツ情報、及び、前記指示対象に関連する視認可能な特徴を示す付加情報を含む説明情報を生成するとともに、前記指示対象単体の視認可能な特徴と前記指示対象の周囲の視認可能な特徴とを比較して、前記付加情報の情報量を制御する情報生成部と、
前記説明情報の音声の出力を制御する出力制御部と
を備える情報処理装置。 - 前記情報生成部は、前記指示対象を周囲と識別できる程度に前記付加情報の情報量を制御する
請求項1に記載の情報処理装置。 - 前記情報生成部は、前記指示対象単体の視認可能な特徴と前記指示対象の周囲の視認可能な特徴とが類似しない場合、前記指示対象単体の視認可能な特徴のみに基づいて前記付加情報を生成し、前記指示対象単体の視認可能な特徴と前記指示対象の周囲の視認可能な特徴とが類似する場合、前記指示対象単体の視認可能な特徴に加えて、前記指示対象の位置及び前記指示対象の周囲の視認可能な特徴のうち少なくとも1つに基づいて前記付加情報を生成する
請求項2に記載の情報処理装置。 - 前記情報生成部は、前記指示対象単体の視認可能な特徴のみに基づいて前記付加情報を生成する場合、前記指示対象単体の視認可能な特徴のうち前記指示対象の周囲の視認可能な特徴と異なる特徴を優先して前記付加情報に含める
請求項3に記載の情報処理装置。 - 前記指示対象単体の視認可能な特徴は、前記指示対象の視覚的な属性を含む
請求項1に記載の情報処理装置。 - 前記コンテンツ情報を所定の言語に翻訳する翻訳部を
さらに備え、
前記出力制御部は、前記所定の言語の前記説明情報の音声の出力を制御する
請求項1に記載の情報処理装置。 - 前記コンテンツ情報は、前記指示対象の名称、前記指示対象の種類、及び、前記指示対象が視覚的に表しているもののうち少なくとも1つを示す
請求項1に記載の情報処理装置。 - 前記指示オブジェクトは、ユーザの体の一部である
請求項1に記載の情報処理装置。 - 前記指示対象の周囲を撮影した画像内の物体の検出を行う物体検出部を
さらに備え、
前記指示対象検出部は、前記画像内の物体の中から前記指示対象を検出する
請求項1に記載の情報処理装置。 - 三次元空間において指示オブジェクトにより指されている対象である指示対象を検出する指示対象検出ステップと、
前記指示対象の視認可能なコンテンツを示すコンテンツ情報、及び、前記指示対象に関連する視認可能な特徴を示す付加情報を含む説明情報を生成するとともに、前記指示対象単体の視認可能な特徴と前記指示対象の周囲の視認可能な特徴とを比較して、前記付加情報の情報量を制御する情報生成ステップと、
前記説明情報の音声の出力を制御する出力制御ステップと
を含む情報処理方法。 - 三次元空間において指示オブジェクトにより指されている対象である指示対象を検出する指示対象検出ステップと、
前記指示対象の視認可能なコンテンツを示すコンテンツ情報、及び、前記指示対象に関連する視認可能な特徴を示す付加情報を含む説明情報を生成するとともに、前記指示対象単体の視認可能な特徴と前記指示対象の周囲の視認可能な特徴とを比較して、前記付加情報の情報量を制御する情報生成ステップと、
前記説明情報の音声の出力を制御する出力制御ステップと
を含む処理をコンピュータに実行させるためのプログラム。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2016123594 | 2016-06-22 | ||
JP2016123594 | 2016-06-22 | ||
PCT/JP2017/021272 WO2017221721A1 (ja) | 2016-06-22 | 2017-06-08 | 情報処理装置、情報処理方法、及び、プログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JPWO2017221721A1 JPWO2017221721A1 (ja) | 2019-04-18 |
JP6885402B2 true JP6885402B2 (ja) | 2021-06-16 |
Family
ID=60784213
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2018523848A Active JP6885402B2 (ja) | 2016-06-22 | 2017-06-08 | 情報処理装置、情報処理方法、及び、プログラム |
Country Status (5)
Country | Link |
---|---|
US (1) | US10922043B2 (ja) |
EP (1) | EP3477434B1 (ja) |
JP (1) | JP6885402B2 (ja) |
CN (1) | CN109313506B (ja) |
WO (1) | WO2017221721A1 (ja) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US11445269B2 (en) * | 2020-05-11 | 2022-09-13 | Sony Interactive Entertainment Inc. | Context sensitive ads |
Family Cites Families (18)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2002207732A (ja) * | 2001-01-10 | 2002-07-26 | Hiroshi Ono | 翻訳装置 |
US8195386B2 (en) * | 2004-09-28 | 2012-06-05 | National University Corporation Kumamoto University | Movable-body navigation information display method and movable-body navigation information display unit |
US7869074B2 (en) * | 2005-09-20 | 2011-01-11 | Brother Kogyo Kabushiki Kaisha | Communication system, information processing device, peripheral device and communication method |
US10073708B2 (en) * | 2008-03-14 | 2018-09-11 | S-Printing Solution Co., Ltd | System and method of providing visual indicators to manage peripheral devices |
JP5245808B2 (ja) | 2008-12-25 | 2013-07-24 | ヤマハ株式会社 | ポインティングシステム |
US8923995B2 (en) * | 2009-12-22 | 2014-12-30 | Apple Inc. | Directional audio interface for portable media device |
JP5211120B2 (ja) * | 2010-07-30 | 2013-06-12 | 株式会社東芝 | 情報表示装置及び情報表示方法 |
JP5692904B2 (ja) * | 2010-11-17 | 2015-04-01 | 任天堂株式会社 | 入力システム、情報処理装置、情報処理プログラム、および指示位置算出方法 |
JP5846738B2 (ja) * | 2011-01-06 | 2016-01-20 | 任天堂株式会社 | 表示制御プログラム、表示装置、表示システム、および、表示制御方法 |
JP5762892B2 (ja) | 2011-09-06 | 2015-08-12 | ビッグローブ株式会社 | 情報表示システム、情報表示方法、及び情報表示用プログラム |
JP5866728B2 (ja) | 2011-10-14 | 2016-02-17 | サイバーアイ・エンタテインメント株式会社 | 画像認識システムを備えた知識情報処理サーバシステム |
US9096920B1 (en) * | 2012-03-22 | 2015-08-04 | Google Inc. | User interface method |
US8452603B1 (en) * | 2012-09-14 | 2013-05-28 | Google Inc. | Methods and systems for enhancement of device accessibility by language-translated voice output of user-interface items |
US9129430B2 (en) * | 2013-06-25 | 2015-09-08 | Microsoft Technology Licensing, Llc | Indicating out-of-view augmented reality images |
JP2017228080A (ja) * | 2016-06-22 | 2017-12-28 | ソニー株式会社 | 情報処理装置、情報処理方法、及び、プログラム |
US10474226B2 (en) * | 2016-11-30 | 2019-11-12 | Seiko Epson Corporation | Head-mounted display device, computer program, and control method for head-mounted display device |
JP6246310B1 (ja) * | 2016-12-22 | 2017-12-13 | 株式会社コロプラ | 仮想空間を提供するための方法、プログラム、および、装置 |
WO2019138661A1 (ja) * | 2018-01-12 | 2019-07-18 | ソニー株式会社 | 情報処理装置および情報処理方法 |
-
2017
- 2017-06-08 CN CN201780036693.1A patent/CN109313506B/zh active Active
- 2017-06-08 JP JP2018523848A patent/JP6885402B2/ja active Active
- 2017-06-08 US US16/307,351 patent/US10922043B2/en active Active
- 2017-06-08 WO PCT/JP2017/021272 patent/WO2017221721A1/ja unknown
- 2017-06-08 EP EP17815190.8A patent/EP3477434B1/en active Active
Also Published As
Publication number | Publication date |
---|---|
EP3477434A1 (en) | 2019-05-01 |
JPWO2017221721A1 (ja) | 2019-04-18 |
EP3477434B1 (en) | 2020-10-21 |
US10922043B2 (en) | 2021-02-16 |
CN109313506A (zh) | 2019-02-05 |
CN109313506B (zh) | 2022-03-08 |
EP3477434A4 (en) | 2019-05-08 |
US20190138261A1 (en) | 2019-05-09 |
WO2017221721A1 (ja) | 2017-12-28 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11557075B2 (en) | Body pose estimation | |
US11176737B2 (en) | Textured mesh building | |
US10713846B2 (en) | Systems and methods for sharing augmentation data | |
US9111384B2 (en) | Systems and methods for obtaining and using augmentation data and for sharing usage data | |
TWI533027B (zh) | 色彩頻道及光學標誌 | |
WO2017221720A1 (ja) | 情報処理装置、情報処理方法、及び、プログラム | |
US11922594B2 (en) | Context-aware extended reality systems | |
US20180197342A1 (en) | Information processing apparatus, information processing method, and program | |
WO2023064719A1 (en) | User interactions with remote devices | |
WO2022179344A1 (en) | Methods and systems for rendering virtual objects in user-defined spatial boundary in extended reality environment | |
JP6885402B2 (ja) | 情報処理装置、情報処理方法、及び、プログラム | |
JP7400810B2 (ja) | 情報処理装置、情報処理方法、及び記録媒体 | |
KR20240054080A (ko) | 전자 장치 및 이의 제어 방법 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20200414 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20210202 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20210302 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20210413 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20210426 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 6885402 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |