JP7117454B2 - 支援方法、および支援システム - Google Patents
支援方法、および支援システム Download PDFInfo
- Publication number
- JP7117454B2 JP7117454B2 JP2021511720A JP2021511720A JP7117454B2 JP 7117454 B2 JP7117454 B2 JP 7117454B2 JP 2021511720 A JP2021511720 A JP 2021511720A JP 2021511720 A JP2021511720 A JP 2021511720A JP 7117454 B2 JP7117454 B2 JP 7117454B2
- Authority
- JP
- Japan
- Prior art keywords
- display
- functional component
- augmented reality
- information terminal
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims description 22
- 230000006870 function Effects 0.000 claims description 61
- 230000003190 augmentative effect Effects 0.000 claims description 54
- 238000012545 processing Methods 0.000 description 40
- 238000001514 detection method Methods 0.000 description 23
- 238000004891 communication Methods 0.000 description 19
- 238000010586 diagram Methods 0.000 description 7
- 230000008859 change Effects 0.000 description 6
- 230000008569 process Effects 0.000 description 4
- 239000004065 semiconductor Substances 0.000 description 2
- 230000001133 acceleration Effects 0.000 description 1
- 230000003044 adaptive effect Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000001747 exhibiting effect Effects 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000003825 pressing Methods 0.000 description 1
- 238000012800 visualization Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
- G06Q50/10—Services
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Business, Economics & Management (AREA)
- Human Computer Interaction (AREA)
- Tourism & Hospitality (AREA)
- Health & Medical Sciences (AREA)
- Economics (AREA)
- General Health & Medical Sciences (AREA)
- Human Resources & Organizations (AREA)
- Marketing (AREA)
- Primary Health Care (AREA)
- Strategic Management (AREA)
- General Business, Economics & Management (AREA)
- User Interface Of Digital Computer (AREA)
- Traffic Control Systems (AREA)
- Processing Or Creating Images (AREA)
Description
カメラおよびディスプレイを有する情報端末を用いて機能の把握を支援する支援方法であって、
前記カメラで得られた撮影画像を前記ディスプレイに表示する第1表示工程と、
前記第1表示工程で前記ディスプレイに表示された撮影画像内に含まれる機能部品を特定する特定工程と、
前記特定工程で特定された前記機能部品に関する機能を把握するユーザの意思が検出された場合、当該機能部品が実際に操作されたときの動作状態を示す拡張現実画像を、前記カメラで得られた前記撮影画像に重ね合わせて前記ディスプレイに表示する第2表示工程と、
を含み、
前記第2表示工程では、前記拡張現実画像として、前記機能部品の実際の操作により現れる不可視の情報を可視化して前記ディスプレイに表示する、ことを特徴とする。
本発明に係る第1実施形態について説明する。図1は、本実施形態の支援システム100の構成を示すブロック図である。本実施形態の支援システムは、ユーザによる車両の機能の把握を支援するためのシステムであり、情報端末10と、サーバ装置20(クラウド)と、ネットワークNTWとを含みうる。ここで、車両としては、例えば四輪車や鞍乗型車両(二輪車、三輪車)などが挙げられ、本実施形態では、車両として四輪車を例示して説明する。また、情報端末10としては、例えばスマートフォンやタブレット端末などが用いられ、本実施形態では、情報端末10としてタブレット端末を用いる例について説明する。スマートフォンおよびタブレット端末は、通話機能以外の様々な機能を有する携帯端末のことであるが、ディスプレイの寸法が互いに異なる。一般的には、タブレット端末の方が、スマートフォンよりディスプレイの寸法が大きい。
次に、支援システム100の処理シーケンスについて説明する。図2は、情報端末10とサーバ装置20との間で行われる処理を示すシーケンス図である。
次に、支援プログラムが実行されたときに情報端末10で行われる処理について説明する。図3は、情報端末10の処理部11で行われる処理を示すフローチャートである。
上記実施形態では、拡張現実画像のデータがサーバ装置20の記憶部22に記憶されている例を説明したが、それに限られず、拡張現実画像のデータが情報端末10の記憶部22に記憶されていてもよい。この場合、情報端末10とサーバ装置20との間でデータの送受信を行う必要がなくなるため、オフラインの情報端末10においても上記の支援プログラムを実行することができる。
1.上記実施形態の支援方法は、
カメラ(例えば13)およびディスプレイ(例えば14)を有する情報端末(例えば10)を用いて機能の把握を支援する支援方法であって、
前記カメラで得られた撮影画像を前記ディスプレイに表示する第1表示工程と、
前記第1表示工程で前記ディスプレイに表示された撮影画像内に含まれる機能部品(例えば2a~2d)を特定する特定工程と、
前記特定工程で特定された前記機能部品に関する機能を把握するユーザの意思が検出された場合、当該機能部品が実際に操作されたときの動作状態を示す拡張現実画像を、前記カメラで得られた前記撮影画像に重ね合わせて前記ディスプレイに表示する第2表示工程と、を含む。
この構成によれば、機能および機能部品の操作に関するマニュアルを確認しなくても、機能部品を操作することによりどのように機能が発揮されるのかを視覚的に且つ直感的に把握することが可能となる。即ち、ユーザは、当該機能を疑似体験することができるため、当該機能の把握を容易に行うことが可能となる。
前記第2表示工程では、前記拡張現実画像として、前記機能部品が実際に操作されたときに機能を発揮する物体の状態、および、前記機能部品が実際に操作されたときの前記物体の周辺環境のうち少なくとも一方を前記ディスプレイに表示する。
この構成によれば、物体の機能をより視覚的に把握させることができるため、ユーザにとって物体の機能の把握をより容易に行うことが可能となる。
前記第2表示工程では、前記拡張現実画像として、前記機能部品の実際の操作により現れる不可視の情報を可視化して前記ディスプレイに表示する。
この構成によれば、どのような方法で機能を発揮させているのかを視覚的に把握することができるため、ユーザにとって機能の把握をより容易に行うことが可能となる。
前記不可視の情報は、前記機能部品の実際の操作により射出される電波を含む。
この構成によれば、機能を発揮させるために射出される電波を視覚的に表すことにより、ユーザにとって機能の把握をより容易に行うことが可能となる。
前記第2表示工程では、前記機能部品に関する機能を把握するユーザの意思として、ユーザによる前記ディスプレイ上での前記機能部品の操作を検出する。
この構成によれば、ユーザが機能を把握したいとの意思を的確に検出することが可能となる。
前記機能部品は、車両に設けられた部品であり、
前記第2表示工程では、前記機能部品が実際に操作されたときの前記車両の動作状態を示す前記拡張現実画像を前記ディスプレイに表示する。
この構成によれば、車両の機能および機能部品の操作に関するマニュアルを確認しなくても、機能部品を操作することによりどのように車両の機能が発揮されるのかを視覚的に且つ直感的に把握することが可能となる。
Claims (6)
- カメラおよびディスプレイを有する情報端末を用いて機能の把握を支援する支援方法であって、
前記カメラで得られた撮影画像を前記ディスプレイに表示する第1表示工程と、
前記第1表示工程で前記ディスプレイに表示された撮影画像内に含まれる機能部品を特定する特定工程と、
前記特定工程で特定された前記機能部品に関する機能を把握するユーザの意思が検出された場合、当該機能部品が実際に操作されたときの動作状態を示す拡張現実画像を、前記カメラで得られた前記撮影画像に重ね合わせて前記ディスプレイに表示する第2表示工程と、
を含み、
前記第2表示工程では、前記拡張現実画像として、前記機能部品の実際の操作により現れる不可視の情報を可視化して前記ディスプレイに表示する、ことを特徴とする支援方法。 - 前記第2表示工程では、前記拡張現実画像として、前記機能部品が実際に操作されたときに機能を発揮する物体の状態、および、前記機能部品が実際に操作されたときの前記物体の周辺環境のうち少なくとも一方を前記ディスプレイに表示する、ことを特徴とする請求項1に記載の支援方法。
- 前記不可視の情報は、前記機能部品の実際の操作により射出される電波を含む、ことを特徴とする請求項1に記載の支援方法。
- 前記第2表示工程では、前記機能部品に関する機能を把握するユーザの意思として、ユーザによる前記ディスプレイ上での前記機能部品の操作を検出する、ことを特徴とする請求項1乃至3のいずれか1項に記載の支援方法。
- 前記機能部品は、車両に設けられた部品であり、
前記第2表示工程では、前記機能部品が実際に操作されたときの前記車両の動作状態を示す前記拡張現実画像を前記ディスプレイに表示する、ことを特徴とする請求項1乃至4のいずれか1項に記載の支援方法。 - カメラおよびディスプレイを有する情報端末を用いて機能の把握を支援する支援システムであって、
前記情報端末は、
前記カメラで得られた撮影画像を前記ディスプレイに表示する第1表示手段と、
前記第1表示手段により前記ディスプレイに表示された撮影画像内に含まれる機能部品を特定する特定手段と、
前記特定手段により特定された前記機能部品に関する機能を把握するユーザの意思が検出された場合、当該機能部品が実際に操作されたときの動作状態を示す拡張現実画像を、前記カメラで得られた前記撮影画像に重ね合わせて前記ディスプレイに表示する第2表示手段と、
を含み、
前記第2表示手段は、前記拡張現実画像として、前記機能部品の実際の操作により現れる不可視の情報を可視化して前記ディスプレイに表示する、ことを特徴とする支援システム。
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
PCT/JP2019/014252 WO2020202345A1 (ja) | 2019-03-29 | 2019-03-29 | 支援方法、および支援システム |
Publications (2)
Publication Number | Publication Date |
---|---|
JPWO2020202345A1 JPWO2020202345A1 (ja) | 2021-12-02 |
JP7117454B2 true JP7117454B2 (ja) | 2022-08-12 |
Family
ID=72667270
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2021511720A Active JP7117454B2 (ja) | 2019-03-29 | 2019-03-29 | 支援方法、および支援システム |
Country Status (3)
Country | Link |
---|---|
JP (1) | JP7117454B2 (ja) |
CN (1) | CN113396382A (ja) |
WO (1) | WO2020202345A1 (ja) |
Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2015118556A (ja) | 2013-12-18 | 2015-06-25 | マイクロソフト コーポレーション | コントロールデバイスのための拡張現実オーバーレイ |
Family Cites Families (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2015043180A (ja) * | 2013-08-26 | 2015-03-05 | ブラザー工業株式会社 | 画像処理プログラム |
KR102105463B1 (ko) * | 2013-09-02 | 2020-04-28 | 엘지전자 주식회사 | 이동 단말기 및 그것의 제어 방법 |
KR101667732B1 (ko) * | 2015-01-23 | 2016-10-19 | 엘지전자 주식회사 | 이동 단말기 및 그 제어 방법 |
KR101979694B1 (ko) * | 2016-11-04 | 2019-05-17 | 엘지전자 주식회사 | 차량에 구비된 차량 제어 장치 및 그의 제어방법 |
-
2019
- 2019-03-29 JP JP2021511720A patent/JP7117454B2/ja active Active
- 2019-03-29 CN CN201980091159.XA patent/CN113396382A/zh active Pending
- 2019-03-29 WO PCT/JP2019/014252 patent/WO2020202345A1/ja active Application Filing
Patent Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2015118556A (ja) | 2013-12-18 | 2015-06-25 | マイクロソフト コーポレーション | コントロールデバイスのための拡張現実オーバーレイ |
Also Published As
Publication number | Publication date |
---|---|
WO2020202345A1 (ja) | 2020-10-08 |
CN113396382A (zh) | 2021-09-14 |
JPWO2020202345A1 (ja) | 2021-12-02 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
EP2826689B1 (en) | Mobile terminal | |
EP3090235B1 (en) | Input/output functions related to a portable device in an automotive environment | |
JP5921320B2 (ja) | 表示システム、携帯装置、車載装置、及び、プログラム | |
WO2015136874A1 (ja) | 表示制御装置、表示装置、表示制御プログラム、表示制御方法、及び記録媒体 | |
US20160097651A1 (en) | Image display apparatus and operating method of image display apparatus | |
WO2021082483A1 (en) | Method and apparatus for controlling vehicle | |
CN105966311B (zh) | 用于校准摄像机的方法、车辆用的设备和计算机程序产品 | |
US9881482B2 (en) | Method and device for displaying information of a system | |
JP5047650B2 (ja) | 車載カメラシステム | |
JP2007106353A (ja) | 車両用情報表示装置及び車両用情報表示システム | |
JP2010128619A (ja) | 入力装置、車両周辺監視装置、アイコンスイッチ選択方法及びプログラム | |
US20180056787A1 (en) | Method for operating a communication device for a motor vehicle during an autonomous drive mode, communication device as well as motor vehicle | |
CN114764319A (zh) | 智能座舱多屏互动***、方法及可读存储介质 | |
CN115793852A (zh) | 基于座舱区域获取操作指示的方法、显示方法及相关设备 | |
CN107709931B (zh) | 导航***及导航装置 | |
WO2015004784A1 (ja) | 車両用情報表示装置及び車両用情報表示方法 | |
JP7117454B2 (ja) | 支援方法、および支援システム | |
US20210034207A1 (en) | Operation image display device, operation image display system, and operation image display program | |
CN109189068B (zh) | 泊车控制方法、装置及存储介质 | |
JP2009190675A (ja) | 車両用操作装置 | |
JP2022174351A (ja) | 自動駐車支援システム | |
JP6424775B2 (ja) | 情報表示装置 | |
JP2014215327A (ja) | 情報表示装置、車載器および情報表示システム | |
US20200231099A1 (en) | Image processing apparatus | |
CN108871356B (zh) | 一种行车导航方法、移动终端 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20210803 |
|
A524 | Written submission of copy of amendment under article 19 pct |
Free format text: JAPANESE INTERMEDIATE CODE: A527 Effective date: 20210803 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20210803 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20220704 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20220801 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7117454 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |