JP2019121191A - 操作判定装置及び操作判定方法 - Google Patents
操作判定装置及び操作判定方法 Download PDFInfo
- Publication number
- JP2019121191A JP2019121191A JP2018000735A JP2018000735A JP2019121191A JP 2019121191 A JP2019121191 A JP 2019121191A JP 2018000735 A JP2018000735 A JP 2018000735A JP 2018000735 A JP2018000735 A JP 2018000735A JP 2019121191 A JP2019121191 A JP 2019121191A
- Authority
- JP
- Japan
- Prior art keywords
- user
- image
- fingertip
- processing unit
- captured image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims description 78
- 238000012545 processing Methods 0.000 claims abstract description 166
- 238000011895 specific detection Methods 0.000 claims abstract description 7
- 230000015654 memory Effects 0.000 claims description 72
- 230000008569 process Effects 0.000 claims description 71
- 239000011159 matrix material Substances 0.000 claims description 31
- 230000009471 action Effects 0.000 claims description 8
- 230000001131 transforming effect Effects 0.000 claims 1
- 230000000007 visual effect Effects 0.000 abstract 2
- 238000006243 chemical reaction Methods 0.000 description 19
- 238000001514 detection method Methods 0.000 description 11
- 238000010586 diagram Methods 0.000 description 11
- 230000015572 biosynthetic process Effects 0.000 description 7
- 238000003786 synthesis reaction Methods 0.000 description 7
- 239000008186 active pharmaceutical agent Substances 0.000 description 5
- 230000008859 change Effects 0.000 description 3
- 241001504424 Zosteropidae Species 0.000 description 1
- 230000003190 augmentative effect Effects 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 239000013256 coordination polymer Substances 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
- G06F3/013—Eye tracking input arrangements
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
- B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
- B60R1/001—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles integrated in the windows, e.g. Fresnel lenses
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
- G06F3/0304—Detection arrangements using opto-electronic means
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
- B60R2300/20—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of display used
- B60R2300/205—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of display used using a head-up display
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30041—Eye; Retina; Ophthalmic
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Human Computer Interaction (AREA)
- Mechanical Engineering (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Transportation (AREA)
- Combustion & Propulsion (AREA)
- Optics & Photonics (AREA)
- Multimedia (AREA)
- Chemical & Material Sciences (AREA)
- User Interface Of Digital Computer (AREA)
- Position Input By Displaying (AREA)
- Image Analysis (AREA)
Abstract
Description
10L,10R イメージセンサ
10E 眼用イメージセンサ
10M モーション用イメージセンサ
11 画像処理部
12 操作情報判定部
20,40 ハードウェア処理部
21 論理回路部
22 メモリ部
23 座標化論理回路
24 参照メモリ
30,50 ソフトウェア処理部
31,33 視線ベクトル生成部
32,34 指先位置生成部
35 視線ベクトル合成部
36 指先位置合成部
37 2D視線位置変換部
38 2D指先位置変換部
39 操作判定部
51 視線ベクトル生成部
52 指先位置生成部
53 視線位置変換部
54 指先位置変換部
55 操作判定部
Claims (8)
- 表示画像に対してユーザが非接触で行った操作を判定する操作判定装置であって、
前記ユーザを撮影した撮影画像を取得する画像取得部と、
前記撮影画像に対して画像処理を行い、前記ユーザの視線の位置、前記ユーザの指先の位置、及び前記表示画像に対する前記ユーザの指先の動作を判定する画像処理部と、
を有し、
前記画像処理部は、
前記撮影画像内での前記ユーザの眼及び指先の位置を検出する第1処理部と、
検出された前記撮影画像内での前記ユーザの眼及び指先の位置に基づいて、前記表示画像を表示する表示面に対する前記ユーザの視線及び指先の位置を算出し、前記ユーザの指先の動作を判定する第2処理部と、
を含み、
前記第1処理部は特定の検出処理を実行するハードウェアにより構成され、前記第2処理部は前記第1処理部の出力に応じた処理を実行するソフトウェアにより構成されていることを特徴とする操作判定装置。 - 前記第1処理部は、前記撮影画像内での前記ユーザの眼の位置及び指先の位置を2次元の座標平面における位置座標に変換し、
前記第2処理部は、前記位置座標に基づいて、前記表示面に対する前記ユーザの視線及び指先の位置を算出する、
ことを特徴とする請求項1に記載の操作判定装置。 - 前記第1処理部は、前記撮影画像に対して行列演算を順次実行する複数の論理回路を含み、
前記複数の論理回路による前記行列演算の演算結果に基づいて、前記撮影画像内での前記ユーザの眼及び指先の位置を検出することを特徴とする請求項1又は2に記載の操作判定装置。 - 前記第1処理部は、前記複数の論理回路の前記行列演算の演算結果を夫々格納する複数のメモリを含み、
前記複数の論理回路の各々は、前記複数のメモリのうちの対応するメモリから読み出したデータに基づいて、前記行列演算を実行することを特徴とする請求項3に記載の操作判定装置。 - 前記画像取得部は、前記ユーザを1の方向から撮影した第1の撮影画像と、前記ユーザを他の方向から撮影した第2の撮影画像と、を取得し、
前記第1処理部は、前記第1の撮影画像内での前記ユーザの眼及び指先の位置と、前記第2の撮影画像内での前記ユーザの眼及び指先の位置と、を夫々検出し、
前記第2処理部は、前記第1の撮影画像内での前記ユーザの眼の位置及び前記第2の撮影画像内での前記ユーザの眼の位置に基づいて前記表示面に対する前記ユーザの視線を算出し、前記第1の撮影画像内での前記ユーザの指先の位置及び前記第2の撮影画像内での前記ユーザの指先の位置に基づいて前記表示面に対する前記ユーザの指先の位置を算出する、
ことを特徴とする請求項1乃至4のいずれか1に記載の操作判定装置。 - 前記画像取得部は、前記ユーザの眼を撮影した第1の撮影画像と、前記ユーザの手を撮影した第2の撮影画像と、を取得し、
前記第1処理部は、前記第1の撮影画像内での前記ユーザの眼の位置と、前記第2の撮影画像内での前記ユーザの指先の位置と、を夫々検出し、
前記第2処理部は、前記第1の撮影画像内での前記ユーザの眼の位置に基づいて前記表示面に対する前記ユーザの視線を算出し、前記第2の撮影画像内での前記ユーザの指先の位置に基づいて前記表示面に対する前記ユーザの指先の位置を算出する、
ことを特徴とする請求項1乃至4のいずれか1に記載の操作判定装置。 - 表示画像に対するユーザの非接触での操作を受けるモーション操作装置における操作判定方法であって、
前記ユーザを撮影した撮影画像を取得するステップと、
特定の検出処理を実行するハードウェアにより、前記撮影画像内での前記ユーザの視線及び指先の位置を検出するステップと、
前記表示画像を表示する表示面に対する前記ユーザの視線及び指先の位置をソフトウェアにより算出するステップと、
前記表示画像に対する前記ユーザの指先の動作をソフトウェアにより判定するステップと、
を含むことを特徴とする操作判定方法。 - 前記撮影画像内での前記ユーザの視線及び指先の位置を検出するステップは、
前記ハードウェアに含まれる複数の論理回路により、前記撮影画像に対して行列演算を順次実行するステップと、
前記撮影画像内での前記ユーザの眼及び指先の位置を2次元の座標平面における位置座標に変換するステップと、
を含むことを特徴とする請求項7に記載の操作判定方法。
Priority Applications (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018000735A JP7109193B2 (ja) | 2018-01-05 | 2018-01-05 | 操作判定装置及び操作判定方法 |
CN201910007925.1A CN110001401B (zh) | 2018-01-05 | 2019-01-04 | 操作判定装置以及操作判定方法 |
US16/239,617 US11079840B2 (en) | 2018-01-05 | 2019-01-04 | Operation determination device and operation determination method |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018000735A JP7109193B2 (ja) | 2018-01-05 | 2018-01-05 | 操作判定装置及び操作判定方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2019121191A true JP2019121191A (ja) | 2019-07-22 |
JP7109193B2 JP7109193B2 (ja) | 2022-07-29 |
Family
ID=67140769
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2018000735A Active JP7109193B2 (ja) | 2018-01-05 | 2018-01-05 | 操作判定装置及び操作判定方法 |
Country Status (3)
Country | Link |
---|---|
US (1) | US11079840B2 (ja) |
JP (1) | JP7109193B2 (ja) |
CN (1) | CN110001401B (ja) |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP7031112B1 (ja) | 2020-10-13 | 2022-03-08 | 裕行 池田 | 眼鏡型端末 |
JP2022078706A (ja) * | 2020-11-13 | 2022-05-25 | ディープインサイト株式会社 | ユーザインターフェイス装置、ユーザインターフェイスシステム及びユーザインターフェイス用プログラム |
US11429200B2 (en) | 2020-10-13 | 2022-08-30 | Hiroyuki Ikeda | Glasses-type terminal |
WO2023214451A1 (ja) * | 2022-05-02 | 2023-11-09 | ディープインサイト株式会社 | ユーザインターフェイス装置、ユーザインターフェイスシステム及びユーザインターフェイス用プログラム |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110481419B (zh) * | 2019-08-16 | 2021-12-07 | 广州小鹏汽车科技有限公司 | 一种人车交互方法、***、车辆及存储介质 |
Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH0757103A (ja) * | 1993-08-23 | 1995-03-03 | Toshiba Corp | 情報処理装置 |
JP2005138755A (ja) * | 2003-11-07 | 2005-06-02 | Denso Corp | 虚像表示装置およびプログラム |
KR20100129629A (ko) * | 2009-06-01 | 2010-12-09 | 엘지전자 주식회사 | 움직임 검출에 의한 전자장치 동작 제어방법 및 이를 채용하는 전자장치 |
WO2011158511A1 (ja) * | 2010-06-17 | 2011-12-22 | パナソニック株式会社 | 指示入力装置、指示入力方法、プログラム、記録媒体および集積回路 |
US20140184494A1 (en) * | 2012-12-31 | 2014-07-03 | Giedrius Tomas Burachas | User Centric Interface for Interaction with Visual Display that Recognizes User Intentions |
JP2015041279A (ja) * | 2013-08-22 | 2015-03-02 | 富士通株式会社 | 画像処理装置、画像処理方法および画像処理プログラム |
JP2015107155A (ja) * | 2013-12-03 | 2015-06-11 | 浜松ホトニクス株式会社 | 計測装置及び計測方法 |
JP2017514193A (ja) * | 2014-02-04 | 2017-06-01 | フラウンホーファー−ゲゼルシャフト・ツール・フェルデルング・デル・アンゲヴァンテン・フォルシュング・アインゲトラーゲネル・フェライン | 視線方向を決定するための3d画像分析装置 |
Family Cites Families (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20090322499A1 (en) * | 1995-06-29 | 2009-12-31 | Pryor Timothy R | Programmable tactile touch screen displays and man-machine interfaces for improved vehicle instrumentation and telematics |
JP2010184600A (ja) | 2009-02-12 | 2010-08-26 | Autonetworks Technologies Ltd | 車載用ジェスチャースイッチ装置 |
US9383579B2 (en) * | 2011-10-12 | 2016-07-05 | Visteon Global Technologies, Inc. | Method of controlling a display component of an adaptive display system |
JP6037901B2 (ja) * | 2013-03-11 | 2016-12-07 | 日立マクセル株式会社 | 操作検出装置、操作検出方法及び表示制御データ生成方法 |
JP6217244B2 (ja) * | 2013-08-29 | 2017-10-25 | セイコーエプソン株式会社 | 画像処理装置、これを有する頭部装着型表示装置、画像処理方法およびコンピュータープログラム |
US20190108447A1 (en) * | 2017-11-30 | 2019-04-11 | Intel Corporation | Multifunction perceptrons in machine learning environments |
-
2018
- 2018-01-05 JP JP2018000735A patent/JP7109193B2/ja active Active
-
2019
- 2019-01-04 CN CN201910007925.1A patent/CN110001401B/zh active Active
- 2019-01-04 US US16/239,617 patent/US11079840B2/en active Active
Patent Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH0757103A (ja) * | 1993-08-23 | 1995-03-03 | Toshiba Corp | 情報処理装置 |
JP2005138755A (ja) * | 2003-11-07 | 2005-06-02 | Denso Corp | 虚像表示装置およびプログラム |
KR20100129629A (ko) * | 2009-06-01 | 2010-12-09 | 엘지전자 주식회사 | 움직임 검출에 의한 전자장치 동작 제어방법 및 이를 채용하는 전자장치 |
WO2011158511A1 (ja) * | 2010-06-17 | 2011-12-22 | パナソニック株式会社 | 指示入力装置、指示入力方法、プログラム、記録媒体および集積回路 |
US20140184494A1 (en) * | 2012-12-31 | 2014-07-03 | Giedrius Tomas Burachas | User Centric Interface for Interaction with Visual Display that Recognizes User Intentions |
JP2015041279A (ja) * | 2013-08-22 | 2015-03-02 | 富士通株式会社 | 画像処理装置、画像処理方法および画像処理プログラム |
JP2015107155A (ja) * | 2013-12-03 | 2015-06-11 | 浜松ホトニクス株式会社 | 計測装置及び計測方法 |
JP2017514193A (ja) * | 2014-02-04 | 2017-06-01 | フラウンホーファー−ゲゼルシャフト・ツール・フェルデルング・デル・アンゲヴァンテン・フォルシュング・アインゲトラーゲネル・フェライン | 視線方向を決定するための3d画像分析装置 |
Non-Patent Citations (1)
Title |
---|
坂寄 貴宏 他: "実時間KLT Tracker向きハードウェアエンジンの実現", 画像電子学会誌, vol. 第38巻 第5号, JPN6021046148, 25 September 2009 (2009-09-25), JP, pages 656 - 663, ISSN: 0004644431 * |
Cited By (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP7031112B1 (ja) | 2020-10-13 | 2022-03-08 | 裕行 池田 | 眼鏡型端末 |
JP2022064283A (ja) * | 2020-10-13 | 2022-04-25 | 裕行 池田 | 眼鏡型端末 |
US11429200B2 (en) | 2020-10-13 | 2022-08-30 | Hiroyuki Ikeda | Glasses-type terminal |
JP2022078706A (ja) * | 2020-11-13 | 2022-05-25 | ディープインサイト株式会社 | ユーザインターフェイス装置、ユーザインターフェイスシステム及びユーザインターフェイス用プログラム |
JP7203436B2 (ja) | 2020-11-13 | 2023-01-13 | ディープインサイト株式会社 | ユーザインターフェイス装置、ユーザインターフェイスシステム及びユーザインターフェイス用プログラム |
WO2023214451A1 (ja) * | 2022-05-02 | 2023-11-09 | ディープインサイト株式会社 | ユーザインターフェイス装置、ユーザインターフェイスシステム及びユーザインターフェイス用プログラム |
Also Published As
Publication number | Publication date |
---|---|
CN110001401B (zh) | 2023-07-18 |
US11079840B2 (en) | 2021-08-03 |
CN110001401A (zh) | 2019-07-12 |
JP7109193B2 (ja) | 2022-07-29 |
US20190212814A1 (en) | 2019-07-11 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110001401B (zh) | 操作判定装置以及操作判定方法 | |
US9405977B2 (en) | Using visual layers to aid in initiating a visual search | |
JP6747504B2 (ja) | 情報処理装置、情報処理方法、及びプログラム | |
US11360551B2 (en) | Method for displaying user interface of head-mounted display device | |
JP4533087B2 (ja) | 画像処理方法、画像処理装置 | |
US9043042B2 (en) | Method to map gaze position to information display in vehicle | |
JP5295714B2 (ja) | 表示装置、画像処理方法、及びコンピュータプログラム | |
EP1983402A1 (en) | Input device and its method | |
CN108027656B (zh) | 输入设备、输入方法和程序 | |
JP6039074B2 (ja) | 撮像システム | |
KR20140002007A (ko) | 정보 처리 장치, 정보 처리 방법 및 기록 매체 | |
US9298256B1 (en) | Visual completion | |
CN111868789A (zh) | 信息处理设备、信息处理方法以及程序 | |
JP7075237B2 (ja) | 操作判定装置及び操作判定方法 | |
US11443719B2 (en) | Information processing apparatus and information processing method | |
JP2018153477A (ja) | 視界支援装置及びプログラム | |
JP2016099643A (ja) | 画像処理装置、画像処理方法および画像処理プログラム | |
JP6858007B2 (ja) | 画像処理システム、画像処理方法 | |
JP2018063567A (ja) | 画像処理装置、画像処理方法およびプログラム | |
TW202011154A (zh) | 目標物資訊的預載顯示方法及裝置 | |
JP2021009552A (ja) | 情報処理装置、情報処理方法およびプログラム | |
JP2018032094A (ja) | 画像処理装置、画像処理方法 | |
KR20160062906A (ko) | 고글형 디바이스를 위한 증강현실 키보드 | |
CN117836692A (zh) | 视网膜投影显示*** | |
JP2023139534A (ja) | ジェスチャ認識装置、頭部装着型表示装置、ジェスチャ認識方法、プログラム、および記憶媒体 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20201130 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20211109 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20211124 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20220119 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20220621 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20220719 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7109193 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |