JP2020118024A - 装置操作システムおよび装置制御方法 - Google Patents
装置操作システムおよび装置制御方法 Download PDFInfo
- Publication number
- JP2020118024A JP2020118024A JP2020005275A JP2020005275A JP2020118024A JP 2020118024 A JP2020118024 A JP 2020118024A JP 2020005275 A JP2020005275 A JP 2020005275A JP 2020005275 A JP2020005275 A JP 2020005275A JP 2020118024 A JP2020118024 A JP 2020118024A
- Authority
- JP
- Japan
- Prior art keywords
- gesture
- movement
- unit
- instruction
- user
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 36
- 239000013598 vector Substances 0.000 claims abstract description 144
- 238000004458 analytical method Methods 0.000 claims abstract description 51
- 230000002123 temporal effect Effects 0.000 claims abstract description 14
- 238000004364 calculation method Methods 0.000 claims description 13
- 238000000605 extraction Methods 0.000 claims description 8
- 238000010586 diagram Methods 0.000 description 15
- 238000009434 installation Methods 0.000 description 4
- 238000003384 imaging method Methods 0.000 description 3
- 238000013473 artificial intelligence Methods 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 238000013528 artificial neural network Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 239000005357 flat glass Substances 0.000 description 1
Images
Landscapes
- Power-Operated Mechanisms For Wings (AREA)
- Window Of Vehicle (AREA)
- User Interface Of Digital Computer (AREA)
Abstract
Description
以下、本発明の実施の形態を図面に基づいて詳細に説明する。図1は、本発明の実施の形態1である装置操作システムを用いたパワーウインド装置(被作動装置)の構成を示す説明図であり、本発明の方法も図1のパワーウインド装置にて実施される。図1のパワーウインド装置1は、自動車の側面に設けられたドア2の窓(ドアウインド)3を開閉するための装置であり、窓開閉用のモータ(駆動部)4によって駆動される。なお、以下の記載では、運転席側のドアウインドを例に取って説明するが、助手席側の窓や後部座席の窓にも当該システムは適用可能である。
(1)振幅
・振幅の大きさ第1下限:150[pix/dt]→2pt
・振幅の大きさ第2下限:100[pix/dt]→1pt
(2)周波数範囲
・周波数の下限:0.5[Hz]
・周波数の上限:3.1[Hz]
→上限〜下限の範囲に入り、かつX成分とY成分の周波数が同値であれば2pt
→X成分とY成分の周波数が共に上限〜下限の範囲に入れば1pt
(3)位相差(X成分とY成分)
・位相差の第1範囲:60−120[deg]→2pt
・位相差の第2範囲:30−150[deg]→1pt
前記判別閾値では、振幅の大きさは、ユーザの手の動きの範囲に対応しており、手回し動作の場合、X成分とY成分共にピーク値が存在する(手をスライド動作させた場合には、スライド動作方向と異なる成分のピーク値が出にくい)。また、振幅の値は円の直径に相当する。この場合、振幅が100[pix/dt]未満の状態は、ユーザの動きが小さいことを意味しており、ノイズも多くなるため、ユーザのサインはなし、と判断する。振幅の大きさが100〜150の場合は、ユーザの手の動きはある程度大きく、円運動の可能性はあるがサインではない可能性もある。一方、150を超えた場合には、サインとしての円運動と判断できる。したがって、評価ポイントして、振幅が100〜150の場合は1pt、150を超えた場合は2ptを付与する。
次に、周波数範囲は、ユーザの手の動きの速さに対応しており、振幅がピーク値を示す周波数が上限以上ではサインとしては動きが早すぎ、下限以下では動きが遅すぎる。このため、上限・下限を外れた場合は、ユーザのサインである可能性が低い。これに対し、上限〜下限の範囲に入ればユーザのサインである可能性が高い。そこで、周波数が上限〜下限に入った場合は1ptを付与する。また、手回し動作の場合、理想的な円運動であれば、X成分とY成分共に同じ周波数になる可能性が高い。したがって、周波数が上限〜下限に入り、かつX成分とY成分で同値となった場合は2ptを付与する。図9(a)では、2Hz付近に振幅のピーク値があり、これは、1秒間に2回転程度の円運動のサインをユーザが発している状態を示している。
図9(b)に示したX成分とY成分の位相差は、ユーザのサインが完全な円運動であれば90度となる。このため、第1範囲ならば円運動と判断し2pt、第2範囲ならば疑いの余地が残るため1ptとし、それ以外の範囲の場合には円運動ではないと判断しポイントは付与しない。そして、ジェスチャ判別部27は、各項目のポイントを加算し、3要素をどれだけ満たしているかによって判別する。すなわち、5ptを取得した場合は、「ジェスチャあり:円運動」と判断する。一方、5ptに満たない場合は、ジェスチャがあったものの窓開閉を求めるユーザのサインではない、として「操作なし」と判断する。なお、位相差の判定に際しては、位相差算出の容易性から、最大振幅となる周波数(図9(a)では2Hz)の動きベクトルの位相差を用いることが好適である。
次に、本発明の実施の形態2として、ユーザが窓を開閉したいサインを発している間だけ窓の開閉を行い、ドアウインドを任意の位置で止められるようにしたシステムについて説明する。図10は、本発明の実施の形態2である装置操作システムの構成を示すブロック図である。なお、実施の形態2では、実施の形態1と同様の部分や部材、処理等については、実施の形態1と同一の番号を付しその説明は省略する。
前述の実施形態では、予めROM29に格納した閾値によって、FFT解析後のデータを判定しているが、教師付学習のAI(Artificial Intelligence)によるニューラルネットワーク判定を行っても良い。この場合、例えば、複数人分(50人分など)の開閉ジェスチャ動作の画像データやFFT解析結果、開閉ジェスチャではない画像データやFFT解析結果をROM29に格納し、ジェスチャ判別部27にパターン学習させてジェスチャ判定を行わせる。
2 ドア
3 ドアウインド
4 モータ
5 ウインドレギュレータ
6 窓開口部
7 ドアパネル
8 パワーウインド開閉スイッチ
9 ハンドル
10 装置操作システム
11 カメラ
12 ジェスチャ認識装置
13 窓開閉制御装置
21 特徴点抽出部
22 特徴ベクトル算出部
23 特徴ベクトルトラッキング部
24 動きベクトル算出部
25 動きベクトル処理部
26 動きベクトル解析部
27 ジェスチャ判別部
28 RAM
29 ROM
30 装置操作システム
31 ジェスチャ停止認識装置
32 ジェスチャ判定装置
33 ジェスチャ停止動作判別部
P 特徴点
Claims (15)
- 装置使用者によるスイッチ操作に基づいて作動する被作動装置の操作システムであって、
前記被作動装置を作動させるための駆動部と、
前記装置使用者のジェスチャを撮影する撮影部と、
前記撮影部にて撮影された画像データを解析し、該ジェスチャによる前記装置使用者の指示を認識するジェスチャ認識部と、
前記ジェスチャ認識部における認識結果に基づき、前記装置使用者の指示に従って前記駆動部の動作を制御する制御部と、を有することを特徴とする装置操作システム。 - 請求項1記載の装置操作システムにおいて、
前記ジェスチャは前記装置使用者の身体の動きであり、前記装置使用者は前記身体の動きにより前記被作動装置の動作を指示し、
前記撮影部は、前記装置使用者の前記身体の動きを撮影し、
前記ジェスチャ認識部は、前記身体の動きから前記装置使用者の指示を認識し、
前記制御部は、前記装置使用者の前記身体の動きによる指示に基づいて前記駆動部の動作を制御することを特徴とする装置操作システム。 - 請求項1又は2記載の装置操作システムにおいて、
前記制御部は、前記ジェスチャの運動方向に基づいて、前記被作動装置の動作形態を制御することを特徴とする装置操作システム。 - 請求項1〜3の何れか1項に記載の装置操作システムにおいて、
前記ジェスチャ認識部は、
前記画像データから、複数個の特徴点を選び出す特徴点抽出部と、
前記各特徴点に付随する特徴ベクトルを算出する特徴ベクトル算出部と、
撮影時点を異にする複数の前記画像データの前記特徴ベクトルを比較し、前記特徴ベクトルが近似する前記特徴点を検出し、該特徴点の時間的な動きを把握する特徴ベクトルトラッキング部と、
前記特徴ベクトルトラッキング部にて把握した前記特徴点の動きを該特徴点の動きベクトルとして算出する動きベクトル算出部と、
複数の前記動きベクトルから、前記動きベクトルの時間的な変化を示す時系列データを作成する動きベクトル処理部と、
前記動きベクトル処理部にて得られた前記時系列データを所定の判別閾値を用いて解析する動きベクトル解析部と、
前記動きベクトル解析部の解析結果に基づいて、前記装置使用者のジェスチャによる指示を判別するジェスチャ判別部と、を有することを特徴とする装置操作システム。 - 請求項4記載の装置操作システムにおいて、
前記動きベクトル解析部は、前記時系列データのそれぞれについてFFT解析を行い、前記動きベクトルの周波数ごとの振幅値を取得し、
前記ジェスチャ判別部は、前記振幅値から、周波数の範囲と振幅の大きさについての所定の閾値に基づいて前記装置使用者のジェスチャを検出し、該ジェスチャによる前記装置使用者の指示を判別することを特徴とする装置操作システム。 - 請求項4記載の装置操作システムにおいて、
前記動きベクトル解析部は、前記時系列データのそれぞれについてFFT解析を行い、
前記ジェスチャ判別部は、最大振幅となる周波数の位相差に基づいて前記装置使用者のジェスチャを検出し、該ジェスチャによる前記装置使用者の指示を判別することを特徴とする装置操作システム。 - 請求項1〜6の何れか1項に記載の装置操作システムにおいて、
前記被作動装置は自動車のパワーウインド装置であり、
前記撮影部は、前記自動車の乗員によるジェスチャを撮影し、
前記ジェスチャ認識部は、前記乗員のジェスチャから前記乗員からの窓の開閉についての指示を認識し、
前記制御部は、前記乗員の前記ジェスチャによる窓の開閉指示に基づいて前記駆動部の動作を制御し、前記窓の開閉を行うことを特徴とする装置操作システム。 - 請求項7記載の装置操作システムにおいて、
前記ジェスチャは前記乗員の手の動きであり、前記乗員は前記手の動きにより前記自動車の窓の開閉動作を指示し、
前記撮影部は、前記装置使用者の前記手の動きを撮影し、
前記ジェスチャ認識部は、前記手の動きから前記乗員による前記窓の開閉についての指示を認識し、
前記制御部は、前記乗員の前記手の運動方向により、前記窓の開閉動作を制御することを特徴とする装置操作システム。 - 請求項8記載の装置操作システムにおいて、
前記制御部は、前記乗員の手が第1の方向に回転運動したときは前記窓を開放するよう前記駆動部を作動させ、前記乗員の手が第2の方向に回転運動したときは前記窓を閉鎖するよう前記駆動部を作動させることを特徴とする装置操作システム。 - 装置使用者によるスイッチ操作に基づいて作動する被作動装置の制御方法であって、
前記装置使用者のジェスチャを撮影し、
撮影された画像データを解析することにより、該ジェスチャによる前記装置使用者の指示を認識し、
前記ジェスチャの認識結果に基づき、前記装置使用者の指示に従って前記被作動装置を動作させることを特徴とする装置制御方法。 - 請求項10記載の装置制御方法において、
前記ジェスチャは前記装置使用者の身体の動きであり、前記装置使用者は前記身体の動きにより前記被作動装置の動作を指示し、
前記身体の動きを撮影した画像データを解析することにより、前記身体の動きから前記装置使用者の指示を認識し、
前記身体の動きから認識された前記装置使用者の指示に基づいて、前記被作動装置を動作させることを特徴とする装置制御方法。 - 請求項10又は11記載の装置制御方法において、
前記画像データから、複数個の特徴点を選び出し、
前記各特徴点に付随する特徴ベクトルを算出し、
撮影時点を異にする複数の前記画像データの前記特徴ベクトルを比較し、前記特徴ベクトルが近似する前記特徴点を検出し、該特徴点の時間的な動きを把握し、
前記特徴点の動きを該特徴点の動きベクトルとして算出し、
複数の前記動きベクトルから、前記動きベクトルの時間的な変化を示す時系列データを作成し、
前記時系列データを所定の判別閾値を用いて解析し、
前記動きベクトル解析部の解析結果に基づいて、前記装置使用者のジェスチャによる指示を判別することを特徴とする装置制御方法。 - 請求項12記載の装置制御方法において、
前記時系列データのそれぞれについてFFT解析を行い、前記動きベクトルの周波数ごとの振幅値を取得し、
前記振幅値から、周波数の範囲と振幅の大きさについての所定の閾値に基づいて前記装置使用者のジェスチャを検出し、該ジェスチャによる前記装置使用者の指示を判別することを特徴とする装置制御方法。 - 請求項12記載の装置制御方法において、
前記時系列データのそれぞれについてFFT解析を行い、
最大振幅となる周波数の位相差に基づいて前記装置使用者のジェスチャを検出し、該ジェスチャによる前記装置使用者の指示を判別することを特徴とする装置制御方法。 - 請求項10〜14の何れか1項に記載の装置制御方法において、
前記被作動装置は自動車のパワーウインド装置であり、
前記ジェスチャは前記自動車の乗員の手の動きであって、前記乗員は手の動きにより前記自動車の窓の開閉動作を指示し、
前記乗員の手の動きを撮影した画像データを解析することにより、前記手の動きから前記乗員の指示を認識し、
前記手の動きから認識された前記乗員の指示に基づいて、前記パワーウインド装置を動作させ、前記窓の開閉を行うことを特徴とする装置制御方法。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019008880 | 2019-01-23 | ||
JP2019008880 | 2019-01-23 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2020118024A true JP2020118024A (ja) | 2020-08-06 |
JP7295046B2 JP7295046B2 (ja) | 2023-06-20 |
Family
ID=71890247
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2020005275A Active JP7295046B2 (ja) | 2019-01-23 | 2020-01-16 | 装置操作システムおよび装置制御方法 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP7295046B2 (ja) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN116193243A (zh) * | 2021-11-25 | 2023-05-30 | 荣耀终端有限公司 | 拍摄方法和电子设备 |
EP4216563A4 (en) * | 2021-11-25 | 2024-05-15 | Honor Device Co., Ltd. | PHOTOGRAPHIC METHOD AND ELECTRONIC DEVICE |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20110301934A1 (en) * | 2010-06-04 | 2011-12-08 | Microsoft Corporation | Machine based sign language interpreter |
JP2017211884A (ja) * | 2016-05-26 | 2017-11-30 | トヨタ紡織株式会社 | 動き検出システム |
Family Cites Families (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP1408443B1 (en) | 2002-10-07 | 2006-10-18 | Sony France S.A. | Method and apparatus for analysing gestures produced by a human, e.g. for commanding apparatus by gesture recognition |
JP5303355B2 (ja) | 2009-05-21 | 2013-10-02 | 学校法人 中央大学 | 周期ジェスチャ識別装置、周期ジェスチャ識別方法、周期ジェスチャ識別プログラム、及び記録媒体 |
TW201636233A (zh) | 2015-04-14 | 2016-10-16 | 鴻海精密工業股份有限公司 | 車輛控制系統及其操作方法 |
JP2018206073A (ja) | 2017-06-05 | 2018-12-27 | 株式会社東海理化電機製作所 | 遠隔操作システム |
-
2020
- 2020-01-16 JP JP2020005275A patent/JP7295046B2/ja active Active
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20110301934A1 (en) * | 2010-06-04 | 2011-12-08 | Microsoft Corporation | Machine based sign language interpreter |
JP2017211884A (ja) * | 2016-05-26 | 2017-11-30 | トヨタ紡織株式会社 | 動き検出システム |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN116193243A (zh) * | 2021-11-25 | 2023-05-30 | 荣耀终端有限公司 | 拍摄方法和电子设备 |
EP4210312A4 (en) * | 2021-11-25 | 2024-03-06 | Honor Device Co., Ltd. | PHOTOGRAPHY METHOD AND ELECTRONIC DEVICE |
CN116193243B (zh) * | 2021-11-25 | 2024-03-22 | 荣耀终端有限公司 | 拍摄方法和电子设备 |
EP4216563A4 (en) * | 2021-11-25 | 2024-05-15 | Honor Device Co., Ltd. | PHOTOGRAPHIC METHOD AND ELECTRONIC DEVICE |
Also Published As
Publication number | Publication date |
---|---|
JP7295046B2 (ja) | 2023-06-20 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11535280B2 (en) | Method and device for determining an estimate of the capability of a vehicle driver to take over control of a vehicle | |
JP6030430B2 (ja) | 制御装置、車両及び携帯端末 | |
US7734072B2 (en) | Face recognition for automatic adjustment of personalized device parameters | |
US7437488B2 (en) | Interface for car-mounted devices | |
US9725098B2 (en) | Vehicle driver identification | |
US20200334477A1 (en) | State estimation apparatus, state estimation method, and state estimation program | |
JP2020118024A (ja) | 装置操作システムおよび装置制御方法 | |
KR101490908B1 (ko) | 차량 내 손모양 궤적 인식을 이용한 사용자 인터페이스 조작 시스템 및 방법 | |
EP3107790A1 (en) | Autonomous driving system and method for same | |
CN104859559B (zh) | 车辆内部环境的控制方法及装置 | |
KR101438615B1 (ko) | 2차원 카메라를 이용한 사용자 인터페이스 조작 시스템 및 방법 | |
KR20100086262A (ko) | 로봇 및 그 제어방법 | |
CN110789477B (zh) | 试驾车辆的控制方法及装置、云平台、车载智能设备 | |
US20230078074A1 (en) | Methods and devices for hand-on-wheel gesture interaction for controls | |
JP2019200548A (ja) | 車載装置、車載装置の制御方法、及び予備動作推定システム | |
CN112036468A (zh) | 驾驶操作***调节方法、车辆及存储介质 | |
JP2018206073A (ja) | 遠隔操作システム | |
CN107107756B (zh) | 通过检测驾驶员的运动和/或表情控制交通工具功能的人/机界面和方法 | |
CN115871558A (zh) | 一种车辆后视镜智能调节方法、***及计算机存储介质 | |
CN113807292A (zh) | 一种车辆后背门的控制方法、装置、存储介质及*** | |
CN112721565A (zh) | 车载空调控制方法、车辆和介质 | |
US10963064B2 (en) | Control device and control method | |
AU2023285704A1 (en) | A system and a method for gesture controlled outside rear view mirrors of a vehicle | |
JP6734885B2 (ja) | 車両用窓制御システム及び制御装置 | |
EP4099214A1 (en) | Method and system for monitoring an occupant of a vehicle |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20220728 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20230406 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20230418 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20230510 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20230606 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20230608 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7295046 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |