JP2018109874A - 電子機器、プログラムおよび制御方法 - Google Patents

電子機器、プログラムおよび制御方法 Download PDF

Info

Publication number
JP2018109874A
JP2018109874A JP2017000238A JP2017000238A JP2018109874A JP 2018109874 A JP2018109874 A JP 2018109874A JP 2017000238 A JP2017000238 A JP 2017000238A JP 2017000238 A JP2017000238 A JP 2017000238A JP 2018109874 A JP2018109874 A JP 2018109874A
Authority
JP
Japan
Prior art keywords
gesture
controller
proximity sensor
electronic device
user
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2017000238A
Other languages
English (en)
Other versions
JP6173625B1 (ja
Inventor
優哉 山口
Yuya Yamaguchi
優哉 山口
太郎 飯尾
Taro Iio
太郎 飯尾
遼平 中村
Ryohei Nakamura
遼平 中村
恒雄 宮下
Tsuneo Miyashita
恒雄 宮下
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Kyocera Corp
Original Assignee
Kyocera Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Kyocera Corp filed Critical Kyocera Corp
Priority to JP2017000238A priority Critical patent/JP6173625B1/ja
Application granted granted Critical
Publication of JP6173625B1 publication Critical patent/JP6173625B1/ja
Priority to US15/855,509 priority patent/US20180188817A1/en
Publication of JP2018109874A publication Critical patent/JP2018109874A/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • User Interface Of Digital Computer (AREA)

Abstract

【課題】ジェスチャによる入力操作において誤操作を防止しやすい電子機器、プログラムおよび制御方法を提供する。【解決手段】電子機器1は、近接センサ18と、近接センサ18からの出力に応じてジェスチャに基づく処理を実行するコントローラ11と、を備え、コントローラ11は、近接センサ18からの出力に応じて第1のジェスチャの後に第2のジェスチャが検出されると、第1のジェスチャと第2のジェスチャとに基づいて、第2のジェスチャの有効または無効を決定する。【選択図】図1

Description

本発明は、電子機器、プログラムおよび制御方法に関する。
例えばスマートフォンおよびタブレット端末等の電子機器は、一般にタッチパネルを備えている。ユーザは、このような電子機器を、タッチパネルに触れることで制御するのが一般的である。近年、ユーザが端末から離れて行うジェスチャを例えば赤外線センサ等の近接センサによって検出し、ジェスチャと対応する入力操作を実行する電子機器が知られている(例えば特許文献1)。
特開2015−225493号公報
特許文献1に開示されたジェスチャによる入力操作は、タッチパネルへの入力操作と異なり、直接電子機器に触れて操作が行われるものではない。そのため、ユーザが特定の操作を意図してジェスチャを行っても、電子機器が、ユーザの意図とは異なる操作として認識する場合がある。電子機器が、ユーザのジェスチャを、ユーザの意図しないジェスチャと認識した場合、電子機器の誤操作が発生し得る。
かかる事情に鑑みてなされた本発明の目的は、ジェスチャによる入力操作において誤操作を防止しやすい電子機器、プログラムおよび制御方法を提供することにある。
本発明の実施形態に係る電子機器は、近接センサと、前記近接センサからの出力に応じてジェスチャに基づく処理を実行するコントローラと、を備える。前記コントローラは、前記近接センサからの出力に応じて第1のジェスチャの後に第2のジェスチャが検出されると、前記第1のジェスチャと前記第2のジェスチャとに基づいて、前記第2のジェスチャの有効または無効を決定する。
本発明の実施形態に係るプログラムは、近接センサと、コントローラと、を備える電子機器に、前記コントローラにより、前記近接センサからの出力に応じてジェスチャに基づく処理を実行するステップと、前記コントローラにより、前記近接センサからの出力に応じて第1のジェスチャの後に第2のジェスチャが検出されると、前記第1のジェスチャと前記第2のジェスチャとに基づいて、前記第2のジェスチャの有効または無効を決定するステップと、を実行させる。
本発明の実施形態に係る制御方法は、近接センサと、コントローラと、を備える電子機器の制御方法であって、前記コントローラにより、前記近接センサからの出力に応じてジェスチャに基づく処理を実行するステップと、前記コントローラにより、前記近接センサからの出力に応じて第1のジェスチャの後に第2のジェスチャが検出されると、前記第1のジェスチャと前記第2のジェスチャとに基づいて、前記第2のジェスチャの有効または無効を決定するステップと、を含む。
本発明の一実施形態によれば、ジェスチャによる入力操作において誤操作を防止しやすい電子機器、プログラムおよび制御方法を提供することができる。
一実施形態に係る電子機器の概略構成図である。 ユーザがジェスチャにより電子機器を操作する様子を例示する図である。 近接センサの概略構成図である。 各赤外フォトダイオードが検出する検出値の推移を示す図である。 電子機器をジェスチャで操作する状況を例示する図である。 ユーザによる連続的なジェスチャの一例を示す図である。 電子機器が実行する処理の一例を示すフローチャートである。 ユーザのジェスチャの一例を模式的に示す図である。
(電子機器の構成)
図1に示すように一実施形態の電子機器1は、タイマー12と、カメラ13と、ディスプレイ14と、マイク15と、ストレージ16と、通信ユニット17と、スピーカー25と、近接センサ18(ジェスチャセンサ)と、コントローラ11と、を備える。電子機器1は、さらにUVセンサ19と、照度センサ20と、加速度センサ21と、地磁気センサ22と、気圧センサ23と、ジャイロセンサ24と、を備える。図1は例示である。電子機器1は図1に示す構成要素の全てを備えなくてもよい。また、電子機器1は図1に示す以外の構成要素を備えていてもよい。
タイマー12はコントローラ11からタイマー動作の指示を受け、所定時間経過した時点で、その旨を示す信号をコントローラ11に出力する。タイマー12は、図1に示すようにコントローラ11とは独立して設けられていてもよいし、コントローラ11が内蔵する構成であってもよい。
カメラ13は、電子機器1の周囲の被写体を撮像する。カメラ13は一例として、電子機器1のディスプレイ14が設けられる面に設けられるインカメラである。
ディスプレイ14は画面を表示する。画面は、例えば文字、画像、記号および図形等の少なくとも一つを含む。ディスプレイ14は、液晶ディスプレイ(Liquid Crystal Display)、有機ELパネル(Organic Electro-Luminescence Panel)または無機ELパネル(Inorganic Electro-Luminescence Panel)等であってもよい。本実施形態において、ディスプレイ14はタッチパネルディスプレイ(タッチスクリーンディスプレイ)である。タッチパネルディスプレイは、指またはスタイラスペン等の接触を検出して、その接触位置を特定する。ディスプレイ14は、指またはスタイラスペン等が接触した位置を同時に複数検出することができる。
マイク15は、人が発する声を含む、電子機器1の周囲の音を検出する。
ストレージ16は記憶部としてプログラムおよびデータを記憶する。ストレージ16は、コントローラ11の処理結果を一時的に記憶する。ストレージ16は、半導体記憶デバイスおよび磁気記憶デバイス等の任意の記憶デバイスを含んでよい。ストレージ16は、複数の種類の記憶デバイスを含んでよい。ストレージ16は、メモリカード等の可搬の記憶媒体と、記憶媒体の読み取り装置との組み合わせを含んでよい。
ストレージ16に記憶されるプログラムには、フォアグランドまたはバックグランドで実行されるアプリケーションと、アプリケーションの動作を支援する制御プログラムとを含む。アプリケーションは、例えば、ジェスチャに応じた処理をコントローラ11に実行させる。制御プログラムは、例えば、OS(Operating System)である。アプリケーションおよび制御プログラムは、通信ユニット17による通信または記憶媒体を介してストレージ16にインストールされてもよい。
通信ユニット17は、有線または無線により通信するためのインタフェースである。一実施形態の通信ユニット17によって行われる通信方式は無線通信規格である。例えば、無線通信規格は2G、3Gおよび4G等のセルラーフォンの通信規格を含む。例えばセルラーフォンの通信規格は、LTE(Long Term Evolution)、W−CDMA(Wideband Code Division Multiple Access)、CDMA2000、PDC(Personal Digital Cellular)、GSM(登録商標)(Global System for Mobile communications)およびPHS(Personal Handy-phone System)等を含む。例えば、無線通信規格は、WiMAX(Worldwide Interoperability for Microwave Access)、IEEE802.11、Bluetooth(登録商標)、IrDA(Infrared Data Association)およびNFC(Near Field Communication)等を含む。通信ユニット17は、上述した通信規格の1つまたは複数をサポートすることができる。
スピーカー25は音を出力する。例えば通話の際に、相手の声がスピーカー25から出力される。また、例えばニュースまたは天気予報等の読み上げの際に、その内容がスピーカー25から音で出力される。
近接センサ18は、電子機器1の周囲の対象物との相対距離および対象物の移動方向等を非接触で検出する。本実施形態において、近接センサ18は1つの光源用赤外LED(Light Emitting Diode)と4つの赤外フォトダイオードとを有する。近接センサ18は、光源用赤外LEDから赤外光を対象物に向けて照射する。近接センサ18は、対象物からの反射光を赤外フォトダイオードの入射光とする。そして、近接センサ18は赤外フォトダイオードの出力電流に基づいて対象物との相対距離を測定することができる。また、近接センサ18は、対象物からの反射光がそれぞれの赤外フォトダイオードに入射する時間差により対象物の移動方向を検出する。したがって、近接センサ18は、電子機器1のユーザが電子機器1に触れずに行うエアジェスチャ(以下単に「ジェスチャ」という)を用いた操作を検出することができる。ここで、近接センサ18は可視光フォトダイオードを有していてもよい。
コントローラ11は、例えばCPU(Central Processing Unit)等のプロセッサである。コントローラ11は、他の構成要素が統合されたSoC(System-on-a-Chip)等の集積回路であってもよい。コントローラ11は、複数の集積回路を組み合わせて構成されてもよい。コントローラ11は、電子機器1の動作を統括的に制御して各種の機能を実現する。
具体的にはコントローラ11は、ストレージ16に記憶されているデータを必要に応じて参照する。コントローラ11は、ストレージ16に記憶されているプログラムに含まれる命令を実行してディスプレイ14等の他の機能部を制御することによって各種機能を実現する。例えばコントローラ11は、ユーザによる接触のデータをタッチパネルから取得する。例えばコントローラ11は、近接センサ18が検出したユーザのジェスチャに関する情報を取得する。例えばコントローラ11は、タイマー12からカウントダウンの残り時間(タイマー時間)等の情報を取得する。また、例えばコントローラ11は、アプリケーションの起動状況を把握する。
UVセンサ19は、太陽光等に含まれる紫外線(Ultraviolet)量を測定することができる。
照度センサ20は、当該照度センサ20に入射する周囲光の照度を検出する。
加速度センサ21は、電子機器1に働く加速度の方向および大きさを検出する。加速度センサ21は、例えばx軸方向、y軸方向およびz軸方向の加速度を検出する3軸(3次元)タイプである。加速度センサ21は、例えばピエゾ抵抗型であってもよいし、静電容量型であってもよい。
地磁気センサ22は地磁気の向きを検出して、電子機器1の向きを測定可能にする。
気圧センサ23は、電子機器1の外側の気圧(大気圧)を検出する。
ジャイロセンサ24は、電子機器1の角速度を検出する。コントローラ11は、ジャイロセンサ24により取得された角速度を時間積分することにより、電子機器1の向きの変化を測定することができる。
(ジェスチャによる電子機器の操作)
図2は、ユーザがジェスチャにより電子機器1を操作する様子を示す。図2において、電子機器1は一例としてスタンドによって支持される。代替例として電子機器1は壁に立てかけられたり、テーブルに置かれたりしてもよい。近接センサ18がユーザのジェスチャを検出すると、コントローラ11は検出されたジェスチャに基づく処理を行う。図2の例では、ジェスチャに基づく処理はレシピが表示されている画面のスクロールである。例えば、ユーザが電子機器1の長手方向上方へと手を動かすジェスチャを行うと、ユーザの手の動きに連動して画面が上方へとスクロールする。また、例えば、ユーザが電子機器1の長手方向下方へと手を動かすジェスチャを行うと、ユーザの手の動きに連動して画面が下方へとスクロールする。
図2に示す電子機器1はスマートフォンである。代替例として電子機器1は例えば、携帯電話端末、ファブレット、タブレットPCまたはフィーチャーフォン等でもよい。また、電子機器1は、上記のものに限定されず、例えば、PDA、リモコン端末、携帯音楽プレイヤー、ゲーム機、電子書籍リーダ、カーナビゲーション、家電製品または産業用機器(FA機器)等でもよい。
(ジェスチャを検出する手法)
ここで、図3および図4を参照しながら、コントローラ11が近接センサ18の出力に基づいてユーザのジェスチャを検出する手法を説明する。図3は、電子機器1を正面から見たときの近接センサ18の構成例を示す図である。近接センサ18は、光源用赤外LED180と、4つの赤外フォトダイオードSU,SR,SDおよびSLと、を有する。4つの赤外フォトダイオードSU,SR,SDおよびSLは、レンズ181を介して検出対象物からの反射光を検出する。4つの赤外フォトダイオードSU,SR,SDおよびSLは、レンズ181の中心から見て対称的に配置されている。ここで、図3に示される仮想線D1は電子機器1の長手方向と略平行であるとする。図3の仮想線D1上に、赤外フォトダイオードSUと赤外フォトダイオードSDとが離れて配置されている。そして、図3の仮想線D1の方向において、赤外フォトダイオードSRおよびSLは、赤外フォトダイオードSUと赤外フォトダイオードSDとの間に配置されている。
図4は、4つの赤外フォトダイオードSU,SR,SDおよびSLの検出対象物(例えばユーザの手等)が、図3の仮想線D1の方向に沿って移動したときの検出値の推移を例示する。ここで、仮想線D1の方向において、赤外フォトダイオードSUと赤外フォトダイオードSDとが最も離れている。そのため、図4に示すように、赤外フォトダイオードSUの検出値(破線)の変化(例えば上昇)と、赤外フォトダイオードSDの検出値(細い実線)の同じ変化(例えば上昇)との時間差が最も大きい。コントローラ11は、フォトダイオードSU,SR,SDおよびSLの検出値の所定の変化の時間差を把握することによって、検出対象物の移動方向を判定できる。
コントローラ11は、近接センサ18からフォトダイオードSU,SR,SDおよびSLの検出値を取得する。そして、コントローラ11は、例えば検出対象物の仮想線D1の方向への移動を把握するために、フォトダイオードSDの検出値からフォトダイオードSUの検出値を減算した値を所定の時間で積分してもよい。図4の例では、領域R41およびR42において積分値は非ゼロの値となる。この積分値の変化(例えば正値、ゼロ、負値の変化)から、コントローラ11は、仮想線D1の方向における検出対象物の移動を把握できる。
また、コントローラ11は、フォトダイオードSLの検出値からフォトダイオードSRの検出値を減算した値を所定の時間で積分してもよい。この積分値の変化(例えば正値、ゼロ、負値の変化)から、コントローラ11は、仮想線D1に直交する方向(電子機器1の短手方向に略平行な方向)における検出対象物の移動を把握できる。
代替例として、コントローラ11はフォトダイオードSU,SR,SDおよびSLの全ての検出値を用いて演算を行ってもよい。すなわち、コントローラ11は検出対象物の移動方向を、電子機器1の長手方向および短手方向の成分に分離して演算することなく把握してもよい。
検出されるジェスチャは例えば、左右のジェスチャ、上下のジェスチャ、斜めのジェスチャ、時計回りで円を描くジェスチャ、および反時計回りで円を描くジェスチャ等である。例えば左右へのジェスチャとは、電子機器1の短手方向と略平行な方向に行われるジェスチャである。上下のジェスチャとは、電子機器1の長手方向と略平行な方向に行われるジェスチャである。斜めのジェスチャとは、電子機器1と略平行な平面において、電子機器1の長手方向と短手方向とのいずれとも平行でない方向に行われるジェスチャである。
(キッチンモード)
図5は、ユーザがジェスチャにより電子機器1を操作する状況の一例を示す。図5の例で、ユーザは料理のレシピを電子機器1のディスプレイ14に表示しながら、キッチンでレシピに従って料理をしている。このとき、近接センサ18はユーザのジェスチャを検出する。そして、コントローラ11は近接センサ18が検出したジェスチャに基づく処理を行う。例えば、コントローラ11は特定のジェスチャ(例えばユーザが手を上下に動かすジェスチャ)に応じてレシピをスクロールする処理が可能である。料理中は、ユーザの手が汚れたり、濡れたりすることがある。しかし、ユーザは電子機器1に触れることなくレシピをスクロールすることができる。したがって、ディスプレイ14が汚れること、および料理中のユーザの手にディスプレイ14の汚れがうつることを回避できる。
ここで、電子機器1はモードを複数有する。モードとは電子機器1の全体の動作について制限等を与える動作モード(動作状態または動作状況)を意味する。モードは同時に1つだけ選択可能である。本実施形態において、電子機器1のモードは第1モードおよび第2モードを含む。第1モードは、例えばキッチン以外の部屋および外出先等での使用に適している通常の動作モード(通常モード)である。第2モードは、キッチンでレシピを表示しながら料理を行うのに最適な電子機器1の動作モード(キッチンモード)である。上記で説明したように、第2モードの場合には、ジェスチャによる入力操作が可能であることが好ましい。つまり、電子機器1のモードが第2モードに切り替わる場合には、連動して近接センサ18を動作させてジェスチャを検出可能にすることが好ましい。本実施形態の電子機器1は、以下に説明するユーザインターフェースを備えることによって、第2モード(キッチンモード)への切り替えと近接センサ18の動作とを連動させることが可能である。
(ジェスチャの有効または無効の決定処理)
次に、電子機器1のコントローラ11による、ジェスチャの有効または無効の決定処理について説明する。コントローラ11によるジェスチャの有効または無効の決定処理は、例えば、電子機器1が上述したキッチンモードである場合に実行されてもよい。
ユーザは、電子機器1において、ディスプレイ14に表示された画面を、一方向(例えば上下方向)に連続して操作したい場合がある。例えば、ユーザは、連続的な一方向のジェスチャによりスクロールを連続的に実行させたい場合がある。この場合、ユーザは、例えば一方向の連続的なジェスチャを行うことができる。ここで、連続的な一方向のジェスチャは、一方向のジェスチャを、例えばジェスチャを行う手を止めることなく繰り返し行うことを含む。連続的なスクロールは、画面においてするロールによる画面遷移が停止することなく行われることを含む。
図6は、ユーザによる連続的なジェスチャの一例を示す図である。図6は、電子機器1の側面視を示す図であり、ユーザが手によって行うジェスチャの動きが、矢印A1で模式的に示されている。図6には、説明のため、電子機器1において、近接センサ18の位置が示されている。図6に示すように、ユーザは、連続的なジェスチャを行う場合、電子機器1の側面視において、近接センサ18の正面側で、円(楕円)を描くように(または往復運動をするように)、手を動かす動作を繰り返し行う。このとき、ユーザのジェスチャは、矢印A1のように円弧を描く動作として検出されず、例えば矢印A2および矢印A3として模式的に示すように、連続した反対方向(図6では左右方向)のジェスチャとして検出される場合がある。ユーザのジェスチャが、連続した反対方向のジェスチャとして検出されると、電子機器1のコントローラ11は、ディスプレイ14に表示された画面を、反対方向(例えば上下方向)に繰り返し遷移させることとなる。つまり、ディスプレイ14に表示された画面は、例えば上方向のスクロールと、下方向のスクロールとが繰り返し行われる状態となる。しかしながら、ユーザは、連続した一方向のスクロールを意図して操作を行っているため、電子機器1において、画面上で反対方向に繰り返し遷移させる処理を行うと、誤操作となる。
本実施形態に係る電子機器1のコントローラ11は、複数のジェスチャが連続して行われた場合、最初に実行されたジェスチャ(以下、「第1のジェスチャ」ともいう)の後に、連続して行われたジェスチャ(以下、「第2のジェスチャ」ともいう)の有効または無効を決定する。第1のジェスチャは、例えば図6における矢印A2によって示されるジェスチャに対応付けることができる。第2のジェスチャは、例えば図6における矢印A3によって示されるジェスチャに対応付けることができる。
コントローラ11は、第1のジェスチャと第2のジェスチャとに基づいて、第2のジェスチャの有効または無効を決定する。具体的には、コントローラ11は、第1のジェスチャに対して、第2のジェスチャが所定の条件を満たすか否かを判定し、当該判定の結果に基づいて、第2のジェスチャの有効または無効を決定する。コントローラ11は、第2のジェスチャが有効であると決定した場合、第1のジェスチャに基づく処理を実行した後、第2のジェスチャに基づく処理を実行する。コントローラ11は、第2のジェスチャが無効であると決定した場合、第1のジェスチャに基づく処理を実行するが、第2のジェスチャに基づく処理を実行しない。このようにして、電子機器1は、第2のジェスチャが、ユーザが意図するジェスチャであるか否かを判定し、第2のジェスチャがユーザが意図するジェスチャではないと判定した場合、第2のジェスチャに基づく処理を実行しない。このようにして、電子機器1は、ジェスチャによる入力操作において誤操作を防止しやすくなる。
ここで、コントローラ11による、第2のジェスチャの有効または無効の判定条件と、判定条件に基づく有効または無効の決定処理の詳細について、いくつかの例を挙げて説明する。
第1の判定条件は、時間に関する条件である。コントローラ11は、第1のジェスチャから第2のジェスチャまでの時間が、所定の時間以上である場合、第2のジェスチャを有効であると決定してよい。コントローラ11は、第1のジェスチャから第2のジェスチャまでの時間が、所定の時間未満である場合、第2のジェスチャを無効であると決定してよい。
第1のジェスチャから第2のジェスチャまでの時間は、例えば、第1のジェスチャが近接センサ18に検出され始めた時刻から、第2のジェスチャが近接センサ18に検出され始めた時刻までの時間であってよい。第1のジェスチャから第2のジェスチャまでの時間は、例えば、第1のジェスチャが近接センサ18に検出されなくなった時刻から、第2のジェスチャが近接センサ8に検出され始めた時刻までの時間であってもよい。
所定の時間は、ユーザのジェスチャが連続的なジェスチャであると認識できる時間であってよい。例えば、第1のジェスチャから第2のジェスチャまでの時間は、例えば、第1のジェスチャが近接センサ18に検出されなくなった時刻から、第2のジェスチャが近接センサ8に検出され始めた時刻までの時間である場合、所定の時間は、0.3秒であってよい。所定の時間は、電子機器1で実行されている機能またはアプリケーション等に応じて適宜定められてもよい。
ユーザは、例えばスクロールを連続的に実行させることを意図して、連続的に一方向のジェスチャを行う場合、意図する方向のジェスチャである第1のジェスチャを連続的に行うために、手を、第1のジェスチャを開始させた位置に、素早く戻すことが想定される。そのため、ユーザが、スクロールを連続的に実行させることを意図して連続的に一方向のジェスチャを行う場合、意図する方向のジェスチャである第1のジェスチャから、意図しない方向のジェスチャである第2のジェスチャまでの時間は、所定の時間より短くなることが想定される。そこで、コントローラ11は、第1のジェスチャから第2のジェスチャまでの時間が、所定の時間未満である場合、第2のジェスチャが、意図しないジェスチャであると判定して、第2のジェスチャを無効として決定できる。これにより、コントローラ11は、意図しないジェスチャであると判定した第2のジェスチャに基づく処理を実行しない。このようにして、電子機器1は、ジェスチャによる入力操作において誤操作を防止しやすくなる。
第2の条件は、方向に関する条件である。コントローラ11は、第1のジェスチャの方向と、第2のジェスチャの方向とが、所定の関係を有する方向であると判断した場合、第2のジェスチャを無効であると決定してよい。コントローラ11は、第1のジェスチャの方向と、第2のジェスチャの方向とが、上記所定の関係を有さない方向であると判定した場合、第2のジェスチャを無効であると決定してよい。
所定の関係は、例えば、反対方向であるという関係であってよい。つまり、この場合、コントローラ11は、第1のジェスチャの方向と、第2のジェスチャの方向とが、反対方向であると判断した場合、第2のジェスチャを無効であると決定してよい。この場合、コントローラ11は、第1のジェスチャの方向と、第2のジェスチャの方向とが、反対方向でないと判断した場合(例えば同一方向または直交する方向である場合)、第2のジェスチャを無効であると決定してよい。
ユーザは、例えばスクロールを連続的に実行させることを意図して、連続的に一方向のジェスチャを行う場合、意図する方向のジェスチャである第1のジェスチャを連続的に行うために、第1のジェスチャを行った後、手を、第1のジェスチャを開始させた位置に戻すことが想定される。そのため、第2のジェスチャは、第1のジェスチャとは反対方向のジェスチャであることが想定される。そこで、コントローラ11は、第1のジェスチャの方向と、第2のジェスチャの方向とが、所定の関係(反対方向の関係)である場合、第2のジェスチャが、意図しないジェスチャであると判定して、第2のジェスチャを無効として決定できる。これにより、コントローラ11は、意図しないジェスチャであると判定した第2のジェスチャに基づく処理を実行しない。このようにして、電子機器1は、ジェスチャによる入力操作において誤操作を防止しやすくなる。
第3の条件は、距離に関する条件である。コントローラ11は、第1のジェスチャが行われた位置と近接センサ18との距離(第1の距離)が、第2のジェスチャが行われた位置と近接センサ18との距離(第2の距離)以上である場合、第2のジェスチャを有効であると決定してよい。コントローラ11は、第1のジェスチャが行われた位置と近接センサ18との距離(第1の距離)が、第2のジェスチャが行われた位置と近接センサ18との距離(第2の距離)よりも小さい場合、第2のジェスチャを無効であると決定してよい。
図6において、第1の距離は、一例としてD1で示されている。第1の距離は、例えば、第1のジェスチャにおいて、近接センサ18との距離が最も近い地点に位置する場合における、第1のジェスチャと近接センサ18との距離であってよい。第1の距離は、例えば、第1のジェスチャにおける、近接センサ18との平均距離であってもよい。
図6において、第2の距離は、一例としてD2で示されている。第2の距離は、例えば、第2のジェスチャにおいて、近接センサ18との距離が最も近い地点に位置する場合における、第2のジェスチャと近接センサ18との距離であってよい。第2の距離は、例えば、第2のジェスチャにおける、近接センサ18との平均距離であってもよい。
第1の距離と第2の距離とは、上述の例に限られず、その定義が同一である限り(つまり同一の基準に基づいて決定される限り)、任意の定義により決定されてよい。
ユーザは、例えばスクロールを連続的に実行させることを意図して、連続的に一方向のジェスチャを行う場合、意図する方向のジェスチャである第1のジェスチャを、近接センサ18により検出されやすくするため、近接センサ18に近い位置で行うことが想定される。また、ユーザは、連続的に一方向のジェスチャを行う場合、意図しない方向のジェスチャである第2のジェスチャを、第1のジェスチャと比較して、より近接センサ18から遠い位置で行うことが想定される。つまり、第2のジェスチャは、第1のジェスチャと比較して、近接センサ18から、より遠い位置で行われることが想定される。そこで、コントローラ11は、第1の距離が、第2の距離よりも小さい場合、第2のジェスチャが、意図しないジェスチャであると判定して、第2のジェスチャを無効として決定できる。これにより、コントローラ11は、意図しないジェスチャであると判定した第2のジェスチャに基づく処理を実行しない。このようにして、電子機器1は、ジェスチャによる入力操作において誤操作を防止しやすくなる。
第4の条件は、速度に関する条件である。コントローラ11は、第1のジェスチャの速度(第1の速度)が、第2のジェスチャの速度(第2の速度)よりも遅い場合、第2のジェスチャを有効であると決定してよい。コントローラ11は、第1のジェスチャの速度(第1の速度)が、第2のジェスチャの速度(第2の速度)よりも速い場合、第2のジェスチャを無効であると決定してよい。
第1の速度は、図6の矢印A2として検出されるジェスチャの速度である。第2の速度は、図6の矢印A3として検出されるジェスチャの速度である。コントローラ11は、近接センサ18が検出したジェスチャに基づいて、ジェスチャの速度を算出し、第1の速度と第2の速度とを比較する。
ユーザは、例えばスクロールを連続的に実行させることを意図して、連続的に一方向のジェスチャを行う場合、意図する方向のジェスチャである第1のジェスチャを所定の速度のジェスチャとして行い、その後、手を、第1のジェスチャを開始させた位置に戻す。このとき、手を第1のジェスチャを開始させた位置に戻す動作である第2のジェスチャは、ユーザが意図するジェスチャではないため、第1のジェスチャと比較して、動作が遅くなることが想定される。つまり、第2のジェスチャは、第1のジェスチャよりも動作が遅いことが想定される。そこで、コントローラ11は、第1の速度が第2の速度よりも速い場合、第2のジェスチャが、意図しないジェスチャであると判定して、第2のジェスチャを無効として決定できる。これにより、コントローラ11は、意図しないジェスチャであると判定した第2のジェスチャに基づく処理を実行しない。このようにして、電子機器1は、ジェスチャによる入力操作において誤操作を防止しやすくなる。
コントローラ11は、上述した第1の条件乃至第4の条件のうち、任意の複数の条件を組み合わせて第2のジェスチャの有効または無効を決定してもよい。すなわち、コントローラ11は、第1のジェスチャから第2のジェスチャまでの時間、第1のジェスチャと第2のジェスチャとの方向、第1のジェスチャが行われた位置と近接センサ18との距離および第2のジェスチャが行われた位置と近接センサ18との距離、並びに、第1のジェスチャと第2のジェスチャとの速度の条件のうち、任意の2つ以上の条件に基づいて、第2のジェスチャの有効または無効を決定してもよい。
このとき、コントローラ11は、ジェスチャの有効または無効を決定するための各条件について、条件に応じて重みづけを行って、第2のジェスチャの有効または無効を決定してもよい。例えば、ユーザが連続的に一方向のジェスチャを行う場合、第1のジェスチャの後に、手を、第1のジェスチャを開始させた位置に戻す必要があるため、第2のジェスチャは、第1のジェスチャと第2のジェスチャとの方向が、逆方向になりやすい。つまり、第2の条件として説明した、ジェスチャの方向に関する条件は満たされやすい。これに対し、例えば、第3の条件で説明した、ジェスチャと近接センサ18との距離の関係については、ユーザによっては、必ずしも満たされない場合がある。例えば、ユーザによっては、連続的に一方向のジェスチャを行う場合であっても、第1の距離が、第2の距離以上となる場合がある。つまり、第3の条件として説明した、距離の関係に関する条件は、第2の条件として説明した、ジェスチャの方向に関する条件よりも、満たされにくい。この場合、コントローラ11は、例えば第3の条件よりも第2の条件が、より高く点数化されるように、重みづけを行ってよい。このように、コントローラ11は、第2のジェスチャの有効または無効を決定するために用いる条件の内容に応じて、適宜重みづけを行ってよい。コントローラ11は、重みづけを行うことにより、第2のジェスチャが被検者が意図したジェスチャであるか否かを、より正確に判定しやすくなる。
図7は、電子機器1が実行する処理の一例を示すフローチャートである。
まず、電子機器1のコントローラ11は、近接センサ18の出力に基づき、第1のジェスチャを検出する(ステップS1)。
コントローラ11は、ステップS1で検出した第1のジェスチャに基づく処理を実行する(ステップS2)。
コントローラ11は、近接センサ18の出力に基づき、第2のジェスチャを検出する(ステップS3)。
コントローラ11は、第2のジェスチャが有効であるか否かを判定する(ステップS4)。具体的には、コントローラ11は、上述した条件を用いることによって、第2のジェスチャが有効であるか否かを判定してよい。
コントローラ11は、第2のジェスチャが有効であると判定した場合(ステップS4のYes)、第2のジェスチャに基づく処理を実行する(ステップS5)。そして、コントローラ11は、このフローを終了する。
コントローラ11は、第2のジェスチャが無効であると判定した場合(ステップS4のNo)、第2のジェスチャがユーザの意図しないジェスチャであると判定し、第2のジェスチャに基づく処理を実行することなく、このフローを終了する。
以上説明したように、本実施形態に係る電子機器1は、第1のジェスチャと第2のジェスチャとに基づいて、第2のジェスチャの有効または無効を決定する。これにより、電子機器1は、第2のジェスチャが、ユーザが意図するジェスチャであるか否かを判定し、第2のジェスチャがユーザが意図するジェスチャではないと判定した場合、第2のジェスチャに基づく処理を実行しないように処理を行う。このようにして、電子機器1は、ジェスチャによる入力操作において誤操作を防止しやすくなる。
(その他の実施形態)
本発明を図面および実施形態に基づき説明してきたが、当業者であれば本開示に基づき種々の変形および修正を行うことが容易であることに注意されたい。したがって、これらの変形および修正は本発明の範囲に含まれることに留意されたい。例えば、各手段または各ステップなどに含まれる機能などは論理的に矛盾しないように再配置可能であり、複数の手段またはステップなどを1つに組み合わせたり、或いは分割したりすることが可能である。
上記の実施形態では、ジェスチャは、近接センサ18により検出されると説明したが、必ずしも近接センサ18により検出されなくてもよい。ジェスチャは、任意の非接触でユーザのジェスチャを検出可能な、任意の非接触センサにより検出されてもよい。非接触センサの一例は、例えば、カメラ13または照度センサ20等を含む。
また、上述の実施形態で説明した、第2のジェスチャの有効または無効を決定する条件は、無効であると決定する対象となるジェスチャの内容に応じて、適宜設定可能である。例えば、上述の実施形態では、第2の条件について、コントローラ11は、第1のジェスチャの方向と第2のジェスチャの方向とが反対方向である場合に、第2のジェスチャを無効であると決定すると説明した。しかしながら、第2の条件は、コントローラ11が、第1のジェスチャの方向と第2のジェスチャの方向とが同一の方向である場合に、第2のジェスチャを無効であると決定する、というものであってもよい。
例えば、図8に示すように、ユーザが指の間隔を空けた状態で、ジェスチャを行ったとする。この場合、コントローラ11は、近接センサ18の出力に基づき、ユーザの小指、薬指、中指、人差し指および親指のジェスチャを、それぞれ異なるジェスチャと検出し、各指に対応する5回分のジェスチャを検出する可能性がある。しかしながら、実際には、ユーザは、手を下から上に動かしたことによる、1回分のジェスチャを意図しているとする。この場合、コントローラ11が、ユーザのジェスチャを、5回分のジェスチャと検出すると、誤操作の原因となる。
しかしながら、第2の条件を、コントローラ11が、第1のジェスチャの方向と第2のジェスチャの方向とが同一の方向である場合に、第2のジェスチャを無効であると決定する、という条件とすることにより、同一方向である5本の指のジェスチャが、それぞれ異なるジェスチャであると判定されなくなる。これにより、誤操作を防止しやすくなる。
本開示内容の多くの側面は、プログラム命令を実行可能なコンピュータシステムその他のハードウェアにより実行される、一連の動作として示される。コンピュータシステムその他のハードウェアには、例えば、汎用コンピュータ、PC(パーソナルコンピュータ)、専用コンピュータ、ワークステーション、PCS(Personal Communications System、パーソナル移動通信システム)、移動(セルラー)電話機、データ処理機能を備えた移動電話機、RFID受信機、ゲーム機、電子ノートパッド、ラップトップコンピュータ、GPS(Global Positioning System)受信機またはその他のプログラム可能なデータ処理装置が含まれる。各実施形態では、種々の動作または制御方法は、プログラム命令(ソフトウェア)で実装された専用回路(例えば、特定機能を実行するために相互接続された個別の論理ゲート)、一以上のプロセッサにより実行される論理ブロックおよび/またはプログラムモジュール等により実行されることに留意されたい。論理ブロックおよび/またはプログラムモジュール等を実行する一以上のプロセッサには、例えば、一以上のマイクロプロセッサ、CPU(中央演算処理ユニット)、ASIC(Application Specific Integrated Circuit)、DSP(Digital Signal Processor)、PLD(Programmable Logic Device)、FPGA(Field Programmable Gate Array)、プロセッサ、コントローラ、マイクロコントローラ、マイクロプロセッサ、電子機器、ここに記載する機能を実行可能に設計されたその他の装置および/またはこれらいずれかの組合せが含まれる。ここに示す実施形態は、例えば、ハードウェア、ソフトウェア、ファームウェア、ミドルウェア、マイクロコードまたはこれらいずれかの組合せにより実装される。命令は、必要なタスクを実行するためのプログラムコードまたはコードセグメントであってもよい。そして、命令は、機械読取り可能な非一時的記憶媒体その他の媒体に格納することができる。コードセグメントは、手順、関数、サブプログラム、プログラム、ルーチン、サブルーチン、モジュール、ソフトウェアパッケージ、クラスまたは命令、データ構造もしくはプログラムステートメントのいずれかの任意の組合せを示すものであってもよい。コードセグメントは、他のコードセグメントまたはハードウェア回路と、情報、データ引数、変数または記憶内容の送信および/または受信を行い、これにより、コードセグメントが他のコードセグメントまたはハードウェア回路と接続される。
ここで用いられるストレージ16は、さらに、ソリッドステートメモリ、磁気ディスクおよび光学ディスクの範疇で構成されるコンピュータ読取り可能な有形のキャリア(媒体)として構成することができる。かかる媒体には、ここに開示する技術をプロセッサに実行させるためのプログラムモジュール等のコンピュータ命令の適宜なセットまたはデータ構造が格納される。コンピュータ読取り可能な媒体には、一つ以上の配線を備えた電気的接続、磁気ディスク記憶媒体、磁気カセット、磁気テープ、その他の磁気および光学記憶装置(例えば、CD(Compact Disk)、レーザーディスク(登録商標)、DVD(登録商標)(Digital Versatile Disc)、フロッピー(登録商標)ディスクおよびブルーレイディスク(登録商標))、可搬型コンピュータディスク、RAM(Random Access Memory)、ROM(Read-Only Memory)、EPROM(Erasable Programmable Read-Only Memory)、EEPROM(Electrically Erasable Programmable Read-Only Memory)もしくはフラッシュメモリ等の書換え可能でプログラム可能なROMもしくは情報を格納可能な他の有形の記憶媒体またはこれらいずれかの組合せが含まれる。メモリは、プロセッサまたはプロセッシングユニットの内部および/または外部に設けることができる。ここで用いられるように、「メモリ」という語は、あらゆる種類の長期記憶用、短期記憶用、揮発性、不揮発性またはその他のメモリを意味する。つまり、「メモリ」は特定の種類および/または数に限定されない。また、記憶が格納される媒体の種類も限定されない。
1 電子機器
11 コントローラ
12 タイマー
13 カメラ
14 ディスプレイ
15 マイク
16 ストレージ
17 通信ユニット
18 近接センサ
19 UVセンサ
20 照度センサ
21 加速度センサ
22 地磁気センサ
23 気圧センサ
24 ジャイロセンサ
25 スピーカー
140,141 選択ボタン
180 光源用赤外LED
181 レンズ
SU,SR,SD,SL フォトダイオード

Claims (8)

  1. 近接センサと、
    前記近接センサからの出力に応じてジェスチャに基づく処理を実行するコントローラと、
    を備え、
    前記コントローラは、前記近接センサからの出力に応じて第1のジェスチャの後に第2のジェスチャが検出されると、前記第1のジェスチャと前記第2のジェスチャとに基づいて、前記第2のジェスチャの有効または無効を決定する、
    電子機器。
  2. 前記コントローラは、
    前記第1のジェスチャから前記第2のジェスチャまでの時間が、所定の時間以上である場合、前記第2のジェスチャを有効であると決定し、
    前記第1のジェスチャから前記第2のジェスチャまでの時間が、前記所定の時間未満である場合、前記第2のジェスチャを無効であると決定する、
    請求項1に記載の電子機器。
  3. 前記コントローラは、前記第1のジェスチャの方向と、前記第2のジェスチャの方向とが、反対方向であると判断した場合、前記第2のジェスチャを無効であると決定する、請求項1に記載の電子機器。
  4. 前記コントローラは、
    前記第1のジェスチャが行われた位置と前記近接センサとの距離が、前記第2のジェスチャが行われた位置と前記近接センサとの距離以上である場合、前記第2のジェスチャを有効であると決定し、
    前記第1のジェスチャが行われた位置と前記近接センサとの距離が、前記第2のジェスチャが行われた位置と前記近接センサとの距離よりも小さい場合、前記第2のジェスチャを無効であると決定する、
    請求項1に記載の電子機器。
  5. 前記コントローラは、
    前記第1のジェスチャの速度が、前記第2のジェスチャの速度よりも遅い場合、前記第2のジェスチャを有効であると決定し、
    前記第1のジェスチャの速度が、前記第2のジェスチャの速度よりも速い場合、前記第2のジェスチャを無効であると決定する、
    請求項1に記載の電子機器。
  6. 前記コントローラは、前記第1のジェスチャから前記第2のジェスチャまでの時間、前記第1のジェスチャと前記第2のジェスチャとの方向、前記第1のジェスチャが行われた位置と前記近接センサとの距離および前記第2のジェスチャが行われた位置と前記近接センサとの距離、並びに、前記第1のジェスチャと前記第2のジェスチャとの速度の条件のうち、少なくとも2つ以上の条件に基づいて、前記第2のジェスチャの有効または無効を決定する、請求項1に記載の電子機器。
  7. 近接センサと、コントローラと、を備える電子機器に、
    前記コントローラにより、前記近接センサからの出力に応じてジェスチャに基づく処理を実行するステップと、
    前記コントローラにより、前記近接センサからの出力に応じて第1のジェスチャの後に第2のジェスチャが検出されると、前記第1のジェスチャと前記第2のジェスチャとに基づいて、前記第2のジェスチャの有効または無効を決定するステップと、
    を実行させるプログラム。
  8. 近接センサと、コントローラと、を備える電子機器の制御方法であって、
    前記コントローラにより、前記近接センサからの出力に応じてジェスチャに基づく処理を実行するステップと、
    前記コントローラにより、前記近接センサからの出力に応じて第1のジェスチャの後に第2のジェスチャが検出されると、前記第1のジェスチャと前記第2のジェスチャとに基づいて、前記第2のジェスチャの有効または無効を決定するステップと、
    を含む制御方法。
JP2017000238A 2017-01-04 2017-01-04 電子機器、プログラムおよび制御方法 Active JP6173625B1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2017000238A JP6173625B1 (ja) 2017-01-04 2017-01-04 電子機器、プログラムおよび制御方法
US15/855,509 US20180188817A1 (en) 2017-01-04 2017-12-27 Electronic device, computer-readable non-transitory recording medium, and control method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2017000238A JP6173625B1 (ja) 2017-01-04 2017-01-04 電子機器、プログラムおよび制御方法

Publications (2)

Publication Number Publication Date
JP6173625B1 JP6173625B1 (ja) 2017-08-02
JP2018109874A true JP2018109874A (ja) 2018-07-12

Family

ID=59505146

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017000238A Active JP6173625B1 (ja) 2017-01-04 2017-01-04 電子機器、プログラムおよび制御方法

Country Status (1)

Country Link
JP (1) JP6173625B1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020050636A1 (ko) * 2018-09-07 2020-03-12 삼성전자 주식회사 사용자 의도 기반 제스처 인식 방법 및 장치

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010182014A (ja) * 2009-02-04 2010-08-19 Toshiba Corp ジェスチャ認識装置、その方法及びそのプログラム
JP2012234317A (ja) * 2011-04-28 2012-11-29 Ntt Docomo Inc 表示装置、表示装置の制御方法及びプログラム
JP2012234316A (ja) * 2011-04-28 2012-11-29 Ntt Docomo Inc 表示装置、表示装置の制御方法及びプログラム
JP2013037499A (ja) * 2011-08-05 2013-02-21 Toshiba Corp ジェスチャ認識装置、ジェスチャ認識方法およびジェスチャ認識プログラム
JP2013131237A (ja) * 2013-03-07 2013-07-04 Fujitsu Ten Ltd ディスプレイ装置
JP2013235443A (ja) * 2012-05-09 2013-11-21 Konica Minolta Inc 画像形成装置、フリック操作受付方法およびフリック操作受付プログラム
JP2013242836A (ja) * 2012-04-27 2013-12-05 Panasonic Corp 入力装置、入力支援方法及びプログラム
JP2015125670A (ja) * 2013-12-27 2015-07-06 日立マクセル株式会社 画像投射装置
JP2016218899A (ja) * 2015-05-25 2016-12-22 コニカミノルタ株式会社 ウェアラブル電子機器およびウェアラブル電子機器のジェスチャー検知方法

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010182014A (ja) * 2009-02-04 2010-08-19 Toshiba Corp ジェスチャ認識装置、その方法及びそのプログラム
JP2012234317A (ja) * 2011-04-28 2012-11-29 Ntt Docomo Inc 表示装置、表示装置の制御方法及びプログラム
JP2012234316A (ja) * 2011-04-28 2012-11-29 Ntt Docomo Inc 表示装置、表示装置の制御方法及びプログラム
JP2013037499A (ja) * 2011-08-05 2013-02-21 Toshiba Corp ジェスチャ認識装置、ジェスチャ認識方法およびジェスチャ認識プログラム
JP2013242836A (ja) * 2012-04-27 2013-12-05 Panasonic Corp 入力装置、入力支援方法及びプログラム
JP2013235443A (ja) * 2012-05-09 2013-11-21 Konica Minolta Inc 画像形成装置、フリック操作受付方法およびフリック操作受付プログラム
JP2013131237A (ja) * 2013-03-07 2013-07-04 Fujitsu Ten Ltd ディスプレイ装置
JP2015125670A (ja) * 2013-12-27 2015-07-06 日立マクセル株式会社 画像投射装置
JP2016218899A (ja) * 2015-05-25 2016-12-22 コニカミノルタ株式会社 ウェアラブル電子機器およびウェアラブル電子機器のジェスチャー検知方法

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020050636A1 (ko) * 2018-09-07 2020-03-12 삼성전자 주식회사 사용자 의도 기반 제스처 인식 방법 및 장치
KR20200028771A (ko) * 2018-09-07 2020-03-17 삼성전자주식회사 사용자 의도 기반 제스처 인식 방법 및 장치
US11416080B2 (en) 2018-09-07 2022-08-16 Samsung Electronics Co., Ltd. User intention-based gesture recognition method and apparatus
KR102582863B1 (ko) 2018-09-07 2023-09-27 삼성전자주식회사 사용자 의도 기반 제스처 인식 방법 및 장치

Also Published As

Publication number Publication date
JP6173625B1 (ja) 2017-08-02

Similar Documents

Publication Publication Date Title
JP6293953B1 (ja) 電子機器、プログラムおよび制御方法
JP6091693B1 (ja) 電子機器
US10775998B2 (en) Electronic device and control method
JP6101881B1 (ja) 電子機器、プログラムおよび制御方法
US11269417B2 (en) Electronic device configured to communicate with an intercom, and control method thereof
JP2018018288A (ja) 電子機器
WO2018193876A1 (ja) 電子機器
JP6163278B1 (ja) 電子機器、プログラムおよび制御方法
US20180081536A1 (en) Electronic device
US20180188817A1 (en) Electronic device, computer-readable non-transitory recording medium, and control method
JP6173625B1 (ja) 電子機器、プログラムおよび制御方法
JP2018181351A (ja) 電子機器
JP6113345B1 (ja) 電子機器
JP6295363B1 (ja) 電子機器、プログラムおよび制御方法
JP6235175B1 (ja) 電子機器、プログラムおよび制御方法
JP6637089B2 (ja) 電子機器、プログラムおよび制御方法
JP2018110370A (ja) 電子機器、プログラムおよび制御方法
JP6346699B1 (ja) 電子機器
JP6163274B1 (ja) 電子機器、プログラムおよび制御方法
JP6333461B1 (ja) 電子機器
JP2018109955A (ja) 電子機器、プログラムおよび制御方法
JP2018109873A (ja) 電子機器、プログラムおよび制御方法
JP2018109871A (ja) 電子機器
JP2019149825A (ja) 電子機器、プログラムおよび制御方法
JP2019040591A (ja) 電子機器、プログラムおよび制御方法

Legal Events

Date Code Title Description
TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20170613

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20170704

R150 Certificate of patent or registration of utility model

Ref document number: 6173625

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150