JP6259225B2 - Electronic device, gesture recognition operation method for mobile terminal connected to the same, and in-vehicle system - Google Patents
Electronic device, gesture recognition operation method for mobile terminal connected to the same, and in-vehicle system Download PDFInfo
- Publication number
- JP6259225B2 JP6259225B2 JP2013171871A JP2013171871A JP6259225B2 JP 6259225 B2 JP6259225 B2 JP 6259225B2 JP 2013171871 A JP2013171871 A JP 2013171871A JP 2013171871 A JP2013171871 A JP 2013171871A JP 6259225 B2 JP6259225 B2 JP 6259225B2
- Authority
- JP
- Japan
- Prior art keywords
- gesture
- user
- input item
- electronic device
- coordinate
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Landscapes
- Position Input By Displaying (AREA)
- User Interface Of Digital Computer (AREA)
Description
本発明は、電子機器およびこれに接続された携帯端末のジェスチャ認識操作方法、車載システムに関し、特に、携帯端末に画面表示された画像を電子機器に表示させて電子機器から携帯端末の操作を行うことができるようになされたシステムに適用して好適なものである。 The present invention relates to an electronic device, a gesture recognition operation method for a mobile terminal connected to the electronic device, and an in-vehicle system, and in particular, displays an image displayed on the screen of the mobile terminal on the electronic device and operates the mobile terminal from the electronic device. Therefore, the present invention is suitable for application to a system that can be used.
近年、スマートフォンのような携帯端末と車載機とを連携させるミラーリンク(登録商標:以下同様)と呼ばれる技術が提供されている。ミラーリンクは、携帯端末に表示された画像を車載機のディスプレイに鏡のようにそのまま映すという仕組みで、車載機のディスプレイに表示された画像を通じて携帯端末の操作を行うことができるようになされている。これにより、携帯端末にインストールしたミラーリンク対応のアプリケーション(以下、携帯アプリという)を車載機のディスプレイ上で操作できるようになる。 In recent years, a technique called a mirror link (registered trademark: the same applies below) that links a mobile terminal such as a smartphone and an in-vehicle device has been provided. Mirror link is a mechanism that displays the image displayed on the mobile device as it is on the display of the in-vehicle device like a mirror, so that the mobile terminal can be operated through the image displayed on the in-vehicle device display. Yes. As a result, an application corresponding to a mirror link installed in the mobile terminal (hereinafter referred to as a mobile application) can be operated on the display of the in-vehicle device.
例えば、図4に示すように、地図アプリがインストールされた携帯端末101から、携帯端末101にて表示中の地図画像を車載機102に送信し、車載機102のディスプレイに携帯端末101と同じ地図画像を表示させることが可能である。また、車載機102のタッチパネルに対するタッチ位置を表す位置情報(座標情報)を車載機102から携帯端末101に送信し、携帯端末101がこの位置情報をもとに、携帯端末101のタッチパネル上で車載機102と同じ位置がタッチ操作されたのと同様の処理(地図のスクロール、拡大/縮小、回転など)を行うことも可能である。
For example, as shown in FIG. 4, a map image being displayed on the
このように、ミラーリンクでは、携帯アプリを車載機のディスプレイ上で操作できるようにするために、車載機のタッチパネルに対するタッチ位置を座標情報として車載機から携帯端末に送信する構成となっている。そのため、車載機側においてユーザにより行われた空間上のジェスチャを認識して得られるコマンドに基づいて携帯アプリを操作するための情報を携帯端末に送信することができない。よって、車載機でのジェスチャ認識を用いて携帯アプリの操作を行うためには、携帯アプリ自体をジェスチャ認識対応にし、かつ、ミラーリンクではない他の通信制御を使用する必要があった。 As described above, the mirror link is configured to transmit the touch position on the touch panel of the in-vehicle device as coordinate information from the in-vehicle device to the mobile terminal so that the mobile application can be operated on the display of the in-vehicle device. Therefore, information for operating the mobile application based on a command obtained by recognizing a gesture in space performed by the user on the in-vehicle device side cannot be transmitted to the mobile terminal. Therefore, in order to operate the mobile app using gesture recognition in the in-vehicle device, it is necessary to make the mobile app itself compatible with gesture recognition and use another communication control that is not a mirror link.
なお、シングルタッチにのみ対応したタッチパネル付き車載装置でマルチタッチ対応のタッチパネル付き携帯電話を操作する際に、車載装置側でマルチタッチジェスチャの種別(例えば、2本指を使ったタップ操作や、2本指の間隔を広げたり縮めたりするピンチ操作など)を選択した後、シングルタッチで疑似的な操作を行うことにより、選択されたジェスチャ操作の入力操作信号を携帯電話に送信するようにした技術が提案されている(例えば、特許文献1参照)。 In addition, when operating a mobile phone with a touch panel that supports multi-touch with a touch panel in-vehicle device that supports only single touch, the type of multi-touch gesture (for example, tap operation using two fingers or 2 A technology that sends an input operation signal of the selected gesture operation to a mobile phone by performing a pseudo operation with a single touch after selecting a pinch operation that expands or contracts the distance between the fingers. Has been proposed (see, for example, Patent Document 1).
しかしながら、上記特許文献1に記載の技術では、シングルタッチジェスチャの疑似的な操作によってマルチタッチジェスチャの入力操作信号を生成することができるのみである。そのため、携帯端末から車載機に送信されて表示された画像について、タッチパネルから離れた空間上で行われるジェスチャを認識して携帯端末の操作を行うことはできないという問題があった。 However, with the technique described in Patent Document 1, it is only possible to generate an input operation signal for a multi-touch gesture by a pseudo operation of a single touch gesture. For this reason, there is a problem in that it is impossible to recognize a gesture performed in a space away from the touch panel and operate the mobile terminal for an image transmitted and displayed from the mobile terminal to the in-vehicle device.
本発明は、このような問題を解決するために成されたものであり、携帯端末に画面表示された画像を電子機器に表示させて電子機器から携帯端末の操作を行うことができるようになされたシステムにおいて、電子機器での空間上のジェスチャ認識に基づいて、携帯端末のタッチパネル上での操作を行うことができるようにすることを目的とする。 The present invention has been made to solve such a problem, and allows an electronic device to display an image displayed on a screen of a mobile terminal so that the mobile device can be operated from the electronic device. Another object of the present invention is to enable an operation on a touch panel of a portable terminal based on recognition of a gesture in space in an electronic device.
上記した課題を解決するために、本発明では、タッチパネル付きの携帯端末で生成された画像データを受信して画像表示するとともに、携帯端末の操作を行うことができるようになされた電子機器が、ユーザにより空間上で行われるジェスチャについて認識対象とするジェスチャ入力項目を電子機器側タッチパネルのジェスチャの動きを表す座標点または座標列に変換するための変換テーブル情報を格納した変換テーブル記憶部を備え、ジェスチャ認識部により認識されたユーザジェスチャがジェスチャ入力項目に該当する場合、変換テーブル情報を用いてジェスチャ入力項目から電子機器側タッチパネルのジェスチャの動きを表す座標点または座標列を生成して携帯端末に送信するようにしている。 In order to solve the above-described problem, in the present invention, an electronic device configured to receive and display image data generated by a mobile terminal with a touch panel and to operate the mobile terminal, A conversion table storage unit that stores conversion table information for converting a gesture input item to be recognized for a gesture performed in space by a user into a coordinate point or a coordinate string representing a gesture movement of the electronic device-side touch panel; When the user gesture recognized by the gesture recognition unit corresponds to the gesture input item, the conversion table information is used to generate a coordinate point or a coordinate sequence that represents the movement of the gesture on the electronic device side touch panel from the gesture input item. I am trying to send it.
上記のように構成した本発明によれば、電子機器において認識されたユーザジェスチャがジェスチャ入力項目に該当する場合、そのジェスチャ入力項目が所定の座標点または座標列に変換されて携帯端末に送信されるので、携帯端末ではその座標点または座標列をもとに、携帯端末のタッチパネル上でその座標点または座標列に対応する位置が操作されたのと同様の処理を行うことが可能となる。これにより、電子機器でのジェスチャ認識に基づいて携帯端末のタッチパネル上での操作を行うことができる。 According to the present invention configured as described above, when a user gesture recognized by an electronic device corresponds to a gesture input item, the gesture input item is converted into a predetermined coordinate point or coordinate sequence and transmitted to the mobile terminal. Therefore, the mobile terminal can perform the same processing as when the position corresponding to the coordinate point or the coordinate string is operated on the touch panel of the mobile terminal based on the coordinate point or the coordinate string. Thereby, operation on the touch panel of a portable terminal can be performed based on gesture recognition with an electronic device.
以下、本発明の一実施形態を図面に基づいて説明する。図1は、本発明の電子機器の一実施形態に係る車載機の機能構成例を示すブロック図である。本実施形態の車載機10は、タッチパネル付きの携帯端末20とミラーリンクで連携する。そして、携帯端末20で生成された画像データを受信して画像表示するとともに、携帯端末20にインストールされているアプリケーション(本実施形態では、地図アプリ)の操作(地図のスクロール、拡大/縮小、回転)を車載機10から行うことができるようになされている。
Hereinafter, an embodiment of the present invention will be described with reference to the drawings. FIG. 1 is a block diagram illustrating a functional configuration example of an in-vehicle device according to an embodiment of an electronic device of the present invention. The in-
図1に示すように、本実施形態の車載機10は、その機能構成として、画像データ受信部11、画像表示制御部12、変換テーブル記憶部13、撮影画像入力部14、ジェスチャ認識部15、入力項目判定部16および制御部17を備えている。ここで、車載機10には、タッチパネル付きディスプレイ30(以下、単にディスプレイ30とも記す)およびカメラ40が接続され、あるいは、一体として構成されている。
As shown in FIG. 1, the in-
上記各機能ブロック11〜12,14〜17は、ハードウェア、DSP(Digital Signal Processor)、ソフトウェアの何れによっても構成することが可能である。例えばソフトウェアによって構成する場合、上記各機能ブロック11〜12,14〜17は、実際には車載機10が備えるコンピュータのCPU、RAM、ROMなどを備えて構成され、RAMやROM、ハードディスクまたは半導体メモリ等の記録媒体に記憶されたプログラムが動作することによって実現される。
Each of the functional blocks 11 to 12 and 14 to 17 can be configured by any of hardware, DSP (Digital Signal Processor), and software. For example, when configured by software, each of the functional blocks 11 to 12 and 14 to 17 is actually configured by including a CPU, a RAM, a ROM, and the like of a computer included in the in-
画像データ受信部11は、携帯端末20のタッチパネル付きディスプレイ21(以下、単にディスプレイ21とも記す)に表示中の地図画像に係る画像データを携帯端末20から受信する。画像表示制御部12は、画像データ受信部11により受信された画像データに基づいて、地図画像をディスプレイ30に表示させる。
The image data receiving unit 11 receives image data relating to a map image being displayed on the
なお、携帯端末20のディスプレイ21は縦長型であり、車載機10に接続されたディスプレイ30は横長型である。携帯端末20は、車載機10とミラーリンク接続されたとき、ディスプレイ21に表示中の縦長型の地図画像を車載機10のディスプレイ30に表示すべき横長型の地図画像へと変換して自身のディスプレイ21の表示を横長型の地図画像に変更した上で、変換後の画像データを車載機10に送信する。車載機10の画像データ受信部11は、この画像データを受信する。
The
画像データ受信部11によって携帯端末20から画像データが受信され、画像表示制御部12によってその画像データに基づいて地図画像がディスプレイ30に表示されると、ディスプレイ30上で地図画像が表示された位置を示す座標情報(例えば、ディスプレイ30の四隅の座標情報)が車載機10から携帯端末20に返される。携帯端末20では、車載機10から返されてきたディスプレイ30の四隅の座標情報と、ディスプレイ21の四隅の座標情報とを対応付けて記憶する(以下、この記憶する情報を「座標関連付け情報」という)。
When image data is received from the
これにより、車載機10のタッチパネルに対するタッチ位置を表す座標情報を車載機10から携帯端末20に送信し、携帯端末20がこの座標情報を座標関連付け情報に基づいて携帯端末20のタッチパネル上の座標情報に変換することにより、携帯端末20のタッチパネル上で車載機10と同じ位置がタッチ操作されたのと同様の処理を行うことが可能な状態となる。
Thereby, coordinate information representing the touch position of the in-
変換テーブル記憶部13は、ジェスチャ認識の対象としたい複数のジェスチャ入力項目をそれぞれタッチパネル付きディスプレイ30のタッチパネル上における座標点または座標列(以下、これらをまとめて座標情報という)に変換するための変換テーブル情報をあらかじめ格納している。本実施形態において、ジェスチャ入力項目は、地図画像のスクロール、拡大・縮小、回転の少なくともいずれかに関するものを含む。
The conversion
例えば、変換テーブル記憶部13には、地図画像のスクロールに関して、「右スクロール」、「左スクロール」、「上スクロール」、「下スクロール」に関するジェスチャ入力項目をそれぞれ所定の座標列に変換するための情報が格納されている。ここで、「右スクロール」に関するジェスチャ入力項目は、空間上で手を右から左へと移動させる動作を示すものであり、その動作を示す「手を右から左へと移動させる動作」というコマンド情報が格納されている。また、このジェスチャ入力項目に対応して、「右スクロール」に関する座標列の情報が格納されている。
For example, the conversion
同様に、「左スクロール」、「上スクロール」、「下スクロール」に関するジェスチャ入力項目はそれぞれ、空間上で手を左から右へと移動させる動作、空間上で手を上から下へと移動させる動作、空間上で手を下から上へと移動させる動作を示すものであり、それぞれの動作を示すコマンド情報が格納されている。また、これらのジェスチャ入力項目に対応して、「左スクロール」、「上スクロール」、「下スクロール」に関する座標列の情報がそれぞれ格納されている。 Similarly, the gesture input items related to “left scroll”, “up scroll”, and “down scroll” are each an action of moving the hand from left to right in space, and moving the hand from top to bottom in space. It shows an action, an action of moving a hand from below to above in space, and command information indicating each action is stored. Corresponding to these gesture input items, information on coordinate strings related to “left scroll”, “upward scroll”, and “downward scroll” is stored.
また、変換テーブル記憶部13には、地図画像の拡大・縮小に関して、「拡大」、「縮小」に関するジェスチャ入力項目をそれぞれ所定の座標列に変換するための情報が格納されている。ここで、「拡大」に関するジェスチャ入力項目は、空間上で2本指の間隔を広げる動作を示すものであり、その動作を示すコマンド情報が格納されている。同様に、「縮小」に関するジェスチャ入力項目は、空間上で2本指の間隔を縮める動作を示すものであり、その動作を示すコマンド情報が格納されている。また、これらのジェスチャ入力項目に対応して、「拡大」、「縮小」に関する座標列の情報がそれぞれ格納されている。
In addition, the conversion
さらに、変換テーブル記憶部13には、地図画像の回転に関して、「右回転」、「左回転」に関するジェスチャ入力項目をそれぞれ所定の座標列に変換するための情報が格納されている。ここで、「右回転」に関するジェスチャ入力項目は、空間上で手を右回転させる動作を示すものであり、その動作を示すコマンド情報が格納されている。同様に、「左回転」に関するジェスチャ入力項目は、空間上で手を左回転させる動作を示すものであり、その動作を示すコマンド情報が格納されている。また、これらのジェスチャ入力項目に対応して、「右回転」、「左回転」に関する座標列の情報がそれぞれ格納されている。
Furthermore, the conversion
図2は、一例として「右スクロール」および「拡大」のジェスチャ入力項目をそれぞれ所定の座標列に変換するための変換テーブル情報を示す図である。図2に示すように、変換テーブル記憶部13には、「右スクロール」のジェスチャ入力項目に対応して、タッチパネル上の所定の開始位置から終了位置まで、右から左方向へと所定の長さだけ1本の指でフリック操作をした場合に得られる座標列が格納されている。また、「拡大」のジェスチャ入力項目に対応して、タッチパネル上の所定の開始位置(例えば、タッチパネルの中央点)を中心として、2本の指を使ってその間隔を押し広げるピンチ操作をした場合に得られる座標列が格納されている。
FIG. 2 is a diagram showing conversion table information for converting “right scroll” and “enlarged” gesture input items into predetermined coordinate strings, as an example. As shown in FIG. 2, the conversion
撮影画像入力部14は、ユーザの指の撮影画像をカメラ40より入力する。カメラ40は、例えば、車載機10またはその近傍に設定されており、車載機10の前方の所定範囲を撮影する。ジェスチャ認識部15は、撮影画像入力部14により入力された撮影画像から、ユーザによって空間上で行われた指によるジェスチャ(以下、ユーザジェスチャという)を認識する。そして、認識したジェスチャを表わすコマンド情報を出力する。
The captured
入力項目判定部16は、変換テーブル記憶部13に格納されている変換テーブル情報を参照して、ジェスチャ認識部15により認識されたユーザジェスチャがジェスチャ入力項目に該当するか否かを判定する。すなわち、入力項目判定部16は、ジェスチャ認識部15より出力されるユーザジェスチャに関するコマンド情報が、変換テーブル記憶部13にジェスチャ入力項目のコマンド情報として格納されているか否かを判定する。
The input
制御部17は、ジェスチャ認識部15により認識されたユーザジェスチャがジェスチャ入力項目に該当すると入力項目判定部16により判定された場合、変換テーブル記憶部13に格納されている変換テーブル情報を用いて、ジェスチャ入力項目から所定の座標情報を生成して携帯端末20に送信する。
When the input
携帯端末20では、制御部17により車載機10から送られてきた座標情報をもとに、携帯端末20のタッチパネル上でその座標情報に対応する位置が操作されたのと同様の処理を行う。すなわち、携帯端末20では、上述した座標関連付け情報を用いて、車載機10から送られてきた座標情報(タッチパネル付きディスプレイ30におけるタッチパネル上での疑似的な操作座標情報)を、携帯端末20のタッチパネル上での疑似的な操作座標情報に変換し、変換後の座標情報に対応する位置が操作されたのと同様の処理を行う。
In the
図3は、上記のように構成した本実施形態による車載機10の動作例を示すフローチャートである。なお、図3に示すフローチャートの処理は、車載機10と携帯端末20とを接続してミラーリンクで連携させたときに開始する。まず、画像データ受信部11は、携帯端末20のディスプレイ21に表示中の地図画像に係る画像データを携帯端末20から受信する(ステップS1)。そして、画像表示制御部12は、画像データ受信部11により受信された画像データに基づいて、地図画像をディスプレイ30に表示させる(ステップS2)。その後、車載機10は、地図画像が表示されたディスプレイ30の四隅の座標情報を携帯端末20に返信する(ステップS3)。
FIG. 3 is a flowchart showing an operation example of the vehicle-mounted
次に、撮影画像入力部14は、ユーザの撮影画像がカメラ40より入力されたか否かを判定する(ステップS4)。撮影画像が入力されていない場合、車載機10は、携帯端末20とのミラーリンクによる連携が終了したか否かを判定し(ステップS5)、連携が終了した場合は図3に示すフローチャートの処理を終了する。連携が終了していなければ、処理はステップS1に戻る。これにより、携帯端末20において地図画像が更新されるのに合わせて、車載機10においても地図画像が随時更新して表示される。
Next, the captured
一方、撮影画像入力部14により撮影画像が入力された場合、ジェスチャ認識部15は、撮影画像入力部14により入力された撮影画像からユーザジェスチャを認識する(ステップS6)。次いで、入力項目判定部16は、ジェスチャ認識部15により認識されたユーザジェスチャが所定のジェスチャ入力項目に該当するか否かを判定する(ステップS7)。ここで、ジェスチャ認識部15により認識されたユーザジェスチャが所定のジェスチャ入力項目に該当しないと判定された場合、入力項目判定部16は、ユーザジェスチャがジェスチャ入力項目に該当しない旨をユーザに知らせるエラーメッセージをディスプレイ30に表示させる(ステップS8)。その後、処理はステップS1に戻る。
On the other hand, when a captured image is input by the captured
一方、ジェスチャ認識部15により認識されたユーザジェスチャがジェスチャ入力項目に該当すると入力項目判定部16により判定された場合、制御部17は、変換テーブル記憶部13に格納されている変換テーブル情報を用いて、ジェスチャ入力項目から所定の座標情報を生成して携帯端末20に送信する(ステップS9)。その後、処理はステップS1に戻る。これにより、車載機10から送られた座標情報に基づいて携帯端末20において所定の処理が実行され、それによって更新された地図画像と同じ地図画像がディスプレイ30に表示されることとなる。
On the other hand, when the input
以上詳しく説明したように、本実施形態の車載機10は、ジェスチャ認識用のジェスチャ入力項目を所定の座標情報に変換するための変換テーブル情報を格納した変換テーブル記憶部13を備え、ジェスチャ認識部15により認識されたユーザジェスチャがジェスチャ入力項目に該当する場合、変換テーブル情報を用いてジェスチャ入力項目から所定の座標情報を生成して携帯端末20に送信するようにしている。
As described above in detail, the vehicle-mounted
このように構成した本実施形態によれば、車載機10において認識されたユーザジェスチャがジェスチャ入力項目に該当する場合、そのジェスチャ入力項目が所定の座標情報に変換されて携帯端末20に送信されるので、携帯端末20ではその座標情報をもとに、携帯端末20のタッチパネル上でその座標情報に対応する位置が操作されたのと同様の処理を行うことが可能となる。これにより、車載機10でのジェスチャ認識に基づいて携帯端末20のタッチパネル上での操作を行うことができる。
According to the present embodiment configured as described above, when a user gesture recognized by the in-
なお、上記実施形態において、ユーザにより行われるジェスチャの速度(ジェスチャが行われた時間)に応じて、車載機10から携帯端末20に座標情報を送信する時間を制御するようにしてもよい。例えば、ジェスチャ認識部15は、ユーザジェスチャの内容に加えて、当該ユーザジェスチャが行われた時間(ユーザジェスチャの開始から終了までの時間)も認識する。
In the above embodiment, the time for transmitting the coordinate information from the in-
そして、ジェスチャ認識部15により認識されたユーザジェスチャがジェスチャ入力項目に該当すると入力項目判定部16により判定された場合、制御部17は、ジェスチャ認識部15により認識された時間に応じた速度で座標情報を携帯端末20に送信する。例えば、ユーザジェスチャが行われた時間と同じ時間(あるいは比例する時間)をかけて、座標情報を携帯端末20に送信する。これにより、携帯端末20では、座標情報が送られてくる時間に合わせた速度で地図画像のスクロール等の処理が実行され、車載機10に表示される地図画像についてもそれと同じ速度でスクロール等が行われる。
When the input
また、上記実施形態において、制御部17により生成する座標情報の開始位置を指定できるようにしてもよい。例えば、ジェスチャ認識部15は、ユーザジェスチャの内容に加えて、当該ユーザジェスチャによってユーザの指が指示しているディスプレイ30上の位置も認識する。そして、制御部17は、ジェスチャ認識部15により認識された位置を始点として、ジェスチャ入力項目の内容に応じた座標情報を生成して携帯端末20に送信する。
Moreover, in the said embodiment, you may enable it to designate the starting position of the coordinate information produced | generated by the control part 17. FIG. For example, in addition to the content of the user gesture, the
また、上記実施形態では、携帯端末20にインストールされている携帯アプリの例として地図アプリを挙げて説明したが、本発明を適用可能な携帯アプリは地図アプリに限定されない。すなわち、タッチパネルへのタッチ操作やなぞり操作に応じて所定の処理を実行する機能を有する携帯アプリであれば、何れも適用することが可能である。
Moreover, although the map application was mentioned and demonstrated in the said embodiment as an example of the portable application installed in the
また、上記実施形態では、フリック、ピンチ、ローテーションなどのなぞり操作に対応するユーザジェスチャに応じて所定の座標列を生成して車載機10から携帯端末20に送信し、これによって画像のスクロール、拡大・縮小、回転といった処理を実行する例について説明したが、本発明はこれに限定されない。例えば、1本指あるいは2本指によるタップ操作に対応するユーザジェスチャに応じて所定の座標点を生成して車載機10から携帯端末20に送信し、これによって所定の処理を実行する場合にも本発明を適用することが可能である。
Further, in the above embodiment, a predetermined coordinate sequence is generated according to a user gesture corresponding to a tracing operation such as flick, pinch, and rotation, and is transmitted from the in-
また、上記実施形態では、電子機器の一例として車載機10を挙げて説明したが、本発明を適用可能な電子機器は車載機10に限定されない。すなわち、ミラーリンクまたはこれと同様の通信制御技術に対応した電子機器であれば何れにも適用することが可能である。
In the above embodiment, the in-
その他、上記実施形態は、何れも本発明を実施するにあたっての具体化の一例を示したものに過ぎず、これによって本発明の技術的範囲が限定的に解釈されてはならないものである。すなわち、本発明はその要旨、またはその主要な特徴から逸脱することなく、様々な形で実施することができる。 In addition, each of the above-described embodiments is merely an example of implementation in carrying out the present invention, and the technical scope of the present invention should not be construed in a limited manner. That is, the present invention can be implemented in various forms without departing from the gist or the main features thereof.
10 車載機(電子機器)
11 画像データ受信部
12 画像表示制御部
13 変換テーブル記憶部
14 撮影画像入力部
15 ジェスチャ認識部
16 入力項目判定部
17 制御部
20 携帯端末
10 Onboard equipment (electronic equipment)
DESCRIPTION OF SYMBOLS 11 Image
Claims (6)
ユーザのタッチ操作を受け付ける電子機器側タッチパネルと、
上記ユーザにより空間上で行われるジェスチャについて認識対象とするジェスチャ入力項目を上記電子機器側タッチパネルの上記ジェスチャの動きを表す座標点または座標列に変換するための変換テーブル情報を格納した変換テーブル記憶部と、
上記ユーザの撮影画像を入力する撮影画像入力部と、
上記撮影画像入力部により入力された撮影画像から上記ユーザにより上記空間上で行われたジェスチャであるユーザジェスチャを認識するジェスチャ認識部と、
上記ジェスチャ認識部により認識されたユーザジェスチャが上記ジェスチャ入力項目に該当するか否かを判定する入力項目判定部と、
上記ジェスチャ認識部により認識されたユーザジェスチャが上記ジェスチャ入力項目に該当すると上記入力項目判定部により判定された場合、上記変換テーブル情報を用いて上記ジェスチャ入力項目から上記電子機器側タッチパネルの上記ジェスチャの動きを表す座標点または座標列を生成して上記携帯端末に送信する制御部とを備えたことを特徴とする電子機器。 The electronic device is configured to receive and display image data generated by a mobile terminal with a touch panel, and to operate the mobile terminal,
An electronic device-side touch panel that accepts user touch operations;
A conversion table storage unit storing conversion table information for converting a gesture input item to be recognized for a gesture performed in space by the user into a coordinate point or a coordinate string representing the movement of the gesture on the electronic device-side touch panel When,
A captured image input unit for inputting the user's captured image;
A gesture recognition unit for recognizing a user gesture that is a gesture performed on the space by the user from a captured image input by the captured image input unit;
An input item determination unit that determines whether or not a user gesture recognized by the gesture recognition unit corresponds to the gesture input item;
When it is determined by the input item determination unit that the user gesture recognized by the gesture recognition unit corresponds to the gesture input item, the gesture of the gesture on the electronic device side touch panel is determined from the gesture input item using the conversion table information . An electronic apparatus comprising: a control unit that generates a coordinate point or a coordinate sequence representing movement and transmits the generated coordinate point or coordinate sequence to the portable terminal.
上記制御部は、上記ジェスチャ認識部により認識されたユーザジェスチャが上記ジェスチャ入力項目に該当すると上記入力項目判定部により判定された場合、上記変換テーブル情報を用いて上記ジェスチャ入力項目から上記ジェスチャの動きを表す座標点または座標列を生成し、上記ジェスチャ認識部により認識された時間に応じた速度で上記座標点または座標列を上記携帯端末に送信することを特徴とする請求項1に記載の電子機器。 The gesture recognition unit recognizes the time when the user gesture is performed in addition to the content of the user gesture,
When the input item determination unit determines that the user gesture recognized by the gesture recognition unit corresponds to the gesture input item, the control unit moves the gesture from the gesture input item using the conversion table information. 2. The electronic apparatus according to claim 1, wherein a coordinate point or a coordinate sequence representing the position is generated, and the coordinate point or the coordinate sequence is transmitted to the portable terminal at a speed according to a time recognized by the gesture recognition unit. machine.
上記制御部は、上記ジェスチャ認識部により認識されたユーザジェスチャが上記ジェスチャ入力項目に該当すると上記入力項目判定部により判定された場合、上記ジェスチャ認識部により認識された位置を始点として、上記変換テーブル情報を用いて上記ジェスチャ入力項目から上記ジェスチャの動きを表す座標点または座標列を生成して上記携帯端末に送信する制御部とを備えたことを特徴とする請求項1に記載の電子機器。 The gesture recognition unit recognizes the position on the display of the electronic device indicated by the user's finger by the user gesture in addition to the content of the user gesture,
When the input item determination unit determines that the user gesture recognized by the gesture recognition unit corresponds to the gesture input item, the control unit starts from the position recognized by the gesture recognition unit as the starting point. The electronic device according to claim 1, further comprising: a control unit that generates a coordinate point or a coordinate sequence representing the movement of the gesture from the gesture input item using information and transmits the generated coordinate point or coordinate sequence to the mobile terminal.
上記電子機器の撮影画像入力部が、ユーザの撮影画像を入力する第1のステップと、
上記電子機器のジェスチャ認識部が、上記撮影画像入力部により入力された撮影画像から上記ユーザにより空間上で行われたジェスチャであるユーザジェスチャを認識する第2のステップと、
上記電子機器の入力項目判定部が、上記ジェスチャ認識部により認識されたユーザジェスチャが所定のジェスチャ入力項目に該当するか否かを判定する第3のステップと、
上記電子機器の制御部が、上記ジェスチャ認識部により認識されたユーザジェスチャが上記ジェスチャ入力項目に該当すると上記入力項目判定部により判定された場合、上記ジェスチャ入力項目を上記電子機器側タッチパネルの上記ジェスチャの動きを表す座標点または座標列に変換するための変換テーブル情報を用いて上記ジェスチャ入力項目から上記ジェスチャの動きを表す座標点または座標列を生成して上記携帯端末に送信する第4のステップとを有することを特徴とする、電子機器に接続された携帯端末のジェスチャ認識操作方法。 In a system configured to display an image displayed on a mobile terminal with a touch panel on an electronic device having an electronic device-side touch panel that accepts a user's touch operation, the mobile device uses gesture recognition from the electronic device. A gesture recognition operation method for operating a terminal,
A first step in which a captured image input unit of the electronic device inputs a captured image of a user;
A second step in which a gesture recognition unit of the electronic device recognizes a user gesture which is a gesture performed in space by the user from the captured image input by the captured image input unit;
A third step in which the input item determination unit of the electronic device determines whether the user gesture recognized by the gesture recognition unit corresponds to a predetermined gesture input item;
Control unit of the electronic device, the case where the user gesture recognized by the gesture recognition unit is determined by the corresponding to the gesture input item the input item determining unit, the gesture input items of the electronic apparatus side panel above gesture A fourth step of generating a coordinate point or a coordinate string representing the movement of the gesture from the gesture input item using the conversion table information for converting into a coordinate point or a coordinate string representing the movement of the character and transmitting it to the portable terminal A gesture recognition operation method for a portable terminal connected to an electronic device.
上記車載機は、
ユーザのタッチ操作を受け付ける電子機器側タッチパネルと、
上記ユーザにより空間上で行われるジェスチャについて認識対象とするジェスチャ入力項目を上記電子機器側タッチパネルの上記ジェスチャの動きを表す座標点または座標列に変換するための変換テーブル情報を格納した変換テーブル記憶部と、
上記ユーザの撮影画像を入力する撮影画像入力部と、
上記撮影画像入力部により入力された撮影画像から上記ユーザにより上記空間上で行われたジェスチャであるユーザジェスチャを認識するジェスチャ認識部と、
上記ジェスチャ認識部により認識されたユーザジェスチャが上記ジェスチャ入力項目に該当するか否かを判定する入力項目判定部と、
上記ジェスチャ認識部により認識されたユーザジェスチャが上記ジェスチャ入力項目に該当すると上記入力項目判定部により判定された場合、上記変換テーブル情報を用いて上記ジェスチャ入力項目から上記電子機器側タッチパネルの上記ジェスチャの動きを表す座標点または座標列を生成して上記携帯端末に送信する制御部とを備え、
上記携帯端末は、上記制御部により上記車載機から送られてきた座標列をもとに、上記タッチパネル上で上記座標列に対応する位置がなぞり操作されたのと同様の処理を行うことを特徴とする車載システム。 An in-vehicle system configured to display an image displayed on a mobile terminal with a touch panel on an in-vehicle device and to operate the mobile terminal from the in-vehicle device,
The in-vehicle device is
An electronic device-side touch panel that accepts user touch operations;
A conversion table storage unit storing conversion table information for converting a gesture input item to be recognized for a gesture performed in space by the user into a coordinate point or a coordinate string representing the movement of the gesture on the electronic device-side touch panel When,
A captured image input unit for inputting the user's captured image;
A gesture recognition unit for recognizing a user gesture that is a gesture performed on the space by the user from a captured image input by the captured image input unit;
An input item determination unit that determines whether or not a user gesture recognized by the gesture recognition unit corresponds to the gesture input item;
When it is determined by the input item determination unit that the user gesture recognized by the gesture recognition unit corresponds to the gesture input item, the gesture of the gesture on the electronic device side touch panel is determined from the gesture input item using the conversion table information . A control unit that generates a coordinate point or a coordinate sequence representing movement and transmits the generated coordinate point or coordinate sequence to the mobile terminal,
The portable terminal performs the same processing as when the position corresponding to the coordinate sequence is traced on the touch panel based on the coordinate sequence sent from the in-vehicle device by the control unit. In-vehicle system.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2013171871A JP6259225B2 (en) | 2013-08-22 | 2013-08-22 | Electronic device, gesture recognition operation method for mobile terminal connected to the same, and in-vehicle system |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2013171871A JP6259225B2 (en) | 2013-08-22 | 2013-08-22 | Electronic device, gesture recognition operation method for mobile terminal connected to the same, and in-vehicle system |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2015041244A JP2015041244A (en) | 2015-03-02 |
JP6259225B2 true JP6259225B2 (en) | 2018-01-10 |
Family
ID=52695369
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2013171871A Active JP6259225B2 (en) | 2013-08-22 | 2013-08-22 | Electronic device, gesture recognition operation method for mobile terminal connected to the same, and in-vehicle system |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6259225B2 (en) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP6358118B2 (en) * | 2015-02-06 | 2018-07-18 | 株式会社Jvcケンウッド | Display control device, display control method, display control program, transmission control device, transmission control method, transmission control program |
JP6144743B2 (en) * | 2015-09-30 | 2017-06-07 | 京セラ株式会社 | Wearable device |
Family Cites Families (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2011142317A1 (en) * | 2010-05-11 | 2011-11-17 | 日本システムウエア株式会社 | Gesture recognition device, method, program, and computer-readable medium upon which program is stored |
JP2012121386A (en) * | 2010-12-06 | 2012-06-28 | Fujitsu Ten Ltd | On-board system |
JP5445599B2 (en) * | 2011-03-23 | 2014-03-19 | 株式会社デンソー | VEHICLE DEVICE AND DEVICE LINKING SYSTEM |
JP5472256B2 (en) * | 2011-05-06 | 2014-04-16 | 株式会社デンソー | Vehicle display device and information display system |
-
2013
- 2013-08-22 JP JP2013171871A patent/JP6259225B2/en active Active
Also Published As
Publication number | Publication date |
---|---|
JP2015041244A (en) | 2015-03-02 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5999573B2 (en) | Information display processing device | |
US10146407B2 (en) | Physical object detection and touchscreen interaction | |
JP6054892B2 (en) | Application image display method, electronic apparatus, and computer program for multiple displays | |
JP6609994B2 (en) | Display control method, information processing apparatus, and display control program | |
US9335899B2 (en) | Method and apparatus for executing function executing command through gesture input | |
US20130263013A1 (en) | Touch-Based Method and Apparatus for Sending Information | |
US9870144B2 (en) | Graph display apparatus, graph display method and storage medium | |
CN114895838A (en) | Application program display method and terminal | |
KR102205283B1 (en) | Electro device executing at least one application and method for controlling thereof | |
US10929012B2 (en) | Systems and methods for multiuse of keys for virtual keyboard | |
WO2016042834A1 (en) | Method for enlarging content in split screen, information processing device and control method and control program therefor | |
KR20190063853A (en) | Method and apparatus for moving an input field | |
KR20170014589A (en) | User terminal apparatus for providing translation service and control method thereof | |
JP6259225B2 (en) | Electronic device, gesture recognition operation method for mobile terminal connected to the same, and in-vehicle system | |
JP4854797B2 (en) | Programs and electronics | |
JP2015102875A (en) | Display system and display control device | |
JP6323452B2 (en) | Display control apparatus, control method thereof, and program | |
JP2007286745A (en) | Image formation device, image formation method and program | |
JP2015041243A (en) | Electronic device, voice recognition operation method of mobile terminal connected thereto, and in-vehicle system | |
JP2017130084A (en) | Electronic device and display program | |
JP2013077231A (en) | Display method of document data, display device of portable terminal | |
JP6577731B2 (en) | Terminal device, display control method, and program | |
JP2014182587A (en) | Information terminal, operation region control method, and operation region control program | |
JP2019200811A (en) | Display control method, information processing apparatus, and display control program | |
KR101327963B1 (en) | Character input apparatus based on rotating user interface using depth information of hand gesture and method thereof |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20160229 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20161220 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20161221 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20170118 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20170606 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20170804 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20171205 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20171208 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6259225 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |