JP5988141B2 - Portable terminal set, portable terminal jacket, portable terminal, information processing system, and program - Google Patents
Portable terminal set, portable terminal jacket, portable terminal, information processing system, and program Download PDFInfo
- Publication number
- JP5988141B2 JP5988141B2 JP2012130326A JP2012130326A JP5988141B2 JP 5988141 B2 JP5988141 B2 JP 5988141B2 JP 2012130326 A JP2012130326 A JP 2012130326A JP 2012130326 A JP2012130326 A JP 2012130326A JP 5988141 B2 JP5988141 B2 JP 5988141B2
- Authority
- JP
- Japan
- Prior art keywords
- softness
- image
- illusionary tactile
- mobile terminal
- user
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- User Interface Of Digital Computer (AREA)
- Telephone Function (AREA)
Description
本発明は、携帯端末セット、携帯端末用ジャケット、携帯端末、情報処理システム、およびプログラムに関し、特に、錯触覚現象を利用して、対象物の柔らかさを認識可能にする新たなユーザインタフェースを実現することができるようにする携帯端末セット、携帯端末用ジャケット、携帯端末、情報処理システム、およびプログラムに関する。 The present invention relates to a portable terminal set, a portable terminal jacket, a portable terminal, an information processing system, and a program, and in particular, realizes a new user interface that makes it possible to recognize the softness of an object by using an illusionary haptic phenomenon. The present invention relates to a mobile terminal set, a mobile terminal jacket, a mobile terminal, an information processing system, and a program.
コンピュータ等のユーザインタフェースとして触覚を用いたものが知られている。触覚を用いたユーザインタフェースの代表的なものとして、ディスプレイの表示面をタッチすることで情報の入力が可能なタッチパネルを用いたタッチ入力がある。 As a user interface of a computer or the like, one using tactile sensation is known. As a typical user interface using a tactile sense, there is a touch input using a touch panel capable of inputting information by touching a display surface of a display.
また、画面上へのタッチ入力の他に、携帯端末の背面へのタッチ入力が研究・開発されている(例えば、非特許文献1,2参照)。また、携帯端末の背面を出力インタフェースに利用することも提案されている(例えば、非特許文献3,4参照)。 In addition to touch input on a screen, touch input on the back of a mobile terminal has been researched and developed (for example, see Non-Patent Documents 1 and 2). Also, it has been proposed to use the back surface of the portable terminal as an output interface (see, for example, Non-Patent Documents 3 and 4).
さらに、ユーザの握力を検出し、検出された握力に応じて画面上のオブジェクトを操作することが提案されている。例えば、ポインティングデバイスに設けた圧力センサで、デバイスを握るユーザの握力を検出し、検出された握力に応じてディスプレイに描画される線の太さを変化させる入力インタフェースが提案されている(例えば、特許文献1参照)。 Further, it has been proposed to detect a user's grip strength and operate an object on the screen according to the detected grip strength. For example, an input interface has been proposed in which a gripping force of a user holding the device is detected with a pressure sensor provided in a pointing device, and the thickness of a line drawn on the display is changed according to the detected gripping force (for example, Patent Document 1).
また、自由に変形可能なコンピュータ的デバイスにおいて、デバイス表面に圧縮や張力歪みを検知するセンサアレイを設け、デバイスを圧縮する操作を検知した場合に、デバイスの画面に表示されている文書をアイコン化(小型化)する動作を行う入力インタフェースも提案されている(例えば、特許文献2参照)。 In a freely deformable computer-like device, a sensor array that detects compression and strain on the device surface is provided, and when an operation to compress the device is detected, the document displayed on the device screen is converted into an icon. An input interface that performs an operation of (miniaturizing) has also been proposed (see, for example, Patent Document 2).
さらに、握力を用いて気持ちを表現し、その気持ちを通信するシステムも提案されている(例えば、特許文献3参照)。そのシステムでは、具体的には、送信側は、専用の入力デバイスを用いてユーザの握力の大きさを測定し、その測定値に基づいてユーザの入力したい気持ちの種類を判別して、判別した気持ちの種類を相手方に伝送する。受信側は、送信されてきた気持ちの種類に応じた表情の顔画像を出力する。 Furthermore, a system that expresses feelings using grip strength and communicates the feelings has also been proposed (see, for example, Patent Document 3). Specifically, in the system, the transmission side measures the magnitude of the user's grip strength using a dedicated input device, and determines the type of feeling the user wants to input based on the measured value. Transmit feelings to the other party. The receiving side outputs a facial image with a facial expression corresponding to the type of sent feeling.
ところで、触覚による入力操作に対する視覚的なフィードバックを制御することにより、触覚に基づく操作感の錯覚を引き起こす視覚誘導性錯触覚という現象が知られているが、上述した非特許文献1乃至4と特許文献1から3に記載の入力インタフェースは、錯触覚現象を利用した入力インタフェースではない。 By the way, there is known a phenomenon called visual inductive illusion that causes an illusion of operation feeling based on tactile sensation by controlling visual feedback with respect to an input operation by tactile sensation. The input interfaces described in Documents 1 to 3 are not input interfaces using the illusionary haptic phenomenon.
錯触覚現象を利用した入力インタフェースとしては、例えば、非特許文献5や特許文献4に記載の技術がある。
As an input interface using an illusionary tactile phenomenon, for example, there are techniques described in Non-Patent
非特許文献5では、ピストン形状の入力装置を用いてディスプレイ画面上のピストンを操作し、画面上においてピストンの先にある物体を変形させるアプリケーションが提案されている。このアプリケーションでは、ピストン操作によって、画面上の物体の変形を大きくするほど、ユーザはその物体が柔らかいと感じるようになり、アプリケーションは、画面上の物体の変形という視覚フィードバックを制御することにより、触覚に基づく柔らかさの感覚の錯覚を引き起こしている。
Non-Patent
また、特許文献4では、タッチパネルの操作面に力センサを配置して指の押圧力を検出できるようにし、操作面上での指の動きと押圧力とに応じて、背景のスクロール画像のスクロール速度を変化させることによって、指の動きを軽く感じさせたり、重く感じさせたりするユーザインタフェースが提案されている。これにより、視覚情報に基づいて、実際には発生していない現象を、あたかも実際に発生しているかのごとくに感じることが可能になる。 Further, in Patent Document 4, a force sensor is arranged on the operation surface of the touch panel so that the finger pressing force can be detected, and the scroll image of the background is scrolled in accordance with the finger movement and the pressing force on the operation surface. There has been proposed a user interface that makes a finger feel lighter or heavier by changing the speed. As a result, it is possible to feel as if an actual phenomenon has occurred based on visual information.
しかしながら、非特許文献5には、触覚入力装置を操作する手元と視覚フィードバックが行われる画面とが離れた状態において、柔らかさについての視覚誘導性の錯触覚の誘発が促進される旨が記載されている。逆に言えば、非特許文献5に記載の技術では、触覚入力と視覚フィードバックが同じ筐体で行われる場合には、この錯触覚が促進されない。すなわち、触覚入力を行う手元が見える状態で視覚フィードバックを受けるという条件下での錯触覚現象の発現は確認されていない。
However, Non-Patent
また、特許文献4に記載の技術は、タッチパネルの画面上の押圧力を用いて錯触覚現象を引き起こすものであるが、タッチパネルの画面上の押圧以外の触覚入力には対応していない。 The technique described in Patent Document 4 causes an illusionary tactile sensation phenomenon using a pressing force on the screen of the touch panel, but does not support tactile input other than pressing on the screen of the touch panel.
本発明は、このような状況に鑑みてなされたものであり、錯触覚現象を利用して、対象物の柔らかさを認識可能にする新たなユーザインタフェースを実現することができるようにするものである。 The present invention has been made in view of such circumstances, and makes it possible to realize a new user interface that makes it possible to recognize the softness of an object by using an illusionary tactile sensation phenomenon. is there.
本発明者らは、握力に基づく触覚入力と視覚フィードバックの提示の両方が同一筐体で実装された携帯端末を用いることによって、触覚入力が行われる手元が見える状態で、握力感の錯触覚が発現することを見出した。本発明は、この新たに発見された錯触覚現象を利用したものである。 By using a portable terminal in which both tactile input based on grip strength and presentation of visual feedback are mounted in the same housing, the illusion of tactile sensation of grip strength can be seen in a state where the hand where the tactile input is performed can be seen. It was found to be expressed. The present invention utilizes this newly discovered illusionary haptic phenomenon.
本発明の第1の側面の携帯端末セットは、
ユーザが把持可能な携帯端末と前記携帯端末に装着されるジャケットとからなる携帯端末セットであって、
前記ジャケットは、
前記ユーザが前記携帯端末を把持したときの圧力を検知し、その結果である圧力値を出力する圧力センサを備え、
前記携帯端末は、
柔らかさの程度を表す柔らかさ情報と、前記圧力センサが示す圧力値とに応じて、前記ユーザに柔らかさを認識させる錯触覚画像の形態的属性を決定して前記錯触覚画像の表示制御を行う画像表示制御部と、
前記柔らかさ情報を変更して、複数の前記柔らかさ情報を、前記画像表示制御部に設定する柔らかさ情報制御部と、
前記画像表示制御部により表示制御された前記錯触覚画像を表示する表示部と
を備える。
The mobile terminal set according to the first aspect of the present invention is:
A mobile terminal set comprising a mobile terminal that can be held by a user and a jacket that is attached to the mobile terminal,
The jacket is
A pressure sensor that detects a pressure when the user grips the portable terminal and outputs a pressure value as a result thereof;
The portable terminal is
Based on the softness information indicating the degree of softness and the pressure value indicated by the pressure sensor, the morphological attribute of the illusionary tactile image that allows the user to recognize the softness is determined and display control of the illusionary tactile image is performed. An image display control unit to perform;
A softness information control unit that changes the softness information and sets a plurality of softness information in the image display control unit;
A display unit that displays the illusionary tactile image controlled by the image display control unit.
本発明の第2の側面の携帯端末は、
ユーザが把持可能な携帯端末であって、
前記ユーザが前記携帯端末を把持したときの圧力を検知する圧力センサと、
柔らかさの程度を表す柔らかさ情報と、前記圧力センサが示す圧力値とに応じて、前記ユーザに柔らかさを認識させる錯触覚画像の形態的属性を決定して前記錯触覚画像の表示制御を行う画像表示制御部と、
前記柔らかさ情報を変更して、複数の前記柔らかさ情報を、前記画像表示制御部に設定する柔らかさ情報制御部と、
前記画像表示制御部により表示制御された前記錯触覚画像を表示する表示部と
を備える。
The mobile terminal according to the second aspect of the present invention is:
A portable terminal that can be held by a user,
A pressure sensor for detecting pressure when the user grips the portable terminal;
Based on the softness information indicating the degree of softness and the pressure value indicated by the pressure sensor, the morphological attribute of the illusionary tactile image that allows the user to recognize the softness is determined and display control of the illusionary tactile image is performed. An image display control unit to perform;
A softness information control unit that changes the softness information and sets a plurality of softness information in the image display control unit;
A display unit that displays the illusionary tactile image controlled by the image display control unit.
本発明の第3の側面のプログラムは、
携帯端末に、
柔らかさの程度を表す柔らかさ情報を変更して、複数の前記柔らかさ情報を設定し、
設定された前記柔らかさ情報と、ユーザが前記携帯端末を把持したとき圧力センサが示す圧力値とに応じて、前記ユーザに柔らかさを認識させる錯触覚画像の形態的属性を決定して前記錯触覚画像の表示制御を行う
処理を実行させるものである。
The program according to the third aspect of the present invention is:
On your mobile device,
Change the softness information representing the degree of softness, set multiple softness information,
According to the set softness information and the pressure value indicated by the pressure sensor when the user grips the portable terminal, the morphological attribute of the illusionary tactile image that makes the user recognize the softness is determined and the complex This is to execute processing to control the display of tactile images.
本発明の第4の側面の情報処理システムは、
ユーザが把持可能な携帯端末と、サーバとからなる情報処理システムであって、
前記携帯端末は、
前記ユーザが前記携帯端末を把持したときの圧力を検知する圧力センサが示す圧力値と、柔らかさの程度を表す柔らかさ情報とに応じて、前記ユーザに柔らかさを認識させる錯触覚画像の形態的属性を決定して前記錯触覚画像の表示制御を行う画像表示制御部と、
前記柔らかさ情報を変更して、複数の前記柔らかさ情報を、前記画像表示制御部に設定する柔らかさ情報制御部と、
前記画像表示制御部により表示制御された前記錯触覚画像を表示する表示部と
を備え、
前記サーバは、
複数の前記柔らかさ情報を記憶する記憶部と、
前記柔らかさ情報を前記携帯端末に送信する送信部と
を備える。
An information processing system according to a fourth aspect of the present invention includes:
An information processing system comprising a mobile terminal that can be held by a user and a server,
The portable terminal is
Form of an illusionary tactile image that allows the user to recognize softness according to a pressure value indicated by a pressure sensor that detects pressure when the user grips the mobile terminal and softness information indicating the degree of softness An image display control unit for controlling the display of the illusionary tactile image by determining a visual attribute;
A softness information control unit that changes the softness information and sets a plurality of softness information in the image display control unit;
A display unit that displays the illusionary tactile image that is display-controlled by the image display control unit,
The server
A storage unit for storing a plurality of softness information;
A transmission unit that transmits the softness information to the mobile terminal.
本発明の第1乃至第4の側面においては、携帯端末において、柔らかさの程度を表す柔らかさ情報が変更されて、複数の前記柔らかさ情報が設定され、設定された前記柔らかさ情報と、ユーザが前記携帯端末を把持したとき圧力センサが示す圧力値とに応じて、前記ユーザに柔らかさを認識させる錯触覚画像の形態的属性が決定されて前記錯触覚画像の表示制御が行われる。 In the first to fourth aspects of the present invention, in the mobile terminal, softness information indicating the degree of softness is changed, a plurality of the softness information is set, and the set softness information, Depending on the pressure value indicated by the pressure sensor when the user grips the portable terminal, the morphological attribute of the illusionary tactile image that allows the user to recognize the softness is determined, and display control of the illusionary tactile image is performed.
本発明の第1乃至第4の側面によれば、錯触覚現象を利用して、対象物の柔らかさを認識可能にする新たなユーザインタフェースを実現することができる。 According to the first to fourth aspects of the present invention, it is possible to realize a new user interface that makes it possible to recognize the softness of an object using an illusionary tactile sensation phenomenon.
<本発明を適用した実施の形態>
[携帯端末の構成例]
図1は、本発明を適用した携帯端末で実現される機能的構成例を示すブロック図である。
<Embodiment to which the present invention is applied>
[Configuration example of mobile terminal]
FIG. 1 is a block diagram showing an example of a functional configuration realized by a mobile terminal to which the present invention is applied.
図1の携帯端末1は、圧力センサ11、視覚フィードバック決定部12、柔らかさ定数制御部13、および表示部14を有する。携帯端末1は、ユーザが携帯端末1を握ることで加えた圧力を検知し、検知した圧力値に応じて表示部14に表示させた画像を変化させる。すなわち、携帯端末1は、ユーザの握力に応じたフィードバックをユーザの視覚に対して与えることで、ユーザに柔らかさを認識させるユーザインタフェースを有する。
The mobile terminal 1 of FIG. 1 includes a
[ユーザインタフェースの説明]
図2を参照して、携帯端末1が実現するユーザインタフェースについて詳しく説明する。
[Description of user interface]
With reference to FIG. 2, the user interface which the portable terminal 1 implement | achieves is demonstrated in detail.
図2Aは、ユーザが携帯端末1を把持している状態を示す図である。 FIG. 2A is a diagram illustrating a state where the user is holding the mobile terminal 1.
ユーザは、図2Aに示すように、携帯端末1の側面を押さえるように携帯端末1を把持している。携帯端末1の筐体の側面には、圧力センサ11(不図示)が埋め込まれている。携帯端末1の表示部14には、視覚によるフィードバックをユーザに与えるための錯触覚画像Qが表示されている。本実施の形態では、錯触覚画像Qは、矩形(四角形)の画像とされている。
As shown in FIG. 2A, the user is holding the mobile terminal 1 so as to hold the side surface of the mobile terminal 1. A pressure sensor 11 (not shown) is embedded in the side surface of the casing of the mobile terminal 1. An illusionary tactile sensation image Q for giving visual feedback to the user is displayed on the
ユーザが、図2Bに示すように、携帯端末1の側面を把持する力を強めると、その圧力の変化が圧力センサ11で検知され、携帯端末1(の側面の圧力センサ11)に加えられた圧力に応じて、表示部14に表示されている錯触覚画像Qが変化する。具体的には、携帯端末1に加えられる圧力が大きいほど、矩形の錯触覚画像Qの短辺(横の辺)の長さが短くなるように、錯触覚画像Qが圧縮表示される。
As shown in FIG. 2B, when the user increases the force to grip the side surface of the mobile terminal 1, the pressure change is detected by the
図1に戻って、携帯端末1の各構成について説明する。 Returning to FIG. 1, each configuration of the mobile terminal 1 will be described.
圧力センサ11は、携帯端末1の筐体の側面に設けられ、ユーザ(の手)によって加えられた圧力を検知(検出)し、その結果得られる圧力値を、視覚フィードバック決定部12に供給する。
The
視覚フィードバック決定部12は、圧力センサ11から供給される圧力値と、柔らかさ定数制御部13から供給される柔らかさ定数とに応じて、矩形の錯触覚画像Qの形態的属性を決定する。具体的には、視覚フィードバック決定部12は、圧力値と、柔らかさ定数とを用いた式(1)により、矩形の錯触覚画像Qの短辺の長さを決定する。
X=X0−PressureValue×C ・・・・・・・(1)
ただし、X0<PressureValue×C のとき、X=0 ・・・・・・・・(2)
The visual
X = X 0 −PressureValue × C (1)
However, when X 0 <PressureValue × C, X = 0 (2)
ここで、X0およびXは、矩形の錯触覚画像Qの短辺の真ん中の中心線を基準として、基準から短辺の端までの長さに相当し、表示部14に表示される錯触覚画像Qの短辺の1/2の値となる。X0は、初期値を表し、Xは、圧力値に応じて変形制御した制御後の値を表す。PressureValueは、圧力センサ11から供給される圧力値であり、圧力センサ11が複数の圧力センサで構成される場合には、複数の圧力センサ全体または一部の合計、平均、メジアンなどの統計値、または複数の圧力センサのなかから選択した一部の圧力値などで計算される。Cは、柔らかさの程度を表す柔らかさ情報としての柔らかさ定数である。
Here, X 0 and X correspond to the length from the reference to the end of the short side with reference to the center line of the short side of the rectangular illusionary tactile image Q, and the illusionary tactile sensation displayed on the
式(1)は、力F(=PressureValue)、バネ係数Kで表したときのバネモデルの一般式F=K×(X0-X)を変形したものに相当し、柔らかさ定数Cは、バネ係数Kの逆数(C=1/K)に相当する。 Equation (1) is equivalent to a modification of the general formula F = K × (X 0 -X) of the spring model expressed by force F (= PressureValue) and spring coefficient K, and the softness constant C is the spring It corresponds to the reciprocal of the coefficient K (C = 1 / K).
式(1)によれば、図2を参照して説明したように、ユーザが携帯端末1を握る力(握力)が大きいほど、表示部14に表示される錯触覚画像Qの短辺の長さが短くなる。X/X0は、錯触覚画像Qの短辺の圧縮率に相当し、圧力値PressureValueが大きいほど、錯触覚画像Qの圧縮率は大きくなるように、錯触覚画像Qが表示制御される。
According to Expression (1), as described with reference to FIG. 2, the shorter the side of the illusionary tactile sensation image Q displayed on the
視覚フィードバック決定部12は、以上のようにして矩形の錯触覚画像Qの短辺の長さXを決定し、その短辺の長さXを有する錯触覚画像Qを表示部14に表示させる。
The visual
柔らかさ定数制御部13は、ユーザによる操作や外部プログラム等からの柔らかさ定数Cの変更を受け付け、受け付けた柔らかさ定数Cを視覚フィードバック決定部12に供給する。
The softness
表示部14は、視覚フィードバック決定部12の表示制御にしたがい、錯触覚画像Qを表示する。
The
[視覚フィードバック処理の処理フロー]
図3のフローチャートを参照して、携帯端末1による視覚フィードバック処理について説明する。
[Processing flow of visual feedback processing]
With reference to the flowchart of FIG. 3, the visual feedback process by the portable terminal 1 is demonstrated.
初めに、ステップS1において、柔らかさ定数制御部13は、ユーザによる操作や外部プログラム等から、所定の柔らかさ定数Cを受け付け、受け付けた柔らかさ定数Cを視覚フィードバック決定部12に供給する。
First, in step S <b> 1, the softness
ステップS2において、圧力センサ11は、ユーザ(の手)によって加えられた圧力を検知し、検知した圧力値PressureValueを、視覚フィードバック決定部12に供給する。
In step S <b> 2, the
ステップS3において、視覚フィードバック決定部12は、圧力センサ11から供給された圧力値PressureValueと、柔らかさ定数制御部13から供給された柔らかさ定数Cとを用いて、式(1)により、矩形の錯触覚画像Qの短辺の長さXを決定する。
In step S <b> 3, the visual
ステップS4において、視覚フィードバック決定部12は、決定した短辺の長さXを有する錯触覚画像Qを表示部14に表示させる。表示部14は、視覚フィードバック決定部12の表示制御にしたがい、短辺の長さXの錯触覚画像Qを表示する。
In step S4, the visual
ステップS5において、柔らかさ定数Cが変更されたか否かが、柔らかさ定数制御部13により判定される。
In step S5, the softness
ステップS5で、柔らかさ定数Cが変更されたと判定された場合、処理はステップS1に戻り、上述したステップS1ないしS5の処理が繰り返される。これにより、変更後の柔らかさ定数Cを用いて、検知された圧力値PressureValueに応じた短辺の長さXの錯触覚画像Qの表示制御が実行される。 If it is determined in step S5 that the softness constant C has been changed, the process returns to step S1, and the processes in steps S1 to S5 described above are repeated. Thereby, display control of the illusionary tactile sensation image Q having the short side length X corresponding to the detected pressure value PressureValue is executed using the softness constant C after the change.
一方、ステップS5で、柔らかさ定数Cが変更されていないと判定された場合、処理はステップS6に進み、処理を終了するか否かが、視覚フィードバック決定部12により判定される。
On the other hand, if it is determined in step S5 that the softness constant C has not been changed, the process proceeds to step S6, and the visual
ステップS6で、処理を終了しないと判定された場合、処理はステップS2に戻り、上述したステップS2ないしS6の処理が繰り返される。したがって、処理を終了しないと判定された場合には、上述したステップS2ないしS6の処理が所定の時間間隔で実行される。 If it is determined in step S6 that the process is not terminated, the process returns to step S2, and the processes in steps S2 to S6 described above are repeated. Therefore, when it is determined not to end the process, the processes of steps S2 to S6 described above are executed at predetermined time intervals.
一方、ステップS6で、処理を終了すると判定された場合、図3の視覚フィードバック処理が終了する。 On the other hand, if it is determined in step S6 that the process is to be terminated, the visual feedback process in FIG. 3 is terminated.
以上のように、視覚フィードバック処理によれば、携帯端末1は、ユーザが携帯端末1に対して加えた圧力を検知し、検知した圧力値PressureValueに応じて表示部14に表示させている錯触覚画像Qを変化させる。このとき、柔らかさ定数Cの値の違いにより、ユーザは、表示部14に表示された錯触覚画像Qの柔らかさが変化したかのように、押圧力(握力)についての錯触覚が視覚のフィードバックによって引き起こされる。例えば、ユーザがある強さで携帯端末1を握った後、力を緩めるという動作を繰り返す場合、柔らかさ定数Cの値を小さくすると、ユーザが握ったときの錯触覚画像Qの圧縮度合が小さくなるので、ユーザは、錯触覚画像Qが相対的に硬くなったと錯覚する。逆に、柔らかさ定数Cの値を大きくすると、ユーザが握ったときの錯触覚画像Qの圧縮度合が大きくなるので、ユーザは、錯触覚画像Qが相対的に柔らかくなったと錯覚する。このように、柔らかさ定数Cの値を変化させることで、所定の対象物体の柔らかさを認識可能にする新たなユーザインタフェースを実現することができる。
As described above, according to the visual feedback process, the mobile terminal 1 detects the pressure applied to the mobile terminal 1 by the user and displays the illusionary tactile sensation displayed on the
携帯端末1の視覚フィードバック処理(視覚フィードバック制御)では、あくまでも握力と視覚フィードバックによる錯覚を利用するので、ユーザの手に対して直接的な触力覚フィードバックを行うための構成が不要となり、機器を小型化することができる。したがって、携帯端末のような小型の機器に一体的に実装することが可能になる。 The visual feedback process (visual feedback control) of the mobile terminal 1 uses the illusion of gripping force and visual feedback to the last, so a configuration for performing direct tactile feedback on the user's hand is not necessary, It can be downsized. Therefore, it can be integrally mounted on a small device such as a portable terminal.
[携帯端末が圧力センサを有していない場合の構成例]
上述した例では、携帯端末1が圧力センサ11を備えるものとして説明したが、携帯端末1が圧力センサ11を備えていない場合も考えられる。そのような場合には、図4に示すような構成を採用することができる。
[Configuration example when the mobile terminal does not have a pressure sensor]
In the example described above, the mobile terminal 1 is described as including the
すなわち、図4に示されるように、圧力センサ11を備えていない携帯端末21に装着可能なジャケット(カバーケース)22が用意される。ジャケット22には、携帯端末21に装着された状態において携帯端末21の側面となる部分に、圧力センサ11が埋設されている。
That is, as shown in FIG. 4, a jacket (cover case) 22 that can be attached to a
図5は、図4に示した構成のブロック図を示している。図5において、図1と対応する部分には同一の符号を付してあり、その説明は省略する。 FIG. 5 shows a block diagram of the configuration shown in FIG. 5, parts corresponding to those in FIG. 1 are denoted by the same reference numerals, and description thereof is omitted.
携帯端末21は、視覚フィードバック決定部12、柔らかさ定数制御部13、および表示部14を有する。ジャケット22は、圧力センサ11を有する。
The
ジャケット22の圧力センサ11と携帯端末21の視覚フィードバック決定部12とは、例えば、USB(Universal Serial Bus)により接続され、圧力センサ11で検知された圧力値PressureValueがシリアル通信により、視覚フィードバック決定部12に供給される。圧力センサ11と視覚フィードバック決定部12とのデータの授受は、その他の通信方法、例えば、Bluetooth(登録商標)やNFC (Near Field Communication) などの無線通信、圧力値PressureValueのデータを、マイク端子を介して音声信号として入力する方法、撮像部を介して光点滅を用いたビット情報として入力する方法などでも実現可能である。
The
[携帯端末21のハードウェア構成ブロック図]
図6は、携帯端末21のハードウェア構成例を示すブロック図である。
[Hardware Configuration Block Diagram of Portable Terminal 21]
FIG. 6 is a block diagram illustrating a hardware configuration example of the
図6において、CPU(Central Processing Unit)31は、各種の処理を実行する演算処理部であり、OS(Operating System)などの基本プログラムや、上述した視覚フィードバック決定部12と柔らかさ定数制御部13に対応するプログラムなどを、必要に応じて実行する。CPU31は、バス35を介してROM(Read Only Memory)32、RAM(Random Access Memory)33、およびNVRAM(Non Volatile RAM)34と相互に接続される。このバス35にはまた、入出力インタフェース36も接続され、入出力インタフェース36には、記憶部37およびドライブ38が接続される。
In FIG. 6, a CPU (Central Processing Unit) 31 is an arithmetic processing unit that executes various processes, such as a basic program such as an OS (Operating System), the visual
ROM32には、OSなどの基本プログラムやデータが予め格納される。RAM33およびNVRAM34には、ROM32や記憶部37に格納されているアプリケーションプログラムやデータがロードされる。RAM33およびNVRAM34にはまた、CPU31が各種の処理を実行する上において必要なデータなども適宜記憶される。
The
ドライブ38は、必要に応じて装着される、半導体メモリなどのリムーバブルメディア39からのデータを読み出し、入出力インタフェース36等を介してCPU31に供給したり、CPU31から供給されるデータをリムーバブルメディア39に書き込む。読み書きされるデータには、インストールされるアプリケーションプログラムのデータが含まれていてもよい。
The
入出力インタフェース36には、入力部40、音声入出力部41、タッチスクリーン42、通信部43、電話回線網通信部44、および撮影部45が接続される。
An
入力部40は、メニューボタン、ホームボタン、バックボタン、および電源ボタンなどの各ハードウエアボタンにより構成され、ユーザの操作による入力を受け付けて、CPU31等に供給する。音声入出力部41は、スピーカ、マイクロホン等により構成され、通話のための音声を入出力する。
The
タッチスクリーン42は、表示部42Aと位置検出部42Bとを有し、各種の画面表示と、指等を近接、又は、接触(タッチ)することによる操作入力とが可能になっている。
The touch screen 42 includes a
表示部42Aは、液晶パネル等のデバイス(表示装置)で構成され、入出力インタフェース36を介して供給されるデータに応じて、所定の画面(画像)を表示する。
The
位置検出部42Bは、例えば、静電式等のタッチパネル等の、外部からの入力(近接・接触)を受け付ける(検知する)機能を有するデバイスで構成される。 The position detection unit 42B is configured by a device having a function of receiving (detecting) an external input (proximity / contact) such as an electrostatic touch panel.
タッチスクリーン42は、以上のような表示部42Aと位置検出部42Bとが一体的になっており、表示部42Aにおいて画面を表示し、位置検出部42Bにおいて、表示部42Aに表示された画面に対する外部からの操作入力(タッチや近接)を受け付けることができる。
In the touch screen 42, the
位置検出部42Bが出力する位置信号は、入出力インタフェース36を介して、CPU31に供給され、CPU31では、位置検出部42Bからの位置信号に基づき、どのような操作入力があったかが認識され、その操作入力に応じて、各種の処理が行われる。このタッチスクリーン42全体または表示部42Aが、図1および図5の表示部14に対応する。
The position signal output by the position detection unit 42B is supplied to the
通信部43は、USB通信等の有線通信、および、WiFi方式等の無線通信を行う。電話回線網通信部44は、移動体電話通信網を介して他の装置と音声通信、または、パケット通信を行う。撮影部45は、CCD(Charge Coupled Device)やCMOS(Complementary Mental Oxide Semiconductor)センサ等の撮影素子などにより構成される。撮影部45は、被写体を撮影し、撮影した被写体の画像データを、入出力インタフェース36を介してCPU31等に供給する。
The
携帯端末21は以上のように構成される。なお、携帯端末21には、数cm程度の近接距離で電磁誘導を利用した非接触通信を行うNFC通信部、ブルートゥース(Bluetooth(登録商標))方式による無線通信部、赤外線による通信を行う赤外線通信部などの、その他の構成をさらに備えるようにしてもよい。携帯端末1のハードウェア構成は、図6の構成に、圧力センサ11をさらに加えたものとなる。
The
[変形例]
上述した例では、視覚フィードバック決定部12は、式(1)により、錯触覚画像Qの短辺の長さXを決定するものとしたが、その他の演算式を用いて、錯触覚画像Qの短辺の長さXを決定することもできる。
[Modification]
In the example described above, the visual
例えば、視覚フィードバック決定部12は、圧力センサ11から供給される圧力値PressureValueを、以下の式(3)の2階微分方程式に代入して解くことにより、圧力値に応じた視覚フィードバック制御後の錯触覚画像Qの短辺の長さXを求めることもできる。
このように、矩形の錯触覚画像Qの短辺の長さXの制御について複数の方法を選択できるようにすることで、多様な柔らかさの表現が可能となる。 In this way, by allowing a plurality of methods to be selected for controlling the length X of the short side of the rectangular illusionary tactile sensation image Q, various soft expressions can be expressed.
式(1)および式(3)は、ユーザが握り込んだときの圧力値PressureValueに対応する錯触覚画像Qの短辺の長さXを求める式である。したがって、式(1)および式(3)だけでは、ユーザが、握り込んだ手を緩めた途端、表示部14に表示された錯触覚画像Qは、初期の大きさ(短辺の長さX0)に戻ってしまう。
Expressions (1) and (3) are expressions for obtaining the length X of the short side of the illusionary tactile image Q corresponding to the pressure value PressureValue when the user grasps. Therefore, with the formulas (1) and (3) alone, the illusionary tactile image Q displayed on the
これに対して、ユーザが握り込んだ手を放したときに、握り込んだときの強さ(圧力値PressureValue)に応じて、錯触覚画像Qの横幅が、ばねのようにビヨンビヨンと振動的に変化し、徐々に減衰するような映像表現を行うと、ユーザは、対象物の柔らかさをより視覚的に認識することができる。ゼリーを指で突いて放した後に、ゼリーがプルプル揺れているようなイメージで、ゼリーの柔らかさを認識するのと同様である。 In contrast, when the user releases the gripped hand, the lateral width of the illusionary tactile image Q vibrates in a manner like a beyond beyon, depending on the strength (pressure value PressureValue) when gripped. When the video expression is changed and gradually attenuates, the user can more visually recognize the softness of the object. It is the same as recognizing the softness of the jelly with the image of the jelly swaying after the jelly is struck and released.
このような減衰振動の映像表現を行う場合には、まず、視覚フィードバック決定部12は、式(1)または式(3)で求められた錯触覚画像Qの短辺の長さXを、式(4)に代入し、長さXのとき有する力Fを求める。
次に、視覚フィードバック決定部12は、力Fを有するときのdt時間経過後の移動速度(dX/dt)を、式(5)により求め、さらに、dt時間経過後の移動速度(dX/dt)から、dt時間経過後の長さ(位置)Xを、式(6)により求める。
なお、上述した実施の形態では、錯触覚画像Qが圧縮されたときの形状は、縦方向のいずれの位置でも均一となる例について説明した。しかし、図7Aに示されるように、例えば、錯触覚画像Qの長辺の真ん中が特に圧縮されるように、縦方向の位置に応じて圧縮率が異なるようにしてもよい。また、図7Bに示されるように、錯触覚画像Qの横方向が圧縮されるだけでなく、圧縮された分の面積が縦方向に逃げ出すように、圧縮形状を変化させてもよい。また、横方向と縦方向の両方を圧縮(縮小)させてもよい。さらに言えば、錯触覚画像Qは、四角形以外の多角形の画像や円でもよいし、球や直方体などの立体形状の画像でもよい。 In the above-described embodiment, an example has been described in which the shape when the illusionary tactile sensation image Q is compressed is uniform at any position in the vertical direction. However, as shown in FIG. 7A, for example, the compression rate may be different depending on the position in the vertical direction so that the middle of the long side of the illusionary tactile sensation image Q is particularly compressed. In addition, as shown in FIG. 7B, the compression shape may be changed so that not only the horizontal direction of the illusionary tactile sensation image Q is compressed, but also the compressed area escapes in the vertical direction. Further, both the horizontal direction and the vertical direction may be compressed (reduced). Furthermore, the illusionary tactile sensation image Q may be a polygonal image other than a rectangle or a circle, or may be a three-dimensional image such as a sphere or a rectangular parallelepiped.
また、上述した実施の形態では、長方形の携帯端末1の長辺側の側面に設けられた圧力センサ11によって、ユーザが携帯端末1を把持する圧力が検知され、それに応じて、錯触覚画像Qが圧力方向に圧縮されて表示されるようにしているが、ユーザによって携帯端末1が把持される位置に圧力センサ11が配置され、錯触覚画像Qが圧力センサ11で検出される圧力の方向に応じて変形されるような態様であれば、携帯端末1の形状、圧力センサ11の位置、錯触覚画像Qの形状は、上記の形態に限定されない。例えば、携帯端末1を円形とし、圧力センサ11を全周に沿って配置し、錯触覚画像Qも円形にしてもよい。
In the above-described embodiment, the
錯触覚は、本来、対象の物体の柔らかさを表すパラメータが変化するときに最も発生しやすいと言われている。そこで、例えば、ユーザが携帯端末1を軽く握っているとき(具体的には、検知される圧力値PressureValueが所定の値PV1以下まで)は柔らかさ定数C1とし、強く握り込んだら(具体的には、検知される圧力値PressureValueが値PV1より大きくなったら)、柔らかさ定数C2に変更して式(1)を計算する、というように、ユーザが携帯端末1を握っている途中で柔らかさ定数Cを変化させてもよい。これにより、より強力に、錯覚を発生させることが可能となる。 It is said that the illusionary tactile sensation is most likely to occur when the parameter representing the softness of the target object changes. Therefore, for example, (specifically, the pressure value PressureValue to be detected to a predetermined value PV 1 below) when the user is holding lightly portable terminal 1 and softness constant C 1, Once grasped strongly (specifically Specifically, when the detected pressure value PressureValue becomes larger than the value PV 1 ), the user holds the mobile terminal 1, such as changing to the softness constant C 2 and calculating Equation (1). The softness constant C may be changed on the way. Thereby, it becomes possible to generate an illusion more powerfully.
<本発明を適用したアプリケーションの例>
次に、上述した視覚フィードバック処理を適用したアプリケーション例について説明する。
<Example of application to which the present invention is applied>
Next, an application example to which the visual feedback process described above is applied will be described.
[情報処理システムの構成例]
図8は、複数種類の枕を商品とするネットショッピングに、上述した視覚フィードバック処理を適用した情報処理システムの構成例を示している。
[Configuration example of information processing system]
FIG. 8 shows a configuration example of an information processing system in which the above-described visual feedback processing is applied to online shopping using a plurality of types of pillows as merchandise.
図8の情報処理システムは、図1に示した構成を有する携帯端末1と、商品としての複数種類の枕のデータを保持するサーバ(アプリケーションサーバ)51とを含んで構成され、携帯端末1とサーバ51とは、移動体電話通信網、インターネット、LAN(Local Area Network)、WAN(Wide Area Network)などのネットワークを介して接続される。
The information processing system in FIG. 8 is configured to include a mobile terminal 1 having the configuration shown in FIG. 1 and a server (application server) 51 that holds data of multiple types of pillows as products. The
携帯端末1は、例えば、スマートフォンと呼ばれる高機能の携帯端末であり、アプリケーションプログラム(Application Program)(以下、単にアプリと称する。)を、ネットワークを介して接続されたサーバ(サーバ51と同じでもよい)の記憶装置から端末内にダウンロードして、端末上で実行することができる。 The mobile terminal 1 is, for example, a high-function mobile terminal called a smartphone, and an application program (hereinafter simply referred to as an application) may be the same as a server (server 51) connected via a network. ) Can be downloaded from the storage device into the terminal and executed on the terminal.
携帯端末1は、端末内にダウンロードされている、ネットショッピングを行うアプリであるショッピングアプリを実行することで、サーバ51に接続し、サーバ51から取得した商品データに基づいて商品の情報を表示する。ショッピングアプリは、図1に示した視覚フィードバック決定部12と柔らかさ定数制御部13を機能として有している。
The mobile terminal 1 connects to the
サーバ51の記憶部52には、商品としての複数種類の枕のデータを格納した商品データベースが記憶されており、サーバ51は、携帯端末1のショッピングアプリからの要求に応じて、所定のデータを携帯端末1のショッピングアプリに送信する。また、サーバ51は、ユーザがショッピングアプリ上から所定の枕の購入操作を行った場合の購入手続処理なども行う。なお、本明細書では、購入手続処理など、本発明と関係のない処理についての説明は省略する。
The
サーバ51のハードウェア構成の図示は省略するが、サーバ51は、ハードディスク等の記憶部52のほか、CPU、ROM、RAMなどを有している。また、サーバ51は、LANやインターネット等に接続してデータ通信を行う通信部、キーボード、マウスなどよりなる入力部、スピーカ、ディスプレイなどよりなる出力部も備える。そして、サーバ51は、記憶部52またはROM等に記憶されているプログラムからRAMにロードされたプログラムに従って、後述する処理を含む各種の処理を実行することができる。
Although illustration of the hardware configuration of the
[商品データベースの例]
図9は、サーバ51の記憶部52に記憶されている商品データベースの例を示している。
[Product database example]
FIG. 9 shows an example of a product database stored in the
商品としての複数種類の枕のそれぞれについて、商品を識別する商品ID、商品の名称である商品名、商品の販売価格である価格、商品の画像の画像ファイル、商品の枕に設定された柔らかさ定数Cが商品毎に関連付けられて格納されている。なお、商品データベースには、これら以外の情報項目を含んでいてもよい。 For each of multiple types of pillows as a product, the product ID that identifies the product, the product name that is the name of the product, the price that is the sales price of the product, the image file of the product image, and the softness set for the product pillow A constant C is stored in association with each product. The product database may include information items other than these.
図9の例では、1つ目の商品(枕)として、商品ID=“00001”、商品名=“特製そば殻枕”、価格=“\3500”、画像ファイル=“IMG00001.jpg”、柔らかさ定数=“C1”、・・が格納されている。また2つ目の商品(枕)として、商品ID=“00002”、商品名=“ホテル仕様 羽毛枕”、価格=“\8500”、画像ファイル=“IMG00002.jpg”、柔らかさ定数=“C2”、・・が格納されている。3目の商品(枕)として、商品ID=“00003”、商品名=“パイプ枕”、価格=“\1800”、画像ファイル=“IMG00003.jpg”、柔らかさ定数=“C3”、・・が格納されている。 In the example of FIG. 9, as the first product (pillow), product ID = “00001”, product name = “special buckwheat pillow”, price = “¥ 3500”, image file = “IMG00001.jpg”, soft Stores constant = “C 1 ”,. In addition, as the second product (pillow), product ID = “00002”, product name = “hotel specification feather pillow”, price = “¥ 8500”, image file = “IMG00002.jpg”, softness constant = “C 2 ", ... are stored. As the third product (pillow), product ID = “00003”, product name = “pipe pillow”, price = “\ 1800”, image file = “IMG00003.jpg”, softness constant = “C 3 ”, -Is stored.
また、商品データベースには、ユーザが各商品の柔らかさを確認する際の柔らかさの基準となるサンプル(以下、基準サンプルともいう。)のデータも格納されている。換言すれば、基準サンプルは、ユーザが既知の柔らかさの程度が、ショッピングアプリの錯触覚画像Qの圧縮表現でどのように表示されるかを確認するためのものである。したがって、基準サンプルは、少なくとも1つ登録されていればよいが、本実施の形態では、図9に示されるように、最小の柔らかさ定数Cminをもつ商品である「基準・そば殻枕」と、最大の柔らかさ定数Cmaxをもつ商品である「基準・羽毛枕」の2つが登録されている。 The product database also stores data of samples (hereinafter also referred to as reference samples) that serve as a basis for softness when the user confirms the softness of each product. In other words, the reference sample is for confirming how the degree of softness known by the user is displayed in the compressed expression of the illusionary tactile image Q of the shopping app. Accordingly, it is sufficient that at least one reference sample is registered, but in this embodiment, as shown in FIG. 9, the “reference / buckwheat pillow” which is a product having the minimum softness constant C min is used. And “standard / feather pillow”, which is a product having the maximum softness constant C max , is registered.
各商品の柔らかさ定数Cは、予めモニタユーザによるテストなどに基づいて決定される。具体的には、複数のモニタユーザに実際の商品を触って柔らかさを認識してもらい、複数のモニタユーザが、実際の商品の柔らかさと同程度の柔らかさ感が得られる柔らかさ定数Cの値を設定し、それらの統計的代表値(例えば、平均値、メジアン等)が、その商品の柔らかさ定数Cに決定される。必要に応じて、基準サンプルも用意して、基準サンプルの実際の柔らかさと、基準サンプルに設定されている柔らかさ定数と比較してもらってもよい。 The softness constant C of each product is determined in advance based on a test by a monitor user. Specifically, having multiple monitor users touch the actual product to recognize the softness, the multiple monitor users have a softness constant C that provides a soft feeling comparable to the softness of the actual product. The values are set, and their statistical representative values (eg, average value, median, etc.) are determined as the softness constant C of the product. If necessary, a reference sample may be prepared, and the actual softness of the reference sample may be compared with the softness constant set for the reference sample.
なお、基準サンプルの柔らかさ定数は、ユーザがショッピングアプリの錯触覚画像Qの圧縮表現で基準サンプルの柔らかさを体験しなくても十分に認識可能である場合や、複数の商品どうしの相対的な柔らかさを比較できればよい場合には、省略可能である。 Note that the softness constant of the reference sample is sufficient if the user can fully recognize the softness of the reference sample without experiencing the softness of the reference sample in the compressed expression of the illusionary tactile image Q of the shopping app. If it is sufficient to compare the softness, it can be omitted.
[商品確認処理のフローチャート]
図10のフローチャート(シーケンス図)を参照して、商品の柔らかさを確認する商品確認処理について説明する。
[Product Check Process Flowchart]
With reference to the flowchart (sequence diagram) of FIG. 10, the product confirmation process for confirming the softness of the product will be described.
初めに、ステップS21において、ショッピングアプリを起動するユーザの起動操作に応じて、携帯端末1は、ショッピングアプリを起動する。 First, in step S <b> 21, the mobile terminal 1 activates the shopping application in response to the activation operation of the user who activates the shopping application.
ステップS22において、携帯端末1のショッピングアプリは、サーバ51にアクセスし、商品データの要求を送信する。サーバ51のアクセス先のURLは、ショッピングアプリ内に記憶されている。
In step S22, the shopping application of the mobile terminal 1 accesses the
ステップS23において、サーバ51は、商品データを記憶部52の商品データベースから取得し、ステップS24において、取得した商品データを、携帯端末1のショッピングアプリに送信する。ここで、携帯端末1に送信される商品データは、各商品の商品ID、商品名、価格、画像ファイルであり、柔らかさ定数は、この時点では送信されない。
In step S23, the
ステップS25において、携帯端末1のショッピングアプリは、サーバ51から送信されてきた商品データを受信し、受信した商品データに基づいて、商品一覧画面を表示部14に表示させる。
In step S <b> 25, the shopping application of the mobile terminal 1 receives the product data transmitted from the
図11は、ステップS25の処理により、携帯端末1の表示部14に表示される商品一覧画面の例を示している。
FIG. 11 shows an example of a product list screen displayed on the
商品一覧画面では、サーバ51から取得した商品データに基づいて、商品ID、商品名、価格、および画像(画像ファイルに対応する画像)が、商品ごとに表示されている。また、各商品には、商品ID、商品名、価格、および画像とともに、ユーザが商品の柔らかさを確認する際に操作される「柔らかさ確認」ボタンBが表示されている。図11の例では、商品ID=“00001”の商品には、「柔らかさ確認」ボタンB1、商品ID=“00002”には、「柔らかさ確認」ボタンB2、商品ID=“00003”には、「柔らかさ確認」ボタンB3が表示されている。
On the product list screen, the product ID, product name, price, and image (image corresponding to the image file) are displayed for each product based on the product data acquired from the
ユーザは、所望の商品の「柔らかさ確認」ボタンBを、指でタッチするなどして操作すると、携帯端末1のショッピングアプリは、ステップS26として、所望の商品の「柔らかさ確認」ボタンBの操作を受け付けて、ステップS27において、ユーザに指定された商品(以下、指定商品という。)柔らかさ定数Cの要求を、サーバ51に送信する。
When the user operates the “softness check” button B of the desired product by touching with a finger or the like, the shopping app of the mobile terminal 1 sets the “softness check” button B of the desired product as step S26. In response to the operation, in step S27, a request for the product (hereinafter referred to as “designated product”) softness constant C designated by the user is transmitted to the
サーバ51は、ステップS28において、ショッピングアプリからの指定商品の柔らかさ定数Cの要求を受信し、記憶部52の商品データベースから、指定商品の柔らかさ定数Cと、基準サンプルの柔らかさ定数Cを取得する。
In step S28, the
そして、ステップS29において、サーバ51は、取得した指定商品の柔らかさ定数Cと、基準サンプルの柔らかさ定数Cを、携帯端末1に送信する。
In step S <b> 29, the
ステップS30において、携帯端末1のショッピングアプリは、サーバ51から送信されてきた柔らかさ定数Cを受信し、受信した柔らかさ定数Cを用いた柔らかさ確認画面を表示部14に表示させる。
In step S <b> 30, the shopping application of the mobile terminal 1 receives the softness constant C transmitted from the
図12は、ステップS30の処理により、携帯端末1の表示部14に表示される指定商品の柔らかさ確認画面の例を示している。図12の柔らかさ確認画面は、図11の商品一覧画面において、商品ID=“00002”の商品の「柔らかさ確認」ボタンB2が押下された場合の柔らかさ確認画面を示している。
FIG. 12 shows an example of the softness confirmation screen of the designated product displayed on the
柔らかさ確認画面には、基準サンプル、または、指定商品を選択するコンボボックスCB、コンボボックスCBで選択された柔らかさ定数Cを有する錯触覚画像Q、商品一覧画面に戻る際に操作される「戻る」ボタンBKが設けられている。 The softness confirmation screen is operated when returning to the reference sample or the combo box CB for selecting the specified product, the illusionary tactile image Q having the softness constant C selected in the combo box CB, and the product list screen. A “Back” button BK is provided.
ステップS31において、携帯端末1のショッピングアプリは、携帯端末1の圧力センサ11で検知した圧力値PressureValueに基づく視覚フィードバック処理を実行する。換言すれば、ステップS31では、図3を参照して説明した視覚フィードバック処理が実行される。
In step S <b> 31, the shopping application of the mobile terminal 1 executes visual feedback processing based on the pressure value PressureValue detected by the
図12を参照して、柔らかさ確認画面における柔らかさ確認操作について説明する。 The softness confirmation operation on the softness confirmation screen will be described with reference to FIG.
初めに、ユーザは、コンボボックスCBを操作し、基準サンプルか、または、指定商品のいずれかの項目を選択することで、柔らかさを確認する対象を選択する。コンボボックスCBで、基準サンプルかまたは指定商品のいずれかが選択されると、ショッピングアプリの柔らかさ定数制御部13が、コンボボックスCBで選択された基準サンプルまたは指定商品の柔らかさ定数Cを視覚フィードバック決定部12に供給する。
First, the user operates the combo box CB and selects an item to be checked for softness by selecting either the reference sample or the designated product item. When either the reference sample or the designated product is selected in the combo box CB, the softness
そして、図2を参照して説明したように、ユーザが携帯端末1の側面を握ると、圧力センサ11が、携帯端末1に加えられた圧力を検知し、検知した圧力値PressureValueに応じて、図12の柔らかさ確認画面の錯触覚画像Qの短辺の長さXが変化する。
Then, as described with reference to FIG. 2, when the user grips the side surface of the mobile terminal 1, the
図10に戻り、ステップS32において、携帯端末1のショッピングアプリは、商品一覧に戻る操作がされたか、すなわち、図12の柔らかさ確認画面の「戻る」ボタンBKが押下されたか否かを判定する。 Returning to FIG. 10, in step S <b> 32, the shopping application of the mobile terminal 1 determines whether an operation for returning to the product list has been performed, that is, whether the “return” button BK on the softness confirmation screen of FIG. 12 has been pressed. .
ステップS32で、商品一覧に戻る操作がされていないと判定された場合、処理はステップS31に戻り、図12の柔らかさ確認画面を用いた視覚フィードバック処理が繰り返される。 If it is determined in step S32 that the operation for returning to the product list has not been performed, the process returns to step S31, and the visual feedback process using the softness confirmation screen of FIG. 12 is repeated.
一方、ステップS32で、商品一覧に戻る操作がされたと判定された場合、処理はステップS25に戻り、上述したステップS25乃至S32の処理が繰り返される。 On the other hand, if it is determined in step S32 that the operation for returning to the product list has been performed, the process returns to step S25, and the processes of steps S25 to S32 described above are repeated.
以上のようにして、ショッピングアプリにおける商品の柔らかさを確認する商品確認処理が実行される。 As described above, the product confirmation process for confirming the softness of the product in the shopping application is executed.
視覚フィードバック処理を適用した情報処理システムでは、サーバ51の商品データベースに、基準サンプルと各商品の柔らかさ定数Cが記憶されており、ユーザが指定した指定商品の柔らかさ定数Cが、基準サンプルの柔らかさ定数Cとともに、携帯端末1のショッピングアプリに送信される。
In the information processing system to which the visual feedback processing is applied, the reference database and the softness constant C of each product are stored in the product database of the
そして、柔らかさ確認画面のコンボボックスCBの操作に応じて、指定商品と基準サンプルの柔らかさ定数Cが切り替えられ、設定された柔らかさ定数Cの下で、ユーザの握力に応じて、柔らかさ確認画面の錯触覚画像Qが変形表示される。これにより、ユーザは、握力の錯触覚により、自分の所望する商品の柔らかさを、基準サンプルの柔らかさとの相対的な比較によって体感することができるので、ユーザによる商品の柔らかさの理解を補助することが可能になる。したがって、実際の商品に触れることができないインターネットショッピングにおいて、柔らかさをイメージしながら商品を選択することが実現可能となる。 The softness constant C of the specified product and the reference sample is switched according to the operation of the combo box CB on the softness confirmation screen. Under the set softness constant C, the softness depends on the grip strength of the user. The illusionary tactile image Q on the confirmation screen is deformed and displayed. As a result, the user can experience the softness of the product he or she desires by comparing the softness of the reference sample with the illusion of touching force, thus assisting the user in understanding the softness of the product. It becomes possible to do. Accordingly, it is possible to select a product while imagining the softness in Internet shopping where the actual product cannot be touched.
上述した例では、商品一覧画面から、ユーザが所望の商品を指定し、その指定した指定商品の柔らかさを、柔らかさ確認画面を用いてユーザが確認できるようにした。しかし、ユーザが、直接、所望の柔らかさを指定して、その指定した柔らかさに対応する商品を、ショッピングアプリが、商品データベースから検索して、ユーザに提示することもできる。 In the above-described example, the user designates a desired product from the product list screen, and the user can confirm the softness of the designated designated product using the softness confirmation screen. However, the user can directly specify desired softness, and the shopping application can search the product database for a product corresponding to the specified softness and present it to the user.
図13は、所望の柔らかさを指定する場合に、携帯端末1の表示部14に表示される柔らかさ条件選択画面の例を示している。
FIG. 13 shows an example of a softness condition selection screen displayed on the
柔らかさ条件選択画面には、ユーザの握力に応じて変形表示される錯触覚画像Q、柔らかさ定数Cを変更指示するスライドバーSB、現在のスライドバーSBの位置に応じた柔らかさ定数Cを設定する決定ボタンDBが設けられている。 On the softness condition selection screen, an illusionary tactile sensation image Q that is deformed and displayed according to the user's grip strength, a slide bar SB that instructs to change the softness constant C, and a softness constant C that corresponds to the current position of the slide bar SB are displayed. A decision button DB to be set is provided.
スライドバーSBには、基準サンプルの柔らかさとの比較が容易となるように、基準サンプルの柔らかさ定数Cのスライドバー上の位置が、「基準1」、「基準2」のように表示されている。 In the slide bar SB, the position of the soft constant C of the reference sample on the slide bar is displayed as “reference 1” and “reference 2” so that the comparison with the softness of the reference sample is easy. Yes.
ユーザは、携帯端末1の方向ボタン、+ボタンや−ボタン、または、柔らかさ条件選択画面のスライドバーSBを操作して、柔らかさ定数Cを所望の値に設定し、携帯端末1を握って錯触覚画像Qの変形具合を確認する操作を、所望の柔らかさ定数Cが見つかるまで繰り返す。そして、所望の柔らかさ定数Cが見つかった場合に、柔らかさ条件選択画面の決定ボタンDBが操作(押下)される。ショッピングアプリは、決定ボタンDBが操作されたときの柔らかさ定数Cをサーバ51に送信し、サーバ51は、送信されてきた柔らかさ定数Cに最も近い商品を商品データベースから検索する。そして、ショッピングアプリは、サーバ51から送信されてきた、ユーザが指定した柔らかさに対応する商品の柔らかさ定数Cを受信し、図12の柔らかさ確認画面を表示部14に表示させる。
The user operates the direction button of the mobile terminal 1, the + button or the − button, or the slide bar SB on the softness condition selection screen to set the softness constant C to a desired value and holds the mobile terminal 1. The operation of confirming the deformation state of the illusionary tactile image Q is repeated until a desired softness constant C is found. When the desired softness constant C is found, the determination button DB on the softness condition selection screen is operated (pressed). The shopping application transmits the softness constant C when the determination button DB is operated to the
このように、柔らかさ条件選択画面を用いれば、ユーザが所望する柔らかさを直接指定することができる。 Thus, if the softness condition selection screen is used, the softness desired by the user can be directly designated.
また、この柔らかさ条件選択画面は、例えば、商品の発注元と製造元のメーカとの間で、柔らかさの要求をやりとりする場合に、言葉として「もっと柔らかいもの」や「商品Aよりも柔らかいもの」というように伝えるよりも、柔らかさ条件選択画面で所望の柔らかさを設定して、設定した柔らかさ定数Cを伝達することで、柔らかさを数値的に表現して要求することができるので、より正確に柔らかさを伝達することができる。 In addition, this softness condition selection screen, for example, when exchanging a softness request between the product orderer and the manufacturer, the words “softer” or “softer than product A” Rather than telling, you can set the desired softness on the softness condition selection screen and transmit the set softness constant C, so that the softness can be expressed numerically and requested. Can transmit the softness more accurately.
さらに、上述した例では、商品データベースの柔らかさ定数Cは、モニタユーザによるテストにより決定するものとして説明したが、柔らかさ条件選択画面を用いて、商品を購入したユーザに、購入後に感じた柔らかさを送信してもらい、商品を購入したユーザから、柔らかさ定数Cのフィードバックを受け付けるようにすることもできる。 Furthermore, in the example described above, the softness constant C of the product database has been described as being determined by a test by the monitor user, but the softness felt after purchase by the user who purchased the product using the softness condition selection screen. It is also possible to receive feedback of the softness constant C from the user who purchased the product.
柔らかさ定数Cのフィードバックを受け付ける場合、ショッピングアプリは、柔らかさ条件選択画面を用いて決定された柔らかさ定数Cを、購入商品の商品IDと関連付けてサーバ51に送信する。サーバ51は、ユーザが設定した柔らかさ定数をCfeedback、商品データベースに記憶されているフィードバック前の柔らかさ定数をCbeforeとすると、以下の式により、フィードバック後の柔らかさ定数Cafterを決定する。
Cafter=(Cbefore×N+Cfeedback)/(N+1)
ここで、Nは、商品データベースに記憶されているフィードバック前の柔らかさ定数Cbeforeを決定するために用いたサンプル数を表し、商品データベースに、商品IDに対応させて記憶されている。
When accepting feedback of the softness constant C, the shopping application transmits the softness constant C determined using the softness condition selection screen to the
C after = (C before × N + C feedback ) / (N + 1)
Here, N represents the number of samples used to determine the softness constant C before before feedback stored in the product database, and is stored in the product database in association with the product ID.
上述した例は、スマートフォンである携帯端末1上で実行されるショッピングアプリが、サーバ51から取得した商品データに基づいて、商品一覧画面や柔らかさ確認画面を表示し、ユーザが携帯端末1を握ったときの圧力値PressureValueに基づいて錯触覚画像Qを圧縮表示させる例について説明したが、上述の商品一覧画面や柔らかさ確認画面を、携帯端末1上で起動されるWebブラウザ上で表示するようにしてもよい。この場合、圧力センサ11で検知されたユーザの握力を示す圧力値PressureValueが、HTMLデータとしてサーバ51に送信され、サーバ51のWebアプリケーションが指定商品に基づき、変形制御後の錯触覚画像Qの短辺の長さXを決定し、決定した圧縮制御後の錯触覚画像Qを表示するHTMLデータを携帯端末1のWebブラウザに送信する。すなわち、この場合、視覚フィードバック決定部12と、柔らかさ定数制御部13は、Webアプリケーションの一部として、サーバ51に設けられる。このように、携帯端末1とサーバ51の各々に実装される機能は、各機器の性能要件等に基づき、適宜、分担させることができる。
In the example described above, the shopping application executed on the mobile terminal 1 that is a smartphone displays a product list screen and a softness confirmation screen based on the product data acquired from the
<その他のアプリケーションの例>
視覚フィードバック処理を適用した、その他のアプリケーション例について説明する。
<Examples of other applications>
Other application examples to which visual feedback processing is applied will be described.
[料理レシピに適用した例]
料理のレシピに、上述した視覚フィードバック処理を適用することができる。
[Example applied to cooking recipes]
The visual feedback process described above can be applied to a cooking recipe.
例えば、うどんやパンの生地の柔らかさの程度をレシピとして提供する場合に、材料や調理の手順とともに、生地の柔らかさを確認する「柔らかさ確認」ボタンBが、レシピ画面上に設けられる。 For example, when the degree of softness of udon and bread dough is provided as a recipe, a “softness check” button B for checking the softness of the dough is provided on the recipe screen along with ingredients and cooking procedures.
「柔らかさ確認」ボタンBが操作された場合に表示される柔らかさ確認画面には、例えば、こんにゃくやゼリーなどの典型的な柔らかさの食物が、基準サンプルとして提示される。このような柔らかさ確認画面を用いて、うどんやパンの生地の柔らかさを、錯触覚画像Qの圧縮具合で、より正確に体感することができる。 On the softness confirmation screen displayed when the “softness confirmation” button B is operated, for example, food with typical softness such as konjac or jelly is presented as a reference sample. Using such a softness confirmation screen, the softness of the udon noodles and bread dough can be experienced more accurately with the compression of the illusionary tactile image Q.
また、生地の柔らかさは、こね時間で変化する。そこで、柔らかさ定数制御部13は、柔らかさ確認画面の表示時間を、こね時間と見立てて、柔らかさ確認画面の表示時間に応じて、柔らかさ定数Cを変化させるようにしてもよい。これにより、ユーザが、例えば、5分後の柔らかさ、10分後の柔らかさを、柔らかさ確認画面で体感することができる。このような制御処理は、商品データベースに記憶しておく柔らかさ定数Cを、柔らかさ確認画面の表示時間に依存する関数として定義することで実現できる。
In addition, the softness of the fabric changes with the kneading time. Therefore, the softness
また、生地の柔らかさは、水の量、粉の量、および、こね時間などの組み合わせによっても変化する。そこで、例えば、料理レシピでは、柔らかさ確認画面において、水の量、粉の量、および、こね時間の各スライダバー(図13のスライダバーSBと同様のもの)を設けて、水の量、粉の量、および、こね時間のそれぞれが、スライダバーで設定された値の組み合わせとなったときの生地の柔らかさを、ユーザが確認できるようにしてもよい。このような制御処理は、柔らかさ定数Cを決定するためのパラメータとして、複数の前処理係数(水の量、粉の量、こね時間に相当)を設け、複数の前処理係数を用いた式で柔らかさ定数Cを定義することで実現できる。 The softness of the dough also varies depending on the combination of the amount of water, the amount of powder, and the kneading time. Therefore, for example, in a cooking recipe, on the softness confirmation screen, the amount of water, the amount of powder, and the kneading time slider bar (similar to the slider bar SB in FIG. 13) are provided, and the amount of water, The user may be able to confirm the softness of the dough when the amount of powder and the kneading time are a combination of the values set with the slider bar. Such a control process is provided with a plurality of pretreatment coefficients (corresponding to the amount of water, the amount of powder, and the kneading time) as parameters for determining the softness constant C, and an equation using a plurality of pretreatment coefficients. This can be achieved by defining a softness constant C.
また、料理レシピでは、図13に示した柔らかさ条件選択画面と同様の画面を設けて、ユーザが、今回料理したときの好みの柔らかさなどを登録(記憶)することができるようにしてもよい。このとき、例えば、図13の柔らかさを決定する決定ボタンDBが押下された場合に、コメントなどを入力可能とし、柔らかさ定数Cと、コメントなどの情報を関連付けて登録させることができる。これにより、例えば、以前に料理したとき柔らかすぎたので、今回は少しかために作ろう、などというように、過去の柔らかさと比較した体感が可能となる。 Further, in the cooking recipe, a screen similar to the softness condition selection screen shown in FIG. 13 is provided so that the user can register (store) favorite softness when cooking this time. Good. At this time, for example, when the determination button DB for determining the softness in FIG. 13 is pressed, a comment or the like can be input, and the softness constant C and information such as the comment can be registered in association with each other. As a result, for example, since it was too soft when cooked before, it is possible to experience it in comparison with past softness, such as making it a little bit this time.
柔らかさを比較、体感する対象物は、同一種類の物体に限らず、異なる種類のものでもよい。例えば、ゼリー、こんにゃく、餅の柔らかさ(粘り気)を、相対関係が矛盾しないように柔らかさ定数Cを決定し、提示すれば、異なる種類の柔らかさを参考にして、餅を実際に食べなくても、柔らかさを判別することができる。 The objects for comparing and experiencing the softness are not limited to the same type of object, but may be different types. For example, if the softness constant C is determined and presented so that the relative relationship does not contradict the softness (stickiness) of jelly, konnyaku, and koji, it will not actually eat koji, referring to different types of softness. Even softness can be discriminated.
[ゲームに適用した例]
ゲーム(ゲームプログラム)に、上述した視覚フィードバック処理を適用することができる。
[Example applied to a game]
The visual feedback process described above can be applied to a game (game program).
例えば、アイテムを獲得するようなロールプレイングゲームにおいて、アイテムの種類ごとに柔らかさ定数Cを設定し、ユーザが操作するキャラクタがアイテムを触ってみて、所定の固さまたは柔らかさのものをゲットするような処理に適用できる。 For example, in a role-playing game where an item is acquired, a softness constant C is set for each item type, and a character operated by the user touches the item to obtain an object with a predetermined hardness or softness. It can be applied to such processing.
本発明の実施の形態は、上述した実施の形態に限定されるものではなく、本発明の要旨を逸脱しない範囲において種々の変更が可能である。 The embodiments of the present invention are not limited to the above-described embodiments, and various modifications can be made without departing from the scope of the present invention.
上述した実施形態では、携帯端末1がスマートフォンであるとして説明したが、携帯端末1は、スマートフォンに限らず、PND(Portable Navigation Device)、電子書籍リーダーなどのタブレット端末でもよい。 In the above-described embodiment, the mobile terminal 1 has been described as a smartphone. However, the mobile terminal 1 is not limited to a smartphone, and may be a tablet terminal such as a PND (Portable Navigation Device) or an electronic book reader.
本明細書において、フローチャートに記述されたステップは、記載された順序に沿って時系列的に行われる場合はもちろん、必ずしも時系列的に処理されなくとも、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで実行されてもよい。 In this specification, the steps described in the flowchart are not necessarily processed in chronological order, but are performed in parallel or when they are called in chronological order according to the described order. It may be executed at a necessary timing.
本明細書において、システムとは、複数の構成要素(装置、モジュール(部品)等)の集合を意味し、すべての構成要素が同一筐体中にあるか否かは問わない。したがって、別個の筐体に収納され、ネットワークを介して接続されている複数の装置、及び、1つの筐体の中に複数のモジュールが収納されている1つの装置は、いずれも、システムである。 In this specification, the system means a set of a plurality of components (devices, modules (parts), etc.), and it does not matter whether all the components are in the same housing. Accordingly, a plurality of devices housed in separate housings and connected via a network and a single device housing a plurality of modules in one housing are all systems. .
1 携帯端末, 11 圧力センサ, 12 視覚フィードバック決定部, 13 柔らかさ定数制御部, 14 表示部, 21 携帯端末, 22 ジャケット, 31 CPU, 33 RAM, 37 記憶部, 42 タッチスクリーン, 43 通信部, 51 サーバ, 52 記憶部 DESCRIPTION OF SYMBOLS 1 Mobile terminal, 11 Pressure sensor, 12 Visual feedback determination part, 13 Softness constant control part, 14 Display part, 21 Mobile terminal, 22 Jacket, 31 CPU, 33 RAM, 37 Storage part, 42 Touch screen, 43 Communication part, 51 servers, 52 storage units
Claims (10)
前記ジャケットは、
前記ユーザが前記携帯端末を把持したときの圧力を検知し、その結果である圧力値を出力する圧力センサを備え、
前記携帯端末は、
柔らかさの程度を表す柔らかさ情報と、前記圧力センサが示す圧力値とに応じて、前記ユーザに柔らかさを認識させる錯触覚画像の形態的属性を決定して前記錯触覚画像の表示制御を行う画像表示制御部と、
前記柔らかさ情報を変更して、複数の前記柔らかさ情報を、前記画像表示制御部に設定する柔らかさ情報制御部と、
前記画像表示制御部により表示制御された前記錯触覚画像を表示する表示部と
を備える
携帯端末セット。 A mobile terminal set comprising a mobile terminal that can be held by a user and a jacket that is attached to the mobile terminal,
The jacket is
A pressure sensor that detects a pressure when the user grips the portable terminal and outputs a pressure value as a result thereof;
The portable terminal is
Based on the softness information indicating the degree of softness and the pressure value indicated by the pressure sensor, the morphological attribute of the illusionary tactile image that allows the user to recognize the softness is determined and display control of the illusionary tactile image is performed. An image display control unit to perform;
A softness information control unit that changes the softness information and sets a plurality of softness information in the image display control unit;
A portable terminal set comprising: a display unit that displays the illusionary tactile image whose display is controlled by the image display control unit.
前記ユーザが前記携帯端末を把持したときの圧力を検知する圧力センサと、
柔らかさの程度を表す柔らかさ情報と、前記圧力センサが示す圧力値とに応じて、前記ユーザに柔らかさを認識させる錯触覚画像の形態的属性を決定して前記錯触覚画像の表示制御を行う画像表示制御部と、
前記柔らかさ情報を変更して、複数の前記柔らかさ情報を、前記画像表示制御部に設定する柔らかさ情報制御部と、
前記画像表示制御部により表示制御された前記錯触覚画像を表示する表示部と
を備える携帯端末。 A portable terminal that can be held by a user,
A pressure sensor for detecting pressure when the user grips the portable terminal;
Based on the softness information indicating the degree of softness and the pressure value indicated by the pressure sensor, the morphological attribute of the illusionary tactile image that allows the user to recognize the softness is determined and display control of the illusionary tactile image is performed. An image display control unit to perform;
A softness information control unit that changes the softness information and sets a plurality of softness information in the image display control unit;
A portable terminal comprising: a display unit that displays the illusionary tactile image whose display is controlled by the image display control unit.
前記画像表示制御部は、前記圧力値が大きいほど、前記錯触覚画像の圧縮率が大きくなるように、前記錯触覚画像の圧縮率を決定する
請求項3に記載の携帯端末。 The morphological attribute of the illusionary tactile image is a compression ratio of the illusionary tactile image,
The portable terminal according to claim 3, wherein the image display control unit determines the compression ratio of the illusionary tactile image so that the compression ratio of the illusionary tactile image increases as the pressure value increases.
請求項4に記載の携帯端末。 The mobile terminal according to claim 4, wherein the image display control unit performs display control to attenuate and vibrate the illusionary tactile image after displaying the illusionary tactile image at the compression rate according to the pressure value.
請求項3に記載の携帯端末。 The mobile terminal according to claim 3, wherein the softness information control unit changes the softness information according to a display time of the illusionary tactile image on the display unit.
請求項3に記載の携帯端末。 The mobile terminal according to claim 3, wherein the softness information is determined based on a plurality of parameters.
請求項3に記載の携帯端末。 The mobile terminal according to claim 3, further comprising a registration unit that registers the desired softness information.
柔らかさの程度を表す柔らかさ情報を変更して、複数の前記柔らかさ情報を設定し、
設定された前記柔らかさ情報と、ユーザが前記携帯端末を把持したとき圧力センサが示す圧力値とに応じて、前記ユーザに柔らかさを認識させる錯触覚画像の形態的属性を決定して前記錯触覚画像の表示制御を行う
処理を実行させるプログラム。 On your mobile device,
Change the softness information representing the degree of softness, set multiple softness information,
According to the set softness information and the pressure value indicated by the pressure sensor when the user grips the portable terminal, the morphological attribute of the illusionary tactile image that makes the user recognize the softness is determined and the complex A program that executes processing to control display of tactile images.
前記携帯端末は、
前記ユーザが前記携帯端末を把持したときの圧力を検知する圧力センサが示す圧力値と、柔らかさの程度を表す柔らかさ情報とに応じて、前記ユーザに柔らかさを認識させる錯触覚画像の形態的属性を決定して前記錯触覚画像の表示制御を行う画像表示制御部と、
前記柔らかさ情報を変更して、複数の前記柔らかさ情報を、前記画像表示制御部に設定する柔らかさ情報制御部と、
前記画像表示制御部により表示制御された前記錯触覚画像を表示する表示部と
を備え、
前記サーバは、
複数の前記柔らかさ情報を記憶する記憶部と、
前記柔らかさ情報を前記携帯端末に送信する送信部と
を備える
情報処理システム。 An information processing system comprising a mobile terminal that can be held by a user and a server,
The portable terminal is
Form of an illusionary tactile image that allows the user to recognize softness according to a pressure value indicated by a pressure sensor that detects pressure when the user grips the mobile terminal and softness information indicating the degree of softness An image display control unit for controlling the display of the illusionary tactile image by determining a visual attribute;
A softness information control unit that changes the softness information and sets a plurality of softness information in the image display control unit;
A display unit that displays the illusionary tactile image that is display-controlled by the image display control unit,
The server
A storage unit for storing a plurality of softness information;
An information processing system comprising: a transmission unit that transmits the softness information to the mobile terminal.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2012130326A JP5988141B2 (en) | 2012-06-08 | 2012-06-08 | Portable terminal set, portable terminal jacket, portable terminal, information processing system, and program |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2012130326A JP5988141B2 (en) | 2012-06-08 | 2012-06-08 | Portable terminal set, portable terminal jacket, portable terminal, information processing system, and program |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2013254398A JP2013254398A (en) | 2013-12-19 |
JP5988141B2 true JP5988141B2 (en) | 2016-09-07 |
Family
ID=49951838
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2012130326A Expired - Fee Related JP5988141B2 (en) | 2012-06-08 | 2012-06-08 | Portable terminal set, portable terminal jacket, portable terminal, information processing system, and program |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP5988141B2 (en) |
Families Citing this family (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP6285334B2 (en) * | 2014-10-03 | 2018-02-28 | 日本電信電話株式会社 | Information presenting apparatus, operation method of information presenting apparatus, and computer program |
JP2019168866A (en) * | 2018-03-22 | 2019-10-03 | 東京瓦斯株式会社 | Information processing device and program |
WO2023079627A1 (en) * | 2021-11-04 | 2023-05-11 | 日本電信電話株式会社 | Pseudo-haptic presentation device, pseudo-haptic presentation method, and program |
WO2023119582A1 (en) * | 2021-12-23 | 2023-06-29 | 日本電信電話株式会社 | Apparent force control device, apparent force presenting system, apparent force control method, and program |
WO2023119583A1 (en) * | 2021-12-23 | 2023-06-29 | 日本電信電話株式会社 | Softness control device, softness presentation system, softness control method, and program |
Family Cites Families (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH0816861B2 (en) * | 1989-09-22 | 1996-02-21 | 東京電力株式会社 | 3D graphic tactile feedback device |
JPH06231221A (en) * | 1993-02-08 | 1994-08-19 | Nippon Telegr & Teleph Corp <Ntt> | Three-dimensional object shape generating method |
US6160540A (en) * | 1998-01-12 | 2000-12-12 | Xerox Company | Zoomorphic computer user interface |
JP2001101288A (en) * | 1999-09-30 | 2001-04-13 | Fuji Xerox Co Ltd | Device for providing merchandise information |
JP2002230588A (en) * | 2001-02-02 | 2002-08-16 | Sony Corp | Graphics device and educational apparatus |
JP2004133086A (en) * | 2002-10-09 | 2004-04-30 | Seiko Epson Corp | Display apparatus, electronic device and watch |
JP2004177993A (en) * | 2002-11-22 | 2004-06-24 | Panasonic Mobile Communications Co Ltd | Mobile terminal with pressure sensor, and program executable by mobile terminal with pressure sensor |
JP2004362408A (en) * | 2003-06-06 | 2004-12-24 | Canon Inc | Three-dimensional data display operating device |
JP5477740B2 (en) * | 2009-11-02 | 2014-04-23 | 独立行政法人情報通信研究機構 | Multisensory interaction system |
-
2012
- 2012-06-08 JP JP2012130326A patent/JP5988141B2/en not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
JP2013254398A (en) | 2013-12-19 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6906580B6 (en) | Viewport-based augmented reality tactile effects systems, methods and non-transitory computer-readable media | |
JP5988141B2 (en) | Portable terminal set, portable terminal jacket, portable terminal, information processing system, and program | |
Xu et al. | DMove: Directional motion-based interaction for augmented reality head-mounted displays | |
Bobeth et al. | Evaluating performance and acceptance of older adults using freehand gestures for TV menu control | |
Choe et al. | Comparison of gaze cursor input methods for virtual reality devices | |
KR20220164063A (en) | Augmented reality digital content search and sizing techniques | |
CN109840022A (en) | For providing the system and method for touch feedback according to based on inclined input | |
CN108431734A (en) | Touch feedback for non-touch surface interaction | |
JP5752070B2 (en) | Related information display system, related information display control device, terminal device, program, and related information display method | |
JP2006201912A (en) | Processing method for three-dimensional virtual object information providing service, three-dimensional virtual object providing system, and program | |
US20230273685A1 (en) | Method and Arrangement for Handling Haptic Feedback | |
Katzakis et al. | INSPECT: extending plane-casting for 6-DOF control | |
EP3499344A1 (en) | Haptically-enabled peripheral usable for two-dimensional and three-dimensional tracking | |
JP6927637B2 (en) | Information processing equipment, information processing methods, programs, and information processing systems | |
Menzner et al. | Above surface interaction for multiscale navigation in mobile virtual reality | |
Wang et al. | Augmenting tactile 3D data navigation with pressure sensing | |
Altarteer et al. | Development and heuristic evaluation of semi-immersive hand-gestural virtual reality interface for luxury brands online stores | |
US20160232714A1 (en) | Apparatus, method and system for providing interactive multimedia content based on print media | |
Lubos et al. | Influence of comfort on 3d selection task performance in immersive desktop setups | |
TW201117089A (en) | Mobile electronic device and method for controlling 3D operation interface thereof | |
JP2013114323A (en) | Three dimensional space coordinate input device | |
Stellmacher et al. | Exploring Mobile Devices as Haptic Interfaces for Mixed Reality | |
JP6600269B2 (en) | Three-dimensional shape presentation system and haptic sense presentation device | |
EP3945488A1 (en) | Remote shopping system, remote shopping method, and program | |
KR20150144100A (en) | System and method for controlling virtual reality menu based in wrist action |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20150601 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20160630 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20160712 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20160728 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 5988141 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
LAPS | Cancellation because of no payment of annual fees |