JP2017063916A

JP2017063916A - Apparatus, method and program for determining force sense to be presented

Info

Publication number: JP2017063916A
Application number: JP2015190727A
Authority: JP
Inventors: 慎也高椋; Shinya Takamuku; 智浩雨宮; Tomohiro Amamiya; 裕章五味; Hiroaki Gomi
Original assignee: Nippon Telegraph and Telephone Corp
Current assignee: Nippon Telegraph and Telephone Corp
Priority date: 2015-09-29
Filing date: 2015-09-29
Publication date: 2017-04-06
Anticipated expiration: 2035-09-29
Also published as: JP6509698B2

Abstract

PROBLEM TO BE SOLVED: To provide a game system capable of making a player have a real virtual experience, by presenting a force sense appropriate to output contents.SOLUTION: In a fishing game, the force sense (vibration greatness) to be presented by a pseudo force sense presentation device is determined depending on a state of output contents (e.g., fish) and a relative positional relationship between the pseudo force sense presentation device and an apparatus so that a player can experience a more real fish tug sense.SELECTED DRAWING: Figure 1

Description

本発明は、疑似的な力覚を利用者に知覚させる技術に関し、特に知覚させる力覚を決定する技術に関する。 The present invention relates to a technique for causing a user to perceive a pseudo force sensation, and more particularly to a technique for determining a force sensation to be perceived.

家庭用ゲーム機や業務用ゲーム機の分野ではこれまで、様々な触覚フィードバック技術が利用されてきた。しかし、近年普及が進むモバイルゲームの分野では、触覚フィードバックは難しい課題となっている。 Various tactile feedback technologies have been used in the field of home game machines and arcade game machines. However, tactile feedback has become a difficult task in the field of mobile games that have become popular in recent years.

例えば、モバイル端末装置を利用した魚釣りゲーム用としては、内蔵のバイブレーターを利用して魚の引きの感覚を提示する技術が提案されている（例えば、特許文献１等参照）。しかし、通常のバイブレーターで提示できるのは振動感覚のみであり、その振動は手元で発生する。そのため、このような技術では、魚が釣り糸の先ではなく手の中にいるかのような違和感を与えてしまう。また、魚が糸を引く感覚（引きの感覚）を通常の方法で提示しようとすると、利用者に牽引力を加える装置が必要である。このような装置はどこかに固定しなければ利用できないため（そうしなければ装置自体が牽引の際に動いてしまう）、モバイル端末装置への搭載が困難である。 For example, for a fishing game using a mobile terminal device, a technique for presenting a fish pulling sensation using a built-in vibrator has been proposed (see, for example, Patent Document 1). However, only a vibration sensation can be presented by a normal vibrator, and the vibration is generated at hand. Therefore, such a technique gives a sense of incongruity as if the fish is in the hand, not the tip of the fishing line. In addition, when a fish is trying to present a feeling of pulling a string (a feeling of pulling) by a normal method, a device that applies traction to the user is required. Since such a device cannot be used unless it is fixed somewhere (otherwise, the device itself moves when towed), it is difficult to mount it on a mobile terminal device.

このような課題に対する１つの有効なアプローチとして、擬似力覚提示装置（例えば、非特許文献１等参照）の利用が考えられる。この装置は、非対称な振動を利用者の身体に与えることで、あたかもその身体部位に方向性のある外力を加わっているかのような感覚（力覚）を提示するものである。小型の振動子で実現できるため、モバイル端末装置上の力覚提示への応用が期待できる。 As one effective approach to such a problem, use of a pseudo force sense presentation device (see, for example, Non-Patent Document 1) can be considered. This device presents a sensation (force sense) as if a directional external force is applied to the body part by applying asymmetric vibration to the user's body. Since it can be realized with a small vibrator, it can be expected to be applied to force sense presentation on a mobile terminal device.

特開２００１−３５２４１４号公報JP 2001-352414 A

雨宮智浩，高椋慎也，伊藤翔，五味裕章，“指でつまむと引っ張られる感覚を生み出す装置「ぶるなび３」”，ＮＴＴ技術ジャーナル，2014年9月， Vol. 26， No. 9，pp. 23-26.Tomohiro Amemiya, Shinya Takahata, Sho Ito, Hiroaki Gomi, “Brunavi 3”, a device that creates a sensation of being pulled by fingers, NTT Technical Journal, September 2014, Vol. 26, No. 9, pp. 23 -26.

しかしながら、出力されたコンテンツに応じた力覚を提示し、リアルな仮想体験を体感させることは容易ではない。本発明の課題は、出力されたコンテンツに応じた力覚を提示し、リアルな仮想体験を体感させることである。 However, it is not easy to present a sense of force according to the output content and to experience a realistic virtual experience. An object of the present invention is to present a sense of force corresponding to output content and to experience a realistic virtual experience.

本発明では、出力されているコンテンツの状態、および、擬似力覚提示デバイスと当該装置との相対的位置関係に応じて、当該擬似力覚提示デバイスで提示する力覚を決定する。 In the present invention, the force sense to be presented by the pseudo force sense presentation device is determined according to the state of the output content and the relative positional relationship between the pseudo force sense presentation device and the device.

これにより、出力されたコンテンツに応じた力覚を提示し、リアルな仮想体験を体感させることができる。 Thereby, it is possible to present a sense of force corresponding to the output content and to experience a realistic virtual experience.

図１は実施形態のシステム構成を例示したブロック図である。FIG. 1 is a block diagram illustrating a system configuration of the embodiment. 図２は実施形態のシステムの使用状態を例示した図である。FIG. 2 is a diagram illustrating a use state of the system according to the embodiment. 図３は実施形態のコンテンツの「状態」とそれに応じた「振動」「映像」「音響」を例示した図である。FIG. 3 is a diagram illustrating the “state” of the content according to the embodiment and “vibration”, “video”, and “sound” corresponding thereto. 図４は実施形態で提示される力覚を例示した図である。FIG. 4 is a diagram illustrating a force sense presented in the embodiment. 図５は実施形態の状態遷移を例示したフロー図である。FIG. 5 is a flowchart illustrating the state transition of the embodiment. 図６は実施形態の状態遷移を例示したフロー図である。FIG. 6 is a flowchart illustrating the state transition of the embodiment.

以下、本発明の実施形態を説明する。
［概要］
まず、本実施形態の概要を説明する。
本実施形態では、装置から出力されているコンテンツの状態、および、当該コンテンツを出力する装置と擬似力覚提示デバイスとの相対的位置関係に応じ、当該擬似力覚提示デバイス（擬似力覚提示装置）で提示する力覚を決定する。これにより、出力されたコンテンツに応じた力覚を擬似力覚提示デバイスから提示し、リアルな仮想体験を体感させることができる。例えば、非特許文献１に記載された「魚釣りゲーム」の場合、接触子がタッチパネルに触れている場合にしかコントローラの位置情報が得られず、二次元の位置情報のみを用いて提示する力覚を決定している。そのため、コントローラの三次元的な動き（コントローラが画面に近づいたり離れたりする動きを含む）に対応した力覚提示ができない。非特許文献１に記載された「犬の散歩ゲーム」の場合にはＷｅｂカメラでコントローラの位置情報が得られるが、画面に対して水平な成分の位置情報（二次元の位置情報）しか用いていないため、コントローラの三次元的な動きに対応した力覚提示ができない。本実施形態ではコンテンツを出力する装置と擬似力覚提示デバイスとの相対的位置関係に応じて力覚を決定するため、コントローラの三次元的な動きに対応した力覚を提示できる。また非特許文献１に記載された「魚釣りゲーム」や「犬の散歩ゲーム」では、表示される魚や犬などのコンテンツそのものの状態（位置以外の状態）を考慮せずに力覚を提示しているため、リアルな仮想体験を体感させることができない。本実施形態では「コンテンツの状態」および「相対的位置関係」に応じて力覚を決定するため、リアルな仮想体験を体感させることができる。また非特許文献１では、コンテンツそのものの状態を考慮せずに力覚を継続的に与え続けるものであり、継続的に振動を与え続けると力覚提示の効率が低下してしまうという擬似力覚提示装置に固有の課題もあった。本実施形態では「コンテンツの状態」に応じて力覚を決定するため、継続的に同じ振動を与え続ける頻度が減り、力覚提示の効率の低下を抑制できる。さらに、コンテンツを出力する装置と擬似力覚提示デバイスとの相対的位置関係を用いることで、外部の基準位置（非特許文献１のように室内に固定されたＡＲマーカなど）を基準として両者の位置を特定する場合に比べ、擬似力覚提示デバイスの位置推定精度を向上でき、精度の高い仮想体験を体感させることができる。 Embodiments of the present invention will be described below.
[Overview]
First, an outline of the present embodiment will be described.
In the present embodiment, the pseudo force sense presentation device (pseudo force sense presentation device) according to the state of the content output from the device and the relative positional relationship between the device that outputs the content and the pseudo force sense presentation device. ) To determine the sense of force to present. Thereby, a force sense corresponding to the output content can be presented from the pseudo force sense presenting device, and a realistic virtual experience can be experienced. For example, in the case of the “fishing game” described in Non-Patent Document 1, the position information of the controller can be obtained only when the contact is touching the touch panel, and the force sense presented using only the two-dimensional position information. Is determined. Therefore, it is impossible to present a force sense corresponding to the three-dimensional movement of the controller (including movement of the controller approaching or moving away from the screen). In the case of the “dog walk game” described in Non-Patent Document 1, the position information of the controller can be obtained with a Web camera, but only the position information (two-dimensional position information) of the component horizontal to the screen is used. Therefore, it is impossible to present a force sense corresponding to the three-dimensional movement of the controller. In this embodiment, since the force sense is determined according to the relative positional relationship between the content output device and the pseudo force sense presenting device, it is possible to present a force sense corresponding to the three-dimensional movement of the controller. In addition, in the “fishing game” and “dog walking game” described in Non-Patent Document 1, the sense of force is presented without considering the state of the content of the displayed fish or dog itself (state other than the position). Therefore, you can not experience a realistic virtual experience. In this embodiment, the force sense is determined according to the “content state” and the “relative positional relationship”, so that a realistic virtual experience can be experienced. Further, in Non-Patent Document 1, a force sense is continuously given without considering the state of the content itself, and a pseudo force sense that the efficiency of force sense presentation is reduced if the vibration is continuously given. There were also problems specific to the presentation device. In the present embodiment, since the force sense is determined according to the “content state”, the frequency of continuously applying the same vibration is reduced, and a reduction in the efficiency of force sense presentation can be suppressed. Furthermore, by using the relative positional relationship between the device that outputs the content and the pseudo force sense presentation device, an external reference position (such as an AR marker fixed in a room as in Non-Patent Document 1) is used as a reference. Compared to the case of specifying the position, the position estimation accuracy of the pseudo force sense presentation device can be improved, and a highly accurate virtual experience can be experienced.

「コンテンツ」の例は、動画等の映像コンテンツ、音楽等の音響コンテンツ、および映像コンテンツと音響コンテンツとの組み合わせコンテンツである。映像コンテンツは、２次元映像コンテンツであってもよいし、３次元映像コンテンツであってもよいし、人の錯覚を利用した映像コンテンツであってもよい。映像コンテンツの例は、魚釣りゲームにおける魚の動画や水面の波紋などである。音響コンテンツは、モノラルコンテンツであってもよいし、ステレオコンテンツであってもよいし、多チャンネルコンテンツであってもよい。音響コンテンツの例は、魚の動きによって生じる波の音などである。 Examples of “content” are video content such as moving images, acoustic content such as music, and combination content of video content and acoustic content. The video content may be 2D video content, 3D video content, or video content using human illusion. Examples of video content are fish animations and water ripples in a fishing game. The audio content may be monaural content, stereo content, or multi-channel content. An example of acoustic content is the sound of waves generated by the movement of fish.

「コンテンツの状態」はコンテンツの「ありさま」を意味する。「コンテンツの状態」は、時間的に変化（遷移）する状態であってもよいし、時間的に変化しないコンテンツの種別に応じた状態であってもよい。「コンテンツの状態」は時間的に変化する状態のみに限定されてもよいし、されなくてもよい。「コンテンツの状態」は時間的に変化しないコンテンツの種別に応じた状態のみに限定されてもよいし、されなくてもよい。映像コンテンツの状態は、そのコンテンツを出力（表示）する「装置」内での位置（表示画面での座標）以外の「ありさま」を含む。言い換えると、映像コンテンツの状態は、「装置」内での位置に依存しない要素を含む。すなわち、「装置」内での位置が同一であっても映像コンテンツの状態が異なる場合があり、「装置」内での位置が異なっても映像コンテンツの状態が同一である場合もある。映像コンテンツの状態は、そのコンテンツを出力する「装置」内での位置に対応してもよいし、対応しなくてもよい。映像コンテンツの状態の具体例については後述する。音響コンテンツの状態は、映像コンテンツの状態に対応していてもよいし、対応していなくてもよい。音響コンテンツの状態についても後述する。 “Content status” means the “state” of the content. The “content state” may be a state that changes (transitions) with time, or may be a state according to the type of content that does not change with time. The “content state” may or may not be limited to a state that changes with time. The “content state” may or may not be limited to a state corresponding to a content type that does not change with time. The state of the video content includes “status” other than the position (coordinates on the display screen) in the “device” that outputs (displays) the content. In other words, the state of the video content includes an element that does not depend on the position in the “device”. That is, the state of the video content may be different even if the position in the “device” is the same, and the state of the video content may be the same even if the position in the “device” is different. The state of the video content may or may not correspond to the position in the “device” that outputs the content. A specific example of the state of the video content will be described later. The state of the audio content may or may not correspond to the state of the video content. The state of the audio content will also be described later.

コンテンツを出力する「装置」の例は、モバイル端末装置や据え置き型の情報処理装置などである。モバイル端末装置の例は、スマートフォン端末装置、タブレット端末装置、ノート型パーソナルコンピュータ、携帯ゲーム機などである。据え置き型の情報処理装置の例は、ディスクトップ型のパーソナルコンピュータ、ゲーム機やスティック型パーソナルコンピュータなどのコンピュータが接続されたディスプレイやテレビジョン装置などである。 Examples of the “device” that outputs content are a mobile terminal device, a stationary information processing device, and the like. Examples of the mobile terminal device are a smart phone terminal device, a tablet terminal device, a notebook personal computer, a portable game machine, and the like. Examples of the stationary information processing apparatus are a desktop personal computer, a display or a television apparatus to which a computer such as a game machine or a stick personal computer is connected.

「擬似力覚提示デバイス」は振動により力覚を提示するデバイスである。「擬似力覚提示デバイス」が提示する力覚は「擬似的な力覚」である。「疑似的な力覚」とは、実際には擬似力覚提示デバイスが振動しているだけであるにも関わらず、あたかも振動の一方の方向へ定常的な牽引力がかかっているかのように感じる知覚をいう。「牽引力」とは引く力を意味する。「擬似力覚提示デバイス」は、非対称振動（非対称な力摂動）を行う振動子を備え、その振動子が提示する力の波形や振幅を制御することにより、所望の方向に所望の強さの力覚を知覚させることができる。例えば、この振動子が方向Ａへ大きな力を短時間与え、当該方向Ａの逆の方向Ｂへ小さな力を長時間与える力波形をもった周期的な力摂動を行うように制御した場合、「擬似力覚提示デバイス」を把持しているユーザは、この方向Ａへの擬似力覚を知覚する。これは人間の知覚特性を利用したものであり、把持動作に関わる固有感覚と触覚によって発生する現象である（例えば、非特許文献１、および参考文献１「特許第４５５１４４８号公報」参照）。すなわち、振動子の非対称振動のパターン（すなわち、「振動子の振動の非対称性」「振動子の力摂動の非対称性」）を制御することで、提示する力覚の方向および強さ（明確性）を制御できる。例えば、非特許文献１に開示されたアクチュエータを備える装置を「擬似力覚提示デバイス」として用いた場合、このアクチュエータに供給する電流の周期や反転比を制御することで力覚の方向および強さを制御できる。周期的な力摂動の周波数が８０Ｈｚまたは８０Ｈｚ近傍の周波数成分を含むように制御した場合、「擬似力覚提示デバイス」を把持しているユーザは強い力覚を知覚する。非特許文献１の構成の場合、４０Ｈｚの周波数成分を含む電流をアクチュエータに供給することにより、８０Ｈｚまたは８０Ｈｚ近傍の周波数成分を含む周期的な力摂動を実現できる。逆に、この周期的な加速度運動の周波数が８０Ｈｚまたはその付近の周波数成分を含まないように制御した場合、「擬似力覚提示デバイス」を把持しているユーザは弱い力覚を知覚するか、全く力覚を知覚しない。すなわち、振動子の振動の周期を変更することにより、知覚される力覚の強さを制御できる。また、知覚される力覚の強さは振動子の力摂動の波形（振動の力波形）の振幅の大きさによっても制御できる。例えば、強い力覚を提示したい場合には、力波形の振幅の大きな力摂動となるように振動子を駆動し、弱い力覚を提示したい場合には、力波形の振幅がそれよりも小さな力摂動となるように振動子を駆動すればよい。「力波形（振動の力波形）の振幅」とは、振動子の出力する力の絶対値の最大値を意味する。非特許文献１の構成の場合、アクチュエータに供給する電流の振幅を制御することで力覚の大きさを制御できる。すなわち「擬似力覚提示デバイス」は、振動により力覚を提示するデバイスであり、「コンテンツの状態」および／または「コンテンツを出力する装置と擬似力覚提示デバイスとの相対的位置関係」の変化に応じ、振動の周期、非対称性、加速度波形の振幅の少なくとも何れかを変更する。好ましくは、「擬似力覚提示デバイス」は、「コンテンツの状態」の変化に応じ、振動の周期、非対称性、力波形の振幅の少なくとも何れかを変更する。 The “pseudo force sense presentation device” is a device that presents a force sense by vibration. The force sense presented by the “pseudo force sense presentation device” is a “pseudo force sense”. "Pseudo force sense" actually feels as if a steady traction force is applied in one direction of vibration, even though the pseudo force sense presentation device is actually vibrating. Perception. “Traction force” means the pulling force. A “pseudo force sense presentation device” includes a vibrator that performs asymmetric vibration (asymmetric force perturbation), and controls the waveform and amplitude of the force that the vibrator presents to achieve a desired strength in a desired direction. Force sense can be perceived. For example, when this vibrator is controlled to perform a periodic force perturbation with a force waveform that applies a large force in the direction A for a short time and a small force in the direction B opposite to the direction A for a long time, The user holding the “pseudo force sense presentation device” perceives this pseudo force sense in the direction A. This utilizes human perceptual characteristics, and is a phenomenon that occurs due to a peculiar sensation and a tactile sensation related to a gripping operation (see, for example, Non-Patent Document 1 and Reference Document 1 “Patent No. 4551448”). That is, by controlling the pattern of asymmetric vibration of the vibrator (ie, “vibration vibration asymmetry” “vibrator force perturbation asymmetry”), the direction and strength of the force sense to be presented (clarity) ) Can be controlled. For example, when an apparatus including an actuator disclosed in Non-Patent Document 1 is used as a “pseudo force sense presentation device”, the direction and strength of the force sense are controlled by controlling the cycle and reversal ratio of the current supplied to the actuator. Can be controlled. When the frequency of the periodic force perturbation is controlled to include a frequency component in the vicinity of 80 Hz or 80 Hz, the user holding the “pseudo force sense presentation device” perceives a strong force sense. In the case of the configuration of Non-Patent Document 1, by supplying a current including a frequency component of 40 Hz to the actuator, periodic force perturbation including a frequency component near 80 Hz or 80 Hz can be realized. On the other hand, when the frequency of this periodic acceleration motion is controlled not to include a frequency component in the vicinity of 80 Hz, the user holding the “pseudo force sense presentation device” perceives a weak force sense, It doesn't perceive force sense at all. That is, the perceived strength of the force sense can be controlled by changing the vibration period of the vibrator. The perceived strength of the force sense can also be controlled by the amplitude of the force perturbation waveform (vibration force waveform) of the vibrator. For example, if you want to present a strong force sensation, drive the transducer so that the force waveform has a large force perturbation, and if you want to present a weak force sensation, the force waveform has a smaller amplitude. The vibrator may be driven so as to be perturbed. The “amplitude of the force waveform (vibration force waveform)” means the maximum absolute value of the force output from the vibrator. In the case of the configuration of Non-Patent Document 1, the magnitude of the force sense can be controlled by controlling the amplitude of the current supplied to the actuator. That is, the “pseudo force sense presentation device” is a device that presents a force sense by vibration, and changes in “content state” and / or “relative positional relationship between the content output device and the pseudo force sense presentation device”. In response to this, at least one of the vibration period, asymmetry, and amplitude of the acceleration waveform is changed. Preferably, the “pseudo force sense presentation device” changes at least one of the vibration period, asymmetry, and the amplitude of the force waveform in accordance with a change in the “content state”.

「コンテンツを出力する装置と擬似力覚提示デバイスとの相対的位置関係」は、「コンテンツ」を出力する「装置」（例えば「装置の所定位置」）を基準とした「擬似力覚提示デバイス」（例えば「擬似力覚提示デバイスの所定位置」）の相対的な位置および／または相対的な傾きであってもよいし、「擬似力覚提示デバイス」（例えば「擬似力覚提示デバイスの所定位置」）を基準とした当該「装置」（例えば「装置の所定位置」）の相対的な位置および／または相対的な傾きであってもよい。例えば「相対的位置関係」は、映像コンテンツを表示する当該「装置」の「画面」を基準とした「擬似力覚提示デバイス」の相対的な位置および／または相対的な傾きであってもよいし、「擬似力覚提示デバイス」を基準とした当該「画面」の相対的な位置および／または相対的な傾きであってもよい。好ましくは、「相対的な位置」および「相対的な傾き」は当該「画面」に対する「法線方向成分」を含むものである。すなわち、「相対的位置関係」の変化は、「画面」の所定位置に対する「擬似力覚提示デバイス」の所定位置および／または傾きの当該「法線方向成分」の変化であってもよい。あるいは、「相対的位置関係」の変化は、「擬似力覚提示デバイス」の所定位置に対する「画面」の所定位置（座標）および／または向きの当該「法線方向成分」の変化であってもよい。「コンテンツ」を出力する「装置」が「相対的位置関係」を得るためセンサを有していてもよい。このようなセンサの例はＷｅｂカメラその他のイメージセンサなどの非接触位置センサである。その他の装置が「相対的位置関係」を得るためセンサを備えていてもよい。 “Relative positional relationship between a device that outputs content and a pseudo force sense presentation device” is a “pseudo force sense presentation device” based on a “device” that outputs “content” (for example, “a predetermined position of the device”). (For example, “predetermined position of the pseudo force sense presentation device”) and / or a relative inclination of the “pseudo force sense presentation device” (for example, “predetermined position of the pseudo force sense presentation device”). ”) As a reference, the relative position and / or relative inclination of the“ device ”(eg,“ predetermined position of the device ”) may be used. For example, the “relative positional relationship” may be a relative position and / or a relative inclination of the “pseudo force sense presentation device” with reference to the “screen” of the “device” displaying the video content. The relative position and / or relative inclination of the “screen” with respect to the “pseudo force sense presentation device” may be used. Preferably, the “relative position” and the “relative inclination” include a “normal direction component” with respect to the “screen”. That is, the change in the “relative positional relationship” may be a change in the “normal direction component” of the predetermined position and / or inclination of the “pseudo force sense presentation device” with respect to the predetermined position of the “screen”. Alternatively, the change in the “relative positional relationship” may be a change in the “normal direction component” of the predetermined position (coordinates) and / or orientation of the “screen” with respect to the predetermined position of the “pseudo force sense presentation device”. Good. The “device” that outputs “content” may have a sensor to obtain “relative positional relationship”. An example of such a sensor is a non-contact position sensor such as a web camera or other image sensor. Other devices may include sensors to obtain “relative positional relationship”.

（Ａ）擬似力覚提示デバイスで提示する力覚を決定する「装置」と当該「擬似力覚提示デバイス」との相対的位置関係、または、「擬似力覚提示デバイス」の向きにより指定された位置と「コンテンツ」の出力位置との相対的位置関係、および（Ｂ）時間に応じて（すなわち「相対的位置関係」および「時間」に応じて）、「コンテンツ」の状態が変化してもよい。これにより、「相対的位置関係」に応じた「三次元的な空間」と「時間」とに応じて状態が変化する「コンテンツ」が表現され、リアルな仮想体験を体感させることができる。 (A) Designated by the relative positional relationship between the “device” that determines the force sense to be presented by the pseudo force sense presentation device and the “pseudo force sense presentation device” or the direction of the “pseudo force sense presentation device” Depending on the relative positional relationship between the position and the output position of “content” and (B) time (ie, “relative positional relationship” and “time”), even if the state of “content” changes Good. Thereby, “content” whose state changes according to “three-dimensional space” corresponding to “relative positional relationship” and “time” is expressed, and a realistic virtual experience can be experienced.

好ましくは、擬似力覚提示デバイスで提示する力覚を決定する「装置」は、「コンテンツ」を出力する「出力部」を有し、（Ａ）当該「装置」と「擬似力覚提示デバイス」との相対距離、または、（Ｂ）「擬似力覚提示デバイス」の向きにより指定された位置とコンテンツの出力位置とに基づく相対距離が大きいほど、「出力部」に向かう牽引力が大きく知覚される力覚を決定する。これによって引き離すほど強い力で引き戻される場（例えば魚釣りの場面など）を仮想体験させることができる。好ましくは、「出力部」は画像コンテンツを表示する「画面」であり、当該「装置」は上記「相対距離」における「画面」の法線方向成分が大きいほど、当該「画面」に向かう牽引力が大きく知覚される力覚を決定する。これにより、「画面」の法線方向成分に応じた力覚を提示できる。 Preferably, the “apparatus” for determining the force sense presented by the simulated force sense presentation device has an “output unit” that outputs “content”, and (A) the “apparatus” and the “pseudo force sense presentation device”. Or the relative distance based on the position specified by the orientation of the (B) “pseudo force sense presentation device” and the output position of the content, the greater the traction force toward the “output unit” is perceived Determine the sense of force. This makes it possible to have a virtual experience of a place that is pulled back with such a strong force that it is pulled apart (for example, a fishing scene). Preferably, the “output unit” is a “screen” that displays image content, and the “device” has a larger traction force toward the “screen” as the normal component of the “screen” in the “relative distance” increases. Determine the force perception that is greatly perceived. Thereby, it is possible to present a force sense corresponding to the normal direction component of the “screen”.

「擬似力覚提示デバイス」から提示される力覚に同期させて、映像コンテンツを表示する画面を振動させてもよい。これにより、さらにリアルな仮想体験を体感させることができる。 The screen for displaying the video content may be vibrated in synchronization with the force sense presented from the “pseudo force sense presentation device”. Thereby, a more realistic virtual experience can be experienced.

上述の変形例として、出力されているコンテンツの状態、および、少なくとも擬似力覚提示デバイスの向きにより指定された位置と当該コンテンツの出力位置との相対的位置関係に応じて、擬似力覚提示デバイスで提示する力覚を決定してもよい。「擬似力覚提示デバイスの向きにより指定された位置」は、「擬似力覚提示デバイス」の外部に存在する位置であってもよいし、「擬似力覚提示デバイス」の内部に存在する位置であってもよい。また「擬似力覚提示デバイスの向きにより指定された位置」は、「擬似力覚提示デバイス」の向きと「コンテンツの出力位置」とによって定まるものであってもよい。「コンテンツの出力位置」は、コンテンツを出力する「装置」上の位置（画面等）であってもよいし、当該「装置」の外部の位置（スクリーンや外部のディスプレイ画面）であってもよい。例えば「擬似力覚提示デバイス」がレーザポインタなどのポインティングデバイスを備え、そこからポインティングされた位置を「擬似力覚提示デバイスの向きにより指定された位置」としてもよい。このようにしても上記と同じ効果を得ることができる。 As the above-described modification, the pseudo force sense presentation device according to the state of the output content and at least the relative positional relationship between the position specified by the orientation of the pseudo force sense presentation device and the output position of the content The force sense to be presented at may be determined. The “position specified by the orientation of the pseudo force sense presentation device” may be a position that exists outside the “pseudo force sense presentation device”, or a position that exists inside the “pseudo force sense presentation device”. There may be. The “position designated by the orientation of the pseudo force sense presentation device” may be determined by the orientation of the “pseudo force sense presentation device” and the “output position of the content”. The “content output position” may be a position (screen or the like) on the “device” that outputs the content, or may be a position outside the “device” (screen or external display screen). . For example, the “pseudo force sense presentation device” may include a pointing device such as a laser pointer, and the position pointed from the pointing device may be “a position designated by the direction of the pseudo force sense presentation device”. Even if it does in this way, the same effect as the above can be acquired.

［第１実施形態］
次に図面を用いて第１実施形態を説明する。本実施形態は本発明を魚釣りゲームに応用した例を説明する。ただし、これは本発明を限定するものではない。 [First Embodiment]
Next, a first embodiment will be described with reference to the drawings. In the present embodiment, an example in which the present invention is applied to a fishing game will be described. However, this does not limit the present invention.

＜構成＞
図１および図２に例示するように、本実施形態のシステムは、コントローラ１１、駆動装置１２、および端末装置１３を有する。コントローラ１１と駆動装置１２とは有線通信が可能なように有線接続されており、駆動装置１２と端末装置１３とは無線通信が可能なように構成されている。図２の例では、ユーザ１０が右手でコントローラ１１を把持し、左腕に腕時計型の駆動装置１２を装着し、左手で端末装置１３を把持している。ただし、これは一例であってこのような使用形態に限定されない。例えば図２では図のわかりやすさを優先して、コントローラ１１を持つ手と反対の手に駆動装置１２を装着しているが、駆動装置１２はコントローラ１１を持った手に身に付けることもできる。一般には、そのようにする方が配線なども短くて済み、望ましい。 <Configuration>
As illustrated in FIGS. 1 and 2, the system according to the present embodiment includes a controller 11, a driving device 12, and a terminal device 13. The controller 11 and the drive device 12 are wired to enable wired communication, and the drive device 12 and the terminal device 13 are configured to be capable of wireless communication. In the example of FIG. 2, the user 10 holds the controller 11 with the right hand, wears the wristwatch-type driving device 12 on the left arm, and holds the terminal device 13 with the left hand. However, this is merely an example, and the present invention is not limited to such usage. For example, in FIG. 2, the driving device 12 is attached to the hand opposite to the hand holding the controller 11 for the sake of easy understanding of the drawing, but the driving device 12 can be worn on the hand holding the controller 11. In general, it is desirable to do so because the wiring and the like can be shortened.

＜コントローラ１１＞
コントローラ１１は、非対称振動により魚の引きの感覚を提示する擬似力覚提示デバイス１１１を有する。例えばコントローラ１１は、擬似力覚提示デバイス１１１をＡＢＳなどの素材のケースに入れたものであり、ケースの形状を釣り竿に見立てたものにすることもできる。前述のように、擬似力覚提示デバイス１１１は非対称振動により擬似的な力覚を提示する。擬似力覚提示デバイス１１１の機能は小型の振動子で実現できるため、モバイル端末装置などの装置の携帯性を大きく損ねない形で力覚提示を実現できる。擬似力覚提示デバイス１１１には、例えば、非特許文献１に開示された装置を利用できる。 <Controller 11>
The controller 11 includes a pseudo force sense presentation device 111 that presents a fish pulling sensation by asymmetric vibration. For example, the controller 11 is a device in which the pseudo force sense presentation device 111 is put in a case made of a material such as ABS, and the shape of the case can be regarded as a fishing rod. As described above, the pseudo force sense presentation device 111 presents a pseudo force sense by asymmetric vibration. Since the function of the pseudo force sense presentation device 111 can be realized by a small vibrator, force sense presentation can be realized in a form that does not greatly impair the portability of a device such as a mobile terminal device. For the pseudo force sense presentation device 111, for example, an apparatus disclosed in Non-Patent Document 1 can be used.

＜駆動装置１２＞
駆動装置１２は駆動信号受信部１２２および駆動信号生成部１２１を有する。駆動信号受信部１２２は無線通信装置であり、駆動信号生成部１２１は擬似力覚提示デバイス１１１を駆動するための駆動信号を生成する。駆動装置１２は、例えば、Bluetooth（登録商標）インタフェースなどの無線通信装置、ＣＰＵ（central processing unit）等のプロセッサ（ハードウェア・プロセッサ）およびＲＡＭ（random-access memory）・ＲＯＭ（read-only memory）等のメモリ等を備える汎用または専用のコンピュータが所定のプログラムを実行することで構成される装置である。このコンピュータは１個のプロセッサやメモリを備えていてもよいし、複数個のプロセッサやメモリを備えていてもよい。このプログラムはコンピュータにインストールされてもよいし、予めＲＯＭ等に記録されていてもよい。また、ＣＰＵのようにプログラムが読み込まれることで機能構成を実現する電子回路（circuitry）ではなく、プログラムを用いることなく処理機能を実現する電子回路を用いて一部またはすべての処理部が構成されてもよい。１個の装置を構成する電子回路が複数のＣＰＵを含んでいてもよい。 <Drive device 12>
The driving device 12 includes a driving signal receiving unit 122 and a driving signal generating unit 121. The drive signal reception unit 122 is a wireless communication device, and the drive signal generation unit 121 generates a drive signal for driving the pseudo force sense presentation device 111. The drive device 12 includes, for example, a wireless communication device such as a Bluetooth (registered trademark) interface, a processor (hardware processor) such as a CPU (central processing unit), and a random-access memory (RAM) / read-only memory (ROM). A general-purpose or dedicated computer provided with a memory or the like executes a predetermined program. The computer may include a single processor and memory, or may include a plurality of processors and memory. This program may be installed in a computer, or may be recorded in a ROM or the like in advance. In addition, some or all of the processing units are configured using an electronic circuit that realizes a processing function without using a program, instead of an electronic circuit (circuitry) that realizes a functional configuration by reading a program like a CPU. May be. An electronic circuit constituting one device may include a plurality of CPUs.

＜端末装置１３の構成＞
端末装置１３は、状態認識部１３１（センサ）、状態遷移部１３２、信号生成部１３３（決定部）、映像表示部１３４（出力部）、音響提示部１３５、および振動信号送信部１３６を有する。端末装置１３は、例えば、前述のようなコンピュータが所定のプログラムを実行することで構成される装置である。プログラムを用いることなく処理機能を実現する電子回路を用いて一部またはすべての処理部が構成されてもよい。端末装置１３の例は、モバイル端末装置や据え置き型の情報処理装置である。 <Configuration of Terminal Device 13>
The terminal device 13 includes a state recognition unit 131 (sensor), a state transition unit 132, a signal generation unit 133 (determination unit), a video display unit 134 (output unit), an acoustic presentation unit 135, and a vibration signal transmission unit 136. The terminal device 13 is, for example, a device configured by a computer as described above executing a predetermined program. Some or all of the processing units may be configured using an electronic circuit that realizes a processing function without using a program. Examples of the terminal device 13 are a mobile terminal device and a stationary information processing device.

≪映像表示部１３４≫
映像表示部１３４は、映像コンテンツであるゲーム映像を表示する画面である。例えば、モバイル端末装置に内蔵されたディスプレイや据え置き型の情報処理装置のディスプレイを映像表示部１３４として利用できる。 << Video display unit 134 >>
The video display unit 134 is a screen that displays a game video that is video content. For example, a display built in the mobile terminal device or a display of a stationary information processing apparatus can be used as the video display unit 134.

≪音響提示部１３５≫
音響提示部１３５は、音響コンテンツであるゲーム音を再生するスピーカーである。例えばモバイル端末装置に内蔵されたスピーカーや据え置き型の情報処理装置のスピーカーを音響提示部１３５として利用できる。 ≪Sound presentation part 135≫
The acoustic presentation unit 135 is a speaker that reproduces game sound that is acoustic content. For example, a speaker built in the mobile terminal device or a speaker of a stationary information processing apparatus can be used as the sound presentation unit 135.

≪状態認識部１３１≫
状態認識部１３１は非接触位置センサであり、映像表示部１３５（例えば、画面）に対するコントローラ１１の相対的な位置（相対的位置関係）を取得する。例えば、所定のプログラムを実行するＣＰＵおよび映像表示部１３４に対する相対位置が固定されたカメラ（例えば、モバイル端末装置の内蔵カメラ）によって状態認識部１３１の機能を実現できる。コントローラ１１の位置と姿勢の認識には様々なアルゴリズムが利用可能である。例えば、パーティクルフィルタのアルゴリズムを利用して、撮影したコントローラ１１の外部の色彩の物体を追跡すれば、周囲にコントローラと見分けにくい色の物体があっても、コントローラ１１を追跡できる。また、コントローラ１１の認識を容易にするために、コントローラ１１の下部（映像表示部１３４側に向けられる端部）にマーカーなどを付してもよい。 ≪State recognition unit 131≫
The state recognition unit 131 is a non-contact position sensor, and acquires a relative position (relative positional relationship) of the controller 11 with respect to the video display unit 135 (for example, a screen). For example, the function of the state recognition unit 131 can be realized by a CPU that executes a predetermined program and a camera (for example, a built-in camera of a mobile terminal device) whose relative position with respect to the video display unit 134 is fixed. Various algorithms can be used to recognize the position and orientation of the controller 11. For example, by tracking a color object outside the captured controller 11 using a particle filter algorithm, the controller 11 can be tracked even if there is an object of a color that is difficult to distinguish from the controller. Further, in order to facilitate the recognition of the controller 11, a marker or the like may be attached to the lower part of the controller 11 (an end portion directed toward the video display unit 134).

≪状態遷移部１３２≫
状態遷移部１３２は、映像表示部１３４に対するコントローラ１１の相対的な位置および時間に基づき、魚釣りゲームの状態（魚の位置や姿勢、水面の波面、魚が釣り針にかかっているかどうか、魚の状態毎に設定されたタイマー、乱数等）を遷移させる。すなわち、状態遷移部１３２は、映像表示部１３４とコントローラ１１との相対的位置関係および時間に応じて、コンテンツの状態を変化させる。 << State Transition Unit 132 >>
Based on the relative position and time of the controller 11 with respect to the video display unit 134, the state transition unit 132 determines the state of the fishing game (the position and posture of the fish, the wave surface of the water surface, whether the fish is caught on the fishing hook, The set timer, random number, etc.) are changed. That is, the state transition unit 132 changes the state of the content according to the relative positional relationship and time between the video display unit 134 and the controller 11.

≪信号生成部１３３≫
信号生成部１３３は、上述の魚釣りゲームの状態に応じたゲーム映像、ゲーム音、および振動をそれぞれ指定する、映像信号、音響信号、および振動信号を生成する。信号生成部１３３の特徴的な点は、映像表示部１３４で表示されているコンテンツの状態、および、コントローラ１１と端末装置１３との相対的位置関係（擬似力覚提示デバイス１１１と端末装置１３との相対的位置関係）に応じて、擬似力覚提示デバイス１１１で提示する力覚を決定し、その力覚を擬似力覚提示デバイス１１１に提示させるための振動信号を生成する点である。 << Signal Generation Unit 133 >>
The signal generation unit 133 generates a video signal, an acoustic signal, and a vibration signal that respectively specify a game video, a game sound, and vibration according to the state of the fishing game described above. The characteristic points of the signal generation unit 133 are the state of the content displayed on the video display unit 134 and the relative positional relationship between the controller 11 and the terminal device 13 (the pseudo force sense presentation device 111 and the terminal device 13 The sense of force to be presented by the pseudo force sense presentation device 111 is determined in accordance with the relative force relationship), and a vibration signal for causing the pseudo force sense presentation device 111 to present the force sense is generated.

≪振動信号送信部１３６≫
振動信号送信部１３６は無線通信装置であり、振動信号を駆動装置１２に送信する。例えば、モバイル端末装置のBluetooth（登録商標）インタフェースを振動信号送信部１３６として利用できる。 << Vibration signal transmitter 136 >>
The vibration signal transmission unit 136 is a wireless communication device, and transmits a vibration signal to the driving device 12. For example, the Bluetooth (registered trademark) interface of the mobile terminal device can be used as the vibration signal transmission unit 136.

＜動作＞
次に本実施形態の動作を説明する。本実施形態の魚釣りゲームにおいては、例えば図３に例示するように、魚の映像コンテンツの状態として、釣り針がかかっていない魚が自由に泳いでいる状態（ＦＲＥＥ状態）、魚が釣り針に食いついている状態（ＨＩＴ状態）、釣り針を咥えた魚が水中を下降している状態（ＳＩＮＫ状態）、釣り針を咥えた魚が水面に向かって上昇している状態（ＲＩＳＥ状態）、釣り針がしっかりかかった魚が利用者に引かれて水面に向かって上昇している状態（ＣＡＴＣＨ状態）、魚が釣れた状態（ＧＯＡＬ状態）の６状態を扱う。このように、魚の映像コンテンツの状態を分け、それぞれの場合に応じた振動（力覚）、ゲーム映像、およびゲーム音を再生することで、釣り体験を構成する一連の状態を表現する。これらの各状態は端末装置１３とコントローラ１１（擬似力覚提示デバイス１１１）との相対的位置関係および時間に応じて変化する。つまり、コントローラ１１と映像表示部１３４中の魚の映像コンテンツ１３４ｂとの相対的位置関係およびその時間変化の情報ならびにその時刻のゲーム状態に基づいて映像コンテンツ１３４ｂの状態を遷移させ、それに応じてゲーム映像および提示する力覚を変化させることで魚とのインタラクションを表現する。すなわち、端末装置１３で出力しているコンテンツの状態、および、擬似力覚提示デバイス１１１と端末装置１３との相対的位置関係に応じて、擬似力覚提示デバイス１１１で提示される力覚、映像表示部１３４で表示されるゲーム映像、および音響提示部１３５で提示されるゲーム音が制御（決定）される。なお、本形態の例では、ゲーム映像として、魚の映像コンテンツ１３４ｂの他、姿水面の波紋の映像や釣り針に相当するカーソルの映像コンテンツ１３４ａが表示される。これにより、ゲームのリアリティ、わかりやすさ、エンターテインメント性、芸術性などを高めることができる。特に、端末装置１３がコントローラ１１への力覚提示を指示した場合に（指示と同期させて）、映像表示部１３４が波紋の映像コンテンツを表示してもよい。また魚が立てる波の音の音響コンテンツを、映像表示部１３４に近傍に配置された音響提示部１３５から再生することで、あたかもそこに魚が実在するかのような錯覚を与えることもできる。 <Operation>
Next, the operation of this embodiment will be described. In the fishing game of this embodiment, for example, as illustrated in FIG. 3, as a state of the video content of the fish, a state where a fish without a fishhook is swimming freely (FREE state), and a fish bites the fishhook. State (HIT state), fish holding a fishhook descending underwater (SINK state), fish holding a fishhook rising toward the water surface (RISE state), fish with a fishhook firmly attached Is handled by 6 states: a state where the user is pulled toward the water surface (CATCH state) and a state where the fish is caught (GOAL state). In this way, the state of the video content of the fish is divided, and a series of states constituting the fishing experience are expressed by reproducing vibration (force), game video, and game sound according to each case. Each of these states changes according to the relative positional relationship and time between the terminal device 13 and the controller 11 (pseudo force sense presentation device 111). That is, the state of the video content 134b is changed based on the relative positional relationship between the controller 11 and the video content 134b of the fish in the video display unit 134, information on the time change thereof, and the game state at that time, and the game video is accordingly displayed. And the interaction with fish is expressed by changing the force sense to present. That is, the force sensation and video presented by the pseudo force sense presentation device 111 according to the state of the content output by the terminal device 13 and the relative positional relationship between the pseudo force sense presentation device 111 and the terminal device 13 The game video displayed on the display unit 134 and the game sound presented on the sound presentation unit 135 are controlled (determined). In the example of the present embodiment, a video image 134 a of a cursor corresponding to a fishhook and a video image of a ripple corresponding to the water surface are displayed as a game video, in addition to a fish video content 134 b. Thereby, the reality of a game, an intelligibility, entertainment property, artistry, etc. can be improved. In particular, when the terminal device 13 instructs the controller 11 to present a force sense (synchronized with the instruction), the video display unit 134 may display rippled video content. In addition, by reproducing the acoustic content of the sound of the waves generated by the fish from the acoustic presentation unit 135 disposed in the vicinity of the video display unit 134, it is possible to give an illusion as if the fish actually existed there.

また、本実施形態の魚釣りゲームにおいては、例えば、図４のように、複数種類の魚の映像コンテンツを扱うことができ、魚の種類に応じて振動パターン（振動の周期、非対称性、力波形の振幅の少なくとも何れか）を変えることで、異なる種類の魚の引きの感覚の違いを表現することができる。例えば、アユは小さいため引きがおしなべて弱く、コイの引きは強い上にバタバタとした振動感覚を伴い、ブラックバスについては引きの感覚の強弱を小さくすることでその単調な引きを表現している。また、魚以外でも昆虫などの小さな生物との引き合いでは小さな引きを生じさせる、あるいはゴミやヨーヨーなどの魚以外の物体がかかった場合は振動しないなどの表現が実装されてもよい。 In addition, in the fishing game of the present embodiment, for example, as shown in FIG. 4, video contents of a plurality of types of fish can be handled, and vibration patterns (vibration period, asymmetry, amplitude of force waveform, etc.) according to the type of fish. By changing (at least one of), it is possible to express the difference in the pulling sensation of different types of fish. For example, because ayu is small, the pull is generally weak, the carp pull is strong and accompanied by a fluttering vibration sensation, and the black bass expresses its monotonous pull by reducing the strength of the pull sensation. In addition, an expression that causes a small pull when inquiring with a small creature such as an insect other than a fish, or does not vibrate when an object other than a fish such as garbage or yo-yo is applied may be implemented.

次に図５および図６を用い、本実施形態の坂釣りゲームの動作を説明する。状態認識部１３１は、継続的または断続的に、端末装置１３（映像表示部１３４）とコントローラ１１（擬似力覚提示デバイス１１１）との相対的位置関係を取得し、取得した相対的位置関係を状態遷移部１３２に送る。 Next, the operation of the hill fishing game of this embodiment will be described with reference to FIGS. The state recognition unit 131 continuously or intermittently acquires the relative positional relationship between the terminal device 13 (video display unit 134) and the controller 11 (pseudo force sense presentation device 111), and the acquired relative positional relationship is obtained. The data is sent to the state transition unit 132.

状態遷移部１３２は、入力された相対的位置関係、時間、および各時刻のコンテンツの状態（「ＦＲＥＥ状態」「ＨＩＴ状態」「ＳＩＮＫ状態」「ＲＩＳＥ状態」「ＣＡＴＣＨ状態」「ＧＯＡＬ状態」）に基づいて、コンテンツの状態を遷移させる。初期状態は「ＦＲＥＥ状態」である。状態遷移部１３２は、各時刻のコンテンツの状態を出力する。信号生成部１３３は、入力された状態に応じたゲーム映像、ゲーム音、および振動をそれぞれ指定する、映像信号、音響信号、および振動信号を生成する。 The state transition unit 132 changes the input relative positional relationship, time, and state of content at each time (“FREE state”, “HIT state”, “SINK state”, “RISE state”, “CATCH state”, “GOAL state”). Based on this, the state of the content is changed. The initial state is the “FREE state”. The state transition unit 132 outputs the content state at each time. The signal generation unit 133 generates a video signal, an acoustic signal, and a vibration signal that respectively specify game video, game sound, and vibration according to the input state.

「ＦＲＥＥ状態」では、信号生成部１３３が「魚が自由に泳ぐ映像」の映像信号を生成して出力する。また信号生成部１３３は釣り針に相当する「カーソルの映像」の映像信号を生成して出力する。この「カーソルの映像」の表示座標は、端末装置１３（映像表示部１３４）とコントローラ１１（擬似力覚提示デバイス１１１）との相対的位置関係に対応する。相対的位置関係が変化すれば「カーソルの映像」の表示座標も変化する。例えば、この相対的位置関係のうち映像表示部１３４（画面）に対する水平成分の変位のみに応じて「カーソルの映像」の表示座標が変化してもよいし、相対的位置関係のうち映像表示部１３４（画面）に対する水平方向成分および法線方向成分の少なくとも一方の変化に応じて「カーソルの映像」の表示座標が変化してもよい。「魚が自由に泳ぐ映像」の映像信号および「カーソルの映像」の映像信号は映像表示部１３４に入力され、映像表示部１３４はそれに応じて「魚が自由に泳ぐ映像」の映像コンテンツ１３４ｂおよび「カーソルの映像」の映像コンテンツ１３４ａを表示する。「ＦＲＥＥ状態」では、擬似力覚提示デバイス１１１は力覚を提示しない（ステップＳ１３２ａ）。 In the “FREE state”, the signal generation unit 133 generates and outputs a video signal of “video where fish swim freely”. The signal generator 133 generates and outputs a video signal of “cursor video” corresponding to a fishhook. The display coordinates of this “cursor image” correspond to the relative positional relationship between the terminal device 13 (image display unit 134) and the controller 11 (pseudo force sense presentation device 111). If the relative positional relationship changes, the display coordinates of the “cursor image” also change. For example, the display coordinates of the “cursor image” may change according to only the displacement of the horizontal component relative to the video display unit 134 (screen) in the relative positional relationship, or the video display unit in the relative positional relationship. The display coordinates of the “cursor image” may change in accordance with a change in at least one of the horizontal direction component and the normal direction component with respect to 134 (screen). The video signal of “video where the fish swims freely” and the video signal of “video of the cursor” are input to the video display unit 134, and the video display unit 134 responds accordingly to the video content 134 b of “video where the fish swim freely” and The video content 134a of “cursor video” is displayed. In the “FREE state”, the pseudo force sense presentation device 111 does not present a force sense (step S132a).

状態遷移部１３２は、魚の映像コンテンツ１３４ｂの表示座標と、相対的位置関係に応じたカーソルの映像コンテンツ１３４ａの表示座標とが接近したか（魚とカーソルとが接近したか）を判定する。例えば、状態遷移部１３２は、魚の映像コンテンツ１３４ｂの表示座標（魚の映像コンテンツ１３４ｂの所定位置の表示座標）の所定範囲内に、カーソルの映像コンテンツ１３４ａの表示座標が存在するかを判定する。例えば、映像コンテンツ１３４ｂである魚の口と、表示している映像コンテンツ１３４ｂの向きに応じたベクトルとを用い、魚の口から魚の向きを示すベクトルに沿った方向の一定領域を「所定範囲」と定義し、この判定を行ってもよい。魚の映像コンテンツ１３４ｂの表示座標の所定範囲内にカーソルの映像コンテンツ１３４ａの表示座標が存在すれば魚とカーソルとが接近したと判定し、そうでない場合に魚とカーソルとが接近していないと判定する（ステップＳ１３２ｂ）。魚とカーソルとが接近していないと判定した場合、状態遷移部１３２は「ＦＲＥＥ状態」を維持する（ステップＳ１３２ａ）。一方、魚とカーソルとが接近したと判定した場合、状態遷移部１３２はコンテンツの状態を「ＨＩＴ状態」に遷移させる。 The state transition unit 132 determines whether the display coordinates of the video content 134b of the fish and the display coordinates of the video content 134a of the cursor corresponding to the relative positional relationship are close (whether the fish and the cursor are close). For example, the state transition unit 132 determines whether the display coordinates of the cursor video content 134a are within a predetermined range of the display coordinates of the fish video content 134b (display coordinates at a predetermined position of the fish video content 134b). For example, using a fish mouth as the video content 134b and a vector corresponding to the orientation of the displayed video content 134b, a certain area in the direction along the vector indicating the direction of the fish from the fish mouth is defined as “predetermined range”. However, this determination may be performed. If the display coordinates of the cursor video content 134a are within the predetermined range of the display coordinates of the fish video content 134b, it is determined that the fish and the cursor have approached, and otherwise, it is determined that the fish and the cursor have not approached. (Step S132b). When it is determined that the fish and the cursor are not approaching, the state transition unit 132 maintains the “FREE state” (step S132a). On the other hand, when it is determined that the fish and the cursor have approached, the state transition unit 132 transitions the content state to the “HIT state”.

「ＨＩＴ状態」では、信号生成部１３３が、擬似力覚提示デバイス１１１が牽引力を５０ｍｓ間隔で知覚させる力覚を提示するための振動信号、「釣り針の付近で動く魚と同付近で発生する波紋の映像」の映像信号、および「魚の動きによって生じる波の音」の音響信号を生成して出力する。例えば、この振動信号は、魚が「アユ」である場合には「弱強度の短い牽引力」を提示するためのものであり、魚が「コイ」または「ブラックバス」ある場合には「中強度の短い牽引力」を提示するためのものである（図４）。振動信号は振動信号送信部１３６に送られて送信される。振動信号は駆動装置１２の駆動信号受信部１２２で受信され、駆動信号生成部１２１に送られる。駆動信号生成部１２１は振動信号に応じた力覚を提示させるための駆動信号を生成して擬似力覚提示デバイス１１１に供給する。擬似力覚提示デバイス１１１は、供給された駆動信号に応じた力覚（駆動信号で指定された力覚パターンに応じた力覚）を提示する。「釣り針の付近で動く魚と同付近で発生する波紋の映像」の映像信号は映像表示部１３４に入力され、映像表示部１３４はそれに応じて「釣り針の付近で動く魚と同付近で発生する波紋の映像」の映像コンテンツ１３４ｂを表示する。「魚の動きによって生じる波の音」の音響信号は音響提示部１３５に入力され、音響提示部１３５はそれに応じて「魚の動きによって生じる波の音」を出力する（ステップＳ１３２ｃ）。 In the “HIT state”, the signal generation unit 133 presents a vibration signal for presenting a force sensation that causes the pseudo force sense presentation device 111 to perceive the traction force at intervals of 50 ms, “a ripple generated near the fish moving near the fishhook” A video signal of “No. of images” and an acoustic signal of “wave sound generated by the movement of fish” are generated and output. For example, this vibration signal is for presenting a “weak traction force” when the fish is “Ayu”, and “medium strength” when the fish is “Carp” or “Black Bass”. This is for presenting “short traction force” (FIG. 4). The vibration signal is sent to the vibration signal transmission unit 136 and transmitted. The vibration signal is received by the drive signal receiver 122 of the drive device 12 and sent to the drive signal generator 121. The drive signal generation unit 121 generates a drive signal for presenting a force sense according to the vibration signal and supplies the drive signal to the pseudo force sense presentation device 111. The pseudo force sense presentation device 111 presents a force sense corresponding to the supplied drive signal (force sense corresponding to a force sense pattern specified by the drive signal). The video signal of “the ripple image generated near the fish moving in the vicinity of the fishhook” is input to the video display section 134, and the video display section 134 accordingly generates “the same movement as the fish moving in the vicinity of the fishhook”. The video content 134b of “ripple image” is displayed. The acoustic signal of “wave sound generated by fish movement” is input to the acoustic presentation unit 135, and the acoustic presentation unit 135 outputs “wave sound generated by fish movement” accordingly (step S132c).

状態遷移部１３２は、入力される相対的位置関係を監視し、コントローラ１１が映像表示部１３４から所定範囲内に位置するかを判定する（ステップＳ１３２ｄ）。ここでの「所定範囲」はステップＳ１３２ｂの「所定範囲」と同じであってもよいし、より広い範囲であってもよいし、より狭い範囲であってもよい。コントローラ１１が映像表示部１３４の所定範囲外に出た（コントローラ１１が映像表示部１３４から離れた）と判定された場合、状態遷移部１３２は、処理をステップＳ１３２ａに戻すことで「ＨＩＴ状態」を「ＦＲＥＥ」状態に遷移させる。これによって魚が逃げたことを表現する。一方、コントローラ１１が映像表示部１３４から所定範囲内に位置している場合には、状態遷移部１３２は、「ＨＩＴ状態」に遷移してから一定時間が経過したかを判定する（ステップＳ１３２ｅ）。ここで、一定時間が経過していないと判定された場合、状態遷移部１３２は処理をステップＳ１３２ｄに戻す。一方、一定時間が経過したと判定された場合、状態遷移部１３２はコンテンツの状態を「ＳＩＮＫ状態」に遷移させる。 The state transition unit 132 monitors the input relative positional relationship and determines whether the controller 11 is located within a predetermined range from the video display unit 134 (step S132d). The “predetermined range” here may be the same as the “predetermined range” in step S132b, may be a wider range, or may be a narrower range. When it is determined that the controller 11 has gone out of the predetermined range of the video display unit 134 (the controller 11 has moved away from the video display unit 134), the state transition unit 132 returns the processing to step S132a, thereby “HIT state”. To “FREE” state. This expresses that the fish has escaped. On the other hand, when the controller 11 is located within the predetermined range from the video display unit 134, the state transition unit 132 determines whether a certain time has elapsed since the transition to the “HIT state” (step S132e). . Here, when it is determined that the predetermined time has not elapsed, the state transition unit 132 returns the process to step S132d. On the other hand, when it is determined that the predetermined time has elapsed, the state transition unit 132 transitions the content state to the “SINK state”.

「ＳＩＮＫ状態」では、信号生成部１３３が魚の映像コンテンツ１３４ｂの方向へコントローラ１１が引かれる牽引力を提示するための振動信号、「釣り針を咥えた魚が水中を下降している映像」の映像信号、および「魚の動きによって生じる波の音」の音響信号を生成して出力する。例えば、この振動信号は、魚が「アユ」である場合には「弱強度の持続的な牽引力」を提示するためのものであり、魚が「コイ」または「ブラックバス」ある場合には「中強度の持続的な牽引力および振動」を提示するためのものである（図４）。振動信号は振動信号送信部１３６、駆動信号生成部１２１と送られ、これに応じて駆動信号生成部１２１で生成された駆動信号が擬似力覚提示デバイス１１１に供給され、擬似力覚提示デバイス１１１は駆動信号に応じた力覚を提示する。「釣り針を咥えた魚が水中を下降している映像」の映像信号は映像表示部１３４に入力され、映像表示部１３４はそれに応じて「釣り針を咥えた魚が水中を下降している映像」の映像コンテンツ１３４ｂを表示する。「魚の動きによって生じる波の音」の音響信号は音響提示部１３５に入力され、音響提示部１３５はそれに応じて「魚の動きによって生じる波の音」を出力する（ステップＳ１３２ｆ）。 In the “SINK state”, the signal generation unit 133 presents a vibration signal for presenting the traction force that the controller 11 pulls in the direction of the video content 134b of the fish, and a video signal of “video in which the fish holding the fishhook is descending in the water” , And an acoustic signal of “wave sound generated by fish movement” is generated and output. For example, this vibration signal is for presenting a “weak and strong traction force” when the fish is “Ayu”, and when the fish is “Carp” or “Black Bass” It is intended to present “medium strength sustained traction and vibration” (FIG. 4). The vibration signal is sent to the vibration signal transmission unit 136 and the drive signal generation unit 121, and the drive signal generated by the drive signal generation unit 121 is supplied to the pseudo force sense presentation device 111 according to the vibration signal transmission unit 136 and the drive signal generation unit 111. Presents a force sense according to the drive signal. The video signal of “the image of the fish holding the fishhook descending underwater” is input to the image display unit 134, and the image display unit 134 accordingly “the image of the fish holding the fishhook descending underwater” Video content 134b is displayed. The acoustic signal of “wave sound generated by fish movement” is input to the acoustic presentation unit 135, and the acoustic presentation unit 135 outputs “wave sound generated by fish movement” accordingly (step S132f).

状態遷移部１３２は、入力される相対的位置関係を監視し、コントローラ１１が映像表示部１３４から所定範囲内に位置するかを判定する（ステップＳ１３２ｇ）。ここでの「所定範囲」はステップＳ１３２ｂやＳ１３２ｄの「所定範囲」と同じであってもよいし、より広い範囲であってもよいし、より狭い範囲であってもよい。コントローラ１１が映像表示部１３４の所定範囲外に出ていないと判定された場合、状態遷移部１３２は、乱数整数を生成し（ステップＳ１３２ｈ）、その乱数整数が３０の倍数であるかを判定する（ステップＳ１３２ｉ）。ここで、整数乱数が３０の倍数でなかった場合、状態遷移部１３２は、処理をステップＳ１３２ｆに戻して「ＳＩＮＫ状態」を維持する。一方、整数乱数が３０の倍数であった場合、状態遷移部１３２はコンテンツの状態を「ＲＩＳＥ状態」に遷移させる。 The state transition unit 132 monitors the input relative positional relationship and determines whether the controller 11 is located within a predetermined range from the video display unit 134 (step S132g). The “predetermined range” here may be the same as the “predetermined range” in steps S132b and S132d, may be a wider range, or may be a narrower range. When it is determined that the controller 11 is not out of the predetermined range of the video display unit 134, the state transition unit 132 generates a random integer (step S132h) and determines whether the random integer is a multiple of 30. (Step S132i). If the integer random number is not a multiple of 30, the state transition unit 132 returns the process to step S132f and maintains the “SINK state”. On the other hand, when the integer random number is a multiple of 30, the state transition unit 132 transitions the content state to the “RISE state”.

「ＲＩＳＥ状態」では、信号生成部１３３が「釣り針を咥えた魚が水面に向かって上昇している映像」の映像信号を生成して出力する。「釣り針を咥えた魚が水面に向かって上昇している映像」の映像信号は映像表示部１３４に入力され、映像表示部１３４はそれに応じて「釣り針を咥えた魚が水面に向かって上昇している映像」の映像コンテンツ１３４ｂを表示する。「ＲＩＳＥ状態」では、擬似力覚提示デバイス１１１は力覚を提示しない（ステップＳ１３２ｊ）。 In the “RISE state”, the signal generation unit 133 generates and outputs a video signal of “video in which a fish holding a fishhook is rising toward the water surface”. The video signal of “video in which a fish holding a fishhook is rising toward the water surface” is input to the video display unit 134, and the video display unit 134 responds accordingly by saying “the fish holding a fishhook is rising toward the water surface. The video content 134b of “current video” is displayed. In the “RISE state”, the simulated force sense presentation device 111 does not present a force sense (step S132j).

状態遷移部１３２は、入力される相対的位置関係を監視し、コントローラ１１が映像表示部１３４から所定範囲内に位置するかを判定する（ステップＳ１３２ｋ）。ここでの「所定範囲」はステップＳ１３２ｂやＳ１３２ｄやＳ１３２ｇの「所定範囲」と同じであってもよいし、より広い範囲であってもよいし、より狭い範囲であってもよい。コントローラ１１が映像表示部１３４の所定範囲外に出ていないと判定された場合、状態遷移部１３２は、乱数整数を生成し（ステップＳ１３２ｍ）、その乱数整数が３０の倍数であるかを判定する（ステップＳ１３２ｉ）。ここで、整数乱数が３０の倍数でなかった場合、状態遷移部１３２は、処理をステップＳ１３２ｆに戻して「ＲＩＳＥ状態」を維持する。一方、整数乱数が３０の倍数であった場合、状態遷移部１３２は、処理をステップＳ１３２ｆに戻すことでコンテンツの状態を「ＳＩＮＫ状態」に遷移させる。 The state transition unit 132 monitors the input relative positional relationship and determines whether the controller 11 is located within a predetermined range from the video display unit 134 (step S132k). The “predetermined range” here may be the same as the “predetermined range” in steps S132b, S132d, and S132g, or may be a wider range or a narrower range. When it is determined that the controller 11 is not out of the predetermined range of the video display unit 134, the state transition unit 132 generates a random integer (step S132m) and determines whether the random integer is a multiple of 30. (Step S132i). If the integer random number is not a multiple of 30, the state transition unit 132 returns the process to step S132f and maintains the “RISE state”. On the other hand, when the integer random number is a multiple of 30, the state transition unit 132 transitions the content state to the “SINK state” by returning the process to step S132f.

上述したステップＳ１３２ｆからＳ１３２ｎでは、魚の映像コンテンツ１３４ｂの状態が「ＳＩＮＫ状態」と「ＲＩＳＥ状態」との間をランダムに遷移する。ここで、「ＳＩＮＫ状態」にあるステップＳ１３２ｇにおいて、コントローラ１１が映像表示部１３４の所定範囲外に出たと判定された場合、状態遷移部１３２は、処理をステップＳ１３２ｐに進めることで「ＣＡＴＣＨ状態」に遷移させる。一方、「ＲＩＳＥ状態」にあるステップＳ１３２ｋにおいて、コントローラ１１が映像表示部１３４の所定範囲外に出たと判定された場合、状態遷移部１３２は処理をステップＳ１３２ａに戻すことで「ＲＩＳＥ状態」を「ＦＲＥＥ状態」に遷移させる。これによって魚が逃げたことを表現する。 In steps S132f to S132n described above, the state of the fish video content 134b randomly changes between the “SINK state” and the “RISE state”. Here, in step S132g in the “SINK state”, when it is determined that the controller 11 has moved out of the predetermined range of the video display unit 134, the state transition unit 132 advances the processing to step S132p, thereby causing the “CATCH state”. Transition to. On the other hand, if it is determined in step S132k in the “RISE state” that the controller 11 has gone out of the predetermined range of the video display unit 134, the state transition unit 132 returns the process to step S132a to set the “RISE state” to “ Transition to “FREE state”. This expresses that the fish has escaped.

「ＣＡＴＣＨ状態」では、信号生成部１３３が魚の映像コンテンツ１３４ｂの方向へコントローラ１１が強く引かれる牽引力を提示するための振動信号、「釣り針を咥えた魚が水面に向かって上昇している映像」の映像信号、および「魚の動きによって生じる波の音」の音響信号を生成して出力する。例えば、この振動信号は、魚が「アユ」である場合には「中強度の持続的な牽引力」を提示するためのものであり、魚が「コイ」ある場合には「強強度の持続的な牽引力および振動」を提示するためのものであり、魚が「ブラックバス」ある場合には「中強度の持続的な牽引力および振動」を提示するためのものである（図４）。振動信号は振動信号送信部１３６、駆動信号生成部１２１と送られ、これに応じて駆動信号生成部１２１で生成された駆動信号が擬似力覚提示デバイス１１１に供給され、擬似力覚提示デバイス１１１は駆動信号に応じた力覚を提示する。「釣り針を咥えた魚が水面に向かって上昇している映像」の映像信号は映像表示部１３４に入力され、映像表示部１３４はそれに応じて「釣り針を咥えた魚が水面に向かって上昇している映像」の映像コンテンツ１３４ｂを表示する。「魚の動きによって生じる波の音」の音響信号は音響提示部１３５に入力され、音響提示部１３５はそれに応じて「魚の動きによって生じる波の音」を出力する。「ＣＡＴＣＨ状態」では、映像表示部１３４に対するコントローラ１１の距離（例えば映像表示部１３４である画面の法線方向成分の距離）が所定値以上のときに、魚の水面までの距離が減少していくことにする。この際、端末装置１３と擬似力覚提示デバイス１１１との相対距離（例えば、映像表示部１３４である画面の法線方向成分の相対距離）が大きいほど、映像表示部１３４に向かう牽引力（魚の映像コンテンツ１３４ｂの方向へコントローラ１１が強く引かれる牽引力）が大きく知覚される力覚が提示されてもよい（ステップＳ１３２ｑ）。ここで、魚が水面に到達していないとき、信号生成部１３３はステップＳ１３２ｐの「ＣＡＴＣＨ状態」を維持する。一方、魚が水面に到達したとき（魚の水面までの距離が０となったとき）、信号生成部１３３は、処理をステップＳ１３２ｒに進めることで「ＣＡＴＣＨ状態」を「ＧＯＡＬ状態」に遷移させる。 In the “CATCH state”, a vibration signal for the signal generator 133 to present a traction force that the controller 11 is strongly pulled in the direction of the video content 134b of the fish, “video in which the fish holding the fishhook is rising toward the water surface” And an audio signal of “wave sound generated by fish movement” are generated and output. For example, this vibration signal is for presenting “medium-strength continuous traction” if the fish is “Ayu”, and “strong-strength persistent” if the fish is “carp”. ”And” when the fish is “Black Bass”, it is for presenting “medium strength sustained traction and vibration” (FIG. 4). The vibration signal is sent to the vibration signal transmission unit 136 and the drive signal generation unit 121, and the drive signal generated by the drive signal generation unit 121 is supplied to the pseudo force sense presentation device 111 according to the vibration signal transmission unit 136 and the drive signal generation unit 111. Presents a force sense according to the drive signal. The video signal of “video in which a fish holding a fishhook is rising toward the water surface” is input to the video display unit 134, and the video display unit 134 responds accordingly by saying “the fish holding a fishhook is rising toward the water surface. The video content 134b of “current video” is displayed. The acoustic signal of “wave sound generated by fish movement” is input to the acoustic presentation unit 135, and the acoustic presentation unit 135 outputs “wave sound generated by fish movement” accordingly. In the “CATCH state”, the distance to the water surface of the fish decreases when the distance of the controller 11 to the video display unit 134 (for example, the distance of the normal direction component of the screen that is the video display unit 134) is a predetermined value or more. I will decide. At this time, as the relative distance between the terminal device 13 and the pseudo force sense presentation device 111 (for example, the relative distance of the normal direction component of the screen that is the video display unit 134) is larger, the traction force toward the video display unit 134 (fish image) A force sensation in which a large pulling force that causes the controller 11 to be strongly pulled in the direction of the content 134b may be presented (step S132q). Here, when the fish has not reached the water surface, the signal generation unit 133 maintains the “CATCH state” in step S132p. On the other hand, when the fish reaches the water surface (when the distance to the water surface of the fish becomes 0), the signal generation unit 133 causes the process to proceed to step S132r to change the “CATCH state” to the “GOAL state”.

「ＧＯＡＬ状態」では、「釣れた魚を見せる映像」の映像信号、および「魚が釣れたことを知らせるメロディ音」の音響信号を生成して出力する。「釣れた魚を見せる映像」の映像信号は映像表示部１３４に入力され、映像表示部１３４はそれに応じて「釣れた魚を見せる映像」の映像コンテンツ１３４ｂを表示する。「魚が釣れたことを知らせるメロディ音」の音響信号は音響提示部１３５に入力され、音響提示部１３５はそれに応じて「魚が釣れたことを知らせるメロディ音」を出力する（ステップＳ１３２ｒ）。 In the “GOAL state”, a video signal of “video showing fish caught” and an audio signal of “melody sound notifying that fish were caught” are generated and output. The video signal of “video showing fish caught” is input to the video display unit 134, and the video display unit 134 displays video content 134 b of “video showing fish caught” accordingly. The sound signal of “melody sound notifying that fish has been caught” is input to the sound presentation unit 135, and the sound presentation unit 135 outputs “melody sound notifying that fish has been caught” accordingly (step S132r).

状態遷移部１３２は、入力される相対的位置関係を監視し、コントローラ１１が映像表示部１３４から所定範囲内に位置するかを判定する（ステップＳ１３２ｓ）。ここでの「所定範囲」はステップＳ１３２ｂやＳ１３２ｄやＳ１３２ｇやＳ１３２ｋの「所定範囲」と同じであってもよいし、より広い範囲であってもよいし、より狭い範囲であってもよい。コントローラ１１が映像表示部１３４の所定範囲外に出ていないと判定された場合、状態遷移部１３２は処理をステップＳ１３２ｒに戻すことで「ＧＯＡＬ状態」を維持する。一方、コントローラ１１が映像表示部１３４の所定範囲外に出たと判定された場合、状態遷移部１３２は処理をステップＳ１３２ａに戻すことで「ＧＯＡＬ状態」を「ＦＲＥＥ状態」に遷移させる。 The state transition unit 132 monitors the input relative positional relationship and determines whether the controller 11 is located within a predetermined range from the video display unit 134 (step S132s). The “predetermined range” here may be the same as the “predetermined range” in steps S132b, S132d, S132g, and S132k, or may be a wider range or a narrower range. When it is determined that the controller 11 is not out of the predetermined range of the video display unit 134, the state transition unit 132 maintains the “GOAL state” by returning the process to step S132r. On the other hand, when it is determined that the controller 11 has gone out of the predetermined range of the video display unit 134, the state transition unit 132 returns the process to step S132a to transition the “GOAL state” to the “FREE state”.

以上のように釣り針がかかった魚が水中を下降する「ＳＩＮＫ状態」で牽引力をかけ、水中を上昇する「ＲＩＳＥ状態」で牽引力かからないように擬似力覚提示デバイス１１１を制御することで、魚の映像コンテンツ１３４ｂとコントローラ１１との間に釣り糸があり、その張力がかかっているような錯覚を生じさせることができる。また、適切なタイミング（ＳＩＮＫ状態）でコントローラ１１を映像表示部１３４（画面）から離すように引いたときに、牽引力が強くなる状態遷移（ＳＩＮＫ状態→ＣＡＴＣＨ状態）を設けることで、魚を引っ張ったというリアルな手ごたえを表現できる。 As described above, by controlling the pseudo force sense presentation device 111 so as to apply a traction force in the “SINK state” in which the fish with the fishhook descends underwater and not to apply the traction force in the “RISE state” in which the fish moves up, There is a fishing line between the content 134b and the controller 11, and an illusion that the tension is applied can be generated. In addition, when the controller 11 is pulled away from the video display unit 134 (screen) at an appropriate timing (SINK state), a state transition (SINK state → CATCH state) that increases the traction force is provided to pull the fish. It can express the real feeling of being.

＜本形態の特徴＞
本形態では、出力されている魚の映像コンテンツ１３４ｂの状態、および、擬似力覚提示デバイス１１１と端末装置１３との相対的位置関係に応じて、擬似力覚提示デバイス１１１で提示する力覚を決定することとした。これにより、出力した魚の映像コンテンツ１３４ｂに応じた力覚を擬似力覚提示デバイス１１１から提示し、リアルな仮想体験を体感させる魚釣りゲームを実現できる。 <Features of this embodiment>
In this embodiment, the force sense presented by the pseudo force sense presentation device 111 is determined according to the state of the output video content 134b of the fish and the relative positional relationship between the pseudo force sense presentation device 111 and the terminal device 13. It was decided to. Thus, a fishing game can be realized in which a force sense corresponding to the output video content 134b of the fish is presented from the pseudo force sense presentation device 111 and a realistic virtual experience is experienced.

また非特許文献１の魚釣りゲームでは、擬似力覚提示デバイスから糸で錘をぶら下げ、その錘を魚の映像コンテンツを表示するタッチセンサ付きの画面に接触させ、擬似力覚提示デバイスと魚の映像コンテンツとの位置関係を検出していた。しかしながら、モバイル端末装置では画面のサイズが小さく、特に揺れたり、傾いたりするモバイル端末装置で利用する場合にはその操作が困難であった。本形態では擬似力覚提示デバイス１１１と端末装置１３との相対的位置関係に応じて力覚を決定するため、非特許文献１の方法よりも操作が簡易となり、また画面の小さなモバイル端末装置でも十分に利用できる。 In the fishing game of Non-Patent Document 1, a weight is hung from a pseudo force sense presentation device with a thread, and the weight is brought into contact with a screen with a touch sensor that displays the video content of the fish. The positional relationship of was detected. However, the mobile terminal device has a small screen size, and its operation is difficult particularly when the mobile terminal device is used in a mobile terminal device that shakes or tilts. In this embodiment, since the force sense is determined according to the relative positional relationship between the pseudo force sense presenting device 111 and the terminal device 13, the operation is simpler than the method of Non-Patent Document 1, and even a mobile terminal device with a small screen is used. Fully available.

さらに非特許文献１の魚釣りゲームでは、魚の映像コンテンツと擬似力覚提示デバイスとの画面の法線方向の相対的位置（例えば、相対的な距離や相対的な向き）に応じて提示する力覚を変化させる制御はできなかった。本形態では、擬似力覚提示デバイス１１１と端末装置１３との相対的位置関係に応じて力覚を決定するため、魚の映像コンテンツと擬似力覚提示デバイスとの画面の法線方向の相対的位置に応じて提示する力覚を変化させることができ、映像コンテンツと擬似力覚提示デバイスとの間の三次元的な位置関係に応じて提示する力覚を制御できる。これにより、魚釣りゲームの臨場感を高めることができる。 Further, in the fishing game of Non-Patent Document 1, a force sense presented according to a relative position (for example, a relative distance or a relative direction) in the normal direction of the screen between the video content of the fish and the pseudo force sense presenting device. It was not possible to control the change. In this embodiment, since the force sense is determined according to the relative positional relationship between the pseudo force sense presentation device 111 and the terminal device 13, the relative position in the normal direction of the screen between the video content of the fish and the pseudo force sense presentation device. The force sensation to be presented can be changed in response to the three-dimensional positional relationship between the video content and the pseudo force sensation presentation device. Thereby, the realism of a fishing game can be raised.

さらに非特許文献１の魚釣りゲームでは、継続して同様の振動を与え続けると、触覚受容器の順応を生じ、利用者が体験する力覚の強度が時間とともに減衰していってしまうという擬似力覚提示デバイスに固有の問題もあった。本形態では、端末装置１３と擬似力覚提示デバイス１１１との相対的位置関係および時間に応じてコンテンツの状態が変化し、そのコンテンツの状態に応じて力覚を変化させる。そのため、触覚受容器の順応による力覚の強度の減衰を防止できる。また、仮想的な釣り糸の長さの変化や魚の種類の違いに応じて、力覚を提示するための振動周波数、振動強度、あるいは振動パターンを変化させることで、ゲームで体験できる力覚をより豊かなものにできる。 Furthermore, in the fishing game of Non-Patent Document 1, if the same vibration is continuously applied, the tactile receptor adapts, and the haptic intensity experienced by the user is attenuated over time. There were also problems specific to the sense presentation device. In this embodiment, the content state changes according to the relative positional relationship between the terminal device 13 and the pseudo force sense presentation device 111 and the time, and the force sense changes according to the content state. Therefore, it is possible to prevent attenuation of the strength of the force sense due to adaptation of the tactile receptor. In addition, by changing the vibration frequency, vibration intensity, or vibration pattern for presenting the force sense according to the change in the length of the virtual fishing line and the type of fish, the force sense that can be experienced in the game is more It can be rich.

また、ゲーム映像中の魚の映像コンテンツ１３４ｂとコントローラ１１との三次元的な相対的位置関係に基づいて、釣り糸の張力がその長さの伸びに比例するという自然法則を再現するように提示する力覚を制御することで、画面内の魚に牽引されているかのような錯覚を与えることができる。 Further, based on the three-dimensional relative positional relationship between the fish video content 134b in the game video and the controller 11, the force to present so as to reproduce the natural law that the tension of the fishing line is proportional to the elongation of its length. By controlling the sense of sight, the illusion of being pulled by the fish in the screen can be given.

［第２実施形態］
出力されているコンテンツの状態、および、擬似力覚提示デバイスの向きにより指定された位置と当該コンテンツの出力位置との相対的位置関係に応じて、擬似力覚提示デバイスで提示する力覚を決定してもよい。例えば、第１実施形態では、端末装置のカメラ等の状態認識部でコントローラを撮影等して、コントローラと端末装置との相対的位置を算出していた。しかしながら、コントローラ（力覚提示デバイス）がポインティング機能も備え持ち、コントローラと端末装置との相対的位置の代りにポインティングされた位置と端末装置で出力しているコンテンツの位置との相対位置を用いてもよい。 [Second Embodiment]
The force sense to be presented by the pseudo force sense presentation device is determined according to the state of the output content and the relative positional relationship between the position specified by the orientation of the pseudo force sense presentation device and the output position of the content. May be. For example, in the first embodiment, the relative position between the controller and the terminal device is calculated by photographing the controller with a state recognition unit such as a camera of the terminal device. However, the controller (force sense presentation device) also has a pointing function, and instead of using the relative position between the controller and the terminal device, the relative position between the pointed position and the content output from the terminal device is used. Also good.

この場合、図１等に例示するように、第１実施形態のコントローラ１１がコントローラ２１に置換され、端末装置１３が端末装置２３に置換される。コントローラ２１は、擬似力覚提示デバイス１１１に加えてレーザポインタなどのポインタを有する。端末装置２３は、状態認識部１３１に代えて状態認識部２３１を有することを除き、端末装置１３と同じである。コントローラ２１のポインタ２１２によってポンティングされた位置（少なくとも擬似力覚提示デバイス１１１の向き（端末装置１３に対する相対的な向き）により指定された位置、例えば、擬似力覚提示デバイス１１１の向きと位置（端末装置１３に対する相対的な位置）により指定された位置）は状態認識部１３１に送られる。状態認識部１３１はその位置と映像表示部１３４に表示されている映像コンテンツ（例：魚の口の部分を示す座標位置）との相対的位置関係（例えば、ポンティングされた位置と映像コンテンツの位置の２つの座標値の間の距離）を状態遷移部１３２に送る。その後の処理は第１実施形態と同じである。この場合、擬似力覚提示デバイス１１１の向きにより指定された位置とコンテンツの出力位置との相対的位置関係および時間に応じてコンテンツの状態が変化してもよいし、擬似力覚提示デバイスの向きにより指定された位置とコンテンツの出力位置とに基づく相対距離が大きいほど、映像表示部１３４に向かう牽引力が大きく知覚される力覚が提示されてもよい。 In this case, as illustrated in FIG. 1 and the like, the controller 11 of the first embodiment is replaced with the controller 21, and the terminal device 13 is replaced with the terminal device 23. The controller 21 has a pointer such as a laser pointer in addition to the pseudo force sense presentation device 111. The terminal device 23 is the same as the terminal device 13 except that the terminal device 23 includes a state recognition unit 231 instead of the state recognition unit 131. The position pointed to by the pointer 212 of the controller 21 (at least the position specified by the direction of the pseudo force sense presentation device 111 (the relative direction with respect to the terminal device 13), for example, the direction and position of the pseudo force sense presentation device 111 ( The position specified by the position relative to the terminal device 13 is sent to the state recognition unit 131. The state recognizing unit 131 has a relative positional relationship between the position and the video content displayed on the video display unit 134 (for example, a coordinate position indicating a fish mouth portion) (for example, the position of the ponting and the position of the video content). The distance between the two coordinate values) is sent to the state transition unit 132. The subsequent processing is the same as in the first embodiment. In this case, the content state may change according to the relative positional relationship between the position specified by the orientation of the pseudo force sense presentation device 111 and the output position of the content and the time, or the orientation of the pseudo force sense presentation device 111 As the relative distance based on the position specified by and the output position of the content is larger, a force sense that perceives the traction force toward the video display unit 134 may be presented.

なお、コントローラ２１がレーザポインタ等のポインタを有さずとも良い。たとえば、第１実施形態で説明したようなコントローラ１１の表面にマーカー模様をつけておき、端末装置２３が備え持つカメラ（状態認識部２３１）で得られるコントローラ１１表面のマーカーの見え方に基づき、端末装置２３に対する擬似力覚提示デバイス１１１の相対的な向き（たとえば、端末装置２３の映像表示部１３４の法線方向と擬似力覚提示デバイス１１１が指し示す方向との成す角度）を検知することとしても良い。他の方法としては、擬似力覚提示デバイス１１１と端末装置２３のそれぞれが傾きを検知するセンサを備え持ち、擬似力覚提示デバイス１１１の傾きを検知するセンサの検知結果が端末装置２３に通信で送信され、端末装２３置にて擬似力覚提示デバイス１１１と端末装置２３との相対的な向きを求めることとしても良い。 The controller 21 may not have a pointer such as a laser pointer. For example, a marker pattern is attached to the surface of the controller 11 as described in the first embodiment, and based on how the marker on the surface of the controller 11 is obtained by a camera (state recognition unit 231) provided in the terminal device 23, Detecting the relative orientation of the pseudo force sense presentation device 111 with respect to the terminal device 23 (for example, the angle formed by the normal direction of the video display unit 134 of the terminal device 23 and the direction indicated by the pseudo force sense presentation device 111). Also good. As another method, each of the pseudo force sense presentation device 111 and the terminal device 23 includes a sensor for detecting the tilt, and the detection result of the sensor for detecting the tilt of the pseudo force sense presentation device 111 is communicated to the terminal device 23. It is good also as calculating | requiring the relative direction of the pseudo force sense presentation device 111 and the terminal device 23 by the terminal device 23 being transmitted.

端末装置２３にて擬似力覚提示デバイス１１１と端末装置２３との相対的な向きが求まった際、この「求めた向き」の情報のみに基づき擬似力覚提示デバイス１１１で指定する位置を特定することとしても良いし、「求めた位置」に加えて、擬似力覚提示デバイス１１１と端末装置２３との相対的な位置に基づき擬似力覚提示デバイス１１１で指定する位置を特定することとしても良い。「求めた向き」のみに基づくようにする場合、たとえば、端末装置２３の映像表示部１３４の所定の位置（例：中央部）を指し示すこととする相対的な向きを予め定めておき、その予め定めた向きと求めた向きとの向きの違い（方向の違い、角度の違い）に応じて映像表示部１３４の所定の位置か、方向の違いに応じた方向に、角度の違いに基づく距離だけ離れた位置を擬似力覚提示デバイス１１１で指示することとすれば良い。一方、「求めた向き」に加えて、擬似力覚提示デバイス１１１と端末装置２３との相対的な位置に基づくようにする場合、擬似力覚提示デバイス１１１の位置と向きに基づき、擬似力覚提示デバイス１１１上（デバイス内、デバイスの近傍も含む）の予め定めた位置から、予め定めた向きに直線を伸ばし、その直線が映像表示部１３４と交差する部分を擬似力覚提示デバイス１１１の向きにより指定された位置としても良い。 When the relative orientation between the pseudo force sense presentation device 111 and the terminal device 23 is obtained by the terminal device 23, the position designated by the pseudo force sense presentation device 111 is specified based only on the information of the “obtained orientation”. In addition to the “determined position”, the position specified by the pseudo force sense presentation device 111 may be specified based on the relative position between the pseudo force sense presentation device 111 and the terminal device 23. . When based on only the “determined orientation”, for example, a relative orientation that points to a predetermined position (eg, the central portion) of the video display unit 134 of the terminal device 23 is determined in advance. Only the distance based on the difference in angle between the predetermined direction of the image display unit 134 according to the difference in direction between the determined direction and the determined direction (difference in direction, difference in angle), or in the direction according to the difference in direction What is necessary is just to instruct | indicate the distant position with the pseudo force sense presentation device 111. On the other hand, when based on the relative position between the pseudo force sense presentation device 111 and the terminal device 23 in addition to the “determined direction”, the pseudo force sense is based on the position and orientation of the pseudo force sense presentation device 111. A straight line is extended in a predetermined direction from a predetermined position on the presentation device 111 (including in the device and in the vicinity of the device), and a portion where the straight line intersects the video display unit 134 is a direction of the pseudo force sense presentation device 111. The position specified by may be used.

［第３実施形態］
第１実施形態および第２実施形態の変形例として、擬似力覚提示デバイス１１１から提示される力覚に同期させて、画面である映像表示部１３４を振動させてもよい。この場合、第１実施形態の端末装置１３が端末装置３３に置換される。端末装置３３は、信号生成部１３３に代えて信号生成部３３３を有し、さらに振動部３３７を有することを除き、端末装置１３と同じである。振動部３３７は映像表示部１３４に近接して配置され、入力された制御信号に基づいて映像表示部１３４を振動させる。 [Third Embodiment]
As a modification of the first embodiment and the second embodiment, the video display unit 134 that is a screen may be vibrated in synchronization with the force sense presented from the pseudo force sense presentation device 111. In this case, the terminal device 13 of the first embodiment is replaced with the terminal device 33. The terminal device 33 is the same as the terminal device 13 except that it includes a signal generation unit 333 instead of the signal generation unit 133 and further includes a vibration unit 337. The vibration unit 337 is disposed in the vicinity of the video display unit 134 and vibrates the video display unit 134 based on the input control signal.

信号生成部３３３は、前述のように状態遷移部１３２に定められるコンテンツの状態に応じ、擬似力覚提示デバイス１１１から提示される力覚に同期させて画面である映像表示部１３４を振動させる。これにより、画面に表示された魚の存在感を増すことができる。 The signal generation unit 333 vibrates the video display unit 134 that is a screen in synchronization with the force sense presented from the pseudo force sense presentation device 111 in accordance with the content state determined by the state transition unit 132 as described above. Thereby, the presence of the fish displayed on the screen can be increased.

［その他の変形例等］
本発明は上述の実施の形態に限定されるものではない。例えば、上述の各実施形態では、端末装置の画面に映像コンテンツが表示されていた。しかしながら、端末装置がプロジェクション機能を持ち、端末装置によって投影されたプロジェクタ投影面を画面の代替として用いてもよい。この場合には、キャリブレーションにより、プロジェクタで投影する領域を予め取得しておき、投影する領域とコントローラとの相対距離を「相対的位置関係」として用いてもよい。プロジェクタ投影面を画面の代替とする場合、第２実施形態の「擬似力覚提示デバイスの向きにより指定された位置」として、ポインティングされたプロジェクタ投影面上の位置を用いてもよい。 [Other variations]
The present invention is not limited to the above-described embodiment. For example, in each of the above-described embodiments, the video content is displayed on the screen of the terminal device. However, the terminal device may have a projection function, and a projector projection surface projected by the terminal device may be used as an alternative to the screen. In this case, a region projected by the projector may be acquired in advance by calibration, and the relative distance between the projected region and the controller may be used as the “relative positional relationship”. When the projector projection plane is used as an alternative to the screen, the pointed position on the projector projection plane may be used as the “position specified by the orientation of the pseudo force sense presentation device” in the second embodiment.

上述の各実施形態では、駆動装置とコントローラが別筐体となっているが、駆動装置とコントローラとが１つの筐体に含まれる構造でもよい。 In each of the above-described embodiments, the drive device and the controller are separate housings, but the drive device and the controller may be included in one housing.

上述の実施形態では、端末装置の状態認識部（例えば、カメラ）のみでコントローラ（擬似力覚提示デバイス）と端末装置との相対的位置関係を認識した。しかしながら、コントローラまたはコントローラを握る腕に取り付けた駆動装置に内蔵したセンサ（例えば、加速度センサ）から端末装置とコントローラ（擬似力覚提示デバイス）との相対的位置関係を求めて状態認識部への入力としてもよい。 In the above-described embodiment, the relative positional relationship between the controller (pseudo force sense presentation device) and the terminal device is recognized only by the state recognition unit (for example, camera) of the terminal device. However, the relative positional relationship between the terminal device and the controller (pseudo force sense presentation device) is obtained from a sensor (for example, an acceleration sensor) built in the controller or a drive device attached to the arm holding the controller, and input to the state recognition unit. It is good.

またコンテンツの各状態に応じた振動信号を表す情報（振動の周期、非対称性、力波形の振幅など）を端末装置側と駆動装置とで予め共有しておいてもよい。この場合、端末装置はコンテンツの状態を表す情報のみを駆動装置に送信すればよく、駆動装置はこの情報に基づいて振動信号を得て駆動信号を生成できる。 Information (vibration period, asymmetry, force waveform amplitude, etc.) representing a vibration signal corresponding to each state of the content may be shared in advance between the terminal device side and the driving device. In this case, the terminal device only needs to transmit information representing the state of the content to the drive device, and the drive device can obtain a vibration signal based on this information and generate a drive signal.

上述の実施形態では、コンテンツの状態として「ＦＲＥＥ状態」「ＨＩＴ状態」「ＳＩＮＫ状態」「ＲＩＳＥ状態」「ＣＡＴＣＨ状態」「ＧＯＡＬ状態」の６つの状態を例示した。しかし、これらは一例であって本発明を限定するものではない。また「コンテンツの状態」は、ゲームの進行に応じて時間的に変化する状態に限定されるものではなく、例えば魚の種類や魚の大きさ（稚魚、成魚など）を状態として用いてもよい。逆に、コンテンツの状態を、ゲームの中で時間的に変化する情報のみに限定してもよい。さらに、コンテンツの表示位置（コントローラと端末装置との相対位置ではなく、たとえば、端末装置の映像表示部である画面中の魚の映像コンテンツの表示座標）を「コンテンツの状態」の一例として使ってもよいし、使わなくともよい。 In the above-described embodiment, six states of “FREE state”, “HIT state”, “SINK state”, “RISE state”, “CATCH state”, and “GOAL state” are exemplified as the state of the content. However, these are examples and do not limit the present invention. The “content state” is not limited to a state that changes with time according to the progress of the game. For example, the type of fish or the size of the fish (such as fry, adult fish) may be used as the state. Conversely, the content state may be limited to only information that changes over time in the game. Furthermore, the display position of the content (not the relative position between the controller and the terminal device, for example, the display coordinates of the video content of the fish in the screen that is the video display unit of the terminal device) may be used as an example of the “content state”. Good or not used.

上述の実施形態では魚を釣り上げる魚釣りゲームを例にしたが、本発明は他の用途にも応用可能である。例えば、綱引きゲーム、乗馬の手綱の引き具合を擬似力覚で模擬するゲーム等の他の種類のゲームや、所定の作業を実施するための位置決めスキル獲得アプリケーションでの利用等、他の用途に本発明を適用してもよい。 In the above-described embodiment, a fishing game for fishing a fish is taken as an example, but the present invention can be applied to other uses. For example, it can be used for other purposes such as a tug-of-war game, other types of games such as a game that simulates the pulling condition of riding reins with simulated force sense, and a positioning skill acquisition application for performing a predetermined work. The invention may be applied.

上述の実施形態では、コントローラと端末装置との相対位置を相対的位置関係として抽出する例を示した。しかしながら、コントローラではなくコントローラを保持している手（または指）を検出対象とし、それと端末装置との相対位置を相対的位置関係としてもよい。あるいは、コントローラと手（または指）の組み合わせを検出対象とし、それらと端末装置との相対位置を相対的位置関係としてもよい。 In the above-mentioned embodiment, the example which extracts the relative position of a controller and a terminal device as a relative positional relationship was shown. However, instead of the controller, a hand (or finger) holding the controller may be a detection target, and the relative position between the hand and the terminal device may be a relative positional relationship. Or it is good also considering the combination of a controller and a hand (or finger) as a detection target, and making the relative position of them and a terminal device into a relative positional relationship.

さらに、端末装置やコントローラがジャイロセンサを備え、それによって検出される端末装置の画面に対するコントローラの向き（またはその時間変化）を状態遷移（例：「ＦＲＥＥ状態」「ＨＩＴ状態」「ＣＡＴＣＨ状態」等の状態の変化）のトリガとして用いてもよい。 Further, the terminal device or the controller includes a gyro sensor, and the direction of the controller (or the time change thereof) with respect to the screen of the terminal device detected by the terminal device or the controller is changed (for example, “FREE state”, “HIT state”, “CATCH state”, etc. It may be used as a trigger for a change in the state of

その他、上述の各種の処理は、記載に従って時系列に実行されるのみならず、処理を実行する装置の処理能力あるいは必要に応じて並列的にあるいは個別に実行されてもよい。その他、本発明の趣旨を逸脱しない範囲で適宜変更が可能であることはいうまでもない。 In addition, the various processes described above are not only executed in time series according to the description, but may also be executed in parallel or individually as required by the processing capability of the apparatus that executes the processes. Needless to say, other modifications are possible without departing from the spirit of the present invention.

上述の端末装置をコンピュータによって実現する場合、端末装置が有すべき機能の処理内容はプログラムによって記述される。このプログラムをコンピュータで実行することにより、上記端末装置の処理機能がコンピュータ上で実現される。この処理内容を記述したプログラムは、コンピュータで読み取り可能な記録媒体に記録しておくことができる。コンピュータで読み取り可能な記録媒体の例は、非一時的な（non-transitory）記録媒体である。このような記録媒体の例は、磁気記録装置、光ディスク、光磁気記録媒体、半導体メモリ等である。 When the above-described terminal device is realized by a computer, processing contents of functions that the terminal device should have are described by a program. By executing this program on a computer, the processing functions of the terminal device are realized on the computer. The program describing the processing contents can be recorded on a computer-readable recording medium. An example of a computer-readable recording medium is a non-transitory recording medium. Examples of such a recording medium are a magnetic recording device, an optical disk, a magneto-optical recording medium, a semiconductor memory, and the like.

このプログラムの流通は、例えば、そのプログラムを記録したＤＶＤ、ＣＤ−ＲＯＭ等の可搬型記録媒体を販売、譲渡、貸与等することによって行う。さらに、このプログラムをサーバコンピュータの記憶装置に格納しておき、ネットワークを介して、サーバコンピュータから他のコンピュータにそのプログラムを転送することにより、このプログラムを流通させる構成としてもよい。 This program is distributed, for example, by selling, transferring, or lending a portable recording medium such as a DVD or CD-ROM in which the program is recorded. Furthermore, the program may be distributed by storing the program in a storage device of the server computer and transferring the program from the server computer to another computer via a network.

このようなプログラムを実行するコンピュータは、例えば、まず、可搬型記録媒体に記録されたプログラムもしくはサーバコンピュータから転送されたプログラムを、一旦、自己の記憶装置に格納する。処理の実行時、このコンピュータは、自己の記憶装置に格納されたプログラムを読み取り、読み取ったプログラムに従った処理を実行する。このプログラムの別の実行形態として、コンピュータが可搬型記録媒体から直接プログラムを読み取り、そのプログラムに従った処理を実行することとしてもよく、さらに、このコンピュータにサーバコンピュータからプログラムが転送されるたびに、逐次、受け取ったプログラムに従った処理を実行することとしてもよい。サーバコンピュータから、このコンピュータへのプログラムの転送は行わず、その実行指示と結果取得のみによって処理機能を実現する、いわゆるＡＳＰ（Application Service Provider）型のサービスによって、上述の処理を実行する構成としてもよい。 A computer that executes such a program first stores, for example, a program recorded on a portable recording medium or a program transferred from a server computer in its own storage device. When executing the process, the computer reads a program stored in its own storage device, and executes a process according to the read program. As another execution form of the program, the computer may read the program directly from the portable recording medium and execute processing according to the program, and each time the program is transferred from the server computer to the computer. The processing according to the received program may be executed sequentially. The above-described processing may be executed by a so-called ASP (Application Service Provider) type service that realizes a processing function only by an execution instruction and result acquisition without transferring a program from the server computer to the computer. Good.

上記実施形態では、コンピュータ上で所定のプログラムを実行させて本装置の処理機能が実現されたが、これらの処理機能の少なくとも一部がハードウェアで実現されてもよい。 In the above embodiment, the processing functions of the apparatus are realized by executing a predetermined program on a computer. However, at least a part of these processing functions may be realized by hardware.

１１，２１コントローラ
１２駆動装置
１３，２３，３３端末装置 11, 21 Controller 12 Driving device 13, 23, 33 Terminal device

Claims

擬似力覚提示デバイスで提示する力覚を決定する装置であり、
当該装置で出力しているコンテンツの状態、および、前記擬似力覚提示デバイスと当該装置との相対的位置関係に応じて、前記擬似力覚提示デバイスで提示する力覚を決定する決定部を有する装置。 An apparatus for determining a force sense to be presented by a pseudo force sense presenting device,
A determination unit configured to determine a force sense to be presented by the pseudo force sense presentation device according to a state of content output by the device and a relative positional relationship between the pseudo force sense presentation device and the device; apparatus.

出力されているコンテンツの状態、および、少なくとも擬似力覚提示デバイスの向きにより指定された位置と当該コンテンツの出力位置との相対的位置関係に応じて、前記擬似力覚提示デバイスで提示する力覚を決定する決定部を有する装置。 Force sensation presented by the pseudo force sense presentation device according to the state of the content being output and at least the relative positional relationship between the position specified by the orientation of the pseudo force sense presentation device and the output position of the content An apparatus having a determining unit for determining

請求項１または２の装置であって、
Ａ）当該装置と前記擬似力覚提示デバイスとの相対的位置関係、または、前記擬似力覚提示デバイスの向きにより指定された位置と前記コンテンツの出力位置との相対的位置関係、および
Ｂ）時間
に応じて、前記コンテンツの状態が変化する装置。 The apparatus of claim 1 or 2, comprising:
A) Relative positional relationship between the apparatus and the simulated force sense presentation device, or a relative positional relationship between the position specified by the orientation of the simulated force sense presentation device and the output position of the content, and B) time A device in which the state of the content changes in response to.

請求項１または２の装置であって、
前記コンテンツを出力する出力部を有し、
前記決定部は、
Ａ）当該装置と前記擬似力覚提示デバイスとの相対距離、または、
Ｂ）前記擬似力覚提示デバイスの向きにより指定された位置と前記コンテンツの出力位置とに基づく相対距離
が大きいほど、前記出力部に向かう牽引力が大きく知覚される前記力覚を決定する、装置。 The apparatus of claim 1 or 2, comprising:
An output unit for outputting the content;
The determination unit
A) Relative distance between the device and the pseudo force sense presentation device, or
B) The apparatus which determines the said force sense by which the traction force toward the said output part is perceived so that the relative distance based on the position designated by the direction of the said pseudo force sense presentation device and the output position of the said content is large.

請求項１または２の装置であって、
前記擬似力覚提示デバイスは、振動により前記力覚を提示するデバイスであり、前記コンテンツの状態の変化に応じ、前記振動の周期、非対称性、力波形の振幅の少なくとも何れかを変更する、装置。 The apparatus of claim 1 or 2, comprising:
The pseudo force sense presentation device is a device that presents the force sense by vibration, and changes at least one of the vibration period, asymmetry, and amplitude of a force waveform in accordance with a change in the state of the content. .

請求項１から５の何れかの装置であって、
前記コンテンツを表示する画面と、
前記擬似力覚提示デバイスから提示される力覚に同期させて前記画面を振動させる振動部と、を有する装置。 The apparatus according to any one of claims 1 to 5,
A screen for displaying the content;
A vibration unit that vibrates the screen in synchronization with a force sense presented from the pseudo force sense presentation device.

請求項１から６の何れかの装置であって、
前記相対的位置関係を得るためセンサを有する、装置。 The apparatus according to any one of claims 1 to 6,
An apparatus having a sensor to obtain the relative positional relationship.

擬似力覚提示デバイスで提示する力覚を決定する方法であり、
装置で出力しているコンテンツの状態、および、前記擬似力覚提示デバイスと当該装置との相対的位置関係に応じて、前記擬似力覚提示デバイスで提示する力覚を決定する方法。 A method for determining a force sense to be presented by a pseudo force sense presentation device,
A method for determining a force sense to be presented by the pseudo force sense presentation device according to a state of content output by the device and a relative positional relationship between the pseudo force sense presentation device and the device.

出力されているコンテンツの状態、および、擬似力覚提示デバイスの向きにより指定された位置と当該コンテンツの出力位置との相対的位置関係に応じて、前記擬似力覚提示デバイスで提示する力覚を決定する方法。 Depending on the state of the content being output and the relative positional relationship between the position specified by the orientation of the pseudo force sense presentation device and the output position of the content, the force sense presented by the pseudo force sense presentation device is displayed. How to decide.

請求項１から７の何れかの装置としてコンピュータを機能させるためのプログラム。 The program for functioning a computer as an apparatus in any one of Claim 1-7.