JP2009003799A - Portable equipment and method of providing virtual space in portable equipment - Google Patents

Portable equipment and method of providing virtual space in portable equipment Download PDF

Info

Publication number
JP2009003799A
JP2009003799A JP2007165517A JP2007165517A JP2009003799A JP 2009003799 A JP2009003799 A JP 2009003799A JP 2007165517 A JP2007165517 A JP 2007165517A JP 2007165517 A JP2007165517 A JP 2007165517A JP 2009003799 A JP2009003799 A JP 2009003799A
Authority
JP
Japan
Prior art keywords
display unit
unit
motion sensor
portable device
scrolling
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2007165517A
Other languages
Japanese (ja)
Inventor
Shigeki Takakuwa
茂樹 高桑
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Aplix Corp
Original Assignee
Aplix Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Aplix Corp filed Critical Aplix Corp
Priority to JP2007165517A priority Critical patent/JP2009003799A/en
Publication of JP2009003799A publication Critical patent/JP2009003799A/en
Pending legal-status Critical Current

Links

Images

Landscapes

  • Position Input By Displaying (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

<P>PROBLEM TO BE SOLVED: To provide portable equipment for taking advantage of a virtually constituted user interface. <P>SOLUTION: The portable equipment 100 includes a motion sensor part 101 for detecting displacement and tilt movement, a display part 103 for picture display, a key input part 102 provided with a plurality of keys which are operated by a user to generate a prescribed signal and a control part 104 for controlling the motion sensor part 101, the display part 103 and the key input part 102. When displaying graphics wider than the display part 103, the control part 100 scrolls or zooms a part displayed on the display part 103 out of the graphics in accordance with directions and amounts of displacement and tilt movement detected by the motion sensor part 101 while displaying the part of the graphics in the display part 103 and stops scrolling or zooming in response to operation of a prescribed key of the key input part 102. <P>COPYRIGHT: (C)2009,JPO&INPIT

Description

本発明は、ポータブル機器およびポータブル機器における仮想空間の提供方法に関するものである。   The present invention relates to a portable device and a method for providing a virtual space in the portable device.

コンピュータがユーザに提供するインターフェイスは、キャラクタインターフェイスからグラフィカルインターフェイスへと進化し、現在ではさらにＶＲ（Ｖｉｒｔｕａｌ Ｒｅａｌｉｔｙ）技術を利用したＶＲインターフェイスも各種シミュレータ、設計支援システム、ゲーム、精密制御等の分野で実用化されつつある。   The interface provided by the computer to the user has evolved from a character interface to a graphical interface. At present, VR interfaces using VR (Virtual Reality) technology are also practical in various fields such as simulators, design support systems, games, and precision control. It is becoming.

ＶＲ技術としては、ユーザが頭部装着ディスプレイであるＨＭＤ（Ｈｅａｄ Ｍｏｕｎｔｅｄ Ｄｉｓｐｌａｙ）を利用するタイプと、イリノイ大学で開発されたＣＡＶＥシステムのような没入型のタイプとが広く知られている。このうちＨＭＤを利用するものではＨＭＤを介してユーザの視覚に仮想現実の３Ｄグラフィックスを提供するものであり、ＣＡＶＥシステムのような没入型においては、部屋の正面、左右側面、床面の全面にそれぞれ大型スクリーンが設けられ各スクリーンに３Ｄ映像を表示するものである。いずれの場合においても、ユーザが所定のインターフェイスデバイスを操作することに応じて、ＨＭＤが供するグラフィックスや各スクリーンの表示をリアルタイムに変化させることが行われる。   As VR technology, a type in which a user uses an HMD (Head Mounted Display) which is a head-mounted display, and an immersive type such as a CAVE system developed at the University of Illinois are widely known. Of these, the one using the HMD provides virtual reality 3D graphics to the user's vision via the HMD. In an immersive type such as the CAVE system, the front, left and right sides of the room, and the entire floor surface. Each is provided with a large screen and a 3D image is displayed on each screen. In either case, the graphics provided by the HMD and the display of each screen are changed in real time in response to the user operating a predetermined interface device.

このような仮想現実空間システムでは、コンピュータによってシステム上に仮想的に構築された世界の中に本当に存在しているかのような視覚効果がユーザに供されるものであり、またインターフェイスデバイスを操作することより仮想世界の中を移動したり回転しているかのような効果がユーザに供される。また、現実の視界と仮想現実の上に構築された視界とを重ね合わせてユーザに提供する技術についても研究が進められている。   In such a virtual reality space system, a visual effect is provided to the user as if it really exists in the world virtually constructed on the system by the computer, and the interface device is operated. As a result, the effect is provided to the user as if moving or rotating in the virtual world. Research is also being conducted on a technology that provides a user with an overlap of a real view and a view built on virtual reality.

一方、携帯電話やＰＤＡのようなポータブル機器で楽しむコンテンツも最近では多種多様なものとなっているが、このようなポータブル機器には小型の表示装置が搭載されているにすぎず、ＨＭＤ型や没入型のＶＲ技術をユーザに提供することはできない。また、近時においては、特開２００７−９３４４８に示されるように、３次元的なあらゆる方向の方位、姿勢および加速度を検出するモーションセンサを搭載した携帯電話も提案されているが、このような携帯電話と仮想現実空間システムとを有機的に結合することについての検討はなされていないのが現状である。
特開２００７−９３４４８ On the other hand, contents enjoyed on portable devices such as mobile phones and PDAs have recently become diverse, but such portable devices are only equipped with a small display device. Immersive VR technology cannot be provided to users. Recently, as disclosed in Japanese Patent Application Laid-Open No. 2007-93448, a mobile phone equipped with a motion sensor that detects the orientation, posture, and acceleration in all three-dimensional directions has been proposed. At present, no study has been made on organically connecting a mobile phone and a virtual reality space system.
JP2007-93448

しかし、ユーザに対して仮想空間を提供することによりインターフェイスを構築することにより、単に表示部サイズのメニュー画面をユーザに提供する場合よりも、直感的で理解しやすく操作の簡単なユーザインターフェイスを構築することが可能である。そこで、ポータブル機器の表示装置で一度に表示可能なサイズを超えて、ユーザを取り囲むように仮想空間を構成し、その一部をポータブル機器の表示装置に表示し、必要に応じて画面をスクロールさせることが考えられる。しかし、このように構成された仮想空間の一部をポータブル機器に表示することによりユーザインターフェイスを提供しても、単にカーソルキーを利用して画面をスクロールさせるだけでは臨場感に欠け、仮想空間によりユーザインターフェイスを提供することで得られるメリットは制限されたものとなってしまう。   However, by constructing an interface by providing a virtual space to the user, a user interface that is intuitive, easy to understand, and easy to operate than simply providing the user with a menu screen of the display unit size is constructed. Is possible. Therefore, the virtual space is configured to surround the user beyond the size that can be displayed at one time on the portable device display device, a part of it is displayed on the portable device display device, and the screen is scrolled as necessary. It is possible. However, even if a user interface is provided by displaying a part of the virtual space configured in this way on a portable device, simply scrolling the screen using the cursor keys lacks realism, and depending on the virtual space. The benefits gained by providing a user interface are limited.

上記事情に鑑み、本発明は、仮想空間のように仮想的に構成された画面の一部を表示することによりユーザインターフェイスを提供するポータブル機器において、仮想的に構成されたユーザインターフェイスのメリットを活かすことの可能なポータブル機器を提供することを目的とする。また、本発明は、そのようなポータブル機器で仮想空間を提供する方法を提供する。   In view of the above circumstances, the present invention takes advantage of the virtually configured user interface in a portable device that provides a user interface by displaying a part of a virtually configured screen such as a virtual space. An object of the present invention is to provide a portable device that can handle such a situation. The present invention also provides a method for providing a virtual space with such a portable device.

上記課題を解決するため、本発明の第１の観点は、移動および傾動を検出するモーションセンサ部と、
画面表示を行う表示部と、
ユーザが操作することにより所定の信号を生成する複数のキーを備えたキー入力部と、
前記モーションセンサ部、前記表示部および前記キー入力部を制御する制御部と、を備えたポータブル機器において、
前記制御部は、前記表示部よりもサイズの広いグラフィックスを表示する際に、当該グラフィックスの一部を前記表示部に表示しつつ、前記モーションセンサ部の検出した移動および傾動の方向および量に応じてグラフィックスの前記表示部に表示される部分をスクロールまたはズームするとともに、前記キー入力部の所定キーを操作することによりスクロールまたはズームを停止することを特徴とするポータブル機器を提供する。 In order to solve the above problems, a first aspect of the present invention is a motion sensor unit that detects movement and tilting;
A display unit for displaying a screen;
A key input unit having a plurality of keys for generating a predetermined signal by a user operation;
In a portable device comprising the motion sensor unit, the display unit, and a control unit that controls the key input unit,
When displaying the graphics having a size larger than that of the display unit, the control unit displays a part of the graphics on the display unit, and detects the direction and amount of movement and tilt detected by the motion sensor unit. Accordingly, a portable device is provided that scrolls or zooms a portion of the graphic displayed on the display unit and stops scrolling or zooming by operating a predetermined key of the key input unit.

本発明の第１の観点においては、前記制御部は、前記モーションセンサ部が検出した移動ベクトルを、前記表示部表面の上下方向に相当する水平成分および前後方向に相当する垂直成分に分解し、前記水平成分に応じてスクロールを行い、前記垂直成分に応じてズームを行うことが好適である。この場合には、前記モーションセンサ部が検出した移動ベクトルの前記表示部画面との垂直成分が、前記表示部表面向きであれば前記表示部に表示されている画面をズームアウトし、前記表示部裏面向きであれば前記表示部に表示されている画面をズームインすることができる。また、垂直成分が、前記表示部表面向きであれば前記表示部に表示されている画面をズームインし、前記表示部裏面向きであれば前記表示部に表示されている画面をズームアウトしてもよい。   In the first aspect of the present invention, the control unit decomposes the movement vector detected by the motion sensor unit into a horizontal component corresponding to the vertical direction of the display unit surface and a vertical component corresponding to the front-rear direction, It is preferable that scrolling is performed according to the horizontal component and zooming is performed according to the vertical component. In this case, if the vertical component of the movement vector detected by the motion sensor unit is directed to the surface of the display unit, the screen displayed on the display unit is zoomed out, and the display unit If it is facing the back side, the screen displayed on the display unit can be zoomed in. Further, if the vertical component is directed to the front surface of the display unit, the screen displayed on the display unit is zoomed in. If the vertical component is directed to the rear surface of the display unit, the screen displayed on the display unit may be zoomed out. Good.

また、本発明の第２の観点は、移動および傾動を検出するモーションセンサ部およびキー入力部を備えたポータブル機器の表示部に仮想現実空間をなすグラフィックスの一部を表示するステップと、
前記モーションセンサ部の検出した移動および傾動の方向および量に応じてコンテンツを表示する部分をスクロールまたはズームするステップと、
前記キー入力部を操作することにより、前記モーションセンサ部の検出結果にかかわらずスクロールまたはズームを停止するステップと、を含むことを特徴とするポータブル機器における仮想空間の提供方法を提供する。 A second aspect of the present invention is a step of displaying a part of graphics forming a virtual reality space on a display unit of a portable device provided with a motion sensor unit and a key input unit for detecting movement and tilting;
Scrolling or zooming a portion for displaying content according to the direction and amount of movement and tilt detected by the motion sensor unit;
And a step of stopping scrolling or zooming regardless of a detection result of the motion sensor unit by operating the key input unit.

本発明の第２の観点においては、前記モーションセンサ部が検出した移動ベクトルを、前記表示部表面との水平成分および垂直成分に分解し、前記水平成分に応じてスクロールを行い、前記垂直成分に応じてズームを行うことが好適である。また、この場合には、前記モーションセンサ部が検出した移動ベクトルの前記表示部画面との垂直成分が、前記表示部表面向きであれば前記表示部に表示されている画面をズームアウトし、前記表示部裏面向きであれば前記表示部に表示されている画面をズームインすることができる。   In a second aspect of the present invention, the movement vector detected by the motion sensor unit is decomposed into a horizontal component and a vertical component with respect to the display unit surface, scrolling is performed according to the horizontal component, and the vertical component is converted into the vertical component. It is preferable to perform zooming accordingly. In this case, if the vertical component of the movement vector detected by the motion sensor unit is directed to the display unit surface, the screen displayed on the display unit is zoomed out, The screen displayed on the display unit can be zoomed in if the display unit faces the rear side.

本発明によれば、グラフィックスの一部を表示部に表示しつつ、モーションセンサ部の検出した移動および傾動の方向および量に応じてグラフィックスの表示部に表示される部分をスクロールまたはズームするとともに、キー入力部の所定キーを操作することによりスクロールまたはズームを停止するポータブル機器および仮想空間の提供方法が提供される。このようなポータブル機器では、ユーザがポータブル機器を動かしたり傾けたりする動作によって画面をスクロールまたはズームするので、ユーザが現実空間でルーペを用いて事物を観察する動作と同等の動作により仮想空間技術等を利用して構築されたユーザインターフェイスを利用することができる。   According to the present invention, while displaying a part of graphics on the display unit, the part displayed on the graphics display unit is scrolled or zoomed according to the direction and amount of movement and tilt detected by the motion sensor unit. In addition, a portable device that stops scrolling or zooming by operating a predetermined key of a key input unit and a method for providing a virtual space are provided. In such a portable device, the user scrolls or zooms the screen by moving or tilting the portable device, so that the user can perform virtual space technology or the like by an operation equivalent to observing things using a loupe in real space. You can use a user interface built using.

また、このような構成においてポータブル機器を動かしたり傾けたりすることにより所望の部位を表示させると、ポータブル機器の表示部が視認しがたい位置や向きになってしまう場合があり、そのような状態で表示部の位置や向きを直すためにポータブル機器を動かすと、その動きをモーションセンサ部が検出してしまい、表示部の表示している部位がずれてしまうことが考えられる。このため、本発明では所定キーを操作することによりスクロールまたはズームを停止する構成とし、そのような状態では所定キーを操作してからポータブル機器を動かしたり傾けたりすることにより、表示部に表示させた画面はそのままに表示部の位置や向きを直すことが可能である。   In addition, when a desired part is displayed by moving or tilting the portable device in such a configuration, the display unit of the portable device may be in a position or orientation that is difficult to see. If the portable device is moved in order to correct the position and orientation of the display unit, the motion sensor unit detects the movement, and the display part of the display unit may shift. For this reason, the present invention is configured to stop scrolling or zooming by operating a predetermined key, and in such a state, the portable device is moved or tilted after operating the predetermined key to display on the display unit. The position and orientation of the display unit can be corrected without changing the screen.

以下、本発明を実施するための最良の形態について説明する。図１は、本発明の実施形態にかかるポータブル機器としての通信端末１００の構成を示す機能ブロック図である。図１に示すように、この通信端末１００は、主として、モーションセンサ部１０１と、キー入力部１０２と、表示部１０３と、制御部１０４と、記憶部１０５と、通信部１０７とから構成されている。また、図２は通信端末１００の外観を示す図である。図２に示すように、この通信端末１００は、内側に表示部１０３が設けられた第１の筐体１２０と、内側にキー入力部１０２の要部が設けられた第２の筐体１２１とが図２（ｂ）に示すように二つ折り可能なクラムシェル構造になっている。また第２の筐体１２１には、側部にキー入力部１０２の一つであるロックボタンＡが設けられている。さらに、図３は通信端末１００が移動体通信網２００に接続してサーバ２０２と通信する態様を示す図である。図３に示すように、通信端末１００は基地局２０１を介して移動体通信網２００と無線接続し、移動体通信網２００に接続されたサーバ２０２と互いに通信を行うことが可能である。   Hereinafter, the best mode for carrying out the present invention will be described. FIG. 1 is a functional block diagram showing a configuration of a communication terminal 100 as a portable device according to an embodiment of the present invention. As shown in FIG. 1, the communication terminal 100 mainly includes a motion sensor unit 101, a key input unit 102, a display unit 103, a control unit 104, a storage unit 105, and a communication unit 107. Yes. FIG. 2 is a view showing the appearance of the communication terminal 100. As shown in FIG. 2, the communication terminal 100 includes a first case 120 having a display unit 103 provided on the inside, and a second case 121 having a main part of the key input unit 102 provided on the inside. 2 has a clamshell structure that can be folded in half as shown in FIG. The second casing 121 is provided with a lock button A that is one of the key input units 102 on the side. Further, FIG. 3 is a diagram showing a mode in which the communication terminal 100 is connected to the mobile communication network 200 and communicates with the server 202. As shown in FIG. 3, the communication terminal 100 can wirelessly connect to the mobile communication network 200 via the base station 201 and can communicate with a server 202 connected to the mobile communication network 200.

モーションセンサ部１０１は、携帯端末１００の位置および／または姿勢角度の変動を検出することにより、ユーザが携帯端末１００を動かしたり傾けたりする動作を検出し、それに相当する信号を制御部１０４に出力するものである。このようなモーションセンサ部１０１は、地磁気センサに加速度センサを組み合わせて構成したものであっても良いし、加速度センサでも良く、また傾きセンサを利用することも可能である。また、その変動を検出する方向は、３軸であっても２軸であってもよい。３軸方向の地磁気センサと３軸方向の加速度センサとを組み合わせた６軸センサ、また、３軸方向の地磁気センサと２軸方向の加速度センサとを組み合わせた５軸センサは、いずれもモーションセンサ部１０１として利用可能である。ただし、モーションセンサ部１０１の種類によっては、検出可能な動作が限定されることもあるので、本実施形態における後述の場合は、モーションセンサ部１０１で利用するセンサの特性に応じて変更する必要がある。以下では、モーションセンサ部１０１に公知の６軸センサを使用することを前提に説明を行う。   The motion sensor unit 101 detects a movement of the mobile terminal 100 or tilts by detecting a change in the position and / or posture angle of the mobile terminal 100, and outputs a corresponding signal to the control unit 104. To do. Such a motion sensor unit 101 may be configured by combining an acceleration sensor with a geomagnetic sensor, may be an acceleration sensor, or may use an inclination sensor. Further, the direction in which the fluctuation is detected may be three axes or two axes. A 6-axis sensor combining a triaxial geomagnetic sensor and a triaxial acceleration sensor, and a 5-axis sensor combining a triaxial geomagnetic sensor and a biaxial acceleration sensor are both motion sensor units. 101 can be used. However, depending on the type of the motion sensor unit 101, the detectable operation may be limited, so in the case described later in this embodiment, it is necessary to change according to the characteristics of the sensor used in the motion sensor unit 101. is there. The following description is based on the assumption that a known 6-axis sensor is used for the motion sensor unit 101.

キー入力部１０２は、前述のように通信端末１００の第１の筐体１２０に設けられたキーパッド、ならびにその他ボタン等の入力装置であり、ユーザが操作することにより各キーまたはボタンに応じた信号であるキーイベントが制御部１０４に通知され、種々の操作ないしは制御に利用される。また、本実施形態の通信端末１００においては、第２の筐体１２１の側部にロックボタンＡが設けられており、キー入力部１０２はこのようなロックボタンＡを含んだものである。   The key input unit 102 is an input device such as a keypad provided in the first casing 120 of the communication terminal 100 and other buttons as described above, and corresponds to each key or button when operated by the user. A key event as a signal is notified to the control unit 104 and used for various operations or control. Moreover, in the communication terminal 100 of this embodiment, the lock button A is provided in the side part of the 2nd housing | casing 121, and the key input part 102 contains such a lock button A. FIG.

表示部１０３は、液晶表示装置または有機液晶表示装置であって、通信端末１００の動作状態、通信端末１００を操作するためのユーザインターフェイス等を制御部１０４の制御下で表示するものである。   The display unit 103 is a liquid crystal display device or an organic liquid crystal display device, and displays the operating state of the communication terminal 100, a user interface for operating the communication terminal 100, and the like under the control of the control unit 104.

制御部１０４は、不図示のＣＰＵ上で所定のプログラムを実行することにより仮想的に構成される機能ブロックであって、通信端末１００のモーションセンサ部１０１、キー入力部１０２、表示部１０３、制御部１０４、記憶部１０５および通信部１０７といった各機能ブロックとの間でデータおよび制御信号をやり取りすることにより、通信端末１００の各種機能を実現するものである。   The control unit 104 is a functional block that is virtually configured by executing a predetermined program on a CPU (not shown). The control unit 104 includes a motion sensor unit 101, a key input unit 102, a display unit 103, and a control unit of the communication terminal 100. Various functions of the communication terminal 100 are realized by exchanging data and control signals with the functional blocks such as the unit 104, the storage unit 105, and the communication unit 107.

記憶部１０５は、所定の情報を制御部１０４の制御下で記憶し、また制御部１０４に記憶している情報を提供するための読み書き可能なメモリである。記憶部１０５は、コンテンツ１０６を格納しており、このコンテンツ１０６を制御部１０４で読み出して実行することによりＶＲ技術を利用したユーザインターフェイスが表示部１０３に表示される。コンテンツ１０６が提供するユーザインターフェイスについては後に詳述する。   The storage unit 105 is a readable / writable memory for storing predetermined information under the control of the control unit 104 and providing the information stored in the control unit 104. The storage unit 105 stores content 106, and the content unit 106 is read and executed by the control unit 104, whereby a user interface using the VR technology is displayed on the display unit 103. The user interface provided by the content 106 will be described in detail later.

通信部１０７は、制御部１０４の制御下で動作することにより、基地局２０１を介して移動体通信網２００と無線接続して別のノードとの通信を行うものである。ここでの通信としては、例えば、他の通信端末と通信接続して行う回線交換型通信、他の通信端末またはサーバと接続して行うパケット交換型通信等が挙げられる。前述したように、記憶部１０５にはコンテンツ１０６が記憶されているが、コンテンツ１０６は例えば移動体通信網２００に接続されたサーバ２０２から通信部１０７を介してダウンロードすることにより取得されたものであっても構わない。   The communication unit 107 operates under the control of the control unit 104 to wirelessly connect to the mobile communication network 200 via the base station 201 and perform communication with another node. Examples of the communication here include circuit-switched communication performed by communication connection with another communication terminal, packet-switched communication performed by connection with another communication terminal or server, and the like. As described above, the content 106 is stored in the storage unit 105. The content 106 is obtained by downloading from the server 202 connected to the mobile communication network 200 via the communication unit 107, for example. It does not matter.

以下、コンテンツ１０６が提供するユーザインターフェイスについて一例を示して説明する。図４および図５は、コンテンツ１０６が提供するユーザインターフェイスの概略を示した説明図である。このコンテンツ１０６は、図４に示すようにユーザを中心とするドーム状の星座図を仮想的に構成し、その一部を表示部１０３に表示してユーザに提供するものである。図４には、説明のために、仮想的に構成したドーム状の星座図Ｖをユーザと重ね合わせた状態を示すが、コンテンツ１０６はこのようなデータを常時保持している必要はなく、星座図Ｖを作成するためのデータから表示部１０３に表示する画像を動的に描画するものであってもよい。また、図５に示すように、表示部１０３に表示した画面はズームインおよびズームアウトすることが可能となっている。   Hereinafter, an example of the user interface provided by the content 106 will be described. 4 and 5 are explanatory diagrams showing an outline of a user interface provided by the content 106. FIG. As shown in FIG. 4, the content 106 virtually constitutes a dome-shaped constellation centered on the user, and a part of the content 106 is displayed on the display unit 103 and provided to the user. For the sake of explanation, FIG. 4 shows a state in which a virtually constructed dome-shaped constellation map V is superimposed on the user, but the content 106 does not need to always hold such data, An image to be displayed on the display unit 103 may be dynamically drawn from data for creating FIG. As shown in FIG. 5, the screen displayed on the display unit 103 can be zoomed in and out.

なお、図４に示した例では、コンテンツ１０６が星座図を提供するものであるため３Dグラフィックス技術等は必要ではないが、３Ｄ技術によって仮想的に構成された建造物、自然構造物等を提供してユーザインターフェイスとすることも可能である。また、単に静止画を表示するだけではなく、動画を組み合わせたり３Ｄオブジェクトによるアニメーションを利用しても良いし、ユーザの入力した初期条件やリアルタイムな入力に応じてシミュレーション計算を行い、その結果を仮想現実技術によって表示するようにしても構わない。   In the example shown in FIG. 4, since the content 106 provides a constellation map, 3D graphics technology or the like is not necessary. However, a building, a natural structure, or the like that is virtually configured by the 3D technology is used. It is also possible to provide a user interface. In addition to simply displaying still images, animations by combining moving images or 3D objects may be used, and simulation calculation is performed according to initial conditions input by the user or real-time input, and the results are virtually You may make it display by real technology.

次に、ユーザが本実施形態にかかる通信端末１００でコンテンツ１０６を表示して、所望の部位を表示するとともに、通信端末１００を動かす動作によって画面をスクロールおよびズームする動作について、図６のフローチャートを参照しながら説明する。   Next, the operation of scrolling and zooming the screen by the operation of moving the communication terminal 100 while the user displays the content 106 on the communication terminal 100 according to the present embodiment and displays the desired part is shown in the flowchart of FIG. The description will be given with reference.

この動作では、まずユーザが通信端末１００のキー入力部１０２を操作すること等によりコンテンツ１０６の表示を開始し（ＳＴ１０１）、コンテンツ１０６の初期画面を表示部１０３に表示する（ＳＴ１０２）。図４に示したように、コンテンツ１０６は表示部１０３よりも広い仮想的な画面Ｖを有しており、ＳＴ１０２では画面Ｖのうちコンテンツ１０６起動時に表示するべき部分を表示部１０３に表示する。   In this operation, first, the user starts displaying the content 106 by operating the key input unit 102 of the communication terminal 100 (ST101), and displays the initial screen of the content 106 on the display unit 103 (ST102). As shown in FIG. 4, the content 106 has a virtual screen V wider than the display unit 103. In ST102, the portion of the screen V to be displayed when the content 106 is activated is displayed on the display unit 103.

次に、制御部１０４がモーションセンサ部１０１を起動し（ＳＴ１０３）、ユーザが通信端末１００を移動させたり傾けたりした動作の方向と量に応じた信号を、モーションセンサ部１０１が出力する状態とする。そのような状態で、ロックボタンＡの操作によりスクロールがロックされているかが判断され（ＳＴ１０４）、このＳＴ１０４においてロックされていないと判断された場合には、モーションセンサ部１０１が通信端末１００の移動を検出したかがモーションセンサ部１０１の出力した信号に応じて判断される（ＳＴ１０５）。ここでの判断は、例えばモーションセンサ部１０１の出力した信号が所定のしきい値を超えているかに応じて行うことができる。そして、移動を検出したと判断した場合には、検出された移動の方向および量に応じて表示部１０３の画面をスクロールおよびズームする処理が行われる（ＳＴ１０６）。その後、コンテンツ１０６の終了が指示されているかの判断が行われ（ＳＴ１０９）、指示されている場合にはコンテンツの表示を終了（ＳＴ１１０）して、一連の動作を終了する。   Next, the control unit 104 activates the motion sensor unit 101 (ST103), and the motion sensor unit 101 outputs a signal corresponding to the direction and amount of the operation in which the user moves or tilts the communication terminal 100. To do. In such a state, it is determined whether the scroll is locked by operating the lock button A (ST104). If it is determined that the lock is not locked in ST104, the motion sensor unit 101 moves the communication terminal 100. Is detected according to the signal output from the motion sensor unit 101 (ST105). This determination can be made, for example, depending on whether the signal output from the motion sensor unit 101 exceeds a predetermined threshold value. If it is determined that movement has been detected, a process of scrolling and zooming the screen of display unit 103 is performed according to the detected direction and amount of movement (ST106). Thereafter, it is determined whether or not the end of the content 106 is instructed (ST109). If instructed, the display of the content is ended (ST110), and the series of operations is ended.

一方、ＳＴ１０５で移動を検出したと判断されなかった場合には、次にモーションセンサ部１０１が通信端末１００の傾動を検出したかが判断される（ＳＴ１０７）。ここでの判断についても、ＳＴ１０５と同様に出力信号がしきい値を超えているかに応じて行うことができ、傾動を検出したと判断した場合には、傾動の方向および量に応じて表示部１０３の画面をスクロールする処理が行われる（ＳＴ１０８）。その後、コンテンツ１０６の終了が指示されているかの判断が行われ（ＳＴ１０９）、指示されている場合には前記と同じくコンテンツの表示を終了（ＳＴ１１０）して、一連の動作を終了する。   On the other hand, if it is not determined that the movement is detected in ST105, it is next determined whether the motion sensor unit 101 detects the tilt of the communication terminal 100 (ST107). The determination here can also be made according to whether the output signal exceeds the threshold value as in ST105, and when it is determined that tilting has been detected, the display unit is displayed according to the direction and amount of tilting. A process of scrolling the screen 103 is performed (ST108). Thereafter, it is determined whether or not the end of the content 106 is instructed (ST109). If instructed, the display of the content is ended (ST110) as described above, and the series of operations is ended.

一方、ＳＴ１０９においてコンテンツ１０６の終了が指示されていると判断されなかった場合、および、ＳＴ１０５で通信端末１００の移動が検出されず、さらにＳＴ１０７で通信端末１００の傾動が検出されなかった場合には、ＳＴ１０４に戻って、同様の処理が繰り返される。   On the other hand, if it is not determined in ST109 that the termination of content 106 is instructed, or if movement of communication terminal 100 is not detected in ST105, and further, tilting of communication terminal 100 is not detected in ST107. Returning to ST104, the same processing is repeated.

図７は図６に示したＳＴ１０６における処理の詳細を例示したフローチャートである。図６に示したように、この処理はモーションセンサ部１０１が通信端末１００の移動を検出した場合に、検出された移動の方向および量に応じて表示部の画面をスクロールおよびズームするものである。ここでは、まず２つのフラグｆｌａｇ（１）およびｆｌａｇ（２）を０に初期化する（ＳＴ２０１）。次に、モーションセンサ部１０１が検出した移動の方向ベクトルを表示部との水平成分（ｘ，ｙ）および垂直成分ｚに分解する（ＳＴ２０２）。   FIG. 7 is a flowchart illustrating details of the process in ST106 shown in FIG. As shown in FIG. 6, when the motion sensor unit 101 detects the movement of the communication terminal 100, this process scrolls and zooms the screen of the display unit according to the detected direction and amount of movement. . Here, first, two flags flag (1) and flag (2) are initialized to 0 (ST201). Next, the movement direction vector detected by the motion sensor unit 101 is decomposed into a horizontal component (x, y) and a vertical component z with respect to the display unit (ST202).

次に、ｆｌａｇ（１）が１にセットされているかが判断される（ＳＴ２０３）。ここでｆｌａｇ（１）が１にセットされていると判断されなかった場合には、さらに表示部１０３に表示された画面が水平成分（ｘ，ｙ）方向にスクロール可能かが判断され（ＳＴ２０４）、スクロール可能であれば、水平成分方向（ｘ，ｙ）方向に所定の単位量だけスクロールが行われる（ＳＴ２０５）。その後、スクロールした量が水平成分（ｘ，ｙ）の大きさに達したかが判断され（ＳＴ２０６）、達したと判断されなかった場合にはＳＴ２０８以降の動作に進む。一方、ＳＴ２０４でスクロール可能と判断されなかった場合、および、ＳＴ２０６で水平成分（ｘ，ｙ）の大きさに達したと判断された場合には、ｆｌａｇ（１）＝１にセットされる。すなわち、ｆｌａｇ（１）は表示部１０３に表示している画面をスクロールする必要がない場合に１にセットされる。   Next, it is determined whether flag (1) is set to 1 (ST203). If it is not determined that flag (1) is set to 1, it is further determined whether the screen displayed on display unit 103 can be scrolled in the horizontal component (x, y) direction (ST204). If scrolling is possible, scrolling is performed by a predetermined unit amount in the horizontal component direction (x, y) direction (ST205). Thereafter, it is determined whether the amount of scrolling has reached the size of the horizontal component (x, y) (ST206). If it is not determined that the amount has reached, the operation proceeds to ST208 and subsequent steps. On the other hand, if it is not determined in ST204 that scrolling is possible, and if it is determined in ST206 that the horizontal component (x, y) has been reached, flag (1) = 1 is set. That is, flag (1) is set to 1 when there is no need to scroll the screen displayed on the display unit 103.

一方、ＳＴ２０３でｆｌａｇ（１）が１にセットされていると判断された場合、ＳＴ２０６でスクロール量が水平成分（ｘ，ｙ）の大きさに達していないと判断された場合、または、ＳＴ２０７でｆｌａｇ（１）を１にセットする動作を行った後には、ＳＴ２０８においてｆｌａｇ（２）が１にセットされているかが判断される。ここでｆｌａｇ（２）が１にセットされていると判断されなかった場合には、さらに表示部１０３に表示された画面が垂直成分ｚに応じてズーム（本実施形態においては、ｚ成分が表示部１０３上向きであればズームアウト、下向きであればズームイン）可能であるかが判断され（ＳＴ２０９）、ズーム可能であれば、垂直成分ｚに応じて単位量だけ表示画面をズームインまたはズームアウトする（ＳＴ２１０）。その後、スクロールした量がｚ成分の大きさに対応した量に達したかが判断され（ＳＴ２１１）、達したと判断された場合にはｆｌａｇ（２）が１にセットされる（ＳＴ２１２）。また、ＳＴ２０９で垂直成分ｚに応じてズーム可能ではないと判断された場合も同様にｆｌａｇ（２）が１にセットされる。すなわち、ｆｌａｇ（２）は表示部１０３に表示している画面をズームする必要がない場合に１にセットされる。   On the other hand, if it is determined in ST203 that flag (1) is set to 1, if it is determined in ST206 that the scroll amount has not reached the size of the horizontal component (x, y), or in ST207. After performing the operation of setting flag (1) to 1, it is determined in ST208 whether flag (2) is set to 1. If it is not determined that flag (2) is set to 1, the screen displayed on the display unit 103 is further zoomed according to the vertical component z (in this embodiment, the z component is displayed). It is determined whether zoom-out is possible if unit 103 is upward or zoom-in if it is downward (ST209). If zoom is possible, the display screen is zoomed in or out by a unit amount according to vertical component z ( ST210). Thereafter, it is determined whether the scrolled amount has reached an amount corresponding to the magnitude of the z component (ST211). If it is determined that the amount has reached, flag (2) is set to 1 (ST212). Similarly, flag (2) is set to 1 when it is determined in ST209 that zooming is not possible according to the vertical component z. That is, flag (2) is set to 1 when it is not necessary to zoom the screen displayed on the display unit 103.

そして、ＳＴ２０８においてｆｌａｇ（２）が１にセットされていると判断された場合、および、ＳＴ２１２においてｆｌａｇ（２）を１にセットした後には、ＳＴ２１３においてｆｌａｇ（１）＊ｆｌａｇ（２）＝１であるかが判断され、１である場合にはｆｌａｇ（１）＝ｆｌａｇ（２）＝１なのでスクロールする必要もズームする必要もないものであるから、一連の処理は終了する。一方、ＳＴ２１１でズーム量が垂直成分ｚに相当する大きさに達していないと判断された場合、および、ＳＴ２１２でｆｌａｇ（１）＊ｆｌａｇ（２）＝１であると判断されなかった場合には、ＳＴ２０３に戻って処理が続行される。   When it is determined in ST208 that flag (2) is set to 1, and after flag (2) is set to 1 in ST212, flag (1) * flag (2) = 1 in ST213. If it is 1, flag (1) = flag (2) = 1, so there is no need to scroll or zoom, and the series of processing ends. On the other hand, if it is determined in ST211 that the zoom amount has not reached the size corresponding to the vertical component z, and if it is not determined in ST212 that flag (1) * flag (2) = 1. , Returning to ST203, the processing is continued.

図８は図６に示したＳＴ１０７における処理の詳細を例示したフローチャートである。図６に示したように、この処理はモーションセンサ部１０１が通信端末１００の傾動を検出した場合に、検出された傾動の方向および量に応じて表示部１０３の画面をスクロールするものである。ここでは、まず検出した傾動の方向ベクトルから、画面をスクロールさせるべき方向ａおよび量ｂを算出する（ＳＴ３０１）。このような算出は、例えばモーションセンサ部１０１が通信端末１００の傾動に応じて出力する信号パターンから方向ａを求め、その強度に応じて量ｂを求めることにより行うことができる。次に、表示部１０３に表示されている画面を方向ａにスクロール可能であるかが判断され（ＳＴ３０２）、スクロール可能であると判断された場合には方向ａに所定の単位量だけスクロールが行われる（ＳＴ３０３）。その後、スクロール量がｂに達したかが判断され（ＳＴ３０４）、達していない場合にはＳＴ３０２に戻って同様の処理を繰り返す。一方、ＳＴ３０２でスクロール可能であると判断されなかった場合、および、ＳＴ３０４でスクロール量がｂに達していると判断された場合には、一連の処理を終了する。   FIG. 8 is a flowchart illustrating details of the process in ST107 shown in FIG. As shown in FIG. 6, this process is to scroll the screen of the display unit 103 according to the detected direction and amount of tilting when the motion sensor unit 101 detects tilting of the communication terminal 100. Here, the direction a and the amount b in which the screen is to be scrolled are first calculated from the detected tilt direction vector (ST301). Such calculation can be performed, for example, by obtaining the direction a from the signal pattern output by the motion sensor unit 101 according to the tilt of the communication terminal 100 and obtaining the amount b according to the intensity. Next, it is determined whether or not the screen displayed on the display unit 103 can be scrolled in the direction a (ST302). If it is determined that the screen can be scrolled, scrolling is performed in the direction a by a predetermined unit amount. (ST303). Thereafter, it is determined whether the scroll amount has reached b (ST304). If not, the process returns to ST302 and the same processing is repeated. On the other hand, if it is not determined in ST302 that scrolling is possible, and if it is determined in ST304 that the scroll amount has reached b, a series of processing ends.

以上のような動作と処理によれば、図４に示したようにドーム状の星座図Ｖを表示可能なコンテンツ１０６を制御部１０４で実行中に、ユーザが通信端末１００を水平方向に保持して表示部１０３に星座図ＶのＧ1に相当する領域が表示されている状態から、ユーザが通信端末１００を上方に掲げるように動かすことにより、通信端末１００のモーションセンサ部１０１がこのような通信端末１００の移動を検出し、図６ないし図８に示した動作および処理によって表示部１０３に星座図ＶのＧ２に相当する領域が表示されるように画面がスクロールおよびズームされる。また、通信端末１００を上方に掲げた状態でロックボタンＡを操作すればスクロールおよびズームの動作は行わないので、星座図Ｖの所望領域が表示部１０３に表示された状態でロックボタンＡを操作することにより、所望領域を表示部１０３に表示したまま通信端末１００を元の位置に戻して楽な姿勢で星座図Ｖを閲覧することができる。さらに、図５に示したように、通信端末１００を手前に保持して表示部１０３に画面Ｇ３が表示されている状態で、通信端末１００を表示部１０３と垂直なｚ方向（表示部１０３裏側向き）へ移動させることにより、モーションセンサ部１０１がこのような通信端末１００の移動を検出し、図６ないし図８に示した動作および処理によって表示部１０３に星座図Ｖを拡大した画面Ｇ４を表示するように画面がズームインされる。   According to the operations and processes described above, the user holds the communication terminal 100 in the horizontal direction while the control unit 104 is executing the content 106 capable of displaying the dome-shaped constellation V as shown in FIG. When the user moves the communication terminal 100 upward from the state where the region corresponding to G1 of the constellation V is displayed on the display unit 103, the motion sensor unit 101 of the communication terminal 100 performs such communication. The movement of the terminal 100 is detected, and the screen is scrolled and zoomed so that an area corresponding to G2 of the constellation map V is displayed on the display unit 103 by the operations and processes shown in FIGS. In addition, if the lock button A is operated with the communication terminal 100 held up, the scroll and zoom operations are not performed. Therefore, the lock button A is operated with the desired area of the constellation V displayed on the display unit 103. Thus, the constellation map V can be viewed in a comfortable posture by returning the communication terminal 100 to the original position while displaying the desired area on the display unit 103. Furthermore, as shown in FIG. 5, the communication terminal 100 is held in front and the screen G <b> 3 is displayed on the display unit 103. ), The motion sensor unit 101 detects such a movement of the communication terminal 100, and displays the screen G4 in which the constellation map V is enlarged on the display unit 103 by the operations and processes shown in FIGS. The screen is zoomed in to show.

このように本発明によれば、仮想的に構成されたユーザインターフェイスの一部を表示部１０３に表示しつつ、ユーザが通信端末１００を移動させたり傾動させる動作をモーションセンサ部１０１により検出し、その方向および量に応じて表示部１０３の表示をスクロールおよびズームするので、通信端末１００を移動させたり傾動させるという直感的かつ臨場感ある動作によってユーザインターフェイスの操作を行うことができる。また、スクロールまたはズームのために表示部１０３が見づらい位置となった場合には、ロックボタンＡでスクロールおよびズームを止めた状態として、表示部１０３が見易い位置となるように通信端末１００を移動または傾動させることができる。さらに、通信端末１００を移動または傾動させることのできる量には限界があるが、移動または傾動ではスクロール量／ズーム量が足りない場合には一旦ロックボタンＡによりスクロールおよびズームを停止した状態で通信端末１００を元の位置・角度に戻し、その後スクロールおよびズーム可能な状態としてから通信端末１００を再び移動または傾動させることにより、スクロールおよびズームを継続して行えばよい。   As described above, according to the present invention, the motion sensor unit 101 detects an operation of moving or tilting the communication terminal 100 while displaying a part of the virtually configured user interface on the display unit 103, Since the display on the display unit 103 is scrolled and zoomed in accordance with the direction and amount, the user interface can be operated by an intuitive and realistic action of moving or tilting the communication terminal 100. When the display unit 103 is difficult to see due to scrolling or zooming, the communication terminal 100 is moved or moved so that the display unit 103 is easy to see with the lock button A stopped scrolling and zooming. Can be tilted. Furthermore, there is a limit to the amount that the communication terminal 100 can be moved or tilted. However, if the scroll amount / zoom amount is insufficient for the movement or tilt, the communication is performed with the lock button A temporarily stopping scrolling and zooming. The scrolling and zooming may be continued by returning the terminal 100 to the original position and angle, and then moving or tilting the communication terminal 100 again after making the scrolling and zooming possible.

以上、本発明の実施の形態について説明したが、本発明はこれに限定されることなく、その趣旨を逸脱しない範囲で種々の改良・変更が可能であることは勿論である。
例えば、上記実施形態においては、コンテンツ１０６がドーム状の仮想空間に星座図Vをなし、その一部が表示部１０３に表示される場合を示したが、仮想空間はドーム状であることに限定されず、平面状、球状であってもよく、空間内に３Dオブジェクトを配した構成とすることも可能である。また、上記実施形態においては、星座図Ｖをスクロールまたはズームしながら表示するのみとしたが、仮想空間をクリックまたはクリックに相当する動作等を受け付けてインタラクティブな動作を行うユーザインターフェイスとしてもよい。 The embodiment of the present invention has been described above, but the present invention is not limited to this, and it is needless to say that various improvements and modifications can be made without departing from the spirit of the present invention.
For example, in the above-described embodiment, the content 106 has a constellation map V in a dome-like virtual space and a part of the content 106 is displayed on the display unit 103. However, the virtual space is limited to a dome shape. Alternatively, it may be planar or spherical, and a 3D object may be arranged in the space. In the above embodiment, the constellation map V is only displayed while scrolling or zooming. However, it may be a user interface that receives an operation corresponding to clicking or clicking on the virtual space and performs an interactive operation.

さらに、図６ないし図８に示したフローチャートは、上記実施形態における動作および処理の一例であり、本発明の動作はこれに限られるものではない。例えば、図６に示したフローチャートでは、スクロールおよびズームのロックを解除しなければコンテンツを終了できない形になっているが、ロックを解除することなくコンテンツを終了可能な動作としても構わない。また、同じく移動によるスクロールが傾動によるスクロールよりも優先する形となっているが、これに限定されるものでもない。さらに、割り込み処理を利用できる場合には割り込み処理によって動作を進めるようにしてもよいし、複数のタスクまたはスレッドを並列して実行する動作により本発明を実現することも可能である。   Furthermore, the flowcharts shown in FIGS. 6 to 8 are examples of the operations and processes in the above-described embodiment, and the operations of the present invention are not limited thereto. For example, in the flowchart shown in FIG. 6, the content cannot be ended unless the lock of scrolling and zooming is released, but the operation may be able to end the content without releasing the lock. Similarly, scrolling by movement has priority over scrolling by tilting, but is not limited to this. Further, when interrupt processing can be used, the operation may be advanced by interrupt processing, or the present invention can be realized by an operation of executing a plurality of tasks or threads in parallel.

さらに、上記では携帯電話のような通信端末１００に本発明を適用した場合を示したが、これに限られる物ではなく、本発明はユーザが手に持った状態で操作・利用するポータブル機器に広く適用することができる。このようなポータブル機器としては、例えば携帯情報端末、デジタルミュージックプレーヤー、デジタルカメラ等を挙げることができる。   Furthermore, although the case where the present invention is applied to the communication terminal 100 such as a mobile phone has been described above, the present invention is not limited to this, and the present invention is applicable to a portable device that is operated and used while being held by a user. Can be widely applied. Examples of such portable devices include portable information terminals, digital music players, and digital cameras.

通信端末１００の構成を示す機能ブロック図である。2 is a functional block diagram showing a configuration of a communication terminal 100. FIG. 通信端末１００の外観を示す図であり、（ａ）は通信端末１００を開いた状態を示し、（ｂ）は通信端末１００を閉じた状態を示す。It is a figure which shows the external appearance of the communication terminal 100, (a) shows the state which opened the communication terminal 100, (b) shows the state which closed the communication terminal 100. 通信端末１００が移動体通信網２００に接続してサーバ２０２と通信する態様を示す図である。It is a figure which shows the aspect which the communication terminal 100 connects to the mobile communication network 200, and communicates with the server 202. FIG. コンテンツ１０６が提供するユーザインターフェイスの概略を示した説明図である。4 is an explanatory diagram showing an outline of a user interface provided by content 106. FIG. コンテンツ１０６が提供するユーザインターフェイスの概略を示した別の説明図である。It is another explanatory drawing which showed the outline of the user interface which the content 106 provides. 通信端末１００を動かす動作によって画面をスクロールおよびズームする動作のフローチャートである。4 is a flowchart of an operation of scrolling and zooming a screen by an operation of moving a communication terminal 100. 図６のＳＴ１０６における処理の詳細を例示したフローチャートである。It is the flowchart which illustrated the detail of the process in ST106 of FIG. 図６のＳＴ１０７における処理の詳細を例示したフローチャートである。It is the flowchart which illustrated the detail of the process in ST107 of FIG.

符号の説明Explanation of symbols

１００；通信端末、
１０１；モーションセンサ部、
１０２；キー入力部、
１０３；表示部、
１０４；制御部、
１０５；記憶部、
１０６；コンテンツ、
１０７；通信部。 100; communication terminal,
101; Motion sensor unit,
102; key input unit,
103; display part,
104; control unit,
105; a storage unit;
106; content;
107: Communication part.

Claims (7)

移動および傾動を検出するモーションセンサ部と、
画面表示を行う表示部と、
ユーザが操作することにより所定の信号を生成する複数のキーを備えたキー入力部と、
前記モーションセンサ部、前記表示部および前記キー入力部を制御する制御部と、を備えたポータブル機器において、
前記制御部は、前記表示部よりもサイズの広いグラフィックスを表示する際に、当該グラフィックスの一部を前記表示部に表示しつつ、前記モーションセンサ部の検出した移動および傾動の方向および量に応じてグラフィックスの前記表示部に表示される部分をスクロールまたはズームするとともに、前記キー入力部の所定キーを操作することによりスクロールまたはズームを停止することを特徴とするポータブル機器。 A motion sensor unit for detecting movement and tilting;
A display unit for displaying a screen;
A key input unit having a plurality of keys for generating a predetermined signal by a user operation;
In a portable device comprising the motion sensor unit, the display unit, and a control unit that controls the key input unit,
When displaying the graphics having a size larger than that of the display unit, the control unit displays a part of the graphics on the display unit, and detects the direction and amount of movement and tilt detected by the motion sensor unit. A portable device that scrolls or zooms a portion of the graphics displayed on the display unit in response to the operation, and stops scrolling or zooming by operating a predetermined key of the key input unit. 前記制御部は、前記モーションセンサ部が検出した移動ベクトルを、前記表示部表面の上下左右方向に相当する水平成分および前後方向に相当する垂直成分に分解し、前記水平成分に応じてスクロールを行い、前記垂直成分に応じてズームを行うことを特徴とする請求項１に記載のポータブル機器。   The control unit decomposes the movement vector detected by the motion sensor unit into a horizontal component corresponding to the up / down / left / right direction of the display unit surface and a vertical component corresponding to the front / rear direction, and performs scrolling according to the horizontal component. The portable device according to claim 1, wherein zooming is performed according to the vertical component. 前記モーションセンサ部が検出した移動ベクトルの前記表示部画面との垂直成分が、前記表示部表面向きであれば前記表示部に表示されている画面をズームアウトし、前記表示部裏面向きであれば前記表示部に表示されている画面をズームインすることを特徴とする請求項２に記載のポータブル機器。   If the vertical component of the movement vector detected by the motion sensor unit with respect to the display unit screen is directed to the display unit surface, the screen displayed on the display unit is zoomed out. The portable device according to claim 2, wherein the screen displayed on the display unit is zoomed in. 前記モーションセンサ部が検出した移動ベクトルの前記表示部画面との垂直成分が、前記表示部表面向きであれば前記表示部に表示されている画面をズームインし、前記表示部裏面向きであれば前記表示部に表示されている画面をズームアウトすることを特徴とする請求項２に記載のポータブル機器。   If the vertical component of the movement vector detected by the motion sensor unit is on the display unit surface, the screen displayed on the display unit is zoomed in. The portable device according to claim 2, wherein the screen displayed on the display unit is zoomed out. 移動および傾動を検出するモーションセンサ部およびキー入力部を備えたポータブル機器の表示部に仮想現実空間をなすグラフィックスの一部を表示するステップと、
前記モーションセンサ部の検出した移動および傾動の方向および量に応じてコンテンツを表示する部分をスクロールまたはズームするステップと、
前記キー入力部を操作することにより、前記モーションセンサの検出結果にかかわらずスクロールまたはズームを停止するステップと、を含むことを特徴とするポータブル機器における仮想空間の提供方法。 Displaying a part of graphics forming a virtual reality space on a display unit of a portable device having a motion sensor unit and a key input unit for detecting movement and tilt;
Scrolling or zooming a portion for displaying content according to the direction and amount of movement and tilt detected by the motion sensor unit;
Operating the key input unit to stop scrolling or zooming regardless of the detection result of the motion sensor, and providing a virtual space in a portable device. 前記モーションセンサ部が検出した移動ベクトルを、前記表示部表面との水平成分および垂直成分に分解し、前記水平成分に応じてスクロールを行い、前記垂直成分に応じてズームを行うことを特徴とする請求項４に記載のポータブル機器における仮想空間の提供方法。   The movement vector detected by the motion sensor unit is decomposed into a horizontal component and a vertical component with respect to the display unit surface, scrolling is performed according to the horizontal component, and zooming is performed according to the vertical component. The method for providing a virtual space in the portable device according to claim 4. 前記モーションセンサ部が検出した移動ベクトルの前記表示部画面との垂直成分が、前記表示部表面向きであれば前記表示部に表示されている画面をズームアウトし、前記表示部裏面向きであれば前記表示部に表示されている画面をズームインすることを特徴とする請求項５に記載のポータブル機器における仮想空間の提供方法。   If the vertical component of the movement vector detected by the motion sensor unit with respect to the display unit screen is directed to the display unit surface, the screen displayed on the display unit is zoomed out. The method for providing a virtual space in a portable device according to claim 5, wherein the screen displayed on the display unit is zoomed in.
JP2007165517A 2007-06-22 2007-06-22 Portable equipment and method of providing virtual space in portable equipment Pending JP2009003799A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2007165517A JP2009003799A (en) 2007-06-22 2007-06-22 Portable equipment and method of providing virtual space in portable equipment

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2007165517A JP2009003799A (en) 2007-06-22 2007-06-22 Portable equipment and method of providing virtual space in portable equipment

Publications (1)

Publication Number Publication Date
JP2009003799A true JP2009003799A (en) 2009-01-08

Family

ID=40320101

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2007165517A Pending JP2009003799A (en) 2007-06-22 2007-06-22 Portable equipment and method of providing virtual space in portable equipment

Country Status (1)

Country Link
JP (1) JP2009003799A (en)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011103073A (en) * 2009-11-11 2011-05-26 Yappa Corp Information display device
JP2011221833A (en) * 2010-04-12 2011-11-04 Panasonic Corp Display device
JP2014026413A (en) * 2012-07-26 2014-02-06 Fujitsu Ten Ltd Electronic device, communication system, portable communication terminal, communication method and program
US8988459B2 (en) 2009-11-19 2015-03-24 Samsung Electronics Co., Ltd. Method and apparatus for operating a display unit of a mobile device
JP2016154018A (en) * 2009-01-29 2016-08-25 イマージョン コーポレーションＩｍｍｅｒｓｉｏｎ Ｃｏｒｐｏｒａｔｉｏｎ Systems and methods for interpreting physical interactions with graphical user interface
US9785238B2 (en) 2008-07-15 2017-10-10 Immersion Corporation Systems and methods for transmitting haptic messages
WO2022255224A1 (en) 2021-06-04 2022-12-08 三井化学株式会社 Non-aqueous electrolyte for battery, lithium secondary battery precursor, method for manufacturing lithium secondary battery, and lithium secondary battery

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07271505A (en) * 1994-03-29 1995-10-20 Toshiba Corp Image display controller
JP2003058912A (en) * 2001-05-18 2003-02-28 Sony Computer Entertainment Inc Display device and image processing method
JP2005025170A (en) * 2003-06-09 2005-01-27 Casio Comput Co Ltd Electronic equipment, display control method, and program
WO2007018631A1 (en) * 2005-07-29 2007-02-15 Sony Ericsson Mobile Communications Ab Methods, devices and computer program products for operating mobile devices responsive to user input through movement thereof

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07271505A (en) * 1994-03-29 1995-10-20 Toshiba Corp Image display controller
JP2003058912A (en) * 2001-05-18 2003-02-28 Sony Computer Entertainment Inc Display device and image processing method
JP2005025170A (en) * 2003-06-09 2005-01-27 Casio Comput Co Ltd Electronic equipment, display control method, and program
WO2007018631A1 (en) * 2005-07-29 2007-02-15 Sony Ericsson Mobile Communications Ab Methods, devices and computer program products for operating mobile devices responsive to user input through movement thereof

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9785238B2 (en) 2008-07-15 2017-10-10 Immersion Corporation Systems and methods for transmitting haptic messages
JP2016154018A (en) * 2009-01-29 2016-08-25 イマージョン コーポレーションＩｍｍｅｒｓｉｏｎ Ｃｏｒｐｏｒａｔｉｏｎ Systems and methods for interpreting physical interactions with graphical user interface
JP2011103073A (en) * 2009-11-11 2011-05-26 Yappa Corp Information display device
US8988459B2 (en) 2009-11-19 2015-03-24 Samsung Electronics Co., Ltd. Method and apparatus for operating a display unit of a mobile device
JP2011221833A (en) * 2010-04-12 2011-11-04 Panasonic Corp Display device
JP2014026413A (en) * 2012-07-26 2014-02-06 Fujitsu Ten Ltd Electronic device, communication system, portable communication terminal, communication method and program
WO2022255224A1 (en) 2021-06-04 2022-12-08 三井化学株式会社 Non-aqueous electrolyte for battery, lithium secondary battery precursor, method for manufacturing lithium secondary battery, and lithium secondary battery
KR20230169345A (en) 2021-06-04 2023-12-15 미쓰이 가가쿠 가부시키가이샤 Non-aqueous electrolyte for batteries, lithium secondary battery precursor, manufacturing method of lithium secondary battery, and lithium secondary battery

Similar Documents

Publication Publication Date Title
US10318017B2 (en) Viewing images with tilt control on a hand-held device
KR100671585B1 (en) Method and device for browsing information on a display
JP3926837B2 (en) Display control method and apparatus, program, and portable device
JP5774387B2 (en) Display device
KR102097496B1 (en) Foldable mobile device and method of controlling the same
JP6421670B2 (en) Display control method, display control program, and information processing apparatus
JP5959047B2 (en) Display control system, display control method, display control program, and display control apparatus
JP5193275B2 (en) Information processing apparatus, information processing apparatus control method, and program
JP2009003799A (en) Portable equipment and method of providing virtual space in portable equipment
JP2004259063A (en) Device and method for display processing for three dimensional object and computer program
WO2009157382A1 (en) Display processing device, display processing device control method, control program, and recording medium
JP5859298B2 (en) Information processing system, information processing apparatus, information processing method, and information processing program
JP2018180051A (en) Electronic device and control method thereof
JP6100497B2 (en) Information processing program, information processing apparatus, information processing system, and image display method
JP5106610B2 (en) Information processing apparatus, information processing apparatus control method, and program
US9665232B2 (en) Information-processing device, storage medium, information-processing method, and information-processing system for enlarging or reducing an image displayed on a display device
JP2004271671A (en) Image display apparatus and terminal device equipped with the same
JP6099237B2 (en) Display control system, display control method, display control program, and display control apparatus
JP4779299B2 (en) Display device, display control method, recording medium, and program
KR102278229B1 (en) Electronic device and its control method
JP7005160B2 (en) Electronic devices and their control methods
JP6408241B2 (en) Mobile terminal device
JP2012252592A (en) Display control program, display control apparatus, display control method, and display control system
JP5510008B2 (en) Mobile terminal device
JP4270088B2 (en) Product evaluation system using virtual human body model

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20100622

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20111027

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20111101

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20120104

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20120410