WO2006041097A1 - ３次元ポインティング方法、３次元表示制御方法、３次元ポインティング装置、３次元表示制御装置、３次元ポインティングプログラム、及び３次元表示制御プログラム - Google Patents

３次元ポインティング方法、３次元表示制御方法、３次元ポインティング装置、３次元表示制御装置、３次元ポインティングプログラム、及び３次元表示制御プログラム Download PDF

Info

Publication number
WO2006041097A1
WO2006041097A1 PCT/JP2005/018799 JP2005018799W WO2006041097A1 WO 2006041097 A1 WO2006041097 A1 WO 2006041097A1 JP 2005018799 W JP2005018799 W JP 2005018799W WO 2006041097 A1 WO2006041097 A1 WO 2006041097A1
Authority
WO
WIPO (PCT)
Prior art keywords
pointer
dimensional
pointing
pen
input
Prior art date
Application number
PCT/JP2005/018799
Other languages
English (en)
French (fr)
Inventor
Atsushi Nakadaira
Naobumi Suzuki
Daisuke Ochi
Original Assignee
Nippon Telegraph And Telephone Corporation
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nippon Telegraph And Telephone Corporation filed Critical Nippon Telegraph And Telephone Corporation
Priority to US10/586,447 priority Critical patent/US7880726B2/en
Priority to JP2006540952A priority patent/JP4515458B2/ja
Priority to EP05793698A priority patent/EP1821182B1/en
Publication of WO2006041097A1 publication Critical patent/WO2006041097A1/ja

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0354—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of 2D relative movements between the device, or an operating part thereof, and a plane or surface, e.g. 2D mice, trackballs, pens or pucks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0354—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of 2D relative movements between the device, or an operating part thereof, and a plane or surface, e.g. 2D mice, trackballs, pens or pucks
    • G06F3/03545—Pens or stylus
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04815—Interaction with a metaphor-based environment or interaction object displayed as three-dimensional, e.g. changing the user viewpoint with respect to the environment or object
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/20—Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts

Definitions

  • 3D pointing method 3D display control method, 3D pointing device, 3D display control device, 3D pointing program, and 3D display control program
  • the present invention relates to a technique for performing three-dimensional pointing, and more particularly to a technique for performing pointing in a three-dimensional space represented on a display device using an input device having a pen-type operation unit. .
  • the present invention relates to a technique for three-dimensionally pointing an object placed (displayed) in a three-dimensional space represented on a display device with a pointer.
  • the present invention relates to a 3D display control technique for selecting an object arranged and displayed in a three-dimensional space or pointing an object arranged and displayed in a three-dimensional space.
  • GUI graphical 'user' interface
  • PC personal 'computer'
  • enhancement of graphic functions In many cases, the operations are more complicated than ever, and when the operator performs a desired action, they become a footstep and prevent efficient operation.
  • the idea of improving such a situation is to present and manipulate information using a three-dimensional space.
  • This is often called a 3D GUI and so on, and it is a mechanism that places objects in a 3D space in 3D space and manipulates them using a specified input device.
  • the same mechanism may be used in CAD, CG, etc. that perform design in a 3D space From the viewpoint of manipulating and pointing to similar 3D objects From here, we will proceed with a 3D GUI as an example. If this 3D GUI is used, objects that have been arranged two-dimensionally or stacked on top of each other can be arranged three-dimensionally, and the work space can be used efficiently. And because the real world that surrounds us is a three-dimensional space, By making the GUI three-dimensional, the GUI can be handled more intuitively than the two-dimensional GUI.
  • pen-type input device that is familiar to us and has a form.
  • pen tablets have been frequently used for pointing and object operations such as conventional two-dimensional GUIs.
  • electromagnetic induction pen tablets are portable due to the simplicity of the device, that the screen can be pointed directly with a pen, and information that can be acquired (such as two-dimensional position and The power of the pen pressure, the pen housing angle, the buttons on the pen, the state of the wheel, etc.) can also be changed to a mouse.
  • an input device it can be used as a PC, PDA (Personal Digital Assistant), and more recently a mobile phone. Is also being installed.
  • pen tablets pen-type input devices
  • chairs used as 3D input devices.
  • a pen-type device that can acquire the tilt and 3D position of the pen is held in the air, and the pen tip (pointer) is virtually displayed in the display device at the tip of the pen.
  • the pen tip pointer
  • the space where the operator operates and the space where the pointer is actually displayed are separated, but the force displayed by the virtually displayed pen tip feels as if it is part of his / her pen. So it surpasses the conventional technology.
  • the three-dimensional desktop has an advantage that the icons and windows can be arranged functionally because the degree of freedom in the depth direction is expanded.
  • the desktop is made three-dimensional, pointing using pointers is still constrained by two-dimensional movement. For this reason, it is difficult to fully utilize the degree of freedom in the depth direction.
  • the back of an object (the object in front) is hidden, just as the pointer is hidden behind the object and cannot be recognized. If there is another object (back object), the back object cannot be recognized directly. Therefore, when recognizing or manipulating the position of an object in the back, it is necessary to move the object in front, or reduce the display area or hide it. If the display area outside the front object is reduced or hidden, the display area is set to the original size in order to recognize the display contents of the front object. An operation to return or return to the display state is required. For this reason, there is a problem that the convenience for the operator is poor.
  • Patent Document 1 JP-A-5-073208
  • Patent Document 2 JP-A-6-75693
  • Patent Document 3 Japanese Patent Laid-Open No. 8-248938
  • Non-Patent Document 2 Keita Watanabe, Michiyasu Yasumura, “RUI: Realizable User Interface-Information Realization Using Carsonole”, Proceedings of Human Interface Symposium 2003, 2003, p. 541-544
  • Non-Patent Document 3 George Robertson, 7 others, "The Task Gallery: A 3D Window Manage", Proceedings of CHI2000, 1-6 APRIL 2000, pp.494-501
  • the first object of the present invention is to provide a device that the operator is familiar with as small as possible outside the pointer or object at any position in the 3D space on the 3D GUI. It is intended to provide 3D pointing technology that can be used efficiently and intuitively without any fatigue.
  • a second object of the present invention is to make the operator intuitively and accurately recognize the depth position of the pointer and the pointing position in the pointing using the pointer in the 3D GUI. It is to provide a pointing technique that can be performed.
  • a third object of the present invention is to move a pointer to a position on the back (back) side of another object when the pointer in the three-dimensional space represented on the display device is three-dimensionally powered. In this case, it is also necessary to provide a technology that can easily recognize the position of the pointer.
  • the third object of the present invention is to further facilitate the recognition and operation of another object hidden behind the object displayed in the foreground in the three-dimensional space represented on the display device. The object is to provide a technique capable of improving the convenience of the operator.
  • the first object is to provide a two-dimensional coordinate of the pointed position when the input point is pointed on a predetermined detection surface and the pen point of the input pen.
  • the first purpose is that the two-dimensional coordinates of the pointed position when the input pen point is pointed on the predetermined detection surface and the pen point of the input pen.
  • an extension line in the three-dimensional space of the axis of the input pen is obtained, a three-dimensional pointer is displayed on the extension line in the three-dimensional space, and the three-dimensional pointer is displayed according to the writing pressure of the input pen.
  • Change the coordinates of the extension direction of the pointer in the 3D space It can be achieved by three-dimensional pointing method and displaying by.
  • the first purpose is to indicate the two-dimensional coordinates of the pointed position when the pointed point on the detection surface is pointed with the pen tip of the input pen
  • a three-dimensional pointing method for pointing a desired point in a three-dimensional space represented on a display device on the basis of an operation of an operation means provided in the input pen, which is continuously pointed at the pen tip of the input pen This is also achieved by a three-dimensional pointing method characterized by changing and displaying the coordinate in the depth direction of the three-dimensional pointer displayed in the three-dimensional space according to the time or the operation of the operation means of the input pen. it can.
  • the first purpose is to specify the two-dimensional coordinates of the pointed position when the pointed point on the detection surface is pointed with the pen tip of the input pen,
  • the operation of the operation means provided in the input pen, the tilt angle of the input pen that is an angle formed by the axis of the input pen and the detection surface, the projection of the axis of the input pen onto the detection surface, and the detection surface A three-dimensional pointing method for pointing a desired point in a three-dimensional space represented on a display device based on an azimuth angle of an input pen, which is an angle formed by a predetermined straight line.
  • An extension line in the three-dimensional space of the axis of the input pen based on an angle and an azimuth, and a time when the three-dimensional pointer is displayed on the extension line in the three-dimensional space and pointed at the pen tip of the input pen, or Of the input pen This can also be achieved by a three-dimensional pointing method characterized in that the coordinates of the three-dimensional pointer in the three-dimensional space are changed in accordance with the operation of the operation means.
  • the pointing object when pointing to the object displayed in the three-dimensional space, When an operation is performed on the object, or an operation for starting editing or processing is performed, the pointing object is displayed two-dimensionally on the surface closest to the operator of the display device, and the 2 A two-dimensional operation, editing, or force by the input pen may be received for an object displayed in a three-dimensional manner.
  • the coordinate in the depth direction of the three-dimensional pointer may be changed while the two-dimensional coordinate of the point to be pointed is fixed.
  • the present invention relates to the two-dimensional coordinates of the pointed position when the point on the predetermined detection surface is pointed with the pen point of the input pen and the pen point of the input pen.
  • a three-dimensional pointing device that generates a pointer based on a writing pressure that is pressure, displays the generated pointer at a desired point in a three-dimensional space represented on a display device, and points the generated pointer;
  • the input information acquisition means Based on the information acquired by the input information acquisition means, the input information acquisition means for acquiring the two-dimensional coordinates and the writing pressure information from the input pen, and in the three-dimensional space represented on the display device
  • a pointer position Z rotation angle calculation means for calculating a position for displaying the pointer and a rotation angle; a pointer generation means for generating a pointer based on a calculation result of the pointer position Z rotation angle calculation means;
  • Pointing determination means for determining whether or not there is an object that is pointed by the pointer generated by the pointer generation means in the three-dimensional space expressed
  • the input pen has a structure in which a length of a pen tip is shortened according to the writing pressure, and the tertiary pen
  • the original pointer has the same shape as the pen tip of the input pen, or the same shape as a part of the pen tip.
  • two-dimensional coordinates of the pointed position when the point on the predetermined detection surface is pointed with the pen tip of the input pen, and the time point during which the point is pointed or the input pen A three-dimensional pointing device that generates a pointer based on an operation of an operation means provided, displays the pointer at a desired point in a three-dimensional space represented on the display device, and performs pointing.
  • Pointer position Z rotation angle calculation means for calculating a position for displaying a pointer in the three-dimensional space represented by the display device, and pointer generation means for generating a pointer based on the calculation result of the pointer position Z rotation angle calculation means
  • a pointing determination means for determining whether or not there is an object pointed to by the pointer generated by the pointer generation means in the three-dimensional space expressed by the display device, and the display device
  • the object generation means for generating an object to be displayed in the three-dimensional space, the pointer generated by the pointer generation means, and the object generated by the object generation means are displayed in the three-dimensional space represented on the display device.
  • Display control means for displaying, the pointer position Z rotation angle calculation means is the input pen
  • the three-dimensional pointer to be displayed in the three-dimensional space is calculated by changing the coordinate in the depth direction according to the time pointed by the pen tip or the operation of the input pen operation means. It can also be configured as a two-dimensional pointing device.
  • the input pen has a structure in which the length of the pen tip is shortened according to the time pointed by the pen tip or the operation of the operating means, and the three-dimensional pointer includes the pen tip of the input pen and It is good also as having an equivalent shape or a shape equivalent to a part of nib.
  • the present invention can also be configured as a three-dimensional pointing program that causes a computer to execute the processing of each means in each of the three-dimensional pointing devices.
  • a second object is to move a pointer displayed in the 3D space of the display device capable of expressing the 3D space in the 3D space to move the pointer in the 3D space.
  • the pointer is moved or rotated in a two-dimensional plane orthogonal to the depth direction of the three-dimensional space of the display device and moved in the depth direction.
  • Step 2 in which the pointer pointing portion is moved in the depth direction while keeping This can be achieved by a three-dimensional pointing method characterized by comprising the step 3 of displaying the pointer moved in step 2 on the display device.
  • the step 2 uses a predetermined center point or center axis that removes the pointer from a point on or inside the pointer. You can also rotate it as the center!
  • the second object is to move the pointer displayed in the three-dimensional space of the display device capable of expressing the three-dimensional space in the three-dimensional space so that the three-dimensional space is displayed.
  • a three-dimensional pointing method for pointing a desired point in a space wherein the pointer is moved or rotated in a two-dimensional plane orthogonal to the depth direction of the three-dimensional space of the display device, and in the depth direction.
  • Step 1 to be moved and the position in the depth direction of one point determined by force on the pointer excluding the portion where the pointer is pointed are kept constant, and the shape and size of the pointer Step 4 in which the pointer is moved in the depth direction while the pointer is moved in the depth direction, and the pointer moved in steps 1 and 4 And cut with accomplished by three-dimensional pointing method characterized by a step 3 to be displayed on the display device.
  • the step 4 uses a predetermined center point or center axis for excluding the pointer on the surface of the pointer or inside the pointer. It is good also as rotating as a center.
  • the center for rotating the pointer Point or central axial force The point or center axial force may be moved according to the rotation angle when the pointer rotates.
  • the pointer includes a first portion having a fixed position in the depth direction, a position, a shape, and a size in the two-dimensional plane, and a second position in which at least the position in the depth direction changes.
  • a third partial force connecting the first portion and the second portion, and the step 4 may be performed by moving the second portion of the pointer in the depth direction. Good. Further, the step 4 moves the second part in the depth direction while changing the position, shape, or size of the second part in the two-dimensional plane of the three-dimensional pointer. As well.
  • the two-dimensional plane that can be represented by the display device is displayed.
  • the protruding part may be projected or folded and displayed on a two-dimensional plane close to the protruding part! /.
  • the display device may display a reference pointer having a fixed position in the depth direction together with the pointer!
  • the present invention displays a pointer in a three-dimensional space expressed on a display device capable of expressing the three-dimensional space, and the pointer is displayed in a three-dimensional manner based on input information from the input device.
  • a three-dimensional pointing device that moves an object to point at an arbitrary point in the three-dimensional space, and acquires the input information from the input device, and the input information acquisition unit
  • a pointer position Z deformation amount calculating means for calculating the display position and deformation amount of the pointer, and a pointer to be displayed at the display position calculated by the pointer position Z deformation amount calculating means.
  • the pointer is pointed and the object is Pointing determination means for determining whether or not there is a force, object generation means for changing the object to a pointing state when it is determined that there is an object pointed by the pointing determination means, and the pointer generation
  • the pointer generated by the means and the object generated by the object generating means are displayed on the display device. It can be configured as a three-dimensional pointing device characterized by comprising display control means for displaying. Further, the present invention is configured by configuring the processing in each means in the above three-dimensional pointing device as a three-dimensional pointing program that causes a computer to execute.
  • a third purpose is to display a pointer and one or more objects in a three-dimensional space represented on a display device capable of representing the three-dimensional space, and based on input information from the input device.
  • a three-dimensional display control method for controlling the display state of the pointer and the object when the pointer is moved three-dimensionally and pointing to an arbitrary point in the three-dimensional space, and based on the input information Step 1 for calculating the display position of the pointer, Step 2 for displaying the pointer at the display position calculated in Step 1, and the display position of the pointer calculated in Step 1 It is determined whether or not the object has a force in front of the depth position of the pointer, and the object in front of the depth position of the pointer is displayed transparently. This can be achieved by a three-dimensional display control method characterized by having step 3 to be performed.
  • Step 3 of the three-dimensional display control method may be configured to display only the object overlapping the pointer among the objects located in front of the depth position of the pointer in a transparent manner.
  • step 3 other objects that are specified or selected based on predetermined input information of the input device power among the objects that are in front of the depth position of the pointer are excluded. It is also possible to display objects with transparency.
  • the transparency of the object is changed according to the distance of the object in front of the depth position of the pointer and the depth direction of the pointer, and the depth direction of the object and the pointer is changed.
  • the larger the distance the larger the transparency can be displayed.
  • step 3 only an area of an arbitrary shape centering on a point on the object that overlaps the point where the pointer is pointing can be displayed transparently.
  • the arbitrary shape to be transparent is the depth of the pointer and the object The arbitrary shape changes as the distance in the vertical direction increases and the distance in the depth direction increases.
  • the step 3 may include a step of returning the transparent object to an opaque state before the transparent object is displayed when the pointer is stationary for a predetermined time.
  • the present invention displays a pointer and one or more objects in a three-dimensional space represented on a display device capable of representing the three-dimensional space, and the above-described method is based on input information from the input device.
  • a three-dimensional display control device for controlling a display state of the pointer and the object when a pointer is moved three-dimensionally to point at an arbitrary point in the three-dimensional space, from the input device
  • Input information acquisition means for acquiring the input information
  • pointer position calculation means for calculating the display position of the pointer based on the input information acquired by the input information acquisition means
  • pointer position calculation means Pointer generation means for generating a pointer to be displayed at the display position calculated in step (b), and the pointer based on the display position of the pointer calculated by the pointer position calculation means.
  • An object change determination means for determining whether or not there is an object in front of the depth position of the screen, and for determining whether or not to make the object in front of the depth position of the pointer transparent.
  • It can also be configured as a three-dimensional display control device comprising display control means for displaying the object generated by the generation Z transparency means or the transparent object on the display device.
  • the present invention comprises a 3D display control program for causing a computer to execute the processing of each means of the 3D display control device.
  • the position of the pen tip of the input pen and the time during which the pen pressure or the pen point of the input pen has been pointed to or the input pen operating means ( Button, wheel, slide bar, etc.) and the input pen A pointer reflecting information such as the tilt and direction of the image is generated and displayed on the display device, thereby pointing an arbitrary point in the three-dimensional space represented on the display device.
  • the input pen is, for example, an operation pen (electronic pen) of a pen tablet or a stylus that operates the touch panel, and the pen tip is brought into contact with a predetermined detection surface. It can be operated in the state. Therefore, an accurate pointing operation is easy, and fatigue due to a long pointing operation can be reduced.
  • the input pen is brought into contact with the display surface of the display device by overlapping the detection means (digitizer) of the pen tablet with the display surface of the display device or using the touch panel.
  • a pointing operation can be performed. This enables more accurate and intuitive 3D pointing operations.
  • the objectator is adjusted in accordance with the change in the pointer.
  • the pointer is moved by changing the depth position of the pointer pointing portion while keeping the depth position of one point on the pointer constant. Recognize the change in the depth direction of the part. This In this case, the operator recognizes the depth position accurately and intuitively by pointing the state force of the portion where the depth position of the pointer is kept constant! can do.
  • the inclination of the pointer in the depth direction changes each time the pointer rotates. It is possible to easily recognize the depth position.
  • the center point or the center axis for rotating the pointer may be fixed, or may be moved according to a rotation angle when the pointer rotates.
  • the pointer includes the first portion, the second portion, and the third portion
  • only the pointing portion is a pointer bent in the depth direction. Therefore, it is possible to easily recognize the pointed depth position from the state of the first portion, the second portion, and the third portion.
  • the second portion is moved in the depth direction while changing the position, shape, or size of the second portion in the two-dimensional plane, so that the depth position can be accurately determined. Recognition is possible.
  • the object in front of the depth position of the pointer is displayed transparently. Therefore, when the pointer is moved three-dimensionally, the pointer force is not hidden behind an object in front of the pointer. Therefore, the position of the pointer can be easily recognized even when the pointer moves to a position corresponding to the back side of the object. Further, by making the object in front of the pointer transparent, the position of another object hidden behind the transparent object can be easily recognized and can be pointed. Also, by moving the pointer forward, the object that has been made transparent returns to the original opaque display, so that the display content of the object that has been made transparent can be easily recognized. . Furthermore, since the transparency and opacity of the object can be controlled by moving the pointer in the depth direction, the convenience of the pointer operator is improved.
  • the object in the selected state is made transparent even before the pointer. By avoiding this, the selected object can be easily recognized. Further, by increasing the transparency of an object having a greater distance in the depth direction of the pointer, it is possible to easily recognize the depth position of the pointer and an object in the vicinity of the pointer.
  • the entire object is made transparent by making only an area of an arbitrary shape such as a circle, an ellipse, or a polygon centering on a point that overlaps the point where the pointer is pointing.
  • Visual inconvenience such as when switching between transparency and opacification is performed continuously, can be reduced.
  • the transparent object is returned to its original opaque state and displayed, thereby making the pointer more transparent than the object that has been made transparent. Even if it is not moved to the front, the display content of the transparent object can be recognized, further improving the convenience for the operator.
  • FIG. 1 is a schematic diagram for explaining an overview of a three-dimensional pointing method of the first embodiment, and shows a configuration example of a system that realizes the pointing method of the first embodiment. is there.
  • FIG. 2 is a schematic diagram for explaining the outline of the three-dimensional pointing method of the first and second embodiments, and explains the principle of the three-dimensional pointing method of the first and second embodiments.
  • FIG. 2 is a schematic diagram for explaining the outline of the three-dimensional pointing method of the first and second embodiments, and explains the principle of the three-dimensional pointing method of the first and second embodiments.
  • FIG. 3 is a schematic diagram for explaining the outline of the three-dimensional pointing method of the first embodiment, and shows a configuration example of an input pen used in the three-dimensional pointing method of the first embodiment. .
  • FIG. 4A is a schematic diagram for explaining the three-dimensional pointing method in Examples 1 1 and 2-1, and shows a front view, a right side view, and a bottom view showing an example of a three-dimensional space represented on the display device. It is.
  • Fig. 4B is a schematic diagram for explaining the three-dimensional pointing method of the embodiments 1 1 and 2-1, and is a bird's-eye view showing an example of a three-dimensional space expressed on the display device.
  • FIG. 5A is a schematic diagram for explaining the three-dimensional pointing method of Example 1 1, 2-1.
  • FIG. 6 is a bird's-eye view showing a state in the three-dimensional space when operated with an input pen.
  • FIG. 5B is a schematic diagram for explaining the three-dimensional pointing method of Examples 1 and 2-1, and is a bird's-eye view showing a state in the three-dimensional space when operated with an input pen.
  • FIG. 5C is a schematic diagram for explaining the three-dimensional pointing method of Embodiments 1 and 2-1, and is a bird's eye view showing a state in the three-dimensional space when operated with an input pen.
  • FIG. 6A is a schematic diagram for explaining the three-dimensional pointing method in Examples 1 1 and 2-1, and is a front view and a right side view showing a state in a three-dimensional space when operated with an input pen. is there.
  • FIG. 6B is a schematic diagram for explaining the three-dimensional pointing method in Examples 1 1 and 2-1, and is a front view and a right side view showing a state in the three-dimensional space when operated with an input pen. is there.
  • FIG. 6C is a schematic diagram for explaining the three-dimensional pointing method in Examples 1 1 and 2-1, and is a front view and a right side view showing a state in the three-dimensional space when operated with an input pen. is there.
  • FIG. 7 is a schematic diagram for explaining the three-dimensional pointing method of Example 11 and is a flowchart showing the processing procedure of the three-dimensional pointing method of Example 11.
  • FIG. 8A is a schematic diagram for explaining a modification of the three-dimensional pointing method in the embodiments 1 1 and 2-1, and shows the shape of a pointer to be displayed.
  • FIG. 8B is a schematic diagram for explaining a modified example of the three-dimensional pointing method in the embodiments 1 1 and 2-1, and shows the shape of a pointer to be displayed.
  • FIG. 8C is a schematic diagram for explaining a modification of the three-dimensional pointing method in the embodiments 1 1 and 2-1, and shows the shape of the pointer to be displayed.
  • FIG. 8D is a schematic diagram for explaining a modification of the three-dimensional pointing method in the embodiments 1 1 and 2-1, and shows the shape of a pointer to be displayed.
  • FIG. 9A is a schematic diagram for explaining the three-dimensional pointing method of Examples 1-2 and 2-2, and is a bird's-eye view showing a state in the three-dimensional space when operated with an input pen.
  • FIG. 9B is a schematic diagram for explaining the three-dimensional pointing method of Examples 1-2 and 2-2, and is a bird's-eye view showing a state in the three-dimensional space when operated with an input pen.
  • FIG. 9C is a schematic diagram for explaining the three-dimensional pointing method of Examples 1-2 and 2-2, and is a bird's-eye view showing a state in the three-dimensional space when operated with an input pen.
  • FIG. 10A is a schematic diagram for explaining the three-dimensional pointing method of Example 1, 2, 2-2, and is a front view and a right side view showing a state in the three-dimensional space when operated with an input pen. .
  • FIG. 10B is a schematic diagram for explaining the three-dimensional pointing method of Examples 1-2, 2-2, and is a front view and a right side view showing a state in the three-dimensional space when operated with an input pen. is there.
  • FIG. 10C is a schematic diagram for explaining the three-dimensional pointing method of Examples 1-2, 2-2, and shows a front view and a right side view showing a state in a three-dimensional space when operated with an input pen. is there.
  • FIG. 11 is a schematic diagram for explaining the three-dimensional pointing method of Examples 1-3 and 2-3, and is a bird's-eye view showing a state in the three-dimensional space when operated with an input pen.
  • FIG. 12 is a schematic diagram for explaining the three-dimensional pointing method of Examples 1-3 and 2-3, and is a front view showing a state in the three-dimensional space when operated with an input pen.
  • FIG. 13 is a schematic diagram for explaining the three-dimensional pointing method of the embodiment 1-3 according to the present invention, and is a flowchart showing the processing procedure of the three-dimensional pointing method of the embodiment 13;
  • FIG. 14A is a schematic diagram for explaining the three-dimensional pointing method in Examples 14 and 2-4, and is a bird's-eye view showing a state in the three-dimensional space when operated with an input pen.
  • FIG. 14B is a schematic diagram for explaining the three-dimensional pointing method of Examples 1-4 and 2-4, and is a bird's-eye view showing a state in the three-dimensional space when operated with an input pen.
  • FIG. 14C is a schematic diagram for explaining the three-dimensional pointing method in Examples 14 and 2-4, and is a bird's-eye view showing a state in the three-dimensional space when operated with an input pen.
  • FIG. 15A is a schematic diagram for explaining the three-dimensional pointing method in Examples 14 and 2-4, and is a front view and a right side view showing a state in the three-dimensional space when operated with an input pen. .
  • FIG. 15B is a schematic diagram for explaining the three-dimensional pointing method of Examples 1-4 and 2-4. They are a front view and a right side view showing a state in a three-dimensional space when operated with an input pen.
  • FIG. 15C is a schematic diagram for explaining the three-dimensional pointing method in Examples 14 and 2-4, and is a front view and a right side view showing a state in the three-dimensional space when operated with an input pen. .
  • FIG. 16A is a schematic diagram for explaining the three-dimensional pointing method in Examples 15 and 2-5, and is a diagram for explaining the principle of the display device (DFD) used in Examples 15 and 2-5. .
  • FIG. 16B is a schematic diagram for explaining the three-dimensional pointing method of Examples 1-5 and 2-5, and is a diagram for explaining the principle of the display device (DFD) used in Examples 15 and 2-5. is there.
  • FIG. 17A is a schematic diagram for explaining the three-dimensional pointing method of Examples 1-5 and 2-5, and shows a front view, a right side view, and a bottom view showing an example of a three-dimensional space represented on the display device.
  • FIG. 17A is a schematic diagram for explaining the three-dimensional pointing method of Examples 1-5 and 2-5, and shows a front view, a right side view, and a bottom view showing an example of a three-dimensional space represented on the display device.
  • FIG. 17B is a schematic diagram for explaining the three-dimensional pointing method of Examples 1-5 and 2-5, and is a bird's-eye view showing an example of a three-dimensional space expressed on the display device.
  • FIG. 18A is a schematic diagram for explaining the three-dimensional pointing method of Examples 15 and 2-5, and is a bird's-eye view showing a state in the three-dimensional space when operated with an input pen.
  • FIG. 18B is a schematic diagram for explaining the three-dimensional pointing method of Examples 1-5 and 2-5, and is a bird's-eye view showing a state in the three-dimensional space when operated with an input pen.
  • FIG. 18C is a schematic diagram for explaining the three-dimensional pointing method of Examples 1-5 and 2-5, and is a bird's-eye view showing a state in the three-dimensional space when operated with an input pen.
  • FIG. 18D is a schematic diagram for explaining the three-dimensional pointing method of Examples 1-5 and 2-5, and is a bird's-eye view showing a state in the three-dimensional space when operated with an input pen.
  • FIG. 19A is a schematic diagram for explaining the three-dimensional pointing method of Examples 1-5 and 2-5, and is a front view showing a state in the three-dimensional space when operated with an input pen.
  • FIG. 19B is a schematic diagram for explaining the three-dimensional pointing method of Examples 1-5 and 2-5, and is a front view showing a state in the three-dimensional space when operated with an input pen.
  • FIG. 19C is a schematic diagram for explaining the three-dimensional pointing method of Examples 1-5 and 2-5, and is a front view showing a state in the three-dimensional space when operated with an input pen.
  • FIG. 19D is a schematic diagram for explaining the three-dimensional pointing method of Examples 1-5 and 2-5, and is a front view showing a state in the three-dimensional space when operated with an input pen.
  • FIG. 20 is a schematic diagram for explaining the three-dimensional pointing method of Example 15 and is a flowchart showing the processing procedure of the three-dimensional pointing method of Example 15;
  • FIG. 21A is a schematic diagram for explaining the three-dimensional pointing method of Examples 1-6 and 2-6, and shows a front view, a right side view, and a bottom view showing an example of a three-dimensional space represented on the display device.
  • FIG. 21A is a schematic diagram for explaining the three-dimensional pointing method of Examples 1-6 and 2-6, and shows a front view, a right side view, and a bottom view showing an example of a three-dimensional space represented on the display device.
  • FIG. 21B is a schematic diagram for explaining the three-dimensional pointing method of Examples 1-6 and 2-6, and is a bird's-eye view showing an example of a three-dimensional space expressed on the display device.
  • FIG. 22A is a schematic diagram for explaining the three-dimensional pointing method in Examples 16 and 2-6, and is a bird's-eye view showing a state in the three-dimensional space when operated with an input pen.
  • FIG. 22B is a schematic diagram for explaining the three-dimensional pointing method of Examples 1-6 and 2-6, and is a bird's-eye view showing a state in the three-dimensional space when operated with an input pen.
  • FIG. 22C is a schematic diagram for explaining the three-dimensional pointing method of Examples 16 and 2-6, and is a bird's-eye view showing a state in the three-dimensional space when operated with an input pen.
  • FIG. 23A is a schematic diagram for explaining the three-dimensional pointing method in Examples 16 and 2-6, and is a bird's eye view showing a state in the three-dimensional space when operated with an input pen.
  • FIG. 23B is a schematic diagram for explaining the three-dimensional pointing method in Examples 1-6 and 2-6, and is a bird's-eye view showing a state in the three-dimensional space when operated with an input pen.
  • FIG. 23C is a schematic diagram for explaining the three-dimensional pointing method in Examples 16 and 2-6, and is a bird's-eye view showing a state in the three-dimensional space when operated with an input pen.
  • FIG. 24A is a schematic diagram for explaining the three-dimensional pointing method of Examples 1-6 and 2-6, and is a front view showing a state in the three-dimensional space when operated with an input pen.
  • FIG. 24B is a schematic diagram for explaining the three-dimensional pointing method of Examples 1-6 and 2-6, and is a front view showing a state in the three-dimensional space when operated with an input pen.
  • FIG. 24C is a schematic diagram for explaining the three-dimensional pointing method in Examples 16 and 2-6, and is a front view showing a state in the three-dimensional space when operated with an input pen.
  • FIG. 25A is a schematic diagram for explaining the three-dimensional pointing method of Examples 1 6 and 2-6.
  • FIG. 6 is a front view showing a state in a three-dimensional space when operated with an input pen.
  • FIG. 25B is a schematic diagram for explaining the three-dimensional pointing method of Examples 1-6 and 2-6, and is a front view showing a state in the three-dimensional space when operated with an input pen.
  • FIG. 25C is a schematic diagram for explaining the three-dimensional pointing method in Examples 16 and 2-6, and is a front view showing a state in the three-dimensional space when operated with an input pen.
  • FIG. 26 is a schematic diagram for explaining the three-dimensional pointing method of Example 16 and is a flowchart showing the processing procedure of the three-dimensional pointing method of Example 16;
  • FIG. 27 is a schematic diagram for explaining the three-dimensional pointing method of Example 16 and is a flowchart showing a modification of the processing procedure of the three-dimensional pointing method of Example 16;
  • FIG. 28A is a schematic diagram for explaining a method of deleting an object by the three-dimensional pointing method of Examples 16 and 2-6, and shows a front view and an example of a three-dimensional space expressed on a display device; It is a right view and a bottom view.
  • FIG. 28B is a schematic diagram for explaining a method of deleting an object using the three-dimensional pointing method in Examples 1-6 and 2-6, and is a bird's-eye view showing an example of a 3D space represented on the display device. .
  • FIG. 29A is a schematic diagram for explaining a method of deleting an object using the three-dimensional pointing method in Examples 1-6 and 2-6, and shows a bird's-eye view showing a state in a three-dimensional space when operated with an input pen. It is.
  • FIG. 29B is a schematic diagram for explaining a method of deleting an object using the three-dimensional pointing method in Examples 1-6 and 2-6, and shows a bird's-eye view showing a state in a three-dimensional space when operated with an input pen. It is.
  • FIG. 30A is a schematic diagram for explaining a method of deleting an object using the three-dimensional pointing method in Examples 1-6 and 2-6, and shows a bird's-eye view showing a state in a three-dimensional space when operated with an input pen. It is.
  • FIG. 30B is a schematic diagram for explaining a method of deleting an object by the three-dimensional pointing method in Examples 1-6 and 2-6, and shows a bird's-eye view showing a state in a three-dimensional space when operated with an input pen. It is.
  • FIG. 30C Example 1 6 and 2-6 How to delete an object using the 3D pointing method It is a schematic diagram for explaining a method, and is a bird's-eye view showing a state in a three-dimensional space when operated with an input pen.
  • FIG. 31A is a schematic diagram for explaining a method of deleting an object by the three-dimensional pointing method in Examples 1-6 and 2-6, and shows a front view of a state in a three-dimensional space when operated with an input pen.
  • FIG. 31A is a schematic diagram for explaining a method of deleting an object by the three-dimensional pointing method in Examples 1-6 and 2-6, and shows a front view of a state in a three-dimensional space when operated with an input pen.
  • FIG. 31B is a schematic diagram for explaining a method of deleting an object by the three-dimensional pointing method in Examples 1-6 and 2-6, and shows a front view of the state in the three-dimensional space when operated with an input pen.
  • FIG. 31B is a schematic diagram for explaining a method of deleting an object by the three-dimensional pointing method in Examples 1-6 and 2-6, and shows a front view of the state in the three-dimensional space when operated with an input pen.
  • FIG. 32A is a schematic diagram for explaining a method of deleting an object by the three-dimensional pointing method in Examples 1-6 and 2-6, and shows a front view of the state in the three-dimensional space when operated with an input pen.
  • FIG. 32A is a schematic diagram for explaining a method of deleting an object by the three-dimensional pointing method in Examples 1-6 and 2-6, and shows a front view of the state in the three-dimensional space when operated with an input pen.
  • FIG. 32B is a schematic diagram for explaining a method of deleting an object by the three-dimensional pointing method in Examples 1-6 and 2-6, and shows a front view of the state in the 3D space when operated with an input pen.
  • FIG. 32B is a schematic diagram for explaining a method of deleting an object by the three-dimensional pointing method in Examples 1-6 and 2-6, and shows a front view of the state in the 3D space when operated with an input pen.
  • FIG. 32C is a schematic diagram for explaining a method of deleting an object by the three-dimensional pointing method in Examples 1-6 and 2-6, and shows a front view of the state in the three-dimensional space when operated with an input pen.
  • FIG. 32C is a schematic diagram for explaining a method of deleting an object by the three-dimensional pointing method in Examples 1-6 and 2-6, and shows a front view of the state in the three-dimensional space when operated with an input pen.
  • FIG. 33 is a schematic diagram for explaining the three-dimensional pointing method of Example 1-7, and shows a configuration example of the input pen used in the three-dimensional pointing method of Example 1-7.
  • FIG. 34 is a schematic diagram for explaining the three-dimensional pointing method of Example 1-7, and shows a configuration example of an input pen used in the three-dimensional pointing method of Example 1-7.
  • FIG. 35A is a schematic diagram for explaining the three-dimensional pointing method of Examples 17 and 2-7, and is a bird's eye view showing a state in the three-dimensional space when operated with an input pen.
  • FIG. 35B is a schematic diagram for explaining the three-dimensional pointing method of Examples 1-7 and 2-7, and is a bird's-eye view showing a state in the three-dimensional space when operated with an input pen.
  • FIG. 35C is a schematic diagram for explaining the three-dimensional pointing method of Examples 17 and 2-7, and is a bird's-eye view showing a state in the three-dimensional space when operated with an input pen.
  • FIG. 36A is a schematic diagram for explaining the three-dimensional pointing method in Examples 1-7 and 2-7. They are a front view and a right side view showing a state in a three-dimensional space when operated with an input pen.
  • FIG. 36B is a schematic diagram for explaining the three-dimensional pointing method of Examples 1-7 and 2-7, and shows a front view and a right side view showing a state in the three-dimensional space when operated with an input pen. is there.
  • FIG. 36C is a schematic diagram for explaining the three-dimensional pointing method in Examples 17 and 2-7, and is a front view and a right side view showing a state in the three-dimensional space when operated with an input pen. .
  • FIG. 37A is a schematic diagram for explaining the three-dimensional pointing method of Examples 1-8 and 2-8, and is a bird's-eye view showing a state in the three-dimensional space when operated with an input pen.
  • FIG. 37B is a schematic diagram for explaining the three-dimensional pointing method of Examples 1-8 and 2-8, and is a bird's-eye view showing a state in the three-dimensional space when operated with an input pen.
  • FIG. 37C is a schematic diagram for explaining the three-dimensional pointing method of Examples 18 and 2-8, and is a bird's-eye view showing a state in the three-dimensional space when operated with an input pen.
  • FIG. 38A is a schematic diagram for explaining the three-dimensional pointing method of Examples 1-8 and 2-8, and is a bird's-eye view showing a state in the three-dimensional space when operated with an input pen.
  • FIG. 38B is a schematic diagram for explaining the three-dimensional pointing method of Examples 1-8 and 2-8, and is a bird's-eye view showing a state in the three-dimensional space when operated with an input pen.
  • FIG. 38C is a schematic diagram for explaining the three-dimensional pointing method of Examples 18 and 2-8, and is a bird's eye view showing a state in the three-dimensional space when operated with an input pen.
  • FIG. 39A is a schematic diagram for explaining the three-dimensional pointing method of Examples 1-8 and 2-8, and is a front view showing a state in the three-dimensional space when operated with an input pen.
  • FIG. 39B is a schematic diagram for explaining the three-dimensional pointing method of Examples 1-8 and 2-8, and is a front view showing a state in the three-dimensional space when operated with an input pen.
  • FIG. 39C is a schematic diagram for explaining the three-dimensional pointing method of Examples 18 and 2-8, and is a front view showing a state in the three-dimensional space when operated with an input pen.
  • FIG. 40A is a schematic diagram for explaining the three-dimensional pointing method of Examples 18 and 2-8, and is a front view showing a state in the three-dimensional space when operated with an input pen.
  • FIG. 40B is a schematic diagram for explaining the three-dimensional pointing method of Examples 1-8 and 2-8, and is a front view showing a state in the three-dimensional space when operated with an input pen.
  • FIG. 40C is a schematic diagram for explaining the three-dimensional pointing method of Examples 18 and 2-8, and is a front view showing a state in the three-dimensional space when operated with an input pen.
  • FIG. 41 is a schematic diagram for explaining the outline of the three-dimensional pointing method of the second embodiment, and shows a configuration example of a system that realizes the pointing method of the second embodiment.
  • FIG. 42 is a schematic diagram for explaining the outline of the 3D pointing method of the second embodiment, and shows a configuration example of an input pen used in the 3D pointing method of the second embodiment. .
  • FIG. 43 is a schematic diagram for explaining the three-dimensional pointing method of Example 2-1 and is a flowchart showing the processing procedure of the three-dimensional pointing method of Example 2-1;
  • FIG. 44 is a schematic diagram for explaining the 3D pointing method of Example 2-2, and is a flowchart showing the processing procedure of the 3D pointing method of Example 2-2.
  • FIG. 45 is a schematic diagram for explaining the three-dimensional pointing method of Example 2-3, and is a flowchart showing the processing procedure of the three-dimensional pointing method of Example 2-3.
  • FIG. 46 is a schematic diagram for explaining the three-dimensional pointing method of Example 2-5, and is a flowchart showing the processing procedure of the three-dimensional pointing method of Example 2-5.
  • FIG. 47 is a schematic diagram for explaining the three-dimensional pointing method of Example 2-6, and is a flowchart showing the processing procedure of the three-dimensional pointing method of Example 2-6.
  • FIG. 48 is a schematic diagram for explaining the three-dimensional pointing method of Example 2-7, and shows a configuration example of an input pen used in the three-dimensional pointing method of Example 2-7.
  • FIG. 49 is a schematic diagram for explaining the three-dimensional pointing method of Example 2-7, and shows a configuration example of the input pen used in the three-dimensional pointing method of Example 2-7.
  • FIG. 50 is a schematic diagram showing a configuration example of a system for realizing the three-dimensional pointing method of the third embodiment.
  • FIG. 51 is a schematic diagram for explaining the three-dimensional pointing method of Example 3-1, and is a diagram for explaining the operation method of the pointer.
  • FIG. 52 is a schematic diagram for explaining the three-dimensional pointing method of Example 3-1, and shows a change in the three-dimensional space when an object located behind the pointer is pointed.
  • FIG. 51 is a schematic diagram for explaining the three-dimensional pointing method of Example 3-1, and is a diagram for explaining the operation method of the pointer.
  • FIG. 52 is a schematic diagram for explaining the three-dimensional pointing method of Example 3-1, and shows a change in the three-dimensional space when an object located behind the pointer is pointed.
  • FIG. 53 is a schematic diagram for explaining the three-dimensional pointing method of Example 3-1, and is a perspective view of changes in the three-dimensional space of FIG. 52.
  • FIG. 54 is a schematic diagram for explaining the three-dimensional pointing method in Example 3-1, and shows a front view and a right side showing a change in the three-dimensional space when pointing an object in front of the pointer.
  • FIG. 54 is a schematic diagram for explaining the three-dimensional pointing method in Example 3-1, and shows a front view and a right side showing a change in the three-dimensional space when pointing an object in front of the pointer.
  • FIG. 55 is a schematic diagram for explaining the three-dimensional pointing method of Example 3-1, when the three-dimensional pointing method of Example 3-1 is executed by the system controller (pointing device). It is a flowchart for demonstrating a process sequence.
  • FIG. 56A This is a schematic diagram showing a modification of the shape of the pointer, and shows a triangular pointer.
  • FIG. 56B is a schematic diagram showing a modification of the shape of the pointer, and shows a pointer in the shape of a human hand.
  • Fig. 56 is a schematic diagram showing a modification of the shape of the pointer, and is a diagram showing a hook-shaped pointer.
  • Fig. 56 is a schematic diagram showing a modification of the shape of the pointer, and is a diagram showing a cross-shaped pointer.
  • FIG. 57 is a diagram showing an example of displaying a reference in the three-dimensional pointing method of the embodiment 3-1;
  • FIG. 58 is a schematic diagram for explaining a modified example of the three-dimensional pointing method of the embodiment 3-1, and shows a front view showing a change in the three-dimensional space when an object behind the pointer is pointed It is a right side view.
  • FIG. 59 is a schematic diagram for explaining a first application example of the three-dimensional pointing method of the embodiment 3-1, and changes in the three-dimensional space when an object behind the pointer is pointed It is the front view and right view which show these.
  • FIG. 60 is a diagram for explaining a second application example of the three-dimensional pointing method of the embodiment 3-1. It is a schematic diagram, and is a front view and a right side view showing a change in the three-dimensional space when an object behind the pointer is pointed.
  • FIG. 61 is a schematic diagram for explaining a third application example of the three-dimensional pointing method of the embodiment 3-1 and shows a configuration example of the system.
  • FIG. 62A is a schematic diagram for explaining a third application example of the three-dimensional pointing method of the embodiment 3-1 and a diagram for explaining the operating principle of the DFD.
  • FIG. 62B is a schematic diagram for explaining a third application example of the three-dimensional pointing method of the embodiment 3-1 and a diagram for explaining the operating principle of the DFD.
  • FIG. 63A is a schematic diagram for explaining a fourth application example of the three-dimensional pointing method of the embodiment 3-1 and shows an application example in the case of following a linear locus.
  • FIG. 63B is a schematic diagram for explaining a fourth application example of the three-dimensional pointing method of the embodiment 3-1 and shows an application example in the case of following a linear locus.
  • FIG. 64A is a schematic diagram for explaining a fourth application example of the three-dimensional pointing method of the embodiment 3-1 and shows an application example in the case of following a linear locus.
  • FIG. 64B is a schematic diagram for explaining a fourth application example of the three-dimensional pointing method of the embodiment 3-1 and shows an application example in the case of following a linear locus.
  • FIG. 65A is a schematic diagram for explaining a fourth application example of the three-dimensional pointing method of the embodiment 3-1 and shows an application example in the case of following an arcuate locus.
  • FIG. 65B is a schematic diagram for explaining a fourth application example of the three-dimensional pointing method of the embodiment 3-1 and shows an application example in the case of following an arcuate locus.
  • FIG. 66A is a schematic diagram for explaining a fourth application example of the three-dimensional pointing method of the embodiment 3-1 and shows an application example in the case of following an arcuate locus.
  • FIG. 66B is a schematic diagram for explaining a fourth application example of the three-dimensional pointing method of the embodiment 3-1 and shows an application example in the case of following an arcuate locus.
  • FIG. 67 is a schematic diagram for explaining the three-dimensional pointing method of Example 3-2, and shows a change in the three-dimensional space when an object located behind the pointer is pointed.
  • FIG. 67 is a schematic diagram for explaining the three-dimensional pointing method of Example 3-2, and shows a change in the three-dimensional space when an object located behind the pointer is pointed.
  • FIG. 68A is a schematic diagram for explaining the three-dimensional pointing method of Example 3-2.
  • FIG. 10 is a diagram for explaining a problem in the three-dimensional pointing method of Example 3-2.
  • FIG. 68B is a schematic diagram for explaining the three-dimensional pointing method of Example 3-2.
  • FIG. 69 is a schematic diagram for explaining the three-dimensional pointing method of Example 3-2.
  • FIG. 70A is a schematic diagram for explaining an application example of the three-dimensional pointing method of the embodiment 3-2, and shows an example in which a point that becomes the center of rotation is fixed in a three-dimensional space. It is.
  • FIG. 70B is a schematic diagram for explaining an application example of the three-dimensional pointing method of the embodiment 3-2, and shows an example in which a point that becomes the center of rotation moves in a three-dimensional space. .
  • FIG. 71 is a schematic diagram for explaining the three-dimensional pointing method of Example 3-3, and shows a change in the three-dimensional space when an object located behind the pointer is pointed.
  • FIG. 71 is a schematic diagram for explaining the three-dimensional pointing method of Example 3-3, and shows a change in the three-dimensional space when an object located behind the pointer is pointed.
  • FIG. 72 is a schematic diagram for explaining the three-dimensional pointing method of Example 3-3, and is a perspective view of changes in the three-dimensional space of FIG. 71.
  • FIG. 73 is a schematic diagram for explaining the 3D pointing method of Example 3-3, and shows the processing procedure when the 3D pointing method of Example 3-3 is executed by the system controller (pointing device). It is a flowchart for demonstrating.
  • FIG. 74A is a schematic diagram for explaining a pointer coupling method in the three-dimensional pointing method of the third embodiment, and shows a pointer coupling method as viewed from the XZ plane side.
  • FIG. 74B is a schematic diagram for explaining a pointer connection method in the three-dimensional pointing method of the third embodiment, and shows a pointer connection method as viewed from the XZ plane side.
  • FIG. 74C is a schematic diagram for explaining a pointer coupling method in the three-dimensional pointing method of the third embodiment, and shows a pointer coupling method as viewed from the XZ plane side.
  • FIG. 74D is a schematic diagram for explaining the pointer connection method in the three-dimensional pointing method of the third embodiment, and shows the pointer connection method as viewed from the XZ plane side.
  • FIG. 75 is a schematic diagram for explaining an application example of the three-dimensional pointing method of Example 3-3, and shows the response when moving while maintaining the shape of the part to be pointed. It is a figure which shows an example.
  • FIG. 76A is a schematic diagram for explaining an application example of the three-dimensional pointing method of the embodiment 3-3, and is a diagram showing an application example in the case of moving while keeping the shape of the part to be pointed.
  • FIG. 76B is a schematic diagram for explaining an application example of the three-dimensional pointing method of the embodiment 3-3, and is a diagram showing an application example in the case of moving while maintaining the shape of the part to be pointed.
  • FIG. 77A is a schematic diagram for explaining an application example of the three-dimensional pointing method of the embodiment 3-3, and shows an application example in the case of changing the shape of the part to be pointed.
  • FIG. 77B is a schematic diagram for explaining an application example of the three-dimensional pointing method of the embodiment 3-3, and is a diagram showing an application example in a case where the shape of the part to be pointed is changed.
  • FIG. 78A is a schematic diagram for explaining an application example of the three-dimensional pointing method of the embodiment 3-3, and is a diagram showing an application example when the shape of the part to be pointed is changed.
  • FIG. 78B is a schematic diagram for explaining an application example of the three-dimensional pointing method of Example 3-3, and is a diagram showing an application example when changing the shape of the part to be pointed.
  • FIG. 10 is a diagram for explaining an example of a combination of the second embodiment and the third embodiment.
  • FIG. 79 is a diagram for describing an example of a combination of the first and second embodiments and the third embodiment.
  • FIG. 79 is a diagram for describing an example of a combination of the first and second embodiments and the third embodiment.
  • FIG. 80 This is a schematic diagram for explaining the outline of the 3D display control method of the fourth embodiment, and shows a schematic configuration of a computer system to which the 3D display control method of the fourth embodiment is applied.
  • FIG. 81 This is a schematic diagram for explaining the outline of the three-dimensional display control method of the fourth embodiment, and is a diagram for explaining the operation principle of a display device (DFD) capable of expressing a three-dimensional space.
  • DFD display device
  • a schematic diagram for explaining the outline of the 3D display control method of the fourth embodiment and is a front view and a right side view showing an example of a 3D space expressed on the display device. .
  • ⁇ 83 A schematic diagram for explaining the outline of the 3D display control method of the fourth embodiment, and is a perspective view (bird's eye view) showing an example of a 3D space represented on the display device.
  • ⁇ 84 A schematic diagram for explaining the outline of the three-dimensional display control method of the fourth embodiment, and is a diagram showing an example of a pointer operation method.
  • FIG. 85 is a schematic diagram for explaining the three-dimensional display control method of Example 41, and shows how the three-dimensional space changes when the display control method of Example 41 is applied.
  • FIG. 86 is a schematic diagram for explaining the three-dimensional display control method of Example 41, and shows how the three-dimensional space changes when the display control method of Example 41 is applied.
  • FIG. 87 A schematic diagram for explaining the 3D display control method of Example 4-1, and a conventional 3D space control method for comparison with the display control method of Example 4 1.
  • FIG. 87 A schematic diagram for explaining the 3D display control method of Example 4-1, and a conventional 3D space control method for comparison with the display control method of Example 4 1.
  • FIG. 88 is a flowchart showing a processing procedure in the apparatus for realizing the three-dimensional display control method of Embodiment 41.
  • FIG. 89 is a schematic diagram for explaining an application example of the three-dimensional display control method of the embodiment 41, and shows a change in the three-dimensional space when the application example is applied.
  • FIG. 90 is a schematic diagram for explaining an application example of the three-dimensional display control method of the embodiment 41, and is a flowchart showing a processing procedure in the apparatus for realizing the application example.
  • FIG. 91 is a schematic diagram for explaining the three-dimensional display method of Example 4 2;
  • FIG. 6 is a diagram showing a change in a three-dimensional space when the display control method 2 is applied.
  • FIG. 92 is a schematic diagram for explaining the three-dimensional display method of 4-2, and is a diagram showing an example of a method for determining transparency.
  • FIG. 93 is a schematic diagram for explaining the 3D display method of Example 42, and is a flowchart showing the processing procedure in the apparatus for realizing the 3D display method of Example 42.
  • FIG. 94 is a schematic diagram for explaining the 3D display control method of Example 4 3, and shows a change in the 3D space when the display control method of Example 4 3 is applied.
  • FIG. 95A is a schematic diagram for explaining the three-dimensional display control method of Example 43, and is a diagram showing an example of a transparency determination method.
  • FIG. 95B is a schematic diagram for explaining the three-dimensional display control method of Example 43, and shows an example of a transparency determination method.
  • FIG. 96 is a schematic diagram for explaining the 3D display control method of Example 4 4 and shows how the 3D space changes when the display control method of Example 4 4 is applied.
  • FIG. 97 is a schematic diagram for explaining the 3D display control method of Embodiment 44, and is a flowchart showing the processing procedure in the apparatus for realizing the 3D display method of Embodiment 44.
  • FIG. 98 is a schematic diagram for explaining the three-dimensional display control method of Example 45, and is a diagram showing a method for selecting an object.
  • FIG. 99 is a schematic diagram for explaining the three-dimensional display control method of Example 45, and shows how the three-dimensional space changes when the display control method of Example 45 is applied.
  • FIG. 100 is a schematic diagram for explaining the 3D display control method of Example 45, and is a flowchart showing the processing procedure in the apparatus for realizing the 3D display method of Example 45.
  • Input information acquisition means 102 Pointer position Z rotation angle calculation means
  • Operation means button, wheel, slide bar
  • 201P The tip of the input pen
  • Trash can object
  • Processing control means 107 .
  • Input information acquisition means 102 Pointer position calculation means
  • the first embodiment corresponds to the first object of the present invention.
  • the three-dimensional pointing method uses a pen-shaped input device to point an object in a three-dimensional space represented on a display device capable of three-dimensional display. And operating the pointed object.
  • the pen-shaped input device is, for example, a pen-shaped operation means (hereinafter referred to as an input device) that is operated by an operator who performs pointing and operation of the object, such as a pen tablet.
  • a detection means for detecting information such as the position of the pen tip of the input pen, the writing pressure, and the direction of the axis.
  • the pointer are determined based on the information detected by the detection means, and the three-dimensional space represented on the display device is determined.
  • the pointer is displayed on the top. In this way, the operator can point the object on the three-dimensional space represented on the display device with the pen tip of the input pen in contact with the detection surface of the detection means. The operator's fatigue can be reduced when pointing and operating objects for a long time.
  • the writing pressure of the input pen is made to correspond to the movement or deformation of the pointer in the depth direction, so that the three-dimensional expression expressed on the display device Make it possible to point to a point in space.
  • the operator can also apply the force applied by the pointer displayed on the three-dimensional space represented on the display device. You can feel it as a part of the pen tip of your own input pen, and you can easily and intuitively point 3D objects.
  • the pointing object after pointing the object, the pointing object can be operated in a 2D GUI-like editing, processing, and the like.
  • the object on the two-dimensional GUI can be operated by operating the input pen.
  • the object editing process and! / Are completed the object is again treated as a three-dimensional object so that it can be moved to a three-dimensional position desired by the operator.
  • the operation of the 3D object can be realized with the same operation as that in the conventional 2D GUI using the existing pen-shaped input device. There is no need to learn a new 3D input pen operation for operation.
  • FIGS. 1 to 3 are schematic diagrams for explaining the outline of the three-dimensional pointing method of the first embodiment, and FIG. 1 realizes the three-dimensional pointing method of the first embodiment.
  • FIG. 2 is a diagram for explaining the principle of the three-dimensional pointing method of the first embodiment, and
  • FIG. 3 is a three-dimensional pointing method of the first embodiment. It is a figure which shows the structural example of the input pen to be used.
  • FIG. 1 is a system controller, 101 is input information acquisition means, 102 is pointer position Z rotation angle calculation means, 103 is pointer generation means, 104 is pointing determination means, 105 is object generation means, 106 is display control Means 107, processing control means 108, storage means 2, input device 2, and display device 3.
  • 201P is the pen tip of the input pen
  • 201X is the axis of the input pen housing.
  • 201 is an input pen
  • 201A is a coil
  • 201B is a rotation angle detection coil
  • 201C is a writing pressure sensing unit.
  • the three-dimensional pointing method of the first embodiment is expressed on a display device connected to the system control device using the pen-shaped input device connected to a system control device such as a PC, for example.
  • This is a pointing method that is preferred to be applied to 3D manipulation of pointers and pointing objects in a 3D space!
  • the system control device 1 has input information acquisition means 101 for acquiring input information input from the input device 2, and input information acquired by the input information acquisition means 101.
  • the pointer position Z rotation angle calculating means 102 for calculating the movement direction and amount of the pointer, the rotation direction and the rotation angle based on the input information
  • the pointer position Z Pointer generation means 103 for generating a pointer based on the calculation result of the rotation angle calculation means 102
  • pointing determination means for determining whether or not there is an object pointed to the pointer generated by the pointer generation means 103 104, and when there is an object that is pointed to, for example, change the color of the object or move the pointer
  • An object generation unit 105 that generates an object having a position and an orientation following the rotation, the pointer generated by the pointer generation unit 103, and the object generated by the object generation unit 105 are stored in the display device 3.
  • Display control means 106 for displaying.
  • the system control device 1 is a device that activates and operates software or controls other devices in accordance with input information from the input device 2, such as the PC.
  • processing control means 107 for controlling processing such as software activation, and processing by the processing control means 107
  • a storage means 108 that stores data to be used is provided.
  • the input information acquisition unit 101 passes the acquired information to the processing control unit 107 and acquires it.
  • the system control device 1 is caused to execute processing corresponding to the information. Therefore, in addition to the pointer and the object, the display control means 106 displays on the display means 3 the contents of the processing being executed by the system control device 1 (processing control means 107) and the processing result. It is also a means that can be made to.
  • the input device 2 includes, for example, a pen-shaped operation means (input pen) held by an operator who operates the pointer and the object, and a pen tip of the input pen.
  • This is a detection means having a detection surface for detecting information such as position, pressure applied to the pen tip (writing pressure), inclination, azimuth, and rotation angle of the input pen.
  • a Cartesian coordinate system XYZ corresponding to the three-dimensional space represented by the display device 3 is taken on the detection surface of the detection means, and the XY plane of the Cartesian coordinate system XYZ is Assuming that it is a detection surface, the detection means, when the pen tip 201P of the input pen comes into contact with the detection surface (XY plane), the coordinates (X, y) of the pen tip 201P, the axis 201X of the housing of the input pen Azimuth ⁇ (for example, 0 degrees ⁇ 360 degrees), inclination (for example, 0 degrees ⁇ ⁇ ⁇ 90 degrees), rotation angle around the axis ⁇ (for example, 0 degrees ⁇ ⁇ 360 degrees), pen pressure, etc. Detect information.
  • the configuration of the input device 2 capable of detecting information such as the coordinates of the pen tip 201P, the orientation a of the axis 201X of the input pen housing 201X, the inclination j8, the rotation ⁇ around the axis, and the writing pressure is as follows. For example, from the contents described in Reference Document 1 (Yuji Mitani, “Basics and Applications of Touch Panel,” Techno Times, Inc., 2001.) and Reference Document 2 (catalog of intuos2 manufactured by WACOM Co., Ltd.) If there is, it can be easily guessed and can be easily realized. However, the angle of the rotation ⁇ around the axis 201X of the input box housing cannot be obtained by the structure described in Reference Document 1 or Reference Document 2.
  • the coil 201A of the coordinate indicator described in Reference Document 1 inside the input pen 201 is used.
  • another coil 201B for detecting the rotation ⁇ around the axis is added, and the pen pressure sensing unit 201C obtains the change in the magnetic flux linked to both coils 201A and 201B, and calculates the amount of rotation.
  • Rub What is necessary is easily conceivable and can be realized by those skilled in the art.
  • the input pen 201 used in the three-dimensional pointing method of the present embodiment does not have to have a mechanism for detecting the angle of the rotation ⁇ around the axis as shown in FIG.
  • the input device 2 is not limited to a device in which the input pen and the detection means are separated, such as a pen tablet or a combination of a touch panel and a stylus pen.
  • a pen mouse is used.
  • the input device may be an input device in which the detection means is inserted in the housing of the input pen.
  • the display device 3 may be any display device that can represent a three-dimensional space. For example, a three-dimensional object is projected and displayed on a two-dimensional plane such as a CRT display or a liquid crystal display.
  • a display device that can display and display 3D images such as HMD (Head Mount Display) and DFD (Depth Fused 3D) (details of DFD will be described later) But you can. That is, the display device 3 may be any display device that can three-dimensionally perceive the pointer or object displayed by the operator.
  • the display device 3 and the detection means of the input device 2 it is also possible to take the form of integral (e.g., see JP-A 5-073208 discloses.) 0 the input device 2
  • the detection means can be integrated with the display device 3 so as to overlap the display surface of the display device 3.
  • a form in which a touch panel and a stylus pen are combined can be applied. In this way, the operator can make a pointing by bringing the input pen into contact with the display surface of the display device 3 such as a liquid crystal display, and the detection unit and the display device 3 are separated. Compared to operating in a state, more intuitive operation is possible.
  • the detection means and the display device 3 are physically integrated like a general pen tablet that does not limit the configurations of the detection means of the input device 2 and the display device 3. It doesn't have to be.
  • FIGS. 6A, 6B, and 6C are schematic diagrams for explaining the three-dimensional pointing method of the embodiment 1-1 according to the present invention.
  • FIG. 4A is a front view showing an example of the three-dimensional space represented on the display device.
  • 4B is a bird's-eye view showing an example of a three-dimensional space represented on the display device
  • FIGS. 6A, 6B, and 6C are a front view and a right side view showing the state in a three-dimensional space when operated with an input pen, respectively
  • FIG. 7 is a three-dimensional diagram of the embodiment 11 It is a flowchart which shows the process sequence of the pointing method.
  • FIGS. 6A, 6B, and 6C correspond to FIGS. 5A, 5B, and 5C, respectively.
  • the three-dimensional pointing method of Example 11 is a method of pointing an object in the depth direction as viewed from the operator in the three-dimensional space by changing the writing pressure of the input pen 201.
  • an electromagnetic induction pen tablet is used as the input device 2, and a liquid crystal display is used as the display device 3 that can display the three-dimensional space. Further, the detection means (digitizer) of the input device 2 is overlapped with the display surface of the liquid crystal display 3, and the pointing can be performed by directly operating the input pen on the display screen. Further, it is assumed that the input device 2 and the display device 3 are connected to the system control device 1 configured as shown in FIG.
  • Example 11 as shown in FIGS. 4A and 4B, the three-dimensional space 301 expressed in the liquid crystal display 3 is associated with the coordinate system XYZ shown in FIG. Assume that the coordinate system XYZ is set and the object 302 is arranged at a position of z ⁇ 0 in the three-dimensional space 301. Further, it is assumed that the operator who operates the input pen 201 of the input device 2 observes the directional force of z> 0 on the XY plane of the three-dimensional space 301.
  • the z 0 XY plane of the three-dimensional space 301, that is, the surface closest to the operator is the display surface of the liquid crystal display. It is assumed that this is the detection surface of the detection means of the input device 2.
  • the operator when the operator brings the pen tip 201P of the input pen 201 into contact with the display surface of the liquid crystal display 3, the operator overlaps the display surface.
  • the detected means detects the position (coordinates), pen pressure, etc. of the pen tip 201P.
  • the system control apparatus 1 acquires information such as the position (coordinates) and writing pressure of the pen tip 201P detected by the detection means by the input information acquisition unit 101, and the pointer The position on the three-dimensional space 301 corresponding to the position where the pen tip 2 01 P is in contact with the position Z rotation angle calculation means 102 and the pointer generation means 103 (for example, the extension of the axis of the input pen in the three-dimensional space) A pointer to be displayed at a position on the line is generated. Then, when the pointer is generated, a pointer display signal is sent from the display control means 106 to the display device 3, and for example, as shown in FIGS. 5A and 6A, the display device A pointer 303 reflecting the position and pen pressure of the pen tip 201P is displayed on the three-dimensional space 301 expressed in FIG.
  • the display of the pointer 303 is continuously performed almost at the same time as the operator performs an operation of increasing the writing pressure on the input pen 201, so that the operator It is possible to feel that the pointer extends in the three-dimensional depth direction (z 0) by the pen pressure with the added force. Further, a force not shown in the figure.
  • the object generation means 105 detects the object. By changing the color of the tattoo 302 and switching the display of the object 302 displayed on the three-dimensional space 301, the operator 302 can change the object 302 in the three-dimensional depth direction (z 0). It is possible to notify that the pointing has been successful.
  • the pointer 303 is tilted in the 3D depth direction (z 0) and displayed. After letting the brush When the pressure is lowered, the pointer 303 may be returned to the depth position reflecting the writing pressure V, and it may be fixed at the depth position before the pressure is lowered!
  • the system control apparatus 1 may execute the processing from step 401 to step 406 as shown in FIG.
  • the display control means 106 displays the pointer 303 and the object 302 on the three-dimensional space 301 expressed in the display device (liquid crystal display) 3 (step 401). .
  • the pointer 303 is displayed at an arbitrary position.
  • the input information acquisition unit 101 is in a state in which information detected by the detection unit of the input device 2 can be acquired.
  • the detection means detects the position (coordinates), writing pressure, and the like of the pen tip 201P.
  • the input information acquisition means 101 acquires information such as the detected position (coordinate) and writing pressure of the pen tip 201P (step 402). In the three-dimensional pointing method of Embodiment 11 of the present invention, it is only necessary to obtain the position (coordinates) and writing pressure information of the pen tip 201P.
  • the detection means in addition to the position (coordinates) of the pen tip 201P and the writing pressure, the azimuth and inclination ⁇ of the input pen 201, the rotation ⁇ around the axis, etc. Can also be detected. Therefore, information on the position ⁇ , tilt j8, and rotation ⁇ around the axis of the input pen 201 may be acquired together with information on the position (coordinates) of the pen tip 201P and writing pressure.
  • the position (coordinates) of the tip 201P out of the acquired information by the pointer position ⁇ rotation angle calculation means 102 is next.
  • pen pressure information are used to calculate the position, orientation, length, etc. of the pointer reflecting these information (step 403).
  • the position (coordinate) of the pen tip 201P corresponding to the position on the heel plane of the three-dimensional space represented on the display device 3 Calculate the (coordinates) and length proportional to the pen pressure.
  • step 403 the pointer generation unit 103 then moves the pointer position based on the calculation result of the pointer position / rotation angle calculation unit 102.
  • Information about the pointer generated from the display control means 106 is sent to the display device 3 and displayed on the three-dimensional space 301 (step 404).
  • the pointing determination unit 104 performs the position (coordinates) on the XY plane of the three-dimensional space calculated by the pointer position Z rotation angle calculation unit 102 and It is determined whether or not there is an object to be pointed at a position corresponding to the depth position (step 405). At this time, if there is no pointing object, only the display control of the pointer 303 is performed, and the process returns to step 402 and waits until the next input information is acquired.
  • the object generation means 105 generates, for example, an object in which the color of the pointing object is changed, and relates to the object generated from the display control means 106.
  • Information is sent to the display device 3 and displayed on the three-dimensional space 301 (step 406). Thereafter, the process returns to step 402 and waits until the next input information is acquired.
  • the three-dimensional pointing method of Embodiment 11 of the present invention information on the position (coordinates) and writing pressure of the pen tip 201 P of the input pen 201 and the writing pressure is acquired.
  • the position (coordinate) on the XY plane of the three-dimensional space represented on the display device 3 corresponding to the position (coordinate) of the tip 201P and the depth position corresponding to the pen pressure are calculated, and the calculated position and depth position are calculated.
  • An arbitrary point on the three-dimensional space 301 represented on the display device 3 can be pointed by generating a pointer to be displayed and displaying the pointer.
  • a general pen tablet is used as the input device 2, and the pointing position in the depth direction of the pointer 303 is changed in a state where the pen tip 201P of the input pen 201 is in contact with the detection means. Therefore, operator fatigue can be reduced.
  • the detection means of the input device 2 is overlapped with the display surface of the display device (liquid crystal display) 3, the operator The input pen can be operated on the display surface. If you do this, the pointer 30 A visual effect as if 3 is a part of the pen tip 201 of the input pen 201 is obtained, and accurate pointing of the object 302 is facilitated and intuitive pointing is possible.
  • the length changes according to the writing pressure of the input pen 201.
  • the force causing the pointer 303 to be displayed is not limited to this.
  • Point the 3D depth direction (z 0) like a pointer that changes in the 3D depth direction (z 0) or a pointer that changes the tilt in the 3D depth direction (z 0). Any change is possible as long as it is possible.
  • the length of the pointer it may be proportional to the height of the writing pressure, or may be proportional to the power of the writing pressure or the power root.
  • Example 11 an electromagnetic induction pen tablet is used as the input device 2, and the detection means (digitizer) of the pen tablet is connected to the display surface of the display device (liquid crystal display) 3.
  • the force exemplified in the case of superposition is not limited to this, and the configuration may be such that both are in different positions.
  • the force described by taking the electromagnetic induction pen tablet and the liquid crystal display as an example of the combination of the input device 2 and the display device 3 is not limited to this.
  • It may be a combination of a touch panel and a stylus pen used in a PDA or the like.
  • FIGS. 8A to 8D are schematic diagrams for explaining a modification of the three-dimensional pointing method of the embodiment 11 and FIGS. 8A, 8B, 8C, and 8D respectively show the shapes of pointers to be displayed.
  • FIG. 8A, 8B, 8C, and 8D respectively show the shapes of pointers to be displayed.
  • Example 1-1 force using a flat arrow-shaped pointer 303a as the pointer 303, for example, as shown in FIG. 8A, the shape of the pointer 303 is not limited to this, but pointing Any shape may be used as long as the position is visually clear.
  • Examples of the shape of such a pointer include a three-dimensional arrow pointer 303b in which a cylinder is connected to the bottom of a cone as shown in FIG. 8B, a cone-shaped pointer 303c as shown in FIG. 8C, and FIG. 8D.
  • the pointer 303 is pointed, and the point is the force used as the tip of the arrow type pointer (the tip of the arrow). It is possible to make it possible to point at all, or to make it a part other than the tip of the pointer.
  • a force that takes a folder-type object as an example of the object 302 is not limited to this, and the object 302 may have any shape.
  • the 3D origin can be anywhere, and it needs to be a Cartesian coordinate system, such as a cylindrical coordinate system or a spherical coordinate system.
  • Figures 9 ⁇ to 10C are schematic diagrams for explaining the three-dimensional pointing method of Example 1-2 according to the present invention.
  • Figs. 9 ⁇ , 9 ⁇ , and 9C are three-dimensional images when operated with an input pen, respectively.
  • FIGS. 10A, 10B, and 10C are a front view and a right side view showing a state in a three-dimensional space when operated with an input pen, respectively. Note that FIG. 1 OA, FIG. 10B, and FIG. 10C correspond to FIG. 9A, FIG. 9B, and FIG. 9C, respectively.
  • the three-dimensional pointing method of Example 1 2 is a method in which the direction of the input pen 201 is changed to point the object in the depth direction as viewed from the operator in the three-dimensional space in various directions. .
  • the input device 2 and the display device 3 are assumed to use an electromagnetic induction type pen tablet and a liquid crystal display, respectively, as in the case of Example 1-1. Further, it is assumed that the detection means (digitizer) of the pen tablet 2 is superimposed on the display surface of the liquid crystal display 3.
  • the system control device 1 uses the input information means 101 to detect the position (coordinates) of the pen tip 201 of the input pen 201 detected by the detection means (digitizer), and the input pen 201.
  • Information such as azimuth, inclination
  • a pointer to be displayed at the corresponding position on the three-dimensional space 301 (for example, the position on the extension line in the three-dimensional space of the axis of the input pen) is generated.
  • a pointer display signal is sent from the display control means 106 to the display device 3, and for example, a pointer 303 as shown in FIG. 9B and FIG. 10B is displayed.
  • the operator changes the direction of the input pen 201 to, for example, the direction shown in Figs. 9 and 10 or 10C and 10C with the writing pressure being almost constant. Then, the pointer position / rotation angle calculation means 102 and the pointer generation means 103 calculate a new pointer direction from the new azimuth and inclination
  • the newly generated pointer display signal is sent from the display control means 106 to the display device 3, the pointer 303 as shown in FIGS. 9A and 10B or FIGS. 9C and 10C is displayed. .
  • the display of the pointer 303 is continuously performed almost simultaneously with the operation of changing the direction of the input pen 201 by the operator, so that the operator tilts the pen. It is possible to feel as if the pointer 303 is tilted and displayed on the extension line of the pen tip 201P in the selected direction.
  • the object generation unit 105 changes the color of the object, and the three-dimensional To perform processing such as switching the display of the object 302 displayed on the space 301 Therefore, it is possible to inform the operator that the object in the three-dimensional depth direction (z 0) has been pointed.
  • the pointer position Z rotation angle calculation unit 102 and the pointer generation unit 103 For example, in addition to the direction of the pointer, a length proportional to the height of the writing pressure as described in Example 1-1 may be calculated, and a pointer reflecting the calculation result may be generated. it can.
  • the system control device has only to execute the processing from step 401 to step 406 as shown in FIG. Omitted.
  • step 402 in addition to the position (coordinates) of the pen tip 201P and the pen pressure, It is necessary to acquire information on the orientation ⁇ of the input pen 201 and the rotation ⁇ around the tilt axis.
  • step 403 the position (coordinates) on the heel plane of the three-dimensional space represented by the display device 3 corresponding to the position (coordinates) of the pen tip 201P and the length proportional to the pen pressure
  • the input pen 201 has a force on the position (coordinates) and writing pressure of the pen tip 201 of the input pen 201!
  • Information on the orientation ⁇ , tilt j8, and rotation ⁇ around the axis of 201 is acquired, and the position (coordinates) on the ⁇ plane of the three-dimensional space expressed on the display device 3 corresponding to the position (coordinates) of the pen tip 201P )
  • the three-dimensional space 301 expressed in the display device 3 is displayed. Any one of the above points can be pointed
  • a general pen tablet is used as the input device 2, and the pointing position in the depth direction of the pointer 303 is changed in a state where the pen tip 201P of the input pen 201 is in contact with the detection means. Therefore, operator fatigue can be reduced.
  • the detection means of the input device 2 is overlapped with the display surface of the display device (liquid crystal display) 3, the operator The input pen can be operated on the display surface. This rubbing provides a visual effect as if the pointer 303 is a part of the pen tip 201 of the input pen 201, facilitates accurate pointing of the object 302, and is intuitive. Pointing is possible.
  • the present invention is not limited to changing the tilt, azimuth, and rotation of the pointer in proportion to the tilt, azimuth, and rotation of the input pen 201.
  • any of the tilt, azimuth, and rotation of the input pen 201 is a power. Or maybe it's proportional to the power root.
  • an electromagnetic induction pen tablet is used as the input device 2, and the detection means (digitizer) of the pen tablet is connected to the display surface of the display device (liquid crystal display) 3.
  • the force exemplified in the case of superposition is not limited to this, and the configuration may be such that both are in different positions.
  • the force described by taking the electromagnetic induction type pen tablet and the liquid crystal display as an example as a combination of the input device 2 and the display device 3 is not limited thereto. It may be a combination of a touch panel and a stylus pen used in a PDA or the like.
  • the shape of the pointer may be any shape as long as the pointing position is visually clear, as shown in FIG. 8A.
  • a three-dimensional arrow-shaped pointer 303b in which a cylinder is connected to the bottom of a cone as shown in FIG. 8B, a conical pointer 303c as shown in FIG. 8C, and an index finger as shown in FIG. 8D It may be the hand-shaped pointer 303d of the person pointing at the object.
  • the pointer 303 is pointed and the point is the force used as the tip of the arrow pointer (the tip of the arrow). Even if it is possible to point, it is possible to make it a part of the pointer other than the pointer.
  • the force in which a folder type object is cited as an example of the object 302 is not limited to this, and the object 302 may have any shape.
  • FIGS. 11 to 13 are schematic diagrams for explaining the three-dimensional pointing method according to the first to third embodiments of the present invention, and FIG. 11 shows a state in the three-dimensional space when operated with the input pen.
  • FIG. 12 is a front view showing a state in the three-dimensional space when operated with the input pen, and FIG. 13 is a flowchart showing the processing procedure of the three-dimensional pointing method of the embodiment 1-3.
  • Example 1 1 and Example 1 2 the pointer display control and pointing on the three-dimensional space 301 represented on the display device 3 are performed in accordance with the operation of the input pen 201 of the input device 2.
  • the pointing method related to the display control of objects was explained.
  • Embodiment 13 it is assumed that the input device 2 and the display device 3 use an electromagnetic induction pen tablet and a liquid crystal display, respectively, as in Embodiment 1-1. Further, it is assumed that the detection means (digitizer) of the pen tablet 2 is overlapped with the display surface of the liquid crystal display 3.
  • the method for pointing the object on the three-dimensional space 301 is the same as that described in the embodiment 11 and the embodiment 12. Therefore, explanation is omitted.
  • the object 302 is pointed after the object 302 is pointed as shown in FIG. 11 and FIG. 12 by the same method as in Example 1-1 or Example 1-2.
  • the operator who confirms the above-mentioned operation performs an operation of holding the object 302 such as pressing the button 201D provided on the input pen 201. Then, when the button 201D of the input pen 201 is pressed and the pen tip 201P of the input pen 201 is in contact with the display surface (detection surface of the detection means) of the display device 3, the input pen 201 is touched.
  • the movement of the input pen 201 is followed as shown in FIGS.
  • the object 302 moves in the three-dimensional space 301. In this way, the object can be moved from its original position to the target position in 3D space.
  • the input information acquisition unit 101 of the system control device 1 receives the position (coordinates) of the input pen 201, the writing pressure, and the orientation ⁇ of the input pen 201 from the detection unit (digitizer) of the display device 2.
  • the information indicating that the button 201D is pressed is acquired together with the detection information of the tilt j8 and the rotation ⁇ around the axis.
  • the system control device 1 includes the button Since the 20 ID is pressed, the operator can know that the operation of moving the object 302 is being performed. Therefore, if the pointing determination unit 104 and the object generation unit 105 generate an object that follows the movement of the input pen 201 and display it on the display device 3, the movement operation of the object 302 as described above is possible. It becomes.
  • step 401 to step 410 as shown in Fig. 13 may be executed in the system control apparatus.
  • step 401 to step 406 is processing until the object 302 on the three-dimensional space 301 is pointed, and the processing from step 401 to step of the processing shown in FIG. This is the same as the processing up to 406. Since the processing from step 401 to step 406 is the same as that described in the embodiment 11 or the embodiment 12, detailed description thereof is omitted.
  • the system control apparatus 1 does not return to the step 402 after pointing in the step 406 and changing the color of the object to be displayed.
  • the input information acquisition unit 101 acquires information on the pointer (step 408).
  • the information acquired at this time includes the position (coordinate) of the pen tip 201P of the input pen 201, the writing pressure, the azimuth and inclination of the input pen 201 described in the embodiments 11 and 12
  • the pointer position ⁇ rotation angle calculation means 102 calculates the position, orientation, length, etc. of the pointer based on the acquired information, and the position of the object.
  • the orientation is calculated (step 409). in front Since the calculation of the position, orientation, length, etc. of the pointer is as described in Example 11 or Example 12 above, detailed description is omitted.
  • the position and orientation of the object may be determined by, for example, the relative positional relationship force between the reference position of the object when the pointing is performed and the pointer and the position calculated by the step 409. Calculate the position and orientation that can be stored in the position.
  • a pointer based on the position, orientation, length of the pointer calculated by the pointer generation means 103 is generated.
  • an object based on the position and orientation of the object calculated by the object generation means 105 is generated, and the display signal is sent from the display control means 106 to the display device 3 to display the pointer and the object (step 410).
  • step 410 When the pointer and the object are displayed in step 410, the process returns to step 407. If the button 201D of the input pen 201 is continuously pressed, the processing from step 408 to step 410 is performed. repeat. Then, when the operator releases the button 201D, the pointer and object moving operation ends.
  • the pointing object is translated in accordance with the movement of the input pen. Can be made.
  • the detection means of the input device 2 is overlapped with the display surface of the display device (liquid crystal display) 3, the operator The input pen can be operated on the display surface. This rubbing provides a visual effect as if the pointer 303 is a part of the pen tip 201 of the input pen 201, facilitates accurate pointing of the object 302, and is intuitive. Pointin Is possible.
  • an electromagnetic induction pen tablet is used as the input device 2, and the detection means (digitizer) of the pen tablet is connected to the display surface of the display device (liquid crystal display) 3.
  • the force exemplified in the case of superposition is not limited to this, and the configuration may be such that both are in different positions.
  • the combination of the input device 2 and the display device 3 is not limited to the force described by taking the electromagnetic induction pen tablet and the liquid crystal display as an example. For example, it is used in a PDA or the like. It can be a combination of the touch panel and stylus pen!
  • the shape of the pointer may be any shape as long as the pointing position is visually clear, as shown in FIG. 8A.
  • a three-dimensional arrow-shaped pointer 303b with a circular cylinder connected to the bottom of the cone as shown in FIG. 8B, a conical pointer 303c as shown in FIG. 8C, and an index finger as shown in FIG. 8D It may be the hand-shaped pointer 303d of the person pointing at the object.
  • the pointer 303 is pointed and the point is the force used as the tip of the arrow pointer (the tip of the arrow). Even if it is possible to point, it is possible to make it a part of the pointer other than the pointer.
  • Example 13 of the present invention a force that uses a folder-type object as an example of the object 302 is not limited to this, and the object 302 may have any shape.
  • the force of moving the input object by moving the input pen 201 while pressing the button 201D of the input pen 201 is not limited to this.
  • the object may be moved by a method such as moving the input pen 201 while pressing a specific key or another switch.
  • FIGS. 14A to 15C are schematic diagrams for explaining the three-dimensional pointing method of the embodiment 1-4 according to the present invention.
  • FIGS. 14A, 14B, and 14C are three-dimensional spaces when operating with an input pen, respectively.
  • FIG. 15A, FIG. 15B, and FIG. 15C are a front view and a right side view showing a state in the three-dimensional space when operated with an input pen, respectively.
  • 15A, 15B, and 15C correspond to FIGS. 14A, 14B, and 14C, respectively.
  • the pointing object 302 on the three-dimensional space 301 expressed by the display device 3 is pointed, and then the pointing object 302 can be moved in parallel. The method was explained.
  • the first embodiment 1 is performed.
  • the input device 2 and the display device 3 are respectively an electromagnetic induction type pen tablet and a liquid crystal display, as in the case of Example 1-1. Further, it is assumed that the detection means (digitizer) of the pen tablet 2 is superimposed on the display surface of the liquid crystal display 3.
  • the method for pointing the object on the three-dimensional space 301 is the method described in the embodiment 11 or the embodiment 12. Therefore, explanation is omitted.
  • the object 302 is pointed after the object 302 is pointed, for example, as shown in FIGS. 14A and 15A by the same method as in the embodiment 1-1 and the embodiment 1-2.
  • the input pen 201 is pressed in a state where the button 201D of the input pen 201 is pressed and the pen tip 201P of the input pen 201 is in contact with the display surface of the display device 3 (detection surface of the detection means).
  • the object 302 force follows the change in the direction of the input pen 201 and tilts in the depth direction in the S3D space 301. . In this way, the object 302 can be tilted in any direction on the three-dimensional space 301.
  • the input information acquisition means 101 of the system control device 1 receives the position (coordinates) of the input pen 201, the writing pressure, the orientation ⁇ of the input pen 201, from the detection means (digitizer) of the display device 2. Information indicating that the button 201D is pressed is acquired together with the detection information of the inclination
  • the system control apparatus 1 can know that the operator performs an operation of moving the object 302. Therefore, if the pointing determination unit 104 and the object generation unit 105 generate an object that follows the change in the direction of the input pen 201 and display it on the display device 3, the movement operation of the object 302 as described above can be performed. It becomes possible.
  • the system control apparatus 1 may execute the processing from step 401 to step 410 as shown in Fig. 13, for example.
  • an object pointing operation and a tilting operation in the depth direction are possible.
  • the pointing object is adjusted in accordance with the change in the direction of the input pen 201. It can be rotated in the same XY plane or tilted in the depth direction.
  • Example 14 if the detection means of the input device 2 is superimposed on the display surface of the display device (liquid crystal display) 3, the operator can The input pen can be operated on the display surface. This rubbing provides a visual effect as if the pointer 303 is a part of the pen tip 201 of the input pen 201, facilitates accurate pointing of the object 302, and is intuitive. Pointing is possible.
  • an electromagnetic induction pen tablet is used as the input device 2, and the detection means (digitizer) of the pen tablet is connected to the display surface of the display device (liquid crystal display) 3.
  • the force exemplified in the case of superposition is not limited to this, and the configuration may be such that both are in different positions.
  • the force described by taking the electromagnetic induction type pen tablet and the liquid crystal display as an example as a combination of the input device 2 and the display device 3 is not limited thereto. It may be a combination of a touch panel and a stylus pen used in a PDA or the like.
  • the shape of the pointer may be any shape as long as the pointing position is visually clear, as shown in FIG. 8A.
  • a three-dimensional arrow-shaped pointer 303b with a circular cylinder connected to the bottom of the cone as shown in FIG. 8B, a conical pointer 303c as shown in FIG. 8C, and an index finger as shown in FIG. 8D It may be the hand-shaped pointer 303d of the person pointing at the object.
  • the point where the pointer 303 is pointing is the force used as the tip of the arrow pointer (the tip of the arrow). Even if it is possible to point, it is possible to make it a part of the pointer other than the pointer.
  • a force that takes a folder-type object as an example of the object 302 is not limited to this, and the object 302 may have any shape.
  • the force of moving the input pen 201 while moving the input pen 201 while pressing the button 201D of the input pen 201 is not limited to this.
  • the object may be moved by a method such as moving the input pen 201 while pressing a specific key or another switch. In this case, in step 407 shown in FIG. 13, it is determined whether or not the input information corresponding to the operation of moving the object has been acquired.
  • Example 14 the operation method for rotating the pointed object 302 within the same XY plane or tilting the object 302 in the depth direction has been described. By adding an operation method for parallel movement as described in Example 1-3, it is possible to perform more various object operations.
  • FIGS. 16A to 20 are schematic diagrams for explaining the three-dimensional pointing method of Embodiments 1-5 according to the present invention.
  • FIGS. 16A and 16B show the principle of the display device (DFD) used in Embodiment 15 of the present invention.
  • FIG. 17A is a front view, a right side view, and a bottom view showing an example of a three-dimensional space represented on the display device
  • FIG. 17B is a bird's-eye view showing an example of the three-dimensional space represented on the display device
  • FIG. 18B, 18C, and 18D are bird's-eye views showing the state in the three-dimensional space when operated with the input pen
  • FIGS. 19A, 19B, 19C, and 19D are three-dimensional images when operated with the input pen.
  • FIG. 20 is a flowchart showing the processing procedure of the three-dimensional pointing method according to the embodiment 15 of the present invention.
  • 19A, 19B, 19C, and 19D are respectively shown in FIGS. 18A, 18B, 18C, and 18D. Suppose that it is a corresponding figure.
  • Example 1 3 and Example 1 4 the object 302 in the three-dimensional space 301 represented on the display device 3 is pointed by the method described in Example 1 1 or Example 1 2. Subsequently, a description has been given of a three-dimensional pointing method capable of performing operations such as moving or rotating the pointed object 302 in the XY plane and tilting the object 302 in the depth direction. However, after pointing the object 302 in the three-dimensional space 301, the operator continuously performs operations such as editing and deformation that are performed only by moving and rotating the object 302. There are also two-dimensional GUI operations.
  • the method described in the first and third embodiments and the first to fourth embodiments for example, an object in the back (distant) of the three-dimensional space 301 when viewed from the operator.
  • the operator When pointing and operating, the operator must operate the input pen 201 in a state where the writing pressure is increased in order to maintain the state in which the object is pointed. Therefore, in the present Example 15, after pointing the object, the pointed object is automatically moved to a position where a two-dimensional GUI-like operation can be applied, and the operator can edit or deform the target object.
  • a 3D pointing method that can be operated to return to the 3D position desired by the operator after it has been performed will be described.
  • the input device 2 uses the same electromagnetic induction pen tablet as in each of the above embodiments, and a DFD is used as the display device 3 capable of expressing the three-dimensional space. Taking the case of using as an example, the pointing method and the following object operation method will be explained.
  • the DFD is a display device in which two or more display surfaces are arranged so as to overlap each other when viewed from an observer (operator), for example, as shown in FIGS. 16A and 16B.
  • an observer for example, as shown in FIGS. 16A and 16B.
  • the detailed configuration and operation principle of the DFD are described in, for example, the specification of Japanese Patent No. 3022558 and the specification of Japanese Patent No. 3460671, and detailed description thereof is omitted.
  • the simple operation of the DFD is described. Only the principle will be explained.
  • the pointer 302 and the object 303 displayed on the DFD are displayed on both the front display surface 3A and the back display surface 3B as seen from the operator, for example, as shown in FIG. 16A.
  • the DFD is a luminance modulation type
  • the object 303A on the front display surface 3A is displayed with luminance L
  • the object 303B on the rear display surface 3B is displayed with luminance L.
  • the object 303 is displayed at a depth position where the ratio of the distance from the front display surface 3A and the distance from the back display surface 3B in the three-dimensional space is L: L.
  • one object 303 can be displayed tilted in the depth direction. it can.
  • the brightness of the object 303A on the front display surface 3A increases as it moves downward from the top of the paper
  • the brightness of the object 303B on the back display surface 3B increases from the bottom of the paper. Try to grow as you go up! Therefore, the operator can observe the three-dimensional object 303 in which the upper side of the paper is inclined to the back and the lower side of the paper is inclined to the front.
  • the DFD is a transmission type
  • the object 303A on the front display surface 3A is displayed, and the transparency of each point (pixel) in the area is adjusted.
  • a stereoscopic image of the pointer 302 and the object 303 can be displayed at an arbitrary depth position between the front display surface 3A and the back display surface 3B, similarly to the luminance modulation type DFD.
  • a process for projecting and displaying the three-dimensional space expressed above on a two-dimensional plane is necessary.
  • a three-dimensional display device it is only necessary to set the luminance ratio of points (pixels) on each display surface according to the position in the depth direction of the three-dimensional space! It is possible to reduce the load on the machine.
  • the 3D space to be displayed is projected and displayed on a 2D plane, so that some operators have the same feeling as in real space.
  • a pointing operation can be performed with a sense closer to real space. For these reasons, by using a 3D display device such as the DFD, the operator is more accurate and faster than a pointing operation using a general 2D display. 3D depth can be pointed.
  • the detection means (digitizer) of the input means (pen tablet) 2 is connected to the display surface of the DFD as described in the above embodiments. It is possible to superimpose. Further, in the case of the electromagnetic induction type pen tablet, since there is a detectable range of ⁇ on the detection surface of the detection means, the pen can be used even if the pen tip of the input pen is not in contact with the detection surface. It is possible to detect information such as the position 'tilt' orientation. Therefore, even if there is a space between the display surfaces such as DFD, information such as the pen position 'tilt' orientation can be acquired if the detection means is placed behind the DFD display device.
  • the detection means is often arranged on the back side of the display surface.
  • the detection means is a transparent electrode, it can be arranged on the front side of the display surface. In this way, by superimposing the detection means on the display surface of the DFD, the input pen can be operated on the front display surface of the DFD and direct pointing can be performed. Therefore, it is assumed that the detection means of the electromagnetic induction pen tablet 2 and the display surface of the DFD are also overlapped in this embodiment 1-5.
  • the display surface of the DFD 3 is assumed to be two, and as shown in FIGS. 17A and 17B, the three-dimensional space 301 represented in the DFD 3 Assume that a coordinate system ⁇ corresponding to the coordinate system ⁇ shown in Fig. 2 is set, and the object 302 is placed at the position ⁇ ⁇ 0 in the three-dimensional space 301. In addition, it is assumed that the operator who operates the input pen 201 of the input device 2 is observing the plane of the three-dimensional space 301 from the direction of ⁇ > 0.
  • the operator performs, for example, the method described in Example 1 1 or Example 1 2 as shown in FIG. As shown in FIG. 8A and FIG. 19A, it is assumed that an object 302 displayed three-dimensionally on the three-dimensional space 301 is pointed. Then, the operator confirms that the object 302 is pointed by a change in the color of the object 302, for example, when the button 201D provided on the input pen 201 is pressed once, For example, as shown in FIGS. 18B and 19B, the pointed object 302 is displayed as a two-dimensional object on the display surface in front of the DFD, and the pointer 303 disappears. In FIG.
  • DFD is used in this process.
  • Three-dimensional display is not performed, and the image is displayed as a projection image on the display surface in front of the DFD as 2D.
  • the operator performs a target operation such as writing a character on the object 302 as an operation of the two-dimensional GUI.
  • a target operation such as writing a character on the object 302 as an operation of the two-dimensional GUI.
  • the button 201D on the input button 201 is pressed again, the pointer 303 appears again, and the procedure described in the first and third embodiments and the first to fourth embodiments is followed.
  • the object 302 can be moved to a three-dimensional position desired by the operator or tilted in the depth direction.
  • step 401 to step 415 the processing from step 401 to step 415 as shown in FIG.
  • the processing from step 401 to step 406 described in the embodiment 11 and the embodiment 12 is performed, and the object on the three-dimensional space 301 expressed in the display device 3 is processed.
  • Point 302. If the object 302 pointed to in step 406 is displayed in a different color, the operator then presses the button 201D of the input pen 201 as shown in FIG. It is determined whether or not an operation for starting the operation / editing of the inked object 302 is performed (step 411). If the operation for starting the 2D GUI operation “edit” processing is not performed, the process returns to step 402 and waits until the next input information is acquired.
  • Step 412 and Step 413 the object 302 can be manipulated and edited in a two-dimensional GUI.
  • a two-dimensional GUI-like operation from the input pen 201 is received and executed (step 414).
  • the operator has performed the operation for ending the two-dimensional GUI-like operation 'editing' such as pressing the button 201D of the input pen 201 again.
  • Judge (Step 415). At this time, if the operation for finishing the 2D GUI operation 'editing' processing is not performed, the process returns to step 414 to accept and execute another 2D GUI operation 'editing' processing. .
  • the pointing object 302 can be moved, rotated, and tilted (deformed) in three dimensions.
  • the modeler that performs the three-dimensional pointing operation by performing a specific operation such as pressing the button 201D of the input pen 201 also allows the object to be displayed.
  • 2D GUI-like operation Switches to the mode for 'editing' processing.
  • the information acquired by the input information acquisition means 101 of the system control device 1 is processed as information for performing the two-dimensional GUI operation “edit” processing of the object.
  • a 2D GUI-like operation 'edit' processing is performed by pointing an object behind the operator's power, it is necessary to maintain a state where the pen pressure of the input pen 201 is increased. There is no. As a result, the operator's fatigue can be reduced.
  • the detection means (digitizer) of the electromagnetic induction pen tablet that is the input device 2 is superimposed on the display surface of the DFD that is the display device 3 that can display a three-dimensional space.
  • the present invention is not limited to this, and the configuration may be such that both are in different positions.
  • the DFD is used as the display device 3.
  • the present invention is not limited to this, and a display device such as a liquid crystal display as described in the above Examples 1-1 to 1-4. Use ⁇ .
  • the force that mentioned a two-dimensional quadrangular object as an example of the target object 302 is not limited to this, and the shape of the object 302 is any shape. May be.
  • the force of moving the input object by moving the input pen 201 while pressing the button 201D of the input pen 201 is not limited to this.
  • the object may be moved by a method such as moving the input pen 201 while pressing a specific key or another switch.
  • the object 302 is directly edited, for example, as shown in FIG.
  • 302 is an object that represents a file and a 2D GUI operation is performed after pointing to it
  • the file opens, the contents are edited on the 2D GUI by the operator, and the file is closed. It can be moved to the desired 3D position.
  • FIG. 21A to FIG. 27 are schematic diagrams for explaining the three-dimensional pointing method of the embodiment 1-6 according to the present invention.
  • FIG. 21A is a front view and a right side view showing an example of a three-dimensional space represented on the display device.
  • Fig. 21B is a bird's-eye view showing an example of a three-dimensional space represented on the display device.
  • Fig. 22A, Fig. 22B, Fig. 22C, Fig. 23A, Fig. 23B, and Fig. 23C are each operated with an input pen.
  • FIG. 26 is a flowchart showing the processing procedure of the three-dimensional pointing method of Embodiment 1-6
  • FIG. 27 is a flowchart showing a modification of the processing procedure of the three-dimensional pointing method of Embodiment 16.
  • 24A, 24B, and 24C correspond to FIGS.22A, 22B, and 22C, respectively
  • FIGS.25A, 25B, and 25C correspond to FIGS.23A, 23B, and 23C, respectively.
  • FIG.23A, 23B, and 23C respectively.
  • the three-dimensional pointing method of Example 16 is one of the application examples of the three-dimensional pointing method described in Example 15 above, and an object 302 in a three-dimensional space 301 is used as Example 1.
  • the pointed object 302 is automatically moved to the heel position where the operator can easily operate, that is, the position where the previous 2D GU Fujisaku can be applied.
  • the operator performs the desired editing and processing.
  • the object 302 moves in the 3D depth direction until it interferes with other objects in the 3D depth direction with the operator's power.
  • This is a pointing method for changing the state of an object that has moved according to the attributes of the other object after interfering with the other object.
  • Example 16 similarly to the Example 15, the case where an electromagnetic induction pen tablet is used as the input device 2 and a DFD is used as the display device 3 is taken as an example. A method and an object operation method will be described.
  • the detection means (digitizer) of the input device (pen tablet) 2 is provided integrally with the display surface of the display device (DFD) 3.
  • FIGS. 21A and 21B a three-dimensional space 301 expressed between two display surfaces of the DFD 3 is shown.
  • the coordinate system XYZ is set, and the object 302 and the window 304 are arranged at the position 0 in the three-dimensional space 301.
  • an operator who wants to operate the object 302 first points the object 302 by the method described in the embodiment 11 or the embodiment 12. To do. Then, it is confirmed that the pointing has been made due to a change in the color of the object 302. For example, when the button 201D provided on the input pen 201 is pressed once, the pointing is performed as shown in FIGS. 22B and 24B.
  • the displayed object 302 is displayed as a two-dimensional object on the display surface in front of the DFD, and the pointer 303 disappears.
  • the object 302 is an object with no thickness in the z direction. However, even if the object 302 is a solid object with a thickness in the force direction, DFD is used in this process. Three-dimensional images are displayed as projection images on the display device in front of the DFD as 2D.
  • the object 302 When pressed, the object 302 moves in the three-dimensional depth direction (z 0) as viewed from the operator until it interferes with the window 304, as shown in FIG. 23B and FIG. 25B. At this time If an animation is made such that the z coordinate of the three-dimensional depth direction of the object 302 decreases stepwise, the movement process is easily transmitted to the operator.
  • an operation of moving the object 302 on the window as an attribute of the window 304 is executed.
  • the system control device 1 executes the processing from step 401 force to step 406, step 411 to step 419 as shown in FIG. do it.
  • the system control device 1 first performs the processing from step 401 to step 406 described in the embodiment 1-1 and the embodiment 1-2, and the three-dimensional space expressed in the display device 3.
  • the operator presses the button 201D of the input vane 201 as shown in FIG.
  • the pointed object 302 is subjected to a two-dimensional GUI-like operation 'edit' to determine the key for performing the operation (Step 41 Do, and the two-dimensional GUI-like operation 'edit' is started. If no operation has been performed, the process returns to step 402 and waits until the next input information is obtained.
  • step 412 and step 413 the object 302 can be manipulated and edited in a two-dimensional GUI.
  • step 414 Two-dimensional GUI-like operation After the “edit” processing is enabled, the two-dimensional GUI-like operation from the input pen 201 is received and executed (step 414). Step 4 above After the process of 14, the operator determines the force of performing the operation for ending the two-dimensional GUI-like operation 'editing' such as pressing the button 201D of the input pen 201 again (step 415). At this time, if the operation for ending the 2D GUI operation 'editing' processing is not performed, the process returns to step 414 to accept and execute another 2D GUI operation 'editing' processing. .
  • the system control apparatus 1 includes other objects such as the window 304 that interfere with the object 302. It is determined whether or not there is an object (step 417). If there is an interfering object, the object 302 stops moving in the three-dimensional depth direction at the time of the interference and interferes with the object 302. The attributes of other objects are executed (step 418).
  • the depth position determined by compelling the object 302, for example, the same depth position as before the processing after step 411 is performed. And display it (step 419).
  • step 415 that is, after returning to the state where the two-dimensional G UI operation is possible and the state where a three-dimensional pointing operation is possible
  • the force of automatically moving the object 302 in the depth direction is not limited to this, and the operator operates the input pen 201 by the method described in the first and third embodiments.
  • the object 302 may be moved in the depth direction.
  • the system controller 1 As shown in FIG. 27, the processing from step 401 to step 415, step 417, step 418, step 420, and step 421 may be executed.
  • step 401 to step 406, step 411 to step 415) from pointing to the object 302 on the three-dimensional space 301 expressed in the DFD 3 and performing a two-dimensional GUI operation is shown in FIG. Since the same processing as the processing procedure shown in the above may be performed, description thereof is omitted.
  • step 415 for example, after confirming an operation of returning from a state in which a two-dimensional GUI operation is possible, such as pressing the button 201D of the input pen 201 once, to a state in which a three-dimensional pointing operation is possible
  • the object 302 is pointed by the procedure (step 402 ′ to step 406 ′) as described in the embodiment 11 and the embodiment 12.
  • step 407 it is next checked whether or not the button 201D of the input pen 201 has been pressed (step 407).
  • the steps as described in the embodiments 1-3 and 1-4 are subsequently performed in accordance with the operation of the input pen 201. From step 408 to step 410, the object 302 is moved three-dimensionally, rotated or deformed.
  • the system control apparatus 1 performs the processing from step 408 to step 410, and interferes with the object 302 while the object 302 is moved, rotated, or deformed three-dimensionally.
  • Check if there are other objects step 4 17). If there is another object that interferes, for example, the color of the other object that interferes is changed (step 420). At the same time, the color of the other object that interferes is changed and displayed, and the force in which the button 201D of the input pen 201 is pressed is confirmed. If the button 201D is being pressed, the processing from step 408 is continued, and the three-dimensional movement, rotation, or deformation of the object 302 is continued.
  • the operator can easily operate the pointed object 302.
  • the object 302 is moved to the position automatically, and the target editing and processing are performed by the conventional 2D GUI operation.
  • the state of the moved object 302 can be changed according to the attribute of the other object.
  • the moderator that performs the three-dimensional pointing operation by performing a specific operation such as pressing the button 201D of the input pen 201 can also change the object.
  • 2D GUI-like operation Switches to the mode for 'editing' processing.
  • the information acquired by the input information acquisition means 101 of the system control device 1 is processed as information for performing the two-dimensional GUI operation “edit” processing of the object.
  • a 2D GUI-like operation 'edit' processing is performed by pointing an object behind the operator's power, it is necessary to maintain a state where the pen pressure of the input pen 201 is increased. There is no. As a result, the operator's fatigue can be reduced.
  • the detection means (digitizer) of the electromagnetic induction pen tablet that is the input device 2 is superimposed on the display surface of the DFD that is the display device 3 that can display a three-dimensional space.
  • the present invention is not limited to this, and the configuration may be such that both are in different positions.
  • a DFD is used as the display device 3, but the present invention is not limited to this, and a display device such as a liquid crystal display as described in Examples 1-1 to 1-4 is used. Use ⁇ .
  • a two-dimensional quadrangular shape is used as an example of the target object 302 .
  • the force enumerating the object not limited to this, the shape of the object 302 may be any shape.
  • the force that moves the input pen 201 while moving the input pen 201 while pressing the button 201D of the input pen 201 is not limited to this.
  • the object may be moved by a method such as moving the input pen 201 while pressing a specific key or another switch. In that case, in step 407, step 411, and step 415 shown in FIG. 20, it is sufficient to determine whether or not the input information corresponding to each operation is acquired.
  • Example 1-6 as an example of directly editing the object 302, for example, the power given when writing the letter "B" as shown in Fig. 22C.
  • 302 is an object that represents a file and a 2D GUI operation is performed after pointing to it, the file opens, the contents are edited on the 2D GUI by the operator, and the file is closed. It can be moved to the desired 3D position.
  • the window 304 is given as an example of the other object, and the case where the attribute of moving a file when it interferes with the window 304 has been described.
  • FIGS. 28A to 32C are schematic diagrams for explaining a method of deleting an object by the three-dimensional pointing method of the embodiment 16 and FIG. 28A is a three-dimensional space represented on the display device.
  • FIG. 28B is a bird's eye view showing an example of a three-dimensional space represented on the display device
  • FIGS. 29A, 29B, 30A, 30B, and 30C are input pens, respectively.
  • Figure 31 is a bird's-eye view showing the situation in 3D space when operated with A
  • FIG. 31B, FIG. 32A, FIG. 32B, and FIG. 32C are front views showing the inside of the three-dimensional space when operated with the input pen, respectively.
  • 31A and 31B are diagrams corresponding to FIGS. 29A and 29B, respectively
  • FIGS. 32A, 32B, and 32C are diagrams corresponding to FIGS. 30A, 30B, and 30C, respectively.
  • the object 302 can be moved to the trash can object and deleted, for example, by simply moving the object 302 to the window 304. Therefore, as shown in FIG. 28A and FIG. 28B, a coordinate system XYZ is set between the three-dimensional sky 301 expressed between the two display surfaces of the DFD 3, and the object 302 and the trash can 305 are The procedure for deleting the object 302 will be described by taking as an example a case where it is arranged at a position of z ⁇ 0 in the three-dimensional space 301.
  • the operator who wishes to delete the object 302 first operates the input pen 201 and points to the object 302, as shown in FIG. Then, with the object 302 to be deleted pointing, for example, when a specific operation such as pressing the button 201D of the input pen 201 is performed once, the pointed object is displayed as shown in FIGS. 29B and 31B.
  • 302 moves to the front display surface and changes to a state where two-dimensional GUI operation is possible.
  • the operator moves the pointing object 302 to the trash can 305 and presses the button 201D of the input pen 201 once again.
  • the state in which the 2D GUI operation can be performed returns to the state in which the 3D pointing can be performed. Then, in the case of the procedure as shown in FIG. 26, the processing performed by the system control device 1 returns to the state where 3D pointing is possible, and then the object 302 automatically moves in the 3D depth direction ( z), the object 302 disappears as shown in FIG. 30B and FIG. 32B, and the trash can 305 is displayed with dust (object) in it. Switch to
  • the processing power performed by the system control device 1 is the procedure as shown in FIG. 27, after the operator returns to the state where the three-dimensional pointing is possible, the operator moves the input pen 201. To move the object 302 in the three-dimensional depth direction. Then, when the object 302 interferes with the trash can, FIG. 30C and FIG. 32C As shown, the display of the object 302 disappears, and the trash box 305 is switched to a display of a state in which trash (object) enters!
  • any object can be used as long as an object that interferes with the object 302 can execute an attribute on the object 302. Even an object with attributes! /.
  • FIGS. 33 to 36C are schematic diagrams for explaining the three-dimensional pointing method of the embodiment 1-7 according to the present invention.
  • FIGS. 33 and 34 are the inputs used in the three-dimensional pointing method of the embodiment 1-7.
  • Fig. 35A, Fig. 35B, and Fig. 35C are diagrams showing examples of pen configurations.
  • Fig. 36A, Fig. 36B, and Fig. 36C are input pens, respectively. They are a front view and a right side view showing a state in the three-dimensional space when operated. Note that FIGS. 36A, 36B, and 36C correspond to FIGS. 35A, 35B, and 35C, respectively.
  • the pen tip 201P is used as the input pen when performing the three-dimensional pointing method as described in the above Examples 1-1 to 1-6.
  • a pointing method using an input pen that is pushed into the housing of the input pen 201 in accordance with the height of the input pen 201 will be described.
  • the input pen 201 used in this embodiment 1-7 has a panel 201E inside the casing, and the operator applies pressure to the input pen 201.
  • the pressure detection means 201F has a structure that senses pressure from the repulsive force of the panel 201E when it is picked up.
  • the configuration of the input pen 201 is not limited to the configuration shown in FIG. 33.
  • a pneumatic piston 201G is used and the pressure applied to the air pressure sensing unit 201H is applied. It may be a structure that senses.
  • the pressure detected by the input pen 201 having the structure shown in FIG. 33 or FIG. 34 is processed by the system control device 1, and for example, a pointer 303 having a length proportional to the pressure applied by the operator is displayed. Displayed on device 3.
  • Example 1-7 as an example of performing pointing of the three-dimensional space represented on the display device 3 using the input pen 201 having the configuration shown in FIG. 33 or FIG. 34, A case where the pointing method described in Example 1-1 is performed will be described.
  • the input device 2 and the display device 3 respectively use an electromagnetic induction type pen tablet and a liquid crystal display as in the case of the embodiment 11.
  • the detection means (digitizer) of the input device 2 is superimposed on the display surface of the liquid crystal display 3.
  • the size of the conical pointer 303 is pushed into the housing of the pen tip 201P of the input pen 201
  • the visual effect that the pointer 303 is a part of the pen tip 201P is further enhanced as compared with the method as described in the embodiment 11.
  • Example 1-7 as an example of the input pen 201 having a structure in which the pen tip is recessed, as shown in FIGS. 33 and 34, an input pen of a mechanism using a panel and air pressure is given.
  • an input pen of another mechanism may be used as long as the same effect can be obtained.
  • An input pen of another mechanism may be used instead of providing the pressure detection unit 201F and the air pressure detection unit 201H inside the pen housing, for example, if a similar effect is obtained, for example, by providing a mechanism for measuring the amount of movement of the pen tip 201P.
  • the case where the three-dimensional pointing method described in the embodiment 1-1 is performed is taken as an example.
  • the same pointing method as described in Example 1-6 is also shown in Figs. 33 and 34.
  • the input pen 201 having such a configuration can be used.
  • FIGS. 37A to 40C are schematic diagrams for explaining the three-dimensional pointing method of the embodiment 1-8 according to the present invention, and FIGS. 37A, 37B, 37C, 38A, 38B, and 38C are the same.
  • a bird's-eye view showing the state in the three-dimensional space when operating with the input pen, respectively, Fig. 39A, Fig. 39B, Fig. 39C, Fig. 40A, Fig. 40B, and Fig. 40C are the three-dimensional sky when operated with the input pen, respectively.
  • It is a front view which shows the mode in between. 39A, 39B, and 39C are diagrams corresponding to FIGS. 37A, 37B, and 37C, respectively, and FIGS. 40A, 40B, and 40C are FIGS. 38A, 38B, and 38C, respectively.
  • FIGS. 38A, 38B, and 38C are FIGS. 38A, 38B, and 38C, respectively.
  • a display screen capable of three-dimensional display as a specific use scene of the three-dimensional pointing method as described in the embodiments 1-1 to 1-6.
  • An example is a remote control with a built-in pen tablet detection means for operating the music playback function.
  • the display control procedure of the pointer and the object on the display screen of the remote control when the input pen 201 is operated is the same as the procedure described in the Example 11 to Example 1-7. Since they may be the same, detailed description is omitted.
  • the operator uses the input pen 201 in which the pen tip 201P is pushed into the housing, as described in Example 1-7, for example, as shown in FIGS. 37A and 39A.
  • the object displayed in the three-dimensional space 301 of the remote controller is operated.
  • the display switches to a state where the playback button 302a is pressed, and music is displayed. Generation is started.
  • the input pen 201 is operated to point to the volume knob 302b.
  • the knob 302b is When the input pen is moved to rotate, the volume of the music being played can be increased or decreased.
  • the operation is not limited to the operation shown in Fig. 37C and Fig. 39C.
  • Fig. 38A and Fig. 40A After pointing the knob 302b, move the input pen 201 around the axis. By rotating, the knob 302b is rotated to increase or decrease the volume.
  • FIGS. 38B and 40B when an area 302c displaying information related to the music being played is pointed with the input pen 201, as shown in FIGS. 38C and 40C, If the region 302c is switched to a two-dimensional display so that a two-dimensional G UI operation can be performed, for example, in combination with a handwritten character recognition function, the music to be reproduced in the region 302c can be displayed. You can enter a track number and skip to the desired track number.
  • Example 1-8 an example of the operation of a music device using a remote controller has been shown.
  • the present invention is not limited to this.
  • a PDA, mobile phone, kiosk terminal, ATM It can be applied to the operation of devices that can take the same form, and each device can be operated more intuitively.
  • music is played, the volume is raised, and the track is changed.
  • the present invention is not limited to this, and any operation associated with the operation in the input bin 201 may be performed. Any operation is possible
  • handwriting recognition is used to input the track number. Any method can be used as long as it can be realized by a 1S two-dimensional GUI. For example, a pull-down menu The track number may be displayed with and the input pen 201 may be used for the input method.
  • the 3D pointing device does not have to be a dedicated device specialized for realizing the 3D pointing method.
  • a three-dimensional pointing program that causes the computer to execute the three-dimensional pointing method as described in the above embodiments.
  • the three-dimensional pointing program can be recorded in any of magnetic, electrical, and optical formats as long as it is recorded in a state that can be read by the computer. It may be recorded on a recording medium.
  • the three-dimensional pointing program can be provided through a network such as the Internet, which is not only recorded and provided on the recording medium.
  • the second embodiment corresponds to the first object of the present invention in the same manner as the first embodiment.
  • the pointer is controlled in accordance with the pen pressure or inclination of the input pen, while in the second embodiment, the contact time of the pen tip of the input pen or the input pen The pointer is controlled according to the amount of operation of the attached operating means. Since the first embodiment and the second embodiment are the same as trying to achieve different forces in the operation of the input pen for controlling the pointer, the first embodiment is appropriately The second embodiment will be described with reference to the drawings.
  • the 3D pointing method of the second embodiment uses a pen-type input device (means) to point an object in a 3D space represented on a display device capable of 3D display. Or operating a pointed object.
  • the pen-type input device is, for example, a contact between an input pen (electronic pen) that is operated by an operator who performs pointing and operation of the object, such as a pen tablet, and a pen tip of the input pen.
  • detecting means for detecting information such as presence / absence, position, axis direction, and operation information of the operating means provided in the input pen.
  • the pointer is placed in the three-dimensional space represented on the display device. Display.
  • the operator can point the objectat in the three-dimensional space represented on the display device with the pen tip of the input pen in contact with the detection surface of the detection means. And the operator's fatigue can be reduced during long-term pointing and object control operations.
  • the time in which the pointer is continuously pointed with the pen tip of the input pen or the operation status of the operation means of the input pen is moved in the depth direction of the pointer.
  • the third order expressed in the display device by corresponding to the deformation. make it possible to point to a point in the original space.
  • the operator can display the pointer displayed on the three-dimensional space represented on the display device. You can feel the force as part of the pen tip of your input, and you can easily and intuitively point to 3D objects.
  • an operation of selecting or grasping the pointed object is performed to edit and process the object in a two-dimensional GUI.
  • processing (operation) such as editing and processing of the object is completed
  • the object is treated as a three-dimensional object again so that it can be moved to a three-dimensional position desired by the operator.
  • the operation of the 3D object can be realized with the same operation as that of the conventional 2D GUI using the existing pen-type input device. Therefore, for example, the operator does not need to newly learn the operation of the three-dimensional input pen for operating the object.
  • FIG. 41 is a diagram showing a configuration example of a system that realizes the three-dimensional pointing method of the present embodiment.
  • 1 is a system controller
  • 101 is input information acquisition means
  • 102 is pointer position Z rotation angle calculation means
  • 103 is pointer generation means
  • 104 is pointing determination means
  • 105 is object generation means
  • 106 is display Control means 107
  • processing control means 108 storage means 108
  • 2 an input device
  • 3 a display device 3
  • FIG. 42 is a diagram showing a configuration example of an input pen used in the three-dimensional pointing method of the present embodiment.
  • 201 is an input pen
  • 201A is a coil
  • 201B is a coil for detecting a rotation angle
  • 201D is an operation means (button)
  • 201D and 201D are seesaw type buttons or wheels or
  • a slide bar 201D is a push button. In the following explanation, there is a particular description.
  • 201D and 201D are seesaw-type buttons, and 201D is a push button.
  • the input pen 201 is not limited to the above mechanism as long as it performs the same function.
  • the three-dimensional pointing method of the present embodiment is, for example, a system control device such as a PC. Using the pen-type input device connected to a device, a pointer in a three-dimensional space represented on a display device connected to the system control device or an object pointed with the pointer is displayed in a three-dimensional manner. This is a preferred pointing method that is applied when operating.
  • the system control device 1 acquires the input information input means 101 for acquiring the input information input from the input device 2 and the input information acquisition means 101.
  • the input information is information related to the control of the pointer, based on the input information!
  • Input time information processing means 109 for calculating a pointer position Z rotation angle calculation means 102 for calculating a pointer movement direction and amount, a rotation direction and a rotation angle based on the input information
  • Pointer position Z rotation angle calculation means 102 generates a pointer based on the calculation result of the pointer generation means 103 and the pointer generated by the pointer generation means 103 is pointed to
  • Pointing determination means 104 for determining whether or not the object has a force, and when there is an object that is pointed, for example, a position where the color of the object is changed or the movement or rotation of the pointer is followed
  • An object generation means 105 for generating an object of a direction and a display control means 106 for displaying the pointer generated by the pointer generation means 103 and the object generated by the object generation means 105 on the display device 3.
  • the system control device 1 is a device that activates and operates software according to input information from the input device 2 or controls other devices, such as the PC, for example.
  • processing control means 107 for controlling processing such as software activation, data used in processing by the processing control means 107, and the like are stored.
  • Storage means 108 is provided.
  • the display control means 106 includes the system control in addition to the pointer and the object. It is assumed that the display device 3 can display the contents of the process being executed by the apparatus 1 (process control means 107) and the result of the process.
  • the input device 2 is, for example, whether or not an input pen (electronic pen) held by an operator who operates the pointer or the object and the pen tip of the input pen are in contact with each other. It is also assumed that the detection means has a detection surface for detecting information such as a position, a state of an operation means such as a button provided in the input pen, a tilt, a direction, and a rotation angle of the input pen.
  • the Cartesian coordinate system XYZ corresponding to the three-dimensional space represented on the display device 3 is taken on the detection surface of the detection means as shown in FIG. Assuming that the XY plane of the default coordinate system XYZ is the detection surface, when the pen tip 201P of the input pen comes into contact with the detection surface (XY plane), the detection means determines whether or not the pen tip 201P is in contact.
  • the presence or absence of contact of the pen tip 201P of the input pen, the coordinates (X, y) of the contact position, the azimuth ⁇ and the inclination of the axis 201 of the input pen housing The configuration of the input device 2 capable of detecting information such as rotation ⁇ around the axis is described in, for example, Reference 1 (Yuji Mitani, “Basics and Applications of Touch Panel,” Techno Times, 2001.) and references 2 (the catalog of intuos2 manufactured by WACOM Co., Ltd.) etc. can be easily guessed by those skilled in the art and can be realized easily.
  • the angle of the rotation ⁇ around the axis 2011X of the input pen housing cannot be obtained by the structure described in Reference Document 1 or Reference Document 2.
  • the coordinate indicator described in the reference document 1 inside the input pen 201 is used.
  • another coil 201B for detecting the rotation ⁇ around the axis is added, and the change in the magnetic flux interlinking between the coils 201A and 201B is obtained, and the amount of rotation is calculated. This can be easily imagined and realized by those skilled in the art.
  • the input pen 201 used in the three-dimensional pointing method of the present embodiment does not have to have a mechanism for detecting the angle of the rotation ⁇ around the axis as shown in FIG. [0265]
  • the input device 2 is not limited to a device in which the input pen and the detection means are separated, such as a pen tablet or a stitch panel and a stylus pen, for example, a pen tablet.
  • the input means may be an input device in which the detection means is incorporated in the housing of the input pen! /.
  • the display device 3 may be any display device that can represent a three-dimensional space. For example, a three-dimensional object is projected and displayed on a two-dimensional plane such as a CRT display or a liquid crystal display. Even a 2D display device, such as a HMD (Head Mount Display) or DFD, can display and display a 3D stereoscopic image. That is, the display device 3 may be any display device as long as the operator can perceive the displayed pointer or object three-dimensionally.
  • a two-dimensional plane such as a CRT display or a liquid crystal display.
  • a 2D display device such as a HMD (Head Mount Display) or DFD, can display and display a 3D stereoscopic image. That is, the display device 3 may be any display device as long as the operator can perceive the displayed pointer or object three-dimensionally.
  • the detection means of the input device 2 and the display device 3 can also take an integrated form (see, for example, JP-A-5-073208) 0
  • the detection means can be integrated with the display device 3 so as to overlap the display surface of the display device 3.
  • a form in which a touch panel and a stylus pen are combined can be applied. In this way, the operator can make a pointing by bringing the input pen into contact with the display surface of the display device 3 such as a liquid crystal display, and the detection means and the display device 3 are separated.
  • the detection means and the display device 3 are physically integrated like a general pen tablet which does not limit the configurations of the detection means of the input device 2 and the display device 3. It ’s not necessary.
  • Example 2-1 is an example in which an object is selected or grabbed in the same manner as Example 1-1, and will be described with reference to FIGS.
  • the processing procedure of Example 2-1 will be described with reference to FIG. Note that in FIG. 5B and FIG. 6B, the force in which the arrow indicating the direction in which the pressure is applied to the input pen is described, this example does not have this arrow.
  • the three-dimensional pointing method of the embodiment 2-1 uses the pen tip 201P of the input pen 201. Using the seesaw-type buttons 201D and 201D in contact with the detection surface of the detection means, 3
  • Example 2-1 an electromagnetic induction pen tablet is used as the input device 2, and a liquid crystal display is used as the display device 3 capable of displaying the three-dimensional space. Further, the detection means (digitizer) of the input device 2 is superimposed on the display surface of the liquid crystal display 3, and can be operated by pointing directly on the display screen by operating the input pen, and further selecting or grasping. And Further, it is assumed that the input device 2 and the display device 3 are connected to the system control device 1 configured as shown in FIG.
  • Example 2-1 as in Example 1-1, as shown in FIGS. 4A and 4B, in the three-dimensional space 301 expressed in the liquid crystal display 3, FIG. Assume that a coordinate system XYZ corresponding to the coordinate system X YZ shown in Fig. 5 is set, and the object 302 is arranged at a position of z ⁇ 0 in the three-dimensional space 301. At this time, it is assumed that an operator who operates the input pen 201 of the input device 2 observes the XY plane of the three-dimensional space 301 from the direction of z> 0.
  • the operator brings the pen tip 201P of the input pen 201 into contact with the display surface of the liquid crystal display 3, for example, as shown in FIG. 5A and FIG. 6A, the operator overlaps the display surface.
  • the detecting means detects the position (coordinates) of the pen tip 201P.
  • a pointer 303 reflecting the interval (or number of times) is displayed.
  • buttons 201D and 201D are further displayed while the operator keeps the pen tip 201P of the input pen 201 in contact with the display surface of the liquid crystal display 3.
  • any one of the seesaw type buttons 201D and 201D is At the time (or number of times)
  • a pointer having a corresponding shape is generated.
  • the arrow-shaped pointer is lengthened in proportion to the time (or the number of times) the seesaw button 201D has been pressed.
  • the pointer 303 becomes longer than the pointer shown in FIGS. 5A and 6A, as shown in FIGS. 5B and 6B.
  • the seesaw button 201D is further extended.
  • buttons 303 If pressed for one hour (or many times), the button 303 becomes longer as shown in FIGS. 5C and 6C.
  • the pointer 303 is further shortened.
  • the display of the pointer 303 is continuously (or a predetermined level) almost simultaneously with the time when the operator touches the input pen 201 and presses the seesaw type buttons 201D and 201D.
  • the maximum and minimum values of the length of the pointer 303 may be set by the operator, or may be set in advance by the system.
  • the force that is not shown is the tip of the pointer 303.
  • the object generating means 105 performs processing such as changing the color of the object 302, thereby pointing the object 302 to the operator. Tell.
  • the operator presses the push button 201D of the input pen 201 for example,
  • the pointing determination means 104 of the system control apparatus 1 determines that an operation for selecting or grasping the object 302 has been performed, and maintains the state in which the color of the object is changed.
  • the pointer 303 is changed to the pen tip 201P according to the time when the pen tip 201P is released (floated). It may be shortened at a constant speed from the state immediately before it is released (floating) from the detection surface, or the pen tip may be fixed to the state immediately before the detection surface force is released (buoyancy).
  • the system control device 1 may execute the processing from step 401 to step 410 as shown in FIG.
  • the display control means 106 displays the object 302 on the three-dimensional space 301 expressed in the display device (liquid crystal display) 3 (step 401).
  • the input information acquisition means 101 is set in a state where the information detected by the detection means of the input device 2 can be acquired.
  • the detection means detects the position (coordinates) and the like of the pen tip 201P.
  • the information acquisition means 101 acquires information representing the state of the input pen 201 such as the detected position (coordinates) of the pen tip 201P (step 402).
  • the detection means can also detect the azimuth and inclination ⁇ of the input pen 201, the rotation ⁇ around the axis, and the like. Therefore, information on the orientation (alpha), inclination (j8), and rotation (gamma) around the axis of the input pen 201 may be acquired together with information on the position (coordinates) of the pen tip 201P.
  • the seesaw-type button 2 of the input pen 201 is processed by the input information processing means 109. Determines whether one of 01D or 201D is pressed, and either is pressed
  • this process first determines whether or not the button 201D is pressed (step 403a).
  • Step 403b if it is pressed, the information is output to the pointer position Z rotation angle calculation means 102 (step 404b).
  • step 405 The position, orientation, length, etc. of the pointer reflecting these pieces of information are calculated using the information on whether or not the displacement is pushed! /, Or the force or not (step 405).
  • step 405 the position on the XY plane of the three-dimensional space 301 represented on the display device 3 corresponding to the position (coordinates) of the pen tip 201P. (Coordinate) and proportional to the time (or number of times) that either of the saw-type buttons 201D, 201D was pressed
  • the length to be calculated is calculated.
  • the pointer generation unit 103 After the calculation processing in step 405 is completed, the pointer generation unit 103 generates a pointer having a shape based on the calculation result of the pointer position / rotation angle calculation unit 102, and the display control Information on the generated pointer is sent from the means 106 to the display device 3 and displayed on the three-dimensional space 301 (step 406).
  • the pointing determination unit 104 calculates the plane of the three-dimensional space calculated by the pointer position / rotation angle calculation unit 102 It is determined whether or not there is a pointing object at a position corresponding to the upper position (coordinates) and depth position (step 407).
  • the determination at the step 407 is, for example, as shown in FIG. Judge by whether or not the object is within 10 pixels from the position where the pointer is pointing. In Fig. 43, the force is within 10 pixels, but not limited to this. Whether or not there is an object to be pointed can be determined by the method described here also in the first embodiment. If there is no object to be pointed to! /, Only the display control of the pointer 303 is performed!
  • the object generation means 105 generates, for example, an object in which the color of the pointing object is changed, and the display control means 106 generates the generated object. Information relating to this is sent to the display device 3 and displayed on the three-dimensional space 301 (step 408). Further, the pointing determination means 104 determines whether or not the push button 201D of the input pen 201 has been pressed (step 409). And the push button 201D
  • the pointing object 302 can be selected or grabbed (step 410).
  • the push button 201D is not pressed,
  • step 402 the next input information is obtained.
  • step 401 to step 406 when the processing of step 401 to step 406 has already been performed, that is, when the pointer is displayed on the display device 3, the length of the pointer is calculated by the step 405. For example, when information indicating that the button 201D is pressed is input from the input information processing means 109, the pointer position Z times
  • the turning angle calculation means 102 increases the length of the pointer by a predetermined length. It also indicates that the button 201D is pressed from the input information processing means 109.
  • the pointer position Z rotation angle calculation means 102 shortens the length of the pointer by a predetermined length. By repeatedly executing such a processing loop, the time when the seesaw type buttons 201D and 201D are pressed (or
  • the input Information on the position (coordinates) of the pen tip 201P of the force pen 201 and the detection surface of the detection means is acquired, and the XY plane in the three-dimensional space represented on the display device 3 corresponding to the position (coordinates) of the pen tip 201P
  • the depth position corresponding to the upper position (coordinates) and the time (or number of times) the seesaw-type button 201D, 201D of the input pen 201 was pressed was calculated and calculated
  • any one point on the three-dimensional space 301 expressed in the display device 3 can be pointed. Furthermore, it is determined whether or not the push button 201D of the input pen 201 is pressed.
  • the object pointed by the pointer can be selected or grasped.
  • a general pen tablet is used as the input device 2, and the pointing position in the depth direction of the pointer 303 is changed in a state where the pen tip 201P of the input pen 201 is in contact with the detection means. Therefore, operator fatigue can be reduced.
  • the detection means of the input device 2 is overlapped with the display surface of the display device (liquid crystal display) 3, the operator The input pen 201 can be operated on the display surface. In this way, a visual effect can be obtained as if the pointer 303 is a part of the pen tip 201P of the input pen 201, and accurate pointing of the object 302 is facilitated and intuitive. Pointing is possible.
  • Example 2-1 the seesaw buttons 201D and 201D of the input pen 201 are used.
  • Example 2-1 an electromagnetic induction type pen tablet is used as the input device 2, and the detection means (digitizer) of the pen tablet is used as the display device (liquid crystal display). Ray)
  • the force given as an example when superimposed on the display surface of 3 The configuration is not limited to this, and both may be in different positions. Further, in the present embodiment 2-1, the force described by taking the electromagnetic induction type pen tablet and the liquid crystal display as an example as a combination of the input device 2 and the display device 3 is not limited thereto. A combination of a touch panel and a stylus pen used in a PDA or the like may be used.
  • whether or not the tip of the pointer 303 is in the vicinity of the target object 302 is determined by whether or not it is within a range of 10 pixels from the tip of the pointer 303.
  • this range can be arbitrarily set and changed by the system administrator or operator.
  • Example 2-1 in the same way as Example 1-1, pointers of various shapes can be adopted as shown in FIGS. 8A, 8B, 8C, and 8D. it can.
  • Example 2-1 as the pointer 303, for example, as shown in FIG. 8A, a flat arrow-shaped pointer 303a is generated and displayed.
  • the shape is not limited to any shape as long as the pointing position is visually clear. Examples of the shape of such a pointer include a three-dimensional arrow pointer 303b in which a cylinder is connected to the bottom of a cone as shown in FIG. 8B, a conical pointer 303c as shown in FIG. 8C, and FIG. 8D.
  • a hand-shaped pointer 303d of a person pointing at an object with an index finger like a clasp can be considered.
  • a polygonal pyramid type pointer similar to the conical type pointer 303c shown in FIG. 8C may be used.
  • the point where the pointer 303 is pointing is the force used as the tip of the arrow type pointer (the tip of the arrow). It can be pointable, or it can be part of the pointer.
  • the present invention is not limited to this, and the object 302 may have any shape.
  • Example 2-1 the coordinate system of the three-dimensional space represented by the display device 3 is set to a force 3 so that the display surface force is 0 as shown in Fig. 4A. Dimensional space can be expressed If so, the 3D origin can be anywhere. Also, the coordinate system need not be a Cartesian coordinate system, for example, a cylindrical coordinate system or a spherical coordinate system.
  • Example 2-1 the seesaw buttons 201D and 201D of the input pen 201 are used.
  • Example 2-2 As in Example 1-2, by changing the direction of the input pen 201, an object in the depth direction as viewed from the operator in the three-dimensional space can be pointed from various directions. The method will be described with reference to FIGS. Also, the processing procedure of this embodiment will be described with reference to FIG.
  • Example 2-2 it is assumed that the input device 2 and the display device 3 respectively use an electromagnetic induction type pen tablet and a liquid crystal display as in the case of the above-described Example 2-1. Further, it is assumed that the detection means (digitizer) of the pen tablet 2 is superimposed on the display surface of the liquid crystal display 3. Further, it is assumed that the pen tablet 2 and the display device 3 are connected to the system control device 1 configured as shown in FIG.
  • the method of taking the coordinate system of the three-dimensional space expressed on the liquid crystal display 3, the operation method of the input pen 201 of the pen tablet 2, and the like are as described in the embodiment 2-1.
  • the seesaw type buttons 201D and 201D and the push button 201D of the input pen 201 used in the embodiment 2-1 are used.
  • An input method is used in which the object is pointed based on the operation and the pointed object can be selected or grasped.
  • the system control device 1 causes the input information acquisition unit 101 to detect the pen tip 201P of the input pen 201 detected by the detection unit (digitizer). Information such as the position (coordinates), the azimuth and inclination j8 of the input pen 201, and the rotation ⁇ around the axis is acquired.
  • the input information processing means 109 calculates the time during which the pen tip 201 of the input pen 201 is in contact with the detection surface.
  • the input information processing means 109, the pointer position / rotation angle calculation means 102, and the pointer generation means 103 are placed at a position on the three-dimensional space 301 corresponding to the position where the pen tip 201P is in contact. Create a pointer to display.
  • a pointer display signal is sent from the display control means 106 to the display device 3, and for example, a pointer 303 as shown in FIG. 9B and FIG. 10B is displayed.
  • the calculation of the pointer position and the rotation angle is performed.
  • the means 102 and the pointer generation means 103 calculate the direction of the new pointer from the new azimuth and inclination ⁇ 8 of the input pen 201 and the rotation ⁇ around the axis, and generate a pointer based on the calculation result.
  • the newly generated pointer display signal is sent from the display control means 106 to the display device 3, the pointer 303 as shown in FIGS. 9 and 10 or FIGS. 9C and 10C is displayed. Is done.
  • the display of the pointer 303 is continuously performed almost simultaneously with the operation of changing the direction of the input pen 201 by the operator, so that the operator tilts the pen. It is possible to feel as if the pointer 303 is tilted and displayed on the extension line of the pen tip 201P in the selected direction.
  • the length of the pointer 303 can be adjusted according to the presence / absence of contact between the pen tip 201P of the input pen 201 and the detection surface and the contact time.
  • the operator causes the pen tip 201P of the input pen 201 to contact the detection surface, and the operator touches the pen tip 201P again with the detection surface force released within a certain period of time (for example, within 0.5 seconds).
  • the (tap operation) is performed, the length of the pointer 303 starts to increase. If the tap operation is performed again while the length of the pointer 303 is extended, the extension of the pointer 303 stops, and the operator can handle it as a pointer having the length at that time.
  • the pointer 303 can be further extended.
  • double tap operation When the operator performs an operation of performing the tap operation twice in succession (double tap operation), the length of the pointer 303 starts to shrink. Then, if the tap operation is performed while the length of the pointer 303 is contracted, the contraction of the pointer 303 stops, and the operator can handle it as a pointer of the length at that time. Further, if the double tap operation is performed when the length of the pointer 303 is not changed, the pointer 303 can be further contracted.
  • the system controller 1 A state in which the length of the pointer 303 has not changed by performing processing such as changing the color of the object by the object generation means 105 and switching the display of the object 302 displayed on the display device 3.
  • the operator can be informed that the object 302 can be selected or grasped.
  • the state force that the color of the object 302 changes and can be selected or grasped For example, if the operator continues for 0.5 second or longer, the operator can select or grasp the object 302.
  • the input information processing means 109 and the pointer position Z rotation angle calculation means 102 are provided.
  • the pointer generation means 103 can generate, for example, a pointer reflecting the length of the pointer immediately before the direction of the input pen 201 is changed in addition to the direction of the pointer.
  • the system control apparatus 1 may execute processing as shown in FIG.
  • the display control means 106 displays the object 302 on the three-dimensional space 301 represented on the display device (liquid crystal display) 3 and also represents a variable indicating the state of the pointer.
  • the input information acquisition means 101 is in a state where it can acquire the information detected by the detection means of the input device 2.
  • the detection means detects the position (coordinates) of the pen tip 201P, etc.
  • the information acquisition means 101 acquires information representing the state of the input pen 201 such as the detected position (coordinates) of the pen tip 201P (step 402).
  • step 2 information on the position (coordinates) of the pen tip 201P, information on the orientation ⁇ , inclination
  • step 404c whether the length of the pointer is changed by the input information processing means 109 from the variable s indicating the pointer state and the contact state between the pen tip 201P of the input pen 201 and the detection surface is determined. Determine whether or not, and output the information.
  • the pointer position Z rotation angle calculation means 102 among the acquired information, the position (coordinates) of the pen tip 201P and the value of the variable s indicating the state of the pointer are used. The position, orientation, length, etc. of the pointer reflecting this information are calculated (step 405), and the pointer generating means 103 generates a pointer having a shape based on the calculation result of the pointer position Z rotation angle calculating means 102. Then, information on the generated pointer is sent from the display control means 106 to the display device 3 and displayed on the three-dimensional space 301 (step 406).
  • Step 405 the nib 2 The position (coordinates) on the XY plane of the three-dimensional space 301 represented on the display device 3 corresponding to the position (coordinates) of 01P, and the pen tip after performing the tap operation or double tap operation A length proportional to the time during which 201P is in contact with the detection surface is calculated.
  • the variable s l
  • the length of the pointer becomes longer in proportion to the time during which the pen tip 201P is in contact with the detection surface.
  • the system control apparatus 1 performs the processing of step 407 and step 408 described in the embodiment 2-1 in parallel with the processing of step 406.
  • the step 407 determines whether or not the object has a force within 10 pixels from the tip of the pointer, in other words, the position where the pointer is pointing. In FIG. 44, the force is within 10 pixels, but not limited to this. If there is no pointing object, only the display control of the pointer 303 is performed, and the process returns to step 402 to acquire the next input information.
  • the process returns to step 402 to acquire the next input information.
  • the duration of the state in which the object is pointing is not limited to 0.5 seconds or longer, and may be another time.
  • FIGS. 43 and 44 correspond to the processing procedure shown in FIG. 7 in the first embodiment. 43 and 44 show the details of the processing.
  • the input pen 201 since it is not necessary to provide the input pen 201 with an operation means such as a button for performing an operation of changing the depth position of the pointer or an operation of changing the pointing direction, as the input device 2, Conventional general pen tablet and input pen can be used. Further, the pointing position in the depth direction of the pointer 303 can be changed in a state where the pen tip 201P of the input pen 201 is in contact with the detection means, and the operator's fatigue can be reduced.
  • an operation means such as a button for performing an operation of changing the depth position of the pointer or an operation of changing the pointing direction
  • Conventional general pen tablet and input pen can be used.
  • the pointing position in the depth direction of the pointer 303 can be changed in a state where the pen tip 201P of the input pen 201 is in contact with the detection means, and the operator's fatigue can be reduced.
  • Example 2-2 if the detection means of the input device 2 is overlapped with the display surface of the display device (liquid crystal display) 3, the operator The input pen can be operated on the display surface. Such a rubbing provides a visual effect as if the pointer 303 is a part of the pen tip 201P of the input pen 201, facilitates accurate pointing of the object 302, and is intuitive. Pointing is possible. [0316] Also, in this embodiment 2-2, the direction, inclination, and rotation around the axis of the pointer change in proportion to the direction, inclination ⁇ and rotation ⁇ around the input pen 201, respectively.
  • the shape changes in the 3D depth direction ( ⁇ 0), or the pointer tilt changes in the 3D depth direction ( ⁇ ⁇ 0).
  • the change may be any.
  • the present invention is not limited to changing the tilt, direction, and rotation of the pointer in proportion to the tilt, azimuth, and rotation of the input pen 201.
  • the tilt, azimuth, and rotation of the input pen 201 May be proportional to the power or power root!
  • Example 2-2 an electromagnetic induction pen tablet is used as the input device 2, and the detection means (digitizer) of the pen tablet is used as the display surface of the display device (liquid crystal display) 3.
  • the force exemplified in the case of overlapping with each other is not limited to this, and the configuration may be such that both are in different positions.
  • the force described by taking the electromagnetic induction pen tablet and the liquid crystal display as an example of the combination of the input device 2 and the display device 3 is not limited to this.
  • It may be a combination of a touch panel and a stylus pen used in a PDA or the like.
  • Example 2-2 as long as the same effect can be obtained as an example of the operation of the input pen 201, the force that indicates the presence or absence of contact between the pen tip 201P and the detection surface can be obtained.
  • the length of the button 303 may be changed according to the time (or the number of times) the button of the input pen 201 is pressed, the amount and direction of rotation of the wheel, and the amount and direction of movement of the slide bar.
  • the maximum value and the minimum value of the length of the pointer 303 may be set by the operator, or may be set by the bullying system control device 1.
  • whether or not the pointer 303 (pointer point) is in the vicinity of the target object 302 is determined based on whether or not it is within the range of 10 pixels. This range can be arbitrarily set and changed by a system administrator or operator. Similarly, the system administrator or operator can arbitrarily set and change the length of the pointing time in step 409 ′.
  • the shape of the pointer is a shape in which the pointing position is visually clear. Any shape is acceptable, not limited to the flat arrow-shaped pointer 303a shown in FIG. 8A, for example, a three-dimensional shape in which a cylinder is connected to the bottom of a cone as shown in FIG. 8B. It may be an arrow-shaped pointer 303b, a conical pointer 303c as shown in FIG. 8C, or a hand-shaped pointer 303d of a person pointing an object with an index finger as shown in FIG. 8D.
  • the point where the pointer 303 is pointing is the force used as the tip of the arrow pointer (the tip of the arrow).
  • the tip of the arrow the force used as the tip of the arrow pointer.
  • a force that takes a folder-type object as an example of the object 302 is not limited to this, and the object 302 may have any shape.
  • the force focusing on the azimuth ⁇ , the inclination ⁇ , and the rotation ⁇ around the axis of the input pen 201 is not necessary to use the azimuth and inclination ⁇ of the input pen 201 and the rotation ⁇ around the axis, and the depth position may be simply changed, or the azimuth ⁇ and inclination j8 of the input pen 201 may be used. May be used alone.
  • Example 2-1 and Example 2-2 display control of the pointer on the three-dimensional space 301 represented on the display device 3 in accordance with the operation of the input pen 201 of the input device 2 and The pointing method related to the display control of the pointed object was explained.
  • Example 2-3 it is assumed that the input device 2 and the display device 3 use an electromagnetic induction type pen tablet and a liquid crystal display, respectively, as in Example 2-1 above. Further, it is assumed that the detection means (digitizer) of the pen tablet 2 is superimposed on the display surface of the liquid crystal display 3.
  • the method of selecting or grasping after pointing the object on the three-dimensional space 301 is as described in the second and second embodiments. Since this method may be used, the description is omitted.
  • Example 2-1 and Example 2-2 By the same method as in Example 2-1 and Example 2-2, for example, after pointing the object 302 as shown in FIGS. 11 and 12, the color of the object 302 is changed.
  • An operator who confirms that the object 302 has been pointed for example, performs an operation of selecting or grasping the object 302 by performing the pointing using the method of Example 2-1 or Example 2-2. Do.
  • the input 302 is in a state where the object 302 is selected or grasped and the pen tip 201P of the input pen 201 is in contact with the display surface of the display device 3 (detection surface of the detection means).
  • the object 302 moves in the three-dimensional space 301 following the movement of the input pen 201 as shown in FIGS.
  • the input pen 2 When a predetermined operation such as pressing the push button 201D of 01 once is performed, the object 302
  • the object 302 is displayed at that position even after the position of the input pen 201 is fixed and the input pen 201 is moved or the pen tip 201P is released. In this way, the object 302 can be moved from the original position to the target position in the three-dimensional space.
  • the input information acquisition means 101 of the system control device 1 receives the object described in the embodiment 2-1 and the embodiment 2-2 from the detection means (digitizer) of the display device 2. In addition to information necessary for the operation of selecting or grasping, for example, information that the push button 201D is pressed is acquired. And the system control device 1
  • the operator can know that the operation of moving the object 302 is performed. Therefore, if the pointing determination unit 104 and the object generation unit 105 generate an object that follows the movement of the input pen 201 and display it on the display device 3, the movement operation of the object 302 as described above is performed. Is possible.
  • the system control apparatus 1 may execute a process as shown in FIG.
  • the first process (step 420) in FIG. 45 is a process until the object 302 on the three-dimensional space 301 is selected or grasped, and has been described in the embodiment 2-1 or the embodiment 2-2. The detailed explanation is omitted.
  • the system controller 1 selects or grasps the object 302 by the procedure described in the embodiment 2-1 or the embodiment 2-2 ( After performing step 420), the input information acquisition means 101 acquires information on the pointer (step 421).
  • the information acquired in the step 421 is information such as the position (coordinates) of the pen tip 201P of the input pen 201, the azimuth ⁇ , the tilt j8, and the rotation ⁇ around the axis of the input pen 201.
  • the input information processing means 109 and the pointer position / rotation angle calculation means 102 then execute the pointer 303 based on the acquired information.
  • the position, orientation, length, etc. of the object 302 are calculated, and the position, orientation of the object 302 is calculated (step 422).
  • Position and direction of the pointer The calculation of the length and the like is as described in Example 2-1 and Example 2-2, and detailed description thereof is omitted.
  • the position and orientation of the object are, for example, the reference position of the object when it is pointed and the relative positional relationship force between the position pointed by the pointer and the position calculated by the step 422. Calculate the position and orientation that can be saved even at the position of.
  • Example 2-1 only the information on the position (coordinates) of the pen tip 201P of the input pen 201 is used, and the azimuth and inclination ⁇ of the input pen 201 and the rotation ⁇ around the axis
  • the pointer is displayed with the direction of the pointer being always constant. Therefore, it is not necessary to calculate the direction of the pointer in the step 422.
  • the movement of the object 302 is only a parallel movement as in the second to third embodiments, the object is displayed with the direction of the object being always constant. There is no need to calculate the orientation.
  • the pointer position, orientation In addition to generating a pointer based on the length, an object based on the position and orientation of the object calculated in the object generation means 105 is generated, and these display signals are sent from the display control means 106 to the display device 3. The pointer and the object are displayed (step 423).
  • step 423 When the pointer and the object are displayed in step 423, for example, in the input information processing means 109, the push button 201D of the input pen 201 is pressed.
  • step 424 determines whether the object selection or not is pressed. If not pressed, the state of the input pen is acquired again (step 421), and the processing of step 422 and step 423 is continued. On the other hand, when the push button 201D is pressed many times, the object selection or
  • the object pointing operation and moving operation as shown in FIGS. 11 and 12 can be performed.
  • the pointing object is selected or grasped, and the input pen is moved.
  • the object can be translated.
  • a general pen tablet is used as the input device 2, and the object is pointed, selected or grasped and moved further while the pen tip 201P of the input pen 201 is in contact with the detection means. Therefore, the operator's fatigue can be reduced.
  • the detection means of the input device 2 is overlapped with the display surface of the display device (liquid crystal display) 3, the operator The input pen can be operated on the display surface.
  • This rubbing provides a visual effect as if the pointer 303 is part of the pen tip 201P of the input pen 201, facilitates accurate pointing and movement of the object 302, and Intuitive pointing and movement are possible.
  • an electromagnetic induction pen tablet is used as the input device 2, and the detection means (digitizer) of the pen tablet is used as the display surface of the display device (liquid crystal display) 3.
  • the force exemplified in the case of overlapping with each other is not limited to this, and the configuration may be such that both are in different positions.
  • the force described by taking the electromagnetic induction type pen tablet and the liquid crystal display as an example as a combination of the input device 2 and the display device 3 is not limited thereto. It may be a combination of a touch panel and a stylus pen used in a PDA or the like.
  • the shape of the pointer may be any shape as long as the pointing position is visually clear, as shown in FIG. 8A.
  • a three-dimensional arrow-shaped pointer 303b in which a cylinder is connected to the bottom of the cone as shown in FIG. 8B, a conical pointer 303c as shown in FIG. 8C, and an index finger as shown in FIG. 8D It may be the hand-shaped pointer 303d of the person pointing at the object.
  • the pointer 303 is pointed and the point is an arrow type.
  • the force used as the tip of the pointer is not limited to this, and it is possible to point at any part of the pointer, or to use another part other than the tip of the pointer.
  • a force that takes a folder-type object as an example of the object 302 is not limited to this, and the object 302 may have any shape.
  • the coordinate system of the three-dimensional space represented by the display device 3 is the same as that of the Embodiment 2-1, that is, as shown in FIG.
  • the object 302 that has been selected or grasped is moved to a desired position, and then the push button 201D of the input pen 201 is pressed once, thereby
  • Force that ended the moving operation of the jet is not limited to this, for example, the push button 201D
  • Example 2-4 Next, Example 2-4 will be described.
  • Example 2-3 after pointing the object 302 on the three-dimensional space 301 represented by the display device 3, the pointed object 302 is selected or grasped, and the object 302 is selected.
  • the 3D pointing method that can translate the.
  • the embodiment 2 is applied.
  • Example 2-4 As in Example 1-4, after pointing and selecting or grasping an object, the pointed object is subsequently tilted in the depth direction in the three-dimensional space.
  • FIGS. 14A to 15C used in Examples 1-4.
  • the input device 2 and the display device 3 respectively use an electromagnetic induction type pen tablet and a liquid crystal display as in the case of Example 2-1. Further, it is assumed that the detection means (digitizer) of the pen tablet 2 is superimposed on the display surface of the liquid crystal display 3.
  • Example 2-4 the method of selecting or grasping after pointing the object on the three-dimensional space 301 is as described in Example 2-1 or Example 2-2. Since this method may be used, the description is omitted.
  • Example 2-1 and Example 2-2 In the same manner as in Example 2-1 and Example 2-2, for example, as shown in FIGS. 14A and 15A, after pointing the object 302, the object 302 is selected or grasped. Then, when the input pen 201 is set in a desired direction while the object 302 is selected or grasped, as shown in FIG. 14B and FIG. 15B, or as shown in FIG. 14C and FIG. Following the above, the object 302 force tilts in the depth direction in the S3D space 301. In this way, the object 302 can be tilted in any direction on the three-dimensional space 301.
  • the input information acquisition means 101 of the system control device 1 acquires information necessary for the operation of selecting or grasping the object in the embodiment 2-1 or the embodiment 2-2. Since the system control device 1 performs an operation of selecting or grasping an object in the embodiment 2-1 or the embodiment 2-2, the operator moves the object 302. You can know that you are doing. Therefore, if the pointing determination unit 104 and the object generation unit 105 generate an object that follows the change in the direction of the input pen 201 and display it on the display device 3, the object 302 as described above can be displayed. Move operation becomes possible.
  • the system control apparatus 1 may execute, for example, a process as shown in FIG.
  • the operations as shown in FIGS. 14A to 14C are executed, when the position and orientation of the object are calculated in step 422, for example, the above pointing is performed.
  • the position and orientation are calculated so that the relative positional relationship between the current object and the pointer is all preserved.
  • the object is changed in the direction of the input vane 201. It can be rotated in the 3D space or tilted in the depth direction.
  • the operator can The input pen can be operated on the display surface.
  • Such a rubbing provides a visual effect as if the pointer 303 is a part of the pen tip 201P of the input pen 201, facilitates accurate pointing of the object 302, and is intuitive. Pointing is possible.
  • an electromagnetic induction pen tablet is used as the input device 2, and the detection means (digitizer) of the pen tablet is used as the display surface of the display device (liquid crystal display) 3.
  • the force exemplified in the case of overlapping with each other is not limited to this, and the configuration may be such that both are in different positions.
  • the force described by taking the electromagnetic induction type pen tablet and the liquid crystal display as an example as a combination of the input device 2 and the display device 3 is not limited to this, for example, It may be a combination of a touch panel and a stylus pen used in a PDA or the like.
  • the shape of the pointer is a shape in which the pointing position is visually clear. Any shape is acceptable, not limited to the flat arrow-shaped pointer 303a shown in FIG. 8A, for example, a three-dimensional shape in which a cylinder is connected to the bottom of a cone as shown in FIG. 8B. It may be an arrow-shaped pointer 303b, a conical pointer 303c as shown in FIG. 8C, or a hand-shaped pointer 303d of a person pointing an object with an index finger as shown in FIG. 8D.
  • the point where the pointer 303 is pointing is the force used as the tip of the arrow pointer (the tip of the arrow). It can be pointable, or it can be part of the pointer, not the other end.
  • the force that takes a folder type object as an example of the object 302 is not limited to this, and the object 302 may have any shape.
  • Example 2-4 after selecting or grasping and moving the object 302 by the method of Example 2-1 or Example 2-2, for example, description will be given in Example 2-3.
  • the push button 201D of the input pen 201 is pressed,
  • the force for ending the moving operation is not limited to this.
  • the push button 201D instead of the push button 201D
  • Example 2-4 the operation method for rotating the pointed object 302 in the three-dimensional space or tilting the object 302 in the depth direction has been described.
  • Example 2-3 and Example 2-4 the description is given in Example 2-1 and Example 2-2.
  • the pointing object 302 is translated or rotated, or tilted in the depth direction.
  • the operations that the operator wants to continue include editing, deformation, etc. that can be performed only by moving and rotating the object 302.
  • the object after selecting or grasping the object, the object is automatically moved to a position where a two-dimensional GUI-like operation can be applied.
  • the following describes a 3D pointing method that allows the user to perform operations such as returning to the 3D position desired by the operator after performing the desired editing or transformation.
  • FIGS. 16A to 19D used in Examples 1-5.
  • FIG. 46 the processing procedure of the embodiment 2-5 will be described.
  • the processing procedure shown in FIG. 46 corresponds to the processing procedure shown in FIG. 20 in the first embodiment.
  • the input device 2 uses the same electromagnetic induction pen tablet as in each of the above embodiments, and a DFD is used as the display device 3 capable of expressing the three-dimensional space. Taking the case of using as an example, the pointing method and the following object operation method will be explained.
  • the detection means (digitizer) of the input device (pen tablet) 2 is used as the display surface of the DFD. Can be superimposed. Further, in the case of the electromagnetic induction type pentabet, since there is a detectable range of ⁇ on the detection surface of the detection means, the input pen can be used even if the pen tip of the input pen is not in contact with the detection surface. It is possible to detect information such as the position, inclination, and direction of the.
  • the detection means is arranged on the back side of the DFD display device, information such as the position, tilt, and orientation of the pen can be acquired.
  • the detection means is arranged behind the display surface.
  • the detection means is a transparent electrode, it can be arranged on the front side behind the display surface. In this way, by superimposing the detection means on the display surface of the DFD, it is possible to operate the input pen on the front display surface of the DFD and perform direct pointing.
  • Example 2-5 it is assumed that the detection means of the electromagnetic induction type pentablet 2 and the display surface of the DFD are overlapped.
  • the operator displays the image in a three-dimensional manner on the three-dimensional space 301, for example, by the method described in Example 2-1 or Example 2-2.
  • the pointed object 302 is displayed as a two-dimensional object on the display surface 3A in front of the DFD, for example, as shown in FIGS. 18B and 19B, and the pointer 303 disappears.
  • the object 302 has no thickness in the z direction and is displayed as an object! However, even if this object is a solid object with a thickness in the z direction, DFD 3D stereoscopic display using is not performed, and the image is displayed as a projected image on the display surface 3A in front of the DFD as 2D.
  • the operator performs a target operation such as writing a character on the object 302 as an operation of the two-dimensional GUI. Then, after the operation of the two-dimensional GUI is finished, for example, when the push button 201D of the input pen 201 is pressed, the pointer 303 appears again, and the above-described implementation is performed.
  • a target operation such as writing a character on the object 302 as an operation of the two-dimensional GUI.
  • the pointer 303 appears again, and the above-described implementation is performed.
  • the procedure described in Example 2-3 and Example 2-4 for example, as shown in Fig. 18C and Fig. 19C, or in Fig. 18D and Fig. 19D, object 3 02 Can be moved or tilted in the depth direction.
  • the system control apparatus 1 may execute processing as shown in FIG.
  • the first process (step 420) in FIG. 46 is a process until the object 302 on the three-dimensional space 301 is selected or grasped, and has been described in the embodiment 2-1 or the embodiment 2-2. The detailed explanation is omitted.
  • the system control device 1 determines that an operation for starting a two-dimensional GUI operation, editing, and processing has been performed. Therefore, next, for example, the pointer 303 displayed on the display device 3 is hidden (step 426), and the projection of the selected or grasped object 302 is most recently viewed from the operator. Display on surface 3A (step 427). As a result, the object 302 can be operated, edited, and processed in a two-dimensional GUI manner.
  • the two-dimensional GUI operation from the input pen 201 is received and executed (step 428). Further, for example, the operator presses the push button 201D of the input pen 201 once.
  • step 429 It is determined whether or not a 2D GUI-like operation such as 3 s, an operation for finishing editing, or the like has been performed (step 429). At this time, if the operation for ending the operation, editing, and processing of the two-dimensional GUI is not performed, another operation, editing, and processing of another two-dimensional GUI are accepted and executed. On the other hand, when a 2D GUI-like operation, editing, or finishing operation is performed, the mode in which the 2D-GUI-like operation is performed is used as described in Example 2-3 or Example 24. Returning to the mode for performing a simple process, the object can be operated to translate, rotate, or tilt the object according to the procedure described in the embodiment 2-3 or the embodiment 2-4 (step 430).
  • a 2D GUI-like operation such as 3 s, an operation for finishing editing, or the like
  • Step 430 may be performed according to the procedure described in Example 2-3 or Example 2-4, and thus detailed description thereof is omitted.
  • operations such as pointer display control and three-dimensional movement of the object as shown in FIGS. 18A, 18B, 18C, and 18D are performed.
  • the object can be operated in a two-dimensional GUI.
  • the object is selected or grasped by the method of the embodiment 2-1 or the embodiment 2-2, so that the three-dimensional pointing is performed.
  • Force that can be processed as information for various operations, editing, and processing After the operation of pointing the object, the specific 2D GUI of the object is operated by operating a specific key or other switch on the keyboard.
  • the mode may be switched to a mode for performing general operations, editing, and processing.
  • the detection means (digitizer) of the electromagnetic induction pen tablet that is the input device 2 is overlapped with the display surface of the DFD that is the display device 3 that can display a three-dimensional space.
  • the present invention is not limited to this, and a configuration in which both are in different positions may be used.
  • a DFD is used as the display device 3, but the present invention is not limited to this, and a display device such as a liquid crystal display as described in Example 2-1 to Example 2-4. Use ⁇ .
  • the origin of 3D is not necessary anywhere, and it is not necessary to be Cartesian coordinate system.
  • it can be cylindrical coordinate system or spherical coordinate system.
  • the operation of the push button 201D of the input pen 201 causes the
  • the 2D GUI operation, editing, and processing modes have been terminated.
  • the present invention is not limited to this.
  • a specific key on the keyboard or another switch is used instead of the push button 201D.
  • Example 2-5 as an example of performing the two-dimensional GUI-like editing on the object 302, for example, a case where the letter "A" is entered as shown in Fig. 18C was given.
  • Force When the object 302 is an object that represents a file and a 2D GUI operation is performed after pointing to it, the file is opened and its contents are edited on the 2D GUI and the file is closed. It may be possible to move to the 3D position desired by the operator later.
  • the three-dimensional pointing method of this embodiment 2-6 is one of the application examples of the three-dimensional pointing method described in the embodiments 2-5, and the object 302 in the three-dimensional space 301 is used as the embodiment 2— After pointing and selecting or grasping by the method 1 or Example 2-2, the object 302 is automatically moved to a position where the operator can easily operate, that is, a position to which the conventional two-dimensional GUI operation can be applied. The operator performs the desired editing and processing.
  • Example 2-6 will be described with reference to FIGS. 21A to 25C used in Example 1-6.
  • the processing procedure of Example 2-6 will be described with reference to FIG.
  • the processing procedure shown in FIG. 47 corresponds to the processing procedure shown in FIG. 26 in the first embodiment.
  • Example 2-6 as in Example 2-5, an electromagnetic induction pen tablet is used as the input device 2 and a DFD is used as the display device 3 as an example. A pointing method and an object operation method will be described. [0390] Further, it is assumed that the detection means (digitizer) of the input device (pen tablet) 2 is provided integrally with the display surface of the display device (DFD) 3.
  • the coordinate system XYZ is set in the three-dimensional space 301, and the object 302 and the window 304 are arranged at the position of z in the three-dimensional space 301.
  • an operator who wants to operate the object 302 first points the object 302 by the method described in the embodiment 2-1 and the embodiment 2-2. Then, select or grasp. As a result, the selected or grasped object 302 is displayed as a two-dimensional object on the display surface 3A in front of the DFD, and the pointer 303 disappears.
  • the object 302 is a solid object having a thickness in the z direction
  • the object 302 is a solid object having a thickness in this force direction
  • DFD was used in this process.
  • Dimensional 3D display is not performed, and it is displayed as a projected image on the display surface 3A in front of the DFD as 2D.
  • the operator uses the input pen 201.
  • a target operation such as writing a character on the object 302 can be performed as a two-dimensional GUI operation.
  • FIGS. 23A and 25A the operator continues to move the object 302 to a desired position by a two-dimensional operation, and then, for example, push button 201D of the input pen 201 When the button is pressed once, the object 302 is moved forward as shown in FIGS. 23B and 25B.
  • the object 302 is automatically moved.
  • the push button 201D of the input pen 201 is pressed and then the three-dimensional object is moved instead of moving in the three-dimensional depth direction (z 0).
  • the object 302 can be moved in the three-dimensional depth direction (z 0) to a position where it interferes with the window 304.
  • the system control apparatus 1 may execute processing as shown in FIG. Note that the first process (step 420) in FIG. 47 is a process until the object 302 on the three-dimensional space 301 is selected or grasped, and has been described in the embodiment 2-1 or the embodiment 2-2. The detailed explanation is omitted.
  • step 420 when the processing (step 420) of selecting or grasping the object 302 is performed according to the procedure described in the embodiment 2-1 or the embodiment 2-2, The system control device 1 determines that an operation for starting a two-dimensional GUI operation, editing, and processing has been performed. Therefore, next, for example, the pointer 303 displayed on the display device 3 is hidden (step 426), and the projection of the selected or grasped object 302 is most recently viewed from the operator. Display on surface 3A (step 427). As a result, the object 302 can be operated, edited, and processed in a two-dimensional GUI manner.
  • the two-dimensional GUI operation from the input pen 201 is received and executed (step 428). Further, for example, the operator presses the push button 201D of the input pen 201 once.
  • Step 429 It is determined whether or not a 2D GUI-like operation such as 3 s, an operation for finishing editing, or the like has been performed (step 429). At this time, if the operation for ending the operation, editing, and processing of the two-dimensional GUI is not performed, another operation, editing, and processing of another two-dimensional GUI are accepted and executed. On the other hand, when a 2D GUI operation, editing, and finishing operation are performed, the mode in which the 2D GUI operation is performed is described in the above Example 2-1 to Example 2-4. Return to the 3D pointing mode. As a result, the system control apparatus 1 determines whether there is another object that interferes with the object 302 such as the window 304 in the depth direction of the object 302. (Step 431).
  • the object 302 is moved to the three-dimensional depth direction (z 0) until it interferes with the other object (window 304). ) To display (Step 43 2). Then, when the object 302 interferes with the other object, the movement of the object 302 in the three-dimensional depth direction is stopped, and the attribute of the other object that interferes with the object 302 is executed (step 433). .
  • the system controller 1 displays a series of pointers as shown in Fig. 22A, Fig. 22B, Fig. 23C, Fig. 23A, Fig. 23B, and Fig. 23C by performing the process shown in Fig. 47. Control, operations such as three-dimensional movement of objects, and two-dimensional GUI operations of the objects are possible.
  • the object 302 is pointed and selected or grasped in the three-dimensional space 301 by the operator. Easy to operate, automatically move to the position, perform the target operation, editing, processing, etc. by the conventional two-dimensional GUI operation, and after the target operation, editing, processing, the object 302 is moved. When there is another object that interferes with the moved object 302, the state of the object 302 moved according to the attribute of the other object is changed. Can be changed.
  • mode force that performs 3D pointing operation by selecting or grasping the object 2D GUI-like operation and editing of the object
  • the mode is switched to the processing mode, and the information acquired by the input information acquisition unit 101 of the system control device 1 is processed as information for performing the two-dimensional GUI operation, editing, and processing of the object.
  • Force After the operation to point to the object, operate a specific key or other switch on the keyboard to switch to a mode in which the object is operated, edited, or processed in a two-dimensional GUI. May be.
  • Example 2-6 the detection means (digitizer) of the electromagnetic induction pen tablet as the input device 2 is overlapped with the display surface of the DFD as the display device 3 capable of displaying a three-dimensional space.
  • the present invention is not limited to this, and a configuration in which both are in different positions may be used.
  • a DFD is used as the display device 3, but the present invention is not limited to this, and a display device such as a liquid crystal display as described in Example 2-1 to Example 2-4. Use ⁇ .
  • the force that mentioned a two-dimensional quadrangular object as an example of the target object 302 is not limited to this, and the shape of the object 302 is any shape. May be.
  • the 2D GUI operation, editing, and processing modes have been terminated.
  • the present invention is not limited to this.
  • a specific key on the keyboard or another switch is used instead of the push button 201D.
  • Example 2-6 as an example of performing the two-dimensional GUI editing on the object 302, for example, the case where the letter “B” is entered as shown in FIG. 22C was given.
  • Force When the object 302 is an object that represents a file and a 2D GUI operation is performed after pointing to it, the file is opened and its contents are edited on the 2D GUI and the file is closed. It may be possible to move to the 3D position desired by the operator later.
  • the window 304 is given as an example of the other object, and the case of executing the attribute of moving a file when it interferes with the window 304 has been described.
  • FIG. 28A to 32C used in the embodiment 16.
  • the operator who wants to delete the object 302 first operates the input pen 201 to point to the object 302 to be deleted, and selects or grabs the object 302. Do.
  • the pointed object 302 moves to the front display surface 3A, and changes to a state in which a two-dimensional GUI operation is possible.
  • the operator moves the pointed object 302 to the trash can object 3 05 and, for example, presses the button 201D of the input pen 201 once.
  • the state where the 2D GUI operation is possible returns to the state where 3D pointing is possible. Then, in the case of the procedure as shown in FIG. 47, the processing performed by the system control device 1 returns to the state where 3D pointing is possible, and then the object 302 automatically moves in the 3D depth direction ( z), when it interferes with the trash can object 305, as shown in FIGS. 30B and 32B, the display of the object 302 disappears, and the trash can 305 is in a state where trash (object) is contained. Switch to the display.
  • any object that interferes with the object 302 can execute an attribute on the object 302. Even an object with attributes! /.
  • Example 2-7 Next, Example 2-7 will be described. 48 and 49 are diagrams showing a configuration example of the input pen used in the three-dimensional pointing method of the embodiment 2-7.
  • the input pen 201 is used as the input pen 201 used when the three-dimensional pointing method as described in Example 2-1 to Example 2-6 is performed.
  • a pointing method when an input pen having a structure in which the pen tip 201P enters and exits the housing of the input pen 201 in accordance with the amount of rotation of the wheel provided in the 201 or the amount of movement of the slide bar will be described.
  • the input pen 201 used in the present embodiment 2-7 has, for example, a gear (or screw) portion 201F provided inside a wheel 201D force pen tip 201P attached to the casing 201E as shown in FIG.
  • a gear (or screw) portion 201F provided inside a wheel 201D force pen tip 201P attached to the casing 201E as shown in FIG.
  • the pen point 201P enters the housing 201E.
  • a gear (or screw) portion 201F provided in the slide bar 201D force pen tip 201P and an internal gear
  • the pen tip 201P may enter the housing 201E when the slide bar 201D is moved.
  • 48 and 49 are configuration examples of the input pen 201.
  • the wheel or slide bar 201D is rotated or moved to move the pen tip 201P. Any structure may be used as long as the structure enters the housing 201E.
  • Example 2-7 as an example of performing the pointing of the three-dimensional space represented on the display device 3 using the input pen 201 having the configuration shown in FIG. 48 or FIG. A case where the pointing method described in Example 2-1 is performed will be described. At this time, it is assumed that the input device 2 and the display device 3 respectively use an electromagnetic induction type pen tablet and a liquid crystal display as in the case of Example 2-1. Further, it is assumed that the detection means (digitizer) of the input device 2 is superimposed on the display surface of the liquid crystal display 3.
  • the operator places the pen tip 201P of the input pen 201 on the liquid crystal display.
  • the input pen such as a conical shape is placed on the three-dimensional space 301 of the liquid crystal display 3 as shown in FIGS. 35A and 36A.
  • a pointer 303 having a shape reflecting the shape of the pen tip 201P is displayed.
  • the size of the conical pointer 303 is pushed into the housing of the pen tip 201P of the input pen 201
  • the visual effect that the pointer 303 is a part of the pen tip 201P is further enhanced as compared with the method described in the embodiment 2-1.
  • Example 2-7 the force exemplified in the case where the three-dimensional pointing method described in Example 2-1 is performed. For example, the presence or absence of contact with the detection surface of the pen tip 201P is determined. If an input pen configured to detect and control the entry / exit of the pen tip 201P into the housing 201E by an electric mechanism is used, as described in the embodiment 2-2, the detection surface of the pen tip 201P Of course, it is possible to perform pointing depending on the presence or absence of contact.
  • Example 2-8 will be described.
  • Example 2-8 a specific usage scene similar to that in Example 1-8 will be described.
  • description will be made with reference to FIGS. 37A to 40C used in Example 1-8.
  • a display screen capable of three-dimensional display as a specific use scene of the three-dimensional pointing method as described in the embodiments 2-1 to 2-7.
  • An example is a remote control for operating the music playback function, which incorporates a pen tablet detection means.
  • the procedure of display control of the pointer and the object on the display screen of the remote controller when the input pen 201 is operated is from Example 2-1 to Example 2-7.
  • the detailed procedure is omitted because it may be the same as the procedure described in.
  • Example 2-8 the operator uses the input pen 201 in which the pen tip 201P is pushed into the housing, as described in Example 2-7, for example, FIG. 37A and FIG.
  • the object displayed in the three-dimensional space 301 of the remote control as shown in 39A is operated.
  • the display switches to a display in which the play button 302a is pressed, and music is displayed. Playback starts.
  • the input pen 201 is operated to point to the volume knob 302b.
  • the knob 302b is When the input pen is moved to rotate, the volume of the music being played can be increased or decreased.
  • the operation is not limited to the operation shown in FIGS. 37C and 39C.
  • the volume is increased near the center of the knob 302b.
  • the input pen 201 is rotated around the axis, whereby the knob 302b is rotated to increase or decrease the volume.
  • FIGS. 38B and 40B when an area 302c displaying information related to the music being played is pointed with the input pen 201, as shown in FIGS. 38C and 40C, If the region 302c is switched to a two-dimensional display so that a two-dimensional G UI operation can be performed, for example, in combination with a handwritten character recognition function, the music to be reproduced in the region 302c can be displayed. You can enter a track number and skip to the desired track number.
  • Example 2-8 an example of the operation of a music device using a remote controller has been shown.
  • the present invention is not limited to this.
  • it is a PDA, a mobile phone, a kiosk terminal, an ATM, or the like.
  • It can also be applied to the operation of devices that can take the same form, making each device more intuitive. It becomes possible to operate.
  • music is played, the volume is raised, and the track is changed.
  • the present invention is not limited to this, and any operation associated with the operation in the input bin 201 may be performed. Any operation is possible
  • handwriting recognition is used to input the track number.
  • any method can be used as long as it can be realized by a two-dimensional GUI.
  • an input method may be used in which the track number is displayed in the pull-down menu and the input pen 201 is selected.
  • the 3D pointing device that realizes the 3D pointing described in each of the embodiments need not be a dedicated device specialized for realizing the 3D pointing method.
  • FIG. it can also be realized by a computer (system control device 1) such as a PC and a three-dimensional pointing program for causing the computer to execute the three-dimensional pointing method as described in the above embodiments.
  • the three-dimensional pointing program may be recorded on any one of magnetic, electrical, and optical recording media as long as it is recorded in a state that can be read by the computer.
  • the three-dimensional pointing program can be provided through a network such as the Internet, which is not only recorded on the recording medium but also provided.
  • the third embodiment corresponds to the second object of the present invention.
  • a pointer and an object are displayed in a three-dimensional space expressed on a display device, and an arbitrary point in the three-dimensional space is displayed with the pointer.
  • the pointing is performed with the depth position, shape, and size of the pointer different from the portion to be pointed being maintained constant. Move the part to be performed in the depth direction. And if there is an object at the 3D spatial position where the pointing part is pointing, the object is pointed and Change to the state shown. In this way, the operator of the pointer can easily and accurately recognize the depth position of the pointer and the position where the pointer is pointing.
  • FIG. 50 is a schematic diagram showing a configuration example of a system for realizing the three-dimensional pointing method of the present invention.
  • 1 is a pointing device (system control device), 101 is input information acquisition means, 102 is pointing position / deformation amount calculation means, 103 is pointer generation means, 104 is display control means, 105 is pointing determination means, 106 Is an object generation means, 107 is a processing control means, 108 is a storage means, 2 is an input device, and 3 is a display device.
  • 101 is input information acquisition means
  • 102 is pointing position / deformation amount calculation means
  • 103 is pointer generation means
  • 104 is display control means
  • 105 is pointing determination means
  • 107 is a processing control means
  • 108 is a storage means
  • 2 is an input device
  • 3 is a display device.
  • a pointer on a 3D space represented on a display device connected to a system control device such as the PC is controlled by the system control described above.
  • This is a three-dimensional pointing method that is preferably applied to a case where an arbitrary position on the three-dimensional space is pointed by operating three-dimensionally using an input device connected to the apparatus.
  • the system control apparatus 1 acquires the input information input means 101 for acquiring the input information input from the input apparatus 2 and the input information acquisition means 101.
  • the input information is information related to the operation of the pointer (pointer operation information)
  • the pointing position and the amount of deformation of the pointer are calculated after calculating the moving direction and moving amount of the pointing point based on the input information.
  • Display control means 104 for displaying on the display device 3.
  • the system control apparatus 1 includes an object pointed to a pointer to be generated based on the calculation result of the pointing position Z deformation amount calculation means 102 as shown in FIG.
  • the system control device 1 is a device that activates and operates software according to input information from the input device 2 and controls other devices, such as the PC, for example. As shown in FIG.
  • a processing control means 107 and a storage means 108 are provided.
  • the processing control unit 107 executes a process according to the acquired information.
  • the three-dimensional pointing method of the present embodiment can be realized using the existing system control device 1 as shown in FIG. 50, which does not require the use of a special three-dimensional pointing device.
  • the input device 2 is not limited to an input device generally connected to the system control device 1 (PC) such as a keyboard or a mouse, but may be a pen tablet or a joystick (joypad). ) Or the like. Further, when operating the pointer with the input device 2, for example, it may be performed with one kind of input device such as a mouse or a keyboard, and the mouse operation and pressing of a specific key on the keyboard are combined. For example, two or more types of input devices may be used.
  • the entering-force device 2 for example, the display surface of the display device 3 and may be integrally I spoon (e.g., see JP-A 5-73208 discloses.)
  • the pointer operation information can be input by touching the display screen of the display device 3 with a pen or a fingertip.
  • the display device 3 may be any display device that can represent a three-dimensional space. For example, a two-dimensional display that projects a three-dimensional object such as a CRT display or a liquid crystal display onto a two-dimensional plane. It may be a display device or a display device capable of displaying a three-dimensional stereoscopic image such as a DFD (for example, see Japanese Patent No. 3022558 and Japanese Patent No. 3460671). That is, the display device 3 is any display device as long as the operator (observer) can three-dimensionally recognize (perceive) the displayed pointer and the position and shape of the object.
  • a two-dimensional display that projects a three-dimensional object such as a CRT display or a liquid crystal display onto a two-dimensional plane. It may be a display device or a display device capable of displaying a three-dimensional stereoscopic image such as a DFD (for example, see Japanese Patent No. 3022558 and Japanese Patent No. 3460671). That is, the display device 3 is any display
  • FIGS. 51 to 55 illustrate the three-dimensional pointing method of the embodiment 3-1 according to the present invention.
  • FIG. 51 is a diagram for explaining the operation method of the pointer
  • FIG. 52 is a front view and a right side view showing a change in the three-dimensional space when an object behind the pointer is pointed.
  • 53 is a perspective view of the change in the three-dimensional space of FIG. 52
  • FIG. 54 is a front view and right side view showing the change in the three-dimensional space when pointing to an object in front of the pointer
  • FIG. FIG. 10 is a flowchart for explaining a processing procedure when the three-dimensional pointing method of the embodiment 3-1 is executed by a system control device (pointing device).
  • FIG. 52 shows three states in the three-dimensional space in the upper, middle, and lower stages. By performing operations as shown between each stage, the state in the three-dimensional space is changed to the upper force in the middle stage. It is a figure which shows a mode that middle stage force also changes to a lower stage.
  • FIG. 53 also shows three states in the upper, middle, and lower stages, and the perspective views of the states in the upper, middle, and lower stages in FIG. 52, respectively.
  • FIG. 54 shows three states in the three-dimensional space in the upper, middle, and lower stages, and the state in the three-dimensional space can be changed by performing the operations shown between the respective stages. It is a figure which shows a mode that it changes from the middle stage to the middle stage, and the middle stage to the lower stage.
  • 1 is a system control device
  • 201 is a keyboard
  • 202 is a mouse
  • 3 is a display device (two-dimensional display device)
  • 301 is a display surface
  • 4 is a pointer.
  • Example 3-1 as shown in FIG. 51, a keyboard 201 and a mouse 202 are used as the input device 2, and a two-dimensional display device such as a liquid crystal display is used as the display device 3.
  • a two-dimensional display device such as a liquid crystal display
  • the moving direction and moving distance of the pointer 4 displayed in the three-dimensional space in the XY plane are the moving direction and the moving distance when the mouse 202 is powered two-dimensionally on a plane such as a desktop. Calculate (determine) based on the distance traveled.
  • the moving direction and moving distance in the depth direction can be determined by, for example, a key 201A that is preliminarily determined such as a control key (Ctrl key) of the keyboard 201 as shown in FIG. How to rotate the wheel 202A of the mouse 202 while holding down Calculation (determination) based on direction and rotation angle.
  • a key 201A that is preliminarily determined such as a control key (Ctrl key) of the keyboard 201 as shown in FIG.
  • the pointer pointing portion is viewed in the + Z direction of the three-dimensional space, that is, from the operator. And move it in the direction of the back.
  • the mouse wheel 202A is turned in the Z direction
  • the pointing portion of the pointer is moved in the -Z direction of the three-dimensional space, that is, in the direction facing the front in view of the operator force.
  • the pointer 4 has an arrow shape, and represents the point (X, y, z) where the tip of the arrow is pointing.
  • the arrow portion is moved in the depth direction while keeping the depth position of the end opposite to the tip of the arrow constant. Tilt the pointer 4.
  • object 5 Since object 5 has a different depth position, object 5 is pointed! / ⁇ !
  • the three-dimensional pointing method of the embodiment 3-1 does not specify the tilting method of the pointer 4 as shown in the middle part of Fig. 52 and the middle part of Fig. 53. As long as the depth position of the end opposite to the tip of the arrow is kept constant, it can be tilted in any way.
  • the operator can recognize that the pointer 4 is further tilted in the depth direction (+ Z direction), and at the same time, the pointer 4 is further pointing away from the position before the operation due to the shape of the pointer 4. And you can also recognize that.
  • the object 5 is pointed by the pointer 4. Therefore, for example, as shown in the lower part of FIG. 52 and the lower part of FIG. Change the color to indicate that you are pointing. In this way, the operator can intuitively and accurately recognize the position of the pointer 4 in the depth direction and the position in the depth direction where the pointer 4 is pointing. In addition, by changing the color of the object 5 when it is pointed by the pointer 4, it is intuitive whether the pointer 4 overlaps the object 5! /, And the pointer 4 is pointing to the object 5. And it can be recognized accurately.
  • FIGS. 52 and 53 when the pointer 4 is in front of the depth position of the object 5 as viewed from the operator, and the pointer 4 is tilted back (+ Z direction).
  • the pointer 4 can be tilted forward (one Z direction).
  • the width of the arrow portion of the pointer is displayed wider.
  • the operator can recognize that the pointer 4 is tilted in the depth direction (+ Z direction), and at the same time, the pointer 4 points to the position before the operation from the position before the operation due to the shape of the pointer 4. I can also recognize that.
  • the mouse wheel 202A is further rotated in the ⁇ Z direction while pressing the control key 201A of the keyboard again from the state shown in the middle part of FIG.
  • the pointer 4 keeps the tip of the arrow in the Z direction in a state where the depth position of the end opposite to the tip of the arrow is kept constant. It moves, and the part of the arrow is tilted further in front of the operator.
  • the pointer is rotated while maintaining its shape and size, the width of the arrow of the pointer is displayed wider.
  • the operator can recognize that the pointer 4 is further tilted in the depth direction (-Z direction), and at the same time, the pointer 4 is pointing further forward than the position before the operation due to the shape of the pointer 4. Can also recognize
  • the destination position is reached, the xyz coordinate (X, y, z) of the tip of the pointer 4 and the object 5
  • the object 5 When the xyz coordinates of an arbitrary point on or inside the surface of the object 5 coincide, the object 5 is pointed to by the pointer 4. Therefore, for example, as shown in the lower part of FIG. 54, the color of the object 5 is changed to indicate the pointing state. In this way, the operator can intuitively and accurately recognize the position in the depth direction of the shape force pointer 4 of the pointer 4 and the position in the depth direction where the pointer 4 is pointing. In addition, by changing the color of the object 5 when pointed by the pointer 4, it is intuitive whether the pointer 4 overlapping the object 5 is pointing to the object 5 or not. It can be recognized accurately.
  • the pointer 4 is moved in the depth direction (in accordance with the rotation of the mouse wheel 202A). + Z direction or ⁇ Z direction), for example, the pointer 4 may be displayed so as to be continuously tilted in accordance with the total rotation angle of the wheel 202A, or the wheel 202A. In synchronization with this rotation step, the pointer 4 may be displayed so as to tilt stepwise by a predetermined angle each time the wheel 202A is rotated one step.
  • step 601 When the three-dimensional pointing method of the present embodiment 3-1 is executed by the system control device 1 (pointing device), the process starts from step 601 as shown in FIG. The processing of 608 may be executed.
  • the system control device 1 first displays the object 5 and the pointer 4 on the display device 3 using the display control means 104 (step 601).
  • a plurality of the objects 5 may be displayed.
  • the object 5 and the pointer 4 are expressed by the display device 3 and can be displayed at any position within the three-dimensional space.
  • the input information acquired by the input information acquisition means 101 is to acquire not only information related to the operation of the pointer 4 (pointer operation information) but also input information such as application 'software activation. 1S
  • the pointer Suppose that information about the operation of 4 is acquired.
  • the input information acquired by the input information acquisition means 101 is determined as to whether or not it is the pointer operation information, and the input information is, for example, movement information (operation information) of the mouse 202 or wheel 202A.
  • the input information acquisition unit 101 passes the input information (pointer operation information) to the pointing position Z deformation amount calculation unit 102 to change the pointing position and the pointer. Let the amount be calculated.
  • the pointing position Z deformation amount calculation means 102 first calculates, for example, as shown in FIG. 55, the pointer movement direction, the movement amount, and the like based on the pointer operation information (step 603).
  • step 603 for example, from the information of the two-dimensional movement direction and movement amount of the mouse body, the movement direction, movement amount, or rotation of the pointer 4 in the XY plane of the three-dimensional space represented by the display device. An angle or the like is calculated.
  • the pointer 4 displayed on the display device 3 is moved and displayed based on the calculation result (step 604). .
  • the step 604 uses the display control unit 104 after the pointer generation unit 103 generates the destination pointer 4 based on the movement direction, movement amount, etc. of the pointer 4 in the XY plane.
  • the generated pointer 4 is displayed on the display device 3.
  • the pointer operation information includes information for moving or rotating the pointer 4 in the XY plane. In this case, the operation in step 604 is omitted, and the processing in the next step 605 is performed. .
  • the pointing position Z deformation amount calculation unit 102 causes the pointer generation unit 103 and the display control unit 104 to perform the processing of step 604, while the pointer Based on the operation information, the direction and amount of tilt of the pointer 4 are calculated (step 605).
  • the tilting direction is determined, for example, by the information power of the rotation direction of the wheel 202A of the mouse 202. Further, the amount of tilt is calculated from the amount of rotation of the wheel 202A of the mouse 202, for example.
  • the pointer 4 displayed on the display device 3 is tilted and displayed based on the calculation result (step 606).
  • the step 606 uses the display control unit 104 after the pointer 4 is tilted by the pointer generation unit 103 based on the tilting amount of the pointer 4, for example, FIG.
  • the pointer 4 tilted as shown in the middle section of the screen is displayed on the display device 3.
  • the operation in step 606 is omitted, and the processing in the next step 607 is performed.
  • the pointing position Z deformation amount calculation means 102 performs the processing of step 603 and step 606, and then passes the calculation result to the pointer generation means 103 to generate a pointer, and also performs the pointing determination.
  • the calculation result is also passed to means 105.
  • the pointing determination means 105 determines from the received calculation result whether or not there is an object to which the pointer 4 after the operation is pointing, that is, the pointer 4
  • the xyz coordinate force of the point is determined to determine whether it is within a predetermined range from the xyz coordinate of any point on or inside the surface of the object (step 607). If there is no pointing object at this time, the process returns to step 602 and waits until the next input information (pointer operation information) is acquired.
  • the pointing determination means 105 causes the object generation means 106 to generate an object in which the color of the pointing object is changed, and uses the display control means 104. Then, it is displayed on the display device 3 (step 608). After displaying the object whose color has been changed, the process returns to step 602 and waits until the next input information (pointer operation information) is acquired.
  • the processing control means 107 performs processing according to the acquired input information.
  • examples of input information other than the pointer operation information include activation of software associated with the object 5 pointed by the pointer 4 and input information of numerical values or character strings.
  • the processing control means 107 performs processing such as activation of software associated with the object 5 based on the input information.
  • the object generation means 105 generates an object related to the processing result
  • the display control means 104 is used to display the processing result object on the display device 3.
  • the depth position of the opposite end of the pointer 4 from the pointing point (the tip of the arrow) is constant.
  • the pointer is tilted in the depth direction and displayed on the display device 3 so that the operator viewing the pointer 4 can move the depth position of the pointer 4 and the pointer 4
  • the depth position is intuitively and accurately recognized.
  • the pointer 4 is tilted in the depth direction while maintaining the entire length of the pointer 4, and the object 5 is pointed.
  • the three-dimensional length of the pointer 4 does not change, so that a natural object display closer to a real object can be presented to the operator.
  • the pointer 4 is tilted in the depth direction by combining the rotation operation of the keyboard control key 201A and the mouse wheel 202A.
  • Power not limited to this, it may be a combination of another key of the keyboard 201 and the wheel 202A! /, Or may be combined with a cursor key (direction key) of the keyboard 201 instead of the wheel 202A.
  • the pen tablet may tilt when a predetermined operation is performed with a touch panel, joystick, etc.
  • an arrow-shaped pointer has been given as an example of the pointer 4.
  • the present invention is not limited to this, and the tilt when tilted in the depth direction is displayed. Any shape can be used as long as the direction and the pointing point (position) can be visually recognized.
  • FIGS. 56A to 56D are schematic diagrams showing modifications of the shape of the pointer
  • FIG. 56A is a diagram showing a triangular pointer
  • FIG. 56B is a diagram showing a pointer in the shape of a human hand
  • FIG. 56C is a diagram
  • FIG. 56D is a diagram showing a saddle-shaped pointer
  • FIG. 56D is a diagram showing a cross-shaped pointer.
  • the pointer 4 is not limited to the arrow shape as shown in the upper part of FIG. 52, and may be a triangular pointer 4A as shown in FIG. 56A, for example.
  • the vertex angle of the pointer 4A should be the point (X, y, z) that is pointed and tilted in the depth direction with the bottom position kept constant.
  • Pointer 4 in the shape of the person's hand In the case of B, for example, the point (x, y, z) where the tip of the index finger is pointing
  • the point of intersection (X, y, z) is set as the point of intersection, and the depth position of the end of one of the four axes extending from the point of intersection.
  • the above object is also a force exemplified by a folder icon type object as shown in Fig. 51 or the like. Any shape can be used as long as it can be pointed to with the pointer, such as shortcuts and windows! /.
  • the pointing position in the depth direction of the pointer 4 can be recognized from the change in the visual shape of the pointer 4, for example.
  • a reference that serves as an index for allowing the operator to recognize how much the pointer 4 is tilted in the space may be displayed on the display device 3.
  • FIG. 57 is a diagram showing an example in which a reference is displayed in the three-dimensional pointing method of the embodiment 3-1.
  • the operator recognizes the pointing position in the depth direction of the pointer 4 by the change in the visual shape when the pointer 4 is tilted in the depth direction. However, if the same depth position remains pointing for a long time, there is no change in the visual shape, which may obscure the recognition of the pointing position of the pointer 4 in the depth direction. .
  • the xyz coordinate axis (reference) 7 reflecting the XYZ coordinate system set in the three-dimensional space is displayed in the three-dimensional space displayed on the display device 3.
  • the reference 7 may be fixed at a specific position in the three-dimensional space, or is moved along with the movement of the pointer 4, and is fixed on the spot when the pointer 4 tilts. Also good. Further, the operator can set the reference 7 at any position in the three-dimensional space represented by the display device 3 and can set the position. In FIG.
  • a display object representing the xyz coordinate axis is used as the reference 7.
  • the display object is not limited to this, and any display object can be used as an index for allowing the operator to recognize the degree of inclination of the pointer 4.
  • it may be a semi-transparent display object having an inclination of 0 (parallel to the XY plane) and similar to the pointer.
  • FIG. 58 is a schematic diagram for explaining a modified example of the three-dimensional pointing method of the embodiment 3-1, and the change in the three-dimensional space when the object behind the pointer is pointed It is the front view and right view which show these.
  • the upper, middle, and lower stages show three states in the three-dimensional space.By performing operations as shown between the stages, the state in the three-dimensional space is changed from the upper stage to the middle stage. It is a figure which shows a mode that it changes from the middle stage to the lower stage.
  • the entire length, shape, etc. of the pointer 4 are kept constant in the depth direction. It is displayed. Therefore, the object that can be pointed by the pointer 4 at a certain depth position is limited to an object that is closer in the depth direction than the length of the pointer 4.
  • the three-dimensional pointing method of this embodiment 3-1 is not limited to the way of tilting the pointer as shown in the lower part of FIG. 52, for example.
  • One end of the pointer (the opposite side of the tip of the arrow) This is a method that allows the operator to recognize the tilt of the pointer and recognize the pointing position by comparing the depth position of the end of the pointer and the depth position of the tip of the pointer (the tip of the arrow).
  • any tilting method can be used as long as the depth position of the part different from the pointed part is kept constant.
  • the change is to change the size used as a psychological drawing method for presenting a three-dimensional stereoscopic effect to the operator when the pointer 4 is displayed in the three-dimensional space represented on the display device 3. In other words, it is different from ⁇ changing the size on the display '' where the pointer behind the operator is displayed smaller, or the pointer closer to the operator is viewed larger from the operator. .
  • the three-dimensional pointing method of the present embodiment 3-1 as shown in FIG. 52 and FIG. 53, the force described for the method of pointing the object at different depth positions by tilting the pointer 4 at this time As shown in FIG. 59 in which the pointer 4 is simply tilted, an operation of translating in the depth direction while maintaining the shape of the pointer 4 may be added.
  • Fig. 59 is a schematic diagram for explaining a first application example of the three-dimensional pointing method of the embodiment 3-1 and shows a three-dimensional view when pointing an object behind the pointer. It is the front view and right view which show the change in space.
  • the upper, middle, and lower stages show three states in the three-dimensional space. By performing the operations shown between each stage, the state in the three-dimensional space It is a figure which shows a mode that it changes from the middle stage and the middle stage to the lower stage.
  • the length of the entire pointer changes as it tilts in the depth direction. Pointing is possible even for objects with a large distance in the depth direction. However, even if the pointer is tilted as shown in the lower part of FIG. 52, for example, by moving the pointer 4 in the Z-axis direction while maintaining the shape, the pointer 4 and the object 5 in the depth direction. If the distance is made shorter than the entire length of the pointer, all objects in the three-dimensional space represented on the display device 3 can be pointed.
  • the translation of the pointer 4 in the Z-axis direction is performed by holding the mouse wheel 202A + Z while pressing a key other than the keyboard control key (Ctrl key) 201A, for example, the shift key (Shift key). If the pointer 4 is rotated in the direction, the pointer 4 is translated in the + Z direction of the three-dimensional space, and if the mouse wheel 202A is rotated in the Z direction while holding the shift key (Shift key), the pointer 4 is moved. Just translate it in the Z direction in the 3D space!
  • the pointer 4 and the object 5 are displayed at different depth positions in the three-dimensional space as viewed from the operator's viewpoint. Give a case. At this time, from the viewpoint of the operator looking at the three-dimensional space from the ⁇ Z direction, the force that the pointer 4 appears to overlap the object 5 The point (x, y, z) where the inter 4 is pointing and the object 5 are
  • the pointer 4 When the pointer 4 is translated in the Z-axis direction in accordance with the rotation of the mouse wheel 202A, for example, the pointer 4 is continuously moved in accordance with the total rotation angle of the wheel 202A.
  • the pointer 4 may be displayed to move stepwise by a predetermined distance every time the wheel 202A is rotated by one step in synchronization with the rotation step of the wheel 202A. It's okay.
  • the two-dimensional movement of the mouse 202 body is reflected in the movement of the pointer 4 in the XY plane, and the control key of the keyboard 201 is reflected.
  • the combination of the rotation operation of 201 A and the wheel 202A of the mouse 202 is reflected in the inclination of the pointer 4 in the depth direction.
  • the position shown in FIG. In the inching method the combination of the shift operation of the keyboard 201 and the rotation operation of the wheel 201A of the mouse 202 is reflected in the translational movement of the pointer 4 in the depth direction.
  • the pointer 4 is rotated in the XY plane by combining a key other than the control key (Ctrl key) 201A or the shift key (Shift key) of the keyboard 201 and the rotation operation of the mouse wheel 201A. Is also possible.
  • the rotation of the pointer 4 in the XY plane is performed by pressing a key other than the control key (Ctrl key) or the shift key (Shift key) of the keyboard 201, for example, the ortho key (Alt key).
  • a key other than the control key (Ctrl key) or the shift key (Shift key) of the keyboard 201 for example, the ortho key (Alt key).
  • the mouse wheel 202A is rotated in the + Z direction
  • the pointer 4 is rotated clockwise, while the mouse wheel 202A is rotated in the -Z direction while holding the Alt key (Alt key).
  • the pointer 4 may be rotated counterclockwise.
  • FIG. 60 is a schematic diagram for explaining a second application example of the three-dimensional pointing method of the embodiment 3-1, and is a three-dimensional view when pointing an object behind the pointer. It is the front view and right view which show the change in space.
  • the upper stage, middle stage, and lower stage show three states in the three-dimensional space. By performing operations as shown between each stage, the state in the three-dimensional space becomes the upper stage force. It is a figure which shows a mode that it changes from the middle stage and the middle stage to the lower stage.
  • the pointer 4 When the pointer 4 is rotated and displayed in the XY plane in accordance with the rotation of the mouse wheel 202A, for example, the pointer 4 is continuously aligned with the total rotation angle of the wheel 202A.
  • the pointer 4 may be displayed stepwise by a predetermined angle every time the wheel 202A is rotated by one step in synchronization with the rotation step of the wheel 202A. It may be displayed to rotate.
  • Example 3-1 as shown in FIG. 51, a case where a two-dimensional display device such as a liquid crystal display is used as the display device 3 is described as an example.
  • a 3D display device capable of 3D display such as DFD, the depth position of the pointer can be recognized more accurately and intuitively.
  • FIG. 61 and FIGS. 62A and B are schematic diagrams for explaining a third application example of the three-dimensional pointing method of the embodiment 3-1
  • FIG. 61 is a diagram showing a configuration example of the system
  • 62A and 62B are diagrams for explaining the operating principle of the DFD.
  • the display device 3 may be any display device as long as it can represent a three-dimensional space.
  • DF It is preferable to use a three-dimensional display device (display) such as D.
  • the DFD is a display device that includes a plurality of display surfaces that overlap in the depth direction when the viewpoint power of the operator (observer) is also seen (for example, Japanese Patent No. 3022558) And patent 3460671).
  • the operating principle of the DFD is the same as described in the first embodiment. To simplify the explanation, it is assumed that two display surfaces 301A and 301B are overlapped as shown in FIG. At this time, the pointer 4 and the object 5 are displayed by reflecting the depth position in the three-dimensional space between the two display surfaces 301A and 301B.
  • the pointer 4 and the object 5 displayed on the DFD are displayed on both the front display surface 301A and the back display surface 301B as viewed from the operator.
  • the DFD is a luminance modulation type
  • the object 5A on the front display surface 301A is represented by luminance L
  • the object 5B on the rear display surface 301B is represented by luminance L.
  • the object 5 is displayed at a depth position in which the ratio of the distance from the front display surface 301A and the distance from the back display surface 301B in the three-dimensional space is L: L.
  • one object 5 can be displayed tilted in the depth direction.
  • the brightness of the object 5A on the front display surface 301A increases from the top to the bottom of the paper
  • the brightness of the object 5B on the back display surface 301B increases from the bottom to the top of the paper.
  • the DFD is a transmissive type
  • the transparency of each point (pixel) in the area displaying the object 5A on the front display surface 301A is adjusted.
  • the stereoscopic image of the pointer 4 and the object 5 can be displayed at an arbitrary depth position between the front display surface 301A and the back display surface 301B, similarly to the luminance modulation type DFD. It is out.
  • the depth of the pointer 4 does not change by simply recognizing the depth depending on the width of the pointer 4 displayed on the display device 3, and the one end and the tip of the pointer 4 are By comparing a certain depth position, the depth position of the pointer 4 can be recognized intuitively and accurately. Also, when using DFD, if the display surface in front of DFD or the display surface in the back is the depth position with one end where the depth of pointer 4 does not change, the operator can more accurately and intuitively determine the depth of pointer 4 There is a big effect that the position can be recognized.
  • a process for projecting and displaying the three-dimensional space to be expressed on a two-dimensional plane is necessary.
  • a three-dimensional display device it is only necessary to set the luminance ratio of points (pixels) on each display surface according to the position in the depth direction of the three-dimensional space! It is possible to reduce the load on 1).
  • the 3D space to be displayed is projected and displayed on a 2D plane.
  • a 3D display device such as the DFD makes it possible to perform a pointing operation with a feeling closer to real space. From these facts, by using a 3D display device such as the DFD, the operator is more accurate and faster than a pointing operation using a general 2D display. 3D depth can be pointed.
  • FIG. 61 shows a case where a keyboard 201 and a pen tablet are used in combination as the input device 2, and the technique of the first embodiment can be applied. That is, the pen tablet is an input device that detects the movement of the pen tip of the input pen 203B, writing pressure, etc. by operating the input pen (electronic pen) 203B on the detection means (digitizer) 203A. . Therefore, for example, the movement of the pen tip of the input pen 203B is
  • the amount of movement of the pointer 4 within the keyboard By reflecting the amount of writing pressure at the time of the movement in the Z direction, pointing with the pointer 4 is possible with the same operational feeling as when using the mouse 202 It becomes.
  • the technique of the second embodiment can also be applied.
  • the amount by which the pointer 4 tilts is determined according to the number of times the detection means 203A is pressed with the input pen 203b, for example.
  • the detection means (digitizer) 203A of the pen tablet is superimposed on the display surfaces 301A and 301B of the display device 3 (DFD), the operator can input the input on the display surfaces 301A and 301B. Since the pen 203B can be operated and pointed, the operator can recognize the depth position of the pointer 4 more accurately and intuitively.
  • the three-dimensional pointing method of the present embodiment 3-1 is performed when pointing using an input device that can be integrated with the display device 3, such as a touch panel, instead of the pen tablet.
  • an input device that can be integrated with the display device 3, such as a touch panel, instead of the pen tablet.
  • the touch panel for example, the pointer 4 can be operated by touching the screen of the display device 3 with an operator's finger instead of the input pen 203B. Therefore, the touch panel is more than a pen tablet using the input pen 203B. However, the pointer 4 can be operated more intuitively.
  • y is kept constant, and the pointing point is a straight line extending in the depth direction.
  • the pointing point may be tilted so as to follow various trajectories!
  • FIGS. 63A to 66B are schematic diagrams for explaining a fourth application example of the three-dimensional pointing method of the embodiment 3-1, and FIGS. 63A, 63B, 64A, and 64B are respectively shown.
  • FIG. 65A, FIG. 65B, FIG. 66A, and FIG. 66B are diagrams showing application examples in the case of following a circular trajectory, respectively.
  • Figure 63A, Figure 63B, Figure 64A, Figure 64B, Figure 65A, Figure 65B, Figure 66A, and Figure 66B show the three-dimensional space viewed from the XZ plane side to make the trajectory easier to move. The figure (right side view) is shown.
  • the pointing point may be traced so as to move in the + X direction in proportion to the movement in the + Z direction.
  • the pointing may follow a trajectory in which the point moves in the ⁇ X direction in proportion to the movement in the + Z direction.
  • a force indicating a case where the pointer is tilted while maintaining the entire length of the pointer is not limited to this, and as shown in FIGS. 64A and 64B, a three-dimensional view of one end of the pointer is provided. It is also possible to incline in the depth direction while changing the length of the entire pointer by moving the point in the depth direction with the fixed position fixed.
  • the trace is not limited to the linear trajectory.
  • a trace from a certain point (X, y, z) in a three-dimensional space with an radius r in the XZ plane of y y Arc shape drawn
  • FIGS. 65A and 65B a force indicating a case where the entire pointer is tilted while maintaining the entire length is not limited to this, and as shown in FIGS. 66A and 66B, a three-dimensional view of one end of the pointer is provided. It is also possible to incline in the depth direction while changing the length of the entire pointer by moving the point in the depth direction by performing the above-mentioned pointing with a fixed position fixed.
  • the trace is not limited to the trajectory as shown in each of the drawings, and may be any trajectory.
  • FIGS. 67 to 69 are schematic diagrams for explaining the three-dimensional pointing method according to the embodiment 3-2 of the present invention.
  • FIG. 67 shows a three-dimensional space when an object behind the pointer is pointed.
  • 68A is a diagram for explaining a problem in the three-dimensional pointing method of Example 3-2
  • FIG. 68B is a method for solving the problem shown in FIG. 68A.
  • FIG. 69 is a diagram for explaining a modification of the solution shown in FIG. 68B.
  • Fig. 67 shows three states in the three-dimensional space in the upper, middle, and lower stages. By performing the operations shown between each stage, the state in the three-dimensional space is changed to the upper stage force.
  • Example 3-1 the point (X, y, z) of the pointer 4 is the point
  • Example 3-2 as an example of the tilting method different from Example 3-1, the pointer 4 is centered on a certain point (X, y, z) in a three-dimensional space, and Describes a three-dimensional pointing method for recognizing the inclination of the pointer 4 and recognizing the pointing position by rotating while keeping the distance between each point on the pointer 4 and the center constant. To do.
  • the input device 2 includes a keyboard, a mouse, a pen tablet, a touch panel, a joystick, etc. Force that can use an input device As shown in FIG. 51, it is assumed that a keyboard 201 and a mouse 202 are used.
  • the display device 3 can use a display device such as a two-dimensional display device such as a CRT or a liquid crystal display, or a three-dimensional display device such as a DFD. As shown in FIG. Suppose you use a display (two-dimensional display)!
  • the moving direction and the moving distance of the pointer 4 displayed in the three-dimensional space in the XY plane are the moving direction and the moving distance when the mouse 202 body is two-dimensionally driven on a plane such as a desktop. Calculate (determine) based on the distance traveled.
  • the moving direction and moving distance in the depth direction (Z direction) are, for example, as shown in FIG. 51, such as the control keys (Ctrl key) of the keyboard 201 and the like.
  • Calculation determination is performed based on the rotation direction and rotation angle when the wheel 202A of the mouse 202 is rotated while pressing.
  • the pointer pointing portion is viewed in the + Z direction of the three-dimensional space, that is, from the operator. Move in the direction of Move.
  • the mouse wheel 202A is turned in the Z direction, the pointing portion of the pointer is moved in the -Z direction of the three-dimensional space, that is, in the direction facing the front in view of the operator force.
  • the shape of the pointer is an arrow, and the tip of the arrow represents a point (X, y, z) that is pointing .
  • the operator can recognize that the pointer 4 is further tilted in the depth direction (+ Z direction), and at the same time, the pointer 4 is further out of the position before the operation from the shape of the pointer 4. You can also recognize that you are pointing in the back.
  • the pointer 4 is rotated by an angle ⁇ so as to move in the + Z direction) or the near side (-Z direction). Therefore, as shown in the middle of Fig. 67, when the pointer 4 is tilted to the back, the depth position of a part of the pointer 4 after tilting (the part opposite to the tip of the arrow) is the depth before tilting. It will be in front of the position. At this time, if the depth position of the pointer is sufficiently large, the portion on the opposite side of the tip of the arrow of the pointer after being tilted exists in the three-dimensional space represented on the display device 3 and is displayed. Can do. However, for example, as shown in FIG.
  • the pointer 4 is on the display surface 301, in other words, on the boundary surface between the three-dimensional space represented by the display device and the real space where the operator is present.
  • the portion opposite to the tip of the arrow of the pointer 4 is outside the three-dimensional space represented on the display device 3 when the pointer 4 is rotated and tilted. I can't display it. Therefore, there is a problem in that the shape of the pointer 4 on the side opposite to the tip of the arrow is missing.
  • a pointer may be generated by bending the protruding portion to the boundary surface (XY plane) of the three-dimensional space and displayed.
  • step 606 where the pointer is tilted and displayed, the pointer protrudes from the three-dimensional space when the pointer is tilted based on the calculation result of step 605. It is determined whether the part has a certain force or not, and if there is a part that protrudes, a pointer is created to project or fold the protruding part onto the XY plane (boundary surface), and displayed on the display device 3 .
  • FIG. 67 illustrates an operation when the pointer 4 is in front of the depth position of the object 5 as viewed from the operator and the pointer 4 is tilted back (+ Z direction).
  • the pointer 4 can be tilted forward (in the Z direction).
  • the operator who has seen the pointer 4 can intuitively and accurately recognize the depth position of the pointer 4 and the depth position at which the pointer 4 is pointing.
  • the keyboard 201 and the mouse 202 are used as the input device 2, and the control operation 201A of the keyboard and the rotation operation of the mouse wheel 202A are combined.
  • the force shown in the example in which the pointer 4 is tilted in the depth direction is not limited to this, and may be a combination of another key of the keyboard 201 and the wheel 202A, or the cursor key of the keyboard 201 instead of the wheel 202A. (Direction key) may be combined.
  • the pen tablet may be tilted when a predetermined operation is performed with a touch panel, a joystick, or the like.
  • the display device 3 is not limited to a two-dimensional display device such as a liquid crystal display, but may be a three-dimensional display device such as DFD.

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Architecture (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • Software Systems (AREA)
  • User Interface Of Digital Computer (AREA)
  • Processing Or Creating Images (AREA)
  • Position Input By Displaying (AREA)

Abstract

　３次元ポインティング方法が開示される。本発明の３次元ポインティング方法では、あらかじめ定められた検出面上を入力ペンのペン先で指し示したときの、指し示した位置の２次元的な座標と、前記入力ペンのペン先にかかる圧力である筆圧もしくは指し示し続けた時間または前記入力ペンが備える操作手段の操作とに基づいて、表示装置に表現された３次元空間内の所望の点をポインティングする。また、本発明の３次元ポインティング方法では、前記入力ペンの筆圧もしくは指し示し続けた時間または前記入力ペンが備える操作手段の操作に応じて、前記３次元空間に表示させる３次元ポインタの奥行き方向の座標を変化させて表示装置に表示する。

Description

明 細 書
3次元ポインティング方法、 3次元表示制御方法、 3次元ポインティング装 置、 3次元表示制御装置、 3次元ポインティングプログラム、及び 3次元表示制御 プログラム
技術分野
[0001] 本発明は、 3次元ポインティングを行うための技術に関し、特に、ペン型の操作部を 備える入力装置を用いて表示装置に表現された 3次元空間内のポインティングを行う 技術に関するものである。また、本発明は、表示装置に表現される 3次元空間上に配 置 (表示）されたオブジェクトをポインタで 3次元的にポインティングするための技術に 関するものである。更に、本発明は、 3次元空間に配置して表示したオブジェクトの選 択あるいは 3次元空間に配置して表示したオブジェクトをポインティングするための 3 次元表示の制御技術に関するものである。
背景技術
[0002] 近年、 PC (パーソナル 'コンピュータ）の演算性能の著しい向上や処理速度の高速 ィ匕、またグラフィック機能の強化などに伴い、 GUI (グラフィカル'ユーザ'インタフエ一 ス）は、その表示、機能、操作のどれもがこれまで以上に複雑化し、操作者が目的の 動作を実行させるにあたって、それらが足枷となって効率的な操作を妨げていること が多々ある。
[0003] そのような状態を改善するべく考え出されたのが、 3次元空間を用いて情報を呈示 、操作することである。これはしばしば 3次元 GUIなどと呼ばれ、 3次元空間に 3次元 的にオブジェクトを配置し、それを所定の入力デバイスを用いて操作すると ヽぅ仕組 みである。この 3次元 GUIの他にも 3次元空間内で設計などを行う CADや CGなどにお いても同様の仕組みを用いることがある力 同様の 3次元のオブジェクトを操作、ボイ ンティングするという観点から、ここからは 3次元 GUIを例にとって話を進めることにす る。この 3次元 GUIを用いると、これまで 2次元上に並べて、もしくは重ねて配置してい たオブジェクトを 3次元的に配置することが可能となり、作業スペースを効率的に使う ことができる。また、われわれを取り巻いている実世界は 3次元空間であるがゆえに、 GUIを 3次元化することで 2次元の GUIよりも直感的に扱うことができる GUIとなる。
[0004] ここでこの 3次元 GUIを操作する過程において必要となってくる課題の 1つに、様々 な奥行き位置にあるオブジェクトのポインティングがある。これまでの技術では、 2次 元の GUIにおいて用いられてきたマウスやキーボード、ジョイスティックなどを用いて、 ポインタの奥行き移動に必要な新たな機能を付加することで 3次元空間内のポインテ イングを実現していた。しかし、これらは操作者が入力デバイスを用いて操作を行う空 間と実際にポインタが表示されている空間が異なるため、操作者にそれらの空間の 間の意識的な対応付けという余分な動作が必要な上、奥行き移動に対する機能付 加などによって操作自体が複雑になってしまうなどの欠点があった。
[0005] さらに 3次元 GUIを操作する過程において必要となってくる課題の一つとして、 3次 元空間内にあるオブジェクトの操作がある。これまでは、 PHANToM (SensAble Techn ologies, In ）や SPIDER (たとえば、非特許文献 1を参照）といった 3次元の入力デバ イスを用いて 3次元空間内のオブジェクト操作を行うこともあった力 先のポインティン グの問題と同様に、操作者が入力デバイスを用いて操作を行う空間と実際にポインタ が表示されている空間が異なるため、操作者にそれらの空間を意識的に対応付けな ければならな ヽと 、う余分な作業が必要な上、アームや固定ワイヤーが存在するた め操作者の操作できる空間には制限があり、空間を広げるためにはどうしても装置を 大掛力りにせざるを得な力つた。さらに、上記デバイスはデバイスとしてはまだまだ一 般に普及しておらず、人々が使うには馴染み深いデバイスとはいえな力つた。
[0006] 一方、我々に馴染み深 、形態を持つデバイスとして、ペン型の入力デバイスがある 。近年、これまでの 2次元の GUIなどのポインティングやオブジェクト操作によく用いら れるものとして、ペンタブレットがある。なかでも電磁誘導方式のペンタブレット（たとえ ば、特許文献 1を参照）は、その装置の簡易さゆえに携帯性があること、画面を直接 ペンでポインティング可能なこと、取得できる情報（2次元位置や筆圧、ペンの筐体の 角度、ペンが備えるボタン、ホイール等の状態など）の豊富さなど力もマウスに変わる 入力デバイスとして、 PCや PDA (Personal Digital Assistant)、さらに近年では携帯電 話などにも搭載されつつある。
[0007] しかし、 2次元入力デバイスとして広く使われて 、るペンタブレット（ペン型入力デバ イス）が 3次元の入力デバイスとして使われた例は多くない。 1つの例として、ペンの 傾きや 3次元的な位置を取得可能なペン型デバイスを宙で手に持ち、ペンの先にあ る表示装置内に仮想的にペン先 (ポインタ）を表示させ、仮想的に表示されたペン先 をポインタとして使って 3次元空間内のポインティングを実現する試みがあった (たと えば、特許文献 2を参照)。この方法では、操作者が操作を行う空間と実際にポインタ 表示がある空間は離れているものの、仮想的に表示されたペン先があた力も自分の ペンの一部であるように感じられる点では従来の技術を凌駕している。しかし、操作 者はペン型の入力デバイスを宙で手に持たなければならな 、ため、疲労の観点から 長時間のポインティング作業には適さない。また、手が宙に浮いているがゆえに手の 位置が一点に定まりづらぐ操作者の目的の位置にペン先を保持できないという大き な欠点があった。つまり、操作者が入力デバイスを用いて操作を行う空間と、実際に ポインタやオブジェクトが表示されて 、る空間が異なるため、操作者にそれらの空間 を意識的に対応付けなければならないという余分な作業が必要であった。ゆえに、こ のシステムを用いてオブジェクトの細力 、操作などをすることなどは実質的に困難で めつに。
[0008] 以上のようなことから、これまでの 2次元の GUIよりも実世界に近い 3次元 GUIを、実 世界と同じような感覚でポインティングやオブジェクト操作ができ、装置構成も簡素で 、さらに操作者が疲れることなく効率的に、正確に 3次元空間をポインティングかつォ ブジェクト操作ができ、ポインティングしたオブジェクトの加工、編集なども容易にでき るような 3次元ポインティング方法および 3次元オブジェクト操作方法が求められてい る。
[0009] 次に、 3次元空間におけるポインタの表示に関する背景技術を説明する。前述した ように、これまでの技術では、 2次元の GUIにおいて用いられてきたマウスやキーボー ド、ジョイスティック等での操作に、奥行き方向への移動に必要な新たな機能を付カロ することで、ポインタの 3次元空間内の移動を実現している。また、ポインタの奥行き 方向の位置は、たとえば、ポインタを拡大あるいは縮小させることで表現し、空間内の 奥にあるオブジェクトのポインティングを行って 、た (たとえば、非特許文献 2を参照。
) oつまり、 3次元空間内でポインタが手前にあるときはポインタを大きく表示し、奥に あるときにはポインタを小さく表示する方法などが提案されていた。
[0010] し力しながら、これらの方法の多くは、 3次元空間に表示されたポインタが空間内を 奥行き方向に自由に動くことが可能なため、いくらポインタが表示装置上に表示され ていても、それが一体どの奥行き位置にあり、どこをポインティングしているかを、操 作者が知覚 (認識)できなくなることがしばしばあった。
[0011] この問題を解決するために、たとえば、ポインタ付近に奥行き位置の変わらない xyz 軸などを表すリファレンスなどを表示して奥行き位置を知覚しやすくする方法がある（ たとえば、特許文献 3を参照。；)。し力しながら、表示面にリファレンスが現れることで 操作者の視界をさえぎり、作業効率を下げてしまうこともある。また、リファレンスは、実 世界のものをポインティングするときに現れることはない。そのため、リファレンスを表 示するという方法は、実世界と同じような感覚で GUIを操作しょうとする観点力もみた 場合、最適な方法とは言い難い。
[0012] 以上のことから、 3次元 GUIを実世界と同じような感覚で操作するために、 3次元 GUI でのポインタを用いたポインティング作業にぉ 、て、ポインタがどの奥行き位置にあつ てどこをポインティングして 、るかを操作者カ^、ち早ぐしかも正確に認識できる効率 的なポインティング方法が求められて ヽた。
[0013] 従来の 3次元 GUIでのポインタを用いたポインティング作業では、ポインタがどの奥 行き位置にあってどこをポインティングしているかを操作者が直観的に、かつ正確に 認識することが難しいという点に問題がある。
[0014] 次に、 3次元空間におけるポインタの表示に関する更なる背景技術を説明する。
[0015] コンピュータの GUIとして広く用いられている例として、机上のイメージをコンビユー タの表示画面上に摸したデスクトップメタファが知られている。現在、コンピュータの多 くはこのデスクトップ画面を中核としたユーザインタフェースを用いて 、る。デスクトツ プ画面は 1980年代の後半力も製品化されている力 コンピュータの処理能力や表 示装置の高性能化により、 2次元のデスクトップ画面は細かなグラフィック表現が採用 されている、と同時に、高機能化し、見栄えも華やかになり、立体的な視覚効果も多 様化してきている。さらに、最近ではデスクトップを 3次元空間に広げ、アイコンやウイ ンドウなどのオブジェクトを 3次元的に配置する試みも提案されている（たとえば、非 特許文献 3を参照。）。
[0016] 3次元デスクトップでは、従来の 2次元の平面的な空間に加え、奥行き方向の自由 度が広がるため、アイコンやウィンドウの配列を機能的に行うことができる利点がある。 しかし、デスクトップが 3次元化されても、ポインタを用いたポインティングは依然、 2次 元の動きに制約されている。このため、奥行き方向の自由度を完全に利用することが 困難となっている。
[0017] これに対して、ポインタを 3次元的に動かす試みも考えられている力 3次元空間内 にオブジェクトを配置した中でポインタが 3次元的に動く場合、ポインタが手前にある オブジェクトの陰に隠れてしまい、ポインタを見失ってしまう問題があった。
[0018] デスクトップインタフェースにおいては、利用者が常にポインタの位置を認識するこ とが不可欠である。 2次元 GUIでは、ポインタが常に最前面に表示されるのが一般的 であるが、ポインタの背後のオブジェクトの色力 ポインタ自身の色と同じ場合には、 ポインタとオブジェクトを区別することが困難となり、ポインタがどこを指し示しているか を認識することが難しくなる。このような問題を回避するため、ポインタは、 2種類以上 の色を用いていることが一般的である。ポインタの色力 たとえば、白に縁取られた黒 色である場合、背面の色が白色であれば黒色部分によりポインティング場所を明確 に認識でき、背面の色が黒色の場合は縁取られた白色によりポインティング場所を明 確に認識できる。このように、デスクトップインタフェースでは、ポインタがどこの場所を 指し示しているかを、常に明確に操作者に認識させることが必要であり、従来のデス クトップでも上述のような工夫が施されて ヽた。
[0019] そして、 3次元デスクトップにおいても、ポインタの場所を常に操作者から明確に認 識させることは必須である力 3次元空間の性質上、操作者から見て、あるオブジェク トの裏（奥)側にあたる位置にポインタを移動させた場合、ポインタがそのオブジェクト に隠れてしまって、操作者がポインタの位置を見失うという問題が生じる。そのため、 どこをポインティングしているかを認識することが困難であり、結果として、オブジェクト の選択ができな ヽと 、う、デスクトップインタフェースにお 、て致命的な問題が起きて いる。このように、デスクトップを 3次元化してもポインタの動きを 3次元化することが難 しぐデスクトップを 3次元化する利点を十分に利用できていないという問題が 3次元 デスクトップにはあった。
[0020] つまり、従来の 3次元デスクトップ等の表示装置上に表現された 3次元空間では、 3 次元空間内でポインタを移動させたときに、ポインタがオブジェクトの裏側に隠れてし ま ヽ、操作者がポインタの位置を認識できなくなると ヽぅ問題があった。
[0021] また、ポインタがあるオブジェクトの裏に隠れて認識できないのと同様に、従来の 3 次元デスクトップ等の表示装置上に表現された 3次元空間では、あるオブジェクト（手 前のオブジェクト）の裏に別のオブジェクト（奥のオブジェクト）がある場合、奥のォブ ジェタトを直接認識することができない。そのため、奥のオブジェクトの位置を認識し たり、操作したりするときには、手前のオブジェクトを移動させる、あるいは表示領域を 小さくしたり非表示の状態にしたりするという操作が必要である。また、手前のォブジ ェ外の表示領域を小さくしたり非表示の状態にしたりするという操作をした場合、手 前のオブジェクトの表示内容を認識するためには、表示領域をもとの大きさに戻した り表示状態に復帰させたりするという操作が必要である。そのため、操作者の利便性 が悪いという問題点もある。
特許文献 1 :特開平 5— 073208号公報
特許文献 2：特開平 6— 75693号公報
特許文献 3：特開平 8 - 248938号公報
特干文献 1： Y. Hirata and M. Sato, 3— Dimensional Interface Device for Virtual W ork Space," Proc. of the 1992 IEEE/RSJ Int. Conf. on IROS, 2, pp.889— 896, 1992. 非特許文献 2 :渡邊恵太，安村通晃， 「RUI: Realizable User Interface -カーソノレを 用いた情報リアライゼーシヨン」，ヒューマンインタフェースシンポジウム 2003論文集， 2003年， p. 541 - 544
非特許文献 3 : George Robertson,他 7名， "The Task Gallery: A 3D Window Manage "、 Proceedings of CHI2000, 1-6 APRIL 2000, pp.494- 501
発明の開示
発明が解決しょうとする課題
[0022] 本発明の第 1の目的は、操作者が 3次元 GUI上の 3次元空間内の任意の位置にあ るポインタやオブジェ外を、できるだけ小規模で、操作者が慣れ親しんだデバイスを 用いて、疲れることなく効率的に、さらに直感的に 3次元操作をすることが可能な 3次 元ポインティングの技術を提供することにある。
[0023] 本発明の第 2の目的は、 3次元 GUIでのポインタを用いたポインティングにおいて、 ポインタがどの奥行き位置にあってどこをポインティングしているかを操作者が直観 的に、かつ正確に認識することが可能なポインティングの技術を提供することにある。
[0024] 本発明の第 3の目的は、表示装置上に表現された 3次元空間内のポインタを 3次元 的に動力した場合に、ポインタが他のオブジェクトの裏（奥)側にあたる位置に移動し たときも、ポインタの位置を容易に認識することが可能な技術を提供することにある。 また、本発明の第 3の目的は、更に、表示装置上に表現された 3次元空間内で、手 前に表示されたオブジェクトの裏に隠れている別のオブジェクトの認識や操作を容易 にし、操作者の利便性を向上させることが可能な技術を提供することにある。
課題を解決するための手段
[0025] 上記第 1の目的は、あら力じめ定められた検出面上を入力ペンのペン先で指し示し たときの、指し示した位置の 2次元的な座標と、前記入力ペンのペン先にかかる圧力 である筆圧とに基づいて、表示装置に表現された 3次元空間内の所望の点をポイン ティングする 3次元ポインティング方法であって、前記入力ペンの筆圧に応じて、前記 3次元空間に表示させる 3次元ポインタの奥行き方向の座標を変化させて表示するこ とを特徴とする 3次元ポインティング方法により達成される。
[0026] また、第 1の目的は、あら力じめ定められた検出面上を入力ペンのペン先で指し示 した時の、指し示した位置の 2次元的な座標と、入力ペンのペン先に力かる圧力であ る筆圧と、入力ペンの軸と前記検出面がなす角度である入力ペンの傾き角と、入力 ペンの軸の前記検出面への射影と前記検出面上の所定の直線がなす角である入力 ペンの方位角とに基づいて、表示装置に表現された 3次元空間内の所望の点をボイ ンティングする 3次元ポインティング方法であって、前記入力ペンの傾き角および方 位角に基づき前記入力ペンの軸の前記 3次元空間における延長線を求め、前記 3次 元空間における延長線上に 3次元ポインタを表示させ、前記入力ペンの筆圧に応じ て、前記 3次元ポインタの前記 3次元空間における延長線方向の座標を変化させて 表示することを特徴とする 3次元ポインティング方法によっても達成できる。 [0027] 更に、第 1の目的は、あら力じめ定められた検出面上を入力ペンのペン先で指し示 したときの、指し示した位置の 2次元的な座標と、指し示し続けた時間または前記入 力ペンが備える操作手段の操作とに基づいて、表示装置に表現された 3次元空間内 の所望の点をポインティングする 3次元ポインティング方法であって、前記入力ペン のペン先で指し示し続けた時間、または前記入力ペンの前記操作手段の操作に応 じて、前記 3次元空間に表示させる 3次元ポインタの奥行き方向の座標を変化させて 表示することを特徴とする 3次元ポインティング方法によっても達成できる。
[0028] また、第 1の目的は、 あら力じめ定められた検出面上を入力ペンのペン先で指し 示したときの、指し示した位置の 2次元的な座標と、指し示し続けた時間または前記 入力ペンが備える操作手段の操作と、前記入力ペンの軸と前記検出面がなす角で ある入力ペンの傾き角と、前記入力ペンの軸の前記検出面への射影と前記検出面 上の所定の直線がなす角である入力ペンの方位角とに基づ 、て、表示装置に表現 された 3次元空間内の所望の点をポインティングする 3次元ポインティング方法であつ て、前記入力ペンの傾き角および方位角に基づき前記入力ペンの軸の前記 3次元 空間における延長線を求め、前記 3次元空間における延長線上に 3次元ポインタを 表示させ、前記入力ペンのペン先で指し示し続けた時間、または前記入力ペンの前 記操作手段の操作に応じて、前記 3次元ポインタの、前記 3次元空間における延長 線方向の座標を変化させて表示することを特徴とする 3次元ポインティング方法によ つても達成できる。
[0029] 上記の構成において、前記 3次元ポインタがポインティングする点の 3次元座標から 所定の距離以内にオブジェクトが存在するときに、当該オブジェクトをポインティング していると判定することができる。
[0030] また、前記 3次元ポインタで前記 3次元空間に表示されたオブジェクトをポインティン グしているときに、当該オブジェクトを選択または掴むための操作がなされると、前記 オブジェクトを選択または掴むための操作の後の、前記 3次元ポインタの 3次元位置 の変化に応じて、前記オブジェクトの 3次元位置を変化させて表示することとしてもよ い。
[0031] また、前記 3次元空間に表示されたオブジェクトをポインティングしているときに、前 記オブジェクトに対する操作または編集あるいは加工を開始するための操作がなさ れると、前記ポインティングされたオブジェクトを、前記表示装置の、操作者から見て 最も手前の面に 2次元的に表示し、前記 2次元的に表示されたオブジェクトに対して 、前記入力ペンによる 2次元的な操作または編集あるいは力卩ェを受け付けるようにし てもよい。
[0032] また、前記 3次元ポインタがポインティングする点の 2次元的な座標を、前記検出面 上を前記入力ペンのペン先で指し示した位置の 2次元的な座標とし、前記 3次元ボイ ンタがポインティングする点の前記 2次元的な座標を一定として前記 3次元ポインタの 奥行き方向の座標を変化させるようにしてもよい。
[0033] また、本発明は、あら力じめ定められた検出面上を入力ペンのペン先で指し示した ときの、指し示した位置の 2次元的な座標と、前記入力ペンのペン先にかかる圧力で ある筆圧とに基づいたポインタを生成し、表示装置に表現された 3次元空間内の所 望の点に前記生成したポインタを表示させてポインティングさせる 3次元ポインティン グ装置であって、前記入力ペンからの 2次元的な座標および前記筆圧の情報を取得 する入力情報取得手段と、前記入力情報取得手段で取得した情報に基づいて、前 記表示装置に表現された 3次元空間内のポインタを表示させる位置および回転角度 を算出するポインタ位置 Z回転角度算出手段と、前記ポインタ位置 Z回転角度算出 手段の算出結果に基づいたポインタを生成するポインタ生成手段と、前記表示装置 に表現された 3次元空間内に、前記ポインタ生成手段で生成したポインタでポインテ イングされて ヽるオブジェクトがあるカゝ否かを判定するポインティング判定手段と、前 記表示装置に表現された 3次元空間内に表示するオブジェクトを生成するオブジェク ト生成手段と、前記ポインタ生成手段で生成したポインタおよび前記オブジェクト生 成手段で生成したオブジェクトを、前記表示装置に表現された 3次元空間内に表示 させる表示制御手段とを備え、前記ポインタ位置 Z回転角度算出手段は、前記入力 ペンの筆圧に応じて、前記 3次元空間に表示させる 3次元ポインタの奥行き方向の座 標を変化させて算出することを特徴とする 3次元ポインティング装置として構成するこ とちでさる。
[0034] 前記入力ペンは、前記筆圧に応じてペン先の長さが短くなる構造を有し、前記 3次 元ポインタは、前記入力ペンのペン先と同等の形状、またはペン先の一部と同等の 形状を有することとしてもょ 、。
[0035] 更に本発明は、あら力じめ定められた検出面上を入力ペンのペン先で指し示したと きの、指し示した位置の 2次元的な座標と、指し示し続けた時間または前記入力ペン が備える操作手段の操作とに基づいたポインタを生成し、表示装置に表現された 3次 元空間内の所望の点にポインタを表示させてポインティングさせる 3次元ポインティン グ装置であって、前記入力ペンからの 2次元的な座標と、前記入力ペンのペン先の 接触の有無または前記入力ペンの操作手段の操作の情報を取得する入力情報取 得手段と、前記入力情報取得手段で取得した情報に基づいて、前記入力ペンのぺ ン先で指し示し続けた時間、または前記操作手段が操作された量を算出する入力情 報処理手段と、前記入力情報取得手段で取得した情報に基づいて、前記表示装置 に表現された 3次元空間内のポインタを表示させる位置を算出するポインタ位置 Z回 転角度算出手段と、前記ポインタ位置 Z回転角度算出手段の算出結果に基づいた ポインタを生成するポインタ生成手段と、前記表示装置に表現された 3次元空間内に 、前記ポインタ生成手段で生成したポインタでポインティングされて ヽるオブジェクト があるカゝ否かを判定するポインティング判定手段と、前記表示装置に表現された 3次 元空間内に表示するオブジェクトを生成するオブジェクト生成手段と、前記ポインタ生 成手段で生成したポインタおよび前記オブジェクト生成手段で生成したオブジェクト を、前記表示装置に表現された 3次元空間内に表示させる表示制御手段とを備え、 前記ポインタ位置 Z回転角度算出手段は、前記入力ペンのペン先で指し示し続け た時間、または前記入力ペンの操作手段の操作に応じて、前記 3次元空間に表示さ せる 3次元ポインタの奥行き方向の座標を変化させて算出することを特徴とする 3次 元ポインティング装置としても構成できる。
[0036] 前記入力ペンは、ペン先で指し示し続けた時間、または操作手段の操作に応じて ペン先の長さが短くなる構造を有し、前記 3次元ポインタは、前記入力ペンのペン先 と同等の形状、またはペン先の一部と同等の形状を有することとしてもよい。
[0037] また、本発明は、上記の各 3次元ポインティング装置における各手段での処理を、 コンピュータに実行させる 3次元ポインティングプログラムとして構成することもできる。 [0038] 第 2の目的は、 3次元空間を表現することが可能な表示装置の前記 3次元空間内に 表示されたポインタを、前記 3次元空間内で移動させて、前記 3次元空間内の所望の 点をポインティングさせる 3次元ポインティング方法であって、前記ポインタを、前記表 示装置の 3次元空間の奥行き方向に直交する 2次元平面内で移動または回転させる とともに、前記奥行き方向に移動させるステップ 1と、前記ポインタのポインティングを 行う点およびその近傍であるポインティングを行う部分を除く前記ポインタ上のあらか じめ定められた 1点の前記奥行き方向の位置、前記ポインタの形状、およびサイズを 一定に保ったまま、前記ポインタのポインティングを行う部分を前記奥行き方向に移 動させるステップ 2と、前記ステップ 1およびステップ 2で移動させたポインタを、前記 表示装置に表示させるステップ 3とを有することを特徴とする 3次元ポインティング方 法により達成できる。
[0039] 上記の 3次元ポインティング方法にお!、て、前記ステップ 2は、前記ポインタを、前 記ポインタの表面上または内部の点を除ぐあら力じめ定められた中心点または中心 軸を中心として回転させることとしてもよ!、。
[0040] また、第 2の目的は、 3次元空間を表現することが可能な表示装置の前記 3次元空 間内に表示されたポインタを、前記 3次元空間内で移動させて、前記 3次元空間内の 所望の点をポインティングさせる 3次元ポインティング方法であって、前記ポインタを、 前記表示装置の 3次元空間の奥行き方向に直交する 2次元平面内で移動または回 転させるとともに、前記奥行き方向に移動させるステップ 1と、前記ポインタのポインテ イングを行う部分を除く前記ポインタ上のあら力じめ定められた 1点の前記奥行き方 向の位置を一定に保ち、かつ、前記ポインタの形状、およびサイズを変形させながら 、前記ポインタのポインティングを行う部分を前記奥行き方向に移動させるステップ 4 と、前記ステップ 1およびステップ 4で移動させたポインタを、前記表示装置に表示さ せるステップ 3とを有することを特徴とする 3次元ポインティング方法によっても達成で きる。
[0041] 上記の 3次元ポインティング方法にお!、て、前記ステップ 4は、前記ポインタを、前 記ポインタの表面上または内部の点を除ぐあら力じめ定められた中心点または中心 軸を中心として回転させることとしてもよい。また、前記ポインタを回転させる前記中心 点または中心軸力 前記ポインタが回転する際の回転角度に応じて移動することとし てもよい。
[0042] また、前記ポインタは、前記奥行き方向の位置、前記 2次元平面内の位置、形状、 およびサイズが一定である第 1の部分と、少なくとも前記奥行き方向の位置が変化す る第 2の部分と、前記第 1の部分と第 2の部分とを連結する第 3の部分力 なり、前記 ステップ 4は、前記ポインタの、前記第 2の部分を前記奥行き方向に移動させることと してもよい。また、前記ステップ 4は、前記 3次元ポインタの、前記第 2の部分の前記 2 次元平面内の位置、または形状、またはサイズを変化させつつ、前記第 2の部分を 前記奥行き方向に移動させることとしてもょ 、。
[0043] 前記ポインタを奥行き方向に移動させたときに、前記ポインタの一部分が前記表示 装置の表現可能な 3次元空間の外にはみ出した場合は、前記表示装置の表現可能 な前記 2次元平面のうち、前記はみ出した部分に近接する 2次元平面に、前記はみ 出した部分を射影して、もしくは折り曲げて表示させることとしてもよ!/、。
[0044] 前記ステップ 3は、前記ポインタとともに、前記奥行き方向の位置が一定である参照 用ポインタを前記表示装置に表示させることとしてもよ!、。
[0045] また、本発明は、 3次元空間を表現可能な表示装置上に表現された 3次元空間内 にポインタを表示させ、入力装置からの入力情報に基づ ヽて前記ポインタを 3次元的 に移動させて、前記 3次元空間内の任意の一点をポインティングさせる 3次元ポイン ティング装置であって、前記入力装置からの入力情報を取得する入力情報取得手段 と、前記入力情報取得手段で取得した前記入力情報に基づ!、て前記ポインタの表 示位置および変形量を算出するポインタ位置 Z変形量算出手段と、前記ポインタ位 置 Z変形量算出手段で算出された表示位置に表示するポインタを生成するポインタ 生成手段と、前記ポインタ位置 Z変形量算出手段で算出された前記ポインタの表示 位置に基づき、前記ポインタがポインティングして 、る点にオブジェクトがある力否か を判定するポインティング判定手段と、前記ポインティング判定手段でポインティング して 、るオブジェクトがあると判定された場合に、オブジェクトをポインティングされて いる状態に変化させるオブジェクト生成手段と、前記ポインタ生成手段で生成したポ インタおよび前記オブジェクト生成手段で生成したオブジェクトを前記表示装置に表 示させる表示制御手段とを備えることを特徴とする 3次元ポインティング装置として構 成することができる。また、本発明は、上記 3次元ポインティング装置における各手段 での処理を、コンピュータに実行させる 3次元ポインティングプログラムとして構成する ことちでさる。
[0046] 第 3の目的は、 3次元空間を表現可能な表示装置上に表現された 3次元空間内に ポインタおよび 1つ以上のオブジェクトを表示しておき、入力装置からの入力情報に 基づいて前記ポインタを 3次元的に移動させて、前記 3次元空間内の任意の一点を ポインティングするときの前記ポインタおよび前記オブジェクトの表示状態を制御する 3次元表示制御方法であって、前記入力情報に基づ!、て前記ポインタの表示位置を 算出するステップ 1と、前記ステップ 1で算出した表示位置に前記ポインタを表示させ るステップ 2と、前記ステップ 1で算出した前記ポインタの表示位置に基づき、前記ポ インタの奥行き位置よりも手前にオブジェクトがある力否かを判定し、前記ポインタの 奥行き位置よりも手前にあるオブジェクトを透明化して表示させるステップ 3とを有す ることを特徴とする 3次元表示制御方法により達成できる。
[0047] 上記 3次元表示制御方法のステップ 3は、前記ポインタの奥行き位置よりも手前に あるオブジェクトのうち、前記ポインタと重なるオブジェクトのみを透明化して表示させ ることとしてちよい。
[0048] また、前記ステップ 3は、前記ポインタの奥行き位置よりも手前にあるオブジェクトの うち、前記入力装置力ものあらかじめ定められた入力情報に基づいて特定もしくは選 択されたオブジェクトを除ぐ他のオブジェクトを透明化して表示させることとしてもよ い。
[0049] また、前記ステップ 3は、前記ポインタの奥行き位置よりも手前にあるオブジェクトと 前記ポインタの奥行き方向の距離に応じて、前記オブジェクトの透明度を変化させ、 前記オブジェクトと前記ポインタの奥行き方向の距離が大きいほど透明度を大きくし て表示させることとしてもよ 、。
[0050] また、前記ステップ 3は、前記ポインタがポインティングして 、る点と重なるオブジェ タト上の点を中心とした任意の形状の領域内のみを透明化して表示させることとする こともできる。前記透明化する任意の形状は、前記ポインタと前記オブジェクトの奥行 き方向の距離の大きさに応じて変化し、前記奥行き方向の距離が大きいほど前記任 意の形状が大きくなることとしてもょ 、。
[0051] 更に、前記ステップ 3は、前記ポインタが一定時間の間静止している場合は、前記 透明化したオブジェクトを透明化する前の不透明な状態に戻して表示させるステップ を有することとしてもよい。
[0052] また、本発明は、 3次元空間を表現可能な表示装置上に表現された 3次元空間内 にポインタおよび 1つ以上のオブジェクトを表示させ、入力装置からの入力情報に基 づいて前記ポインタを 3次元的に移動させて、前記 3次元空間内の任意の一点をポ インティングするときの前記ポインタおよび前記オブジェクトの表示状態を制御する 3 次元表示制御装置であって、前記入力装置からの入力情報を取得する入力情報取 得手段と、前記入力情報取得手段で取得した前記入力情報に基づ!、て前記ポイン タの表示位置を算出するポインタ位置算出手段と、前記ポインタ位置算出手段で算 出された表示位置に表示するポインタを生成するポインタ生成手段と、前記ポインタ 位置算出手段で算出された前記ポインタの表示位置に基づき、前記ポインタの奥行 き位置よりも手前にオブジェクトがあるか否かを判定するとともに、前記ポインタの奥 行き位置よりも手前にあるオブジェクトを透明化するか否かを判定するオブジェクト変 更判定手段と、前記表示装置に表示させるオブジェクトの生成、およびオブジェクト 変更判定手段で透明化すると判定されたオブジェクトの透明化を行うオブジェクト生 成 Z透明化手段と、前記ポインタ生成手段で生成されたポインタ、および前記ォブジ ェクト生成 Z透明化手段で生成されたオブジェクトまたは透明化されたオブジェクトを 前記表示装置に表示させる表示制御手段とを備えることを特徴とする 3次元表示制 御装置として構成することもできる。また、本発明は、上記 3次元表示制御装置の各 手段の処理を、コンピュータに実行させる 3次元表示制御プログラムとして構成するこ とちでさる。
発明の効果
[0053] 第 1の目的を達成するための発明によれば、入力ペンのペン先の位置と、筆圧もし くは前記入力ペンのペン先で指し示し続けた時間または前記入力ペンの操作手段（ ボタン、ホイール、スライドバーなど）の操作によって得られた情報と、前記入力ペン の傾きや方位などの情報を反映させたポインタを生成し、前記表示装置に表示させ ることで、前記表示装置に表現された 3次元空間内の任意の点をポインティングする 。このとき、前記入力ペンは、たとえば、ペンタブレットの操作ペン（電子ペン）や、タツ チパネルを操作するスタイラスなどのペンであり、ペン先をあらカゝじめ定められた検出 面上に接触させた状態で操作することができる。そのため、正確なポインティング操 作が容易であり、長時間のポインティング操作による疲労を軽減できる。
[0054] また、前記ペンタブレットの検出手段 (デジタイザ)を前記表示装置の表示面と重ね 合わせたり、前記タツチパネルを用いたりすることで、前記入力ペンを前記表示装置 の表示面上に接触させてポインティング操作をすることができる。そのため、より正確 で、直感的な 3次元ポインティング操作が可能となる。
[0055] また、前記入力ペンの傾き角、方位角、軸周りの回転角の変化を反映させて位置、 向きを変化させたポインタを生成するときに、前記ポインタの変化に合わせて前記ォ ブジエタトの位置、向きを変化させたオブジェクトを生成し、表示させることで、前記ォ ブジエタトの位置や向きを変化させるための特殊な操作を取得する必要がなぐ操作 者の利便性が向上する。
[0056] また、前記オブジェクトをポインティングしているときに、当該オブジェクトに対する操 作または編集あるいは加工を開始するための操作をすることで、前記ポインティング されたオブジェクトの、 2次元 GUI的な操作、編集、加工といった処理が可能な状態、 つまり、これまでの 2次元 GUI上のオブジェクトを、ペン型の入力装置を用いて操作可 能な状態にすることができる。そのため、 3次元オブジェクトの加工を、これまでの 2次 元 GUIにおける操作と変わらない操作で実現可能である。ゆえに操作者は、オブジェ タトをカ卩ェするための新たな 3次元操作を習得する必要がない。さらに、 2次元 GUI的 な操作、編集、加工などの処理が終了した後、オブジェクトを再度、 3次元オブジェク トとして扱えるようにすることで、前記 2次元 GUIにおける操作 (処理）が終了した後、 前記オブジェクトを、再び操作者の望む 3次元位置に容易に移動できる。
[0057] 第 2の目的を達成するための発明によれば、ポインタ上のある 1点の奥行き位置を 一定に保ちながら前記ポインタのポインティングを行う部分の奥行き位置を変えること で、前記ポインタがポインティングしている部分の奥行き方向の変化を認識させる。こ のとき、操作者は、前記ポインタの奥行き位置が一定に保たれた部分と前記ポインテ イングして!/、る部分の状態力もポインティングされて 、る奥行き位置を正確に、かつ直 感的に認識することができる。
[0058] また、前記ポインティングして 、る部分を奥行き方向に移動させる場合に、前記ポ インタを回転させる方法によると、前記ポインタが回転するごとに前記ポインタの奥行 き方向の傾きが変わり、ポインティングされている奥行き位置を容易に認識することが できる。またこのとき、前記ポインタを回転させる前記中心点または中心軸は、固定さ れて 、てもよ 、し、前記ポインタが回転する際の回転角度に応じて移動するようにし ていてもよい。
[0059] また、ポインタが前記第 1の部分、第 2の部分、第 3の部分を備える構成では、前記 ポインティングしている部分のみが奥行き方向に折れ曲がったポインタとなる。そのた め、前記第 1の部分、第 2の部分、第 3の部分の状態から、ポインティングされている 奥行き位置を容易に認識することができる。またこのとき、前記第 2の部分の前記 2次 元平面内の位置、または形状、またはサイズを変化させつつ、前記第 2の部分を前 記奥行き方向に移動させることで、奥行き位置の正確な認識が可能となる。
[0060] 第 3の目的を達成するための発明によれば、前記ポインタの奥行き位置よりも手前 にあるオブジェクトを透明化して表示させる。そのため、前記ポインタを 3次元的に移 動させたときに、前記ポインタ力 前記ポインタより手前にあるオブジェクトに隠れて見 えなくなるということがない。そのため、前記ポインタ力 あるオブジェクトの裏側にあ たる位置に移動した場合でも前記ポインタの位置を容易に認識できる。また、前記ポ インタよりも手前のオブジェクトを透明化することで、前記透明化されたオブジェクトの 裏側に隠れて 、る別のオブジェクトの位置を容易に認識でき、ポインティングすること ができる。また、前記ポインタを手前に移動させることで透明化されていたオブジェク トがもとの不透明な状態の表示に戻るので、前記透明化されているオブジェクトの表 示内容も容易に認識することができる。またさらに、このようなオブジェクトの透明化、 不透明化を、前記ポインタの奥行き方向の移動によって制御することができるので、 前記ポインタの操作者の利便性が向上する。
[0061] また、前記ポインタよりも手前であっても、選択された状態のオブジェクトは透明化し ないようにすることで、選択されたオブジェクトの認識が容易になる。また、前記ポイン タカ の奥行き方向の距離が大きいオブジェクトほど透明度を大きくすることで、前記 ポインタの奥行き位置や、前記ポインタの近傍にあるオブジェクトを容易に認識するこ とがでさる。
[0062] また、前記ポインタがポインティングしている点と重なる点を中心として、円形または 楕円形、あるいは多角形等の任意の形状の領域内のみを透明化することで、前記ォ ブジェクト全体が透明化されることを防げ、透明化、不透明化の切り替えが連続的に 行われる場合などの、視覚的な煩わしさを低減することができる。
[0063] 更に、前記ポインタが静止して一定時間が経過した場合に、前記透明化したォブ ジェタトをもとの不透明な状態に戻して表示させることにより、前記ポインタを透明化し たオブジェクトよりも手前まで移動させなくても、前記透明化したオブジェクトの表示 内容を認識することができ、操作者の利便性がさらに向上する。
図面の簡単な説明
[0064] [図 1]第 1の実施の形態の 3次元ポインティング方法の概要を説明するための模式図 であり、第 1の実施の形態のポインティング方法を実現するシステムの構成例を示す 図である。
[図 2]第 1及び第 2の実施の形態の 3次元ポインティング方法の概要を説明するため の模式図であり、第 1及び第 2の実施の形態の 3次元ポインティング方法の原理を説 明するための図である。
[図 3]第 1の実施の形態の 3次元ポインティング方法の概要を説明するための模式図 であり、第 1の実施の形態の 3次元ポインティング方法で用いる入力ペンの構成例を 示す図である。
[図 4A]実施例 1 1、 2— 1の 3次元ポインティング方法を説明するための模式図であ り、表示装置に表現される 3次元空間の一例を示す正面図および右側面図ならびに 下面図である。
[図 4B]実施例 1 1、 2— 1の 3次元ポインティング方法を説明するための模式図であ り、表示装置に表現される 3次元空間の一例を示す鳥瞰図である。
[図 5A]実施例 1 1、 2— 1の 3次元ポインティング方法を説明するための模式図であ り、入力ペンで操作したときの 3次元空間内の様子を示す鳥瞰図である。
[図 5B]実施例 1 1、 2— 1の 3次元ポインティング方法を説明するための模式図であ り、入力ペンで操作したときの 3次元空間内の様子を示す鳥瞰図である。
[図 5C]実施例 1 1、 2— 1の 3次元ポインティング方法を説明するための模式図であ り、入力ペンで操作したときの 3次元空間内の様子を示す鳥瞰図である。
[図 6A]実施例 1 1、 2— 1の 3次元ポインティング方法を説明するための模式図であ り、入力ペンで操作したときの 3次元空間内の様子を示す正面図および右側面図で ある。
[図 6B]実施例 1 1、 2— 1の 3次元ポインティング方法を説明するための模式図であ り、入力ペンで操作したときの 3次元空間内の様子を示す正面図および右側面図で ある。
[図 6C]実施例 1 1、 2— 1の 3次元ポインティング方法を説明するための模式図であ り、入力ペンで操作したときの 3次元空間内の様子を示す正面図および右側面図で ある。
[図 7]実施例 1 1の 3次元ポインティング方法を説明するための模式図であり、本実 施例 1 1の 3次元ポインティング方法の処理手順を示すフロー図である。
[図 8A]実施例 1 1、 2— 1の 3次元ポインティング方法の変形例を説明するための模 式図であり、表示するポインタの形状を示す図である。
[図 8B]実施例 1 1、 2— 1の 3次元ポインティング方法の変形例を説明するための模 式図であり、表示するポインタの形状を示す図である。
[図 8C]実施例 1 1、 2— 1の 3次元ポインティング方法の変形例を説明するための模 式図であり、表示するポインタの形状を示す図である。
[図 8D]実施例 1 1、 2— 1の 3次元ポインティング方法の変形例を説明するための模 式図であり、表示するポインタの形状を示す図である。
[図 9A]実施例 1— 2、 2— 2の 3次元ポインティング方法を説明するための模式図であ り、入力ペンで操作したときの 3次元空間内の様子を示す鳥瞰図である。
[図 9B]実施例 1— 2、 2— 2の 3次元ポインティング方法を説明するための模式図であ り、入力ペンで操作したときの 3次元空間内の様子を示す鳥瞰図である。 [図 9C]実施例 1— 2、 2— 2の 3次元ポインティング方法を説明するための模式図であ り、入力ペンで操作したときの 3次元空間内の様子を示す鳥瞰図である。
[図 10A]実施例 1 2、 2— 2の 3次元ポインティング方法を説明するための模式図で あり、入力ペンで操作したときの 3次元空間内の様子を示す正面図および右側面図 である。
[図 10B]実施例 1— 2、 2— 2の 3次元ポインティング方法を説明するための模式図で あり、入力ペンで操作したときの 3次元空間内の様子を示す正面図および右側面図 である。
[図 10C]実施例 1— 2、 2— 2の 3次元ポインティング方法を説明するための模式図で あり、入力ペンで操作したときの 3次元空間内の様子を示す正面図および右側面図 である。
[図 11]実施例 1— 3、 2— 3の 3次元ポインティング方法を説明するための模式図であ り、入力ペンで操作したときの 3次元空間内の様子を示す鳥瞰図である。
[図 12]実施例 1— 3、 2— 3の 3次元ポインティング方法を説明するための模式図であ り、入力ペンで操作したときの 3次元空間内の様子を示す正面図である。
[図 13]本発明による実施例 1—3の 3次元ポインティング方法を説明するための模式 図であり、本実施例 1 3の 3次元ポインティング方法の処理手順を示すフロー図で ある。
[図 14A]実施例 1 4、 2— 4の 3次元ポインティング方法を説明するための模式図で あり、入力ペンで操作したときの 3次元空間内の様子を示す鳥瞰図である。
[図 14B]実施例 1—4、 2—4の 3次元ポインティング方法を説明するための模式図で あり、入力ペンで操作したときの 3次元空間内の様子を示す鳥瞰図である。
[図 14C]実施例 1 4、 2— 4の 3次元ポインティング方法を説明するための模式図で あり、入力ペンで操作したときの 3次元空間内の様子を示す鳥瞰図である。
[図 15A]実施例 1 4、 2— 4の 3次元ポインティング方法を説明するための模式図で あり、入力ペンで操作したときの 3次元空間内の様子を示す正面図および右側面図 である。
[図 15B]実施例 1—4、 2—4の 3次元ポインティング方法を説明するための模式図で あり、入力ペンで操作したときの 3次元空間内の様子を示す正面図および右側面図 である。
[図 15C]実施例 1 4、 2— 4の 3次元ポインティング方法を説明するための模式図で あり、入力ペンで操作したときの 3次元空間内の様子を示す正面図および右側面図 である。
[図 16A]実施例 1 5、 2— 5の 3次元ポインティング方法を説明するための模式図で あり、実施例 1 5、 2— 5で用いる表示装置 (DFD)の原理を説明する図である。
[図 16B]実施例 1— 5、 2— 5の 3次元ポインティング方法を説明するための模式図で あり、実施例 1 5、 2— 5で用いる表示装置 (DFD)の原理を説明する図である。
[図 17A]実施例 1— 5、 2— 5の 3次元ポインティング方法を説明するための模式図で あり、表示装置に表現される 3次元空間の一例を示す正面図および右側面図ならび に下面図である。
[図 17B]実施例 1— 5、 2— 5の 3次元ポインティング方法を説明するための模式図で あり、表示装置に表現される 3次元空間の一例を示す鳥瞰図である。
[図 18A]実施例 1 5、 2— 5の 3次元ポインティング方法を説明するための模式図で あり、入力ペンで操作したときの 3次元空間内の様子を示す鳥瞰図である。
[図 18B]実施例 1— 5、 2— 5の 3次元ポインティング方法を説明するための模式図で あり、入力ペンで操作したときの 3次元空間内の様子を示す鳥瞰図である。
[図 18C]実施例 1— 5、 2— 5の 3次元ポインティング方法を説明するための模式図で あり、入力ペンで操作したときの 3次元空間内の様子を示す鳥瞰図である。
[図 18D]実施例 1— 5、 2— 5の 3次元ポインティング方法を説明するための模式図で あり、入力ペンで操作したときの 3次元空間内の様子を示す鳥瞰図である。
[図 19A]実施例 1— 5、 2— 5の 3次元ポインティング方法を説明するための模式図で あり、入力ペンで操作したときの 3次元空間内の様子を示す正面図である。
[図 19B]実施例 1— 5、 2— 5の 3次元ポインティング方法を説明するための模式図で あり、入力ペンで操作したときの 3次元空間内の様子を示す正面図である。
[図 19C]実施例 1— 5、 2— 5の 3次元ポインティング方法を説明するための模式図で あり、入力ペンで操作したときの 3次元空間内の様子を示す正面図である。 [図 19D]実施例 1— 5、 2— 5の 3次元ポインティング方法を説明するための模式図で あり、入力ペンで操作したときの 3次元空間内の様子を示す正面図である。
[図 20]実施例 1 5の 3次元ポインティング方法を説明するための模式図であり、本実 施例 1 5の 3次元ポインティング方法の処理手順を示すフロー図である。
[図 21A]実施例 1— 6、 2— 6の 3次元ポインティング方法を説明するための模式図で あり、表示装置に表現される 3次元空間の一例を示す正面図および右側面図ならび に下面図である。
[図 21B]実施例 1— 6、 2— 6の 3次元ポインティング方法を説明するための模式図で あり、表示装置に表現される 3次元空間の一例を示す鳥瞰図である。
[図 22A]実施例 1 6、 2— 6の 3次元ポインティング方法を説明するための模式図で あり、入力ペンで操作したときの 3次元空間内の様子を示す鳥瞰図である。
[図 22B]実施例 1— 6、 2— 6の 3次元ポインティング方法を説明するための模式図で あり、入力ペンで操作したときの 3次元空間内の様子を示す鳥瞰図である。
[図 22C]実施例 1 6、 2— 6の 3次元ポインティング方法を説明するための模式図で あり、入力ペンで操作したときの 3次元空間内の様子を示す鳥瞰図である。
[図 23A]実施例 1 6、 2— 6の 3次元ポインティング方法を説明するための模式図で あり、入力ペンで操作したときの 3次元空間内の様子を示す鳥瞰図である。
[図 23B]実施例 1— 6、 2— 6の 3次元ポインティング方法を説明するための模式図で あり、入力ペンで操作したときの 3次元空間内の様子を示す鳥瞰図である。
[図 23C]実施例 1 6、 2— 6の 3次元ポインティング方法を説明するための模式図で あり、入力ペンで操作したときの 3次元空間内の様子を示す鳥瞰図である。
[図 24A]実施例 1— 6、 2— 6の 3次元ポインティング方法を説明するための模式図で あり、入力ペンで操作したときの 3次元空間内の様子を示す正面図である。
[図 24B]実施例 1— 6、 2— 6の 3次元ポインティング方法を説明するための模式図で あり、入力ペンで操作したときの 3次元空間内の様子を示す正面図である。
[図 24C]実施例 1 6、 2— 6の 3次元ポインティング方法を説明するための模式図で あり、入力ペンで操作したときの 3次元空間内の様子を示す正面図である。
[図 25A]実施例 1 6、 2— 6の 3次元ポインティング方法を説明するための模式図で あり、入力ペンで操作したときの 3次元空間内の様子を示す正面図である。
[図 25B]実施例 1— 6、 2— 6の 3次元ポインティング方法を説明するための模式図で あり、入力ペンで操作したときの 3次元空間内の様子を示す正面図である。
[図 25C]実施例 1 6、 2— 6の 3次元ポインティング方法を説明するための模式図で あり、入力ペンで操作したときの 3次元空間内の様子を示す正面図である。
[図 26]実施例 1 6の 3次元ポインティング方法を説明するための模式図であり、本実 施例 1 6の 3次元ポインティング方法の処理手順を示すフロー図である。
[図 27]実施例 1 6の 3次元ポインティング方法を説明するための模式図であり、実施 例 1 6の 3次元ポインティング方法の処理手順の変形例を示すフロー図である。
[図 28A]実施例 1 6、 2— 6の 3次元ポインティング方法でオブジェクトを削除する方 法を説明するための模式図であり、表示装置に表現される 3次元空間の一例を示す 正面図および右側面図ならびに下面図である。
[図 28B]実施例 1 6、 2— 6の 3次元ポインティング方法でオブジェクトを削除する方 法を説明するための模式図であり、表示装置に表現される 3次元空間の一例を示す 鳥瞰図である。
[図 29A]実施例 1 6、 2— 6の 3次元ポインティング方法でオブジェクトを削除する方 法を説明するための模式図であり、入力ペンで操作したときの 3次元空間内の様子を 示す鳥瞰図である。
[図 29B]実施例 1 6、 2— 6の 3次元ポインティング方法でオブジェクトを削除する方 法を説明するための模式図であり、入力ペンで操作したときの 3次元空間内の様子を 示す鳥瞰図である。
[図 30A]実施例 1 6、 2— 6の 3次元ポインティング方法でオブジェクトを削除する方 法を説明するための模式図であり、入力ペンで操作したときの 3次元空間内の様子を 示す鳥瞰図である。
[図 30B]実施例 1 6、 2— 6の 3次元ポインティング方法でオブジェクトを削除する方 法を説明するための模式図であり、入力ペンで操作したときの 3次元空間内の様子を 示す鳥瞰図である。
[図 30C]実施例 1 6、 2— 6の 3次元ポインティング方法でオブジェクトを削除する方 法を説明するための模式図であり、入力ペンで操作したときの 3次元空間内の様子を 示す鳥瞰図である。
[図 31A]実施例 1 6、 2— 6の 3次元ポインティング方法でオブジェクトを削除する方 法を説明するための模式図であり、入力ペンで操作したときの 3次元空間内の様子を 示す正面図である。
[図 31B]実施例 1 6、 2— 6の 3次元ポインティング方法でオブジェクトを削除する方 法を説明するための模式図であり、入力ペンで操作したときの 3次元空間内の様子を 示す正面図である。
[図 32A]実施例 1 6、 2— 6の 3次元ポインティング方法でオブジェクトを削除する方 法を説明するための模式図であり、入力ペンで操作したときの 3次元空間内の様子を 示す正面図である。
[図 32B]実施例 1 6、 2— 6の 3次元ポインティング方法でオブジェクトを削除する方 法を説明するための模式図であり、入力ペンで操作したときの 3次元空間内の様子を 示す正面図である。
[図 32C]実施例 1 6、 2— 6の 3次元ポインティング方法でオブジェクトを削除する方 法を説明するための模式図であり、入力ペンで操作したときの 3次元空間内の様子を 示す正面図である。
[図 33]実施例 1—7の 3次元ポインティング方法を説明するための模式図であり、実施 例 1— 7の 3次元ポインティング方法で用いる入力ペンの構成例を示す図である。
[図 34]実施例 1—7の 3次元ポインティング方法を説明するための模式図であり、実施 例 1— 7の 3次元ポインティング方法で用いる入力ペンの構成例を示す図である。
[図 35A]実施例 1 7、 2— 7の 3次元ポインティング方法を説明するための模式図で あり、入力ペンで操作したときの 3次元空間内の様子を示す鳥瞰図である。
[図 35B]実施例 1— 7、 2— 7の 3次元ポインティング方法を説明するための模式図で あり、入力ペンで操作したときの 3次元空間内の様子を示す鳥瞰図である。
[図 35C]実施例 1 7、 2— 7の 3次元ポインティング方法を説明するための模式図で あり、入力ペンで操作したときの 3次元空間内の様子を示す鳥瞰図である。
[図 36A]実施例 1— 7、 2— 7の 3次元ポインティング方法を説明するための模式図で あり、入力ペンで操作したときの 3次元空間内の様子を示す正面図および右側面図 である。
[図 36B]実施例 1— 7、 2— 7の 3次元ポインティング方法を説明するための模式図で あり、入力ペンで操作したときの 3次元空間内の様子を示す正面図および右側面図 である。
[図 36C]実施例 1 7、 2— 7の 3次元ポインティング方法を説明するための模式図で あり、入力ペンで操作したときの 3次元空間内の様子を示す正面図および右側面図 である。
[図 37A]実施例 1— 8、 2— 8の 3次元ポインティング方法を説明するための模式図で あり、入力ペンで操作したときの 3次元空間内の様子を示す鳥瞰図である。
[図 37B]実施例 1— 8、 2— 8の 3次元ポインティング方法を説明するための模式図で あり、入力ペンで操作したときの 3次元空間内の様子を示す鳥瞰図である。
[図 37C]実施例 1 8、 2— 8の 3次元ポインティング方法を説明するための模式図で あり、入力ペンで操作したときの 3次元空間内の様子を示す鳥瞰図である。
[図 38A]実施例 1— 8、 2— 8の 3次元ポインティング方法を説明するための模式図で あり、入力ペンで操作したときの 3次元空間内の様子を示す鳥瞰図である。
[図 38B]実施例 1— 8、 2— 8の 3次元ポインティング方法を説明するための模式図で あり、入力ペンで操作したときの 3次元空間内の様子を示す鳥瞰図である。
[図 38C]実施例 1 8、 2— 8の 3次元ポインティング方法を説明するための模式図で あり、入力ペンで操作したときの 3次元空間内の様子を示す鳥瞰図である。
[図 39A]実施例 1— 8、 2— 8の 3次元ポインティング方法を説明するための模式図で あり、入力ペンで操作したときの 3次元空間内の様子を示す正面図である。
[図 39B]実施例 1— 8、 2— 8の 3次元ポインティング方法を説明するための模式図で あり、入力ペンで操作したときの 3次元空間内の様子を示す正面図である。
[図 39C]実施例 1 8、 2— 8の 3次元ポインティング方法を説明するための模式図で あり、入力ペンで操作したときの 3次元空間内の様子を示す正面図である。
[図 40A]実施例 1 8、 2— 8の 3次元ポインティング方法を説明するための模式図で あり、入力ペンで操作したときの 3次元空間内の様子を示す正面図である。 [図 40B]実施例 1— 8、 2— 8の 3次元ポインティング方法を説明するための模式図で あり、入力ペンで操作したときの 3次元空間内の様子を示す正面図である。
[図 40C]実施例 1 8、 2— 8の 3次元ポインティング方法を説明するための模式図で あり、入力ペンで操作したときの 3次元空間内の様子を示す正面図である。
[図 41]第 2の実施の形態の 3次元ポインティング方法の概要を説明するための模式 図であり、第 2の実施の形態のポインティング方法を実現するシステムの構成例を示 す図である。
[図 42]第 2の実施の形態の 3次元ポインティング方法の概要を説明するための模式 図であり、第 2の実施の形態の 3次元ポインティング方法で用いる入力ペンの構成例 を示す図である。
[図 43]実施例 2— 1の 3次元ポインティング方法を説明するための模式図であり、実施 例 2— 1の 3次元ポインティング方法の処理手順を示すフロー図である。
[図 44]実施例 2— 2の 3次元ポインティング方法を説明するための模式図であり、本実 施例 2— 2の 3次元ポインティング方法の処理手順を示すフロー図である。
[図 45]実施例 2— 3の 3次元ポインティング方法を説明するための模式図であり、本実 施例 2— 3の 3次元ポインティング方法の処理手順を示すフロー図である。
[図 46]実施例 2— 5の 3次元ポインティング方法を説明するための模式図であり、本実 施例 2— 5の 3次元ポインティング方法の処理手順を示すフロー図である。
[図 47]実施例 2— 6の 3次元ポインティング方法を説明するための模式図であり、本実 施例 2— 6の 3次元ポインティング方法の処理手順を示すフロー図である。
[図 48]実施例 2— 7の 3次元ポインティング方法を説明するための模式図であり、本実 施例 2— 7の 3次元ポインティング方法で用いる入力ペンの構成例を示す図である。
[図 49]実施例 2— 7の 3次元ポインティング方法を説明するための模式図であり、本実 施例 2— 7の 3次元ポインティング方法で用いる入力ペンの構成例を示す図である。
[図 50]第 3の実施の形態の 3次元ポインティング方法を実現するためのシステムの構 成例を示す模式図である。
[図 51]実施例 3— 1の 3次元ポインティング方法を説明するための模式図であり、ボイ ンタの操作方法を説明する図である。 [図 52]実施例 3— 1の 3次元ポインティング方法を説明するための模式図であり、ボイ ンタよりも奥にあるオブジェクトをポインティングするときの 3次元空間内の変化を示す 正面図および右側面図である。
[図 53]実施例 3— 1の 3次元ポインティング方法を説明するための模式図であり、図 5 2の 3次元空間内の変化の斜視図である。
[図 54]実施例 3— 1の 3次元ポインティング方法を説明するための模式図であり、ボイ ンタよりも手前にあるオブジェクトをポインティングするときの 3次元空間内の変化を示 す正面図および右側面図である。
[図 55]実施例 3— 1の 3次元ポインティング方法を説明するための模式図であり、本実 施例 3— 1の 3次元ポインティング方法をシステム制御装置 (ポインティング装置)で実 行するときの処理手順を説明するためのフロー図である。
圆 56A]ポインタの形状の変形例を示す模式図であり、三角形状のポインタを示す図 である。
[図 56B]ポインタの形状の変形例を示す模式図であり、人の手の形状のポインタを示 す図である。
圆 56C]ポインタの形状の変形例を示す模式図であり、雩形状のポインタを示す図で ある。
圆 56D]ポインタの形状の変形例を示す模式図であり、十字形状のポインタを示す図 である。
[図 57]本実施例 3—1の 3次元ポインティング方法においてリファレンスを表示させる 例を示す図である。
[図 58]本実施例 3— 1の 3次元ポインティング方法の変形例を説明するための模式図 であり、ポインタよりも奥にあるオブジェクトをポインティングするときの 3次元空間内の 変化を示す正面図および右側面図である。
[図 59]本実施例 3— 1の 3次元ポインティング方法の第 1の応用例を説明するための 模式図であり、ポインタよりも奥にあるオブジェクトをポインティングするときの 3次元空 間内の変化を示す正面図および右側面図である。
[図 60]本実施例 3— 1の 3次元ポインティング方法の第 2の応用例を説明するための 模式図であり、ポインタよりも奥にあるオブジェクトをポインティングするときの 3次元空 間内の変化を示す正面図および右側面図である。
[図 61]本実施例 3— 1の 3次元ポインティング方法の第 3の応用例を説明するための 模式図であり、システムの構成例を示す図である。
[図 62A]本実施例 3— 1の 3次元ポインティング方法の第 3の応用例を説明するため の模式図であり、 DFDの動作原理を説明する図である。
[図 62B]本実施例 3— 1の 3次元ポインティング方法の第 3の応用例を説明するための 模式図であり、 DFDの動作原理を説明する図である。
[図 63A]本実施例 3— 1の 3次元ポインティング方法の第 4の応用例を説明するため の模式図であり、直線状の軌跡をたどる場合の応用例を示す図である。
[図 63B]本実施例 3— 1の 3次元ポインティング方法の第 4の応用例を説明するための 模式図であり、直線状の軌跡をたどる場合の応用例を示す図である。
[図 64A]本実施例 3— 1の 3次元ポインティング方法の第 4の応用例を説明するため の模式図であり、直線状の軌跡をたどる場合の応用例を示す図である。
[図 64B]本実施例 3— 1の 3次元ポインティング方法の第 4の応用例を説明するための 模式図であり、直線状の軌跡をたどる場合の応用例を示す図である。
[図 65A]本実施例 3— 1の 3次元ポインティング方法の第 4の応用例を説明するため の模式図であり、円弧状の軌跡をたどる場合の応用例を示す図である。
[図 65B]本実施例 3— 1の 3次元ポインティング方法の第 4の応用例を説明するための 模式図であり、円弧状の軌跡をたどる場合の応用例を示す図である。
[図 66A]本実施例 3— 1の 3次元ポインティング方法の第 4の応用例を説明するため の模式図であり、円弧状の軌跡をたどる場合の応用例を示す図である。
[図 66B]本実施例 3— 1の 3次元ポインティング方法の第 4の応用例を説明するための 模式図であり、円弧状の軌跡をたどる場合の応用例を示す図である。
[図 67]実施例 3— 2の 3次元ポインティング方法を説明するための模式図であり、ボイ ンタよりも奥にあるオブジェクトをポインティングするときの 3次元空間内の変化を示す 正面図および右側面図である。
[図 68A]実施例 3— 2の 3次元ポインティング方法を説明するための模式図であり、本 実施例 3— 2の 3次元ポインティング方法で問題となる点を説明する図である。
[図 68B]実施例 3— 2の 3次元ポインティング方法を説明するための模式図であり、図
68Aに示した問題点を解決する方法の一例を説明する図である。
[図 69]実施例 3— 2の 3次元ポインティング方法を説明するための模式図であり、図 6
8Bに示した解決方法の変形例を説明する図である。
[図 70A]本実施例 3— 2の 3次元ポインティング方法の応用例を説明するための模式 図であり、回転の中心となる点が 3次元空間内で固定されている場合の例を示す図 である。
[図 70B]本実施例 3— 2の 3次元ポインティング方法の応用例を説明するための模式 図であり、回転の中心となる点が 3次元空間内で移動する場合の例を示す図である。
[図 71]実施例 3— 3の 3次元ポインティング方法を説明するための模式図であり、ボイ ンタよりも奥にあるオブジェクトをポインティングするときの 3次元空間内の変化を示す 正面図および右側面図である。
[図 72]実施例 3— 3の 3次元ポインティング方法を説明するための模式図であり、図 7 1の 3次元空間内の変化の斜視図である。
[図 73]実施例 3— 3の 3次元ポインティング方法を説明するための模式図であり、実施 例 3— 3の 3次元ポインティング方法をシステム制御装置 (ポインティング装置)で実行 するときの処理手順を説明するためのフロー図である。
[図 74A]本実施例 3の 3次元ポインティング方法におけるポインタの連結方法を説明 するための模式図であり、 XZ平面側から見たポインタの連結方法を示す図である。
[図 74B]本実施例 3の 3次元ポインティング方法におけるポインタの連結方法を説明 するための模式図であり、 XZ平面側から見たポインタの連結方法を示す図である。
[図 74C]本実施例 3の 3次元ポインティング方法におけるポインタの連結方法を説明 するための模式図であり、 XZ平面側から見たポインタの連結方法を示す図である。
[図 74D]本実施例 3の 3次元ポインティング方法におけるポインタの連結方法を説明 するための模式図であり、 XZ平面側から見たポインタの連結方法を示す図である。
[図 75]本実施例 3— 3の 3次元ポインティング方法の応用例を説明するための模式図 であり、それぞれポインティングする部分の形状を保った状態で移動させる場合の応 用例を示す図である。
[図 76A]本実施例 3— 3の 3次元ポインティング方法の応用例を説明するための模式 図であり、ポインティングする部分の形状を保った状態で移動させる場合の応用例を 示す図である。
[図 76B]本実施例 3— 3の 3次元ポインティング方法の応用例を説明するための模式 図であり、ポインティングする部分の形状を保った状態で移動させる場合の応用例を 示す図である。
[図 77A]本実施例 3— 3の 3次元ポインティング方法の応用例を説明するための模式 図であり、ポインティングする部分の形状を変化させる場合の応用例を示す図である
[図 77B]本実施例 3— 3の 3次元ポインティング方法の応用例を説明するための模式 図であり、ポインティングする部分の形状を変化させる場合の応用例を示す図である
[図 78A]本実施例 3— 3の 3次元ポインティング方法の応用例を説明するための模式 図であり、ポインティングする部分の形状を変化させる場合の応用例を示す図である
[図 78B]本実施例 3— 3の 3次元ポインティング方法の応用例を説明するための模式 図であり、ポインティングする部分の形状を変化させる場合の応用例を示す図である 圆 79A]第 1、第 2の実施の形態と第 3の実施の形態の組み合わせの一例を説明する ための図である。
圆 79B]第 1、第 2の実施の形態と第 3の実施の形態の組み合わせの一例を説明する ための図である。
圆 79C]第 1、第 2の実施の形態と第 3の実施の形態の組み合わせの一例を説明する ための図である。
圆 80]第 4の実施の形態の 3次元表示制御方法の概要を説明するための模式図で あり、第 4の実施の形態の 3次元表示制御方法が適用されるコンピュータシステムの 概略構成を示す図である。 圆 81]第 4の実施の形態の 3次元表示制御方法の概要を説明するための模式図で あり、 3次元空間を表現できる表示装置 (DFD)の動作原理を説明する図である。 圆 82]第 4の実施の形態の 3次元表示制御方法の概要を説明するための模式図で あり、表示装置上に表現された 3次元空間の一例を示す正面図および右側面図であ る。
圆 83]第 4の実施の形態の 3次元表示制御方法の概要を説明するための模式図で あり、表示装置上に表現された 3次元空間の一例を示す斜視図 (鳥瞰図)である。 圆 84]第 4の実施の形態の 3次元表示制御方法の概要を説明するための模式図で あり、ポインタの操作方法の一例を示す図である。
[図 85]実施例 4 1の 3次元表示制御方法を説明するための模式図であり、本実施 例 4 1の表示制御方法を適用した場合の 3次元空間の変化の様子を示す図である
[図 86]実施例 4 1の 3次元表示制御方法を説明するための模式図であり、本実施 例 4 1の表示制御方法を適用した場合の 3次元空間の変化の様子を示す図である 圆 87]実施例 4— 1の 3次元表示制御方法を説明するための模式図であり、本実施 例 4 1の表示制御方法と比較するための従来の表示制御方法を説明する 3次元空 間の様子を示す図である。
[図 88]本実施例 4 1の 3次元表示制御方法を実現するための装置における処理手 順を示すフロー図である。
[図 89]本実施例 4 1の 3次元表示制御方法の応用例を説明するための模式図であ り、応用例を適用した場合の 3次元空間の変化の様子を示す図である。
[図 90]本実施例 4 1の 3次元表示制御方法の応用例を説明するための模式図であ り、応用例を実現するための装置における処理手順を示すフロー図である。
[図 91]実施例 4 2の 3次元表示方法を説明するための模式図であり、本実施例 4
2の表示制御方法を適用した場合の 3次元空間の変化の様子を示す図である。
[図 92]4— 2の 3次元表示方法を説明するための模式図であり、透明度の決定方法の 一例を示す図である。 [図 93]実施例 4 2の 3次元表示方法を説明するための模式図であり、本実施例 4 2の 3次元表示方法を実現するための装置における処理手順を示すフロー図である
[図 94]実施例 4 3の 3次元表示制御方法を説明するための模式図であり、本実施 例 4 3の表示制御方法を適用した場合の 3次元空間の変化の様子を示す図である
[図 95A]実施例 4 3の 3次元表示制御方法を説明するための模式図であり、透明度 の決定方法の一例を示す図である。
[図 95B]実施例 4 3の 3次元表示制御方法を説明するための模式図であり、透明度 の決定方法の一例を示す図である。
[図 96]実施例 4 4の 3次元表示制御方法を説明するための模式図であり、本実施 例 4 4の表示制御方法を適用した場合の 3次元空間の変化の様子を示す図である
[図 97]実施例 4 4の 3次元表示制御方法を説明するための模式図であり、本実施 例 4 4の 3次元表示方法を実現するための装置における処理手順を示すフロー図 である。
[図 98]実施例 4 5の 3次元表示制御方法を説明するための模式図であり、オブジェ タトの選択方法を示す図である。
[図 99]実施例 4 5の 3次元表示制御方法を説明するための模式図であり、本実施 例 4 5の表示制御方法を適用した場合の 3次元空間の変化の様子を示す図である
[図 100]実施例 4 5の 3次元表示制御方法を説明するための模式図であり、本実施 例 4 5の 3次元表示方法を実現するための装置における処理手順を示すフロー図 である。
符号の説明
(第 1の実施の形態）
1…システム制御装置
101…入力情報取得手段 102…ポインタ位置 Z回転角度算出手段
103…ポインタ生成手段
104· ··ポインティング判定手段
105…オブジェクト生成手段
106…表示制御手段
2…入力装置
201· ··入力ペン
201D…入力ペンのボタン
201P…入力ペンのペン先
201Χ· ··入力ペンの筐体の軸
3…表示装置
301…表示装置に表現された 3次元空間
302· "オブジェクト
303· "ポインタ
304· "ウィンドウ
305· ··ゴミ箱オブジェクト
(第 2の実施の形態）
1…システム制御装置
101…入力情報取得手段
102…ポインタ位置 Z回転角度算出手段
103…ポインタ生成手段
104· ··ポインティング判定手段
105…オブジェクト生成手段
106…表示制御手段
109…入力情報処理手段
2…入力装置
201· ··入力ペン
201D…操作手段（ボタン、ホイール、スライドバー) 201P…入力ペンのペン先
201Χ···入力ペンの筐体の軸
3…表示装置
301…表示装置に表現された 3次元空間 302···オブジェクト
303· "ポインタ
304· "ウィンドウ
305···ゴミ箱オブジェクト
(第 3の実施の形態）
1 - ··システム制御装置 (ポインティング装置) 101···入力情報取得手段
102…ポインタ位置 Z変形量算出手段 103···ポインタ生成手段
104…表示制御手段
105…ポインティング判定手段
106·· ·オブジェクト生成手段
107…処理制御手段
108…記憶手段
2…入力装置
201…キーボード
202···マウス
3…表示装置
301， 301A, 301Β···表示面
4…ポインタ
5…オブジェクト
(第 4の実施の形態）
1…システム制御装置
101···入力情報取得手段 102…ポインタ位置算出手段
103…ポインタ生成手段
104…オブジェクト変更判定手段
105· ··オブジェクト生成 Z透明化手段
106…表示制御手段
2…入力装置
201 · ··ホイール機能付きマウス（マウス）
201Α· ··マウスのホイ一ノレ
3…表示装置
301A…手前の表示面
301B…奥の表示面
4…オブジェクト
4Α· ··手前の表示面に表示されたオブジェクト
4B…奥の表示面に表示されたオブジェクト
401…ポインタ
402a〜402g…フォルダアイコン
403, 403a〜403c…ウィンドウ
発明を実施するための最良の形態
[0066] 以下、本発明の第 1〜第 4の実施の形態を説明する。なお、特に断りのない限り、 図面における符号は各実施の形態において独立に付されたものとする。
[0067] (第 1の実施の形態）
まず、本発明の第 1の実施の形態について説明する。第 1の実施の形態は本発明 の第 1の目的に対応するものである。
[0068] 本発明の第 1の実施の形態の 3次元ポインティング方法は、 3次元表示が可能な表 示装置に表現された 3次元空間上のオブジェクトを、ペン形の入力装置を用いてボイ ンティングしたり、前記ポインティングされたオブジェクトの操作をしたりする方法であ る。前記ペン形の入力装置は、たとえば、ペンタブレットのように、前記オブジェクトの ポインティングや操作を行う操作者が持って操作をするペン形の操作手段（以下、入 力ペンという）と、前記入力ペンのペン先の位置、筆圧、軸の向き等の情報を検出す る検出手段からなる。そして、第 1の実施の形態の 3次元ポインティング方法では、前 記検出手段で検出した情報に基づいて、ポインタの位置、形状、向き等を決定し、前 記表示装置に表現された 3次元空間上に前記ポインタを表示させる。このようにする ことで、前記操作者は、前記検出手段の検出面上に前記入力ペンのペン先を接触さ せた状態で、前記表示装置に表現された 3次元空間上の前記オブジェクトのポイン ティングや操作を行うことができ、長時間のポインティングやオブジェクト操作時の前 記操作者の疲労を軽減できる。
[0069] また、第 1の実施の形態の 3次元ポインティング方法では、前記入力ペンの筆圧を、 前記ポインタの奥行き方向の移動または変形と対応させることで、前記表示装置に 表現された 3次元空間内の一点をポインティングできるようにする。またこのとき、前記 入力ペンの傾き、方位の情報を前記ポインタの傾き、方位に反映させることで、操作 者は、前記表示装置に表現された 3次元空間上に表示されたポインタがあた力も自 身が持つ入力ペンのペン先の一部と感じることができ、 3次元オブジェクトのポインテ イングを容易に、かつ直感的に行うことが可能となる。
[0070] また、第 1の実施の形態の 3次元ポインティング方法では、前記オブジェクトをポイン ティングした後、前記ポインティングされたオブジェクトを、 2次元 GUI的な編集、加工 等の操作が可能な状態、言 、換えると前記入力ペンの操作で前記 2次元 GUI上のォ ブジェクトを操作することが可能な状態にする。またこのとき、前記オブジェクト編集' 加工と!/、つた操作が終了した後、前記オブジェクトを再度 3次元オブジェクトとして扱 い、操作者の望む 3次元位置に移動できるようにする。このようにすることで、 3次元ォ ブジエタトの操作を、既存のペン形の入力装置を用いたこれまでの 2次元 GUIにおけ る操作と変わらない操作で実現でき、前記操作者は、オブジェクトの操作をするため の、 3次元的な入力ペンの操作を新たに習得しなくてもよい。
[0071] 図 1乃至図 3は、第 1の実施の形態の 3次元ポインティング方法の概要を説明する ための模式図であり、図 1は第 1の実施の形態の 3次元ポインティング方法を実現す るシステムの構成例を示す図、図 2は第 1の実施の形態の 3次元ポインティング方法 の原理を説明するための図、図 3は第 1の実施の形態の 3次元ポインティング方法で 用いる入力ペンの構成例を示す図である。
図 1において、 1はシステム制御装置、 101は入力情報取得手段、 102はポインタ 位置 Z回転角度算出手段、 103はポインタ生成手段、 104はポインティング判定手 段、 105はオブジェクト生成手段、 106は表示制御手段、 107は処理制御手段、 108 は記憶手段、 2は入力装置、 3は表示装置である。また、図 2において、 201Pは入力 ペンのペン先、 201Xは入力ペンの筐体の軸である。また、図 3において、 201は入 力ペン、 201Aはコイル、 201Bは回転角検出用のコイル、 201Cは筆圧感知部であ る。
[0072] 第 1の実施の形態の 3次元ポインティング方法は、たとえば、 PC等のシステム制御 装置に接続された前記ペン形の入力装置を用いて、前記システム制御装置に接続 された表示装置に表現された 3次元空間上にあるポインタやポインティングされたォ ブジェクトを 3次元的に操作するときに適用して好まし!/、ポインティング方法である。
[0073] システム制御装置 1は、図 1に示すように、前記入力装置 2から入力された入力情 報を取得する入力情報取得手段 101と、前記入力情報取得手段 101で取得した入 力情報がポインタの制御に関する情報である場合に、前記入力情報に基づ 、てボイ ンタの移動方向および移動量、回転方向および回転角度等を算出するポインタ位置 Z回転角度算出手段 102と、前記ポインタ位置 Z回転角度算出手段 102の算出結 果に基づいたポインタを生成するポインタ生成手段 103と、前記ポインタ生成手段 1 03で生成するポインタにポインティングされているオブジェクトがあるか否かの判定を するポインティング判定手段 104と、前記ポインティングされて ヽるオブジェクトがある 場合に、たとえば、そのオブジェクトの色を変えたり、前記ポインタの移動や回転を追 随させた位置や向きのオブジェクトを生成するオブジェクト生成手段 105と、前記ボイ ンタ生成手段 103で生成されたポインタや、前記オブジェクト生成手段 105で生成さ れたオブジェクトを前記表示装置 3に表示させる表示制御手段 106とを備える。
[0074] また、前記システム制御装置 1は、たとえば、前記 PCのように、前記入力装置 2から の入力情報に応じてソフトウェアの起動や操作をしたり、他の装置の制御を行ったり する装置であり、図 1に示したように、前記各手段の他に、たとえば、ソフトウェアの起 動等の処理を制御する処理制御手段 107や、前記処理制御手段 107による処理で 用いるデータ等が記憶された記憶手段 108を備える。そして、前記入力情報取得手 段 101で取得した情報が、前記ポインタの制御に関する情報とは異なる場合、前記 入力情報取得手段 101は、前記取得した情報を前記処理制御手段 107に渡し、取 得した情報に応じた処理を前記システム制御装置 1に実行させる。そのため、前記表 示制御手段 106は、前記ポインタや前記オブジェクトのほかに、前記システム制御装 置 1 (処理制御手段 107)で実行中の処理の内容や、処理の結果を前記表示手段 3 に表示させることもできる手段である。
[0075] また、前記入力装置 2は、図示は省略するが、たとえば、前記ポインタやオブジェク トの操作を行う操作者が持つペン形の操作手段 (入力ペン）と、前記入力ペンのペン 先の位置、ペン先にかかる圧力（筆圧）、前記入力ペンの傾き、方位、回転角等の情 報を検出する検出面を持つ検出手段力 なる。
[0076] 図 2に示すように、前記検出手段の検出面上に、前記表示装置 3に表現される 3次 元空間と対応するデカルト座標系 XYZをとり、前記デカルト座標系 XYZの XY平面 が検出面とすると、前記検出手段は、前記検出面 (XY平面）に前記入力ペンのペン 先 201Pが接触したときに、ペン先 201Pの座標（X, y)、入力ペンの筐体の軸 201X の方位 α (たとえば 0度≤ひく 360度），傾き （たとえば 0度≤ β≤90度），軸周りの 回転 γ (たとえば 0度≤ γく 360度）の各角度、ペンの筆圧等の情報を検出する。
[0077] 前記ペン先 201Pの座標、前記入力ペンの筐体の軸 201Xの方位 a ,傾き j8 ,軸 周りの回転 γ ,筆圧等の情報を検出することが可能な入力装置 2の構成は、たとえば 、参照文献 1 (三谷雄二， "タツチパネルの基礎と応用,"テクノタイムズ社， 2001.)や 参照文献 2 (株式会社 WACOM製 intuos2のカタログ)等に記載された内容から、当業 者であれば容易に推測でき、容易に実現することが可能である。ただし、前記入力べ ンの筐体の軸 201Xの軸周りの回転 γの角度については、前記参照文献 1や参照文 献 2に記載された構造では取得できない。しかしながら、前記軸周りの回転 γの角度 を検出するためには、たとえば、図 3に示すように、前記入力ペン 201の内部の、前 記参照文献 1に記載されている座標指示器のコイル 201Aと平行に、前記軸周りの 回転 γを検出するためのコイル 201Bをもう一つ加え、筆圧感知部 201Cにおいて両 コイル 201A, 201Bの鎖交する磁束の変化をそれぞれ取得し、回転量を計算すれ ばよいことは、当業者であれば容易に想到でき、実現することは可能である。ただし、 本実施形態の 3次元ポインティング方法で使用する前記入力ペン 201は、図 3に示し たような、前記軸周りの回転 γの角度を検出する機構を備えた構成でなくともよい。
[0078] また、前記入力装置 2は、ペンタブレットや、タツチパネルとスタイラスペンの組み合 わせのように、前記入力ペンと前記検出手段が分離した装置に限らず、たとえば、ぺ ン形マウスのように、前記入力ペンの筐体の内部に前記検出手段が み込まれてい る入力装置であってもよ 、。
[0079] また、前記表示装置 3は、 3次元空間を表現できる表示装置であればよぐたとえば 、 CRTディスプレイや液晶ディスプレイのように 3次元オブジェクトを 2次元平面に射影 した形で表現して表示する 2次元表示装置でもよぐ HMD (Head Mount Display)や D FD (Depth Fused 3D) (DFDの詳細については後述する）のように 3次元立体像を表 現して表示することが可能な表示装置でもよい。つまり、前記表示装置 3は、前記操 作者力 表示されたポインタやオブジェクトを 3次元的に知覚することが可能であれば どのような表示装置でもよ 、。
[0080] また、前記入力装置 2の検出手段と前記表示装置 3は、一体型の形態を取ることも 可能である（たとえば、特開平 5-073208号公報を参照。 )0前記入力装置 2として、電 磁誘導方式のペンタブレットを用いる場合、前記検出手段 (デジタイザ）は、前記表 示装置 3の表示面と重ね合わせ、前記表示装置 3と一体的にすることができる。また、 同様の形態として、たとえば、タツチパネルとスタイラスペンを組み合わせた形態を適 用することも可能である。このようにすれば、前記操作者は、液晶ディスプレイ等の前 記表示装置 3の表示面に前記入力ペンを接触させてポインティングすることが可能と なり、前記検出手段と前記表示装置 3が分離した状態で操作する場合に比べ、より直 感的な操作が可能となる。ただし、本発明は、このような前記入力装置 2の検出手段 と前記表示装置 3の構成を限定するものではなぐ一般的なペンタブレットのように、 前記検出手段と前記表示装置 3がー体的になっていなくともよい。
[0081] [実施例 1 1]
図 4A乃至図 7は、本発明による実施例 1—1の 3次元ポインティング方法を説明す るための模式図であり、図 4Aは表示装置に表現される 3次元空間の一例を示す正 面図および右側面図ならびに下面図、図 4Bは表示装置に表現される 3次元空間の 一例を示す鳥瞰図、図 5A,図 5B,図 5Cはそれぞれ入力ペンで操作したときの 3次 元空間内の様子を示す鳥瞰図、図 6A,図 6B,図 6Cはそれぞれ入力ペンで操作し たときの 3次元空間内の様子を示す正面図および右側面図、図 7は本実施例 1 1 の 3次元ポインティング方法の処理手順を示すフロー図である。なお、図 6A,図 6B, 図 6Cはそれぞれ、図 5A,図 5B,図 5Cと対応する図である。
[0082] 本実施例 1 1の 3次元ポインティング方法は、前記入力ペン 201の筆圧を変えるこ とで 3次元空間内の操作者からみて奥行き方向にあるオブジェクトをポインティングす る方法である。
[0083] 本実施例 1 1では、前記入力装置 2には電磁誘導方式のペンタブレット、前記 3 次元空間を表示できる表示装置 3には液晶ディスプレイを用いることとする。また、前 記入力装置 2の検出手段 (デジタイザ）は前記液晶ディスプレイ 3の表示面と重ね合 わせており、表示画面上で直接入力ペンを操作し、ポインティングが行えるものとす る。また、前記入力装置 2および前記表示装置 3は、図 1に示したような構成のシステ ム制御装置 1に接続されて 、るとする。
[0084] また、本実施例 1 1では、図 4Aおよび図 4Bに示すように、前記液晶ディスプレイ 3に表現された 3次元空間 301の中に、図 2で示した座標系 XYZと対応させた座標 系 XYZを設定し、オブジェクト 302が 3次元空間 301内の z〈0の位置に配置されてい るとする。また、前記入力装置 2の入力ペン 201を操作する操作者は、前記 3次元空 間 301の XY平面を、 z〉0の方向力 観察しているとする。
[0085] また、本実施例 1 1では、前記 3次元空間 301の z = 0の XY平面、すなわち前記 操作者から見て一番近 、面が前記液晶ディスプレイの表示面であると同時に、前記 入力装置 2の検出手段の検出面であるとする。
[0086] このとき、前記操作者が、図 5Aおよび図 6Aに示すように、前記入力ペン 201のぺ ン先 201Pを前記液晶ディスプレイ 3の表示面に接触させると、前記表示面に重ね合 わされた前記検出手段が前記ペン先 201Pの位置 (座標)や筆圧等を検出する。この とき、前記システム制御装置 1では、前記入力情報取得手段 101により前記検出手 段が検出した前記ペン先 201Pの位置 (座標)や筆圧等の情報を取得し、前記ポイン タ位置 Z回転角度算出手段 102および前記ポインタ生成手段 103に、前記ペン先 2 01 Pが接触した位置に該当する前記 3次元空間 301上の位置 (たとえば、入力ペン の軸の 3次元空間における延長線上の位置）に表示させるポインタを生成させる。そ して、前記ポインタが生成されると、前記表示制御手段 106から前記表示装置 3にポ インタ表示用の信号が送られ、たとえば、図 5Aおよび図 6Aに示したように、前記表 示装置 3に表現された 3次元空間 301上に、前記ペン先 201 Pの位置および筆圧を 反映したポインタ 303が表示される。
[0087] また、前記操作者が、前記入力ペン 201のペン先 201Pを前記液晶ディスプレイ 3 の表示面に接触させた後、たとえば、図 5Bおよび図 6B、あるいは図 5Cおよび図 6C に示すように、前記入力ペン 201を前記液晶ディスプレイ 3の表示面に押しつけるよ うにして筆圧を高くすると、前記システム制御装置 1の前記ポインタ位置 Z回転角度 算出手段 102および前記ポインタ生成手段 103では、前記筆圧の高さに応じた形状 のポインタを生成させる。このとき、たとえば、前記筆圧の高さに応じて矢印形のボイ ンタが長くなるようにしておけば、前記表示装置 3に表現された 3次元空間 301上の ポインタ 303は、筆圧を高くすることにより、図 5Bおよび図 6Bに示したように、図 5A および図 6Aに示したポインタよりも長くなる。また、さらに筆圧を高くすれば、図 5Cお よび図 6Cに示したように、前記ポインタ 303がさらに長くなる。
[0088] このようなポインタ 303の表示を、前記操作者が前記入力ペン 201に筆圧をカ卩える 操作を行うのとほぼ同時に連続的に行われるようにすることで、前記操作者は、あた 力も加えた筆圧によってポインタが 3次元奥行き方向（zく 0)に伸びていくように感じる ことが可能である。また、図示は省略する力 前記システム制御装置 1のポインティン グ判定手段 104により前記ポインタ 303 (ポインタの先）が目的のオブジェクト 302を ポインティングできたと判定されたときに、前記オブジェクト生成手段 105でオブジェ タト 302の色を変え、前記 3次元空間 301上に表示されたオブジェクト 302の表示を 切り替える等の処理を行うことによって、前記操作者に、 3次元奥行き方向（zく 0)にあ るオブジェクト 302をポインティングできたことを知らせることが可能である。
[0089] また、たとえば、図 5Bおよび図 6B、あるいは図 5Cおよび図 6Cに示したように、一 度筆圧を高くしてポインタ 303を 3次元奥行き方向（zく 0)〖こ傾けて表示させた後、筆 圧を低くした場合、前記ポインタ 303を、筆圧を反映させた奥行き位置まで戻してもよ V、し、低くする前の奥行き位置に固定させてぉ 、てもよ!/、。
[0090] このような 3次元ポインティング方法を実現させるためには、前記システム制御装置 1において、図 7に示したような、ステップ 401からステップ 406の処理を実行すれば よい。前記システム制御装置 1では、まず、前記表示制御手段 106により、前記表示 装置 (液晶ディスプレイ） 3に表現された 3次元空間 301上にポインタ 303およびォブ ジェタト 302を表示させておく（ステップ 401)。またこのとき、前記ポインタ 303は、任 意の位置に表示させておく。また、前記入力情報取得手段 101は、前記入力装置 2 の検出手段で検出された情報を取得できる状態にしておく。
[0091] そして、前記操作者が、前記入力ペン 201のペン先 201Pを検出手段の検出面に 接触させると、前記検出手段が前記ペン先 201Pの位置 (座標)や筆圧等を検出する ので、前記入力情報取得手段 101は、前記検出された前記ペン先 201Pの位置 (座 標）や筆圧等の情報を取得する (ステップ 402)。本実施例 1 1の 3次元ポインティン グ方法では、前記ペン先 201Pの位置 (座標）と筆圧の情報が取得できればよいので 、前記ステップ 402では、前記ペン先 201Pの位置 (座標）と筆圧の情報のみを取得 してもよいが、前記検出手段では、前記ペン先 201Pの位置 (座標）と筆圧のほかに、 前記入力ペン 201の方位ひ，傾き β ,軸周りの回転 γ等も検出可能である。そのた め、前記ペン先 201Pの位置 (座標）と筆圧の情報とともに、前記入力ペン 201の方 位 α ,傾き j8 ,軸周りの回転 γの情報を取得してもよい。
[0092] 前記入力情報取得手段 101で前記検出手段からの情報を取得したら、次に、前記 ポインタ位置 Ζ回転角度算出手段 102において、前記取得した情報のうち、前記べ ン先 201Pの位置 (座標）と筆圧の情報を用いて、これらの情報を反映するポインタの 位置、向き、長さ等を算出する (ステップ 403)。本実施例 1—1の 3次元ポインティン グ方法の場合、前記ステップ 403では、前記ペン先 201Pの位置 (座標）と対応する 前記表示装置 3に表現された 3次元空間の ΧΥ平面上の位置 (座標）と、筆圧と比例 する長さを算出する。
[0093] 前記ステップ 403の処理がすんだら、次に、前記ポインタ生成手段 103において、 前記ポインタ位置 Ζ回転角度算出手段 102での算出結果に基づいた形状のポイン タを生成し、前記表示制御手段 106から生成したポインタに関する情報を前記表示 装置 3に送り、前記 3次元空間 301上に表示させる (ステップ 404)。
[0094] また、前記ステップ 404の処理と並行して、前記ポインティング判定手段 104にお ヽ て、前記ポインタ位置 Z回転角度算出手段 102で算出した 3次元空間の XY平面上 の位置 (座標）および奥行き位置に該当する位置に、ポインティングして 、るオブジェ タトがあるか否かの判定を行う（ステップ 405)。このとき、ポインティングしているォブ ジェタトがなければ、前記ポインタ 303の表示制御のみを行い、ステップ 402に戻り、 次の入力情報を取得するまで待機する。
[0095] 一方、ポインティングしているオブジェクトがあれば、前記オブジェクト生成手段 105 において、たとえば、前記ポインティングしているオブジェクトの色を変えたオブジェク トを生成し、前記表示制御手段 106から生成したオブジェクトに関する情報を前記表 示装置 3に送り、前記 3次元空間 301上に表示させる (ステップ 406)。そしてその後、 前記ステップ 402に戻り、次の入力情報を取得するまで待機する。
[0096] 前記システム制御装置 1において、以上のような処理を行うことにより、図 5A,図 5B ,図 5Cに示したようなポインタの表示制御が可能となる。
[0097] 以上説明したように、本実施例 1 1の 3次元ポインティング方法によれば、前記入 力ペン 201のペン先 201 Pの位置 (座標）および筆圧に関する情報を取得し、前記べ ン先 201Pの位置 (座標）と対応する前記表示装置 3に表現された 3次元空間の XY 平面上の位置 (座標）と、筆圧と対応する奥行き位置を算出し、算出した位置および 奥行き位置を指し示すポインタを生成し、表示させることで、前記表示装置 3に表現 された 3次元空間 301上の任意の 1点をポインティングすることができる。
[0098] また、前記入力装置 2として、一般的なペンタブレットを用い、前記入力ペン 201の ペン先 201Pを前記検出手段に接触させた状態で、前記ポインタ 303の奥行き方向 のポインティング位置を変えることができるので、操作者の疲労を軽減することができ る。
[0099] また、本実施例 1 1で説明したように、前記入力装置 2の検出手段を、前記表示 装置 (液晶ディスプレイ） 3の表示面と重ね合わせておけば、前記操作者は、前記表 示面上で前記入力ペンの操作を行うことができる。このよう〖こすると、前記ポインタ 30 3が前記入力ペン 201のペン先 201の一部であるかのような視覚効果が得られ、前 記オブジェクト 302の正確なポインティングが容易になり、かつ直感的なポインティン グが可能となる。
[0100] また、本実施例 1—1では、前記入力ペン 201の筆圧の高さに応じて長さが変わる 前記ポインタ 303を表示させた力 これに限らず、たとえば、長さではなく形状が 3次 元奥行き方向（zく 0)に何らかの変化をするポインタや、 3次元奥行き方向（zく 0)の傾 きが変化するポインタのように、 3次元奥行き方向（zく 0)をポインティングできるのであ れば、どのような変化であってもよい。また、前記ポインタの長さを変化させる場合、 筆圧の高さに比例させてもよいし、筆圧の高さの累乗あるいは累乗根に比例させても よい。
[0101] なお、本実施例 1 1では、前記入力装置 2として電磁誘導方式のペンタブレットを 用い、前記ペンタブレットの検出手段 (デジタイザ)を、前記表示装置 (液晶ディスプ レイ） 3の表示面と重ね合わせた場合を例に挙げた力 これに限らず、両者が別の位 置にあるような構成であってもよい。また、本実施例 1—1では、前記入力装置 2と表 示装置 3の組み合わせとして、前記電磁誘導方式のペンタブレットと前記液晶ディス プレイを例に挙げて説明した力 これに限らず、たとえば、 PDA等で用いられているタ ツチパネルとスタイラスペンの組み合わせであってもよい。
[0102] 図 8A〜Dは、本実施例 1 1の 3次元ポインティング方法の変形例を説明するため の模式図であり、図 8A,図 8B,図 8C,図 8Dはそれぞれ表示するポインタの形状を 示す図である。
[0103] 本実施例 1—1では、前記ポインタ 303として、たとえば、図 8Aに示すように、平板 状の矢印型のポインタ 303aを用いた力 前記ポインタ 303の形状は、これに限らず、 ポインティングして 、る位置が視覚的に明瞭である形状であれば、どのような形状で あってもよい。そのようなポインタの形状としては、たとえば、図 8Bに示すような円錐 の底面に円柱が接続された立体的な矢印型のポインタ 303b、図 8Cに示すような円 錐型のポインタ 303c、図 8Dに示すような人差し指でオブジェクトを指し示している人 の手型のポインタ 303d等が考えられる。また、図示は省略するが、図 8Cに示した円 錐型のポインタ 303cに類似した多角錘型のポインタであってもよい。 [0104] また、本実施例 1— 1では、前記ポインタ 303がポインティングして 、る点は矢印型 ポインタの先 (矢印の先端）とした力 これにかぎらず、前記ポインタのどの部分にお Vヽてもポインティング可能とすることや、ポインタの先ではな 、他の一部とすることも可 能である。
[0105] また、本実施例 1 1では、前記オブジェクト 302の例としてフォルダ型のオブジェク トを挙げた力 これに限らず、前記オブジェクト 302はどのような形状であってもよい。
[0106] また、本実施例 1—1では、前記表示装置 3に表現される 3次元空間の座標系を図 4Aに示したように、表示面が z = 0となるように設定した力 3次元が表現できるので あれば 3次元の原点はどこにとってもよぐまたデカルト座標系である必要もなぐたと えば円柱座標系や球座標系などでもよ ヽ。
[0107] また、本実施例 1 1では、前記入力ペン 201の筆圧に注目したが、これに後述す る入力ペン 201の傾き βと軸周りの回転 γの要素も加え、ポインタの傾きや回転も操 作できるようにしてもかまわな!/、。
[0108] [実施例 1 2]
図 9Α〜図 10Cは、本発明による実施例 1— 2の 3次元ポインティング方法を説明す るための模式図であり、図 9Α,図 9Β,図 9Cはそれぞれ入力ペンで操作したときの 3 次元空間内の様子を示す鳥瞰図、図 10A,図 10B,図 10Cはそれぞれ入力ペンで 操作したときの 3次元空間内の様子を示す正面図および右側面図である。なお、図 1 OA,図 10B,図 10Cはそれぞれ、図 9A,図 9B,図 9Cと対応する図であるとする。
[0109] 本実施例 1 2の 3次元ポインティング方法は、前記入力ペン 201の向きを変えるこ とで 3次元空間内の操作者からみて奥行き方向にあるオブジェクトをさまざまな方向 力 ポインティングする方法である。
[0110] 本実施例 1 2では、前記入力装置 2および前記表示装置 3はそれぞれ、前記実 施例 1—1と同様に、電磁誘導方式のペンタブレットおよび液晶ディスプレイを用いる とする。また、前記ペンタブレット 2の検出手段 (デジタイザ）は、前記液晶ディスプレ ィ 3の表示面と重ね合わせてあるとする。
[0111] また、前記液晶ディスプレイ 3に表現される 3次元空間の座標系の取り方、前記ペン タブレット 2の入力ペン 201の操作方法等は、前記実施例 1— 1で説明したとおりであ るとする。また、前記ペンタブレット 2および表示装置 3は、図 1に示したような構成の システム制御装置 1に接続されて 、るとする。
[0112] 本実施例 1 2の 3次元ポインティング方法では、前記操作者が前記入力ペン 201 のペン先 201Pを前記液晶ディスプレイ 3に表現された 3次元空間 301の XY平面（z =0)の任意の 1点におくと、前記システム制御装置 1は、前記入力情報手段 101によ り、前記検出手段 (デジタイザ）が検出した前記入力ペン 201のペン先 201の位置（ 座標）、前記入力ペン 201の方位ひ，傾き |8 ,軸周りの回転 γ、筆圧等の情報を取 得し、前記ポインタ位置 Ζ回転角度算出手段 102および前記ポインタ生成手段 103 に、前記ペン先 201Pが接触した位置に該当する前記 3次元空間 301上の位置 (たと えば、入力ペンの軸の 3次元空間における延長線上の位置）に表示させるポインタを 生成させる。そして、前記ポインタが生成されると、前記表示制御手段 106から前記 表示装置 3にポインタ表示用の信号が送られ、たとえば、図 9Αおよび図 10Bに示し たようなポインタ 303が表示される。
[0113] また、前記操作者が、前記入力ペン 201の向きを、たとえば、前記筆圧をほぼ一定 の状態で、図 9Βおよび図 10Β、あるいは図 10Cおよび図 10Cに示したような向きに 変えたとすると、前記ポインタ位置 Ζ回転角度算出手段 102およびポインタ生成手 段 103では、前記入力ペン 201の新たな方位ひ，傾き |8 ,軸周りの回転 γから、新た なポインタの向きを算出し、算出結果に基づいたポインタを生成させる。そして、前記 表示制御手段 106から前記表示装置 3に、新たに生成したポインタ表示用の信号を 送ると、図 9Βおよび図 10Β、あるいは図 9Cおよび図 10Cに示したようなポインタ 303 が表示される。
[0114] このようなポインタ 303の表示を、前記操作者が入力ペン 201の向きを変える操作 を行うのとほぼ同時に連続的に行われるようにすることで、前記操作者は、あたかも ペンを傾けた方向のペン先 201Pの延長線上にポインタ 303が傾いて表示されるよう に感じることが可能である。また、図示は省略するが、前記ポインティング判定手段 1 04により前記ポインタ 303 (ポインタの先）が目的のオブジェクトをポインティングでき たときに、前記オブジェクト生成手段 105でそのオブジェクトの色を変え、前記 3次元 空間 301上に表示されたオブジェクト 302の表示を切り替える等の処理を行うことに よって、前記操作者に、 3次元奥行き方向（zく 0)にあるオブジェクトをポインティング できたことを知らせることが可能である。
[0115] またさらに、図示は省略するが、前記操作者が、前記入力ペン 201の向きを変える とともに、筆圧を変えた場合は、前記ポインタ位置 Z回転角度算出手段 102および 前記ポインタ生成手段 103において、たとえば、前記ポインタの向きに加え、前記実 施例 1—1で説明したような筆圧の高さに比例した長さを算出し、その算出結果を反 映したポインタを生成することができる。
[0116] このような 3次元ポインティング方法を実現させるためには、前記システム制御装置 において、図 7に示したような、ステップ 401からステップ 406の処理を実行すればよ いので、詳細な説明は省略する。
[0117] ただし、本実施例 1—2のように、前記入力ペン 201の向きを前記ポインタに反映さ せる場合、前記ステップ 402では、前記ペン先 201Pの位置 (座標）と筆圧のほかに、 前記入力ペン 201の方位 α ,傾き 軸周りの回転 γの情報を取得する必要がある
[0118] また、前記ステップ 403では、前記ペン先 201Pの位置 (座標）と対応する前記表示 装置 3に表現された 3次元空間の ΧΥ平面上の位置 (座標）と、筆圧と比例する長さに 加え、前記入力ペン 201の方位 α ,傾き |8 ,軸周りの回転 γと対応する前記 3次元 空間 301上のポインタの方位，傾き，軸周りの回転の角度を算出する必要がある。
[0119] 前記システム制御装置 1において、以上のような処理を行うことにより、図 9Α,図 9Β ,図 9Cに示したようなポインタの表示制御が可能となる。
[0120] 以上説明したように、本実施例 1 2の 3次元ポインティング方法によれば、前記入 力ペン 201のペン先 201 Ρの位置 (座標）および筆圧に力!]え、前記入力ペン 201の 方位 α ,傾き j8 ,軸周りの回転 γに関する情報を取得し、前記ペン先 201Pの位置（ 座標）と対応する前記表示装置 3に表現された 3次元空間の ΧΥ平面上の位置 (座標 )および筆圧と対応する奥行き位置、ならびに前記入力ペン 201の方位 α ,傾き j8 , 軸周りの回転 γと対応する前記 3次元空間 301上のポインタの方位，傾き，軸周りの 回転の角度を算出し、算出した位置および奥行き位置を、算出した方向力 指し示 すポインタを生成し、表示させることで、前記表示装置 3に表現された 3次元空間 301 上の任意の 1点をポインティングすることができる。
[0121] また、前記入力装置 2として、一般的なペンタブレットを用い、前記入力ペン 201の ペン先 201Pを前記検出手段に接触させた状態で、前記ポインタ 303の奥行き方向 のポインティング位置を変えることができるので、操作者の疲労を軽減することができ る。
[0122] また、本実施例 1 2で説明したように、前記入力装置 2の検出手段を、前記表示 装置 (液晶ディスプレイ） 3の表示面と重ね合わせておけば、前記操作者は、前記表 示面上で前記入力ペンの操作を行うことができる。このよう〖こすると、前記ポインタ 30 3が前記入力ペン 201のペン先 201の一部であるかのような視覚効果が得られ、前 記オブジェクト 302の正確なポインティングが容易になり、かつ直感的なポインティン グが可能となる。
[0123] また、本実施例 1—2では、ポインタの傾き、方位、回転が前記入力ペン 201の傾き 、方位、回転にそれぞれ比例して変化する例を示したが、これに限らず、たとえば、 回転角ではなく形状が 3次元奥行き方向（zく 0)に何らかの変化をしたり、ポインタの 傾きが 3次元奥行き方向（zく 0)に変化したりすることで、 3次元奥行き方向（zく 0)をポ インティングできるのであればどのような変化であってもよい。また、前記入力ペン 20 1の傾き、方位、回転にそれぞれ比例してポインタの傾き、方位、回転を変化させる 場合に限らず、たとえば、前記入力ペン 201の傾き、方位、回転のいずれかが累乗 あるいは累乗根に比例するようにしてもょ 、。
[0124] なお、本実施例 1 2では、前記入力装置 2として電磁誘導方式のペンタブレットを 用い、前記ペンタブレットの検出手段 (デジタイザ)を、前記表示装置 (液晶ディスプ レイ） 3の表示面と重ね合わせた場合を例に挙げた力 これに限らず、両者が別の位 置にあるような構成であってもよい。また、本実施例 1—2では、前記入力装置 2と表 示装置 3の組み合わせとして、前記電磁誘導方式のペンタブレットと前記液晶ディス プレイを例に挙げて説明した力 これに限らず、たとえば、 PDA等で用いられているタ ツチパネルとスタイラスペンの組み合わせであってもよい。
[0125] また、前記ポインタの形状は、ポインティングして 、る位置が視覚的に明瞭である形 状であれば、どのような形状でもよぐ図 8Aに示した平板状の矢印型のポインタ 303 aに限らず、たとえば、図 8Bに示すような円錐の底面に円柱が接続された立体的な 矢印型のポインタ 303b、図 8Cに示すような円錐型のポインタ 303c、図 8Dに示すよ うな人差し指でオブジェクトを指し示している人の手型のポインタ 303dであってもよ い。
[0126] また、本実施例 1— 2では、前記ポインタ 303がポインティングして 、る点は矢印型 ポインタの先 (矢印の先端）とした力 これにかぎらず、前記ポインタのどの部分にお Vヽてもポインティング可能とすることや、ポインタの先ではな 、他の一部とすることも可 能である。
[0127] また、本実施例 1 2では、前記オブジェクト 302の例としてフォルダ型のオブジェク トを挙げた力 これに限らず、前記オブジェクト 302はどのような形状であってもよい。
[0128] また、本実施例 1—2では、前記表示装置 3に表現される 3次元空間の座標系は、 前記実施例 1 1と同様、すなわち図 4Aに示したように、表示面力 z = 0となるように 設定したが、 3次元が表現できるのであれば 3次元の原点はどこにとってもよぐまた デカルト座標系である必要もなぐたとえば円柱座標系や球座標系などでもよ ヽ。
[0129] また、本実施例 1—2では、前記入力ペン 201の方位 α ,傾き β ,軸周りの回転 γ に注目した力 これに実施例 1— 1で説明した入力ペン 201の筆圧の要素をカ卩えるこ とで、より直感的なポインティングが可能となる。
[0130] [実施例 1 3]
図 11乃至図 13は、本発明による実施例 1— 3の 3次元ポインティング方法を説明す るための模式図であり、図 11は入力ペンで操作したときの 3次元空間内の様子を示 す鳥瞰図、図 12は入力ペンで操作したときの 3次元空間内の様子を示す正面図、図 13は本実施例 1― 3の 3次元ポインティング方法の処理手順を示すフロー図である。
[0131] 前記実施例 1 1および実施例 1 2では、前記入力装置 2の入力ペン 201の操作 にあわせて、前記表示装置 3に表現された 3次元空間 301上のポインタの表示制御 およびポインティングされたオブジェクトの表示制御に関するポインティング方法につ いて説明した。
[0132] し力しながら、前記実施例 1 1および実施例 1 2のような方法で前記 3次元空間 301上のオブジェクトをポインティングした場合、ポインティング後に前記オブジェクト の移動、編集、加工といった操作が伴うことが多い。そこで、本実施例 1—3では、前 記 3次元空間 301上のオブジェクトをポインティングした後、前記入力ペン 201を操 作して前記ポインティングされたオブジェクトを移動させる方法について説明する。
[0133] 実施例 1 3では、前記入力装置 2および前記表示装置 3はそれぞれ、前記実施 例 1—1と同様に、電磁誘導方式のペンタブレットおよび液晶ディスプレイを用いると する。また、前記ペンタブレット 2の検出手段 (デジタイザ）は、前記液晶ディスプレイ 3 の表示面と重ね合わせてあるとする。
[0134] また、前記液晶ディスプレイ 3に表現される 3次元空間の座標系の取り方、前記ペン タブレット 2の入力ペン 201の操作方法等は、前記実施例 1— 1で説明したとおりであ るとする。また、前記ペンタブレット 2および表示装置 3は、図 1に示したような構成の システム制御装置 1に接続されて 、るとする。
[0135] また、本実施例 1—3では、前記 3次元空間 301上のオブジェクトをポインティング する方法にっ ヽては、前記実施例 1 1や実施例 1 2で説明したような方法でょ 、 ので、説明は省略する。
[0136] このとき、たとえば、前記実施例 1—1や実施例 1—2と同様の方法によって、図 11 および図 12に示したようにオブジェクト 302をポインティングした後、前記オブジェクト 302をポインティングしたことを確認した操作者は、たとえば、前記入力ペン 201に設 けられて 、るボタン 201Dを押す等の前記オブジェクト 302をつかむ操作を行う。そし て、前記入力ペン 201のボタン 201Dを押し、かつ、前記入力ペン 201のペン先 201 Pを前記表示装置 3の表示面 (検出手段の検出面）に接触させた状態で前記入力べ ン 201を所望の位置に移動させた後、前記ボタン 201 Dを離す等の前記オブジェクト 302を離す操作を行うと、図 11および図 12に示したように、前記入力ペン 201の移 動に追従して前記オブジェクト 302が 3次元空間 301内を移動する。このようにすると オブジェクトを元の位置から 3次元空間内の目的の位置にまで移動させることができ る。このとき、前記システム制御装置 1の前記入力情報取得手段 101は、前記表示装 置 2の検出手段 (デジタイザ)から、前記入力ペン 201の位置 (座標）、筆圧、入力べ ン 201の方位 α、傾き j8、軸周りの回転 γの検出情報とともに、ボタン 201Dが押さ れていることを示す情報を取得する。そして、前記システム制御装置 1は、前記ボタン 20 IDが押されていることから、前記操作者が、前記オブジェクト 302を移動させる操 作を行っていることを知ることができる。そのため、前記ポインティング判定手段 104 およびオブジェクト生成手段 105に、前記入力ペン 201の移動に追随するオブジェク トを生成させ、前記表示装置 3に表示させれば、上述のようなオブジェクト 302の移動 操作が可能となる。
[0137] このような 3次元ポインティング方法を実現させるためには、前記システム制御装置 において、図 13に示したような、ステップ 401からステップ 410の処理を実行すれば よい。
[0138] なお、図 13において、ステップ 401からステップ 406までの処理は、前記 3次元空 間 301上のオブジェクト 302をポインティングするまでの処理であり、図 7に示した処 理のステップ 401からステップ 406までの処理と同じである。このステップ 401からス テツプ 406までの処理は、前記実施例 1 1または実施例 1 2で説明した通りでょ ヽ ので、詳細な説明は省略する。
[0139] 本実施例の 3次元ポインティング方法では、前記システム制御装置 1は、前記ステツ プ 406でポインティングして 、るオブジェクトの色を変えて表示させた後、前記ステツ プ 402に戻らず、図 13に示すように、オブジェクトがポインティングされた状態で前記 入力ペン 201のボタン 201Dが押されているか否かの判定をする（ステップ 407)。こ の判定は、たとえば、前記入力情報取得手段 101において、前記ボタン 201Dが押 されていることを示す情報を取得したか否かで判定する。そして、前記ボタン 201D が押されていなければ、前記ステップ 402に戻り、次の入力情報を取得するまで待機 する。
[0140] 一方、前記ボタン 201Dが押されていれば、前記入力情報取得手段 101において 、ポインタに関する情報を取得する (ステップ 408)。このとき取得する情報は、前記実 施例 1 1や実施例 1 2で説明した、前記入力ペン 201のペン先 201Pの位置 (座 標）、筆圧、入力ペン 201の方位ひ，傾き |8 ,軸周りの回転 γの情報である。
[0141] 前記ステップ 408で前記ポインタに関する情報を取得したら、前記ポインタ位置 Ζ 回転角度算出手段 102において、取得した情報に基づくポインタの位置、向き、長さ 等を算出するとともに、前記オブジェクトの位置、向きを算出する (ステップ 409)。前 記ポインタの位置、向き、長さ等の算出は、前記実施例 1 1や実施例 1 2で説明し た通りであるので、詳細な説明は省略する。また、前記オブジェクトの位置、向きは、 たとえば、前記ポインティングされたときのオブジェクトの基準位置と前記ポインタでポ インティングして 、る位置の相対的な位置関係力 前記ステップ 409で算出したボイ ンタの位置でも保存されるような位置、向きを算出する。
[0142] そして、前記ステップ 409でポインタの位置、向き、長さ等と前記オブジェクトの位置 、向きを算出したら、前記ポインタ生成手段 103で算出したポインタの位置、向き、長 さに基づくポインタを生成するとともに、前記オブジェクト生成手段 105で算出したォ ブジエタトの位置、向きに基づくオブジェクトを生成し、それらの表示信号を前記表示 制御手段 106から前記表示装置 3に送り、ポインタおよびオブジェクトを表示させる（ ステップ 410)。
[0143] 前記ステップ 410でポインタおよびオブジェクトを表示させたら、前記ステップ 407 に戻り、前記入力ペン 201のボタン 201Dが押された状態が続いていれば、前記ステ ップ 408からステップ 410までの処理を繰り返す。そして、前記操作者が前記ボタン 2 01Dを離した時点で、前記ポインタおよびオブジェクトの移動操作が終了する。
[0144] 前記システム制御装置 1において、以上のような処理を行うことにより、図 11および 図 12に示したようなオブジェクトのポインティング操作および移動操作が可能となる。
[0145] 以上説明したように、本実施例 1 3の 3次元ポインティング方法によれば、前記ォ ブジェクトをポインティングした後、前記ポインティングされたオブジェクトを、前記入 力ペンの移動にあわせて、平行移動させることができる。
[0146] また、前記入力装置 2として、一般的なペンタブレットを用い、前記入力ペン 201の ペン先 201Pを前記検出手段に接触させた状態で、オブジェクトをポインティングし、 移動させることができるので、操作者の疲労を軽減することができる。
[0147] また、本実施例 1 3で説明したように、前記入力装置 2の検出手段を、前記表示 装置 (液晶ディスプレイ） 3の表示面と重ね合わせておけば、前記操作者は、前記表 示面上で前記入力ペンの操作を行うことができる。このよう〖こすると、前記ポインタ 30 3が前記入力ペン 201のペン先 201の一部であるかのような視覚効果が得られ、前 記オブジェクト 302の正確なポインティングが容易になり、かつ直感的なポインティン グが可能となる。
[0148] なお、本実施例 1 3では、前記入力装置 2として電磁誘導方式のペンタブレットを 用い、前記ペンタブレットの検出手段 (デジタイザ)を、前記表示装置 (液晶ディスプ レイ） 3の表示面と重ね合わせた場合を例に挙げた力 これに限らず、両者が別の位 置にあるような構成であってもよい。また、本実施例では、前記入力装置 2と表示装置 3の組み合わせとして、前記電磁誘導方式のペンタブレットと前記液晶ディスプレイを 例に挙げて説明した力 これに限らず、たとえば、 PDA等で用いられているタツチパ ネルとスタイラスペンの組み合わせであってもよ!/、。
[0149] また、前記ポインタの形状は、ポインティングして 、る位置が視覚的に明瞭である形 状であれば、どのような形状でもよぐ図 8Aに示した平板状の矢印型のポインタ 303 aに限らず、たとえば、図 8Bに示すような円錐の底面に円柱が接続された立体的な 矢印型のポインタ 303b、図 8Cに示すような円錐型のポインタ 303c、図 8Dにしめす ような人差し指でオブジェクトを指し示している人の手型のポインタ 303dであってもよ い。
[0150] また、本実施例 1— 3では、前記ポインタ 303がポインティングして 、る点は矢印型 ポインタの先 (矢印の先端）とした力 これにかぎらず、前記ポインタのどの部分にお Vヽてもポインティング可能とすることや、ポインタの先ではな 、他の一部とすることも可 能である。
[0151] また、本実施例 1 3では、前記オブジェクト 302の例としてフォルダ型のオブジェク トを挙げた力 これに限らず、前記オブジェクト 302はどのような形状であってもよい。
[0152] また、本実施例 1—3では、前記表示装置 3に表現される 3次元空間の座標系は、 前記実施例 1 1と同様、すなわち図 4Aに示したように、表示面力 z = 0となるように 設定したが、 3次元が表現できるのであれば 3次元の原点はどこにとってもよぐまた デカルト座標系である必要もなぐたとえば円柱座標系や球座標系などでもよ ヽ。
[0153] また、本実施例 1—3では、前記入力ペン 201のボタン 201Dを押しながら前記入 力ペン 201を移動させて前記ポインティングしたオブジェクトを移動させた力 これに 限らず、たとえば、キーボードの特定のキーや他のスィッチを押しながら入力ペン 20 1を移動させるなどの方法で前記オブジェクトを移動させるようにしてもよい。その場 合、図 13に示したステップ 407では、前記オブジェクトを移動させる操作に該当する 入力情報を取得したか否かを判定すればょ 、。
[0154] [実施例 1 4]
図 14A〜図 15Cは、本発明による実施例 1—4の 3次元ポインティング方法を説明 するための模式図であり、図 14A,図 14B,図 14Cはそれぞれ入力ペンで操作した ときの 3次元空間内の様子を示す鳥瞰図、図 15A,図 15B,図 15Cはそれぞれ入力 ペンで操作したときの 3次元空間内の様子を示す正面図および右側面図である。な お、図 15A,図 15B,図 15Cはそれぞれ、図 14A,図 14B,図 14Cと対応する図で あるとする。
[0155] 前記実施例 1 3では、前記表示装置 3で表現された 3次元空間 301上のオブジェ タト 302をポインティングした後、前記ポインティングされたオブジェクト 302を平行移 動させることが可能な 3次元ポインティング方法について説明した。
[0156] し力しながら、前記表示装置 3で表現された 3次元空間 301上では、前記実施例 1
3で説明したような単純なオブジェクトの平行移動だけでなく、 3次元空間 301を有 効に利用し、たとえば、前記ポインティングされたオブジェクトを、前記 3次元空間内 で奥行き方向に傾けることも想定される。そこで、本実施例 1—4では、オブジェクトを ポインティングした後、続けて前記ポインティングされたオブジェクトを、前記 3次元空 間内で奥行き方向に傾けるようなポインティング方法について説明する。
[0157] 本実施例 1 4では、前記入力装置 2および前記表示装置 3はそれぞれ、前記実 施例 1—1と同様に、電磁誘導方式のペンタブレットおよび液晶ディスプレイを用いる とする。また、前記ペンタブレット 2の検出手段 (デジタイザ）は、前記液晶ディスプレ ィ 3の表示面と重ね合わせてあるとする。
[0158] また、前記液晶ディスプレイ 3に表現される 3次元空間の座標系の取り方、前記ペン タブレット 2の入力ペン 201の操作方法等は、前記実施例 1— 1で説明したとおりであ るとする。また、前記ペンタブレット 2および表示装置 3は、図 1に示したような構成の システム制御装置 1に接続されて 、るとする。
[0159] また、本実施例 1 4では、前記 3次元空間 301上のオブジェクトをポインティング する方法にっ ヽては、前記実施例 1 1や実施例 1 2で説明したような方法でょ 、 ので、説明は省略する。
[0160] このとき、前記実施例 1—1や実施例 1—2と同様の方法によって、たとえば、図 14 Aおよび図 15Aに示したようにオブジェクト 302をポインティングした後、前記ォブジ ェクト 302をポインティングしたことを確認した操作者は、たとえば、前記入力ペン 201 に設けられているボタン 201Dを押す等の前記オブジェクト 302を掴む操作をする。 そして、前記入力ペン 201のボタン 201Dを押し、かつ、前記入力ペン 201のペン先 201Pを前記表示装置 3の表示面 (検出手段の検出面）に接触させた状態で前記入 力ペン 201を所望の向きにすると、図 14Bおよび図 15B、あるいは図 14Cおよび図 1 5Cに示したように、前記入力ペン 201の向きの変化に追従して前記オブジェクト 302 力 S3次元空間 301内で奥行き方向に傾く。このようにするとオブジェクト 302を前記 3 次元空間 301上で任意の向きに傾けることができる。このとき、前記システム制御装 置 1の前記入力情報取得手段 101は、前記表示装置 2の検出手段 (デジタイザ)から 、前記入力ペン 201の位置 (座標）、筆圧、入力ペン 201の方位 α、傾き |8、軸周り の回転 γの検出情報とともに、ボタン 201Dが押されていることを示す情報を取得す る。そして、前記システム制御装置 1は、前記ボタン 201Dが押されていることから、前 記操作者が、前記オブジェクト 302を移動させる操作を行って ヽることを知ることがで きる。そのため、前記ポインティング判定手段 104およびオブジェクト生成手段 105に 、前記入力ペン 201の向きの変化を追随するオブジェクトを生成させ、前記表示装置 3に表示させれば、上述のようなオブジェクト 302の移動操作が可能となる。
[0161] このような 3次元ポインティング方法を実現させるためには、前記システム制御装置 1において、たとえば、図 13に示したような、ステップ 401からステップ 410の処理を 実行すればよい。
[0162] ただし、前記ステップ 409で前記オブジェクトの位置、向きを算出するときには、たと えば、前記ポインティングされたときのオブジェクトと前記ポインタの相対的な位置関 係が全て保存されるような位置、向きを算出する。
[0163] 前記システム制御装置 1において、以上のような処理を行うことにより、図 14A,図 1
4Β,図 14Cに示したようなオブジェクトのポインティング操作および奥行き方向に傾 ける操作が可能となる。 [0164] 以上説明したように、本実施例 1 4の 3次元ポインティング方法によれば、前記ォ ブジェクトをポインティングした後、前記ポインティングされたオブジェクトを、前記入 力ペン 201の向きの変化に合わせて、同一 XY平面内で回転させたり、奥行き方向 に傾けることができる。
[0165] また、前記入力装置 2として、一般的なペンタブレットを用い、前記入力ペン 201の ペン先 201Pを前記検出手段に接触させた状態で、オブジェクトをポインティングし、 移動させることができるので、操作者の疲労を軽減することができる。
[0166] また、本実施例 1 4で説明したように、前記入力装置 2の検出手段を、前記表示 装置 (液晶ディスプレイ） 3の表示面と重ね合わせておけば、前記操作者は、前記表 示面上で前記入力ペンの操作を行うことができる。このよう〖こすると、前記ポインタ 30 3が前記入力ペン 201のペン先 201の一部であるかのような視覚効果が得られ、前 記オブジェクト 302の正確なポインティングが容易になり、かつ直感的なポインティン グが可能となる。
[0167] なお、本実施例 1 4では、前記入力装置 2として電磁誘導方式のペンタブレットを 用い、前記ペンタブレットの検出手段 (デジタイザ)を、前記表示装置 (液晶ディスプ レイ） 3の表示面と重ね合わせた場合を例に挙げた力 これに限らず、両者が別の位 置にあるような構成であってもよい。また、本実施例 1—4では、前記入力装置 2と表 示装置 3の組み合わせとして、前記電磁誘導方式のペンタブレットと前記液晶ディス プレイを例に挙げて説明した力 これに限らず、たとえば、 PDA等で用いられているタ ツチパネルとスタイラスペンの組み合わせであってもよい。
[0168] また、前記ポインタの形状は、ポインティングして 、る位置が視覚的に明瞭である形 状であれば、どのような形状でもよぐ図 8Aに示した平板状の矢印型のポインタ 303 aに限らず、たとえば、図 8Bに示すような円錐の底面に円柱が接続された立体的な 矢印型のポインタ 303b、図 8Cに示すような円錐型のポインタ 303c、図 8Dにしめす ような人差し指でオブジェクトを指し示している人の手型のポインタ 303dであってもよ い。
[0169] また、本実施例 1—4では、前記ポインタ 303がポインティングしている点は矢印型 ポインタの先 (矢印の先端）とした力 これにかぎらず、前記ポインタのどの部分にお ヽてもポインティング可能とすることや、ポインタの先ではな 、他の一部とすることも可 能である。
[0170] また、本実施例 1 4では、前記オブジェクト 302の例としてフォルダ型のオブジェク トを挙げた力 これに限らず、前記オブジェクト 302はどのような形状であってもよい。
[0171] また、本実施例 1—4では、前記表示装置 3に表現される 3次元空間の座標系は、 前記実施例 1 1と同様、すなわち図 4Aに示したように、表示面力z = 0となるように 設定したが、 3次元が表現できるのであれば 3次元の原点はどこにとってもよぐまた デカルト座標系である必要もなぐたとえば円柱座標系や球座標系などでもよ ヽ。
[0172] また、本実施例 1—4では、前記入力ペン 201のボタン 201Dを押しながら前記入 力ペン 201を移動させて前記ポインティングしたオブジェクトを移動させた力 これに 限らず、たとえば、キーボードの特定のキーや他のスィッチを押しながら入力ペン 20 1を移動させるなどの方法で前記オブジェクトを移動させるようにしてもよい。その場 合、図 13に示したステップ 407では、前記オブジェクトを移動させる操作に該当する 入力情報を取得したか否かを判定すればょ 、。
[0173] また、本実施例 1 4では、前記ポインティングされたオブジェクト 302を同一 XY平 面内で回転させたり、奥行き方向へ傾けさせたりする操作方法を説明したが、この操 作方法に、前記実施例 1—3で説明したような平行移動させる操作方法を加えること で、より多彩なオブジェクト操作を行うことが可能となる。
[0174] [実施例 1 5]
図 16A乃至図 20は、本発明による実施例 1— 5の 3次元ポインティング方法を説明 するための模式図であり、図 16A、 Bは本実施例 1 5で用いる表示装置（DFD)の 原理を説明する図、図 17Aは表示装置に表現される 3次元空間の一例を示す正面 図および右側面図ならびに下面図、図 17Bは表示装置に表現される 3次元空間の 一例を示す鳥瞰図、図 18A,図 18B,図 18C,図 18Dはそれぞれ入力ペンで操作 したときの 3次元空間内の様子を示す鳥瞰図、図 19A,図 19B,図 19C,図 19Dは それぞれ入力ペンで操作したときの 3次元空間内の様子を示す正面図、図 20は本 実施例 1 5の 3次元ポインティング方法の処理手順を示すフロー図である。なお、 図 19A,図 19B,図 19C,図 19Dはそれぞれ、図 18A,図 18B,図 18C,図 18Dと 対応する図であるとする。
[0175] 前記実施例 1 3および実施例 1 4では、前記実施例 1 1や実施例 1 2で説明 した方法で前記表示装置 3に表現された 3次元空間 301内にあるオブジェクト 302を ポインティングした後、前記ポインティングされたオブジェクト 302を XY平面内で移動 または回転させたり、奥行き方向に傾けさせたりするという操作を行うことが可能な 3 次元ポインティング方法について説明した。し力しながら、前記 3次元空間 301内に あるオブジェクト 302をポインティング後、前記操作者が続けて行 ヽた 、操作には、 前記オブジェクト 302の移動や回転だけでなぐ編集や変形等の、これまでの 2次元 GUI的な操作もある。前記 2次元 GUI的な操作を行う場合、前記実施例 1 3および 実施例 1 4で説明した方法では、たとえば、前記操作者から見て前記 3次元空間 3 01の奥 (遠方）にあるオブジェクトをポインティングし、操作したい場合、前記オブジェ タトがポインティングされた状態を維持するために、前記操作者は、筆圧を高くした状 態で前記入力ペン 201を操作しなければならない。そこで、本実施例 1 5では、前 記オブジェクトをポインティングした後、前記ポインティングされたオブジェクトを 2次元 GUI的な操作が適用できる位置に自動的に移動させ、操作者が目的の編集、変形等 を行った後に、また操作者の望む 3次元位置に戻すような操作が可能な 3次元ポイン ティング方法にっ 、て説明する。
[0176] また、本実施例 1—5では、前記入力装置 2は前記各実施例と同様の電磁誘導方 式のペンタブレットを用いるとし、前記 3次元空間を表現可能な表示装置 3として DFD を用いた場合を例に挙げてポインティング方法およびそれに続くオブジェクトの操作 方法について説明する。
[0177] 前記 DFDは、たとえば、図 16A、 Bに示すように、 2枚あるいはそれ以上の複数枚の 表示面を、観察者 (操作者)から見て重なるように配置した表示装置であり、表示方 法により、通常、透過型と輝度変調型の 2通りに分けられる。前記 DFDの詳細な構成 や動作原理については、たとえば、特許第 3022558号明細書や特許第 3460671号明 細書等に記載されているので、詳細な説明は省略し、ここでは、 DFDの簡単な動作 原理のみを説明する。
[0178] ここでは図 16A, Bに示すように、 2枚の表示面 3A, 3Bが重ね合わさつているとす る。このとき、前記ポインタ 302およびオブジェクト 303は、前記 2枚の表示面 3A, 3B の間の 3次元空間内に奥行き位置を反映して表示される。
[0179] 前記 DFDに表示される前記ポインタ 302やオブジェクト 303は、たとえば、図 16Aに 示すように、操作者から見て手前の表示面 3Aおよび奥の表示面 3Bの両方に表示さ れる。そしてこのとき、前記 DFDが輝度変調型であれば、前記手前の表示面 3Aのォ ブジェクト 303Aを輝度 L 、前記奥の表示面 3Bのオブジェクト 303Bを輝度 Lで表示
A B
すると、前記 3次元空間内の、前記手前の表示面 3Aからの距離と前記奥の表示面 3 Bからの距離の比が L ： Lの奥行き位置にオブジェクト 303が表示されているように
B A
見える。
[0180] また、たとえば、図 16Bに示すように、 1つのオブジェクト 303の表示領域の中で輝 度を連続的に変化させることで、 1つのオブジェクト 303を奥行き方向に傾けて表示さ せることもできる。図 16Bに示した例では、前記手前の表示面 3Aのオブジェクト 303 Aの輝度を紙面上から下に向力うにつれて大きくなるようにし、前記奥の表示面 3Bの オブジェクト 303Bの輝度を紙面下から上に向力うにつれて大きくなるようにして!/、る。 そのため、前記操作者は、紙面上方が奥、紙面下方が手前に傾いた立体的なォブ ジェタト 303を観察することができる。
[0181] また、詳細な説明は省略するが、前記 DFDが透過型の場合、たとえば、手前の表 示面 3Aのオブジェクト 303Aを表示して 、る領域の各点（画素）の透過度を調節する ことで、前記輝度変調型の DFDと同様に、前記手前の表示面 3Aと奥の表示面 3Bの 間の任意の奥行き位置に前記ポインタ 302やオブジェクト 303の立体像を表示する ことができる。
[0182] 一般的な CRTディスプレイや液晶ディスプレイのような 2次元表示装置の場合、前 記表現する前記 3次元空間を 2次元平面に射影して表示する処理が必要であるが、 前記 DFDのような 3次元表示装置の場合、前記 3次元空間の奥行き方向の位置に応 じて各表示面上の点（画素）の輝度の比率を設定すればよ!、だけなので、前記シス テム制御装置 1にかかる負荷を低減できる。また、一般的な CRTディスプレイや液晶 ディスプレイのような 2次元表示装置の場合、前記表示する前記 3次元空間を 2次元 平面に射影して表示するので、操作者によっては、実空間と同じ感覚でポインティン グ操作をすることは難しい場合がある力 前記 DFDのような 3次元表示装置を用いる ことで、より実空間に近い感覚でポインティング操作をすることができる。これらのこと から、前記 DFDのような 3次元表示装置を用いることで、前記操作者は、一般的な 2 次元ディスプレイを用いてポインティング操作をする場合に比べて、よりよ ヽ精度と速 さで 3次元の奥行きをポインティング可能となる。
[0183] また、前記表示装置 3として前記 DFDを用いた場合も、前記各実施例で説明したよ うに、前記入力手段 (ペンタブレット） 2の検出手段 (デジタイザ)を、前記 DFDの表示 面と重ね合わせることが可能である。また、前記電磁誘導方式のペンタブレットの場 合、前記検出手段の検出面上に Δ ζの検出可能範囲があるため、前記入力ペンの ペン先が前記検出面に接触していなくても前記ペンの位置 '傾き'方位などの情報を 検出することができる。そのため、 DFDのような表示面の間に空間がある場合でも、前 記検出手段を DFD表示装置の裏側に配置しておけば前記ペンの位置 '傾き'方位な どの情報は取得可能であることは当業者であれば容易に推測でき、実現することが 可能である。さらに、現在は前記検出手段を表示面の裏側に配置することが多いが、 前記検出手段が透明電極であれば表示面の裏側でなぐ表側に配置することも可能 である。このように、前記検出手段を DFDの表示面と重ね合わせることで、前記 DFD における手前側の表示面上で前記入力ペンを操作し、直接ポインティングが可能で ある。そこで、本実施例 1—5でも電磁誘導方式のペンタブレット 2の検出手段と DFD の表示面は重ね合わさって 、るとする。
[0184] また、本実施例 1—5では、前記 DFD3の表示面は 2枚であるとし、図 17Aおよび図 17Bに示すように、前記 DFD3に表現された 3次元空間 301の中に、図 2で示した座 標系 ΧΥΖと対応させた座標系 ΧΥΖを設定し、オブジェクト 302を 3次元空間 301内 の ζく 0の位置に配置されているとする。また、前記入力装置 2の入力ペン 201を操作 する操作者は、前記 3次元空間 301の ΧΥ平面を、 ζ〉0の方向から観察しているとす る。
[0185] また、本実施例 1—5では、前記操作者から見て手前にある表示面を ζ = 0とし、前 記手前にある表示面が、前記入力装置 2の検出手段の検出面であるとする。
[0186] 前記操作者が、たとえば、前記実施例 1 1や実施例 1 2で説明した方法で、図 1 8Aおよび図 19Aに示すように、前記 3次元空間 301上に立体的に表示されたォブ ジェタト 302をポインティングしたとする。そして、前記操作者が、前記オブジェクト 30 2の色の変化等で前記オブジェクト 302がポインティングされて 、ることを確認し、たと えば、前記入力ペン 201に設けられたボタン 201Dを 1回押下すると、前記ポインティ ングされたオブジェクト 302は、たとえば、図 18Bおよび図 19Bに示すように、前記 DF Dの手前の表示面に 2次元物体として表示され、ポインタ 303が消える。図 18Aでは 、前記オブジェクト 302が z方向に厚みのないオブジェクトとして表示されている力 こ れカ^方向にも厚みを持つような立体オブジェクトであった場合も、この過程において は DFDを用いた 3次元立体表示は行わず、あくまで 2次元として DFDの手前の表示 面に投影像として像を表示する。
[0187] ここで操作者は、前記オブジェクト 302上で、たとえば文字を書く等の目的の操作を 、 2次元 GUIの操作として行う。そして、 2次元 GUIの操作が終了した後、再度入力べ ン 201についたボタン 201Dを押下すと、ポインタ 303が再び現れ、前記実施例 1 3や実施例 1—4で説明したような手順で、たとえば、図 18Cおよび図 19C、あるいは 図 18Dおよび図 19Dに示すように、操作者の望む 3次元位置にオブジェクト 302を 移動したり、奥行き方向に傾けさせたりできるようになる。
[0188] このような 3次元ポインティング方法を実現させるためには、前記システム制御装置 1において、図 20に示したような、ステップ 401からステップ 415の処理を実行すれば よい。前記システム制御装置 1では、まず、前記実施例 1 1や実施例 1 2で説明し たステップ 401からステップ 406までの処理を行 、、前記表示装置 3に表現された 3 次元空間 301上のオブジェクト 302をポインティングする。そして、前記ステップ 406 でポインティングされたオブジェクト 302の色を変えて表示させたら、次に、図 20に示 したように、前記操作者が、前記入力ペン 201のボタン 201Dを押すなどの、前記ポ インティングされたオブジェクト 302を 2次元 GUI的な操作 ·編集'力卩ェを開始するた めの操作を行ったか判定する (ステップ 411)。そして、前記 2次元 GUI的な操作'編 集'加工を開始するための操作を行わな力つた場合は、ステップ 402に戻り、次の入 力情報を取得するまで待機する。
[0189] 一方、 2次元 GUI的な操作 '編集'加工を開始するための操作が行われた場合、次 に、たとえば、前記表示装置 3に表現された 3次元空間 301上に表示されたポインタ 303を非表示にし、前記ポインティングされたオブジェクト 302の射影を操作者から見 て一番近い表示面に表示する（ステップ 412,ステップ 413)。前記ステップ 412およ びステップ 413の処理が実行されることで、前記オブジェクト 302の 2次元 GUI的な操 作 ·編集 '加工が可能な状態になる。
[0190] 2次元 GUI的な操作 '編集'加工が可能な状態になった後は、前記入力ペン 201か らの 2次元 GUI的な操作を受け付け、実行する (ステップ 414)。また、前記ステップ 4 14の処理の後は、前記操作者が、前記入力ペン 201のボタン 201Dを再び押すなど の、 2次元 GUI的な操作 '編集'加工を終了するための操作を行った力判定する (ステ ップ 415)。このとき、 2次元 GUI的な操作 '編集'加工を終了するための操作を行って いない場合は、前記ステップ 414に戻り、他の 2次元 GUI的な操作 '編集'加工を受け 付け、実行する。
[0191] 一方、 2次元 GUI的な操作 '編集'加工を終了するための操作が行われた場合、 2 次元 GUI的な操作を行うモードから、前記実施例 1 1から実施例 1 4で説明したよ うな 3次元的なポインティング操作を行うモードに戻る。そして、図 20に示したように、 最初に行われるステップ 401からステップ 406までの処理と同等のステップ 401'から ステップ 406'までの処理を行い、 目的のオブジェクトをポインティングする。
[0192] そして、前記ステップ 406'でポインティングされたオブジェクトの色を変えて表示し た後は、たとえば、前記入力ペン 201のボタン 201Dを押すなどの操作をして、前記 実施例 1— 3や実施例 1—4で説明したステップ 407からステップ 410の処理を行うこ とで、前記ポインティングされたオブジェクト 302の 3次元的な移動操作、回転操作、 傾ける（変形させる)操作が可能となる。
[0193] 前記システム制御装置 1において、以上のような処理を行うことにより、図 18A,図 1 8B,図 18C,図 18Dのようなポインタの表示制御、オブジェクトの 3次元的な移動等 の操作、前記オブジェクトの 2次元 GUI的な操作が可能となる。
[0194] 以上説明したように、本実施例 1 5の 3次元ポインティング方法によれば、前記入 力ペン 201の操作だけで、前記実施例 1— 1から実施例 1—4で説明したようなポイン タの 3次元的な表示制御およびオブジェクトの 3次元的な移動等の操作に加え、前記 オブジェクトの 2次元 GUI的な操作 '編集'加工を行うことが可能である。そのため、操 作者は、オブジェクトの 2次元 GUI的な操作 '編集'加工を行うための新たな 3次元操 作を習得する必要がない。
[0195] また、本実施例 1 5の 3次元ポインティング方法では、前記入力ペン 201のボタン 201Dを押すなどの特定の動作をすることで、 3次元的なポインティング操作を行うモ 一ドカもオブジェクトの 2次元 GUI的な操作 '編集'加工を行うモードに切り替わる。こ のとき、前記システム制御装置 1の前記入力情報取得手段 101で取得した情報は、 前記オブジェクトの 2次元 GUI的な操作 '編集'加工を行うための情報として処理され る。そのため、たとえば、操作者力も見て奥にあるオブジェクトをポインティングして 2 次元 GUI的な操作 '編集'加工を行う場合に、前記入力ペン 201の筆圧を高くした状 態を維持しておく必要がない。その結果、前記操作者の疲労を軽減できる。
[0196] また、本実施例 1 5では、前記入力装置 2である電磁誘導方式のペンタブレットの 検出手段 (デジタイザ)を 3次元空間を表示できる表示装置 3である DFDの表示面と 重ね合わせている例を挙げて説明したが、これに限らず、両者が別の位置にあるよう な構成であってもよい。また、本実施例 1—5では、前記表示装置 3として DFDを用い たが、これに限らず、前記実施例 1—1から実施例 1—4で説明したような液晶ディス プレイ等の表示装置を用いてもょ ヽ。
[0197] また、本実施例 1—5では、 目的のオブジェクト 302の例として 2次元的な 4角形の オブジェクトを挙げていた力 これに限らず、前記オブジェクト 302の形状はどのよう な形状であってもよい。
[0198] また、本実施例 1—5では、前記表示装置 3に表現される 3次元空間の座標系は、 前記実施例 1 1と同様、すなわち図 4Aに示したように、表示面力 z = 0となるように 設定したが、 3次元が表現できるのであれば 3次元の原点はどこにとってもよぐまた デカルト座標系である必要もなぐたとえば円柱座標系や球座標系などでもよ ヽ。
[0199] また、本実施例 1—5では、前記入力ペン 201のボタン 201Dを押しながら前記入 力ペン 201を移動させて前記ポインティングしたオブジェクトを移動させた力 これに 限らず、たとえば、キーボードの特定のキーや他のスィッチを押しながら入力ペン 20 1を移動させるなどの方法で前記オブジェクトを移動させるようにしてもよい。その場 合、図 20〖こ示したステップ 407,ステップ 411,ステップ 415では、前記それぞれの 操作に該当する入力情報を取得した力否かを判定すればよい。
[0200] また、本実施例 1— 5では、前記オブジェクト 302に直接編集を行う例として、たとえ ば、図 18Cに示したように「A」という文字を記入する場合を挙げた力 前記オブジェ タト 302がファイルを表すオブジェクトで、それをポインティング後、 2次元 GUI操作が 行われる時に、前記ファイルが開いてその内容を操作者が 2次元 GUI上で編集し、フ アイルを閉じた後に操作者の望む 3次元位置に移動可能であるなどとしてもよい。
[0201] [実施例 1 6]
図 21A乃至図 27は、本発明による実施例 1—6の 3次元ポインティング方法を説明 するための模式図であり、図 21Aは表示装置に表現される 3次元空間の一例を示す 正面図および右側面図ならびに下面図、図 21Bは表示装置に表現される 3次元空 間の一例を示す鳥瞰図、図 22A,図 22B,図 22C,図 23A,図 23B,図 23Cはそれ ぞれ入力ペンで操作したときの 3次元空間内の様子を示す鳥瞰図、図 24A,図 24B ,図 24C,図 25A,図 25B,図 25Cはそれぞれ入力ペンで操作したときの 3次元空 間内の様子を示す正面図、図 26は本実施例 1—6の 3次元ポインティング方法の処 理手順を示すフロー図、図 27は本実施例 1 6の 3次元ポインティング方法の処理 手順の変形例を示すフロー図である。なお、図 24A,図 24B,図 24Cはそれぞれ、 図 22A,図 22B,図 22Cと対応する図であり、図 25A,図 25B,図 25Cはそれぞれ、 図 23A,図 23B,図 23Cと対応する図である。
[0202] 本実施例 1 6の 3次元ポインティング方法は、前記実施例 1 5で説明した 3次元 ポインティング方法の応用例の 1つであり、 3次元空間 301内にあるオブジェクト 302 を前記実施例 1 1や実施例 1 2の方法でポインティングした後、前記ポインティン グされたオブジェクト 302を操作者が操作しやす ヽ位置、すなわちこれまでの 2次元 GU藤作が適用できる位置に自動的に移動させ、操作者が目的の編集、加工等を行 う。そして、 目的の編集、加工が終了した後に、操作者が操作を行うと、前記オブジェ タト 302が操作者力もみて 3次元の奥行き方向に 3次元奥行き方向にある他オブジェ タトに干渉するまで移動し、他オブジェクトに干渉した後、前記他のオブジェクトの持 つ属性によって移動してきたオブジェクトの状態を変化させるポインティング方法であ る。
[0203] 本実施例 1 6では、前記実施例 1 5と同様に、前記入力装置 2として電磁誘導 式のペンタブレットを用い、前記表示装置 3として DFDを用いた場合を例に挙げて、 ポインティング方法およびオブジェクトの操作方法について説明する。
[0204] また、前記入力装置 (ペンタブレット） 2の検出手段 (デジタイザ）は、前記表示装置（ DFD) 3の表示面と重ね合わせ一体的に設けられているとする。
[0205] また、本実施例 1 6の 3次元ポインティング方法を説明するに当たって、たとえば、 図 21Aおよび図 21Bに示すように、前記 DFD3の 2枚の表示面の間に表現された 3 次元空間 301の中に、座標系 XYZを設定し、オブジェクト 302とウィンドウ 304を 3次 元空間 301内の zく 0の位置に配置した場合を例に挙げる。
[0206] このとき、前記オブジェクト 302の操作をしたい操作者は、まず、図 22Aおよび図 24 Aに示すように、前記実施例 1 1や実施例 1 2で説明した方法で前記オブジェクト 302をポインティングする。そして、前記オブジェクト 302の色の変化等によりポインテ イングされたことを確認し、たとえば、前記入力ペン 201に設けられたボタン 201Dを 1 回押すと、図 22Bおよび図 24Bに示すように、前記ポインティングされたオブジェクト 302が前記 DFDの手前の表示面に 2次元物体として表示され、ポインタ 303が消える 。本実施例 1—6では、オブジェクト 302が z方向に厚みのないオブジェクトであるが、 これ力 方向にも厚みを持つような立体オブジェクトであった場合も、この過程におい ては DFDを用いた 3次元立体表示は行わず、あくまで 2次元として DFDの前面の表示 装置に投影像として 3次元像を表示する。
[0207] このように前記オブジェクト 302の表示方法が変わると、前記 3次元空間 301上で 2 次元 GUIの操作を行うことが可能な状態になるので、前記操作者は、前記入力ペン 2 01で、たとえば、図 22Cおよび図 24Cに示すように、前記オブジェクト 302上に文字 を書く等の目的の操作を 2次元 GUIの操作として行うことができる。そして、前記操作 者が続けて、図 23Aおよび図 25Aに示すように、前記オブジェクト 302を所望の位置 まで 2次元的な操作で移動させた後、たとえば、前記入力ペン 201のボタン 201を 1 回押すと、図 23Bおよび図 25Bに示すように、前記オブジェクト 302は、前記操作者 からみて 3次元奥行き方向（zく 0)に、ウィンドウ 304と干渉するまで移動する。このとき 、前記オブジェクト 302の前記 3次元奥行き方向の z座標が段階的に小さくなるような アニメーションをつけると、前記操作者に移動の過程が伝わりやすい。そして、前記 オブジェクト 302が前記ウィンドウ 304と干渉すると、前記オブジェクト 302に対して、 前記ウィンドウ 304の持つ属性として、ウィンドウ上に移動する動作が実行される。
[0208] また、図 23Bおよび図 25Bに示したように、前記オブジェクト 302を自動的に 3次元 奥行き方向（zく 0)に移動させる代わりに、たとえば、前記実施例 1 5で説明したよう に、前記入力ペン 201のボタン 201Dを押しながら前記入力ペン 201を操作すること で、前記オブジェクト 302を 3次元奥行き方向（zく 0)に移動させ、前記ウィンドウ 304 と干渉位置まで移動させることも可能である。
[0209] このような 3次元ポインティング方法を実現させるためには、前記システム制御装置 1において、図 26に示したような、ステップ 401力らステップ 406,ステップ 411からス テツプ 419までの処理を実行すればよい。このとき、前記システム制御装置 1では、ま ず、前記実施例 1— 1や実施例 1— 2で説明したステップ 401からステップ 406までの 処理を行い、前記表示装置 3に表現された 3次元空間 301上のオブジェクト 302をポ インティングする。そして、前記ステップ 406でポインティングされたオブジェクト 302 の色を変えて表示させたら、次に、図 26に示したように、前記操作者が、前記入力べ ン 201のボタン 201Dを押すなどの、前記ポインティングされたオブジェクト 302を 2次 元 GUI的な操作 '編集'加工を開始するための操作を行ったカゝ判定する (ステップ 41 D oそして、前記 2次元 GUI的な操作 '編集'加工を開始するための操作を行わなか つた場合は、ステップ 402に戻り、次の入力情報を取得するまで待機する。
[0210] 一方、 2次元 GUI的な操作 '編集'加工を開始するための操作が行われた場合、次 に、たとえば、前記表示装置 3に表現された 3次元空間 301上に表示されたポインタ 303を非表示にし、前記ポインティングされたオブジェクト 302の射影を操作者から見 て一番近い表示面に表示する（ステップ 412,ステップ 413)。前記ステップ 412およ びステップ 413の処理が実行されることで、前記オブジェクト 302の 2次元 GUI的な操 作 ·編集 '加工が可能な状態になる。
[0211] 2次元 GUI的な操作 '編集'加工が可能な状態になった後は、前記入力ペン 201か らの 2次元 GUI的な操作を受け付け、実行する (ステップ 414)。また、前記ステップ 4 14の処理の後は、前記操作者が、前記入力ペン 201のボタン 201Dを再び押すなど の、 2次元 GUI的な操作 '編集'加工を終了するための操作を行った力判定する (ステ ップ 415)。このとき、 2次元 GUI的な操作 '編集'加工を終了するための操作を行って いない場合は、前記ステップ 414に戻り、他の 2次元 GUI的な操作 '編集'加工を受け 付け、実行する。
[0212] 一方、 2次元 GUI的な操作 '編集'加工を終了するための操作が行われた場合、 2 次元 GUI的な操作を行うモードから、前記実施例 1 1から実施例 1 4で説明したよ うな 3次元的なポインティング操作を行うモードに戻る。そして、図 26に示したように、 前記オブジェクト 302を 3次元奥行き方向（zく 0)に移動させていく（ステップ 416)。
[0213] また、前記ステップ 416により前記オブジェクト 302を 3次元奥行き方向に移動させ ている間、前記システム制御装置 1では、たとえば、前記ウィンドウ 304のような、前記 オブジェクト 302と干渉する他のオブジェクトがあるか否かの判定を行う（ステップ 417 ) oそして、干渉するオブジェクトがある場合、干渉した時点で前記オブジェクト 302の 3次元奥行き方向への移動を止め、前記オブジェクト 302に対して、前記干渉する他 のオブジェクトの持つ属性を実行する (ステップ 418)。
[0214] 一方、前記オブジェクト 302と干渉する他のオブジェクトがない場合は、前記ォブジ ェクト 302をあら力じめ定められた奥行き位置、たとえば、前記ステップ 411以降の処 理を行う前と同じ奥行き位置まで移動させて表示する (ステップ 419)。
[0215] 前記システム制御装置 1において、図 26に示したような手順の処理を行うことにより 、図 22A,図 22B,図 22C,図 23A,図 23Bのような一連のポインタの表示制御、ォ ブジエタトの 3次元的な移動等の操作、前記オブジェクトの 2次元 GUI的な操作が可 能となる。
[0216] また、図 26に示した処理手順では、前記ステップ 415の後、すなわち前記 2次元 G UI操作が可能な状態力 3次元的なポインティング操作が可能な状態に戻った後、 ステップ 416のように自動的に前記オブジェクト 302を奥行き方向に移動させている 力 これに限らず、前記操作者が、前記実施例 1 3や実施例 1 4で説明した方法 で、前記入力ペン 201を操作しながら前記オブジェクト 302を奥行き方向に移動させ るようにしてもよい。このようなポインティング方法の場合、前記システム制御装置 1で は、図 27に示したように、前記ステップ 401からステップ 415,ステップ 417,ステップ 418,ステップ 420,ステップ 421の処理を実行すればよい。
[0217] 前記 DFD3に表現された 3次元空間 301上のオブジェクト 302をポインティングし、 2 次元 GUI的な操作を行うまでの処理 (ステップ 401からステップ 406,ステップ 411力 らステップ 415)は、図 26に示した処理手順の処理と同じ処理を行えばよいので説明 は省略する。
[0218] そして、前記ステップ 415で、たとえば、前記入力ペン 201のボタン 201Dを 1回押 すなどの 2次元 GUI操作が可能な状態から 3次元ポインティング操作が可能な状態に 戻る操作を確認した後は、前記実施例 1 1や実施例 1 2で説明したような手順 (ス テツプ 402'からステップ 406')で前記オブジェクト 302をポインティングさせる。
[0219] 前記ステップ 402'力らステップ 406'により目的のオブジェクト 302をポインティング したら、次に、前記入力ペン 201のボタン 201Dを押されているか否かを確認する（ス テツプ 407)。そして、前記入力ペン 201のボタン 201Dが押されていることを確認し たら、続けて、前記入力ペン 201の操作に合わせ、前記実施例 1—3や実施例 1—4 で説明したようなステップ 408からステップ 410の処理を行 、、前記オブジェクト 302 を 3次元的に移動させたり、回転あるいは変形させたりする。
[0220] また、前記システム制御装置 1では、前記ステップ 408からステップ 410の処理を行 い、前記オブジェクト 302を 3次元的に移動させたり、回転あるいは変形させている間 、前記オブジェクト 302と干渉する他のオブジェクトがあるか否かを調べる (ステップ 4 17)。そして、干渉する他のオブジェクトがある場合、たとえば、前記干渉する他のォ ブジエタトの色を変えて表示する (ステップ 420)。またこのとき、同時に、前記干渉す る他のオブジェクトの色を変えて表示するとともに、前記入力ペン 201のボタン 201D が押された状態である力確認する。そして、前記ボタン 201Dが押されている状態で あれば、前記ステップ 408からの処理を続け、前記オブジェクト 302の 3次元的な移 動、回転あるいは変形を続ける。
[0221] 一方、前記干渉する他のオブジェクトの色を変えて表示した時点で、前記ボタン 20 1Dを離していれば、その時点で前記オブジェクト 302の移動、回転あるいは変形を 止め、前記オブジェクト 302に対して、前記干渉する他のオブジェクトの持つ属性を 実行する (ステップ 418)。
[0222] 前記システム制御装置 1において、図 27に示したような手順の処理を行うことにより 、図 22A,図 22B,図 22C,図 23A,図 23Cのような一連のポインタの表示制御、ォ ブジエタトの 3次元的な移動等の操作、前記オブジェクトの 2次元 GUI的な操作が可 能となる。
[0223] 以上説明したように、本実施例 1 6の 3次元ポインティング方法によれば、 3次元 空間 301内にあるオブジェクト 302をポインティングした後、前記ポインティングされた オブジェクト 302を操作者が操作しやす 、位置まで自動的に移動させ、これまでの 2 次元 GUI操作により目的の編集、加工等を行うとともに、 目的の編集、加工が終了し た後に、前記オブジェクト 302が操作者力もみて 3次元の奥行き方向に移動させると ともに、移動させたオブジェクト 302と干渉する他のオブジェクトが存在する場合に、 前記他のオブジェクトの持つ属性によって移動させた前記オブジェクト 302の状態を 変ィ匕させることができる。
[0224] また、本実施例 1 6の 3次元ポインティング方法では、前記入力ペン 201のボタン 201Dを押すなどの特定の動作をすることで、 3次元的なポインティング操作を行うモ 一ドカもオブジェクトの 2次元 GUI的な操作 '編集'加工を行うモードに切り替わる。こ のとき、前記システム制御装置 1の前記入力情報取得手段 101で取得した情報は、 前記オブジェクトの 2次元 GUI的な操作 '編集'加工を行うための情報として処理され る。そのため、たとえば、操作者力も見て奥にあるオブジェクトをポインティングして 2 次元 GUI的な操作 '編集'加工を行う場合に、前記入力ペン 201の筆圧を高くした状 態を維持しておく必要がない。その結果、前記操作者の疲労を軽減できる。
[0225] また、本実施例 1 6では、前記入力装置 2である電磁誘導方式のペンタブレットの 検出手段 (デジタイザ)を 3次元空間を表示できる表示装置 3である DFDの表示面と 重ね合わせている例を挙げて説明したが、これに限らず、両者が別の位置にあるよう な構成であってもよい。また、本実施例 1—6では、前記表示装置 3として DFDを用い たが、これに限らず、前記実施例 1—1から実施例 1—4で説明したような液晶ディス プレイ等の表示装置を用いてもょ ヽ。
[0226] また、本実施例 1 6では、 目的のオブジェクト 302の例として 2次元的な 4角形の オブジェクトを挙げていた力 これに限らず、前記オブジェクト 302の形状はどのよう な形状であってもよい。
[0227] また、本実施例 1—6では、前記表示装置 3に表現される 3次元空間の座標系は、 前記実施例 1 1と同様、すなわち図 4Aに示したように、表示面力 z = 0となるように 設定したが、 3次元が表現できるのであれば 3次元の原点はどこにとってもよぐまた デカルト座標系である必要もなぐたとえば円柱座標系や球座標系などでもよ ヽ。
[0228] また、本実施例 1—6では、前記入力ペン 201のボタン 201Dを押しながら前記入 力ペン 201を移動させて前記ポインティングしたオブジェクトを移動させた力 これに 限らず、たとえば、キーボードの特定のキーや他のスィッチを押しながら入力ペン 20 1を移動させるなどの方法で前記オブジェクトを移動させるようにしてもよい。その場 合、図 20〖こ示したステップ 407,ステップ 411,ステップ 415では、前記それぞれの 操作に該当する入力情報を取得した力否かを判定すればよい。
[0229] また、本実施例 1—6では、前記オブジェクト 302に直接編集を行う例として、たとえ ば、図 22Cに示したように「B」という文字を記入する場合を挙げた力 前記オブジェ タト 302がファイルを表すオブジェクトで、それをポインティング後、 2次元 GUI操作が 行われる時に、前記ファイルが開いてその内容を操作者が 2次元 GUI上で編集し、フ アイルを閉じた後に操作者の望む 3次元位置に移動可能であるなどとしてもよい。
[0230] また、本実施例 1 6では、前記他のオブジェクトの例としてウィンドウ 304を挙げ、 前記ウィンドウ 304と干渉したときにファイルを移動するという属性を実行する場合に ついて説明したが、これに限らず、たとえば、他のアプリケーション実行用のアイコン と干渉したときにファイルを実行するという属性を実行させることも可能である。またそ の他にも、たとえば、ゴミ箱オブジェクトと干渉したときにファイルを削除するといぅ属 性を実行させることも可能である。
[0231] 図 28A乃至図 32Cは、本実施例 1 6の 3次元ポインティング方法でオブジェクトを 削除する方法を説明するための模式図であり、図 28Aは表示装置に表現される 3次 元空間の一例を示す正面図および右側面図ならびに下面図、図 28Bは表示装置に 表現される 3次元空間の一例を示す鳥瞰図、図 29A,図 29B,図 30A,図 30B,図 3 0Cはそれぞれ入力ペンで操作したときの 3次元空間内の様子を示す鳥瞰図、図 31 A,図 31B,図 32A,図 32B,図 32Cはそれぞれ入力ペンで操作したときの 3次元空 間内の様子を示す正面図である。なお、図 31A,図 31Bはそれぞれ、図 29A,図 29 Bと対応する図であり、図 32A,図 32B,図 32Cはそれぞれ、図 30A,図 30B,図 30 Cと対応する図であるとする。
[0232] 本実施例 1 6の 3次元ポインティング方法では、前述のように、オブジェクト 302を ウィンドウ 304に移動させるだけでなぐたとえば、オブジェクト 302をゴミ箱オブジェク トに移動させ、削除することもできる。そこで、図 28Aおよび図 28Bに示すように、前 記 DFD3の 2枚の表示面の間に表現された 3次元空 301間の中に、座標系 XYZを設 定し、オブジェクト 302とゴミ箱 305が 3次元空間 301内の z〈0の位置に配置された場 合を例に挙げ、前記オブジェクト 302の削除手順について説明する。
[0233] 前記オブジェクト 302を削除したい操作者は、まず、図 29Aおよび図 31Aに示すよ うに、前記入力ペン 201を操作して削除した 、オブジェクト 302をポインティングする 。そして、前記削除したいオブジェクト 302をポインティングした状態で、たとえば、前 記入力ペン 201のボタン 201Dを 1回押すなどの特定の操作をすると、図 29Bおよび 図 31Bに示すように、前記ポインティングされたオブジェクト 302が、前記手前の表示 面に移動し、 2次元 GUI操作が可能な状態に変わる。ここで、前記操作者が、たとえ ば、図 30Aおよび図 32Aに示したように、前記ポインティングしたオブジェクト 302を ゴミ箱 305上まで移動させ、再び前記入力ペン 201のボタン 201Dを 1回押すなどの 特定の操作をすると、前記 2次元 GUI操作が可能な状態から、 3次元ポインティングが 可能な状態に戻る。そして、前記システム制御装置 1で行われる処理力 図 26に示し たような手順である場合は、 3次元ポインティングが可能な状態に戻った後、前記ォ ブジェクト 302が自動的に 3次元奥行き方向（zく 0)に移動し、前記ゴミ箱 305と干渉 した時点で、図 30Bおよび図 32Bに示すように、前記オブジェクト 302の表示が消え 、前記ゴミ箱 305がゴミ (オブジェクト）が入っている状態の表示に切り替わる。
[0234] 一方、前記システム制御装置 1で行われる処理力 図 27に示したような手順である 場合は、前記 3次元ポインティングが可能な状態に戻った後、前記操作者が前記入 力ペン 201を操作して前記オブジェクト 302を前記 3次元奥行き方向に移動させる。 そして、前記オブジェクト 302が前記ゴミ箱と干渉した時点で、図 30Cおよび図 32C に示すように、前記オブジェクト 302の表示が消え、前記ゴミ箱 305がゴミ (オブジェク ト）が入って!/、る状態の表示に切り替わる。
[0235] このように、本実施例 1—6の 3次元ポインティング方法は、前記オブジェクト 302と 干渉したオブジェクトが、前記オブジェクト 302に対して、属性を実行することが可能 であれば、どのような属性を持つオブジェクトであってもよ!/、。
[0236] [実施例 1 7]
図 33乃至図 36Cは、本発明による実施例 1—7の 3次元ポインティング方法を説明 するための模式図であり、図 33および図 34は本実施例 1—7の 3次元ポインティング 方法で用いる入力ペンの構成例を示す図、図 35A,図 35B,図 35Cはそれぞれ入 力ペンで操作したときの 3次元空間内の様子を示す鳥瞰図、図 36A,図 36B,図 36 Cはそれぞれ入力ペンで操作したときの 3次元空間内の様子を示す正面図および右 側面図である。なお、図 36A,図 36B,図 36Cはそれぞれ、図 35A,図 35B,図 35 Cと対応する図であるとする。
[0237] 本実施例 1—7では、前記実施例 1—1から実施例 1—6で説明したような 3次元ボイ ンティング方法を実施するときに用いる入力ペンとして、ペン先 201Pが筆圧の高さに 応じて入力ペン 201の筐体内に押し込まれる構造の入力ペンを用いた場合のポイン ティング方法にっ 、て説明する。
[0238] 本実施例 1—7で用いる入力ペン 201は、たとえば、図 33に示すように、筐体の内 部にパネ 201Eが入っており、操作者が前記入力ペン 201に筆圧をカ卩えた場合に、 圧力検知手段 201Fが、前記パネ 201Eの反発力から圧力を感知する構造を持って いるとする。なお、前記入力ペン 201の構成は、図 33に示したような構成に限らず、 たとえば、図 34に示すように、空気圧式のピストン 201Gを用い、空気圧感知部 201 Hにおいて、加えられた圧力を感知する構造であってもよい。図 33または図 34に示 したような構造の入力ペン 201で感知された圧力は、前記システム制御装置 1で演算 処理され、たとえば、操作者が加えた圧力に比例した長さのポインタ 303が表示装置 3に表示される。
[0239] 本実施例 1—7では、図 33または図 34に示したような構成の入力ペン 201を用い て前記表示装置 3に表現された 3次元空間のポインティングを行う場合の例として、 前記実施例 1— 1で説明したポインティング方法を実施する場合を挙げる。このとき、 前記入力装置 2および前記表示装置 3はそれぞれ、前記実施例 1 1と同様に電磁 誘導方式のペンタブレットと液晶ディスプレイを用いるとする。また、前記入力装置 2 の検出手段 (デジタイザ）は、前記液晶ディスプレイ 3の表示面と重ね合わせていると する。
[0240] このとき、前記操作者が、前記入力ペン 201のペン先 201Pを前記液晶ディスプレ ィ 3の XY平面（z = 0)の任意の 1点におくと、たとえば、図 35Aおよび図 36Aに示す ように、前記液晶ディスプレイ 3の 3次元空間 301上に、円錐型等の前記入力ペン 20 1のペン先 201Pの形状を反映した形状のポインタが表示される。
[0241] そして、前記操作者が、前記入力ペン 201の筆圧を高くしていくと、たとえば、図 35 Bおよび図 36B、あるいは図 35Cおよび図 36Dに示したように、前記入力ペン 201の 筆圧の高さに応じて表示される前記ポインタ 303の大きさが変わる。この前記ポイン タ 303の大きさの制御は、前記実施例 1 1で説明したような手順で行えばょ 、ので 、詳細な説明は省略する。
[0242] このとき、たとえば、図 35Bおよび図 36B、あるいは図 35Cおよび図 36Dに示したよ うに、円錐型の前記ポインタ 303の大きさを、前記入力ペン 201のペン先 201Pの筐 体に押し込まれる長さと比例させることで、たとえば、前記実施例 1 1で説明したよう な方法と比べて、前記ポインタ 303が前記ペン先 201Pの一部であるという視覚的効 果がさらに高くなると考えられる。
[0243] また、本実施例 1—7では、ペン先が凹む構造の入力ペン 201の例として、図 33お よび図 34に示したように、パネと空気圧を用いた機構の入力ペンを挙げたが、同様 の効果が得られるのであれば他の機構の入力ペンであってもよい。また、ペンの筐体 の内部に圧力検知部 201F、空気圧検知部 201Hを設ける代わりに、たとえば、ペン 先 201Pが凹んだ移動量を測る機構を備えるなど、同様の効果が得られるのであれ ば、他の機構の入力ペンであってもよい。
[0244] また、本実施例 1— 7では、前記実施例 1— 1で説明した 3次元ポインティング方法 を実施する場合を例に挙げたが、これに限らず、前記実施例 1—2から実施例 1—6 で説明したようなポインティング方法を実施する場合にも、図 33および図 34に示した ような構成の入力ペン 201を用いることができるのは言うまでもない。
[0245] [実施例 1 8]
図 37A乃至図 40Cは、本発明による実施例 1—8の 3次元ポインティング方法を説 明するための模式図であり、図 37A,図 37B,図 37C,図 38A,図 38B,図 38Cはそ れぞれ入力ペンで操作したときの 3次元空間内の様子を示す鳥瞰図、図 39A,図 39 B,図 39C,図 40A,図 40B,図 40Cはそれぞれ入力ペンで操作したときの 3次元空 間内の様子を示す正面図である。なお、図 39A,図 39B,図 39Cはそれぞれ、図 37 A,図 37B,図 37Cと対応する図であり、図 40A,図 40B,図 40Cはそれぞれ、図 38 A,図 38B,図 38Cと対応する図であるとする。
[0246] 本実施例 1—8では、前記実施例 1— 1から実施例 1—6で説明したような 3次元ボイ ンティング方法の具体的な利用シーンとして、 3次元表示が可能な表示画面と、ペン タブレットの検出手段を内蔵している、音楽再生機能を操作するためのリモコンを例 に挙げる。本実施例 1—8では、前記入力ペン 201を操作したときのリモコンの表示 画面上のポインタおよびオブジェクトの表示制御の手順は、前記実施例 1 1から実 施例 1—7で説明した手順と同じでよいため、詳細な説明は省略する。
[0247] このとき、前記操作者は、前記実施例 1—7で説明したような、ペン先 201Pが筐体 内に押し込まれる入力ペン 201を用い、たとえば、図 37Aおよび図 39Aに示したよう な、前記リモコンの 3次元空間 301に表示されたオブジェクトを操作する。まず、たと えば、図 37Bおよび図 39Bに示すように、前記操作者は、前記入力ペン 201を操作 して再生ボタン 302aをポインティングすると、前記再生ボタン 302aが押された状態 の表示に切り替わり、音楽の生成が開始される。
[0248] また、たとえば、図 37Cおよび図 39Cに示すように、前記入力ペン 201を操作して ボリュームのつまみ 302bをポインティングし、たとえば、前記入力ペン 201のボタン 2 01Dを押しながら前記つまみ 302bを回転させるように前記入力ペンを移動させると、 再生中の音楽のボリュームを上げたり下げたりすることができる。
[0249] また、ボリュームを上げたり下げたりする場合は、図 37Cおよび図 39Cに示したよう な操作に限らず、たとえば、図 38Aおよび図 40Aに示すように、前記つまみ 302bの 中心付近で前記つまみ 302bをポインティングした後、前記入力ペン 201を軸周りに 回転させることで、前記つまみ 302bを回転させ、ボリュームを上げたり下げたりするこ とちでさる。
[0250] また、たとえば、図 38Bおよび図 40Bに示すように、再生中の音楽に関する情報が 表示されている領域 302cを前記入力ペン 201でポインティングしたときに、図 38C および図 40Cに示すように、前記領域 302cが 2次元的な表示に切り替わり、 2次元 G UI操作が可能な状態にできるようにしておけば、たとえば、手書き文字の認識機能等 と組み合わせて、前記領域 302cに再生したい音楽のトラック番号を入力し、目的のト ラック番号にスキップさせることができる。
[0251] このように、前記実施例 1 1から実施例 1 6の 3次元ポインティング方法を利用す ることで、 3次元空間 301の操作ボタン等のオブジェクトを容易に、かつ直感的に操 作することができる。
[0252] また、本実施例 1—8では、リモコンを用いた音楽機器の操作例を示したが、これに 限らず、たとえば、 PDAであったり、携帯電話、また、キオスク端末や ATMなどの同様 の形態が取れる機器の操作に適用することもでき、それぞれの機器をより直感的に 操作することが可能となる。また、操作においても、本実施例では、音楽を再生し、ボ リュームを上げて、トラックを変えるという操作を行ったが、これに限らず、前記入力べ ン 201における操作と関連づけられる操作であれば、どのような操作でも可能である
[0253] また、本実施例においては、トラック番号の入力するのに手書き認識を用いるとした 1S 2次元の GUIで実現可能なものであれば、どのような方法でもよぐたとえば、プル ダウンメニューでトラック番号を表示し入力ペン 201で選択するような入力方法でもよ い。
[0254] また、前記 3次元ポインティング装置は、前記 3次元ポインティング方法の実現に特 化した専用の装置である必要はなぐたとえば、図 1に示したように、 PC等のコンビュ ータ（システム制御装置）と、前記コンピュータに前記各実施例で説明したような 3次 元ポインティング方法を実行させる 3次元ポインティングプログラムによって実現する こともできる。この場合、前記 3次元ポインティングプログラムは、前記コンピュータで 読み取りが可能な状態で記録されていれば、磁気的，電気的，光学的のいずれの記 録媒体に記録されていてもよい。また、前記 3次元ポインティングプログラムは、たとえ ば、前記記録媒体に記録して提供するだけでなぐインターネット等のネットワークを 通して提供することも可能である。
[0255] (第 2の実施の形態）
次に、本発明の第 2の実施の形態について説明する。第 2の実施の形態は第 1の 実施の形態と同様に本発明の第 1の目的に対応するものである。第 1の実施の形態 は、入力ペンの筆圧もしくは傾き等に応じてポインタを制御するものであるのに対し、 第 2の実施の形態は、入力ペンのペン先の接触時間もしくは入力ペンに取り付けら れた操作手段の操作量等に応じてポインタを制御するものである。第 1の実施の形 態と第 2の実施の形態とではポインタを制御するための入力ペンの操作内容が異な る力 実現しょうとしていることは同一であるので、適宜第 1の実施の形態の図面を参 照して第 2の実施の形態の説明を行う。
[0256] 第 2の実施の形態の 3次元ポインティング方法は、 3次元表示が可能な表示装置に 表現された 3次元空間上のオブジェクトを、ペン型の入力装置（手段）を用いてポイン ティングしたり、ポインティングされたオブジェクトの操作をしたりする方法である。前記 ペン型の入力装置は、たとえば、ペンタブレットのように、前記オブジェクトのポインテ イングや操作を行う操作者が持って操作をする入力ペン (電子ペン）と、前記入力べ ンのペン先の接触の有無、位置、軸の向き、前記入力ペンが備える操作手段の操作 情報などの情報を検出する検出手段からなる。そして、本実施形態の 3次元ポインテ イング方法では、前記検出手段で検出した情報に基づいて、ポインタの位置、形状、 向きなどを決定し、前記表示装置に表現された 3次元空間に前記ポインタを表示させ る。このようにすることで、前記操作者は、前記検出手段の検出面上に前記入力ペン のペン先を接触させた状態で、前記表示装置に表現された 3次元空間上の前記ォ ブジエタトのポインティングや操作を行うことができ、長時間のポインティングやォブジ ヱタト操作時の前記操作者の疲労を軽減できる。
[0257] また、本実施の形態の 3次元ポインティング方法では、前記入力ペンのペン先で指 し示し続けた時間、または前記入力ペンの操作手段の操作の状況を、前記ポインタ の奥行き方向の移動または変形と対応させることで、前記表示装置に表現された 3次 元空間内の一点をポインティングできるようにする。また、前記入力ペンの傾き、方位 の情報を前記ポインタの傾き、方位に反映させることで、前記操作者は、前記表示装 置に表現された 3次元空間上に表示されたポインタが、あた力も自身が持つ入力べ ンのペン先の一部と感じることができ、 3次元オブジェクトのポインティングを容易に、 かつ直感的に行うことが可能となる。
[0258] また、本実施の形態の 3次元ポインティング方法では、前記オブジェクトをポインティ ングした後、前記ポインティングされたオブジェクトを選択または掴む操作を行うことで 、前記オブジェクトを 2次元 GUI的な編集、加工等の操作が可能な状態、言い換える と前記入力ペンの操作で前記 2次元 GUI上のオブジェクトを操作することが可能な状 態にする。また、前記オブジェクトの編集、加工といった処理 (操作)が終了した後、 前記オブジェクトを再度 3次元オブジェクトとして扱 ヽ、操作者の望む 3次元位置に移 動できるようにする。このようにすることで、 3次元オブジェクトの操作を、既存のペン 型の入力装置を用いたこれまでの 2次元 GUIにおける操作と変わらな 、操作で実現 できる。そのため、前記操作者は、たとえば、前記オブジェクトを操作するための、前 記 3次元的な入力ペンの操作を新たに習得しなくてもよい。
図 41は本実施の形態の 3次元ポインティング方法を実現するシステムの構成例を 示す図である。図 41において、 1はシステム制御装置、 101は入力情報取得手段、 1 02はポインタ位置 Z回転角度算出手段、 103はポインタ生成手段、 104はポインテ イング判定手段、 105はオブジェクト生成手段、 106は表示制御手段、 107は処理制 御手段、 108は記憶手段、 2は入力装置、 3は表示装置である。また、図 42は本実施 の形態の 3次元ポインティング方法で用いる入力ペンの構成例を示す図である。図 4 2において、 201は入力ペン、 201Aはコイル、 201Bは回転角検出用のコイル、 201 Dは操作手段（ボタン）、 201D , 201Dはシーソー型ボタンまたはホイールあるいは
1 2
スライド型のバー、 201Dは押しボタンである。なお、以下の説明では、特に記述が
3
ない限り、 201D， 201Dはシーソー型ボタン、 201Dは押しボタンであるとする。ま
1 2 3
た、当然ながら、前記入力ペン 201は、同様の機能を果たすのであれば、前記の機 構に限らない。
[0259] 本実施の形態の 3次元ポインティング方法は、たとえば、 PCなどのシステム制御装 置に接続された前記ペン型の入力装置を用いて、前記システム制御装置に接続され た表示装置に表現された 3次元空間上にあるポインタや、前記ポインタでポインティ ングされたオブジェクトを 3次元的に操作するときに適用して好ましいポインティング 方法である。
[0260] 前記システム制御装置 1は、たとえば、図 41に示すように、前記入力装置 2から入 力された入力情報を取得する入力情報取得手段 101と、前記入力情報取得手段 10 1で取得した入力情報がポインタの制御に関する情報である場合に、前記入力情報 に基づ!/、て入力装置 2で指し示し続けた時間や、前記入力装置 2が備える操作手段 の操作情報 (ボタンが押されている時間や回数)を算出する入力情報処理手段 109 と、前記入力情報に基づいてポインタの移動方向および移動量、回転方向および回 転角度などを算出するポインタ位置 Z回転角度算出手段 102と、前記ポインタ位置 Z回転角度算出手段 102の算出結果に基づいたポインタを生成するポインタ生成手 段 103と、前記ポインタ生成手段 103で生成するポインタにポインティングされている オブジェクトがある力否かの判定をするポインティング判定手段 104と、前記ポインテ イングされているオブジェクトがある場合に、たとえば、そのオブジェクトの色を変えた り、前記ポインタの移動や回転を追随させた位置や向きのオブジェクトを生成したりす るオブジェクト生成手段 105と、前記ポインタ生成手段 103で生成したポインタや、前 記オブジェクト生成手段 105で生成したオブジェクトを前記表示装置 3に表示させる 表示制御手段 106とを備える。
[0261] また、前記システム制御装置 1は、たとえば、前記 PCのように、前記入力装置 2から の入力情報に応じてソフトウェアの起動や操作をしたり、他の装置の制御を行ったり する装置であり、図 41に示したように、前記各手段の他に、たとえば、ソフトウェアの 起動等の処理を制御する処理制御手段 107や、前記処理制御手段 107による処理 で用いるデータなどが記憶された記憶手段 108を備える。そして、前記入力情報取 得手段 101で取得した情報が、前記ポインタの制御に関する情報とは異なる場合、 前記入力情報取得手段 101は、前記取得した情報を前記処理制御手段 107に渡し 、取得した情報に応じた処理を前記システム制御装置 1に実行させる。そのため、前 記表示制御手段 106は、前記ポインタや前記オブジェクトの他に、前記システム制御 装置 1 (処理制御手段 107)で実行中の処理の内容や、処理の結果を前記表示装置 3に表示させることもできる手段であるとする。
[0262] また、前記入力装置 2は、図示は省略するが、たとえば、前記ポインタやオブジェク トの操作を行う操作者が持つ入力ペン (電子ペン）と、前記入力ペンのペン先の接触 の有無、位置、前記入力ペンが備えるボタンなどの操作手段の状態、前記入力ペン の傾き、方位、回転角などの情報を検出する検出面をもつ検出手段力もなるとする。
[0263] 第 1の実施の形態と同様に、前記検出手段の検出面上に図 2に示すように、前記 表示装置 3に表現される 3次元空間と対応するデカルト座標系 XYZをとり、前記デカ ルト座標系 XYZの XY平面が検出面とすると、前記検出手段は、前記検出面 (XY平 面）に前記入力ペンのペン先 201Pが接触したときに、ペン先 201Pの接触の有無、 接触位置の座標（X, y)、入力ペンの筐体の軸 201Xの方位 α (たとえば 0度≤ αく 3 60度），傾き |8 (たとえば 0度≤ β≤90度），軸周りの回転 γ (たとえば 0度≤ γ〈360 度)の各角度の情報を検出する。
[0264] 第 1の実施の形態と同様に、前記入力ペンのペン先 201Pの接触の有無、接触位 置の座標 (X, y)、前記入力ペンの筐体の軸 201の方位 α ,傾き 軸周りの回転 γ などの情報を検出することが可能な入力装置 2の構成は、たとえば、参照文献 1 (三 谷雄二， "タツチパネルの基礎と応用,"テクノタイムズ社， 2001.)や参照文献 2 (株式 会社 WACOM製 intuos2のカタログ)等に記載された内容から、当業者であれば容易 に推測でき、容易に実現することが可能である。ただし、前記入力ペンの筐体の軸 2 01Xの軸周りの回転 γの角度については、前記参照文献 1や参照文献 2に記載され た構造では取得できない。し力しながら、前記軸周りの回転 γの角度を検出するため には、たとえば、図 42に示すように、前記入力ペン 201の内部の、前記参照文献 1に 記載されている座標指示器のコイル 201Aと平行に、前記軸周りの回転 γを検出す るためのコイル 201Bをもう一つ加え、両コイル 201A, 201Bの鎖交する磁束の変化 をそれぞれ取得し、回転量を計算すればよいことは、当業者であれば容易に想像で き、実現することは可能である。ただし、本実施の形態の 3次元ポインティング方法で 使用する前記入力ペン 201は、図 42に示したような、前記軸周りの回転 γの角度を 検出する機構を備えた構成でなくともよい。 [0265] また、前記入力装置 2は、たとえば、ペンタブレットや、タツチパネルとスタイラスペン の糸且み合わせのように、前記入力ペンと前記検出手段が分離した装置に限らず、た とえば、ペン形マウスのように、前記入力ペンの筐体の内部に前記検出手段が組み 込まれて 、る入力装置であってもよ!/、。
[0266] また、前記表示装置 3は、 3次元空間を表現できる表示装置であればよぐたとえば 、 CRTディスプレイや液晶ディスプレイのように 3次元オブジェクトを 2次元平面に射影 した形で表現して表示する 2次元表示装置でもよぐ HMD (Head Mount Display)や D FDのように 3次元立体像を表現して表示することが可能な表示装置でもよ 、。つまり 、前記表示装置 3は、前記操作者が、表示されたポインタやオブジェクトを 3次元的に 知覚することが可能であればどのような表示装置でもよい。
[0267] また、前記入力装置 2の検出手段と前記表示装置 3は、一体型の形態を取ることも 可能である (たとえば、特開平 5-073208号公報を参照。 )0前記入力装置 2として、た とえば、電磁誘導方式のペンタブレットを用いる場合、前記検出手段 (デジタイザ）は 、前記表示装置 3の表示面と重ね合わせ、前記表示装置 3と一体的にすることができ る。また、同様の形態として、たとえば、タツチパネルとスタイラスペンを組み合わせた 形態を適用することも可能である。このようにすれば、前記操作者は、液晶ディスプレ ィ等の前記表示装置 3の表示面に前記入力ペンを接触させてポインティングすること が可能となり、前記検出手段と前記表示装置 3が分離した状態で操作する場合に比 ベ、より直感的な操作が可能となる。ただし、本発明は、このような前記入力装置 2の 検出手段と前記表示装置 3の構成を限定するものではなぐ一般的なペンタブレット のように、前記検出手段と前記表示装置 3がー体的になって 、なくともよ 、。
[0268] [実施例 2— 1]
次に、実施例 2—1を説明する。実施例 2—1は、実施例 1—1と同様にオブジェクト を選択または掴む場合の実施例であり、実施例 1 1の図 4〜6を用いて説明する。 また、図 43を参照して実施例 2—1の処理手順を説明する。なお、図 5B、図 6B、じに おいて入力ペンに圧力を加える方向の矢印が記載されている力 本実施例 2— 1で はこの矢印はないものとする。
[0269] 本実施例 2— 1の 3次元ポインティング方法は、前記入力ペン 201のペン先 201Pを 前記検出手段の検出面に接触させ、シーソー型ボタン 201D , 201Dを用いて、 3
1 2
次元空間内の操作者力 見て奥行き方向にあるオブジェクトをポインティングし、さら に押しボタン 201Dを用いてオブジェクトを選択または掴む方法である。
3
本実施例 2— 1では、前記入力装置 2には電磁誘導方式のペンタブレット、前記 3 次元空間を表示できる表示装置 3には液晶ディスプレイを用いることとする。また、前 記入力装置 2の検出手段 (デジタイザ）は前記液晶ディスプレイ 3の表示面と重ね合 わせており、表示画面上で直接入力ペンを操作してポインティング、さらに選択また は掴む操作が行えるものとする。また、前記入力装置 2および前記表示装置 3は、図 41に示したような構成のシステム制御装置 1に接続されて 、るとする。
[0270] また、本実施例 2—1では、実施例 1—1と同様に、図 4Aおよび図 4Bに示すように、 前記液晶ディスプレイ 3に表現された 3次元空間 301の中に、図 2で示した座標系 X YZと対応させた座標系 XYZを設定し、オブジェクト 302が 3次元空間 301内の z〈0 の位置に配置されているとする。またこのとき、前記入力装置 2の入力ペン 201を操 作する操作者は、前記 3次元空間 301の XY平面を、 z〉0の方向から観察していると する。
[0271] また、本実施例 2— 1では、前記 3次元空間 301の z = 0の XY平面、すなわち前記 操作者から見て一番近 、面が前記液晶ディスプレイの表示面であると同時に、前記 入力装置 2の検出手段の検出面であるとする。
[0272] 前記操作者が、たとえば、図 5Aおよび図 6Aに示すように、前記入力ペン 201のぺ ン先 201Pを前記液晶ディスプレイ 3の表示面に接触させると、前記表示面に重ね合 わされた前記検出手段が前記ペン先 201Pの位置 (座標）を検出する。次に、前記シ ステム制御装置 1では、ペン先 201Pが接触した状態でシーソー型ボタン 201D , 20
1
1Dのいずれかが押されたことを判定し、さらに、前記入力情報取得手段 101により
2
前記検出手段が検出した前記ペン先 201Pの位置 (座標)などの情報を取得し、前 記ポインタ位置 Z回転角度算出手段 102および前記ポインタ生成手段 103に、前記 ペン先 201 Pが接触した位置に該当する前記 3次元空間 301上の位置に表示させる ポインタを生成させる。そして、前記ポインタが生成されると、前記表示制御手段 106 力 前記表示装置 3にポインタ表示用の信号が送られ、たとえば、図 5Aおよび図 6A に示したように、前記表示装置 3に表現された 3次元空間 301上に、前記ペン先 201 Pが接触した状態で前記シーソー型ボタン 201D , 201Dのいずれかが押された時
1 2
間（または回数)を反映したポインタ 303が表示される。
[0273] また、前記操作者が、前記入力ペン 201のペン先 201Pを前記液晶ディスプレイ 3 の表示面に接触させたままの状態で、さらに前記シーソー型ボタン 201D , 201D
1 2 のいずれかを押すと、前記システム制御装置 1の入力情報処理手段 109および前記 ポインタ位置 Z回転角度算出手段 102、ならびに前記ポインタ生成手段 103では、 前記シーソー型ボタン 201D , 201Dのいずれかを押していた時間（または回数）に
1 2
応じた形状のポインタを生成させる。このとき、たとえば、前記シーソー型ボタン 201 Dが押されていた時間（または回数）に比例して矢印形のポインタが長くなるようにし
1
ておけば、前記シーソー型ボタン 201Dを押す時間（または回数)を長く（または多く
1
)することにより、図 5Bおよび図 6Bに示したように、前記ポインタ 303が図 5Aおよび 図 6Aに示したポインタよりも長くなる。また、前記シーソー型ボタン 201Dをさらに長
1 時間押し続ける（または多数回押す）と、図 5Cおよび図 6Cに示したように、前記ボイ ンタ 303がさらに長くなる。
一方、たとえば、前記シーソー型ボタン 201Dが押された時間（または回数）に応じ
2
て前記矢印形のポインタが短くなるようにしておけば、前記シーソー型ボタン 201D
2 を押す時間（または回数)を長く（または多く）することにより、図 5Cおよび図 6Cに示し たような長いポインタ力 図 5Bおよび図 6Bに示すように短くなる。また、前記シーソー 型ボタン 201Dをさらに長時間押し続ける（または多数回押す）と、図 5Aおよび図 6
2
Aに示したように、前記ポインタ 303がさらに短くなる。
[0274] このようなポインタ 303の表示を、前記操作者が前記入力ペン 201を接触させ、前 記シーソー型ボタン 201D , 201Dを押すのとほぼ同時に連続的（または所定の段
1 2
階的）に行われるようにすることで、前記操作者は、前記シーソー型ボタン 201D , 2
1
01Dを押した時間（または回数）によって前記ポインタ 303が 3次元奥行き方向（zく 0
2
)に伸びていくように感じることが可能である。なお、前記ポインタ 303の長さの最大 値と最小値は、操作者が設定できるようにしておいてもよいし、あらかじめシステムで 設定しておいてもよい。また、図示は省略する力 前記ポインタ 303の先が目的のォ ブジェクト 302の近辺（たとえば 10ピクセルの範囲内）をポインティングしたところで、 前記オブジェクト生成手段 105によりオブジェクト 302の色を変えるなどの処理を行う こと〖こよって、操作者にオブジェクト 302をポインティングしていることを伝える。このと きに、操作者が、たとえば、前記入力ペン 201の押しボタン 201Dを押したとすると、
3
前記システム制御装置 1のポインティング判定手段 104がオブジェクト 302に対して 選択または掴む操作がなされたと判定し、前記オブジェクトの色を変えた状態を維持 する。また、前記入力ペン 201のペン先 201Pを前記検出面から離した (浮かせた） 場合に、前記ペン先 201Pを離した (浮かせた）時間に応じて、前記ポインタ 303を、 ペン先 201Pを前記検出面から離す (浮かせる）直前の状態から一定の速度で短くし てもよいし、ペン先を前記検出面力 離す (浮力、せる）直前の状態に固定させておい てもよい。
[0275] このような 3次元ポインティング方法を実現させるためには、前記システム制御装置 1において、図 43に示したような、ステップ 401からステップ 410の処理を実行すれば よい。つまり、前記システム制御装置 1では、まず、前記表示制御手段 106により、前 記表示装置 (液晶ディスプレイ） 3に表現された 3次元空間 301上にオブジェクト 302 を表示させておく（ステップ 401)。またこのとき、前記入力情報取得手段 101は、前 記入力装置 2の検出手段で検出された情報を取得できる状態にしておく。
[0276] そして、前記操作者が、前記入力ペン 201のペン先 201Pを検出手段の検出面に 接触させると、前記検出手段が前記ペン先 201Pの位置 (座標）等を検出するので、 前記入力情報取得手段 101は、前記検出された前記ペン先 201Pの位置 (座標)等 の、前記入力ペン 201の状態を表す情報を取得する (ステップ 402)。本実施例 2—1 の 3次元ポインティング方法では、前記ペン先 201Pの位置 (座標）の情報が取得で きればよいので、前記ステップ 402では、前記ペン先 201Pの位置 (座標）の情報の みを取得してもよいが、前記検出手段では、前記ペン先 201Pの位置 (座標）のほか に、前記入力ペン 201の方位ひ，傾き β ,軸周りの回転 γ等も検出可能である。その ため、前記ペン先 201Pの位置 (座標）の情報とともに、前記入力ペン 201の方位 α , 傾き j8 ,軸周りの回転 γの情報を取得してもよい。
[0277] 次に、前記入力情報処理手段 109により、前記入力ペン 201のシーソー型ボタン 2 01D , 201Dのいずれかが押されているか否かを判定し、いずれかが押されている
1 2
かの情報を出力する。この処理は、たとえば、図 43に示したように、まず、前記ボタン 201Dが押されている力否かを判定し (ステップ 403a)、押されている場合はその情
1
報を前記ポインタ位置 Z回転角度算出手段 102に出力する (ステップ 404a)。また、 前記ボタン 201Dが押されていない場合は、前記ボタン 201Dが押されているか否
1 2
かを判定し (ステップ 403b)、押されている場合はその情報を前記ポインタ位置 Z回 転角度算出手段 102に出力する (ステップ 404b)。
[0278] 次に、前記ポインタ位置 Z回転角度算出手段 102において、前記取得した情報の うち、前記ペン先 201Pの位置（座標）と、前記シーソー型ボタン 201D , 201Dのい
1 2 ずれかが押されて!/、る力否かの情報を用いて、これらの情報を反映するポインタの位 置、向き、長さ等を算出する (ステップ 405)。本実施例 2—1の 3次元ポインティング 方法の場合、前記ステップ 405では、前記ペン先 201Pの位置 (座標）と対応する、 前記表示装置 3に表現された 3次元空間 301の XY平面上の位置 (座標）と、前記シ 一ソー型ボタン 201D , 201Dのいずれかが押されていた時間（または回数）に比例
1 2
する長さを算出する。
[0279] なお、本実施例 2—1のように、前記入力ペン 201のペン先 201Pの位置 (座標）の 情報のみを用い、前記入力ペン 201の方位 α ,傾き ，軸周りの回転 γの情報を利 用しない場合には、前記ポインタの向きは常に一定としてポインタの表示を行う。その ため、前記ステップ 405において、前記ポインタの向きを算出する必要はない。
[0280] 前記ステップ 405の算出処理がすんだら、次に、前記ポインタ生成手段 103におい て、前記ポインタ位置 Ζ回転角度算出手段 102の算出結果に基づいた形状のボイ ンタを生成し、前記表示制御手段 106から前記生成したポインタに関する情報を前 記表示装置 3に送り、前記 3次元空間 301上に表示させる (ステップ 406)。
[0281] また、前記システム制御装置 1では、前記ステップ 406の処理と並行して、前記ボイ ンティング判定手段 104において、前記ポインタ位置 Ζ回転角度算出手段 102で算 出した 3次元空間の ΧΥ平面上の位置 (座標）および奥行き位置に該当する位置に、 ポインティングしているオブジェクトがあるか否かの判定を行う（ステップ 407)。前記ス テツプ 407の判定は、たとえば、図 43に示すように、前記ポインタの先、言い換えると 前記ポインタがポインティングしている位置から 10ピクセル以内にオブジェクトがある か否かで判定する。なお、図 43では 10ピクセル以内としている力 これに限らず、他 の条件で判定してもよ 、。ポインティングして 、るオブジェクトがあるか否かの判定は 、第 1の実施の形態でもここで説明した方法で行うことが可能である。そして、ポイン ティングして!/、るオブジェクトがなければ、前記ポインタ 303の表示制御のみを行!、、 ステップ 402に戻り、次の入力情報を取得する。
[0282] 一方、ポインティングしているオブジェクトがあれば、前記オブジェクト生成手段 105 において、たとえば、前記ポインティングしているオブジェクトの色を変えたオブジェク トを生成し、前記表示制御手段 106から前記生成したオブジェクトに関する情報を前 記表示装置 3に送り、前記 3次元空間 301上に表示させる (ステップ 408)。またさら に、前記ポインティング判定手段 104において、前記入力ペン 201の押しボタン 201 Dが押されたかどうかの判定を行う（ステップ 409)。そして、前記押しボタン 201Dが
3 3 押された場合には、前記ポインティングしているオブジェクト 302を選択、または掴む ことができる (ステップ 410)。また、前記押しボタン 201Dが押されていない場合は、
3
前記ステップ 402に戻り、次の入力情報を取得する。
[0283] 前記システム制御装置 1において、以上のような処理を行うことにより、図 5A,図 5B ,図 5Cに示したようなポインタ 303の表示制御が可能となる。
[0284] なお、前記ステップ 401からステップ 406の処理がすでに行われた状態、すなわち 前記ポインタが前記表示装置 3に表示された状態で、前記ステップ 405により前記ポ インタの長さを算出する場合、たとえば、前記入力情報処理手段 109から前記ボタン 201Dが押されていることを示す情報が入力されたときには、前記ポインタ位置 Z回
1
転角度算出手段 102は、前記ポインタの長さを所定の長さだけ長くするようにする。 また、前記入力情報処理手段 109から前記ボタン 201Dが押されていることを示す
2
情報が入力されたときには、前記ポインタ位置 Z回転角度算出手段 102は、前記ポ インタの長さを所定の長さだけ短くするようにする。このような処理ループを繰り返し 実行することによって、前記シーソー型ボタン 201D , 201Dが押された時間（また
1 2
は回数）に対応する長さのポインタを表示することが可能となる。
[0285] 以上説明したように、本実施例 2— 1の 3次元ポインティング方法によれば、前記入 力ペン 201のペン先 201Pの位置 (座標）および検出手段の検出面に関する情報を 取得し、前記ペン先 201Pの位置 (座標）と対応する前記表示装置 3に表現された 3 次元空間の XY平面上の位置 (座標）と、前記入力ペン 201のシーソー型ボタン 201 D , 201Dが押された時間 (または回数)と対応する奥行き位置を算出し、算出した
1 2
位置および奥行き位置を指し示すポインタを生成し、表示させることで、前記表示装 置 3に表現された 3次元空間 301上の任意の 1点をポインティングすることができる。 またさらに、前記入力ペン 201の押しボタン 201Dが押されているか否かを判定する
3
ことで、前記ポインタでポインティングしたオブジェクトを選択または掴むこともできる。
[0286] また、前記入力装置 2として、一般的なペンタブレットを用い、前記入力ペン 201の ペン先 201Pを前記検出手段に接触させた状態で、前記ポインタ 303の奥行き方向 のポインティング位置を変えることができるので、操作者の疲労を軽減することができ る。
[0287] また、本実施例 2— 1で説明したように、前記入力装置 2の検出手段を、前記表示 装置 (液晶ディスプレイ） 3の表示面と重ね合わせておけば、前記操作者は、前記表 示面上で前記入力ペン 201の操作を行うことができる。このようにすると、前記ポイン タ 303が前記入力ペン 201のペン先 201Pの一部であるかのような視覚効果が得ら れ、前記オブジェクト 302の正確なポインティングが容易になり、かつ直感的なポイン ティングが可能となる。
[0288] また、本実施例 2— 1では、前記入力ペン 201のシーソー型ボタン 201D , 201D
1 2 が押された時間（または回数）に応じて長さが変わるポインタ 303を表示させた力 こ れに限らず、たとえば、長さではなく形状が 3次元奥行き方向（zく 0)に何らかの変化 をするポインタや、 3次元奥行き方向（zく 0)の傾きが変化するポインタのように、 3次 元奥行き方向（zく 0)をポインティングできるのであれば、どのような変化であってもよ い。また、前記ポインタの長さを変化させる場合、シーソー型ボタン 201D , 201Dが
1 2 押された時間（または回数）に比例させてもよ!、し、押された時間（または回数)の累 乗あるいは累乗根などに比例させてもょ 、。
[0289] なお、本実施例 2— 1では、前記入力装置 2として電磁誘導方式のペンタブレットを 用い、前記ペンタブレットの検出手段 (デジタイザ)を、前記表示装置 (液晶ディスプ レイ） 3の表示面と重ね合わせた場合を例に挙げた力 これに限らず、両者が別の位 置にあるような構成であってもよい。また、本実施例 2—1では、前記入力装置 2と表 示装置 3の組み合わせとして、前記電磁誘導方式のペンタブレットと前記液晶ディス プレイを例に挙げて説明した力 これに限らず、たとえば、 PDA等で用いられているタ ツチパネルとスタイラスペンの組み合わせであってもよい。
[0290] また、本実施例 2— 1では、前記ポインタ 303の先が目的のオブジェクト 302の近辺 にあるかどうかの判定を、前記ポインタ 303の先から 10ピクセルの範囲内であるかどう かで判定したが、この範囲は、システムの管理者や操作者が任意に設定、変更する ことが可能である。
[0291] 本実施例 2—1においても、実施例 1—1と同様に、ポインタの形状を図 8A,図 8B, 図 8C,図 8Dに示すように様々な形状のポインタを採用することができる。
[0292] 本実施例 2— 1では、前記ポインタ 303として、たとえば、図 8Aに示すように、平板 状の矢印型のポインタ 303aを生成し、表示させている力 前記ポインタ 303の形状 は、これに限らず、ポインティングしている位置が視覚的に明瞭である形状であれば 、どのような形状であってもよい。そのようなポインタの形状としては、たとえば、図 8B に示すような円錐の底面に円柱が接続された立体的な矢印型のポインタ 303b、図 8 Cに示すような円錐型のポインタ 303c、図 8Dにしめすような人差し指でオブジェクト を指し示している人の手型のポインタ 303d等が考えられる。また、図示は省略するが 、図 8Cに示した円錐型のポインタ 303cに類似した多角錘型のポインタであってもよ い。
[0293] また、本実施例 2— 1では、前記ポインタ 303がポインティングして 、る点は矢印型 ポインタの先 (矢印の先端）とした力 これに限らず、前記ポインタのどの部分におい てもポインティング可能とすることや、ポインタの先ではな 、他の一部とすることも可能 である。
[0294] また、本実施例 2— 1では、前記オブジェクト 302の例としてフォルダ型のオブジェク トを挙げた力 これに限らず、前記オブジェクト 302はどのような形状であってもよい。
[0295] また、本実施例 2— 1では、前記表示装置 3に表現される 3次元空間の座標系を、 図 4Aに示したように、表示面力 =0となるように設定した力 3次元空間が表現でき るのであれば 3次元の原点はどこにとってもよい。また、座標系もデカルト座標系であ る必要はなぐたとえば円柱座標系や球座標系などでもよ ヽ。
[0296] また、本実施例 2— 1では、前記入力ペン 201のシーソー型ボタン 201D , 201D
1 2 が押された時間（または回数）に注目したが、これに前記入力ペン 201の方位 a、傾 き β、軸周りの回転 γの要素も加え、ポインタの方位や傾き、回転も操作できるように しても構わない。
[0297] [実施例 2— 2]
次に、実施例 2— 2の 3次元ポインティング方法を説明する。本実施例 2— 2では、 実施例 1—2と同様に、前記入力ペン 201の向きを変えることで、 3次元空間内の操 作者からみて奥行き方向にあるオブジェクトを、さまざまな方向からポインティングす る方法について、図 9Α〜図 10Cを参照して説明する。また、本実施例の処理手順を 図 44を参照して説明する
本実施例 2— 2においても、前記入力装置 2および前記表示装置 3はそれぞれ、前 記実施例 2— 1と同様に、電磁誘導方式のペンタブレットおよび液晶ディスプレイを用 いるとする。また、前記ペンタブレット 2の検出手段 (デジタイザ）は、前記液晶ディス プレイ 3の表示面と重ね合わせてあるとする。また、前記ペンタブレット 2および表示 装置 3は、図 41に示したような構成のシステム制御装置 1に接続されて 、るとする。
[0298] また、前記液晶ディスプレイ 3に表現される 3次元空間の座標系の取り方、前記ペン タブレット 2の入力ペン 201の操作方法等は、前記実施例 2— 1で説明したとおりであ るとする。ただし、本実施例 2— 2では、入力方法の別の形態として、前記実施例 2— 1で用いた前記入力ペン 201のシーソー型ボタン 201D , 201Dや押しボタン 201D
1 2
を利用せず、前記入力ペン 201のペン先 201Pを前記検出面力も離した力否かの
3
操作に基づき前記オブジェクトをポインティングし、さらにポインティングしたオブジェ タトを選択または掴むことのできる入力方法を用いる。
[0299] 本実施例 2— 2の 3次元ポインティング方法では、前記操作者が前記入力ペン 201 のペン先 201Pを前記液晶ディスプレイ 3に表現された 3次元空間 301の ΧΥ平面（ζ =0)の任意の 1点におくと、前記システム制御装置 1は、前記入力情報取得手段 10 1により、前記検出手段 (デジタイザ）が検出した前記入力ペン 201のペン先 201Pの 位置 (座標）、前記入力ペン 201の方位ひ，傾き j8 ,軸周りの回転 γ等の情報を取得 する。またこのとき、前記入力情報処理手段 109が、前記入力ペン 201のペン先 201 Ρが前記検出面に接触している時間を算出する。またさらに、前記入力情報処理手 段 109および前記ポインタ位置 Ζ回転角度算出手段 102、ならびに前記ポインタ生 成手段 103が、前記ペン先 201Pが接触した位置に該当する前記 3次元空間 301上 の位置に表示させるポインタを生成する。そして、前記ポインタが生成されると、前記 表示制御手段 106から前記表示装置 3にポインタ表示用の信号が送られ、たとえば 、図 9Αおよび図 10Bに示したようなポインタ 303が表示される。
[0300] また、前記操作者が、前記入力ペン 201の向きを、たとえば、図 9Βおよび図 10Β、 あるいは図 9Cおよび図 10Cに示したような向きに変えたとすると、前記ポインタ位置 Ζ回転角度算出手段 102およびポインタ生成手段 103では、前記入力ペン 201の 新たな方位ひ，傾き ι8 ,軸周りの回転 γから、新たなポインタの向きを算出し、算出 結果に基づいたポインタを生成する。そして、前記表示制御手段 106から前記表示 装置 3に、新たに生成したポインタ表示用の信号を送ると、図 9Βおよび図 10Β、ある いは図 9Cおよび図 10Cに示したようなポインタ 303が表示される。
[0301] このようなポインタ 303の表示を、前記操作者が入力ペン 201の向きを変える操作 を行うのとほぼ同時に連続的に行われるようにすることで、前記操作者は、あたかも ペンを傾けた方向のペン先 201Pの延長線上にポインタ 303が傾いて表示されるよう に感じることが可能である。
[0302] また、このようなポインタ 303の表示方法では、たとえば、前記入力ペン 201のペン 先 201Pと前記検出面との接触の有無と、接触時間によって、前記ポインタ 303の長 さを調節できる。たとえば、前記操作者が前記入力ペン 201のペン先 201Pを前記検 出面に接触させ、操作者がある時間内（たとえば、 0.5秒以内）にペン先 201Pを前記 検出面力も離して再度接触させる操作 (タップ操作)を行うと、前記ポインタ 303の長 さが伸び始める。そして、前記前記ポインタ 303の長さが伸びている間にタップ操作 を再び行うと、前記ポインタ 303の伸びが止まり、その時点での長さのポインタとして 操作者が扱うことができる。また、前記ポインタ 303の長さが変化していないときに前 記タップ操作を行うと、さらに前記ポインタ 303を伸ばすことが可能となる。また、前記 操作者が前記タップ操作を 2回連続して行う操作 (ダブルタップ操作)を行うと、前記 ポインタ 303の長さが縮み始める。そして、前記ポインタ 303の長さが縮んでいる間 にタップ操作を行うと、前記ポインタ 303の縮みが止まり、その時点での長さのポイン タとして操作者が扱うことができる。また、前記ポインタ 303の長さが変化していないと きに前記ダブルタップ操作を行うと、さらに前記ポインタ 303を縮めることが可能となる
[0303] この一連の前記ポインタ 303の伸縮操作中に、前記ポインタ 303 (ポインタの先）が オブジェクト 302の近辺（たとえば、 10ピクセルの範囲内）に到達したときに、前記シス テム制御装置 1のオブジェクト生成手段 105で当該オブジェクトの色を変え、前記表 示装置 3に表示されたオブジェクト 302の表示を切り替える等の処理を行うことによつ て、前記ポインタ 303の長さが変化していない状態で、かつ、オブジェクト 302を選択 またはつかめる状態であることを、前記操作者に知らせることができる。そして、前記 オブジェクト 302の色が変化して選択または掴める状態力 たとえば、 0.5秒以上続け ば、前記操作者は、前記オブジェクト 302を選択、または掴むことができる。
[0304] またさらに、図示は省略するが、前記操作者が、前記操作中に前記入力ペン 201 の向きを変えた場合は、前記入力情報処理手段 109および前記ポインタ位置 Z回 転角度算出手段 102、ならびに前記ポインタ生成手段 103において、たとえば、前 記ポインタの向きに加え、前記入力ペン 201の向きを変える直前のポインタの長さを 反映したポインタを生成することができる。
[0305] このような 3次元ポインティング方法を実現させるためには、前記システム制御装置 1において、図 44に示したような処理を実行すればよい。このとき、前記システム制御 装置 1では、まず、前記表示制御手段 106により、前記表示装置 (液晶ディスプレイ） 3に表現された 3次元空間 301上にオブジェクト 302を表示させるとともに、ポインタの 状態を表す変数 sを s = 0に設定する (ステップ 401)。前記ポインタの状態を表す変 数 sは、たとえば、 s = 0はポインタの長さが変化していない状態または表示されてい ない状態を表し、 s= lはポインタの長さが伸びつつある状態を表し、 s=— 1はポイン タの長さが縮みつつある状態を表すものとする。またこのとき、前記入力情報取得手 段 101は、前記入力装置 2の検出手段で検出された情報を取得できる状態にしてお <o
[0306] そして、前記操作者が、前記入力ペン 201のペン先 201Pを検出手段の検出面に 接触させると、前記検出手段が前記ペン先 201Pの位置 (座標）等を検出するので、 前記入力情報取得手段 101は、前記検出された前記ペン先 201Pの位置 (座標)等 の、前記入力ペン 201の状態を表す情報を取得する (ステップ 402)。なお、本実施 例 2— 2の場合、前記ステップ 2では、前記ペン先 201Pの位置 (座標）の情報とともに 、前記入力ペン 201の方位 α ,傾き |8 ,軸周りの回転 γの情報などの前記入力ペン の向きを示す情報を取得する。
[0307] 次に、前記入力情報処理手段 109により、前記ポインタの状態を表す変数 sおよび 前記入力ペン 201のペン先 201Pと前記検出面との接触状況から、前記ポインタの 長さを変化させるか否かを判定し、その情報を出力する。この処理は、たとえば、図 4 4に示したように、まず、前記変数 sが s = 0であり、かつ、前記タップ操作が行われた か確認し (ステップ 403c)、 s = 0で前記タップ操作が行われた場合は、前記変数 sを s = 1に設定し、その情報を前記ポインタ位置 Z回転角度算出手段に出力する (ステツ プ 404c)。また、 s≠0またはタップ操作を行っていない場合は、前記変数 sが s = 0で あり、かつ、前記ダブルタップ操作が行われたか確認し (ステップ 403d)、 s = 0で前 記ダブルタップ操作が行われた場合は、前記変数 sを s=— lに設定し、その情報を 前記ポインタ位置 Z回転角度算出手段に出力する (ステップ 404d)。また、 s≠0また はダブルタップ操作を行って 、な 、場合は、前記タップ操作が行われた力確認し (ス テツプ 403e)、 s≠0で前記タップ操作が行われた場合は、前記変数 sを s = 0に設定 し、その情報を前記ポインタ位置 Z回転角度算出手段に出力する (ステップ 404e)。
[0308] 次に、前記ポインタ位置 Z回転角度算出手段 102において、前記取得した情報の うち、前記ペン先 201Pの位置 (座標）と、前記ポインタの状態を表す変数 sの値を用 いて、これらの情報を反映するポインタの位置、向き、長さ等を算出し (ステップ 405) 、前記ポインタ生成手段 103において、前記ポインタ位置 Z回転角度算出手段 102 の算出結果に基づいた形状のポインタを生成し、前記表示制御手段 106から前記生 成したポインタに関する情報を前記表示装置 3に送り、前記 3次元空間 301上に表示 させる (ステップ 406)。本実施例 2— 2の場合、前記ステップ 405では、前記ペン先 2 01Pの位置 (座標）と対応する、前記表示装置 3に表現された 3次元空間 301の XY 平面上の位置 (座標）と、前記タップ操作またはダブルタップ操作を行った後の、前 記ペン先 201Pを前記検出面に接触させている時間に比例する長さを算出する。ま たこのとき、前記ポインタの長さは、たとえば、前記変数 sが s= lに設定されている場 合は、前記ペン先 201Pを前記検出面に接触させている時間に比例して長くなるよう に算出し、前記変数 sが s=— 1に設定されている場合は、前記ペン先 201Pを前記 検出面に接触させている時間に比例して短くなるように算出する。また、前記変数 sが s = 0の場合は、前記タップ操作またはダブルタップ操作が行われる直前の長さとす る。
[0309] またこのとき、前記システム制御装置 1では、前記ステップ 406の処理と並行して、 前記実施例 2— 1で説明したステップ 407およびステップ 408の処理を行う。前記ス テツプ 407は、たとえば、図 44に示すように、前記ポインタの先、言い換えると前記ポ インタがポインティングしている位置から 10ピクセル以内にオブジェクトがある力否か を判定する。なお、図 44では 10ピクセル以内としている力 これに限らず、他の条件 で判定してもよい。そして、ポインティングしているオブジェクトがなければ、前記ボイ ンタ 303の表示制御のみを行い、ステップ 402に戻り、次の入力情報を取得する。
[0310] 一方、ポインティングしているオブジェクトがあれば、前記オブジェクト生成手段 105 において、たとえば、前記ポインティングしているオブジェクトの色を変えたオブジェク トを生成し、前記表示制御手段 106から前記生成したオブジェクトに関する情報を前 記表示装置 3に送り、前記 3次元空間 301上に表示させる (ステップ 408)。またさら に、前記ポインティング判定手段 104において、たとえば、前記変数 sが s = 0であり、 かつ、前記オブジェクトをポインティングして 、る状態が 0.5秒以上続 、たかどうかの 判定を行う（ステップ 409')。そして、 s = 0でポインティングしている状態が 0.5秒以上 続いている場合には、前記ポインティングしているオブジェクト 302を選択、または掴 むことができる（ステップ 410)。また、前記 s≠0またはポインティングしている時間が 0 .5秒未満の場合は、前記ステップ 402に戻り、次の入力情報を取得する。なお、前記 オブジェクトをポインティングしている状態の持続時間に関しては、 0.5秒以上に限ら ず、他の時間であってもよい。 [0311] 前記システム制御装置 1において、以上のような処理を行うことにより、図 9A,図 9B
,図 9Cに示したようなポインタの表示制御が可能となる。
[0312] なお、図 43、図 44に示した処理手順は、第 1の実施の形態における図 7で示した 処理手順に対応するものである。図 43、図 44では処理内容をより詳細に記載してい る。
[0313] 以上説明したように、本実施例 2— 2の 3次元ポインティング方法によれば、前記入 力ペン 201のペン先 201Pの位置 (座標）および前記検出面との接触の有無に加え、 前記入力ペン 201の方位ひ，傾き β ,軸周りの回転 γに関する情報を取得し、前記 ペン先 201Pの位置 (座標）と対応する前記表示装置 3に表現された 3次元空間の X Υ平面上の位置 (座標）および前記入力ペン 201のペン先と前記検出面の接触時間 と対応する奥行き位置、ならびに前記入力ペン 201の方位ひ，傾き β ,軸周りの回転 γと対応する前記 3次元空間 301上のポインタの方位，傾き，軸周りの回転の角度を 算出し、算出した位置および奥行き位置、ならびに算出した方向から指し示すポイン タを生成し、表示させることで、前記表示装置 3に表現された 3次元空間 301上の任 意の 1点をポインティングすることができ、さらにポインティングしたオブジェクトを選択 、または掴むことが可能となる。
[0314] また、前記入力ペン 201に、前記ポインタの奥行き位置を変える操作、あるいは指 し示す方向を変える操作を行うためのボタン等の操作手段を設ける必要が無いため 、前記入力装置 2として、従来の一般的なペンタブレットと入力ペンを流用することが 可能である。さらに、前記入力ペン 201のペン先 201Pを前記検出手段に接触させた 状態で、前記ポインタ 303の奥行き方向のポインティング位置を変えることができ、操 作者の疲労を軽減することができる。
[0315] また、本実施例 2— 2で説明したように、前記入力装置 2の検出手段を、前記表示 装置 (液晶ディスプレイ） 3の表示面と重ね合わせておけば、前記操作者は、前記表 示面上で前記入力ペンの操作を行うことができる。このよう〖こすると、前記ポインタ 30 3が前記入力ペン 201のペン先 201Pの一部であるかのような視覚効果が得られ、前 記オブジェクト 302の正確なポインティングが容易になり、かつ直感的なポインティン グが可能となる。 [0316] また、本実施例 2— 2では、ポインタの方位、傾き、軸周りの回転が前記入力ペン 20 1の方位ひ、傾き β、軸周りの回転 γにそれぞれ比例して変化する例を示したが、こ れに限らず、たとえば、回転角ではなく形状が 3次元奥行き方向（ζく 0)に何らかの変 化をしたり、ポインタの傾きが 3次元奥行き方向（ζく 0)に変化したりすることで、 3次元 奥行き方向（ζく 0)をポインティングできるのであればどのような変化であってもよい。 また、前記入力ペン 201の傾き、方位、回転にそれぞれ比例してポインタの傾き、方 位、回転を変化させる場合に限らず、たとえば、前記入力ペン 201の傾き、方位、回 転の 、ずれかが累乗あるいは累乗根等に比例するようにしてもよ!、。
[0317] なお、本実施例 2— 2では、前記入力装置 2として電磁誘導方式のペンタブレットを 用い、前記ペンタブレットの検出手段 (デジタイザ)を、前記表示装置 (液晶ディスプ レイ） 3の表示面と重ね合わせた場合を例に挙げた力 これに限らず、両者が別の位 置にあるような構成であってもよい。また、本実施例 2— 2では、前記入力装置 2と表 示装置 3の組み合わせとして、前記電磁誘導方式のペンタブレットと前記液晶ディス プレイを例に挙げて説明した力 これに限らず、たとえば、 PDA等で用いられているタ ツチパネルとスタイラスペンの組み合わせであってもよい。
[0318] また、本実施例 2— 2では、前記入力ペン 201の操作の一例として前記ペン先 201 Pと検出面の接触の有無を挙げた力 同様の効果が得られるのであればこの限りで はない。たとえば、前記入力ペン 201が備えるボタンが押された時間（または回数）、 ホイールの回転量や回転方向、スライドバーの移動量や移動方向によって前記ボイ ンタ 303の長さを変化させてもよい。また、前記ポインタ 303の長さの最大値と最小値 は、操作者が設定できるようにしてもよいし、あら力じめシステム制御装置 1で設定し ておいてもよい。
[0319] また、本実施例 2— 2では、前記ポインタ 303 (ポインタの先）が目的のオブジェクト 3 02の近辺にあるかどうかの判定を 10ピクセルの範囲内であるかどうかで判定したが、 この範囲は、システムの管理者や操作者が任意に設定、変更することが可能である。 同様に、前記ステップ 409'におけるポインティングしている時間の長さに関しても、シ ステムの管理者や操作者が任意に設定、変更することが可能である。
[0320] また、前記ポインタの形状は、ポインティングして 、る位置が視覚的に明瞭である形 状であれば、どのような形状でもよぐ図 8Aに示した平板状の矢印型のポインタ 303 aに限らず、たとえば、図 8Bに示すような円錐の底面に円柱が接続された立体的な 矢印型のポインタ 303b、図 8Cに示すような円錐型のポインタ 303c、図 8Dに示すよ うな人差し指でオブジェクトを指し示している人の手型のポインタ 303dであってもよ い。
[0321] また、本実施例 2— 2では、前記ポインタ 303がポインティングしている点は矢印型 ポインタの先 (矢印の先端）とした力 これにかぎらず、前記ポインタのどの部分にお Vヽてもポインティング可能とすることや、ポインタの先ではな 、他の一部とすることも可 能である。
[0322] また、本実施例 2— 2では、前記オブジェクト 302の例としてフォルダ型のオブジェク トを挙げた力 これに限らず、前記オブジェクト 302はどのような形状であってもよい。
[0323] また、本実施例 2— 2では、前記表示装置 3に表現される 3次元空間の座標系は、 前記実施例 2— 1と同様、すなわち図 4Aに示したように、表示面力 z = 0となるように 設定したが、 3次元が表現できるのであれば 3次元の原点はどこにとってもよぐまた デカルト座標系である必要もなぐたとえば円柱座標系や球座標系などでもよ ヽ。
[0324] また、本実施例 2— 2では、前記入力ペン 201の方位 α ,傾き β ,軸周りの回転 γ に注目した力 前記実施例 2— 1と同様、必ずしもそれらの要素をすベて用いる必要 はなぐたとえば、前記入力ペン 201の方位ひ，傾き β ,軸周りの回転 γは利用せず 、単に奥行き位置を変えるだけであってもよいし、前記入力ペン 201の方位 αおよび 傾き j8だけを用いてもよい。
[0325] [実施例 2— 3]
次に、実施例 2— 3について説明する。
[0326] 前記実施例 2— 1および実施例 2— 2では、前記入力装置 2の入力ペン 201の操作 にあわせて、前記表示装置 3に表現された 3次元空間 301上のポインタの表示制御 およびポインティングされたオブジェクトの表示制御に関するポインティング方法につ いて説明した。
[0327] し力しながら、前記実施例 2— 1および実施例 2— 2のような方法で前記 3次元空間 301上のオブジェクトをポインティングした場合、ポインティング後に前記オブジェクト の移動、編集、加工といった操作が伴うことが多い。そこで、本実施例 2— 3では、前 記 3次元空間 301上のオブジェクトをポインティングした後、前記オブジェクトを選択 または掴み、さらに、前記入力ペン 201を操作して前記ポインティングされたオブジェ タトを移動させる方法について説明する。ここでは、実施例 1—3で用いた図 11、 12 を参照して説明する。また、本実施例の処理手順を図 45を参照して説明する。なお 、図 45に示す処理手順は、第 1の実施の形態における図 13に示す処理手順に対応 するものである。
[0328] 本実施例 2— 3では、前記入力装置 2および前記表示装置 3はそれぞれ、前記実 施例 2— 1と同様に、電磁誘導方式のペンタブレットおよび液晶ディスプレイを用いる とする。また、前記ペンタブレット 2の検出手段 (デジタイザ）は、前記液晶ディスプレ ィ 3の表示面と重ね合わせてあるとする。
[0329] また、前記液晶ディスプレイ 3に表現される 3次元空間の座標系の取り方、前記ペン タブレット 2の入力ペン 201の操作方法等は、前記実施例 2— 1で説明したとおりであ るとする。また、前記ペンタブレット 2および表示装置 3は、図 41に示したような構成の システム制御装置 1に接続されて 、るとする。
[0330] また、本実施例 2— 3では、前記 3次元空間 301上のオブジェクトをポインティングし た後、選択または掴む方法については、前記実施例 2— 1や実施例 2— 2で説明した ような方法でよいので、説明は省略する。
[0331] 前記実施例 2— 1や実施例 2— 2と同様の方法によって、たとえば、図 11および図 1 2に示したようにオブジェクト 302をポインティングした後、前記オブジェクト 302の色 の変化などで前記オブジェクト 302をポインティングしたことを確認した操作者は、た とえば、前記実施例 2— 1や実施例 2— 2の方法を用いて前記ポインティングして 、る オブジェクト 302を選択、または掴む操作を行う。そして、前記オブジェクト 302を選 択または掴んだ状態であり、かつ、前記入力ペン 201のペン先 201Pを前記表示装 置 3の表示面 (検出手段の検出面）に接触させた状態で、前記入力ペン 201を所望 の位置に移動させると、図 11および図 12に示すように、前記入力ペン 201の移動に 追従して前記オブジェクト 302が 3次元空間 301内を移動する。そして、図示は省略 するが、前記入力ペン 201を所望の位置に移動させた後、たとえば、前記入力ペン 2 01の押しボタン 201Dを 1回押すなどの所定の操作を行うと、前記オブジェクト 302
3
の位置が確定し、前記入力ペン 201を移動させたりペン先 201Pを検出面力も離した りした後も、その位置にオブジェクト 302が表示される。このようにすると、前記ォブジ ェクト 302を元の位置から 3次元空間内の目的の位置にまで移動させることができる。
[0332] このとき、前記システム制御装置 1の前記入力情報取得手段 101は、前記表示装 置 2の検出手段 (デジタイザ)から、前記実施例 2— 1や実施例 2— 2で説明した前記 オブジェクトを選択または掴む操作に必要な情報とともに、たとえば、前記押しボタン 201Dが押されているという情報を取得する。そして、前記システム制御装置 1は、前
3
記オブジェクトを選択または掴む操作が行われていることから、前記操作者が、前記 オブジェクト 302を移動させる操作を行っていることを知ることができる。そのため、前 記ポインティング判定手段 104およびオブジェクト生成手段 105に、前記入力ペン 2 01の移動に追随するオブジェクトを生成させ、前記表示装置 3に表示させれば、上 述のようなオブジェクト 302の移動操作が可能となる。
[0333] このような 3次元ポインティング方法を実現させるためには、前記システム制御装置 1において、図 45に示したような処理を実行すればよい。なお、図 45における最初の 処理 (ステップ 420)は、前記 3次元空間 301上のオブジェクト 302を選択、または掴 むまでの処理であり、前記実施例 2— 1または実施例 2— 2で説明したとおりでょ ヽの で、詳細な説明は省略する。
[0334] 本実施例 2— 3の 3次元ポインティング方法では、前記システム制御装置 1は、前記 実施例 2— 1または実施例 2— 2で説明した手順によりオブジェクト 302を選択、また は掴む処理 (ステップ 420)を行った後、前記入力情報取得手段 101で前記ポインタ に関する情報を取得する (ステップ 421)。前記ステップ 421で取得する情報は、前記 入力ペン 201のペン先 201Pの位置（座標）、前記入力ペン 201の方位 α ,傾き j8 , 軸周りの回転 γなどの情報である。
[0335] 前記ステップ 421で前記入力ペン 201の状態を表す情報を取得したら、次に、前 記入力情報処理手段 109および前記ポインタ位置 Ζ回転角度算出手段 102におい て、取得した情報に基づくポインタ 303の位置、向き、長さ等を算出するとともに、前 記オブジェクト 302の位置、向きを算出する（ステップ 422)。前記ポインタの位置、向 き、長さ等の算出は、前記実施例 2—1や実施例 2— 2で説明したとおりであるので、 詳細な説明は省略する。また、前記オブジェクトの位置、向きは、たとえば、前記ボイ ンティングされたときのオブジェクトの基準位置と、前記ポインタでポインティングして V、る位置の相対的な位置関係力 前記ステップ 422で算出したポインタの位置でも 保存されるような位置、向きを算出する。
[0336] なお、前記実施例 2—1のように、前記入力ペン 201のペン先 201Pの位置 (座標） の情報のみを用い、前記入力ペン 201の方位ひ，傾き β ,軸周りの回転 γの情報を 利用しない場合には、前記ポインタの向きは常に一定としてポインタの表示を行う。そ のため、前記ステップ 422において、前記ポインタの向きを算出する必要はない。ま た、本実施例 2— 3のように、前記オブジェクト 302の移動が平行移動のみである場 合、前記オブジェクトの向きは常に一定としてオブジェクトの表示を行うため、前記ス テツプ 422において前記オブジェクトの向きを算出する必要はない。
[0337] そして、前記ステップ 422で前記ポインタ 303の位置、向き、長さ等と、前記ォブジ ェクト 302の位置、向きを算出したら、前記ポインタ生成手段 103で前記算出したボイ ンタの位置、向き、長さに基づくポインタを生成するとともに、前記オブジェクト生成手 段 105で前記算出したオブジェクトの位置、向きに基づくオブジェクトを生成し、それ らの表示信号を前記表示制御手段 106から前記表示装置 3に送り、前記ポインタお よびオブジェクトを表示させる (ステップ 423)。
[0338] 前記ステップ 423で前記ポインタおよびオブジェクトを表示させたら、たとえば、前 記入力情報処理手段 109において、前記入力ペン 201の押しボタン 201Dが押さ
3 れた力否かを判定し (ステップ 424)、押されていない場合は、再び前記入力ペンの 状態を取得し (ステップ 421)、前記ステップ 422およびステップ 423の処理を続行す る。一方、前記押しボタン 201D力^回押された場合は、前記オブジェクトの選択また
3
は掴んだ状態を解除するとともに、前記オブジェクト 302の表示状態を、前記押しボ タン 201Dが押される直前の位置、向きに固定する (ステップ 425)。そして、前記ポ
3
インタおよびオブジェクトの移動操作を終了する。
[0339] 前記システム制御装置 1において、以上のような処理を行うことにより、図 11および 図 12に示したようなオブジェクトのポインティング操作および移動操作が可能となる。 [0340] 以上説明したように、本実施例 2— 3の 3次元ポインティング方法によれば、前記ォ ブジェクトをポインティングした後、前記ポインティングされたオブジェクトを選択また は掴み、前記入力ペンの移動にあわせて、前記オブジェクトを平行移動させることが できる。
[0341] また、前記入力装置 2として、一般的なペンタブレットを用い、前記入力ペン 201の ペン先 201Pを前記検出手段に接触させた状態で、オブジェクトをポインティングした 後、選択または掴み、さらに移動させることができるので、操作者の疲労を軽減するこ とがでさる。
[0342] また、本実施例 2— 3で説明したように、前記入力装置 2の検出手段を、前記表示 装置 (液晶ディスプレイ） 3の表示面と重ね合わせておけば、前記操作者は、前記表 示面上で前記入力ペンの操作を行うことができる。このよう〖こすると、前記ポインタ 30 3が前記入力ペン 201のペン先 201Pの一部であるかのような視覚効果が得られ、前 記オブジェクト 302の正確なポインティングおよび移動が容易になり、かつ直感的な ポインティングおよび移動が可能となる。
[0343] なお、本実施例 2— 3では、前記入力装置 2として電磁誘導方式のペンタブレットを 用い、前記ペンタブレットの検出手段 (デジタイザ)を、前記表示装置 (液晶ディスプ レイ） 3の表示面と重ね合わせた場合を例に挙げた力 これに限らず、両者が別の位 置にあるような構成であってもよい。また、本実施例 2— 3では、前記入力装置 2と表 示装置 3の組み合わせとして、前記電磁誘導方式のペンタブレットと前記液晶ディス プレイを例に挙げて説明した力 これに限らず、たとえば、 PDA等で用いられているタ ツチパネルとスタイラスペンの組み合わせであってもよい。
[0344] また、前記ポインタの形状は、ポインティングして 、る位置が視覚的に明瞭である形 状であれば、どのような形状でもよぐ図 8Aに示した平板状の矢印型のポインタ 303 aに限らず、たとえば、図 8Bに示すような円錐の底面に円柱が接続された立体的な 矢印型のポインタ 303b、図 8Cに示すような円錐型のポインタ 303c、図 8Dに示すよ うな人差し指でオブジェクトを指し示している人の手型のポインタ 303dであってもよ い。
[0345] また、本実施例 2— 3では、前記ポインタ 303がポインティングして 、る点は矢印型 ポインタの先 (矢印の先端）とした力 これに限らず、前記ポインタのどの部分におい てもポインティング可能とすることや、ポインタの先ではな 、他の一部とすることも可能 である。
[0346] また、本実施例 2— 3では、前記オブジェクト 302の例としてフォルダ型のオブジェク トを挙げた力 これに限らず、前記オブジェクト 302はどのような形状であってもよい。
[0347] また、本実施例 2— 3では、前記表示装置 3に表現される 3次元空間の座標系は、 前記実施例 2— 1と同様、すなわち図 4Aに示したように、表示面力 z = 0となるように 設定したが、 3次元が表現できるのであれば 3次元の原点はどこにとってもよぐまた デカルト座標系である必要もなぐたとえば円柱座標系や球座標系などでもよ ヽ。
[0348] また、本実施例 2— 3では、選択または掴んだオブジェクト 302を、所望の位置まで 移動させた後、前記入力ペン 201の押しボタン 201Dを 1回押すことで、前記ォブジ
3
ェタトの移動操作を終了させた力 これに限らず、たとえば、前記押しボタン 201Dの
3 代わりにキーボードの特定のキーや他のスィッチを用いるなど、同様の効果が得られ るのであれば、どのような方法で移動操作を終了させてもょ 、。
[0349] [実施例 2— 4]
次に、実施例 2— 4について説明する。
[0350] 前記実施例 2— 3では、前記表示装置 3で表現された 3次元空間 301上のオブジェ タト 302をポインティングした後、前記ポインティングされたオブジェクト 302を選択、ま たは掴み、前記オブジェクト 302を平行移動させることが可能な 3次元ポインティング 方法について説明した。
[0351] し力しながら、前記表示装置 3で表現された 3次元空間 301上では、前記実施例 2
3で説明したような単純なオブジェクトの平行移動だけでなく、 3次元空間 301を有 効に利用し、たとえば、前記ポインティングされたオブジェクトを、前記 3次元空間内 で奥行き方向に傾けることも想定される。そこで、本実施例 2— 4では、実施例 1—4と 同様に、オブジェクトをポインティングし、選択または掴んだ後、続けて前記ポインティ ングされたオブジェクトを、前記 3次元空間内で奥行き方向に傾けるようなポインティ ング方法について説明する。ここでは、実施例 1— 4で用いた図 14A〜15Cを参照し て説明を行う。 [0352] 本実施例 2— 4では、前記入力装置 2および前記表示装置 3はそれぞれ、前記実 施例 2— 1と同様に、電磁誘導方式のペンタブレットおよび液晶ディスプレイを用いる とする。また、前記ペンタブレット 2の検出手段 (デジタイザ）は、前記液晶ディスプレ ィ 3の表示面と重ね合わせてあるとする。
[0353] また、前記液晶ディスプレイ 3に表現される 3次元空間の座標系の取り方、前記ペン タブレット 2の入力ペン 201の操作方法等は、前記実施例 2— 2で説明したとおりであ るとする。また、前記ペンタブレット 2および表示装置 3は、図 41に示したような構成の システム制御装置 1に接続されて 、るとする。
[0354] また、本実施例 2—4では、前記 3次元空間 301上のオブジェクトをポインティングし た後、選択または掴む方法については、前記実施例 2— 1や実施例 2— 2で説明した ような方法でよいので、説明は省略する。
[0355] 前記実施例 2— 1や実施例 2— 2と同様の方法によって、たとえば、図 14Aおよび図 15Aに示すように、オブジェクト 302をポインティングした後、前記オブジェクト 302を 選択または掴む。そして、前記オブジェクト 302を選択または掴んだ状態で前記入力 ペン 201を所望の向きにすると、図 14Bおよび図 15B、あるいは図 14Cおよび図 15 Cに示したように、前記入力ペン 201の向きの変化に追従して前記オブジェクト 302 力 S3次元空間 301内で奥行き方向に傾く。このようにするとオブジェクト 302を前記 3 次元空間 301上で任意の向きに傾けることができる。このとき、前記システム制御装 置 1の前記入力情報取得手段 101は、前記実施例 2— 1や実施例 2— 2におけるォ ブジエタトの選択または掴む操作に必要な情報を取得する。そして、前記システム制 御装置 1は、前記実施例 2— 1や実施例 2— 2におけるオブジェクトの選択または掴 む操作が行われていることから、前記操作者が、前記オブジェクト 302を移動させる 操作を行っていることを知ることができる。そのため、前記ポインティング判定手段 10 4およびオブジェクト生成手段 105に、前記入力ペン 201の向きの変化を追随するォ ブジェクトを生成させ、前記表示装置 3に表示させれば、上述のようなオブジェクト 30 2の移動操作が可能となる。
[0356] このような 3次元ポインティング方法を実現させるためには、前記システム制御装置 1において、たとえば、図 45に示したような処理を実行すればよい。 [0357] ただし、本実施例 2— 4において、図 14A〜Cに示したような操作を実行する場合、 前記ステップ 422で前記オブジェクトの位置、向きを算出するときには、たとえば、前 記ポインティングされたときのオブジェクトと前記ポインタの相対的な位置関係が全て 保存されるような位置、向きを算出する。
[0358] 前記システム制御装置 1において、以上のような処理を行うことにより、図 14A,図 1 4B,図 14Cに示したようなオブジェクトのポインティング操作および奥行き方向に傾 ける操作が可能となる。
[0359] 以上説明したように、本実施例 2— 4の 3次元ポインティング方法によれば、前記ォ ブジェクトをポインティングし、選択または掴んだ後、前記オブジェクトを、前記入力べ ン 201の向きの変化に合わせて、 3次元空間内で回転させたり、奥行き方向に傾け たりすることができる。
[0360] また、前記入力装置 2として、一般的なペンタブレットを用い、前記入力ペン 201の ペン先 201Pを前記検出手段に接触させた状態で、オブジェクトをポインティングし、 移動させることができるので、操作者の疲労を軽減することができる。
[0361] また、本実施例 2— 4で説明したように、前記入力装置 2の検出手段を、前記表示 装置 (液晶ディスプレイ） 3の表示面と重ね合わせておけば、前記操作者は、前記表 示面上で前記入力ペンの操作を行うことができる。このよう〖こすると、前記ポインタ 30 3が前記入力ペン 201のペン先 201Pの一部であるかのような視覚効果が得られ、前 記オブジェクト 302の正確なポインティングが容易になり、かつ直感的なポインティン グが可能となる。
[0362] なお、本実施例 2— 4では、前記入力装置 2として電磁誘導方式のペンタブレットを 用い、前記ペンタブレットの検出手段 (デジタイザ)を、前記表示装置 (液晶ディスプ レイ） 3の表示面と重ね合わせた場合を例に挙げた力 これに限らず、両者が別の位 置にあるような構成であってもよい。また、本実施例 2— 4では、前記入力装置 2と表 示装置 3の組み合わせとして、前記電磁誘導方式のペンタブレットと前記液晶ディス プレイを例に挙げて説明した力 これに限らず、たとえば、 PDA等で用いられているタ ツチパネルとスタイラスペンの組み合わせであってもよい。
[0363] また、前記ポインタの形状は、ポインティングして 、る位置が視覚的に明瞭である形 状であれば、どのような形状でもよぐ図 8Aに示した平板状の矢印型のポインタ 303 aに限らず、たとえば、図 8Bに示すような円錐の底面に円柱が接続された立体的な 矢印型のポインタ 303b、図 8Cに示すような円錐型のポインタ 303c、図 8Dに示すよ うな人差し指でオブジェクトを指し示している人の手型のポインタ 303dであってもよ い。
[0364] また、本実施例 2— 4では、前記ポインタ 303がポインティングして 、る点は矢印型 ポインタの先 (矢印の先端）とした力 これに限らず、前記ポインタのどの部分におい てもポインティング可能とすることや、ポインタの先ではな 、他の一部とすることも可能 である。
[0365] また、本実施例 2— 4では、前記オブジェクト 302の例としてフォルダ型のオブジェク トを挙げた力 これに限らず、前記オブジェクト 302はどのような形状であってもよい。
[0366] また、本実施例 2— 4では、前記表示装置 3に表現される 3次元空間の座標系は、 前記実施例 2— 1と同様、すなわち図 4Aに示したように、表示面力 z = 0となるように 設定したが、 3次元が表現できるのであれば 3次元の原点はどこにとってもよぐまた デカルト座標系である必要もなぐたとえば円柱座標系や球座標系などでもよ ヽ。
[0367] また、本実施例 2— 4では、前記実施例 2— 1または実施例 2— 2の方法により前記 オブジェクト 302を選択または掴み、移動させた後、たとえば、実施例 2— 3で説明し たように前記入力ペン 201の押しボタン 201Dを押すことで前記オブジェクト 302の
3
移動操作を終了させる力 これに限らず、たとえば、前記押しボタン 201Dの代わり
3 にキーボードの特定のキーや他のスィッチを用いるなど、同様の効果が得られるので あれば、どのような方法で移動操作を終了させてもょ 、。
[0368] また、本実施例 2—4では、前記ポインティングされたオブジェクト 302を 3次元空間 内で回転させたり、奥行き方向へ傾けさせたりする操作方法を説明したが、この操作 方法に、前記実施例 2— 3で説明したような平行移動させる操作方法を加えることで、 より多彩なオブジェクト操作を行うことが可能となる。
[0369] [実施例 2— 5]
次に、実施例 2— 5を説明する。
[0370] 前記実施例 2— 3および実施例 2— 4では、前記実施例 2— 1や実施例 2— 2で説明 した方法で前記表示装置 3に表現された 3次元空間 301内にあるオブジェクト 302を ポインティングし、選択または掴んだ後、前記ポインティングされたオブジェクト 302を 平行移動または回転させたり、奥行き方向に傾けさせたりするという操作を行うことが 可能な 3次元ポインティング方法について説明した。しかしながら、前記 3次元空間 3 01内にあるオブジェクト 302をポインティングし、選択または掴んだ後、前記操作者 が続けて行いたい操作には、前記オブジェクト 302の移動や回転だけでなぐ編集や 変形等の、これまでの 2次元 GUI的な操作もある。そこで、本実施例 2— 5では、実施 例 1 5と同様に、前記オブジェクトを選択または掴んだ後、前記オブジェクトを 2次 元 GUI的な操作が適用できる位置に自動的に移動させ、操作者が目的の編集、変形 等を行った後に、また操作者の望む 3次元位置に戻すような操作が可能な 3次元ボイ ンティング方法について説明する。ここでは、実施例 1— 5で用いた図 16A〜19Dを 参照して説明を行う。また、図 46を参照して本実施例 2— 5の処理手順を説明する。 図 46に示す処理手順は、第 1の実施の形態における図 20で示した処理手順に対応 するものである。
[0371] また、本実施例 2— 5では、前記入力装置 2は前記各実施例と同様の電磁誘導方 式のペンタブレットを用いるとし、前記 3次元空間を表現可能な表示装置 3として DFD を用いた場合を例に挙げてポインティング方法およびそれに続くオブジェクトの操作 方法について説明する。
[0372] 前記 DFDの原理は、図 16A、 Bを参照して実施例 1—5で説明した通りである。本 実施例においても、前記表示装置 3として前記 DFDを用いた場合も、前記各実施例 で説明したように、前記入力装置 (ペンタブレット） 2の検出手段 (デジタイザ)を、前記 DFDの表示面と重ね合わせることが可能である。また、前記電磁誘導方式のペンタ ブレットの場合、前記検出手段の検出面上に Δ ζの検出可能範囲があるため、前記 入力ペンのペン先が前記検出面に接触していなくても前記入力ペンの位置、傾き、 方位などの情報を検出することができる。そのため、 DFDのような表示面の間に空間 がある場合でも、前記検出手段を DFD表示装置の裏側に配置しておけば前記ペン の位置、傾き、方位などの情報は取得可能であることは当業者であれば容易に推測 でき、実現することが可能である。さらに、現在は前記検出手段を表示面の裏側に配 置することが多いが、前記検出手段が透明電極であれば表示面の裏側でなぐ表側 に配置することも可能である。このように、前記検出手段を DFDの表示面と重ね合わ せることで、前記 DFDにおける手前側の表示面上で前記入力ペンを操作し、直接ポ インティングが可能である。そこで、本実施例 2— 5でも電磁誘導方式のペンタブレツ ト 2の検出手段と DFDの表示面は重ね合わさって 、るとする。
[0373] また、本実施例 2— 5では、前記 DFD3の表示面は 2枚であるとし、図 17Aおよび図 17Bに示すように、前記 DFD3に表現された 3次元空間 301の中に、図 2で示した座 標系 XYZと対応させた座標系 XYZを設定し、オブジェクト 302を 3次元空間 301内 の zく 0の位置に配置されているとする。またこのとき、前記入力装置 2の入力ペン 201 を操作する操作者は、前記 3次元空間 301の XY平面を、 z〉0の方向カゝら観察してい るとする。
[0374] また、本実施例 2— 5では、前記操作者から見て手前にある表示面 3Aを z = 0とし、 前記手前にある表示面 3Aが、前記入力装置 2の検出手段の検出面であるとする。
[0375] 前記操作者が、たとえば、前記実施例 2— 1や実施例 2— 2で説明した方法で、図 1 8Aおよび図 19Aに示すように、前記 3次元空間 301上に立体的に表示されたォブ ジェタト 302をポインティングしたとする。そして、前記オブジェクト 302の色などが変 化することにより前記オブジェクト 302がポインティングされていることを確認した操作 者は、たとえば、前記実施例 2—1や実施例 2— 2の方法を用いて前記オブジェクト 3 02を選択、または掴む操作を行う。これにより、前記ポインティングされたオブジェクト 302は、たとえば、図 18Bおよび図 19Bに示すように、前記 DFDの手前の表示面 3A に 2次元物体として表示され、ポインタ 303が消える。図 18Aでは、前記オブジェクト 302が z方向に厚みのな!、オブジェクトとして表示されて!、るが、これが z方向にも厚 みを持つような立体オブジェクトであった場合も、この過程においては DFDを用いた 3 次元立体表示は行わず、あくまで 2次元として DFDの手前の表示面 3Aに投影像とし て像を表示する。
[0376] ここで操作者は、前記オブジェクト 302上で、たとえば文字を書く等の目的の操作を 、 2次元 GUIの操作として行う。そして、 2次元 GUIの操作が終了した後、たとえば、前 記入力ペン 201の押しボタン 201Dを押すと、ポインタ 303が再び現れ、前記実施 例 2— 3や実施例 2— 4で説明したような手順で、たとえば、図 18Cおよび図 19C、あ るいは図 18Dおよび図 19Dに示すように、操作者の望む 3次元位置にオブジェクト 3 02を移動したり、奥行き方向に傾けさせたりできるようになる。
[0377] このような 3次元ポインティング方法を実現させるためには、前記システム制御装置 1において、図 46に示したような処理を実行すればよい。なお、図 46における最初の 処理 (ステップ 420)は、前記 3次元空間 301上のオブジェクト 302を選択、または掴 むまでの処理であり、前記実施例 2— 1または実施例 2— 2で説明したとおりでょ ヽの で、詳細な説明は省略する。
[0378] 本実施例 2— 5の 3次元ポインティング方法では、前記実施例 2— 1または実施例 2 —2で説明した手順によりオブジェクト 302を選択、または掴む処理 (ステップ 420)が 行われると、前記システム制御装置 1は、 2次元 GUI的な操作、編集、加工を開始す るための操作が行われたと判定する。そのため、次に、たとえば、前記表示装置 3に 表示しているポインタ 303を非表示にし (ステップ 426)、前記選択または掴んだォブ ジェタト 302の射影を前記操作者から見て一番近 、表示面 3Aに表示する (ステップ 427)。これにより、前記オブジェクト 302の 2次元 GUI的な操作、編集、加工が可能な 状態になる。
[0379] 前記オブジェクト 302の 2次元 GUI的な操作、編集、加工が可能な状態になった後 は、前記入力ペン 201からの 2次元 GUI的な操作を受け付け、実行する (ステップ 42 8)。また、前記操作者が、たとえば、前記入力ペン 201の押しボタン 201Dを 1回押
3 すなどの、 2次元 GUI的な操作、編集、加工を終了するための操作を行ったか否かを 判定する (ステップ 429)。このとき、前記 2次元 GUI的な操作、編集、加工を終了する ための操作を行っていなければ、さらに他の 2次元 GUI的な操作、編集、加工を受け 付け、実行する。一方、 2次元 GUI的な操作、編集、加工を終了するための操作を行 つた場合は、 2次元 GUI的な操作を行うモードから、前記実施例 2— 3または実施例 2 4で説明したような処理を行うモードに戻り、前記実施例 2— 3または実施例 2— 4 で説明したような手順で前記オブジェクトを平行移動、回転、傾けるといった操作を行 うことができる (ステップ 430)。前記ステップ 430は、前記実施例 2— 3または実施例 2 —4で説明した手順で処理を行えばよいので、詳細な説明は省略する。 [0380] 前記システム制御装置 1において、以上のような処理を行うことにより、図 18A,図 1 8B,図 18C,図 18Dのようなポインタの表示制御、オブジェクトの 3次元的な移動等 の操作、前記オブジェクトの 2次元 GUI的な操作が可能となる。
[0381] 以上説明したように、本実施例 2— 5の 3次元ポインティング方法によれば、前記入 力ペン 201の操作だけで、前記実施例 2— 1から実施例 2— 4で説明したようなポイン タの 3次元的な表示制御およびオブジェクトの 3次元的な移動等の操作に加え、前記 オブジェクトの 2次元 GUI的な操作、編集、加工を行うことが可能である。そのため、 操作者は、オブジェクトの 2次元 GUI的な操作、編集、加工を行うための新たな 3次元 操作を習得する必要がな 、。
[0382] また、本実施例 2— 5の 3次元ポインティング方法では、前記実施例 2— 1または実 施例 2— 2の方法により前記オブジェクトを選択、または掴むことで、 3次元的なポイン ティングを行うモードから、前記オブジェクトの 2次元 GUI的な操作、編集、加工を行う モードに切り替え、前記システム制御装置 1の前記入力情報取得手段 101で取得し た情報を、前記オブジェクトの 2次元 GUI的な操作、編集、加工を行うための情報とし て処理するようにした力 前記オブジェクトをポインティングする操作の後に、キーボ ードの特定のキーや他のスィッチを操作することで前記オブジェクトの 2次元 GUI的な 操作、編集、加工を行うモードに切り替えるようにしてもよい。
[0383] また、本実施例 2— 5では、前記入力装置 2である電磁誘導方式のペンタブレットの 検出手段 (デジタイザ)を、 3次元空間を表示できる表示装置 3である DFDの表示面と 重ね合わせている例を挙げて説明したが、これに限らず、両者が別の位置にあるよう な構成であってもよい。また、本実施例 2— 5では、前記表示装置 3として DFDを用い たが、これに限らず、前記実施例 2—1から実施例 2— 4で説明したような液晶ディス プレイ等の表示装置を用いてもょ ヽ。
[0384] また、本実施例 2— 5では、 目的のオブジェクト 302の例として 2次元的な 4角形の オブジェクトを挙げている力 これに限らず、前記オブジェクト 302の形状はどのような 形状であってもよい。
[0385] また、本実施例 2— 5では、前記表示装置 3に表現される 3次元空間の座標系は、 前記実施例 2— 1と同様、すなわち図 4Aに示したように、表示面力 z = 0となるように 設定したが、 3次元が表現できるのであれば 3次元の原点はどこにとってもよぐまた デカルト座標系である必要もなぐたとえば円柱座標系や球座標系などでもよ ヽ。
[0386] また、本実施例 2— 5では、前記入力ペン 201の押しボタン 201Dの操作で、前記
3
2次元 GUI的な操作、編集、加工を行うモードを終了させたが、これに限らず、たとえ ば、前記押しボタン 201Dの代わりにキーボードの特定のキーや他のスィッチを用い
3
るなど、同様の効果が得られるのであれば、どのような方法で終了させてもよい。
[0387] また、本実施例 2— 5では、前記オブジェクト 302に 2次元 GUI的な編集を行う例とし て、たとえば、図 18Cに示したように「A」という文字を記入する場合を挙げた力 前記 オブジェクト 302がファイルを表すオブジェクトで、それをポインティング後、 2次元 GU I操作が行われる時に、前記ファイルが開いてその内容を操作者が 2次元 GUI上で編 集し、ファイルを閉じた後に操作者の望む 3次元位置に移動可能であるなどとしても よい。
[0388] [実施例 2— 6]
本実施例 2— 6の 3次元ポインティング方法は、前記実施例 2— 5で説明した 3次元 ポインティング方法の応用例の 1つであり、 3次元空間 301内にあるオブジェクト 302 を前記実施例 2— 1や実施例 2— 2の方法でポインティングし、選択または掴んだ後、 前記オブジェクト 302を操作者が操作しやす 、位置、すなわちこれまでの 2次元 GUI 操作が適用できる位置に自動的に移動させ、操作者が目的の編集、加工等を行う。 そして、 目的の編集、加工が終了した後に、操作者が諸操作を行うと、前記オブジェ タト 302が操作者力もみて 3次元奥行き方向にある他のオブジェクトに干渉するまで 移動し、前記他のオブジェクトに干渉した後、前記他のオブジェクトの持つ属性によ つて移動してきたオブジェクトの状態を変化させるポインティング方法である。本実施 例 2— 6では実施例 1—6で用いた図 21A〜25Cを参照して説明を行う。また、本実 施例 2— 6の処理手順を図 47を参照して説明する。図 47に示す処理手順は、第 1の 実施の形態における図 26で示した処理手順に対応するものである。
[0389] 本実施例 2— 6では、前記実施例 2— 5と同様に、前記入力装置 2として電磁誘導 式のペンタブレットを用い、前記表示装置 3として DFDを用いた場合を例に挙げて、 ポインティング方法およびオブジェクトの操作方法について説明する。 [0390] また、前記入力装置 (ペンタブレット） 2の検出手段 (デジタイザ）は、前記表示装置 ( DFD) 3の表示面と重ね合わせ一体的に設けられているとする。
[0391] また、本実施例 2— 6の 3次元ポインティング方法を説明するにあたって、たとえば、 図 21Aおよび図 21Bに示すように、前記 DFD3の 2枚の表示面 3A, 3Bの間に表現さ れた 3次元空間 301の中に、座標系 XYZを設定し、オブジェクト 302とウィンドウ 304 を 3次元空間 301内の zく 0の位置に配置した場合を例に挙げる。
[0392] 前記オブジェクト 302の操作をしたい操作者は、まず、図 22Aおよび図 24Aに示す ように、前記実施例 2— 1や実施例 2— 2で説明した方法で前記オブジェクト 302をポ インティングし、選択または掴む操作を行う。これにより、前記選択または掴んだォブ ジェタト 302は、前記 DFDの手前の表示面 3Aに 2次元物体として表示され、前記ポィ ンタ 303が消える。本実施例 2— 6では、前記オブジェクト 302が z方向に厚みのない オブジェクトである力 これ力 方向にも厚みを持つような立体オブジェクトであった場 合も、この過程においては DFDを用いた 3次元立体表示は行わず、あくまで 2次元と して DFDの前面の表示面 3Aに投影像として表示する。
[0393] このように、前記オブジェクト 302の表示方法が変わると、前記 3次元空間 301上で 2次元 GUIの操作を行うことが可能な状態になるので、前記操作者は、前記入力ペン 201で、たとえば、図 22Cおよび図 24Cに示すように、前記オブジェクト 302上に文 字を書く等の目的の操作を 2次元 GUIの操作として行うことができる。そして、前記操 作者が続けて、図 23Aおよび図 25Aに示すように、前記オブジェクト 302を所望の位 置まで 2次元的な操作で移動させた後、たとえば、前記入力ペン 201の押しボタン 2 01Dを 1回押すと、図 23Bおよび図 25Bに示すように、前記オブジェクト 302は、前
3
記操作者からみて 3次元奥行き方向（zく 0)に、ウィンドウ 304と干渉するまで移動す る。このとき、前記オブジェクト 302の前記 3次元奥行き方向の z座標が段階的に小さ くなるようなアニメーションをつけると、前記操作者に移動の過程が伝わりやすい。そ して、前記オブジェクト 302が前記ウィンドウ 304と干渉すると、前記オブジェクト 302 に対して、前記ウィンドウ 304の持つ属性として、ウィンドウ上に移動する動作が実行 される。
[0394] またこのとき、図 23Bおよび図 25Bに示したように、前記オブジェクト 302を自動的 に 3次元奥行き方向（zく 0)に移動させる代わりに、たとえば、前記実施例 2— 5で説 明したように、前記入力ペン 201の押しボタン 201Dを押してから 3次元的なォブジ
3
ェクト操作モードに切り替えた上で、前記オブジェクト 302を 3次元奥行き方向（zく 0) に移動させ、前記ウィンドウ 304と干渉する位置まで移動させることも可能である。
[0395] このような 3次元ポインティング方法を実現させるためには、前記システム制御装置 1において、図 47に示したような処理を実行すればよい。なお、図 47における最初の 処理 (ステップ 420)は、前記 3次元空間 301上のオブジェクト 302を選択、または掴 むまでの処理であり、前記実施例 2— 1または実施例 2— 2で説明したとおりでょ ヽの で、詳細な説明は省略する。
[0396] 本実施例 2— 6の 3次元ポインティング方法では、前記実施例 2— 1または実施例 2 —2で説明した手順によりオブジェクト 302を選択、または掴む処理 (ステップ 420)が 行われると、前記システム制御装置 1は、 2次元 GUI的な操作、編集、加工を開始す るための操作が行われたと判定する。そのため、次に、たとえば、前記表示装置 3に 表示しているポインタ 303を非表示にし (ステップ 426)、前記選択または掴んだォブ ジェタト 302の射影を前記操作者から見て一番近 、表示面 3Aに表示する (ステップ 427)。これにより、前記オブジェクト 302の 2次元 GUI的な操作、編集、加工が可能な 状態になる。
[0397] 前記オブジェクト 302の 2次元 GUI的な操作、編集、加工が可能な状態になった後 は、前記入力ペン 201からの 2次元 GUI的な操作を受け付け、実行する (ステップ 42 8)。また、前記操作者が、たとえば、前記入力ペン 201の押しボタン 201Dを 1回押
3 すなどの、 2次元 GUI的な操作、編集、加工を終了するための操作を行ったか否かを 判定する (ステップ 429)。このとき、前記 2次元 GUI的な操作、編集、加工を終了する ための操作を行っていなければ、さらに他の 2次元 GUI的な操作、編集、加工を受け 付け、実行する。一方、 2次元 GUI的な操作、編集、加工を終了するための操作を行 つた場合は、 2次元 GUI的な操作を行うモードから、前記実施例 2—1から実施例 2— 4で説明したような 3次元的なポインティング操作を行うモードに戻る。これにより、前 記システム制御装置 1では、前記オブジェクト 302の奥行き方向に、前記ウィンドウ 30 4のような前記オブジェクト 302と干渉する他のオブジェクトがあるか否かの判定を行 う（ステップ 431)。そして、干渉する他のオブジェクトがある場合は、たとえば、図 23B および図 25Bに示したように、前記他のオブジェクト（ウィンドウ 304)に干渉するまで 、前記オブジェクト 302を 3次元奥行き方向（zく 0)に移動させて表示する (ステップ 43 2)。そして、前記他のオブジェクトと干渉した時点で前記オブジェクト 302の 3次元奥 行き方向への移動を止め、前記オブジェクト 302に対して、前記干渉する他のォブジ ェタトの持つ属性を実行する (ステップ 433)。
[0398] 一方、前記オブジェクト 302と干渉する他のオブジェクトがない場合は、前記ォブジ ェクト 302をあら力じめ定められた奥行き位置、たとえば、前記ステップ 426以降の処 理を行う直前と同じ奥行き位置まで移動させて表示する (ステップ 434)。
[0399] 前記システム制御装置 1において、図 47に示したような手順の処理を行うことにより 、図 22A,図 22B,図 23C,図 23A,図 23B,図 23Cのような一連のポインタの表示 制御、オブジェクトの 3次元的な移動等の操作、前記オブジェクトの 2次元 GUI的な操 作が可能となる。
[0400] 以上説明したように、本実施例 2— 6の 3次元ポインティング方法によれば、 3次元 空間 301内にあるオブジェクト 302をポインティングし、選択または掴むことで、前記 オブジェクト 302を操作者が操作しやす 、位置まで自動的に移動させ、これまでの 2 次元 GUI操作により目的の操作、編集、加工等を行うとともに、前記目的の操作、編 集、加工が終了した後に、前記オブジェクト 302を操作者からみて 3次元の奥行き方 向に移動させるとともに、移動させたオブジェクト 302と干渉する他のオブジェクトが 存在する場合に、前記他のオブジェクトの持つ属性によって移動させた前記ォブジ ェクト 302の状態を変化させることができる。
[0401] また、本実施例 2— 6の 3次元ポインティング方法では、前記オブジェクトを選択、ま たは掴むことで、 3次元的なポインティング操作を行うモード力 オブジェクトの 2次元 GUI的な操作、編集、加工を行うモードに切り替え、前記システム制御装置 1の前記 入力情報取得手段 101で取得した情報を、前記オブジェクトの 2次元 GUI的な操作、 編集、加工を行うための情報として処理するようにした力 前記オブジェクトをポイン ティングする操作の後に、キーボードの特定のキーや他のスィッチを操作することで 前記オブジェクトの 2次元 GUI的な操作、編集、加工を行うモードに切り替えるようにし てもよい。
[0402] また、本実施例 2— 6では、前記入力装置 2である電磁誘導方式のペンタブレットの 検出手段 (デジタイザ)を、 3次元空間を表示できる表示装置 3である DFDの表示面と 重ね合わせている例を挙げて説明したが、これに限らず、両者が別の位置にあるよう な構成であってもよい。また、本実施例 2— 6では、前記表示装置 3として DFDを用い たが、これに限らず、前記実施例 2—1から実施例 2— 4で説明したような液晶ディス プレイ等の表示装置を用いてもょ ヽ。
[0403] また、本実施例 2— 6では、 目的のオブジェクト 302の例として 2次元的な 4角形の オブジェクトを挙げていた力 これに限らず、前記オブジェクト 302の形状はどのよう な形状であってもよい。
[0404] また、本実施例 2— 6では、前記表示装置 3に表現される 3次元空間の座標系は、 前記実施例 2— 1と同様、すなわち図 4Aに示したように、表示面力 z = 0となるように 設定したが、 3次元が表現できるのであれば 3次元の原点はどこにとってもよぐまた デカルト座標系である必要もなぐたとえば円柱座標系や球座標系などでもよ ヽ。
[0405] また、本実施例 2— 6では、前記入力ペン 201の押しボタン 201Dの操作で、前記
3
2次元 GUI的な操作、編集、加工を行うモードを終了させたが、これに限らず、たとえ ば、前記押しボタン 201Dの代わりにキーボードの特定のキーや他のスィッチを用い
3
るなど、同様の効果が得られるのであれば、どのような方法で終了させてもよい。
[0406] また、本実施例 2— 6では、前記オブジェクト 302に 2次元 GUI的な編集を行う例とし て、たとえば、図 22Cに示したように「B」という文字を記入する場合を挙げた力 前記 オブジェクト 302がファイルを表すオブジェクトで、それをポインティング後、 2次元 GU I操作が行われる時に、前記ファイルが開いてその内容を操作者が 2次元 GUI上で編 集し、ファイルを閉じた後に操作者の望む 3次元位置に移動可能であるなどとしても よい。
[0407] また、本実施例 2— 6では、前記他のオブジェクトの例としてウィンドウ 304を挙げ、 前記ウィンドウ 304と干渉したときにファイルを移動するという属性を実行する場合に ついて説明したが、これに限らず、たとえば、他のアプリケーション実行用のアイコン と干渉したときにファイルを実行するという属性を実行させることも可能である。またそ の他にも、実施例 1—6と同様に、ゴミ箱オブジェクトと干渉したときにファイルを削除 するという属性を実行させることも可能である。
[0408] 以下、実施例 1 6で用いた図 28A〜図 32Cを参照して本実施例 2— 6の 3次元ポ インティング方法でオブジェクトを削除する方法について説明する。
[0409] 本実施例 2— 6の 3次元ポインティング方法では、前述のように、オブジェクト 302を ウィンドウ 304に移動させるだけでなぐたとえば、オブジェクト 302をゴミ箱オブジェク トに移動させ、削除することもできる。そこで、図 28Aおよび図 28Bに示すように、前 記 DFD3の 2枚の表示面の間に表現された 3次元空 301間の中に、座標系 XYZを設 定し、オブジェクト 302とゴミ箱オブジェクト 305が 3次元空間 301内の z〈0の位置に 配置されて場合を例に挙げ、前記オブジェクト 302の削除手順について説明する。
[0410] このとき、前記オブジェクト 302を削除したい操作者は、まず、図 29Aおよび図 31A に示すように、前記入力ペン 201を操作して削除したいオブジェクト 302をポインティ ングし、選択または掴む操作を行う。これにより、図 29Bおよび図 31Bに示すように、 前記ポインティングされたオブジェクト 302が、前記手前の表示面 3Aに移動し、 2次 元 GUI操作が可能な状態に変わる。ここで、前記操作者が、たとえば、図 30Aおよび 図 32Aに示したように、前記ポインティングしたオブジェクト 302をゴミ箱オブジェクト 3 05上まで移動させ、たとえば、前記入力ペン 201のボタン 201Dを 1回押すなどの
3
特定の操作をすると、前記 2次元 GUI操作が可能な状態から、 3次元ポインティングが 可能な状態に戻る。そして、前記システム制御装置 1で行われる処理力 図 47に示し たような手順である場合は、 3次元ポインティングが可能な状態に戻った後、前記ォ ブジェクト 302が自動的に 3次元奥行き方向（zく 0)に移動し、前記ゴミ箱オブジェクト 305と干渉した時点で、図 30Bおよび図 32Bに示すように、前記オブジェクト 302の 表示が消え、前記ゴミ箱 305がゴミ (オブジェクト）が入っている状態の表示に切り替 わる。
[0411] このように、本実施例 2— 6の 3次元ポインティング方法は、前記オブジェクト 302と 干渉したオブジェクトが、前記オブジェクト 302に対して、属性を実行することが可能 であれば、どのような属性を持つオブジェクトであってもよ!/、。
[0412] [実施例 2— 7] 次に、実施例 2— 7について説明する。図 48および図 49は本実施例 2— 7の 3次元 ポインティング方法で用いる入力ペンの構成例を示す図である。
[0413] 本実施例 2— 7では、前記実施例 2—1から実施例 2— 6で説明したような 3次元ボイ ンティング方法を実施するときに用 、る入力ペン 201として、前記入力ペン 201が備 えるホイールの回転量、またはスライドバーの移動量に応じて、ペン先 201Pが入力 ペン 201の筐体内に出入りする構造の入力ペンを用いた場合のポインティング方法 について説明する。
[0414] 本実施例 2— 7で用いる入力ペン 201は、たとえば、図 48に示すように、筐体 201E に付属したホイール 201D力 ペン先 201Pの内部に設けられたギア（またはネジ)部 201Fと直結しており、前記ホイール 201Dを回転させると、前記ペン先 201Pが筐体 201E内に入り込むようになつている。また、図 48に示したような構成に限らず、たと えば、図 49に示すように、前記スライドバー 201D力 ペン先 201Pの内部に設けら れたギア（またはネジ)部 201Fと内部ギア (またはネジ)を介してつながっており、前 記スライドバー 201Dを移動させると、前記ペン先 201Pが筐体 201E内に入り込むよ うになつていてもよい。なお、図 48および図 49は前記入力ペン 201の構成例であり、 図 48および図 49に示した入力ペンのように、前記ホイールまたはスライドバー 201D を回転または移動させることで、前記ペン先 201Pが筐体 201E内に入り込むような 構成であれば、どのような構造であってもよい。
[0415] 以下、本実施例 2— 7におけるポインティング方法を実施例 1—7で用いた図 35A 〜図 36Cを参照して説明する。
[0416] 本実施例 2— 7では、図 48または図 49に示したような構成の入力ペン 201を用い て前記表示装置 3に表現された 3次元空間のポインティングを行う場合の例として、 前記実施例 2— 1で説明したポインティング方法を実施する場合を挙げる。このとき、 前記入力装置 2および前記表示装置 3はそれぞれ、前記実施例 2— 1と同様に電磁 誘導方式のペンタブレットと液晶ディスプレイを用いるとする。また、前記入力装置 2 の検出手段 (デジタイザ）は、前記液晶ディスプレイ 3の表示面と重ね合わせていると する。
[0417] このとき、前記操作者が、前記入力ペン 201のペン先 201Pを前記液晶ディスプレ ィ 3の XY平面（z = 0)の任意の 1点におくと、たとえば、図 35Aおよび図 36Aに示す ように、前記液晶ディスプレイ 3の 3次元空間 301上に、円錐型等の前記入力ペン 20 1のペン先 201Pの形状を反映した形状のポインタ 303が表示される。
[0418] そして、前記操作者が、前記入力ペン 201のホイール 201Dを回転させる（またはス ライドバー 201Dを移動させる）と、たとえば、図 35Bおよび図 36B、あるいは図 35C および図 36Cに示したように、前記入力ペン 201のホイール 201Dの回転量（または スライドバー 201Dの移動量）に応じて、表示される前記ポインタ 303の長さが変わる
[0419] このとき、たとえば、図 35Bおよび図 36B、あるいは図 35Cおよび図 36Cに示したよ うに、円錐型の前記ポインタ 303の大きさを、前記入力ペン 201のペン先 201Pの筐 体に押し込まれる量と比例させることで、たとえば、前記実施例 2—1で説明したよう な方法と比べて、前記ポインタ 303が前記ペン先 201Pの一部であるという視覚的効 果がさらに高くなる。
[0420] また、本実施例 2— 7では、前記実施例 2— 1で説明した 3次元ポインティング方法 を実施する場合を例に挙げた力 たとえば、ペン先 201Pの検出面との接触の有無を 検出し、電動機構によって、前記ペン先 201Pの筐体 201E内への出入りを制御する 構成の入力ペンを用いれば、前記実施例 2— 2で説明したように、前記ペン先 201P の検出面との接触の有無によってポインティングを行うことも可能であることはもちろ んである。
[0421] [実施例 2— 8]
次に、実施例 2— 8について説明する。実施例 2— 8では、実施例 1—8と同様の具 体的利用シーンについて説明する。ここでは、実施例 1—8で用いた図 37A〜図 40 Cを参照して説明を行う。
[0422] 本実施例 2— 8では、前記実施例 2—1から実施例 2— 7で説明したような 3次元ボイ ンティング方法の具体的な利用シーンとして、 3次元表示が可能な表示画面と、ペン タブレットの検出手段とを内蔵している、音楽再生機能を操作するためのリモコンを 例に挙げる。このとき、前記入力ペン 201を操作したときのリモコンの表示画面上の ポインタおよびオブジェクトの表示制御の手順は、前記実施例 2— 1から実施例 2— 7 で説明した手順と同じでよいため、詳細な説明は省略する。
[0423] 本実施例 2— 8では、前記操作者は、前記実施例 2— 7で説明したような、ペン先 2 01Pが筐体内に押し込まれる入力ペン 201を用い、たとえば、図 37Aおよび図 39A に示したような、前記リモコンの 3次元空間 301に表示されたオブジェクトを操作する 。まず、たとえば、図 37Bおよび図 39Bに示すように、前記操作者は、前記入力ペン 201を操作して再生ボタン 302aをポインティングすると、前記再生ボタン 302aが押さ れた状態の表示に切り替わり、音楽の再生が開始される。
[0424] また、たとえば、図 37Cおよび図 39Cに示すように、前記入力ペン 201を操作して ボリュームのつまみ 302bをポインティングし、たとえば、前記入力ペン 201のボタン 2 01Dを押しながら前記つまみ 302bを回転させるように前記入力ペンを移動させると、 再生中の音楽のボリュームを上げたり下げたりすることができる。
[0425] また、ボリュームを上げたり下げたりする場合は、図 37Cおよび図 39Cに示したよう な操作に限らず、たとえば、図 38Aおよび図 40Aに示すように、前記つまみ 302bの 中心付近で前記つまみ 302bをポインティングした後、前記入力ペン 201を軸周りに 回転させることで、前記つまみ 302bを回転させ、ボリュームを上げたり下げたりするこ とちでさる。
[0426] また、たとえば、図 38Bおよび図 40Bに示すように、再生中の音楽に関する情報が 表示されている領域 302cを前記入力ペン 201でポインティングしたときに、図 38C および図 40Cに示すように、前記領域 302cが 2次元的な表示に切り替わり、 2次元 G UI操作が可能な状態にできるようにしておけば、たとえば、手書き文字の認識機能等 と組み合わせて、前記領域 302cに再生したい音楽のトラック番号を入力し、目的のト ラック番号にスキップさせることができる。
[0427] このように、前記実施例 2— 1から実施例 2— 7の 3次元ポインティング方法を利用す ることで、 3次元空間 301の操作ボタン等のオブジェクトを容易に、かつ直感的に操 作することができる。
[0428] また、本実施例 2— 8では、リモコンを用いた音楽機器の操作例を示したが、これに 限らず、たとえば、 PDAであったり、携帯電話、また、キオスク端末や ATMなどの同様 の形態が取れる機器の操作に適用することもでき、それぞれの機器をより直感的に 操作することが可能となる。また、操作においても、本実施例では、音楽を再生し、ボ リュームを上げて、トラックを変えるという操作を行ったが、これに限らず、前記入力べ ン 201における操作と関連づけられる操作であれば、どのような操作でも可能である
[0429] また、本実施例 2— 8においては、トラック番号を入力するのに手書き認識を用いる としたが、 2次元の GUIで実現可能なものであれば、どのような方法でもよぐたとえば 、プルダウンメニューでトラック番号を表示し入力ペン 201で選択するような入力方法 でもよい。
[0430] また、前記各実施例で説明した 3次元ポインティングを実現する 3次元ポインティン グ装置は、前記 3次元ポインティング方法の実現に特化した専用の装置である必要 はなぐたとえば、図 41に示したように、 PC等のコンピュータ (システム制御装置 1)と 、前記コンピュータに前記各実施例で説明したような 3次元ポインティング方法を実 行させる 3次元ポインティングプログラムによって実現することもできる。この場合、前 記 3次元ポインティングプログラムは、前記コンピュータで読み取りが可能な状態で記 録されていれば、磁気的，電気的，光学的のいずれの記録媒体に記録されていても よい。また、前記 3次元ポインティングプログラムは、たとえば、前記記録媒体に記録 して提供するだけでなぐインターネット等のネットワークを通して提供することも可能 である。
[0431] (第 3の実施の形態）
次に、本発明の第 3の実施の形態について説明する。第 3の実施の形態は本発明 の第 2の目的に対応するものである。
[0432] 第 3の実施の形態の 3次元ポインティング方法は、表示装置に表現された 3次元空 間内にポインタおよびオブジェクトを表示しておき、前記ポインタで 3次元空間内の任 意の一点をポインティングするために前記ポインタを奥行き方向に移動させる操作が 行われた場合、前記ポインタの、ポインティングを行う部分とは異なる部分の奥行き位 置、形状、サイズを一定に保った状態で、前記ポインティングを行う部分を奥行き方 向に移動させる。そして、ポインティングを行う部分がポインティングしている 3次元空 間位置にオブジェクトがある場合、そのオブジェクトをポインティングされて 、ることを 示す状態に変えて表示させる。このようにすることで、前記ポインタの操作者が、ボイ ンタの奥行き位置および前記ポインタがポインティングして 、る位置を容易に、かつ 正確に認識できるようにした。
[0433] 図 50は、本発明の 3次元ポインティング方法を実現するためのシステムの構成例を 示す模式図である。
図 50において、 1はポインティング装置 (システム制御装置）、 101は入力情報取得 手段、 102はポインティング位置/変形量算出手段、 103はポインタ生成手段、 104 は表示制御手段、 105はポインティング判定手段、 106はオブジェクト生成手段、 10 7は処理制御手段、 108は記憶手段、 2は入力装置、 3は表示装置である。
[0434] 第 3の実施の形態の 3次元ポインティング方法は、たとえば、前記 PCのようなシステ ム制御装置に接続された表示装置に表現された 3次元空間上にあるポインタを、前 記システム制御装置に接続された入力装置を用いて 3次元的に操作し、前記 3次元 空間上の任意の位置をポインティングするときに適用して好ましい 3次元ポインティン グ方法である。
[0435] 前記システム制御装置 1は、たとえば、図 50に示すように、前記入力装置 2から入 力された入力情報を取得する入力情報取得手段 101と、前記入力情報取得手段 10 1で取得した入力情報がポインタの操作に関する情報 (ポインタ操作情報)である場 合に、前記入力情報に基づいてポインティングしている点の移動方向および移動量 を算出した後ポインティング位置およびポインタの変形量を算出するポインティング 位置 Z変形量算出手段 102と、前記ポインティング位置 Z変形量算出手段 102の算 出結果に基づ 、てポインタを生成するポインタ生成手段 103と、前記ポインタ生成手 段 103で生成されたポインタを前記表示装置 3に表示させる表示制御手段 104とを 備える。また、前記システム制御装置 1は、前記各手段に加え、たとえば、図 50に示 したように、前記ポインティング位置 Z変形量算出手段 102の算出結果に基づいて 生成するポインタにポインティングされているオブジェクトがある力否力、すなわち、ポ インタがポインティングしている点の xyz座標にオブジェクトがあるか否かの判定をす るポインティング判定手段 105と、前記ポインティングされて ヽるオブジェクトがある場 合に、たとえば、そのオブジェクトの色を変えるオブジェクト生成手段 106とを備える。 [0436] また、前記システム制御装置 1は、たとえば、前記 PCのように、前記入力装置 2から の入力情報に応じてソフトウェアの起動や操作をしたり、他の装置の制御を行ったり する装置であり、図 50に示したように、前記各手段の他に、たとえば、処理制御手段 107や記憶手段 108を備えている。そして、前記入力情報取得手段 101で取得した 情報が、前記ポインタ操作情報とは異なる場合、前記処理制御手段 107は取得した 情報に応じた処理を実行する。
[0437] つまり、本実施の形態の 3次元ポインティング方法は、特殊な 3次元ポインティング 装置を用いる必要はなぐ図 50に示したような既存のシステム制御装置 1を用いて実 現することができる。
[0438] また、前記入力装置 2は、たとえば、キーボードやマウスのように前記システム制御 装置 1 (PC)に一般的に接続されている入力デバイスに限らず、ペンタブレットゃジョ ィスティック (ジョイパッド)等の入力デバイスであってもよい。また、前記入力装置 2で 前記ポインタの操作をするときには、たとえば、マウス、あるいはキーボード等の 1種 類の入力デバイスで行ってもょ 、し、マウス操作とキーボード上の特定のキーの押下 を組み合わせる等、 2種類以上の入力デバイスで行ってもよい。またさらに、前記入 力装置 2は、たとえば、タツチパネルやペンタブレットのように前記表示装置 3の表示 面と一体ィ匕されていてもよい (たとえば、特開平 5-73208号公報を参照。 )0このような 入力装置 2の場合、ペンや指先などで前記表示装置 3の表示画面に触れることで前 記ポインタ操作情報を入力できる。
[0439] また、前記表示装置 3は、 3次元空間を表現できる表示装置であればよぐたとえば 、 CRTディスプレイや液晶ディスプレイのような 3次元オブジェクトを 2次元平面に射影 した形で表示する 2次元表示装置でも、 DFD (たとえば、特許第 3022558号明細書や 特許第 3460671号明細書を参照）のような 3次元立体像を表示することが可能な表示 装置でもよい。つまり、前記表示装置 3は、操作者 (観察者)が、表示されたポインタ やオブジェクトの位置や形状を 3次元的に認識 (知覚）することが可能であれば、どの ような表示装置であってもよ 、。
[0440] [実施例 3— 1]
図 51乃至図 55は、本発明による実施例 3— 1の 3次元ポインティング方法を説明す るための模式図であり、図 51はポインタの操作方法を説明する図、図 52はポインタよ りも奥にあるオブジェクトをポインティングするときの 3次元空間内の変化を示す正面 図および右側面図、図 53は図 52の 3次元空間内の変化の斜視図、図 54はポインタ よりも手前にあるオブジェクトをポインティングするときの 3次元空間内の変化を示す 正面図および右側面図、図 55は本実施例 3— 1の 3次元ポインティング方法をシステ ム制御装置 (ポインティング装置)で実行するときの処理手順を説明するためのフロ 一図である。なお、図 52は、上段、中段、下段に 3次元空間の 3通りの状態を示して おり、各段の間に示したような操作を行うことで、 3次元空間内の状態が上段力 中段 、中段力も下段へと変化する様子を示している図である。また、図 53も上段、中段、 下段に 3通りの状態を示しており、それぞれ、図 52の上段、中段、下段の各状態の 3 次元空間内の様子を斜視図で示している。また、図 54も同様に、上段、中段、下段 に 3次元空間の 3通りの状態を示しており、各段の間に示したような操作を行うことで 、 3次元空間内の状態が上段から中段、中段から下段へと変化する様子を示してい る図である。
図 51において、 1はシステム制御装置、 201はキーボード、 202はマウス、 3は表示 装置（2次元表示装置）、 301は表示面、 4はポインタである。
[0441] 本実施例 3—1では、図 51に示すように、前記入力装置 2としてキーボード 201とマ ウス 202を用い、前記表示装置 3として液晶ディスプレイ等の 2次元表示装置を用い た場合を例に挙げ、 3次元ポインティング方法を説明する。
[0442] また、前記表示装置 3に表現される 3次元空間上で、たとえば、図 51に示すように、 表示面 301を Z = 0とし、前記表示面 301が XY平面となり、かつ、操作者から見て表 示面 301から奥に向力う方向を Z軸の正の方向とする 3次元座標系 XYZをとっている とする。このとき、前記 3次元空間内に表示されたポインタ 4を XY平面内での移動方 向および移動距離は、前記マウス 202本体を机上等の平面上で 2次元的に動力した ときの移動方向および移動距離に基づいて算出 (決定)する。
[0443] また、奥行き方向（Z方向）の移動方向および移動距離は、たとえば、図 51に示した ように、前記キーボード 201のコントロールキー（Ctrlキー）等のあら力じめ定められた キー 201Aを押しながら前記マウス 202のホイール 202Aを回転させたときの回転方 向と回転角度に基づいて算出（決定)する。このとき、たとえば、図 51に示したように、 前記マウスのホイール 202Aを +Z方向に回した場合は前記ポインタのポインティン グを行う部分を 3次元空間の +Z方向、すなわち操作者から見て奥に向力う方向に移 動させる。そして、前記マウスのホイール 202Aを— Z方向に回した場合は前記ポイン タのポインティングを行う部分を 3次元空間の—Z方向、すなわち操作者力 見て手 前に向力う方向に移動させる。
[0444] また、本実施例 3— 1の 3次元ポインティング方法では、前記ポインタ 4の形状は矢 印形とし、矢の先端部分がポインティングしている点 (X , y , z )を表しているとする。
P P P
そして、前記矢印形のポインタ 4でポインティングを行う部分を奥行き方向に移動させ るときには、前記矢の先端の反対側の端の奥行き位置を一定に保ちながら前記矢の 部分を奥行き方向に移動させて、前記ポインタ 4を傾ける。
[0445] このような 3次元ポインティング方法の一例として、図 52の上段および図 53の上段 に示すように、 3次元空間内の異なる奥行き位置にポインタ 4およびオブジェクト 5が 表示されている場合のポインティング方法を挙げる。このとき、 Z方向から前記 3次 元空間を見て 、る操作者の視点からは、前記オブジェクト 5上に前記ポインタ 4が重 なって見えるが、前記ポインタ 4がポインティングしている点（X , y , z )と前記ォブジ
P P P
ェクト 5は奥行き位置が異なるので、前記オブジェクト 5はポインティングされて!/ヽな!ヽ
[0446] この状態から、前記操作者が、たとえば、前記キーボードのコントロールキー（Ctrlキ 一） 201Aを押しながら、前記マウスのホイール 202Aを +Z方向に回したとする。この とき、前記ポインタ 4は、たとえば、図 52の中段および図 53の中段に示すように、前 記矢の先端の反対側の端の奥行き位置が一定に保たれた状態で、前記矢の先端部 分が +Z方向に移動し、矢の部分が操作者から見て奥の方向に傾く。なお、図 52の 中段および図 53の中段では、前記ポインタのポインティングしている点の XY座標（X , y )を一定に保ち、かつ、前記ポインタ 4の形状、サイズも一定に保った状態で傾け
P P
る例を示している。そのため、前記矢の先端の反対側の端は、奥行き位置を一定に 保っために、図 52の中段および図 53の中段に示したように、 +X方向に移動してい る。 [0447] このように、前記キーボードのコントロールキー 201Aを押しながら、前記マウスのホ ィール 202Aを +Z方向に回すことにより、前記ポインタ 4は、ポインティングしている 点 (矢印の矢の部分)側が操作者力も見て遠くなるように傾く。またこのとき、前記ボイ ンタ 4の形状およびサイズを保ちながら回転させれば、前記ポインタ 4の矢の部分の 幅が狭く表示される。この結果、前記操作者は、ポインタ 4が奥行き方向（+Z方向） に傾いたことを認識できると同時に、前記ポインタ 4の形状から、前記ポインタ 4が操 作前の位置よりも奥をポインティングしていることも認識できる。
[0448] ただし、本実施例 3— 1の 3次元ポインティング方法は、図 52の中段および図 53の 中段に示したようなポインタ 4の傾けかたを特定するものではなぐ後述のように、前 記矢の先端の反対側の端の奥行き位置が一定に保たれて 、れば、どのような傾けか たでもよい。
[0449] そして、図 52の中段および図 53の中段に示したような状態から、さらにもう一度、前 記キーボードのコントロールキー 201Aを押しながら、前記マウス 202のホイール 202 Aを +Z方向に回したとする。このときも、前記ポインタ 4は、たとえば、図 52の下段お よび図 53の下段に示すように、前記矢の先端の反対側の端の奥行き位置が一定に 保たれた状態で、前記矢の先端部分が +Z方向に移動し、矢の部分が操作者力 見 てさらに奥の方向に傾く。またこのとき、前記ポインタの形状およびサイズを保ちなが ら回転させれば、前記ポインタの矢の部分の幅がさらに狭く表示される。この結果、 前記操作者は、ポインタ 4がさらに奥行き方向（+Z方向）に傾いたことを認識できると 同時に、前記ポインタ 4の形状から、前記ポインタ 4が操作前の位置よりもさらに奥を ポインティングして 、ることも認識できる。
[0450] またこのとき、前記キーボードのコントロールキー 201Aを押しながら、前記マウスの ホイール 202Aを +Z方向に回すという操作を続けた結果、図 52の下段および図 53 の下段に示したように、前記ポインタ 4のポインティングしている点 (X , y , z )が前記
P P P
オブジェクト 5と同じ奥行き位置に到達し、前記ポインタ 4の先端の xyz座標 (X , y , z
P P
)と前記オブジェクト 5の表面上または内部の任意の点の xyz座標が一致すると、前
P
記オブジェクト 5は、前記ポインタ 4によってポインティングされた状態になる。そのた め、たとえば、図 52の下段および図 53の下段に示したように、前記オブジェクト 5の 色を変えて、ポインティングされている状態であることを表す。このようにすれば、前記 操作者は、前記ポインタ 4の形状カゝらポインタ 4の奥行き方向の位置、およびポインタ 4がポインティングしている奥行き方向の位置を直観的、かつ、正確に認識できる。ま た、前記ポインタ 4によってポインティングされたときにオブジェクト 5の色を変えること で、前記オブジェクト 5と重なって!/、るポインタ 4が前記オブジェクト 5をポインティング しているカゝ否かが直観的、かつ、正確に認識できる。
[0451] また、図 52および図 53では、前記操作者から見て、前記オブジェクト 5の奥行き位 置よりも手前に前記ポインタ 4があり、前記ポインタ 4を奥（+Z方向）に傾ける場合の 操作を説明したが、本実施例 3—1の 3次元ポインティング方法では、前記ポインタ 4 を手前（一Z方向）に傾けることもできる。
[0452] 前記ポインタ 4を手前（一 Z方向）に傾ける場合の一例として、図 54の上段に示すよ うに、前記オブジェクト 5の奥行き位置よりも奥に前記ポインタ 4がある場合を挙げる。 このとき、 Z方向力 前記 3次元空間を見ている操作者の視点からは、前記ポイン タの矢の先端部分が前記オブジェクトと重なって隠れているように見える力 前記ボイ ンタがポインティングしている点 (X , y , z )と前記オブジェクトは奥行き位置が異なる
P P P
ので、前記オブジェクトはポインティングされて ヽな 、。
[0453] この状態から、前記操作者が、たとえば、前記キーボードのコントロールキー 201A を押しながら、前記マウスのホイール 202Aを一 Z方向に回したとする。このとき、前記 ポインタ 4は、たとえば、図 54の中段に示すように、前記矢の先端の反対側の端の奥 行き位置が一定に保たれた状態で、前記矢の先端部分が Zの方向に移動し、矢の 部分が操作者力も見て手前の方向に傾く。なお、図 54の中段では、前記ポインタ 4 のポインティングしている点の XY座標（X , y )を一定に保ち、かつ、前記ポインタ 4
P P
の形状、サイズも一定に保った状態で傾ける例を示している。そのため、前記矢の先 端の反対側の端は、奥行き位置を一定に保っために、図 54の中段に示したように、 +X方向に移動している。
[0454] このように、前記キーボードのコントロールキー 201Aを押しながら、前記マウスのホ ィール 202Aを Z方向に回すことにより、前記ポインタ 4は、ポインティングしている 点 (X , y , z )が操作者から見て近くなるように傾く。またこのとき、前記ポインタの形
P P P 状およびサイズを保ちながら回転させれば、前記ポインタの矢の部分の幅が広く表 示される。この結果、前記操作者は、ポインタ 4が奥行き方向（+Z方向）に傾いたこと を認識できると同時に、前記ポインタ 4の形状から、前記ポインタ 4が操作前の位置よ りも手前をポインティングして 、ることも認識できる。
[0455] そして、図 54の中段に示したような状態から、さらにもう一度、前記キーボードのコ ントロールキー 201Aを押しながら、前記マウスのホイール 202Aを— Z方向に回した とする。このときも、前記ポインタ 4は、たとえば、図 54の下段に示すように、前記矢の 先端の反対側の端の奥行き位置が一定に保たれた状態で、前記矢の先端部分が Z方向に移動し、矢の部分が操作者力も見てさらに手前の方向に傾く。またこのとき、 前記ポインタの形状およびサイズを保ちながら回転させれば、前記ポインタの矢の部 分の幅がさらに広く表示される。この結果、前記操作者は、ポインタ 4がさらに奥行き 方向（—Z方向）に傾いたことを認識できると同時に、前記ポインタ 4の形状から、前記 ポインタ 4が操作前の位置よりもさらに手前をポインティングしていることも認識できる
[0456] またこのとき、前記キーボードのコントロールキー 201Aを押しながら、前記マウスの ホイール 202Aを— Z方向に回すという操作を続けた結果、図 54の下段に示したよう に、前記ポインタのポインティングしている点（X , y , z )が前記オブジェクトと同じ奥
P P P
行き位置に到達し、前記ポインタ 4の先端の xyz座標 (X , y , z )と前記オブジェクト 5
P P P
の表面上または内部の任意の点の xyz座標が一致すると、前記オブジェクト 5は、前 記ポインタ 4によってポインティングされた状態になる。そのため、たとえば、図 54の 下段に示したように、前記オブジェクト 5の色を変えて、ポインティングされている状態 であることを表す。このようにすれば、前記操作者は、前記ポインタ 4の形状力 ボイ ンタ 4の奥行き方向の位置、およびポインタ 4がポインティングしている奥行き方向の 位置を直観的、かつ、正確に認識できる。また、前記ポインタ 4によってポインティン グされたときにオブジェクト 5の色を変えることで、前記オブジェクト 5と重なっているポ インタ 4が前記オブジェクト 5をポインティングしている力否かが直観的、かつ、正確に 認識できる。
[0457] なお、前記マウスのホイール 202Aの回転に合わせて前記ポインタ 4を奥行き方向（ +Z方向または—Z方向）に傾けて表示させるときには、たとえば、前記ホイール 202 Aのトータルの回転角度に合わせて、前記ポインタ 4が連続的に傾くように表示させ てもよいし、前記ホイール 202Aの回転ステップと同期させて、前記ホイール 202Aを 1ステップ回転させる毎に前記ポインタ 4をあら力じめ定めた角度ずつ段階的に傾くよ うに表示させてもよい。
[0458] このような本実施例 3— 1の 3次元ポインティング方法を、前記システム制御装置 1 ( ポインティング装置）〖こ実行させるとき〖こは、図 55に示したような、ステップ 601からス テツプ 608の処理を実行させればよい。このとき、前記システム制御装置 1では、図 5 5に示すように、まず、前記表示制御手段 104を用いて、前記表示装置 3にオブジェ タト 5およびポインタ 4を表示させる（ステップ 601)。このとき、前記オブジェクト 5は複 数個表示されていてもよい。また、前記オブジェクト 5およびポインタ 4は、前記表示 装置 3で表現されて 、る 3次元空間内であれば、どの位置に表示されて 、てもよ 、と する。
[0459] 次に、前記操作者が前記キーボード 201やマウス 202等の入力装置 2を用いて入 力した情報を前記入力情報取得手段 101で取得する (ステップ 602)。このとき、前記 入力情報取得手段 101で取得する入力情報は、前記ポインタ 4の操作に関する情報 (ポインタ操作情報）の他に、アプリケーション 'ソフトの起動等の入力情報も取得する 1S ここでは、前記ポインタ 4の操作に関する情報を取得したとする。前記入力情報 取得手段 101で取得した入力情報は、前記ポインタ操作情報である力否かの判定が 行われ、前記入力情報が、たとえば、マウス 202の移動情報 (操作情報)や、ホイ一 ル 202Aの回転操作情報等の前記ポインタ操作情報である場合、前記入力情報取 得手段 101は、前記入力情報 (ポインタ操作情報)を前記ポインティング位置 Z変形 量算出手段 102に渡し、ポインティング位置およびポインタの変形量を算出させる。
[0460] このとき、前記ポインティング位置 Z変形量算出手段 102では、たとえば、まず、図 55に示したように、前記ポインタ操作情報に基づいて前記ポインタの移動方向、移 動量等を算出する (ステップ 603)。前記ステップ 603では、たとえば、マウス本体の 2 次元的な移動方向や移動量の情報から、表示装置で表現する 3次元空間の XY平 面内での前記ポインタ 4の移動方向や移動量、あるいは回転角度等を算出する。 [0461] 前記ステップ 603において前記ポインタ 4の移動方向、移動量等を算出したら、次 に、算出結果に基づいて前記表示装置 3に表示されたポインタ 4を移動させて表示さ せる（ステップ 604)。前記ステップ 604は、たとえば、前記ポインタ 4の XY平面内で の移動方向、移動量等に基づいて前記ポインタ生成手段 103で移動先のポインタ 4 を生成した後、前記表示制御手段 104を利用して前記生成したポインタ 4を前記表 示装置 3に表示させる。なお、前記ポインタ操作情報のなかに前記ポインタ 4を XY平 面内で移動または回転させる情報が含まれて 、な 、場合、前記ステップ 604の操作 は省略され、次のステップ 605の処理が行われる。
[0462] 前記ポインティング位置 Z変形量算出手段 102は、前記ステップ 603の処理が終 わると、前記ポインタ生成手段 103および前記表示制御手段 104に前記ステップ 60 4の処理を行わせる一方で、前記ポインタ操作情報に基づ 、て前記ポインタ 4の傾け る方向および傾ける量を算出する（ステップ 605)。前記ステップ 605において、前記 傾ける方向は、たとえば、前記マウス 202のホイール 202Aの回転方向の情報力 決 定する。また、傾ける量は、たとえば、前記マウス 202のホイール 202Aの回転量から 算出する。
[0463] 前記ステップ 605において前記ポインタ 4の傾く方向および傾く量を算出したら、次 に、算出結果に基づいて前記表示装置 3に表示されたポインタ 4を傾けて表示する（ ステップ 606)。前記ステップ 606は、たとえば、前記ポインタ 4の傾ける量に基づいて 前記ポインタ生成手段 103でポインタ 4を傾けさせた後、前記表示制御手段 104を利 用して、たとえば、図 52の中段および図 53の中段等に示したように傾けたポインタ 4 を前記表示装置 3に表示させる。また、前記ポインタ操作情報のなかに前記ポインタ 4を Z軸方向に傾ける情報が含まれて 、な 、場合、前記ステップ 606の操作は省略さ れ、次のステップ 607の処理が行われる。
[0464] また、前記ポインティング位置 Z変形量算出手段 102は、前記ステップ 603および 前記ステップ 606の処理を行った後、算出結果を前記ポインタ生成手段 103に渡し てポインタを生成させるとともに、前記ポインティング判定手段 105にも算出結果を渡 す。このとき、前記ポインティング判定手段 105は、受け取った算出結果から、操作後 のポインタ 4がポインティングしているオブジェクトがあるか否力、すなわち、ポインタ 4 がポインティングして 、る点の xyz座標力 オブジェクトの表面上または内部の任意の 点の xyz座標から予め定められた範囲内にあるか否かの判定をする（ステップ 607)。 このとき、ポインティングしているオブジェクトがなければ、ステップ 602に戻り、次の 入力情報 (ポインタ操作情報)を取得するまで待機する。
[0465] また、ポインティングしているオブジェクトがある場合、前記ポインティング判定手段 105は、前記オブジェクト生成手段 106に、ポインティングされているオブジェクトの 色を変えたオブジェクトを生成させ、前記表示制御手段 104を利用して前記表示装 置 3に表示させる (ステップ 608)。そして、色を変えたオブジェクトを表示させた後は 、ステップ 602に戻り、次の入力情報 (ポインタ操作情報)を取得するまで待機する。
[0466] また、前述のような手順で前記ポインタ 4を傾けて表示させた後、前記入力装置 2か ら前記ポインタ 4の操作に関する情報を取得し、たとえば、 XY平面内で移動させる場 合、前記ポインタ 4の傾きを元に戻して力 移動させてもよいし、前記ポインタ 4を傾け たまま移動させてもよい。
[0467] また、図 55では省略しているが、前記入力情報取得手段 101で前記ポインタ操作 情報以外の入力情報を取得した場合、前記処理制御手段 107は、取得した入力情 報に応じた処理を実行する。このとき、前記ポインタ操作情報以外の入力情報として は、たとえば、前記ポインタ 4でポインティングしたオブジェクト 5と関連づけられたソフ トウエアの起動や、数値あるいは文字列の入力情報等が挙げられる。この場合、前記 処理制御手段 107は、前記入力情報に基づいて、前記オブジェクト 5と関連づけられ たソフトウェアの起動等の処理を行い、たとえば、前記オブジェクト生成手段 105に、 処理結果に関するオブジェクトを生成させ、前記表示制御手段 104を用いて前記処 理結果のオブジェクトを前記表示装置 3に表示させる。
[0468] 以上説明したように、本実施例 3— 1の 3次元ポインティング方法によれば、前記ポ インタ 4の、ポインティングしている点（矢の先端）と反対側の端の奥行き位置を一定 に保ちながら、前記ポインティングして 、る点を奥行き方向に傾けて前記表示装置 3 に表示させることにより、前記ポインタ 4を見た操作者が前記ポインタ 4の奥行き位置 および前記ポインタ 4がポインティングしている奥行き位置を直観的、かつ、正確に認 識できる。 [0469] また、前記ポインタ 4の矢の先端の反対側の端の奥行き位置を保つとともに、前記 ポインタ 4全体の長さを保った状態で前記ポインタ 4を奥行き方向に傾けてオブジェク ト 5のポインティングを行う方法では、前記ポインタ 4の 3次元的な長さが変化しな 、た め、操作者に対して、より実物体に近い、 自然なオブジェクト表示を呈示できる。
[0470] また、本実施例 3— 1の 3次元ポインティング方法では、前記キーボードのコントロー ルキー 201Aとマウスのホイール 202Aの回転操作を組み合わせることで、前記ポィ ンタ 4を奥行き方向に傾ける例を示した力 これに限らず、キーボード 201の他のキ 一とホイール 202Aの組み合わせであってもよ!/、し、ホイール 202Aの代わりにキー ボード 201のカーソルキー（方向キー）と組み合わせてもよい。また、その他にも、たと えば、ペンタブレットゃタツチパネル、ジョイスティック等であらかじめ定められた操作 をしたときに傾くようにしてもょ 、。
[0471] また、本実施例 3— 1の 3次元ポインティング方法では、前記ポインタ 4として、矢印 形状のポインタを例に挙げたが、これに限らず、奥行き方向へ傾けて表示させたとき の傾きの方向およびポインティングしている点 (位置）が視覚的に認識できる形状で あれば、どのような形状であってもよい。
[0472] 図 56A〜Dは、ポインタの形状の変形例を示す模式図であり、図 56Aは三角形状 のポインタを示す図、図 56Bは人の手の形状のポインタを示す図、図 56Cは雩形状 のポインタを示す図、図 56Dは十字形状のポインタを示す図である。
[0473] 本実施例 3—1のような 3次元ポインティング方法では、前記ポインタを奥行き方向 に傾けたときの視覚的な形状の変化から、前記ポインタがポインティングして 、る点 の奥行き位置を認識する。そのため、図 52の上段に示したような矢印形状のポインタ 4に限らず、たとえば、図 56Aに示すような三角形状のポインタ 4Aであってもよい。前 記三角形状のポインタの場合、前記ポインタ 4Aの頂角をポインティングしている点 (X , y , z )とし、底辺の奥行き位置を一定に保った状態で奥行き方向に傾ければよい
P P P
[0474] また、そのほかにも、たとえば、図 56Bに示すような人差し指でオブジェクトを指し示 している人の手の形状のポインタ 4B、図 56Cに示すような雩形状のポインタ、図 56D に示すような十字形状のポインタ 4Dであってもよ!/、。前記人の手の形状のポインタ 4 Bの場合、たとえば、人差し指の先端をポインティングしている点 (x , y , z )とし、反
P P P
対側 (手首)の奥行き位置を一定に保った状態で奥行き方向に傾ければよ!、。また、 前記雩形状のポインタ 4Cの場合、たとえば、頂角をポインティングしている点（X , y
P P
, z )とし、反対側（円弧部)の奥行き位置を一定に保った状態で奥行き方向に傾け
P
ればよい。また、前記十字形状のポインタ 4Dの場合、たとえば、交点をポインティン グしている点（X , y , z )とし、交点から延びる 4本の軸の 1つの軸の端の奥行き位置
P P P
を一定に保った状態で奥行き方向に傾ければょ 、。
[0475] また、前記オブジェクトも、本実施例 3— 1では、図 51等に示したようなフォルダアイ コン型のオブジェクトを例に挙げた力 これに限らず、データファイルや実行ファイル のアイコン (ショートカット）やウィンドウ等、前記ポインタでポインティング可能な形状 であれば、どのような形状のオブジェクトでもよ！/、。
[0476] また、本実施例 3— 1のポインティング方法では、たとえば、前記ポインタ 4の視覚的 な形状の変化カゝら前記ポインタ 4の奥行き方向のポインティング位置を認識できるが 、たとえば、前記 3次元空間内に、前記ポインタ 4がどれくらい傾いたかを操作者に認 識させる指標となるリファレンスを前記表示装置 3に表示させてもよい。
[0477] 図 57は、本実施例 3— 1の 3次元ポインティング方法においてリファレンスを表示さ せる例を示す図である。
[0478] 本実施例 3— 1のポインティング方法では、前記ポインタ 4を奥行き方向に傾けたと きの視覚的な形状の変化によって、前記ポインタ 4の奥行き方向のポインティング位 置を操作者に認識させる。しカゝしながら、同じ奥行き位置をポインティングした状態が 長時間続くと、視覚的な形状の変化がないので、前記ポインタ 4の奥行き方向のボイ ンティング位置の認識が曖昧になる可能性がある。
[0479] そこで、たとえば、図 57に示したように、前記表示装置 3に表示された 3次元空間内 に、前記 3次元空間に設定する XYZ座標系を反映した xyz座標軸（リファレンス） 7を 表示しておけば、前記ポインタ 4の奥行き位置の変化がないときでも、前記 xyz座標 軸を参照することで前記ポインタ 4の奥行き方向の傾きの認識が容易になる。このとき 、前記リファレンス 7は、前記 3次元空間上の特定の位置に固定しておいてもよいし、 ポインタ 4の移動にともなって移動し、ポインタ 4が傾くときはその場で固定されていて もよい。また、前記リファレンス 7は、前記表示装置 3に表現されている 3次元空間内 であればどの位置に配置してもよぐ前記操作者が配置位置を設定することも可能で ある。また、図 57では、リファレンス 7として xyz座標軸を表すような表示物を用いたが 、これに限らず、前記操作者にポインタ 4の傾きの度合いを認識させる指標となる表 示物であればどのようなものであってもよぐたとえば、傾きが 0 (XY平面と平行)で、 前記ポインタと相似形の半透明な表示物のようなものでもよい。
[0480] また、本実施例 3— 1の 3次元ポインティング方法では、前記ポインタ 4を奥行き方向 に傾けるときに、たとえば、図 52の中段および図 53の中段に示したように、前記ボイ ンタ 4の矢の先端の反対側の端の奥行き位置を一定に保つとともに、前記ポインタ 4 の全体の長さ (形状、サイズ)を一定に保った状態で傾ける例を挙げたが、これに限 らず、ポインタ全体の長さを変化させながら奥行き方向に傾けてオブジェクトのポイン ティングを行うようにすることも可能である。
[0481] 図 58は、本実施例 3— 1の 3次元ポインティング方法の変形例を説明するための模 式図であり、ポインタよりも奥にあるオブジェクトをポインティングするときの 3次元空間 内の変化を示す正面図および右側面図である。なお、図 58は、上段、中段、下段に 3次元空間の 3通りの状態を示しており、各段の間に示したような操作を行うことで、 3 次元空間内の状態が上段から中段、中段から下段へと変化する様子を示している図 である。
[0482] 本実施例 3—1の 3次元ポインティング方法では、たとえば、図 52の下段に示したよ うに、前記ポインタ 4の全体の長さ、形状等も一定に保った状態で奥行き方向に傾け て表示させている。そのため、ある奥行き位置にあるポインタ 4でポインティングできる のは、前記ポインタ 4の長さよりも奥行き方向の距離が近いオブジェクトに限られる。
[0483] 本実施例 3— 1の 3次元ポインティング方法は、たとえば、図 52の下段に示したよう なポインタの傾けかたを限定するものではなぐ前記ポインタの一端 (矢の先端の反 対側の端)の奥行き位置とポインタの先 (矢の先端)の奥行き位置を比較することで、 操作者がポインタの傾きを認識し、ポインティング位置を認識できるようにする方法で ある。つまり、ポインティングする部分とは異なる部分の奥行き位置が一定に保たれて いれば、どのような傾けかたでもよい。 [0484] 本実施例 3— 1の 3次元ポインティング方法において実現可能な、図 52の下段に示 したようなポインタの傾けかたとは異なる傾けかたの一例として、図 58の上段に示す ように、操作者の視点力も見て、 3次元空間内の異なる奥行き位置にポインタおよび オブジェクトが表示されている場合を挙げる。このとき、—Z方向から前記 3次元空間 を見て 、る操作者の視点からは、前記オブジェクト上に前記ポインタが重なって見え る力 前記ポインタがポインティングして 、る点と前記オブジェクトは奥行き位置が異 なるので、前記オブジェクトはポインティングされて ヽな 、。
[0485] この状態から、前記操作者が、たとえば、前記キーボードのコントロールキー（Ctrlキ 一） 201Aを押しながら、前記マウスのホイール 202Aを +Z方向に回したとする。この とき、前記ポインタ 4は、たとえば、図 58の中段および図 58の下段に示したように、前 記矢の先端の反対側の端の奥行き位置が一定に保たれた状態で、前記矢の先端部 分が +Z方向に移動し、矢の部分が操作者力 見て奥の方向に傾く。またこのとき、 前記矢の先端の反対側の端は、図 58の中段および図 58の下段に示したように、操 作前の矢の先端の反対側の端と同じ 3次元空間位置に固定されている。そして、たと えば、前記ポインタ 4のポインティングしている点を +Z方向に移動させるときに、 XY 座標 (X , y )を一定に保ったまま移動させるとすれば、前記ポインタ 4は、ポインタ全
P P
体の長さを変化させながら奥行き方向に傾くことになる。
[0486] このような 3次元ポインティング方法でも、前記ポインタ 4の傾きを認識することは可 能であり、図 52の下段に示したようなポインタの長さが変化しないポインティング方法 の場合と同様の効果が得られる。またこの場合、ポインタ全体の長さが奥行き方向に 傾くにつれて変化するため、前記ポインタとの奥行き方向の距離が大きいオブジェク トでもポインティングが可能である。なお、図 58の中段および図 58の下段に示したよ うな場合、前記ポインタ 4は、奥行き方向の傾きが変わるにつれて、長さ（サイズ）が変 化するが、このような長さ（サイズ)の変更は、前記表示装置 3に表現された 3次元空 間内にポインタ 4を表示させる場合における、操作者に 3次元的な立体感を提示する ための心理的な描画手法として用いられるサイズの変更、すなわち操作者から見て 奥にあるポインタを小さく表示したり、操作者から見て操作者に近い位置にあるポイン タを大きく表示したりするような「表示上のサイズの変更」とは異なる。 [0487] また、本実施例 3— 1の 3次元ポインティング方法では、図 52および図 53に示した ように、前記ポインタ 4を傾けて奥行き位置が異なるオブジェクトをポインティングする 方法について説明した力 このとき、前記ポインタ 4を傾けるだけでなぐ図 59に示す ように、前記ポインタ 4の形状を保ったまま奥行き方向に並進移動させる操作が加わ つていてもよい。
[0488] 図 59は、本実施例 3— 1の 3次元ポインティング方法の第 1の応用例を説明するた めの模式図であり、ポインタよりも奥にあるオブジェクトをポインティングするときの 3次 元空間内の変化を示す正面図および右側面図である。なお、図 59は、上段、中段、 下段に 3次元空間の 3通りの状態を示しており、各段の間に示したような操作を行うこ とで、 3次元空間内の状態が上段力 中段、中段から下段へと変化する様子を示して いる図である。
[0489] 本実施例 3— 1の 3次元ポインティング方法の場合、たとえば、図 58に示したような 方法にすることで、ポインタ全体の長さが奥行き方向に傾くにつれて変化するため、 前記ポインタとの奥行き方向の距離が大きいオブジェクトでもポインティングが可能で ある。しかしながら、図 52の下段に示したようなポインタの傾けかたでも、たとえば、前 記ポインタ 4を、形状を保ったまま Z軸方向に並進移動させることで、前記ポインタ 4と オブジェクト 5の奥行き方向の距離を、ポインタ全体の長さより近づければ、前記表示 装置 3に表現された 3次元空間内の全てのオブジェクトをポインティングすることが可 能である。このとき、前記ポインタ 4の Z軸方向の並進移動は、前記キーボードのコン トロールキー（Ctrlキー） 201Aとは別のキー、たとえば、シフトキー（Shiftキー）を押し ながら前記マウスのホイール 202Aを +Z方向に回した場合は前記ポインタ 4を 3次 元空間の +Z方向に並進移動させ、前記シフトキー（Shiftキー）を押しながら前記マウ スのホイール 202Aを Z方向に回した場合は前記ポインタ 4を 3次元空間の Z方 向に並進移動させるようにすればよ!、。
[0490] このようなポインティング方法の一例として、図 59の上段に示すように、操作者の視 点から見て、 3次元空間内の異なる奥行き位置にポインタ 4およびオブジェクト 5が表 示されている場合を挙げる。このとき、—Z方向から前記 3次元空間を見ている操作 者の視点からは、前記オブジェクト 5上に前記ポインタ 4が重なって見える力 前記ポ インタ 4がポインティングしている点（x , y , z )と前記オブジェクト 5は奥行き位置が
P P P
異なるので、前記オブジェクト 5はポインティングされて!/ヽな!、。
[0491] この状態から、前記操作者が、たとえば、前記キーボード 201のシフトキー（Shiftキ 一）を押しながら、前記マウスのホイール 202Aを +Z方向に回したとする。このとき、 前記ポインタ 4は、たとえば、図 59の中段に示すように、前記ポインタ 4の形状、サイ ズを一定に保った状態で、 +Z方向に並進移動し、前記ポインタ 4とオブジェクト 5の 奥行き方向の距離が近くなる。
[0492] そして、図 59の中段に示したような状態のときに、前記操作者が、たとえば、前記キ 一ボード 201のコントロールキー（Ctrlキー） 201Aを押しながら、前記マウスのホイ一 ル 202Aを +Z方向に回すと、前記ポインタ 4は、たとえば、図 59の下段に示すように 、矢の先端の反対側の端の奥行き位置を一定に保った状態で前記矢の先端が奥に 傾く。
[0493] このようにすれば、たとえば、前記表示装置 3で表現されている 3次元空間の Z軸方 向、すなわち奥行きが大きく（広く）、前記ポインタ 4を傾けるだけではポインティング できないオブジェクトがある場合でも、図 59の中段に示したように、前記ポインタ 4を 奥行き方向に並進移動させることで、前記オブジェクト 5をポインティングすることが可 能になる。なお、図 59では、操作者から見て奥（+Z方向）に並進移動させる例を示 したが、手前（一Z方向）〖こ並進移動させることもできることは言うまでもない。
[0494] なお、前記マウスのホイール 202Aの回転に合わせて前記ポインタ 4を Z軸方向に 並進移動させるときには、たとえば、前記ホイール 202Aのトータルの回転角度に合 わせて、前記ポインタ 4が連続的に移動するように表示させてもよいし、前記ホイール 202Aの回転ステップと同期させて、前記ホイール 202Aを 1ステップ回転させる毎に 前記ポインタ 4をあらかじめ定めた距離ずつ段階的に移動するように表示させてもよ い。
[0495] また、本実施例 3— 1の 3次元ポインティング方法では、前記マウス 202本体の 2次 元的な移動を XY平面内でのポインタ 4の移動に反映させ、前記キーボード 201のコ ントロールキー（Ctrlキー） 201 Aとマウス 202のホイール 202Aの回転操作の組み合 わせを前記ポインタ 4の奥行き方向の傾きに反映させている。また、図 59に示したポ インティング方法では、前記キーボード 201のシフトキー（Shiftキー）とマウス 202のホ ィール 201 Aの回転操作の組み合わせを前記ポインタ 4の奥行き方向の並進移動に 反映させている。このように、本実施例 3— 1の 3次元ポインティング方法では、前記 マウス 202本体、およびキーボード 201のキーとマウスのホイール 202Aの回転操作 の組み合わせで前記 3次元空間内のあらゆる点をポインティングすることが可能であ る。またさらに、たとえば、前記キーボード 201のコントロールキー（Ctrlキー） 201Aや シフトキー（Shiftキー）以外のキーとマウスのホイール 201Aの回転操作の組み合わ せることで、前記ポインタ 4を XY平面内で回転させることも可能である。このとき、前 記ポインタ 4の XY平面内での回転は、前記キーボード 201のコントロールキー（Ctrl キー）やシフトキー（Shiftキー）とは別のキー、たとえば、オルトキー（Altキー）を押しな 力 Sら前記マウスのホイール 202Aを +Z方向に回した場合は前記ポインタ 4を時計回 りに回転させ、前記オルトキー（Altキー）を押しながら前記マウスのホイール 202Aを —Z方向に回した場合は前記ポインタ 4を反時計回りに回転させるようにすればよい。
[0496] 図 60は、本実施例 3— 1の 3次元ポインティング方法の第 2の応用例を説明するた めの模式図であり、ポインタよりも奥にあるオブジェクトをポインティングするときの 3次 元空間内の変化を示す正面図および右側面図である。なお、図 60は、上段、中段、 下段に 3次元空間の 3通りの状態を示しており、各段の間に示したような操作を行うこ とで、 3次元空間内の状態が上段力 中段、中段から下段へと変化する様子を示して いる図である。
[0497] 前記ポインタを XY平面内で回転させるポインティング方法の一例として、図 60の上 段に示すように、操作者の視点から見て、 3次元空間内の異なる奥行き位置にポイン タ 4およびオブジェクト 5が表示されている場合を挙げる。
[0498] この状態から、前記操作者が、たとえば、前記キーボード 201のオルトキー (Altキー )を押しながら、前記マウスのホイール 202Aを +Z方向に回したとする。このとき、前 記ポインタ 4は、たとえば、図 60の中段に示すように、前記ポインタ 4の形状を保った 状態で、時計回りに 90度回転する。このとき、—Z方向から前記 3次元空間を見てい る操作者の視点からは、前記オブジェクト上に前記ポインタの矢の先端が重なって見 えるが、前記ポインタがポインティングして 、る点と前記オブジェクトは奥行き位置が 異なるので、前記オブジェクトはポインティングされて ヽな 、。
[0499] そして、図 60の中段に示したような状態のときに、前記操作者が、たとえば、前記キ 一ボード 201のコントロールキー（Ctrlキー） 201Aを押しながら、前記マウスのホイ一 ル 202Aを +Z方向に回すと、前記ポインタ 4は、たとえば、図 60の下段に示すように 、矢の先端の反対側の端の奥行き位置を一定に保った状態で前記矢の先端が奥に 傾く。また、図示は省略するが、図 60の下段に示したような状態から、前記キーボー ドのコントロールキー（Ctrlキー） 201Aを押しながら、前記マウスのホイール 202Aを +Z方向に回すと、前記ポインタ 4の傾きが大きくなり、前記ポインタ 4の矢の先端 (X
P
, y , z )が前記オブジェクト 5と同じ奥行き位置に到達すると、前記オブジェクト 5の色
P P
が変わり、ポインティングされていることが認識できる。
[0500] このように、前記ポインタ 4の XY平面内での回転操作も加わることで、前記オブジェ タトを、あらゆる方向からポインティングすることが可能となり、より実空間に近い操作 感で前記ポインタ 4を操作することができるようになる。
[0501] なお、前記マウスのホイール 202Aの回転に合わせて前記ポインタ 4を XY平面内 で回転させて表示させるときには、たとえば、前記ホイール 202Aのトータルの回転角 度に合わせて、前記ポインタ 4が連続的に回転するように表示させてもよいし、前記ホ ィール 202Aの回転ステップと同期させて、前記ホイール 202Aを 1ステップ回転させ る毎に前記ポインタ 4をあら力じめ定めた角度ずつ段階的に回転ように表示させても よい。
[0502] また、本実施例 3— 1では、図 51に示したように、前記表示装置 3として液晶ディス プレイ等の 2次元表示装置を用いた場合を例に挙げたが、前記表示装置 3として DF Dのような立体表示が可能な 3次元表示装置を用いることで、より正確に、かつ直感 的にポインタの奥行き位置を認識することが可能である。
[0503] 図 61および図 62A、 Bは、本実施例 3— 1の 3次元ポインティング方法の第 3の応用 例を説明するための模式図であり、図 61はシステムの構成例を示す図、図 62Aおよ び図 62Bは DFDの動作原理を説明する図である。
[0504] 本実施例 3— 1の 3次元ポインティング方法では、前記表示装置 3は、 3次元空間を 表現することが可能であれば、どのような表示装置であっても構わないが、特に、 DF Dのような 3次元表示装置 (ディスプレイ）を用いることが好ましい。第 1の実施の形態 でも説明したように、前記 DFDは、前記操作者 (観察者)の視点力も見て奥行き方向 に重なる複数枚の表示面を備える表示装置である（たとえば特許第 3022558号明細 書や特許第 3460671号明細書を参照)。
[0505] 前記 DFDの動作原理については第 1の実施の形態で説明したとおりである力 ここ で再度説明する。説明を簡単にするために、図 61に示すように、 2枚の表示面 301A , 301Bが重ね合わさつているとする。このとき、前記ポインタ 4およびオブジェクト 5は 、前記 2枚の表示面 301A, 301Bの間の 3次元空間内に奥行き位置を反映して表示 される。
[0506] 前記 DFDに表示される前記ポインタ 4やオブジェクト 5は、たとえば、図 62Aに示す ように、操作者から見て手前の表示面 301 Aおよび奥の表示面 301Bの両方に表示 される。そしてこのとき、前記 DFDが輝度変調型であれば、前記手前の表示面 301A のオブジェクト 5Aを輝度 L、前記奥の表示面 301Bのオブジェクト 5Bを輝度 Lで表
A B
示すると、前記 3次元空間内の、前記手前の表示面 301Aからの距離と前記奥の表 示面 301Bからの距離の比が L ： Lの奥行き位置にオブジェクト 5が表示されている
B A
ように見える。
[0507] また、たとえば、図 62Bに示すように、 1つのオブジェクト 5の表示領域の中で輝度 を連続的に変化させることで、 1つのオブジェクト 5を奥行き方向に傾けて表示させる こともできる。図 62Bに示した例では、前記手前の表示面 301 Aのオブジェクト 5Aの 輝度を紙面上から下に向かうにつれて大きくなるようにし、前記奥の表示面 301Bの オブジェクト 5Bの輝度を紙面下から上に向力 につれて大きくなるようにして!/、る。そ のため、前記操作者は、紙面上方が奥、紙面下方が手前に傾いた立体的なォブジ ェクト 5を観察することができる。
[0508] また、詳細な説明は省略するが、前記 DFDが透過型の場合、たとえば、手前の表 示面 301 Aのオブジェクト 5Aを表示している領域の各点（画素）の透過度を調節する ことで、前記輝度変調型の DFDと同様に、前記手前の表示面 301Aと奥の表示面 30 1 Bの間の任意の奥行き位置に前記ポインタ 4やオブジェクト 5の立体像を表示するこ とがでさる。 [0509] 表示装置として DFDを用いている場合は、前記表示装置 3に表示されるポインタ 4 の幅によって奥行きを認識するだけでなぐポインタ 4の奥行きが変わらな 、一端とポ インタ 4の先がある奥行き位置を比較することで、直感的、かつ、正確にポインタ 4の 奥行き位置が認識できる。また、 DFDを用いる場合、 DFDの手前の表示面、もしくは 奥の表示面をポインタ 4の奥行きが変わらない一端のある奥行き位置とすると、操作 者は、より正確、かつ直感的にポインタ 4の奥行き位置が認識できるという大きな効果 がある。
[0510] また、一般的な CRTディスプレイや液晶ディスプレイのような 2次元表示装置の場合 、前記表現する前記 3次元空間を 2次元平面に射影して表示する処理が必要である 力 前記 DFDのような 3次元表示装置の場合、前記 3次元空間の奥行き方向の位置 に応じて各表示面上の点（画素）の輝度の比率を設定すればよ!、だけなので、前記 ポインティング装置 (システム制御装置 1)に力かる負荷を低減できる。また、一般的な CRTディスプレイや液晶ディスプレイのような 2次元表示装置の場合、前記表示する 前記 3次元空間を 2次元平面に射影して表示するので、操作者によっては、実空間と 同じ感覚でポインティング操作をすることは難しい場合があるが、前記 DFDのような 3 次元表示装置を用いることで、より実空間に近い感覚でポインティング操作をすること ができる。これらのことから、前記 DFDのような 3次元表示装置を用いることで、前記操 作者は、一般的な 2次元ディスプレイを用いてポインティング操作をする場合に比べ て、よりよ 、精度と速さで 3次元の奥行きをポインティング可能となる。
[0511] また、図 61では、前記入力装置 2としてキーボード 201とペンタブレットを組み合わ せて用いる場合を示しており、第 1の実施の形態の技術を適用できる。すなわち、前 記ペンタブレットは、検出手段（デジタイザ） 203A上で入力ペン（電子ペン） 203Bを 操作することにより、前記入力ペン 203Bのペン先の動き、筆圧等を検出する入力デ バイスである。そのため、たとえば、前記入力ペン 203Bのペン先の動きを XY平面
I I
内でのポインタ 4の移動量、前記キーボード 201のコントロールキー（Ctrlキー）を押し ているときの筆圧の大きさを +Z方向の移動量、前記キーボード 201のシフトキー（Sh iftキー）を押して!/、るときの筆圧の大きさを Z方向の移動量に反映させれば、前記 マウス 202を用いたときと同様の操作感で前記ポインタ 4によるポインティングが可能 となる。
[0512] また、第 2の実施の形態の技術を適用することもできる。この場合、前記入力ペン 2 03Bの筆圧の大きさの代わりに、たとえば、前記入力ペン 203bで前記検出手段 203 Aを押した回数に応じて前記ポインタ 4の傾く量を決定する。
[0513] また、前記ペンタブレットの検出手段 (デジタイザ） 203Aを前記表示装置 3 (DFD) の表示面 301A, 301Bと重ね合わせれば、前記操作者は、前記表示面 301A, 30 1B上で前記入力ペン 203Bを操作し、ポインティングをすることができるので、操作 者は、さらに正確、かつ直感的にポインタ 4の奥行き位置を認識できる。
[0514] また、本実施例 3— 1の 3次元ポインティング方法は、前記ペンタブレットの代わりに 、たとえば、タツチパネルのように、前記表示装置 3と一体化可能な入力装置を用い てポインティングする場合にも適している。前記タツチパネルの場合、たとえば、前記 入力ペン 203Bの代わりに操作者の指で前記表示装置 3の画面に触れることで前記 ポインタ 4を操作することもできるので、前記入力ペン 203Bを用いるペンタブレットよ りも、より直感的に前記ポインタ 4を操作することができる。
[0515] また、本実施例 3— 1の 3次元ポインティング方法では、たとえば、図 52の下段等に 示したように、前記ポインタ 4を傾けるときに、ポインティングしている点の XY座標 (X
P
, y )を一定に保ち、前記ポインティングしている点が奥行き方向に延びる直線状の
P
軌跡をたどる例を挙げて説明した力 これに限らず、前記ポインティングしている点が 種々の軌跡をたどるように傾けてもよ!、。
[0516] 図 63A乃至図 66Bは、本実施例 3— 1の 3次元ポインティング方法の第 4の応用例 を説明するための模式図であり、図 63A,図 63B,図 64A,図 64Bはそれぞれ直線 状の軌跡をたどる場合の応用例を示す図、図 65A,図 65B,図 66A,図 66Bはそれ ぞれ円弧状の軌跡をたどる場合の応用例を示す図である。
なお、図 63A,図 63B,図 64A,図 64B,図 65A,図 65B,図 66A,図 66Bの各図 は、軌跡をわ力りやすくするために、 3次元空間を XZ平面側から見た図 (右側面図） を示している。
[0517] 前記ポインティングしている点 (X , y , z )を奥行き方向に移動させるときには、図 5
P P P
2の下段等に示したような XY座標 (X , y )を一定に保った移動に限らず、たとえば、
P P 図 63Aに示すように、前記ポインティングしている点が +Z方向への移動に比例して +X方向にも移動するような軌跡をたどるようにしてもよい。また逆に、図 63Bに示す ように、前記ポインティングして 、る点が +Z方向への移動に比例して—X方向に移 動するような軌跡をたどるようにしてもよい。また、図 63Aおよび図 63Bでは、前記ポ インタ全体の長さを保った状態で傾ける場合を示している力 これに限らず、図 64A および図 64Bに示すように、前記ポインタの一端の 3次元的な位置を固定した状態で 前記ポインティングして 、る点を奥行き方向に移動させ、ポインタ全体の長さを変化 させながら奥行き方向に傾けることも可能である。
[0518] また、前記ポインティングしている点 (X , y , z )を奥行き方向に移動させるときの軌
P P P
跡は、前記直線状の軌跡に限らず、たとえば、図 65Aおよび図 65Bに示すように、 3 次元空間上のある点 (X , y , z )から y=yの XZ平面内に半径 rで描かれる円弧状
P c c P
の軌跡をたどるようにしてもよい。また、図 65Aおよび図 65Bでは、前記ポインタ全体 の長さを保った状態で傾ける場合を示している力 これに限らず、図 66Aおよび図 6 6Bに示すように、前記ポインタの一端の 3次元的な位置を固定した状態で前記ボイ ンティングして 、る点を奥行き方向に移動させ、ポインタ全体の長さを変化させながら 奥行き方向に傾けることも可能である。
[0519] また、前記ポインティングしている点 (X , y , z )を奥行き方向に移動させるときの軌
P P P
跡は、前記各図で示したような軌跡に限らず、どのような軌跡であってもよい。
[0520] [実施例 3— 2]
図 67乃至図 69は、本発明による実施例 3— 2の 3次元ポインティング方法を説明す るための模式図であり、図 67はポインタよりも奥にあるオブジェクトをポインティングす るときの 3次元空間内の変化を示す正面図および右側面図、図 68Aは本実施例 3— 2の 3次元ポインティング方法で問題となる点を説明する図、図 68Bは図 68Aに示し た問題点を解決する方法の一例を説明する図、図 69は図 68Bに示した解決方法の 変形例を説明する図である。なお、図 67は、上段、中段、下段に 3次元空間の 3通り の状態を示しており、各段の間に示したような操作を行うことで、 3次元空間内の状態 が上段力も中段、中段力も下段へと変化する様子を示している図である。なお、図 68 A,図 68B,図 69の各図は、本実施例 3— 2の特徴をわ力りやすくするために、 3次 元空間を xz平面側から見た図（右側面図）のみを示して 、る。
[0521] 前記実施例 3— 1では、前記ポインタ 4のポインティングしている点（X , y , z )とは
P P P
異なる部分の奥行き位置を一定に保った状態で、前記ポインティングして 、る点があ らカじめ定められた軌跡をたどるように、前記ポインタ 4を奥行き方向に傾ける 3次元 ポインティング方法について説明した。そこで、本実施例 3— 2では、前記実施例 3— 1とは異なる傾けかたの例として、前記ポインタ 4を 3次元空間上のある点 (X , y , z ) を中心とし、かつ、前記ポインタ 4上の各点と前記中心の距離を一定に保った状態で 回転させることで、前記ポインタ 4の傾きを認識させ、かつ、ポインティングしている位 置を認識させる 3次元ポインティング方法について説明する。
[0522] なお、本実施例 3— 2の場合も、 3次元ポインティング方法を実現させるシステム構 成において、前記入力装置 2には、キーボードやマウス、ペンタブレット、タツチパネ ル、ジョイスティック等既存の種々の入力デバイスを用いることが可能である力 図 51 に示したように、キーボード 201とマウス 202を用いているとする。また、前記表示装 置 3も同様に、 CRTや液晶ディスプレイ等の 2次元表示装置、 DFD等の 3次元表示装 置等の表示装置を用いることが可能である力 図 51に示したように液晶ディスプレイ ( 2次元表示装置）を用いて!/、るとする。
[0523] また、前記表示装置 3に表現される 3次元空間上で、たとえば、図 51に示すように、 表示面 301を Z = 0とし、前記表示面 301が XY平面となり、かつ、操作者から見て表 示面から奥に向力う方向を Z軸の正の方向とする 3次元座標系 XYZをとつているとす る。このとき、前記 3次元空間内に表示されたポインタ 4を XY平面内での移動方向お よび移動距離は、前記マウス 202本体を机上等の平面上で 2次元的に動力したとき の移動方向および移動距離に基づいて算出 (決定)する。
[0524] また、奥行き方向（Z方向）の移動方向および移動距離は、たとえば、図 51に示した ように、前記キーボード 201のコントロールキー（Ctrlキー）等のあら力じめ定められた キー 201Aを押しながら前記マウス 202のホイール 202Aを回転させたときの回転方 向と回転角度に基づいて算出（決定)する。このとき、たとえば、図 51に示したように、 前記マウスのホイール 202Aを +Z方向に回した場合は前記ポインタのポインティン グを行う部分を 3次元空間の +Z方向、すなわち操作者から見て奥に向力う方向に移 動させる。そして、前記マウスのホイール 202Aを— Z方向に回した場合は前記ポイン タのポインティングを行う部分を 3次元空間の—Z方向、すなわち操作者力 見て手 前に向力う方向に移動させる。
[0525] また、本実施例 3— 2の 3次元ポインティング方法では、前記ポインタの形状は矢印 形とし、矢の先端部分がポインティングしている点 (X , y , z )を表しているとする。
P P P
[0526] 本実施例 3— 2における 3次元ポインティング方法の一例として、図 67の上段に示 すように、 3次元空間内の異なる奥行き位置にポインタ 4およびオブジェクト 5が表示 されている場合のポインティング方法を挙げる。このとき、 Z方向から前記 3次元空 間を見て 、る操作者の視点からは、前記オブジェクト 5上に前記ポインタ 4が重なって 見えるが、前記ポインタ 4がポインティングしている点（X , y , z )と前記オブジェクト 5
P P P
は奥行き位置が異なるので、前記オブジェクト 5はポインティングされて ヽな 、。
[0527] この状態から、前記操作者が、たとえば、前記キーボードのコントロールキー（Ctrlキ 一） 201Aを押しながら、前記マウスのホイール 202Aを +Z方向に回したとする。この とき、前記ポインタ 4は、たとえば、図 67の中段に示したように、前記 3次元空間内の ある点 (X , y , z )を中心とする半径 rの円周上を、前記ポインタ 4の各点と前記点 (X , y , z )との距離を保った状態で、ポインティングしている点 (X , y , z )が奥（+Z方 c c P P P 向）に移動するように回転する。
[0528] このように、前記キーボードのコントロールキー 201Aを押しながら、前記マウスのホ ィール 202Aを +Z方向に回すことにより、前記ポインタ 4は、ポインティングしている 点 (矢印の矢の部分)側が操作者力も見て遠くなるように傾く。またこのとき、前記ボイ ンタの形状およびサイズを保ちながら回転させれば、前記ポインタの矢の部分の幅が 狭く表示される。この結果、前記操作者は、ポインタ 4が奥行き方向（+Z方向）に傾 いたことを認識できると同時に、前記ポインタ 4の形状から、前記ポインタ 4が操作前 の位置よりも奥をポインティングしていることも認識できる。
[0529] そして、図 67の中段に示したような状態から、さらにもう一度、前記キーボードのコ ントロールキー 201Aを押しながら、前記マウスのホイール 202Aを +Z方向に回した とする。このときも、前記ポインタは、たとえば、図 67の下段に示したように、前記 3次 元空間内のある点（X , y , z )を中心とする半径 rの円周上を、前記ポインタ 4の各点 と前記点 (x , y , ζ )との距離を保った状態で、ポインティングしている点 (X , y , ζ ) c c c P P P が奥（+Z方向）に移動するように回転する。この結果、前記操作者は、ポインタ 4がさ らに奥行き方向（+Z方向）に傾いたことを認識できると同時に、前記ポインタ 4の形 状から、前記ポインタ 4が操作前の位置よりもさらに奥をポインティングしていることも 認識できる。
[0530] またこのとき、前記キーボードのコントロールキー 201Aを押しながら、前記マウスの ホイール 202Aを +Z方向に回すという操作を続けた結果、図 67の下段に示したよう に、前記ポインタ 4のポインティングしている点（矢の先端）が前記オブジェクト 5と同じ 奥行き位置に到達し、前記ポインタ 4の先端の xyz座標と前記オブジェクト 5の表面上 または内部の任意の点の xyz座標が一致すると、前記オブジェクト 5は、前記ポインタ 4によってポインティングされた状態になる。そのため、たとえば、図 67の下段に示し たように、前記オブジェクト 5の色を変えて、ポインティングされている状態であることを 表す。このようにすれば、前記操作者は、前記ポインタ 4の形状力 ポインタの奥行き 方向の位置、およびポインタ 4がポインティングして!/、る奥行き方向の位置を直観的、 かつ、正確に認識できる。また、前記ポインタ 4によってポインティングされたときにォ ブジェクト 5の色を変えることで、前記オブジェクト 5と重なって 、るポインタ 4が前記ォ ブジェクト 5をポインティングしている力否かが直観的、かつ、正確に認識できる。
[0531] し力しながら、本実施例 3— 2の 3次元ポインティング方法の場合、前記 3次元空間 内のある点 (X , y , z )を中心とする半径 rの円周上を、前記ポインタ 4の各点と前記 点 (X , y , z )との距離を保った状態で、ポインティングしている点 (X , y , z )が奥（ c c c P P P
+Z方向）または手前（-Z方向）に移動するように前記ポインタ 4を角度 Θだけ回転 させている。そのため、図 67の中段に示したように、前記ポインタ 4を奥に傾けたとき に、傾けた後のポインタ 4の一部（矢の先端の反対側部分)の奥行き位置が、傾ける 前の奥行き位置よりも手前になってしまう。このとき、前記ポインタの奥行き位置が十 分に大きければ、傾けた後の前記ポインタの矢の先端の反対側の部分が前記表示 装置 3に表現された 3次元空間内に存在し、表示させることができる。しかしながら、 たとえば、図 68Aに示すように、前記ポインタ 4が表示面 301上、言い換えると前記 表示装置で表現されている 3次元空間と前記操作者がいる実空間の境界面上また はその近傍に表示されていると、前記ポインタ 4が回転して傾いたときに、前記ポイン タ 4の矢の先端の反対側の部分が前記表示装置 3に表現された 3次元空間の外側に 出てしまい、表示することができない。そのため、前記ポインタ 4の形状力 矢の先端 の反対側の部分が欠けた形状になってしまうという問題がある。
[0532] そこで、本実施例 3— 2の 3次元ポインティング方法では、前記ポインタ 4を回転させ て奥行き方向に傾けた結果、ポインティングを行わな 、一端が表示装置で表現でき ない空間にはみ出してしまう場合、図 68Bに示すように、ポインタ 4のはみ出した部分 を前記 3次元空間の XY平面に射影したポインタを生成し、表示させる。このようにす ることで、前記 3次元空間からはみ出した部分が欠けるのを防ぎ、ポインタの形状を 保つことができる。
[0533] また、図 68Bに示したようにポインタ 4のはみ出した部分を前記 3次元空間の XY平 面に射影する代わりに、図 69に示すように、前記ポインタ 4上の前記 3次元空間の境 界面 301上の点を支点として、前記はみ出した部分を、前記 3次元空間の境界面 (X Y平面）に折り曲げたポインタを生成し、表示させてもよい。
[0534] また、本実施例 3— 2の 3次元ポインティング方法を、前記システム制御装置 1 (ボイ ンティング装置）に実行させるときには、図 55に示したような、ステップ 601からステツ プ 608の処理を実行させればよい。ただし、本実施例 3— 2の 3次元ポインティング方 法の場合、前記ポインタを傾けて表示させるステップ 606では、前記ステップ 605の 算出結果に基づいてポインタを傾けたときに、前記 3次元空間からはみ出す部分が ある力否かを判定し、はみ出す部分がある場合は、はみ出した部分を XY平面 (境界 面）に射影するか折り曲げるかの操作をしたポインタを生成し、前記表示装置 3に表 示させる。
[0535] また、図 67では、前記操作者から見て、前記オブジェクト 5の奥行き位置よりも手前 に前記ポインタ 4があり、前記ポインタ 4を奥（+Z方向）に傾ける場合の操作を説明し たが、本実施例 3— 2の 3次元ポインティング方法では、前記ポインタ 4を手前（一 Z方 向）に傾けることもできる。
[0536] 以上説明したように、本実施例 3— 2の 3次元ポインティング方法によれば、前記 3 次元空間内のある点 (X , y , z )を中心とする半径 rの円周上を、前記ポインタ 4の各 点と前記点 (x , y , ζ )との距離を保った状態で、ポインティングしている点 (X , y , ζ c c c P P
)が奥（+Z方向）または手前（-Z方向）に移動するように前記ポインタ 4を回転させ
P
て前記表示装置 3に表示させることにより、前記ポインタ 4を見た操作者が前記ポイン タ 4の奥行き位置および前記ポインタ 4がポインティングしている奥行き位置を直観的 、かつ、正確に認識できる。
[0537] また、このようなポインタの傾けかたの場合、前記ポインタ 4の 3次元的な長さが変化 しないため、操作者に対して、より実物体に近い、 自然なオブジェクト表示を呈示でき る。
[0538] また、本実施例 3— 2の 3次元ポインティング方法では、前記入力装置 2としてキー ボード 201とマウス 202を用い、前記キーボードのコントロールキー 201Aとマウスの ホイール 202Aの回転操作を組み合わせることで、前記ポインタ 4を奥行き方向に傾 ける例を示した力 これに限らず、キーボード 201の他のキーとホイール 202Aの組 み合わせであってもよいし、ホイール 202Aの代わりにキーボード 201のカーソルキ 一（方向キー）と組み合わせてもよい。また、その他にも、たとえば、ペンタブレットゃタ ツチパネル、ジョイスティック等であら力じめ定められた操作をしたときに傾くようにして もよい。また、前記表示装置 3も、液晶ディスプレイ等の 2次元表示装置に限らず、 DF Dのような 3次元表示装置であっても構わな 、。
[0539] また、本実施例 3— 2の 3次元ポインティング方法では、前記ポインタ 4として、矢印 形状のポインタを例に挙げたが、これに限らず、奥行き方向へ傾けて表示させたとき の傾きの方向およびポインティングしている点 (位置）が視覚的に認識できる形状で あれば、どのような形状であってもよい。
[0540] また、前記オブジェクト 5も、本実施例 3— 2では、図 51等に示したようなフォルダァ イコン型のオブジェクトを例に挙げた力 これに限らず、データファイルや実行フアイ ルのアイコン (ショートカット）やウィンドウ等、前記ポインタでポインティング可能な形 状であれば、どのような形状のオブジェクトでもよ!/、。
[0541] また、本実施例 3— 2のポインティング方法では、たとえば、前記ポインタ 4の視覚的 な形状の変化カゝら前記ポインタ 4の奥行き方向のポインティング位置を認識できるが 、たとえば、前記 3次元空間内に、前記ポインタ 4がどれくらい傾いたかを操作者に認 識させる指標となるリファレンスを前記表示装置 3に表示させてもよい。
[0542] なお、本実施例において、回転の中心は本実施例に示した位置にあるとは限らず 、表現されて 、る 3次元空間の内外であってもかまわな 、ものとする。
[0543] また、本実施例 3— 2の 3次元ポインティング方法の場合も、図 67に示したように、 前記ポインタ 4を回転させて傾けるだけでなぐ図 59に示したように前記ポインタ 4の 形状を保ったまま奥行き方向に並進移動させる操作が加わって 、てもよ 、し、図 60 に示したように前記ポインタ 4を XY平面内で回転させる操作が加わって 、てもよ 、。
[0544] また、本実施例 3— 2の 3次元表示方法では、前記ポインタを回転させる前記 3次元 空間内のある点 (X , V , z )は、図 67に示したような位置に限らず、任意の位置にと ることができる。またこのとき、前記点 (X , y , z )の位置は、前記表示装置 3に表現さ れている 3次元空間内、あるいは 3次元空間外のどちらであっても構わない。またさら に、前記点 (X , y , z )の位置は、固定しておく必要はなぐポインタ 4の回転に合わ せて 3次元空間内を移動させても構わない。
[0545] 図 70A、 Bは、本実施例 3— 2の 3次元ポインティング方法の応用例を説明するため の模式図であり、図 70Aは回転の中心となる点が 3次元空間内で固定されている場 合の例を示す図、図 70Bは回転の中心となる点が 3次元空間内で移動する場合の 例を示す図である。
[0546] 本実施例 3— 2の 3次元ポインティング方法は、前記 3次元空間内のある点 (x , y , z )を中心とする半径 rの円周上を、前記ポインタ 4の各点と前記点 (X , y , z )との距 離を保った状態で、ポインティングしている点 (X , y , z )が奥（+Z方向）または手前
P P P
(一 Z方向）に移動するように前記ポインタ 4を回転させることで、前記ポインタ 4を奥ま たは手前に傾けて表示する。そのため、前記ポインタ 4が奥または手前に傾いている ことや、ポインティングしている奥行き位置が認識できれば、どのような回転のさせか たでもよい。
[0547] 最もシンプルな回転方法は、図 70Aに示したように、ある奥行き位置に表示された ポインタを回転させるために、中心となる点 (X , y , z )を設定したときに、その位置を 固定した状態で前記ポインタを回転させる方法である。
[0548] しかしながら、本実施例 3— 2の 3次元ポインティング方法は、このようなポインタの 回転方法に限定されるものではなぐたとえば、図 70Bに示したように、ある奥行き位 置に表示されたポインタ 4を回転させるために、中心となる点 (X , y , z )を設定した ときに、前記ポインタ 4の回転にあわせて、前記点（X , y , z )を +X方向に Δ χずつ 移動させてもよい。また、図示は省略するが、前記ポインタ 4の回転にあわせて、前記 点 (X , y , z )を— X方向に移動させてもよい。
[0549] [実施例 3— 3]
図 71乃至図 73は、本発明による実施例 3— 3の 3次元ポインティング方法を説明す るための模式図であり、図 71はポインタよりも奥にあるオブジェクトをポインティングす るときの 3次元空間内の変化を示す正面図および右側面図、図 72は図 71の 3次元 空間内の変化の斜視図、図 73は本実施例 3— 3の 3次元ポインティング方法をシステ ム制御装置 (ポインティング装置)で実行するときの処理手順を説明するためのフロ 一図である。なお、図 71は、上段、中段、下段に 3次元空間の 3通りの状態を示して おり、各段の間に示したような操作を行うことで、 3次元空間内の状態が上段力 中段 、中段力も下段へと変化する様子を示している図である。また、図 72も上段、中段、 下段に 3通りの状態を示しており、それぞれ、図 71の上段、中段、下段の各状態の 3 次元空間内の様子を斜視図で示している。
[0550] 前記実施例 3— 1や実施例 3— 2では、前記ポインタ 4を奥行き方向に傾けることで 、前記ポインタ 4の、ポインティングしている点がある部分と、前記ポインティングして V、る点と反対側の端部の奥行き位置を変え、ポインティングして 、る奥行き位置の認 識を容易、かつ正確にしている。このとき、前記ポインタ 4のポインティングしている点 がある部分と、前記ポインティングして 、る点と反対側の端部の奥行き位置を変える ことで、ポインティングしている奥行き位置を認識するという観点で考えれば、前記実 施例 3— 1や実施例 3— 2で説明したように、前記ポインタの全体の長さや形状を一 定に保った状態で奥行き方向に傾けるだけでなぐ前記ポインティングして 、る点の 周辺のみを奥行き方向（+Z方向または Z方向）に移動させることでも、ポインティン グしている奥行き位置の認識することは可能である。そこで、本実施例 3— 3ではボイ ンティングしている点の周辺のみを奥行き方向（+Z方向または Z方向）に移動させ る 3次元ポインティング方法について説明する。 [0551] なお、本実施例 3— 3の場合も、 3次元ポインティング方法を実現させるシステム構 成において、前記入力装置 2には、キーボードやマウス、ペンタブレット、タツチパネ ル、ジョイスティック等既存の種々の入力デバイスを用いることが可能である力 図 51 に示したように、キーボード 201とマウス 202を用いているとする。また、前記表示装 置 3も同様に、 CRTや液晶ディスプレイ等の 2次元表示装置、 DFD等の 3次元表示装 置等の表示装置を用いることが可能である力 図 51に示したように液晶ディスプレイ ( 2次元表示装置）を用いて!/、るとする。
[0552] またこのとき、前記表示装置 3に表現される 3次元空間上で、たとえば、図 51に示す ように、表示面 301を Z = 0とし、前記表示面 301が XY平面となり、かつ、操作者から 見て表示面 301から奥に向力う方向を Z軸の正の方向とする 3次元座標系 XYZをと つているとする。このとき、前記 3次元空間内に表示されたポインタ 4の XY平面内で の移動方向および移動距離は、前記マウス 202本体を机上等の平面上で 2次元的 に動力したときの移動方向および移動距離に基づいて算出 (決定)する。
[0553] また、奥行き方向（Z方向）の移動方向および移動距離は、たとえば、図 51に示した ように、前記キーボード 201のコントロールキー（Ctrlキー）等のあら力じめ定められた キー 201Aを押しながら前記マウス 202のホイール 202Aを回転させたときの回転方 向と回転角度に基づいて算出（決定)する。このとき、たとえば、図 51に示したように、 前記マウスのホイール 202Aを +Z方向に回した場合は前記ポインタのポインティン グを行う部分を 3次元空間の +Z方向、すなわち操作者から見て奥に向力う方向に移 動させる。そして、前記マウスのホイール 202Aを— Z方向に回した場合は前記ポイン タのポインティングを行う部分を 3次元空間の—Z方向、すなわち操作者力 見て手 前に向力う方向に移動させる。
[0554] また、本実施例 3— 3の 3次元ポインティング方法では、前記ポインタ 4の形状は矢 印形とし、矢の先端部分がポインティングしている点 (X , y , z )を表しているとする。
P P P
そして、奥行き方向のポインティングをするときには、前記矢の部分のみが奥行き方 向（+ Z方向または— Z方向）に移動し、矢の先端の反対側の部分は奥行き位置を変 えないようにする。また、前記矢の部分が奥行き方向に移動した場合、前記矢の部分 と矢の先端の反対側の部分を接続して一体化することで、 1つのポインタとして認識 でさるよう〖こする。
[0555] 本実施例 3— 3における 3次元ポインティング方法の一例として、図 71の上段およ び図 72の上段に示すように、 3次元空間内の異なる奥行き位置にポインタ 4およびォ ブジェクト 5が表示されている場合のポインティング方法を挙げる。このとき、 Z方向 力 前記 3次元空間を見ている操作者の視点からは、前記オブジェクト 5上に前記ポ インタ 4が重なって見えるが、前記ポインタ 4がポインティングしている点（X , y , z )と
P P P
前記オブジェクト 5は奥行き位置が異なるので、前記オブジェクト 5はポインティングさ れていない。
[0556] この状態から、前記操作者が、たとえば、前記キーボードのコントロールキー 201A を押しながら、前記マウスのホイール 202Aを +Z方向に回したとする。このとき、前記 ポインタ 4は、たとえば、図 71の中段および図 72の中段、図 71の下段および図 72の 下段に示すように、ポインティングしている点 (X , y , z )のある矢の部分のみが奥（
P P P
+Z方向）に並進移動する。またこのとき、前記ポインタ 4は、前記矢の部分と、奥行き 位置が変わらない矢の先端の反対側の部分は、図 71の中段および図 72の中段に 示したように接続されており、矢の部分と矢の先端の反対側の部分の間の軸部分が 延びて折れ曲がつたような形状になる。
[0557] このように、前記キーボードのコントロールキー 201Aを押しながら、前記マウスのホ ィール 202Aを +Z方向に回すことにより、前記ポインタ 4は、ポインティングしている 点 (矢の部分)側が操作者から見て遠くなるように傾く。またこのとき、前記ポインタの 形状およびサイズを保ちながら回転させれば、前記ポインタの矢の部分の幅が狭く 表示される。この結果、前記操作者は、ポインタ 4が奥行き方向（+Z方向）に傾いた ことを認識できると同時に、前記ポインタ 4の形状から、前記ポインタ 4が操作前の位 置よりも奥をポインティングして ヽることも認識できる。
[0558] また、前記キーボードのコントロールキー 201Aを押しながら、前記マウスのホイ一 ル 202Aを +Z方向に回すという操作を続けた結果、図 71の下段および図 72の下段 に示すように、前記ポインタ 4のポインティングしている点（X , y , z )が前記オブジェ
P P P
タト 5と同じ奥行き位置に到達し、前記ポインタ 4の先端の xyz座標と前記オブジェクト 5の表面上または内部の任意の点の xyz座標が一致すると、前記オブジェクト 5は、 前記ポインタ 4によってポインティングされた状態になる。そのため、たとえば、図 71 の下段に示したように、前記オブジェクト 5の色を変えて、ポインティングされている状 態であることを表す。このようにすれば、前記操作者は、前記ポインタ 4の形状力 ポ インタの奥行き方向の位置、およびポインタ 4がポインティングしている奥行き方向の 位置を直観的、かつ、正確に認識できる。また、前記ポインタ 4によってポインティン グされたときにオブジェクト 5の色を変えることで、前記オブジェクト 5と重なっているポ インタ 4が前記オブジェクト 5をポインティングしている力否かが直観的、かつ、正確に 認識できる。
[0559] このような本実施例 3— 3の 3次元ポインティング方法を、前記システム制御装置 1 ( ポインティング装置）〖こ実行させるとき〖こは、図 73に示したような、ステップ 601からス テツプ 604、ステップ 607からステップ 608、ステップ 609からステップ 610の処理を 実行させればよい。なお、図 73に示したステップ 601力らステップ 604、ステップ 607 力 ステップ 608は、図 55に示した処理のステップ 601からステップ 604、ステップ 6 07からステップ 608と同じ処理でよいので、詳細な説明は省略する。
[0560] また、図 73に示したステップ 609は、図 55に示した処理のステップ 605に相当する 処理を行うステップであり、本実施例 3— 3の 3次元ポインティング方法の場合、前記 ポインタ 4のポインティングを行う部分 (ポインティング部）の奥行き方向の移動方向（ +Z方向または Z方向）、および移動量を算出する。
[0561] また、図 73に示したステップ 610は、図 55に示した処理のステップ 606に相当する 処理を行うステップであり、本実施例 3— 3の 3次元ポインティング方法の場合、前記 ポインタ生成手段 103には、前記ポインタ 4をポインティングしている部分としていな い部分に分割し、前記ポインティングしている部分のみ奥行き方向の位置を変え、ポ インティングして 、る部分として 、な 、部分を連結したポインタ 4を生成させ、前記表 示装置 3に表示させる。
[0562] 以上説明したように、本実施例 3— 3の 3次元ポインティング方法によれば、前記ポ インタをポインティングして!/、る部分として！/ヽな 、部分に分割し、前記ポインティングし て 、る部分のみ奥行き方向の位置を変え、ポインティングして 、る部分として 、な ヽ 部分を連結したポインタを表示させることで、前記ポインタの奥行き位置を正確に、か つ直感的に認識することができる。
[0563] また、本実施例 3— 3の 3次元ポインティング方法を前記システム制御装置 1 (ポイン ティング装置）に実行させる場合、前記ポインタ生成手段 103では、前記ポインタをポ インティングして 、る部分として 、な 、部分に分割する、前記ポインティングして 、る 部分のみ奥行き方向の位置を変える、ポインティングして 、る部分として 、な 、部分 を連結して 1つのポインタにするという、比較的単純な計算処理によりポインタを生成 することができる。そのため、前記実施例 3—1や実施例 3— 2のようにポインタ上の各 点の座標を 3次元的に変換するポインタの生成方法に比べ、ポインタ生成処理の負 荷が低減し、高速かつなめらかに変化するポインタ表示が容易になる。
[0564] また、図 71では、前記操作者から見て、前記オブジェクト 5の奥行き位置よりも手前 に前記ポインタ 4があり、前記ポインタ 4を奥（+Z方向）に傾ける場合の操作を説明し たが、本実施例 3— 3の 3次元ポインティング方法では、前記ポインタ 4を手前（一 Z方 向）に傾けることもできる。
[0565] 図 74A〜Dは、本実施例 3— 3の 3次元ポインティング方法におけるポインタの連結 方法を説明するための模式図であり、図 74A,図 74B,図 74C,図 74Dはそれぞれ YZ平面側から見たポインタの連結方法を示す図である。
[0566] 本実施例 3— 3の 3次元ポインティング方法のように、奥行き位置が異なるポインティ ングしている部分としていない部分を連結して、 1つのポインタ 4にするときには、たと えば、図 71の下段や図 74Aに示したように、平面で連結すると、前記システム制御 装置 1におけるポインタ生成処理が楽になる。しかしながら、本実施例 3— 3の 3次元 ポインティング方法は、このようなポインタの連結方法を限定するものではなぐ図 74 Bに示すように、連結部（折れ曲がり部）が曲面になって 、てもよ 、。
[0567] また、ポインティングしている部分と連結部の接続のしかた、およびポインティングし ていない部分と連結部の接続のしかたも、たとえば、図 74Cに示すように、ポインティ ングして!/、る部分と連結部の接続はなめらかな接続にし、ポインティングして ヽな ヽ 部分と連結部の接続は折り曲げた接続にしてもよい。また逆に、図 74Dに示すよう〖こ 、ポインティングしている部分と連結部の接続は折り曲げた接続にし、ポインティング して！/、な!/、部分と連結部の接続はなめらかな接続にしてもょ 、。 [0568] また、本実施例 3— 3の 3次元ポインティング方法では、前記ポインタ 4をポインティ ングして!/、る部分として ヽな 、部分に分割し、前記ポインティングして 、る部分のみ 奥行き方向の位置を変え、ポインティングして 、る部分として 、な 、部分を連結した ポインタを生成し、表示させればよいので、前記各図に示したような連結方法に限ら ず、種々の連結方法を適用することが可能である。
[0569] 図 75乃至図 78Bは、本実施例 3— 3の 3次元ポインティング方法の応用例を説明 するための模式図であり、図 75,図 76A,図 76Bはそれぞれポインティングする部分 の形状を保った状態で移動させる場合の応用例を示す図、図 77A,図 77B,図 78A ,図 78Bはそれぞれポインティングする部分の形状を変化させる場合の応用例を示 す図である。なお、図 75,図 76A,図 76B,図 77A,図 77B,図 78A,図 78Bの各 図は、軌跡をわ力りやすくするために、 3次元空間を XZ平面側から見た図 (右側面図 )を示している。
[0570] 前記ポインティングしている部分を奥行き方向に移動させるときには、図 71の下段 等に示したような、前記ポインティングしている点 (X , y , z )が +Z方向への移動に
P P P
比例して +X方向に移動するような軌跡をたどるように移動させる移動に限らず、たと えば、図 75に示すように、前記ポインティングしている点（X , y , z )が +Z方向への
P P P
移動に比例して—X方向に移動するような軌跡をたどるように移動させてもょ 、。
[0571] また、前記ポインティングしている点 (X , y , z )を奥行き方向に移動させるときの軌
P P P
跡は、直線状の軌跡に限らず、たとえば、図 76Aおよび図 76Bに示したように、前記 ポインティングしている点 (X , y , z )を、前記 3次元空間内のある点 (X , y , z )を中
P P P c c c 心とする半径 rの円弧状の軌跡をたどるように移動させてもょ 、。
[0572] また、図 71,図 75,図 76Aおよび図 76Bでは、前記ポインティングしている部分を 奥行き方向に移動させるときに、前記ポインティングしている部分の形状を一定に保 つたまま移動させ、そのときのポインティングして!/、る部分として 、な 、部分の奥行き 位置に応じて連結している力 これに限らず、図 77A,図 77B,図 78A,および図 78 Bに示すように、前記ポインティングして 、る部分として 、な 、部分を YZ平面に平行 な面で連結し、前記ポインティングしている点 (X , y , z )を移動させるときの軌跡に
P P P
応じて、前記ポインティングしている部分を拡大あるいは縮小したり、長さを変えたりし てもよい。
[0573] また、前記ポインティングして 、る点 (X , y , z )を奥行き方向に移動させるときの軌
P P P
跡は、前記各図で示したような軌跡に限らず、どのような軌跡であってもよい。
[0574] また、本実施例 3— 3の 3次元ポインティング方法では、前記入力装置 2としてキー ボード 201とマウス 202を用い、前記キーボード 201のコントロールキー 201Aとマウ ス 202のホイール 202Aの回転操作を組み合わせることで、前記ポインタ 4を奥行き 方向に傾ける例を示した力 これに限らず、キーボード 201の他のキーとホイール 20 2Aの組み合わせであってもよいし、ホイール 202Aの代わりにキーボード 201のカー ソルキー（方向キー）と組み合わせてもよい。また、その他にも、たとえば、ペンタブレ ットゃタツチパネル、ジョイスティック等であらカゝじめ定められた操作をしたときに傾くよ うにしてもよい。また、前記表示装置 3も、液晶ディスプレイ等の 2次元表示装置に限 らず、 DFDのような 3次元表示装置であっても構わない。
[0575] また、本実施例 3— 3の 3次元ポインティング方法では、前記ポインタ 4として、矢印 形状のポインタを例に挙げたが、これに限らず、ポインティング部分を奥行き方向に 移動させたときの移動方向およびポインティングしている点 (位置）が視覚的に認識 できる形状であれば、どのような形状であってもよ 、。
[0576] また、前記オブジェクトも、本実施例 3— 3では、図 51等に示したようなフォルダアイ コン型のオブジェクトを例に挙げた力 これに限らず、データファイル矢実行ファイル のアイコン (ショートカット）やウィンドウ等、前記ポインタでポインティング可能な形状 であれば、どのような形状のオブジェクトでもよ！/、。
[0577] また、本実施例 3— 3のポインティング方法では、たとえば、前記ポインタ 4の視覚的 な形状の変化カゝら前記ポインタ 4の奥行き方向のポインティング位置を認識できるが 、たとえば、前記 3次元空間内に、前記ポインタ 4のポインティングを行う部分がどれく ら ヽ奥行き方向に移動したかを操作者に認識させる指標となるリファレンスを前記表 示装置 3に表示させてもょ ヽ。
[0578] また、本実施例 3— 3の 3次元ポインティング方法の場合も、図 71に示したように、 前記ポインタ 4のポインティングを行う部分のみを奥行き方向に並進移動させる操作 の他に、図 59に示したように前記ポインタ 4の形状を保ったまま奥行き方向に並進移 動させる操作が加わって 、てもよ 、し、図 60に示したように前記ポインタ 4を XY平面 内で回転させる操作が加わって 、てもよ!/、。
[0579] また、前記各実施例で説明した 3次元ポインティング方法を実行するポインティング 装置は、前述のように、特殊な装置である必要はなぐたとえば、コンピュータとプログ ラムによって実現することができる。このとき、前記プログラムは、前記各実施例で説 明した処理をコンピュータに実行させる命令が記述されていればよぐ磁気的または 電気的、あるいは光学的のいずれの記録媒体に記録されていてもよい。また、前記 プログラムは、各種記録媒体に記録して提供することも可能であるし、インターネット 等のネットワークを通して提供することも可能である。
[0580] 本第 3の実施の形態で説明したポインティング技術と第 1、第 2の実施の形態にお ける入力ペンを用いたポインタの制御技術とを組み合わせて実施することが可能で ある。図 61にはその一例が示されている。
[0581] また、第 1、第 2の実施の形態において図 5A〜図 6Cを参照して説明した実施例で は、ポインタの一部の奥行き位置を固定して奥行き方向にあるオブジェクトをポインテ イングすると 、う本第 3の実施の形態で説明したポインティング技術が適用されて 、る
[0582] 第 1、第 2の実施の形態と第 3の実施の形態とを組み合わせた更なる実施例を次に 説明する。この実施例は、第 1、第 2の実施の形態において図 5A〜図 6Cを参照して 説明した実施例 1— 1、 2—1の技術に、第 3の実施の形態において図 52〜図 60を 参照して説明したポインティングを行う点の x、y座標を一定としてポインティングを行 う技術を組み合わせた例である。
[0583] この例において、入力ペンを用いてポインタ操作を行う場合の 3次元空間内のボイ ンタの変化を示す正面図および右側面図を図 79A〜Cに示す。図 79A〜Cの座標 のとり方、符号の付け方は第 1、第 2の実施の形態と同じである。また、使用する装置 等の基本的な条件は実施例 1— 1、 2—1と同じである。また、入力ペンの操作内容は 第 1、第 2の実施の形態で説明した通りであり、入力ペンの筆圧、ペン先の接触時間 、入力ペンに取り付けられた操作手段の操作量、入力ペンの傾き等によりポインタの 制御が行われる。 [0584] ただし、本例では、第 1、第 2の実施の形態におけるポインタ位置 Z回転角度算出 手段が、第 3の実施の形態におけるポインティング位置 Z変形量算出手段での処理 と同様にして、ポインティングを行う点の x、 y座標を一定としてポインタの位置、回転 角度等を算出する。次に、図 79A〜Cを参照して本例でのポインティング動作を説明 する。
[0585] 操作者が入力ペン 201のペン先 201Pを表示面に接触させ、ポインタが表示された 後、図 79Aに示す状態から、操作者がたとえば入力ペン 201の操作を行う (筆圧を 高くする、傾きを変える、入力ペン 201に取り付けられた操作手段を操作する等)。こ の操作により、図 79B,図 79Cに示すように、ポインタ 303の矢の先端の反対側の端 の奥行き位置が一定に保たれた状態で、矢の先端部分が Z方向に移動し、矢の部 分が操作者力 見て奥の方向に傾く。ただし、矢の先端部分の XY座標はペン先 20 1Pの XY座標と同一であり一定である。
[0586] 実施例 1— 1、 2— 1 (図 5A〜6C)では、ペン先 201Pの延長にポインタ 303が存在 するが、この場合、ペン先 201Pの位置が変わらない場合でも、入力ペンを傾けること により、ポインティングする位置 (矢の先端部分)の x、 y座標が変更される。一方、第 3 の実施の形態を適用した図 79A〜Cの例では、ポインティングする位置の x、 y座標 は常にペン先 201Pの x、 y座標と同じであり、奥行きだけが変化する。このとき、入力 ペンの傾きに応じてポインタも回転する力 ポインティングする位置は変わらない。こ れにより、ポインティングする位置の x、 y座標をペン先の位置で決定し、奥行き位置 を入力ペンの操作で制御することが可能となる。
[0587] (第 4の実施の形態）
次に、本発明の第 4の実施の形態について説明する。第 4の実施の形態は本発明 の第 3の目的に対応するものである。
[0588] 第 4の実施の形態の 3次元表示制御方法では、表示装置上に表現された 3次元空 間内に表示されたポインタの位置を 3次元的に変化させたときに、前記 3次元空間の 観察者から見て、前記ポインタの奥行き位置よりも手前に配置されたオブジェクトを透 明化させて表示する。このようにすることで前記観察者から見て、前記ポインタがある オブジェクトの裏側にあたる移動した場合でも、前記ポインタの位置を認識できるよう にした。また、前記ポインタの奥行き位置よりも手前に配置されたオブジェクトを透明 化することで、前記観察者から見て、あるオブジェクトの裏側に隠れている別のォブ ジェタトをポインティングするときに、手前のオブジェクトを移動させたり、非表示の状 態にさせたりする操作をすることなしにポインティングできるようになり、前記観察者（ 前記ポインタの操作者)のポインティング操作が簡便になり、操作者の利便性が向上 する。
[0589] また、第 4の実施の形態の 3次元表示制御方法では、前記観察者から見て、前記ポ インタの奥行き位置よりも手前に配置されたオブジェクトを透明化させて表示するとき に、前記観察者から見て前記ポインタのポインティング位置と重なる前記オブジェクト 上の点を中心とするあら力じめ定められた領域のみを透明化することで、前記ポイン タの奥行き位置よりも手前に配置されたオブジェクトの種類や状態を認識しながら、 前記ポインタの位置を認識することができるようにした。
[0590] また、前記観察者から見て前記ポインタのポインティング位置と重なる前記オブジェ タト上の点を中心とするあら力じめ定められた領域のみを透明化する代わりに、前記 ポインタの操作に関する入力情報が一定時間入力されな力つた場合に、透明化され たオブジェクトを透明化する前の不透明な状態の表示に戻すことで、前記ポインタの 奥行き位置よりも手前に配置されたオブジェ外の種類や状態を認識しながら、前記 ポインタの位置を認識することができるようにした。
[0591] またさらに、第 4の実施の形態のの 3次元表示方法では、移動等の操作を行うため に選択されたオブジェクトに関しては、前記ポインタの奥行き位置よりも手前に配置さ れていても、透明化しないことで、前記オブジェクトが選択された状態であることを認 識できるようにした。
[0592] 図 80乃至図 84は、本発明の第 4の実施の形態の 3次元表示制御方法の概要を説 明するための模式図であり、図 80は第 4の実施の形態の 3次元表示制御方法が適 用されるコンピュータシステムの概略構成を示す図、図 81は 3次元空間を表現できる 表示装置 (DFD)の動作原理を説明する図、図 82は表示装置上に表現された 3次元 空間の一例を示す正面図および右側面図、図 83は表示装置上に表現された 3次元 空間の一例を示す斜視図（鳥瞰図）、図 84はポインタの操作方法の一例を示す図で ある。
図 80において、 1はシステム制御装置、 101は入力情報取得手段、 102はポインタ 位置算出手段、 103はポインタ生成手段、 104はオブジェクト変更判定手段、 105は オブジェクト生成 Z透明化手段、 106は表示制御手段、 107は処理制御手段、 108 は記憶手段、 2は入力装置、 3は表示装置である。また、図 81において、 301Aは観 察者から見て手前の表示面、 301Bは観察者力も見て奥の表示面、 4は観察者が認 識するオブジェクト、 4Aは手前の表示面に表示されるオブジェクト、 4Bは奥の表示 面に表示されるオブジェクト、 Pは観察者の視点である。また、図 82および図 83にお いて、 401はポインタ、 402aから 402gはフォルダアイコン（オブジェクト）、 403aから 403cはウィンドウ（オブジェクト）である。また、図 84において、 201はマウス、 201A はマウスのホイールである。
[0593] 第 4の実施の形態の 3次元表示制御方法は、たとえば、 PC等のシステム制御装置 に接続された表示装置上に表現された 3次元空間内に表示されたポインタをマウス 等の入力装置で操作し、前記 3次元空間内に表示されたオブジェクトのポインティン グ (選択）、移動、加工等の処理を行う場合の、前記ポインタおよびオブジェクトの表 示を制御する方法である。なお、前記ポインタも前記オブジェクトの 1種と考えることが できるが、本明細書では、前記 3次元空間内の任意の一点を指し示すためのォブジ ェクトをポインタとし、その他の、たとえば、アイコン、ウィンドウ、プルダウンメニュー等 のオブジェクトと区別する。
[0594] このとき、前記システム制御装置 1は、たとえば、図 80に示すように、前記入力装置 2からの入力情報を取得する入力情報取得手段 101と、前記入力情報取得手段 10 1で取得した情報がポインタの操作に関する情報 (ポインタ操作情報)である場合に、 前記ポインタ操作情報に基づいてポインタの表示位置を算出するポインタ位置算出 手段 102と、前記ポインタ位置算出手段 102で算出された位置に表示するポインタ を生成するポインタ生成手段 103と、前記ポインタ位置算出手段 102で算出された 位置に基づいてオブジェクトの表示方法を変更する力否かを判定するオブジェクト変 更判定手段 104と、新たなオブジェクトの生成、またはすでに生成されているォブジ ェタトの透明ィ匕もしくは不透明化を行うオブジェクト生成 Z透明化手段 105と、前記ポ インタ生成手段 103で生成されたポインタや、前記オブジェクト生成 Z透明化手段 1 05で生成、または透明ィ匕もしくは不透明化されたオブジェクトを前記表示装置 3に表 示させる表示制御手段 106とを備える。
[0595] また、前記システム制御装置 1では、前記ポインタの生成や、前記オブジェクトの生 成、または透明ィ匕もしくは不透明化といった処理の他に、アプリケーションソフトの起 動、操作といった処理も行うことができる。そのため、前記システム制御装置 1には、 図 80に示したように、前記入力装置 2からの入力情報等に基づいて各処理を制御す る処理制御手段 107を備える。またさらに、前記システム制御装置 1には、図 80に示 したように、前記システム制御装置 1の制御プログラム（OS)、前記アプリケーションソ フトの実行プログラム、前記アプリケーションソフトを用いて処理をするデータ等を記 憶保持する記憶手段 108を備える。このとき、前記システム制御装置 1では、前記入 力情報取得手段 101で取得した入力情報の内容を判別し、前記ポインタ操作情報 である場合は、その情報を前記ポインタ位置算出手段 103に渡し、ポインタの表示位 置を算出する。一方、前記ポインタ操作情報以外の情報である場合はその情報を前 記処理制御手段 107に渡し、前記アプリケーションソフトの実行等の処理を行わせる
[0596] また、前記表示装置 3は、 3次元空間を表現することが可能な表示装置 (ディスプレ ィ）であれば、どのような装置でもよい。すなわち、前記表示装置は、たとえば、 DFD のように立体映像を表示することが可能な 3次元表示装置に限らず、一般的な CRT や液晶ディスプレイのような 2次元表示装置でもよ ヽ。前記表示装置が前記 DFDの場 合、前記ポインタやオブジェクトを、それぞれの 3次元位置に対応する奥行き位置に 表示させることで前記ポインタやオブジェクトの配置を 3次元的に知覚することができ る。
[0597] 前記 DFDは、これまでにも説明したとおり、複数枚の表示面が、前記観察者の視点 力 見て奥行き方向に重なるように配置されている表示装置である。このとき、説明を 簡単にするために、図 81に示すように、 2枚の表示面 301A, 301Bが重なっていると すると、前記ポインタやオブジェクトの像は、両方の表示面 301A, 301Bに、前記観 察者の視点 P力も見て重なるように表示される。またこのとき、前記 DFDが、たとえば、 輝度変調型であれば、前記観察者の視点 Pから見て手前の表示面 301Aに表示さ れているオブジェクト 4Aの輝度を L、奥の表示面 301Bに表示されているオブジェク
A
ト 4Bの輝度を Lとすると、前記観察者には、前記各表示面 301A, 301Bの間であり
B
、かつ前記手前の表示面 301Aからの距離と前記奥の表示面 301Bからの距離の比 がし ： Lとなるような奥行き位置に前記オブジェクト 4が表示されているように見える。
B A
そのため、前記手前の表示面 301 Aに表示されているオブジェクト 4Aの輝度 Lと、
A
奥の表示面 301Bに表示されているオブジェクト 4Bの輝度 Lの比を変えることで、前
B
記各表示面 301A, 301Bの間の任意の奥行き位置にオブジェクト 4を表示させること ができる。また、図示は省略するが、前記手前の表示面 301 Aに表示されているォブ ジェタト 4Aの輝度を、たとえば、図 81の紙面上方力も紙面下方に向力 につれて輝 度が大きくなるように表示し、前記奥の表示面 301Bに表示されて 、るオブジェクト 4 Bの輝度を、たとえば、図 81の紙面下方力も紙面上方に向力 につれて輝度が大き くなるように表示すれば、前記オブジェクト 4の上方が奥に傾 、て 、るように見える。
[0598] また、図示は省略するが、前記 DFDが透過型の場合は、たとえば、前記手前の表 示面 301 Aで前記オブジェクト 4Aを表示している各画素の透過度を大きくすれば、 前記オブジェクト 4が前記奥の表示面 301Bの近傍に表示され、前記手前の表示面 3 01 Aで前記オブジェクト 4Aを表示して 、る各画素の透過度を小さくすれば、前記ォ ブジェクト 4が前記手前の表示面 301Aの近傍に表示されて 、るように見える。そのた め、前記手前の表示面 301 Aで前記オブジェクト 4Aを表示している各画素の透過度 を変えることで、前記各表示面 301A, 301Bの間の任意の奥行き位置にオブジェク ト 4を表示させることができる。
[0599] また、前記表示装置 3が前記液晶ディスプレイ等の 2次元表示装置の場合は、たと えば、前記システム制御装置 1内に設定された仮想 3次元空間上で前記ポインタや オブジェクトを 3次元的に配置した後、その状態を 2次元の表示面に投影した画像を 生成し、表示させることで、前記ポインタやオブジェクトの配置を 3次元的に知覚する ことができる。
[0600] このような 3次元空間を表現することが可能な表示装置 3が接続されて ヽる前記シス テム制御装置 1の場合、前記表示装置 3上に、たとえば、図 82および図 83に示すよ うに、ポインタ 401や、フ才ノレダアイコン 402a力ら 402g,ウィンドウ 403a力ら 403c等 のオブジェクトを 3次元的に配置 (表示）した 3次元デスクトップを表示することができ る。このとき、前記観察者 (操作者）は、前記 3次元デスクトップを GUIとして、前記シス テム制御装置 1で実行可能なアプリケーションソフトを利用することができる。
[0601] このとき、前記手前の表示面 301Aと奥の表示面 301Bの間の空間を 3次元デスクト ップ空間とし、たとえば、図 82および図 83に示したように、前記手前の表示面 301A の奥行き位置が z = 0、表示面 301A, 301Bが XY平面と平行であり、かつ、手前の 表示面 301Aから奥の表示面 301Bに向力う方向を Z軸の正の方向とする 3次元座標 系 XYZをとると、前記ポインタ 401が指し示している位置は座標 (X , y , z )で特定さ
P P P
れる。そのため、前記入力装置 2を用いて、前記ポインタ 401が指し示している位置 の座標 (X , y , z )を決定することで、前記ポインタ 401を前記 3次元デスクトップ空
P P P
間内の任意の一点に移動させることができ、前記 3次元デスクトップ空間内に配置さ れたフオノレダアイコン 402a力ら 402g,ウィンドウ 403aから 403c等のオブジェクトをポ インティングできる。
[0602] また、前記ポインタを 3次元的に移動させるため入力装置 2には、たとえば、ホイ一 ル機能付きマウス (以下、マウスという）等の既存の入力装置を用いることができる。前 記マウスを用いて前記ポインタを 3次元的に移動させる場合、図 84に示すように、た とえば、机上等の平面上で前記マウス本体を動力したときの X軸方向の移動量（+x
I I
または X )を前記ポインタ 401の X軸方向の移動量に反映させ、 Y軸方向の移動
I I
量（+yまたは— y )を前記ポインタ 401の Y軸方向の移動量に反映させれば、前記
I I
ポインタ 401の XY座標（X , y )を決定することができる。そして、たとえば、前記マウ
P P
ス 201のホイール 201Aの回転方向（+ zまたは—z )と回転量を前記ポインタ 401の
I I
Z軸方向の移動量に反映させれば、前記ポインタ 401の奥行き位置 (Z座標） zを決
P
定することができる。
[0603] また、前記入力装置 2は、前記マウスに限らず、たとえば、キーボードやペンタブレ ット等の入力装置を用いることも可能である。また、前記マウスとキーボードを組み合 わせ、たとえば、前記キーボード上の特定のキーを押しながら前記ホイール 201Aを 回転させたときの回転方向と移動量を前記ポインタ 401の Z軸方向の移動量に反映 させてちょい。
[0604] なお、ポインタの 3次元的位置に応じて他のオブジェクトの表示を制御するという本 実施の形態は、第 1〜第 3の実施の形態にも適用できる。つまり、第 1、第 2の実施の 形態であれば、入力ペンの操作によりポインタを移動させたときに、第 4の実施の形 態の技術を適用して他のオブジェクトの表示を制御する。また、第 3の実施の形態で あれば、ポインタで奥行き方向のポインティングを行う際に、ポインタの変形や移動に 応じて他のオブジェクトの表示を制御する。
[0605] 以下、前記入力装置として前記マウスを用い、前記表示装置として DFDを用いた場 合を例に挙げ、前記表示装置上に表現された 3次元空間（3次元デスクトップ）内の ポインタおよびオブジェクトの表示の制御方法について説明する。
[0606] [実施例 4 1]
図 85乃至図 87は、実施例 4 1の 3次元表示制御方法を説明するための模式図 であり、図 85および図 86は本実施例 4— 1の表示制御方法を適用した場合の 3次元 空間の変化の様子を示す図、図 87は本実施例 4 1の表示制御方法と比較するた めの従来の表示制御方法を説明する 3次元空間の様子を示す図である。なお、図 8 5および図 86はそれぞれ、上段、中段、下段に 3通りの状態を示しており、各状態は 、図中に示した操作をすることで他の状態に変化する。また、各状態は、前記観察者 力も前記 3次元空間を見たときの正面図と右側面図で示している。
[0607] 本実施例 4 1では、たとえば、図 82および図 83に示したような 3次元デスクトップ 空間内に表示されたポインタ 401を、図 84に示したような操作で 3次元的に移動させ 、前記 3次元デスクトップ空間内の任意の一点をポインティングするときに、前記観察 者 (操作者)から見て、前記ポインタの奥行き位置よりも手前に配置されたォブジェク トを透明化する表示制御方法につ!、て説明する。
[0608] また、本実施例 4— 1では、説明を簡単にするために、たとえば、図 85の上段に示 したように、前記 3次元デスクトップ空間にポインタ 401と、フォルダアイコン 402a, 40 2bおよびウィンドウ 403の 3つのオブジェクトが表示されている場合を例に挙げて説 明する。このとき、ポインタ 401と、フォルダアイコン 402a, 402bおよびウィンドウ 403 の 3つのオブジェクトの位置関係は、最初、図 85の上段に示したような位置関係であ り、前記ポインタ 401は、前記観察者力も見て前記ウィンドウ 403の奥行き位置よりも 手前に表示されているとする。またこのとき、前記フォルダアイコン 402bは、前記観 察者から見て前記ウィンドウ 403の裏側にあたる位置に配置されており、前記観察者 力もは見えていないとする。
[0609] このとき、前記操作者が、前記マウスのホイールを、前記ポインタ 401を +z (z〉0) 方向に移動させるように回転させると、図 85の中段に示したように、前記ポインタ 401 が前記ウィンドウ 403に近づく。そして、前記ウィンドウ 403の奥行き位置力 あらかじ め定められた範囲の奥行き位置に前記ポインタ 401が到達すると、前記ウィンドウ 40 3がポインティングされた状態になり、たとえば、図 85の中段に示したように、前記ウイ ンドウ 403の色を変える等、ポインティングされていることを示すような表示に変える。
[0610] そして、前記操作者が、この状態力もさらに、前記マウスのホイールを、前記ポイン タ 401を +z (z〉0)方向に移動させるように回転させると、図 85の下段に示したように 、前記ポインタ 401が前記ウィンドウ 403をすり抜け、前記奥の表示面 301Bに向かつ て移動を続ける。このとき、前記ウィンドウ 403をすり抜けたポインタ 401が、前記ウイ ンドウ 403の奥行き位置力 あらかじめ定められた範囲の奥行き位置よりも離れると、 前記ウィンドウはポインティングされた状態力らもとのポインティングされて 、な 、状態 に戻り、たとえば、ウィンドウの色がもとの色に戻る。
[0611] ただし、前記ポインタ 401が前記ウィンドウ 403をすり抜けると同時に、前記ポインタ 401力すり抜けたウィンドウ 403は、前記観察者から見て、前記ポインタ 401の奥行き 位置よりも手前に表示されることになる。そこで、前記システム制御装置 1は、図 85の 下段に示したように、前記ポインタ 401の奥行き位置よりも手前に表示されるようにな つたウィンドウ 403を透明化して表示させる。この結果、前記観察者 (操作者)は、前 記ポインタ 401がウィンドウ 403の裏側にあたる位置に移動したときも、前記ポインタ 4 01の位置を容易に認識することができる。また、前記ポインタ 401を +z (z〉0)方向に 移動させるだけで、前記ウィンドウ 403の裏側に別のオブジェクトが隠れて 、るか否か や、隠れて 、るフォルダアイコン 402bの位置を認識することができる。
[0612] また、図 85の下段に示したように、前記ポインタ 401の奥行き位置よりも手前のウイ ンドウ 403が透明化されている状態で、たとえば、前記マウスのホイールを逆方向に 回転させると、前記ポインタ 401が前記ウィンドウ 403の奥行き位置力もあらかじめ定 められた範囲の奥行き位置に到達した時点で、図 85の中段に示したように、前記ウイ ンドウ 403の表示がポインティングされて 、ることを示すような表示に変わる。そして、 前記ポインタ 401をさらに前記手前の表示面 301 A側に移動させ、前記ポインタ 401 が前記ウィンドウ 403の奥行き位置力もあら力じめ定められた範囲の奥行き位置よりも 手前に離れると、図 85の上段に示したように、前記ウィンドウ 403の表示がもとの標準 的な表示に戻る。この結果、前記観察者 (操作者）は、前記ポインタ 401を— z (zく 0) 方向に移動させるだけで、透明化されている前記ウィンドウ 403をもとの不透明な表 示に戻すことができる。
また、図 85に示した例では、前記ポインタ 401が前記ウィンドウ 403と重なっており 、前記ポインタ 401が前記ウィンドウ 403をすり抜け、前記ウィンドウ 403の裏側にあ たる位置に移動したときに前記ウィンドウ 403が透明化されている力 これに限らず、 たとえば、図 86の上段に示すように、前記ウィンドウ 403等のオブジェクトと重なって Vヽな 、位置で前記ポインタ 401の奥行き位置を変えたときにも、前記ウィンドウ 403を 透明化できるようにすることもできる。この場合、図 86の上段に示したような状態で前 記ポインタ 401を奥の表示面 301 B側に移動させたときに、前記ポインタの奥行き位 置 zと前記ウィンドウ 403の奥行き位置 zの関係が z >zになったら、図 86の中段に
P o P o
示すように、前記ウィンドウ 403を透明化して表示させればよい。この結果、前記観察 者 (操作者）は、前記ポインタ 401を +z (z〉0)方向に移動させるだけで、前記ウィンド ゥ 403の裏側に隠れて 、るフォルダアイコン 402bの位置を認識することができ、前記 ポインタ 401で前記フォルダアイコン 402bを容易にポインティングすることができる。 また、このようにすれば、たとえば、図 86の中段に示したような状態からさらに、前記 ポインタ 401を奥の表示面 301 B側に移動させたときに、前記ポインタ 401の奥行き 位置 zと前記フォルダアイコン 402aの奥行き位置 zの関係が z >zになった時点で、
P f P f
図 86の下段に示すように、前記フォルダアイコン 402aが透明化される。そして、図 8 6の下段に示したような状態から、逆に、前記ポインタ 401を手前の表示面 301 A側 に移動させれば、図 86の中段に示したような状態を経て、図 86の上段に示したよう な、もとの不透明なフォルダアイコン 402aおよびウィンドウ 403が表示された状態に 戻る。この結果、前記観察者 (操作者）は、前記ポインタ 401が前記ウィンドウ 403の 裏側にあたる位置に移動したときも前記ポインタ 401の位置を認識することができる。 また、前記ポインタ 401を +z (z〉0)方向に移動させるだけで、前記ウィンドウ 403の 裏側に別のオブジェクトが隠れて 、るか否かや、隠れて 、るフォルダアイコン 402bの 位置を認識することができる。
[0614] 従来の 3次元デスクトップ空間の表示制御方法では、たとえば、図 87に示すように 、前記ポインタ 401が前記観察者力も見て前記ウィンドウ 403の裏側にあたる位置に 移動させると、前記ポインタ 401は前記ウィンドウ 403に隠れてしまい、前記観察者は 前記ポインタ 401の位置を認識することができない。そのため、従来の表示制御方法 で、たとえば、前記ウィンドウ 403の裏側に別のオブジェクトが隠れているか否かや、 隠れているオブジェクトの位置の認識、選択といった操作をするときには、前記ウィン ドウ 403を移動させる、または表示領域を小さくするあるいは非表示の状態にすると いった操作を行わなければならな力つた。そして、これらの操作を行った後、前記ウイ ンドウ 403に表示されている内容を確認する場合は、前記ウィンドウ 403をもとの位置 に戻す、または表示領域を大きくするあるいは表示状態に戻すと 、つた操作を行わ なければならなかった。その結果、たとえば、図 82および図 83〖こ示したような、フオル ダアイコン 402a力ら 402g,ウィンドウ 403aから 403c等の多数のオブジェクトが表示 されている 3次元デスクトップ空間で、前記観察者力も見て奥に表示されているォブ ジヱ外を選択する場合などには操作が煩雑になり、前記観察者 (操作者)の利便性 が悪い。
[0615] 一方、本実施例 4 1の表示制御方法では、前記ポインタ 401を前記観察者から見 て奥に向力う方向に移動させるだけで、前記ポインタ 401の奥行き位置よりも手前の オブジェクトが透明化される。そのため、前記ポインタ 401が透明化されたオブジェク トの裏側にあたる位置に移動したときも前記ポインタ 401の位置を容易に認識するこ とができる。また、前記ポインタを前記観察者力も見て奥に向力 方向に移動させる だけで、前記ポインタ 401の奥行き位置よりも手前のオブジェクトが透明化され、ォブ ジェタトの裏側の状態を認識することができる。そのため、前記あるオブジェクトの裏 側に隠れている別のオブジェクトを容易にポインティングすることができる。そして、前 記ポインタ 401を前記観察者力も見て手前に向力 方向に移動させるだけで、前記 ポインタ 401の奥行き位置よりも奥になったオブジェクトが不透明な状態に戻り、透明 化されているオブジェクトの表示内容を認識することができる。
[0616] このような本実施例 4 1の 3次元表示制御方法を、図 80に示した前記システム制 御装置 1等で実現するためには、前記システム制御装置 1において、図 88に示した ステップ 501からステップ 510の処理を実行すればよい。
[0617] 図 88は、本実施例 4 1の 3次元表示制御方法を実現するための装置における処 理手順を示すフロー図である。
[0618] 図 80に示したような構成の前記システム制御装置 1において、図 85または図 86に 示したようなポインタ 401およびオブジェクト 402a, 402b, 403の表示の制御をする ときには、まず、図 88に示したように、前記表示装置 3にポインタ 401とオブジェクトを 表示させておく (ステップ 501)。そして、前記観察者 (操作者)が前記マウス等の入力 装置 2を操作すると、前記入力情報取得手段 101が前記入力装置 2からの入力情報 (操作情報)を取得する (ステップ 502)。このとき、前記入力情報取得手段 101で入 力情報を取得すると、たとえば、前記入力情報取得手段 101において、前記入力情 報がポインタの操作に関する情報 (ポインタ操作情報)であるカゝ否かを判別 (ステップ 503)され、前記ポインタ操作情報でない場合は、前記処理制御手段 107において、 前記入力情報に応じた別の処理を実行する (ステップ 504)。
[0619] 一方、前記入力情報が前記ポインタ操作情報である場合、前記入力情報取得手段 101は、前記入力情報を前記ポインタ位置算出手段 102に渡し、ポインタの移動量 を算出させ、前記ポインタの新たな表示位置 (X , y , z )を算出させる (ステップ 505
P P P
) o
[0620] そして、前記ポインタ位置算出手段 102は、前記ポインタの新たな表示位置 (X , y
P P
, z )を算出したら、まず、前記ポインタ生成手段 103に、前記新たな表示位置に表
P
示させるポインタを生成させ、前記表示制御手段 106を介して前記表示装置 3に表 示させる（ステップ 506)。
[0621] また、前記ポインタ位置算出手段 102は、前記ポインタの新たな表示位置 (X , y ,
P P
z )を算出したら、前記オブジェクト変更判定手段 104に、ポインティングしているォブ ジヱタトがあるか否力、すなわち、ポインタがポインティングしている点の xyz座標がォ ブジエタトの表面上または内部の任意の点の xyz座標から予め定められた範囲内に ある力否かと、ポインタの奥行き位置より手前にオブジェクトがある力否力 すなわち、 ポインタがポインティングして!、る点の z座標より小さ ヽ z座標の点を表面上または内 部に含むオブジェクトがある力否力とを判定させる (ステップ 507,ステップ 509)。そ して、前記ポインティングしているオブジェクトがある場合は、前記オブジェクト生成 Z 透明化手段 105でそのオブジェクトをポインティングされている状態に変更させ、前 記表示制御手段 106を介して前記表示装置 3に表示させる (ステップ 508)。また、前 記ポインタの奥行き位置より手前にオブジェクトがある場合は、前記オブジェクト生成 Z透明化手段 105で前記手前のオブジェクトをあら力じめ定められた透明度 ocに変 更させ、前記表示制御手段 106を介して前記表示装置 3に表示させる (ステップ 510
) o
[0622] なお、図 88に示した例では、先にポインティングしているオブジェクトがあるか否か を判定している力 これに限らず、先にポインタの奥行き位置より手前にオブジェクト がある力否かを判定してもよ 、。
[0623] 前記システム制御装置 1において、このような処理を実行することで、図 85または図
87に示したようなポインタ 401およびオブジェクト 402a, 402b, 403の表示の制御 が可能となる。
[0624] 以上説明したように、本実施例 4 1の 3次元表示制御方法によれば、前記ポインタ の奥行き位置よりも手前に配置 (表示)されたオブジェクトを透明化することで、前記 ポインタ 401が、あるオブジェクトの裏側にあたる位置に移動したときでも、前記ポイン タ 401の位置を見失うことがなぐ容易に認識することができる。
[0625] また、前記ポインタ 401を、前記観察者力も見て奥に向力 方向に移動させることで 、前記オブジェクトを透明化させることができるので、あるオブジェクトの裏側に別のォ ブジエタトが隠れて 、る力否力、あるいはあるオブジェクトの裏側に隠れて!/、る別のォ ブジエタトの位置の認識等をするための操作が従来に比べて容易である。また、前記 ポインタ 401を、前記観察者力も見て手前に向力 方向に移動させることで、透明化 されているオブジェクトをもとの不透明な表示に戻すことができるので、透明化されて V、るオブジェクトの表示内容を認識するための操作が従来に比べて容易である。す なわち、本実施例 4 1の 3次元表示制御方法を適用することで、前記観察者 (操作 者)の利便性が向上する。
[0626] また、本実施例 4 1の 3次元表示制御方法では、たとえば、図 86に示したように、 前記観察者から見て前記ポインタと重なるか否かにかかわらず、前記ポインタの奥行 き位置よりも手前に配置 (表示)されるオブジェクトを透明化しているが、これに限らず 、たとえば、前記観察者から見て前記ポインタの奥行き位置よりも手前であり、かつ、 前記ポインタと重なるオブジェクトのみを透明化してもよい。
[0627] 図 89および図 90は、本実施例 4— 1の 3次元表示制御方法の応用例を説明するた めの模式図であり、図 89は応用例を適用した場合の 3次元空間の変化の様子を示 す図、図 90は応用例を実現するための装置における処理手順を示すフロー図であ る。なお、図 89は、上段、中段、下段に 3通りの状態を示しており、各状態は、図中に 示した操作をすることで他の状態に変化する。また、各状態は、前記観察者から前記 3次元空間を見たときの正面図と右側面図で示している。
[0628] 前記観察者から見て前記ポインタの奥行き位置よりも手前であり、かつ、前記ポイン タと重なるオブジェクトのみを透明化する場合を説明するにあたって、まず、前記 3次 元デスクトップの表示状態が、図 89の上段に示すように、前記観察者から見て、前記 ポインタ 401が、前記ウィンドウ 403の奥行き位置よりも手前にある力 前記ウィンドウ 403とは重なっていない状態になっているとする。この状態で、たとえば、前記ポイン タ 401を、前記観察者力 見て奥の方向に移動させ、図 89の中段に示すように、前 記ウィンドウ 403の奥行き位置が前記ポインタ 401の奥行き位置よりも手前になったと する。このとき、本実施例 4—1の 3次元表示制御方法では、図 86の中段に示したよう に、前記観察者から見て前記ポインタ 401と前記ウィンドウ 403が重なっているか否 かにかかわらず、前記ウィンドウ 403が透明化される。
[0629] し力しながら、図 89の中段に示したような表示状態の場合、前記ウィンドウ 403を透 明化しなくても、前記観察者は前記ポインタ 401の位置を認識することができるので、 前記ウィンドウ 403を透明化する必要はな 、。
[0630] ただし、図 89の中段に示したような表示状態のときに、たとえば、前記ポインタ 401 を前記ウィンドウ 403の裏側にあたる位置に移動させると、前記ウィンドウ 403は通常 の不透明な表示であるため、そのままでは、図 87に示したように、前記ポインタ 401 が前記ウィンドウ 403の裏に隠れた状態になり、前記ポインタ 401の位置を認識でき なくなる。
[0631] そこで、図 89の下段に示したように、前記ポインタ 401を移動させたときに、前記ポ インタ 401の奥行き位置よりも手前にあり、かつ、前記観察者から見て前記ポインタ 4 01と重なるウィンドウ 403がある場合は、そのウィンドウ 403を透明ィ匕させる。このよう にすることで、本実施例 4 1の 3次元表示制御方法と同様に、あるオブジェクトの裏 側にあたる位置に移動したポインタを容易に認識できる。また、前記あるオブジェクト の裏側に別のオブジェクトが隠れているか否力、あるいは前記あるオブジェクトの裏 側に隠れて 、る別のオブジェクトの位置の認識等を容易にすることができる。
[0632] このような 3次元表示制御方法を、図 80に示した前記システム制御装置 1等で実現 するためには、図 88に示した処理手順におけるステップ 510で、図 90に示したステツ プ 510aからステップ 510cの処理を行えばよい。
[0633] つまり、前記オブジェクト変更手段 104における、図 88に示したステップ 509の判 定で、前記ポインタ 401の奥行き位置よりも手前にオブジェクトがあると判定された場 合、前記オブジェクト生成 Z透明化手段 105でオブジェクトを透明化させる前に、ま ず、前記手前にあるオブジェクトの表示領域を確認する (ステップ 510a)。
[0634] そして次に、前記手前にあるオブジェクトの中に、前記観察者から見てポインタ 401 と重なるオブジェクトがあるか否かを判定する（ステップ 510b)。前記ステップ 510bは 、たとえば、前記観察者から見て前記ポインタの表示位置 (X , y )と重なる前記ォブ
P P
ジェタトの奥行き位置での XY位置に、オブジェクトの一部（一点）が表示されているか 否かを調べればよい。そして、重なっているオブジェクトがあると判定された場合は、 そのオブジェクトを透明度 ocで前記表示装置 3に表示させる (ステップ 510c)。
[0635] このようにすれば、前記ポインタ 401の奥行き位置よりも手前にあっても、前記ボイ ンタ 401と重なっていないオブジェクトは通常の不透明な表示の状態を保つことがで きる。
[0636] 本実施例 4 1の 3次元表示制御方法では、前記ポインタ 401の奥行き位置よりも 手前にあるオブジェクトは全て透明化されるので、透明化する必要がないオブジェク トも透明化されることがある。そして、透明化されているオブジェクトの表示内容を確 認するときには、前記ポインタ 401を観察者から見て手前の方向に移動させ、透明化 されて 、るオブジェクトを不透明な表示に戻さなければならな！/、。
[0637] 一方、図 89に示したような 3次元表示制御方法では、前記ポインタ 401が前記ォブ ジェタトの裏側にあたる位置に移動したときに、前記ポインタ 401を隠して 、るォブジ ェクトのみを透明化する。そのため、前記ポインタ 401をオブジェクトと重ならない位 置に表示させておけば、全てのオブジェクトが通常の不透明な表示であり、透明化す る必要のあるオブジェクトのみを透明化することができる。このようにすると、透明化さ れているオブジェクトを不透明な表示に戻すときの操作が XY平面内での 2次元的な 操作になり、本実施例 4 1の 3次元表示制御方法と比べ、操作の利便性が向上す ると考免られる。
[0638] [実施例 4 2]
図 91乃至図 93は、本発明による実施例 4 2の 3次元表示方法を説明するための 模式図であり、図 91は本実施例 4 2の表示制御方法を適用した場合の 3次元空間 の変化の様子を示す図、図 92は透明度の決定方法の一例を示す図、図 93は本実 施例 4 2の 3次元表示方法を実現するための装置における処理手順を示すフロー 図である。なお、図 91は、上段、中段、下段に 3通りの状態を示しており、各状態は、 図中に示した操作をすることで他の状態に変化する。また、各状態は、前記観察者 力も前記 3次元空間を見たときの正面図と右側面図で示している。
[0639] 本実施例 4— 2では、前記ポインタ 401の奥行き位置よりも手前にあるオブジェクト を透明化するときに、前記ポインタ力もの距離に応じて透明度を変え、前記ポインタ 4 01の奥行き位置や、前記ポインタ 401の奥行き位置よりも手前であるが奥行き位置 が近 、オブジェクトの認識度を高くする表示制御方法にっ 、て説明する。
[0640] また、本実施例 4— 2では、説明を簡単にするために、たとえば、図 91の上段に示 したように、前記 3次元デスクトップ空間にポインタ 401と、フォルダアイコン 402a, 40 2bおよびウィンドウ 403の 3つのオブジェクトが表示されている場合を例に挙げて説 明する。このとき、ポインタ 401と、フォルダアイコン 402a, 402bおよびウィンドウ 403 の 3つのオブジェクトの位置関係は、最初、図 91の上段に示したような位置関係であ り、前記ポインタ 401は、前記観察者力も見て前記ウィンドウ 403の奥行き位置よりも 手前に表示されているとする。またこのとき、前記フォルダアイコン 402bは、前記観 察者から見て前記ウィンドウ 403の裏側にあたる位置に配置されており、前記観察者 力もは見えていないとする。
[0641] このとき、前記操作者が、前記マウスのホイールを、前記ポインタ 401を +z (z〉0) 方向に移動させるように回転させ、前記ポインタ 401の奥行き位置が、図 91の中段 に示したように、前記観察者力 見て前記ウィンドウ 403の奥行き位置よりも奥になつ た場合、前記ウィンドウ 403は透明化される。ただし、本実施例 4— 2の表示制御方法 では、図 91の中段に示したように、前記ポインタ 401の奥行き位置と前記ウィンドウ 4 03の奥行き位置の距離 (差）が小さいときには、前記ウィンドウ 403を完全に透明に するのではなぐ前記ウィンドウ 403の裏側の状態が認識できる程度の透明度で前記 ウィンドウ 403を表示させる。
[0642] そして、前記操作者が、この状態力もさらに、前記マウスのホイールを、前記ポイン タ 401を +z (z〉0)方向に移動させるように回転させ、図 91の下段に示したように、前 記ポインタ 401の奥行き位置と前記ウィンドウ 403の奥行き位置の距離 (差）が大きく なると、徐々に前記ウィンドウ 403の透明度が高くなり、最終的には前記ウィンドウが 完全に透明化される。このとき、前記ポインタ 401の移動に合わせ、たとえば、図 91 の下段に示したように、前記フォルダアイコン 402aも透明化する力 このとき、前記ポ インタ 401の奥行き位置と前記フォルダアイコン 402aの奥行き位置の距離は、前記 ポインタ 401の奥行き位置と前記ウィンドウ 403の奥行き位置の距離に比べて小さい ので、前記フォルダアイコン 402aは、前記ウィンドウ 403の透明度よりも小さい透明 度で表示される。
[0643] この結果、前記観察者 (操作者）は、前記ポインタ 401がウィンドウ 403の裏側にあ たる位置に移動したときも、前記ポインタ 401の位置を容易に認識することができる。 また、前記ポインタ 401を +z (z〉0)方向に移動させるだけで、前記ウィンドウ 403の 裏側に別のオブジェクトが隠れて 、るか否かや、隠れて 、るフォルダアイコン 402bの 位置を認識することができる。またさらに、前記透明化されているオブジェクトの透明 度から、前記ポインタ 401の奥行き位置や、前記ポインタ 401の奥行き位置よりも手 前にあるが奥行き位置の近 、オブジェクトを容易に認識することができる。
[0644] また、図 91の下段に示したように、前記ポインタ 401の奥行き位置よりも手前のウイ ンドウ 403およびフォルダアイコン 402aが透明化されている状態で、たとえば、前記 マウスのホイールを逆方向に回転させると、前記ポインタ 401が前記フォルダアイコン 402aの奥行き位置に到達した時点で、図 91の中段に示したように、前記フォルダァ イコン 402aの表示がもとの不透明な表示に変わる。このとき、前記ポインタ 401と前 記ウィンドウ 403の奥行き方向の距離も小さくなるので、前記ウィンドウ 403の透明度 も小さくなる。そして、前記ポインタ 401をさらに前記手前の表示面 301A側に移動さ せ、前記ポインタ 401が前記ウィンドウ 403の奥行き位置に到達すると、図 91の上段 に示したように、前記ウィンドウ 403の表示がもとの不透明な表示に戻る。この結果、 前記観察者 (操作者）は、前記ポインタ 401を z (zく 0)方向に移動させるだけで、透 明化されている前記ウィンドウ 403をもとの不透明な表示に戻すことができる。
[0645] また、前記オブジェクトの透明度 αに関して、 α =0のとき完全に透明、 α = 1のと き完全に不透明とすると、前記ポインタ 401の奥行き位置よりも手前にあるオブジェク トを透明化するときには、たとえば、図 92に実線で示したように、前記ポインタ 401と 前記手前にあるオブジェクトの奥行き方向の距離に比例して aが 1から 0の間を連続 的に変化し、距離が最大、すなわち前記オブジェクトが DFDの手前の表示面 301 A に表示され、前記ポインタ 401が奥の表示面 301Bに表示されているような状態のと きに完全に透明（ α =0)になるようにすればよい。また、図 92に波線で示したように、 前記最大の距離よりも小さい距離 Ζでひ =0となるようにしておいてもよい。また、図 示は省略するが、前記透明度 αは、たとえば、距離の 2乗に反比例して小さくなるよう にしてもよい。
[0646] このような 3次元表示制御方法を、図 80に示したシステム制御装置 1等で実現する ためには、前記システム制御装置 1において、図 88に示したステップ 501からステツ プ 510の処理を実行すればよい。ただし、本実施例 4 2の 3次元表示制御方法の 場合、図 88に示した処理手順におけるステップ 510では、図 93に示したステップ 51 Odからステップ 510hの処理を行う。 [0647] つまり、本実施例 4 2の 3次元表示制御方法を実現するためには、前記オブジェ タト変更判定手段 104における、図 88に示したステップ 509の判定で、前記ポインタ 401の奥行き位置よりも手前にオブジェクトがあると判定された場合、前記オブジェク ト生成 Z透明化手段 105でオブジェクトを透明化させる前に、まず、前記透明化する オブジェクトを 1つ選択する（ステップ 510d)。
[0648] 次に、前記選択したオブジェクトと前記ポインタ 401の奥行き方向の距離を算出す る (ステップ 510e)。そして、前記算出した奥行き方向の距離に基づいて前記選択し たオブジェクトの透明度 aを算出する (ステップ 510f)。
[0649] 前記ステップ 510fで前記選択したオブジェクトの透明度 aを算出したら、前記ォブ ジェタト生成 Z透明化手段 105で算出した透明度のオブジェクトを生成させ、前記表 示制御手段 106を介して前記表示装置 3に表示させる (ステップ 510g)。
[0650] こうして、選択したオブジェクトを距離に応じた透明度 (Xで表示させたら、他に透明 化するオブジェクトあるいは透明度を変えるオブジェクトがある力否かを判定 (ステツ プ 510h)し、ある場合はステップ 510dに戻ってステップ 510dからステップ 510gの処 理を繰り返す。
[0651] 前記システム制御装置 1において、このような処理を実行することで、図 91に示した ようなポインタ 401およびオブジェクト 402a, 402b, 403の表示の制御が可能となる
[0652] 以上説明したように、本実施例 4 2の 3次元表示制御方法によれば、前記ポインタ の奥行き位置よりも手前に配置 (表示)されたオブジェクトを透明化することで、前記 ポインタ 401が、あるオブジェクトの裏側にあたる位置に移動したときでも、前記ポイン タ 401の位置を見失うことがなぐ容易に認識することができる。
[0653] また、前記ポインタ 401を、前記観察者力も見て奥に向力 方向に移動させることで 、前記オブジェクトを透明化させることができるので、あるオブジェクトの裏側に別のォ ブジエタトが隠れて 、る力否力、あるいはあるオブジェクトの裏側に隠れて!/、る別のォ ブジエタトの位置の認識等をするための操作が従来に比べて容易である。また、前記 ポインタ 401を、前記観察者力も見て手前に向力 方向に移動させることで、透明化 されているオブジェクトをもとの不透明な表示に戻すことができるので、透明化されて V、るオブジェクトの表示内容を認識するための操作が従来に比べて容易である。す なわち、本実施例の 3次元表示制御方法を適用することで、前記観察者 (操作者)の 利便性が向上する。
[0654] また、本実施例 4— 2のように、前記ポインタ 401の奥行き位置よりも手前にあるォブ ジェタトを透明化するときに、前記ポインタ 401と前記手前にあるオブジェクトの奥行 き方向の距離の大きさに応じて、前記手前にあるオブジェクトの透明度を変えること で、前記ポインタ 401の奥行き位置、あるいは前記ポインタ 401の奥行き位置と近い 奥行き位置にあるオブジェクトの認識が容易になる。
[0655] [実施例 4 3]
図 94および図 95A、 Bは、本発明による実施例 4 3の 3次元表示制御方法を説明 するための模式図であり、図 94は本実施例 4 3の表示制御方法を適用した場合の 3次元空間の変化の様子を示す図、図 95Aおよび図 95Bは透明度の決定方法の一 例を示す図である。なお、図 94は、上段、中段、下段に 3通りの状態を示しており、各 状態は、図中に示した操作をすることで他の状態に変化する。また、各状態は、前記 観察者力 前記 3次元空間を見たときの正面図と右側面図で示している。
[0656] 本実施例 4— 3では、前記ポインタ 401の奥行き位置よりも手前にあるオブジェクト を透明化するときに、前記観察者から見て前記ポインタ 401のポインティング位置 (X
P
, y , z )を中心としたある範囲の内側のみを透明化し、オブジェクトの透明ィ匕、不透
P P
明化による視覚的な煩わしさを低減する表示制御方法について説明する。
[0657] また、本実施例 4— 3では、説明を簡単にするために、たとえば、図 94の上段に示 したように、前記 3次元デスクトップ空間にポインタ 401と、フォルダアイコン 402a, 40 2bおよびウィンドウ 403の 3つのオブジェクトが表示されている場合を例に挙げて説 明する。このとき、ポインタ 401と、フォルダアイコン 402a, 402bおよびウィンドウ 403 の 3つのオブジェクトの位置関係は、最初、図 94の上段に示したような位置関係であ り、前記ポインタ 401は、前記観察者力も見て前記ウィンドウ 403の奥行き位置よりも 手前に表示されているとする。またこのとき、前記フォルダアイコン 402bは、前記観 察者から見て前記ウィンドウ 403の裏側にあたる位置に配置されており、前記観察者 力もは見えていないとする。 [0658] このとき、前記操作者が、前記マウスのホイールを、前記ポインタ 401を +z (z〉0) 方向に移動させるように回転させると、図 94の中段に示したように、前記ポインタ 401 が前記ウィンドウ 403に近づく。そして、前記ウィンドウ 403の奥行き位置力 あらかじ め定められた範囲の奥行き位置に前記ポインタ 401が到達すると、前記ウィンドウ 40 3がポインティングされた状態になり、たとえば、図 94の中段に示したように、前記ウイ ンドウ 403の色を変える等、ポインティングされていることを示すような表示に変える。
[0659] そして、前記操作者が、この状態力もさらに、前記マウスのホイールを、前記ポイン タ 401を +z (z〉0)方向に移動させるように回転させると、図 94の下段に示したように 、前記ポインタ 401が前記ウィンドウ 403をすり抜け、前記奥の表示面 301Bに向かつ て移動を続ける。このとき、前記ウィンドウ 403をすり抜けたポインタ 401が、前記ウイ ンドウ 403の奥行き位置力 あらかじめ定められた範囲の奥行き位置よりも離れると、 前記ウィンドウはポインティングされた状態力らもとのポインティングされて 、な 、状態 に戻り、たとえば、ウィンドウの色がもとの色に戻る。
[0660] ただし、前記ポインタ 401が前記ウィンドウ 403をすり抜けると同時に、前記ポインタ 401力すり抜けたウィンドウ 403は、前記観察者から見て、前記ポインタ 401の奥行き 位置よりも手前に表示されることになる。そこで、前記システム制御装置 1は、図 94の 下段に示したように、前記ポインタ 401の奥行き位置よりも手前に表示されるようにな つたウィンドウ 403を透明化して表示させる。またこのとき、前記ウィンドウ 403は、前 記実施例 4 1で説明したように前記ウィンドウ 403全体を透明化するのではなぐた とえば、図 94の下段に示したように、前記ポインタ 401のポインティング位置（たとえ ば矢印の先端)と重なる位置を中心とした半径 aの円内のみを透明化する。この結果 、前記観察者 (操作者）は、前記ポインタ 401がウィンドウ 403の裏側にあたる位置に 移動したときも、前記ポインタ 401の位置を容易に認識することができる。また、前記 ポインタ 401を +z (z〉0)方向に移動させるだけで、前記ウィンドウ 403の裏側に別の オブジェクトが隠れて 、るか否かや、隠れて 、るフォルダアイコン 402bの位置を認識 することができる。また、図 94の下段に示したように、前記ウィンドウ 403のうち透明化 、不透明化されるのは、前記ポインタ 401と重なる領域の近傍のみである。そのため、 たとえば、前記ポインタ 401を奥行き方向に激しく移動させたときなどに、前記ウィンド ゥ 403の一部だけが透明ィ匕、不透明化され、視覚的な煩わしさを低減することができ る。
[0661] また、前記観察者から見て前記ポインタ 401のポインティング位置 (X , y , z )と重
P P P
なる点を中心とした半径 aの円内のみを透明化する場合、たとえば、半径 aの円内は 透明度 α =0 (完全に透明）とし、半径 aの円の外側は透明度 α = 1 (完全に不透明） というようにデルタ関数的に透明度を変化させてもよいし、たとえば、図 95Αに示すよ うに、半径 aの円内は透明度 α =0 (完全に透明）とし、半径 aの円の外側は距離に比 例して徐々に透明度 OC = 1 (完全に不透明）になるように変化させてもょ 、。また、そ のほかにも、たとえば、図 95Bに示すように、前記観察者から見て前記ポインタ 401 のポインティング位置 (X , y , z )と重なる点（中心）を透明度 a =0 (完全に透明）と
Ρ Ρ Ρ
し、中心からの距離の 2乗に比例して透明度が透明度 α = 1 (完全に不透明）になる ように変化させてもよい。また、図示は省略するが、前記中心からの距離に応じてステ ップ関数的に透明度 aが 0から 1になるように変化させてもょ 、。
[0662] また、前記半径 aが、前記ポインタ 401とオブジェクトの奥行き方向の距離の大きさ に比例して大きくなるようにしてもよい。このようにすれば、前記オブジェクト上で透明 化されている領域の大きさによって、前記ポインタ 401とオブジェクトの奥行き方向の 距離を容易に推測することができる。
[0663] またさらに、前記オブジェクト上で透明化する領域は、図 94の下段に示したような半 径 aの円領域に限らず、楕円（長円）領域、あるいは多角形領域など、予め定められ た任意の形状であってもよ 、。
[0664] このような 3次元表示制御方法を、図 80に示した前記システム制御装置 1等で実現 するためには、前記システム制御装置 1において、図 88に示したステップ 501からス テツプ 510の処理を実行すればよい。ただし、本実施例 4— 3の 3次元表示制御方法 の場合、図 88に示した処理手順におけるステップ 510では、図 89に示したステップ 5 10aから 510cのような処理を行う。またさらに、図 89に示した処理手順におけるステ ップ 510cでは、前記ポインタ 401の奥行き位置よりも手前にあり、かつ、前記ポインタ 401と重なるオブジェクト全体を透明化する代わりに、前述のように、前記ポインタ 40 1の指し示している XY位置 (X , y )と重なる点を中心とした円領域、または楕円領域
P P 、あるいは多角形領域など、前記予め定められた形状の領域のみを透明化する。
[0665] 以上説明したように、本実施例 4 3の 3次元表示制御方法によれば、前記ポインタ の奥行き位置よりも手前に配置 (表示)されたオブジェクトを透明化することで、前記 ポインタ 401が、あるオブジェクトの裏側にあたる位置に移動したときでも、前記ポイン タ 401の位置を見失うことがなぐ容易に認識することができる。
[0666] また、前記ポインタ 401を、前記観察者力も見て奥に向力 方向に移動させることで 、前記オブジェクトを透明化させることができるので、あるオブジェクトの裏側に別のォ ブジエタトが隠れて 、る力否力、あるいはあるオブジェクトの裏側に隠れて!/、る別のォ ブジエタトの位置の認識等をするための操作が従来に比べて容易である。また、前記 ポインタ 401を、前記観察者力も見て手前に向力 方向に移動させることで、透明化 されているオブジェクトをもとの不透明な表示に戻すことができるので、透明化されて V、るオブジェクトの表示内容を認識するための操作が従来に比べて容易である。す なわち、本実施例の 3次元表示制御方法を適用することで、前記観察者 (操作者)の 利便性が向上する。
[0667] また、本実施例 4— 3のように、前記ポインタ 401の奥行き位置よりも手前にあるォブ ジェタトを透明化するときに、前記ポインタ 401の指し示している位置と重なる点を中 心として部分的にオブジェクトを透明化させるので、たとえば、オブジェクトの透明化、 不透明化の連続的な変化による視覚的な煩わしさを低減することができる。
[0668] [実施例 4 4]
図 96および図 97は、実施例 4— 4の 3次元表示制御方法を説明するための模式図 であり、図 96は本実施例 4 4の表示制御方法を適用した場合の 3次元空間の変化 の様子を示す図、図 97は本実施例 4 4の 3次元表示方法を実現するための装置に おける処理手順を示すフロー図である。なお、図 96は、上段、中段、下段に 3通りの 状態を示しており、各状態は、図中に示した操作をすることで下の段の状態に変化 する。また、各状態は、前記観察者から前記 3次元空間を見たときの正面図と右側面 図で示している。
[0669] 本実施例 4—4では、前記ポインタ 401の奥行き位置よりも手前にあるオブジェクト を透明化した後、ポインタが一定時間静止している場合は、透明化されたオブジェク トをもとの不透明な状態に戻し、透明化されたオブジェクトの表示内容を容易に認識 することができるようにする表示制御方法にっ 、て説明する。
[0670] また、本実施例 4— 4では、説明を簡単にするために、たとえば、図 96の上段に示 したように、前記 3次元デスクトップ空間にポインタ 401と、フォルダアイコン 402a, 40 2bおよびウィンドウ 403の 3つのオブジェクトが表示されている場合を例に挙げて説 明する。このとき、ポインタ 401と、フォルダアイコン 402a, 402bおよびウィンドウ 403 の 3つのオブジェクトの位置関係は、最初、図 96の上段に示したような位置関係であ り、前記ポインタ 401は、前記観察者力も見て前記ウィンドウ 403の奥行き位置よりも 手前に表示されているとする。またこのとき、前記フォルダアイコン 402bは、前記観 察者から見て前記ウィンドウ 403の裏側にあたる位置に配置されており、前記観察者 力もは見えていないとする。
[0671] このとき、前記操作者が、前記マウスのホイールを、前記ポインタ 401を +z (z〉0) 方向に移動させるように回転させ、前記ポインタ 401の奥行き位置が、図 96の中段 に示したように、前記観察者力 見て前記ウィンドウ 403の奥行き位置よりも奥になつ た場合、前記ウィンドウ 403は透明化される。この結果、前記観察者 (操作者)は、前 記ポインタ 401がウィンドウ 403の裏側にあたる位置に移動したときも、前記ポインタ 4 01の位置を容易に認識することができる。また、前記ポインタ 401を +z (z〉0)方向に 移動させるだけで、前記ウィンドウ 403の裏側に別のオブジェクトが隠れて 、るか否か や、隠れて 、るフォルダアイコン 402bの位置を認識することができる。
[0672] そして、前記操作者が、この状態においてマウスの操作を中断し、前記マウス本体 およびホイールを動力さない状態力 たとえば、 1秒間続いたとすると、図 96の下段 に示すように、透明化されていた前記ウィンドウ 403が、もとの不透明な状態の表示 に戻る。この結果、前記観察者 (操作者）は、たとえば、前記実施例 4—1乃至実施例 4— 3で説明したように、前記ポインタ 401を前記ウィンドウ 403の奥行き位置よりも手 前に移動させる操作をしなくても、前記ウィンドウ 403の表示内容を認識することがで さるようになる。
[0673] また、図 96の下段に示したような状態で、前記マウスの操作を再開すれば、前記ポ インタ 401の奥行き位置よりも手前にあるウィンドウ 403は再度透明化され、図 96の 中段に示したように、前記ウィンドウ 403の裏側に隠れていたポインタ 401およびフォ ルダアイコン 402bを認識できるようになる。
[0674] このような本実施例 4 4の 3次元表示制御方法を、図 80に示した前記システム制 御装置 1等で実現するためには、前記システム制御装置 1において、図 97に示した ステップ 501からステップ 513の処理を実行すればよい。
[0675] なお、図 97に示した処理手順におけるステップ 501からステップ 510は、図 88に示 した処理手順のステップ 501からステップ 510の処理と同じ処理でよ!、ので、詳細な 説明は省略する。また、前記オブジェクトを透明化するときに、前記実施例 4— 2や実 施例 4— 3で説明したような方法で透明化する場合は、前記ステップ 510にお 、て、 たとえば、図 93に示したステップ 510dからステップ 510hの処理、あるいは図 90に示 した 510aからステップ 510cのような処理を行えばよいので、この説明も省略する。
[0676] 図 80に示したような構成の前記システム制御装置 1において、本実施例 4 4の 3 次元表示方法を実現するためには、図 97に示したステップ 510の処理、すなわち、 前記ポインタ 401の奥行き位置よりも手前にあるオブジェクトを透明化して表示させる 処理がすんだ後、前記ポインタの操作に関する情報 (ポインタ操作情報)の取得が継 続している力確認する (ステップ 511)。そして、前記ポインタ操作情報の取得が継続 している場合は、図 97に示したように、前記ステップ 505からステップ 510の処理を 繰り返し、ポインタの表示位置の移動、ポインティングされているオブジェクトの表示 の変更、ポインタの奥行き位置よりも手前にあるオブジェクトの透明化を続ける。
[0677] 一方、前記ステップ 511にお 、て、前記ポインタ操作情報の取得が中断して!/、ると 判定した場合は、前記ポインタ操作情報の取得を中断して力も一定の時間が経過し たか確認する（ステップ 512)。このとき、一定の時間が経過していなければ、ステップ 511に戻り、再度確認を行う。
[0678] そして、前記ステップ 511およびステップ 512で、前記ポインタ操作情報の取得が 中断し、かつ、中断してから一定の時間が経過していると判定した場合、前記ォブジ ェクト生成 Z透明化手段 105は、現在透明化されているオブジェクトを、もとの不透明 な状態に戻し、前記表示制御手段 106を介して前記表示装置 3に表示させる (ステツ プ 513)。 [0679] 前記システム制御装置 1において、このような処理を実行することで、図 96に示した ようなポインタ 401およびオブジェクト 402a, 402b, 403の表示の制御が可能となる
[0680] 以上説明したように、本実施例 4 4の 3次元表示制御方法によれば、前記ポインタ の奥行き位置よりも手前に配置 (表示)されたオブジェクトを透明化することで、前記 ポインタ 401が、あるオブジェクトの裏側にあたる位置に移動したときでも、前記ポイン タ 401の位置を見失うことがなぐ容易に認識することができる。
[0681] また、前記ポインタ 401を、前記観察者力も見て奥に向力 方向に移動させることで 、前記オブジェクトを透明化させることができるので、あるオブジェクトの裏側に別のォ ブジエタトが隠れて 、る力否力、あるいはあるオブジェクトの裏側に隠れて!/、る別のォ ブジエタトの位置の認識等をするための操作が従来に比べて容易である。また、前記 ポインタ 401を、前記観察者力も見て手前に向力 方向に移動させることで、透明化 されているオブジェクトをもとの不透明な表示に戻すことができるので、透明化されて V、るオブジェクトの表示内容を認識するための操作が従来に比べて容易である。す なわち、本実施例の 3次元表示制御方法を適用することで、前記観察者 (操作者)の 利便性が向上する。
[0682] また、本実施例 4 4のように、前記ポインタ操作情報の取得が中断してから一定時 間が経過した場合、透明化されているオブジェクトをもとの不透明な状態に戻して表 示させることで、たとえば、実施例 4—1乃至実施例 4— 3で説明したような、ポインタ 4 01を観察者から見て手前の方向に移動させるという操作を行わなくても、前記ポイン タ 401より手前に表示されているオブジェクトの表示内容を認識することができる。
[0683] また、前記透明化されているオブジェクトの奥行き位置よりも奥に前記ポインタ 401 が表示されている状態のまま透明化されているオブジェクトを不透明化し、さらに、前 記ポインタ操作情報の取得が再開した時点で前記不透明化されたオブジェクトを再 度透明化するので、前記透明化されているオブジェクトの表示内容を確認するため にポインタを奥行き方向に移動させるという操作を省くことができ、前記観察者 (操作 者)の利便性がさらに向上する。
[0684] [実施例 4 5] 図 98〜図 100は、実施例 4— 5の 3次元表示制御方法を説明するための模式図で あり、図 98はオブジェクトの選択方法を示す図、図 99は本実施例 4— 5の表示制御 方法を適用した場合の 3次元空間の変化の様子を示す図、図 100は本実施例 4 5 の 3次元表示方法を実現するための装置における処理手順を示すフロー図である。 なお、図 98および図 99は、上段、中段、下段に 3通りの状態を示しており、各状態は 、図中に示した操作をすることで下の段の状態に変化する。また、各状態は、前記観 察者力 前記 3次元空間を見たときの正面図と右側面図で示している。
[0685] 本実施例 4 5では、前記 3次元空間内に表示されたオブジェクトを選択している状 態で前記ポインタを移動させときに、前記ポインタの奥行き位置よりも手前にあるォブ ジェタトのうち、前記選択しているオブジェクトは透明化せず、選択されていることを認 識できるようにする表示制御方法につ!、て説明する。
[0686] 前記表示装置 3上の 3次元空間内でポインタ 401を操作するときには、前記実施例 4 1乃至実施例 4—4で説明したように、前記ポインタ 401を 3次元空間内で移動さ せてオブジェクトをポインティングする操作の他に、たとえば、 1つ以上のオブジェクト を選択し、前記選択したオブジェクトを前記 3次元空間内で移動させると ヽつた操作 を行うことちできる。
[0687] そこで、本実施例 4 5では、まず、たとえば、図 98の上段に示したように、前記 3次 元デスクトップ空間にポインタ 401と、フォルダアイコン 402a, 402bおよびウィンドウ 4 03の 3つのオブジェクトが表示されている場合を例に挙げて前記オブジェクトを 3次 元空間内で移動させる動作について説明する。このとき、ポインタ 401と、フォルダァ イコン 402a, 402bおよびウィンドウ 403の 3つのオブジェクトの位置関係は、最初、 図 98の上段に示したような位置関係であり、前記ポインタ 401は、前記観察者から見 て前記ウィンドウ 403の奥行き位置よりも奥に表示されているとする。すなわち、前記 ウィンドウ 403は、前記ポインタ 401の奥行き位置よりも手前にあるので、透明化され ているとする。
[0688] このとき、前記操作者が、たとえば、前記マウスの左ボタンを押しながら、前記マウス 本体およびホイールを操作すると、図 98の中段に示したように、フォルダアイコン 40 2a, 402bを選択することができる。またこのとき、前記フォルダアイコン 402a, 402b は、通常の表示から、選択されていることを示す表示に切り替わる。そして、マウスの 左ボタンを押すのをやめ、たとえば、前記ポインタ 401で前記フォルダアイコン 402a をポインティングした後、再び前記マウスの左ボタンを押しながらホイールを回転させ ると、図 98の下段に示したように前記選択したフォルダアイコン 402a, 402bを、相対 的な位置関係を保ちながら前記観察者力 見て手前の方向に移動させることができ る。
[0689] そして、前記操作者が、たとえば、図 98の下段または図 99の上段に示したように、 前記フォルダアイコン 402a, 402bを移動させた後、前記選択した状態のまま、図 99 の中段に示すように、前記ポインタ 401を前記フォルダアイコン 402bの方向に移動さ せたとする。このとき、図 99の中段に示したように、前記ポインタ 401の奥行き位置が 、前記フォルダアイコン 402bよりも奥にあるとすると、前記実施例 4—1乃至実施例 4 —4の表示制御方法では、前記フォルダアイコン 402bは透明化されてしまう。しかし ながら、前記フォルダアイコン 402bが透明化されてしまうと、前記観察者は、前記フ オルダアイコン 402bが選択された状態であることを認識できなくなる。またさらに、図 99の中段に示したように、 2つの選択されたフォルダアイコン 402a, 402bの各奥行 き位置の間に前記ポインタ 401があると、前記フォルダアイコン 402bが透明化され、 前記フォルダアイコン 402aが不透明な状態で表示されて ヽるため、前記フォルダァ イコン 402aのみが選択されて!、るの力、他のオブジェクトも一緒に選択されて 、るの かが認識できない。
[0690] そこで、本実施例 4— 5では、図 99の中段に示したように、前記ポインタ 401の奥行 き位置よりも手前にあるオブジェクト（フォルダアイコン 402b)であっても、選択された 状態であれば、透明化せず、不透明な状態で表示する。この結果、前記観察者は、 フォルダアイコン 402a, 402bが選択されて!、る状態であることを容易に認識すること ができる。
[0691] そして、前記操作者が、たとえば、オブジェクトをポインティングして ヽな 、状態でマ ウスの左ボタンを押す等の操作をして、選択を解除すると、図 99の下段に示したよう に、前記フォルダアイコン 402a, 402bは、選択されていることを示す表示から通常の 表示に戻る。そして、前記ポインタ 401の奥行き位置よりも手前にあるフォルダアイコ ン 402bは通常の表示に戻ると同時に、透明化される。
[0692] このような本実施例 4 5の 3次元表示制御方法を、図 80に示した前記システム制 御装置 1等で実現するためには、前記システム制御装置 1において、図 100に示した ステップ 501力らステップ 506,ステップ 514からステップ 517の処理を実行すればよ い。
[0693] なお、図 100に示した処理手順におけるステップ 501からステップ 506は、図 88に 示した処理手順のステップ 501からステップ 506の処理と同じ処理でよ!、ので、詳細 な説明は省略する。
[0694] 図 80に示したような構成の前記システム制御装置 1において、本実施例 4 5の 3 次元表示方法を実現するためには、図 100に示したステップ 506の処理、すなわち、 前記ポインタ 401を新たな表示位置に表示させる処理がすんだ後、前記ポインタ位 置算出手段 102は、前記オブジェクト変更判定手段 104に前記ポインタ 401の奥行 き位置よりも手前に透明化候補のオブジェクトがある力否かを判定させる (ステップ 51 4)。このとき、透明化候補のオブジェクトがなければ、ステップ 502に戻り、次の入力 情報を取得するまで待機する。
[0695] 一方、透明化候補のオブジェクトがある場合、前記オブジェクト変更判定手段 104 は、次に、前記透明化候補のオブジェクトの中に、選択されている状態のオブジェクト がある力否かを判定する（ステップ 515)。そして、選択されている状態のオブジェクト 力 ければ、前記オブジェクト生成 Z透明化手段 105に、前記透明化候補となって いる全てのオブジェクトを透明化させ、前記表示制御手段 106を介して前記表示装 置 3に表示させる (ステップ 516)。このとき、前記ステップ 516では、前記実施例 4— 1乃至実施例 4 3で説明したような透明化方法の 、ずれかを選択して前記オブジェ タトを透明化する。
[0696] また、前記透明化候補となって 、るオブジェクトの中に、選択されて!、る状態のォブ ジェタトがある場合は、前記オブジェクト生成 Z透明化手段 105に、前記選択されて いるオブジェクトを除ぐ非選択状態のオブジェクトのみを透明化させ、前記表示制御 手段 106を介して前記表示装置 3に表示させる (ステップ 517)。このとき、前記ステツ プ 517では、前記実施例 4— 1乃至実施例 4— 3で説明したような透明化方法のいず れかを選択して前記オブジェクトを透明化する。
[0697] 前記システム制御装置 1において、このような処理を実行することで、図 100に示し たようなポインタ 401およびオブジェクト 402a, 402b, 403の表示の制御が可能とな る。
[0698] なお、図 100に示した処理手順では、図 88に示した処理手順のステップ 507およ びステップ 508を省略している力 これらの処理が組み込まれていてもよい。また、前 記オブジェクトを透明化するときに、前記実施例 4 2や実施例 4 3で説明したよう な方法で透明化する場合は、前記ステップ 510において、たとえば、図 93に示したス テツプ 510dからステップ 510hの処理、あるいは図 90に示した 510aからステップ 51 Ocのような処理を行えばよ!、。
[0699] 以上説明したように、本実施例 4 5の 3次元表示制御方法によれば、前記ポインタ の奥行き位置よりも手前に配置 (表示)されたオブジェクトを透明化することで、前記 ポインタ 401が、あるオブジェクトの裏側にあたる位置に移動したときでも、前記ポイン タ 401の位置を見失うことがなぐ容易に認識することができる。
[0700] また、前記ポインタ 401を、前記観察者力も見て奥に向力 方向に移動させることで 、前記オブジェクトを透明化させることができるので、あるオブジェクトの裏側に別のォ ブジエタトが隠れて 、る力否力、あるいはあるオブジェクトの裏側に隠れて!/、る別のォ ブジエタトの位置の認識等をするための操作が従来に比べて容易である。また、前記 ポインタ 401を、前記観察者力も見て手前に向力 方向に移動させることで、透明化 されているオブジェクトをもとの不透明な表示に戻すことができるので、透明化されて V、るオブジェクトの表示内容を認識するための操作が従来に比べて容易である。す なわち、本実施例の 3次元表示制御方法を適用することで、前記観察者 (操作者)の 利便性が向上する。
[0701] また、前記オブジェクトを透明化するときに、透明化の候補であるオブジェクト、すな わち、前記ポインタの奥行き位置よりも手前にあるオブジェクトの中に、選択されてい る状態のオブジェクトがある場合、前記選択されて 、るオブジェクトは透明化しな 、こ とで、前記オブジェクトが選択された状態であることを容易に認識することができる。
[0702] また、前記各実施例では、前記入力装置 2としてホイール機能付きマウスを用い、 前記表示装置 3として DFDを用いた場合を例に挙げて、前記ポインタおよびオブジェ タトの表示の制御方法を説明したが、前記入力装置 2および前記表示装置 3は、既 存の種々の装置を用いることができることは言うまでもない。このとき、前記入力装置 2としては、たとえば、キーボードやペンタブレット、あるいはゲームパッド等の装置を 用いることができる。また、前記入力装置 2は 1種類に限らず、たとえば、キーボードと マウスを組み合わせ、前記キーボードの特定のキーを押しながらマウスを操作するこ とで、前記ポインタの 3次元的な移動操作や選択操作等を行うこともできる。また、前 記表示装置 3も、前記 DFDのようなオブジェクトの立体表示が可能な 3次元ディスプレ ィに限らず、既存の CRTや液晶ディスプレイ、プラズマディスプレイ等の 2次元ディス プレイを用いることも可能である。前記表示装置 3として前記 2次元ディスプレイを用 いた場合は、前記システム制御装置 1の表示制御手段 106において、 3次元仮想空 間を設定して前記 3次元空間内に前記ポインタやオブジェクトを配置した後、前記 3 次元空間を前記 2次元ディスプレイの表示面に投影した画像を生成し、前記 2次元 ディスプレイに表示させればよ 、。
[0703] また、本発明の 3次元表示制御方法は、特殊な入力装置、制御装置、表示装置を 用いることなぐ既存の入力装置、制御装置、表示装置を組み合わせることで容易に 実現することができる。また、本発明の 3次元表示制御方法を適用した制御装置は、 コンピュータとプログラムによって実現することができる。このとき、前記プログラムは、 たとえば、前記実施例 4 1乃至実施例 4 5で説明したような表示制御方法をコンビ ユータに実行させる命令が記述されていればよぐ磁気的または電気的、あるいは光 学的のいずれかの記録媒体に記録して提供することができる。また、前記記録媒体 に記録して提供する代わりに、たとえば、インターネット等のネットワークを介して提供 することちでさる。
[0704] 以上、本発明を、各実施の形態に基づき具体的に説明したが、本発明は、前記実 施例に限定されるものではなぐその要旨を逸脱しない範囲において、種々変更可 能であることはもちろんである。

Claims

請求の範囲
[1] あら力じめ定められた検出面上を入力ペンのペン先で指し示したときの、指し示し た位置の 2次元的な座標と、前記入力ペンのペン先に力かる圧力である筆圧とに基 づいて、表示装置に表現された 3次元空間内の所望の点をポインティングする 3次元 ポインティング方法であって、
前記入力ペンの筆圧に応じて、前記 3次元空間に表示させる 3次元ポインタの奥行 き方向の座標を変化させて表示することを特徴とする 3次元ポインティング方法。
[2] あら力じめ定められた検出面上を入力ペンのペン先で指し示した時の、指し示した 位置の 2次元的な座標と、入力ペンのペン先に力かる圧力である筆圧と、入力ペンの 軸と前記検出面がなす角度である入力ペンの傾き角と、入力ペンの軸の前記検出面 への射影と前記検出面上の所定の直線がなす角である入力ペンの方位角とに基づ いて、表示装置に表現された 3次元空間内の所望の点をポインティングする 3次元ポ インティング方法であって、
前記入力ペンの傾き角および方位角に基づき前記入力ペンの軸の前記 3次元空 間における延長線を求め、
前記 3次元空間における延長線上に 3次元ポインタを表示させ、
前記入力ペンの筆圧に応じて、前記 3次元ポインタの前記 3次元空間における延長 線方向の座標を変化させて表示することを特徴とする 3次元ポインティング方法。
[3] あら力じめ定められた検出面上を入力ペンのペン先で指し示したときの、指し示し た位置の 2次元的な座標と、指し示し続けた時間または前記入力ペンが備える操作 手段の操作とに基づいて、表示装置に表現された 3次元空間内の所望の点をポイン ティングする 3次元ポインティング方法であって、
前記入力ペンのペン先で指し示し続けた時間、または前記入力ペンの前記操作手 段の操作に応じて、前記 3次元空間に表示させる 3次元ポインタの奥行き方向の座 標を変化させて表示することを特徴とする 3次元ポインティング方法。
[4] あら力じめ定められた検出面上を入力ペンのペン先で指し示したときの、指し示し た位置の 2次元的な座標と、指し示し続けた時間または前記入力ペンが備える操作 手段の操作と、前記入力ペンの軸と前記検出面がなす角である入力ペンの傾き角と 、前記入力ペンの軸の前記検出面への射影と前記検出面上の所定の直線がなす角 である入力ペンの方位角とに基づいて、表示装置に表現された 3次元空間内の所望 の点をポインティングする 3次元ポインティング方法であって、
前記入力ペンの傾き角および方位角に基づき前記入力ペンの軸の前記 3次元空 間における延長線を求め、
前記 3次元空間における延長線上に 3次元ポインタを表示させ、
前記入力ペンのペン先で指し示し続けた時間、または前記入力ペンの前記操作手 段の操作に応じて、前記 3次元ポインタの、前記 3次元空間における延長線方向の 座標を変化させて表示することを特徴とする 3次元ポインティング方法。
[5] 前記 3次元ポインタがポインティングする点の 3次元座標力も所定の距離以内にォ ブジエタトが存在するときに、当該オブジェクトをポインティングして 、ると判定すること を特徴とする請求項 1乃至請求項 4のいずれか 1項に記載の 3次元ポインティング方 法。
[6] 前記 3次元ポインタで前記 3次元空間に表示されたオブジェクトをポインティングし ているときに、当該オブジェクトを選択または掴むための操作がなされると、
前記オブジェクトを選択または掴むための操作の後の、前記 3次元ポインタの 3次 元位置の変化に応じて、前記オブジェクトの 3次元位置を変化させて表示することを 特徴とする請求項 1乃至請求項 4のいずれ力 1項に記載の 3次元ポインティング方法
[7] 前記 3次元空間に表示されたオブジェクトをポインティングしているときに、前記ォブ ジェタトに対する操作または編集あるいは加工を開始するための操作がなされると、 前記ポインティングされたオブジェクトを、前記表示装置の、操作者カゝら見て最も手 前の面に 2次元的に表示し、
前記 2次元的に表示されたオブジェクトに対して、前記入力ペンによる 2次元的な 操作または編集あるいは加工を受け付けることを特徴とする請求項 1乃至請求項 4の V、ずれか 1項に記載の 3次元ポインティング方法。
[8] 前記 3次元ポインタがポインティングする点の 2次元的な座標を、前記検出面上を 前記入力ペンのペン先で指し示した位置の 2次元的な座標とし、前記 3次元ポインタ がポインティングする点の前記 2次元的な座標を一定として前記 3次元ポインタの奥 行き方向の座標を変化させる請求項 1または 3に記載の 3次元ポインティング方法。
[9] あら力じめ定められた検出面上を入力ペンのペン先で指し示したときの、指し示し た位置の 2次元的な座標と、前記入力ペンのペン先に力かる圧力である筆圧とに基 づいたポインタを生成し、表示装置に表現された 3次元空間内の所望の点に前記生 成したポインタを表示させてポインティングさせる 3次元ポインティング装置であって、 前記入力ペンからの 2次元的な座標および前記筆圧の情報を取得する入力情報 取得手段と、
前記入力情報取得手段で取得した情報に基づ!、て、前記表示装置に表現された 3次元空間内のポインタを表示させる位置および回転角度を算出するポインタ位置 Z回転角度算出手段と、
前記ポインタ位置 Z回転角度算出手段の算出結果に基づいたポインタを生成する ポインタ生成手段と、
前記表示装置に表現された 3次元空間内に、前記ポインタ生成手段で生成したポ インタでポインティングされているオブジェクトがある力否かを判定するポインティング 判定手段と、
前記表示装置に表現された 3次元空間内に表示するオブジェクトを生成するォブ ジ タト生成手段と、
前記ポインタ生成手段で生成したポインタおよび前記オブジェクト生成手段で生成 したオブジェクトを、前記表示装置に表現された 3次元空間内に表示させる表示制御 手段とを備え、
前記ポインタ位置 Z回転角度算出手段は、前記入力ペンの筆圧に応じて、前記 3 次元空間に表示させる 3次元ポインタの奥行き方向の座標を変化させて算出すること を特徴とする 3次元ポインティング装置。
[10] あら力じめ定められた検出面上を入力ペンのペン先で指し示したときの、指し示し た位置の 2次元的な座標と、指し示し続けた時間または前記入力ペンが備える操作 手段の操作とに基づいたポインタを生成し、表示装置に表現された 3次元空間内の 所望の点にポインタを表示させてポインティングさせる 3次元ポインティング装置であ つて、
前記入力ペンからの 2次元的な座標と、前記入力ペンのペン先の接触の有無また は前記入力ペンの操作手段の操作の情報を取得する入力情報取得手段と、 前記入力情報取得手段で取得した情報に基づ!、て、前記入力ペンのペン先で指 し示し続けた時間、または前記操作手段が操作された量を算出する入力情報処理 手段と、
前記入力情報取得手段で取得した情報に基づ!、て、前記表示装置に表現された 3次元空間内のポインタを表示させる位置を算出するポインタ位置 Z回転角度算出 手段と、
前記ポインタ位置 Z回転角度算出手段の算出結果に基づいたポインタを生成する ポインタ生成手段と、
前記表示装置に表現された 3次元空間内に、前記ポインタ生成手段で生成したポ インタでポインティングされているオブジェクトがある力否かを判定するポインティング 判定手段と、
前記表示装置に表現された 3次元空間内に表示するオブジェクトを生成するォブ ジ タト生成手段と、
前記ポインタ生成手段で生成したポインタおよび前記オブジェクト生成手段で生成 したオブジェクトを、前記表示装置に表現された 3次元空間内に表示させる表示制御 手段とを備え、
前記ポインタ位置 Z回転角度算出手段は、前記入力ペンのペン先で指し示し続け た時間、または前記入力ペンの操作手段の操作に応じて、前記 3次元空間に表示さ せる 3次元ポインタの奥行き方向の座標を変化させて算出することを特徴とする 3次 元ポインティング装置。
[11] 前記ポインティング判定手段は、前記 3次元ポインタがポインティングする点の 3次 元座標から所定の距離以内にオブジェクトが存在するときに、当該オブジェクトをボイ ンティングしていると判定することを特徴とする請求項 9または請求項 10に記載の 3 次元ポインティング装置。
[12] 前記オブジェクト生成手段は、前記 3次元ポインタの 3次元位置の変化に応じて、 前記オブジェクトの 3次元位置を変化させて生成する手段を備え、
前記 3次元空間内に表示された 3次元ポインタで前記 3次元空間内に表示されたォ ブジェクトをポインティングして 、るときに、前記オブジェクトを選択または掴むための 操作がなされると、
前記オブジェクトを選択または掴むための操作の後の、前記 3次元ポインタの 3次 元位置の変化に応じて、前記オブジェクトの 3次元位置を変化させて表示させること を特徴とする請求項 9または請求項 10に記載の 3次元ポインティング装置。
[13] 前記入力情報取得手段は、前記 2次元的な座標および前記筆圧の情報に加え、 前記入力ペンの軸と前記検出面がなす角である入力ペンの傾き角と前記入力ペン の軸の前記検出面への射影と前記検出面上の所定の直線がなす角である入力ペン の方位角とを取得し、
前記ポインタ位置 Z回転角度算出手段は、前記入力ペンの傾き角と前記入力ペン の方位角に基づき前記入力ペンの軸の前記 3次元空間における延長線を求め、前 記 3次元空間における延長線上を 3次元ポインタの位置とし、前記入力ペンの筆圧に 応じて、前記 3次元ポインタの前記 3次元空間における延長線方向の座標を変化さ せて算出することを特徴とする請求項 9に記載の 3次元ポインティング装置。
[14] 前記入力情報取得手段は、さらに前記入力ペンの軸と前記検出面がなす角である 入力ペンの傾き角の情報と、前記入力ペンの軸の前記検出面への射影と前記検出 面上の所定の直線がなす角である入力ペンの方位角の情報とを取得し、
前記ポインタ位置 Z回転角度算出手段は、前記入力ペンの傾き角および方位角 に基づき、前記入力ペンの軸の前記 3次元空間における延長線を求め、前記 3次元 空間における延長線上を 3次元ポインタの位置とし、前記入力ペンのペン先で指し 示し続けた時間、または前記入力ペンの操作手段の操作に応じて、前記 3次元ボイ ンタの前記 3次元空間における延長線方向の座標を変化させて算出することを特徴 とする請求項 10に記載の 3次元ポインティング装置。
[15] 前記入力情報取得手段は、さらに前記検出面上を前記入力ペンのペン先で指し 示したときの前記入力ペンの軸周りの回転角である入力ペンの回転角の情報を取得 し、 前記ポインタ位置 z回転角度算出手段は、前記入力ペンの回転角に応じて、前記
3次元ポインタの軸周りの回転角を変化させて算出することを特徴とする請求項 8ま たは請求項 10に記載の 3次元ポインティング装置。
[16] 前記オブジェクト生成手段は、前記 3次元空間内に表示されたオブジェクトをポイン ティングしているときに、前記オブジェクトに対する操作または編集あるいは加工を開 始するための操作がなされると、前記ポインティングされたオブジェクトを、前記表示 装置の、操作者から見て最も手前の面に 2次元的に投影したオブジェクトを生成する 手段を備えることを特徴とする請求項 9または請求項 10に記載の 3次元ポインティン グ装置。
[17] 前記オブジェクト生成手段は、前記最も手前の面に 2次元的に表示されたオブジェ タトに対して、前記入力ペンによる 2次元的な操作または編集あるいは加工を受け付 けた後、前記オブジェクトに対する操作または編集あるいは加工を終了するための操 作がなされたときに、前記 2次元的に表示されたオブジェクトを、前記操作または編集 あるいは加工を開始するための操作がなされる直前の 3次元的な表示状態に戻した オブジェクトを生成する手段を備えることを特徴とする請求項 16に記載の 3次元ボイ ンティング装置。
[18] 前記入力ペンは、前記筆圧に応じてペン先の長さが短くなる構造を有し、
前記 3次元ポインタは、前記入力ペンのペン先と同等の形状、またはペン先の一部 と同等の形状を有することを特徴とする請求項 9に記載の 3次元ポインティング装置。
[19] 前記入力ペンは、ペン先で指し示し続けた時間、または操作手段の操作に応じて ペン先の長さが短くなる構造を有し、
前記 3次元ポインタは、前記入力ペンのペン先と同等の形状、またはペン先の一部 と同等の形状を有することを特徴とする請求項 10に記載の 3次元ポインティング装置
[20] 前記ポインタ位置 Z回転角度算出手段は、前記 3次元ポインタがポインティングす る点の 2次元的な座標を、前記検出面上を前記入力ペンのペン先で指し示した位置 の 2次元的な座標とし、前記 3次元ポインタがポインティングする点の前記 2次元的な 座標を一定として前記 3次元ポインタの奥行き方向の座標を変化させる請求項 9また は 10に記載の 3次元ポインティング装置。
[21] 請求項 9乃至請求項 20のいずれか 1項に記載の 3次元ポインティング装置におけ る各手段での処理を、コンピュータに実行させる 3次元ポインティングプログラム。
[22] 3次元空間を表現することが可能な表示装置の前記 3次元空間内に表示されたポ インタを、前記 3次元空間内で移動させて、前記 3次元空間内の所望の点をポインテ イングさせる 3次元ポインティング方法であって、
前記ポインタを、前記表示装置の 3次元空間の奥行き方向に直交する 2次元平面 内で移動または回転させるとともに、前記奥行き方向に移動させるステップ 1と、 前記ポインタのポインティングを行う点およびその近傍であるポインティングを行う部 分を除く前記ポインタ上のあら力じめ定められた 1点の前記奥行き方向の位置、前記 ポインタの形状、およびサイズを一定に保ったまま、前記ポインタのポインティングを 行う部分を前記奥行き方向に移動させるステップ 2と、
前記ステップ 1およびステップ 2で移動させたポインタを、前記表示装置に表示させ るステップ 3とを有することを特徴とする 3次元ポインティング方法。
[23] 前記ステップ 2は、前記ポインタを、前記ポインタの表面上または内部の点を除ぐ あら力じめ定められた中心点または中心軸を中心として回転させることを特徴とする 請求項 22に記載の 3次元ポインティング方法。
[24] 3次元空間を表現することが可能な表示装置の前記 3次元空間内に表示されたポ インタを、前記 3次元空間内で移動させて、前記 3次元空間内の所望の点をポインテ イングさせる 3次元ポインティング方法であって、
前記ポインタを、前記表示装置の 3次元空間の奥行き方向に直交する 2次元平面 内で移動または回転させるとともに、前記奥行き方向に移動させるステップ 1と、 前記ポインタのポインティングを行う部分を除く前記ポインタ上のあら力じめ定めら れた 1点の前記奥行き方向の位置を一定に保ち、かつ、前記ポインタの形状、および サイズを変形させながら、前記ポインタのポインティングを行う部分を前記奥行き方向 に移動させるステップ 4と、
前記ステップ 1およびステップ 4で移動させたポインタを、前記表示装置に表示させ るステップ 3とを有することを特徴とする 3次元ポインティング方法。
[25] 前記ステップ 4は、前記ポインタを、前記ポインタの表面上または内部の点を除ぐ あら力じめ定められた中心点または中心軸を中心として回転させることを特徴とする 請求項 24に記載の 3次元ポインティング方法。
[26] 前記ポインタを回転させる前記中心点または中心軸力 前記ポインタが回転する際 の回転角度に応じて移動することを特徴とする請求項 23または請求項 25に記載の 3 次元ポインティング方法。
[27] 前記ポインタは、前記奥行き方向の位置、前記 2次元平面内の位置、形状、および サイズが一定である第 1の部分と、少なくとも前記奥行き方向の位置が変化する第 2 の部分と、前記第 1の部分と第 2の部分とを連結する第 3の部分力 なり、
前記ステップ 4は、前記ポインタの、前記第 2の部分を前記奥行き方向に移動させ ることを特徴とする請求項 24に記載の 3次元ポインティング方法。
[28] 前記ステップ 4は、前記 3次元ポインタの、前記第 2の部分の前記 2次元平面内の 位置、または形状、またはサイズを変化させつつ、前記第 2の部分を前記奥行き方向 に移動させることを特徴とする請求項 27に記載の 3次元ポインティング方法。
[29] 前記ポインタを奥行き方向に移動させたときに、前記ポインタの一部分が前記表示 装置の表現可能な 3次元空間の外にはみ出した場合は、前記表示装置の表現可能 な前記 2次元平面のうち、前記はみ出した部分に近接する 2次元平面に、前記はみ 出した部分を射影して、もしくは折り曲げて表示させることを特徴とする請求項 22乃 至請求項 28のいずれか 1項に記載の 3次元ポインティング方法。
[30] 前記ステップ 3は、前記ポインタとともに、前記奥行き方向の位置が一定である参照 用ポインタを前記表示装置に表示させることを特徴とする請求項 22乃至請求項 28の V、ずれか 1項に記載の 3次元ポインティング方法。
[31] 3次元空間を表現可能な表示装置上に表現された 3次元空間内にポインタを表示 させ、入力装置からの入力情報に基づいて前記ポインタを 3次元的に移動させて、 前記 3次元空間内の任意の一点をポインティングさせる 3次元ポインティング装置で あって、
前記入力装置からの入力情報を取得する入力情報取得手段と、
前記入力情報取得手段で取得した前記入力情報に基づいて前記ポインタの表示 位置および変形量を算出するポインタ位置 z変形量算出手段と、
前記ポインタ位置 Z変形量算出手段で算出された表示位置に表示するポインタを 生成するポインタ生成手段と、
前記ポインタ位置 Z変形量算出手段で算出された前記ポインタの表示位置に基づ き、前記ポインタがポインティングして 、る点にオブジェクトがある力否かを判定する ポインティング判定手段と、
前記ポインティング判定手段でポインティングしているオブジェクトがあると判定され た場合に、オブジェクトをポインティングされて 、る状態に変化させるオブジェクト生 成手段と、
前記ポインタ生成手段で生成したポインタおよび前記オブジェクト生成手段で生成 したオブジェクトを前記表示装置に表示させる表示制御手段とを備えることを特徴と する 3次元ポインティング装置。
[32] 前記ポインタ生成手段は、前記ポインタのポインティングを行う点およびその近傍で あるポインティングを行う部分を除く前記ポインタ上のあら力じめ定められた 1点の前 記奥行き方向の位置、前記ポインタの形状、およびサイズを一定に保ったまま、前記 ポインタのポインティングを行う部分を前記奥行き方向に移動させる手段を備えること を特徴とする請求項 31に記載の 3次元ポインティング装置。
[33] 前記ポインタ生成手段は、前記ポインタのポインティングを行う部分を除く前記ボイ ンタ上のあら力じめ定められた 1点の前記奥行き方向の位置を一定に保ち、かつ、前 記ポインタの形状、およびサイズを変形させながら、前記ポインタのポインティングを 行う部分を前記奥行き方向に移動させる手段を備えることを特徴とする請求項 31に 記載の 3次元ポインティング装置。
[34] 前記ポインタのポインティングを行う部分を奥行き方向に移動させる手段は、前記 ポインタを、前記ポインタの表面上または内部の点を除ぐあら力じめ定められた中心 点または中心軸を中心として回転させることを特徴とする請求項 32または請求項 33 に記載の 3次元ポインティング装置。
[35] 前記ポインタ生成手段は、前記ポインタを前記奥行き方向の位置、前記 2次元平面 内の位置、形状、およびサイズが一定である第 1の部分と、少なくとも前記奥行き方 向の位置が変化する第 2の部分に分割し、前記第 2の部分のみを奥行き方向に移動 させる手段と、
前記第 2の部分を奥行き方向に移動させた後、前記第 1の部分と第 2の部分を連結 する手段とを備えることを特徴とする請求項 31に記載の 3次元ポインティング装置。
[36] 前記ポインタ生成手段は、前記ポインタを奥行き方向に移動させたときに、前記ポ インタの一部分が前記表示装置の表現可能な 3次元空間の外にはみ出しているか 否かを判定する手段と、
はみ出して!/、る部分がある場合は、前記表示装置の表現可能な前記 2次元平面の うち、前記はみ出した部分に近接する 2次元平面に、前記はみ出した部分を射影、も しくは折り曲げる手段とを備えることを特徴とする請求項 31乃至請求項 35のいずれ 力 1項に記載の 3次元ポインティング装置。
[37] 請求項 31乃至請求項 36のいずれか 1項に記載の 3次元ポインティング装置におけ る各手段での処理を、コンピュータに実行させる 3次元ポインティングプログラム。
[38] 3次元空間を表現可能な表示装置上に表現された 3次元空間内にポインタおよび 1 つ以上のオブジェクトを表示しておき、入力装置からの入力情報に基づいて前記ポ インタを 3次元的に移動させて、前記 3次元空間内の任意の一点をポインティングす るときの前記ポインタおよび前記オブジェクトの表示状態を制御する 3次元表示制御 方法であって、
前記入力情報に基づいて前記ポインタの表示位置を算出するステップ 1と、 前記ステップ 1で算出した表示位置に前記ポインタを表示させるステップ 2と、 前記ステップ 1で算出した前記ポインタの表示位置に基づき、前記ポインタの奥行 き位置よりも手前にオブジェクトがあるか否かを判定し、前記ポインタの奥行き位置よ りも手前にあるオブジェクトを透明化して表示させるステップ 3とを有することを特徴と する 3次元表示制御方法。
[39] 前記ステップ 3は、前記ポインタの奥行き位置よりも手前にあるオブジェクトのうち、 前記ポインタと重なるオブジェクトのみを透明化して表示させることを特徴とする請求 項 38に記載の 3次元表示制御方法。
[40] 前記ステップ 3は、前記ポインタの奥行き位置よりも手前にあるオブジェクトのうち、 前記入力装置からのあらかじめ定められた入力情報に基づいて特定もしくは選択さ れたオブジェクトを除ぐ他のオブジェクトを透明化して表示させることを特徴とする請 求項 38または請求項 39に記載の 3次元表示制御方法。
[41] 前記ステップ 3は、前記ポインタの奥行き位置よりも手前にあるオブジェクトと前記ポ インタの奥行き方向の距離に応じて、前記オブジェクトの透明度を変化させ、前記ォ ブジエタトと前記ポインタの奥行き方向の距離が大きいほど透明度を大きくして表示さ せることを特徴とする請求項 38または請求項 39に記載の 3次元表示制御方法。
[42] 前記ステップ 3は、前記ポインタがポインティングしている点と重なるオブジェクト上 の点を中心とした所定の形状の領域内のみを透明化して表示させることを特徴とする 請求項 38または請求項 39に記載の 3次元表示制御方法。
[43] 前記透明化する所定の形状は、前記ポインタと前記オブジェクトの奥行き方向の距 離の大きさに応じて変化し、前記奥行き方向の距離が大きいほど前記所定の形状が 大きくなることを特徴とする請求項 42に記載の 3次元表示制御方法。
[44] 前記ステップ 3は、前記ポインタが所定時間の間静止して 、る場合は、前記透明化 したオブジェクトを透明化する前の不透明な状態に戻して表示させるステップを有す ることを特徴とする請求項 38または請求項 39に記載の 3次元表示制御方法。
[45] 3次元空間を表現可能な表示装置上に表現された 3次元空間内にポインタおよび 1 つ以上のオブジェクトを表示させ、入力装置からの入力情報に基づいて前記ポインタ を 3次元的に移動させて、前記 3次元空間内の任意の一点をポインティングするとき の前記ポインタおよび前記オブジェクトの表示状態を制御する 3次元表示制御装置 であって、
前記入力装置からの入力情報を取得する入力情報取得手段と、
前記入力情報取得手段で取得した前記入力情報に基づいて前記ポインタの表示 位置を算出するポインタ位置算出手段と、
前記ポインタ位置算出手段で算出された表示位置に表示するポインタを生成する ポインタ生成手段と、
前記ポインタ位置算出手段で算出された前記ポインタの表示位置に基づき、前記 ポインタの奥行き位置よりも手前にオブジェクトがあるか否かを判定するとともに、前 記ポインタの奥行き位置よりも手前にあるオブジェクトを透明化するか否かを判定す るオブジェクト変更判定手段と、
前記表示装置に表示させるオブジェクトの生成、およびオブジェクト変更判定手段 で透明化すると判定されたオブジェクトの透明化を行うオブジェクト生成 Z透明化手 段と、
前記ポインタ生成手段で生成されたポインタ、および前記オブジェクト生成 Z透明 化手段で生成されたオブジェクトまたは透明化されたオブジェクトを前記表示装置に 表示させる表示制御手段とを備えることを特徴とする 3次元表示制御装置。
[46] 前記オブジェクト変更判定手段は、前記ポインタの奥行き位置よりも手前にあるォ ブジエタトの中に、前記入力装置からのあら力じめ定められた入力情報に基づいて特 定または選択されたオブジェクトがあるか否かを判定する手段を備え、
前記オブジェクト生成 Z透明化手段に、前記特定されたオブジェクトを除ぐ他のォ ブジェクトを透明化させることを特徴とする請求項 45に記載の 3次元表示制御装置。
[47] 前記オブジェクト生成 Z透明化手段は、前記ポインタと前記透明化するオブジェク トの奥行き方向の距離を算出する手段を備え、
前記透明化するオブジェ外の透明度を、前記算出した奥行き方向の距離の大きさ に応じて変化させることを特徴とする請求項 45または請求項 46に記載の 3次元表示 制御装置。
[48] 前記オブジェクト生成 Z透明化手段は、前記透明化するオブジェクト上の、前記ポ インタがポインティングしている点と重なる点を算出する手段を備え、
前記算出した点を中心とした所定の形状の領域内のみを透明化することを特徴と する請求項 45または請求項 46に記載の 3次元表示装置。
[49] 前記オブジェクト変更判定手段は、前記ポインタが所定時間の間静止しているか否 かを判定する手段を備え、
前記ポインタが前記所定時間静止して！ヽる場合は、前記オブジェクト生成 Z透明化 手段に前記透明化したオブジェクトを透明化する前の不透明な状態に戻させることを 特徴とする請求項 45または請求項 46に記載の 3次元表示制御装置。
[50] 請求項 45乃至請求項 49のいずれか 1項に記載の 3次元表示制御装置の各手段 の処理を、コンピュータに実行させる 3次元表示制御プログラム。
PCT/JP2005/018799 2004-10-12 2005-10-12 ３次元ポインティング方法、３次元表示制御方法、３次元ポインティング装置、３次元表示制御装置、３次元ポインティングプログラム、及び３次元表示制御プログラム WO2006041097A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
US10/586,447 US7880726B2 (en) 2004-10-12 2005-10-12 3D pointing method, 3D display control method, 3D pointing device, 3D display control device, 3D pointing program, and 3D display control program
JP2006540952A JP4515458B2 (ja) 2004-10-12 2005-10-12 ３次元ポインティング方法、３次元ポインティング装置、及び３次元ポインティングプログラム
EP05793698A EP1821182B1 (en) 2004-10-12 2005-10-12 3d pointing method, 3d display control method, 3d pointing device, 3d display control device, 3d pointing program, and 3d display control program

Applications Claiming Priority (8)

Application Number Priority Date Filing Date Title
JP2004297927 2004-10-12
JP2004-297927 2004-10-12
JP2004306636 2004-10-21
JP2004-306636 2004-10-21
JP2004309667 2004-10-25
JP2004-309667 2004-10-25
JP2005185131 2005-06-24
JP2005-185131 2005-06-24

Publications (1)

Publication Number Publication Date
WO2006041097A1 true WO2006041097A1 (ja) 2006-04-20

Family

ID=36148384

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2005/018799 WO2006041097A1 (ja) 2004-10-12 2005-10-12 ３次元ポインティング方法、３次元表示制御方法、３次元ポインティング装置、３次元表示制御装置、３次元ポインティングプログラム、及び３次元表示制御プログラム

Country Status (6)

Country Link
US (1) US7880726B2 (ja)
EP (1) EP1821182B1 (ja)
JP (3) JP4515458B2 (ja)
KR (1) KR100832355B1 (ja)
CN (3) CN101308441B (ja)
WO (1) WO2006041097A1 (ja)

Cited By (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007317050A (ja) * 2006-05-29 2007-12-06 Nippon Telegr & Teleph Corp <Ntt> ３次元表示を用いたユーザインタフェースシステム
WO2008024072A1 (en) * 2006-08-25 2008-02-28 Weike (S) Pte Ltd Virtual gaming system and method
JP2009157908A (ja) * 2007-12-07 2009-07-16 Sony Corp 情報表示端末、情報表示方法、およびプログラム
JP2009245239A (ja) * 2008-03-31 2009-10-22 Sony Corp ポインタ表示装置、ポインタ表示検出方法、ポインタ表示検出プログラム及び情報機器
US20090309854A1 (en) * 2008-06-13 2009-12-17 Polyvision Corporation Input devices with multiple operating modes
JP2011113107A (ja) * 2009-11-24 2011-06-09 Konami Digital Entertainment Co Ltd 入力受付装置、入力判定方法、および、プログラム
JP2011170901A (ja) * 2011-06-09 2011-09-01 Sony Corp ポインタ表示装置、ポインタ表示検出方法及び情報機器
JP2012018559A (ja) * 2010-07-08 2012-01-26 Sony Corp 情報処理装置、情報処理方法およびプログラム
JP2012113389A (ja) * 2010-11-22 2012-06-14 Internatl Business Mach Corp <Ibm> タッチパネルにおけるドラッグ操作でオブジェクトを移動させる方法、装置及びコンピュータプログラム
WO2013054583A1 (ja) * 2011-10-11 2013-04-18 インターナショナル・ビジネス・マシーンズ・コーポレーション オブジェクト指示方法、装置及びコンピュータ・プログラム
JP2013190926A (ja) * 2012-03-13 2013-09-26 Nikon Corp 入力装置、及び表示装置
WO2014054317A1 (ja) * 2012-10-05 2014-04-10 Ｎｅｃソフト株式会社 ユーザインタフェース装置及びユーザインタフェース方法
JP2018106499A (ja) * 2016-12-27 2018-07-05 株式会社コロプラ 仮想空間における画像の表示を制御するためにコンピュータによって実行される方法、当該方法をコンピュータに実現させるためのプログラム、および、コンピュータ装置

Families Citing this family (173)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7961909B2 (en) 2006-03-08 2011-06-14 Electronic Scripting Products, Inc. Computer interface employing a manipulated object with absolute pose detection component and a display
US9229540B2 (en) 2004-01-30 2016-01-05 Electronic Scripting Products, Inc. Deriving input from six degrees of freedom interfaces
JP4832826B2 (ja) * 2005-07-26 2011-12-07 任天堂株式会社 オブジェクト制御プログラムおよび情報処理装置
US7509588B2 (en) 2005-12-30 2009-03-24 Apple Inc. Portable electronic device with interface reconfiguration mode
JP2007272067A (ja) * 2006-03-31 2007-10-18 Brother Ind Ltd 画像表示装置
KR100811954B1 (ko) * 2006-07-13 2008-03-10 현대자동차주식회사 물체상 표시방법
US10313505B2 (en) 2006-09-06 2019-06-04 Apple Inc. Portable multifunction device, method, and graphical user interface for configuring and displaying widgets
WO2008029467A1 (fr) * 2006-09-07 2008-03-13 Osaka Electro-Communication University Système, procédé et programme d'entrée de mouvement
US8564543B2 (en) * 2006-09-11 2013-10-22 Apple Inc. Media player with imaged based browsing
KR101299682B1 (ko) * 2006-10-16 2013-08-22 삼성전자주식회사 범용 입력장치
US8519964B2 (en) 2007-01-07 2013-08-27 Apple Inc. Portable multifunction device, method, and graphical user interface supporting user navigations of graphical objects on a touch screen display
US8619038B2 (en) 2007-09-04 2013-12-31 Apple Inc. Editing interface
JP4442683B2 (ja) * 2007-11-27 2010-03-31 セイコーエプソン株式会社 表示システム、表示装置及びプログラム
US20090167702A1 (en) * 2008-01-02 2009-07-02 Nokia Corporation Pointing device detection
KR101499546B1 (ko) * 2008-01-17 2015-03-09 삼성전자주식회사 터치 스크린 장치의 디스플레이 영역 제어 방법, 장치, 및기록매체
US8169414B2 (en) * 2008-07-12 2012-05-01 Lim Seung E Control of electronic games via finger angle using a high dimensional touchpad (HDTP) touch user interface
US8508475B2 (en) * 2008-10-24 2013-08-13 Microsoft Corporation User interface elements positioned for display
US8984431B2 (en) 2009-03-16 2015-03-17 Apple Inc. Device, method, and graphical user interface for moving a current position in content at a variable scrubbing rate
TWI378370B (en) * 2009-05-07 2012-12-01 Wistron Corp Buffered stylus
KR20110004027A (ko) * 2009-07-07 2011-01-13 삼성전자주식회사 펜형 입력 장치 및 이를 이용한 입력 방법
CN101599182B (zh) * 2009-07-29 2012-10-03 威盛电子股份有限公司 三维物件旋转方法和与其对应的计算机***
JP4701424B2 (ja) * 2009-08-12 2011-06-15 島根県 画像認識装置および操作判定方法並びにプログラム
KR100940744B1 (ko) * 2009-09-24 2010-02-04 (주)디지탈아리아 임베디드 및 모바일 기기에서 3차원 질감을 가진 표면의 접촉 그래픽 효과를 구현하는 방법
WO2011047618A1 (zh) * 2009-10-20 2011-04-28 Tuan Hsi-Ching 鼠标笔及其光电控制开关
US9681112B2 (en) * 2009-11-05 2017-06-13 Lg Electronics Inc. Image display apparatus and method for controlling the image display apparatus
CN101739202B (zh) * 2009-11-06 2011-11-30 谢达 一种局部会自动透视的用户界面显示方法
FI20090434A (fi) * 2009-11-17 2011-05-18 Tampereen Yliopisto Menetelmä, tietokoneohjelma ja laite tietokoneen kanssa tapahtuvaan vuorovaikutukseen
JP5898842B2 (ja) * 2010-01-14 2016-04-06 任天堂株式会社 携帯型情報処理装置、携帯型ゲーム装置
EP2355526A3 (en) * 2010-01-14 2012-10-31 Nintendo Co., Ltd. Computer-readable storage medium having stored therein display control program, display control apparatus, display control system, and display control method
US10007393B2 (en) * 2010-01-19 2018-06-26 Apple Inc. 3D view of file structure
JP2011177203A (ja) * 2010-02-26 2011-09-15 Nintendo Co Ltd オブジェクト制御プログラムおよびオブジェクト制御装置
JP5800501B2 (ja) 2010-03-12 2015-10-28 任天堂株式会社 表示制御プログラム、表示制御装置、表示制御システム、及び、表示制御方法
US20130021288A1 (en) * 2010-03-31 2013-01-24 Nokia Corporation Apparatuses, Methods and Computer Programs for a Virtual Stylus
US8826184B2 (en) * 2010-04-05 2014-09-02 Lg Electronics Inc. Mobile terminal and image display controlling method thereof
US9170708B2 (en) 2010-04-07 2015-10-27 Apple Inc. Device, method, and graphical user interface for managing folders
US10788976B2 (en) 2010-04-07 2020-09-29 Apple Inc. Device, method, and graphical user interface for managing folders with multiple pages
JP5229273B2 (ja) * 2010-05-28 2013-07-03 株式会社Ｊｖｃケンウッド タッチパネルを有する電子機器、及び動作制御方法
US8384770B2 (en) 2010-06-02 2013-02-26 Nintendo Co., Ltd. Image display system, image display apparatus, and image display method
JP5520698B2 (ja) 2010-06-07 2014-06-11 任天堂株式会社 ゲーム装置、ゲームプログラムおよびゲームシステム
US11068149B2 (en) * 2010-06-09 2021-07-20 Microsoft Technology Licensing, Llc Indirect user interaction with desktop using touch-sensitive control surface
JP5617375B2 (ja) * 2010-06-22 2014-11-05 ソニー株式会社 画像表示装置、表示制御方法及びプログラム
JP5574849B2 (ja) * 2010-06-28 2014-08-20 キヤノン株式会社 情報処理装置及びその制御方法、プログラム
JP5676608B2 (ja) * 2010-06-29 2015-02-25 富士フイルム株式会社 立体表示装置、立体撮影装置、および指示判定方法
WO2012025159A1 (en) * 2010-08-27 2012-03-01 Brainlab Ag Multiple-layer pointing position determination on a medical display
JP2012058896A (ja) 2010-09-07 2012-03-22 Sony Corp 情報処理装置、プログラムおよび情報処理方法
US9207859B2 (en) 2010-09-14 2015-12-08 Lg Electronics Inc. Method and mobile terminal for displaying fixed objects independent of shifting background images on a touchscreen
KR101708696B1 (ko) * 2010-09-15 2017-02-21 엘지전자 주식회사 휴대 단말기 및 그 동작 제어방법
JP5655478B2 (ja) * 2010-10-01 2015-01-21 ソニー株式会社 情報処理装置、情報処理方法
US9001053B2 (en) * 2010-10-28 2015-04-07 Honeywell International Inc. Display system for controlling a selector symbol within an image
US10146426B2 (en) * 2010-11-09 2018-12-04 Nokia Technologies Oy Apparatus and method for user input for controlling displayed information
JP2012103980A (ja) * 2010-11-11 2012-05-31 Sony Corp 画像処理装置、画像処理方法及びプログラム
US20120119990A1 (en) * 2010-11-12 2012-05-17 Kye Systmes Corp. Pointer control device, system and method
KR101788049B1 (ko) * 2010-12-15 2017-10-19 엘지전자 주식회사 이동 단말기 및 그 제어방법
JP6021296B2 (ja) 2010-12-16 2016-11-09 任天堂株式会社 表示制御プログラム、表示制御装置、表示制御システム、および、表示制御方法
KR101763263B1 (ko) * 2010-12-24 2017-07-31 삼성전자주식회사 3ｄ 디스플레이 단말 장치 및 그 조작 방법
US9519357B2 (en) * 2011-01-30 2016-12-13 Lg Electronics Inc. Image display apparatus and method for operating the same in 2D and 3D modes
US9271027B2 (en) * 2011-01-30 2016-02-23 Lg Electronics Inc. Image display apparatus and method for operating the same
US20120206419A1 (en) * 2011-02-11 2012-08-16 Massachusetts Institute Of Technology Collapsible input device
US20120223935A1 (en) * 2011-03-01 2012-09-06 Nokia Corporation Methods and apparatuses for facilitating interaction with a three-dimensional user interface
JP2012190184A (ja) * 2011-03-09 2012-10-04 Sony Corp 画像処理装置および方法、並びにプログラム
JP2012190183A (ja) * 2011-03-09 2012-10-04 Sony Corp 画像処理装置および方法、並びにプログラム
KR101781908B1 (ko) * 2011-03-24 2017-09-26 엘지전자 주식회사 이동 단말기 및 그것의 제어방법
US8314790B1 (en) * 2011-03-29 2012-11-20 Google Inc. Layer opacity adjustment for a three-dimensional object
US20120272180A1 (en) * 2011-04-20 2012-10-25 Nokia Corporation Method and apparatus for providing content flipping based on a scrolling operation
US8933913B2 (en) 2011-06-28 2015-01-13 Microsoft Corporation Electromagnetic 3D stylus
JP2013016018A (ja) * 2011-07-04 2013-01-24 Canon Inc 表示制御装置、制御方法及びプログラム
WO2013008121A1 (en) * 2011-07-13 2013-01-17 Koninklijke Philips Electronics N.V. Method for automatically adjusting a focal plane of a digital pathology image
KR101941644B1 (ko) * 2011-07-19 2019-01-23 삼성전자 주식회사 휴대 단말기의 피드백 제공 방법 및 장치
CN103946773A (zh) * 2011-08-29 2014-07-23 S·瓦利切克 多功能笔输入***计算机控制器
CN102981743B (zh) * 2011-09-05 2016-05-25 联想(北京)有限公司 控制操作对象的方法及电子设备
US9519350B2 (en) 2011-09-19 2016-12-13 Samsung Electronics Co., Ltd. Interface controlling apparatus and method using force
US9501098B2 (en) 2011-09-19 2016-11-22 Samsung Electronics Co., Ltd. Interface controlling apparatus and method using force
CN102508563B (zh) * 2011-11-03 2013-08-07 深圳超多维光电子有限公司 一种立体交互方法以及***作设备
CN102426486B (zh) * 2011-11-03 2013-08-07 深圳超多维光电子有限公司 一种立体交互方法及***作设备
US20130117717A1 (en) * 2011-11-03 2013-05-09 Shenzhen Super Perfect Optics Limited 3d user interaction system and method
CN102508562B (zh) * 2011-11-03 2013-04-10 深圳超多维光电子有限公司 一种立体交互***
CN102508561B (zh) * 2011-11-03 2013-11-06 深圳超多维光电子有限公司 一种操作棒
JP2013118468A (ja) * 2011-12-02 2013-06-13 Sony Corp 画像処理装置および画像処理方法
JP2013125247A (ja) * 2011-12-16 2013-06-24 Sony Corp ヘッドマウントディスプレイ及び情報表示装置
WO2013135270A1 (en) * 2012-03-13 2013-09-19 Telefonaktiebolaget L M Ericsson (Publ) An apparatus and method for navigating on a touch sensitive screen thereof
AU2013259613B2 (en) 2012-05-09 2016-07-21 Apple Inc. Device, method, and graphical user interface for providing tactile feedback for operations performed in a user interface
CN104487928B (zh) 2012-05-09 2018-07-06 苹果公司 用于响应于手势而在显示状态之间进行过渡的设备、方法和图形用户界面
WO2013169851A2 (en) 2012-05-09 2013-11-14 Yknots Industries Llc Device, method, and graphical user interface for facilitating user interaction with controls in a user interface
WO2013169846A1 (en) 2012-05-09 2013-11-14 Yknots Industries Llc Device, method, and graphical user interface for displaying additional information in response to a user contact
WO2013169865A2 (en) 2012-05-09 2013-11-14 Yknots Industries Llc Device, method, and graphical user interface for moving a user interface object based on an intensity of a press input
WO2013169842A2 (en) 2012-05-09 2013-11-14 Yknots Industries Llc Device, method, and graphical user interface for selecting object within a group of objects
AU2013259642A1 (en) 2012-05-09 2014-12-04 Apple Inc. Device, method, and graphical user interface for moving and dropping a user interface object
WO2013169849A2 (en) 2012-05-09 2013-11-14 Industries Llc Yknots Device, method, and graphical user interface for displaying user interface objects corresponding to an application
WO2013169843A1 (en) 2012-05-09 2013-11-14 Yknots Industries Llc Device, method, and graphical user interface for manipulating framed graphical objects
CN104471521B (zh) 2012-05-09 2018-10-23 苹果公司 用于针对改变用户界面对象的激活状态来提供反馈的设备、方法和图形用户界面
CN106201316B (zh) 2012-05-09 2020-09-29 苹果公司 用于选择用户界面对象的设备、方法和图形用户界面
JP5808712B2 (ja) * 2012-05-23 2015-11-10 日立マクセル株式会社 映像表示装置
US9098516B2 (en) * 2012-07-18 2015-08-04 DS Zodiac, Inc. Multi-dimensional file system
KR101986218B1 (ko) * 2012-08-02 2019-06-05 삼성전자주식회사 디스플레이 장치 및 방법
JP6096473B2 (ja) * 2012-11-01 2017-03-15 東芝メディカルシステムズ株式会社 医用画像診断装置、および、医用画像処理方法
US10241638B2 (en) * 2012-11-02 2019-03-26 Atheer, Inc. Method and apparatus for a three dimensional interface
EP2912542B1 (en) 2012-12-29 2022-07-13 Apple Inc. Device and method for forgoing generation of tactile output for a multi-contact gesture
EP2939095B1 (en) * 2012-12-29 2018-10-03 Apple Inc. Device, method, and graphical user interface for moving a cursor according to a change in an appearance of a control icon with simulated three-dimensional characteristics
KR101812329B1 (ko) 2012-12-29 2017-12-26 애플 인크. 콘텐츠를 스크롤할지 선택할지 결정하기 위한 디바이스, 방법 및 그래픽 사용자 인터페이스
US9075464B2 (en) 2013-01-30 2015-07-07 Blackberry Limited Stylus based object modification on a touch-sensitive display
EP2763019A1 (en) * 2013-01-30 2014-08-06 BlackBerry Limited Stylus based object modification on a touch-sensitive display
CN104077013B (zh) * 2013-03-28 2019-02-05 联想(北京)有限公司 指令识别方法和电子设备
TWI502459B (zh) * 2013-07-08 2015-10-01 Acer Inc 電子裝置及其觸控操作方法
JP5616503B1 (ja) * 2013-08-30 2014-10-29 ヤフー株式会社 配信装置、端末装置、配信方法及び配信プログラム
KR101531169B1 (ko) * 2013-09-23 2015-06-24 삼성전자주식회사 사용자 단말에서 3차원 객체를 그리는 방법 및 이를 수행하는 사용자 단말
KR102129594B1 (ko) 2013-10-30 2020-07-03 애플 인크. 관련 사용자 인터페이스 객체를 표시
US10430017B2 (en) * 2013-12-04 2019-10-01 City University Of Hong Kong Target pointing system making use of velocity dependent cursor
US10423245B2 (en) * 2014-01-31 2019-09-24 Qualcomm Incorporated Techniques for providing user input to a device
JP2015149634A (ja) 2014-02-07 2015-08-20 ソニー株式会社 画像表示装置および方法
CN106030460B (zh) * 2014-02-18 2017-12-19 三菱电机株式会社 移动体用手势引导装置、移动体用手势引导***及移动体用手势引导方法
JP2015156135A (ja) * 2014-02-20 2015-08-27 株式会社東芝 表示装置、方法及びプログラム
CN103984425B (zh) * 2014-04-25 2017-01-04 深圳超多维光电子有限公司 用于立体显示交互的操作棒和操作棒的控制方法
US9827714B1 (en) 2014-05-16 2017-11-28 Google Llc Method and system for 3-D printing of 3-D object models in interactive content items
JP6112618B2 (ja) * 2014-07-17 2017-04-12 Ｎｅｃプラットフォームズ株式会社 情報処理システム
CN110072131A (zh) 2014-09-02 2019-07-30 苹果公司 音乐用户界面
US9766724B2 (en) * 2014-11-03 2017-09-19 Lenovo (Singapore) Pte. Ltd. Orientation dependent stylus button function
CN105787402B (zh) 2014-12-16 2019-07-05 阿里巴巴集团控股有限公司 一种信息展示方法及装置
KR101652973B1 (ko) * 2014-12-17 2016-09-05 주식회사 트레이스 스타일러스 펜의 기울기 정보를 이용하는 디지타이저
US9632664B2 (en) 2015-03-08 2017-04-25 Apple Inc. Devices, methods, and graphical user interfaces for manipulating user interface objects with visual and/or haptic feedback
US10048757B2 (en) 2015-03-08 2018-08-14 Apple Inc. Devices and methods for controlling media presentation
US9645732B2 (en) 2015-03-08 2017-05-09 Apple Inc. Devices, methods, and graphical user interfaces for displaying and using menus
US10095396B2 (en) 2015-03-08 2018-10-09 Apple Inc. Devices, methods, and graphical user interfaces for interacting with a control object while dragging another object
US9639184B2 (en) 2015-03-19 2017-05-02 Apple Inc. Touch input cursor manipulation
EP3273331A4 (en) * 2015-03-20 2018-04-18 Ricoh Company, Ltd. Display apparatus, display control method, display control program, and display system
JP6651297B2 (ja) 2015-03-27 2020-02-19 ユニバーシティ・オブ・タンペレＵｎｉｖｅｒｓｉｔｙ ｏｆ Ｔａｍｐｅｒｅ ハプティック・スタイラス
US20170045981A1 (en) 2015-08-10 2017-02-16 Apple Inc. Devices and Methods for Processing Touch Inputs Based on Their Intensities
KR102465804B1 (ko) * 2015-05-12 2022-11-10 엘지전자 주식회사 영상표시장치 및 그것의 제어방법
US9860451B2 (en) 2015-06-07 2018-01-02 Apple Inc. Devices and methods for capturing and interacting with enhanced digital images
US9830048B2 (en) 2015-06-07 2017-11-28 Apple Inc. Devices and methods for processing touch inputs with instructions in a web page
US9891811B2 (en) 2015-06-07 2018-02-13 Apple Inc. Devices and methods for navigating between user interfaces
US10200598B2 (en) 2015-06-07 2019-02-05 Apple Inc. Devices and methods for capturing and interacting with enhanced digital images
US10346030B2 (en) 2015-06-07 2019-07-09 Apple Inc. Devices and methods for navigating between user interfaces
US9658704B2 (en) 2015-06-10 2017-05-23 Apple Inc. Devices and methods for manipulating user interfaces with a stylus
EP3308288A4 (en) * 2015-06-12 2019-01-23 Nureva Inc. METHOD AND DEVICE FOR ADMINISTERING AND ORGANIZING OBJECTS IN A VIRTUAL MEMORY
US10235035B2 (en) 2015-08-10 2019-03-19 Apple Inc. Devices, methods, and graphical user interfaces for content navigation and manipulation
US10416800B2 (en) 2015-08-10 2019-09-17 Apple Inc. Devices, methods, and graphical user interfaces for adjusting user interface objects
US9880735B2 (en) 2015-08-10 2018-01-30 Apple Inc. Devices, methods, and graphical user interfaces for manipulating user interface objects with visual and/or haptic feedback
KR102449838B1 (ko) 2015-09-01 2022-09-30 삼성전자주식회사 사용자의 인터랙션에 기초하여 3차원 오브젝트를 처리하는 방법 및 장치
JP5997824B1 (ja) * 2015-11-10 2016-09-28 株式会社オプティム 遠隔端末、遠隔指示方法及び遠隔端末用プログラム
US9684391B1 (en) * 2015-12-11 2017-06-20 Logomark, Inc. Telescopic mechanism and touch tool for writing instrument or the like
CN105427824B (zh) * 2016-01-05 2016-11-30 京东方科技集团股份有限公司 具有漏电补偿模块的goa电路、阵列基板和显示面板
KR102307215B1 (ko) 2016-02-04 2021-10-01 후아웨이 테크놀러지 컴퍼니 리미티드 데이터 처리 방법 및 전자 디바이스
US11577159B2 (en) 2016-05-26 2023-02-14 Electronic Scripting Products Inc. Realistic virtual/augmented/mixed reality viewing and interactions
DK201670595A1 (en) 2016-06-11 2018-01-22 Apple Inc Configuring context-specific user interfaces
US11816325B2 (en) 2016-06-12 2023-11-14 Apple Inc. Application shortcuts for carplay
CN107621893B (zh) * 2016-07-15 2020-11-20 苹果公司 在非电子表面上使用电子输入设备的内容创建
US10915185B2 (en) 2016-10-31 2021-02-09 Hewlett-Packard Development Company, L.P. Generating a three-dimensional image using tilt angle of a digital pen
KR102674463B1 (ko) * 2016-12-23 2024-06-13 현대자동차주식회사 차량, 및 그 제어방법
EP3595424B1 (en) * 2017-03-08 2022-04-27 Fuji Corporation Three-dimensional mounting device and three-dimensional mounting method
CN107102750B (zh) * 2017-04-23 2019-07-26 吉林大学 一种基于笔式交互***的虚拟三维空间中目标的选择方法
US11431836B2 (en) 2017-05-02 2022-08-30 Apple Inc. Methods and interfaces for initiating media playback
US10992795B2 (en) 2017-05-16 2021-04-27 Apple Inc. Methods and interfaces for home media control
US10417827B2 (en) * 2017-05-04 2019-09-17 Microsoft Technology Licensing, Llc Syndication of direct and indirect interactions in a computer-mediated reality environment
US10928980B2 (en) 2017-05-12 2021-02-23 Apple Inc. User interfaces for playing and managing audio items
US20220279063A1 (en) 2017-05-16 2022-09-01 Apple Inc. Methods and interfaces for home media control
CN111343060B (zh) 2017-05-16 2022-02-11 苹果公司 用于家庭媒体控制的方法和界面
EP3574387A4 (en) * 2017-07-18 2020-09-30 Hewlett-Packard Development Company, L.P. PROJECTION OF INPUTS ON THREE-DIMENSIONAL OBJECT REPRESENTATIONS
JP7134656B2 (ja) * 2018-03-15 2022-09-12 ソニー・オリンパスメディカルソリューションズ株式会社 医療用表示制御装置、および表示制御方法
US10592013B2 (en) * 2018-04-25 2020-03-17 Microsoft Technology Licensing, Llc Systems and methods for unifying two-dimensional and three-dimensional interfaces
KR20190140657A (ko) * 2018-06-12 2019-12-20 삼성전자주식회사 오브젝트를 생성하는 전자장치 및 시스템
CN108984262B (zh) * 2018-07-12 2021-04-13 宁波视睿迪光电有限公司 三维指针的创建方法、装置及电子设备
EP3675063A1 (en) * 2018-12-29 2020-07-01 Dassault Systèmes Forming a dataset for inference of solid cad features
EP3675062A1 (en) 2018-12-29 2020-07-01 Dassault Systèmes Learning a neural network for inference of solid cad features
US11675476B2 (en) 2019-05-05 2023-06-13 Apple Inc. User interfaces for widgets
US11010121B2 (en) 2019-05-31 2021-05-18 Apple Inc. User interfaces for audio media control
EP4231124A1 (en) 2019-05-31 2023-08-23 Apple Inc. User interfaces for audio media control
US11042220B2 (en) * 2019-08-02 2021-06-22 Gustavo Mantovani Ruggiero Three-dimensional input device
KR102221172B1 (ko) * 2019-10-04 2021-03-02 (주) 아이.에스.브이. 펜마우스의 가상클릭 제어방법
US11946996B2 (en) 2020-06-30 2024-04-02 Apple, Inc. Ultra-accurate object tracking using radar in multi-object environment
US20220004299A1 (en) * 2020-07-01 2022-01-06 Wacom Co., Ltd. Systems and methods for dynamic shape sketching
US11392291B2 (en) 2020-09-25 2022-07-19 Apple Inc. Methods and interfaces for media control with dynamic feedback
US11681835B2 (en) * 2020-12-31 2023-06-20 Hexagon Technology Center Gmbh Rapid positioning drawing system and method
US11614806B1 (en) 2021-05-12 2023-03-28 Apple Inc. Input device with self-mixing interferometry sensors

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003085590A (ja) * 2001-09-13 2003-03-20 Nippon Telegr & Teleph Corp <Ntt> ３次元情報操作方法およびその装置，３次元情報操作プログラムならびにそのプログラムの記録媒体
JP2004070920A (ja) * 2002-06-11 2004-03-04 Sony Computer Entertainment Inc 情報処理プログラム、情報処理プログラムを記録したコンピュータ読み取り可能な記録媒体、情報処理方法、及び情報処理装置

Family Cites Families (31)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS6022359B2 (ja) * 1981-12-10 1985-06-01 松下電器産業株式会社 立体表示装置の表示入力装置
US6590573B1 (en) * 1983-05-09 2003-07-08 David Michael Geshwind Interactive computer system for creating three-dimensional image information and for converting two-dimensional image information for three-dimensional display systems
US4808979A (en) * 1987-04-02 1989-02-28 Tektronix, Inc. Cursor for use in 3-D imaging systems
JPH01134521A (ja) * 1987-11-19 1989-05-26 Toppan Printing Co Ltd 三次元座標入力・修正装置
JPH031217A (ja) * 1989-05-29 1991-01-07 Olympus Optical Co Ltd 立体画像処理装置
JPH0573208A (ja) 1991-09-13 1993-03-26 Wacom Co Ltd 制御装置分離型の表示装置付座標検出装置
JPH0675693A (ja) 1992-08-25 1994-03-18 Toshiba Corp ３次元ポインティング装置
JPH0816137A (ja) * 1994-06-29 1996-01-19 Nec Corp ３次元座標入力装置及びカーソル表示制御方式
JPH08248938A (ja) 1995-03-13 1996-09-27 Mitsubishi Electric Corp ポインティング装置
JP3741764B2 (ja) * 1996-02-09 2006-02-01 シャープ株式会社 三次元画像作成装置
JP2976879B2 (ja) * 1996-03-22 1999-11-10 日本電気株式会社 深さ付きウィンドウ表示方式
US5880733A (en) 1996-04-30 1999-03-09 Microsoft Corporation Display system and method for displaying windows of an operating system to provide a three-dimensional workspace for a computer system
JP3539839B2 (ja) * 1996-06-18 2004-07-07 コナミ株式会社 疑似３次元表示されたフィールド内におけるカーソルの表示方法、ゲームシステム及び記録媒体
JP3476651B2 (ja) * 1997-05-09 2003-12-10 シャープ株式会社 データ表示装置およびデータ表示プログラムを格納したコンピュータ読み取り可能な記録媒体
JPH117372A (ja) * 1997-06-17 1999-01-12 Hitachi Ltd 図形選択装置
JPH11341456A (ja) * 1998-05-29 1999-12-10 Matsushita Graphic Communication Systems Inc 家庭用マルチメディア通信システム
JP2000099232A (ja) * 1998-09-17 2000-04-07 Nippon Telegr & Teleph Corp <Ntt> Ｗｅｂページ多重同時表示閲覧方法および装置とＷｅｂページ多重同時表示閲覧プログラムを記録した記録媒体
JP2000185179A (ja) 1998-12-24 2000-07-04 Copcom Co Ltd 画像処理装置および記録媒体
EP1109091A1 (en) 1999-12-14 2001-06-20 Sun Microsystems, Inc. Display of selectable objects using visual feedback
JP4582863B2 (ja) 2000-05-22 2010-11-17 株式会社バンダイナムコゲームス 立体視映像表示装置、及び情報記憶媒体
JP2002196874A (ja) * 2000-12-27 2002-07-12 Ntt Docomo Inc 手書きデータ入力装置及び方法並びに個人認証装置及び方法
CN1369863A (zh) * 2001-02-15 2002-09-18 矽统科技股份有限公司 通过预先排序以增进三维空间电脑绘图效果的方法
NZ511120A (en) 2001-04-12 2003-05-30 Deep Video Imaging Ltd Multi screen display, each screen being spaced physically apart from the other
JP2003076719A (ja) * 2001-06-22 2003-03-14 Sony Computer Entertainment Inc 情報閲覧プログラム、情報閲覧プログラムを記録した記録媒体、情報閲覧装置及び方法、情報生成プログラム、情報生成プログラムを記録した記録媒体、情報生成装置及び方法、情報生成閲覧システム
AU2003214910A1 (en) * 2002-01-25 2003-10-13 Silicon Graphics, Inc. Three dimensional volumetric display input and output configurations
JP3982288B2 (ja) * 2002-03-12 2007-09-26 日本電気株式会社 三次元ウィンドウ表示装置、三次元ウィンドウ表示方法及び三次元ウィンドウ表示プログラム
JP2004054777A (ja) * 2002-07-23 2004-02-19 Minolta Co Ltd ファイル管理装置
EP1400924B1 (en) * 2002-09-20 2008-12-31 Nippon Telegraph and Telephone Corporation Pseudo three dimensional image generating apparatus
JP2004362408A (ja) 2003-06-06 2004-12-24 Canon Inc ３次元データ表示操作装置
US7480873B2 (en) 2003-09-15 2009-01-20 Sun Microsystems, Inc. Method and apparatus for manipulating two-dimensional windows within a three-dimensional display model
US8542219B2 (en) * 2004-01-30 2013-09-24 Electronic Scripting Products, Inc. Processing pose data derived from the pose of an elongate object

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003085590A (ja) * 2001-09-13 2003-03-20 Nippon Telegr & Teleph Corp <Ntt> ３次元情報操作方法およびその装置，３次元情報操作プログラムならびにそのプログラムの記録媒体
JP2004070920A (ja) * 2002-06-11 2004-03-04 Sony Computer Entertainment Inc 情報処理プログラム、情報処理プログラムを記録したコンピュータ読み取り可能な記録媒体、情報処理方法、及び情報処理装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP1821182A4 *

Cited By (33)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007317050A (ja) * 2006-05-29 2007-12-06 Nippon Telegr & Teleph Corp <Ntt> ３次元表示を用いたユーザインタフェースシステム
WO2008024072A1 (en) * 2006-08-25 2008-02-28 Weike (S) Pte Ltd Virtual gaming system and method
JP2009157908A (ja) * 2007-12-07 2009-07-16 Sony Corp 情報表示端末、情報表示方法、およびプログラム
US8711104B2 (en) 2008-03-31 2014-04-29 Sony Corporation Pointer display device, pointer display/detection method, pointer display/detection program and information apparatus
JP2009245239A (ja) * 2008-03-31 2009-10-22 Sony Corp ポインタ表示装置、ポインタ表示検出方法、ポインタ表示検出プログラム及び情報機器
US9710085B2 (en) 2008-03-31 2017-07-18 Sony Corporation Pointer display device, pointer display/detection method, pointer display/detection program and information apparatus
US8913030B2 (en) 2008-03-31 2014-12-16 Sony Corporation Pointer display device, pointer display/detection method, pointer display/detection program and information apparatus
US11029775B2 (en) 2008-03-31 2021-06-08 Sony Corporation Pointer display device, pointer display detection method, pointer display detection program and information apparatus
US10191573B2 (en) 2008-03-31 2019-01-29 Sony Corporation Pointer display device, pointer display/detection method, pointer display/detection program and information apparatus
US20090309854A1 (en) * 2008-06-13 2009-12-17 Polyvision Corporation Input devices with multiple operating modes
JP2011113107A (ja) * 2009-11-24 2011-06-09 Konami Digital Entertainment Co Ltd 入力受付装置、入力判定方法、および、プログラム
JP2012018559A (ja) * 2010-07-08 2012-01-26 Sony Corp 情報処理装置、情報処理方法およびプログラム
US10656821B2 (en) 2010-11-22 2020-05-19 International Business Machines Corporation Moving an object by drag operation on a touch panel
US10379727B2 (en) 2010-11-22 2019-08-13 International Business Machines Corporation Moving an object by drag operation on a touch panel
US10140010B2 (en) 2010-11-22 2018-11-27 International Business Machines Corporation Moving an object by drag operation on a touch panel
US9898181B2 (en) 2010-11-22 2018-02-20 International Business Machines Corporation Moving an object by drag operation on a touch panel
US9298359B2 (en) 2010-11-22 2016-03-29 International Business Machines Corporation Moving an object by drag operation on a touch panel
JP2012113389A (ja) * 2010-11-22 2012-06-14 Internatl Business Mach Corp <Ibm> タッチパネルにおけるドラッグ操作でオブジェクトを移動させる方法、装置及びコンピュータプログラム
US9041664B2 (en) 2010-11-22 2015-05-26 International Business Machines Corporation Moving an object by drag operation on a touch panel
US9875011B2 (en) 2010-11-22 2018-01-23 International Business Machines Corporation Moving an object by drag operation on a touch panel
JP2011170901A (ja) * 2011-06-09 2011-09-01 Sony Corp ポインタ表示装置、ポインタ表示検出方法及び情報機器
US8860679B2 (en) 2011-10-11 2014-10-14 International Business Machines Corporation Pointing to a desired object displayed on a touchscreen
CN103842945B (zh) * 2011-10-11 2016-09-28 国际商业机器公司 对象指向方法、设备
GB2509651B (en) * 2011-10-11 2015-07-08 Ibm Object designation method, device and computer program
JP5576571B2 (ja) * 2011-10-11 2014-08-20 インターナショナル・ビジネス・マシーンズ・コーポレーション オブジェクト指示方法、装置及びコンピュータ・プログラム
GB2509651A (en) * 2011-10-11 2014-07-09 Ibm Object designation method, device and computer program
CN103842945A (zh) * 2011-10-11 2014-06-04 国际商业机器公司 对象指向方法、设备和计算机程序
WO2013054583A1 (ja) * 2011-10-11 2013-04-18 インターナショナル・ビジネス・マシーンズ・コーポレーション オブジェクト指示方法、装置及びコンピュータ・プログラム
JP2013190926A (ja) * 2012-03-13 2013-09-26 Nikon Corp 入力装置、及び表示装置
JP5863984B2 (ja) * 2012-10-05 2016-02-17 Ｎｅｃソリューションイノベータ株式会社 ユーザインタフェース装置及びユーザインタフェース方法
US9760180B2 (en) 2012-10-05 2017-09-12 Nec Solution Innovators, Ltd. User interface device and user interface method
WO2014054317A1 (ja) * 2012-10-05 2014-04-10 Ｎｅｃソフト株式会社 ユーザインタフェース装置及びユーザインタフェース方法
JP2018106499A (ja) * 2016-12-27 2018-07-05 株式会社コロプラ 仮想空間における画像の表示を制御するためにコンピュータによって実行される方法、当該方法をコンピュータに実現させるためのプログラム、および、コンピュータ装置

Also Published As

Publication number Publication date
JP5230787B2 (ja) 2013-07-10
JP5074475B2 (ja) 2012-11-14
EP1821182A4 (en) 2011-02-23
JP2010055627A (ja) 2010-03-11
KR100832355B1 (ko) 2008-05-26
EP1821182A1 (en) 2007-08-22
KR20070039868A (ko) 2007-04-13
EP1821182B1 (en) 2013-03-27
US7880726B2 (en) 2011-02-01
JP4515458B2 (ja) 2010-07-28
CN101308442A (zh) 2008-11-19
US20080225007A1 (en) 2008-09-18
CN100407118C (zh) 2008-07-30
CN101308441A (zh) 2008-11-19
CN101308441B (zh) 2010-09-22
JPWO2006041097A1 (ja) 2008-05-15
JP2012079328A (ja) 2012-04-19
CN1910543A (zh) 2007-02-07
CN101308442B (zh) 2012-04-04

Similar Documents

Publication Publication Date Title
JP5230787B2 (ja) ３次元ポインティング方法、３次元ポインティング装置、及び３次元ポインティングプログラム
CN110603509B (zh) 计算机介导的现实环境中直接和间接交互的联合
Fishkin et al. Embodied user interfaces for really direct manipulation
US10031608B2 (en) Organizational tools on a multi-touch display device
US7480873B2 (en) Method and apparatus for manipulating two-dimensional windows within a three-dimensional display model
US7898529B2 (en) User interface having a placement and layout suitable for pen-based computers
US20170228138A1 (en) System and method for spatial interaction for viewing and manipulating off-screen content
KR101794498B1 (ko) 터치-감지형 디스플레이를 사용하여 오브젝트를 복제하는 방법 및 시스템
US10180714B1 (en) Two-handed multi-stroke marking menus for multi-touch devices
Hachet et al. Navidget for easy 3d camera positioning from 2d inputs
US20050204306A1 (en) Enhancements for manipulating two-dimensional windows within a three-dimensional display model
US9035877B2 (en) 3D computer cursor
Mine et al. Making VR work: building a real-world immersive modeling application in the virtual world
JP2006500676A (ja) グラフィカル・ユーザ・インタフェース・ナビゲーション方法、及び装置。
JPH06282368A (ja) 情報処理装置の位置情報入力システム
Brasier et al. AR-enhanced Widgets for Smartphone-centric Interaction
Zeleznik et al. Look-that-there: Exploiting gaze in virtual reality interactions
JP4907156B2 (ja) ３次元ポインティング方法および３次元ポインティング装置ならびに３次元ポインティングプログラム
Olwal et al. Unit-A Modular Framework for Interaction Technique Design, Development and Implementation
Declec et al. Tech-note: Scruticam: Camera manipulation technique for 3d objects inspection
KR102118046B1 (ko) 포터블 디바이스 및 그 제어 방법
KR20100119599A (ko) 휴대 단말기의 터치 및 커서 제어방법 및 이를 적용한 휴대 단말기
Bierwirth 3D Interaction Widget: A Metaphor for 2D and 3D Lens Interaction
Schulze Look-That-There: Exploiting Gaze in Virtual Reality Interactions Robert C. Zeleznik, Andrew S. Forsberg
Denter PyMT: New and Advanced Interaction Widgets

Legal Events

Date Code Title Description
AK Designated states

Kind code of ref document: A1

Designated state(s): AE AG AL AM AT AU AZ BA BB BG BR BW BY BZ CA CH CN CO CR CU CZ DE DK DM DZ EC EE EG ES FI GB GD GE GH GM HR HU ID IL IN IS JP KE KG KM KP KR KZ LC LK LR LS LT LU LV LY MA MD MG MK MN MW MX MZ NA NG NI NO NZ OM PG PH PL PT RO RU SC SD SE SG SK SL SM SY TJ TM TN TR TT TZ UA UG US UZ VC VN YU ZA ZM ZW

AL Designated countries for regional patents

Kind code of ref document: A1

Designated state(s): GM KE LS MW MZ NA SD SL SZ TZ UG ZM ZW AM AZ BY KG KZ MD RU TJ TM AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HU IE IS IT LT LU LV MC NL PL PT RO SE SI SK TR BF BJ CF CG CI CM GA GN GQ GW ML MR NE SN TD TG

WWE Wipo information: entry into national phase

Ref document number: 2006540952

Country of ref document: JP

WWE Wipo information: entry into national phase

Ref document number: 2005793698

Country of ref document: EP

WWE Wipo information: entry into national phase

Ref document number: 1020067014265

Country of ref document: KR

WWE Wipo information: entry into national phase

Ref document number: 10586447

Country of ref document: US

Ref document number: 200580002676.3

Country of ref document: CN

NENP Non-entry into the national phase

Ref country code: DE

WWP Wipo information: published in national office

Ref document number: 1020067014265

Country of ref document: KR

WWP Wipo information: published in national office

Ref document number: 2005793698

Country of ref document: EP