WO2012066591A1 - 電子機器、メニュー表示方法、コンテンツ画像表示方法、機能実行方法 - Google Patents

電子機器、メニュー表示方法、コンテンツ画像表示方法、機能実行方法 Download PDF

Info

Publication number
WO2012066591A1
WO2012066591A1 PCT/JP2010/006701 JP2010006701W WO2012066591A1 WO 2012066591 A1 WO2012066591 A1 WO 2012066591A1 JP 2010006701 W JP2010006701 W JP 2010006701W WO 2012066591 A1 WO2012066591 A1 WO 2012066591A1
Authority
WO
WIPO (PCT)
Prior art keywords
display
content
content image
unit
electronic device
Prior art date
Application number
PCT/JP2010/006701
Other languages
English (en)
French (fr)
Inventor
伸治 能登
Original Assignee
株式会社ソニー・コンピュータエンタテインメント
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社ソニー・コンピュータエンタテインメント filed Critical 株式会社ソニー・コンピュータエンタテインメント
Priority to PCT/JP2010/006701 priority Critical patent/WO2012066591A1/ja
Publication of WO2012066591A1 publication Critical patent/WO2012066591A1/ja
Priority to US13/798,521 priority patent/US20130191784A1/en

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04842Selection of displayed objects or displayed text elements
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16Constructional details or arrangements
    • G06F1/1613Constructional details or arrangements for portable computers
    • G06F1/1633Constructional details or arrangements of portable computers not specific to the type of enclosures covered by groups G06F1/1615 - G06F1/1626
    • G06F1/1684Constructional details or arrangements related to integrated I/O peripherals not covered by groups G06F1/1635 - G06F1/1675
    • G06F1/1694Constructional details or arrangements related to integrated I/O peripherals not covered by groups G06F1/1635 - G06F1/1675 the I/O peripheral being a single or a set of motion sensors for pointer control or gesture input obtained by sensing movements of the portable computer
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/0482Interaction with lists of selectable items, e.g. menus
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04883Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F2200/00Indexing scheme relating to G06F1/04 - G06F1/32
    • G06F2200/16Indexing scheme relating to G06F1/16 - G06F1/18
    • G06F2200/163Indexing scheme relating to constructional details of the computer
    • G06F2200/1637Sensing arrangement for detection of housing movement or orientation, e.g. for controlling scrolling or cursor movement on the display of an handheld computer
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/048Indexing scheme relating to G06F3/048
    • G06F2203/04807Pen manipulated menu

Definitions

  • the present invention relates to an electronic device having a display and a function in the electronic device.
  • PDAs Personal Digital Assistants
  • electronic devices are gaining popularity. Such electronic devices are equipped with a large-capacity memory and a high-speed processor, and users can enjoy various applications by downloading contents such as music, movies, and game software.
  • An electronic device having a touch panel provides an excellent user interface that allows a user to perform an intuitive operation. For example, a user interface for selecting an icon by tapping a displayed content image (icon) with a finger, a user interface for scrolling a display image by tracing the panel surface with a finger, and the like have already been put into practical use.
  • a physics engine (also referred to as a physics engine) that controls the movement and behavior of a three-dimensional (3D) virtual object has been used not only for academic simulations but also for game devices and the like. It is coming.
  • the physics calculation engine is computer software that simulates mass, velocity, friction, and the like, and executes processes such as collision determination between 3D virtual objects and dynamic simulation as basic calculations. By such physical calculation, the motion and behavior of the virtual object are represented in the virtual 3D space in the same manner as the motion and behavior of the real object in the real space.
  • Developing a user interface using a touch panel has two aspects of improved operability and improved design, and it is preferable to improve the quality of both operability and design.
  • the motion and behavior of the virtual object represented on the display matches the motion and behavior of the real object in the real space, and thus the user can operate more intuitively. It is considered that an interface and application can be realized.
  • an object of the present invention is to provide a new user interface and application.
  • an electronic apparatus includes a display, a first display unit that displays a content image on the display, and a first reception unit that receives a selection instruction for the displayed content image; A second display unit that displays a plurality of menu items set in the selected content image so as to surround the content image, a second reception unit that receives an instruction to select the displayed menu item, and the selected menu An execution unit that executes the function of the item.
  • An electronic device includes a display, and further includes a sensor that detects movement of the electronic device, a storage unit that stores a plurality of content images, and a detection value of the sensor, so that the electronic device performs a predetermined movement.
  • a determination unit that determines whether the electronic device has performed a predetermined movement, an extraction unit that extracts a plurality of content images from the storage unit, and a display unit that displays the plurality of extracted content images on a display.
  • an electronic apparatus includes a touch panel including a display, a position information output device that outputs position information for specifying a touch position on the display, and one or more content images on the display.
  • a closed region or a substantially closed region is formed by the first display unit, the receiving unit that receives the position information output from the position information output device, and the position information that is continuously received in time by the receiving unit.
  • a setting unit that sets the region as a selection region, a specifying unit that specifies a content image included in the selection region, and an execution unit that executes a function set in the specified content image.
  • a new user interface and application can be provided.
  • FIG. 1 It is a figure which shows the external appearance structure of the electronic device which concerns on an Example. It is a figure which shows the whole structure of the functional block of an electronic device. It is a figure which shows the functional block of a process part.
  • (A) is a figure which shows the state which arranged the several content image at random in a display
  • (b) is a figure which shows the state by which the content image was moved rightward.
  • A) is a figure which shows a menu item
  • (b) is a figure which shows a mode that a menu item is rotated
  • (c) is a figure which shows a mode that the finger
  • FIG. 1 shows an external configuration of an electronic device 10 according to the embodiment.
  • the electronic device 10 can have a playback function for music, movies, and the like, and a game software execution function by installing a predetermined application program. Programs for realizing these functions may be installed in advance at the time of shipment of the electronic device 10.
  • the electronic device 10 may be a mobile phone having a PDA function, or may be a portable game machine.
  • the electronic device 10 has a touch panel 20 including a display and a touch sensor, and detects a touch operation on the display by the user.
  • the electronic device 10 further includes buttons 12a and 12b, and allows the user to perform button operations.
  • FIG. 2 shows the overall configuration of functional blocks of the electronic device 10.
  • the electronic device 10 includes a touch panel 20, a motion sensor 30, a communication unit 40, a storage unit 50, and a processing unit 100.
  • the communication unit 40 executes a communication function and downloads content data from an external content distribution server via a wireless network.
  • the content data includes compressed audio data, a content image corresponding to music, content information, and the like.
  • the music content image is, for example, a jacket photo image that identifies the music, and the content information includes a song title, performance time, composer, lyrics, and the like.
  • the content data includes a program for executing the game, a content image corresponding to the game, content information, and the like.
  • the content image of the game is, for example, a package image of the game title, and the content information of the game may include an explanation such as an outline of the game story.
  • the content data downloaded from the communication unit 40 is stored in the storage unit 50 for each content type (category).
  • the type of content depends on the application to be executed and is divided into, for example, music, movies, games, and the like.
  • the content means that the application is to be executed.
  • content registered in the address book such as a photograph image or a telephone number of another person also corresponds to the content.
  • the application to be executed is a telephone call or a chat.
  • the storage unit 50 includes a hard disk drive (HDD), a random access memory (RAM), and the like, and data is written and / or read by the processing unit 100.
  • a folder is created for each type of content. For example, a music folder, a movie folder, and a game folder are created.
  • the content data is stored in a folder corresponding to the content type.
  • the touch panel 20 includes a position information output device 22 and a display 24, and is connected to the processing unit 100.
  • the display 24 can display various types of information based on the image signal sent from the processing unit 100.
  • the display 24 displays a content icon (hereinafter also referred to as “content image”).
  • the position information output device 22 includes a touch sensor, detects a touch operation with a finger or a stylus pen, and outputs position information for specifying a touch position on the display 24 to the processing unit 100.
  • the position information output device 22 can employ various input detection methods such as a resistance film method and a capacitance method.
  • the motion sensor 30 is a detection unit that detects the movement and posture of the terminal device 10, and includes a triaxial acceleration sensor 32, a triaxial angular velocity sensor 34, and a triaxial geomagnetic sensor 36.
  • the motion sensor 30 periodically provides the detection value to the processing unit 100, and the processing unit 100 specifies the movement and posture of the electronic device 10 in real time from the detection value and reflects them in the execution of the application.
  • the processing unit 100 functions as a physics calculation engine, and performs processing for moving a content image displayed on the display 24.
  • the processing unit 100 determines the moving direction and moving speed of the content image using the detection value output from the motion sensor 30 and / or the position information output from the position information output device 22.
  • the processing unit 100 also provides a user interface that can be operated intuitively by the user.
  • FIG. 3 shows functional blocks of the processing unit 100.
  • the processing unit 100 includes a content image processing unit 120, a menu processing unit 140, an area processing unit 160, and a function execution unit 180.
  • the content image processing unit 120 includes an operation determination unit 122, an extraction unit 124, a determination unit 126, an operation input reception unit 128, and a content image display unit 130.
  • the menu processing unit 140 includes an instruction receiving unit 142 and a menu item display unit 148, and the instruction receiving unit 142 includes a first receiving unit 144 and a second receiving unit 146.
  • the area processing unit 160 includes a line input receiving unit 162, an area setting unit 164, and a content image specifying unit 166.
  • Each function of the processing unit 100 is realized by a CPU, a memory, a program loaded in the memory, and the like, and FIG. 3 illustrates functional blocks realized by the cooperation thereof. Accordingly, those skilled in the art will understand that these functional blocks can be realized in various forms by hardware only, software only, or a combination thereof.
  • the content display application moves the content image on the display 24.
  • the initial state when the content display application is started, no content image is displayed on the display 24.
  • a plurality of content images are read from the storage unit 50 and displayed on the display 24.
  • the display control of the content image is performed by the physics calculation engine.
  • the operation of each content image is performed according to the detection value of the motion sensor 30 at that time. That is, the moving direction and the moving speed are determined, and a state in which the content images are scattered on the display 24 is displayed. This corresponds to a behavior in which, for example, a plurality of cards are scattered on the table in the real space.
  • Each content image that has moved on the display 24 has a virtual mass and a friction coefficient between the virtual floor surface, and the movement speed of each content image is gradually reduced by the physical calculation engine. It is calculated and then stops.
  • menu items are displayed around the content image. For example, in the case of music content, functions such as play (PLAY), delete (DELETE), and information (INFO) are set as menu items.
  • PLAY play
  • DELETE delete
  • INFO information
  • the user can group a plurality of content images together and execute a function assigned in advance to the grouped content.
  • the content images included in the line are grouped. If the area in this line is called a selection area, a new content image can be added to the selection area, and the content image can be added to the group, and the content image already in the selection area is taken out of the selection area. Thus, the content image can be removed from the group. Details of the content display application and the user interface of the electronic device 10 will be described below.
  • the content image processing unit 120 executes a content display application.
  • the operation determining unit 122 functions as a physics calculation engine and determines the operation of the content image displayed on the display 24. Specifically, the operation determining unit 122 sets a virtual mass and a friction coefficient between the virtual floor surface in the content image to be displayed, and when the user moves the electronic device 10 while holding it in accordance with the behavior. Determine the behavior of the content image. For example, when the electronic device 10 is moved to the left, the operation determination unit 122 moves the content image to the left in the virtual 3D space where the content image exists, assuming that a leftward force is applied to the content image.
  • the motion determination unit 122 When the motion determination unit 122 receives the detection value of the motion sensor 30 and specifies the state quantity such as the moving direction, the moving speed, and the acceleration of the electronic device 10, the action determining unit 122 converts the state quantity into a content image operation. When a plurality of content images are displayed on the display 24, the operation determining unit 122 determines the operation of each content image and moves it on the display 24.
  • the motion determination unit 122 moves the content image in a space having a virtual floor surface that matches the rectangular display area of the display 24, and determines the operation of the content image to reflect when the content image hits the boundary of the virtual floor surface. To do.
  • the operation determination unit 122 may use an existing physics engine for operation control of each content image. Note that when the content images collide, the operation determination unit 122 determines the operation of the content image so that one can ride on the other instead of being repelled. For example, control may be performed so that a content image with a high moving speed runs over a content image with a low moving speed. Moreover, the behavior in real space can be expressed by reducing the moving speed at the time of collision.
  • the operation determination unit 122 may set a friction coefficient for each content image.
  • the action determination unit 122 may set the friction coefficient according to the type of content, for example, the music content may have a small friction coefficient and the game content may have a large friction coefficient. Further, the action determination unit 122 sets the friction coefficient according to the content information even for the same type of content. For example, music content having a short performance time has a small friction coefficient, and a long one has a friction coefficient. May be set larger. In this case, a content image with a short performance time can move a longer distance on the display 24 than a content image with a long performance time.
  • the determination unit 126 monitors the detection value of the motion sensor 30 and determines whether or not the electronic device 10 has performed a predetermined movement from the detection value. In this embodiment, it is set as a condition for displaying the content image on the display 24 that the electronic device 10 is quickly shaken a predetermined number of times, for example, three times within a predetermined time. Hereinafter, this condition is referred to as “image switching condition”. This image switching condition is also used as a condition for switching the displayed content image after the content image is displayed on the display 24. Therefore, when the image switching condition is satisfied after the start of the content display application, a predetermined number of content images are displayed on the display 24. After that, when the image switching condition is satisfied again, the displayed content image is displayed. All or part of the content image is replaced with a new content image.
  • the determination unit 126 determines from the detection value of the motion sensor 30 that the electronic device 10 has been shaken three times within a predetermined time (for example, 1 second), it determines that the image switching condition is satisfied, and the extraction unit 124 Sends an instruction to read the content image.
  • a predetermined time for example, 1 second
  • the determination unit 126 determines whether the image switching condition is satisfied. Use it.
  • the extraction unit 124 extracts a plurality of content images from the storage unit 50. At this time, the user preselects the type of content to be extracted, and the extraction unit 124 refers to the selected type of folder and extracts a predetermined number of content images.
  • the extraction unit 124 may extract content images at random or may extract content images according to a predetermined condition.
  • the predetermined condition is set according to the meta information of the content such as the number of times the content is reproduced and the download date and time. For example, in the case of music content, a predetermined number of content images may be extracted in descending order of the number of past playbacks, and the download date may be extracted in order from the newest.
  • the content image display unit 130 displays each of the plurality of content images extracted by the extraction unit 124 at random positions in the display 24. As a result, the content image is displayed on the display 24 as if the content image was scattered on the table, that is, in a cluttered arrangement.
  • FIG. 4A shows a state where a plurality of extracted content images are randomly arranged in the display 24.
  • the Roman character is attached for convenience, but in the case of music content, the content image is composed of a jacket photo.
  • the icons are generally arranged in a regular manner, but in the electronic device 10 of the present embodiment, as shown in FIG.
  • the content images are arranged in a random manner without being regularly arranged.
  • the electronic device 10 of this embodiment is intended to generate a natural situation when cards are scattered on a table in real space. In such a case, in a real environment, the user tries to see the card below by removing the card on top. Similarly, in the electronic device 10 according to the present embodiment, the lower card can be seen by removing the upper card.
  • the content image 16 overlaps the content image 18, and a part of the content image 18 is hidden.
  • the user can move the content image 16 by placing a finger on the content image 16 and moving the finger in a direction in which the user wants to move the content image 16.
  • the movement of the finger by the user is detected and output as position information by the position information output device 22, and the operation determining unit 122 determines the operation of the content image 16 from the output position information.
  • FIG. 4B shows a state in which the content image 16 has been moved rightward.
  • the action determination unit 122 applies a rightward force to the content image 16. This is detected, and the moving speed of the content image 16 in the right direction is determined from the sliding speed of the finger.
  • the operation input receiving unit 128 receives the position information from the position information output device 22 and passes it to the operation determination unit 122, the operation determination unit 122 determines the operation of the content image from the position information that changes with time. To do.
  • the operation determination unit 122 may determine the number of content images to be moved from the pressing force of the finger on the content image 16. For example, if the pressing force is smaller than a predetermined threshold value P1, only the content image 16 in the uppermost layer is moved. If the pressing force is not less than the threshold value P1 and not more than the threshold value P2 (P2> P1), one of the uppermost layers is moved. The content image 18 in the lower layer may also be moved. As described above, the content image processing unit 120 can provide the user with an operational feeling in the real space by using the physical calculation engine.
  • the content image display unit 130 displays the content image on the display 24 according to the operation determined by the operation determination unit 122. At this time, the content image may move while rotating. However, when the content image is stationary, if the top and bottom of the content image is repeated, it becomes difficult for the user to see. Therefore, the content image display unit 130 adjusts the orientation of the content image when the content image is stopped.
  • the content image display unit 130 grasps the top / bottom direction of each content image.
  • the content image display unit 130 monitors the vector in the vertical direction (the direction from the upper side to the lower side, that is, downward) of the content image, and the vertical vector of the content image at rest determined by the motion determination unit 122 is the virtual floor. If it is downward from the horizontal direction of the surface, there is no need to adjust. On the other hand, if the vertical vector at rest is upward from the horizontal direction of the virtual floor surface, it is further rotated and turned downward. Adjust as follows. As a result, all the content images can be stopped in a direction that is easy for the user to see, and the user can easily confirm the content images.
  • the user moves the electronic device 10 lightly, a plurality of content images displayed on the display 24 can be moved according to the movement. Therefore, when the user wants to change the display state in which a plurality of content images are randomly arranged, the user can change the display state to further disperse the plurality of content images by lightly moving the electronic device 10.
  • the operation determination unit 122 monitors the acceleration component of the electronic device 10 from the detection value of the motion sensor 30, and determines the operation of the content image by the physical calculation engine when the acceleration component exceeds the predetermined value A1. As a result, when the user tries to select a content image, a situation in which the display state is changed due to slight movement of the hand can be avoided, and usability can be improved.
  • the extraction unit 124 reads a new content image from the storage unit 50, and the content image display unit 130 performs a replacement process.
  • the image switching condition is that the electronic device 10 is shaken three times within a predetermined time
  • the replaced image will be seen, and the first replacement process is wasted. Therefore, it is preferable that the content image display unit 130 performs the replacement process when the user's shaking operation is finished after the image switching condition is satisfied.
  • the determination part 126 monitors the operation
  • the extraction unit 124 extracts the same number of content images as the number of displayed content images from the storage unit 50, and the content image display unit 130 replaces the extracted content images with all the displayed content images and displays them.
  • the content image display unit 130 replaces the extracted content images with all the displayed content images and displays them.
  • the extracting unit 124 extracts a number of content images smaller than the number of displayed content images from the storage unit 50, and The content image display unit 130 may display the extracted content image by replacing it with a part of the displayed content image. At this time, it is preferable not to change the total number of content images before and after the replacement. Therefore, the content image display unit 130 excludes the displayed content images from the display target by the number of extracted content images. Like that. Compared with the case where all the content images are replaced, the display image is updated little by little, so that the user can easily recognize the relation with the display before the replacement.
  • a plurality of menu items are set in the content image displayed by the content display application. For example, in the case of music content, functions such as playback (PLAY), deletion (DELETE), and information (INFO) are set as menu items.
  • PLAY playback
  • DELETE deletion
  • INFO information
  • the menu processing unit 140 provides a user interface for menu presentation.
  • the first reception unit 144 in the instruction reception unit 142 receives the position information from the position information output device 22, and the position information matches the display position of the content image. By determining this, an instruction to select the displayed content image is accepted.
  • the menu item display unit 148 displays a plurality of menu items set in the selected content image so as to surround the content image.
  • a menu when the content image 16 of the music content shown in FIG. 4B is selected is shown, but the same applies when another content image is selected.
  • FIG. 5 shows a plurality of menu items displayed so as to surround the selected content image.
  • a PLAY display area 60 a DELETE display area 62, and an INFO display area 64 are displayed as menu items around the content image.
  • the content image display unit 130 blurs and displays the images shown in FIG. 4A, FIG. 4B, and the like that have been displayed so far, in the background of the menu items.
  • the second reception unit 146 receives the position information from the position information output device 22, and determines that the position information matches the display position of the menu item.
  • An instruction to select the displayed menu item is accepted. For example, when the user touches the PLAY display area 60, the second reception unit 146 recognizes that the PLAY function of the music content has been selected, and transmits the selection instruction to the function execution unit 180.
  • the function execution unit 180 executes the function of the selected menu item, thereby reproducing the music content.
  • the function execution unit 180 deletes the music content from the storage unit 50, and when the INFO display area 64 is selected, the function execution unit 180 displays the content information. To do.
  • a plurality of menu items are displayed on one circle having a predetermined width, centering on the content image.
  • Each menu item is displayed in an arc-shaped region having the same angle range with the content image as the center.
  • Each display area has the same shape.
  • pull-down menus are generally used as a method for presenting menu items.
  • the pull-down menu is excellent in viewability because the menu items are listed in one window, but there is also a drawback that, for example, a portable terminal device with a small display 24 is easily operated erroneously.
  • a finger operation is performed on a small-screen touch panel, the menu items are close to each other, so that erroneous operations are particularly likely to occur.
  • submenu items can be set for menu items.
  • a menu item when the user selects a menu item, a plurality of submenu items are displayed around the menu item.
  • the menu item display unit 148 does not display all the menu items at a time, but provides, for example, submenu items and divides the menu item several times. By displaying the menu automatically, it is possible to reduce the amount of information presented until the desired function is executed.
  • the menu processing unit 140 provides the user with two menu item selection methods.
  • the first selection method when the user touches a content image, the first reception unit 144 receives a touch operation on the content image as a selection instruction, and the menu item display unit 148 has a plurality of items on a circle centering on the content image. Displays the menu item.
  • the second reception unit 146 uses the operation of releasing the finger as a menu item selection instruction. Accept.
  • an operation of touching the content image is used as an instruction to select the content image
  • an operation of releasing the finger in the display area of the menu item while maintaining the touch state on the touch panel 20 an operation to release the touch state
  • the first reception unit 144 receives a tap operation of the content image as a selection instruction
  • the menu item display unit 148 has a plurality of items on a circle centering on the content image. Displays the menu item.
  • the second receiving unit 146 receives this tap operation as a menu item selection instruction. That is, an operation of tapping a content image is used as a content image selection instruction, and an operation of tapping a menu item display area is used as a menu item selection instruction. This is the method for selecting the second menu item.
  • the tap operation of the content image in the second selection method is an operation of tapping the content image displayed on the touch panel 20 and is one type of touch operation.
  • the touch operation of the content image in the first selection method is Even after the content image is touched, the touch state is maintained.
  • the instruction receiving unit 142 appropriately receives instructions according to these two selection methods, and allows the menu item display unit 148 to display the menu items.
  • the first receiving unit 144 determines whether or not the touch time is shorter than a predetermined time T1.
  • the predetermined time T1 is, for example, about 0.3 seconds. If the touch time is shorter than the time T1, it is specified that the touch operation is a tap operation and is a selection instruction by the second selection method. .
  • the first reception unit 144 should notify the menu item display unit 148 that a content image selection instruction has been made, and should monitor the second reception unit 146 for a selection instruction based on the second selection method. Tell that.
  • the second receiving unit 146 can receive a tap operation to the display area of the menu item as a menu item selection instruction.
  • the first reception unit 144 specifies that the selection instruction is based on the first selection method.
  • the first reception unit 144 should notify the menu item display unit 148 that a content image selection instruction has been made, and should monitor the second reception unit 146 for the selection instruction based on the first selection method. Tell that.
  • the second reception unit 146 receives, as a menu item selection instruction, an operation in which the finger is moved to the menu item display area and the finger is released in the display area while the touch state is continued. Will be able to.
  • the menu processing unit 140 provides the user with a selection method of two types of menu items, so that the user can select the menu items by an operation according to his / her preference.
  • the first reception unit 144 specifies the selection method by which the selection instruction is input according to the touch time, so that the user can select the menu item without being aware of the processing in the electronic device 10. it can.
  • FIG. 6A shows menu items displayed when a content image is touched with a finger.
  • the finger touching the content image hides a part of the menu item when a plurality of menu items are displayed.
  • FIG. 6A although the DELETE display area 62 and the INFO display area 64 are displayed, a part of the PLAY display area 60 is hidden. Although characters for expressing the assigned functions are described in each display area, the characters cannot be read in the PLAY display area 60. Therefore, when the menu item display unit 148 displays a plurality of menu items, the menu item is rotated around the content image.
  • FIG. 6B shows a state where the menu item is rotated.
  • the menu item display unit 148 rotates a plurality of menu items so as to rotate once in 5 to 10 seconds, for example. In the illustrated example, it rotates clockwise, but it may be counterclockwise.
  • the PLAY display area 60 hidden by the finger can be visually recognized by rotating. As a result, the user can confirm the characters (PLAY) drawn in the PLAY display area 60 and can easily move the finger to the PLAY display area 60 while keeping the finger in contact with the touch panel 20.
  • FIG. 6C shows a state where the finger is shifted to the PLAY display area 60. When the user lifts his / her finger from touch panel 20 from the state shown in FIG. 6C, second accepting unit 146 accepts a menu item selection instruction.
  • the menu item display unit 148 may stop the rotation of the menu item when the finger starts to move (slides) from the content image.
  • the menu item display unit 148 detects that the finger has moved from the content image by referring to the position information output from the position information output device 22, and stops the rotation. As a result, the destination of the finger is determined, and the user can easily slide the finger to the display area.
  • the menu item display unit 148 may stop rotating when the finger moves to the display area. Thus, it is possible to avoid a situation in which the display area under the finger is changed to another display area before the finger is released.
  • Menu item display unit 148 may rotate the menu item not only in the first selection method but also in the second selection method. By rotating the menu, the user's attention can be more directed to the menu, and an effect of prompting the user's selection operation can be expected.
  • the menu item display unit 148 displays three menu items.
  • An example in which a different number of menu items is displayed is shown below.
  • the menu item display unit 148 dynamically changes the menu item according to the number of menu items set for the selected content image. Create a user interface for selection. Specifically, the menu item display unit 148 determines the size of the menu item display area according to the number of menu items set in the selected content image.
  • FIG. 7A shows a display example of two menu items
  • FIG. 7B shows a display example of four menu items.
  • one circle having a predetermined width is divided into two to form a display area.
  • four circles having a predetermined width are displayed.
  • the display area is formed by dividing the display area.
  • FIG. 7C shows a display example of six menu items.
  • the display area is formed by dividing each of two circles (that is, a small circle and a large circle) into three with the content image as the center.
  • the menu item display unit 148 increases the number of circles to form a display area in two rows. For example, when the number of menu items is 15, if 15 display areas are formed in one circle, it is assumed that erroneous operations are likely to occur. Therefore, it is preferable to set an upper limit on the number of display areas that can be formed in one circle to maintain high operability.
  • the plurality of display areas are formed on concentric circles, but it is preferable that the outer circle has a larger upper limit on the number of display areas that can be formed than the inner circle.
  • the number of display areas arranged in the inner circle is set to be equal to or less than the number of display areas arranged in the outer circle.
  • the menu item display unit 148 may count and hold the number of times each menu item is selected.
  • the menu item display unit 148 arranges menu items with a large number of counts, that is, menu items with a high selection frequency, from the inner periphery side. Thereby, the menu item with high selection frequency can be arranged on the inner periphery with good operability, thereby reducing the possibility of erroneous operation by the user.
  • the rotation direction may be reversed between the first row (inner circle) and the second row (outer circle). Thereby, a user interface with excellent design can be realized.
  • the menu item display unit 148 may hold the display state for the next menu display when an instruction to select the menu item is given to the content image 16. For example, when the PLAY display area 60 is selected and the playback function is executed, it is considered that the user often executes the same playback function for this content at the next opportunity. Therefore, in such a case, it is preferable that the PLAY display area 60 is displayed at a position where it can be easily selected when the display of the menu item is started. For example, a position hidden by a finger as shown in FIG. It is not preferable to be displayed.
  • the menu item display unit 148 stores the arrangement of the menu item at the time when the function of the content image is selected, and when the content image is next selected, the menu item display unit 148 first stores the stored arrangement. It is preferable to present it to the user. Thus, the user can immediately select a desired menu item without waiting for the rotation of the menu item.
  • the menu item display unit 148 may store the arrangement of menu items for each type of content, not for each content image. For example, in the case of music content, the arrangement of the menu item when the content image function is selected is retained, and when another content image is selected, the previous content image function is selected. You may present by arrangement of the menu item.
  • the user interface for presenting menus displays menu items so as to surround the selected content image. Therefore, depending on the position of the content image, a circle constituting the display area may protrude from the display 24.
  • FIG. 8A shows a state in which a part of the display area protrudes from the display 24. The protruding part is represented by a dotted line.
  • Menu item display unit 148 determines whether or not the display area of the menu item to be displayed can be displayed on display 24 when first receiving unit 144 receives a content image selection instruction.
  • the menu item display unit 148 refers to the number of menu items set in the content image and identifies the outer periphery of the menu item display area. Specifically, the radius from the center of the content image is specified by determining how many circles are necessary from the number of menu items.
  • the menu item display unit 148 determines whether or not the entire menu item display area can be displayed on the display 24 from the center coordinates of the content image and the outer radius. When it is determined that the entire display area can be displayed on the display 24, the menu items shown in FIGS. 5 and 7 are displayed.
  • the menu item display unit 148 when it is determined that a part of the display area cannot be displayed on the display 24, the menu item display unit 148 generates a display area using an arc.
  • FIG. 8B shows the display area generated on the arc.
  • a minimum area is set in advance in the display area in order to maintain high operability.
  • the menu item display unit 148 knows the minimum area of the display area, and preferably determines the number of arcs and sets the display area so that each display area is equal to or larger than the minimum area. In addition, it is preferable to arrange the menu item with the highest selection frequency in the arc closest to the content image, that is, the inner arc.
  • the first receiving unit 144 receives a content image selection instruction by a touch operation.
  • the first reception unit 144 receives a selection instruction due to a change in capacitance that occurs when a finger is brought close to the touch panel 20. It may be.
  • ⁇ User interface for grouping> The example in which the function set for one content image is executed has been described above. However, for example, when playing music, there is a need to play a plurality of songs together. Therefore, in the electronic device 10 of the present embodiment, the area processing unit 160 provides a user interface that can easily group contents.
  • FIG. 9A shows a state in which a plurality of content images are arranged in the display 24.
  • the user brings a plurality of content images 16, 70, 72, 74 to be grouped to the right side of the screen.
  • the user traces the touch panel 20 with a finger so as to surround the plurality of content images 16, 70, 72, 74.
  • the line input reception unit 162 receives position information output from the position information output device 22.
  • the line input reception unit 162 receives position information continuously in time, and displays a predetermined color at a position specified by the received position information (that is, a position traced by a finger). As a result, a continuous free curve of a predetermined color is displayed on the display 24.
  • the region setting unit 164 specifies that a closed region or a substantially closed region is formed based on the position information received continuously in time by the line input receiving unit 162, the region setting unit 164 sets the region as a selection region. .
  • FIG. 9B shows a state in which a closed curve 80 is drawn.
  • the region setting unit 164 determines whether the drawn curve is the closed curve 80 from the position information received continuously in time. Whether or not the curve is a closed curve is determined by whether or not the beginning of the curve intersects the curve already drawn. Further, even if the intersection does not intersect, if the head of the curve is very close to the already drawn curve, it is determined that the region is substantially closed.
  • the content image specifying unit 166 specifies and groups the content images 16, 70, 72, and 74 included in the selected area. The grouped content images perform a common function. In the case of music content, the grouped content is used as a playlist and is played back in order by the function execution unit 180.
  • the selection area 82 surrounded by the closed curve 80 is handled as one content. That is, when the user touches the selection area 82, the menu processing unit 140 displays the menu item, and when the user selects the menu item, the function execution unit 180 is a function that is commonly set for the grouped content images. Execute. Note that the content image specifying unit 166 does not have to set the condition that the entire content image is in the selection area 82 as a grouping condition. If so, they can be grouped together.
  • the selection area 82 is used as an area for grouping until the setting is canceled. That is, when the user moves a new content image to be included in the selection region 82, the content image is added to the group, and the content image already included in the selection region 82 is moved outside the selection region 82. The content image is excluded from the group. In this way, by using the intuitive operability of the touch panel 20 and using the closed curve 80 drawn by the user as the selection region, the grouping of contents can be easily realized.
  • the content image specifying unit 166 may change the display mode of the content image included in the selection area 82 from the original display mode. For example, the color of the content image may be changed, or a predetermined mark may be given. As a result, it is possible to provide the user with information as to whether or not the selected area 82 is included.
  • the present invention can be used in the field of information processing technology.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Hardware Design (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

【課題】新規なユーザインタフェースおよびアプリケーションを提供する。【解決手段】コンテンツ画像表示部130は、コンテンツ画像をディスプレイ24に表示する。第1受付部144は、表示されたコンテンツ画像の選択指示を受け付ける。メニュー項目表示部148は、選択されたコンテンツ画像に設定された複数のメニュー項目を、コンテンツ画像を取り囲むように表示する。第2受付部146は、表示されたメニュー項目の選択指示を受け付ける。機能実行部180は、選択されたメニュー項目の機能を実行する。メニュー項目表示部148は、複数のメニュー項目を一つの円上に配置する。

Description

電子機器、メニュー表示方法、コンテンツ画像表示方法、機能実行方法
 本発明は、ディスプレイを備えた電子機器、および電子機器における機能に関する。
 従来より携帯型のゲーム機やPDA(Personal Digital Assistant)等の電子機器が普及しているが、近年では、たとえばスマートフォンのように、携帯電話やPDA等の機能を一つにまとめた多機能型の電子機器が人気を博している。このような電子機器は、大容量のメモリおよび高速プロセッサを搭載しており、音楽やムービー、ゲームソフトウェア等のコンテンツをダウンロードして、ユーザが様々なアプリケーションを楽しめるようになっている。
 タッチパネルを有する電子機器は、ユーザに直観的な操作を行わせる優れたユーザインタフェースを提供する。たとえば、表示されるコンテンツ画像(アイコン)を指でタップすることでアイコンが選択されるユーザインタフェースや、パネル表面を指でなぞることで表示画像をスクロールするユーザインタフェースなどが既に実用化されている。
 また近年、3次元(3D)仮想物体の運動や挙動を制御する物理演算エンジン(物理エンジンともいう)が、学術的なシミュレーションに用いられるだけでなく、ゲーム装置などにも搭載されるようになってきている。物理演算エンジンは、質量・速度・摩擦などをシミュレーションするコンピュータのソフトウェアであり、3D仮想物体同士の衝突判定やダイナミックシミュレーションなどの処理を基本演算として実行する。このような物理演算により、仮想3D空間において、仮想物体の運動や挙動が、実空間における実物体の運動や挙動と同じように表現される。
 タッチパネルを利用したユーザインタフェースの開発は、操作性の向上と、デザイン性の向上の2つの側面をもち、操作性とデザイン性の両方のクオリティを高めることが好ましい。また、タッチパネルを利用したユーザインタフェースは、ディスプレイに表現される仮想物体の運動や挙動が、実空間における実物体の運動や挙動にマッチすることが好ましく、これによりユーザがより直観的に操作できるユーザインタフェースやアプリケーションを実現できると考えられる。
 そこで本発明は、新規なユーザインタフェースおよびアプリケーションを提供することを目的とする。
 上記課題を解決するために、本発明のある態様の電子機器はディスプレイを備え、さらにコンテンツ画像をディスプレイに表示する第1表示部と、表示されたコンテンツ画像の選択指示を受け付ける第1受付部と、選択されたコンテンツ画像に設定された複数のメニュー項目を、コンテンツ画像を取り囲むように表示する第2表示部と、表示されたメニュー項目の選択指示を受け付ける第2受付部と、選択されたメニュー項目の機能を実行する実行部とを備える。
 本発明の別の態様の電子機器はディスプレイを備え、さらに電子機器の動きを検出するセンサと、複数のコンテンツ画像を格納する記憶部と、センサの検出値から、電子機器が所定の動きを行ったか判定する判定部と、電子機器が所定の動きを行った場合に、記憶部から複数のコンテンツ画像を抽出する抽出部と、抽出された複数のコンテンツ画像をディスプレイに表示する表示部とを備える。
 本発明のさらに別の態様の電子機器は、ディスプレイと、ディスプレイ上のタッチ位置を特定する位置情報を出力する位置情報出力装置とを備えたタッチパネルと、1つまたは複数のコンテンツ画像をディスプレイに表示する第1表示部と、位置情報出力装置から出力される位置情報を受け付ける受付部と、受付部で時間的に連続して受け付けた位置情報により閉領域または実質的に閉じた領域が形成されると、その領域を、選択領域として設定する設定部と、選択領域に含まれるコンテンツ画像を特定する特定部と、特定されたコンテンツ画像に設定されている機能を実行する実行部とを備える。
 なお、以上の構成要素の任意の組合せ、本発明の表現を方法、装置、システム、記録媒体、コンピュータプログラムなどの間で変換したものもまた、本発明の態様として有効である。
 本発明によると、新規なユーザインタフェースおよびアプリケーションを提供できる。
実施例に係る電子機器の外観構成を示す図である。 電子機器の機能ブロックの全体構成を示す図である。 処理部の機能ブロックを示す図である。 (a)は複数のコンテンツ画像をディスプレイ中にランダム配置した状態を示す図であり、(b)はコンテンツ画像が右方向に移動させられた状態を示す図である。 メニュー項目を示す図である。 (a)はメニュー項目を示す図であり、(b)はメニュー項目が回転されている様子を示す図であり、(c)は指をPLAY表示領域にずらした様子を示す図である。 (a)は2つのメニュー項目の表示例を示す図であり、(b)は4つのメニュー項目の表示例を示す図であり、(c)は6つのメニュー項目の表示例を示す図である。 (a)は表示領域の一部がディスプレイからはみ出る様子を示す図であり、(b)は円弧上に生成した表示領域を示す図である。 (a)は複数のコンテンツ画像を示す図であり、(b)は閉曲線が描かれた様子を示す図である。
 図1は、実施例に係る電子機器10の外観構成を示す。電子機器10は、所定のアプリケーションプログラムをインストールすることで、音楽、ムービーなどの再生機能や、ゲームソフトウェアの実行機能をもつことができる。これらの機能を実現するためのプログラムは、電子機器10の出荷時の段階で予めインストールされていてもよい。電子機器10は、PDAの機能を備えた携帯電話機であってよく、また携帯型のゲーム機であってよい。
 電子機器10は、ディスプレイおよびタッチセンサで構成されるタッチパネル20を有し、ユーザによるディスプレイ上のタッチ操作を検出する。電子機器10は、さらにボタン12a、12bを備え、ユーザによるボタン操作を可能とする。
 図2は、電子機器10の機能ブロックの全体構成を示す。電子機器10は、タッチパネル20、モーションセンサ30、通信部40、記憶部50および処理部100を備える。通信部40は通信機能を実行し、無線ネットワークを介して外部のコンテンツ配信サーバからコンテンツデータをダウンロードする。コンテンツが音楽である場合、コンテンツデータは、圧縮された音声データ、音楽に対応するコンテンツ画像およびコンテンツ情報などを含む。音楽のコンテンツ画像は、たとえば、その音楽を特定するジャケット写真画像であり、コンテンツ情報は、曲名や演奏時間、作曲者や歌詞などを含む。またコンテンツがゲームソフトウェアである場合、コンテンツデータは、ゲームを実行するためのプログラム、ゲームに対応するコンテンツ画像およびコンテンツ情報などを含む。ゲームのコンテンツ画像は、たとえば、ゲームタイトルのパッケージ画像であり、ゲームのコンテンツ情報は、ゲームストーリの概略などの説明を含んでよい。通信部40からダウンロードされたコンテンツデータは、コンテンツの種類(カテゴリ)ごとに記憶部50に記憶される。コンテンツの種類は、実行するアプリケーションに依存し、たとえば音楽、ムービー、ゲームなどに分けられる。なお、本実施例においてコンテンツとは、アプリケーションの実行対象であることを意味しており、たとえば他人の写真画像や電話番号などアドレス帳に登録される内容も、コンテンツに相当する。この場合、実行するアプリケーションは、電話やチャットなどである。
 記憶部50は、ハードディスクドライブ(HDD)やランダムアクセスメモリ(RAM)などで構成され、処理部100によりデータの書き込みおよび/または読み出しが行われる。記憶部50には、コンテンツの種類ごとにフォルダが作成され、たとえば音楽フォルダ、ムービーフォルダ、ゲームフォルダが作成される。コンテンツデータは、コンテンツの種類に応じたフォルダに格納される。
 タッチパネル20は、位置情報出力装置22およびディスプレイ24を含んで構成されており、それぞれ処理部100に接続されている。ディスプレイ24は、処理部100から送られてくる画像信号に基づいて各種の情報を表示できるようになっており、本実施例ではコンテンツアイコン(以下、「コンテンツ画像」とも呼ぶ)などを表示する。位置情報出力装置22はタッチセンサを有し、指やスタイラスペンなどによるタッチ操作を検出して、ディスプレイ24上のタッチ位置を特定する位置情報を処理部100に出力する。位置情報出力装置22は、抵抗膜方式や静電容量方式など、様々な入力検出方式を採用することができる。
 モーションセンサ30は、端末装置10の動きや姿勢を検出する検出部であって、3軸の加速度センサ32、3軸の角速度センサ34および3軸の地磁気センサ36を有する。モーションセンサ30は、検出値を周期的に処理部100に提供し、処理部100は、検出値から電子機器10の動きや姿勢をリアルタイムで特定して、アプリケーションの実行に反映する。
 処理部100は、物理演算エンジンとして機能し、ディスプレイ24に表示されるコンテンツ画像の移動処理などを行う。処理部100は、モーションセンサ30から出力される検出値および/または位置情報出力装置22から出力される位置情報を用いて、コンテンツ画像の移動方向や移動速度などを決定する。また処理部100は、ユーザが直観的に操作できるユーザインタフェースを提供する。
 図3は、処理部100の機能ブロックを示す。処理部100は、コンテンツ画像処理部120、メニュー処理部140、領域処理部160および機能実行部180を備える。コンテンツ画像処理部120は、動作決定部122、抽出部124、判定部126、操作入力受付部128およびコンテンツ画像表示部130を有する。メニュー処理部140は、指示受付部142およびメニュー項目表示部148を有し、指示受付部142は、第1受付部144、第2受付部146を含む。領域処理部160は、ライン入力受付部162、領域設定部164およびコンテンツ画像特定部166を有する。
 処理部100の各機能は、CPU、メモリ、メモリにロードされたプログラムなどによって実現され、図3においてはそれらの連携によって実現される機能ブロックを描いている。したがってこれらの機能ブロックがハードウェアのみ、ソフトウェアのみ、またはそれらの組合せによっていろいろな形で実現できることは、当業者に理解されるところである。
 本実施例における電子機器10が提供するコンテンツ表示アプリケーションおよびユーザインタフェースの概要を説明する。コンテンツ表示アプリケーションは、ディスプレイ24上でコンテンツ画像を動かす。初期状態(コンテンツ表示アプリケーションの開始時)において、ディスプレイ24にコンテンツ画像は表示されていない。ユーザが電子機器10を手に持って所定回数振ると、複数枚のコンテンツ画像が記憶部50から読み出されて、ディスプレイ24に表示される。コンテンツ画像の表示制御は、物理演算エンジンにより行われ、コンテンツ画像がディスプレイ24に表示された後、電子機器10を動かすと、そのときのモーションセンサ30の検出値に応じて、各コンテンツ画像の動作、つまり移動方向や移動速度が決定されて、ディスプレイ24上にコンテンツ画像が散らばっていく様子が表示されるようになる。これは実空間において、たとえば複数枚のカードをテーブル上にばらまいたような挙動に相当する。
 ディスプレイ24上で動いていた各コンテンツ画像には仮想的な質量および仮想床面との間の摩擦係数が定められており、物理演算エンジンにより、各コンテンツ画像の移動速度は徐々に小さくなるように演算されて、やがて静止する。ユーザが、静止したコンテンツ画像に対して指でタッチすると、コンテンツ画像の周囲にメニュー項目が表示される。たとえば音楽コンテンツの場合には、メニュー項目として、再生(PLAY)、削除(DELETE)、情報(INFO)などの機能が設定されており、ユーザが、表示されたメニュー項目を選択することで、その機能が実行される。
 またユーザは、複数のコンテンツ画像をまとめてグループ化し、グループ化したコンテンツに、予め共通に割り当てられている機能を実行させることができる。ユーザは、ディスプレイ24上にて、グループ化したいコンテンツ画像を取り囲むように指でラインを引くと、そのライン内に入っているコンテンツ画像がグループ化される。このライン内の領域を選択領域と呼ぶと、選択領域に、新たなコンテンツ画像を入れることで、そのコンテンツ画像をグループに追加でき、また既に選択領域に入っているコンテンツ画像を選択領域外に出すことで、そのコンテンツ画像をグループから外すこともできる。以下、このような電子機器10のコンテンツ表示アプリケーションおよびユーザインタフェースの詳細を説明する。
<コンテンツ表示アプリケーション>
 コンテンツ画像処理部120は、コンテンツ表示アプリケーションを実行する。コンテンツ画像処理部120において、動作決定部122は、物理演算エンジンとして機能して、ディスプレイ24に表示するコンテンツ画像の動作を決定する。具体的に動作決定部122は、表示するコンテンツ画像に仮想的な質量および仮想床面との間の摩擦係数を設定し、ユーザが電子機器10を手に持って動かすと、その挙動に応じてコンテンツ画像の動作を決定する。たとえば電子機器10が左に動かされると、動作決定部122は、コンテンツ画像が存在する仮想3D空間において、コンテンツ画像に左向きの力が与えられたとして、コンテンツ画像を左向きに動かす。動作決定部122は、モーションセンサ30の検出値を受け取り、電子機器10の移動方向、移動速度や加速度などの状態量を特定すると、その状態量を、コンテンツ画像の動作に変換する。ディスプレイ24に複数のコンテンツ画像が表示される場合、動作決定部122は、各コンテンツ画像の動作を決定し、ディスプレイ24上で動かすようにする。
 動作決定部122は、ディスプレイ24の矩形の表示領域に合わせた仮想床面を有する空間内でコンテンツ画像を動かし、仮想床面の境界にコンテンツ画像が当たると反射するようにコンテンツ画像の動作を決定する。動作決定部122は、各コンテンツ画像の動作制御に関して、既存の物理演算エンジンを利用してもよい。なお動作決定部122は、コンテンツ画像が衝突したとき、お互いにはじかれるのではなく、一方が他方に乗り上げ可能なようにコンテンツ画像の動作を決定する。たとえば、移動速度が大きいコンテンツ画像が、移動速度が小さいコンテンツ画像の上に乗り上げるように制御してもよい。また衝突時には移動速度を落とすことで、実空間における挙動を表現できる。
 なお動作決定部122は、コンテンツ画像ごとに摩擦係数を設定してもよい。動作決定部122は、コンテンツの種類に応じて摩擦係数を設定し、たとえば音楽コンテンツの摩擦係数は小さく、ゲームコンテンツの摩擦係数は大きく設定してもよい。また動作決定部122は、同じ種類のコンテンツであっても、コンテンツ情報に応じて摩擦係数を設定し、たとえば音楽コンテンツであって、演奏時間の短いものは摩擦係数を小さく、長いものは摩擦係数を大きく設定してもよい。この場合、演奏時間の短いコンテンツ画像は、演奏時間の長いコンテンツ画像よりも、ディスプレイ24上で動く距離を長くできる。
 判定部126は、モーションセンサ30の検出値を監視し、検出値から電子機器10が所定の動きを行ったか否かを判定する。本実施例では、電子機器10が素早く所定回数振られたこと、たとえば所定時間内に3回振られたことが、ディスプレイ24にコンテンツ画像を表示する条件に設定される。以下、この条件を、「画像切替条件」とよぶ。この画像切替条件は、ディスプレイ24にコンテンツ画像が表示された後、表示されているコンテンツ画像を入れ替える条件としても利用される。したがって、コンテンツ表示アプリケーションの開始後、画像切替条件が成立すると、ディスプレイ24に所定数のコンテンツ画像が表示されるようになり、その後、再度、画像切替条件が成立すると、表示されているコンテンツ画像の全部または一部が新たなコンテンツ画像と入れ替えられるようになる。
 判定部126が、モーションセンサ30の検出値から、電子機器10が所定時間(たとえば1秒)内に3回振られたことを判定すると、画像切替条件が成立したことを判定し、抽出部124にコンテンツ画像の読出指示を送る。判定部126は、ある方向を基準として、正方向と逆方向の移動が交互に3回繰り返されたことを検出すると、画像切替条件の成立を判定するが、この判定手法は、既存の技術を利用すればよい。画像切替条件が成立すると、抽出部124が、記憶部50から複数のコンテンツ画像を抽出する。このとき、ユーザは、抽出するコンテンツの種類を予め選択しておくものとし、抽出部124が、選択された種類のフォルダを参照して、所定数のコンテンツ画像を抽出する。
 この際、抽出部124は、ランダムにコンテンツ画像を抽出してもよく、また所定の条件にしたがってコンテンツ画像を抽出してもよい。所定の条件は、コンテンツの再生回数やダウンロード日時など、コンテンツのメタ情報などにしたがって設定される。たとえば音楽コンテンツの場合、過去の再生回数が多い順に所定数のコンテンツ画像を抽出してもよく、またダウンロード日次が新しい順に抽出してもよい。
 コンテンツ画像表示部130は、抽出部124により抽出された複数のコンテンツ画像のそれぞれを、ディスプレイ24中のランダムな位置に表示する。これにより、ディスプレイ24には、コンテンツ画像をテーブル上にばらまいたような、つまり雑然とした配置でコンテンツ画像が表示されるようになる。
 図4(a)は、抽出した複数のコンテンツ画像をディスプレイ24中にランダム配置した状態を示す。なお、コンテンツ画像を識別するために、便宜上、ローマ字を付しているが、音楽コンテンツの場合、コンテンツ画像はジャケット写真により構成されている。従来より、アイコンを整列して規則的に配置することは一般的に行われているが、本実施例の電子機器10では、図4(a)に示すように、コンテンツ画像表示部130は、コンテンツ画像を規則正しく整列させず、ランダムに散らばるように配置している。
 仮想3D空間にコンテンツ画像をランダム配置することで、別のコンテンツ画像により隠されるコンテンツ画像も存在する。これは、本実施例の電子機器10が、実空間においてカードをテーブルにばらまいたときの自然な状況を生成することを目的としているためである。このような場合、実環境で、ユーザは、上に被さっているカードをどけて、下にあるカードを見ようとする。本実施例の電子機器10でも同様に、上にあるカードをどけることで、下にあるカードを見ることができる。図4(a)では、コンテンツ画像16がコンテンツ画像18に重なっており、コンテンツ画像18の一部が隠されている。ユーザは、コンテンツ画像16の上に指をおき、移動させたい方向に指を動かすことで、コンテンツ画像16を動かすことができる。ユーザによる指の動きは位置情報出力装置22により位置情報として検出されて出力され、動作決定部122は、出力された位置情報から、コンテンツ画像16の動作を決定する。
 図4(b)は、コンテンツ画像16が右方向に移動させられた状態を示す。図4(a)に示す状態で、ユーザがコンテンツ画像16上に指をおき、右方向になぞるようにスライドさせると、動作決定部122が、コンテンツ画像16に対して右方向の力が加わったことを検出して、指のスライド速度から、コンテンツ画像16の右方向への移動速度を決定する。具体的には操作入力受付部128が、位置情報出力装置22から位置情報を受け取り動作決定部122に渡すと、動作決定部122が、時間的に変化する位置情報から、コンテンツ画像の動作を決定する。
 たとえば動作決定部122は、コンテンツ画像16上の指による押圧力から、移動させるコンテンツ画像の枚数を決定してもよい。たとえば、押圧力が所定の閾値P1よりも小さければ、最上層にあるコンテンツ画像16のみを移動させ、押圧力が閾値P1以上、閾値P2(P2>P1)以下であれば、最上層の1つ下層にあるコンテンツ画像18も移動させるようにしてもよい。このようにコンテンツ画像処理部120は、物理演算エンジンを利用することで、実空間における操作感をユーザに提供することができる。
 コンテンツ画像表示部130は、動作決定部122により決定された動作にしたがってコンテンツ画像をディスプレイ24上に表示する。このとき、コンテンツ画像が回転しながら動くこともあるが、コンテンツ画像を静止させるときに、コンテンツ画像の天地が引っ繰り返っていると、ユーザにとって見づらいものとなる。そのため、コンテンツ画像表示部130は、コンテンツ画像を静止させる際、コンテンツ画像の向きを調整する。
 コンテンツ画像表示部130は、各コンテンツ画像の天地(上下)の方向を把握しておく。コンテンツ画像表示部130は、コンテンツ画像の上下方向(上辺から下辺に向かう方向、つまり下向き)のベクトルを監視し、動作決定部122により決定された静止時のコンテンツ画像の上下方向のベクトルが仮想床面の水平方向よりも下向きであれば、調整する必要がなく、一方で、静止時の上下方向のベクトルが仮想床面の水平方向よりも上向きであれば、さらに回転を加えて、下向きとなるように調整する。これにより、全てのコンテンツ画像を、ユーザが見やすい向きに静止させることができ、ユーザがコンテンツ画像を容易に確認できるようにする。
 本実施例のコンテンツ表示アプリケーションによれば、ユーザが軽く電子機器10を動かせば、その動きに応じて、ディスプレイ24に表示される複数のコンテンツ画像を移動させることができる。そのため、複数のコンテンツ画像がランダム配置した表示状態を変更したい場合には、ユーザは軽く電子機器10を動かすことで、複数のコンテンツ画像がさらに散らばった表示状態に変更できる。
 なお、ユーザは歩きながら電子機器10を使用することもあり、電子機器10が完全に静止していることは現実にはない。そのため、動作決定部122は、モーションセンサ30の検出値から電子機器10の加速度成分を監視し、加速度成分が所定値A1を超えた場合に、物理演算エンジンによりコンテンツ画像の動作を決定する。これにより、ユーザがコンテンツ画像を選択しようとしたときに、わずかに手元が動くことにより表示状態が変更される事態を回避でき、使いやすさを向上できる。
 なお上記したように、判定部126が画像切替条件の成立を判定したとき、抽出部124が、新たなコンテンツ画像を記憶部50から読み出して、コンテンツ画像表示部130が入れ替え処理を行う。たとえば、画像切替条件が、電子機器10が所定時間内に3回振られることである場合、ユーザは、電子機器10を振っている間にディスプレイ24を見ることは難しい。そのため、ユーザが6回振った状況を想定すると、3回振られたときに画像を入れ替えても、入れ替えられたコンテンツ画像をユーザは見ることができず、ユーザは、6回振られたときに入れ替えられた画像を見ることになり、最初の入れ替え処理は無駄となる。そのため、コンテンツ画像表示部130は、画像切替条件が成立した後、ユーザによる振る動作が終わったときに、入れ替え処理を行うことが好ましい。また、判定部126は、入れ替え処理の終了後に、ユーザによる振る動作を監視することが好ましい。これにより、ユーザが表示状態を確認できる状況下でのみ入れ替え処理が行われるようになる。たとえば、ディスプレイ24に20枚のコンテンツ画像を表示でき、ユーザが、再生回数が多い順にコンテンツ画像を表示させる場合、このように入れ替え処理を制御することで、ユーザに対して、再生回数が多い順にコンテンツ画像を提示できるようになる。
 コンテンツ画像がディスプレイ24に表示されている場合に、画像切替条件が成立すると、抽出部124は、表示されているコンテンツ画像の数と同数のコンテンツ画像を記憶部50から抽出し、コンテンツ画像表示部130は、抽出された複数のコンテンツ画像を、表示されている全てのコンテンツ画像と入れ替えて表示する。このように、全てのコンテンツ画像を入れ替えることで、ユーザに完全に新たなコンテンツ画像を提示することができる。
 また、コンテンツ画像がディスプレイ24に表示されている場合に、画像切替条件が成立すると、抽出部124は、表示されているコンテンツ画像の数よりも少ない数のコンテンツ画像を記憶部50から抽出し、コンテンツ画像表示部130は、抽出されたコンテンツ画像を、表示されている一部のコンテンツ画像と入れ替えて表示してもよい。このとき、入れ替えの前後で全体のコンテンツ画像の枚数は変えないようにすることが好ましく、したがって、コンテンツ画像表示部130は、抽出したコンテンツ画像の数だけ、表示中のコンテンツ画像を表示対象から外すようにする。全てのコンテンツ画像を入れ替える場合と比較すると、少しずつ表示画像が更新されていくため、ユーザは、入れ替え前の表示との関連を認識しやすくできる。
<メニュー提示用のユーザインタフェース>
 コンテンツ表示アプリケーションにより表示されるコンテンツ画像には、複数のメニュー項目が設定されている。たとえば音楽コンテンツの場合には、メニュー項目として、再生(PLAY)、削除(DELETE)、情報(INFO)などの機能が設定されている。本実施例の電子機器10では、ユーザが、ディスプレイ24に表示されるコンテンツ画像を選択すると、複数のメニュー項目が表示され、そのいずれかのメニュー項目を選択することで、そのメニュー項目の機能が実行される。電子機器10において、メニュー処理部140が、メニュー提示用のユーザインタフェースを提供する。
 ユーザがディスプレイ24に表示されているコンテンツ画像にタッチすると、指示受付部142における第1受付部144が、位置情報出力装置22から位置情報を受け取り、その位置情報がコンテンツ画像の表示位置に一致することを判定することで、表示されたコンテンツ画像の選択指示を受け付ける。第1受付部144が選択指示を受け付けると、メニュー項目表示部148が、選択されたコンテンツ画像に設定された複数のメニュー項目を、コンテンツ画像を取り囲むように表示する。以下、図4(b)に示す音楽コンテンツのコンテンツ画像16が選択されたときのメニューを示すが、他のコンテンツ画像が選択された場合も同様である。
 図5は、選択されたコンテンツ画像を取り囲むように表示された複数のメニュー項目を示す。図示されるように、メニュー項目として、PLAY表示領域60、DELETE表示領域62およびINFO表示領域64がコンテンツ画像の周囲に表示される。なおメニュー項目の背景には、コンテンツ画像表示部130が、それまで表示していた図4(a)、図4(b)などに示す画像をぼかして表示している。
 ユーザは、指でいずれかのメニュー項目を選択すると、第2受付部146が位置情報出力装置22から位置情報を受け取り、その位置情報がメニュー項目の表示位置に一致することを判定することで、表示されたメニュー項目の選択指示を受け付ける。たとえば、ユーザがPLAY表示領域60をタッチすると、第2受付部146は、音楽コンテンツのPLAY機能が選択されたことを認識し、その選択指示を機能実行部180に伝達する。機能実行部180は、選択されたメニュー項目の機能を実行し、これにより、音楽コンテンツが再生される。なお、DELETE表示領域62が選択されると、機能実行部180は、その音楽コンテンツを記憶部50から削除し、またINFO表示領域64が選択されると、機能実行部180は、コンテンツ情報を表示する。
 図5に示すユーザインタフェースでは、コンテンツ画像を中心として、複数のメニュー項目を、所定幅をもつ1つの円上に表示する。各メニュー項目は、コンテンツ画像を中心として、同一の角度範囲の円弧状の領域に表示される。たとえば、3つのメニュー項目を表示する場合には、各メニュー項目の表示領域は、約120°(=360°/3)の角度範囲に設定され、4つのメニュー項目を表示する場合には、約90°(=360°/4)の角度範囲に設定される。各表示領域は、同じ形状とする。複数のメニュー項目が同一円上に表示されることで、コンテンツ画像から各メニュー項目までの距離は等しく設定できる。
 従来より、メニュー項目の提示方式として、プルダウンメニューが一般に用いられている。プルダウンメニューは、1つのウィンドウ内にメニュー項目をリスト化しているため、見やすさという点で優れているが、たとえばディスプレイ24の小さい携帯端末装置などでは誤操作しやすいという欠点もある。特に、小画面のタッチパネルで指操作させる場合には、各メニュー項目が近接するため、特に誤操作は発生しやすくなる。
 一方で、図5に示すユーザインタフェースによると、複数のメニュー項目がコンテンツ画像を取り囲むように表示されるため、ユーザは、コンテンツ画像を中心として、選択したいメニュー項目の方向に指を動かせばよいので、誤操作が発生しにくくなる。なお、スタイラスペンで操作する場合も同様であり、プルダウンメニューで操作する場合と比較すると、操作性およびデザイン性の優れたユーザインタフェースを実現できる。
 なお、メニュー項目に対して、さらにサブメニュー項目を設定することも可能である。この場合、ユーザがメニュー項目を選択すると、そのメニュー項目を中心に、複数のサブメニュー項目が表示されるようになる。コンテンツ画像に設定されている機能が多数ある場合には、メニュー項目表示部148は、1度に全てのメニュー項目を表示するのではなく、たとえばサブメニュー項目を設けて、数回に分けて階層的にメニューを表示することで、所望の機能を実行するまでに提示する情報量を低減することが可能となる。
 本実施例のメニュー処理部140は、ユーザに、2通りのメニュー項目の選択方法を提供する。第1の選択方法では、ユーザがコンテンツ画像をタッチすると、第1受付部144がコンテンツ画像のタッチ操作を選択指示として受け付け、メニュー項目表示部148が、コンテンツ画像を中心とする円上に、複数のメニュー項目を表示する。ユーザは、タッチパネル20に指をタッチした状態を維持しながら指をメニュー項目まで移動して、指を離したときに、第2受付部146が、指を離した操作をメニュー項目の選択指示として受け付ける。つまり、コンテンツ画像にタッチする操作を、コンテンツ画像の選択指示として利用し、タッチパネル20へのタッチ状態を維持しつつ、メニュー項目の表示領域で指を離す操作(タッチ状態を解除する操作)を、メニュー項目の選択指示として利用する。これが、第1のメニュー項目の選択方法である。
 第2の選択方法では、ユーザがコンテンツ画像をタップすると、第1受付部144がコンテンツ画像のタップ操作を選択指示として受け付け、メニュー項目表示部148が、コンテンツ画像を中心とする円上に、複数のメニュー項目を表示する。ユーザが、表示されたメニュー項目をタップすると、第2受付部146が、このタップ操作をメニュー項目の選択指示として受け付ける。つまり、コンテンツ画像をタップする操作を、コンテンツ画像の選択指示として利用し、メニュー項目の表示領域をタップする操作を、メニュー項目の選択指示として利用する。これが、第2のメニュー項目の選択方法である。
 第2の選択方法におけるコンテンツ画像のタップ操作は、タッチパネル20に表示されるコンテンツ画像を軽く叩く操作であり、タッチ操作の1種であるが、第1の選択方法におけるコンテンツ画像のタッチ操作は、コンテンツ画像をタッチした後も、そのタッチ状態を維持する点で相違する。指示受付部142は、この2つの選択方法による指示を適切に受け付け、メニュー項目表示部148がメニュー項目を表示できるようにする。
 まず第1受付部144は、コンテンツ画像へのタッチ操作を受け付けると、そのタッチ時間が所定時間T1より短いか否かを判定する。所定時間T1は、たとえば0.3秒程度の時間であり、タッチ時間が時間T1よりも短ければ、そのタッチ操作がタップ操作であって、第2の選択方法による選択指示であることを特定する。第1受付部144は、メニュー項目表示部148に対してコンテンツ画像の選択指示がなされたことを伝達するとともに、第2受付部146に対して、第2の選択方法による選択指示を監視すべきであることを伝える。これにより第2受付部146は、メニュー項目の表示領域へのタップ操作を、メニュー項目の選択指示として受け付けることができるようになる。
 一方で、タッチ時間が時間T1よりも長ければ、第1受付部144は、第1の選択方法による選択指示であることを特定する。第1受付部144は、メニュー項目表示部148に対してコンテンツ画像の選択指示がなされたことを伝達するとともに、第2受付部146に対して、第1の選択方法による選択指示を監視すべきであることを伝える。これにより第2受付部146は、タッチ状態が継続されつつ、指がメニュー項目の表示領域に移動され、その表示領域で指が離される操作が行われたことを、メニュー項目の選択指示として受け付けることができるようになる。
 このように、メニュー処理部140は、2タイプのメニュー項目の選択方法をユーザに提供することで、ユーザは、自分の好みに応じた操作で、メニュー項目を選択できるようになる。また第1受付部144が、タッチ時間によって、いずれの選択方法で選択指示が入力されたかを特定することで、ユーザは、電子機器10における処理を意識することなく、メニュー項目を選択することができる。
 図6(a)は、指でコンテンツ画像をタッチしたときに表示されるメニュー項目を示す。第1の選択方法によりメニュー項目を選択する場合、コンテンツ画像をタッチした指は、複数のメニュー項目が表示されると、メニュー項目の一部を隠すことになる。図6(a)では、DELETE表示領域62、INFO表示領域64は表示されるものの、PLAY表示領域60の一部が隠されている。各表示領域には、割り当てられた機能を表現するための文字が記載されているが、PLAY表示領域60については、その文字を読み取ることができない。そこでメニュー項目表示部148は、複数のメニュー項目を表示すると、コンテンツ画像を中心として、メニュー項目を回転させる。
 図6(b)は、メニュー項目が回転されている様子を示す。メニュー項目表示部148は、たとえば5~10秒で1回転するように、複数のメニュー項目を回転させる。図示の例では時計回りに回転しているが、反時計回りであってもよい。図6(a)では指で隠されていたPLAY表示領域60が、回転することで視認できるようになる。これによりユーザは、PLAY表示領域60に描かれている文字(PLAY)を確認して、指をタッチパネル20に接触させたままPLAY表示領域60まで容易にずらすことができる。図6(c)は、指をPLAY表示領域60にずらした様子を示す。図6(c)に示す状態からユーザが指をタッチパネル20から離すと、第2受付部146がメニュー項目の選択指示を受け付ける。
 なお、メニュー項目表示部148は、指がコンテンツ画像から動き始める(スライドし始める)と、メニュー項目の回転を停止してもよい。メニュー項目表示部148は、位置情報出力装置22から出力される位置情報を参照することで、指がコンテンツ画像から動いたことを検出して、回転を停止する。これにより指の行き先が定まるため、ユーザは容易に表示領域まで指をスライドできる。なお、メニュー項目表示部148は、指が表示領域まで移動した時点で、回転を停止してもよい。これにより、指を離す前に、指下の表示領域が別の表示領域に変わるような事態を回避できる。
 メニュー項目表示部148は、第1の選択方法の場合だけでなく、第2の選択方法においても、メニュー項目を回転させてよい。メニューを回転させることで、よりユーザの注意をメニューに向けさせることができ、ユーザの選択操作を促す効果が期待できる。
 以上は、メニュー項目表示部148が、3つのメニュー項目を表示させる例を示したが、別の個数のメニュー項目を表示させる例を以下に示す。メニュー項目表示部148は、第1受付部144から、選択されたコンテンツ画像を通知されると、選択されたコンテンツ画像に対して設定されているメニュー項目の個数に応じて、動的にメニュー項目選択のユーザインタフェースを作成する。具体的にメニュー項目表示部148は、選択されたコンテンツ画像に設定されたメニュー項目の個数に応じて、メニュー項目の表示領域の大きさを定める。
 図7(a)は、2つのメニュー項目の表示例を示し、図7(b)は、4つのメニュー項目の表示例を示す。2つのメニュー項目を表示する場合は、所定幅をもつ一つの円が2つに分割されて表示領域が形成され、4つのメニュー項目を表示する場合は、所定幅をもつ一つの円が4つに分割されて表示領域が形成される。
 図7(c)は、6つのメニュー項目の表示例を示す。図示されるように、この表示例では、コンテンツ画像を中心として、2つの円(つまり、小円と大円)のそれぞれが3つに分割されて表示領域が形成される。メニュー項目表示部148は、メニュー項目数が所定数以上(たとえば6以上)になると、円の数を増やして、表示領域を二列で形成する。たとえばメニュー項目数が15の場合に、一つの円に15個の表示領域を形成すると、誤操作が生じやすくなることが想定される。そこで、一つの円に形成できる表示領域の数に上限を設けて、高い操作性を維持することが好ましい。なお、複数の表示領域は、同心円上に形成されることになるが、内側の円よりも外側の円の方が、形成できる表示領域の上限数を多くすることが好ましい。また、2以上の円上に複数の表示領域を配置するときには、内側の円に配置する表示領域の数は、外側の円に配置する表示領域の数以下となるようにする。
 メニュー項目表示部148は、各メニュー項目が選択された回数をカウントし、保持しておいてもよい。メニュー項目表示部148は、カウント数の多いメニュー項目、すなわち選択頻度の高いメニュー項目を、内周側から配置する。これにより、選択頻度の高いメニュー項目は、操作性のよい内周に配置されることで、ユーザの誤操作の可能性を低減できる。
 なお、回転時には、一列目(内側の円)と二列目(外側の円)とで、回転方向を逆にしてもよい。これにより、デザイン性の優れたユーザインタフェースを実現できる。
 図6(c)に戻って、メニュー項目表示部148は、コンテンツ画像16に対して、メニュー項目の選択指示がなされたとき、その表示状態を次回のメニュー表示のために保持してもよい。たとえばPLAY表示領域60が選択されて、再生機能が実行される場合、ユーザは、次の機会においても、このコンテンツに対して同じ再生機能を実行させることが多いと考えられる。したがって、そのような場合には、メニュー項目の表示を開始した時点で、PLAY表示領域60が選択しやすい位置に表示されることが好ましく、たとえば、図6(a)のように指で隠れる位置に表示されることは好ましくない。
 そこでメニュー項目表示部148は、コンテンツ画像の機能が選択されたときに、そのときのメニュー項目の配置を記憶しておいて、次にコンテンツ画像が選択されたときに、その記憶した配置を最初にユーザに提示することが好ましい。これにより、ユーザはメニュー項目の回転を待つことなく、即座に所望のメニュー項目を選択できるようになる。
 なお、メニュー項目表示部148は、コンテンツ画像ごとではなく、コンテンツの種類ごとに、メニュー項目の配置を記憶してもよい。たとえば、音楽コンテンツであれば、コンテンツ画像の機能が選択されたときのメニュー項目の配置を保持し、別のコンテンツ画像が選択された場合にも、前回のコンテンツ画像の機能が選択されたときのメニュー項目の配置で提示してもよい。
 本実施例のメニュー提示用のユーザインタフェースは、選択されたコンテンツ画像を取り囲むようにメニュー項目を表示する。そのため、コンテンツ画像の位置によっては、表示領域を構成する円がディスプレイ24からはみ出ることがある。図8(a)は、表示領域の一部がディスプレイ24からはみ出る様子を示す。はみ出た部分については、点線で表現している。
 メニュー項目表示部148は、第1受付部144がコンテンツ画像の選択指示を受け付けると、表示しようとするメニュー項目の表示領域がディスプレイ24中に表示できるか否かを判定する。まずメニュー項目表示部148は、コンテンツ画像に設定されているメニュー項目の数を参照して、メニュー項目の表示領域の外周を特定する。具体的には、メニュー項目の数から、いくつの円が必要か決定することで、コンテンツ画像の中心からの半径を特定する。メニュー項目表示部148は、コンテンツ画像の中心座標と、外周半径とから、メニュー項目の表示領域の全てがディスプレイ24に表示できるか判定する。表示領域の全てがディスプレイ24に表示できると判定した場合、図5や図7に示すメニュー項目を表示する。
 一方で、表示領域の一部がディスプレイ24に表示できないと判定した場合、メニュー項目表示部148は、円弧により表示領域を生成する。図8(b)は、円弧上に生成した表示領域を示す。表示領域には、高い操作性を維持するために、予め最小面積が設定されている。メニュー項目表示部148は、表示領域の最小面積を把握しており、各表示領域が最小面積以上となるように、円弧の数を決定し、表示領域を設定することが好ましい。なお、コンテンツ画像に一番近い円弧、すなわち内側の円弧には、最も選択頻度の高いメニュー項目を配置することが好ましい。
 なお、位置情報出力装置22が、静電容量方式で入力を検出する場合、指がタッチパネル20に近づくだけで静電結合が生じる。上記した実施例では、第1受付部144が、コンテンツ画像の選択指示を、タッチ操作により受け付けていたが、指をタッチパネル20に近づけたときに生じる静電容量の変化により、選択指示を受け付けるようにしてもよい。
<グルーピング用のユーザインタフェース>
 以上、1つのコンテンツ画像に設定されている機能を実行する例を示したが、たとえば音楽を再生する場合には、複数曲をまとめて再生するニーズが存在する。そこで、本実施例の電子機器10において、領域処理部160が、コンテンツを簡易にグループ化できるユーザインタフェースを提供する。
 図9(a)は、複数のコンテンツ画像をディスプレイ24中に配置した状態を示す。ここでユーザは、グルーピングしたい複数のコンテンツ画像16、70、72、74を、画面右側に寄せている。この状態で、ユーザが、複数のコンテンツ画像16、70、72、74を取り囲むように、タッチパネル20上を指でなぞる。ライン入力受付部162は、位置情報出力装置22から出力される位置情報を受け付けている。
 ライン入力受付部162は、時間的に連続して位置情報を受け付け、その受け付けた位置情報で特定される位置(つまり指がなぞった位置)に所定色を表示する。これにより、ディスプレイ24には、連続した所定色の自由曲線が表示される。領域設定部164は、ライン入力受付部162で時間的に連続して受け付けた位置情報により閉領域または実質的に閉じた領域が形成されたことを特定すると、その領域を、選択領域として設定する。
 図9(b)は、閉曲線80が描かれた様子を示す。領域設定部164は、時間的に連続して受け付けた位置情報から、描かれた曲線が閉曲線80であるか判定する。閉曲線であるか否かは、曲線の先頭が、既に描いた曲線と交差するか否かで判定される。また交差しない場合であっても、曲線の先頭が、既に描いた曲線に非常に近づいている場合には、実質的に閉じた領域であることを判定する。コンテンツ画像特定部166は、選択領域に含まれるコンテンツ画像16、70、72、74を特定し、グループ化する。グループ化したコンテンツ画像は、共通の機能を実行される。音楽コンテンツであれば、グループ化されたコンテンツは、プレイリストとして活用され、機能実行部180により順番に再生される。
 閉曲線80により囲まれる選択領域82は、ある意味、1つのコンテンツとして取り扱われる。つまり、ユーザが選択領域82をタッチすると、メニュー処理部140がメニュー項目を表示し、ユーザがメニュー項目を選択すると、機能実行部180が、グループ化されたコンテンツ画像に共通に設定されている機能を実行する。なおコンテンツ画像特定部166は、コンテンツ画像の全体が選択領域82に入っていることをグループ化する条件としなくてもよく、コンテンツ画像の一部、たとえばコンテンツ画像の半分以上が選択領域82に入っていれば、グループとしてまとめてよい。
 領域設定部164が選択領域82を設定すると、その設定が解除されるまで、選択領域82は、グループ化のための領域として利用される。すなわち、ユーザが新たなコンテンツ画像を動かして、選択領域82に含まれるようにすると、そのコンテンツ画像はグループに追加され、既に選択領域82に含まれているコンテンツ画像を選択領域82の外に動かすと、そのコンテンツ画像はグループから除外される。このように、タッチパネル20の直観的な操作性を利用して、ユーザが描いた閉曲線80を選択領域として利用することで、コンテンツのグルーピングを容易に実現できるようになる。
 なおコンテンツ画像特定部166は、選択領域82に含まれるコンテンツ画像の表示態様を、元の表示態様から変更してもよい。たとえば、コンテンツ画像の色を変えてもよく、また所定のマークを付与してもよい。これにより、選択領域82に含まれているか否かの情報をユーザに提供できるようになる。
 以上、本発明を実施例をもとに説明した。この実施例は例示であり、それらの各構成要素や各処理プロセスの組合せにいろいろな変形例が可能なこと、またそうした変形例も本発明の範囲にあることは当業者に理解されるところである。
10・・・電子機器、20・・・タッチパネル、22・・・位置情報出力装置、24・・・ディスプレイ、30・・・モーションセンサ、50・・・記憶部、60・・・PLAY表示領域、62・・・DELETE表示領域、64・・・INFO表示領域、80・・・閉曲線、82・・・選択領域、100・・・処理部、120・・・コンテンツ画像処理部、122・・・動作決定部、124・・・抽出部、126・・・判定部、128・・・操作入力受付部、130・・・コンテンツ画像表示部、140・・・メニュー処理部、142・・・指示受付部、144・・・第1受付部、146・・・第2受付部、148・・・メニュー項目表示部、160・・・領域処理部、162・・・ライン入力受付部、164・・・領域設定部、166・・・コンテンツ画像特定部、180・・・機能実行部。
 本発明は、情報処理技術の分野に利用できる。

Claims (21)

  1.  ディスプレイを備えた電子機器であって、
     コンテンツ画像をディスプレイに表示する第1表示部と、
     表示されたコンテンツ画像の選択指示を受け付ける第1受付部と、
     選択されたコンテンツ画像に設定された複数のメニュー項目を、コンテンツ画像を取り囲むように表示する第2表示部と、
     表示されたメニュー項目の選択指示を受け付ける第2受付部と、
     選択されたメニュー項目の機能を実行する実行部と、
     を備えることを特徴とする電子機器。
  2.  ディスプレイは、タッチパネルとして構成されていることを特徴とする請求項1に記載の電子機器。
  3.  前記第2表示部は、複数のメニュー項目を、一つの円上に配置することを特徴とする請求項1または2に記載の電子機器。
  4.  前記第2表示部は、複数のメニュー項目を、コンテンツ画像を中心として回転させることを特徴とする請求項1から3のいずれかに記載の電子機器。
  5.  前記第2表示部は、選択されたコンテンツ画像に設定されたメニュー項目の数に応じて、メニュー項目の表示領域の大きさを定めることを特徴とする請求項1から4のいずれかに記載の電子機器。
  6.  コンテンツ画像をディスプレイに表示するステップと、
     表示されたコンテンツ画像の選択指示を受け付けるステップと、
     選択されたコンテンツ画像に設定された複数のメニュー項目を、コンテンツ画像を中心として回転させて表示するステップと、
     を含むことを特徴とするメニュー表示方法。
  7.  コンピュータに、
     コンテンツ画像をディスプレイに表示する機能と、
     表示されたコンテンツ画像の選択指示を受け付ける機能と、
     選択されたコンテンツ画像に設定された複数のメニュー項目を、コンテンツ画像を中心として回転させて表示する機能と、
     を実現させるためのプログラム。
  8.  ディスプレイを備えた電子機器であって、
     電子機器の動きを検出するセンサと、
     複数のコンテンツ画像を格納する記憶部と、
     前記センサの検出値から、電子機器が所定の動きを行ったか判定する判定部と、
     電子機器が所定の動きを行った場合に、前記記憶部から複数のコンテンツ画像を抽出する抽出部と、
     抽出された複数のコンテンツ画像をディスプレイに表示する表示部と、
     を備えることを特徴とする電子機器。
  9.  前記センサの検出値に応じて、ディスプレイに表示されるコンテンツ画像の動作を決定する動作決定部を、さらに備え、
     前記表示部は、決定された動作で、コンテンツ画像を表示することを特徴とする請求項8に記載の電子機器。
  10.  前記抽出部は、前記記憶部から所定数のコンテンツ画像を抽出することを特徴とする請求項8または9に記載の電子機器。
  11.  前記表示部により複数のコンテンツ画像がディスプレイに表示されている場合に、前記抽出部は、表示されているコンテンツ画像の数と同数のコンテンツ画像を前記記憶部から抽出し、
     前記表示部は、前記抽出部により抽出された複数のコンテンツ画像を、表示されている全てのコンテンツ画像と入れ替えて表示することを特徴とする請求項8から10のいずれかに記載の電子機器。
  12.  前記表示部により複数のコンテンツ画像がディスプレイに表示されている場合に、前記抽出部は、表示されているコンテンツ画像の数よりも少ない数のコンテンツ画像を前記記憶部から抽出し、
     前記表示部は、前記抽出部により抽出されたコンテンツ画像を、表示されている一部のコンテンツ画像と入れ替えて表示することを特徴とする請求項8から10のいずれかに記載の電子機器。
  13.  電子機器の動きを検出するセンサの検出値から、電子機器が所定の動きを行ったか判定するステップと、
     電子機器が所定の動きを行った場合に、複数のコンテンツ画像を格納する記憶部から複数のコンテンツ画像を抽出するステップと、
     抽出された複数のコンテンツ画像をディスプレイに表示するステップと、
     センサの検出値に応じて、ディスプレイに表示されるコンテンツ画像のそれぞれの動作を決定するステップと、
     決定された動作で、複数のコンテンツ画像を移動させて表示するステップと、
     を含むことを特徴とするコンテンツ画像表示方法。
  14.  電子機器に搭載されるコンピュータに、
     電子機器の動きを検出するセンサの検出値から、電子機器が所定の動きを行ったか判定する機能と、
     電子機器が所定の動きを行った場合に、複数のコンテンツ画像を格納する記憶部から複数のコンテンツ画像を抽出する機能と、
     抽出された複数のコンテンツ画像をディスプレイに表示する機能と、
     センサの検出値に応じて、ディスプレイに表示されるコンテンツ画像のそれぞれの動作を決定する機能と、
     決定された動作で、複数のコンテンツ画像を移動させて表示する機能と、
     を実現させるためのプログラム。
  15.  ディスプレイと、ディスプレイ上のタッチ位置を特定する位置情報を出力する位置情報出力装置とを備えたタッチパネルと、
     1つまたは複数のコンテンツ画像をディスプレイに表示する第1表示部と、
     前記位置情報出力装置から出力される位置情報を受け付ける受付部と、
     前記受付部で時間的に連続して受け付けた位置情報により閉領域または実質的に閉じた領域が形成されると、その領域を、選択領域として設定する設定部と、
     選択領域に含まれるコンテンツ画像を特定する特定部と、
     特定されたコンテンツ画像に設定されている機能を実行する実行部と、
     を備えることを特徴とする電子機器。
  16.  前記特定部は、特定した1つまたは複数のコンテンツ画像をグループとしてまとめ、
     前記実行部は、グループを構成するコンテンツ画像に共通に設定されている機能を実行することを特徴とする請求項15に記載の電子機器。
  17.  前記特定部は、新たなコンテンツ画像が選択領域に含まれるようになると、そのコンテンツ画像をグループに加え、一方で、選択領域に含まれているコンテンツ画像が選択領域の外に出されると、そのコンテンツ画像をグループから除外することを特徴とする請求項15または16に記載の電子機器。
  18.  前記特定部は、選択領域に含まれるコンテンツ画像の表示態様を変更することを特徴とする請求項15から17のいずれかに記載の電子機器。
  19.  1つまたは複数のコンテンツ画像をディスプレイに表示するステップと、
     ディスプレイ上のタッチ位置を特定する位置情報を受け付けるステップと、
     時間的に連続して受け付けた位置情報により閉領域または実質的に閉じた領域が形成されると、その領域を、選択領域として設定するステップと、
     選択領域に含まれるコンテンツ画像を特定するステップと、
     特定されたコンテンツ画像に設定されている機能を実行するステップと、
     を含むことを特徴とする機能実行方法。
  20.  コンピュータに、
     1つまたは複数のコンテンツ画像をディスプレイに表示する機能と、
     ディスプレイ上のタッチ位置を特定する位置情報を受け付ける機能と、
     時間的に連続して受け付けた位置情報により閉領域または実質的に閉じた領域が形成されると、その領域を、選択領域として設定する機能と、
     選択領域に含まれるコンテンツ画像を特定するステップと、
     特定されたコンテンツ画像に設定されている機能を実行する機能と、
     を実現させるためのプログラム。
  21.  請求項7、14、20のいずれかに記載のプログラムを記録したコンピュータ読取可能な記録媒体。
PCT/JP2010/006701 2010-11-15 2010-11-15 電子機器、メニュー表示方法、コンテンツ画像表示方法、機能実行方法 WO2012066591A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
PCT/JP2010/006701 WO2012066591A1 (ja) 2010-11-15 2010-11-15 電子機器、メニュー表示方法、コンテンツ画像表示方法、機能実行方法
US13/798,521 US20130191784A1 (en) 2010-11-15 2013-03-13 Electronic device, menu displaying method, content image displaying method and function execution method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2010/006701 WO2012066591A1 (ja) 2010-11-15 2010-11-15 電子機器、メニュー表示方法、コンテンツ画像表示方法、機能実行方法

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US13/798,521 Continuation US20130191784A1 (en) 2010-11-15 2013-03-13 Electronic device, menu displaying method, content image displaying method and function execution method

Publications (1)

Publication Number Publication Date
WO2012066591A1 true WO2012066591A1 (ja) 2012-05-24

Family

ID=46083565

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2010/006701 WO2012066591A1 (ja) 2010-11-15 2010-11-15 電子機器、メニュー表示方法、コンテンツ画像表示方法、機能実行方法

Country Status (2)

Country Link
US (1) US20130191784A1 (ja)
WO (1) WO2012066591A1 (ja)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2703982A3 (en) * 2012-08-27 2015-03-25 Samsung Electronics Co., Ltd Touch sensitive device and method of touch-based manipulation for contents
JP2015076008A (ja) * 2013-10-10 2015-04-20 富士通株式会社 端末装置、機能表示起動方法、及び機能表示起動プログラム
EP2859433A4 (en) * 2012-06-11 2016-01-27 Intel Corp TECHNIQUES FOR SELECTING-MAINTAINING-RELEASING A NAVIGATION MENU SYSTEM OF AN ELECTRONIC DEVICE
JP2016031744A (ja) * 2014-07-30 2016-03-07 シャープ株式会社 コンテンツ表示装置及び表示方法
JP2016511471A (ja) * 2013-02-22 2016-04-14 サムスン エレクトロニクス カンパニー リミテッド 携帯端末に対する動作関連入力によって複数個のオブジェクトの表示を制御する方法及び携帯端末
CN110633035A (zh) * 2019-09-25 2019-12-31 深圳市闪联信息技术有限公司 一种动态悬浮菜单的实现方法和装置
JP2020072788A (ja) * 2014-04-04 2020-05-14 株式会社コロプラ ユーザインターフェースプログラムおよびゲームプログラム

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140281991A1 (en) * 2013-03-18 2014-09-18 Avermedia Technologies, Inc. User interface, control system, and operation method of control system
USD740833S1 (en) * 2013-04-24 2015-10-13 Samsung Electronics Co., Ltd. Display screen or portion thereof with graphical user interface
CN104423827A (zh) * 2013-09-09 2015-03-18 联想(北京)有限公司 一种信息处理方法及电子设备
US20150121254A1 (en) * 2013-10-24 2015-04-30 Food Feedback, Inc. Food feedback interface systems and methods
CN105224349B (zh) * 2014-06-12 2022-03-11 小米科技有限责任公司 应用程序的删除提示方法和装置
CN105094346B (zh) * 2015-09-29 2018-09-25 腾讯科技(深圳)有限公司 一种信息处理方法、终端及计算机存储介质
US20180090027A1 (en) * 2016-09-23 2018-03-29 Apple Inc. Interactive tutorial support for input options at computing devices
CN106648329A (zh) * 2016-12-30 2017-05-10 维沃移动通信有限公司 一种应用图标的显示方法及移动终端
US20200159394A1 (en) * 2018-11-15 2020-05-21 Spintura, Inc. Electronic Picture Carousel

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000284879A (ja) * 1999-01-29 2000-10-13 Square Co Ltd ゲーム装置、ビデオゲームにおけるコマンド入力方法、及び、その方法を実現するためのプログラムを記録したコンピュータ読み取り可能な記録媒体
JP2001356878A (ja) * 2000-06-14 2001-12-26 Hitachi Ltd アイコン制御方法
JP2005107963A (ja) * 2003-09-30 2005-04-21 Canon Inc 三次元cg操作方法および装置
JP2006087049A (ja) * 2004-09-17 2006-03-30 Canon Inc 撮像装置、撮像装置の制御方法及びコンピュータプログラム

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5721853A (en) * 1995-04-28 1998-02-24 Ast Research, Inc. Spot graphic display element with open locking and periodic animation
US7246329B1 (en) * 2001-05-18 2007-07-17 Autodesk, Inc. Multiple menus for use with a graphical user interface
US7242387B2 (en) * 2002-10-18 2007-07-10 Autodesk, Inc. Pen-mouse system
KR20070006477A (ko) * 2005-07-08 2007-01-11 삼성전자주식회사 가변적 메뉴 배열 방법 및 이를 이용한 디스플레이 장치
EP1860534A1 (en) * 2006-05-22 2007-11-28 LG Electronics Inc. Mobile terminal and menu display method thereof
KR100973354B1 (ko) * 2008-01-11 2010-07-30 성균관대학교산학협력단 메뉴 유저 인터페이스 제공 장치 및 방법
KR101526965B1 (ko) * 2008-02-29 2015-06-11 엘지전자 주식회사 단말기 및 그 제어 방법
JP4618346B2 (ja) * 2008-08-07 2011-01-26 ソニー株式会社 情報処理装置および情報処理方法
US8402391B1 (en) * 2008-09-25 2013-03-19 Apple, Inc. Collaboration system
US8321802B2 (en) * 2008-11-13 2012-11-27 Qualcomm Incorporated Method and system for context dependent pop-up menus
US20100138784A1 (en) * 2008-11-28 2010-06-03 Nokia Corporation Multitasking views for small screen devices
US9015627B2 (en) * 2009-03-30 2015-04-21 Sony Corporation User interface for digital photo frame
KR101537706B1 (ko) * 2009-04-16 2015-07-20 엘지전자 주식회사 이동 단말기 및 그 제어 방법
US8601389B2 (en) * 2009-04-30 2013-12-03 Apple Inc. Scrollable menus and toolbars

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000284879A (ja) * 1999-01-29 2000-10-13 Square Co Ltd ゲーム装置、ビデオゲームにおけるコマンド入力方法、及び、その方法を実現するためのプログラムを記録したコンピュータ読み取り可能な記録媒体
JP2001356878A (ja) * 2000-06-14 2001-12-26 Hitachi Ltd アイコン制御方法
JP2005107963A (ja) * 2003-09-30 2005-04-21 Canon Inc 三次元cg操作方法および装置
JP2006087049A (ja) * 2004-09-17 2006-03-30 Canon Inc 撮像装置、撮像装置の制御方法及びコンピュータプログラム

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2859433A4 (en) * 2012-06-11 2016-01-27 Intel Corp TECHNIQUES FOR SELECTING-MAINTAINING-RELEASING A NAVIGATION MENU SYSTEM OF AN ELECTRONIC DEVICE
EP2703982A3 (en) * 2012-08-27 2015-03-25 Samsung Electronics Co., Ltd Touch sensitive device and method of touch-based manipulation for contents
US9898111B2 (en) 2012-08-27 2018-02-20 Samsung Electronics Co., Ltd. Touch sensitive device and method of touch-based manipulation for contents
JP2016511471A (ja) * 2013-02-22 2016-04-14 サムスン エレクトロニクス カンパニー リミテッド 携帯端末に対する動作関連入力によって複数個のオブジェクトの表示を制御する方法及び携帯端末
US10775896B2 (en) 2013-02-22 2020-09-15 Samsung Electronics Co., Ltd. Method for controlling display of multiple objects depending on input related to operation of mobile terminal, and mobile terminal therefor
JP2015076008A (ja) * 2013-10-10 2015-04-20 富士通株式会社 端末装置、機能表示起動方法、及び機能表示起動プログラム
JP2020072788A (ja) * 2014-04-04 2020-05-14 株式会社コロプラ ユーザインターフェースプログラムおよびゲームプログラム
JP2020116425A (ja) * 2014-04-04 2020-08-06 株式会社コロプラ ユーザインターフェースプログラムおよびゲームプログラム
JP2022000769A (ja) * 2014-04-04 2022-01-04 株式会社コロプラ ユーザインターフェースプログラムおよびゲームプログラム
JP7174820B2 (ja) 2014-04-04 2022-11-17 株式会社コロプラ ユーザインターフェースプログラムおよびゲームプログラム
JP2016031744A (ja) * 2014-07-30 2016-03-07 シャープ株式会社 コンテンツ表示装置及び表示方法
CN110633035A (zh) * 2019-09-25 2019-12-31 深圳市闪联信息技术有限公司 一种动态悬浮菜单的实现方法和装置

Also Published As

Publication number Publication date
US20130191784A1 (en) 2013-07-25

Similar Documents

Publication Publication Date Title
WO2012066591A1 (ja) 電子機器、メニュー表示方法、コンテンツ画像表示方法、機能実行方法
US9519402B2 (en) Screen display method in mobile terminal and mobile terminal using the method
KR101354614B1 (ko) 입력장치, 정보처리장치 및 입력값 취득방법
KR101544364B1 (ko) 듀얼 터치 스크린을 구비한 휴대 단말기 및 그 컨텐츠 제어방법
JP5460679B2 (ja) 情報処理装置、情報処理方法、およびコンテンツファイルのデータ構造
US9804766B2 (en) Electronic device and method of displaying playlist thereof
JP5647968B2 (ja) 情報処理装置および情報処理方法
US20140189506A1 (en) Systems And Methods For Interpreting Physical Interactions With A Graphical User Interface
US9280265B2 (en) Input control device, input control method, and input control program for controlling display target upon receiving input on display screen of display device
US20120066648A1 (en) Move and turn touch screen interface for manipulating objects in a 3d scene
US20110283212A1 (en) User Interface
JP2016154018A (ja) グラフィカルユーザインターフェースとの物理的相互作用を解釈するためのシステムと方法
US20130100051A1 (en) Input control device, input control method, and input control program for controlling display target upon receiving input on display screen of display device
JP2012168931A (ja) 入力装置、情報処理装置および入力値取得方法
KR20090040462A (ko) 이미지 기반 브라우징을 이용하는 미디어 재생기
JP2013097563A (ja) 入力制御装置、入力制御方法、及び入力制御プログラム
US11627360B2 (en) Methods, systems, and media for object grouping and manipulation in immersive environments
US20130100050A1 (en) Input control device, input control method, and input control program for controlling display target upon receiving input on display screen of display device
JP2014530417A (ja) ユーザインタフェース要素を操作する装置、方法及びコンピュータ読み取り可能な記憶媒体
US20140075391A1 (en) Display control device, display control system, storing medium, and display method

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 10859844

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 10859844

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: JP