WO2023157241A1 - システム、ポータブル電子機器、処理方法、およびプログラム - Google Patents

システム、ポータブル電子機器、処理方法、およびプログラム Download PDF

Info

Publication number
WO2023157241A1
WO2023157241A1 PCT/JP2022/006690 JP2022006690W WO2023157241A1 WO 2023157241 A1 WO2023157241 A1 WO 2023157241A1 JP 2022006690 W JP2022006690 W JP 2022006690W WO 2023157241 A1 WO2023157241 A1 WO 2023157241A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
controller
display
output
antenna elements
Prior art date
Application number
PCT/JP2022/006690
Other languages
English (en)
French (fr)
Inventor
充 片山
博是 竹内
悠太 藤田
喜崇 中野
圭介 瀬古
達也 味水
Original Assignee
任天堂株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 任天堂株式会社 filed Critical 任天堂株式会社
Priority to PCT/JP2022/006690 priority Critical patent/WO2023157241A1/ja
Publication of WO2023157241A1 publication Critical patent/WO2023157241A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer

Definitions

  • the present disclosure relates to systems, portable electronic devices, processing methods, and programs.
  • the purpose is to further improve operability and/or interest compared to the above known devices.
  • a system includes a portable electronic device including a display and an interface for outputting an image to an external display different from the display, a controller that receives user operations, and an image that responds to user operations on the controller. and a measuring unit for measuring the direction in which the controller is present relative to the portable electronic device.
  • the processing unit generates an image based on the measured orientation if the image is output to a display, and an image based on the measured orientation if the image is output to an external display. Restrict.
  • the controller may transmit wireless signals according to user operations.
  • the measurement unit may calculate the direction in which the controller is located based on the phase difference that occurs when radio signals are received by a plurality of antenna elements arranged at distant positions. According to this configuration, it is possible to measure the direction in which the controller is located by using radio signals (including, for example, user operation information) exchanged between the portable electronic device and the controller, thereby reducing costs. , direction measurement can be realized.
  • the measurement unit may disable the measurement in the direction in which the controller is present when the image is output to the external display. If the image is to be output to an external display, the orientation measurement itself is not required, as it limits the generation of images based on the measured orientation. By disabling direction measurement, it is possible to suppress unnecessary increases in processing resources and communication bandwidth required for direction measurement.
  • the processing unit may not restrict generation of the image based on the measured direction when a predetermined condition is met. For example, conditions can be employed to ensure that the measured orientation reflects the orientation in which the real controller (and the user operating the controller) resides. As a result, intuitive operation can be provided to the user even when images are output to an external display.
  • the measurement unit changes the antenna element used for calculating the direction in which the controller exists among the plurality of antenna elements according to at least one of the orientation of the portable electronic device and the application program executed by the processing unit. You may do so. According to this configuration, by appropriately selecting the antenna element to be used according to the situation, it is possible to suppress an increase in the processing load and improve the measurement accuracy.
  • the plurality of A part of the antenna elements may be used.
  • the controller (and the user who operates the controller) exists in a position directly facing the display.
  • Use some antenna elements By using some of the antenna elements in this way, an increase in processing load can be suppressed.
  • the measurement unit measures the number of antenna elements in at least one of a second posture in which the display is placed facing upward and an application program corresponding to the second posture is being executed. All may be used.
  • the controller (and the user operating the controller) can be present around the display, so that the direction of the controller can be measured regardless of the position of the controller. antenna elements. This allows the orientation of the controller to be determined more reliably.
  • the plurality of antenna elements includes at least two antenna elements for each direction arranged along each of the two directions that define the display surface of the display, and some of the antenna elements used are selected from among the plurality of antenna elements. , may be a single row of antenna elements. According to this configuration, it is possible to calculate the direction (that is, the angle) of the controller based on the direction in which the antenna elements are arranged (corresponding to one of the sides of the display). Measurement accuracy can be improved compared to the case of using a plurality of antenna elements along different directions.
  • the row of antenna elements may be the row of antenna elements located above the plurality of antenna elements. With this configuration, it is possible to reduce noise such as reflection components from the table on which the portable electronic device is placed.
  • the measurement unit may change the antenna element used for calculating the direction in which the controller exists, among the plurality of antenna elements, according to the previously measured direction in which the controller exists. According to this configuration, by selecting an antenna element that can measure the direction in which the controller actually exists, it is possible to omit the measurement of the range in which the controller does not exist. As a result, an increase in processing load can be suppressed, and measurement accuracy can be improved.
  • the measurement unit may change the frequency of calculating the direction in which the controller exists, according to the previously measured direction in which the controller exists. According to this configuration, by changing the frequency of calculating the direction according to the direction in which the controller actually exists, it is possible to suppress an increase in processing load and reduce power consumption.
  • the processing unit may generate an image according to predetermined settings, independent of the direction being measured, when the state in which the image is output to the display is switched to the state in which it is output to the external display. If the state where the image is output to the display is switched to the state where it is output to the external display, there is a high possibility that the positional relationship between the portable electronic device and the controller has changed, so the image is not output to the display. If the image is output as it is, the user may feel uncomfortable. According to this configuration, it is possible to reduce the possibility of giving the user a sense of discomfort.
  • the processing unit After the state in which the image is output to the external display is switched to the state in which the image is output to the display, the processing unit starts generating an image based on the measured direction after a predetermined time has elapsed since the switching.
  • the processing unit generates an image based on the measured direction when the movement of the portable electronic device falls within a predetermined range after the state in which the image is output to the external display is switched to the state in which the image is output to the display. You may start.
  • the processing unit After the state in which the image is output to the external display is switched to the state in which the image is output to the display, the processing unit detects when the temporal change in the relative positional relationship between the portable electronic device and the controller falls within a predetermined range. , may initiate generation of an image based on the measured orientation.
  • a portable electronic device can communicate with a controller that accepts user operations.
  • a portable electronic device includes a display, an interface for outputting an image to an external display separate from the display, a processing unit that generates an image according to a user operation on a controller, and a controller for the portable electronic device. and a measuring unit for measuring the direction of movement.
  • the processing unit generates an image based on the measured orientation if the image is output to a display, and an image based on the measured orientation if the image is output to an external display. Restrict.
  • a processing method executed by a portable electronic device that includes a display and an interface for outputting images to an external display separate from the display.
  • the processing method includes the steps of communicating with a controller that accepts user operations, measuring the direction in which the controller is present with respect to the computer, and generating an image in response to user operations on the controller.
  • Generating an image includes generating an image based on the measured orientation if the image is output to a display and based on the measured orientation if the image is output to an external display. and limiting the generation of the image.
  • a computer-executable program including a display and an interface for outputting an image to an external display separate from the display.
  • the program causes the computer to communicate with a controller that accepts user operations, measure the direction in which the controller is present relative to the portable electronic device, and generate an image in response to user operations on the controller.
  • Generating an image includes generating an image based on the measured orientation if the image is output to a display and based on the measured orientation if the image is output to an external display. and limiting the generation of the image.
  • operability and/or interest can be further improved.
  • FIG. 1 is a schematic diagram showing a configuration example of a system according to an embodiment
  • FIG. 1 is a schematic diagram showing a hardware configuration example of a game device of a system according to the present embodiment
  • FIG. 2 is a schematic diagram showing a hardware configuration example of a controller of the system according to the present embodiment
  • FIG. 1 is a schematic diagram showing an example of a usage pattern of a system according to this embodiment
  • FIG. FIG. 4 is a schematic diagram showing another example of usage of the system according to the present embodiment
  • FIG. 4 is a diagram for explaining the principle of direction measurement of the system according to the present embodiment
  • FIG. 2 is a schematic diagram showing an example of an antenna module in which a plurality of antenna elements are arranged in one direction
  • FIG. 2 is a schematic diagram showing an example of an antenna module in which a plurality of antenna elements are arranged in two directions;
  • FIG. 3 is a schematic diagram showing a configuration example of a short-range communication unit of the system according to the present embodiment;
  • FIG. 4 is a schematic diagram showing a configuration example of a frame transmitted by a controller of the system according to the present embodiment;
  • FIG. 10 is a schematic diagram showing an example of a screen output by the game device of the system according to the present embodiment in the standing mode;
  • FIG. 4 is a schematic diagram showing an example of a screen output by the game device of the system according to the present embodiment in the horizontal placement mode;
  • FIG. 4 is a schematic diagram showing an example of a screen output by the game device of the system according to the present embodiment in the external output mode
  • FIG. 10 is a schematic diagram showing an example of a screen when the game device of the system according to the present embodiment is switched to the external output mode
  • FIG. 10 is a schematic diagram showing an example of a screen when the game device of the system according to the present embodiment is switched to the external output mode
  • FIG. 4 is a diagram for explaining an operation example of the antenna module of the system according to the present embodiment
  • 4 is a flow chart showing a processing procedure executed by the game device of the system according to the present embodiment
  • FIG. 18 is a flowchart showing a processing procedure for direction measurement shown in FIG. 17;
  • a game device is taken as an example of a portable electronic device, but any computer such as a smartphone, tablet, or personal computer can be used as a portable electronic device without being limited to a game device.
  • a portable electronic device can also be called a portable information processing device.
  • FIG. 1 is a schematic diagram showing a configuration example of system 1 according to the present embodiment.
  • system 1 includes game device 100 and one or more controllers 200 .
  • controller is a term that includes a device that accepts user operations, and is not limited to game controllers, such as general-purpose input devices such as keyboards, mice, and pen tablets, Includes operating devices for specific applications.
  • the game device 100 exchanges data with each of the controllers 200 using wireless signals. That is, the controller 200 transmits a radio signal according to user's operation.
  • the controller 200 may be attachable to the game device 100.
  • controllers 200 are attached to both sides of game device 100, respectively.
  • the game device 100 may be electrically connectable to the controller 200 when the controller 200 is attached to the game device 100 .
  • data may be exchanged through wired communication. Note that data may be exchanged by wireless communication even when the controller 200 is attached to the game device 100 .
  • controllers 200 differ in structure and function between the controllers 200 are not mentioned, but the structure and function of the controller 200 may differ depending on the side (left side/right side) attached to the game device 100.
  • the game device 100 has a display 106 that displays arbitrary images, and a touch panel 108 that accepts user operations.
  • the game device 100 has an antenna module 124 for receiving radio signals from the controller 200 .
  • Antenna module 124 may be placed anywhere on game device 100 , but is placed parallel to the display surface of display 106 , for example.
  • Each of the controllers 200 has an operation unit 210 that receives user operations.
  • the operation unit 210 includes, for example, push buttons, a cross key, an operation lever, and the like.
  • FIG. 2 is a schematic diagram showing a hardware configuration example of game device 100 of system 1 according to the present embodiment.
  • game device 100 includes processor 102, memory 104, display 106, touch panel 108, storage 110, short-range communication unit 120, antenna module 124, wireless communication unit 126, It includes a speaker 128 , a microphone 130 , a gyro sensor 132 , a first controller interface 134 , a second controller interface 136 , a cradle interface 138 and a memory card interface 140 .
  • the processor 102 is a processing entity for executing processing provided by the game device 100 .
  • the memory 104 is a storage device that can be accessed by the processor 102, and is, for example, a volatile storage device such as DRAM (Dynamic Random Access Memory) or SRAM (Static Random Access Memory).
  • the storage 110 is, for example, a non-volatile storage device such as flash memory.
  • the processor 102 reads the program stored in the storage 110, develops it in the memory 104, and executes it, thereby realizing the processing described later.
  • the storage 110 stores, for example, an application program 112 consisting of instruction codes for realizing arbitrary information processing, and a system program 114 that provides libraries necessary for program execution.
  • the processor 102 will execute necessary processing in the game device 100 .
  • attention will be focused particularly on the process of generating an image to be displayed or output on a display. That is, processor 102 corresponds to a processing unit that generates an image according to a user's operation on controller 200 .
  • the short-range communication unit 120 transmits and receives wireless signals to and from one or more controllers 200 .
  • Any wireless system such as Bluetooth (registered trademark), ZigBee (registered trademark), wireless LAN (IEEE802.11), and infrared communication can be adopted for the short-range communication unit 120 .
  • Bluetooth registered trademark
  • ZigBee registered trademark
  • wireless LAN IEEE802.11
  • infrared communication can be adopted for the short-range communication unit 120 .
  • Bluetooth registered trademark
  • ZigBee registered trademark
  • wireless LAN IEEE802.11
  • infrared communication can be adopted for the short-range communication unit 120 .
  • Bluetooth registered trademark
  • ZigBee registered trademark
  • wireless LAN IEEE802.11
  • infrared communication infrared communication
  • the antenna module 124 receives wireless signals transmitted from one or more controllers 200 .
  • the antenna module 124 may be arranged as an antenna for the short-range communication unit 120 to transmit and receive wireless signals. Additional modules 124 may be provided.
  • the short-range communication unit 120 has a direction measuring unit 122 that measures the direction in which the controller 200 exists with respect to the game device 100 (that is, the direction in which the controller 200 exists as viewed from the game device 100). More specifically, based on the radio signal from the controller 200 received by the antenna module 124, the direction measurement unit 122 measures the direction in which the controller 200 that transmitted the radio signal exists. Note that the function provided by the direction measuring unit 122 may be provided by the short-range communication unit 120 or may be provided by cooperation between the short-range communication unit 120 and the processor 102 . Details of the measurement processing by the direction measurement unit 122 will be described later.
  • the wireless communication unit 126 exchanges data with a wireless repeater connected to the Internet or the like using wireless signals.
  • Any wireless system such as a wireless LAN (IEEE802.11), a public wireless line (4G, 5G, etc.) can be adopted for the wireless communication unit 126, for example.
  • the speaker 128 generates arbitrary sounds around the game device 100 .
  • Microphone 130 collects sounds occurring around game device 100 .
  • Gyro sensor 132 detects the orientation of game device 100 .
  • the first controller interface 134 and the second controller interface 136 exchange data with the attached controller 200 when the controller 200 is attached to the game device 100 .
  • the cradle interface 138 exchanges data with the cradle while the game device 100 is placed on the cradle, which will be described later.
  • the memory card interface 140 reads data stored in the memory card 142 from the detachable memory card 142 and writes data to the memory card 142 .
  • the memory card 142 may store application programs and the like.
  • FIG. 3 is a schematic diagram showing a hardware configuration example of controller 200 of system 1 according to the present embodiment.
  • controller 200 includes a processor 202 , memory 204 , operation section 210 , acceleration sensor 212 , near field communication section 220 and main body communication section 230 .
  • the processor 202 develops the program in the memory 204 and executes it, thereby realizing the processing required by the controller 200 .
  • the operation unit 210 generates signals according to user operations. Acceleration sensor 212 generates a signal corresponding to acceleration occurring in controller 200 .
  • Near field communication unit 220 transmits and receives wireless signals to and from game device 100 .
  • Main body communication unit 230 exchanges data with game device 100 when controller 200 is attached to game device 100 .
  • processor refers to a processing circuit that executes processing according to instruction codes written in programs such as CPU (Central Processing Unit), MPU (Micro Processing Unit), GPU (Graphics Processing Unit). In addition to the normal meaning, it also includes hardwired circuits such as ASIC (Application Specific Integrated Circuit) and FPGA (Field Programmable Gate Array). Hardwired circuits such as ASICs and FPGAs are preformed with circuits corresponding to processes to be executed. Furthermore, the "processor” in this specification includes circuits such as SoC (System on Chip) in which multiple functions are integrated, and also includes a combination of processors in a narrow sense and hardwired circuits.
  • SoC System on Chip
  • the game device 100 can be equipped with a pair of controllers 200 .
  • a user can use the game device 100 by holding the game device 100 with the pair of controllers 200 attached.
  • Such a mode in which the user holds and uses the game device 100 is called a “portable mode”.
  • the following usage patterns are also possible.
  • FIG. 4 is a schematic diagram showing an example of usage of system 1 according to the present embodiment.
  • FIG. 4 shows a mode of using the game device 100 with an image displayed on the display 106 .
  • game device 100 is supported by stand 144 and placed with display 106 facing sideways or diagonally upward, and one or more users view images displayed on display 106.
  • the controller 200 is operated while watching.
  • the mode of using game device 100 using stand 144 as shown in FIG. 4 will be referred to as "standing mode".
  • the game device 100 can be placed on a flat surface such as a table with the display 106 facing upward.
  • a flat surface such as a table with the display 106 facing upward.
  • the mode in which game device 100 is used with display 106 facing upward is referred to as "flat mode”. Note that if the application program 112 executed on the game device 100 supports the horizontal placement mode, the process may be executed in the horizontal placement mode regardless of the orientation of the game device 100 .
  • FIG. 5 is a schematic diagram showing another example of usage of system 1 according to the present embodiment.
  • FIG. 5 shows a mode in which an image is displayed on an external display 300 different from the display 106 of the game device 100 .
  • one or more users operate controller 200 while viewing an image displayed on external display 300 while game device 100 is placed on cradle 350 .
  • game device 100 includes display 106 and cradle interface 138 (see FIG. 2) for outputting images to external display 300 separate from display 106 .
  • the mode in which game device 100 is used with game device 100 placed on cradle 350 will be referred to as an "external output mode.”
  • communication between game device 100 and cradle 350 and/or between cradle 350 and external display 300 may be wired communication or wireless communication. .
  • system 1 according to this embodiment can be used in different ways.
  • game device 100 has a function of measuring the direction in which controller 200 is located based on the radio signal received from controller 200 . More specifically, game device 100 calculates the direction in which controller 200 is located based on the phase difference that occurs when wireless signals are received by a plurality of antenna elements arranged at distant positions.
  • FIG. 6 is a diagram for explaining the principle of direction measurement by system 1 according to the present embodiment.
  • antenna module 124 has a plurality of antenna elements 125-1 and 125-2 (hereinafter also collectively referred to as “antenna elements 125").
  • the radio signal transmitted from the controller 200 can be regarded as a plane wave. Therefore, the equiphase plane 240 of the radio signal transmitted from the controller 200 is a straight line connecting the controller 200 and the center O between the antenna elements 125-1 and 125-2 (antenna element 125-1 and antenna element 125-2). A straight line forming an angle ⁇ with respect to a straight line connecting ⁇ 2). The angle ⁇ is the angle at which the radio signal is incident on the antenna module 124, and is also called the arrival angle.
  • the antenna element 125-1 intersects the equiphase surface 240 of phase ⁇ 1
  • the antenna element 125-2 intersects the equiphase surface 240 of phase ⁇ 4. That is, a phase difference ⁇ of
  • This phase difference ⁇ depends on the angle ⁇ and the inter-element distance d.
  • ⁇ cos ⁇ 1 (( ⁇ )/(2 ⁇ d))
  • the direction (angle ⁇ ) in which the controller 200 exists is determined based on the phase difference ⁇ occurring in the radio signals received by the two antenna elements 125. can be calculated.
  • the antenna module 124 may have two or more antenna elements 125, but using more antenna elements 125 can improve the measurement accuracy.
  • FIG. 7 is a schematic diagram showing an example of an antenna module 124 in which a plurality of antenna elements 125 are arranged in one direction.
  • the antenna module 124 shown in FIG. 7 has four antenna elements 125-1 to 125-4 arranged in a row along the X-axis. With such an arrangement of the antenna elements 125, the angle of arrival (one dimension) with respect to the X axis can be measured. More specifically, by using two antenna modules 124 , it is possible to measure the arrival angle of the radio signal transmitted from the controller 200 as viewed from the center of the two antenna modules 124 . Any two adjacent antenna elements 125 may be selected, or two adjacent antenna elements 125 may be sequentially selected. Alternatively, in other embodiments, two antenna elements that are not adjacent to each other may be arbitrarily selected.
  • the angle ⁇ 1 can be measured by selecting the antenna elements 125-1 and 125-2, and the angle ⁇ 2 can be measured by selecting the antenna elements 125-2 and 125-3. can be measured, and the angle ⁇ 3 can be measured by selecting antenna element 125-3 and antenna element 125-4.
  • the position (or distance) of the controller 200 can be measured.
  • the direction and position to be measured are both relative values with respect to game device 100 . Therefore, in this specification, the process of measuring the "direction" can include the process of measuring the "position”.
  • FIG. 8 is a schematic diagram showing an example of an antenna module 124 in which a plurality of antenna elements 125 are arranged in two directions.
  • the antenna module 124 shown in FIG. 8 has 4 ⁇ 4 antenna elements 125-11 to 125-44 arranged along the X and Y axes, respectively. With such an arrangement of the antenna elements 125, the arrival angles (two dimensions) with respect to the X and Y axes can be measured.
  • the component of the angle of arrival of the radio signal transmitted from the controller 200 with respect to the X axis can be measured.
  • the component of the angle of arrival of the radio signal transmitted from the controller 200 with respect to the Y axis can be measured.
  • the angle ⁇ x which is the component of the angle of arrival with respect to the X axis
  • the angle ⁇ y which is the component of the arrival angle with respect to the Y axis
  • the position (or distance) of the controller 200 can be measured in addition to the direction of the controller 200 by performing multiple measurements with different combinations of the antenna elements 125 .
  • Direction measurement as described above requires that the same radio signal be received by a plurality of antenna elements 125 .
  • a plurality of receiving circuits may be prepared, the antenna element 125 used for reception among the plurality of antenna elements 125 may be sequentially switched with respect to a common receiving circuit.
  • FIG. 9 is a schematic diagram showing a configuration example of short-range communication unit 120 of system 1 according to the present embodiment.
  • FIG. 9 shows an example in which the direction measuring section 122 is implemented as part of the configuration of the near field communication section 120 .
  • short-range communication unit 120 includes multiplexer 1221, detector 1222, differentiator 1223, delay element 1224, angle calculator 1225, controller 1226, and decoder 1227.
  • the direction measuring section 122 mainly consists of a differentiator 1223 , a delay element 1224 , an angle calculating section 1225 and a control section 1226 .
  • the multiplexer 1221 selects one antenna element 125 from among the plurality of antenna elements 125 according to a selection command from the control section 1226 .
  • a detector 1222 decodes the radio signal received by the antenna element 125 connected via the multiplexer 1221 and outputs the decoded signal.
  • a differentiator 1223 calculates the phase difference between the signals output from the detector 1222 .
  • the signal output from the detector 1222 is directly input to one side of the differentiator 1223 , and the signal output from the detector 1222 is input to the other side of the differentiator 1223 via the delay element 1224 .
  • the delay time of delay element 1224 is set according to the selection time by multiplexer 1221 . That is, the differencer 1223 stores the signal obtained by decoding the radio signal received by the currently selected antenna element 125 and the radio signal received by the previously selected antenna element 125. A signal obtained by decoding is input.
  • the angle calculator 1225 calculates an angle (arrival angle) from the phase difference calculated by the differentiator 1223 .
  • the inter-element distance d and the wavelength ⁇ are preset in the angle calculator 1225 .
  • the control unit 1226 outputs a selection command to the multiplexer 1221, and statistically processes the angles sequentially calculated by the angle calculation unit 1225 according to the selection command (for example, averaging processing, outlier exclusion processing, etc.). It outputs a measurement result indicating the direction in which the controller 200 is located.
  • the measurement results may include the distance to the controller 200 in addition to the one-dimensional angle or two-dimensional angle indicating the direction in which the controller 200 is located.
  • a decoder 1227 reconstructs a frame from the signal output from the detector 1222 . Decoder 1227 also outputs identification information for identifying the transmission source of the radio signal to control section 1226 based on the information included in the frame.
  • FIG. 10 is a schematic diagram showing a configuration example of a frame transmitted by controller 200 of system 1 according to the present embodiment.
  • frame 250 includes preamble 251, destination address 252, data 253, CRC 254, and data 256 for direction measurement.
  • Preamble 251 , destination address 252 , data 253 and CRC 254 correspond to substantial frame 255 .
  • the direction measurement data 256 includes multiple constant values (usually "1"). Since the value contained in the direction measurement data 256 does not change with time, the radio signal is a sine wave whose phase and amplitude do not change with time. This sine wave is used to make a directional measurement as described above.
  • the direction can be measured for each controller 200 when a plurality of controllers 200 are connected to the game device 100. That is, based on the information included in the destination address 252, after specifying which controller 200 the radio signal is from, the direction in which the specified controller 200 exists is measured.
  • game device 100 can generate an image based on the direction in which controller 200 exists. However, only if the direction in which the controller 200 is present can be adequately measured, an image based on the measured direction may be generated. More specifically, game device 100 generates an image based on the measured orientation when the image is output to display 106 (specifically, in the stance mode or flat mode). On the other hand, when the image is output to the external display 300 (specifically, the external output mode), the generation of the image based on the measured direction is restricted. Details of each mode will be described below.
  • FIG. 11 is a schematic diagram showing an example of a screen output by game device 100 of system 1 according to the present embodiment in the standing mode.
  • user A operates object 401 using controller 200A
  • user B operates object 402 using controller 200B
  • user C operates object 401 using controller 200C
  • 403 user D operates an object 404 using the controller 200D.
  • the display positions of the objects 401 to 404 reflect the existing positions of the users A to D (controllers 200A to 200D) with respect to the game device 100.
  • the image displayed on the display 106 is also changed.
  • FIG. 11(B) shows a state in which the positions of user B and user C are switched as an example.
  • the positions of the controllers 200B and 200C change, so the display positions of the object 402 and the object 403 displayed on the display 106 also change.
  • the game apparatus 100 may be determined whether or not the game apparatus 100 is in the stance mode based on the detection result of the gyro sensor 132 of the game apparatus 100, or if it is assumed that the application program 112 is executed in the stance mode. Alternatively, the processing in the stance mode may be executed regardless of the detection result of the gyro sensor 132. FIG.
  • game device 100 when an image is output to display 106 , game device 100 outputs an image to display 106 based on the direction in which controller 200 exists with respect to game device 100 .
  • FIG. 12 is a schematic diagram showing an example of a screen output by game device 100 of system 1 according to the present embodiment in the horizontal placement mode.
  • the user In the standing mode shown in FIG. 11, the user is in front of the display 106, while in the flat mode shown in FIG. 12, the user is around the display 106.
  • FIG. 12 In the standing mode shown in FIG. 11, the user is in front of the display 106, while in the flat mode shown in FIG. 12, the user is around the display 106.
  • Objects 411 to 414 showing information for each user are displayed on the display 106 according to the existing positions of the users A to D (controllers 200A to 200D) with respect to the game device 100 . More specifically, object 411 including information for user A is arranged at a position corresponding to the direction in which controller 200A exists. Similarly, an object 412 containing information for user B is arranged at a position corresponding to the direction in which controller 200B exists, and an object 413 containing information for user C corresponds to the direction in which controller 200C exists. Object 414, which is located at a position and contains information intended for user D, is located at a position corresponding to the direction in which controller 200D is present.
  • each of the objects 411 to 414 is displayed in an orientation that is easy to see from the direction in which the corresponding user (that is, the controller 200) exists.
  • the process in the horizontal placement mode may be executed regardless of the detection result of the gyro sensor 132 .
  • game device 100 when an image is output to display 106 , game device 100 outputs an image to display 106 based on the direction in which controller 200 exists with respect to game device 100 .
  • FIG. 13 is a schematic diagram showing an example of a screen output by game device 100 of system 1 according to the present embodiment in the external output mode.
  • An image is displayed on the display 106 of the game device 100 in the standing mode and the flat mode described above. Since the positional relationship between the display 106 and the antenna module 124 is fixed, generating an image based on the measured orientation reflects the location of the controller 200 .
  • the image is displayed on the external display 300 separate from the display 106, so even if the image is generated based on the direction measured with respect to the antenna module 124, the user's It is not always possible to appropriately reflect the position of existence.
  • the process of restricting the generation of images based on the measured direction disables part of the process or function based on the direction, in addition to the process of not reflecting the measured direction, as described above. processing. That is, as used herein, "limiting the generation of images based on the measured orientation” means any processing and/or functions based on the measured orientation that are performed in the stance mode or the flat mode. It means to invalidate the part.
  • direction measurement section 122 of game device 100 may disable measurement of the direction in which controller 200 exists when an image is output to external display 300 .
  • the generation of images based on the measured direction may not be restricted.
  • restrictions may be lifted if a predetermined condition is met.
  • the predetermined condition includes, for example, the case where the positional relationship between external display 300 and game device 100 (antenna module 124 ) is considered similar to the positional relationship between display 106 and antenna module 124 .
  • the game device 100 may determine whether or not the predetermined condition is satisfied by any method, or may provide information to the user so that the predetermined condition is satisfied. For example, if a predetermined positional relationship between the game device 100 and the external display 300 is employed as a predetermined condition for releasing the restriction on image generation based on the direction measured in the external output mode, A screen that supports user operations may be provided so that the positional relationship can be realized.
  • the game device 100 is in the external output mode may be determined based on the connection state of the cradle interface 138 of the game device 100, and it is assumed that the application program 112 to be executed is executed in the external output mode. In that case, the processing in the external output mode may be executed regardless of the connection state of the cradle interface 138. FIG. Alternatively, a process associated with the external output mode may be executed in response to the user's selection of the "external output mode" on game device 100 .
  • the game device 100 may limit the generation of images based on the measured direction when the images are output to the external display 300 .
  • the positional relationship between the game device 100 held by the user and the controller 200 held by the user or the controller 200 held by another user may change. Therefore, an image may be generated in a manner unintended by the user or other users. Therefore, even after game device 100 is placed on cradle 350, if the previously generated image is continued to be used, the user may feel uncomfortable.
  • an image may be generated according to a predetermined setting. For example, regarding an object whose displayed position and orientation change according to the direction of the controller 200, the object may be displayed in a predetermined position and orientation in the external output mode. It should be noted that the application program 112 being executed may be temporarily stopped when the standing mode or horizontal placement mode is changed to the external output mode.
  • FIG. 14 and 15 are schematic diagrams showing screen examples when game device 100 of system 1 according to the present embodiment is switched to the external output mode.
  • FIG. 14 shows a screen example in the horizontal placement mode
  • FIG. 15 shows a screen example in the external output mode.
  • images are generated based on the measured directions, so the positions and orientations of the objects 411-414 are the same as those of the controller 200 relative to the game device 100. It depends on the direction.
  • the generation of images based on the measured directions is restricted, so that the positions and orientations of the objects 411-414 are set according to a predetermined setting, etc.
  • a predetermined setting etc.
  • the user registration order set before the start of the game user A, user B, user C, and user D in the example shown in FIG. 15
  • an object corresponding to each user 411 to 414 are arranged.
  • the display orientations of the objects 411 to 414 are also aligned.
  • the game device 100 switches from the state in which the image is output to the display 106 to the state in which the image is output to the external display 300, the game device 100 generates the image according to the predetermined settings, independent of the direction being measured. do.
  • some kind of buffer period or grace period may be provided.
  • the restrictions on the generation of images based on the measured direction may be lifted only if any starting conditions are met. . Examples of such start conditions include the following.
  • the game device 100 changes the image based on the measured direction after a predetermined time has passed since the switching. Generation may be started.
  • game device 100 switches from the state in which the image is output to external display 300 to the state in which the image is output to display 106, and then, when the movement of game device 100 falls within a predetermined range, the movement of game device 100 is determined based on the measured direction. You may make it start the production
  • the relative positional relationship between game device 100 and controller 200 changes over time. is within a predetermined range, the generation of an image based on the measured direction may begin.
  • the direction of the controller 200 cannot be measured appropriately while the user is adjusting the position where the game device 100 is placed. there is a possibility.
  • the user is also assumed that the user is adjusting the place where the game is played while holding the controller 200 .
  • the image may be unintended by the user and may give the user a sense of discomfort. For example, by setting the start condition as described above, it is possible to reduce the sense of discomfort given to the user.
  • generating an image based on a direction includes processing for changing the display position, display direction (orientation of display), display mode (color, decoration, etc.) of an object based on the measured direction.
  • FIG. 11 shows an example in which the display position of the object is changed based on the measured direction
  • FIG. 12 shows the display position and display direction of the object based on the measured direction. are shown.
  • generating an image based on the direction may include a process of operating an object (player character) according to a rule according to the measured direction, and a process of differentiating the interpretation of user operations on the controller 200.
  • game device 100 interprets this as an instruction to move upward on the screen
  • user D presses the up button of controller 200D.
  • the game device 100 interprets it as an instruction to move to the right side of the screen.
  • orientation-based image generation involves not only processes that cause significant changes in the images themselves that are displayed on display 106 or external display 300, but also processes that cause significant changes in how the images are generated. contain.
  • the system 1 has several usage patterns (for example, the three modes described above). Some or all of the antenna elements 125 included in the antenna module 124 may be used depending on the usage pattern. That is, direction measurement unit 122 of game device 100 calculates the direction in which controller 200 is present among a plurality of antenna elements 125 according to at least one of the orientation of game device 100 and application program 112 to be executed. You may make it change the antenna element used for.
  • FIG. 16 is a diagram for explaining an operation example of antenna module 124 of system 1 according to the present embodiment.
  • FIG. 16 shows a configuration example composed of 4 ⁇ 4 antenna elements 125, like the antenna module 124 shown in FIG.
  • the antenna module 124 shown in FIG. 16 may be arranged parallel to the display surface of the display 106 .
  • the antenna modules 124 are arranged along two directions that define the display surface of the display 106 (in the example shown in FIG. 16, the vertical direction and the horizontal direction of the paper surface), and at least two antenna modules per direction. It has a plurality of antenna elements 125 including one antenna element 125 .
  • FIG. 16(A) illustrates an antenna element 125 used in the stance mode.
  • the user In stance mode, the user will be in front of the display 106, so it may be sufficient to measure the orientation of the controller 200 in one dimension. Therefore, of the plurality of antenna elements 125 included in the antenna module 124, one row of the antenna elements 125 may be used.
  • the upper antenna element 125 may be used. As shown in FIG. 16(A), the upper row of antenna elements 125 among the plurality of antenna elements 125 may be used.
  • the direction measuring unit 122 of the game device 100 can be used when the display 106 is placed horizontally or diagonally upward (first posture), and when the application program 112 corresponding to the posture is displayed. is performed (ie, in stance mode), some of the antenna elements 125 are used.
  • FIG. 16(B) illustrates an antenna element 125 used in the flat mode.
  • the user will be around the display 106 . Therefore, it may be desirable to measure the orientation of the controller 200 in two dimensions. That is, as shown in FIG. 16B, all antenna elements 125 included in antenna module 124 may be used.
  • direction measurement unit 122 of game device 100 is configured such that display 106 faces upward (second posture) and application program 112 corresponding to that posture is executed. In at least one of the cases (ie, in flat mode), all of the plurality of antenna elements 125 are used.
  • FIG. 16(C) illustrates the antenna element 125 used in the external output mode.
  • the external output mode basically the generation and display of images based on the measured direction is restricted. It is therefore sufficient to use one antenna element 125 contained in the antenna module 124 . That is, the antenna elements 125 do not have to be selected sequentially.
  • a plurality of antenna elements 125 may be used if restrictions on image generation and display based on the measured direction are lifted. As an example, as shown in FIG. 16A, one row of antenna elements 125 may be used.
  • a plurality of antenna elements 125 are arranged along two directions defining the display surface of display 106, but the directions are detected using the same method as in the present embodiment. In some cases, two or more antenna elements 125 may be arranged differently.
  • direction measurement unit 122 of game device 100 may repeat direction measurement using only antenna elements 125 suitable for measuring the direction. That is, the direction measuring unit 122 of the game device 100 selects the antenna element 125 used for calculating the direction in which the controller 200 exists among the plurality of antenna elements 125 according to the previously measured direction in which the controller 200 exists. may be changed.
  • the antenna element 125 suitable for measuring the direction in which the controller 200 exists is used.
  • Direction measuring section 122 of game device 100 may measure the direction in which controller 200 exists, and then optimize the frequency of measurement according to the result of the measurement. That is, the direction measuring unit 122 of the game device 100 may change the frequency of calculating the direction in which the controller 200 exists, according to the previously measured direction in which the controller 200 exists.
  • the controller 200 when the controller 200 is located relatively far from the game device 100, the amount of temporal change in the orientation of the controller 200 with respect to the game device 100 is relatively small, so the measurement frequency can be reduced. .
  • the direction measurement unit 122 of the game device 100 may change the frequency of measurement according to the degree to which the measured direction changes over time. For example, as a result of performing direction measurements a plurality of times within a predetermined period, if the variation in the measurement results is within a predetermined range, it is assumed that the movement of the controller 200 is relatively small, and the measurement frequency is reduced from the reference value. may be reduced. Conversely, if the variation in the measurement result exceeds the predetermined range, it may be considered that the movement of the controller 200 is relatively large, and the frequency of measurement may be increased from the reference value.
  • FIG. 17 is a flowchart showing a processing procedure executed by game device 100 of system 1 according to the present embodiment. Each step shown in FIG. 17 is typically implemented by processor 102 of game device 100 executing application program 112 .
  • game device 100 determines whether or not application program 112 being executed supports direction-based image generation (step S100). If direction-based image generation is not supported (NO in step S100), game device 100 does not measure the direction of controller 200 and generates an image according to predetermined settings (step S102). The generated image is output to display 106 or external display 300 .
  • the game device 100 determines whether or not an instruction to end the application program has been issued (step S104). If termination of the application program has not been instructed (NO in step S104), the processing from step S102 onward is repeated. If termination of the application program has been instructed (YES in step S104), the process ends.
  • game device 100 determines the current usage pattern (step S106). It should be noted that whether or not the cradle 350 is electrically connected to the cradle 350 via the cradle interface 138 and the orientation detection result of the gyro sensor 132 are used to determine the usage pattern. Alternatively, the type or setting of the application program 112 being executed may be used to determine the usage pattern.
  • step S106 If the current mode of use is "portable mode" ("portable mode" in step S106), the processing from step S134 onwards is executed.
  • game device 100 determines that one row of antenna elements 125 at the top included in antenna module 124 is to be used (step S108).
  • the game device 100 determines whether or not the running application program 112 requests to generate an image based on the orientation (step S110). If running application program 112 requests that an image be generated based on orientation (YES in step S110), game device 100 measures the orientation of controller 200 (step S112). Then, game device 100 generates an image based on the measured direction of each controller 200 (step S114). The generated image is output to display 106 or external display 300 depending on the current usage.
  • step S110 If the running application program 112 does not request to generate an image based on orientation (NO in step S110), the processing of steps S112 and S114 is skipped.
  • the game device 100 determines whether or not the mode of usage has been changed (step S116). If the usage pattern is changed (YES in step S116), the processes from step S106 onward are executed.
  • game device 100 determines whether or not an instruction to terminate the application program has been issued (step S118). If termination of the application program has not been instructed (NO in step S118), the processing from step S110 onward is repeated. If termination of the application program has been instructed (YES in step S118), the process ends.
  • game device 100 determines all antenna elements 125 included in antenna module 124 to be used (step S120). . Then, the processing from step S110 is executed.
  • step S106 game device 100 satisfies a predetermined condition for releasing the restriction on image generation based on the measured direction. It is determined whether or not it is set (step S122). When the predetermined condition for releasing the restriction on image generation based on the measured direction is satisfied (YES in step S122), the process from step S120 onwards is executed. It should be noted that the processes of step S108 and subsequent steps may be executed instead of the processes of step S120 and subsequent steps. Alternatively, a specific antenna element that is suitable when released from the external output mode may be determined to be used.
  • game device 100 does not measure the direction of controller 200, and follows predetermined settings.
  • An image is generated (step S124). The generated image is output to external display 300 .
  • step S126 the game device 100 determines whether or not the mode of usage has been changed. If the usage pattern is changed (YES in step S126), the processing from step S102 onwards is executed.
  • game device 100 determines whether or not an instruction to terminate the application program has been issued (step S128). If termination of the application program has not been instructed (NO in step S128), the processing from step S124 onward is repeated. If termination of the application program has been instructed (YES in step S128), the process ends.
  • FIG. 18 is a flow chart showing the processing procedure for direction measurement shown in FIG.
  • game device 100 extracts two adjacent antenna elements 125 from antenna elements 125 to be used (step S200).
  • the game device 100 selects one of the two extracted antenna elements 125 (step S202), and receives the wireless signal with the selected antenna element 125 (step S204). Subsequently, the game device 100 selects the other of the two extracted antenna elements 125 (step S206), and receives the radio signal corresponding to the same frame with the selected antenna element 125 (step S208).
  • game device 100 calculates the phase difference between the wireless signal received in step S204 and the wireless signal received in step S208 (step S210), and indicates the direction in which controller 200 exists based on the calculated phase difference.
  • An angle is calculated (step S212).
  • game device 100 adds identification information for identifying controller 200, which is the transmission source of the radio signals received by two antenna elements 125, and stores the calculated angle (step S214).
  • the game device 100 determines whether or not a predetermined measurement completion condition is satisfied (step S216).
  • Predetermined measurement completion conditions include conditions such as measurement for a predetermined period of time and measurement for a predetermined number of times.
  • step S216 If the predetermined measurement completion condition is not satisfied (NO in step S216), the processing from step S200 onward is repeated.
  • game device 100 statistically processes one or more angles calculated for each stored controller 200 to determine the direction for each controller 200. is calculated (step S218). Then the process returns.
  • processor 102 of game device 100 is in charge of processing to generate an image in response to a user operation on controller 200.
  • computing resources on the cloud that can communicate with game device 100 may generate images.
  • game device 100 transmits a signal indicating a user operation received from controller 200 and information indicating the direction of controller 200 to a computing resource, receives an image from the computing resource, and displays it on display 106 or externally. Output to display 300 .
  • any computing resource that can communicate with a local network may be used instead of computing resources on the cloud.
  • the direction of the controller 200 is measured using the radio signal transmitted by the controller 200
  • the direction may be measured using other methods.
  • infrared rays or the like may be used, or ultrasonic waves or the like may be used.
  • a configuration in which the controller 200 receives a wireless signal transmitted by the game apparatus 100 and measures the direction may be employed. good. In this case, by transmitting information indicating the direction measured by the controller 200 to the game device 100 , the direction information can be reflected in image generation in the game device 100 .
  • the stance mode and the horizontal placement mode were exemplified as modes that use the direction in which the controller 200 exists while using the display 106 of the game device 100. mode, or a mode different from these) may be implemented, or three or more modes may be implemented. If only a single mode is implemented, then all antenna elements may be used in that mode to measure the direction in which the controller 200 is located.
  • the processing is executed according to the standing mode or horizontal placement mode determined according to the application program 112, but if the application program 112 includes a plurality of sub-applications (for example, mini games) , the mode may be determined not only for the application program 112 as a whole, but also for each sub-application.
  • the application program 112 includes a plurality of sub-applications (for example, mini games) , the mode may be determined not only for the application program 112 as a whole, but also for each sub-application.

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

システムは、ディスプレイと、当該ディスプレイとは別の外部ディスプレイに画像を出力するためのインターフェイスとを含むポータブル電子機器と、ユーザ操作を受け付けるコントローラと、コントローラに対するユーザ操作に応じた画像を生成する処理部と、ポータブル電子機器に対してコントローラが存在する方向を測定する測定部とを含む。処理部は、画像がディスプレイに出力される場合には、測定された方向に基づいた画像を生成し、画像が外部ディスプレイに出力される場合には、測定された方向に基づいた画像の生成を制限する。

Description

システム、ポータブル電子機器、処理方法、およびプログラム
　本開示は、システム、ポータブル電子機器、処理方法、およびプログラムに関する。
　従来から、ディスプレイを有するとともに、当該ディスプレイとは別体の外部表示装置へも画像を出力する装置が知られている（例えば、特開２０１９－１９７５８５号公報など参照）。
特開２０１９－１９７５８５号公報
　上述した公知の装置に比較して、操作性および／または興趣性をさらに向上させることを目的とする。
　ある実施の形態に従うシステムは、ディスプレイと、当該ディスプレイとは別の外部ディスプレイに画像を出力するためのインターフェイスとを含むポータブル電子機器と、ユーザ操作を受け付けるコントローラと、コントローラに対するユーザ操作に応じた画像を生成する処理部と、ポータブル電子機器に対してコントローラが存在する方向を測定する測定部とを含む。処理部は、画像がディスプレイに出力される場合には、測定された方向に基づいた画像を生成し、画像が外部ディスプレイに出力される場合には、測定された方向に基づいた画像の生成を制限する。
　この構成によれば、ポータブル電子機器に対してコントローラ（および、当該コントローラを操作するユーザ）が存在する方向に基づいた画像が生成されるので、ユーザに対して直観的な操作を提供できる。
　また、画像が外部ディスプレイに出力される場合には、ポータブル電子機器に対してコントローラが存在する方向を測定したとしても、外部ディスプレイとポータブル電子機器との間の位置関係が決定されないので、測定された方向は、現実のコントローラ（および、当該コントローラを操作するユーザ）が存在する方向を反映しない可能性がある。そのため、画像が外部ディスプレイに出力される場合には、測定された方向に基づいた画像の生成を制限することで、ユーザに対して違和感を与える可能性を低減できる。
　コントローラは、ユーザ操作に応じた無線信号を送信してもよい。測定部は、離れた位置に配置された複数のアンテナ素子で無線信号をそれぞれ受信したときに生じる位相差に基づいて、コントローラが存在する方向を算出するようにしてもよい。この構成によれば、ポータブル電子機器とコントローラとの間でやり取りされる無線信号（例えば、ユーザ操作の情報を含む）を利用して、コントローラが存在する方向を測定できるため、コストを抑制しつつ、方向の測定を実現できる。
　測定部は、画像が外部ディスプレイに出力される場合には、コントローラが存在する方向の測定を無効化するようにしてもよい。画像が外部ディスプレイに出力される場合には、測定された方向に基づいた画像の生成を制限されるので、方向の測定自体が不要となる。方向の測定を無効化することで、方向の測定に必要な処理リソースおよび通信帯域などの不要な増加を抑制できる。
　処理部は、画像が外部ディスプレイに出力される場合であっても、所定条件が満たされたときには、測定された方向に基づいた画像の生成を制限しないようにしてもよい。例えば、測定される方向が現実のコントローラ（および、当該コントローラを操作するユーザ）が存在する方向を反映していることを確保するための条件を採用することができる。これによって、画像が外部ディスプレイに出力される場合であっても、ユーザに対して直観的な操作を提供できる。
　測定部は、ポータブル電子機器の姿勢、および、処理部が実行するアプリケーションプログラムの少なくとも一方に応じて、複数のアンテナ素子のうち、コントローラが存在する方向を算出するために使用するアンテナ素子を変更するようにしてもよい。この構成によれば、状況に応じて、使用するアンテナ素子を適切に選択することで、処理負荷の増大を抑制できるとともに、測定精度を向上できる。
　測定部は、ディスプレイが横向きまたは斜め上向きになるように載置された第１の姿勢である場合、および、第１の姿勢に対応するアプリケーションプログラムが実行されている場合の少なくとも一方において、複数のアンテナ素子のうち一部のアンテナ素子を使用するようにしてもよい。
　第１の姿勢においては、ディスプレイに正対する位置にコントローラ（および、当該コントローラを操作するユーザ）が存在していると想定されるので、コントローラが存在している範囲内で方向を測定できるように一部のアンテナ素子を使用する。このように一部のアンテナ素子を使用することで、処理負荷の増大を抑制できる。
　測定部は、ディスプレイが上向きになるように載置された第２の姿勢である場合、および、第２の姿勢に対応するアプリケーションプログラムが実行されている場合の少なくとも一方において、複数のアンテナ素子のすべてを使用するようにしてもよい。
　第２の姿勢においては、ディスプレイの周囲にコントローラ（および、当該コントローラを操作するユーザ）が存在し得るので、いずれの位置にコントローラが存在していても、当該コントローラの方向を測定できるようにすべてのアンテナ素子を使用する。これによって、コントローラの方向をより確実に測定できる。
　複数のアンテナ素子は、ディスプレイの表示面を規定する２方向にそれぞれ沿って配置された、各方向あたり少なくとも２つのアンテナ素子を含み、使用される一部のアンテナ素子は、複数のアンテナ素子のうち、一列のアンテナ素子であってもよい。この構成によれば、アンテナ素子の並び方向（ディスプレイのいずれかの辺に対応）を基準としたコントローラの方向（すなわち、角度）を算出できるので、例えば、ディスプレイの表示面を規定する２方向のいずれとも異なる方向に沿った複数のアンテナ素子を使用する場合に比較して、測定精度を向上できる。
　一列のアンテナ素子は、複数のアンテナ素子のうち上方にある一列のアンテナ素子であってもよい。この構成によれば、ポータブル電子機器が載置されているテーブルなどからの反射成分といったノイズを低減できる。
　測定部は、先に測定したコントローラが存在する方向に応じて、複数のアンテナ素子のうち、コントローラが存在する方向を算出するために使用するアンテナ素子を変更するようにしてもよい。この構成によれば、現実にコントローラが存在する方向を測定できるアンテナ素子を選択することで、コントローラが存在しない範囲の測定を省略できる。これによって、処理負荷の増大を抑制できるとともに、測定精度を向上できる。
　測定部は、先に測定したコントローラが存在する方向に応じて、コントローラが存在する方向を算出する頻度を変更するようにしてもよい。この構成によれば、現実にコントローラが存在する方向に応じて方向を算出する頻度を変更することで、処理負荷の増大を抑制できるとともに、消費電力を低減できる。
　処理部は、画像がディスプレイに出力されている状態から外部ディスプレイに出力される状態に切り替えられると、測定されていた方向とは独立した、所定の設定に従って画像を生成するようにしてもよい。画像がディスプレイに出力されている状態から外部ディスプレイに出力される状態に切り替えられる場合には、ポータブル電子機器とコントローラとの位置関係が変更されている可能性が高いので、画像がディスプレイに出力されている状態での画像をそのまま出力すると、ユーザに対して違和感を与える可能性がある。この構成によれば、このようなユーザに対する違和感を与える可能性を低減できる。
　処理部は、画像が外部ディスプレイに出力される状態からディスプレイに出力されている状態に切り替えられた後、当該切り替えから所定時間経過後に、測定された方向に基づいた画像の生成を開始するようにしてもよい。
　処理部は、画像が外部ディスプレイに出力される状態からディスプレイに出力されている状態に切り替えられた後、ポータブル電子機器の動きが所定範囲内になると、測定された方向に基づいた画像の生成を開始するようにしてもよい。
　処理部は、画像が外部ディスプレイに出力される状態からディスプレイに出力されている状態に切り替えられた後、ポータブル電子機器とコントローラとの相対的な位置関係の時間的な変動が所定範囲内になると、測定された方向に基づいた画像の生成を開始するようにしてもよい。
　外部ディスプレイに出力される状態から画像がディスプレイに出力されている状態に切り替えられる場合には、ポータブル電子機器とコントローラとの位置関係が変更されている可能性が高いので、画像が外部ディスプレイに出力されている状態での画像をそのまま出力すると、ユーザに対して違和感を与える可能性がある。上述したそれぞれの構成によれば、このようなユーザに対する違和感を与える可能性を低減できる。
　別の実施の形態に従えば、ユーザ操作を受け付けるコントローラと通信可能なポータブル電子機器が提供される。ポータブル電子機器は、ディスプレイと、当該ディスプレイとは別の外部ディスプレイに画像を出力するためのインターフェイスと、コントローラに対するユーザ操作に応じた画像を生成する処理部と、ポータブル電子機器に対してコントローラが存在する方向を測定する測定部とを含む。処理部は、画像がディスプレイに出力される場合には、測定された方向に基づいた画像を生成し、画像が外部ディスプレイに出力される場合には、測定された方向に基づいた画像の生成を制限する。
　さらに別の実施の形態に従えば、ディスプレイと、当該ディスプレイとは別の外部ディスプレイに画像を出力するためのインターフェイスとを含むポータブル電子機器が実行する処理方法が提供される。処理方法は、ユーザ操作を受け付けるコントローラと通信するステップと、コンピュータに対してコントローラが存在する方向を測定するステップと、コントローラに対するユーザ操作に応じた画像を生成するステップとを含む。画像を生成するステップは、画像がディスプレイに出力される場合には、測定された方向に基づいた画像を生成するステップと、画像が外部ディスプレイに出力される場合には、測定された方向に基づいた画像の生成を制限するステップとを含む。
　さらに別の実施の形態に従えば、ディスプレイと、当該ディスプレイとは別の外部ディスプレイに画像を出力するためのインターフェイスとを含むコンピュータで実行されるプログラムが提供される。プログラムはコンピュータに、ユーザ操作を受け付けるコントローラと通信するステップと、ポータブル電子機器に対してコントローラが存在する方向を測定するステップと、コントローラに対するユーザ操作に応じた画像を生成するステップとを実行させる。画像を生成するステップは、画像がディスプレイに出力される場合には、測定された方向に基づいた画像を生成するステップと、画像が外部ディスプレイに出力される場合には、測定された方向に基づいた画像の生成を制限するステップとを含む。
　本開示によれば、操作性および／または興趣性をさらに向上させることができる。
本実施の形態に従うシステムの構成例を示す模式図である。 本実施の形態に従うシステムのゲーム装置のハードウェア構成例を示す模式図である。 本実施の形態に従うシステムのコントローラのハードウェア構成例を示す模式図である。 本実施の形態に従うシステムの使用形態の一例を示す模式図である。 本実施の形態に従うシステムの使用形態の別の一例を示す模式図である。 本実施の形態に従うシステムの方向測定の原理を説明するための図である。 一方向に複数のアンテナ素子を配置したアンテナモジュールの一例を示す模式図である。 二方向に複数のアンテナ素子を配置したアンテナモジュールの一例を示す模式図である。 本実施の形態に従うシステムの近距離通信部の構成例を示す模式図である。 本実施の形態に従うシステムのコントローラが送信するフレームの構成例を示す模式図である。 本実施の形態に従うシステムのゲーム装置が立脚モードにおいて出力する画面例を示す模式図である。 本実施の形態に従うシステムのゲーム装置が平置きモードにおいて出力する画面例を示す模式図である。 本実施の形態に従うシステムのゲーム装置が外部出力モードにおいて出力する画面例を示す模式図である。 本実施の形態に従うシステムのゲーム装置が外部出力モードに切り替えられる際の画面例を示す模式図である。 本実施の形態に従うシステムのゲーム装置が外部出力モードに切り替えられる際の画面例を示す模式図である。 本実施の形態に従うシステムのアンテナモジュールの動作例を説明するための図である。 本実施の形態に従うシステムのゲーム装置が実行する処理手順を示すフローチャートである。 図１７に示す方向測定の処理手順を示すフローチャートである。
　本実施の形態について、図面を参照しながら詳細に説明する。なお、図中の同一または相当部分については、同一符号を付してその説明は繰り返さない。
　［Ａ．構成例］
　まず、本実施の形態に従うシステム１の構成例について説明する。
　以下の説明においては、ゲーム装置をポータブル電子機器として一例にして説明するが、ポータブル電子機器としては、ゲーム装置に限定されることなく、スマートフォン、タブレット、パーソナルコンピュータなどの任意のコンピュータを採用できる。なお、ポータブル電子機器は、ポータブル情報処理装置と称することもできる。
　図１は、本実施の形態に従うシステム１の構成例を示す模式図である。図１を参照して、システム１は、ゲーム装置１００と、１または複数のコントローラ２００とを含む。
　本明細書において、「コントローラ」は、ユーザ操作を受け付ける装置を包含する用語であり、ゲーム用のコントローラに限定されることなく、例えば、キーボード、マウス、ペンダブレットなどの汎用的な入力装置や、特定の用途に用いられる操作装置を包含する。
　ゲーム装置１００は、コントローラ２００の各々と無線信号を用いてデータをやり取りする。すなわち、コントローラ２００は、ユーザ操作に応じた無線信号を送信する。
　コントローラ２００は、ゲーム装置１００に装着可能であってもよい。本実施の形態においては、ゲーム装置１００の両側にコントローラ２００がそれぞれ装着される。ゲーム装置１００にコントローラ２００が装着された状態では、ゲーム装置１００は、コントローラ２００と電気的に接続可能であってもよい。このとき、有線通信でデータをやり取りするようにしてもよい。なお、ゲーム装置１００にコントローラ２００が装着された状態でも、無線通信でデータをやり取りするようにしてもよい。
　説明の便宜上、コントローラ２００間の構造および機能の差には言及しないが、ゲーム装置１００に装着される側（左側／右側）に応じて、コントローラ２００の構造および機能を異ならせてもよい。
　ゲーム装置１００は、任意の画像を表示するディスプレイ１０６と、ユーザ操作を受け付けるタッチパネル１０８とを有している。
　ゲーム装置１００は、コントローラ２００からの無線信号を受信するためのアンテナモジュール１２４を有している。アンテナモジュール１２４は、ゲーム装置１００のいずれの位置に配置されてもよいが、例えば、ディスプレイ１０６の表示面と平行となるように配置される。
　コントローラ２００の各々は、ユーザ操作を受け付ける操作部２１０を有している。操作部２１０は、例えば、押ボタン、十字キー、操作レバーなどで構成される。
　図２は、本実施の形態に従うシステム１のゲーム装置１００のハードウェア構成例を示す模式図である。図２を参照して、ゲーム装置１００は、プロセッサ１０２と、メモリ１０４と、ディスプレイ１０６と、タッチパネル１０８と、ストレージ１１０と、近距離通信部１２０と、アンテナモジュール１２４と、無線通信部１２６と、スピーカ１２８と、マイク１３０と、ジャイロセンサ１３２と、第１コントローラインターフェイス１３４と、第２コントローラインターフェイス１３６と、クレードルインターフェイス１３８と、メモリカードインターフェイス１４０とを含む。
　プロセッサ１０２は、ゲーム装置１００が提供する処理を実行するための処理主体である。メモリ１０４は、プロセッサ１０２がアクセス可能な記憶装置であり、例えば、ＤＲＡＭ（Ｄｙｎａｍｉｃ　Ｒａｎｄｏｍ　Ａｃｃｅｓｓ　Ｍｅｍｏｒｙ）やＳＲＡＭ（Ｓｔａｔｉｃ　Ｒａｎｄｏｍ　Ａｃｃｅｓｓ　Ｍｅｍｏｒｙ）といった揮発性記憶装置である。ストレージ１１０は、例えば、フラッシュメモリなどの不揮発性記憶装置である。
　プロセッサ１０２は、ストレージ１１０に格納されているプログラムを読み込んでメモリ１０４に展開して実行することで、後述するような処理を実現する。ストレージ１１０には、例えば、任意の情報処理を実現するための命令コードからなるアプリケーションプログラム１１２と、プログラム実行に必要なライブラリなどを提供するシステムプログラム１１４とが格納されている。
　プロセッサ１０２は、ゲーム装置１００において必要な処理を実行することになる。以下の説明では、このような処理のうち、特に、ディスプレイに表示あるいは出力される画像を生成する処理に着目する。すなわち、プロセッサ１０２は、コントローラ２００に対するユーザ操作に応じた画像を生成する処理部に相当する。
　近距離通信部１２０は、１または複数のコントローラ２００との間で無線信号を送受信する。近距離通信部１２０には、例えば、Ｂｌｕｅｔｏｏｔｈ（登録商標）、ＺｉｇＢｅｅ（登録商標）、無線ＬＡＮ（ＩＥＥＥ８０２．１１）、赤外線通信などの任意の無線方式を採用できる。以下の説明においては、近距離通信部１２０の無線方式として、Ｂｌｕｅｔｏｏｔｈを採用した例を示す。
　アンテナモジュール１２４は、１または複数のコントローラ２００から送信される無線信号を受信する。なお、近距離通信部１２０が無線信号を送受信するためのアンテナとして、アンテナモジュール１２４を配置してもよいし、近距離通信部１２０が無線信号を送受信するための通常のアンテナに加えて、アンテナモジュール１２４を追加的に配置してもよい。
　近距離通信部１２０は、ゲーム装置１００に対してコントローラ２００が存在する方向（すなわち、ゲーム装置１００から見てコントローラ２００が存在する方向）を測定する方向測定部１２２を有している。より具体的には、方向測定部１２２は、アンテナモジュール１２４が受信するコントローラ２００からの無線信号に基づいて、当該無線信号を送信したコントローラ２００が存在する方向を測定する。なお、方向測定部１２２が提供する機能は、近距離通信部１２０により提供されてもよいし、近距離通信部１２０とプロセッサ１０２とが連係することで提供されてもよい。方向測定部１２２による測定処理の詳細については後述する。
　無線通信部１２６は、インターネットなどに接続された無線中継器と無線信号を用いてデータをやり取りする。無線通信部１２６には、例えば、無線ＬＡＮ（ＩＥＥＥ８０２．１１）、公衆無線回線（４Ｇや５Ｇなど）などの任意の無線方式を採用できる。
　スピーカ１２８は、ゲーム装置１００の周囲に任意の音を発生させる。マイク１３０は、ゲーム装置１００の周囲に生じている音を収集する。
　ジャイロセンサ１３２は、ゲーム装置１００の姿勢を検出する。
　第１コントローラインターフェイス１３４および第２コントローラインターフェイス１３６は、コントローラ２００がゲーム装置１００に装着された状態において、装着されたコントローラ２００との間でデータをやり取りする。
　クレードルインターフェイス１３８は、ゲーム装置１００が後述するクレードルに載置された状態において、クレードルとの間でデータをやり取りする。
　メモリカードインターフェイス１４０は、着脱可能なメモリカード１４２からメモリカード１４２に格納されているデータを読み出すとともに、メモリカード１４２にデータを書き込む。メモリカード１４２には、アプリケーションプログラムなどが格納されていてもよい。
　図３は、本実施の形態に従うシステム１のコントローラ２００のハードウェア構成例を示す模式図である。図３を参照して、コントローラ２００は、プロセッサ２０２と、メモリ２０４と、操作部２１０と、加速度センサ２１２と、近距離通信部２２０と、本体通信部２３０とを含む。
　プロセッサ２０２は、プログラムをメモリ２０４に展開して実行することで、コントローラ２００に必要な処理を実現する。
　操作部２１０は、ユーザ操作に応じた信号を生成する。加速度センサ２１２は、コントローラ２００に生じた加速度に応じた信号を生成する。
　近距離通信部２２０は、ゲーム装置１００との間で無線信号を送受信する。
　本体通信部２３０は、コントローラ２００がゲーム装置１００に装着された状態において、ゲーム装置１００との間でデータをやり取りする。
　本明細書において、「プロセッサ」との用語は、ＣＰＵ（Ｃｅｎｔｒａｌ　Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔ）、ＭＰＵ（Ｍｉｃｒｏ　Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔ）、ＧＰＵ（Ｇｒａｐｈｉｃｓ　Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔ）などのプログラムに記述された命令コードに従って処理を実行する処理回路という通常の意味に加えて、ＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ　Ｓｐｅｃｉｆｉｃ　Ｉｎｔｅｇｒａｔｅｄ　Ｃｉｒｃｕｉｔ）やＦＰＧＡ（Ｆｉｅｌｄ　Ｐｒｏｇｒａｍｍａｂｌｅ　Ｇａｔｅ　Ａｒｒａｙ）などのハードワイヤード回路も包含する。ＡＳＩＣやＦＰＧＡなどのハードワイヤード回路は、実行すべき処理に対応する回路が予め形成されている。さらに、本明細書の「プロセッサ」は、ＳｏＣ（Ｓｙｓｔｅｍ　ｏｎ　Ｃｈｉｐ）などの複数の機能が集約された回路も包含するし、狭義のプロセッサとハードワイヤード回路との組み合わせも包含する。
　［Ｂ．使用形態］
　次に、本実施の形態に従うシステム１の使用形態のいくつかの例について説明する。上述したように、ゲーム装置１００には一対のコントローラ２００を装着することができる。ユーザは、一対のコントローラ２００が装着された状態のゲーム装置１００を把持して、ゲーム装置１００を使用することができる。このようなユーザがゲーム装置１００を把持して使用する形態を「携帯モード」と称す。携帯モードに加えて、以下のような使用形態も可能である。
　図４は、本実施の形態に従うシステム１の使用形態の一例を示す模式図である。図４には、ゲーム装置１００のディスプレイ１０６に画像を表示した状態で使用する形態を示す。図４を参照して、ゲーム装置１００をスタンド１４４で支持して、ディスプレイ１０６が横向きまたは斜め上向きになるように載置した状態で、１または複数のユーザは、ディスプレイ１０６に表示される画像を見ながら、コントローラ２００を操作する。以下の説明においては、便宜上、図４に示すようなスタンド１４４を用いてゲーム装置１００を使用する形態を「立脚モード」と称す。
　あるいは、テーブルなどの平坦面にディスプレイ１０６が上向きになるようにゲーム装置１００を載置した状態で使用することもできる。以下の説明においては、便宜上、ディスプレイ１０６が上向きになるように載置してゲーム装置１００を使用する形態を「平置きモード」と称す。なお、ゲーム装置１００で実行されるアプリケーションプログラム１１２が平置きモードに対応している場合には、ゲーム装置１００の姿勢にかかわらず、平置きモードとして処理が実行されてもよい。
　図５は、本実施の形態に従うシステム１の使用形態の別の一例を示す模式図である。図５には、ゲーム装置１００のディスプレイ１０６とは別の外部ディスプレイ３００に画像を表示した状態で使用する形態を示す。図５を参照して、ゲーム装置１００をクレードル３５０に載置した状態で、１または複数のユーザは、外部ディスプレイ３００に表示される画像を見ながら、コントローラ２００を操作する。このように、ゲーム装置１００は、ディスプレイ１０６と、ディスプレイ１０６とは別の外部ディスプレイ３００に画像を出力するためのクレードルインターフェイス１３８（図２参照）とを含む。以下の説明においては、便宜上、ゲーム装置１００をクレードル３５０に載置した状態でゲーム装置１００を使用する形態を「外部出力モード」と称す。
　なお、外部出力モードにおいて、ゲーム装置１００とクレードル３５０との間、および／または、クレードル３５０と外部ディスプレイ３００との間の通信は、有線通信であってもよいし、無線通信であってもよい。
　上述したように、本実施の形態に従うシステム１は、使用形態を異ならせることができる。
　［Ｃ．方向測定］
　次に、本実施の形態に従うシステム１が実行可能な方向測定について説明する。
　本実施の形態に従うシステム１において、ゲーム装置１００は、コントローラ２００から受信する無線信号に基づいて、コントローラ２００が存在する方向を測定する機能を有している。より具体的には、ゲーム装置１００は、離れた位置に配置された複数のアンテナ素子で無線信号をそれぞれ受信したときに生じる位相差に基づいて、コントローラ２００が存在する方向を算出する。
　図６は、本実施の形態に従うシステム１の方向測定の原理を説明するための図である。図６を参照して、アンテナモジュール１２４は、複数のアンテナ素子１２５－１，１２５－２（以下、「アンテナ素子１２５」と総称することもある。）を有している。
　ゲーム装置１００とコントローラ２００との間の距離は無線信号の波長に対して十分に長いので、コントローラ２００から送信される無線信号は、平面波とみなすことができる。そのため、コントローラ２００から送信される無線信号の等位相面２４０は、コントローラ２００と、アンテナ素子１２５－１とアンテナ素子１２５－２との中心Ｏとを結ぶ直線（アンテナ素子１２５－１およびアンテナ素子１２５－２を結ぶ直線に対して角度θをなす直線）と直交する。なお、角度θは、アンテナモジュール１２４に対して無線信号が入射する角度であり、到来角とも称される。
　図６に示す例において、アンテナ素子１２５－１は、位相φ１の等位相面２４０と交わり、アンテナ素子１２５－２は、位相φ４の等位相面２４０と交わる。すなわち、アンテナ素子１２５－１で受信される無線信号とアンテナ素子１２５－２で受信される無線信号との間では、｜位相φ１－位相φ４｜の位相差Δφが生じることになる。この位相差Δφは、角度θおよび素子間距離ｄに依存することになる。
　より具体的には、無線信号の波長をλとすると、以下のような関係式が成立する。
　　Δφ＝２π×（ｄ×ｃｏｓ（θ）／λ）
　この関係式を角度θ（到来角）について整理すると、以下のように表すことができる。
　　θ＝ｃｏｓ－１（（Δφ×λ）／（２π×ｄ））
　ここで、無線信号の波長λおよび素子間距離ｄは既知であるので、２つのアンテナ素子１２５で受信された無線信号に生じる位相差Δφに基づいて、コントローラ２００が存在する方向（角度θ）を算出できる。
　アンテナモジュール１２４は、２つ以上のアンテナ素子１２５は有していればよいが、より多くのアンテナ素子１２５を用いることで、測定精度を高めることができる。
　図７は、一方向に複数のアンテナ素子１２５を配置したアンテナモジュール１２４の一例を示す模式図である。図７に示すアンテナモジュール１２４は、Ｘ軸に沿って一列に配置された４つのアンテナ素子１２５－１～１２５－４を有している。このようなアンテナ素子１２５の配置においては、Ｘ軸に対する到来角（１次元）を測定できる。より具体的には、２つのアンテナモジュール１２４を用いることで、当該２つのアンテナモジュール１２４の中心から見たコントローラ２００から送信された無線信号の到来角を測定できる。なお、任意の隣接する２つのアンテナ素子１２５を選択してもよいし、隣接する２つのアンテナ素子１２５を順次選択するようにしてもよい。あるいは、他の実施の形態においては、互いに隣接しない２つのアンテナ素子を任意に選択してもよい。
　図７に示す例においては、アンテナ素子１２５－１とアンテナ素子１２５－２とを選択することで角度θ１を測定でき、アンテナ素子１２５－２とアンテナ素子１２５－３とを選択することで角度θ２を測定でき、アンテナ素子１２５－３とアンテナ素子１２５－４とを選択することで角度θ３を測定できる。
　測定されたそれぞれの角度から無線信号を送信したコントローラ２００の方向に加えて、コントローラ２００の位置（あるいは、距離）を測定できる。なお、測定される方向および位置は、いずれもゲーム装置１００に対する相対的な値となる。そのため、本明細書において、「方向」を測定するという処理は、「位置」を測定するという処理を含み得る。
　図８は、二方向に複数のアンテナ素子１２５を配置したアンテナモジュール１２４の一例を示す模式図である。図８に示すアンテナモジュール１２４は、Ｘ軸およびＹ軸にそれぞれ沿って配置された４×４のアンテナ素子１２５－１１～１２５－４４を有している。このようなアンテナ素子１２５の配置においては、Ｘ軸およびＹ軸に対する到来角（２次元）を測定できる。
　より具体的には、Ｘ軸の同一列に配置された２つのアンテナモジュール１２４を用いることで、コントローラ２００から送信された無線信号の到来角をＸ軸に対する成分を測定できる。同様に、Ｙ軸の同一列に配置された２つのアンテナモジュール１２４を用いることで、コントローラ２００から送信された無線信号の到来角をＹ軸に対する成分を測定できる。
　図８に示す例においては、アンテナ素子１２５－１１とアンテナ素子１２５－１２とを選択することで、到来角のＸ軸に対する成分である角度θｘを測定でき、アンテナ素子１２５－３４とアンテナ素子１２５－４４とを選択することで、到来角のＹ軸に対する成分である角度θｙを測定できる。
　図７と同様に、アンテナ素子１２５の組み合わせを異ならせて複数回の測定を行うことで、コントローラ２００の方向に加えて、コントローラ２００の位置（あるいは、距離）を測定できる。
　上述したような方向測定には、同一の無線信号を複数のアンテナ素子１２５で受信する必要がある。複数の受信回路を用意してもよいが、共通の受信回路に対して、複数のアンテナ素子１２５のうち受信に用いるアンテナ素子１２５を順次切り替えるようにしてもよい。
　図９は、本実施の形態に従うシステム１の近距離通信部１２０の構成例を示す模式図である。図９には、方向測定部１２２が近距離通信部１２０の構成の一部として実装されている例を示す。
　図９を参照して、近距離通信部１２０は、マルチプレクサ１２２１と、検波器１２２２と、差分器１２２３と、遅延素子１２２４と、角度算出部１２２５と、制御部１２２６と、デコーダ１２２７とを含む。方向測定部１２２は、主として、差分器１２２３と、遅延素子１２２４と、角度算出部１２２５と、制御部１２２６とからなる。
　マルチプレクサ１２２１は、制御部１２２６からの選択指令に従って、複数のアンテナ素子１２５のうち１つのアンテナ素子１２５を選択する。
　検波器１２２２は、マルチプレクサ１２２１を介して接続されているアンテナ素子１２５で受信された無線信号を復号して、復号された信号を出力する。
　差分器１２２３は、検波器１２２２から出力された信号間の位相差を算出する。差分器１２２３の一方には、検波器１２２２から出力される信号が直接入力され、差分器１２２３の他方には、検波器１２２２から出力される信号が遅延素子１２２４を経て入力される。遅延素子１２２４の遅延時間は、マルチプレクサ１２２１による選択時間に応じて設定される。すなわち、差分器１２２３には、現在選択されているアンテナ素子１２５で受信された無線信号を復号して得られた信号と、１つ前に選択されていたアンテナ素子１２５で受信された無線信号を復号して得られた信号とが入力される。
　角度算出部１２２５は、差分器１２２３が算出する位相差から角度（到来角）を算出する。角度算出部１２２５には、素子間距離ｄおよび波長λが予め設定されている。
　制御部１２２６は、マルチプレクサ１２２１に対して選択指令を出力するとともに、選択指令に応じて角度算出部１２２５が順次算出する角度を統計処理（例えば、平均処理や外れ値除外処理など）することで、コントローラ２００が存在する方向を示す測定結果を出力する。測定結果は、コントローラ２００が存在する方向を示す１次元の角度または２次元の角度に加えて、コントローラ２００までの距離を含んでいてもよい。
　デコーダ１２２７は、検波器１２２２から出力された信号からフレームを再構成する。また、デコーダ１２２７は、フレームに含まれる情報に基づいて、無線信号の送信元を特定するための識別情報を制御部１２２６へ出力する。
　図１０は、本実施の形態に従うシステム１のコントローラ２００が送信するフレームの構成例を示す模式図である。
　図１０を参照して、フレーム２５０は、プリアンブル２５１と、宛先アドレス２５２と、データ２５３と、ＣＲＣ２５４と、方向測定用データ２５６とを含む。プリアンブル２５１、宛先アドレス２５２、データ２５３、およびＣＲＣ２５４が実体的なフレーム２５５に相当する。
　方向測定用データ２５６は、複数の一定値（通常は、「１」）を含む。方向測定用データ２５６に含まれる値は時間的に変化しないので、無線信号としては、位相および振幅が時間的に変化しない正弦波となる。この正弦波を用いて、上述したような方向測定が行われる。
　宛先アドレス２５２は、無線信号を送信したコントローラ２００を特定するための識別情報を含んでいるので、ゲーム装置１００に複数のコントローラ２００が接続されている場合において、コントローラ２００毎に方向を測定できる。すなわち、宛先アドレス２５２に含まれる情報に基づいて、いずれのコントローラ２００からの無線信号であるかを特定した上で、特定したコントローラ２００が存在する方向を測定する。
　［Ｄ．方向測定の測定結果を用いた処理例］
　次に、上述した方向測定の測定結果を用いた処理例のいくつかについて説明する。
　本実施の形態に従うシステム１において、ゲーム装置１００は、コントローラ２００が存在する方向に基づいた画像の生成が可能である。但し、コントローラ２００が存在する方向を適切に測定できる場合に限って、測定された方向に基づいた画像を生成するようにしてもよい。より具体的には、ゲーム装置１００は、画像がディスプレイ１０６に出力される場合（具体的には、立脚モードまたは平置きモード）には、測定された方向に基づいた画像を生成する。これに対して、画像が外部ディスプレイ３００に出力される場合（具体的には、外部出力モード）には、測定された方向に基づいた画像の生成を制限する。以下、各モードの詳細について説明する。
　（ｄ１：立脚モード）
　図１１は、本実施の形態に従うシステム１のゲーム装置１００が立脚モードにおいて出力する画面例を示す模式図である。図１１（Ａ）を参照して、ユーザＡは、コントローラ２００Ａを用いてオブジェクト４０１を操作し、ユーザＢは、コントローラ２００Ｂを用いてオブジェクト４０２を操作し、ユーザＣは、コントローラ２００Ｃを用いてオブジェクト４０３を操作し、ユーザＤは、コントローラ２００Ｄを用いてオブジェクト４０４を操作している。
　このとき、オブジェクト４０１～４０４の表示位置は、ゲーム装置１００に対する、ユーザＡ～Ｄ（コントローラ２００Ａ～２００Ｄ）の存在位置を反映したものとなっている。すなわち、ゲーム装置１００に向かって左側から、コントローラ２００Ａ、コントローラ２００Ｂ、コントローラ２００Ｃ、コントローラ２００Ｄの順に存在しており、この位置関係に対応して、ディスプレイ１０６には、左側から、オブジェクト４０１、オブジェクト４０２、オブジェクト４０３、オブジェクト４０４の順で表示されている。
　コントローラ２００間の位置関係が変化することで、ディスプレイ１０６に表示される画像も変更される。
　図１１（Ｂ）には、一例として、ユーザＢとユーザＣとの間で位置が入れ替わった状態を示している。この結果、コントローラ２００Ｂおよびコントローラ２００Ｃの存在位置が変化するので、ディスプレイ１０６に表示されるオブジェクト４０２およびオブジェクト４０３の表示位置も変化する。
　なお、ゲーム装置１００のジャイロセンサ１３２による検出結果に基づいて、立脚モードであるか否かを判断してもよいし、実行されるアプリケーションプログラム１１２が立脚モードで実行されることを前提とする場合には、ジャイロセンサ１３２による検出結果にかかわらず立脚モードにおける処理を実行するようにしてもよい。
　このように、ゲーム装置１００は、画像がディスプレイ１０６に出力される場合には、ゲーム装置１００に対してコントローラ２００が存在する方向に基づいた画像をディスプレイ１０６に出力する。
　（ｄ２：平置きモード）
　図１２は、本実施の形態に従うシステム１のゲーム装置１００が平置きモードにおいて出力する画面例を示す模式図である。図１１に示す立脚モードにおいては、ディスプレイ１０６の前面にユーザが存在することになるが、図１２に示す平置きモードにおいては、ディスプレイ１０６の周囲にユーザが存在することになる。
　図１２に示す例においては、ゲーム装置１００の周囲にユーザＡ～Ｄが存在しており、各ユーザがコントローラ２００を操作して、ゲームなどをプレイする場合を想定する。
　ゲーム装置１００に対するユーザＡ～Ｄ（コントローラ２００Ａ～２００Ｄ）の存在位置に応じて、各ユーザ向けの情報を示すオブジェクト４１１～４１４がディスプレイ１０６に表示される。より具体的には、ユーザＡ向けの情報を含むオブジェクト４１１は、コントローラ２００Ａが存在する方向に対応する位置に配置されている。同様に、ユーザＢ向けの情報を含むオブジェクト４１２は、コントローラ２００Ｂが存在する方向に対応する位置に配置されており、ユーザＣ向けの情報を含むオブジェクト４１３は、コントローラ２００Ｃが存在する方向に対応する位置に配置されており、ユーザＤ向けの情報を含むオブジェクト４１４は、コントローラ２００Ｄが存在する方向に対応する位置に配置されている。
　さらに、オブジェクト４１１～４１４の各々は、対応するユーザ（すなわち、コントローラ２００）が存在する方向から見やすい向きに表示されている。
　なお、ゲーム装置１００のジャイロセンサ１３２による検出結果に基づいて、平置きモードであるか否かを判断してもよいし、実行されるアプリケーションプログラム１１２が平置きモードで実行されることを前提とする場合には、ジャイロセンサ１３２による検出結果にかかわらず平置きモードにおける処理を実行するようにしてもよい。
　このように、ゲーム装置１００は、画像がディスプレイ１０６に出力される場合には、ゲーム装置１００に対してコントローラ２００が存在する方向に基づいた画像をディスプレイ１０６に出力する。
　（ｄ３：外部出力モード）
　図１３は、本実施の形態に従うシステム１のゲーム装置１００が外部出力モードにおいて出力する画面例を示す模式図である。上述した立脚モードおよび平置きモードにおいては、画像はゲーム装置１００のディスプレイ１０６に表示される。ディスプレイ１０６とアンテナモジュール１２４との位置関係は固定されているので、測定された方向に基づいた画像を生成することで、コントローラ２００の存在位置を反映したものとなる。
　これに対して、外部出力モードにおいては、画像はディスプレイ１０６とは別の外部ディスプレイ３００に表示されるので、アンテナモジュール１２４を基準として測定された方向に基づいた画像を生成したとしても、ユーザの存在位置を適切に反映できるとは限らない。
　そのため、外部出力モードにおいては、測定された方向に基づいた画像の生成を制限してもよい。その結果、例えば、図１３（Ａ）および図１３（Ｂ）に示すように、ユーザ（コントローラ２００）の存在位置が変化しても、外部ディスプレイ３００に出力される画像において、当該位置の変化は反映されない。
　なお、測定された方向に基づいた画像の生成を制限する処理は、上述したように、測定された方向を反映しないという処理に加えて、方向に基づいた処理あるいは機能の一部を無効化する処理を含み得る。すなわち、本明細書において、「測定された方向に基づいた画像の生成を制限する」とは、立脚モードや平置きモードにおいて実行される、測定された方向に基づく任意の処理および機能の少なくとも一部を無効化すること意味する。
　この場合、方向測定自体は行うが、測定結果を破棄するようにしてもよい。あるいは、方向測定自体を行わないようにしてもよい。すなわち、ゲーム装置１００の方向測定部１２２は、画像が外部ディスプレイ３００に出力される場合には、コントローラ２００が存在する方向の測定を無効化してもよい。
　但し、外部出力モードであっても、所定条件が満たされた場合には、測定された方向に基づいた画像の生成を制限しないようにしてもよい。一例として、所定条件が満たされた場合には、制限を解除してもよい。所定条件は、例えば、外部ディスプレイ３００とゲーム装置１００（アンテナモジュール１２４）との位置関係がディスプレイ１０６とアンテナモジュール１２４との位置関係に類似しているとみなされる場合を含む。
　任意の方法で所定条件が満たされたか否かをゲーム装置１００が判断するようにしてもよいが、所定条件が満たされるようにユーザに情報を提供してもよい。例えば、外部出力モードにおいて測定された方向に基づいた画像の生成の制限を解除するための所定条件として、ゲーム装置１００と外部ディスプレイ３００とが所定の位置関係であることを採用した場合には、当該位置関係を実現できるように、ユーザ操作を支援する画面を提供してもよい。
　なお、ゲーム装置１００のクレードルインターフェイス１３８の接続状態に基づいて、外部出力モードであるか否かを判断してもよいし、実行されるアプリケーションプログラム１１２が外部出力モードで実行されることを前提とする場合には、クレードルインターフェイス１３８の接続状態にかかわらず外部出力モードにおける処理を実行するようにしてもよい。あるいは、ユーザがゲーム装置１００上で「外部出力モード」を選択することに応じて、外部出力モードに付随する処理を実行してもよい。
　このように、ゲーム装置１００は、画像が外部ディスプレイ３００に出力される場合には、測定された方向に基づいた画像の生成を制限してもよい。
　（ｄ４：外部出力モードへの切替）
　立脚モードまたは平置きモードから外部出力モードに切り替える場合、本実施の形態においては、ユーザがゲーム装置１００の位置をクレードル３５０に載置する。このとき、クレードル３５０に載置される直前に測定された方向に基づいて生成された画像をそのまま継続して（クレードル３５０への載置後は測定された方向に基づいた画像を新たに生成せずに）用いてもよい。
　しかしながら、ユーザがゲーム装置１００を持ってクレードル３５０の位置まで移動する間に、ユーザが持つゲーム装置１００と、当該ユーザが持つコントローラ２００や他のユーザが持つコントローラ２００との位置関係が変化することで、当該ユーザや他のユーザが意図しない態様で画像が生成される可能性がある。そのため、ゲーム装置１００がクレードル３５０に載置された後も、先に生成された画像がそのまま継続して使用されると、ユーザに対して違和感を与える可能性もある。
　そこで、立脚モードまたは平置きモードから外部出力モードに変更する場合には、所定の設定に従って、画像の生成を行うようにしてもよい。例えば、コントローラ２００の方向に応じて表示される位置や姿勢が変化するオブジェクトに関して、外部出力モードにおいては、当該オブジェクトを予め定められた位置や姿勢で表示してもよい。なお、立脚モードまたは平置きモードから外部出力モードに変更されると、実行中のアプリケーションプログラム１１２は一時的に停止されてもよい。
　図１４および図１５は、本実施の形態に従うシステム１のゲーム装置１００が外部出力モードに切り替えられる際の画面例を示す模式図である。図１４には、平置きモードにおける画面例が示されており、図１５には、外部出力モードにおける画面例が示されている。
　図１４に示すように、平置きモード（あるいは、立脚モード）においては、測定された方向に基づいた画像が生成されるので、オブジェクト４１１～４１４の位置および姿勢は、ゲーム装置１００に対するコントローラ２００の方向に応じたものとなっている。
　これに対して、図１５に示すように、外部出力モードに切り替えられると、測定された方向に基づいた画像の生成が制限されるので、オブジェクト４１１～４１４の位置および姿勢は、所定の設定などに従ったものとなる。具体的には、本実施の形態では、ゲーム開始前に設定されたユーザの登録順（図１５に示す例では、ユーザＡ，ユーザＢ，ユーザＣ，ユーザＤ）に従って、各ユーザに対応するオブジェクト４１１～４１４が配置されている。また、オブジェクト４１１～４１４の表示の向きも揃えられている。
　このように、ゲーム装置１００は、画像がディスプレイ１０６に出力されている状態から外部ディスプレイ３００に出力される状態に切り替えられると、測定されていた方向とは独立した、所定の設定に従って画像を生成する。
　なお、外部出力モードへの切替直後の状態において、上述したような所定条件が満たされると、測定された方向に基づいた画像の生成の制限を解除してもよい。
　（ｄ５：外部出力モードからの切替）
　外部出力モードから立脚モードまたは平置きモードに切り替える場合には、モード切替直後から、測定された方向に基づいた画像の生成の制限を解除してもよい。なお、外部出力モードから立脚モードまたは平置きモードに変更されると、実行中のアプリケーションプログラム１１２は一時的に停止されてもよい。
　あるいは、何らかの緩衝期間あるいは猶予期間を設けてもよい。このとき、外部出力モードから立脚モードまたは平置きモードに切り替えられた後、任意の開始条件が満たされた場合に限って、測定された方向に基づいた画像の生成の制限を解除してもよい。このような開始条件としては、例えば、以下のような例が挙げられる。
　一例として、ゲーム装置１００は、画像が外部ディスプレイ３００に出力される状態からディスプレイ１０６に出力されている状態に切り替えられた後、当該切り替えから所定時間経過後に、測定された方向に基づいた画像の生成を開始するようにしてもよい。
　あるいは、ゲーム装置１００は、画像が外部ディスプレイ３００に出力される状態からディスプレイ１０６に出力されている状態に切り替えられた後、ゲーム装置１００の動きが所定範囲内になると、測定された方向に基づいた画像の生成を開始するようにしてもよい。
　あるいは、ゲーム装置１００は、画像が外部ディスプレイ３００に出力される状態からディスプレイ１０６に出力されている状態に切り替えられた後、ゲーム装置１００とコントローラ２００との相対的な位置関係の時間的な変動が所定範囲内になると、測定された方向に基づいた画像の生成を開始するようにしてもよい。
　例えば、ユーザがゲーム装置１００をクレードル３５０から取り出して、テーブル上などに載置する場合に、ゲーム装置１００を載置する位置を調整している期間においては、コントローラ２００の方向を適切に測定できない可能性がある。あるいは、ユーザがコントローラ２００を持った状態でプレイする場所などを調整している可能性も想定される。このような状況下で、測定された方向に基づいた画像が生成されると、ユーザの意図しない画像となり、ユーザに対して違和感を与える可能性がある。例えば、上記のような開始条件とすることで、ユーザに与える違和感を低減し得る。
　（ｄ６：方向に基づいた画像生成）
　本明細書において、方向に基づいた画像の生成は、測定された方向に基づいて、オブジェクトの表示位置、表示方向（表示の向き）、表示態様（色や装飾など）などを異ならせる処理を含む。例えば、図１１には、測定された方向に基づいて、オブジェクトの表示位置を異ならせた例が示されており、図１２には、測定された方向に基づいて、オブジェクトの表示位置および表示方向を異ならせた例が示されている。
　また、方向に基づいた画像の生成は、測定された方向に応じた規則に従ってオブジェクト（プレイヤキャラクタ）を操作する処理、および、コントローラ２００へのユーザ操作の解釈を異ならせる処理を含み得る。例えば、図１２において、ユーザＡがコントローラ２００Ａの上ボタンを押下した場合には、ゲーム装置１００は、画面上側に向けた移動操作の指示と解釈する一方で、ユーザＤがコントローラ２００Ｄの上ボタンを押下した場合には、ゲーム装置１００は、画面右側に向けた移動操作の指示と解釈する。
　このように、方向に基づいた画像の生成は、ディスプレイ１０６または外部ディスプレイ３００に表示される画像そのものに有意な変化を生じさせる処理だけではなく、画像の生成方法に有意な変化を生じさせる処理を包含する。
　［Ｅ．方向測定の変形例］
　次に、方向測定についてのいくつかの変形例を説明する。
　（ｅ１：使用形態に応じたアンテナ素子の選択）
　上述したように、システム１においては、いくつかの使用形態（例えば、上述した３つのモード）が存在する。使用形態に応じて、アンテナモジュール１２４に含まれるアンテナ素子１２５のうち一部または全部を使用するようにしてもよい。すなわち、ゲーム装置１００の方向測定部１２２は、ゲーム装置１００の姿勢、および、実行されるアプリケーションプログラム１１２の少なくとも一方に応じて、複数のアンテナ素子１２５のうち、コントローラ２００が存在する方向を算出するために使用するアンテナ素子を変更するようにしてもよい。
　図１６は、本実施の形態に従うシステム１のアンテナモジュール１２４の動作例を説明するための図である。図１６には、図８に示すアンテナモジュール１２４と同様に、４×４のアンテナ素子１２５からなる構成例を示す。図１６に示すアンテナモジュール１２４は、ディスプレイ１０６の表示面と平行となるように配置されてもよい。典型的には、アンテナモジュール１２４は、ディスプレイ１０６の表示面を規定する２方向（図１６に示す例においては、紙面縦方向と紙面横方向）にそれぞれ沿って配置された、各方向あたり少なくとも２つのアンテナ素子１２５を含む複数のアンテナ素子１２５を有している。
　図１６（Ａ）には、立脚モードにおいて使用されるアンテナ素子１２５を例示する。立脚モードにおいては、ディスプレイ１０６の前面にユーザが存在することになるため、コントローラ２００の方向は、１次元で測定できれば十分である場合がある。そのため、アンテナモジュール１２４に含まれる複数のアンテナ素子１２５のうち、一列分のアンテナ素子１２５が使用されてもよい。
　このとき、ゲーム装置１００の底部側は、ゲーム装置１００を載置しているテーブルなどに近接しているので、受信する無線信号に反射成分などが含まれる可能性がある。そのため、一列のアンテナ素子１２５を使用する場合には、上方側のアンテナ素子１２５を使用してもよい。図１６（Ａ）に示すように、複数のアンテナ素子１２５のうち上方にある一列のアンテナ素子１２５が使用されてもよい。
　このように、ゲーム装置１００の方向測定部１２２は、ディスプレイ１０６が横向きまたは斜め上向きになるように載置された姿勢（第１の姿勢）である場合、および、当該姿勢に対応するアプリケーションプログラム１１２が実行されている場合の少なくとも一方において（すなわち、立脚モードにおいて）、複数のアンテナ素子１２５のうち一部のアンテナ素子１２５を使用する。
　図１６（Ｂ）には、平置きモードにおいて使用されるアンテナ素子１２５を例示する。平置きモードにおいては、ディスプレイ１０６の周囲にユーザが存在することになる。そのため、コントローラ２００の方向は、２次元で測定することが望まれる場合がある。すなわち、図１６（Ｂ）に示すように、アンテナモジュール１２４に含まれるアンテナ素子１２５のすべてが使用されてもよい。
　このように、ゲーム装置１００の方向測定部１２２は、ディスプレイ１０６が上向きになるように載置された姿勢（第２の姿勢）である場合、および、当該姿勢に対応するアプリケーションプログラム１１２が実行されている場合の少なくとも一方において（すなわち、平置きモードにおいて）、複数のアンテナ素子１２５のすべてを使用する。
　図１６（Ｃ）には、外部出力モードにおいて使用されるアンテナ素子１２５を例示する。外部出力モードにおいては、基本的には、測定された方向に基づいた画像の生成および表示は制限される。そのため、アンテナモジュール１２４に含まれる１つのアンテナ素子１２５を使用すれば十分である。すなわち、アンテナ素子１２５を順次選択しなくてもよい。
　但し、外部出力モードにおいても、測定された方向に基づいた画像の生成および表示の制限を解除する場合には、複数のアンテナ素子１２５を使用するようにしてもよい。一例として、図１６（Ａ）に示すように、一列分のアンテナ素子１２５を使用するようにしてもよい。
　なお、本実施の形態においては、ディスプレイ１０６の表示面を規定する２方向にそれぞれ沿って複数のアンテナ素子１２５が配置されているが、本実施の形態と同様の方式を用いて方向を検出する場合において、２つ以上のアンテナ素子１２５が異なる並び方で設けられていてもよい。
　（ｅ２：コントローラの存在位置に応じたアンテナ素子の選択）
　ゲーム装置１００の方向測定部１２２は、コントローラ２００が存在する方向を測定した後、当該方向の測定に適したアンテナ素子１２５のみを使用して、方向の測定を繰り返してもよい。すなわち、ゲーム装置１００の方向測定部１２２は、先に測定したコントローラ２００が存在する方向に応じて、複数のアンテナ素子１２５のうち、コントローラ２００が存在する方向を算出するために使用するアンテナ素子１２５を変更するようにしてもよい。
　例えば、平置きモードにおいて、ディスプレイ１０６のいずれかの辺の近傍にコントローラ２００が存在するとの測定結果に応じて、当該コントローラ２００が存在する方向の測定に適したアンテナ素子１２５のみを使用するようにしてもよい。
　（ｅ３：コントローラの挙動に応じた測定頻度の変更）
　ゲーム装置１００の方向測定部１２２は、コントローラ２００が存在する方向を測定した後、当該測定結果に応じて、測定頻度を最適化してもよい。すなわち、ゲーム装置１００の方向測定部１２２は、先に測定したコントローラ２００が存在する方向に応じて、コントローラ２００が存在する方向を算出する頻度を変更するようにしてもよい。
　例えば、ゲーム装置１００から比較的遠い位置にコントローラ２００が存在している場合には、ゲーム装置１００に対するコントローラ２００の方向の時間的な変化量は比較的小さいので、測定頻度を低下させることができる。
　また、ゲーム装置１００の方向測定部１２２は、測定される方向の時間的に変化する度合いに応じて、測定頻度を変更してもよい。例えば、所定期間内に複数回の方向測定が行われた結果、測定結果の変動が所定範囲内である場合には、コントローラ２００の移動が相対的に小さいとみなして、測定頻度を基準値より低減させてもよい。逆に、測定結果の変動が所定範囲を超える場合には、コントローラ２００の移動が相対的に大きいとみなして、測定頻度を基準値より増加させてもよい。
　コントローラ２００の挙動に応じて測定頻度を調整することで、ゲーム装置１００の処理負荷の増加を抑制できるとともに、消費電力の低減なども期待できる。
　（ｅ４：その他）
　平置きモードや立脚モードなどにかかわらず、すなわち、ゲーム装置１００の姿勢や実行されているアプリケーションプログラムにかかわらず、常に一定数のアンテナ素子１２５（例えば、すべてのアンテナ素子１２５）が使用されてもよい。
　［Ｆ．処理手順］
　次に、本実施の形態に従うシステム１が実行する処理手順の一例について説明する。
　図１７は、本実施の形態に従うシステム１のゲーム装置１００が実行する処理手順を示すフローチャートである。図１７に示す各ステップは、典型的には、ゲーム装置１００のプロセッサ１０２がアプリケーションプログラム１１２を実行することで実現される。
　図１７を参照して、ゲーム装置１００は、実行中のアプリケーションプログラム１１２が方向に基づいた画像の生成に対応しているか否かを判断する（ステップＳ１００）。方向に基づいた画像の生成に対応していなければ（ステップＳ１００においてＮＯ）、ゲーム装置１００は、コントローラ２００の方向測定を行わず、所定の設定に従って画像を生成する（ステップＳ１０２）。生成された画像は、ディスプレイ１０６または外部ディスプレイ３００に出力される。
　ゲーム装置１００は、アプリケーションプログラムの終了が指示されたか否かを判断する（ステップＳ１０４）。アプリケーションプログラムの終了が指示されていなければ（ステップＳ１０４においてＮＯ）、ステップＳ１０２以下の処理が繰り返される。アプリケーションプログラムの終了が指示されていれば（ステップＳ１０４においてＹＥＳ）、処理は終了する。
　方向に基づいた画像の生成に対応していれば（ステップＳ１００においてＹＥＳ）、ゲーム装置１００は、現在の使用形態を判断する（ステップＳ１０６）。なお、使用形態の判断には、クレードルインターフェイス１３８を介してクレードル３５０と電気的に接続されているか否か、および、ジャイロセンサ１３２による姿勢の検出結果などが用いられる。あるいは、使用形態の判断には、実行中のアプリケーションプログラム１１２の種類または設定などが用いられることもある。
　現在の使用形態が「携帯モード」であれば（ステップＳ１０６において「携帯モード」）、ステップＳ１３４以下の処理が実行される。
　現在の使用形態が「立脚モード」であれば（ステップＳ１０６において「立脚モード」）、ゲーム装置１００は、アンテナモジュール１２４に含まれる最上部にある一列分のアンテナ素子１２５を使用対象として決定する（ステップＳ１０８）。
　ゲーム装置１００は、実行中のアプリケーションプログラム１１２が方向に基づいて画像を生成することを要求しているか否かを判断する（ステップＳ１１０）。実行中のアプリケーションプログラム１１２が方向に基づいて画像を生成することを要求していれば（ステップＳ１１０においてＹＥＳ）、ゲーム装置１００は、コントローラ２００の方向測定を実行する（ステップＳ１１２）。そして、ゲーム装置１００は、測定されたコントローラ２００毎の方向に基づいて画像を生成する（ステップＳ１１４）。生成された画像は、現在の使用形態に応じて、ディスプレイ１０６または外部ディスプレイ３００に出力される。
　実行中のアプリケーションプログラム１１２が方向に基づいて画像を生成することを要求していなければ（ステップＳ１１０においてＮＯ）、ステップＳ１１２およびＳ１１４の処理はスキップされる。
　続いて、ゲーム装置１００は、使用形態が変更されたか否かを判断する（ステップＳ１１６）。使用形態が変更されると（ステップＳ１１６においてＹＥＳ）、ステップＳ１０６以下の処理が実行される。
　使用形態が変更されていなければ（ステップＳ１１６においてＮＯ）、ゲーム装置１００は、アプリケーションプログラムの終了が指示されたか否かを判断する（ステップＳ１１８）。アプリケーションプログラムの終了が指示されていなければ（ステップＳ１１８においてＮＯ）、ステップＳ１１０以下の処理が繰り返される。アプリケーションプログラムの終了が指示されていれば（ステップＳ１１８においてＹＥＳ）、処理は終了する。
　現在の使用形態が「平置きモード」であれば（ステップＳ１０６において「平置きモード」）、ゲーム装置１００は、アンテナモジュール１２４に含まれるすべてのアンテナ素子１２５を使用対象として決定する（ステップＳ１２０）。そして、ステップＳ１１０以下の処理を実行する。
　現在の使用形態が「外部出力モード」であれば（ステップＳ１０６において「外部出力モード」）、ゲーム装置１００は、測定された方向に基づいた画像の生成の制限を解除するための所定条件が満たされているか否かを判断する（ステップＳ１２２）。測定された方向に基づいた画像の生成の制限を解除するための所定条件が満たされると（ステップＳ１２２においてＹＥＳ）、ステップＳ１２０以下の処理を実行する。なお、ステップＳ１２０以下の処理に代えて、ステップＳ１０８以下の処理を実行するようにしてもよい。あるいは、外部出力モードから解除された場合に適した、特定のアンテナ素子を使用対象として決定してもよい。
　測定された方向に基づいた画像の生成の制限を解除するための所定条件が満たされていなければ（ステップＳ１２２においてＮＯ）、ゲーム装置１００は、コントローラ２００の方向測定を行わず、所定の設定に従って画像を生成する（ステップＳ１２４）。生成された画像は、外部ディスプレイ３００に出力される。
　続いて、ゲーム装置１００は、使用形態が変更されたか否かを判断する（ステップＳ１２６）。使用形態が変更されると（ステップＳ１２６においてＹＥＳ）、ステップＳ１０２以下の処理が実行される。
　使用形態が変更されていなければ（ステップＳ１２６においてＮＯ）、ゲーム装置１００は、アプリケーションプログラムの終了が指示されたか否かを判断する（ステップＳ１２８）。アプリケーションプログラムの終了が指示されていなければ（ステップＳ１２８においてＮＯ）、ステップＳ１２４以下の処理が繰り返される。アプリケーションプログラムの終了が指示されていれば（ステップＳ１２８においてＹＥＳ）、処理は終了する。
　図１８は、図１７に示す方向測定の処理手順を示すフローチャートである。図１８を参照して、ゲーム装置１００は、使用対象のアンテナ素子１２５のうち隣接する２つのアンテナ素子１２５を抽出する（ステップＳ２００）。ゲーム装置１００は、抽出した２つのアンテナ素子１２５のうち一方を選択し（ステップＳ２０２）、当該選択したアンテナ素子１２５で無線信号を受信する（ステップＳ２０４）。続いて、ゲーム装置１００は、抽出した２つのアンテナ素子１２５のうち他方を選択し（ステップＳ２０６）、当該選択したアンテナ素子１２５で同じフレームに対応する無線信号を受信する（ステップＳ２０８）。
　そして、ゲーム装置１００は、ステップＳ２０４において受信した無線信号とステップＳ２０８において受信した無線信号との位相差を算出し（ステップＳ２１０）、算出した位相差に基づいて、コントローラ２００が存在する方向を示す角度を算出する（ステップＳ２１２）。さらに、ゲーム装置１００は、２つのアンテナ素子１２５で受信した無線信号の送信元であるコントローラ２００を特定するための識別情報を付加して、算出した角度を格納する（ステップＳ２１４）。
　ゲーム装置１００は、所定の測定完了条件が満たされているか否かを判断する（ステップＳ２１６）。所定の測定完了条件は、所定時間に亘る測定や所定回数の測定などの条件を含む。
　所定の測定完了条件が満たされていなければ（ステップＳ２１６においてＮＯ）、ステップＳ２００以下の処理が繰り返される。
　所定の測定完了条件が満たされていれば（ステップＳ２１６においてＹＥＳ）、ゲーム装置１００は、格納されたコントローラ２００毎に算出された１または複数の角度を統計処理することで、コントローラ２００毎の方向を算出する（ステップＳ２１８）。そして、処理はリターンする。
　［Ｇ．その他の形態］
　上述の説明においては、ゲーム装置１００のプロセッサ１０２がコントローラ２００に対するユーザ操作に応じた画像を生成する処理を担当する例について説明したが、画像を生成する処理は、ゲーム装置１００以外のコンピューティングリソースを用いてもよい。典型的には、ゲーム装置１００と通信可能なクラウド上のコンピューティングリソースが画像を生成するようにしてもよい。この場合には、ゲーム装置１００は、コントローラ２００から受信したユーザ操作を示す信号およびコントローラ２００の方向を示す情報をコンピューティングリソースに送信し、コンピューティングリソースから画像を受信して、ディスプレイ１０６または外部ディスプレイ３００に出力する。さらに、クラウド上のコンピューティングリソースではなく、ローカルネットワークで通信可能な任意のコンピューティングリソースを用いてもよい。
　上述の説明においては、コントローラ２００が送信する無線信号を用いて、コントローラ２００の方向を測定する例について説明したが、他の方法を用いて方向を測定するようにしてもよい。例えば、赤外線などを用いてもよいし、超音波などを用いてもよい。
　また、コントローラ２００が送信する無線信号をゲーム装置１００が受信して方向を測定する構成ではなく、ゲーム装置１００が送信する無線信号をコントローラ２００が受信して方向を測定する構成を採用してもよい。この場合には、コントローラ２００で測定された方向を示す情報をゲーム装置１００へ送信することで、ゲーム装置１００における画像の生成に方向の情報を反映できる。
　上述の説明においては、ゲーム装置１００のディスプレイ１０６を利用しつつ、コントローラ２００が存在する方向を利用するモードとして、立脚モードおよび平置きモードを例示したが、単一のモード（立脚モードおよび平置きモードのいずれか一方でもよいし、これらとは異なるモードであってもよい）のみが実装されていてもよいし、３つ以上のモードが実装されていてもよい。単一のモードのみが実装されている場合には、当該モードにおいてはすべてのアンテナ素子を使用して、コントローラ２００が存在する方向を測定するようにしてもよい。
　上述の説明においては、アプリケーションプログラム１１２に応じて決定される立脚モードや平置きモードに従って処理が実行されるが、アプリケーションプログラム１１２が複数のサブアプリケーション（例えば、ミニゲーム）を含んでいる場合には、アプリケーションプログラム１１２全体でモードが決定されるだけではなく、サブアプリケーション毎にモードが決定されてもよい。
　今回開示された実施の形態はすべての点で例示であって制限的なものではないと考えられるべきである。本発明の範囲は、上記した説明ではなく、請求の範囲によって示され、請求の範囲と均等の意味および範囲内でのすべての変更が含まれることが意図される。
　１　システム、１００　ゲーム装置、１０２，２０２　プロセッサ、１０４，２０４　メモリ、１０６　ディスプレイ、１０８　タッチパネル、１１０　ストレージ、１１２　アプリケーションプログラム、１１４　システムプログラム、１２０，２２０　近距離通信部、１２２　方向測定部、１２４　アンテナモジュール、１２５　アンテナ素子、１２６　無線通信部、１２８　スピーカ、１３０　マイク、１３２　ジャイロセンサ、１３４　第１コントローラインターフェイス、１３６　第２コントローラインターフェイス、１３８　クレードルインターフェイス、１４０　メモリカードインターフェイス、１４２　メモリカード、１４４　スタンド、２００，２００Ａ，２００Ｂ，２００Ｃ，２００Ｄ　コントローラ、２１０　操作部、２１２　加速度センサ、２３０　本体通信部、２４０　等位相面、２５０，２５５　フレーム、２５１　プリアンブル、２５２　宛先アドレス、２５３　データ、２５６　方向測定用データ、３００　外部ディスプレイ、３５０　クレードル、４０１，４０２，４０３，４０４，４１１，４１２，４１３，４１４　オブジェクト、１２２１　マルチプレクサ、１２２２　検波器、１２２３　差分器、１２２４　遅延素子、１２２５　角度算出部、１２２６　制御部、１２２７　デコーダ、Ｏ　中心、ｄ　素子間距離。

Claims (18)

  1. 　ディスプレイと、当該ディスプレイとは別の外部ディスプレイに画像を出力するためのインターフェイスとを含むポータブル電子機器と、
    　ユーザ操作を受け付けるコントローラと、
    　前記コントローラに対するユーザ操作に応じた画像を生成する処理部と、
    　前記ポータブル電子機器に対して前記コントローラが存在する方向を測定する測定部とを備え、
    　前記処理部は、前記画像が前記ディスプレイに出力される場合には、前記測定された方向に基づいた画像を生成し、前記画像が前記外部ディスプレイに出力される場合には、前記測定された方向に基づいた画像の生成を制限する、システム。
  2. 　前記コントローラは、前記ユーザ操作に応じた無線信号を送信し、
    　前記測定部は、離れた位置に配置された複数のアンテナ素子で前記無線信号をそれぞれ受信したときに生じる位相差に基づいて、前記コントローラが存在する方向を算出する、請求項１に記載のシステム。
  3. 　前記測定部は、前記画像が前記外部ディスプレイに出力される場合には、前記コントローラが存在する方向の測定を無効化する、請求項２に記載のシステム。
  4. 　前記処理部は、前記画像が前記外部ディスプレイに出力される場合であっても、所定条件が満たされたときには、前記測定された方向に基づいた画像の生成を制限しない、請求項２または３に記載のシステム。
  5. 　前記測定部は、前記ポータブル電子機器の姿勢、および、前記処理部が実行するアプリケーションプログラムの少なくとも一方に応じて、前記複数のアンテナ素子のうち、前記コントローラが存在する方向を算出するために使用するアンテナ素子を変更する、請求項２～４のいずれか１項に記載のシステム。
  6. 　前記測定部は、前記ディスプレイが横向きまたは斜め上向きになるように載置された第１の姿勢である場合、および、前記第１の姿勢に対応するアプリケーションプログラムが実行されている場合の少なくとも一方において、前記複数のアンテナ素子のうち一部のアンテナ素子を使用する、請求項５に記載のシステム。
  7. 　前記測定部は、前記ディスプレイが上向きになるように載置された第２の姿勢である場合、および、前記第２の姿勢に対応するアプリケーションプログラムが実行されている場合の少なくとも一方において、前記複数のアンテナ素子のすべてを使用する、請求項５または６に記載のシステム。
  8. 　前記複数のアンテナ素子は、前記ディスプレイの表示面を規定する２方向にそれぞれ沿って配置された、各方向あたり少なくとも２つのアンテナ素子を含み、
    　前記使用される一部のアンテナ素子は、前記複数のアンテナ素子のうち、一列のアンテナ素子である、請求項６または７に記載のシステム。
  9. 　前記一列のアンテナ素子は、前記複数のアンテナ素子のうち上方にある一列のアンテナ素子である、請求項８に記載のシステム。
  10. 　前記測定部は、先に測定した前記コントローラが存在する方向に応じて、前記複数のアンテナ素子のうち、前記コントローラが存在する方向を算出するために使用するアンテナ素子を変更する、請求項５～９のいずれか１項に記載のシステム。
  11. 　前記測定部は、先に測定した前記コントローラが存在する方向に応じて、前記コントローラが存在する方向を算出する頻度を変更する、請求項１～１０のいずれか１項に記載のシステム。
  12. 　前記処理部は、前記画像が前記ディスプレイに出力されている状態から前記外部ディスプレイに出力される状態に切り替えられると、前記測定されていた方向とは独立した、所定の設定に従って前記画像を生成する、請求項１～１１のいずれか１項に記載のシステム。
  13. 　前記処理部は、前記画像が前記外部ディスプレイに出力される状態から前記ディスプレイに出力されている状態に切り替えられた後、当該切り替えから所定時間経過後に、前記測定された方向に基づいた画像の生成を開始する、請求項１～１２のいずれか１項に記載のシステム。
  14. 　前記処理部は、前記画像が前記外部ディスプレイに出力される状態から前記ディスプレイに出力されている状態に切り替えられた後、前記ポータブル電子機器の動きが所定範囲内になると、前記測定された方向に基づいた画像の生成を開始する、請求項１～１３のいずれか１項に記載のシステム。
  15. 　前記処理部は、前記画像が前記外部ディスプレイに出力される状態から前記ディスプレイに出力されている状態に切り替えられた後、前記ポータブル電子機器と前記コントローラとの相対的な位置関係の時間的な変動が所定範囲内になると、前記測定された方向に基づいた画像の生成を開始する、請求項１～１４のいずれか１項に記載のシステム。
  16. 　ユーザ操作を受け付けるコントローラと通信可能なポータブル電子機器であって、
    　ディスプレイと、
    　当該ディスプレイとは別の外部ディスプレイに画像を出力するためのインターフェイスと、
    　前記コントローラに対するユーザ操作に応じた画像を生成する処理部と、
    　前記ポータブル電子機器に対して前記コントローラが存在する方向を測定する測定部とを備え、
    　前記処理部は、前記画像が前記ディスプレイに出力される場合には、前記測定された方向に基づいた画像を生成し、前記画像が前記外部ディスプレイに出力される場合には、前記測定された方向に基づいた画像の生成を制限する、ポータブル電子機器。
  17. 　ディスプレイと、当該ディスプレイとは別の外部ディスプレイに画像を出力するためのインターフェイスとを含むポータブル電子機器が実行する処理方法であって、
    　ユーザ操作を受け付けるコントローラと通信するステップと、
    　前記ポータブル電子機器に対して前記コントローラが存在する方向を測定するステップと、
    　前記コントローラに対するユーザ操作に応じた画像を生成するステップとを備え、
    　前記画像を生成するステップは、
    　　前記画像が前記ディスプレイに出力される場合には、前記測定された方向に基づいた画像を生成するステップと、
    　　前記画像が前記外部ディスプレイに出力される場合には、前記測定された方向に基づいた画像の生成を制限するステップとを含む、処理方法。
  18. 　ディスプレイと、当該ディスプレイとは別の外部ディスプレイに画像を出力するためのインターフェイスとを含むコンピュータで実行されるプログラムであって、前記プログラムは前記コンピュータに、
    　ユーザ操作を受け付けるコントローラと通信するステップと、
    　前記コンピュータに対して前記コントローラが存在する方向を測定するステップと、
    　前記コントローラに対するユーザ操作に応じた画像を生成するステップとを実行させ、
    　前記画像を生成するステップは、
    　　前記画像が前記ディスプレイに出力される場合には、前記測定された方向に基づいた画像を生成するステップと、
    　　前記画像が前記外部ディスプレイに出力される場合には、前記測定された方向に基づいた画像の生成を制限するステップとを含む、プログラム。
PCT/JP2022/006690 2022-02-18 2022-02-18 システム、ポータブル電子機器、処理方法、およびプログラム WO2023157241A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
PCT/JP2022/006690 WO2023157241A1 (ja) 2022-02-18 2022-02-18 システム、ポータブル電子機器、処理方法、およびプログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2022/006690 WO2023157241A1 (ja) 2022-02-18 2022-02-18 システム、ポータブル電子機器、処理方法、およびプログラム

Publications (1)

Publication Number Publication Date
WO2023157241A1 true WO2023157241A1 (ja) 2023-08-24

Family

ID=87578028

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2022/006690 WO2023157241A1 (ja) 2022-02-18 2022-02-18 システム、ポータブル電子機器、処理方法、およびプログラム

Country Status (1)

Country Link
WO (1) WO2023157241A1 (ja)

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008181199A (ja) * 2007-01-23 2008-08-07 Funai Electric Co Ltd 画像表示システム
JP2013145463A (ja) * 2012-01-13 2013-07-25 Sony Corp 情報処理装置及び情報処理方法、並びにコンピューター・プログラム
WO2015049931A1 (ja) * 2013-10-04 2015-04-09 ソニー株式会社 情報処理装置、情報処理方法、及びプログラム
JP2015232783A (ja) * 2014-06-09 2015-12-24 株式会社バンダイナムコエンターテインメント プログラムおよび画像生成装置
JP2017148100A (ja) * 2016-02-22 2017-08-31 任天堂株式会社 情報処理装置、情報処理システム、情報処理方法、および情報処理プログラム
JP2018081552A (ja) * 2016-11-17 2018-05-24 任天堂株式会社 情報処理装置、情報処理装置の制御方法、情報処理プログラムおよび情報処理システム
JP2018143261A (ja) * 2017-03-01 2018-09-20 任天堂株式会社 ゲームシステム、ゲーム装置、ゲームプログラム、およびゲーム処理方法
JP2019181074A (ja) * 2018-04-17 2019-10-24 株式会社ＡｃｔＥｖｏｌｖｅ Ｖｒゲーム表示装置、ｖｒゲーム表示方法及びプログラム

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008181199A (ja) * 2007-01-23 2008-08-07 Funai Electric Co Ltd 画像表示システム
JP2013145463A (ja) * 2012-01-13 2013-07-25 Sony Corp 情報処理装置及び情報処理方法、並びにコンピューター・プログラム
WO2015049931A1 (ja) * 2013-10-04 2015-04-09 ソニー株式会社 情報処理装置、情報処理方法、及びプログラム
JP2015232783A (ja) * 2014-06-09 2015-12-24 株式会社バンダイナムコエンターテインメント プログラムおよび画像生成装置
JP2017148100A (ja) * 2016-02-22 2017-08-31 任天堂株式会社 情報処理装置、情報処理システム、情報処理方法、および情報処理プログラム
JP2018081552A (ja) * 2016-11-17 2018-05-24 任天堂株式会社 情報処理装置、情報処理装置の制御方法、情報処理プログラムおよび情報処理システム
JP2018143261A (ja) * 2017-03-01 2018-09-20 任天堂株式会社 ゲームシステム、ゲーム装置、ゲームプログラム、およびゲーム処理方法
JP2019181074A (ja) * 2018-04-17 2019-10-24 株式会社ＡｃｔＥｖｏｌｖｅ Ｖｒゲーム表示装置、ｖｒゲーム表示方法及びプログラム

Similar Documents

Publication Publication Date Title
US20210076350A1 (en) Electronic device and method for position determination using uwb signal
WO2016188318A1 (zh) 一种3d人脸重建方法、装置及服务器
CN103729765B (zh) 一种验证控制方法、终端、服务器、终端设备及***
KR20200074411A (ko) 전자 장치의 상태에 기반하여 빔포밍 신호를 출력하는 장치 및 방법
WO2013174341A2 (zh) 输入方法、装置及终端
US20230185509A1 (en) Method for controlling display and electronic device therefor
KR20220145880A (ko) 전력 조정 방법 및 전자 기기
WO2018058673A1 (zh) 一种3d显示方法及用户终端
US11741869B2 (en) Electronic device including variable display and method of operating the same
WO2023157241A1 (ja) システム、ポータブル電子機器、処理方法、およびプログラム
KR102636136B1 (ko) 노트 정보 표시 방법, 노트 정보 송신 방법 및 전자기기
US20230315156A1 (en) Electronic device for moving and displaying at least one object according to expansion of flexible display, and method for controlling same
JP2013058037A (ja) 項目選択装置、項目選択方法、ならびに、プログラム
US11853546B2 (en) Electronic device for controlling input mode according to folding angle, and method therefor
CN110268364B (zh) 一种基于配置的操作模式的方法和移动计算设备
WO2023157242A1 (ja) システム、情報処理装置、処理方法、およびプログラム
US11609660B2 (en) Electronic device including flexible display and method using the same
US20220137180A1 (en) Electronic device and method for detecting external object by using antenna array
TWI536203B (zh) 利用所擷取鍵盤影像作為指令輸入依據之輸入裝置及其相關輸入方法
CN110806801B (zh) 一种提示方法和移动终端
CN106873930B (zh) 使用OpenGL绘制用户界面的方法、装置以及移动终端
US20230305642A1 (en) Method and device for displaying notification message
CN110428802B (zh) 声音混响方法、装置、计算机设备及计算机存储介质
US20230197264A1 (en) Method for monitoring users and providing information, and device thereof
US20230007707A1 (en) Method for relaying data using different frequency bands and electronic device performing same

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 22927142

Country of ref document: EP

Kind code of ref document: A1