WO2019130896A1 - 表示制御装置、表示制御方法およびプログラム - Google Patents

表示制御装置、表示制御方法およびプログラム Download PDF

Info

Publication number
WO2019130896A1
WO2019130896A1 PCT/JP2018/042472 JP2018042472W WO2019130896A1 WO 2019130896 A1 WO2019130896 A1 WO 2019130896A1 JP 2018042472 W JP2018042472 W JP 2018042472W WO 2019130896 A1 WO2019130896 A1 WO 2019130896A1
Authority
WO
WIPO (PCT)
Prior art keywords
display
display area
display control
control unit
control device
Prior art date
Application number
PCT/JP2018/042472
Other languages
English (en)
French (fr)
Inventor
真範 三上
次郎 川野
圭祐 齊藤
Original Assignee
ソニー株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニー株式会社 filed Critical ソニー株式会社
Priority to US16/956,079 priority Critical patent/US11188287B2/en
Publication of WO2019130896A1 publication Critical patent/WO2019130896A1/ja

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017Gesture based interaction, e.g. based on a set of recognized hand gestures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G06F3/1423Digital output to display device ; Cooperation and interconnection of the display device with other functional units controlling a plurality of local displays, e.g. CRT and flat panel display
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G06F3/1423Digital output to display device ; Cooperation and interconnection of the display device with other functional units controlling a plurality of local displays, e.g. CRT and flat panel display
    • G06F3/1431Digital output to display device ; Cooperation and interconnection of the display device with other functional units controlling a plurality of local displays, e.g. CRT and flat panel display using a single graphics controller
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G3/00Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
    • G09G3/001Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes using specific devices not provided for in groups G09G3/02 - G09G3/36, e.g. using an intermediate record carrier such as a film slide; Projection systems; Display of non-alphanumerical information, solely or in combination with alphanumerical information, e.g. digital display on projected diapositive as background
    • G09G3/002Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes using specific devices not provided for in groups G09G3/02 - G09G3/36, e.g. using an intermediate record carrier such as a film slide; Projection systems; Display of non-alphanumerical information, solely or in combination with alphanumerical information, e.g. digital display on projected diapositive as background to project the image of a two-dimensional display, such as an array of light emitting or modulating elements or a CRT
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/36Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory
    • G09G5/38Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory with means for controlling the display position
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2354/00Aspects of interface with display user

Definitions

  • the present disclosure relates to a display control device, a display control method, and a program.
  • the display object is moved based on a moving operation on the display object of the first display area by a person present in the space between the first display area and the second display area.
  • a display control unit is provided, and when the display object reaches the first end of the first display area, the display control unit corresponds to a first end of the second display area.
  • a display control device is provided which causes the display object to appear at the end of the second.
  • the display object is moved based on a moving operation on the display object of the first display area by a person present in the space between the first display area and the second display area.
  • the second end of the second display area corresponding to the first end when the display object reaches the first end of the first display area by the processor.
  • a display control method is provided that includes causing the display object to appear.
  • the display object is displayed based on an operation of moving a display object of the first display area by a person present in a space between the first display area and the second display area.
  • the display control unit moves the display control section to the first end of the second display area.
  • the above-mentioned effects are not necessarily limited, and, along with or in place of the above-mentioned effects, any of the effects shown in the present specification, or other effects that can be grasped from the present specification May be played.
  • FIG. 1 is a diagram illustrating an example of a configuration of a display control system according to an embodiment of the present disclosure. It is a block diagram showing an example of functional composition of a display control device concerning the embodiment. It is a figure which shows the example of a display of the object in a 1st display area. It is a figure which shows the example of the movement operation to the object in a 1st display area. It is a figure showing an example of movement of an object in the 1st display field. It is a figure for demonstrating the 1st example of the timing in which an object appears in a 2nd display area. It is a figure for demonstrating the 2nd example of the timing in which an object appears in a 2nd display area.
  • a plurality of components having substantially the same functional configuration may be distinguished by attaching different numerals after the same reference numerals.
  • the same reference numerals when it is not necessary to distinguish each of a plurality of components having substantially the same functional configuration, only the same reference numerals will be given.
  • a display object may be simply referred to as an "object".
  • FIG. 1 is a diagram illustrating a configuration example of a display control system according to an embodiment of the present disclosure.
  • the display control system 1 includes a display control device 10, a projector 30-1, a projector 30-2, and a sensor 40.
  • the display control device 10 is assumed to be a computer.
  • the projector 30-1 displays the first display area D1 according to the control of the display control device 10.
  • the projector 30-2 displays the second display area D2 according to the control of the display control device 10. Referring to FIG. 1, an inner area R0 of the space between the first display area D1 and the second display area D2 is shown.
  • FIG. 1 shows an example in which a person H0 is present in the inner region R0.
  • a plurality of persons may exist in the inner region R0.
  • the near side of FIG. 1 is treated as “front”, and the far side of FIG. 1 is treated as “rear”.
  • the first display area D1 is present in front of the second display area D2 (the second display area D2 is present in the rear of the first display area D1). ). Therefore, when the person H0 present in the inner area R0 is facing forward, it is possible to view the first display area (hereinafter also referred to as "front”) D1 and when looking backward, It is possible to view the second display area (hereinafter also referred to as “rear surface”) D2.
  • a screen (hereinafter also referred to as “front side screen”) is present in the first display area D1, and a screen (hereinafter also referred to as “back side screen”) in the second display area D2.
  • the projector 30-1 displays light in the first display area D1 by projecting light onto the front screen of the first display area D1 and the projector 30-2 displays light in the back side screen.
  • the second display area D2 is displayed by projection will be described.
  • each of the first display area D1 and the second display area D2 may be displayed in any manner.
  • the projector 30-1 may be a hologram projector that projects a hologram in the first display area D1. At this time, the front side screen may not exist in the first display area D1.
  • the projector 30-2 may be a hologram projector that projects a hologram in the second display area D2. At this time, the back side screen may not exist in the second display area D2.
  • various display devices for displaying in the first display area D1 may be used.
  • various display devices that display in the second display area D2 may be used.
  • the type of display device is not particularly limited, and may be a liquid crystal display, an organic EL (Electro-Luminescence) display, or another display.
  • the display device may be a display (transmissive display) having a property of transmitting light.
  • the sensor 40 detects the position of a person present in the detectable range.
  • the type of sensor 40 is not particularly limited.
  • the sensor 40 may be a visible light camera, an infrared sensor, an ultrasonic sensor, a millimeter wave radar, or any other sensor. May be In the present specification, it is mainly assumed that the sensor 40 is a depth sensor, and the three-dimensional position of a person including the distance from the sensor 40 to the person is detected by the sensor 40.
  • the detectable range of the sensor 40 includes at least the inner region R0.
  • the detection result by the sensor 40 is provided to the display control device 10 and is used for control by the display control device 10.
  • FIG. 2 is a block diagram showing an example of the functional configuration of the display control apparatus 10 according to the present embodiment.
  • the display control device 10 includes a control unit 110 and a storage unit 120.
  • these functional blocks included in the display control device 10 will be described.
  • the control unit 110 executes control of each unit of the display control device 10.
  • the control unit 110 may be configured by, for example, a processing device such as a CPU (central processing unit).
  • a processing unit such as a CPU
  • the processing unit may be configured by an electronic circuit.
  • the control unit 110 includes a data acquisition unit 111 and a display control unit 113. The blocks included in the control unit 110 will be described in detail later.
  • the storage unit 120 is a recording device that stores a program executed by the control unit 110 or stores data necessary for the execution of the program. In addition, the storage unit 120 temporarily stores data for the calculation by the control unit 110.
  • the storage unit 120 may be a magnetic storage unit device, a semiconductor storage device, an optical storage device, or a magneto-optical storage device.
  • FIG. 3 is a view showing a display example of an object in the first display area D1.
  • a person H0 is present in the space between the first display area D1 and the second display area D2.
  • the display control unit 113 displays the objects B1 to B3 in the first display area D1.
  • the object may be moved from the second display area D2 to the first display area D1.
  • the objects B1 to B3 are rectangular icons with numerals, but the contents written on the objects, the shapes of the objects, the number of objects, etc. are not particularly limited.
  • the person H0 wants to move the object B3.
  • FIG. 4 is a diagram showing an example of the movement operation to the object B3 in the first display area D1.
  • the movement operation an operation of moving a hand in a direction to be moved is shown while pointing an object B3 which the person H0 wants to move by hand.
  • the sensor 40 detects the position and the shape of the hand of the person H0, and the data acquiring unit 111 acquires the position and the shape of the hand of the person H0.
  • the display control unit 113 detects, as pointing coordinates, the intersection point of the extension line of the hand and the first display area D1 from the position and shape of the hand of the person H0, and moves the object B3 within a predetermined range from the pointing coordinates Recognize as a target.
  • the display control unit 113 also calculates the movement amount of the object B3 based on the movement amount of the pointing coordinates. Then, the display control unit 113 moves the object B3 based on the calculated movement amount.
  • the velocity vector of the object B3 is determined corresponding to the motion vector of the pointing coordinates.
  • the moving operation is not limited to such an example.
  • FIG. 5 is a diagram showing an example of movement of the object B3 in the first display area D1.
  • the object B3 is moved in the first display area D1 based on the moving operation by the person H0.
  • the movement of the object B3 in the first display area D1 is not limited.
  • the object B3 may perform the same-speed linear motion on the first display area D1 as it is.
  • the object B3 may move in the first display area D1 on the assumption that it moves while receiving gravity in order to give the person H0 a feeling of lifting the object B3.
  • the object B3 may have its velocity vector attenuated.
  • the object B3 reaches the first end (for example, the upper end) of the first display area D1.
  • the display control unit 113 causes the first end (for example, the upper end) of the second display area D2
  • the object B3 appears at the second end (for example, the upper end) corresponding to.
  • first display area D1 and the upper end portion of the second display area D2 correspond to each other.
  • the corresponding end of each of the first display area D1 and the second display area D2 is not limited to the upper end.
  • lower ends of the first display area D1 and the second display area D2 may correspond to each other.
  • each of the first display area D1 and the second display area D2 may correspond to each other.
  • the right end of the first display area D1 corresponds to the left end of the second display area D2
  • the left end of the first display area D1 and the second display area D2 The right end portion may correspond.
  • the right end of the first display area D1 corresponds to the right end of the second display area D2
  • the left end of the first display area D1 and the left end of the second display area D2 A part may correspond.
  • timings are assumed as the timing when the object B3 appears in the second display area D2.
  • the object B3 may appear in the second display area D2 when reaching the upper end of the one display area D1, or after reaching the upper end of the first display area D1. When time passes, it may appear in the second display area D2.
  • timing when the object B3 appears in the second display area D2 will be described.
  • FIG. 6 is a diagram for describing a first example of the timing at which the object B3 appears in the second display area D2.
  • a state of display of the object B3 at each time (time T11 to T13) of the first display area D1 and the second display area D2 is shown.
  • time T11 while moving upward inside the first display area D1 (time T11), the object B3 reaches the upper end (time T12) and retreats outside the upper end (time T11). Time T13).
  • the object B3 does not appear. Then, for example, when the upper end portion of the first display area D1 is set as the boundary E1, for example, when the object B3 reaches the upper end portion (boundary E1) of the first display area D1, the display control unit 113 (Time T12) The object B3 may begin to appear at the upper end of the second display area D2. Thus, the object B3 appears in the second display area D2 when reaching the upper end of the first display area D1.
  • FIG. 7 is a diagram for describing a second example of the timing at which the object B3 appears in the second display area D2.
  • a state of display of the object B3 at each time (time T21 to T23) of the first display area D1 and the second display area D2 is shown.
  • the object B3 reaches the upper end while moving upward inside the first display area D1, and moves out of the upper end (time T21).
  • the object B3 does not appear. Then, for example, in the case where the virtual line outside the first display area D1 is set as the boundary E2, for example, when the object B3 reaches the virtual line (boundary E2), the display control unit 113 (time T22), The object B3 may begin to appear at the upper end of the second display area D2. Thus, the object B3 appears in the second display area D2 when a predetermined time has elapsed after reaching the upper end of the first display area D1.
  • the display control unit 113 sets a virtual line (boundary E2) at a position separated from the upper end of the first display area D1 by the same length as the width d1 of the object B3. ing.
  • the distance between the upper end portion of the first display area D1 and the virtual line (boundary E2) is not particularly limited.
  • FIG. 8 is a diagram for explaining a third example of the timing at which the object B3 appears in the second display area D2.
  • a state of display of the object B3 at each time (time T31 to T33) of the first display area D1 and the second display area D2 is shown.
  • the object B3 reaches the upper end while moving upward inside the first display area D1, and withdraws out of the upper end (time T31).
  • the object B3 does not appear. Then, as in the example illustrated in FIG. 7, when the virtual line outside the first display area D1 is set as the boundary E3, the display control unit 113 sets the object B3 to the virtual line (boundary E3). When it reaches (time T32), the object B3 may begin to appear at the upper end of the second display area D2. Thus, the object B3 appears in the second display area D2 when a predetermined time has elapsed after reaching the upper end of the first display area D1.
  • the virtual line (the line is separated by the width d2 from the upper end of the first display area D1 (longer than the width d1 shown in FIG. 7) by the display control unit 113.
  • Boundary E3 is set.
  • the virtual line (boundary E3) may be arbitrarily set by the display control unit 113.
  • the display control unit 113 sets the virtual line (boundary E3) at a position separated from the upper end of the first display area D1 by a length corresponding to the distance between the first display area D1 and the second display area D2. May be set. The interval between the first display area D1 and the second display area D2 may be detected based on the detection result of the sensor 40. Alternatively, the display control unit 113 may set a virtual line (boundary E3) at a position separated from the upper end of the first display area D1 by a length corresponding to the velocity vector of the object B3.
  • the display control unit 113 widens the width between the upper end portion of the first display area D1 and the virtual line (boundary E3) as the distance between the first display area D1 and the second display area D2 increases. May be Then, the movement of the object B3 to the first display area D1 and the second display area D2 existing in the real space can be grasped more intuitively.
  • the display control unit 113 sets the upper end portion of the first display area D1 and The width with the virtual line (boundary E3) may be narrowed. Then, the movement of the object B3 to the first display area D1 and the second display area D2 existing in the real space can be grasped more intuitively.
  • the vertical component of the velocity vector of the object B3 may differ depending on the type of the object B3.
  • FIG. 9 is a diagram for explaining a fourth example of the timing at which the object B3 appears in the second display area D2.
  • a state of display of the object B3 at each time (time T41 to T43) of the first display area D1 and the second display area D2 is shown.
  • the object B3 reaches the upper end while moving upward inside the first display area D1, and withdraws out of the upper end (time T41).
  • the object B3 does not appear. Then, when the upper end portion of the first display area D1 is set as a boundary, the display control unit 113 determines that the object B3 moves while receiving gravity in a space outside the upper end portion of the first display area D1. If it is assumed that the object B3 reaches the boundary again (T42), the object B3 may begin to appear at the upper end of the second display area D2. As a result, after the object B3 exits from the upper end of the first display area D1, it is possible to move the real space and give the person H0 a feeling that it has reached the second display area D2. .
  • the display control unit 113 when the display control unit 113 causes the object B3 to appear in the second display area D2, the display control unit 113 does not cause the entire object B3 to appear at one time. It is good to make B3 appear gradually. For example, when there is a first part beyond the boundary in the object B3, the display control unit 113 controls the second part corresponding to the first part to be displayed in the second display area D2. (For example, a second part having the same area as the first part may be displayed in the second display area D2).
  • FIG. 10 is a view showing the appearance of the object B3 appearing in the second display area D2. Referring to FIG. 10, an example is shown in which the object B3 appears at the upper end of the second display area D2 when the object B3 reaches the upper end of the first display area D1.
  • the orientation of the object B3 when the object B3 is displayed in the first display area D1 and when it is displayed in the second display area D2 when viewed from the person H0 Has not changed.
  • the orientation of the object B3 may change between when the object B3 is displayed in the first display area D1 and when it is displayed in the second display area D2 (for example, You may turn it upside down).
  • the velocity vector (first velocity vector) of the object B3 in the first display region D1 is the second display region D2 (for example, the second display region D2).
  • the display control unit 113 selects the second display area (the first speed vector) based on the velocity vector of the object B3 in the first display area D1 (for example, the upper end of the first display area D1). For example, the velocity vector (second velocity vector) of the object B3 in the upper end portion of the second display area D2 may be determined.
  • the display control unit 113 reverses the vertical component of the velocity vector (first velocity vector) of the object B3 in the first display region D1 (for example, the upper end of the first display region D1).
  • the velocity vector (second velocity vector) of the object B3 in the second display region (for example, the upper end of the second display region D2) may be determined.
  • the object B3 may appear at the upper end of the second display area D2. That is, when the object B3 reaches the upper end of the first display area D1, the display control unit 113 causes the object B3 to appear at the upper end of the second display area D2 based on the type of movement operation. You may control the By this, the person H0 can control whether or not the object B3 appears in the second display area D2 by the moving operation.
  • the type of movement operation may include the number of operators performing the movement operation. For example, when the object B3 reaches the upper end portion of the first display area D1, the display control unit 113 performs the second operation when the number of operation bodies (for example, the number of fingers) is the first number. If the object B3 does not appear at the upper end of the display area D2 and the number of operators (for example, the number of fingers) is a second number different from the first number, the second display area D2 An object B3 may appear at the upper end.
  • the number of operation bodies for example, the number of fingers
  • FIG. 11 is a diagram showing the appearance of the object B3 when the number of operation bodies is the first number.
  • a person H0 performs a moving operation with one finger.
  • the display control unit 113 does not cause the object B3 to appear at the upper end of the second display area D2.
  • the operating body is not limited to the finger, and the number of operating bodies is not limited to one.
  • FIG. 12 is a diagram showing the appearance of the object B3 when the number of operating bodies is the second number.
  • a person H ⁇ b> 0 performs a moving operation with two fingers.
  • the display control unit 113 may cause the object B3 to appear at the upper end portion of the second display area D2.
  • the operating body is not limited to the finger, and the number of operating bodies is not limited to two.
  • the conditions for causing the object B3 to appear at the upper end of the second display area D2 are not limited to such conditions.
  • the display control unit 113 when the object B3 reaches the upper end portion of the first display area D1, the display control unit 113 generates the second display area D2 based on a parameter (for example, velocity or acceleration) related to the movement of the object B3. It may be controlled whether or not the object B3 appears at the upper end.
  • the display control unit 113 moves the object B3 to the upper end of the second display area D2 when the parameter related to movement is lower than the threshold. If the parameter relating to the movement of the object B3 is higher than the threshold without appearing, the object B3 may appear at the upper end of the second display area D2. If the parameter related to movement is the same as the threshold value, the object B3 may or may not appear at the upper end of the second display area D2.
  • the movement of the object B3 in the second display area D2 is not limited, as in the first display area D1.
  • the object B3 may perform the constant velocity linear motion in the second display area D2.
  • the object B3 may move in the second display area D2 on the assumption that it moves while receiving gravity.
  • the object B3 may have its velocity vector attenuated.
  • the display control unit 113 may control the velocity vector of the object B3 in at least a part of the first display area D1 and the second display area D2 to be constant.
  • the display control unit 113 controls the movement of the object B3 in at least a part of the first display area D1 and the second display area D2 on the assumption that the object B3 moves while receiving the gravity in the at least one part.
  • the display control unit 113 may control the object B3 so that the velocity vector of the object B3 in at least a part of the first display area D1 and the second display area D2 is attenuated.
  • the object B3 may continue to move in the second display area D2 (for example, when reaching the end, it may bounce back from the end into the second display area D2), but the predetermined stop When the condition is satisfied, the display may be stopped in the second display area D2.
  • the stopping condition is not particularly limited. An example of the stop condition will be described below.
  • FIG. 13 is a diagram for explaining a first example of the stop condition of the object B3.
  • the stop condition of the object B3 may be a condition that the velocity vector of the object B3 is attenuated and the magnitude of the velocity vector becomes zero. That is, the display control unit 113 may stop the object B3 when the velocity vector of the object B3 is attenuated in the second display area D2 and the magnitude of the velocity vector becomes zero.
  • FIG. 14 is a diagram for explaining a second example of the stop condition of the object B3.
  • the stop condition of the object B3 is that the object B3 has reached the lower end (third end) opposite to the upper end (second end) of the second display area D2 It may be a condition. That is, the display control unit 113 stops the object B3 when the object B3 reaches the lower end (third end) opposite to the upper end (second end) of the second display area D2. May be The third example of the stop condition will be described later.
  • FIG. 15 is a flowchart showing an example of the overall processing of the display control apparatus 10.
  • the display control device 10 executes a process of performing initial display on the display area (S10), performs a process of sensing the state of the person H0 (S20), and responds to the state of the person H0.
  • a process of displaying the displayed object is executed (S30).
  • S10 will be described with reference to FIG. 16
  • S20 will be described with reference to FIG. 17
  • S30 will be described as S30-1 and S30-2, with reference to FIG. 18 and FIG.
  • FIG. 16 is a diagram showing an example of processing for performing initial display on the display area.
  • the projector 30-1 and the projector 30-2 perform initial control of objects in the first display area D1 and the second display area D2 under the control of the display control unit 113.
  • Project the state. If there is no object to be projected in at least one of the first display area D1 and the second display area D2, the object may not be projected.
  • FIG. 17 is a diagram illustrating an example of processing for sensing the state of the person H0.
  • the sensor 40 detects the state of the person H0 (S21).
  • the data acquisition unit 111 acquires the state of the person H0 detected by the sensor 40.
  • the display control unit 113 determines whether the display area is touched by the person H0 based on the state of the person H0 (S22).
  • the display control unit 113 determines that the display area has been touched by the person H0 ("Yes" in S22), the touch coordinates and the object position are compared (S23), and the touch coordinates and the object position fall within a predetermined range. If (YES at S24), it is determined that a touch operation has been performed by the person H0 (touch determination is made) (S25), and the process is ended. On the other hand, if the touch coordinates and the object position are out of the predetermined range ("No" in S24), the process ends.
  • the display control unit 113 determines that the display area is not touched by the person H0 ("No" in S22), the pointing coordinates and the object position are compared (S26), and the pointing coordinates and the object position are predetermined. If it is within the range of ("Yes" in S27), it is determined that the movement operation has been performed by the person H0 (movement determination is made) (S28), and the process is ended. On the other hand, if the pointing coordinates and the object position are out of the predetermined range ("No" in S27), the process is ended.
  • FIG. 18 is a diagram showing an example of processing for displaying an object according to the state of the person H0.
  • the object appears in the second display area D2 when a predetermined time has elapsed since the object reached the upper end of the first display area D1.
  • the display control unit 113 calculates the movement amount of the object based on the movement amount of the pointing coordinates (S31), and moves the object in the first display area D1 based on the movement amount of the object (S32) .
  • the display control unit 113 repeatedly executes S33, and the object is the upper end of the first display area D1. Is reached ("Yes” in S33), the velocity vector of the object is stored (S34-1). Then, the display control unit 113 calculates the redisplay timing of the object (S35-1).
  • the display control unit 113 repeatedly executes S36-1 and when the redisplay timing of the object arrives (S36)
  • the object is redisplayed in the second display area D2 at “1” (“Yes”), and the object is moved using the stored velocity vector (S37-1).
  • the display control unit 113 stops the object when the velocity vector attenuates and the magnitude of the velocity vector becomes zero (S38).
  • FIG. 19 is a diagram showing an example of processing for displaying an object according to the state of the person H0.
  • the object appears in the second display area D2 when it reaches the upper end of the first display area D1.
  • S31 to S33 are executed similarly to the case described with reference to FIG.
  • the display control unit 113 inverts the vertical component of the velocity vector of the object to calculate the velocity vector. (S34-2).
  • the display control unit 113 displays the object in the second display area D2, and moves the object using the calculated velocity vector (S35-2). As an example, the display control unit 113 stops the object when the velocity vector attenuates and the magnitude of the velocity vector becomes zero (S36).
  • the object B3 may stop in the second display area D2 when the predetermined stop condition is satisfied.
  • the first example and the second example of the stop condition of the object B3 have been described.
  • a third example of the stop condition of the object B3 will be described.
  • FIG. 20 is a diagram for explaining a third example of the stop condition of the object B3.
  • the stop condition of the object B3 may be a condition that the object B3 is touched by the person H0. That is, when the object B3 is touched by the person H0, the display control unit 113 may stop the object B3.
  • the third example of the stop condition of the object has been described as an example of the touch operation of the object.
  • touch operation of an object may be used in other scenes.
  • an object may be selected by touch operation of the object.
  • 21 to 23 are diagrams showing an example in which an object is selected by touch operation of the object. Referring to FIG. 21, an example in which the object B2 is selected when the object B2 is touched by the person H0 is illustrated.
  • FIG. 22 shows the case where the objects B1 to B3 displayed in the first display area D1 and B5 to B7 displayed in the second display area D2 are balloons.
  • the object C4 indicates a balloon that has been ruptured as a result of being selected by the person H0.
  • FIG. 23 shows the case where, in addition to the objects B1 to B3 displayed in the first display area D1, B6 and B7 displayed in the second display area D2 are balloons.
  • the object C4 indicates a balloon which has been ruptured as a result of being selected by the person H0
  • the object C5 indicates a balloon which has been ruptured as a result of being selected by the person H1. In this way, multiple objects can be manipulated simultaneously by multiple people.
  • FIG. 15 is a diagram showing another example of the process of displaying an object according to the state of the person H0.
  • the touch operation is performed by the person H0.
  • the display control unit 113 performs processing corresponding to the touch on the object (S39).
  • the movement operation is mainly assumed to be the case in which a person points from a position away from the display area.
  • a drag operation performed while a person directly touches the display area may be treated as a move operation.
  • the drag operation may be detected by the touch sensor when the display area is provided with the touch sensor.
  • the operating body is not limited to the hand of a person.
  • an object such as a pointer may be used as an operating body.
  • the coordinates pointed (by contact or non-contact) by the pointer may be taken as pointing coordinates.
  • a controller for example, a mouse, a tablet, etc.
  • the operating body may be a fan like a fan.
  • FIG. 25 is a view showing a case where a fan is used as an operating body.
  • the person H0 holds a fan 50.
  • objects B1 to B4 (balloons) are displayed in the second display area D2.
  • the sensor 40 detects the amount of movement of the fan 50, and the display control unit 113 temporarily generates a wind in the direction and the size according to the amount of movement. May calculate how objects B1 to B4 are skipped, and objects B1 to B4 may be moved based on the calculation result.
  • the movement amount of the fan 50 may be determined based on the movement amount of the pointing coordinates of the second display area D2 indicated by the fan 50.
  • the pointing coordinates may be detected based on the position and attitude of the marker 51 when the marker 51 is written on the fan 50. However, even if the marker 51 is not written on the fan 50, the pointing coordinates may be detected based on the position and posture of the fan 50 itself.
  • the objects B1 to B4 may be displayed not in the second display area D2 but in the first display area D1.
  • FIG. 26 is a block diagram showing an example of the hardware configuration of the display control apparatus 10 according to an embodiment of the present disclosure.
  • the display control device 10 includes a central processing unit (CPU) 801, a read only memory (ROM) 803, and a random access memory (RAM) 805.
  • the display control device 10 may also include a host bus 807, a bridge 809, an external bus 811, an interface 813, a storage device 819, a drive 821, a connection port 823, and a communication device 825.
  • the display control device 10 may have a processing circuit such as a digital signal processor (DSP) or an application specific integrated circuit (ASIC), instead of or in addition to the CPU 801.
  • DSP digital signal processor
  • ASIC application specific integrated circuit
  • the CPU 801 functions as an arithmetic processing unit and a control unit, and controls the overall operation in the display control apparatus 10 or a part of it according to various programs recorded in the ROM 803, the RAM 805, the storage unit 819, or the removable recording medium 827.
  • the ROM 803 stores programs used by the CPU 801, calculation parameters, and the like.
  • the RAM 805 temporarily stores programs used in the execution of the CPU 801, parameters that appropriately change in the execution, and the like.
  • the CPU 801, the ROM 803, and the RAM 805 are mutually connected by a host bus 807 configured by an internal bus such as a CPU bus. Further, the host bus 807 is connected to an external bus 811 such as a peripheral component interconnect / interface (PCI) bus via a bridge 809.
  • PCI peripheral component interconnect / interface
  • the storage device 819 is a device for data storage configured as an example of a storage unit of the display control device 10.
  • the storage device 819 includes, for example, a magnetic storage unit device such as a hard disk drive (HDD), a semiconductor storage device, an optical storage device, or a magneto-optical storage device.
  • the storage device 819 stores programs executed by the CPU 801, various data, various data acquired from the outside, and the like.
  • the drive 821 is a reader / writer for a removable recording medium 827 such as a magnetic disk, an optical disk, a magneto-optical disk, or a semiconductor memory, and is incorporated in or externally attached to the display control device 10.
  • the drive 821 reads the information recorded in the mounted removable recording medium 827 and outputs the information to the RAM 805.
  • the drive 821 also writes a record on the attached removable recording medium 827.
  • connection port 823 is a port for directly connecting the device to the display control device 10.
  • the connection port 823 may be, for example, a Universal Serial Bus (USB) port, an IEEE 1394 port, a Small Computer System Interface (SCSI) port, or the like.
  • the connection port 823 may be an RS-232C port, an optical audio terminal, a high-definition multimedia interface (HDMI (registered trademark)) port, or the like.
  • HDMI registered trademark
  • the communication device 825 is, for example, a communication interface configured of a communication device or the like for connecting to the network 931.
  • the communication device 825 may be, for example, a communication card for a wired or wireless Local Area Network (LAN), Bluetooth (registered trademark), or WUSB (Wireless USB).
  • the communication device 825 may be a router for optical communication, a router for asymmetric digital subscriber line (ADSL), or a modem for various communications.
  • the communication device 825 transmits and receives signals and the like to and from the Internet or another communication device using a predetermined protocol such as TCP / IP.
  • a network 931 connected to the communication device 825 is a network connected by wire or wireless, and is, for example, the Internet, a home LAN, infrared communication, radio wave communication, satellite communication, or the like.
  • the moving operation to the display object of the first display area by the person existing in the space between the first display area and the second display area is performed.
  • a display control unit configured to move the display object based on the display control unit, the display control unit is configured to display the second display area when the display object reaches a first end of the first display area.
  • a display control device is provided which causes the display object to appear at a second end corresponding to the first end. According to this configuration, it is possible to present the display object so that the movement of the display object from one display area to the other display area can be grasped more intuitively.
  • the first end is an upper end of the first display area, The second end is an upper end of the second display area, The display control device according to (1).
  • the display control unit determines a second velocity vector of the display object in the second display region based on a first velocity vector of the display object in the first display region.
  • the display control unit determines the second velocity vector by inverting a vertical component of the first velocity vector.
  • the display control device according to (3).
  • the display control unit controls, when the display object reaches the first end, whether to cause the display object to appear at the second end based on a type of the movement operation.
  • the display control device according to any one of the above (1) to (4).
  • the type of movement operation includes the number of operators performing the movement operation.
  • the display control unit causes the display object to appear at the second end when the number of the operating object is the first number. Instead, when the number of operation bodies is a second number different from the first number, the display object is made to appear at the second end.
  • the display control device controls whether to cause the display object to appear at the second end based on a parameter related to the movement of the display object when the display object reaches the first end. Do, The display control device according to any one of the above (1) to (7). (9) The display control unit does not cause the display object to appear at the second end when the display object reaches the first end and the parameter related to the movement is lower than a threshold. Causing the display object to appear at the second end when the parameter related to the movement of the display object is higher than the threshold value; The display control device according to (8).
  • the display control unit controls movement of the display object in at least a part of the first display area and the second display area on the assumption that the display object moves while receiving gravity in the at least part. Do, The display control device according to any one of the above (1) to (9). (11) The display control unit controls the display object so that a velocity vector of the display object in at least a part of the first display area and the second display area becomes constant. The display control device according to any one of the above (1) to (10). (12) The display control unit controls the display object so that a velocity vector of the display object in at least a part of the first display area and the second display area is attenuated. The display control device according to any one of (1) to (11).
  • the display control unit is configured to, when the display object is touched by the person, when the display object reaches a third end opposite to the second end in the second display area, or And stopping the display object when the velocity vector of the display object is attenuated and the magnitude of the velocity vector becomes zero.
  • the display control device according to any one of the above (1) to (12).
  • the display control unit causes the display object to reach the second end when the display object reaches the boundary at the first end. Start to appear in The display control device according to any one of the above (1) to (13).
  • the display control unit appears the display object at the second end when the display object reaches the boundary.
  • the display control device starts doing, The display control device according to any one of the above (1) to (13).
  • the display control unit is configured to move the virtual display at a position away from the first end by an interval between the first display area and the second display area or a length corresponding to a velocity vector of a display object Set the line, The display control device according to (15).
  • the display control unit determines that the display object moves while receiving gravity in a space outside the first end when the first end is set as a boundary. Starts to appear the display object at the second end when it reaches the boundary again, The display control device according to any one of the above (1) to (13).
  • the display control unit performs control such that a second part corresponding to the first part is displayed in the second display area when there is a first part beyond the boundary in the display object.
  • the display control device according to any one of (14) to (17). (19) Moving the display object based on an operation of moving a display object of the first display area by a person present in a space between the first display area and the second display area; When the display object reaches the first end of the first display area by the processor, the display object is displayed at the second end corresponding to the first end of the second display area. Including appearing, Display control method.
  • a display control unit for moving the display object based on an operation of moving a display object of the first display area by a person present in a space between the first display area and the second display area; When the display object reaches the first end of the first display area, the display control unit causes the second end of the second display area to correspond to the first end. Make the display object appear, A program for functioning as a display control device.
  • Reference Signs List 1 display control system 10 display control unit 110 control unit 111 data acquisition unit 113 display control unit 120 storage unit 30 projector 40 sensor 50 group fan 51 marker D1 first display area D2 second display area H0 person R0 inner area

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • Controls And Circuits For Display Device (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

【課題】一方の表示領域から他方の表示領域への表示オブジェクトの移動がより直感的に把握できるように表示オブジェクトを提示する技術が提供されることが望まれる。 【解決手段】第1の表示領域と第2の表示領域との間の空間に存在する人物による前記第1の表示領域の表示オブジェクトへの移動操作に基づいて、前記表示オブジェクトを移動させる表示制御部を備え、前記表示制御部は、前記第1の表示領域の第1の端部に前記表示オブジェクトが到達した場合、前記第2の表示領域の前記第1の端部に対応する第2の端部に前記表示オブジェクトを出現させる、表示制御装置が提供される。

Description

表示制御装置、表示制御方法およびプログラム
 本開示は、表示制御装置、表示制御方法およびプログラムに関する。
 近年、表示オブジェクトを表示領域に表示させる技術が存在する。例えば、表示オブジェクトの例としての画像を光源からスクリーンに投射することによって表示オブジェクトを表示領域に表示させる技術が存在する(例えば、特許文献1参照。)。かかる技術によれば、表示領域に表示された表示オブジェクトが人物によって閲覧される。このとき、一方の表示領域から他方の表示領域に表示オブジェクトが移動される場合もある。
特開2015-127755号公報
 しかし、一方の表示領域から他方の表示領域への表示オブジェクトの移動がより直感的に把握できるように表示オブジェクトを提示する技術が提供されることが望まれる。
 本開示によれば、第1の表示領域と第2の表示領域との間の空間に存在する人物による前記第1の表示領域の表示オブジェクトへの移動操作に基づいて、前記表示オブジェクトを移動させる表示制御部を備え、前記表示制御部は、前記第1の表示領域の第1の端部に前記表示オブジェクトが到達した場合、前記第2の表示領域の前記第1の端部に対応する第2の端部に前記表示オブジェクトを出現させる、表示制御装置が提供される。
 本開示によれば、第1の表示領域と第2の表示領域との間の空間に存在する人物による前記第1の表示領域の表示オブジェクトへの移動操作に基づいて、前記表示オブジェクトを移動させることを含み、プロセッサにより、前記第1の表示領域の第1の端部に前記表示オブジェクトが到達した場合、前記第2の表示領域の前記第1の端部に対応する第2の端部に前記表示オブジェクトを出現させることを含む、表示制御方法が提供される。
 本開示によれば、コンピュータを、第1の表示領域と第2の表示領域との間の空間に存在する人物による前記第1の表示領域の表示オブジェクトへの移動操作に基づいて、前記表示オブジェクトを移動させる表示制御部を備え、前記表示制御部は、前記第1の表示領域の第1の端部に前記表示オブジェクトが到達した場合、前記第2の表示領域の前記第1の端部に対応する第2の端部に前記表示オブジェクトを出現させる、表示制御装置として機能させるためのプログラムが提供される。
 以上説明したように本開示によれば、一方の表示領域から他方の表示領域への表示オブジェクトの移動がより直感的に把握できるように表示オブジェクトを提示することが可能な技術が提供される。なお、上記の効果は必ずしも限定的なものではなく、上記の効果とともに、または上記の効果に代えて、本明細書に示されたいずれかの効果、または本明細書から把握され得る他の効果が奏されてもよい。
本開示の一実施形態に係る表示制御システムの構成例を示す図である。 同実施形態に係る表示制御装置の機能構成例を示すブロック図である。 第1の表示領域におけるオブジェクトの表示例を示す図である。 第1の表示領域におけるオブジェクトへの移動操作の例を示す図である。 第1の表示領域におけるオブジェクトの移動例を示す図である。 オブジェクトが第2の表示領域に出現されるタイミングの第1の例を説明するための図である。 オブジェクトが第2の表示領域に出現されるタイミングの第2の例を説明するための図である。 オブジェクトが第2の表示領域に出現されるタイミングの第3の例を説明するための図である。 ブジェクトが第2の表示領域に出現されるタイミングの第4の例を説明するための図である。 第2の表示領域に出現されたオブジェクトの様子を示す図である。 操作体の本数が第1の本数である場合におけるオブジェクトの様子を示す図である。 操作体の本数が第2の本数である場合におけるオブジェクトの様子を示す図である。 オブジェクトの停止条件の第1の例を説明するための図である。 オブジェクトの停止条件の第2の例を説明するための図である。 表示制御装置の全体的な処理例を示すフローチャートである。 表示領域への初期表示を行う処理の例を示す図である。 人物の状態をセンシングする処理の例を示す図である。 人物の状態に応じたオブジェクト表示を行う処理の例を示す図である。 人物の状態に応じたオブジェクト表示を行う処理の例を示す図である。 オブジェクトの停止条件の第3の例を説明するための図である。 オブジェクトのタッチ操作によってオブジェクトが選択される例を示す図である。 オブジェクトのタッチ操作によってオブジェクトが選択される例を示す図である。 オブジェクトのタッチ操作によってオブジェクトが選択される例を示す図である。 人物の状態に応じたオブジェクト表示を行う処理の他の例を示す図である。 操作体として団扇が利用される場合を示す図である。 表示制御装置のハードウェア構成例を示すブロック図である。
 以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
 また、本明細書および図面において、実質的に同一の機能構成を有する複数の構成要素を、同一の符号の後に異なる数字を付して区別する場合もある。ただし、実質的に同一の機能構成を有する複数の構成要素の各々を特に区別する必要がない場合、同一符号のみを付する。
 なお、説明は以下の順序で行うものとする。
 0.背景
 1.本開示の実施形態
  1.1.システム構成例
  1.2.機能構成例
  1.3.表示制御システムの機能詳細
   1.3.1.オブジェクトの移動操作
   1.3.2.オブジェクトのタッチ操作
   1.3.3.操作体の変形例
  1.4.ハードウェア構成例
 2.むすび
 <0.背景>
 近年、表示オブジェクトを表示領域に表示させる技術が存在する。例えば、表示オブジェクトの例としての画像を光源からスクリーンに投射することによって表示オブジェクトを表示領域に表示させる技術が存在する。かかる技術によれば、表示領域に表示された表示オブジェクトが人物によって閲覧される。このとき、一方の表示領域から他方の表示領域に表示オブジェクトが移動される場合もある。
 しかし、一方の表示領域から他方の表示領域への表示オブジェクトの移動がより直感的に把握できるように表示オブジェクトを提示する技術が提供されることが望まれる。なお、以下の説明においては、表示オブジェクトを単に「オブジェクト」と言う場合がある。
 <1.本開示の実施形態>
 [1.1.システム構成例]
 まず、図面を参照しながら本開示の一実施形態に係る表示制御システムの構成例について説明する。図1は、本開示の一実施形態に係る表示制御システムの構成例を示す図である。図1に示したように、表示制御システム1は、表示制御装置10と、プロジェクタ30-1と、プロジェクタ30-2と、センサ40とを備える。
 表示制御装置10は、コンピュータであることが想定される。
 プロジェクタ30-1は、表示制御装置10による制御に従って第1の表示領域D1の表示を行い、プロジェクタ30-2は、表示制御装置10による制御に従って第2の表示領域D2の表示を行う。図1を参照すると、第1の表示領域D1と第2の表示領域D2との間の空間の内側領域R0が示されている。
 また、図1には、内側領域R0に人物H0が存在する例が示されている。しかし、後に詳細に説明するように、内側領域R0には複数の人物が存在してもよい。
 なお、以下においては、説明の都合上、図1の手前側を「前」として扱い、図1の奥側を「後」として扱う。図1を参照すると、第1の表示領域D1は、第2の表示領域D2よりも前方に存在している(第2の表示領域D2が第1の表示領域D1よりも後方に存在している)。そのため、内側領域R0に存在する人物H0は、前方を向いている場合、第1の表示領域(以下、「前面」とも言う。)D1を見ることが可能であり、後方を向いている場合、第2の表示領域(以下、「背面」とも言う。)D2を見ることが可能である。
 ここで、本明細書においては、第1の表示領域D1にスクリーン(以下、「前面側スクリーン」とも言う。)が存在するとともに第2の表示領域D2にスクリーン(以下、「背面側スクリーン」とも言う。)が存在し、プロジェクタ30-1が第1の表示領域D1前面側スクリーンに光を投射することによって第1の表示領域D1の表示を行うとともにプロジェクタ30-2が背面側スクリーンに光を投射することによって第2の表示領域D2の表示を行う例を説明する。しかし、第1の表示領域D1および第2の表示領域D2それぞれの表示は、どのようになされてもよい。
 例えば、プロジェクタ30-1は、第1の表示領域D1にホログラムを映し出すホログラムプロジェクタであってもよい。このとき、第1の表示領域D1に前面側スクリーンは存在しなくてもよい。同様に、プロジェクタ30-2は、第2の表示領域D2にホログラムを映し出すホログラムプロジェクタであってもよい。このとき、第2の表示領域D2に背面側スクリーンは存在しなくてもよい。
 プロジェクタ30-1および前面側スクリーンの代わりに、第1の表示領域D1に表示を行う各種の表示装置が用いられてもよい。同様に、プロジェクタ30-2および背面側スクリーンの代わりに、第2の表示領域D2に表示を行う各種の表示装置が用いられてもよい。表示装置の種類は、特に限定されず、液晶ディスプレイであってもよいし、有機EL(Electro-Luminescence)ディスプレイであってもよいし、他のディスプレイであってもよい。表示装置は、光を透過する性質を有するディスプレイ(透過ディスプレイ)であってもよい。
 センサ40は、検出可能範囲に存在する人物の位置を検出する。ここで、センサ40の種類は特に限定されない。例えば、センサ40は、可視光カメラであってもよいし、赤外線センサであってもよいし、超音波センサであってもよいし、ミリ波レーダであってもよいし、他のセンサであってもよい。なお、本明細書においては、センサ40がデプスセンサであり、センサ40から人物までの距離を含んだ3次元的な人物の位置がセンサ40によって検出される場合を主に想定する。
 センサ40の検出可能範囲は、少なくとも内側領域R0を含んでいる。センサ40による検出結果は、表示制御装置10に提供され、表示制御装置10による制御に利用される。
 以上、本実施形態に係る表示制御システム1の構成例について説明した。
 [1.2.機能構成例]
 続いて、本実施形態に係る表示制御装置10の機能構成例について説明する。図2は、本実施形態に係る表示制御装置10の機能構成例を示すブロック図である。図2に示したように、表示制御装置10は、制御部110および記憶部120を備える。以下、表示制御装置10が備えるこれらの機能ブロックについて説明する。
 制御部110は、表示制御装置10の各部の制御を実行する。なお、制御部110は、例えば、CPU(Central Processing Unit;中央演算処理装置)などといった処理装置によって構成されてよい。制御部110がCPUなどといった処理装置によって構成される場合、かかる処理装置は、電子回路によって構成されてよい。図2に示したように、制御部110は、データ取得部111および表示制御部113を有する。制御部110が有するこれらのブロックについては、後に詳細に説明する。
 記憶部120は、制御部110によって実行されるプログラムを記憶したり、プログラムの実行に必要なデータを記憶したりする記録デバイスである。また、記憶部120は、制御部110による演算のためにデータを一時的に記憶する。なお、記憶部120は、磁気記憶部デバイスであってもよいし、半導体記憶デバイスであってもよいし、光記憶デバイスであってもよいし、光磁気記憶デバイスであってもよい。
 以上、本実施形態に係る表示制御装置10の機能構成例について説明した。
 [1.3.表示制御システムの機能詳細]
 続いて、表示制御システム1の機能詳細について説明する。
  (1.3.1.オブジェクトの移動操作)
 まず、第1の表示領域D1から第2の表示領域D2へのオブジェクトの移動操作について説明する。
 図3は、第1の表示領域D1におけるオブジェクトの表示例を示す図である。図3を参照すると、第1の表示領域D1と第2の表示領域D2との間の空間に人物H0が存在している。本明細書では、第1の表示領域D1から第2の表示領域D2にオブジェクトが移動される場合を主に想定する。したがって、表示制御部113は、第1の表示領域D1にオブジェクトB1~B3を表示させている。しかし、第1の表示領域D1から第2の表示領域D2にオブジェクトが移動される場合と同様に、第2の表示領域D2から第1の表示領域D1にオブジェクトが移動されてもよい。
 なお、図3に示された例では、オブジェクトB1~B3が、数字の記された矩形形状のアイコンであるが、オブジェクトに記される内容、オブジェクトの形状、オブジェクトの数などは特に限定されない。ここで、人物H0がオブジェクトB3を移動させたいと考えた場合を想定する。
 図4は、第1の表示領域D1におけるオブジェクトB3への移動操作の例を示す図である。図4を参照すると、移動操作の例として、人物H0が移動させたいと考えたオブジェクトB3を手で指し示しながら、移動させたい方向に手を移動させる操作が示されている。このとき、センサ40によって人物H0の手の位置および形状が検出され、データ取得部111によって、人物H0の手の位置および形状が取得される。
 表示制御部113は、人物H0の手の位置および形状から、手の延長線上と第1の表示領域D1との交点をポインティング座標として検出し、ポインティング座標から所定の範囲内にあるオブジェクトB3を移動対象として認識する。また、表示制御部113は、ポインティング座標の動き量に基づいて、オブジェクトB3の移動量を算出する。そして、表示制御部113は、算出した移動量に基づいて、オブジェクトB3を移動させる。ここでは、一例として、ポインティング座標の動きベクトルに対応して、オブジェクトB3の速度ベクトルが決定される場合を想定する。しかし、後にも説明するように、移動操作は、かかる例に限定されない。
 図5は、第1の表示領域D1におけるオブジェクトB3の移動例を示す図である。図5を参照すると、人物H0による移動操作に基づいて、第1の表示領域D1においてオブジェクトB3が移動されている例が示されている。なお、第1の表示領域D1におけるオブジェクトB3の移動は限定されない。例えば、オブジェクトB3は、オブジェクトB3の速度ベクトルが決定された場合、そのまま第1の表示領域D1を等速直線運動してもよい。あるいは、オブジェクトB3は、オブジェクトB3を持ち上げる感覚を人物H0に与えるため、重力を受けながら運動すると仮定された上で第1の表示領域D1を移動してもよい。あるいは、オブジェクトB3は、速度ベクトルが減衰されてもよい。
 その後、オブジェクトB3は、第1の表示領域D1の第1の端部(例えば、上端部)に到達する。表示制御部113は、第1の表示領域D1の第1の端部(例えば、上端部)にオブジェクトB3が到達した場合、第2の表示領域D2の第1の端部(例えば、上端部)に対応する第2の端部(例えば、上端部)にオブジェクトB3を出現させる。これによって、第1の表示領域D1から第2の表示領域D2へのオブジェクトB3の移動がより直感的に把握できるようにオブジェクトB3を提示することが可能となる(第1の表示領域D1と第2の表示領域D2とが空間的につながっているかのような感覚を人物H0に与えながらオブジェクトB3を移動させることが可能となる)。
 なお、本明細書においては、第1の表示領域D1の上端部と第2の表示領域D2の上端部とが対応している例を主に説明する。しかし、第1の表示領域D1および第2の表示領域D2それぞれの対応する端部は、上端部に限定されない。例えば、第1の表示領域D1および第2の表示領域D2それぞれの下端部が対応していてもよい。
 あるいは、第1の表示領域D1および第2の表示領域D2それぞれの左右方向の端部が対応していてもよい。このとき、人物H0から見て、第1の表示領域D1の右端部と第2の表示領域D2の左端部とが対応し、第1の表示領域D1の左端部と第2の表示領域D2の右端部とが対応していてもよい。あるいは、人物H0から見て、第1の表示領域D1の右端部と第2の表示領域D2の右端部とが対応し、第1の表示領域D1の左端部と第2の表示領域D2の左端部とが対応していてもよい。
 また、オブジェクトB3が第2の表示領域D2に出現されるタイミングとしては、様々なタイミングが想定される。例えば、オブジェクトB3は、1の表示領域D1の上端部に到達したときに、第2の表示領域D2に出現されてもよいし、第1の表示領域D1の上端部に到達してから所定の時間が経過したときに、第2の表示領域D2に出現されてもよい。以下、オブジェクトB3が第2の表示領域D2に出現されるタイミングの例について説明する。
 図6は、オブジェクトB3が第2の表示領域D2に出現されるタイミングの第1の例を説明するための図である。図6を参照すると、第1の表示領域D1および第2の表示領域D2の各時刻(時刻T11~T13)におけるオブジェクトB3の表示の様子が示されている。図6に示すように、オブジェクトB3は、第1の表示領域D1の内側を上方に移動しながら(時刻T11)、上端部に到達し(時刻T12)、上端部の外側に退出していく(時刻T13)。
 一方、第2の表示領域D2においては、最初はオブジェクトB3が出現されていない。そして、例えば、表示制御部113は、第1の表示領域D1の上端部が境界E1として設定されている場合、第1の表示領域D1の上端部(境界E1)にオブジェクトB3が到達した時点で(時刻T12)、オブジェクトB3を第2の表示領域D2の上端部に出現させ始めてもよい。これによって、オブジェクトB3は、第1の表示領域D1の上端部に到達したときに、第2の表示領域D2に出現される。
 図7は、オブジェクトB3が第2の表示領域D2に出現されるタイミングの第2の例を説明するための図である。図7を参照すると、第1の表示領域D1および第2の表示領域D2の各時刻(時刻T21~T23)におけるオブジェクトB3の表示の様子が示されている。図7に示すように、オブジェクトB3は、第1の表示領域D1の内側を上方に移動しながら、上端部に到達し、上端部の外側に退出していく(時刻T21)。
 一方、第2の表示領域D2においては、最初はオブジェクトB3が出現されていない。そして、例えば、表示制御部113は、第1の表示領域D1の外側の仮想ラインが境界E2として設定されている場合、オブジェクトB3が仮想ライン(境界E2)に到達した時点で(時刻T22)、オブジェクトB3を第2の表示領域D2の上端部に出現させ始めてもよい。これによって、オブジェクトB3は、第1の表示領域D1の上端部に到達してから所定の時間が経過したときに、第2の表示領域D2に出現される。
 なお、図7に示された例では、表示制御部113によって、第1の表示領域D1の上端部からオブジェクトB3の幅d1と同じ長さだけ離れた位置に仮想ライン(境界E2)が設定されている。しかし、第1の表示領域D1の上端部と仮想ライン(境界E2)との距離は、特に限定されない。
 図8は、オブジェクトB3が第2の表示領域D2に出現されるタイミングの第3の例を説明するための図である。図8を参照すると、第1の表示領域D1および第2の表示領域D2の各時刻(時刻T31~T33)におけるオブジェクトB3の表示の様子が示されている。図8に示すように、オブジェクトB3は、第1の表示領域D1の内側を上方に移動しながら、上端部に到達し、上端部の外側に退出する(時刻T31)。
 一方、第2の表示領域D2においては、最初はオブジェクトB3が出現されていない。そして、図7に示された例と同様に、表示制御部113は、第1の表示領域D1の外側の仮想ラインが境界E3として設定されている場合、オブジェクトB3が仮想ライン(境界E3)に到達した時点で(時刻T32)、オブジェクトB3を第2の表示領域D2の上端部に出現させ始めてよい。これによって、オブジェクトB3は、第1の表示領域D1の上端部に到達してから所定の時間が経過したときに、第2の表示領域D2に出現される。
 なお、図8に示された例では、表示制御部113によって、第1の表示領域D1の上端部から(図7に示された幅d1よりも長い)幅d2だけ離れた位置に仮想ライン(境界E3)が設定されている。ここで、仮想ライン(境界E3)は、表示制御部113によって任意に設定されてよい。
 例えば、表示制御部113は、第1の表示領域D1と第2の表示領域D2との間隔に応じた長さだけ第1の表示領域D1の上端部から離れた位置に仮想ライン(境界E3)を設定してもよい。第1の表示領域D1と第2の表示領域D2との間隔は、センサ40による検出結果に基づいて検出されてよい。あるいは、表示制御部113は、オブジェクトB3の速度ベクトルに応じた長さだけ第1の表示領域D1の上端部から離れた位置に仮想ライン(境界E3)を設定してもよい。
 例えば、第1の表示領域D1の上端部と境界との距離が大きくなるほど、オブジェクトB3が第1の表示領域D1の上端部に到達してから第2の表示領域D2に出現されるまでの時間が長くなることが想定される。そこで、表示制御部113は、第1の表示領域D1と第2の表示領域D2との間隔が長いほど、第1の表示領域D1の上端部と仮想ライン(境界E3)との幅を広くしてもよい。そうすれば、実空間に存在する第1の表示領域D1と第2の表示領域D2へのオブジェクトB3の移動がより直感的に把握され得る。
 あるいは、表示制御部113は、オブジェクトB3の速度ベクトルの垂直方向成分が大きいほど、同じ距離を移動するために要する時間は短くなることが想定されるため、第1の表示領域D1の上端部と仮想ライン(境界E3)との幅を狭くしてもよい。そうすれば、実空間に存在する第1の表示領域D1と第2の表示領域D2へのオブジェクトB3の移動がより直感的に把握され得る。なお、オブジェクトB3の速度ベクトルの垂直方向成分は、オブジェクトB3の種類によって異なっている場合もあり得る。
 図9は、オブジェクトB3が第2の表示領域D2に出現されるタイミングの第4の例を説明するための図である。図9を参照すると、第1の表示領域D1および第2の表示領域D2の各時刻(時刻T41~T43)におけるオブジェクトB3の表示の様子が示されている。図9に示すように、オブジェクトB3は、第1の表示領域D1の内側を上方に移動しながら、上端部に到達し、上端部の外側に退出する(時刻T41)。
 一方、第2の表示領域D2においては、最初はオブジェクトB3が出現されていない。そして、表示制御部113は、第1の表示領域D1の上端部が境界として設定されている場合、第1の表示領域D1の上端部の外側の空間で重力を受けながらオブジェクトB3が運動したと仮定したときにオブジェクトB3が境界に再度到達した時点で(T42)、オブジェクトB3を第2の表示領域D2の上端部に出現させ始めてよい。これによって、オブジェクトB3が第1の表示領域D1の上端部から退出してから、実空間を移動して、第2の表示領域D2に到達したような感覚を人物H0に与えることが可能となる。
 なお、図6~図9にも示されているように、表示制御部113は、第2の表示領域D2にオブジェクトB3を出現させるに際して、オブジェクトB3の全体を一度に出現させるのではなく、オブジェクトB3を徐々に出現させるようにするとよい。例えば、表示制御部113は、オブジェクトB3において境界を超えた第1の部位が存在する場合、第1の部位に応じた第2の部位が第2の表示領域D2に表示されるように制御してよい(例えば、第1の部位と同じ面積の第2の部位が第2の表示領域D2に表示されてよい)。
 図10は、第2の表示領域D2に出現されたオブジェクトB3の様子を示す図である。図10を参照すると、オブジェクトB3が第1の表示領域D1の上端部に達した場合に、第2の表示領域D2の上端部にオブジェクトB3が出現された例が示されている。
 なお、図10に示された例では、人物H0から見て、オブジェクトB3が第1の表示領域D1に表示される場合と第2の表示領域D2に表示される場合とで、オブジェクトB3の向きは変わっていない。しかし、人物H0から見て、オブジェクトB3が第1の表示領域D1に表示される場合と第2の表示領域D2に表示される場合とで、オブジェクトB3の向きは変化してもよい(例えば、上下反転してもよい)。
 第2の表示領域D2に出現されたオブジェクトB3が、第2の表示領域D2の内側をどのように移動するかも限定されない。例えば、第1の表示領域D1(例えば、第1の表示領域D1の上端部)におけるオブジェクトB3の速度ベクトル(第1の速度ベクトル)が第2の表示領域D2(例えば、第2の表示領域D2の上端部)におけるオブジェクトB3の速度ベクトル(第2の速度ベクトル)に引き継がれてもよい。
 すなわち、表示制御部113は、第1の表示領域D1(例えば、第1の表示領域D1の上端部)におけるオブジェクトB3の速度ベクトル(第1の速度ベクトル)に基づいて、第2の表示領域(例えば、第2の表示領域D2の上端部)におけるオブジェクトB3の速度ベクトル(第2の速度ベクトル)を決定してもよい。
 例えば、表示制御部113は、第1の表示領域D1(例えば、第1の表示領域D1の上端部)におけるオブジェクトB3の速度ベクトル(第1の速度ベクトル)の垂直方向成分を反転させることによって、第2の表示領域(例えば、第2の表示領域D2の上端部)におけるオブジェクトB3の速度ベクトル(第2の速度ベクトル)を決定してもよい。
 上記では、オブジェクトB3が第1の表示領域D1の上端部に到達した場合、無条件にオブジェクトB3が第2の表示領域D2の上端部に出現される例を主に説明した。しかし、オブジェクトB3が第1の表示領域D1の上端部に到達した場合であっても、所定の条件が満たされた場合に、オブジェクトB3が第2の表示領域D2の上端部に出現されてもよい。
 例えば、移動操作の種類が所定の条件を満たした場合に、オブジェクトB3が第2の表示領域D2の上端部に出現されてもよい。すなわち、表示制御部113は、第1の表示領域D1の上端部にオブジェクトB3が到達した場合、移動操作の種類に基づいて、第2の表示領域D2の上端部にオブジェクトB3を出現させるか否かを制御してもよい。これによって、人物H0は、第2の表示領域D2にオブジェクトB3を出現させるか否かを、移動操作によってコントロールできる。
 一例として、移動操作の種類は、移動操作を行う操作体の数を含んでもよい。例えば、表示制御部113は、第1の表示領域D1の上端部にオブジェクトB3が到達した場合、操作体の本数(例えば、指の本数)が第1の本数である場合には、第2の表示領域D2の上端部にオブジェクトB3を出現させず、操作体の本数(例えば、指の本数)が第1の本数とは異なる第2の本数である場合には、第2の表示領域D2の上端部にオブジェクトB3を出現させてもよい。
 図11は、操作体の本数が第1の本数である場合におけるオブジェクトB3の様子を示す図である。図11を参照すると、人物H0が1本の指によって、移動操作を行っている。かかる場合には、表示制御部113は、第1の表示領域D1の上端部にオブジェクトB3が到達した場合であっても、第2の表示領域D2の上端部にオブジェクトB3を出現させなくてもよい。なお、操作体は指に限定されないし、操作体の本数も1本に限定されない。
 図12は、操作体の本数が第2の本数である場合におけるオブジェクトB3の様子を示す図である。図12を参照すると、人物H0が2本の指によって、移動操作を行っている。かかる場合には、表示制御部113は、第1の表示領域D1の上端部にオブジェクトB3が到達した場合に、第2の表示領域D2の上端部にオブジェクトB3を出現させてもよい。なお、操作体は指に限定されないし、操作体の本数も2本に限定されない。
 以上、移動操作の種類を、オブジェクトB3を第2の表示領域D2の上端部に出現させるための条件とする例を説明した。しかし、オブジェクトB3を第2の表示領域D2の上端部に出現させるための条件は、かかる条件に限定されない。例えば、表示制御部113は、第1の表示領域D1の上端部にオブジェクトB3が到達した場合、オブジェクトB3の移動に関するパラメータ(例えば、速度または加速度など)に基づいて、第2の表示領域D2の上端部にオブジェクトB3を出現させるか否かを制御してもよい。
 例えば、表示制御部113は、第1の表示領域D1の上端部にオブジェクトB3が到達した場合、移動に関するパラメータが閾値よりも低い場合には、第2の表示領域D2の上端部にオブジェクトB3を出現させず、オブジェクトB3の移動に関するパラメータが閾値よりも高い場合には、第2の表示領域D2の上端部にオブジェクトB3を出現させてもよい。移動に関するパラメータが閾値と同じ場合には、第2の表示領域D2の上端部にオブジェクトB3は出現されても出現されなくてもよい。
 なお、第1の表示領域D1と同様に、第2の表示領域D2におけるオブジェクトB3の移動も限定されない。例えば、オブジェクトB3は、第2の表示領域D2を等速直線運動してもよい。あるいは、オブジェクトB3は、重力を受けながら運動すると仮定された上で第2の表示領域D2を移動してもよい。あるいは、オブジェクトB3は、速度ベクトルが減衰されてもよい。
 すなわち、表示制御部113は、オブジェクトB3が第1の表示領域D1および第2の表示領域D2の少なくとも一部におけるオブジェクトB3の速度ベクトルが一定になるように制御してもよい。あるいは、表示制御部113は、第1の表示領域D1および第2の表示領域D2の少なくとも一部におけるオブジェクトB3の移動をオブジェクトB3が当該少なくとも一部において重力を受けながら運動したと仮定して制御してもよい。あるいは、表示制御部113は、オブジェクトB3が第1の表示領域D1および第2の表示領域D2の少なくとも一部におけるオブジェクトB3の速度ベクトルが減衰されるように制御してもよい。
 オブジェクトB3は、第2の表示領域D2において移動し続けてもよいが(例えば、端部に到達した場合に端部から第2の表示領域D2の内部に跳ね返ってもよいが)、所定の停止条件が満たされた場合に、第2の表示領域D2において停止してもよい。かかる場合、停止条件は、特に限定されない。以下では、停止条件の例について説明する。
 図13は、オブジェクトB3の停止条件の第1の例を説明するための図である。図13に示されるように、オブジェクトB3の停止条件は、オブジェクトB3の速度ベクトルを減衰させて速度ベクトルの大きさがゼロになったという条件であってもよい。すなわち、表示制御部113は、第2の表示領域D2においてオブジェクトB3の速度ベクトルを減衰させて速度ベクトルの大きさがゼロになった場合に、オブジェクトB3を停止させてもよい。
 図14は、オブジェクトB3の停止条件の第2の例を説明するための図である。図14に示されるように、オブジェクトB3の停止条件は、オブジェクトB3が第2の表示領域D2の上端部(第2の端部)と対向する下端部(第3の端部)に到達したという条件であってもよい。すなわち、表示制御部113は、オブジェクトB3が第2の表示領域D2の上端部(第2の端部)と対向する下端部(第3の端部)に到達した場合に、オブジェクトB3を停止させてもよい。なお、停止条件の第3の例については、後に説明する。
 図15は、表示制御装置10の全体的な処理例を示すフローチャートである。図15に示すように、表示制御装置10によって、表示領域への初期表示を行う処理が実行され(S10)、人物H0の状態をセンシングする処理が実行され(S20)、人物H0の状態に応じたオブジェクト表示を行う処理が実行される(S30)。以下では、S10の例について図16を参照し、S20の例について図17を参照し、S30の例としては、S30-1、S30-2として、図18および図19を参照しながら説明する。
 図16は、表示領域への初期表示を行う処理の例を示す図である。図16に示すように、表示制御装置10において、プロジェクタ30-1およびプロジェクタ30-2は、表示制御部113による制御に従って、第1の表示領域D1および第2の表示領域D2それぞれにオブジェクトの初期状態を投影(表示)する。なお、第1の表示領域D1および第2の表示領域D2の少なくともいずれか一方に、投影されるべきオブジェクトが存在しない場合には、オブジェクトは投影されなくてもよい。
 図17は、人物H0の状態をセンシングする処理の例を示す図である。まず、センサ40は、人物H0の状態を検出する(S21)。表示制御装置10において、データ取得部111は、センサ40によって検出された人物H0の状態を取得する。表示制御部113は、人物H0の状態に基づいて、表示領域が人物H0によってタッチされたか否かを判断する(S22)。
 表示制御部113は、表示領域が人物H0によってタッチされたと判断した場合(S22において「Yes」)、タッチ座標とオブジェクト位置とを比較し(S23)、タッチ座標とオブジェクト位置とが所定の範囲内であれば(S24において「Yes」)、人物H0によってタッチ操作がなされたと判断し(タッチ判定し)(S25)、処理を終了する。一方、タッチ座標とオブジェクト位置とが所定の範囲外であれば(S24において「No」)、処理を終了する。
 一方、表示制御部113は、表示領域が人物H0によってタッチされなかったと判断した場合(S22において「No」)、ポインティング座標とオブジェクト位置とを比較し(S26)、ポインティング座標とオブジェクト位置とが所定の範囲内であれば(S27において「Yes」)、人物H0によって移動操作がなされたと判断し(移動判定し)(S28)、処理を終了する。一方、ポインティング座標とオブジェクト位置とが所定の範囲外であれば(S27において「No」)、処理を終了する。
 図18は、人物H0の状態に応じたオブジェクト表示を行う処理の例を示す図である。ここでは、オブジェクトが第1の表示領域D1の上端部に到達してから所定の時間が経過したときに、第2の表示領域D2に出現される場合を想定する。まず、表示制御部113は、ポインティング座標の動き量に基づいて、オブジェクトの移動量を計算し(S31)、オブジェクトの移動量に基づいて、第1の表示領域D1においてオブジェクトを移動させる(S32)。
 続いて、表示制御部113は、オブジェクトが第1の表示領域D1の上端部に到達しない間は(S33において「No」)、S33を繰り返し実行し、オブジェクトが第1の表示領域D1の上端部に到達した場合には(S33において「Yes」)、オブジェクトの速度ベクトルを保存する(S34-1)。そして、表示制御部113は、オブジェクトの再表示タイミングを計算する(S35-1)。
 続いて、表示制御部113は、オブジェクトの再表示タイミングが到来しない間は(S36-1において「No」)、S36-1を繰り返し実行し、オブジェクトの再表示タイミングが到来した場合には(S36-1において「Yes」)、第2の表示領域D2にオブジェクトを再表示し、保存した速度ベクトルを用いてオブジェクトを運動させる(S37-1)。一例として、表示制御部113は、速度ベクトルが減衰し、速度ベクトルの大きさがゼロになったら、オブジェクトを停止させる(S38)。
 図19は、人物H0の状態に応じたオブジェクト表示を行う処理の例を示す図である。ここでは、オブジェクトが第1の表示領域D1の上端部に到達したときに、第2の表示領域D2に出現される場合を想定する。まず、S31~S33は、図18を参照しながら説明した場合と同様に実行される。そして、表示制御部113は、オブジェクトが第1の表示領域D1の上端部に到達した場合には(S33において「Yes」)、オブジェクトの速度ベクトルの垂直方向成分を反転させて速度ベクトルを算出する(S34-2)。
 続いて、表示制御部113は、第2の表示領域D2にオブジェクトを表示し、計算した速度ベクトルを用いてオブジェクトを運動させる(S35-2)。一例として、表示制御部113は、速度ベクトルが減衰し、速度ベクトルの大きさがゼロになったら、オブジェクトを停止させる(S36)。
 以上、第1の表示領域D1から第2の表示領域D2へのオブジェクトの移動操作について説明した。
  (1.3.2.オブジェクトのタッチ操作)
 まず、オブジェクトのタッチ操作について説明する。上記したように、オブジェクトB3は、所定の停止条件が満たされた場合に、第2の表示領域D2において停止してよい。上記では、オブジェクトB3の停止条件の第1の例および第2の例について説明した。ここでは、オブジェクトB3の停止条件の第3の例について説明する。
 図20は、オブジェクトB3の停止条件の第3の例を説明するための図である。図20に示されるように、オブジェクトB3の停止条件は、オブジェクトB3が人物H0によってタッチされたという条件であってもよい。すなわち、表示制御部113は、人物H0によってオブジェクトB3がタッチされた場合に、オブジェクトB3を停止させてもよい。
 上記では、オブジェクトのタッチ操作の例として、オブジェクトの停止条件の第3の例を説明した。しかし、オブジェクトのタッチ操作は、他の場面において利用されてもよい。例えば、オブジェクトのタッチ操作によって、オブジェクトが選択されてもよい。
 図21~図23は、オブジェクトのタッチ操作によってオブジェクトが選択される例を示す図である。図21を参照すると、人物H0によってオブジェクトB2がタッチされた場合に、オブジェクトB2が選択された例が示されている。
 また、図22を参照すると、人物H0によってオブジェクトC4が選択された例が示されている。なお、図22には、第1の表示領域D1に表示されたオブジェクトB1~B3、および、第2の表示領域D2に表示されたB5~B7が風船である場合が示されている。そして、オブジェクトC4は、人物H0によって選択された結果、破裂してしまった風船を示している。
 図23を参照すると、人物H0によってオブジェクトC4が選択されるとともに、人物H1によってオブジェクトC5が選択された例が示されている。なお、図23には、第1の表示領域D1に表示されたオブジェクトB1~B3の他、および、第2の表示領域D2に表示されたB6、B7が風船である場合が示されている。そして、オブジェクトC4は、人物H0によって選択された結果、破裂してしまった風船を示しており、オブジェクトC5は、人物H1によって選択された結果、破裂してしまった風船を示している。このように、複数のオブジェクトは、複数の人物によって同時に操作され得る。
 上記したように、人物H0の状態に応じたオブジェクト表示を行う処理が実行される(図15)。以下では、人物H0の状態に応じたオブジェクト表示を行う処理の他の例を、S30-3として、図24を参照しながら説明する。図24は、人物H0の状態に応じたオブジェクト表示を行う処理の他の例を示す図である。ここでは、人物H0によって、タッチ操作が実行される場合を想定する。このとき、表示制御部113は、タッチに応じた処理をオブジェクトに施す(S39)。
  (1.3.3.操作体の変形例)
 続いて、操作体の変形例について説明する。上記では、移動操作は、人物が表示領域を離れたところから指し示す場合を主に想定した。しかし、表示領域に人物が直接触りながら行うドラッグ操作が、移動操作として扱われてもよい。そのとき、ドラッグ操作は、表示領域にタッチセンサが備えられている場合には、タッチセンサによって検出されてもよい。
 また、上記では、移動操作およびタッチ操作を行う操作体の例として、人物の手を利用する場合を主に説明した。しかし、操作体は、人物の手に限定されない。例えば、操作体として、人物の手の代わりに、指し棒のような物が利用されてもよい。その場合には、指し棒によって(接触または非接触によって)指し示される座標がポインティング座標とされてよい。また、操作体として、人物の代わりに、コントローラ(例えば、マウス、タブレットなど)が利用されてもよい。あるいは、操作体は、団扇のような物であってもよい。
 図25は、操作体として団扇が利用される場合を示す図である。図25を参照すると、人物H0は、団扇50を保持している。そして、第2の表示領域D2に、オブジェクトB1~B4(風船)が表示されている。例えば、人物H0が団扇50を動かした場合、センサ40によって団扇50の動き量が検出され、表示制御部113によって、動き量に応じた方向および大きさに風が仮に発生した場合に、その風によってオブジェクトB1~B4がどのようにして飛ばされるかが計算され、計算結果に基づいてオブジェクトB1~B4が移動されてもよい。
 団扇50の動き量は、団扇50によって指し示される第2の表示領域D2のポインティング座標の動き量に基づいて決定されてよい。ポインティング座標は、団扇50にマーカ51が記されている場合には、マーカ51の位置および姿勢に基づいて、検出されてもよい。しかし、団扇50にマーカ51が記されていない場合であっても、団扇50そのものの位置および姿勢に基づいて、ポインティング座標が検出されてもよい。なお、オブジェクトB1~B4は、第2の表示領域D2ではなく、第1の表示領域D1に表示されていてもよい。
 以上、操作体の変形例について説明した。
 [1.4.ハードウェア構成例]
 次に、図26を参照して、本開示の実施形態に係る表示制御装置10のハードウェア構成について説明する。図26は、本開示の実施形態に係る表示制御装置10のハードウェア構成例を示すブロック図である。
 図26に示すように、表示制御装置10は、CPU(Central Processing unit)801、ROM(Read Only Memory)803、およびRAM(Random Access Memory)805を含む。また、表示制御装置10は、ホストバス807、ブリッジ809、外部バス811、インターフェース813、ストレージ装置819、ドライブ821、接続ポート823、通信装置825を含んでもよい。表示制御装置10は、CPU801に代えて、またはこれとともに、DSP(Digital Signal Processor)またはASIC(Application Specific Integrated Circuit)と呼ばれるような処理回路を有してもよい。
 CPU801は、演算処理装置および制御装置として機能し、ROM803、RAM805、ストレージ装置819、またはリムーバブル記録媒体827に記録された各種プログラムに従って、表示制御装置10内の動作全般またはその一部を制御する。ROM803は、CPU801が使用するプログラムや演算パラメータなどを記憶する。RAM805は、CPU801の実行において使用するプログラムや、その実行において適宜変化するパラメータなどを一時的に記憶する。CPU801、ROM803、およびRAM805は、CPUバスなどの内部バスにより構成されるホストバス807により相互に接続されている。さらに、ホストバス807は、ブリッジ809を介して、PCI(Peripheral Component Interconnect/Interface)バスなどの外部バス811に接続されている。
 ストレージ装置819は、表示制御装置10の記憶部の一例として構成されたデータ格納用の装置である。ストレージ装置819は、例えば、HDD(Hard Disk Drive)などの磁気記憶部デバイス、半導体記憶デバイス、光記憶デバイス、または光磁気記憶デバイスなどにより構成される。このストレージ装置819は、CPU801が実行するプログラムや各種データ、および外部から取得した各種のデータなどを格納する。
 ドライブ821は、磁気ディスク、光ディスク、光磁気ディスク、または半導体メモリなどのリムーバブル記録媒体827のためのリーダライタであり、表示制御装置10に内蔵、あるいは外付けされる。ドライブ821は、装着されているリムーバブル記録媒体827に記録されている情報を読み出して、RAM805に出力する。また、ドライブ821は、装着されているリムーバブル記録媒体827に記録を書き込む。
 接続ポート823は、機器を表示制御装置10に直接接続するためのポートである。接続ポート823は、例えば、USB(Universal Serial Bus)ポート、IEEE1394ポート、SCSI(Small Computer System Interface)ポートなどであり得る。また、接続ポート823は、RS-232Cポート、光オーディオ端子、HDMI(登録商標)(High-Definition Multimedia Interface)ポートなどであってもよい。接続ポート823に外部接続機器829を接続することで、表示制御装置10と外部接続機器829との間で各種のデータが交換され得る。
 通信装置825は、例えば、ネットワーク931に接続するための通信デバイスなどで構成された通信インターフェースである。通信装置825は、例えば、有線または無線LAN(Local Area Network)、Bluetooth(登録商標)、またはWUSB(Wireless USB)用の通信カードなどであり得る。また、通信装置825は、光通信用のルータ、ADSL(Asymmetric Digital Subscriber Line)用のルータ、または、各種通信用のモデムなどであってもよい。通信装置825は、例えば、インターネットや他の通信機器との間で、TCP/IPなどの所定のプロトコルを用いて信号などを送受信する。また、通信装置825に接続されるネットワーク931は、有線または無線によって接続されたネットワークであり、例えば、インターネット、家庭内LAN、赤外線通信、ラジオ波通信または衛星通信などである。
 <2.むすび>
 以上説明したように、本開示の実施形態によれば、第1の表示領域と第2の表示領域との間の空間に存在する人物による前記第1の表示領域の表示オブジェクトへの移動操作に基づいて、前記表示オブジェクトを移動させる表示制御部を備え、前記表示制御部は、前記第1の表示領域の第1の端部に前記表示オブジェクトが到達した場合、前記第2の表示領域の前記第1の端部に対応する第2の端部に前記表示オブジェクトを出現させる、表示制御装置が提供される。かかる構成によれば、一方の表示領域から他方の表示領域への表示オブジェクトの移動がより直感的に把握できるように表示オブジェクトを提示することが可能となる。
 以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示の技術的範囲はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。
 また、本明細書に記載された効果は、あくまで説明的または例示的なものであって限定的ではない。つまり、本開示に係る技術は、上記の効果とともに、または上記の効果に代えて、本明細書の記載から当業者には明らかな他の効果を奏し得る。
 なお、以下のような構成も本開示の技術的範囲に属する。
(1)
 第1の表示領域と第2の表示領域との間の空間に存在する人物による前記第1の表示領域の表示オブジェクトへの移動操作に基づいて、前記表示オブジェクトを移動させる表示制御部を備え、
 前記表示制御部は、前記第1の表示領域の第1の端部に前記表示オブジェクトが到達した場合、前記第2の表示領域の前記第1の端部に対応する第2の端部に前記表示オブジェクトを出現させる、
 表示制御装置。
(2)
 前記第1の端部は、前記第1の表示領域の上端部であり、
 前記第2の端部は、前記第2の表示領域の上端部である、
 前記(1)に記載の表示制御装置。
(3)
 前記表示制御部は、前記第1の表示領域における前記表示オブジェクトの第1の速度ベクトルに基づいて、前記第2の表示領域における前記表示オブジェクトの第2の速度ベクトルを決定する、
 前記(1)または(2)に記載の表示制御装置。
(4)
 前記表示制御部は、前記第1の速度ベクトルの垂直方向成分を反転させることによって、前記第2の速度ベクトルを決定する、
 前記(3)に記載の表示制御装置。
(5)
 前記表示制御部は、前記第1の端部に前記表示オブジェクトが到達した場合、前記移動操作の種類に基づいて、前記第2の端部に前記表示オブジェクトを出現させるか否かを制御する、
 前記(1)~(4)のいずれか一項に記載の表示制御装置。
(6)
 前記移動操作の種類は、前記移動操作を行う操作体の数を含む、
 前記(5)に記載の表示制御装置。
(7)
 前記表示制御部は、前記第1の端部に前記表示オブジェクトが到達した場合、前記操作体の本数が第1の本数である場合には、前記第2の端部に前記表示オブジェクトを出現させず、前記操作体の本数が前記第1の本数とは異なる第2の本数である場合には、前記第2の端部に前記表示オブジェクトを出現させる、
 前記(6)に記載の表示制御装置。
(8)
 前記表示制御部は、前記第1の端部に前記表示オブジェクトが到達した場合、前記表示オブジェクトの移動に関するパラメータに基づいて、前記第2の端部に前記表示オブジェクトを出現させるか否かを制御する、
 前記(1)~(7)のいずれか一項に記載の表示制御装置。
(9)
 前記表示制御部は、前記第1の端部に前記表示オブジェクトが到達した場合、前記移動に関するパラメータが閾値よりも低い場合には、前記第2の端部に前記表示オブジェクトを出現させず、前記表示オブジェクトの前記移動に関するパラメータが前記閾値よりも高い場合には、前記第2の端部に前記表示オブジェクトを出現させる、
 前記(8)に記載の表示制御装置。
(10)
 前記表示制御部は、前記第1の表示領域および前記第2の表示領域の少なくとも一部における前記表示オブジェクトの移動を前記表示オブジェクトが前記少なくとも一部において重力を受けながら運動したと仮定して制御する、
 前記(1)~(9)のいずれか一項に記載の表示制御装置。
(11)
 前記表示制御部は、前記表示オブジェクトが前記第1の表示領域および前記第2の表示領域の少なくとも一部における前記表示オブジェクトの速度ベクトルが一定になるように制御する、
 前記(1)~(10)のいずれか一項に記載の表示制御装置。
(12)
 前記表示制御部は、前記表示オブジェクトが前記第1の表示領域および前記第2の表示領域の少なくとも一部における前記表示オブジェクトの速度ベクトルが減衰されるように制御する、
 前記(1)~(11)のいずれか一項に記載の表示制御装置。
(13)
 前記表示制御部は、前記表示オブジェクトが前記第2の表示領域において、前記第2の端部と対向する第3の端部に到達した場合、前記人物によって前記表示オブジェクトがタッチされた場合、または、前記表示オブジェクトの速度ベクトルを減衰させて前記速度ベクトルの大きさがゼロになった場合に、前記表示オブジェクトを停止させる、
 前記(1)~(12)のいずれか一項に記載の表示制御装置。
(14)
 前記表示制御部は、前記第1の端部が境界として設定されている場合、前記第1の端部に前記表示オブジェクトが前記境界に到達した時点で、前記表示オブジェクトを前記第2の端部に出現させ始める、
 前記(1)~(13)のいずれか一項に記載の表示制御装置。
(15)
 前記表示制御部は、前記第1の表示領域の外側の仮想ラインが境界として設定されている場合、前記表示オブジェクトが前記境界に到達した時点で、前記表示オブジェクトを前記第2の端部に出現させ始める、
 前記(1)~(13)のいずれか一項に記載の表示制御装置。
(16)
 前記表示制御部は、前記第1の表示領域と前記第2の表示領域との間隔、または、表示オブジェクトの速度ベクトルに応じた長さだけ、前記第1の端部から離れた位置に前記仮想ラインを設定する、
 前記(15)に記載の表示制御装置。
(17)
 前記表示制御部は、前記第1の端部が境界として設定されている場合、前記第1の端部の外側の空間で重力を受けながら前記表示オブジェクトが運動したと仮定したときに前記表示オブジェクトが前記境界に再度到達した時点で、前記表示オブジェクトを前記第2の端部に出現させ始める、
 前記(1)~(13)のいずれか一項に記載の表示制御装置。
(18)
 前記表示制御部は、前記表示オブジェクトにおいて前記境界を超えた第1の部位が存在する場合、前記第1の部位に応じた第2の部位が前記第2の表示領域に表示されるように制御する、
 前記(14)~(17)のいずれか一項に記載の表示制御装置。
(19)
 第1の表示領域と第2の表示領域との間の空間に存在する人物による前記第1の表示領域の表示オブジェクトへの移動操作に基づいて、前記表示オブジェクトを移動させることを含み、
 プロセッサにより、前記第1の表示領域の第1の端部に前記表示オブジェクトが到達した場合、前記第2の表示領域の前記第1の端部に対応する第2の端部に前記表示オブジェクトを出現させることを含む、
 表示制御方法。
(20)
 コンピュータを、
 第1の表示領域と第2の表示領域との間の空間に存在する人物による前記第1の表示領域の表示オブジェクトへの移動操作に基づいて、前記表示オブジェクトを移動させる表示制御部を備え、
 前記表示制御部は、前記第1の表示領域の第1の端部に前記表示オブジェクトが到達した場合、前記第2の表示領域の前記第1の端部に対応する第2の端部に前記表示オブジェクトを出現させる、
 表示制御装置として機能させるためのプログラム。
 1   表示制御システム
 10  表示制御装置
 110 制御部
 111 データ取得部
 113 表示制御部
 120 記憶部
 30  プロジェクタ
 40  センサ
 50  団扇
 51  マーカ
 D1  第1の表示領域
 D2  第2の表示領域
 H0  人物
 R0  内側領域

Claims (20)

  1.  第1の表示領域と第2の表示領域との間の空間に存在する人物による前記第1の表示領域の表示オブジェクトへの移動操作に基づいて、前記表示オブジェクトを移動させる表示制御部を備え、
     前記表示制御部は、前記第1の表示領域の第1の端部に前記表示オブジェクトが到達した場合、前記第2の表示領域の前記第1の端部に対応する第2の端部に前記表示オブジェクトを出現させる、
     表示制御装置。
  2.  前記第1の端部は、前記第1の表示領域の上端部であり、
     前記第2の端部は、前記第2の表示領域の上端部である、
     請求項1に記載の表示制御装置。
  3.  前記表示制御部は、前記第1の表示領域における前記表示オブジェクトの第1の速度ベクトルに基づいて、前記第2の表示領域における前記表示オブジェクトの第2の速度ベクトルを決定する、
     請求項1に記載の表示制御装置。
  4.  前記表示制御部は、前記第1の速度ベクトルの垂直方向成分を反転させることによって、前記第2の速度ベクトルを決定する、
     請求項3に記載の表示制御装置。
  5.  前記表示制御部は、前記第1の端部に前記表示オブジェクトが到達した場合、前記移動操作の種類に基づいて、前記第2の端部に前記表示オブジェクトを出現させるか否かを制御する、
     請求項1に記載の表示制御装置。
  6.  前記移動操作の種類は、前記移動操作を行う操作体の数を含む、
     請求項5に記載の表示制御装置。
  7.  前記表示制御部は、前記第1の端部に前記表示オブジェクトが到達した場合、前記操作体の本数が第1の本数である場合には、前記第2の端部に前記表示オブジェクトを出現させず、前記操作体の本数が前記第1の本数とは異なる第2の本数である場合には、前記第2の端部に前記表示オブジェクトを出現させる、
     請求項6に記載の表示制御装置。
  8.  前記表示制御部は、前記第1の端部に前記表示オブジェクトが到達した場合、前記表示オブジェクトの移動に関するパラメータに基づいて、前記第2の端部に前記表示オブジェクトを出現させるか否かを制御する、
     請求項1に記載の表示制御装置。
  9.  前記表示制御部は、前記第1の端部に前記表示オブジェクトが到達した場合、前記移動に関するパラメータが閾値よりも低い場合には、前記第2の端部に前記表示オブジェクトを出現させず、前記表示オブジェクトの前記移動に関するパラメータが前記閾値よりも高い場合には、前記第2の端部に前記表示オブジェクトを出現させる、
     請求項8に記載の表示制御装置。
  10.  前記表示制御部は、前記第1の表示領域および前記第2の表示領域の少なくとも一部における前記表示オブジェクトの移動を前記表示オブジェクトが前記少なくとも一部において重力を受けながら運動したと仮定して制御する、
     請求項1に記載の表示制御装置。
  11.  前記表示制御部は、前記表示オブジェクトが前記第1の表示領域および前記第2の表示領域の少なくとも一部における前記表示オブジェクトの速度ベクトルが一定になるように制御する、
     請求項1に記載の表示制御装置。
  12.  前記表示制御部は、前記表示オブジェクトが前記第1の表示領域および前記第2の表示領域の少なくとも一部における前記表示オブジェクトの速度ベクトルが減衰されるように制御する、
     請求項1に記載の表示制御装置。
  13.  前記表示制御部は、前記表示オブジェクトが前記第2の表示領域において、前記第2の端部と対向する第3の端部に到達した場合、前記人物によって前記表示オブジェクトがタッチされた場合、または、前記表示オブジェクトの速度ベクトルを減衰させて前記速度ベクトルの大きさがゼロになった場合に、前記表示オブジェクトを停止させる、
     請求項1に記載の表示制御装置。
  14.  前記表示制御部は、前記第1の端部が境界として設定されている場合、前記第1の端部に前記表示オブジェクトが前記境界に到達した時点で、前記表示オブジェクトを前記第2の端部に出現させ始める、
     請求項1に記載の表示制御装置。
  15.  前記表示制御部は、前記第1の表示領域の外側の仮想ラインが境界として設定されている場合、前記表示オブジェクトが前記境界に到達した時点で、前記表示オブジェクトを前記第2の端部に出現させ始める、
     請求項1に記載の表示制御装置。
  16.  前記表示制御部は、前記第1の表示領域と前記第2の表示領域との間隔、または、表示オブジェクトの速度ベクトルに応じた長さだけ、前記第1の端部から離れた位置に前記仮想ラインを設定する、
     請求項15に記載の表示制御装置。
  17.  前記表示制御部は、前記第1の端部が境界として設定されている場合、前記第1の端部の外側の空間で重力を受けながら前記表示オブジェクトが運動したと仮定したときに前記表示オブジェクトが前記境界に再度到達した時点で、前記表示オブジェクトを前記第2の端部に出現させ始める、
     請求項1に記載の表示制御装置。
  18.  前記表示制御部は、前記表示オブジェクトにおいて前記境界を超えた第1の部位が存在する場合、前記第1の部位に応じた第2の部位が前記第2の表示領域に表示されるように制御する、
     請求項14に記載の表示制御装置。
  19.  第1の表示領域と第2の表示領域との間の空間に存在する人物による前記第1の表示領域の表示オブジェクトへの移動操作に基づいて、前記表示オブジェクトを移動させることを含み、
     プロセッサにより、前記第1の表示領域の第1の端部に前記表示オブジェクトが到達した場合、前記第2の表示領域の前記第1の端部に対応する第2の端部に前記表示オブジェクトを出現させることを含む、
     表示制御方法。
  20.  コンピュータを、
     第1の表示領域と第2の表示領域との間の空間に存在する人物による前記第1の表示領域の表示オブジェクトへの移動操作に基づいて、前記表示オブジェクトを移動させる表示制御部を備え、
     前記表示制御部は、前記第1の表示領域の第1の端部に前記表示オブジェクトが到達した場合、前記第2の表示領域の前記第1の端部に対応する第2の端部に前記表示オブジェクトを出現させる、
     表示制御装置として機能させるためのプログラム。
PCT/JP2018/042472 2017-12-27 2018-11-16 表示制御装置、表示制御方法およびプログラム WO2019130896A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
US16/956,079 US11188287B2 (en) 2017-12-27 2018-11-16 Display control apparatus, display control method, and computer program

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2017250533 2017-12-27
JP2017-250533 2017-12-27

Publications (1)

Publication Number Publication Date
WO2019130896A1 true WO2019130896A1 (ja) 2019-07-04

Family

ID=67067026

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2018/042472 WO2019130896A1 (ja) 2017-12-27 2018-11-16 表示制御装置、表示制御方法およびプログラム

Country Status (2)

Country Link
US (1) US11188287B2 (ja)
WO (1) WO2019130896A1 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113961070A (zh) * 2021-10-11 2022-01-21 维沃移动通信有限公司 电子设备控制方法和装置

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130278501A1 (en) * 2012-04-18 2013-10-24 Arb Labs Inc. Systems and methods of identifying a gesture using gesture data compressed by principal joint variable analysis
JP2014078238A (ja) * 2012-10-10 2014-05-01 Samsung Electronics Co Ltd マルチディスプレイ装置およびその制御方法
JP2016136350A (ja) * 2015-01-23 2016-07-28 アルパイン株式会社 情報処理システム及びコンピュータプログラム
JP2016192216A (ja) * 2012-01-26 2016-11-10 パナソニックIpマネジメント株式会社 携帯端末、テレビ放送受信装置及び機器連携方法
US9804731B1 (en) * 2013-01-25 2017-10-31 Steelcase Inc. Emissive surfaces and workspaces method and apparatus
JP2018084858A (ja) * 2016-11-21 2018-05-31 富士通株式会社 コンテンツ制御装置、コンテンツ制御プログラムおよびコンテンツ制御方法

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101141087B1 (ko) * 2007-09-14 2012-07-12 인텔렉츄얼 벤처스 홀딩 67 엘엘씨 제스처-기반 사용자 상호작용의 프로세싱
JP5345129B2 (ja) * 2008-09-29 2013-11-20 パナソニック株式会社 ユーザインターフェース装置、ユーザインターフェース方法、及び記録媒体
JP5687826B2 (ja) * 2009-05-29 2015-03-25 任天堂株式会社 ゲームプログラムおよびゲーム装置
US8717318B2 (en) * 2011-03-29 2014-05-06 Intel Corporation Continued virtual links between gestures and user interface elements
US8736583B2 (en) * 2011-03-29 2014-05-27 Intel Corporation Virtual links between different displays to present a single virtual object
WO2013169875A2 (en) * 2012-05-09 2013-11-14 Yknots Industries Llc Device, method, and graphical user interface for displaying content associated with a corresponding affordance
JP6039594B2 (ja) * 2014-02-20 2016-12-07 株式会社ソニー・インタラクティブエンタテインメント 情報処理装置および情報処理方法
JP6341417B2 (ja) * 2014-06-10 2018-06-13 任天堂株式会社 振動生成システム、振動生成プログラム、および振動生成方法
JP6144743B2 (ja) * 2015-09-30 2017-06-07 京セラ株式会社 ウェアラブル装置
JP6373920B2 (ja) * 2016-09-14 2018-08-15 株式会社バンダイナムコエンターテインメント シミュレーションシステム及びプログラム
DE112019001607T5 (de) * 2018-03-28 2021-01-07 Sony Corporation Informationsverarbeitungseinrichtung, informationsverarbeitungsverfahren und programm
CN110796116A (zh) * 2018-11-08 2020-02-14 英属开曼群岛商麦迪创科技股份有限公司 多面板显示***、具有多面板显示***的车辆及显示方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016192216A (ja) * 2012-01-26 2016-11-10 パナソニックIpマネジメント株式会社 携帯端末、テレビ放送受信装置及び機器連携方法
US20130278501A1 (en) * 2012-04-18 2013-10-24 Arb Labs Inc. Systems and methods of identifying a gesture using gesture data compressed by principal joint variable analysis
JP2014078238A (ja) * 2012-10-10 2014-05-01 Samsung Electronics Co Ltd マルチディスプレイ装置およびその制御方法
US9804731B1 (en) * 2013-01-25 2017-10-31 Steelcase Inc. Emissive surfaces and workspaces method and apparatus
JP2016136350A (ja) * 2015-01-23 2016-07-28 アルパイン株式会社 情報処理システム及びコンピュータプログラム
JP2018084858A (ja) * 2016-11-21 2018-05-31 富士通株式会社 コンテンツ制御装置、コンテンツ制御プログラムおよびコンテンツ制御方法

Also Published As

Publication number Publication date
US20200319839A1 (en) 2020-10-08
US11188287B2 (en) 2021-11-30

Similar Documents

Publication Publication Date Title
US10761612B2 (en) Gesture recognition techniques
US11221730B2 (en) Input device for VR/AR applications
US10401951B2 (en) Motion tracking user interface
CN110476142B (zh) 显示虚拟内容的计算设备、方法和头戴式显示器设备
KR101791366B1 (ko) 증강된 가상 터치패드 및 터치스크린
Garber Gestural technology: Moving interfaces in a new direction [technology news]
EP3189396B1 (en) Information processing apparatus, control method, and program
WO2022066728A1 (en) Devices, methods, and graphical user interfaces for interacting with three-dimensional environments
JP5807686B2 (ja) 画像処理装置、画像処理方法及びプログラム
JP6048898B2 (ja) 情報表示装置、情報表示方法および情報表示プログラム
US20130055150A1 (en) Visual feedback for tactile and non-tactile user interfaces
KR101608423B1 (ko) 모바일 디바이스상의 풀 3d 상호작용
WO2012134583A2 (en) Continued virtual links between gestures and user interface elements
TW201214266A (en) Three dimensional user interface effects on a display by using properties of motion
EP2558924B1 (en) Apparatus, method and computer program for user input using a camera
KR102021851B1 (ko) 가상현실 환경에서의 사용자와 객체 간 상호 작용 처리 방법
WO2019130896A1 (ja) 表示制御装置、表示制御方法およびプログラム
WO2016102948A1 (en) Coherent touchless interaction with stereoscopic 3d images
US10553249B2 (en) Storage medium, information processing apparatus, information processing system and information processing method
Alger Text Field with Volumetric Input

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 18895683

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 18895683

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: JP