WO2023037525A1 - 表示方法および表示装置 - Google Patents

表示方法および表示装置 Download PDF

Info

Publication number
WO2023037525A1
WO2023037525A1 PCT/JP2021/033424 JP2021033424W WO2023037525A1 WO 2023037525 A1 WO2023037525 A1 WO 2023037525A1 JP 2021033424 W JP2021033424 W JP 2021033424W WO 2023037525 A1 WO2023037525 A1 WO 2023037525A1
Authority
WO
WIPO (PCT)
Prior art keywords
display
image
contact
touch sensor
contact points
Prior art date
Application number
PCT/JP2021/033424
Other languages
English (en)
French (fr)
Inventor
卓矢 合田
雅也 田丸
晃 鈴木
Original Assignee
日本電信電話株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 日本電信電話株式会社 filed Critical 日本電信電話株式会社
Priority to PCT/JP2021/033424 priority Critical patent/WO2023037525A1/ja
Publication of WO2023037525A1 publication Critical patent/WO2023037525A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G3/00—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
    • G09G3/20—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/36—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/36—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory
    • G09G5/38—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory with means for controlling the display position

Definitions

  • the present disclosure relates to display methods and display devices.
  • transmissive displays that allow the viewer to see through the background have been commercialized. For example, by replacing the glass surface of a digital signage or showcase with a transmissive display, or by overlaying a transmissive display on an existing glass surface, the information displayed on the transmissive display can be superimposed on the actual background. can be observed by As a method of using such a transmissive display, for example, as shown in FIG. 10, a map or the like is arranged on a background surface such as a window, and the transmissive display displays images from one point on the map to another point. There is a method of use in which an image showing the route to the point is displayed, and these images are superimposed for observation.
  • Non-Patent Document 1 when a three-dimensional model such as a building is superimposed on the actual image of the building taken by the camera of the tablet terminal possessed by the observer and displayed, the movement of the observer in the building A technique for correcting the displacement of the display position of the three-dimensional model due to With this technology, AR markers are placed at the corresponding positions of the 3D model and the actual building, and by reading the AR markers placed on the building with a camera, the 3D model corresponding to the read AR markers is displayed. The display position of the 3D model is corrected based on the position of the AR marker above.
  • Non-Patent Document 1 requires the installation of AR markers on the 3D model and the actual building, the reading of the AR markers by a camera, etc., which is troublesome.
  • An object of the present disclosure which has been made in view of the problems described above, is to provide a display method and a display that can more easily accurately superimpose an image in which a background plane is arranged and an image displayed on a transmissive display. It is to provide a device.
  • a display method provides display for displaying on the display unit a second image corresponding to a first image arranged on a background surface superimposed on a transparent display unit.
  • the display unit includes a transmissive display, and a transmissive touch sensor arranged on one side of the transmissive display so as to detect contact from a side opposite to the one side. and a contact portion that is arranged on the background surface so that the orientation of the first image can be identified, and contacts the touch sensor while the background surface is superimposed on the display portion from the touch sensor side.
  • the contact portion includes a contact point group consisting of n (n ⁇ 3) or more contact points projecting from the background surface, and when the background surface is superimposed on the display portion from the touch sensor side, The direction of the first image and the calculating the position of the first image on the display surface of the transmissive display; and controlling display of the second image on the transmissive display based on the result of the calculation.
  • a display device includes a transparent display unit and a second image corresponding to the first image arranged on a background surface superimposed on the display unit.
  • a control unit for displaying on the display unit wherein the display unit is arranged on one side of the transmissive display and on one side of the transmissive display so as to detect contact from the side opposite to the one side and a touch sensor having transparency, wherein the background surface is arranged such that the orientation of the first image can be identified, and the background surface is superimposed on the display section from the touch sensor side.
  • a contact portion that contacts the touch sensor includes a contact point group consisting of n (n ⁇ 3) points or more of contact points projecting from the background surface, and the control unit controls the touch sensor side.
  • the control unit controls the touch sensor side.
  • the display method and the display device it is possible to more easily and accurately superimpose the image in which the background plane is arranged and the image displayed on the transmissive display.
  • FIG. 1 is a diagram illustrating a configuration example of a display device according to an embodiment of the present disclosure
  • FIG. 2 is a diagram showing an example of a background surface shown in FIG. 1
  • FIG. 2 is a flow chart showing an example of the operation of a control unit shown in FIG. 1
  • 2 is a diagram for explaining calculation of the orientation and position of an image arranged on a background plane by the correction determination unit shown in FIG. 1
  • FIG. 2 is a diagram showing an example of superimposition of an image displayed on a transmissive display and an image placed on a background surface by the display device shown in FIG. 1
  • FIG. 3 is a diagram showing another example of superimposition of an image displayed on a transmissive display and an image placed on a background surface by the display device shown in FIG.
  • FIG. 2 is a diagram showing an example of sliding between a background screen and a display section in the display device shown in FIG. 1;
  • FIG. 4 is a diagram for explaining calculation of a movement distance L and an angle ⁇ by a correction determination unit shown in FIG. 1;
  • FIG. 2 is a diagram showing an example of superimposition of an image displayed on a transmissive display and an image arranged on a background plane, as the background plane and the display unit slide, by the display device shown in FIG. 1;
  • FIG. 3 is a diagram showing another example of the background plane shown in FIG. 1;
  • FIG. FIG. 4 is a diagram showing an example of superimposition of an image displayed on a transmissive display and an image placed on a background surface;
  • FIG. 1 is a diagram showing a configuration example of a display device 10 according to an embodiment of the present disclosure.
  • the display device 10 includes a display section 11, an information input section 12, a storage section 13, and a control section .
  • the display unit 11 includes a transmissive display 111 and a touch sensor 112 .
  • the transmissive display 111 is a display having a structure in which an image is displayed on the display surface and the background of the transmissive display 111 can be observed by the observer because the display surface is transparent.
  • the touch sensor 112 is arranged on one side of the transmissive display 111 .
  • the touch sensor 112 detects (senses) whether or not an object touches the touch surface along the display surface of the transmissive display 111, and outputs touch sensor information indicating the sensing result.
  • the touch sensor 112 is arranged to detect contact from the side opposite to the one side of the transmissive display 111 . When the touch sensor 112 detects contact of an object with the touch surface, the touch sensor 112 outputs touch sensor information indicating the position of the contact point of the object to the control unit 14 .
  • Methods for detecting contact of an object by the touch sensor 112 include, for example, an energization method that utilizes changes in current flowing due to contact with an object, a pressure sensing method that utilizes pressure generated by contact with an object, etc., but is limited to these. Any method can be adopted as long as it can detect contact at a plurality of points.
  • the touch sensor 112 has transparency. As described above, since the transmissive display 111 is also transmissive, the display unit 11 in which the transmissive display 111 and the touch sensor 112 are overlapped has transmissivity.
  • the display device 10 allows an observer to observe an image in a state where the display section 11 and the background surface 20 are superimposed.
  • the background plane 20 will now be described with reference to FIG.
  • an image 21 (first image) of static content such as a picture or map is arranged on the background surface 20 .
  • the background plane 20 has the function of displaying an image
  • the image 21 may be an image displayed on the background plane.
  • the image 21 may be, for example, an image printed or projected onto the background surface 20 .
  • the background surface 20 is provided with a contact portion 22 .
  • the contact portion 22 is arranged so that the orientation of the image 21 arranged on the background surface 20 can be identified, and is provided so as to contact the touch sensor 112 while the background surface 20 is superimposed on the display portion 11 from the touch sensor 112 side. be done.
  • the contact portion 22 is, for example, a contact point group including n (n ⁇ 3) or more contact points 22a projecting from the background surface 20 .
  • FIG. 2 shows an example in which the contact portion 22 is a contact point group consisting of four contact points 22a.
  • the n or more contact points 22a protrude from the background surface 20 and contact the touch sensor 112 while the background surface 20 overlaps the display unit 11 from the touch sensor 112 side. Therefore, when the background surface 20 is superimposed on the display unit 11 from the touch sensor 112 side, the touch sensor 112 detects the contact positions of the n or more contact points 22a.
  • the contact portion 22 is a contact point group consisting of four contact points 22a
  • the four contact points 22a are arranged so that the quadrangular shape formed by connecting the four contact points 22a with lines forms a trapezoid. More specifically, the short side of the two parallel sides of the trapezoid is positioned above the image 21 placed on the background plane, and the long side of the two parallel sides of the trapezoid is placed on the background plane.
  • Four contact points 22 a are arranged so as to be positioned below the image 21 . With such an arrangement, the orientation of the image 21 placed on the background surface 20 can be detected from the positions of the four contact points 22a.
  • the arrangement of the contact points 22a is not limited to the example described above.
  • the point is that the orientation of the image 21 placed on the background surface 20 can be detected from the positions of n (n ⁇ 3) or more contact points 22a. Therefore, for example, an n-sided polygon connecting n or more contact points 22a may be asymmetrical in the vertical direction of the image 21 placed on the background surface 20 .
  • the n or more contact points 22a may be a group of contact points such as Braille that exists in existing static content, for which the orientation of the image 21 can be determined.
  • the information input unit 12 receives input of information from the user and outputs the input information to the control unit 14 .
  • the information input unit 12 is, for example, a pointing device, keyboard, mouse, etc., but is not limited to these.
  • Information of an image (second image) to be displayed on the transmissive display 111 is input to the information input unit 120, for example.
  • the information input unit 12 also receives information indicating the positional relationship between the image 21 arranged on the background surface 20 and the contact portion 22, for example.
  • the storage unit 13 stores various information.
  • the storage unit 13 is composed of various memories such as ROM (Read Only Memory), RAM (Random Access Memory), and storage.
  • the storage unit 13 stores, for example, information indicating the positional relationship between the image 21 arranged on the background surface 20 and the contact portion 22 , which is input from the information input unit 12 .
  • the storage unit 13 also stores, for example, a program that defines the operation of the control unit 14, which will be described later.
  • the control unit 14 controls the operation of the display device 10 as a whole.
  • the control unit 14 is configured by, for example, a processor.
  • the processor is a CPU (Central Processing Unit), MPU (Micro Processing Unit), GPU (Graphics Processing Unit), DSP (Digital Signal Processor), SoC (System on a Chip), etc. may be configured by a plurality of processors of The processor executes control of each component and various kinds of arithmetic processing.
  • the processor for example, reads a program from the storage unit 13 and executes it.
  • the processor performs control of each of the above components and various arithmetic processing according to programs stored in the storage unit 13 .
  • the program may be stored in a computer-readable storage medium. By using such a storage medium, it is possible to install the program in the computer.
  • the storage medium storing the program may be a non-transitory storage medium.
  • the non-temporary storage medium is not particularly limited, but may be, for example, a CD-ROM, a DVD-ROM, a USB (Universal Serial Bus) memory, or the like.
  • this program may be downloaded from an external device via a network.
  • control unit 14 By reading and executing the program by the processor, the control unit 14 operates as the correction determination unit 141 and the display control unit 142 .
  • the correction determination unit 141 acquires touch sensor information from the touch sensor 112 .
  • the correction determination unit 141 detects the contact positions (coordinates) of the n or more contact points 22a. Then, the correction determination unit 141 determines the direction and transmission of the image 21 based on the contact positions of the detected n or more contact points 22a and the positional relationship between the contact point group and the image 21 stored in the storage unit 13. The position of the image 21 on the display surface of the model display 111 is calculated.
  • the correction determination unit 141 outputs the calculation result of the orientation of the image 21 and the position of the image 21 on the display surface of the transmissive display 111 to the display control unit 142 . Further, when the contact state of the n or more contact points 22a forming the contact point group detected by the touch sensor 112 changes, the correction determination unit 141 changes the image displayed on the transmissive display 111 (second image). is instructed to the display control unit 142 to correct the .
  • the display control unit 142 adjusts the image (second image) on the transmissive display 111 based on the result of calculation of the orientation of the image 21 and the position of the image 21 on the display surface of the transmissive display 111 by the correction determination unit 141. Control display. Further, when the display control unit 142 instructs correction of the image (second image) displayed on the transmissive display 111, the display control unit 142 corrects the image displayed on the transmissive display 111 according to the instruction. .
  • control unit 14 Next, the operation of the control unit 14 will be described, focusing on the operation of the correction determination unit 141.
  • FIG. 3 is a flowchart showing an example of the operation of the control unit 14, and is a diagram for explaining the display method according to this embodiment.
  • the correction determination unit 141 reads touch sensor information from the touch sensor 112 (step S101). Next, based on the read touch sensor information, the correction determination unit 141 determines whether or not an object (contact point 22a) touches the touch sensor 112 (that is, whether or not the touch sensor 112 is pressed). step S102).
  • step S102 NO
  • the correction determination unit 141 returns to the process of step S101.
  • step S102 If it is determined that the touch sensor 112 has been touched (step S102: YES), the correction determination unit 141 detects the coordinates of the contact point 22a that touched the touch sensor 112, and holds the coordinates as the coordinates in the initial state. (Step S103).
  • the correction determination unit 141 determines whether or not the touch sensor 112 is in contact with the object (contact point 22a) (step S104).
  • step S104 When it is determined that the contact point 22a is not in contact with the touch sensor 112 (step S104: YES), it is estimated that the background surface 20 is separated from the touch sensor 112. Without displaying the image of , the process returns to step S101.
  • step S104 determines whether the contact state of the contact point group with the touch sensor 112 has changed. Specifically, the correction determination unit 141 determines whether or not at least one of the contact position and orientation of the contact point group has changed.
  • the correction determination unit 141 determines the contact locations of the n or more contact points 22a detected by the touch sensor 112. , the vertical direction of the contact point group is determined.
  • the n-point contact points 22a that constitute the contact point group are, for example, an n-sided polygon connecting the n-point contact points 22a that is asymmetrical in the vertical direction of the image 21 placed on the background surface 20. are arranged so that Therefore, it is possible to determine whether the group of contact points is up or down from the positions of the n contact points 22a forming the group of contact points.
  • the correction determination unit 141 determines that, of the two parallel sides of the trapezoid formed by connecting the four contact points 22a, the short side is the upper side and the long side is the lower side. be able to.
  • the correction determination unit 141 determines (calculates) the orientation of the image 21 placed on the background surface 20 and the position on the transmissive display 111 (step S107). Specifically, as shown in FIG. 4 , since the orientation of the contact point group and the orientation of the image 21 arranged on the background surface 20 are fixed, the correction determination unit 141 determines the following based on the orientation of the contact point group. The orientation of the image 21 placed on the background surface 20 is determined. Further, the correction determination unit 141 determines the position of the contact point 22a detected by the touch sensor 112, the image 21 placed on the background surface 20 and the contact portion 22 (n contact points) stored in the storage unit 13. 22a), the position of the image 21 on the transmissive display 111 is calculated.
  • the correction determination unit 141 determines the position on the transmissive display 111 corresponding to the contact points of the n-point contact points 22a detected by the touch sensor 112, and the positional relationship stored in the storage unit 13. A position having a similar positional relationship is determined as the position of the image 21 on the transmissive display 111 .
  • the correction determination unit 141 outputs the result of calculating the orientation of the image 21 placed on the background surface 20 and the position on the transmissive display 111 to the display control unit 142 .
  • the display control unit 142 controls the display of the image (second image) on the transmissive display 111 based on the calculation result of the correction determination unit 141 (step S108). Specifically, the display control unit 142 adjusts the image to be displayed on the transmissive display 111 in accordance with the orientation of the image 21 arranged on the background surface 20 and the position on the transmissive display 111 calculated by the correction determination unit 141 . Correct the orientation and position of the
  • the vertical direction of the background surface 20 is opposite to that in FIG. and the image 21 arranged on the background surface 20 and the image 110 displayed on the transmissive display 111 are accurately superimposed even when the display unit 11 is superimposed on the background surface 20 with an inclination. can do.
  • the orientation of the image 21 arranged on the background plane 20 and the position on the transmissive display 111 are calculated only by overlapping the display unit 11 and the background plane 20 . Therefore, since it is not necessary to set a marker or photograph the marker with a camera, the image 21 in which the background plane 20 is arranged and the image 110 displayed on the transmissive display 111 can be accurately superimposed more easily. can.
  • step S105 when it is determined that the contact state of the group of contact points on the touch sensor 112 has changed (step S105: YES), the correction determination unit 141 determines the n contact points in the contact state after the change. The coordinates of the contact point of 22a are detected and held (step 109).
  • the display unit 11 and the background surface 20 are displayed in a state where the display unit 11 and the background surface 20 are overlapped.
  • One is considered to have moved (slid) relative to the other.
  • the overlapping area of the display unit 11 and the background surface 20 changes, or the orientation of the display unit 11 and the background surface 20 changes.
  • the image displayed on the background plane 20 and the image 110 displayed on the transmissive display 111 can be displayed. It is necessary to superimpose them accurately.
  • the correction determination unit 141 causes the display control unit 142 to correct the display of the image 110 on the transmissive display 111 in accordance with the above-described variation due to sliding. Specifically, as shown in FIG. 7, the correction determination unit 141 determines the positions of the n-point contact points 22a in the contact state (first state) before the change and the contact state (second state) after the change. ), the distance to each position of the corresponding n contact points 22a is calculated. That is, as shown in FIG. 7, the correction determination unit 141 determines the distance between the lower left contact points 22a, the distance between the lower right contact points 22a, The distance between the points 22a and the distance between the upper right contact points 22a are calculated. Then, based on the calculated distances between the contact points 22a, the correction determination section 141 calculates the movement distance L of the contact portion 22 before and after the change in the contact state.
  • the correction determination unit 141 determines a straight line connecting two of the n contact points 22a in the contact state (first state) before the change and the state after the change (second state). and a straight line connecting two corresponding contact points 22a out of the n contact points 22a at .
  • the correction determination unit 141 connects the lower left contact point 22a and the lower right contact point 22a among the four contact points 22a arranged in a trapezoid in the contact state before the change.
  • An angle ⁇ between the straight line and a straight line connecting the lower left contact point 22a and the lower right contact point 22a among the four contact points 22a arranged in a trapezoidal shape in the changed contact state is calculated.
  • the angle ⁇ corresponds to the angle by which the contact portion 22 rotates as it slides.
  • the correction determination unit 141 Based on the distance between the positions of the n contact points 22a in the first state and the positions of the corresponding n contact points 22a in the second state, the moving distance L of the contact portion 22 is calculated. Further, the correction determination unit 141 determines a straight line connecting two contact points 22a out of the n contact points 22a in the first state and the corresponding two out of the n contact points 22a in the second state. The angle ⁇ by which the contact portion 22 is rotated is calculated based on the angle formed by the straight line connecting the two contact points 22a (step 110). The correction determination unit 141 instructs the display control unit 142 to control display of the image 110 on the transmissive display 111 based on the calculated moving distance L and angle ⁇ .
  • the display control unit 142 controls the display of the image 110 on the transmissive display 111 according to the instruction from the correction determination unit 141 . Specifically, based on the movement distance L and the angle ⁇ calculated by the correction determination unit 141, the display control unit 142 changes the image 110 displayed on the transmissive display 111 (the second image ) position and orientation. By doing so, as shown in FIG. 8, even if the overlapping area of the display unit 11 and the background surface 20 changes or the orientation of the display unit 11 and the background surface 20 changes with the slide. , the image placed on the background surface 20 can be accurately superimposed on the image 110 displayed on the transmissive display 111 .
  • the background surface 20 is provided with one contact point group as the contact portion 22, but the present disclosure is not limited to this.
  • a plurality of contact point groups may be provided as the contact portion 22 .
  • FIG. 9 shows an example in which contact points 22a are provided as contact points 22 at the upper right and lower right of the background surface 20, respectively.
  • the plurality of contact point groups may be provided such that the orientation of the image placed on the background surface 20 can be identified.
  • the four contact points 22a arranged on the upper right of the background surface 20 are arranged so that the shape connecting the four contact points 22a forms a square.
  • the four contact points 22a arranged on the lower right of the background surface 20 are arranged so that the shape connecting the four contact points 22a forms a rhombus. In this way, the shape connecting the n contact points 22a forming each contact point group is different, and information on the position of each contact point group and the shape connecting the n contact points 22a forming the contact point group is obtained.
  • the correction determination unit 141 can determine the orientation of the image 21 arranged on the background surface 20 when the background surface 20 and the display unit 11 are overlapped. .
  • a plurality of contact point groups are provided as the contact portions 22, and the orientation of the image 21 placed on the background surface 20 is determined based on the shape connecting the n contact points 22a constituting each contact point group.
  • the shape connecting the n contact points 22a forming each contact point group should be different. Therefore, the shape connecting the n contact points 22a forming the contact point group need not be asymmetrical in the vertical direction of the image 21 placed on the background surface 20. 21 may be symmetrical in the vertical direction.
  • the display device 10 displays on the display unit 11 the display unit 11 having transparency and the image 110 corresponding to the image 21 placed on the background surface 20 superimposed on the display unit 11 .
  • a control unit 14 for The display unit 11 includes a transmissive display 111 and a transmissive touch sensor 112 arranged on one side of the transmissive display so as to detect contact from the side opposite to the one side.
  • a contact portion that is arranged on the background surface 20 so that the orientation of the image 21 arranged on the background surface 20 can be identified, and contacts the touch sensor 112 in a state where the background surface 20 is superimposed on the display unit 11 from the touch sensor 112 side. 22 are provided.
  • the contact portion 22 includes a contact point group consisting of n (n ⁇ 3) or more contact points 22 a projecting from the background surface 20 .
  • the control unit 14 calculates the contact positions of the n or more contact points 22a detected by the touch sensor 112, the group of contact points input in advance, and the image. 21, the orientation of the image 21 and the position of the image 21 on the display surface of the transmissive display 111 are calculated. Then, the control unit 14 controls display of the image 110 on the transmissive display 111 based on the calculation result.
  • the orientation of the image 21 arranged on the background surface 20 and the position on the transmissive display 111 are calculated, and based on the calculation results, the image 110 on the transmissive display 111 is calculated. display is controlled. Therefore, since it is not necessary to set a marker or photograph the marker with a camera, the image 21 in which the background plane 20 is arranged and the image 110 displayed on the transmissive display 111 can be accurately superimposed more easily. can.
  • a method of mounting a camera on the transmissive display 111 and detecting the orientation and position of the image placed on the background surface 20 from the image captured by the camera is also conceivable.
  • this method when the transmissive display 111 and the background surface 20 (image 21) are brought into close contact with each other, sufficient light may not enter and an appropriate image may not be obtained from the camera.
  • the image arranged on the background plane 20 and the image 110 displayed on the display section 11 can be accurately superimposed.
  • a display method for displaying on the display unit a second image corresponding to a first image arranged on a background surface superimposed on a transparent display unit includes a transmissive display, and a transmissive touch sensor arranged on one side of the transmissive display so as to detect contact from a side opposite to the one side, A contact portion is provided on the background surface so that the orientation of the first image can be identified, and the contact portion contacts the touch sensor while the background surface is superimposed on the display portion from the touch sensor side,
  • the contact portion includes a contact point group consisting of n (n ⁇ 3) or more contact points projecting from the background surface, When the background surface is superimposed on the display unit from the touch sensor side, the contact positions of the n or more contact points detected by the touch sensor, the previously input contact point group, and the first image are displayed. Calculating the orientation of the first image and the position of the first image on the display surface of the transmissive display based on the positional relationship between The display method, wherein display of the second image on
  • Appendix 2 In the display method according to Appendix 1, The display method, wherein the n-sided polygon formed by connecting the n or more contact points is asymmetrical in the vertical direction of the first image.
  • the contact portion includes a plurality of the contact point groups, The display method, wherein the plurality of contact point groups are provided such that the orientation of the first image is identifiable.
  • Appendix 4 In the display method according to Appendix 1, When the contact state of the group of contact points detected by the touch sensor changes from a first state to a second state, A moving distance of the contact portion is calculated based on distances between respective positions of the n contact points in the first state and respective positions of the corresponding n contact points in the second state. , a straight line connecting two contact points among the n contact points in the first state, and a straight line connecting two corresponding contact points among the n contact points in the second state calculating the angle of rotation of the contact portion based on the angle formed by the straight line; A display method, wherein the position and orientation of the second image displayed on the transmissive display in the first state are corrected based on the calculated moving distance and angle.
  • the display unit includes a transmissive display, and a transmissive touch sensor arranged on one side of the transmissive display so as to detect contact from a side opposite to the one side, A contact portion is provided on the background surface so that the orientation of the first image can be identified, and the contact portion contacts the touch sensor while the background surface is superimposed on the display portion from the touch sensor side, The contact portion includes a contact point group consisting of n (n ⁇ 3) or more contact points projecting from the background surface, The control unit When the background surface is superimposed on the display unit from the touch sensor side, the contact positions of the n or more contact points detected by the touch sensor, the previously input contact point group, and the first image are displayed. Calculating the orientation of the first image and the position of the first image on the display surface of the transmissive display based on the positional relationship between A display device that controls display
  • REFERENCE SIGNS LIST 10 display device 11 display section 110 second image 111 transmissive display 112 touch sensor 12 information input section 13 storage section 14 control section 141 correction determination section 142 display control section 20 background surface 21 first image 22 contact section 22a contact point

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computer Hardware Design (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

本開示に係る表示装置（１０）は、透過性を有する表示部（１１）と、制御部（１４）とを備える。表示部（１１）は、透過型ディスプレイ（１１１）と、透過型ディスプレイ（１１１）の一面側に、一面側とは反対側からの接触を検出するように配置されたタッチセンサ（１１２）とを備える。背景面（２０）には、第１の像の向きを識別可能に配置され、背景面（２０）が表示部（１１）にタッチセンサ（１１２）側から重ねられた状態でタッチセンサ（１１２）に接触する接触部（２２）が設けられる。接触部（２０）は、ｎ（ｎ≧３）点以上の接触点（２２ａ）からなる接触点群を含む。制御部（１４）は、検出されたｎ点以上の接触点（２２ａ）の接触位置と、接触点群と第１の像との位置関係とに基づき、第１の像の向き位置とを算出し、算出の結果に基づいて、透過型ディスプレイ（１１１）における第２の像の表示を制御する。

Description

表示方法および表示装置
　本開示は、表示方法および表示装置に関する。
　近年、観察者から背景が透けて見える透過型ディスプレイが商品化されている。例えば、デジタルサイネージあるいはショーケースなどのガラス面部分を透過型ディスプレイに交換したり、既存のガラス面に透過型ディスプレイを重ねたりすることで、透過型ディスプレイに表示した情報を、実際の背景に重畳して観察させることができる。このような透過型ディスプレイの利用方法としては、例えば、図１０に示すように、窓などの背景面には地図などを配置し、透過型ディスプレイには、その地図上のある地点から別の地点に至るまでの経路を示す像を表示し、これらを重畳させて観察させるといった利用方法がある。
　透過型ディスプレイに表示された像と、背景面に配置された像とを重畳して観察させる場合、視差の関係から、透過型ディスプレイと背景面とをほぼ密着させる必要がある。ここで、透過型ディスプレイと背景面とを密着させて、ＡＲ（Augmented Reality）のように、背景面に配置された像と、透過型ディスプレイに表示された像とを重畳させる場合、背景面と透過型ディスプレイとがどのように重ねられているかを正確に把握する必要がある。しかしながら、一般に、背景面と透過型ディスプレイとの重なりの状態を正確に把握することは困難であり、手軽にＡＲ表示を行うことができない一因となっている。
　非特許文献１には、建物などの三次元モデルを、観察者が所持するタブレット端末が備えるカメラで撮影した建物の実際の映像に重畳して表示する場合に、建物内での観察者の移動に伴う三次元モデルの表示位置のずれを補正する技術が記載されている。この技術では、三次元モデルおよび実際の建物の対応する位置にそれぞれ、ＡＲマーカーが配置され、建物に配置されたＡＲマーカーをカメラで読み取ることで、読み取られたＡＲマーカーに対応する、三次元モデル上のＡＲマーカーの位置に基づき、三次元モデルの表示位置が補正される。
「位置指定ＡＲマーカー機能」、ＳＢ　Ｃ＆Ｓ株式会社、[online]、［令和３年８月１９日検索］、インターネット<URL:https://mixpace.jp/feature/>
　非特許文献１に記載の技術では、三次元モデルおよび実際の建物へのＡＲマーカーの設置、カメラによるＡＲマーカーの読み取りなどが必要となり、手間がかかるという問題がある。
　上記のような問題点に鑑みてなされた本開示の目的は、より簡易に背景面の配置された像と、透過型ディスプレイに表示された像とを正確に重畳することができる表示方法および表示装置を提供することにある。
　上記課題を解決するため、本開示に係る表示方法は、透過性を有する表示部に重ねられた背景面に配置された第１の像に応じた第２の像を前記表示部に表示する表示方法であって、前記表示部は、透過型ディスプレイと、前記透過型ディスプレイの一面側に、前記一面側とは反対側からの接触を検出するように配置された、透過性を有するタッチセンサとを備え、前記背景面には、前記第１の像の向きを識別可能に配置され、前記背景面が前記表示部に前記タッチセンサ側から重ねられた状態で前記タッチセンサに接触する接触部が設けられ、前記接触部は、前記背景面から突起したｎ（ｎ≧３）点以上の接触点からなる接触点群を含み、前記タッチセンサ側から前記背景面が前記表示部に重ねられると、前記タッチセンサにより検出された前記ｎ点以上の接触点の接触位置と、予め入力された前記接触点群と前記第１の像との位置関係とに基づき、前記第１の像の向きと前記透過型ディスプレイの表示面における前記第１の像の位置とを算出するステップと、前記算出の結果に基づいて、前記透過型ディスプレイにおける前記第２の像の表示を制御するステップと、を含む。
　また、上記課題を解決するため、本開示に係る表示装置は、透過性を有する表示部と、前記表示部に重ねられた背景面に配置された第１の像に応じた第２の像を前記表示部に表示する制御部と、を備え、前記表示部は、透過型ディスプレイと、前記透過型ディスプレイの一面側に、前記一面側とは反対側からの接触を検出するように配置された、透過性を有するタッチセンサとを備え、前記背景面には、前記第１の像の向きを識別可能に配置され、前記背景面が前記表示部に前記タッチセンサ側から重ねられた状態で前記タッチセンサに接触する接触部が設けられ、前記接触部は、前記背景面から突起したｎ（ｎ≧３）点以上の接触点からなる接触点群を含み、前記制御部は、前記タッチセンサ側から前記背景面が前記表示部に重ねられると、前記タッチセンサにより検出された前記ｎ点以上の接触点の接触位置と、予め入力された前記接触点群と前記第１の像との位置関係とに基づき、前記第１の像の向きと前記透過型ディスプレイの表示面における前記第１の像の位置とを算出し、前記算出の結果に基づいて、前記透過型ディスプレイにおける第２の像の表示を制御する。
　本開示に係る表示方法および表示装置によれば、より簡易に背景面の配置された像と、透過型ディスプレイに表示された像とを正確に重畳することができる。
本開示の一実施形態に係る表示装置の構成例を示す図である。 図１に示す背景面の一例を示す図である。 図１に示す制御部の動作の一例を示すフローチャートである。 図１に示す補正判定部による、背景面に配置された像の向きおよび位置の算出について説明するための図である。 図１に示す表示装置による、透過型ディスプレイに表示された像と背景面に配置された像との重畳の一例を示す図である。 図１に示す表示装置による、透過型ディスプレイに表示された像と背景面に配置された像との重畳の他の一例を示す図である。 図１に示す表示装置における、背景面と表示部とのスライドの一例を示す図である。 図１に示す補正判定部による、移動距離Ｌおよび角度θの算出について説明するための図である。 図１に示す表示装置による、背景面と表示部とのスライドに伴う、透過型ディスプレイに表示された像と背景面に配置された像との重畳の一例を示す図である。 図１に示す背景面の他の一例を示す図である。 透過型ディスプレイに表示された像と背景面に配置された像との重畳の一例を示す図である。
　以下、本開示の実施の形態について図面を参照して説明する。
　図１は、本開示の一実施形態に係る表示装置１０の構成例を示す図である。
　図１に示すように、本実施形態に係る表示装置１０は、表示部１１と、情報入力部１２と、記憶部１３と、制御部１４とを備える。
　表示部１１は、透過型ディスプレイ１１１と、タッチセンサ１１２とを備える。
　透過型ディスプレイ１１１は、表示面上に像を表示しつつ、表示面が透けていることにより観察者に、透過型ディスプレイ１１１の背景を観察させることができる構造のディスプレイである。
　タッチセンサ１１２は、透過型ディスプレイ１１１の一面側に配置される。タッチセンサ１１２は、透過型ディスプレイ１１１の表示面に沿ったタッチ面への物体の接触の有無を検出（センシング）し、センシングの結果を示すタッチセンサ情報を出力する。タッチセンサ１１２は、透過型ディスプレイ１１１の一面側とは反対側からの接触を検出するように配置される。タッチセンサ１１２は、タッチ面への物体の接触を検出すると、物体の接触箇所の位置を示すタッチセンサ情報を制御部１４に出力する。タッチセンサ１１２による物体の接触を検出する方式は、例えば、物体の接触により流れる電流の変化を利用する通電方式、物体の接触による生じる圧力を利用する感圧方式などであるが、これに限られるものでなはく、複数点の接触を検出可能であれば任意の方式を採用可能である。
　タッチセンサ１１２は透過性を有する。上述したように、透過型ディスプレイ１１１も透過性を有するため、透過型ディスプレイ１１１とタッチセンサ１１２とが重ねられた表示部１１は透過性を有する。
　本実施形態に係る表示装置１０は、表示部１１と背景面２０とを重ねた状態で、像を観察者に観察させる。ここで、背景面２０について、図２を参照して説明する。
　図２に示すように、背景面２０には、絵、地図などの静的なコンテンツの像２１（第１の像）が配置される。背景面２０が映像を表示する機能を備える場合には、像２１は、背景面に表示された像であってよい。また、像２１は、例えば、背景面２０に印刷、投影などされた像であってもよい。
　さらに、背景面２０には、接触部２２が設けられる。接触部２２は、背景面２０に配置された像２１の向きを識別可能に配置され、背景面２０が表示部１１にタッチセンサ１１２側から重ねられた状態でタッチセンサ１１２に接触するように設けられる。接触部２２は、例えば、背景面２０から突起したｎ（ｎ≧３）点以上の接触点２２ａからなる接触点群である。図２においては、接触部２２が、４つの接触点２２ａからなる接触点群である例を示している。上述したように、ｎ点以上の接触点２２ａは、背景面２０から突起し、背景面２０が表示部１１にタッチセンサ１１２側から重ねられた状態でタッチセンサ１１２に接触する。したがって、背景面２０が表示部１１にタッチセンサ１１２側から重ねられると、タッチセンサ１１２により、ｎ点以上の接触点２２ａそれぞれの接触位置が検出される。
　接触部２２が４つの接触点２２ａからなる接触点群である場合、例えば、４つの接触点２２ａを線で結んだ四角形の形状が台形となるように、４つの接触点２２ａが配置される。より具体的には、台形の平行な二辺のうちの短辺が背景面に配置された像２１の上側に位置し、台形の平行な二辺のうちの長辺が背景面に配置された像２１の下側に位置するように、４つの接触点２２ａが配置される。このような配置により、４つの接触点２２ａの位置から、背景面２０に配置された像２１の向きを検出することができる。
　なお、接触点２２ａの配置は上述した例に限られるものではない。要は、ｎ（ｎ≧３）点以上の接触点２２ａの位置から、背景面２０に配置された像２１の向きを検出することができればよい。したがって、例えば、ｎ点以上の接触点２２ａを結んだｎ角形が、背景面２０に配置された像２１の上下方向に非対称な形状であればよい。また、ｎ点以上の接触点２２ａは、例えば、既存の静的コンテンツに存在する点字のような、像２１の向きの判定が可能な接触点群であってもよい。
　図１を再び参照すると、情報入力部１２は、ユーザから情報の入力を受け付け、入力された情報を制御部１４に出力する。情報入力部１２は、例えば、ポインティングデバイス、キーボード、マウスなどであるが、これらに限定されない。情報入力部１２０は、例えば、透過型ディスプレイ１１１に表示する像（第２の像）の情報が入力される。また、情報入力部１２は、例えば、背景面２０に配置された像２１と接触部２２との位置関係を示す情報が入力される。
　記憶部１３は、種々の情報などを記憶する。記憶部１３は、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）、ストレージなどの種々のメモリにより構成される。記憶部１３は、例えば、情報入力部１２から入力された、背景面２０に配置された像２１と接触部２２との位置関係を示す情報を記憶する。また、記憶部１３は、例えば、後述する制御部１４の動作を規定したプログラムを記憶する。
　制御部１４は、表示装置１０全体の動作を制御する。制御部１４は、例えば、プロセッサにより構成される。プロセッサは、具体的には、ＣＰＵ(Central Processing Unit)、ＭＰＵ（Micro Processing Unit）、ＧＰＵ（Graphics Processing Unit）、ＤＳＰ（Digital Signal Processor）、ＳｏＣ（System on a Chip）などであり、同種または異種の複数のプロセッサにより構成されてもよい。プロセッサは、各構成の制御および各種の演算処理を実行する。プロセッサは、例えば、記憶部１３からプログラムを読み出し、実行する。プロセッサは、記憶部１３に記憶されているプログラムに従って、上記各構成の制御および各種の演算処理を行う。
　プログラムは、コンピュータが読み取り可能な記憶媒体に記憶されていてもよい。このような記憶媒体を用いれば、プログラムをコンピュータにインストールすることが可能である。ここで、プログラムが記憶された記憶媒体は、非一時的（non-transitory）記憶媒体であってもよい。非一時的記憶媒体は、特に限定されるものではないが、例えば、ＣＤ－ＲＯＭ、ＤＶＤ－ＲＯＭ、ＵＳＢ（Universal Serial Bus）メモリなどであってもよい。また、このプログラムは、ネットワークを介して外部装置からダウンロードされる形態としてもよい。
　プログラムがプロセッサにより読み込まれて実行されることにより、制御部１４は、補正判定部１４１および表示制御部１４２として動作する。
　補正判定部１４１は、タッチセンサ１１２からタッチセンサ情報を取得する。補正判定部１４１は、接触点群を構成するｎ点以上の接触点２２ａの接触を示すタッチセンサ情報を取得すると、ｎ点以上の接触点２２ａの接触位置（座標）を検出する。そして、補正判定部１４１は、検出したｎ点以上の接触点２２ａの接触位置と、記憶部１３に記憶されている接触点群と像２１との位置関係とに基づき、像２１の向きと透過型ディスプレイ１１１の表示面における像２１の位置とを算出する。補正判定部１４１は、像２１の向きおよび透過型ディスプレイ１１１の表示面における像２１の位置の算出結果を表示制御部１４２に出力する。また、補正判定部１４１は、タッチセンサ１１２により検出される、接触点群を構成するｎ点以上の接触点２２ａの接触状態が変化すると、透過型ディスプレイ１１１に表示する像（第２の像）の補正を表示制御部１４２に指示する。
　表示制御部１４２は、補正判定部１４１による、像２１の向きおよび透過型ディスプレイ１１１の表示面における像２１の位置の算出の結果に基づいて、透過型ディスプレイ１１１における像（第２の像）の表示を制御する。また、表示制御部１４２は、透過型ディスプレイ１１１に表示する像（第２の像）の補正が表示制御部１４２から指示されると、その指示に従い、透過型ディスプレイ１１１に表示する像を補正する。
　次に、制御部１４の動作について、補正判定部１４１の動作を中心に説明する。
　図３は、制御部１４の動作の一例を示すフローチャートであり、本実施形態に係る表示方法について説明するための図である。
　補正判定部１４１は、タッチセンサ１１２からタッチセンサ情報を読み込む（ステップＳ１０１）。次に、補正判定部１４１は、読み込んだタッチセンサ情報に基づき、タッチセンサ１１２に物体（接触点２２ａ）の接触があったか否か（すなわち、タッチセンサ１１２が押圧されたか否か）を判定する（ステップＳ１０２）。
　タッチセンサ１１２への接触がないと判定した場合（ステップＳ１０２：ＮＯ）、補正判定部１４１は、ステップＳ１０１の処理に戻る。
　タッチセンサ１１２への接触があったと判定した場合（ステップＳ１０２：ＹＥＳ）、補正判定部１４１は、タッチセンサ１１２に接触した接触点２２ａの接触箇所の座標を検出し、初期状態の座標として保持する（ステップＳ１０３）。
　次に、補正判定部１４１は、タッチセンサ１１２への物体（接触点２２ａ）の接触がないか否かを判定する（ステップＳ１０４）。
　タッチセンサ１１２への接触点２２ａの接触がないと判定した場合（ステップＳ１０４：ＹＥＳ）、背景面２０がタッチセンサ１１２から離されたと推定されるため、補正判定部１４１は、透過型ディスプレイ１１１への像の表示を行うことなく、ステップＳ１０１の処理に戻る。
　タッチセンサ１１２への接触点２２ａの接触があると判定した場合（ステップＳ１０４：ＮＯ）、補正判定部１４１は、タッチセンサ１１２への接触点群の接触状態が変化したか否かを判定する（ステップＳ１０５）。具体的には、補正判定部１４１は、接触点群の接触位置および向きの少なくとも一方が変化したか否かを判定する。
　タッチセンサ１１２への接触点群の接触状態が変化していないと判定した場合（ステップＳ１０５：Ｎｏ）、補正判定部１４１は、タッチセンサ１１２により検出されたｎ点以上の接触点２２ａの接触箇所に基づき、接触点群の上下方向の向きを判定する。上述したように、接触点群を構成するｎ点の接触点２２ａは、例えば、ｎ点の接触点２２ａを結んだｎ角形が、背景面２０に配置された像２１の上下方向に非対称な形状となるように配置される。したがって、接触点群を構成するｎ点の接触点２２ａの位置から、接触点群の上下判定を行うことができる。図２に示す例では、補正判定部１４１は、４つの接触点２２ａを結んで形成される台形における平行な二辺の内、短辺側が上側であり、長辺側が下側であると判定することができる。
　次に、補正判定部１４１は、背景面２０に配置された像２１の向きおよび透過型ディスプレイ１１１における位置を判定（算出）する（ステップＳ１０７）。具体的には、補正判定部１４１は、図４に示すように、接触点群の向きと背景面２０に配置された像２１の向きとは固定であるため、接触点群の向きに基づき、背景面２０に配置された像２１の向きを判定する。また、補正判定部１４１は、タッチセンサ１１２により検出された接触点２２ａの位置と、記憶部１３に記憶されている、背景面２０に配置された像２１と接触部２２（ｎ点の接触点２２ａ）との位置関係に基づき、透過型ディスプレイ１１１における像２１の位置を算出する。具体的には、補正判定部１４１は、タッチセンサ１１２により検出されたｎ点の接触点２２ａの接触箇所に対応する透過型ディスプレイ１１１上の位置から、記憶部１３に記憶されている位置関係と同様の位置関係となる位置を、透過型ディスプレイ１１１における像２１の位置と判定する。
　補正判定部１４１は、背景面２０に配置された像２１の向きおよび透過型ディスプレイ１１１における位置の算出の結果を、表示制御部１４２に出力する。
　図３を再び参照すると、表示制御部１４２は、補正判定部１４１の算出の結果に基づき、透過型ディスプレイ１１１における像（第２の像）の表示を制御する（ステップＳ１０８）。具体的には、表示制御部１４２は、補正判定部１４１により算出された、背景面２０に配置された像２１の向きおよび透過型ディスプレイ１１１における位置に合わせて、透過型ディスプレイ１１１に表示する像の向きおよび位置を補正する。
　その結果、図５Ａに示すように、表示部１１と背景面２０とが概ね平行に重ねられた場合にも、あるいは、図５Ｂに示すように、図５Ａとは背景面２０の上下方向が逆であり、かつ、背景面２０に対して表示部１１が傾いて重ねられた場合にも、背景面２０に配置された像２１と、透過型ディスプレイ１１１に表示された像１１０とを正確に重畳することができる。
　本実施形態においては、表示部１１と背景面２０とを重ねるだけで、背景面２０に配置された像２１の向きおよび透過型ディスプレイ１１１における位置が算出される。そのため、マーカーの設置、カメラによるマーカーの撮影などが不要であるため、より簡易に背景面２０の配置された像２１と、透過型ディスプレイ１１１に表示された像１１０とを正確に重畳することができる。
　図３を再び参照すると、タッチセンサ１１２への接触点群の接触状態が変化したと判定した場合（ステップＳ１０５：ＹＥＳ）、補正判定部１４１は、変化後の接触状態における、ｎ点の接触点２２ａの接触箇所の座標を検出して保持する（ステップ１０９）。
　タッチセンサ１１２で接触が検出されたまま、タッチセンサ１１２への接触点群の接触状態が変化した場合、表示部１１と背景面２０とが重ねられた状態で、表示部１１および背景面２０の一方が他方に対して相対的に移動（スライド）したと考えられる。このような移動の際には、図６に示すように、表示部１１と背景面２０とが重なる面積が変化したり、表示部１１と背景面２０との向きが変化したりする。このようなスライドに伴う、表示部１１と背景面との重なりの位置および向きに変動が生じた場合にも、背景面２０に表示された像と透過型ディスプレイ１１１に表示された像１１０とを正確に重畳させる必要がある。
　そこで、補正判定部１４１は、上述したスライドに伴う変動に応じて、表示制御部１４２に透過型ディスプレイ１１１への像１１０の表示を補正させる。具体的には、補正判定部１４１は、図７に示すように、変化前の接触状態（第１の状態）におけるｎ点の接触点２２ａの位置と、変化後の接触状態（第２の状態）における、対応するｎ点の接触点２２ａそれぞれの位置との距離を算出する。すなわち、補正判定部１４１は、図７に示すように、台形状に配置された４つの接触点２２ａについて、左下の接触点２２ａ同士の距離、右下の接触点２２ａ同士の距離、左上の接触点２２ａ同士の距離および右上の接触点２２ａ同士の距離をそれぞれ算出する。そして、補正判定部１４１は、算出した各接触点２２ａ同士の距離に基づき、接触状態の変化の前後での接触部２２の移動距離Ｌを算出する。
　また、補正判定部１４１は、変化前の接触状態（第１の状態）におけるｎ点の接触点２２ａの内の２つの接触点２２ａを結んだ直線と、変化後の状態（第２の状態）におけるｎ点の接触点２２ａの内の対応する２つの接触点２２ａとを結んだ直線とがなす角度θを算出する。図７に示す例では、補正判定部１４１は、変化前の接触状態における、台形状に配置された４つの接触点２２ａの内の左下の接触点２２ａと右下の接触点２２ａとを結んだ直線と、変化後の接触状態における、台形状に配置された４つの接触点２２ａの内の左下の接触点２２ａと右下の接触点２２ａとを結んだ直線とがなす角度θを算出する。角度θは、スライドに伴って接触部２２が回転した角度に相当する。
　このように、補正判定部１４１は、タッチセンサ１１２により検出される接触点群の接触状態が第１の状態（変化前の状態）から第２の状態（変化後の状態）に変化した場合、第１の状態におけるｎ点の接触点２２ａそれぞれの位置と、第２の状態における対応するｎ点の接触点２２ａそれぞれの位置との距離に基づき、接触部２２の移動距離Ｌを算出する。また、補正判定部１４１は、第１の状態におけるｎ点の接触点２２ａの内の２つの接触点２２ａを結んだ直線と、第２の状態におけるｎ点の接触点２２ａの内の対応する２つの接触点２２ａを結んだ直線とがなす角度に基づき、接触部２２が回転した角度θを算出する（ステップ１１０）。補正判定部１４１は、算出した移動距離Ｌおよび角度θに基づき、表示制御部１４２に透過型ディスプレイ１１１における像１１０の表示の制御を指示する。
　表示制御部１４２は、補正判定部１４１の指示に従い、透過型ディスプレイ１１１における像１１０の表示を制御する。具体的には、表示制御部１４２は、補正判定部１４１により算出された移動距離Ｌおよび角度θに基づいて、第１の状態において透過型ディスプレイ１１１に表示していた像１１０（第２の像）の位置と向きとを補正する。こうすることで、図８に示すように、スライドに伴って、表示部１１と背景面２０とが重なる面積が変化したり、表示部１１と背景面２０との向きが変化したりしても、背景面２０に配置された映像を透過型ディスプレイ１１１に表示された像１１０とを正確に重畳することができる。
　なお、上述した実施形態においては、背景面２０には、接触部２２として１つの接触点群が設けられる例を用いて説明したが、本開示はこれに限られるものではない。例えば、図９に示すように、接触部２２として、複数の接触点群が設けられてもよい。図９においては、接触部２２として、背景面２０の右上と右下とにそれぞれ、ｎ点（図９では４点）の接触点２２ａからなる接触点群が設けられている例を示している。接触部２２が複数の接触点群を含む場合、複数の接触点群は、背景面２０に配置された像の向きを識別可能に設けられてよい。例えば、図９に示すように、背景面２０の右上に配置された４つの接触点２２ａは、４つの接触点２２ａを結んだ形状が正方形となるように配置される。また、背景面２０の右下に配置された４つの接触点２２ａは、４つの接触点２２ａを結んだ形状がひし形となるように配置される。このように、各接触点群を構成するｎ点の接触点２２ａを結んだ形状が異なり、各接触点群の位置および接触点群を構成するｎ点の接触点２２ａを結んだ形状の情報を予め表示装置１０に入力しておくことで、補正判定部１４１は、背景面２０と表示部１１とが重ねられた場合に、背景面２０に配置された像２１の向きを判定することができる。
　上述したように、接触部２２として複数の接触点群を設け、各接触点群を構成するｎ点の接触点２２ａを結んだ形状に基づき、背景面２０に配置された像２１の向きを判定する場合、各接触点群を構成するｎ点の接触点２２ａを結んだ形状が異なっていればよい。したがって、接触点群を構成するｎ点の接触点２２ａを結んだ形状は、背景面２０に配置された像２１の上下方向に非対称な形状である必要はなく、背景面２０に配置された像２１の上下方向に対称な形状であってもよい。
　このように本実施形態においては、表示装置１０は、透過性を有する表示部１１と、表示部１１に重ねられた背景面２０に配置された像２１に応じた像１１０を表示部１１に表示する制御部１４と、を備える。表示部１１は、透過型ディスプレイ１１１と、透過型ディスプレイの一面側に、その一面側とは反対側からの接触を検出するように配置された、透過性を有するタッチセンサ１１２とを備える。背景面２０には、背景面２０に配置された像２１の向きを識別可能に配置され、背景面２０が表示部１１にタッチセンサ１１２側から重ねられた状態でタッチセンサ１１２に接触する接触部２２が設けられる。接触部２２は、背景面２０から突起したｎ（ｎ≧３）点以上の接触点２２ａからなる接触点群を含む。制御部１４は、タッチセンサ１１２側から背景面２０が表示部１１に重ねられると、タッチセンサ１１２により検出されたｎ点以上の接触点２２ａの接触位置と、予め入力された接触点群と像２１との位置関係とに基づき、像２１の向きと透過型ディスプレイ１１１の表示面における像２１の位置とを算出する。そして、制御部１４は、算出の結果に基づいて、透過型ディスプレイ１１１における像１１０の表示を制御する。
　そのため、表示部１１と背景面２０とを重ねるだけで、背景面２０に配置された像２１の向きおよび透過型ディスプレイ１１１における位置が算出され、その結果に基づき、透過型ディスプレイ１１１における像１１０の表示が制御される。そのため、マーカーの設置、カメラによるマーカーの撮影などが不要であるため、より簡易に背景面２０の配置された像２１と、透過型ディスプレイ１１１に表示された像１１０とを正確に重畳することができる。
　なお、透過型ディスプレイ１１１にカメラを搭載し、カメラの撮影画像から背景面２０に配置された像の向きおよび位置を検出する方法も考えられる。しかしながら、この方法では、透過型ディスプレイ１１１と背景面２０（像２１）とを密着させた場合に、十分な光が入らず、カメラから適切な像を得られない場合がある。しかしながら、本開示によれば、背景面２０と表示部１１とを重ねるだけでよいため、上述したような場合にも、背景面２０に配置された像と表示部１１に表示された像１１０とを正確に重畳することができる。
　以上の実施形態に関し、更に以下の付記を開示する。
　（付記項１）
　透過性を有する表示部に重ねられた背景面に配置された第１の像に応じた第２の像を前記表示部に表示する表示方法であって、
　前記表示部は、透過型ディスプレイと、前記透過型ディスプレイの一面側に、前記一面側とは反対側からの接触を検出するように配置された、透過性を有するタッチセンサとを備え、
　前記背景面には、前記第１の像の向きを識別可能に配置され、前記背景面が前記表示部に前記タッチセンサ側から重ねられた状態で前記タッチセンサに接触する接触部が設けられ、
　前記接触部は、前記背景面から突起したｎ（ｎ≧３）点以上の接触点からなる接触点群を含み、
　前記タッチセンサ側から前記背景面が前記表示部に重ねられると、前記タッチセンサにより検出された前記ｎ点以上の接触点の接触位置と、予め入力された前記接触点群と前記第１の像との位置関係とに基づき、前記第１の像の向きと前記透過型ディスプレイの表示面における前記第１の像の位置とを算出し、
　前記算出の結果に基づいて、前記透過型ディスプレイにおける前記第２の像の表示を制御する、表示方法。
　（付記項２）
　付記項１に記載の表示方法において、
　前記ｎ点以上の接触点を結んで形成されるｎ角形が、前記第１の像の上下方向に非対称な形状である、表示方法。
　（付記項３）
　付記項１に記載の表示方法において、
　前記接触部は、複数の前記接触点群を含み、
　前記複数の接触点群は、前記第１の像の向きを識別可能に設けられる、表示方法。
　（付記項４）
　付記項１に記載の表示方法において、
　前記タッチセンサにより検出される前記接触点群の接触状態が第１の状態から第２の状態に変化した場合、
　前記第１の状態における前記ｎ点の接触点それぞれの位置と、前記第２の状態における対応する前記ｎ点の接触点それぞれの位置との距離とに基づき、前記接触部の移動距離を算出し、前記第１の状態における前記ｎ点の接触点の内の２つの接触点を結んだ直線と、前記第２の状態における前記ｎ点の接触点の内の対応する２つの接触点を結んだ直線とがなす角度に基づき前記接触部が回転した角度を算出し、
　前記算出した移動距離と角度とに基づいて、前記第１の状態において前記透過型ディスプレイに表示していた前記第２の像の位置と向きとを補正する、表示方法。
　（付記項５）
　透過性を有する表示部と、
　前記表示部に重ねられた背景面に配置された第１の像に応じた第２の像を前記表示部に表示する制御部と、を備え、
　前記表示部は、透過型ディスプレイと、前記透過型ディスプレイの一面側に、前記一面側とは反対側からの接触を検出するように配置された、透過性を有するタッチセンサとを備え、
　前記背景面には、前記第１の像の向きを識別可能に配置され、前記背景面が前記表示部に前記タッチセンサ側から重ねられた状態で前記タッチセンサに接触する接触部が設けられ、
　前記接触部は、前記背景面から突起したｎ（ｎ≧３）点以上の接触点からなる接触点群を含み、
　前記制御部は、
　前記タッチセンサ側から前記背景面が前記表示部に重ねられると、前記タッチセンサにより検出された前記ｎ点以上の接触点の接触位置と、予め入力された前記接触点群と前記第１の像との位置関係とに基づき、前記第１の像の向きと前記透過型ディスプレイの表示面における前記第１の像の位置とを算出し、
　前記算出の結果に基づいて、前記透過型ディスプレイにおける第２の像の表示を制御する、表示装置。
　上述の実施形態は代表的な例として説明したが、本開示の趣旨および範囲内で、多くの変更および置換ができることは当業者に明らかである。したがって、本発明は、上述の実施形態によって制限するものと解するべきではなく、請求の範囲から逸脱することなく、種々の変形または変更が可能である。例えば、実施形態の構成図に記載の複数の構成ブロックを１つに組み合わせたり、あるいは１つの構成ブロックを分割したりすることが可能である。
　１０　　表示装置
　１１　　表示部
　１１０　　第２の像
　１１１　　透過型ディスプレイ
　１１２　　タッチセンサ
　１２　　情報入力部
　１３　　記憶部
　１４　　制御部
　１４１　　補正判定部
　１４２　　表示制御部
　２０　　背景面
　２１　　第１の像
　２２　　接触部
　２２ａ　　接触点

Claims (5)

  1. 　透過性を有する表示部に重ねられた背景面に配置された第１の像に応じた第２の像を前記表示部に表示する表示方法であって、
    　前記表示部は、透過型ディスプレイと、前記透過型ディスプレイの一面側に、前記一面側とは反対側からの接触を検出するように配置された、透過性を有するタッチセンサとを備え、
    　前記背景面には、前記第１の像の向きを識別可能に配置され、前記背景面が前記表示部に前記タッチセンサ側から重ねられた状態で前記タッチセンサに接触する接触部が設けられ、
    　前記接触部は、前記背景面から突起したｎ（ｎ≧３）点以上の接触点からなる接触点群を含み、
    　前記タッチセンサ側から前記背景面が前記表示部に重ねられると、前記タッチセンサにより検出された前記ｎ点以上の接触点の接触位置と、予め入力された前記接触点群と前記第１の像との位置関係とに基づき、前記第１の像の向きと前記透過型ディスプレイの表示面における前記第１の像の位置とを算出するステップと、
    　前記算出の結果に基づいて、前記透過型ディスプレイにおける前記第２の像の表示を制御するステップと、を含む表示方法。
  2. 　請求項１に記載の表示方法において、
    　前記ｎ点以上の接触点を結んで形成されるｎ角形が、前記第１の像の上下方向に非対称な形状である、表示方法。
  3. 　請求項１に記載の表示方法において、
    　前記接触部は、複数の前記接触点群を含み、
    　前記複数の接触点群は、前記第１の像の向きを識別可能に設けられる、表示方法。
  4. 　請求項１から３のいずれか一項に記載の表示方法において、
    　前記タッチセンサにより検出される前記接触点群の接触状態が第１の状態から第２の状態に変化した場合、
    　前記第１の状態における前記ｎ点の接触点それぞれの位置と、前記第２の状態における対応する前記ｎ点の接触点それぞれの位置との距離とに基づき、前記接触部の移動距離を算出し、前記第１の状態における前記ｎ点の接触点の内の２つの接触点を結んだ直線と、前記第２の状態における前記ｎ点の接触点の内の対応する２つの接触点を結んだ直線とがなす角度に基づき前記接触部が回転した角度を算出し、
    　前記算出した移動距離と角度とに基づいて、前記第１の状態において前記透過型ディスプレイに表示していた前記第２の像の位置と向きとを補正する、表示方法。
  5. 　透過性を有する表示部と、
    　前記表示部に重ねられた背景面に配置された第１の像に応じた第２の像を前記表示部に表示する制御部と、を備え、
    　前記表示部は、透過型ディスプレイと、前記透過型ディスプレイの一面側に、前記一面側とは反対側からの接触を検出するように配置された、透過性を有するタッチセンサとを備え、
    　前記背景面には、前記第１の像の向きを識別可能に配置され、前記背景面が前記表示部に前記タッチセンサ側から重ねられた状態で前記タッチセンサに接触する接触部が設けられ、
    　前記接触部は、前記背景面から突起したｎ（ｎ≧３）点以上の接触点からなる接触点群を含み、
    　前記制御部は、
    　前記タッチセンサ側から前記背景面が前記表示部に重ねられると、前記タッチセンサにより検出された前記ｎ点以上の接触点の接触位置と、予め入力された前記接触点群と前記第１の像との位置関係とに基づき、前記第１の像の向きと前記透過型ディスプレイの表示面における前記第１の像の位置とを算出し、
    　前記算出の結果に基づいて、前記透過型ディスプレイにおける第２の像の表示を制御する、表示装置。
PCT/JP2021/033424 2021-09-10 2021-09-10 表示方法および表示装置 WO2023037525A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
PCT/JP2021/033424 WO2023037525A1 (ja) 2021-09-10 2021-09-10 表示方法および表示装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2021/033424 WO2023037525A1 (ja) 2021-09-10 2021-09-10 表示方法および表示装置

Publications (1)

Publication Number Publication Date
WO2023037525A1 true WO2023037525A1 (ja) 2023-03-16

Family

ID=85506250

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2021/033424 WO2023037525A1 (ja) 2021-09-10 2021-09-10 表示方法および表示装置

Country Status (1)

Country Link
WO (1) WO2023037525A1 (ja)

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004117986A (ja) * 2002-09-27 2004-04-15 Seiko Epson Corp 位置情報表示装置および地図
JP2009222951A (ja) * 2008-03-17 2009-10-01 Sanyo Electric Co Ltd 表示装置
JP2010002634A (ja) * 2008-06-19 2010-01-07 Alps Electric Co Ltd 発光表示装置
JP2010011085A (ja) * 2008-06-26 2010-01-14 Kyocera Corp 携帯端末装置
JP2011118577A (ja) * 2009-12-02 2011-06-16 Sharp Corp 画像表示装置、画像表示方法、および画像表示システム
US20120105306A1 (en) * 2010-10-28 2012-05-03 Microsoft Corporation Transparent display assembly
JP2013205526A (ja) * 2012-03-28 2013-10-07 Sony Corp 表示装置および表示制御方法
JP2018072564A (ja) * 2016-10-28 2018-05-10 株式会社半導体エネルギー研究所 表示装置および電子機器

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004117986A (ja) * 2002-09-27 2004-04-15 Seiko Epson Corp 位置情報表示装置および地図
JP2009222951A (ja) * 2008-03-17 2009-10-01 Sanyo Electric Co Ltd 表示装置
JP2010002634A (ja) * 2008-06-19 2010-01-07 Alps Electric Co Ltd 発光表示装置
JP2010011085A (ja) * 2008-06-26 2010-01-14 Kyocera Corp 携帯端末装置
JP2011118577A (ja) * 2009-12-02 2011-06-16 Sharp Corp 画像表示装置、画像表示方法、および画像表示システム
US20120105306A1 (en) * 2010-10-28 2012-05-03 Microsoft Corporation Transparent display assembly
JP2013205526A (ja) * 2012-03-28 2013-10-07 Sony Corp 表示装置および表示制御方法
JP2018072564A (ja) * 2016-10-28 2018-05-10 株式会社半導体エネルギー研究所 表示装置および電子機器

Similar Documents

Publication Publication Date Title
US10217288B2 (en) Method for representing points of interest in a view of a real environment on a mobile device and mobile device therefor
CN106558026B (zh) 偏离用户界面
US10229539B2 (en) Component assembly work support system and component assembly method
CN110716703B (zh) 拼接屏的图像处理方法及装置、拼接屏
JP5211120B2 (ja) 情報表示装置及び情報表示方法
JP6645151B2 (ja) 投影装置、投影方法及び投影用コンピュータプログラム
JP6008397B2 (ja) 光学式シースルー型ｈｍｄを用いたａｒシステム
JP2011066788A (ja) 投写型表示装置、キーストン補正方法
CN107204044B (zh) 一种基于虚拟现实的画面显示方法及相关设备
EP2772724A1 (en) Device, method, and program for measuring diameter of cylindrical object
US20140152562A1 (en) Display controller, display system, storage medium and method
US9736440B2 (en) Holographic projection device capable of forming a holographic image without misalignment
JP5561503B2 (ja) プロジェクター、プログラム、情報記憶媒体および台形歪み補正方法
US9348542B2 (en) Display processing apparatus, display processing method, and computer-readable recording medium
JP4199641B2 (ja) プロジェクタ装置
WO2023037525A1 (ja) 表示方法および表示装置
KR102121088B1 (ko) 입체시 이미지 출력 시스템
CN113973199B (zh) 可透光显示***及其图像输出方法与处理装置
JP2012058353A (ja) 画像表示装置、及びその制御方法
JP2008082844A (ja) 特徴点座標算出装置
JP6880860B2 (ja) 接点特定プログラム、接点特定方法及び情報処理装置
JP6512058B2 (ja) 投影装置、映像投影方法及び映像投影用コンピュータプログラム
JP6684776B2 (ja) 地図情報システム、端末装置、及びサーバ装置
JP6639954B2 (ja) 表示装置
JP2016218839A (ja) Ａｒ情報表示装置

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 21956822

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE