WO2018008096A1 - 情報表示装置およびプログラム - Google Patents

情報表示装置およびプログラム Download PDF

Info

Publication number
WO2018008096A1
WO2018008096A1 PCT/JP2016/069949 JP2016069949W WO2018008096A1 WO 2018008096 A1 WO2018008096 A1 WO 2018008096A1 JP 2016069949 W JP2016069949 W JP 2016069949W WO 2018008096 A1 WO2018008096 A1 WO 2018008096A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
subject
unit
display device
information display
Prior art date
Application number
PCT/JP2016/069949
Other languages
English (en)
French (fr)
Inventor
清水　宏
荒井　郁也
鈴木　基之
橋本　康宣
Original Assignee
マクセル株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by マクセル株式会社 filed Critical マクセル株式会社
Priority to PCT/JP2016/069949 priority Critical patent/WO2018008096A1/ja
Publication of WO2018008096A1 publication Critical patent/WO2018008096A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics

Definitions

  • the present invention relates to an information display device and a program, and more particularly to a technique effective for displaying virtual reality and augmented reality.
  • operations such as instructions and control for the portable information terminal are performed by the user of the portable information terminal with respect to the touch sensor on the display screen.
  • the display screen of the portable information terminal is positioned in front of the viewer's eyes. It becomes very difficult to give instructions.
  • the magnetic sensor built in the portable information terminal detects a change in magnetism and performs an alternative operation for whether or not a key is pressed. be able to.
  • the viewer touches the conductive member on the side of the viewing device by attaching the conductive member to the holder and contacting one end thereof to the side of the viewing device and the other end to the touch panel screen portion of the portable information terminal.
  • the touch input operation can be performed indirectly.
  • a portable information terminal responsible for display and display control functions of the device is inserted into a head-mounted display device to be mounted on the user's head.
  • a virtual reality (hereinafter referred to as VR) image or an augmented reality (hereinafter referred to as AR) image is experienced.
  • Patent Document 1 and Patent Document 2 do not require an expensive dedicated display device, but are arranged on the side surface of the portable information terminal in order to perform control according to display information and display contents. It is necessary to operate the buttons.
  • Non-Patent Literature 1 or Non-Patent Literature 2 a simple input technology attached to a viewing device for performing video display using VR technology or AR technology using a portable information terminal as shown in Non-Patent Literature 1 or Non-Patent Literature 2 is required.
  • the input operation using the simple input technology is merely a simple operation such as a click input operation or a screen scroll operation with respect to the touch sensor provided in the portable information terminal.
  • An object of the present invention is to provide a technology capable of realizing the VR technology or the AR technology with a simple and inexpensive configuration while eliminating the need for advanced operation inputs such as complicated control.
  • a typical information display device has a portable information terminal and a housing.
  • the portable information terminal displays a virtual space or augmented reality space image.
  • the housing holds the portable information terminal.
  • This portable information terminal has a detection unit, a first imaging unit, an image recognition unit, and an operation execution unit.
  • the detecting unit detects a preset start condition.
  • the first imaging unit starts capturing an image when the detection unit detects a start condition.
  • the image recognition unit recognizes an image composition subject from the video imaged by the first imaging unit, and displays the recognized image composition subject or a subject image obtained by subjecting the image composition subject to object processing.
  • the operation execution unit determines an operation instruction based on the image composition subject or the subject image, and executes processing corresponding to the determined operation instruction.
  • the operation execution unit displays an operation instruction input image on the image when the image recognition unit displays an image composition subject or a subject image obtained by subjecting the image composition subject to object processing.
  • the operation instruction input image is an image for inputting a recording operation instruction using a subject for image composition or a subject image.
  • the information display device can be easily operated at a low cost.
  • FIG. 2 is an explanatory diagram illustrating an example of an overview of an information display device according to Embodiment 1.
  • FIG. FIG. 2 is an explanatory diagram illustrating an example of an appearance on the front side in the information display device of FIG. 1.
  • It is explanatory drawing which shows an example of the external appearance of the portable information terminal used for the information display apparatus of FIG.
  • It is a block diagram which shows an example of a structure in the portable information terminal of FIG.
  • FIG. 10 is an explanatory diagram showing an example of route guidance in the information display device according to Embodiment 2.
  • FIG. It is explanatory drawing which shows the other example of the route guidance in the information display apparatus of FIG. FIG.
  • FIG. 16 is an explanatory diagram illustrating an example of a route guidance display along a route set by the route setting technique illustrated in FIGS. 14 and 15.
  • 10 is an explanatory diagram illustrating an example of an overview of an information display device according to Embodiment 3.
  • FIG. It is explanatory drawing which shows an example of a structure in the portable information terminal which the information display apparatus of FIG. 17 has.
  • FIG. 18 is an explanatory diagram illustrating another example of an overview of the information display device in FIG. 17.
  • 10 is an explanatory diagram illustrating an example of an operation in the information display device 10 according to Embodiment 4.
  • FIG. FIG. 22 is an explanatory diagram following FIG.
  • the constituent elements are not necessarily indispensable unless otherwise specified and apparently essential in principle. Needless to say.
  • FIG. 1 is an explanatory diagram showing an example of an overview of the information display device 10 according to the first embodiment.
  • a state in which the operator 1 is wearing the information display device 10 is viewed from directly above.
  • the information display device 10 has a glasses-like housing 30 as shown in FIG.
  • the housing 30 is formed of an easily and inexpensive material such as corrugated paper or a plastic plate.
  • a slit portion 20 is formed on the front surface of the housing 30.
  • the slit portion 20 is a groove-like gap into which the portable information terminal 100 is inserted.
  • the portable information terminal 100 is composed of, for example, a smartphone or a tablet terminal.
  • Two magnifying lenses 11 are respectively provided behind the slit portion 20.
  • Each magnifying lens 11 is provided so as to correspond to the left and right eyes of the operator 1, respectively.
  • An image displayed on the display unit 121 of the portable information terminal 100 inserted into the slit unit 20 is magnified by the magnifying lens 11 and enters the left and right eyes of the operator 1.
  • the magnifying lens 11 is designed and installed so that the image viewed by the operator 1 with the left and right eyes can be felt as a large screen display.
  • the magnifying lenses 11 installed on the left and right have the same characteristics and are arranged symmetrically.
  • a partition wall 12 is provided between the right magnifying lens 11 corresponding to the right eye and the left magnifying lens 11 corresponding to the left eye.
  • the partition wall 12 functions as a partition plate, and prevents the left and right images enlarged and displayed by the respective magnifying lenses 11 from being mixed.
  • the internal structure such as the slit portion 20 and the magnifying lens 11 is described so as to be visible from the top for the sake of explanation. However, even if the head is moved up, down, left, or right, the portable information terminal 100 can be prevented from popping out or shifting.
  • FIG. 2 is an explanatory diagram showing an example of an overview of the front side of the information display device 10 of FIG. FIG. 2 shows a state where the wearing state of the information display device 10 of FIG. 1 is viewed from the front of the operator 1.
  • the casing 30 is provided with a window 13 on the front side.
  • This window 13 is exposed to an out camera 124 and a distance sensor 167 described later with reference to FIG. 3 provided on the back surface of the portable information terminal 100.
  • the information display apparatus 10 performs various operations for image display such as VR and AR using the out camera 124.
  • a window that exposes the periphery of the lens portion of the out camera 124 is provided.
  • the entire back surface of the portable information terminal 100 may be exposed, and the lens portion of the out camera 124 provided on the back surface may be provided. Any configuration that is not covered by the housing may be used.
  • the configuration of the information display device 10 in each embodiment described below and the portable information terminal 100 constituting the configuration of the information display device 10 can be held so that necessary functions are not covered.
  • the configuration of the back surface of the information display device 10 may be any configuration.
  • FIG. 3 is an explanatory diagram showing an example of an overview of the portable information terminal 100 used in the information display device 10 of FIG.
  • FIG. 3 shows an example in which the portable information terminal 100 is an information terminal device such as a smartphone.
  • FIG. 3A is a front view of the portable information terminal 100
  • FIG. 3B is a rear view of the portable information terminal 100. Illustrations of the left and right side surfaces and the ceiling are omitted.
  • a speaker 180 is provided on the top surface of the portable information terminal 100.
  • An ear speaker 131 is provided in the upper center portion of the front surface of the portable information terminal 100, and an in-camera 123 is provided on the left side of the ear speaker 131.
  • a home key 182 is provided at the lower center of the front surface of the portable information terminal 100, and a rectangular display unit 121 described later with reference to FIG. 4 is provided between the ear speaker 131 and the home key 182. Yes.
  • a power key 183 is provided above the right side surface of the portable information terminal 100.
  • a microphone 133 is provided at the center of the lower surface of the portable information terminal 100, and a speaker 184 is provided on the left side of the microphone 133.
  • an out camera 124 is provided on the upper left side of the back surface of the portable information terminal 100, and a distance sensor 167 is provided on the right side of the out camera 124.
  • Speakers 180 and 184 are speakers for listening to music and sound effects.
  • the ear speaker 131 is a speaker used when the portable information terminal 100 is used as a telephone.
  • the in-camera 123 is a camera that acquires an image on the display unit 121 side.
  • the home key 182 is a key for returning the display screen displayed on the display unit 121 to the basic screen or the like.
  • the display unit 121 is a monitor that displays various information such as images and characters, and the display unit 121 also functions as a touch panel.
  • the power key 183 is a key for turning on / off the power of the portable information terminal 100.
  • the out-camera 124 that is the first imaging unit is a camera that acquires an image on the side facing the display unit 121, that is, the back side of the portable information terminal 100.
  • the distance sensor 167 which is a distance measuring unit, is a sensor that measures the distance from the subject of the out-camera 124, and measures the distance to the subject using infrared rays, ultrasonic waves, lasers, or the like.
  • the distance sensor 167 can be used in conjunction with the out-camera 124, but can also be used as a single distance sensor.
  • the various operation interfaces such as the power key 183, the touch panel of the display unit 121, and the home key 182 described above are functions necessary when used alone as a portable information terminal, but are not necessarily required for display operation in this embodiment. Not necessary.
  • the structure which provides only one of the speakers 180 and 184 may be sufficient. As shown in FIG. 3, when two speakers 180 and 184 are provided, for example, when video display is performed with the portable information terminal 100 inserted into the slit portion 20 of the housing 30 as shown in FIG. It can be used as a stereo speaker.
  • the out-camera 124 and the distance sensor 167 insert the portable information terminal 100 into the slit portion 20 so as to be exposed from the window 13 of the housing 30 or determine the position of the window 13. To do. Since the information display device 10 only needs the out camera 124, the in camera 123 may be omitted.
  • FIG. 4 is a block diagram showing an example of the configuration of the portable information terminal 100 of FIG.
  • the portable information terminal 100 includes a main control unit 101, a system bus 102, a ROM 103, a RAM 104, a storage unit 110, an image processing unit 120, an audio processing unit 130, an operation unit 140, a communication processing unit 150, a sensor. Unit 160, an extended interface unit 170, and the like.
  • the portable information terminal 100 may be other than a smartphone, a tablet terminal, or the like as long as it has a display unit and performance that can be substituted for a head-mounted display.
  • a portable game machine or other portable digital device may be used.
  • the main control unit 101 is a microprocessor unit that controls the entire portable information terminal 100 according to a predetermined program.
  • the system bus 102 is a data communication path for performing data transmission / reception between the main control unit 101 and each functional unit in the portable information terminal 100.
  • ROM (Read Only Memory) 103 is a memory in which a basic operation program such as an operating system and other application programs are stored.
  • a rewritable ROM such as an EEPROM (Electrically Erasable Programmable ⁇ ROM) or a flash ROM is used.
  • RAM (Random Access Memory) 104 serves as a work area for executing basic operation programs and other application programs.
  • the ROM 103 and the RAM 104 may be integrated with the main control unit 101.
  • the ROM 103 has an independent configuration in FIG. 4, but may be configured to use various information / data storage areas 110c, which are partial storage areas in the storage unit 110, for example.
  • the storage unit 110 stores each operation setting value of the portable information terminal 100, information of the user of the portable information terminal 100, and the like. In addition, still image data and moving image data captured by the in-camera 123 and the out-camera 124 of the portable information terminal 100 can be stored. The storage unit 110 can also store new application programs and image data downloaded from the network.
  • the whole or part of the functions of the ROM 103 may be substituted with a partial area of the storage unit 110.
  • the storage unit 110 needs to retain stored information even when power is not supplied to the portable information terminal 100. Therefore, a device such as a flash ROM, SSD (Solid State Drive), or HDD (Hard Disc Drive) is used.
  • the image processing unit 120 includes a display unit 121, an image signal processing unit 122, an in-camera 123, an out-camera 124, and the like.
  • the display unit 121 is a display device such as a liquid crystal panel or an organic EL (Electro-Luminescence) panel, for example, and provides image data such as VR and AR processed by the image signal processing unit 122 to the operator 1 of the portable information terminal 100. .
  • the image signal processing unit 122 includes a video RAM (not shown), and the display unit 121 is driven based on the image data input to the video RAM. Further, the image signal processing unit 122 has a function of performing format conversion, menu and other OSD (On Screen Display) signal superimposing processing as required.
  • OSD On Screen Display
  • the in-camera 123 and the out-camera 124 convert light input from a lens into an electric signal using an electronic device such as a CCD (Charge-Coupled Device) or a CMOS (Complementary-Metal-Oxide-Semiconductor) sensor.
  • a CCD Charge-Coupled Device
  • CMOS Complementary-Metal-Oxide-Semiconductor
  • the audio processing unit 130 includes an ear speaker 131, an audio signal processing unit 132, a microphone 133, speakers 180 and 184, and the like.
  • the ear speaker 131 provides the audio signal processed by the audio signal processing unit 132 to the user of the portable information terminal 100.
  • the microphone 133 converts a user's voice and the like into voice data and inputs the voice data.
  • Microphone 133 may be connected to portable information terminal 100 by wired communication or wireless communication as a separate body from portable information terminal 100.
  • Speakers 180 and 184 reproduce and output voice and music processed by the voice signal processing unit 132. Thereby, it has an output capability that allows the user to listen to voice and the like even when away from the portable information terminal 100.
  • the speakers 180 and 184 may be configured to include only one of the speakers as described above. In this case, the sound is output as a monaural sound. Further, when both the speakers 180 and 184 are provided, the sound may be output as a stereo sound.
  • the operation unit 140 includes a touch panel that performs an input operation on the display unit 121, and keys such as a home key 182 and a power key 183.
  • the touch panel function is provided in the display unit 121 as described above. Furthermore, any arrangement or configuration of the operation unit 140 may be used.
  • the communication processing unit 150 includes a LAN (Local Area Network) communication unit 151, a mobile telephone network communication unit 152, and a proximity wireless communication unit 153.
  • the LAN communication unit 151 performs communication using, for example, a wireless LAN.
  • the mobile telephone network communication unit 152 performs mobile communication using a mobile phone or the like.
  • the proximity wireless communication unit 153 performs wireless communication when close to the corresponding reader / writer.
  • the LAN communication unit 151, the mobile telephone network communication unit 152, and the close proximity wireless communication unit 153 each include a coding circuit, a decoding circuit, an antenna, and the like. You may further provide other communication parts, such as an infrared communication part.
  • new application programs and image data of VR and AR technologies can be downloaded from the Internet or the like via the communication processing unit 150.
  • the sensor unit 160 is a sensor group for detecting the state of the portable information terminal 100.
  • a GPS (Global Positioning System) receiving unit 161 a gyro sensor 162, a geomagnetic sensor 163, an acceleration sensor 164, an illuminance sensor 165, a proximity sensor 166, a distance sensor 167, and the like are configured.
  • the GPS receiver 161 receives a GPS signal from artificial hygiene.
  • the gyro sensor 162 is a so-called angular velocity sensor and detects the angular velocity.
  • the geomagnetic sensor 163 is an electronic compass.
  • the acceleration sensor 164 serving as a detection unit measures the acceleration of the portable information terminal 100.
  • the illuminance sensor 165 measures brightness.
  • the proximity sensor 166 detects the target object in a non-contact manner.
  • the distance sensor 167 measures the distance to the target object.
  • These sensors can detect the position, tilt, direction, movement, brightness of surroundings, proximity of surrounding objects, distance to a specific object, and the like of the portable information terminal 100. Furthermore, you may provide other sensors, such as an atmospheric pressure sensor.
  • the combination of the distance sensor 167 and the out-camera 124 captures the hand 2 of the operator 1 and detects the distance to the hand 2 that is a subject for image composition and the movement of a finger or the like. The presence / absence of the operation and the operation status are discriminated by the above.
  • the configuration example of the portable information terminal 100 illustrated in FIG. 4 includes a number of non-essential configurations such as the audio processing unit 130 or the extension interface unit 170, but the configuration may not include these components. The effect of this embodiment is not impaired.
  • FIG. 5 is an explanatory diagram showing an example of an image displayed on the display unit 121 of the portable information terminal 100 of FIG.
  • the information display device 10 has a structure in which two magnifying lenses 11 are arranged so as to correspond to the left eye and the right eye of the operator 1, respectively. Therefore, the right eye image and the left eye image are respectively displayed on the display unit 121 of the portable information terminal 100 as shown in FIG. This display processing is performed by the image processing unit 120 in FIG.
  • the operator 1 in FIG. 1 sees the left and right images in FIG. 5A and recognizes them as one image as shown in FIG. 5D.
  • the image becomes a normal two-dimensional image, and stereoscopic vision can be provided as a three-dimensional image by adding parallax information to the left and right images.
  • the left-eye and right-eye image areas are subjected to correction processing when displayed, and the entire image area has a rectangular swollen shape as shown in FIG. 5A, and is displayed in the image area.
  • the image is also shaped accordingly.
  • the image processing so far is the basic processing performed when the image processing unit 120 displays a VR or AR image.
  • FIG. 5B shows the state of the screen displayed by the information display device 10 when the operator 1 turns his head to the right from the display state of FIG.
  • the movement of the head of the operator 1 is detected by the sensor unit 160 provided in the portable information terminal 100, and the screen is turned to the right in accordance with the amount of movement of the head, as shown in FIG. Display an image.
  • the display screen of the information display device 10 is an image continuing in the leftward direction from FIG. 5A. Display processing is performed so as to display c).
  • FIG. 6 is an explanatory diagram showing an example of a software configuration in the portable information terminal 100 of FIG. 6 shows a configuration example of software in the ROM 103, the RAM 104, and the storage unit 110 shown in FIG.
  • the ROM 103 stores a basic operation program 103a such as an operating system and other programs 103b.
  • the storage unit 110 stores an information display program 110b for performing VR and AR display and other programs 110a.
  • the basic operation program 103 a stored in the ROM 103 is expanded in the RAM 104, and the main control unit 101 executes the basic operation program 103 a expanded in the RAM 104 to configure the basic operation execution unit 104 a.
  • the information display program 110 b stored in the storage unit 110 is expanded in the RAM 104, and the main control unit 101 executes the information display program 110 b expanded in the RAM 104.
  • the information display execution unit 104b is configured.
  • the information display execution unit 104b includes a position / orientation acquisition execution unit 104c and an operation execution unit 104d.
  • the RAM 104 includes a temporary storage area 104e that temporarily holds data as necessary when various application programs are executed.
  • the main operation unit 101 develops the basic operation program 103a stored in the ROM 103 into the RAM 104 and executes it, so that the basic operation execution unit 104a performs control processing for each unit. Describe as a thing. The same description is made for other application programs.
  • the information display program 110b developed on the RAM 104 displays the VR or AR image on the display unit 121 by generating the left and right eye images and correcting the image distortion as shown in FIG.
  • the image processing for rotating the displayed image in accordance with the movement of the user's head is executed by the position / orientation acquisition executing unit 104c, and the processing for the display contents described below is controlled by the operation executing unit 104d. .
  • FIG. 7 is an explanatory diagram illustrating an example of an operation control process performed by the operation execution unit 104d illustrated in FIG.
  • FIG. 7 is a conceptual diagram illustrating a state in which an instruction to start a control operation is performed on display information on the display unit 121 included in the portable information terminal 100.
  • the information display device 10 in order to start the operation without using the operation unit such as the operation unit 140 of the portable information terminal 100 in FIG. 4, first, as illustrated in FIG. 7A, the information display device 10 is operated. A preset operation such as tapping with the hand 2 of the person 1 is performed.
  • the sensor unit 160 of the portable information terminal 100 When the sensor unit 160 of the portable information terminal 100 detects that this operation has been performed, it instructs the start of the operation. This start operation activates the out camera 124 and the distance sensor 167 in accordance with the processing of the operation execution unit 104d. As a result, as shown in FIG. 7B, the hand 2 of the operator 1 within the predetermined range is imaged, and actual operation processing is started.
  • the information display device 10 can be changed to the operation start state by a simple operator 1 action operation.
  • FIG. 8 is a flowchart for explaining an example of the control operation by the operation execution unit 104d in FIG.
  • a gyro sensor provided in the sensor unit 160 includes a vibration pattern and acceleration generated by performing a tap operation of tapping the housing 30 of the information display device 10 or the like. It detects with sensors, such as 162 and the acceleration sensor 164. FIG.
  • detection conditions may be set, for example, on condition that a predetermined number of vibrations and accelerations are detected within a predetermined time or at predetermined intervals, or the operator 1 shakes his / her head up and down, left and right, The number of times of shaking may be set as a detection condition.
  • step S101 the presence or absence of a predetermined operation on the information display device 10 is determined by the detection process (step S101).
  • step S101 if there is a predetermined operation, the out camera 124 and the distance sensor 167 are activated to capture an image captured by the out camera 124 and measure the distance to the subject (step S102).
  • step S103 When the hand 2 of the operator 1 is imaged by the out camera 124, within the distance L preset by the distance sensor 167, in the imaging range E of the out camera 124, that is, at the dots in FIG. Image recognition processing is performed on the hand 2 in the area shown to perform object processing (step S103).
  • This object processing is displayed as hand images 2L and 2R described later in the VR and AR images displayed on the display unit 121.
  • the objectification may be an abstract hand image prepared in advance, or a hand image generated from the feature points of the hand of the operator 1 captured by the out camera 124. Alternatively, it may be an image showing a simplified finger portion as long as it can express the movement of the operator's hand or finger.
  • the object images 2L, 2R and control objects such as a keyboard and a control button for performing an actual operation are combined with the display image and displayed (step S104).
  • the hand images 2L and 2R which are subject images, are moved in the display image in accordance with the movement of the hand 2 of the operator 1 to be imaged. Therefore, the range in which the hand images 2L and 2R are moved is limited to the range L detected by the distance sensor 167, the imaging range E of the out camera 124, or the range limited by both the predetermined distance and the imaging range. If it is outside the range L, the operation is paused. Alternatively, control such as interruption may be performed.
  • an application program related to the display image of the display unit 121 such as SNS (Social Networking Service), chat, store search, search, and mail corresponding to the control object is started (step S105). Thereafter, it is detected whether or not a predetermined operation such as key press or button press on the control object by the hand images 2L and 2R is performed (step S106).
  • SNS Social Networking Service
  • examples of the predetermined operation include a key press operation on a keyboard and a press operation on a control button or a control object. Further, instead of pressing the keyboard or the control button to be controlled by the hand image, an operation by holding the hand image on the image to be controlled for a predetermined time may be used.
  • a key press or button selection state may be displayed as a pop-up display or a color of the operation target is changed so that the operation state can be confirmed.
  • step S106 when there is a control operation in the process of step S106, if the keyboard is pressed, the character input or sentence input is determined, and if the control button is pressed, the control program is assigned to the control button.
  • the application program assigned to the control target such as performing the execution process is executed (step S107).
  • step S108 it is determined whether or not the text creation by the keyboard input is completed, or in the control button pressing process, whether the state is reflected in the display by the application program executed by the button pressing (step S108). .
  • the operation is continued, and if the operation is unnecessary, the operation is terminated.
  • FIG. 9 is an explanatory diagram showing an example of the scenery in the city area displayed by the information display device 10 of FIG.
  • FIG. 10 is an explanatory diagram following FIG. 9 and 10 show an example in which an image 121a indicating a virtual space or an actual cityscape is displayed on the display unit 121 of the information display device 10.
  • FIG. 9 is an explanatory diagram showing an example of the scenery in the city area displayed by the information display device 10 of FIG.
  • FIG. 10 is an explanatory diagram following FIG. 9 and 10 show an example in which an image 121a indicating a virtual space or an actual cityscape is displayed on the display unit 121 of the information display device 10.
  • FIG. 9 is an explanatory diagram showing an example of the scenery in the city area displayed by the information display device 10 of FIG.
  • FIG. 10 is an explanatory diagram following FIG. 9 and 10 show an example in which an image 121a indicating a virtual space or an actual cityscape is displayed on the display unit 121 of the information display device 10.
  • FIG. 9 is an
  • the image 121a is an image in which window shopping is performed on a street where road surface stores 1001 to 1003 are arranged, and shows a situation in which an operation is about to start.
  • This recognition technique can use general image recognition processing.
  • FIG. 9 shows how the left hand is first recognized.
  • the recognized left hand of the operator 1 is subjected to object processing and synthesized and displayed on the display unit 121 as a hand image 2L.
  • the right hand image is recognized and subjected to object processing, so that the right hand image 2R is also synthesized and displayed, and the keyboard image 1010 shown in FIG.
  • the left hand is recognized first, but the right hand can be recognized first or the shop can be touched with the right hand, and both hands can be recognized at the same time. It does not matter.
  • the store image may be selected after first displaying the keyboard image 1010 which is an operation instruction input image, and may be set freely by an application program.
  • the keyboard image 1010 which is an operation instruction input image
  • the store image may be selected after first displaying the keyboard image 1010 which is an operation instruction input image, and may be set freely by an application program.
  • the operation application of this example when the left and right hands are recognized, a keyboard image 1010 is displayed and a related application program is activated.
  • the entered characters may be directly displayed in the message display area 1020 displayed by starting the SNS application program or chat application program. Alternatively, as shown in FIG. 10, it may be displayed in the message display area 1020 after the text input confirmation area 1012 on the lower right of the screen 121a is displayed for confirmation and the sentence input is confirmed.
  • Text input can be performed in the same manner as character input using a normal keyboard, or special keys for conversion operation and character confirmation may be arranged on the keyboard image 1010.
  • chat for example, communication is performed through a communication function by the communication processing unit 150 provided in the portable information terminal 100 of FIG.
  • an application program may be constructed so as to create message information by linking to a site on which network shop information is posted. Also in this case, communication is performed through the communication function of the communication processing unit 150 of the portable information terminal 100 of FIG.
  • operations such as acquiring shop information in the image 121a displayed on the information display device 10 can be performed only with a simple gesture of the operator 1.
  • the operation may be ended by placing an operation end button on the screen and pressing it, or determining that there is no manual operation within a predetermined period of time. .
  • the process may be terminated by detecting that the left and right hands are not recognized for a preset time.
  • the keyboard image 1010 is arranged, for example, at the lower center of the display screen 121a so as to facilitate input by two-handed operation. Thereby, it is possible to set the image layout and the size of the image so as to be close to the feeling of actually performing keyboard input.
  • display control may be performed such that the keyboard image 1010 is large while the key input is being performed, and is small while the key input is paused so as not to interfere with other information display.
  • FIG. 11 is a flowchart for explaining another example of the control operation by the operation execution unit 104d in FIG.
  • FIG. 12 is an explanatory diagram showing a display example of the information display device 10 in the control operation of FIG.
  • FIG. 13 is an explanatory diagram following FIG.
  • FIGS. 12 and 13 are explanatory diagrams showing an example of operations in the real space displayed by the information display device 10.
  • the out camera 124 of the portable information terminal 100 is always operating and displaying on the display unit 121 while imaging the cityscape.
  • the start of the operation is the same as the process of step S101 of FIG. 8, and the operation is started by detecting a predetermined operation on the information display device 10 (step S101).
  • the predetermined operation is regarded as an operation start instruction by a tap operation on the information display device 10 or the like.
  • the distance sensor 167 is activated to recognize the hand 2 of the operator 1 who gives the operation instruction.
  • the image recognition application program is activated (step S202), and the image 2L that is converted into an object is displayed on the display image 121b.
  • the image recognition application program is activated (step S202), and the image 2L that is converted into an object is displayed on the display image 121b.
  • the store portion is indicated by the user's hand image 2L.
  • an operation such as pressing with a finger is performed.
  • the image recognition application program detects this operation (step S203), and the GPS reception unit 161, the gyro sensor 162 of the sensor unit 160 provided in the portable information terminal 100 with the azimuth and position information of the indicated store, It is detected by the geomagnetic sensor 163 or the like.
  • the display image 121b of the display unit 121 highlights the store 1002 by highlighting it or by coloring it.
  • control objects such as an azimuth display 910, an information display window 920, and an operation instruction button row 921 indicating the angle when the store 1002 is viewed in consideration of the direction of the store 1002 or the store is on a higher floor of the building are implemented.
  • the image is superimposed and displayed on the image (step S204).
  • the azimuth display 910 in FIG. 13 shows the azimuth 911 and the elevation angle 912 from the operator 1 to the store 1002.
  • the search application program and the map information application program are started using the azimuth 911 and elevation angle 912 shown in the azimuth display 910, the captured image of the store 1002, the GPS information of the current location acquired by the portable information terminal 100, and the like. And the information regarding the store 1002 is acquired (step S205).
  • information acquisition of the store 1002 accessing the Internet through the communication processing unit 150, collating with the map database using GPS information, azimuth information, and elevation angle information to acquire store position and store information. it can.
  • the store information may be acquired by collating with the database on the Internet or the like from the location information obtained from the image of the store 1002 and the GPS information.
  • collation with an external database (not shown) is performed via an external network using data and image data from various sensors acquired by the portable information terminal 100.
  • an application program for acquiring store information may be executed.
  • the height information of the location where the store is located may be displayed.
  • the height may be determined from the GPS information and the map database.
  • the sensor unit of the portable information terminal 100 may be further provided with a pressure sensor (not shown), and the height information may be displayed by determining the height from the information of the pressure sensor.
  • a control button row 921 as a control object is synthesized and displayed on the display unit 121 and a next operation instruction is awaited (step S206).
  • a series of control button rows 921 of “information”, “reservation”, and “coupon” are displayed.
  • the application program may be configured to display information on a place, a store, or a building that the user is interested in. If no further information acquisition operation is performed, the process is completed (step S208).
  • control flowchart related to the above-described operation is an example, and other control flows may be used as long as the object of this example can be achieved.
  • the information display device 10 having a simple and inexpensive configuration can be used for various displays for the VR technology and the AR technology. Operation input can be performed easily.
  • the configuration of the information display device 10 is the same as that of FIG. 1 of the first embodiment, and the configuration of the portable information terminal 100 is the same as that of FIG.
  • FIG. 14 is an explanatory diagram showing an example of route guidance in the information display device 10 according to the second embodiment.
  • FIG. 14 shows an example of an image 121c displayed on the display unit 121 of the information display device 10 during route guidance. And as shown in the image 121c of FIG. 14, a map is displayed on the display part 121 by a map application program, and route guidance is performed.
  • the rectangular display represents a road or a building on the map, and a route menu 1101 for operation is displayed on the upper left of the image 121c.
  • An enlargement / reduction button 1102 is displayed at the lower right of the image 121c, and an orientation mark 1110 is displayed above the enlargement / reduction button 1102.
  • the route menu 1101 includes a departure point setting button 1101a, a destination setting button 1101b, and a moving means selection button 1101c.
  • the departure point setting button 1101a is a button for setting a departure point.
  • the destination setting button 1101b is a button for setting a destination point.
  • the moving means selection button 1101c is a button for setting moving means such as walking or train.
  • the enlargement / reduction button 1102 enlarges or reduces the scale of the map image.
  • the orientation mark 1110 is a mark indicating north on the map.
  • the image 121c in FIG. 14A is a screen for setting the departure point on the map, and the route menu 1101 is displayed together with the hand image 2L in response to an operation start instruction by the user.
  • the hand image 2L recognizes a hand within the distance L by the out-camera 124 and the distance sensor 167, and reflects the action on the hand image 2L displayed on the image 121c.
  • the departure point setting button 1101a is selected and the color of the button portion changes.
  • the color of the button is changed, but for example, it may be displayed in a highlighted manner, or may be displayed with the color or brightness reversed, and the button is pressed is distinguished from other buttons. I can do it.
  • the displayed hand image 2L is also moved on the screen, and this point can be set as the departure point.
  • a double circle mark 1130 indicating this is displayed.
  • the hand image 2L displayed on the screen When a gesture of pressing by hand is performed to determine the point of the double circle mark 1130 as a starting point, the hand image 2L displayed on the screen also performs an operation of pressing the point, and as a result, FIG. As shown in c), the display changes to the x mark 1131.
  • the point A is displayed on the display of the starting point setting button 1101 a.
  • the display of the point for example, a lot number display, a proper noun display such as home, or a common name is set.
  • the scale of the display map is obtained by pressing the + or ⁇ symbol of the enlargement / reduction button 1102 arranged on the lower right side of the display screen 121c in FIG. 14C, for example, on the hand image 2L.
  • the display contents and display positions of selection menus such as the route menu 1101 and the enlargement / reduction button 1102 may be appropriately set by a route search application program.
  • FIG. 15 is an explanatory diagram showing another example of route guidance in the information display device 10 of FIG.
  • FIGS. 15A to 15C show how the destination is set on the map.
  • the destination may be set by the same operation as the setting of the departure point in FIG. 14, and as shown in FIG. 15A, the destination map is displayed and the destination setting button is displayed. By pressing 1101b, a setting operation start instruction is issued. And as shown in FIG. The destination is set by the hand image 2L. Thereafter, as shown in FIG. 15 (c), the destination is determined.
  • FIG. 16 is an explanatory diagram showing an example of a route guidance display along the route set by the route setting technique shown in FIGS. 14 and 15.
  • FIG. 16A shows an image 121e displayed on the display unit 121 of the information display device 10, and the image 121e shows a state of traveling on the street between the buildings 771 to 775.
  • FIG. 16A shows an example in which an operation menu 750 for setting the hand image 2L for operation and the advance / retreat of the route is displayed on the image 121e.
  • an operation of pressing the forward button 751 included in the operation menu 750 with the hand image 2L following the movement of the hand of the operator 1 is performed, a screen for proceeding along the street in the direction of the path 754 is displayed.
  • the Key button 753 included in the operation menu 750 is a button for displaying a keyboard.
  • a search application on the Internet assigned to the Key button 753 can be used. It becomes.
  • the arrow display 754 shown in FIG. 16A indicates the direction of travel of the set route.
  • the hand image 2L is an image of the left hand, but the right hand may be recognized and an operation using the right hand hand image may be performed.
  • the hand object image may be either the left or right hand, but is assumed to be performed with the left hand image 2L for convenience of explanation.
  • FIG. 16B is a diagram showing a state of information display when there is a store or the like that is anxious along the route to the destination. For example, in FIG. 16B, when the store 772 existing in the screen halfway along the route is anxious, an operation of pressing the building object 772 of the store on the hand image 2L is performed. This selects the building object 772 and changes the color of the entire building to indicate that it has been selected.
  • This information window 755 displays information about the store.
  • the information regarding the store is, for example, information such as a location, a store name, and a URL (Uniform Resource Locator) indicating the store information.
  • the object image of the coupon 756 may be displayed. If the operator thinks that the coupon 756 is necessary, the coupon can be acquired by performing an operation of grasping with the hand image 2L.
  • the acquired coupon 756 is stored in the storage unit 110 of FIG. 6 of the portable information terminal 100, for example, and can be presented and used when actually going to the store 772. Alternatively, it is possible to purchase products via the Internet.
  • route guidance can be performed by a simple operation. Also by this, the convenience of the operator 1 can be improved.
  • FIG. 17 is an explanatory diagram showing an example of an overview of the information display device 10 according to the third embodiment.
  • FIG. 17 is different from FIG. 1 of the first embodiment in the configuration of the portable information terminal 100.
  • the information display device 10 shown in FIG. Specifically, an out camera 125 is newly provided in addition to the out camera 124 included in the portable information terminal 100, and the distance sensor 167 in FIG. 1 is omitted.
  • the out camera 125 which is the second imaging unit, is provided at the upper left of the back surface of the portable information terminal 100 in FIG.
  • the distance between the out camera 124 and the out camera 125 is set such that a space D1 in the horizontal direction is spaced as shown in the figure.
  • a window 14 through which a newly provided out camera 125 is exposed is provided on the front side of the housing 30 .
  • a window may be provided on the entire back surface of the housing 30 as long as the out-cameras 124 and 125 are exposed and the portable information terminal 100 can be held.
  • the vertical distance Z1 to the hand 2 can be calculated by a general triangulation technique.
  • FIG. 18 is an explanatory diagram showing an example of the configuration of the portable information terminal 100 included in the information display device 10 of FIG.
  • the portable information terminal 100 of FIG. 18 differs from the portable information terminal 100 of FIG. 4 of the first embodiment in that the distance sensor 167 of FIG. 4 is omitted and an out camera 125 is newly provided as already described. This is the point.
  • Other configurations are the same as those in FIG.
  • the object processing of the hand images 2L and 2R, the operation using the images 2L and 2R, and the like can be performed without using the distance sensor 167.
  • FIG. 19 is an explanatory diagram showing another example of the appearance of the information display device 10 of FIG.
  • FIG. 19 shows an example in which the operation of the information display device 10 is started using the operator's fingerprint.
  • 19 has a configuration in which a fingerprint sensor 168 is provided on the back surface of the portable information terminal 100, and an operation is started by the fingerprint sensor 168 instead of vibration or impact.
  • FIG. 20 is an explanatory diagram showing an example of the configuration of the portable information terminal 100 included in the information display device 10 of FIG.
  • a fingerprint sensor 168 for recognizing a fingerprint is newly provided as described above.
  • the fingerprint sensor 168 reads the fingerprint of the finger of the operator 1 and authenticates with the fingerprint of the operator 1 registered in advance.
  • the operation after the operation start instruction is performed can be performed in the same manner as in the first and second embodiments.
  • the end of the operation is instructed by pressing the end button on the operation screen.
  • the fingerprint sensor 168 is touched again. It is good also as an end instruction.
  • an instruction to start or end the operation of the information display device 10 can be performed more easily.
  • the operation start is instructed only when the fingerprint matches the pre-registered fingerprint, the security can be improved.
  • FIG. 21 is an explanatory diagram showing an example of an operation in the information display device 10 according to the fourth embodiment. 22 is an explanatory diagram following FIG. 21, and FIG. 23 is an explanatory diagram following FIG. FIG. 21 to FIG. 23 show examples in which the pattern change in the room which is a real space is performed using the AR technology.
  • FIG. 24 is a flowchart showing an example of the operation control process in the operation examples shown in FIGS.
  • the information display device 10 used in FIG. 24 is the same as the information display device 10 of FIG. 1 of the first embodiment, and the portable information terminal 100 is the same as the portable information terminal 100 shown in FIG. 4 of the first embodiment. It shall be the same. Note that the portable information terminal 100 may be the portable information terminal 100 shown in FIG. The same applies to the operation start signal.
  • FIG. 21A shows an image 121f in which the state of the room before the operation on the information display device 10 is started is displayed.
  • the image 121f includes a wall 1701, a floor 1702, a table 1703, and a window 1704.
  • the image captured by the out camera 124 of the portable information terminal 100 in FIG. Is displayed.
  • the distance sensor 167 of the portable information terminal 100 starts operating, and measures the distance to the subject of the out-camera 124 (step S301).
  • the out-camera 124 images the hand 2 of the operator 1, the distance information from the distance sensor 167 is acquired and the captured image is recognized, and the recognition process of the hand 2 of the operator 1 is performed. (Step S302).
  • step S303 When the operator 1 performs a predetermined operation set in advance by the hand 2rL (step S303), the wall decoration menu image 1705 shown in FIG. 21B is displayed in a composite manner on the real space image (step S304).
  • the predetermined operation in the process of step S303 is, for example, an operation of hitting or touching a wall, holding both hands or one hand, or pointing.
  • the hand may be brought within a predetermined distance at a position where the hand 2rL can be recognized.
  • a menu image 1901 is displayed as shown in FIG.
  • This menu image 1901 is a menu for selecting what kind of painting to decorate.
  • the state transitions to the state shown in FIG. 22B (step S305).
  • the data of the catalog 1910 may be stored in the storage unit 110 in advance, or may be acquired by the communication processing unit 150 through the Internet.
  • the orientation board 1920 may be displayed as information on a place to display the painting.
  • the orientation board 1920 is directed toward the out camera 124 of the information display device 10 by sensors such as the gyro sensor 162, the geomagnetic sensor 163, and the acceleration sensor 164 provided in the portable information terminal 100 by facing the wall that decorates the painting. It is possible to display the direction and azimuth, and the elevation angle from the height of the user's line of sight. This auxiliary information can provide the operator with a judgment as to whether or not the decoration position is appropriate.
  • the azimuth display 1922 indicates 310 degrees in the northwest direction
  • the elevation angle display 1921 indicates 14 degrees from the optical axis of the out-camera 124 of the portable information terminal 100.
  • an operation of pressing one of the position adjustment buttons 2002 to 2004 by hand is performed to move the painting image 1911 vertically and horizontally. Each can be moved.
  • information 2005 regarding the painting image 1911 can be displayed by instructing or pressing the painting image 1911 itself.
  • the selection content determination process is executed (step S308).
  • a method for instructing the determination for example, an OK sign is issued by the hand 2rL of the operator 1, or an operation button for determining is displayed and pressed, or a predetermined time is left while the image is displayed. Any technique may be used such as elapse.
  • the screen transitions to an image 121f shown in FIG. 23B, and a menu display image 1705 is displayed.
  • a series of operations is completed by performing an operation of selecting the “end” item with the hand 2rL in the menu display image 1705 (step S309).
  • this invention is not limited to the above-mentioned Example, Various modifications are included.
  • the above-described embodiments have been described in detail for easy understanding of the present invention, and are not necessarily limited to those having all the configurations described.
  • a part of the configuration of one embodiment can be replaced with the configuration of another embodiment, and the configuration of another embodiment can be added to the configuration of one embodiment.
  • each of the above-described configurations may be configured so that a part or all of them are configured by hardware or realized by executing a program by a processor.
  • control lines and information lines indicate what is considered necessary for the explanation, and not all the control lines and information lines on the product are necessarily shown. Actually, it may be considered that almost all the components are connected to each other.

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • Software Systems (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

複雑な制御などの高度な操作入力を不要としながら、簡易で安価な構成によってＶＲ技術あるいはＡＲ技術を実現する。情報表示装置１０は、仮想空間または拡張現実空間の画像を表示する携帯情報端末１００および携帯情報端末１００を保持する筐体を有する。携帯情報端末１００は、加速度センサ１６４、アウトカメラ１２４、画像認識部を含む操作実行部１０４ｄを有する。加速度センサ１６４は、予め設定された開始条件を検出する。アウトカメラ１２４は、加速度センサ１６４が開始条件を検出した際に映像の撮影を開始する。操作実行部１０４ｄは、アウトカメラ１２４の撮影映像から操作者の手を認識し、認識した手または手画像を画像に表示する。また、操作実行部１０４ｄは、手または手画像による操作指示を判定し、判定した操作指示に対応する処理を実行する。

Description

情報表示装置およびプログラム
　本発明は、情報表示装置およびプログラムに関し、特に、仮想現実視および拡張現実視の表示に有効な技術に関する。
　近年、ＨＤＭ（Head Mount Display）などを利用したＶＲ（Virtual Reality：仮想現実）あるいはＡＲ（Augmented Reality：拡張現実）と呼ばれるコンピュータ、または携帯型計算機などが作成する画像を画面の全体あるいは実写画像の一部に重ねて表示させる技術が進歩している。
　一方、現在普及しているスマートフォン端末やタブレット端末では、上記したＶＲ技術やＡＲ技術による映像を作成可能なまでに性能が向上しており、その表示画面も専用のＨＭＤと遜色のない程度の解像度を有するに至っている。
　この様なことから、スマートフォン端末やタブレット端末などを段ボール紙やプラスティック製などによって形成した視聴用装置にて支持してＨＭＤの代替とするような動きがある（例えば特許文献１，２参照）。以降、説明のためにスマートフォン端末やタブレット端末を携帯情報端末という。
　一般的に、携帯情報端末に対する指示や制御などの操作は、表示画面上のタッチセンサに対する携帯情報端末の使用者によって行われる。上記のような視聴用装置に携帯情報端末を装着した場合には、携帯情報端末の表示画面が視聴者の眼前に位置することになるので、ＶＲ技術やＡＲ技術による表示内容に対しての操作指示が非常にやり難くなる。
　このため、簡単な操作のための仕組みとしてＨＭＤなどの視聴用装置に磁石や導電性部材などを取り付けて携帯情報端末に対する操作制御を行うものがある。
　例えば、磁石を視聴用装置の側面に取り付けて該磁石を上下方向にスライドさせる操作により、携帯情報端末に内蔵される磁気センサが磁気の変化を感知することによってキー押下の有無の代替操作を行うことができる。
　また、導電性部材を保持具に取り付け、その一端を視聴用装置の側面に、他端を携帯情報端末のタッチパネル画面部分に接触させることによって、視聴用装置側面の導電性部材を視聴者が触ることで間接的にタッチ入力操作を行うことができる。（例えば、非特許文献１あるいは非特許文献２参照）
特開２０１５－１０６９１５号公報 特開２０１６－５１２５号公報
https://www.***.com/get/cardboard/downloads/wwgc_manufacturers_kit_v2.0.zip https://www.meiji.ac.jp/koho/press/2015/6t5h7p00000iydil.html
　上述した特許文献１あるいは特許文献２に記載のヘッドマウント型表示システムは、使用者の頭部に装着するためのヘッドマウント型表示装置へ当該装置の表示および表示制御機能を担う携帯情報端末を挿入して仮想現実（以下、ＶＲ）画像や拡張現実（以下、ＡＲ）画像を体感させるものである。
　しかしながら、特許文献１や特許文献２に記載の技術では、高価な専用の表示装置は不要とするものの表示情報や表示内容に応じた制御を行うためには、携帯情報端末の側面に配置されているボタン類を操作する必要がある。
　あるいは、非特許文献１や非特許文献２に示されるような携帯情報端末を用いてＶＲ技術やＡＲ技術を用いた映像表示を行うための視聴用装置に取り付けられる簡易入力技術などが必要となる。また、簡易入力技術による入力操作としても携帯情報端末に備わるタッチセンサに対するクリック入力操作や画面スクロール操作程度などの簡単な操作でしかない。
　本発明の目的は、複雑な制御などの高度な操作入力を不要としながら、簡易で安価な構成によってＶＲ技術あるいはＡＲ技術を実現することのできる技術を提供することにある。
　本発明の前記ならびにその他の目的と新規な特徴については、本明細書の記述および添付図面から明らかになるであろう。
　本願において開示される発明のうち、代表的なものの概要を簡単に説明すれば、次のとおりである。
　すなわち、代表的な情報表示装置は、携帯情報端末および筐体を有する。携帯情報端末は、仮想空間または拡張現実空間の画像を表示する。筐体は、携帯情報端末を保持する。
　この携帯情報端末は、検出部、第１の撮像部、画像認識部、および操作実行部を有する。検出部は、予め設定された開始条件を検出する。第１の撮像部は、検出部が開始条件を検出した際に映像の撮影を開始する。
　画像認識部は、第１の撮像部が撮影する映像から画像合成用被写体を認識し、認識した画像合成用被写体または画像合成用被写体をオブジェクト処理した被写体画像を画像に表示する。
　操作実行部は、画像合成用被写体または被写体画像による操作指示を判定し、判定した操作指示に対応する処理を実行する。
　特に、操作実行部は、画像認識部が画像合成用被写体または画像合成用被写体をオブジェクト処理した被写体画像を画像に表示した際に、画像に操作指示入力画像を表示する。操作指示入力画像は、画像合成用被写体または被写体画像による記操作指示を入力する画像である。
　本願において開示される発明のうち、代表的なものによって得られる効果を簡単に説明すれば以下のとおりである。
　（１）低コストで容易に情報表示装置の操作を行うことができる。
　（２）上記（１）により、情報表示装置を使用する操作者の利便性を向上させることができる。
実施の形態１による情報表示装置の概観の一例を示す説明図である。 図１の情報表示装置における正面側の概観の一例を示す説明図である。 図１の情報表示装置に用いられる携帯情報端末の概観の一例を示す説明図である。 図３の携帯情報端末における構成の一例を示すブロック図である。 図３の携帯情報端末の表示部が表示する画像の一例を示す説明図である。 図４の携帯情報端末におけるソフトウェア構成の一例を示す説明図である。 携帯情報端末が有する図６の操作実行部による操作制御処理の一例を示す説明図である。 図６の操作実行部による制御操作の一例を説明するフローチャートである。 図１の情報表示装置が表示している市街地内の風景の一例を示す説明図である。 図９に続く説明図である。 図６の操作実行部による制御操作の他の例を説明するフローチャートである。 図１１の制御操作における情報表示装置の表示例を示す説明図である。 図１２に続く説明図である。 実施の形態２による情報表示装置における経路案内の一例を示す説明図である。 図１４の情報表示装置における経路案内の他の例を示す説明図である。 図１４および図１５に図示した経路設定技術によって設定された経路に沿った道案内表示の一例を示す説明図である。 実施の形態３による情報表示装置の概観の一例を示す説明図である。 図１７の情報表示装置が有する携帯情報端末における構成の一例を示す説明図である。 図１７の情報表示装置の概観の他の例を示す説明図である。 図１９の情報表示装置が有する携帯情報端末における構成の一例を示す説明図である。 実施の形態４による情報表示装置１０における操作の一例を示す説明図である。 図２２は、図２１に続く説明図である。 図２３は、図２２に続く説明図である。 図２１～図２３に示す操作例における操作制御処理の一例を示すフローチャートである。
　以下の実施の形態においては便宜上その必要があるときは、複数のセクションまたは実施の形態に分割して説明するが、特に明示した場合を除き、それらはお互いに無関係なものではなく、一方は他方の一部または全部の変形例、詳細、補足説明等の関係にある。
　また、以下の実施の形態において、要素の数等（個数、数値、量、範囲等を含む）に言及する場合、特に明示した場合および原理的に明らかに特定の数に限定される場合等を除き、その特定の数に限定されるものではなく、特定の数以上でも以下でもよい。
　さらに、以下の実施の形態において、その構成要素（要素ステップ等も含む）は、特に明示した場合および原理的に明らかに必須であると考えられる場合等を除き、必ずしも必須のものではないことは言うまでもない。
　同様に、以下の実施の形態において、構成要素等の形状、位置関係等に言及するときは特に明示した場合および原理的に明らかにそうではないと考えられる場合等を除き、実質的にその形状等に近似または類似するもの等を含むものとする。このことは、上記数値および範囲についても同様である。
　また、実施の形態を説明するための全図において、同一の部材には原則として同一の符号を付し、その繰り返しの説明は省略する。
　以下、実施の形態を詳細に説明する。
　（実施の形態１）
　〈情報表示装置の概観〉
　図１は、本実施の形態１による情報表示装置１０の概観の一例を示す説明図である。この図１では、情報表示装置１０を操作者１が装着している様子を真上から見たものである。
　情報表示装置１０は、図１に示すように、眼鏡状の筐体３０を有する。この筐体３０は、例えば段ボール紙またはプラスティック板などの成形が容易で安価なものによって形成されており、該筐体３０の前面には、スリット部２０が形成されている。
　このスリット部２０は、携帯情報端末１００が挿入される溝状の隙間である。携帯情報端末１００は、例えばスマートフォンやタブレット端末などからなる。スリット部２０の後方には、２つの拡大レンズ１１がそれぞれ設けられている。
　各々の拡大レンズ１１は、操作者１の左右の目にそれぞれ対応するように設けられている。スリット部２０に挿入された携帯情報端末１００の表示部１２１に表示される画像は、これら拡大レンズ１１によって拡大されて操作者１の左右の目に入る。
　拡大レンズ１１は、操作者１が左右の目で見る画像が大画面表示と感じ得るように設計され設置される。なお、左右に設置する拡大レンズ１１は同じ特性を有し、左右対称に配置する。
　また、右目に対応する右側の拡大レンズ１１と左目に対応する左側の拡大レンズ１１との間には、隔壁１２が設けられている。この隔壁１２は、仕切り板として機能し、各々の拡大レンズ１１によって拡大表示された左右の画像が混合しないようにするためのものである。
　なお、図１では、スリット部２０および拡大レンズ１１などの内部構造が説明のために上部から見えるように記載しているが、これらを筐体３０にて蓋のように被い、操作者１が頭部を上下左右に動かしても携帯情報端末１００が飛び出したり、ずれたりしないよう様にすることもできる。
　このように、スリット部２０に挿入された携帯情報端末１００の表示画面を拡大レンズ１１によって拡大することにより、ＶＲ表示やＡＲ表示などの画像表示が行われ、簡易なヘッドマウントディスプレイの表示システムが構築される。
　図２は、図１の情報表示装置１０における正面側の概観の一例を示す説明図である。この図２は、図１の情報表示装置１０の装着状態を操作者１の前方から見た様子を示している。
　図２に示すように、筐体３０には、正面側に窓１３が設けられている。この窓１３は、携帯情報端末１００の背面に備わる図３にて後述するアウトカメラ１２４および距離センサ１６７が露呈するようになっている。情報表示装置１０は、アウトカメラ１２４を用いてＶＲやＡＲなどの画像表示に対する各種操作を行うものである。
　この例では、アウトカメラ１２４のレンズ部分の周辺を露呈する窓を設ける構成としているが、携帯情報端末１００の背面全体を露呈させるような構造としてもよく、背面に備わるアウトカメラ１２４のレンズ部分が筐体に覆われないような構成であればよい。
　なお、以下に述べる各実施の形態における情報表示装置１０の構成においても同様であり、必要な機能が覆われない様にして、かつ情報表示装置１０の構成を成す携帯情報端末１００を保持可能な構成であれば、情報表示装置１０の背面部の構成はどのような構成であってもよい。
　〈携帯情報端末の概観〉
　図３は、図１の情報表示装置１０に用いられる携帯情報端末１００の概観の一例を示す説明図である。
　なお、図３は、携帯情報端末１００がスマートフォンなどの情報端末機器である場合の例を示している。図３（ａ）は、携帯情報端末１００の正面図であり、図３（ｂ）は、携帯情報端末１００の背面図である。左右側面および天地面などに関しては図示を省略する。
　図３（ａ）において、携帯情報端末１００の上面には、スピーカ１８０が設けられている。携帯情報端末１００正面の上方中央部には、イヤースピーカ１３１が設けられており、該イヤースピーカ１３１の左側には、インカメラ１２３が設けられている。
　携帯情報端末１００正面の下方中央部には、ホームキー１８２が設けられており、イヤースピーカ１３１とホームキー１８２との間には、図４にて後述する長方形状の表示部１２１が設けられている。
　携帯情報端末１００の右側側面の上方には、電源キー１８３が設けられている。携帯情報端末１００の下面の中央部には、マイク１３３が設けられており、該マイク１３３の左側には、スピーカ１８４が設けられている。
　また、図３（ｂ）において、携帯情報端末１００背面の上方左側には、アウトカメラ１２４が設けられており、該アウトカメラ１２４の右側には、距離センサ１６７が設けられている。
　スピーカ１８０，１８４は、音楽や効果音などを聞くためにスピーカである。イヤースピーカ１３１は、携帯情報端末１００を電話機として利用する際使用されるスピーカである。インカメラ１２３は、表示部１２１側の画像を取得するカメラである。
　ホームキー１８２は、表示部１２１に表示される表示画面を基本画面などに戻すキーである。表示部１２１は、画像や文字などの様々情報を表示するモニタであり、該表示部１２１は、タッチパネルとしても機能する。
　電源キー１８３は、携帯情報端末１００の電源をオン／オフするキーである。第１の撮像部であるアウトカメラ１２４は、表示部１２１と対面する面側、すなわち携帯情報端末１００の背面側の画像を取得するカメラである。
　距離測定部である距離センサ１６７は、アウトカメラ１２４の被写体との距離を測定するセンサであり、赤外線、超音波、あるいはレーザなどを用いて被写体までの距離を測定する。なお、距離センサ１６７は、アウトカメラ１２４と連動して使用することもできるが、単独の距離センサとしても使用可能である。
　前述した電源キー１８３、表示部１２１のタッチパネル、およびホームキー１８２などの各種操作用インタフェースは、携帯情報端末として単独で使用する際に必要な機能であるが本実施の形態における表示操作には必ずしも必要ではない。
　また、スピーカ１８０，１８４は、いずれか１つのみを設ける構成であってもよい。図３に示すように、２つのスピーカ１８０，１８４を設けた場合には、例えば図１に示すように携帯情報端末１００を筐体３０のスリット部２０に挿入した状態において映像表示を行う際にステレオスピーカとして利用することができる。
　アウトカメラ１２４および距離センサ１６７は、図２に示したように筐体３０の窓１３から露出するように携帯情報端末１００をスリット部２０に挿入するか、あるいは窓１３の位置を決定するものとする。なお、情報表示装置１０については、アウトカメラ１２４があればよいので、インカメラ１２３を省略するようにしてもよい。
　〈携帯情報端末の構成例〉
　図４は、図３の携帯情報端末１００における構成の一例を示すブロック図である。
　携帯情報端末１００は、図４に示すように、主制御部１０１、システムバス１０２、ＲＯＭ１０３、ＲＡＭ１０４、ストレージ部１１０、画像処理部１２０、音声処理部１３０、操作部１４０、通信処理部１５０、センサ部１６０、および拡張インタフェース部１７０などにより構成される。
　携帯情報端末１００は、ヘッドマウントディスプレイの代替となり得る表示部および性能を有していればスマートフォンやタブレット端末など以外であってもよい。例えば携帯型ゲーム機、またはその他の携帯用デジタル機器などであってもよい。
　主制御部１０１は、所定のプログラムに従って携帯情報端末１００全体を制御するマイクロプロセッサユニットである。システムバス１０２は、主制御部１０１と携帯情報端末１００内の各機能部との間でデータ送受信を行うためのデータ通信路である。
　ＲＯＭ（Read Only Memory）１０３は、オペレーティングシステムなどの基本動作プログラムやその他のアプリケーションプログラムなどが格納されたメモリである。ＲＯＭ１０３は、例えばＥＥＰＲＯＭ（Electrically Erasable Programmable ROM）やフラッシュＲＯＭのような書き換え可能なＲＯＭが用いられる。
　ＲＡＭ（Random Access Memory）１０４は、基本動作プログラムやその他のアプリケーションプログラム実行時のワークエリアとなる。ＲＯＭ１０３およびＲＡＭ１０４は、主制御部１０１と一体構成であってもよい。
　また、ＲＯＭ１０３は、図４において独立した構成となっているが、例えばストレージ部１１０内の一部記憶領域である各種情報／データ記憶領域１１０ｃを使用するよう構成であってもよい。
　ストレージ部１１０は、携帯情報端末１００の各動作設定値や携帯情報端末１００のユーザの情報などを記憶する。また、携帯情報端末１００が有するインカメラ１２３やアウトカメラ１２４にて撮影した静止画像データや動画像データなども記憶可能である。このストレージ部１１０は、ネットワーク上からダウンロードした新規アプリケーションプログラムや画像データなども記憶可能である。
　ストレージ部１１０の一部領域をもってＲＯＭ１０３の機能の全部または一部を代替してもよい。また、ストレージ部１１０は、携帯情報端末１００に電源が供給されていない状態であっても記憶している情報を保持する必要がある。したがって、例えばフラッシュＲＯＭやＳＳＤ（Solid State Drive）、あるいはＨＤＤ（Hard Disc Drive）などのデバイスが用いられる。
　画像処理部１２０は、表示部１２１、画像信号処理部１２２、インカメラ１２３、およびアウトカメラ１２４などによって構成される。表示部１２１は、例えば液晶パネルや有機ＥＬ（Electro Luminescence）パネルなどの表示デバイスであり、画像信号処理部１２２が処理したＶＲやＡＲなどの画像データを携帯情報端末１００の操作者１に提供する。
　画像信号処理部１２２は、図示しないビデオＲＡＭを備えており、該ビデオＲＡＭに入力された画像データに基づいて、表示部１２１が駆動される。また、画像信号処理部１２２は、必要に応じてフォーマット変換、メニューやその他のＯＳＤ（On Screen Display）信号の重畳処理などを行う機能を有する。
　インカメラ１２３およびアウトカメラ１２４は、ＣＣＤ（Charge Coupled Device）あるいはＣＭＯＳ（Complementary Metal Oxide Semiconductor）センサなどの電子デバイスを用いてレンズから入力した光を電気信号に変換することにより、周囲や対象物の画像データを入力するカメラユニットである。
　音声処理部１３０は、イヤースピーカ１３１、音声信号処理部１３２、マイク１３３、スピーカ１８０，１８４などから構成される。
　イヤースピーカ１３１は、音声信号処理部１３２にて処理した音声信号を携帯情報端末１００の使用者に提供する。マイク１３３は、使用者の声などを音声データに変換して入力する。なお、マイク１３３は、携帯情報端末１００と別体として、有線通信または無線通信により携帯情報端末１００に接続されるものであってもよい。
　スピーカ１８０，１８４は、音声信号処理部１３２にて処理した音声や音楽などを再生して出力する。これによって、携帯情報端末１００から離れていても音声などを聞くことができる出力能力を有している。
　なお、スピーカ１８０，１８４は、前述したように、いずれか一方のスピーカのみを設ける構成としてもよい。この場合は、モノラル音として音声出力することになる。また、スピーカ１８０，１８４の両方を備える場合には、ステレオ音として音声出力できるように構成してもよい。
　操作部１４０は、表示部１２１において入力操作を行うタッチパネル、およびホームキー１８２、および電源キー１８３などのキーにて構成される。また、タッチパネル機能は、上述したように表示部１２１が備え持っているものである。さらに、操作部１４０の配置や構成はどのようなものであっても構わない。
　通信処理部１５０は、ＬＡＮ（Local Area Network）通信部１５１、移動体電話網通信部１５２、および近接無線通信部１５３から構成される。ＬＡＮ通信部１５１は、例えば無線ＬＡＮなどによる通信を行う。移動体電話網通信部１５２は、携帯電話などによる移動体通信を行う。
　近接無線通信部１５３は、対応するリーダ／ライタとの近接時に無線通信を行う。ＬＡＮ通信部１５１、移動体電話網通信部１５２、および近接無線通信部１５３は、それぞれ符号回路や復号回路、アンテナなどを備えるものとする。赤外線通信部などの他の通信部をさらに備えていてもよい。
　また、ＶＲやＡＲ技術の新規のアプリケーションプログラムや画像データは、通信処理部１５０を介してインターネットなどからダウンロードすることもできる。
　センサ部１６０は、携帯情報端末１００の状態を検出するためのセンサ群である。ここでは、一例としてＧＰＳ（Global Positioning System）受信部１６１、ジャイロセンサ１６２、地磁気センサ１６３、加速度センサ１６４、照度センサ１６５、近接センサ１６６、および距離センサ１６７などによって構成される。
　ＧＰＳ受信部１６１は、人工衛生からのＧＰＳ信号を受信する。ジャイロセンサ１６２は、いわゆる角速度センサであり、角速度を検出する。地磁気センサ１６３は、電子コンパスである。検出部である加速度センサ１６４は、携帯情報端末１００の加速度を計測する。照度センサ１６５は、明るさを測定する。近接センサ１６６は、対象物体を非接触にて検出する。距離センサ１６７は、対象物体までの距離を測定する。
　これらのセンサ群により、携帯情報端末１００の位置、傾き、方角、動き、周囲の明るさ、周囲物の近接状況、および特定物までの距離などを検出することが可能となる。さらに、気圧センサなどの他のセンサを備えていてもよい。
　携帯情報端末１００においては、距離センサ１６７とアウトカメラ１２４との組み合わせにより、操作者１の手２を撮像し、画像合成用被写体である手２までの距離測定や指などの動きを検知することによって操作の有無や操作状況を判別するものである。
　なお、図４に示した携帯情報端末１００の構成例は、音声処理部１３０、あるいは拡張インタフェース部１７０などの必須ではない構成も多数含んでいるが、これらが備えられていない構成であっても本実施の形態の効果を損なうことはない。
　〈画像表示例〉
　図５は、図３の携帯情報端末１００の表示部１２１が表示する画像の一例を示す説明図である。
　情報表示装置１０は、図１に示したように、操作者１の左目と右目にそれぞれ対応するように２つの拡大レンズ１１が配置される構造となっている。よって、携帯情報端末１００の表示部１２１には、図５（ａ）に示すように右目用画像と左目用画像とがそれぞれ表示される。この表示処理は、図３の画像処理部１２０が行う。
　これによって、図１の操作者１は、図５（ａ）の左右画像を見て、図５（ｄ）に示すようにひとつの画像として認識する。この時、右目用画像と左目用画像とを同じ表示とすると通常の二次元画像となり、左右の画像に視差情報を付加することにより、三次元画像として立体視を提供することも可能である。
　また、左右の画像を表示する際には、拡大レンズ１１を通すことによって発生する画像歪を逆補正することにより、操作者１が認識する画像を図５（ｄ）に示すように、歪のない矩形画像となるように表示処理を行っている。
　このため、左目および右目の画像エリアは、表示する際に補正処理が為されて、図５（ａ）に示すように、画像領域全体が矩形の膨らんだ形状となり、画像エリア内に表示される画像もそれに合わせた形状となっている。
　ここまでの画像処理は、画像処理部１２０によってＶＲまたはＡＲ画像を表示する際に行われる基本処理となる。
　続いて、図５（ｂ）は、図５（ａ）の表示状態から操作者１が頭を右方向に向けた場合に情報表示装置１０によって表示される画面の様子を示している。操作者１の頭の動きは、携帯情報端末１００に備わるセンサ部１６０にて検出されて、頭部の動き量に合わせて画面が右方向に転回されることによって、図５（ｂ）に示す画像を表示する。
　逆に、図５（ａ）の状態から操作者１が頭部を左方向に動かした場合、情報表示装置１０の表示画面は、図５（ａ）から左方向に続く画像である図５（ｃ）を表示するように表示処理を行う。
　〈ソフトウェア構成例〉
　図６は、図４の携帯情報端末１００におけるソフトウェア構成の一例を示す説明図である。この図６は、図４のＲＯＭ１０３、ＲＡＭ１０４、およびストレージ部１１０におけるソフトウェアの構成例を示したものである。
　図６において、ＲＯＭ１０３には、オペレーティングシステムなどの基本動作プログラム１０３ａおよびその他のプログラム１０３ｂが記憶されている。ストレージ部１１０には、ＶＲやＡＲ表示を行うための情報表示プログラム１１０ｂおよびその他のプログラム１１０ａが記憶されている。
　ＲＯＭ１０３に記憶された基本動作プログラム１０３ａは、ＲＡＭ１０４に展開され、さらに主制御部１０１が該ＲＡＭ１０４に展開された基本動作プログラム１０３ａを実行することにより、基本動作実行部１０４ａを構成する。
　また、ストレージ部１１０に記憶された情報表示プログラム１１０ｂは、ＲＡＭ１０４に展開され、主制御部１０１が該ＲＡＭ１０４に展開された情報表示プログラム１１０ｂを実行する。
　これにより、情報表示実行部１０４ｂが構成される。この情報表示実行部１０４ｂは、位置／方位取得実行部１０４ｃおよび操作実行部１０４ｄを有する構成となる。また、ＲＡＭ１０４は、各種アプリケーションプログラム実行時に、必要に応じてデータを一時的に保持する一時記憶領域１０４ｅを備えるものとする。
　なお、以下では、説明を簡単にするために、主制御部１０１がＲＯＭ１０３に格納された基本動作プログラム１０３ａをＲＡＭ１０４に展開して実行することにより、基本動作実行部１０４ａが各部の制御処理を行うものとして記述する。他のアプリケーションプログラムに関しても同様の記述を行うものとする。
　ＲＡＭ１０４上に展開された情報表示プログラム１１０ｂは、情報表示実行部１０４ｂにより図５に示すような左右目画像の生成および画像歪補正などを実行して表示部１２１にＶＲやＡＲ画像を表示する。
　また、表示している画像を使用者の頭部の動きに合わせて転回する画像処理は、位置／方位取得実行部１０４ｃが実行し、以降で述べる表示内容に対する処理は、操作実行部１０４ｄが司る。
　なお、ここでは、上述した基本動作実行部１０４ａおよび情報表示実行部１０４ｂがソフトウェアによって構成される例について記載したが、基本動作実行部１０４ａおよび情報表示実行部１０４ｂの機能については、ハードウェア構成によって実現するようにしてもよい。
　〈操作例〉
　続いて、操作実行部１０４ｄの処理について説明する。
　図７は、携帯情報端末１００が有する図６の操作実行部１０４ｄによる操作制御処理の一例を示す説明図である。この図７は、携帯情報端末１００が有する表示部１２１の表示情報に対する制御操作開始の指示を行っている様子を示した概念図である。
　情報表示装置１０では、図４の携帯情報端末１００の操作部１４０などの操作部を用いることなく操作を開始するために、まず、図７（ａ）に示すように、情報表示装置１０を操作者１の手２によって叩くなどの予め設定された動作を行う。
　携帯情報端末１００のセンサ部１６０は、この動作が行われたことを検出すると、操作開始を指示する。この開始操作は、操作実行部１０４ｄの処理に従い、アウトカメラ１２４および距離センサ１６７をそれぞれ起動させる。これによって、図７（ｂ）に示すように、所定範囲内にある操作者１の手２を撮像して実際の操作処理を開始する。
　これにより、簡単な操作者１のアクション操作によって情報表示装置１０を操作開始の状態に遷移させることができる。
　〈操作制御の処理例〉
　図８は、図６の操作実行部１０４ｄによる制御操作の一例を説明するフローチャートである。
　まず、図７（ａ）にて説明したように、情報表示装置１０の筐体３０などを軽く叩いたりするタップ動作を行うことにより発生する振動パターンや加速度の有無をセンサ部１６０に備わるジャイロセンサ１６２や加速度センサ１６４などのセンサで検出する。
　この際、検知条件を設定してもよく、例えば、所定時間内や所定間隔で所定回数の振動や加速度を検出することを条件としたり、操作者１が頭部を上下左右などに振ったり、その振った回数を検知条件として設定してもよい。
　以上のように、検知処理により、情報表示装置１０に対する所定動作の有無を判断する（ステップＳ１０１）。このステップＳ１０１の処理において、所定動作があれば、アウトカメラ１２４および距離センサ１６７を起動させて、該アウトカメラ１２４が撮像する画像の取り込み、および被写体との距離測定を実行する（ステップＳ１０２）。
　アウトカメラ１２４によって操作者１の手２を撮像する際には、距離センサ１６７により予め設定された距離Ｌ内で、アウトカメラ１２４の撮像範囲Ｅの中、すなわち図７（ｂ）のドットにて示す領域内にある手２を画像認識処理してオブジェクト処理を行う（ステップＳ１０３）。このオブジェクト処理は、表示部１２１に表示しているＶＲやＡＲ画像の中に後述する手画像２Ｌ，２Ｒとして表示するものである。
　オブジェクト化としては、予め用意した抽象的な手の画像でもよいし、あるいはアウトカメラ１２４により撮像した操作者１の手の特徴点からオブジェクト生成した手画像でもよい。または、簡略化した指の部分を示すような画像であってもよく、操作者の手や指の動きを表現できればよい。
　続いて、オブジェクト化した手画像２Ｌ，２Ｒと実際の操作を行うためのキーボードや制御ボタンなどの制御オブジェクトを表示画像に合成して表示する（ステップＳ１０４）。
　この際に、被写体画像である手画像２Ｌ，２Ｒは、撮像される操作者１の手２の動きに対応させて表示画像内で動かすことになる。そのため、手画像２Ｌ，２Ｒを動かす範囲を距離センサ１６７にて検出される範囲Ｌ内あるいはアウトカメラ１２４の撮像範囲内Ｅ、または所定距離と撮像範囲との双方で制限される範囲内に制限することでもよく、範囲Ｌ外の場合には、操作を休止する。あるいは中断するといった制御を行うようにしてもよい。
　そして、制御オブジェクトに対応するＳＮＳ（Social Networking Service）、チャット、店舗検索、検索、メールなどの表示部１２１の表示画像に関連するアプリケーションプログラムを起動する（ステップＳ１０５）。その後、手画像２Ｌ，２Ｒによる制御オブジェクトに対するキー押下やボタン押下などの予め設定される所定操作が行われているかの有無を検出する（ステップＳ１０６）。
　ここで、所定操作としては、例えばキーボードのキー押し操作、制御ボタンや制御オブジェクトなどの押下操作などがある。また、手画像による制御対象となるキーボードや制御ボタンなどの押下操作に代えて、制御対象の画像上に手画像を所定の時間留めることなどによる操作でもよい。
　また、前記した操作では、操作状態が確認できるようにキー押下やボタン選択の状態をポップアップ表示や操作対象の色を変えると言った表示を行うようにしてもよい。
　続いて、ステップＳ１０６の処理にて制御操作が有った場合には、キーボードの押下であれば文字入力や文章入力の確定処理とし、制御ボタンの押下であれば当該制御ボタンに割り付けられる制御プログラムの実行処理を行うなどの制御対象に割り付けられているアプリケーションプログラムを実行する（ステップＳ１０７）。
　そして、例えばキーボード入力による文章作成が完了したか否かを、または制御ボタンの押下処理ではボタン押下により実行されるアプリケーションプログラムによって表示に反映された状態でよいかなどの判断を行う（ステップＳ１０８）。ここで、さらに制御操作を続ける必要があると使用者が判断した場合には操作を継続し、操作不要であれば終了となる。
　〈操作制御の表示例〉
　上記の操作制御について、図９の表示例に基づいて具体的に説明する。
　図９は、図１の情報表示装置１０が表示している市街地内の風景の一例を示す説明図である。また、図１０は、図９に続く説明図である。これら図９および図１０は、情報表示装置１０の表示部１２１に仮想空間あるいは実際の街並みを示す画像１２１ａが表示されている例を示している。
　画像１２１ａは、図９に示すように、路面店舗１００１～１００３が並ぶ街路でウィンドーショッピングを行っている画像であり、これから操作を開始しようとしている状況を示している。
　ここでは、図７に示したように、操作者１が操作を開始しようとして情報表示装置１０の筐体を軽く叩く動作を行うとその振動が検出され、制御操作の開始指示があったと認識する。
　そして、図４の携帯情報端末１００のアウトカメラ１２４および距離センサ１６７が起動して、操作者１の手の認識を開始する。この認識技術は、一般的な画像認識処理を用いることができる。
　図９では、最初に左手を認識している様子を示している。認識された操作者１の左手は、オブジェクト処理されて手画像２Ｌとして表示部１２１に合成表示される。
　続いて、図１０に示すように、まず左手で情報を知りたいお店の画像をタッチする動作を行うと、画像認識処理により、オブジェクト処理された手画像２Ｌも操作者１の手２と同じ動作が行われる。この動作によって、お店の選択操作を行うと、図１０に示すように、選択されたお店の部分が抽出されて表示色を変える。
　ここでは、お店が選択されたことをお店の部分の表示色を変えることによって通知しているが、ハイライト表示や他のお店より大きく表示させるなどで選択状態となったことを通知できれば、どのような表示方法でもあってもよい。
　その後、右手を画像認識してオブジェクト処理することによって、右手の手画像２Ｒも合成表示し、さらに両手画像の認識をきっかけとして図１０に示すキーボード画像１０１０を画面内に表示する。
　ここでは説明上、左手を先に認識しているが、右手を先に認識しても右手によるお店のタッチ操作を行っても構わないし、左右の手を同時に認識してどちらの手で操作をしても構わない。
　また、操作指示入力画像であるキーボード画像１０１０を先に表示した後にお店の選択を行うようにしてもよく、アプリケーションプログラムによって自在に設定すればよい。本例の操作用アプリケーションでは、左右の手を認識した時点でキーボード画像１０１０を表示し、関連するアプリケーションプログラムを起動している。
　両手の指先でキーボード画像１０１０のキーを押下する所作を行うと、例えば「Ａ」キーを押す動作を行うとポップアップ画像１０１１が表示されて押下しているキーの確認ができる。
　押下しているキーに間違いがなければ、そのまま次のキー入力動作に移ればよい。もし、押下キーに間違いがあれば、例えば手を振るジェスチャ動作などによって取り消しを指示する。あるいはキーボード画像１０１０の消去キーを押下する操作を行うことでもよい。
　入力した文字は、ＳＮＳアプリケーションプログラムやチャットアプリケーションプログラムを起動して表示されるメッセージ表示エリア１０２０に直接表示してもよい。あるいは、図１０に示すように、画面１２１ａの右下の文字入力確認エリア１０１２に確認用として表示して文章入力を確定させた後にメッセージ表示エリア１０２０に表示してもよい。
　文章の入力については、通常のキーボードによる文字入力と同様に行うこともできるし、変換操作や文字確定用に特別なキーをキーボード画像１０１０上に配置するようにしてもよい。
　この様にして、図１０において、例えばお店１００２の情報を問う「このお店のお勧めについて教えてください」と言うメッセージ１０２０を入力すると、他者とチャットなどを行い「ここは味噌ラーメンが美味しいです！」と言ったメッセージ１０２１を受け取り、該メッセージを画面１２１ａに表示する。
　チャットは、例えば図４の携帯情報端末１００に備わる通信処理部１５０による通信機能を通じて通信が行われる。あるいは、ネットワーク上のお店情報を掲載しているサイトとリンクしてメッセージ情報を作成するようアプリケーションプログラムを構築してもよい。この場合も、図４の携帯情報端末１００の通信処理部１５０による通信機能を通じて通信が行われる。
　以上のように、情報表示装置１０に表示される画像１２１ａの中でお店情報を取得するといった操作を簡単な操作者１の手ジェスチャだけで行うことができる。
　なお、操作の終了としては、画面上に操作終了ボタンを配置して押下することでもよいし、予め設定された一定時間内に手による操作がないことを判断して終了するようにしてもよい。あるいは、左右の手の認識が予め設定された時間以上ないことを検出して終了するようにしてもよい。
　なお、キーボード画像１０１０は、両手操作での入力が行い易いように、例えば表示画面１２１ａの中央下部などに配置する。これにより、実際にキーボード入力を行っている感覚に近いように画像配置や画像の大きさを設定することができる。
　また、キーボード画像１０１０をキー入力している間は大きく、キー入力を休止している間は他の情報表示の邪魔にならない様に小さく表示するといった表示制御を行ってもよい。
　〈制御操作の他の例〉
　上述した図９および図１０では、仮想空間上での街並みを再現する場合について説明したが、以下、実空間上での操作実行部１０４ｄによる制御例および表示例の場合について説明する。
　図１１は、図６の操作実行部１０４ｄによる制御操作の他の例を説明するフローチャートである。図１２は、図１１の制御操作における情報表示装置１０の表示例を示す説明図である。図１３は、図１２に続く説明図である。
　図１２および図１３は、情報表示装置１０が表示する実空間上での操作の一例を示す説明図である。実空間上での表示では、携帯情報端末１００のアウトカメラ１２４が常時動作して街並みを撮像しながら表示部１２１に表示している。
　まず、操作の開始は、図８のステップＳ１０１の処理と同様であり、情報表示装置１０に対する所定動作を検出することによって操作が開始となる（ステップＳ１０１）。ここで、所定動作については、前述のとおり、情報表示装置１０に対するタップ動作などによって操作開始指示と見なされる。操作開始に伴い、操作指示を行う操作者１の手２を認識するために距離センサ１６７が起動される。
　続いて、画像認識アプリケーションプログラムが起動して（ステップＳ２０２）、オブジェクト化した画像２Ｌが表示画像１２１ｂに表示される。図１２に示すように、表示部１２１に表示されている表示画像１２１ｂの街並みの中に気なる店舗１００２があった場合、その店舗部分を使用者の手画像２Ｌで指し示す。あるいは指で押下する様な動作を行う。
　これによって、画像認識アプリケーションプログラムがこの操作を検出して（ステップＳ２０３）、指し示された店舗の方位や位置情報を携帯情報端末１００に備わるセンサ部１６０のＧＰＳ受信部１６１、ジャイロセンサ１６２、および地磁気センサ１６３などによって検出する。
　表示部１２１の表示画像１２１ｂは、図１３に示すように、店舗１００２部分を反転表示させるあるいは着色表示して際立たせる。一方で店舗１００２の方角や店舗がビル高層階にあるなどの場合を考慮して仰ぎ見ている場合の角度を指し示す方位表示９１０、情報表示窓９２０、操作指示ボタン列９２１などの制御オブジェクトを実画像上に重畳表示する（ステップＳ２０４）。図１３の方位表示９１０では、操作者１から店舗１００２に対する方位９１１と仰角９１２それぞれを示している。
　続いて、方位表示９１０に示される方位９１１や仰角９１２、店舗１００２の撮像画像、携帯情報端末１００にて取得している現在地のＧＰＳ情報などを用いて、検索アプリケーションプログラムや地図情報アプリケーションプログラムを起動して店舗１００２に関する情報を取得する（ステップＳ２０５）。
　店舗１００２の情報取得の一例としては、通信処理部１５０を通じてインターネットにアクセスし、ＧＰＳ情報、方位情報、および仰角情報を用いて地図データベースとの照合を行い、店舗位置や店舗情報を取得することもできる。
　また、店舗１００２の画像およびＧＰＳ情報により得られる位置情報からインターネット上のデータベースなどと照合して店舗情報を取得することでもよい。
　本処理ステップでは、携帯情報端末１００が取得する各種センサからのデータや画像データを用いて、外部ネットワークを介して図示しない外部のデータベースとの照合を実施する。これによって、店舗情報を取得するアプリケーションプログラムを実行するように構成すればよい。
　また、図１３では、仰角９１２を表示しているが、店舗の所在する場所の高さ情報を表示してもよい。この場合には、ＧＰＳ情報と地図データベースから高さを判断するようにしてもよい。
　あるいは、高さの精度を得るために携帯情報端末１００のセンサ部にさらに図示しない気圧センサなどを備え、該気圧センサの情報から高さを判定して高さ情報を表示することでもよい。
　この様にすることで、実際の店舗が高層ビルなどに存する場合にビルの何階あたりにあるかも把握できるようになり、より容易に操作者１が店舗位置などを把握することができる。
　続いて、図１３に示すように、表示部１２１に制御オブジェクトとしての制御ボタン列９２１を合成表示して次の操作指示を待つ（ステップＳ２０６）。この図１３では、操作指示の一例として、「情報」、「予約」および「クーポン」の一連の制御ボタン列９２１を表示している。
　例えば、「情報」ボタンを手画像２Ｌにて押下する所作を行うと画像認識により押下判断がなされて、情報表示窓９２０に店舗１００２に関する情報が表示される。「予約」ボタンを押下する所作を行えば、店舗で開催されるイベントへの参加予約や店舗へ行く時間指定の予約などを実行する。
　また、「クーポン」ボタンを押下する場合には、店舗内商品や費用などに対する割引クーポンなどの各種クーポンを発行するようにしてもよい。
　以上のように、使用者が気になった場所、店舗、あるいは建物に関する情報表示を実行していくようにアプリケーションプログラムを構成していけばよい。さらなる情報取得操作を実施しない場合は、処理が完了となる（ステップＳ２０８）。
　処理が完了すると、操作に関連して起動しているプログラムが閉じられ、操作指示を認識するために起動している距離センサ１６７などの操作のために起動しているハードウェア部分が休止して、操作は終了する。なお、上述の操作に係わる制御フローチャートは、一例であり、本例の目的が達成できれば他の制御フローであってもよい。
　以上、操作者１の手２を認識した手オブジェクトの画像２Ｒ，２Ｌを用いることによって、簡易で安価な構成からなる情報表示装置１０であってもＶＲ技術による表示やＡＲ技術による表示に対する様々な操作入力を容易に行うことができる。
　それにより、複雑で高度な操作入力を特別な外部装置などを必要とすることなく可能とすることができ、低コストで操作者１の利便性を向上させることができる。
　（実施の形態２）
　〈概要〉
　前記実施の形態１では、オブジェクト処理された手画像２Ｒ，２Ｌを用いることによってＶＲ技術による表示やＡＲ技術による表示に対する様々な操作入力を行う例について記載したが、本実施の形態２においては、情報表示装置１０を用いた経路案内について説明する。
　なお、情報表示装置１０の構成については、前記実施の形態１の図１と同様であり、携帯情報端末１００の構成については、図４と同様であるので説明は省略する。
　〈経路案内例〉
　図１４は、本実施の形態２による情報表示装置１０における経路案内の一例を示す説明図である。
　この図１４は、経路案内の際に情報表示装置１０の表示部１２１に表示されている画像１２１ｃの例を示している。そして、図１４の画像１２１ｃに示すように、地図アプリケーションプログラムによって表示部１２１に地図を表示して経路案内を行う。
　図１４に示す画像１２１ｃにおいて、矩形表示は地図上の道路や建物を表しており、画像１２１ｃの左上部には、操作を行うための経路メニュー１１０１が表示されている。画像１２１ｃの右下部には、拡大縮小ボタン１１０２が表示され、該拡大縮小ボタン１１０２の上方には、方位マーク１１１０が表示されている。
　経路メニュー１１０１は、出発地設定ボタン１１０１ａ、目的地設定ボタン１１０１ｂおよび移動手段選択ボタン１１０１ｃを有する。出発地設定ボタン１１０１ａは、出発地点を設定するボタンである。目的地設定ボタン１１０１ｂは、目的地点を設定するボタンである。
　移動手段選択ボタン１１０１ｃは、例えば徒歩か電車かなどの移動手段を設定するボタンである。拡大縮小ボタン１１０２は、地図画像の縮尺拡大または縮小を行う。方位マーク１１１０は、地図上の北を示すマークである。
　図１４（ａ）の画像１２１ｃは、地図上の出発地点を設定する際の画面であり、経路メニュー１１０１は、使用者による操作開始指示により手画像２Ｌとともに表示する。手画像２Ｌは、アウトカメラ１２４および距離センサ１６７により距離Ｌ内の手を認識して、その動作を画像１２１ｃに表示される手画像２Ｌに反映させる。
　操作者１が手を動かして経路メニュー内の出発地設定ボタン１１０１ａを手画像２Ｌにより押下操作するような動作を行うと、出発地設定ボタン１１０１ａは、選択状態となりボタン部分の色が変わる。
　ここでは、ボタンの色を変えているが、例えばハイライト表示などであってもよいし、あるいは色や輝度を反転させて表示させてもよく、ボタンが押下されたことを他のボタンと区別できればよい。
　続いて、図１４（ｂ）に示すように、出発地点に対応する位置まで手を移動させると、表示される手画像２Ｌも画面上を移動して、この地点を出発点として設定可能であることを示す二重丸マーク１１３０を表示する。
　二重丸マーク１１３０の地点を出発点として確定させるために手の操作で押下するジェスチャを行うと、画面に表示される手画像２Ｌも当該地点を押下する動作を行い、その結果、図１４（ｃ）に示すように、×マーク１１３１へと表示が変わる。
　×マーク１１３１となり出発点が確定すると、出発地設定ボタン１１０１ａの表示に地点Ａを表示する。地点の表示としては、例えば地番表示、自宅などの固有名詞表示、あるいは通称などが設定される。
　なお、表示地図の縮尺は、例えば図１４（ｃ）の表示画面１２１ｃ右下側に配置している拡大縮小ボタン１１０２の＋または－記号を手画像２Ｌにて押下することによって得られる。また、経路メニュー１１０１や拡大縮小ボタン１１０２などの選択メニューの表示内容や表示位置は、経路検索アプリケーションプログラムで適宜設定すればよい。
　〈経路案内の他の例〉
　図１５は、図１４の情報表示装置１０における経路案内の他の例を示す説明図である。図１５（ａ）～図１５（ｃ）は、地図上の目的地の設定の様子を示したものである。
　目的地の設定も基本的には、図１４の出発地の設定と同じ動作により操作を行えばよく、図１５（ａ）に示すように、目的地の地図を表示して目的地の設定ボタン１１０１ｂを押下することにより、設定操作の開始指示が行われる。そして、図１５（ｂ）に示すように。目的地の設定を手画像２Ｌによって行う。その後、図１５（ｃ）に示すように、目的地が確定される。
　図１６は、図１４および図１５に図示した経路設定技術によって設定された経路に沿った道案内表示の一例を示す説明図である。
　図１６（ａ）は、情報表示装置１０の表示部１２１に表示される画像１２１ｅを示しており、該画像１２１ｅでは、建物７７１～７７５の間の街路を進んでいく様子を示している。
　この図１６（ａ）では、画像１２１ｅに操作用の手画像２Ｌおよび経路の進退などを設定する操作メニュー７５０が表示されている例を示している。操作メニュー７５０が有する進むボタン７５１を操作者１の手の動きに従う手画像２Ｌにて押下する操作を行うと、進路方向７５４の方向へ街路を進んでいく画面が表示される。
　また、操作メニュー７５０が有する戻るボタン７５２を押下した際には、前の画面に戻ることになる。操作メニュー７５０が有するＫｅｙボタン７５３は、キーボードを表示させるためのボタンであり、手画像２Ｌにてボタン押下の操作を行うと、Ｋｅｙボタン７５３に割り付けられているインターネット上の検索アプリケーションなどが利用可能となる。
　図１６（ａ）に示す矢印表示７５４は、設定された経路の進む方向を示している。上記説明では、手画像２Ｌは左手の画像となっているが、右手を認識して右手の手画像による操作を行ってもよい。あるいは両手を認識して両手の手画像を表示して、どちらかの手で操作を行うことでも勿論よい。
　以降の説明においても、手オブジェクト画像は、左右どちらの手であっても構わないが、説明上の都合により左手画像２Ｌをもって行うものとする。
　図１６（ｂ）は、目的地までの経路を進む途中で気になる店舗などがあった場合の情報表示の様子を示した図である。例えば、図１６（ｂ）において、経路途中の画面内に存する店舗７７２が気になった場合には、手画像２Ｌにて店舗の建物オブジェクト７７２を押下する操作を行う。これにより、建物オブジェクト７７２が選択され、選択されたことを示すように建物全体の色が変わる。
　続いて、情報ウィンドウ７５５が表示される。この情報ウィンドウ７５５は、店舗に関する情報を表示する。店舗に関する情報は、例えば所在地、店名、および店舗情報を示すＵＲＬ（Uniform Resource Locator）などの情報である。
　ここで、手画像２ＬによってＵＲＬ部分のアドレスをクリックする操作を行うと、例えばインタネットブラウザアプリケーションが起動されて、店舗のインターネット情報が表示される。
　また、お店が発行している割引クーポンがある場合には、クーポン７５６のオブジェクト画像も表示するようにしてもよい。クーポン７５６を操作者が必要と思えば、手画像２Ｌによって掴む操作を行うことでクーポンを獲得することができる。
　獲得したクーポン７５６は、例えば携帯情報端末１００の図６のストレージ部１１０に格納され、実際に店舗７７２へ行った際に提示して使用することができる。あるいは、インターネット経由による商品購入も可能である。
　以上により、操作者１の手を認識した手オブジェクト画像２Ｒ，２Ｌに用いることにより、簡単な操作によって経路案内を行うことができる。それによっても、操作者１の利便性向上させることができる。
　（実施の形態３）
　〈情報表示装置１０の概観例〉
　図１７は、本実施の形態３による情報表示装置１０の概観の一例を示す説明図である。
　図１７に示す情報表示装置１０は、携帯情報端末１００の構成が前記実施の形態１の図１と異なっている。具体的には、携帯情報端末１００が有するアウトカメラ１２４に加えて新たにアウトカメラ１２５が設けられ、図１の距離センサ１６７が省かれている。
　第２の撮像部であるアウトカメラ１２５は、図１７の携帯情報端末１００の背面の左上部に設けられている。アウトカメラ１２４とアウトカメラ１２５との距離は、図示するように水平方向にある間隔Ｄ１が空くように設けられている。
　また、筐体３０の正面側には、新たに設けられたアウトカメラ１２５が露呈する窓１４が設けられている。勿論、筐体３０の背面全体に窓を設けてもよいし、アウトカメラ１２４，１２５が露呈し、かつ携帯情報端末１００の部分を保持できる構成できればよい。
　図１７に示すように。水平方向に間隔Ｄ１を有する２つのアウトカメラ１２４，１２５を用いて操作者１の手２を撮像することにより、一般的な三角測量の技術によって手２までの鉛直距離Ｚ１を算出することができる。
　〈携帯情報端末の構成例〉
　図１８は、図１７の情報表示装置１０が有する携帯情報端末１００における構成の一例を示す説明図である。
　図１８の携帯情報端末１００が前記実施の形態１の図４の携帯情報端末１００と異なるところは、既に述べたとおり、図４の距離センサ１６７が省かれた点およびアウトカメラ１２５が新たに設けられた点である。その他の構成については、図４と同様であるので説明は省略する。
　以上により、距離センサ１６７を不要としながら手画像２Ｌ，２Ｒのオブジェクト処理や該画像２Ｌ，２Ｒによる操作などを行うことができる。
　〈情報表示装置の他の概観例〉
　図１９は、図１７の情報表示装置１０の概観の他の例を示す説明図である。この図１９では、操作者の指紋を用いて情報表示装置１０の操作が開始される例を示している。
　図１９の情報表示装置１０は、携帯情報端末１００の背面に指紋センサ１６８が設けられた構成となっており、振動や衝撃に代えて、該指紋センサ１６８によって操作が開始される。
　〈携帯情報端末の構成例〉
　図２０は、図１９の情報表示装置１０が有する携帯情報端末１００における構成の一例を示す説明図である。
　この図２０の携帯情報端末１００が、図４の携帯情報端末１００と異なるところは、上述したように指紋を認識する指紋センサ１６８が新たに設けられた点である。この指紋センサ１６８に操作者１の指の指紋を読み込ませ、予め登録されている操作者１の指紋との認証を行う。
　そして、指紋センサ１６８が読み込んだ指紋と予め登録されている指紋とが一致した際には、情報表示装置１０に対する操作の開始が指示されることになる。
　操作開始指示が行われた後の動作に関しては、前記実施の形態１，２と同様に操作を行うことができる。また、操作終了の際、前記実施の形態１では、操作画面中での終了ボタン押下などによって操作終了を指示しているが、図１９の情報表示装置１０では、再度、指紋センサ１６８にタッチすることによって終了指示としてもよい。
　以上により、情報表示装置１０の操作開始あるいは操作終了の指示をより簡単に行うことができる。また、予め登録された指紋と一致した場合にのみ操作開始が指示されるので、セキュリティを向上させることができる。
　（実施の形態４）
　〈情報表示装置の操作処理例〉
　本実施の形態４では、実空間上にて操作を行う場合について説明する。
　図２１は、本実施の形態４による情報表示装置１０における操作の一例を示す説明図である。また、図２２は、図２１に続く説明図であり、図２３は、図２２に続く説明図である。これら図２１～図２３は、実空間である部屋の中の模様替えをＡＲ技術を用いて行う例を示している。
　図２４は、図２１～図２３に示す操作例における操作制御処理の一例を示すフローチャートである。
　以下、図２１～図２３に示した情報表示装置１０に対する操作の様子を図２４の制御フローチャートを用いて説明する。
　図２４において用いられる情報表示装置１０は、前記実施の形態１の図１の情報表示装置１０と同様であり、携帯情報端末１００は、前記実施の形態１の図４に示す携帯情報端末１００と同様であるものとする。なお、携帯情報端末１００は、図１８または図２０に示す携帯情報端末１００であってもよい。また、操作開始の合図についても同様である。
　図２１（ａ）は、情報表示装置１０に対する操作を開始する前の部屋の様子が表示された画像１２１ｆを示している。この画像１２１ｆは、図示するように、壁１７０１、床１７０２、テーブル１７０３、および窓１７０４が存在しており、図４の携帯情報端末１００のアウトカメラ１２４にて撮像された画像がそのまま表示部１２１に表示されている状態である。
　図２１（ａ）に示す画像１２１ｆにおいて、情報表示装置１０に対して操作者１が振動や軽くショックを与えるなどの所定の操作を行うことにより、図２２の制御フローチャートが開始する。
　操作が開始すると、携帯情報端末１００の距離センサ１６７が動作を開始し、アウトカメラ１２４の被写体までの距離の測定を行う（ステップＳ３０１）。そして、アウトカメラ１２４が操作者１の手２を撮像すると、距離センサ１６７からの距離情報の取得および撮影した画像の認識処理を行い、操作者１の手２であるということの認識処理を行う（ステップＳ３０２）。
　操作者１が手２ｒＬによって予め設定された所定の動作を行うと（ステップＳ３０３）、図２１（ｂ）に示す壁装飾メニュー画像１７０５が実空間の画像上に合成表示される（ステップＳ３０４）。
　ここで、ステップＳ３０３の処理のおける所定の動作は、例えば壁を叩く、触る、両手あるいは片手をかざす、指し示すなどの動作である。この動作は、例えば手２ｒＬを画像認識できる位置にて所定の距離内に手を持ってくるようにしてもよい。
　ここで、例えば壁１７０１に絵画を飾りたいと操作者が考えている場合には、図２１（ｂ）の壁装飾メニュー１７０５の中の「絵画」と言う項目を手２ｒＲで選択する動作を行う。
　これにより、図２２（ａ）に示すように、メニュー画像１９０１が表示される。このメニュー画像１９０１は、どの様な絵画を飾るかを選択させるメニューである。そして、手２ｒＬにて「現代アート」と言う項目をメニュー画像１９０１の中から選択すると、図２２（ｂ）に示す状態に遷移する（ステップＳ３０５）。
　続いて、図２２（ｂ）に示す画面１２１ｆでは、前画面である図２２（ａ）にて選択した「現代アート」の項目に該当する一連の絵画画像のカタログ１９１０を表示して操作者１に選択を促す（ステップＳ３０６）。
　ここで、カタログ１９１０のデータについては、予めストレージ部１１０に格納するようにしてもよいし、あるいは通信処理部１５０によりインターネットを通じて取得するようにしてもよい。
　この際に、絵画を飾る場所の情報として方位盤１９２０を表示してもよい。方位盤１９２０は、絵画を飾る壁のほうを向くことでの携帯情報端末１００に備わるジャイロセンサ１６２、地磁気センサ１６３、および加速度センサ１６４などのセンサ類により情報表示装置１０のアウトカメラ１２４が向いている方角・方位、および使用者の目線の高さからの仰角を表示することができる。この補助情報により装飾位置として適切かどうかの判断を操作者に提供することもできる。
　図２２（ｂ）においては、方位表示１９２２が北西方向の３１０度を示し、仰角表示１９２１が携帯情報端末１００のアウトカメラ１２４の光軸から１４度であることを示している。
　さらに、操作者１がカタログ１９１０に掲載される絵画画像の中から絵画画像１９１１を手２ｒＬにて選択する操作を行うと、図２３（ａ）に遷移して、実寸大の絵画画像１９１１を壁に表示する。
 
　この図２３（ａ）に表示される絵画画像１９１１の位置を調整したい場合には、位置調整ボタン２００２～２００４のいずれかを手で押下する動作を行うことにより、絵画画像１９１１を上下左右方向にそれぞれ動かすことができる。また、絵画画像１９１１それ自体を指示する、あるいは押下することによって、絵画画像１９１１に関する情報２００５を表示することもできる。
　以上の操作によって、操作者１が満足できれば選択内容の決定処理を実行する（ステップＳ３０８）。この際に、決定を指示する方法としては、例えば操作者１の手２ｒＬによってＯＫサインを出す、あるいは決定のための操作ボタンを表示して押下する動作を行う、または画像表示のまま所定時間を経過するなど、どのような技術を用いてもよい。
　以上により決定処理が行われると、図２３（ｂ）に示す画像１２１ｆに遷移して、メニュー表示画像１７０５を表示する。このメニュー表示画像１７０５の中で「終了」項目を手２ｒＬにて選択する操作を行うことによって一連の操作が終了する（ステップＳ３０９）。
　これにより、動作している距離センサ１６７や操作のための制御プログラムなどのアプリケーションソフトを終了する（ステップＳ３１０）。
　以上によっても、簡単な操作により部屋の模様替えイメージなどを取得することが可能となり、操作者１の利便性を向上させることができる。
　以上、本発明者によってなされた発明を実施の形態に基づき具体的に説明したが、本発明は前記実施の形態に限定されるものではなく、その要旨を逸脱しない範囲で種々変更可能であることはいうまでもない。
　なお、本発明は上記した実施例に限定されるものではなく、様々な変形例が含まれる。例えば、上記した実施例は本発明を分かりやすく説明するために詳細に説明したものであり、必ずしも説明した全ての構成を備えるものに限定されるものではない。また、ある実施例の構成の一部を他の実施例の構成に置き換えることが可能であり、また、ある実施例の構成に他の実施例の構成を加えることも可能である。また、各実施例の構成の一部について、他の構成の追加・削除・置換をすることが可能である。
　また、上記の各構成は、それらの一部または全部が、ハードウェアで構成されても、プロセッサでプログラムが実行されることにより実現されるように構成されてもよい。また、制御線や情報線は説明上必要と考えられるものを示しており、製品上必ずしも全ての制御線や情報線を示しているとは限らない。実際には殆ど全ての構成が相互に接続されていると考えてもよい。
１０　情報表示装置
１１　拡大レンズ
１２　隔壁
１３　窓
１４　窓
２０　スリット部
３０　筐体
１００　携帯情報端末
１０１　主制御部
１０２　システムバス
１０３ａ　基本動作プログラム
１０３ｂ　プログラム
１０４ａ　基本動作実行部
１０４ｂ　情報表示実行部
１０４ｃ　位置／方位取得実行部
１０４ｄ　操作実行部
１０４ｅ　一時記憶領域
１１０　ストレージ部
１１０ａ　その他の プログラム
１１０ｂ　情報表示プログラム
１１０ｃ　各種情報／データ記憶領域
１２０　画像処理部
１２１　表示部
１２２　画像信号処理部
１２３　インカメラ
１２４　アウトカメラ
１２５　アウトカメラ
１３０　音声処理部
１３１　イヤースピーカ
１３２　音声信号処理部
１３３　マイク
１４０　操作部
１５０　通信処理部
１５１　通信部
１５１　ＬＡＮ通信部
１５２　移動体電話網通信部
１５３　近接無線通信部
１６０　センサ部
１６１　ＧＰＳ受信部
１６２　ジャイロセンサ
１６３　地磁気センサ
１６４　加速度センサ
１６５　照度センサ
１６５　加速度センサ
１６６　近接センサ
１６７　距離センサ
１６８　指紋センサ
１７０　拡張インタフェース部
１８０　スピーカ
１８２　ホームキー
１８３　電源キー
１８４　スピーカ

Claims (12)

  1. 　仮想空間または拡張現実空間の画像を表示する携帯情報端末と、
    　前記携帯情報端末を保持する筐体と、
    　を有し、
    　前記携帯情報端末は、
    　予め設定された開始条件を検出する検出部と、
    　前記検出部が前記開始条件を検出した際に映像の撮影を開始する第１の撮像部と、
    　前記第１の撮像部が撮影する映像から画像合成用被写体を認識し、認識した前記画像合成用被写体または前記画像合成用被写体をオブジェクト処理した被写体画像を前記画像に表示する画像認識部と、
    　前記画像合成用被写体または前記被写体画像による操作指示を判定し、判定した前記操作指示に対応する処理を実行する操作実行部と、
    　を有する、情報表示装置。
  2. 　請求項１記載の情報表示装置において、
    　前記携帯情報端末は、
    　前記第１の撮像部から前記画像合成用被写体までの距離を測定する距離測定部を有し、
    　前記画像認識部は、前記距離測定部による測定結果に基づいて、予め設定された距離内にある被写体を前記画像合成用被写体として認識する、情報表示装置。
  3. 　請求項１記載の情報表示装置において、
    　前記検出部が前記開始条件を検出した際に起動して映像を撮影する第２の撮像部を有し、
    　前記画像認識部は、前記第１の撮像部および前記第２の撮像部によってそれぞれ撮影された映像に基づいて、前記画像合成用被写体までの距離を算出し、予め設定された距離内にある被写体を前記画像合成用被写体として認識する、情報表示装置。
  4. 　請求項１記載の情報表示装置において、
    　前記検出部は、加速度センサであり、
    　前記第１の撮像部は、前記加速度センサが予め設定された振動パターンを検出した際に起動する、情報表示装置。
  5. 　請求項１記載の情報表示装置において、
    　前記検出部は、指紋センサであり、
    　前記第１の撮像部は、前記指紋センサが取得した指紋が予め設定された指紋と一致した際に起動する、情報表示装置。
  6. 　請求項１記載の情報表示装置において、
    　前記操作実行部は、
    　前記画像認識部が前記画像合成用被写体または前記画像合成用被写体をオブジェクト処理した被写体画像を前記画像に表示した際に、前記画像に操作指示入力画像を表示し、
    　前記操作指示入力画像は、前記画像合成用被写体または前記被写体画像による前記操作指示を入力する画像である、情報表示装置。
  7. 　請求項１記載の情報表示装置において、
    　前記携帯情報端末は、スマートフォンである、情報表示装置。
  8. 　仮想空間や拡張現実空間の画像を表示する情報表示装置であって、
    　撮像部と、
    　前記撮像部が撮像する被写体までの距離を測定する距離測定部と、
    　前記撮像部の撮像した画像と前記距離測定部の測定結果とに基づいて、前記被写体の認識処理を行う画像認識部と、
    　を有し、
    　前記画像認識部は、予め設定された距離内にある前記被写体の手の画像を認識した際に、前記情報表示装置を操作する操作入力命令の入力待ち状態とする、情報表示装置。
  9. 　仮想空間または拡張現実空間の画像を表示する携帯情報端末に、前記携帯情報端末を起動させて操作を行う起動操作処理を実行させるプログラムであって、
    　前記起動操作処理は、
    　予め設定された開始条件を検出するステップと、
    　前記開始条件を検出した際に映像の撮影を開始するステップと、
    　撮影された前記映像から画像合成用被写体を認識するステップと、
    　認識した前記画像合成用被写体または前記画像合成用被写体をオブジェクト処理した被写体画像を前記画像に表示するステップと、
    　前記画像合成用被写体または前記被写体画像による操作指示を判定し、判定した前記操作指示に対応する処理を実行するステップと、
    　を有する、プログラム。
  10. 　請求項９記載のプログラムにおいて、
    　前記映像から撮影された前記画像合成用被写体までの距離を測定するステップを有し、
    　前記画像合成用被写体を認識するステップは、前記画像合成用被写体までの距離の測定結果に基づいて、予め設定された距離内にある被写体を前記画像合成用被写体として認識する、プログラム。
  11. 　請求項１０記載のプログラムにおいて、
    　前記距離を測定するステップは、２つの異なる位置から撮影された映像から前記距離を算出する、プログラム。
  12. 　請求項９記載のプログラムにおいて、
    　前記被写体画像を前記画像に表示した際に、前記画像合成用被写体または前記被写体画像による前記操作指示を入力する操作指示入力画像を前記画像に表示するステップを有する、プログラム。
PCT/JP2016/069949 2016-07-05 2016-07-05 情報表示装置およびプログラム WO2018008096A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
PCT/JP2016/069949 WO2018008096A1 (ja) 2016-07-05 2016-07-05 情報表示装置およびプログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2016/069949 WO2018008096A1 (ja) 2016-07-05 2016-07-05 情報表示装置およびプログラム

Publications (1)

Publication Number Publication Date
WO2018008096A1 true WO2018008096A1 (ja) 2018-01-11

Family

ID=60912647

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2016/069949 WO2018008096A1 (ja) 2016-07-05 2016-07-05 情報表示装置およびプログラム

Country Status (1)

Country Link
WO (1) WO2018008096A1 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020158042A1 (ja) * 2019-01-30 2020-08-06 株式会社Ｎｔｔドコモ 機能制御装置
WO2022038923A1 (ja) * 2020-08-21 2022-02-24 株式会社小松製作所 作業機械の障害物報知システムおよび作業機械の障害物報知方法

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012182738A (ja) * 2011-03-02 2012-09-20 Riverbell Kk ステレオ画像撮像装置
JP2014229287A (ja) * 2013-05-27 2014-12-08 Ｎｅｃカシオモバイルコミュニケーションズ株式会社 情報処理装置、その処理方法、およびプログラム
JP2015230496A (ja) * 2014-06-03 2015-12-21 シャープ株式会社 電子機器
JP2015232783A (ja) * 2014-06-09 2015-12-24 株式会社バンダイナムコエンターテインメント プログラムおよび画像生成装置
JP2016031761A (ja) * 2014-07-25 2016-03-07 裕行 池田 眼鏡型端末
JP5926435B1 (ja) * 2015-11-13 2016-05-25 株式会社Ｃｙｇａｍｅｓ 情報処理装置、情報処理方法及びプログラム
JP2016115125A (ja) * 2014-12-15 2016-06-23 Kddi株式会社 ウェアラブル検索システム

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012182738A (ja) * 2011-03-02 2012-09-20 Riverbell Kk ステレオ画像撮像装置
JP2014229287A (ja) * 2013-05-27 2014-12-08 Ｎｅｃカシオモバイルコミュニケーションズ株式会社 情報処理装置、その処理方法、およびプログラム
JP2015230496A (ja) * 2014-06-03 2015-12-21 シャープ株式会社 電子機器
JP2015232783A (ja) * 2014-06-09 2015-12-24 株式会社バンダイナムコエンターテインメント プログラムおよび画像生成装置
JP2016031761A (ja) * 2014-07-25 2016-03-07 裕行 池田 眼鏡型端末
JP2016115125A (ja) * 2014-12-15 2016-06-23 Kddi株式会社 ウェアラブル検索システム
JP5926435B1 (ja) * 2015-11-13 2016-05-25 株式会社Ｃｙｇａｍｅｓ 情報処理装置、情報処理方法及びプログラム

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
BOKICHI, SHINKA SURU 'VR' GIJUTSU, I/O, vol. 40, no. 2, 1 February 2015 (2015-02-01), pages 20 - 22 *

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020158042A1 (ja) * 2019-01-30 2020-08-06 株式会社Ｎｔｔドコモ 機能制御装置
JPWO2020158042A1 (ja) * 2019-01-30 2021-10-21 株式会社Ｎｔｔドコモ 機能制御装置
JP7097464B2 (ja) 2019-01-30 2022-07-07 株式会社Ｎｔｔドコモ 機能制御装置
WO2022038923A1 (ja) * 2020-08-21 2022-02-24 株式会社小松製作所 作業機械の障害物報知システムおよび作業機械の障害物報知方法

Similar Documents

Publication Publication Date Title
CN105278670B (zh) 眼佩戴型终端及控制眼佩戴型终端的方法
JP5765019B2 (ja) 表示制御装置、表示制御方法、およびプログラム
US9563057B2 (en) Eyewear type terminal and control method thereof
KR102021050B1 (ko) 내비게이션 정보를 제공하는 방법, 기계로 읽을 수 있는 저장 매체, 이동 단말 및 서버
EP3163401A1 (en) Mobile terminal and control method thereof
US20130063345A1 (en) Gesture input device and gesture input method
JP5398970B2 (ja) 移動通信装置、制御方法
US20120229509A1 (en) System and method for user interaction
JP6348732B2 (ja) 情報処理システム、情報処理装置、情報処理プログラム、および情報処理方法
JP2006059136A (ja) ビューア装置及びそのプログラム
TW201741853A (zh) 虛擬實境即時導覽方法及系統
KR20170025413A (ko) 이동 단말기 및 그 제어 방법
US9563285B2 (en) Mobile terminal and control method thereof
JP2007253648A (ja) 入力支援システムおよびそのシステムを構成する車載端末装置
KR101662740B1 (ko) 사용자 손가락들의 모션에 기반한 한글 입력 방법 및 장치
CN111628925A (zh) 歌曲交互方法、装置、终端及存储介质
JP6145563B2 (ja) 情報表示装置
WO2018008096A1 (ja) 情報表示装置およびプログラム
KR20160035911A (ko) 이동단말기 및 그 제어방법
KR101646141B1 (ko) 콘텐츠 제어 장치 및 그 방법
KR20150141048A (ko) 이동 단말기 및 이의 제어 방법
KR20160093890A (ko) 이동단말기 및 그 제어방법
WO2022269887A1 (ja) ウェアラブル端末装置、プログラムおよび画像処理方法
TWI607371B (zh) Hotspot build process approach
KR20180031238A (ko) 이동 단말기 및 그 제어방법

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 16908140

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 16908140

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: JP