WO2006134778A1 - 位置検出装置、位置検出方法、位置検出プログラム及び複合現実提供システム - Google Patents

位置検出装置、位置検出方法、位置検出プログラム及び複合現実提供システム Download PDF

Info

Publication number
WO2006134778A1
WO2006134778A1 PCT/JP2006/310950 JP2006310950W WO2006134778A1 WO 2006134778 A1 WO2006134778 A1 WO 2006134778A1 JP 2006310950 W JP2006310950 W JP 2006310950W WO 2006134778 A1 WO2006134778 A1 WO 2006134778A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
index image
moving
position detection
brightness level
Prior art date
Application number
PCT/JP2006/310950
Other languages
English (en)
French (fr)
Inventor
Maki Sugimoto
Akihiro Nakamura
Hideaki Nii
Masahiko Inami
Original Assignee
The University Of Electro-Communications
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by The University Of Electro-Communications filed Critical The University Of Electro-Communications
Priority to JP2007521241A priority Critical patent/JPWO2006134778A1/ja
Priority to US11/922,256 priority patent/US20080267450A1/en
Publication of WO2006134778A1 publication Critical patent/WO2006134778A1/ja

Links

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63H—TOYS, e.g. TOPS, DOLLS, HOOPS OR BUILDING BLOCKS
    • A63H17/00—Toy vehicles, e.g. with self-drive; ; Cranes, winches or the like; Accessories therefor
    • A63H17/26—Details; Accessories
    • A63H17/36—Steering-mechanisms for toy vehicles
    • A63H17/395—Steering-mechanisms for toy vehicles steered by program
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/20—Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30204—Marker
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior

Definitions

  • Position detection apparatus position detection method, position detection program and mixed reality providing system
  • the present invention relates to a position detection device, a position detection method, a position detection program, and a compound light.
  • the present invention relates to a system for providing reality, for example, an application for detecting the position of a target object in the real world physically placed on a presentation image of a display, and a game apparatus using the same and suitable for writing. It is. Background art
  • the position detection devices that perform position detection using an optical system, a magnetic sensor system, an ultrasonic sensor system, etc.
  • the theoretical measurement accuracy is between the pixel resolution of the camera and the optical axis of the camera. It depends on the angle. Therefore, in the position detection device of the optical system, the detection accuracy is improved by simultaneously using the luminance information and the shape information of the marker (for example,
  • Patent Document 1 Japanese Patent Publication No. 2003-103045.
  • a static magnetic field inclined in the measurement space is generated, and the sensor placed in the static magnetic field has six degrees of freedom of the position and posture of the blade. It measures the This position detection device can measure six degrees of freedom with one sensor, and can perform real-time measurement because it requires almost no calculation processing.
  • the position detection device of the magnetic sensor system can measure even if there is a shield against light compared to the position detection device of the optical system, but it is difficult to increase the number of sensors that can be measured simultaneously. Also, there are various problems such as being susceptible to the influence of magnetic substances and dielectrics in the space to be measured, and furthermore, when there are many metals in the space to be measured, the detection accuracy is greatly deteriorated.
  • the position detection device of the ultrasonic sensor system is configured to attach the ultrasonic transmitter to the measurement object and detect the position of the measurement object based on the distance relationship with the receiver fixed in space. Some also use the mouth sensor and accelerometer to detect the attitude of the measuring object.
  • This ultrasonic sensor system position detection device uses ultrasonic waves, so it is more resistant to shielding than force cameras, but it is difficult to measure when the shielding is between the transmitter and receiver. There is also. Disclosure of the invention
  • the present invention has been made in consideration of the above points, and is a position outputting apparatus capable of detecting the position of an object on the screen or a display object with high accuracy with a simple configuration as compared with the prior art. It is intended to propose a position detection method, a position detection program, and a mixed reality providing system using the position detection method.
  • the position detection method and the position detection program of the present invention in order to solve such problems, in the position detection device, the position detection method and the position detection program of the present invention, the first direction (X-axis direction) and the second direction (Y-axis direction, X-axis direction) on the display unit And an index image consisting of a plurality of regions gradated so that the luminance level gradually changes to (but not limited to) this relationship, and the position facing the moving object on the display unit.
  • the indicator image is displayed on the screen, and the X-axis direction and Y in a plurality of regions of the
  • the luminance level detection means provided on the movable body detects the luminance level change in order to detect the luminance level change in the axial direction, and the relative positional relationship between the index image and the mobile body is changed based on the luminance level change.
  • the position on the display unit is detected by calculating.
  • the relative positional relationship between the index image and the mobile object accompanying the movement of the mobile object placed on the display unit is obtained. Since the change can be calculated, it is possible to accurately detect the position accompanying the movement of the mobile body on the display unit based on the calculation result.
  • the position detection device detects the position of the moving object moving on the display object, and the luminance level gradually changes in the X axis direction and the Y axis direction on the display object.
  • Index image generating means for generating an index image consisting of a plurality of areas in gradation form and displaying it on the upper surface of the moving object moving on the display object, X axis direction and Y in a plurality of areas of the index image.
  • the index image and the moving object based on the brightness level change of the plurality of gradational areas of the index image displayed with respect to the upper surface of the moving object moving on the display target, the index image and the moving object according to the movement of the moving object Since it is possible to calculate the change in relative positional relationship with the object, it is possible to accurately detect the position on the display object accompanying the movement of the moving object based on the calculation result.
  • the image displayed on the screen of the display unit by the information processing apparatus and the moving body placed on the screen are associated with each other to control the movement of the moving body.
  • Mixed Reality in which a Moving Object is Fused
  • the information processing apparatus generates an index image including a plurality of regions gradationized such that the luminance level gradually changes in the X-axis direction and the Y-axis direction on the screen
  • An indicator image generating means for displaying an indicator image as a part of a video at a position facing a moving object on a display unit, and an indicator according to a predetermined movement instruction or a movement instruction input via a predetermined input means
  • an index image moving means for moving the image on the screen, wherein the moving body is provided on the moving body for detecting changes in luminance level in the X-axis direction and the Y-axis direction in a plurality of areas of the index image.
  • the phase of the index image and the moving object is detected based on the brightness level change detected by the brightness level detecting means.
  • the movement control means for moving the moving body in accordance with the index image is provided.
  • the mixed reality providing system can move the mobile body placed on the screen of the display unit to the index image. Since it can be made to follow, it is possible to control the movement of the moving object indirectly via the index image.
  • the image and movement are controlled by controlling the movement of the moving object while correlating the image displayed on the display object by the information processing apparatus with the moving object placed on the display object.
  • a mixed reality providing system providing mixed reality in which a body is fused, wherein the information processing apparatus is graded so that the brightness level gradually changes in the X axis direction and the Y axis direction on the display object.
  • Index image generation means for generating an index image consisting of a plurality of areas and displaying it on the upper surface of a moving object moving on the display target, and movement input via a predetermined movement command or a predetermined input means And moving the indicator image on the display object in accordance with the instruction.
  • Brightness level detecting means provided on the upper surface of the moving body for detecting brightness level changes in the X-axis direction and Y-axis direction in a plurality of regions of the image;
  • Position detection means for detecting the current position of the moving object on the display target by calculating the change in the relative positional relationship between the index image and the moving object based on the luminance level change detected by the luminance level detecting means;
  • the movement control means for moving the moving object in accordance with the index image is provided.
  • the moving object when the information processing apparatus moves the index image displayed on the upper surface of the moving object, the moving object can be made to follow the index image. It is possible to control the movement of the mobile object indirectly via the index image at any place without selecting the display object.
  • the present invention it is possible to calculate the change in the relative positional relationship between the index image and the mobile object as the mobile object moves, based on the brightness level changes of the plurality of gradation regions of the index image.
  • the position of the moving object on the display unit can be accurately detected, and thus the position of the object on the screen can be detected with high accuracy with a simple configuration compared to the prior art.
  • a position detecting device, a position detecting method and a position detecting program to be obtained can be realized.
  • the index image associated with the movement of the moving object based on the change in luminance level of the plurality of gradationized regions of the index image displayed with respect to the upper surface of the moving object moving on the display object. Since it is possible to calculate the change in relative positional relationship between the object and the mobile object, a position detection device and position detection method that can accurately detect the position on the display object accompanying the movement of the mobile object based on the calculation result. And a position detection program can be realized.
  • the information processing apparatus moves the index image displayed on the screen of the display unit on the screen
  • the index image is displayed on the screen of the display unit. Since the placed mobile can be made to follow, it is possible to realize a mixed reality providing system capable of indirectly controlling the movement of the mobile via the index image.
  • the information processor moves When moving an index image displayed on the upper surface of the body, the moving object can be made to follow the index image, so any place can be selected without selecting the display object without selecting the placement place of the moving object. It is possible to realize a mixed reality providing system capable of indirectly controlling the movement of the moving object via the index image even in the case of a group.
  • FIG. 1 is a schematic diagram for explaining the principle of position detection by a position detection device.
  • FIG. 2 is a schematic perspective view showing a configuration (1) of an automobile-shaped robot.
  • FIG. 3 is a schematic diagram showing a basic marker image.
  • FIG. 4 is a schematic diagram for describing a position detection method and an attitude detection method using basic marker images. .
  • FIG. 5 is a schematic diagram for explaining the sampling rate of the sensor.
  • FIG. 6 is a schematic diagram showing a special marker-one image.
  • FIG. 7 is a schematic diagram showing the luminance level distribution of the special marker image.
  • FIG. 8 is a schematic diagram for describing a position detection method and an attitude detection method using a special marker image.
  • FIG. 9 is a schematic diagram showing a target-object-driven mixed reality representation system.
  • FIG. 10 is a schematic block diagram showing the configuration of the computing device.
  • FIG. 11 is a sequence chart for explaining the target object-driven mixed reality representation processing sequence.
  • Figure 1 2 is a simulated fusion of real-world target objects and CG images of the virtual world
  • FIG. 13 is a schematic diagram showing a virtual object model-driven mixed reality representation system. .
  • Figure 14 is a sequence chart showing a virtual object model driven mixed reality representation processing sequence.
  • - Figure 15 is a schematic diagram showing a mixed reality representation system as a modification.
  • FIG. 16 is a schematic diagram showing a mixed reality representation system using a half mirror as a modification.
  • ' Figure 17 is a schematic diagram for explaining movement control for a target object in the real world as a modification.
  • FIG. 18 is a schematic diagram showing a top illumination type mixed reality providing apparatus.
  • Figure 19 is a schematic diagram showing a CG image with a special marker and one image.
  • FIG. 20 is a schematic diagram showing the configuration (2) of a car shape robot.
  • FIG. 21 is a schematic block diagram showing the circuit configuration of the note PC.
  • FIG. 22 is a schematic block diagram showing the configuration of a car-shaped robot.
  • FIG. 23 is a schematic diagram showing an image of a special marker during optical communication.
  • FIG. 24 is a schematic diagram for explaining the operation of the arm unit. .
  • FIG. 25 is a schematic diagram showing a top illumination type mixed reality providing apparatus.
  • FIG. 26 is a schematic perspective view for explaining an application example.
  • FIG. 27 is a schematic diagram showing a marker-one image in another embodiment.
  • a notebook personal computer used as a position detection device (hereinafter referred to as C) to detect a change in position of the car shape robot 3 placed on the screen of the liquid crystal display 2 on the screen of the liquid crystal display 2.
  • the basic marker image MK (described later) is displayed on the other hand.
  • the car shape robot 3 is provided with four wheels on the left and right sides of the substantially rectangular parallelepiped main body 3A, and the front face holds an object.
  • the arm portion 3B is provided so as to move on the screen of the liquid crystal display 2 in response to wireless operation by an external remote controller (not shown).
  • Fig. 2 (B) there are five car shape robots 3 corresponding to one basic marker image MK (Fig. 1) displayed on the screen of the liquid crystal display 2 at a predetermined position on the bottom.
  • the sensors SR1 to SR5, which are phototransistors, are provided, and the sensors SR1 and SR2 are disposed on the front end side and the rear end side of the main body 3A, and the sensors SR3 and SR4 are main bodies.
  • the sensor SR 5 is disposed on the left and right sides of the portion 3 A, and the sensor SR 5 is disposed substantially at the center of the body portion 3 A.
  • the notebook PC 1 (Fig. 1) follows the predetermined position detection program, and wirelessly or wired the luminance level data of the basic marker one image MK received by the sensors SR1 to SR5 of the automobile shape robot 3 according to the vehicle shape Based on it, position change on the screen of car shape robot 3 is calculated based on it, and it is possible to detect the current position and the direction (posture) of car shape robot 3. ing.
  • the basic marker image MK has a fan shape divided by a range of 90 degrees through a boundary line provided at a position shifted 45 degrees from the horizontal direction and the vertical direction.
  • Position detection areas PD 1 to PD 4 and a circular reference area RF provided at the center of the basic image MK. It is composed of
  • the position detection areas PD 1 to PD 4 are gradationized so that the luminance level changes from 0% to 100% in that area.
  • the position detection areas PD 1 to PD In all four the brightness level is gradually changed from 0% to 100% in the counterclockwise direction.
  • the present invention is not limited to this, and the brightness level may be gradually changed from 0% to 100% in the clockwise direction.
  • the luminance levels of the position detection areas PD 1 to PD 4 in the basic integrated image MK should be all-graded so as to change linearly from 0% to 100%. It does not necessarily have to be. For example, gradation may be made so as to change non-linearly so as to draw an S-shaped curve. '-
  • the reference area RF has its brightness level fixed at 50% different from the position detection area PD 1 to PD 4 and ambient light and disturbances are calculated when calculating the position detection for the car shape robot 3 by the notebook PC 1 It is provided as a reference area for luminance levels to remove the influence of light.
  • the sensors SR 1 to SR 5 provided on the bottom of the car shape robot 3 and the position detection area PD 1 to PD 4 of the basic mass intensity image MK The basic marker image MK is displayed on the liquid crystal display. 2 so that it is opposed to the approximate center of the reference area RF and the reference area RF, respectively, based on the two unit states (“middle” states where each luminance level is 50%
  • the brightness level a 1 of the sensor SR 1 changes from the "middle” state to the " ⁇ ” state as shown in FIG. 4 (A).
  • the brightness level a 2 of the sensor R 2 changes from “medium” to “bright”.
  • pi is a proportional coefficient, which is a value that can be changed dynamically according to ambient light and calibration in the position detection space.
  • p 2 is also a proportional coefficient as in P 1, and is a value that can be dynamically changed according to ambient light and calibration in the position detection space.
  • (a 4 ⁇ a 3) in Eq. (2) becomes “0” when there is no deviation in the y direction, so the value of the deviation dy naturally becomes “0”.
  • the vehicle shape is based on a two-eutral state (in which each luminance level is 50% in the “middle” state) in which the basic marker image MK is displayed on the liquid crystal display 2 so as to face approximately the center of
  • the luminance level of sensor SR 1 and the luminance level of sensor SR 2 a 2 The brightness level a 3 of sensor SR 3 and the brightness level a 4 of sensor SR 4 all change from the “medium” state to the “w” state. However, the brightness level a5 of the sensor SR5 has not changed at all.
  • the luminance level a 1 of the sensor SR-1, sensor SR The brightness level a 2 of 2, the brightness level a 3 of the sensor SR 3 and the brightness level a 4 of the sensor SR 4 all change from the “medium” state to the “bright” state.
  • the luminance level a5 of the sensor SR5 has not changed at all.
  • the notebook PC 1 respectively refers to the brightness levels a1 to a4 of the sensors SR1 to S4 supplied from the automobile shape robot 3 and the brightness level a5 of the sensor SR5 corresponding to the reference area RF.
  • the luminance level a 5 of the reference area RF is multiplied by 4 and subtracted, thereby eliminating the influence of ambient light other than the basic marker 1 image MK, and thus the accurate turning angle Ask for 0 It is considered to be able to
  • p 3 is a proportionality factor, which is a value that can be changed dynamically according to the ambient light calibration in the position detection space.
  • (3) ((al + a 2 + a 3 + a 4)-4 x (a 5)) is set to “0” when the car shape robot 3 is not turned to the left or right. Therefore, the turning angle 0 of the automobile shape robot 3 is 0 degrees.
  • the deviation d X, dy and the turning angle 0 of the car shape robot 3 can be calculated simultaneously and independently, for example, while the car shape robot 3 translates to the right. Even when turning to the left, the current position of the car shape robot 3 and the orientation (posture) of the car shape robot 3 can be calculated.
  • the height Z Is also able to detect
  • p 4 is a proportionality coefficient, and can be changed to a dynamic according to ambient light and calibration in the position detection space.
  • the height Z of the car shape robot 3 changes, the brightness levels a 1 to a 4 of the sensors SR 1 to SR 4 all change, so the height Z of the car shape robot 3 is It can be asked.
  • the square root is used because the luminance level is attenuated by the square of the distance in the case of a point light source.
  • the notebook PC 1 has an automotive shape robot 3 with a liquid crystal display
  • the current position and posture are detected based on the deviation dx, dy and the turning angle S when moving on the 2nd screen, and the basic marker image MK is used as the car shape robot 3 according to the difference between the current position before and after the movement.
  • the basic marker image MK is used as the car shape robot 3 according to the difference between the current position before and after the movement.
  • V X + ⁇ D is represented by ...... (5), an automobile shape robot 3 detects the current position with high precision without depending on the frame frequency or field frequency even during high speed movement It is made to get.
  • the luminance level changes rapidly from 0% to 100% or 100% to 0% at the boundary with the position detection area PD 1 to PD 4. Therefore, the luminance level 1 0 0 The light in the% portion leaks into the 0% brightness level, which is a cause of false detection.
  • a special marker image MK Z which is one step further developed from the basic marker one image MK.
  • This special marker image MK Z is, as shown in FIG. 7, the position detection area PD 3 and PD 4 of the basic marker image MK (FIG. 6) as it is, and the position detection area PD 1 of the basic marker image MK And PD 2 position detection areas PD 1 A and G 2 where the luminance level is changed from 0% to 100% in the clockwise direction instead of the counterclockwise direction.
  • PD 2 A is used.
  • the special marker image MK Z is totally graded so that there is no sharp change in luminance level from 0% to 100%. As in the basic marker image MK, it is designed to prevent in advance the situation where light with a brightness level of 100% leaks into a portion with a brightness level of 0%.
  • the special marker 1 image MK Z is in the range of the position detection area PD 1 A, PD 2 A, PD 3 and PD 4 and sensor SR 1, sensor SR 2, sensor SR. 3 and the sensor SR 4 move linearly in the x-axis and y-axis directions so that the luminance levels a 1, a 2, a 3, & 4 are between 0% and 100%. It is done.
  • the special marker image MK Z corresponds to the turning of the car shape robot 3
  • each of the luminance levels of the position detection areas PD 1 A, PD 2 A, PD 3 and PD 4 in the special marker 1 image MK Z are all gradationally changed so as to change linearly from 0% to 100%. It does not necessarily have to be, for example, it may be gradationed so as to change linearly, so as to draw an S-shaped curve.
  • the special marker image MK Z in which a shift in movement occurs with respect to the moved car shape robot 3 is made to face the sensors SR 1 to SR 5 provided on the bottom of the car shape robot 3. As such, when returning to the secondary state, it is possible to avoid such a situation that it moves in the opposite direction due to a code error as in the basic marker image MK.
  • the brightness level a 1 of the sensor SR 1 changes from the “middle” state to the “light” state.
  • the brightness level a 2 of the sensor SR 2 changes from the “medium” state to the “low” state.
  • notebook PC 1 is shifted in the X direction according to the above-mentioned equation (1) by referring to brightness level a 1 of sensor SR 1 and brightness level a 2 of sensor SR 2 supplied from automobile shape robot 3. It is possible to ask for d X. ⁇ "
  • the notebook PC 1 described the deviation dy in the y direction by referring to the luminance level a3 of the sensor SR3 and the luminance level a4 of the sensor SR4 supplied from the automobile shape robot 3 (2) It can be determined according to the formula. .
  • the sensors SR1 to SR4 installed on the bottom of the car shape robot 3 and the special marker 1 image MK Z position detection area PD 1 A, PD 2
  • the special marker 1 image MK Z is displayed on the liquid crystal display 2 so that the approximate center of .A, PD 3 and PD 4 is opposite to each other.
  • the sensor SR 1 the luminance level of a 1, the luminance level of z SR 2.
  • a 2 changes from the “middle” state to the “bright” state, the luminance level a 3 of sensor SR 3 and the luminance level a 4 of sensor SR 4 It changes from the "Medium" state to the " ⁇ " state.
  • the brightness level a 1 of the sensor SR 1 when the automobile shape robot 3 turns left from the neutral state with the central axis left as it is with respect to the special marker image MK Z, as shown in FIG. 8 (B), the brightness level a 1 of the sensor SR 1, Although the luminance level a 2 of the sensor SR 2 changes from the “medium” state to the “absent” state, the luminance level of the sensor SR 3 The brightness level a 4 of sensor a 4 and sensor SR 4 changes from the “medium” state to the “bright” state.
  • the brightness levels a 1, a 2, and a 3 are obtained as in the equation (3) for the basic marker 1 image.
  • the luminance levels a 1, a 2, a can be obtained by subtracting (a 3 + a 4) ⁇ (a 1 + a 2)) of the equation (6) instead of adding all the a 4 For all 3 and a 4 there is a uniform error due to disturbance light etc.
  • the turning angle d 0 can be detected with high accuracy by a simple calculation formula as much as it can be offset by subtraction.
  • the deviation dx, dy and the turning angle d of the car shape robot 3 can be calculated independently at the same time.
  • the car shape robot 3 translates to the right It is possible to calculate the current position of the car shape robot 3 and the direction (posture) of the car shape robot 3 even when the vehicle turns while turning to the left.
  • the notebook PC 1 is basically equipped with a mechanism for changing the height of the main body 3A of the automobile shape robot 3. mounted on the screen of the liquid crystal display 2 vertically.
  • the height Z can be detected, and it can be obtained according to the above-mentioned equation (4). .
  • the notebook PC 1 detects the current position and posture based on the deviation dx, dy and the turning angle d when the automobile shape robot 3 moves on the screen of the liquid crystal display 2, and the current position before and after movement.
  • the special marker 1 image MKZ so as to face the bottom surface of the car shape robot 3 according to the difference between the two, the current position of the car shape mouth box 3 is tracked on the screen of the liquid crystal display 2. It is designed to be able to detect in real time from start to finish.
  • the sampling frequency of the luminance level by the sensors SR 1 to SR 4 is better than the frame frequency or field frequency for displaying the special marker 1 image MKZ on the screen of the liquid crystal display 2. Because it is high, the current position and attitude of the vehicle shape robot 3 can be detected at high speed without depending on the frame frequency or the field frequency.
  • a concrete mixed reality providing system which applies the position detection principle as described above as a basic idea will be described next.
  • a mixed reality representation system that generates an additional image of a virtual object model according to the movement of a target object and displays it on the screen.
  • this mixed reality representation system there are basically two ways of thinking. First, when the user moves a target object in the real world arranged so as to be superimposed on images displayed on various display means such as a liquid crystal display and a screen, the background is interlocked with the actual movement. It is an object-driven mixed reality representation system that moves an image or generates and displays an additional image of a virtual object model to be added according to the movement.
  • a target in the virtual world corresponding to the target object in the real world.
  • the object model is moved on the computer, the object in the real world is actually tracked in conjunction with the movement of the object model in the virtual world, or added according to the movement of the object model in the virtual world.
  • It is a virtual object model-driven mixed reality representation 'system that generates and displays an additional image of a virtual object model to be generated.
  • reference numeral 100 indicates a target object-driven Mixed Reality Representation system as a whole, and a virtual machine supplied from the computer apparatus 102.
  • CG image V 1 of the virtual world On the screen 104 on which the CG image V 1 of the virtual world is projected, for example, a tank for remote control of the user 106 via a radio controller (hereinafter simply referred to as a radio control) 106.
  • a real-world object 105 consisting of a model or the like is placed and positioned so that the real-world object 105 can be superimposed on the CG image V 1 on the screen 104.
  • the real-world target object 1 0 5 is designed to be able to move freely on the screen 1 0 4 in response to the user 1 0 6's operation on the radio control 1 0 7; At 0, the two-dimensional position or three-dimensional attitude (in this case, movement) of the real-world target object 1 0 5 on the screen 1 0 4 can be measured by a magnetic or optical measuring device 1 0 8
  • the motion information S 1 is acquired as motion information S 1, and the motion information S 1 is sent to the virtual space construction unit 100 of the computing device 102. '
  • a control signal S 2 corresponding to the instruction is sent from the radio control 107 to the virtual space construction unit 1 0 9 of the computer device 102.
  • the virtual space construction unit 100 generates a target object model for generating on the computer device 102 a target object model of the virtual world corresponding to the real world target object 105 moving on the screen 104.
  • a virtual object model eg, missile, laser, barrier
  • a background image generation unit for generating a background image to be displayed on the screen 1 0 4 1 1 2 6 for the user 10 6 to be moved according to the radio control operation Change the background image to match object 105, or apply a virtual object model to match the movement of target object 105 It is comprised by physical calculation part 1 1 3 which performs each physical calculation.
  • the virtual space construction unit 1 0 9 uses the physical calculation unit 1 1 3 to calculate the target object model of the virtual world based on the motion information S 1 directly obtained from the target object 1 0 5 in the real world. Virtually move in the information world created by, and send data D 1 such as a background image changed according to the movement or a virtual object model to be added to the target object model to the video signal generator 1 14 .
  • an arrow mark is displayed according to the advancing direction of the target object 105 of the real world, or the movement on the screen of the target object 105 of the real world is displayed. It is possible to change and display the surrounding landscape.
  • the image signal generation unit 114 is a CG for linking the background image to the target object 105 of the real world based on the data D 1 such as the background image and the virtual object model, and providing the virtual object model.
  • CG of the virtual world is generated by generating video signal S 3 and projecting CG image V 1 of the virtual world according to CG video signal S 3 from projector 103 onto screen 104. It is designed to allow the user to experience mixed reality consisting of a pseudo three-dimensional space in which an image V 1 and a real world object 1505 are fused on a screen 104.
  • the CG image V1 is displayed on the surface portion of the target object 105 in the real world. Based on the position and size of the target object model corresponding to the target object 105 in the real world, only the image of the portion corresponding to the target object It is designed to generate a CG video signal S 3 that has shadows around the target object 105.
  • mixed reality representation system 100 it is formed by superimposing CG image V 1 of the virtual world projected on projector 1 0 3 onto screen 1 0 4 and target object 1 0 5 in real world.
  • the simulated 3D space is It is designed to be able to provide all users 104 who can visually check them with the naked eye.
  • the target object-driven mixed reality representation system 100 belongs to a category called optical see-through type in which external light directly reaches the user 106, rather than so-called video-through type. It can be said.
  • a computer Central Processing Unit
  • a computer that performs overall control of the entire system, as shown in FIG. 10, is a computer system for realizing such a target-object-driven mixed reality representation system 100.
  • 1 2 1 against the noise 1 2 2 9 ROM (Read Only Memory) 1 2 2 RAM (Random Access Memory) 1 2 3 Hard disk drive 1 2 4 Video signal generator, 1 1 4.
  • a keyboard and the like are connected to the input unit 1 2 7, and the CPU 1 2 1 according to the basic program and mixed reality expression program read out from the hard disk drive 1 2 2 4 and expanded on the RAM 1 2 3 Virtual space construction unit by executing predetermined processing. It is adapted to software realized.
  • the target object-driven composite of changing the CG image of the virtual world in conjunction with the movement of the target object in the real world 1 0.5
  • the reality expression processing sequence will be described. As shown in Figure 11, in the target-object-driven mixed reality representation processing sequence, it can be roughly divided into the processing flow in the real world and the virtual processing flow performed by the computer device 102. , Each processing result is made to fuse on screen 104.
  • step SP 1 the user 1 06 is paired with the radio control 1 0 7 Do the operation and move on to the next step 'SP 2.
  • an instruction for moving the real-world target object 105 placed on the screen 104 may be given, or a missile or laser as a virtual object model may be attached to the real-world target object 105.
  • Various operations, such as giving an instruction to add, are conceivable.
  • the target object 105 of the real world receives an instruction from the radio control 1 0 7 in step SP 2 and actually executes an action corresponding to the user's operation on the radio control 1 0 7 on the screen 1 0 4.
  • step SP 3 the measuring device 1 08 is a two-dimensional position on the corresponding screen 1 0 4 of the real-world target object 1 0 5 actually moved on the screen 1 0 4
  • the three-dimensional attitude is measured, and the motion information S 1 is sent to the virtual space construction unit 100 as the measurement result.
  • step SP 4 the control signal S 2 (FIG. 9) supplied from the radio control 1 0 7 according to the radio control operation of the user 1 0 6 If it indicates a dimensional position, a virtual object model generation unit 111 generates a target object model of the virtual world according to the control signal S 2, and two-dimensionally generates the target object model in the virtual space. Move it.
  • a virtual object model creation unit 111 In the virtual space construction unit 109, if the control signal S2 supplied by the radio control operation indicates a three-dimensional attitude (motion) in step SP4, the control signal S2 is not changed. In response, a virtual object model creation unit 111 generates a target object model of the virtual world and moves it three-dimensionally in the virtual space. .
  • step SP5 the virtual space construction unit 100 reads in the motion information S1 supplied from the measuring device 108 in the physical calculation unit 113, and in step SP6, the motion information S1 is read. Based on the background image when moving the target object model in the virtual world and the virtual object model D1 to be added to the target object model, the schedule D1 is calculated.
  • the virtual space construction unit 1 0 9 then performs the physical calculation unit in step S P 7.
  • step SP 8 the video signal generation unit 1 14 of the computer device 102 generates a CG video signal S 3 linked to the target object in the real world as a reflection result of step SP 7.
  • the video signal S3 is output to the projector 103.
  • step SP 9 projector 103 projects CG image V 1 of the virtual world from projector 103 onto screen 104 according to CG image signal S 3 shown in FIG. .
  • the CG image V1 of this virtual world apparently merges the target object of the current cold world with the background image of the forest, building, etc. and the target object of the real world by the remote control of the user 106
  • Target object in the real world 1 0 5 (right) triggered by the movement of the target, virtual object model VM 1 such as a laser beam is attached to the object 1 0 5 (left side) in the real world remotely controlled by the user It is the moment when :
  • the projector 130 can generate a CG image V 1 of the virtual world in a state in which the background image and the virtual object model are linked to the movement of the virtual object model, as opposed to the real world that the user 106 remotely operates.
  • the user feels uncomfortable with the real-world target object 1 0 5 and the virtual world CG image V 1 on screen 1 0 4 It is designed to be fused so as not to cause it.
  • the target object 105 of the real world is to the surface portion of the target object 15 of the real world.
  • a part of CG image V1 of the virtual world is not projected, and a shadow 105A is applied as an image to the periphery of the target object 105 of the real world.
  • the fusion of the real world object 105 and the virtual world CG image V 1 creates a more realistic 3D space.
  • step SP 1 0 (FIG. 1 1) as A CG image of a virtual world displayed on a clean 104.
  • V 1 and a target object of the real world 1 0 5 are fused, it is possible to achieve a level higher than before. It is designed so that you can experience a mixed reality with a full-fledged sense of realism.
  • the target object 105 of the real world and the CG image V 1 of the virtual world are overlapped on the screen 104.
  • the CG image V 1 of the virtual world matched with the movement of the real world target object 105 is projected onto the screen 104. It is assigned according to the background image which moves according to the change of the two-dimensional position in the target object of the real world, or the three-dimensional posture (movement) in the target object of the real world 105 It is possible to provide a pseudo three-dimensional space in which the target object 105 of the real world and the .CG image V 1 of the virtual world are fused on the same space via the virtual object model such as the laser.
  • the three-dimensional image is more realistic than the mixed reality by MR (Mixed Reality) technology using only two-dimensional images as in the prior art. You can experience mixed reality.
  • the background image and virtual object model are made to follow the actual movement in the target object of the real world 1 0 5
  • the real-world target object 105 and the real-world target object 105 actually By combining the CG image V 1 of the virtual world linked to the movement of the virtual world on the screen 104, a pseudo three-dimensional space integrating the real world and the virtual world is expressed on the screen 104.
  • the user can experience the mixed reality space, which has a much more realism than in the past, through the pseudo three-dimensional space.
  • 200 indicates a virtual object model-driven mixed reality representation system as a whole, and is supplied from a computer interface unit 102 Project CG image V2 of the virtual world from the projector 103 onto the screen 104.
  • CG image of the virtual world On the screen 104 on which V 2 is projected, a target object of the real world 1 0 6 for the user 1 0 6 to remotely control remotely via the input unit 1 2 7 5 is placed and positioned so that the target object 1.05 of the real world is superimposed on the CG image V 2 on the screen 104. .
  • the specific configuration of the computer device 102 is: 3.
  • the computer device in 100 (Fig. 10) It is the same as this, so the explanation of its configuration is omitted here.
  • the virtual space construction unit 1 0 9 is realized as software by the CPU 1 2 21 executing predetermined processing in accordance with the basic program and the mixed reality expression program.
  • the points are also the same as the object processing type mixed reality representation system 100 0 in the dialog device 1 0 2.
  • a virtual object model-driven mixed reality representation system 200 unlike a target object-directed mixed reality representation system 1 0 0, if a user 1 0 6 directly moves a real-world target object 1 0 5 Instead, the real-world target object 105 is moved indirectly via the virtual-world target object model corresponding to the real-world target object 105.
  • a target object model of the virtual world corresponding to the target object 1 0 5 of the real world according to the operation of the user 1 6 with respect to the input unit 1 2 7 It is possible to virtually move the target object model on the computing device 102, and the command signal S12 when moving the target object model is used as the change information in the target object model. It is designed to be sent out.
  • the computer apparatus 102 is controlled by the physical calculation unit 11.3 of the virtual space construction unit 100 according to the command signal S12 from the user 106 according to the object rest model of the virtual world. Move the background image in conjunction with the movement of the target object model in that virtual world, or generate a virtual object model to be added, and change it in conjunction with the movement of the target object model in the virtual world.
  • Data D 1 such as a background image or a virtual object model to be assigned to a target object model in the virtual world is sent to the video signal generation unit 114.
  • the physical calculation unit 1 1 3 of the virtual space construction unit 1. 0 9 simultaneously generates the control signal S 1 4 generated according to the position and motion of the target object model moved in the virtual world.
  • the control signal S 1 4 generated according to the position and motion of the target object model moved in the virtual world.
  • the video signal generation unit 114 generates the CG video signal S 13 based on the data D 1 such as the background image and the virtual object model, and the CG video signal S
  • the video signal generation unit 114 when the CG image V2 of the virtual world is projected onto the screen 104, the surface portion of the target object 105 of the real world is compared with the virtual world Based on the position and size of the target object model in the virtual world corresponding to the target object 105 in the real world, in order to avoid that part of the CG image V 2 is projected. Only the image of the portion corresponding to the object model is extracted, and a CG image signal S 13 with shadows added around the target object model is generated.
  • the CG image V 2 of the virtual world projected onto the screen 1 0 4 from the project 3 0 4 and the target object of the real world 1 0 5 The three-dimensional space, which is formed in such a way as to be superimposed, can be provided to all users 106 who can visually check S. clean 104 with the naked eye. Similar to object-object-based mixed reality representation system 1 0 0, external light directly reaches user 1 0 6 belongs to a category called optical sheath type.
  • the processing flow in the real world and the computing device 10 It can be roughly divided into the processing flow of the virtual world performed by 2 and it is made to fuse each processing result on the screen.
  • the user 106 performs an operation on the input unit 1 2 7 of the computing device 12 2 in step SP 2 1 and moves on to the next step SP 2 2.
  • various operations can be considered which give an instruction to move or operate the target object model existing in the virtual world created by the computer device 102, not the target object 105 in the real world.
  • step SP 2 the target object model of the virtual world generated by the virtual object model generation unit 1 1 1 according to the input operation to the input unit 1 2 7 of the computer device 1 02 move.
  • step SP 23 the virtual space construction unit 1 0 9 changes the background image to be changed according to the movement of the target object model in the virtual world by the physical calculation unit 1 1 3 3 or the virtual object model to be added to the target object model.
  • step SP 24 the virtual space construction unit 100 is adapted to reflect the data D 1 and the control signal S 14, which are calculation results in the physical calculation unit 113, in the CG image V 1 in the virtual world. Signal processing.
  • step SP 25 the video signal generation unit 114 generates a CG video signal S 13 according to the movement of the target object model in the virtual world as a result of the reflection and generates a CG video signal S 13 as a projector.
  • step SP 2 6 projector 10 3 uses CG video signal S 1 3 in step SP 2 6 to generate CG video V 2 similar to CG video V 1 as shown in FIG. Project on 1 0 4
  • the virtual space construction unit 1. 0 9 is the target of the real world in the control signal S 1 4 calculated by the physical calculation unit 1 1 3 of step S 2 3 in step S 2 7.
  • step SP 2 the real-world target object 1 0 moves on the screen 1 0 4 according to the control signal S 1 4 supplied from the virtual space construction unit 1 0 9 or its attitude (motion By changing), we express the movement according to the user's intention.
  • the control signal S 14 generated according to the position and motion of the target object model in the virtual world by the physical calculation unit 1 13 is used as the target in the real world.
  • object 105 movement of the target object model of the virtual world in conjunction with the movement of the target object of the real world in conjunction with movement of the target object model of the virtual world
  • the CG image V2 of the virtual world can be overlapped with the target object 1 0 5 of the real world, as in the target object-driven mixed reality representation system 1 0 0, as shown in FIG. It is designed to be able to construct a pseudo three dimensional space.
  • the target object 105 of the real world is a surface portion of the target object 105 of the real world.
  • a part of CG image V2 of the virtual world is not projected, and a shadow will be applied as an image to the surroundings of the target object of the real world.
  • the fusion of the world object 105 and the virtual world CG image V 2 creates a more realistic 3D space with a sense of reality.
  • the pseudo computer 3 is a pseudo 3 in which the CG image V 2 of the virtual space displayed on the screen 1 0 4 and the target object 1 0 5 in the real world are fused.
  • the real world target is linked to the movement of the target object model of the virtual world corresponding to the real world target object 105 in the virtual world.
  • the CG image V2 of the virtual world and the object 105 By changing the CG image V2 of the virtual world and the object 105, a pseudo three-dimensional space in which the target object 105 of the real world and the CG image V2 of the virtual world are fused on the same space is constructed. can do.
  • the real world is linked to the fact that the target object model of the virtual world is manipulated by the input unit 1 2 7 and moved. Since it is possible to visually confirm the CG image V2 linked to the movement of the target object model in the virtual world simultaneously with moving the target object 105 of the virtual world, MR using only a two-dimensional image as in the prior art You can experience three-dimensional mixed reality that is more realistic than that of technology-based mixed reality. '
  • the real world object 105 is actually moved according to the movement in the virtual world object object model, and in the virtual world object object model
  • the CG image V2 of the virtual world in which the background image and the virtual object model are made to follow the movement according to the movement is superimposed on the target object 1'05 of the real world, whereby the real world and the virtual world can be compared.
  • Dialogue can be realized, and entertainment can be further improved than before.
  • the target object in the real world 1 0 5 ' is obtained via the target object model in the virtual world.
  • the dimensional space can be expressed on the screen 104, and the user can feel the compound realism with a much more realism than ever before through the pseudo three-dimensional space.
  • the target object of the real world described above is applied as a tank etc.
  • the case where it used for the game apparatus allocated to the model was demonstrated as an example, not only it but various application object can be considered.
  • a building is constructed in which a city is constructed on a target object in the real world 1 0 5 Etc.
  • the background image generation unit 1 1 2 of the virtual space construction unit 1 0 9 generates a background image of the city, and the virtual object model generation unit 1 1 1 generates fires of fires etc. that occur at the time of disaster. It can be applied to urban disaster simulation by projecting the CG image V 1 or V 2 of the virtual world by giving it as a virtual object model on the screen 104.
  • the object-object-based mixed reality representation system in this case 1. 0. 0. and the virtual object model-driven mixed reality representation system 2 0 0, the architectural model which is the object object 1 0 5 of the real world
  • the architectural model which is the object object 1 0 5 of the real world
  • an earthquake for example, by representing a quake, by embedding a measuring device 1 08, shaking it through an eccentric motor embedded in an architectural model by operation of a radio control 1 0 7, moving it, or sometimes collapsing.
  • Target object CG image V1 or V2 of the virtual world changing according to the movement of the object Present state changes such as
  • the computer system 102 calculates the destructive force according to the magnitude of the shaking, calculates the strength of the building, and predicts the spread of the fire.
  • the result is a CG image of the virtual world While projecting as V 1, the user can also use the control signal S 14 to feed back the real-world target object 1 0 again to the building model, which is the real-world target object 1 0 5. It is possible to visually present a pseudo three-dimensional space fused by the real world and the virtual world to 0 6.
  • human beings are allocated to the object 1 0. 5 in the real world, and CG images of the virtual world are allocated.
  • a large display placed on the floor of a hall such as a disco or club to display ft v 1 or V 2 and paste the motion of a person dancing on the large display on the display surface
  • the device is acquired in real time by a pressure-sensitive device such as a touch panel using a transparent electrode, and the motion information S 1 is sent to the virtual space construction unit 1 0 9 of the computer device 102 so that a human being dances.
  • CG images V 1 or V 2 of the virtual world that changes in response to real-time, a music dance game that human beings can actually dance and enjoy It can be applied to.
  • the computer 1. 06 is a CG image of a virtual world which changes in conjunction with the movement of human dance ( via a pseudo three-dimensional space provided via V 1 or V 2. You can experience the feeling as if you are actually dancing in a virtual world CG image V1 or V2 full of realism.
  • the user 1 0 6 determines the favorite color or character 1, and while the 1 0 6 is dancing, the character 1 1 1 6 shadow of the user 1 in conjunction with the movement.
  • CG image of a virtual world like dancing and dancing together 1 Or V 2 is generated and displayed by the virtual space construction unit 1 0 9, or the user's 1 0 6 blood type, age, constellation, etc., items selected according to the user's 1 0 6 preferences It is also possible to determine the specific content of the CG image V1 or V2, and various variations can be developed.
  • the present invention is not limited to this, using a human or animal as a target object of the real world 105, CG of the virtual world on the screen 104 according to the actual movement of the human or animal.
  • a mixed reality consisting of a pseudo three-dimensional space may be provided.
  • the two-dimensional position or three-dimensional position of the real-world target object 105 Is acquired as motion information S 1 by the magnetic or optical measuring device 1 0 8, and the motion information S 1 is sent to the virtual space construction unit 1 0 9 of the computer device 1 0 2
  • the present invention is not limited to this, and as shown in FIG. 15 in which the same reference numerals as in FIG.
  • Position and attitude may be the motion information S 1 such as (motion) so as to determine knowledge.
  • the two-dimensional position of the real-world target object 105 Or three-dimensional attitude (motion) magnetic or light
  • the present invention is not limited to this, and displays CG images V 1 and V of a virtual world based on CG image signals S 3 and S 13 on a display instead of screen 104, and superimposes real world objects on top of it.
  • a body pressure sensor such as a solar cell panel using a transparent electrode attached to the surface of the display with the body 105 placed on it, a real-time change in movement of the target object 105 as the movement information S 1 And the motion information S 1 may be sent to the virtual space construction unit 100 of the computer apparatus 102.
  • the case where screen 104 is used is described.
  • the invention is not limited to this, and various displays such as CRT (Cathode Ray Tube Display) ⁇ LCD (Liquid Crystal Display), large screen displays such as Jumbotron (registered trademark) which is an assembly of a plurality of display elements, etc. It is also possible to use a means.
  • the screen 104 is selected from the ⁇ direction.
  • Jector 103 is described, the present invention is not limited to this.
  • 3 CG images V1 and V2 in the fantasy world are projected on the screen 104 or CG images V1 and V2 in the virtual world projected from the projector 130 via the half mirror as a target object in the real world It may be projected as a virtual image on the front side or back side of the vehicle.
  • FIG. 16 in which parts corresponding to those in FIG. Target Object-Driven Mixed Reality Representation System 1 5 0 Video Signal Generation Unit of Conveyance Device 1 0 2 1 CG Image of Virtual World V 1 Based on CG Image Signal S 3 Output from 1 4 Half Mira 1
  • the virtual object is projected as a virtual image on the front or back surface (not shown) of the real-world target object 105 via 5 1, and the movement of the real-world target object 1 is measured via the half mirror 1 51
  • the motion information S 1 acquired by capturing with the camera 130 is sent to the virtual space construction unit 100 of the computer apparatus 102.
  • the virtual space construction unit 1 0 9 generates a G image signal S 3 linked to the actual motion of the target object 1 0 5 in the target object-driven mixed reality representation system 1 5 0
  • the CG image V1 of the virtual world according to the CG image signal S3 can be superimposed and projected onto the target object 105 of the real world via the projector 103 and the half mirror 151, so that Also in this case, • Construct a pseudo three-dimensional space in which the real world object 105 5 'and the CG image V 1 of the virtual world are fused in the same space, and further experience through the pseudo three-dimensional space You can experience the mixed reality in the user. '
  • the user 1 0 6 operates the input unit 1 2 7 to target the real world through the target object model of the virtual world.
  • the present invention is not limited to this, and it is not possible to move the object 105 of the real world via the object model of the virtual world,
  • the target object 105 of the real world is placed on the display 1 2.5, and the instruction information for moving the target object 105 of the real world is displayed by operating the input unit 1 2 7 It may be displayed on 1 2 5 and moved by making the instruction information follow the target object in the real world 1 0 5.
  • a four-pixel structure consisting of a checkered pattern that is unrelated to the pattern of 2
  • the display instruction information S 'l 0 is displayed by sequentially moving in the arrow direction at predetermined time intervals in accordance with the instruction from the input unit 1 2 7.
  • a target object 105 of the real world is provided with a sensor capable of detecting instruction information S 10 displayed while sequentially moving at predetermined time intervals on the display 125 at the lower surface of the target object 105.
  • the sensor detects instruction information S10 on the display 125 as change information, and causes the instruction information S10 to follow.
  • the computer device 102 does not move the target object of the real world indirectly by moving the target object model of the virtual world, but the instruction information S 10 on the display 1 25 is By specifying, it is possible to move the target object in the real world.
  • the command signal S 12 obtained by operating the input unit 1 2 7 is output to the virtual space construction unit 1 0 9
  • the present invention is not limited to this, and the screen 1 through the camera.
  • the CG image V2 of the virtual world projected onto the image of the image on the image of the virtual world is captured, and the imaging result (on the basis of this, by supplying the control signal S 14 to the target object of the real world 10 5 It is also possible to move the object 105 and interlock it with the CG image V 2 of the virtual world.
  • the situation of target object 1 0 5 in the real world is determined
  • the situational knowledge of the result of the knowledge we described the case of acquiring motion information S 1 indicating the two-dimensional position and three-dimensional posture (motion) of the real-world object 105
  • the present invention is not limited to this.
  • the target object 105 of the real world is a robot
  • the change in the expression of the robot is also obtained as the situation knowledge, and the change of the expression is
  • the G video V 1 may be interlocked and changed.
  • target-object-driven mixed reality representation system 100 and virtual object model-driven mixed reality representation system 200 it is interlocked with the actual movement of the real-world target object 105.
  • the background image is changed and CG images V1 and V2 of the virtual world to which the virtual object model is added are described, the present invention is not limited thereto, and a real-world object CG images V 1 and V 2 of the virtual world are generated by changing only the background image in conjunction with the actual movement with respect to the body 105 or by providing only the virtual object model. Also good.
  • the user 1 0 6 remotely controls the real-world target object 1 0 5 and
  • the relationship between the virtual world CG images V 1 and V 2 has been described, the present invention is not limited to this, and the real world target object possessed by the user 106 and the real object objective face possessed by another person In the relationship with 1 0 5, if a sensor is mounted so that it can detect that a collision has occurred, such as when both have collided, and if it is recognized that a collision has occurred as a result of the collision determination,
  • the control signal S1 4 may be output to the target object 1 0 5 in the real world as a trigger to vibrate it, or the CG images V 1 and V 2 in the virtual world may be changed.
  • the CG image V 1 of the virtual world is changed in conjunction with the motion information S 1 in the target object 1: 05 of the real world.
  • the present invention is not limited to this, and detects the mounting state or non-mounting state of the parts attachable to or removable from the target object 105 of the real world, and interlocks with the detection result to detect the mounting state.
  • the CG image V 1 may be changed.
  • target object-driven mixed reality representation A pseudo three-dimensional system in which the target object of the real world 105 and the CG image V 1 and V 2 of the virtual world are fused on the same space through the system 100 and the virtual object model-driven complex regular expression system 200
  • the basic concept for constructing space and expressing three-dimensional mixed reality has been described in detail, a more concrete mixed reality providing system applying the position detection principle of (1) as a basic idea I will explain in two ways.
  • the top-illuminated mixed reality delivery system 300 it is generated by the notebook PC 302 with the car shape robot 304 placed on the screen 301.
  • the CG image V10 with the special marker image is projected to the screen 301 via the projector 303.
  • the CG image V10 with this special marker image is, as shown in Fig. 19, the above-mentioned special marker image MK (Fig. 7) is placed in the approximate center of the CG image V
  • the car shape robot 3 0 4 is placed at the center of the screen 3 0 1
  • a special mark is placed on the back portion corresponding to the top surface of the car shape robot 3 0 '4.
  • the car image MK Z is projected.
  • an automobile-shaped robot 304 is provided with four wheels on the left and right sides of a substantially rectangular main body unit 304 A in the same manner as the automobile-shaped robot 3 (FIG. 2). And has a structure in which the front part is provided with an eyebrow part 3 0 4 B for grasping an object, and follows a special force-one image MK Z projected on its back part. It is designed to be able to move over the screen 301.
  • a car shape robot 3 04 is a sensor SR consisting of five phototransistors associated with a special marker image MK Z of a CG image V 10 with a special image and an image at a predetermined position on its back portion. 1 to SR 5 are provided
  • the sensors SRI and SR 2 are disposed on the front end side and the rear end side of the main unit 304 A, and the sensors SR 3 and SR 4 are disposed on the left and right sides of the main unit 304 A. It is disposed approximately at the center of the main unit 3 04 A. Therefore, as shown in FIG.
  • the sensor SR 1 to SR 5 on the back portion of the automobile shape robot 3 04 is a position detection area in the special marker 1 image MK Z PD 1 A, PD 2 A, PD 3 and Based on the neutral state located at the center of PD 4, each time the frame or field of the CG image with special marker image V 10 is updated, the position of the special image *-Image MK Z position As () moves, as shown in (A) and (B), the brightness levels of the sensors SR 1 to SR 4 change, and based on the change in the brightness level, the special marker —image MK Z and the relevant one It is designed to calculate the relative position change with the car shape robot 304.
  • the car shape robot 3 04 advances the car shape robot 3 04 so that the relative positional change between the special marker 1 image MK Z and the car shape robot ⁇ 3 04 becomes “0”. It is designed to calculate the direction and coordinates of power and move on the screen 301 according to the calculation result.
  • the central processing unit (CPU) 310 controls the whole of the notebook PC 302 and reads it from the memory 32 12 via the north bridge 31 1
  • the CG image V.sub.10 with the above special special feature image can be generated by a GPU (Graphical Process Unit) 34 according to an application program such as a program and a mixed reality providing program. There is.
  • the CPU 3000 of the notebook PC 302 receives the user's input operation via the controller 31 13.
  • the north bridge 31 1 receives the user's input operation, which is, for example, a direction for moving the special marker image MK Z and If it means quantity, CG image V10 with special marker image is generated by moving the special marker image MK Z from the center of the screen by a predetermined amount according to the input operation.
  • the CPU 320 of the notebook PC 302 moves the special marker image MK Z in a series of sequences, except when the user's input operation is accepted via the controller 33 13.
  • the GPU 314 generates a CG image VI 0 with a special marker image by moving the special force one image MK Z in a predetermined direction from the center of the screen by a predetermined amount in accordance with an instruction supplied from the CPU 3 1 0 It is designed to project onto the screen 301 via the projector 303.
  • the vehicle shape robot 304 has the brightness levels of the special marker image MK Z by the sensors SR1 to SR5 provided on the back of the sensor SR1 to SR5.
  • the luminance level information is sent to the analog-to-digital converter 32 2.
  • the analog digital conversion circuit 32 2 converts analog luminance level information supplied from the sensors SR 1 to SR 5 into digital luminance level data, and this is converted to MCU (Micro computer Unit) 3 2 1 Supply to.
  • MCU Micro computer Unit
  • the MCU 321 can calculate the turning angle d S according to the equation d in the X direction according to the equation (i) described above, according to the equation d in the x direction according to the equation (i), and according to the equation y in the direction y according to the equation (6) Generate a drive signal to set dx, dy and turning angle to “0” and send it to the wheel motor 3 2 5 to 3 2 8 by motor driver 3 2 3 and 3 24
  • the four wheels provided on the left and right sides of the main unit 3 04 A are rotated in the predetermined direction by a predetermined amount.
  • car shape bot 3 0 4 is wireless LAN (Local Area N)
  • the unit 3 2 9 is installed, and wireless communication can be performed with the LAN card 3 1 6 (Fig. 2 1) of the notebook PC 302. Therefore, the car shape robot 3 04 can use the wireless LAN unit 3 2 9 for the current position and orientation (attitude) based on the deviation dx in the X direction, the deviation dy in the y direction dy, and the turning angle d 0 calculated by the MCU 321. It is possible to transmit no wireless PC 3 0 2.
  • the current position transmitted wirelessly from the car shape robot 04 3 04 is numerically displayed on the L CD 3 1 5 as a two-dimensional coordinate value, and the direction of the car shape robot ⁇ 3 04
  • an icon representing the (posture) on the icon of the L CD 35 By displaying an icon representing the (posture) on the icon of the L CD 35, a special marker image moved to the user's controller 33 in response to the input operation to the controller 3 13.
  • the car shape robot 3 04 It is designed to make it possible to visually check visually whether or not the vehicle is following correctly.
  • the notebook PC 302 has a special marker image CG image V10 with a special marker image flickering area Q1 having a predetermined diameter in the center of the special marker one image MK Z on the screen 301. It is designed to be able to project onto a car, and by blinking this blinking area Q 1 at a predetermined frequency, the command input by the user via the controller 3 1 3 is used as a light modulation signal as a light modulation signal. Optical communication is made to.
  • the MCU 3 2 1 of the car shape robot 304 has a special marker 1 image and a special marker image of a CG image V 1 0 image with a blinking area Q 1 in the flicker area Q 1 of the car shape robot 3 04 It is made to be able to detect by the sensor SR 5 provided on the back of the car, and it is made to be able to recognize the command from the note PC 302 based on the change of the luminance level.
  • an instruction from a laptop PC 3 2 is an automobile shape robot 3 04 If it is meant to operate the control unit 3 04 B, the MCU 3 2 1 of the vehicle shape robot 3 04 generates a motor control signal in accordance with the command and performs servo motor control.
  • the arm unit 304 B is operated by driving the 330 and 3 31 (Fig. 2 2).
  • the car shape robot 304 operates the arm unit 304 B in accordance with an instruction from the vehicle 3200, for example, it can arm the can in front of it. It becomes possible to hold by part 304B.
  • the notebook PC 302 indirectly controls the movement of the robot shape robot 304 on the screen 301 indirectly via the special marker one image MK Z in the CG image V 1 0 with the special function one image
  • the operation of the car shape robot 304 can be indirectly controlled through the blinking area Q 1 of the special marker image MK Z.
  • the C PU 310 of the notebook PC 302 wirelessly communicates with the automobile shape robot 304 via the LAN card 316 without using the special marker one image MK Z, It is also possible to directly control the movement and operation of the car shape robot small 304, and the current position on the screen 301 of the car shape robot 304 can be controlled using the position detection principle described above. It is also possible to detect. '
  • the PC 302 recognizes the current position transmitted wirelessly from the car shape robot 304, and also recognizes the display content of the CG image V 10 with the special function image. For example, an obstacle such as a building displayed as the display content of a CG image V10 with a special image and an image, and an automobile shape robot 304 are displayed on the screen, 301 coordinates. If it is determined that a collision occurs, the special marker 1 image MK Z stops movement, and a command to generate vibration to the car shape robot 304 via the special marker image MK Z blink area Q 1 is supplied. It is made to be possible.
  • the MCU 3 2 1 of the car shape robot 3 0 4 stops the movement in response to the stop of the movement of the special marker 1 image MKZ, and is supplied via the blinking region Q 1 of the special marker image MKZ.
  • vibration is generated in the main unit 304A, as if it were an obstacle such as a building projected on a CG image V10 with a special marker image. It gives the user the impression that the robot 3 0 4 collides and receives an impact, and gives the user an impression of a real-world car shape robot 3 0 4 and a CG image V 1 0 with a special marker image of the virtual world It is possible to construct the pseudo three dimensional space fused above.
  • a special marker image CG image V10 special marker image MKZ with a special marker image is projected by the projector 3 ° 3 onto the back portion of the automobile shape robot 304. If the special marker image MKZ can be projected onto the back of the car shape robot 304 by the projector 300, the car shape robot owing to the trajectory of the special marker image MKZ 0 30 It is also possible to move and control the car shape robot 304 on the floor or on the road, regardless of the place where the 4 is moved.
  • the top illumination type mixed reality providing system 300 if a wall-mounted screen 301 is used, a metal plate provided behind the wall-mounted screen 301, and an automobile shape robot The car shape robot 3 0 4 is mounted on the wall-mounted screen 3 0 1 through a magnet provided on the bottom of the 3 4 4 It is also possible to control the movement of the vehicle shape robot 304 indirectly via the special magic image MK 10 with the special magic image CG 10 with the special marker image.
  • FIG. 25 Contrary to the above-described top illumination type mixed reality providing system 300 (FIG. 18), as shown in FIG. 25 in which parts corresponding to FIG. 1 and FIG.
  • the mixed reality providing system 400 of the type with the car shape robot 3 placed on the screen of the large LCD 401, a CG image with a special marker and one image generated by the PC 10 2.
  • V 10 is displayed on the large L CD 4 0 1 from the lower side of the vehicle shape robot 3.
  • the CG image V 1 with this special motion image is placed with the above-mentioned special marker image MK Z in the approximate center, and a background image of a building etc. in the periphery.
  • the car shape robot 3 04 is placed almost at the center of the large L CD 401, the bottom of the car shape robot 3 faces the special marker image MK Z. It is done.
  • the structure of the automobile shape robot 3 is as shown in FIG. 2 described above, and thus the description thereof is omitted.
  • a special marker image displayed on the large LCD 401 is attached.
  • the frame or field of the CG image V 10 with special marker image is updated.
  • the brightness levels of the sensors SR 1 to SR 4 change as shown in FIGS. 8 (A) and (B).
  • the relative position change between the special marker 1 image MK Z and the car shape robot 3 is calculated based on the brightness level change.
  • car shape robot 3 is related to the car shape so as to make the relative positional change between the special marker image MK Z and the car shape robot 3 “0”.
  • the mouth 3 calculates the traveling direction and coordinates, and it is made to move on the large L CD 4 0 1 according to the calculation result.
  • the CPU 320 of the notebook PC 302 (Fig. 21) has a direction for moving the special marker image MK Z by the user's input operation accepted via the controller 313 and the north bridge 31 1. If the special marker 1 image MK Z is moved from the screen center by a predetermined amount in a predetermined direction according to the input operation, a CG image V 10 with a special marker image is generated. Supply instructions to GPU 3 1 4
  • the CPU 310 of the notebook PC 302 moves the special marker one image MK Z in a series of sequences except when the user's input operation is accepted via the controller 33 13.
  • a command to generate a CG image V10 with a special marker image by moving the special marker image MKZ by a predetermined amount from the center of the screen to a predetermined direction.
  • GPU 314 generates a CG image V 1 0 with a special marker image by moving a special force one image MK Z by a predetermined amount in a predetermined direction from the center of the screen in accordance with an instruction supplied from CPU 3 1 0 This is to be displayed on a large LCD 401.
  • the car shape robot 3 constantly detects the luminance level of the special marker 1 image MK.Z according to a predetermined sampling frequency by the sensors SR1 to SR5 provided on the bottom portion, and the luminance level information thereof Is sent to the analog conversion circuit 3 2 2.
  • the analog digital conversion circuit 322 converts the analog luminance level information supplied from the sensors SR1 to SR5 into digital luminance level data, and supplies the digital luminance level data to the MCU 321.
  • the MCU 3 2 1 determines the turning angle d 0 according to the deviation d ⁇ in the X direction according to the equation (1) mentioned above, the deviation dy according to the equation (2) according to the equation (6) Therefore, the drive signal for making the deviation dx, dy and the turning angle d (to be “0” is generated, and it is sent to the motor drive 3 2 5 3 2 via the motor driver 3 2 3 and 3 24.
  • the four wheels provided on the left and right sides of the main body 3 A are rotated in a predetermined direction by a predetermined amount.
  • the wireless LAN unit 3 2 9 is mounted, and wireless communication can be performed with the notebook PC 3 2 0, and the deviation in the X direction dx calculated by the MCU 3 2 1
  • the present position and orientation (posture) based on the deviation dy in the y direction and the turning angle can be wirelessly transmitted to the notebook PC 302.
  • the current position transmitted wirelessly from the car shape robot 3 is numerically displayed on the LCD 35 as a two-dimensional coordinate value, and the direction of the car shape robot 3 is displayed.
  • the vector representing (posture) as an icon on the L CD 35 the special marker image MK Z is moved according to the user's control input to the controller 3 13. It is designed to make it possible to visually check visually whether or not the mouth 3 has followed correctly.
  • the notebook PC 302 has a special marker image CG image V10 with a special marker image in which a blinking area Q1 having a predetermined diameter is provided at the center of the special marker image MKZ. It is designed to be able to display, and by blinking this blinking area.
  • Q 1 at a predetermined frequency the instruction input by the user via the controller .3.1. 3 is used as a light modulation signal as a light modulation signal. Optical communication is made to.
  • MCU 3 2 1 of the robot shape robot 3 has a special marker 1 image and a special marker image of a CG image V 1 0 with a special image of MK 1 and a flickering area Q 1 in the bottom of the car shape robot 3. It is designed to be detected by the provided sensor SR 5, and based on the change in its luminance level It is designed to be able to recognize commands from the notebook PC 302. For example, if the command from the notebook PC 302 means that the arm 3 B of the car shape robot 3 is operated, the MCU 3 2 1 of the car shape robot 3 is A motor control signal corresponding to the command is generated to drive the servo motor 330 and the motor 331, thereby operating the arm unit 3B.
  • the car shape robot 3 can hold, for example, the can in front of it by the arm portion 3B.
  • the notebook PC 302 can control the movement of the car shape robot 3 indirectly on the large L CD 401 via the special marker image MK Z with the special marker image CG image V 10, and The operation of the car shape robot 3 can also be indirectly controlled via the blinking area Q 1 of the marker image MK Z.
  • the notebook PC 302 recognizes the current position transmitted wirelessly from the car shape mouth box 3, and also recognizes the display content of the CG image V 10 with the special marker image, so for example, When it is judged that an obstacle such as a building projected as the display content of a CG image V 10 with a special marker image and the automobile-shaped robot 3 collided with each other on the screen coordinates of the large L CD 40 1 The movement of the special marker image MK Z is stopped, and an instruction to generate a vibration to the automobile shape robot 3 is supplied via the blinking area Q 1. of the special marker one image MK Z.
  • the MCU 3 2 1 of the car shape robot 3 stops the movement in response to the movement of the special marker image MK Z stopping, and the instruction supplied via the blinking region Q 1 of the special marker image MKZ
  • vibration is generated in the main body 3A, and the car shape is blocked by an obstacle such as a building projected on a CG image V10 with a special marker and one image.
  • the bottom-illuminated mixed reality providing system 400 differs from the top-illuminated mixed reality providing system 300 in that a CG image V10 with a special marker is directly applied to a large LCD 401.
  • the special marker image MKZ is blocked by the main body part .3 A of the automobile shape robot 3 by displaying it and placing it so that the special marker image MKZ and the bottom surface of the vehicle shape robot 3 face each other. It is not affected by ambient light, and it is designed to make it possible for the vehicle shape robot 3 to follow the special marker / image MKZ with high accuracy. (4.) Operation and effect in this embodiment
  • the notebook PC 1 is basically set to return to the neutral state before the change of the relative positional relationship between the current position of the car shape robot 3 after movement and the marker marker one image MK or the special marker one image MKZ occurs.
  • Marker image MK also A car shape robot moves on the screen of the liquid crystal display 2 while tracking the basic marker image MK or the special marker 1 image to the moving car shape robot 3 by moving and displaying the special marker image MK Z.
  • the current position of the small 3 can be detected in real time.
  • the notebook PC 1 uses the basic marker image MK or the special marker lj image MK Z whose luminance level changes linearly from 0% to 100% for detecting the position of the automobile shape robot 3. It is possible to calculate the current position of the robot shape robot 3 with high accuracy.
  • the calculation based on the position detection principle is performed on the vehicle shape, the robot 3 04 and the automobile
  • the special marker image CG image V 1 0 special marker force.1 image MK Z moves to the motion of the relevant car shape robot 3 04 and the car shape. Mouth 3. Can follow. .
  • the top illumination type mixed reality providing system 300 and the bottom illumination type mixed reality providing system 400 do not require the user to directly control the car shape robot 304 and the car shape robot 3, and
  • the car shape robot 304 and the car shape robot 3 can be indirectly moved and controlled simply by moving the special marker image MK Z via the controller 3 13 of the PC 3 202.
  • the CPU 300 of the notebook PC 302 can be in optical communication with the car shape robot 304 and the car shape robot 3 via the special marker 1 image MK Z blink area Q 1. So, in addition to moving control of car shape robot 3 04, car shape robot 3 via special marker image MK Z, car shape robot 3 0 4, car shape robot via flashing area Q 1 It is also possible to control specific operations such as moving the arm unit 3B with respect to 3.
  • the notebook PC 302 recognizes both the current position wirelessly transmitted from the car shape robot 3 04 and the car shape robot 3 and the display contents of the CG image V 10 with the special marker image. It is possible to judge by coordinate calculation if there is a collision between the obstacle shown as the display content of the CG image V 1 0 with the special marker image and the car shape robot 3 0 4 and the car shape robot 3.
  • the movement of the special shape image MK Z is stopped to stop the movement of the car shape robot 3 04 and the car shape robot 3 and the blinking area Q 1 of the special marker image MK Z 'Because car shape robot 3 04, car shape robot 3 can generate vibration, so real world car shape robot 3 04, car shape robot 3 with special marker image of virtual world It is possible to provide the user with a realistic mixed reality in which the CG image and the image V 10 are fused in the same space. '
  • the CG image V10 displays, for example, remote users connected to the Internet at a remote location.
  • Vehicle-shaped robot images VV1 and VV2 whose movements are controlled by vu 1 and yu 2 are displayed.
  • the car shape robots 3 and 450 of the real world and the car shape robot images VV 1 and VV 2 of the virtual world are artificially competed through the CG image V 10 with the special marker image, for example, the car on the screen
  • the vehicle shape robot 3 can be vibrated to create a sense of reality.
  • the car shape robot 304 moving on the screen 301 using the basic marker image MK or the special marker MKZ is moved on the screen of the liquid crystal display 2 or the large L CD 401.
  • the brightness: level is 0% to 100%. It consists of a position detection area PD 1 1 in which a plurality of vertical stripes varying linearly up to 1 are displayed.
  • a marker 1 image is displayed facing the sensors SR 1 and SR 2 of the automobile shape robot 3 and the brightness level is 0
  • a marker image consisting of a position detection area PD12 in which a plurality of horizontal stripes varying linearly from 100% to 100% are displayed so as to face the sensors SR3 and SR4 of the automobile shape port 3
  • the corresponding sensor SR 1 to SR 4 That the brightness level changes and vertical stripes and horizontal stripes. May be the current position and orientation on the screen so as to detect. Based on the number of changes and having traversed.
  • the basic marker image MK or the special marker image MK Z which is gradationized so that the luminance level changes linearly from 0% to 1%, may be used as a screen 30 1 A place where the current position and posture of the car shape robot 3 moving on the screen of the car shape robot 304, the liquid crystal display 2 and the large L CD 401 are moved.
  • the present invention is not limited to this, but the present invention is not limited to this, and while the luminance level is kept constant, it is possible to make a gradation by using two colors (for example, blue and yellow) in opposite colors on the hue circle. It is also possible to detect the current position and posture of the car shape mouth robot 3 based on the change in hue for the image.
  • the basic marker image MK or the special marker one image MKZ is projected by the projector 3 0 3, and the vehicle shape robot is based on the brightness level change detected by the sensor 3 11 1 to 3 1 5 of the vehicle shape robot 3 0 4. It is also possible to calculate the current position and attitude of the vehicle 3.
  • the car shape robot placed on the screen of the liquid crystal display 2 may be calculated.
  • the present invention is not limited thereto. While the tip is in contact with the special marker 1 image MKZ on the screen, the change in brightness level when the screen is moved by the user so that the screen can be traced is embedded in the tip of the pen-type stylus.
  • the current position of the pen-type device may be detected by the notebook PC 1 by detecting by a plurality of sensors and wirelessly transmitting it to the note PC 1. This enables the note PC 1 to reproduce the character faithfully according to the locus when the character is traced by the pen-type device.
  • the notebook PC 1 detects the current position of the car shape robot 3 according to the position detection program
  • the notebook PC 3 0 2 Described the case where the vehicle shape robot 304 and the vehicle shape robot 3 are indirectly moved and controlled in accordance with the mixed reality providing program, but the present invention is not limited to this and the position detecting program and the mixed reality provided Program stored on CD—R 0 M (Compact Disc-Read Only Memory), DVD-R 0 M
  • the above current position detection processing and indirect movement control processing for the car shape robot 304 and car shape robot 3 are executed by installing on the notebook PC 1 and the laptop PC 302 via the storage medium. You may do so.
  • the image MKZ is constituted by a CPU 310 and a GPU 3 1 4 as index image generation means, sensors SR 1 to SR 5 as brightness level detection means, and a CPU 3 10 0 as position detection means
  • the present invention is not limited to this, and the above-described position detection device may be configured by index image generation means, brightness level detection stage and position detection means having other various circuit configurations or software configurations. You may ' ⁇ ⁇ ⁇
  • a suite PC 302 as an information processing apparatus for constructing a mixed reality providing system is used as an index image generation means and an index image movement means as a CPU 310 and a GPU 3 14.
  • the car-shaped robots 3 and 304 as mobile units are constituted by sensors SR 1 to SR 5 as brightness level detection means, MCU 3 21 as position detection means, and MC U as movement control means.
  • An information processing apparatus comprising index image generation means and index image movement means, brightness level detection means, position detection means and movement control means constitute a mixed reality providing system as described above. Also good. Industrial availability,
  • the position detection device, the position detection method, the position detection program, and the combined actual providing system according to the present invention include, for example, stationary and portable game devices, mobile phones, PDAs (Personal Digital Assistants), D ⁇ D (Digital Versatile Disc)
  • the present invention can be applied to various electronic devices capable of fusing a target object in the real world such as a player and a CG image in a virtual world.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computer Graphics (AREA)
  • Architecture (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Processing Or Creating Images (AREA)
  • Image Analysis (AREA)

Abstract

本発明は、従来に比して簡易な構成で現実世界の対象物の画面上における位置を高精度に検出できるようにする。本発明は、輝度レベルがX軸方向及びY軸方向へ次第に変化するようにグラデーション化された複数の領域からなる特殊マーカー画像MKZを生成し、液晶ディスプレイ2の画面上における自動車形状ロボット3と対向した位置に当該特殊マーカー画像MKZを表示し、当該特殊マーカー画像MKZの位置検出領域PD1A、PD2A、PD3及びPD4におけるX軸方向及びY軸方向の輝度レベル変化をそれぞれ検出するため自動車形状ロボット3に設けられたセンサSR1～SR4により輝度レベル変化を検出し、その輝度レベル変化に基づいて特殊マーカー画像MKZと自動車形状ロボット3との相対的位置関係の変化を算出することにより液晶ディスプレイ2の画面上での位置を検出することができる。

Description

位置検出装置、 位置検出方法、 位置検出プログラム及び複合現実提供シス テム 技術分野
本発明は、 位置検出装置、 位置検出方法、 位置検出プログラム及び複合 明
現実提供システムに関し、 例えばディスプレイの提示映像上に対して物理 的に載置された現実世界の対象物体に対する位置を検出する用途及びこれ を利用したゲーム装置等の用途に適用し書て好適なものである。 背景技術
従来、 位置検出装置としては、 光学系、 磁気センサ系、 超音波センサ系 等により位置検出を行うものがあり、 特に光学系では理論的な計測精度が カメラの画素分解能と当該カメラの光軸間角度により決まってしまう。 そこで光学系の位置検出装置では、 輝度情報やマーカーの形状情報を併 せて用いることにより検出精度を向上させるようになされている （例えば
、 特許文献 1参照） 。 特許文献 1 特閧 2003- 103045公報。 ところでかかる構成でなる光学系の位置検出装置では、 カメラを用いる ために計測対象空間よりも更に大きな空間を必要とすること、 カメラから 隠れる部位の計測が出来ないので、 計測範囲が限られてしまうという不都 合があり、 更なる改善の余地がある。
また磁気センサ系の位置検出装置では、 計測空間に傾斜した静磁場を発 生させ、 その静磁場中に置かれたセンサュ、ニッ 卜の位置と姿勢の 6自由度 を計測するものである。 この位置検出装置では、 1つのセンサで 6 自由度 の計測ができ、 演算処理をほとんど必要しないためリアルタイムな計測が 可能である。
従って磁気センサ系の位置検出装置は、 光学系の位置検出装置に比べる と、 光に対する遮蔽物があっても計測することが可能であるが、 同時に計 測可能なセンサ数を増やすことが困難であり、 また計測対象空間の磁性体 や誘電体の影響を受け易く、 更には計測対象空間内に金属が多い場合は検 出精度が大きく劣化するという種々の問題がある。
さらに超音波センサ系の位置検出装置は、 超音波発信器を計測物体に取 り付け、 空間に固定した受信機との距離関係に基づいて計測物体の位置を 検出するよう.になされているが、 ジャィ 口センサや加速度計を併用して計 測物体の姿勢を検出するものもある。
この超音波センサ系の位置検出装置では、 超音波を用いているため、 力 メラよりは遮蔽物に強いが、 その遮蔽物が発信機と受信機の間に存在する ときは計測が困難な場合もある。 発明の開示
本発明は以上の点を考慮してなされたもので、 従来に比して簡易な構成 で現実世界の対象物の画面上又は表示対象上における位置を高精度に検出 し得る位置^出装置、 位置検出方法、 位置検出プログラム及び当該位置検 出方法を利用した複合現実提供システムを提案しょうとするものである。. かかる課題を解決するため本発明の位置検出装置、 位置検出方法及び位 置検出プログラムにおいては、 表示部上の第 1の方向 （X軸方向） 及び第 2の方向 （Y軸方向、 X軸とは直交関係にあるがこの関係に限るものでは ない） へ輝度レベルが次第に変化するようにグラデーシヨン化された複数 の領域からなる指標画像を生成し、 表示部上の移動体と対向した位置に当 該指標画像を表示し、 当該指標画像の複数の領域における X軸方向及び Y 軸方向の輝度レベル変化をそれぞれ検出するため移動体に設けられた輝度 レベル検出手段により輝度レベル変化を検出し、 その輝度レベル変化に基 づいて指標画像と移動体との相対的位置関係の変化を算出することにより 表示部上での位置を検出するようにする。
これにより、 指標画像のグラデーション化された複数の領域の輝度レべ ル変化に基づいて、 表示部上に載置された移動体の移動に伴う指標画像と 当該移動体との相対的位置関係の変化を算出することができるので、 その 算出結果を基に移動体の表示部上における移動に伴う位置を正確に検出す ることができる。
また本発明の位置検出装置においては、 表示対象上で移動する移動体の 位置を検出する位置検出装置であって、 表示対象上の X軸方向及び Y軸方 向へ輝度レベルが次第に変化するようにグラデーション化された複数の領 域からなる指標画像を生成し、 表示対象上を移動する移動体の上面に対し て表示する指標画像生成手段と、 指標画像の複数の領域における X軸方向 及び Y軸方向の輝度レベル変化をそれぞれ検出するため移動体の上面に設' けられた輝度レベル検出手段と、 輝度レベル検出手段によって検出した検 出結果に基づいて指標画像と移動体との相対的位置関係の変化を算出する ことにより表示対象上での位置を検出する位置検出手段とを設ける'ように する。
これにより、 表示対象上を移動する移動体の上面に対して表示される指 標画像のグラデーション化された複数の領域の輝度レベル変化に基づいて 、 移動体の移動に伴う指標画像と当該移動体との相対的位置関係の変化を 算出することができるので、 その算出結果を基に移動体の移動に伴う表示 対象上における位置を正確に検出することができる。
また本発明においては、 情報処理装置によって表示部の画面上に表示さ れる映像と、 当該画面上に載置された移動体とを対応させながら当該移動 体の動きを制御することにより、 映像と移動体とが融合された複合現実感 を提供する複合現実提供システムであって、 情報処理装置は、 画面上の X 軸方向及び Y軸方向へ輝度レベルが次第に変化するようにグラデーション 化された複数の領域からなる指標画像を生成し、 表示部上の移動体と対向 した位置に映像の一部として指標画像を表示する指標画像生成手段と、 予 め定められた移動命令又は所定の入力手段を介して入力された移動命令に 従って指標画像を画面上で移動させる指標画像移動手段とを具え、 移動体 は、 指標画像の複数の領域における X軸-方向及び Y軸方向の輝度レベル変 化をそれぞれ検出するため移動体に設けられた輝度レベル検出手段と、'指 標画像移動手段によって移動された指標画像に対し、 輝度レベル検出手段 によって検出した輝度レベル変化に基づいて指標画像と移動体との相対的 位置関係の変化を算出することにより表示部上における移動体の現在位置 を検出する位置検出手段と、 移動体の現在位置ど移動後の指標画像の位置 との差分を無くすように追従させることにより、 指標画像に合わせて移動 体を移動させる移動制御手段とを設けるようにする。
これにより複合現実提供システムそは、 情報処理装置が表示部の画面上 に表示した指標画像を当該画面上で動かしたときに、 その指標画像に表示 部の画面上に載置された移動体を追従させることができるので、 指標画像 を介して移動体を間接的に移動制御することができる。
さらに本発明においては、 情報処理装置によって表示対象上に表示され る映像と、 当該表示対象上に載置された移動体とを対応させながら当該移 動体の動きを制御することにより、 映像と移動体とが融合された複合現実 感を提供する複合現実提供システムであって、 情報処理装置は、 表示対象 上の X軸方向及び Y軸方向へ輝度レベルが次第に変化するようにグラデー ション化された複数の領域からなる指標画像を生成し、 表示対象上を移動 する移動体の上面に対して表示する指標画像生成手段と、 予め定められた 移動命令又は所定の入力手段を介して入力された移動命令に従って指標画 像を表示対象上で移動させる指標画像移動手段とを具え、 移動体は、 指標 画像の複数の領域における X軸方向及び Y軸方向の輝度レベル変化をそれ それ検出するため移動体の上面に設けられた輝度レベル検出手段と、 指標 画像移動手段によって移動された指標画像に対し、 輝度レベル検出手段に よって検出した輝度レベル変化に基づいて指標画像と移動体との相対的位 置関係の変化を算出することにより表示対象上における移動体の現在位置 を検出する位置検出手段と、 移動体の現在位置と移動後の指標画像の位置 との差分を無ぐすように追従させることにより、 指標画像に合わせて移動 体を移動させる移動制御手段とを設けるようにする。
これにより複合現実提供システムでは、 情報処理装置が移動体の上面に 表示した指標画像を動かしたときに、 その指標画像に移動体を追従させる ことができるので、 移動体の載置場所を選ぶことなく、 表示対象を選ぶこ となく何れの場所であっても指標画像を介して移動体を間接的に移動制御 することができる。 '
本発明によれば、 指標画像のグラデーション化された複数の領域の輝度 レベル変化に基づいて移動体の移動に伴う指標画像と当該移動体との相対 的位置関係の変化を算出することができるので、.移動体の表示部上におけ る移動に伴う位置を正確に検出することができ、 かく して従来に比して簡 易な構成で対象物の画面上における位置を高精度に検出し得る位置検出装 置、 位置検出方法及び位置検出プログラムを実現することができる。
. また本発明によれば、 表示対象上を移動する移動体の上面に対して表示 される指標画像のグラデーション化された複数の領域の輝度レベル変化に 基づいて、 移動体の移動に伴う指標画像と当該移動体との相対的位置関係 の変化を算出することができるので、 その算出結果を基に移動体の移動に 伴う表示対象上における位置を正確に検出し得る位置検出装置、 位置検出 方法及び位置検出プログラムを実現することができる。
さらに本発明によれば、 情報処理装置が表示部の画面上に表示した指標 画像を当該画面上で動かしたときに、 その指標画像に表示部の画面上に載 置された移動体を追従させることができるので、 指標画像を介して移動体 を間接的に移動制御し得る複合現実提供システムを実現することができる さらに本発明によれば、 情報処理装置が移動体の上面に表示した指標画 像を動かしたときに、 その指標画像に移動体を追従させることができるの で、 移動体の載置場所を選ぶことなく、 表示対象を選ぶことなく何れの場 所であっても指標画像を介して移動体を間接的に移動制御し得る複合現実 提供システムを実現することができる。 図面の簡単な説明
図 1は、 位置検出装置による位置検出原理の説明に供する略線図である 図 2は、 自動車形状ロボッ 卜の構成 （ 1 ) を示す略線的斜視図である。 図 3は、 基本マーカー画像を示す略線図である。
図 4は、 基本マーカー画像を用いた位置検出方法及び姿勢検出方法の説 明に供する略線図である。 .
図 5は、 センサのサンプリングレートの説明に供す'る略線図である。 . 図 6は、 特殊マーカ一画像を示す略線図である。
図 7は、 特殊マーカー画像の輝度レベル分布を示す略線図である。
図 8は 特殊マーカー画像を用いた位置検出方法及び姿勢検出方法の説 明に供する略線図である。
図 9は、 対象物体主導型の複合現実表現システムを示す略線図である。 図 1 0は、 コンピュー夕装置の構成を示す略線的プロック図である。 図 1 1は、 対象物体主導型の複合現実表現処理シーケンスの説明に供す るシーケンスチャートである。 ' 図 1 2は、 現実世界の対象物体と仮想世界の C G映像とが融合した擬似
3次元空間を示す略線図である。 図 1 3は、 仮想物体モデル主導型の複合現実表現システムを示す、略線図 である。 .
図 1 4は、 仮想物体モデル主導型の複合現実表現処理シーケンスを示す シーケンスチャートである。 - 図 1 5は、 変形例としての複合現実表現システムを示す略線図である。 図 1 6は、 変形例としてのハーフミラーを用いた複合現実表現システム を示す略線図である。 ' ' 図 1 7は、 変形例としての現実世界の対象物体に対する移動制御の説明 に供する略線図である。
図 1 8は、 上面照射型の複合現実提供装置を示す略線図である。
図 1 9は、 特殊マーカ一画像付き C G映像を示す略線図である。
図 2 0は、 自動車形状ロボッ 卜の構成 （ 2 ) を示す略線図である。
図 2 1は、 ノート P Cの回路構成を示す略線的プロック図である。
図 2 2は、 自動車形状ロボッ トの構成を示す略線的プロック図である。 図 2 3は、 光通信時の特殊マーカ一画像を示す略線図である。
図 2 4は、 アーム部の動作の説明に供する略線図である。.
図 2 5は、 上面照射型の複合現実提供装置を示す略線図である。
図 2 6は、 応用例の説明に供する略線的斜視図である。
図 2 7は、 他の実施の形態におけるマーカ一画像を示す略線図である。 発明を実施するための最良の形態 .
以下、 図面について、 本発明の一実施の形態を詳述する。
( 1 ) 位置検出原理 ' ( 1 - 1 ) 位置検出装置
本実施の形態では、 本発明における位置検出装置の基本となる位置検出 原理について最初に説明する。 図 1に示すように、 位置検出装置として用 いられるノートブック型パーソナルコンピュータ （以下、 これをノート P Cと呼ぶ） 1では、 その液晶ディスプレイ. 2の画面上に載置された自動車 形状ロボッ ト 3の当該画面上における位置変化を検出するため、 当該自動 車形状ロボッ ト 3と対向する画面上に対して基本マーカー画像 M K (後述 する） を表示するようになされている。
自動車形状ロボッ ト 3は、 図 2 ( A ) に示すように、 略直方体形状でな る本体部 3 Aの左右両側に 4個の車輪が設けられていると共に、 前面部に は物を掴むためのアーム部 3 Bが設けられた構造を有しており、 外部のリ モートコン トローラ （図示せず） による無線操^に応じて液晶ディスプレ ィ 2の画面上を移動し得るようになされている。
また自動車形状ロボッ ト 3は、 図 2 ( B ) に示すように、 その底面の所 定位置に、 液晶ディスプレイ 2の画面上に映し出される基本マーカ一画像 M K (図 1 ) と対応すべき 5個のフォ ト トランジスタでなるセンサ S R 1 〜 S R 5が設けられており、 センサ S R 1及び S R 2が本体部 3 Aの先端 側及び後端側に配置されると共に、 センサ S R 3及び S R 4が本体部 3 A の左右両側に配置され、 センサ S R 5が本体部 3 Aのほぼ中心に配置され ている。
ノート P C 1 (図 1 ) は、 所定の位置検出プログラムに従い、 自動車形 状ロボヅ ト 3のセンサ S R 1〜 S R 5によって受光した基本マーカ一画像 M Kの輝度レベルデ一夕を無線又は有線により当該自動車形状ロボ、夕 ト 3 から受け取り、 それに基づいて自動車形状ロボ.ッ ト 3の画面上における位 置変化を算出し、 現在位置や自動車形状ロボッ ト 3の向き .（姿勢） を検出 し得るようになされている。
( 1 - 2 ) 基本マーカー画像を用いた位置検出方法
ここで、 図 3に示すように基本マーカー画像 M Kは、 水平方向及び垂直 方向から 4 5度ずれた位置に設けられた境界線を介して 9 0度の範囲によ り区分けされた扇形状でなる位置検出領域 P D 1〜P D 4及び、 当該基本 マ一力一画像 M Kの中心に設けられた円形状でなるリファレンス領域 R F によって構成されている。
位置検出領域 P D 1〜P D 4は、 その領域 で輝度レベルが 0 %〜 1 0 0 %まで線形的 （リニア） に変化するようにグラデーション化されており 、 この場合、 位置検出領域 P D 1〜P D 4の全てにおいて反時計回り方向 へ輝度レベルが 0 %〜 1 0 0 %まで次第に変化するようになされている。 但し、 位置検出領域 P D 1〜P D 4においては、 これに限るものではなく 、 時計回り方向へ輝度レベルが 0 %〜 1 0 0 %まで次第に変化するように なされていても良い。
' 因みに、 基本マ一力一画像 M Kにおける位置検出領域 P D 1〜P D 4の 各輝度レベルは全て 0 %〜 1 0 0 %まで線形的 （リニア） に変化するよう にグラデーション化されている必要は必ずしもなく、 例えば S字状カーブ を描く ように非線形的に変化するようにグラデーション化されていても良 い。 ' ―
リファレンス領域 R Fは、 その輝度レベルが位置検出領域 P D 1〜 P D 4とは異なった 5 0 %に固定されており、 ノート P C 1による自動車形状 ロボッ ト 3に対する位置検出計算の際に環境光や外乱光の影響を取り除く ために輝度レベルの参照領域として設けられている。
実際上、 図 4 ( A ) 真中に示すように、 自動車形状ロボッ 卜 3の底面に 設けられたセンサ S R 1〜 S R 5と、 基本マ一力一画像 M Kの位置検出領 域 P D 1〜P D 4及びリファレンス領域 R Fのほぼ中央とがそれぞれ対向 するように当該基本マーカー画像 M Kが液晶ディスプレイ.2に表示された 二ユートラル状態 （各輝度レベルが 5 0 %の 「中」 状態） を基本として、 当該自動車形状ロボッ ト 3が X軸に沿って右方向へ並進した場合、 図 4 ( A ) 右に示すようにセンサ S R 1の輝度レベル a 1が 「中」 状態から 「喑 」 状態へ変化すると共に、 センサ R 2の輝度レベル a 2が 「中」 状態か ち 「明」 状態へ変化する。
また、 自動車形状ロボッ ト 3が X軸に沿って左方向へ並進した場合も同 様に、 図 4 (A) 左に示すようにセンサ SR Iの輝度レベル a 1が 「中」 状態から 「明」 状態へ変化すると共に、 センサ S R 2の輝度レベル a 2が 「中」 状態から 「暗」 状態 変化する。 但し、 センサ SR 3の輝度レベル a 3、 センサ SR 4の輝度レベル a 4及びセンサ SR 5の輝度レベル a 5 については一切変化しない。
つてノート P C 1は、 自動車形状ロボッ ト 3から供給されるセンサ S R 1の輝度レベル a 1及びセンサ SR 2の輝度レベル a 2を参照すること により X方向のずれ dxを、 次式 dx = p l (a 2 -a l ) …… ( 1 ) によって求めることが出来る。 ここで、 p iは比例係数であり、 位置検出 空間における環境光やキヤリブレーションに応じてダイナミ ックに変化さ せることが可能な値である。 因みに、 図 4 (A) 真中に示すように、 X方 向に一切ずれのない状態では、 （ 1 ) 式の （a 2— a l ) が 「0」 になる ので、 ずれ dxの値も当然 「0」 となる。 . . 、 同様にノート P C 1は、 自動車形状ロボッ ト 3から供給されるセンサ S R 3の輝度レベル a 3及びセンサ S R 4の輝度レベル a 4を参照すること により y方向のずれ を、 次式 d y二 p 2 ( a 4— a 3 ) …… ( 2 ) . によって求めることが出来る。 ここで、 p 2も P 1と同様に比例係数であ り、 位置検出空間における環境光やキヤリブレーションに応じてダイナミ ックに変化させることが可能な値である。 因みに、 y方向に一切ずれのな い状態では、 （ 2 ) 式の （ a 4— a 3 ) が 「 0」 になるので、 ずれ d yの 値も当然 「 0」 となる。 一方、 図 4 (B) 真中に示すように、 自動車形状ロボッ ト 3の底面に設 けられたセンサ S R 1〜S R 5と、 基本マーカー画像 MKの位置検出領域 P D 1〜 P D 4及びリファレンス領域 R Fのほぼ中央とがそれぞれ対向す るように当該基本マ一カー画像 MKが液晶ディスプレイ 2に表示きれた二 ユートラル状態 （各輝度レベルが 5 0 %の 「中」 状態） を基本として、 自 動車形状ロボッ ト 3が基本マーカー画像 MKに対して中心軸を動かすこと なく右旋回した場合、 図 4 (B) 右に示すようにセンサ S R 1の輝度レべ ル a l、 センサ S R 2の輝度レベル a 2、 センサ S R 3の輝度レベル a 3 、 センサ S R 4の輝度レベル a 4が全て 「中」 状態から 「喑」 状態へ変化 する。 但し、 センサ S R 5の輝度レベル a 5については一切変化していな い。
同様に、 自動車形状ロボッ ト 3が基本マーカ一画像 MKに対して中心軸 を動かすことなく左旋回した場合、 図 4 (B) 左に示すようにセンザ S R ― 1の輝度レベル a 1、 センサ S R 2の輝度レベル a 2、 センサ S R 3の輝 度レベル a 3、 センサ S R 4の輝度レベル a 4が全て 「中」 状態から 「明 」 状態へ変化する。 但し、 この場合もセンサ S R 5の輝度レベル a 5につ いては一切変化していない。
従ってノート P C 1は、 自動車形状ロボッ ト 3から供給されるセンサ S R 1〜 S 4の輝度レベル a 1〜a 4及びリファレンス領域 R Fに対応し ' たセンサ S R 5の輝度レベル a 5をそれぞれ参照することによ り自動車形 状ロボッ ト 3の旋回角度 0を、 次式 . . . s i η θ = p 3 ( ( a l + a 2 + a 3 + a 4 ) - 4 x ( a 5 ) ) … （ 3 ) によって求めることが出来る。 ここで （ 3 ) 式では、 リ ファレンス領域 R Fの輝度レベル a 5を 4倍して減算していることにより、 基本マーカ一画 像 MK以外の環境光による影響を排除して、 正確な旋回角度 0を求めるこ とができるように配慮されている。
この場合も、 p 3は比例係数であり、 位置検出空間における環境光ゃキ ャ リブレーションに応じてダイナミ ックに変化させることが可能な値であ る。 因みに、 自動車形状ロボッ ト 3が.左右いずれにも 回していない状態 では、 （ 3 ) 式の （ （ a l + a 2 + a 3 + a 4 ) - 4 x ( a 5 ) ) が 「 0 」 になるため、 自動車形状ロボッ ト 3の旋回角度 0は 0度になる。
なおノート P C 1では、 自動車形状ロボッ ト 3のずれ d X、 d y及び旋 回角度 0については、 それぞれ同時に独立して計算することができるので 、 例えば自動車形状ロボッ ト 3が右方向へ並進しながら左方向へ旋回した 場合であっても、 当該自動車形状ロボッ ト 3の現在位置及び自動車形状口 ボッ ト 3の向き （姿勢） を算出し得るようになされている。
更にノート P C 1は、 液晶ディスプレイ 2の画面上に載置された自動車 形状ロボッ ト 3の本体部 3 Aが上下にその高さを変化させるための機構が 搭載されている場合、 その高さ Zについても検出し得るようになされてお り、 次式
Z = pA x ~ ( a l + a 2 + a 3 + a 4 ) ( 4 ) によって求めることができる。'この場合も、 p 4は比例係数であり、 位置 検出空間における環境光やキヤリブレーションに応じてダイナミ ヅクに変 化させることが出来る。
すなわち、 自動車形状ロボッ ト 3の高さ Zが変化すると、 センサ S R 1 〜 S R 4の輝度レベル a 1〜 a 4が全て変化するので、 （ 4 ) 式によって 自動車形状ロボヅ ト 3の高さ Zを求めることができるのである。 因みに、 ( 4 ) 式では、 点光源の場合に距離の 2乗で輝度レベルが減衰することか ら平方根が用いられている。
このようにノート P C 1は、 自動車形状ロボッ ト 3が液晶ディスプレイ 2の画面上で移動したときのずれ d x、 d y及び旋回角度 Sに基づいて現 在位置及び姿勢を検出し、 移動前後における現在位置の差分に応じて基本 マーカー画像 MKを自動車形状ロボッ ト 3の底面と対向するように移動さ せることにより、 液晶ディスプレイ 2の画面上であれば自動車形状ロボッ ト 3を終始追従しながら現在位置及び姿勢を検出し得るようになされてい る。
ところでノ一.卜 P C 1では、 図 5に示すように基本マ一カー画像 MKを 液晶デイスプレイ 2の画面上に表示するフレーム周波数又はフィ一ル ド周 波数よりも、 センサ S R 1〜S R 5による輝度レベル a l〜a 5のサンプ リング周波数の方が高いため、 当該フレーム周波数又はフィ一ルド周波数 には依存することなく 自動車形状ロボッ 卜 3の現在位置及び姿勢を高速に 検出し得るようになされている。 ' 実際上、 ノート P C 1は、 例えばフレーム周波数が X (= 3 0 ) [Hz]の 場合、 画面が更新される 1/X秒の間であっても自動車形状ロボッ ト 3は 液晶ディスプレイ 2の画面上を移動しているが、 そのときであってもセン サ S R 1〜 S R 5によるサンプリング周波数 ADがフレーム周波数 X [Hz] よりも高いので、 位置検出を行う際の追従可能速度 Vとしては、. 次式
V = X +△ D ······ ( 5 ) によって表され、 自動車形状ロボッ ト 3が高速移動中であってもフレーム 周波数又はフィールド周波数に依存することなく高精度に現在位置を検出 し得るようになされている。
( 1一 3 ) 特殊マ一力一画像を用いた位置検出方法
上述のような基本マーカ一画像 MKを用いた位置検出方法では、 上述し たニュー 卜ラル状態から左右方向へ自動車形状ロボッ 卜 3が高速に旋回し 、 センサ S R 1、 センサ S R 2、 センサ S R 3及びセンサ S R 4が位置検 出領域 P D 1〜P D 4を乗り越えてしまった場合、 例えば旋回角度 0 = + 4 6度を旋回角度 0 =— 44度と誤検出してしまい、 自動車形状ロボッ ト 3に対して基本マーカー画像 MKをニュートラル状態に戻す際に逆方向へ 補正してしまうことが起こりえる。
また基本マーカー画像 MKでは、 位置検出領域 P D 1〜P D 4との境界. 部分で輝度レベルが 0 %から 1 00 %又は 1 0 0 %から 0 %へ急激に変化 するため、 輝度レベル 1 0 0 %の部分の光が輝度レベル 0 %の部分に漏れ 込んで誤検出の要.因にもなる。
そこでノート P C 1では、 図 6に示すように基本マーカ一画像 MKをも う一段階発展させた特殊マーカー画像 MK Zを用いるようになされている 。 この特殊マーカー画像 MK Zは、 図 7に示すように基本マ一力一画像 M K (図 6 ) の位置検出領域 P D 3及び P D 4をそのままにして、 基本マー カー画像 MKの位置検出領域 P D 1及び P D 2の輝度レベルを逆時計回り 方向ではなく、 時計回り方向へ 0 %〜 1 0 0 %まで線形的 （リニア） に変 化するようにグラデ一ション化きせた位置検出領域 P D 1 A及び P D 2 A を用いたものである。
従って特殊マ一カー画像 MK Zは、 基本マーカー画像 MKとは異なり、 輝度レベルが 0 %から 1 0 0 %へ急激に変化する部分が一切ないように全 体的にグレデ一ション化されており、 基本マ一カー.画像 MKのように輝度 レベル 1 00 %の部分の光が輝度レベル 0 %の部分に漏れ込むといった事 態を予め回避するようになされている。
また特殊マーカ一画像 MK Zは、 自動車形状ロボッ ト 3の動きに応じて 、 位置検出領域 P D 1 A、 P D 2 A、 P D 3及び P D 4の範囲内でセンサ S R 1、 センサ S R 2、 センサ S R 3及びセンサ S R 4が移動する x軸方 向及び y軸方向に対してその輝度レベル a 1、 a 2、 a 3、 & 4が0 %〜 1 0 0 %の間を線形的に変化するようになされている。
更に特殊マーカー画像 MK Zは、 自動車形状ロボッ ト 3の旋回に応じて
1 、 位置検出領域 PD 1 A、 P D 2 As P D 3及び PD 4の範囲内でセンサ S R 1、 センサ SR 2、 センサ S R 3及びセンサ S R 4が移動する円周方 向に対してその輝度レベル a 1、 a 2、 a 3、 a 4が 0 %〜 ： L 0 0 %〜0 %〜 1 0 0 %〜 0 %へ 3 6 0度の範囲で線形的に変化するようになされて いる。
因みに、 特殊マーカ一画像 MK Zにおける位置検出領域 P D 1 A、 PD 2 A、 P D 3、 PD 4の各輝度レベルは全て 0 %〜 1 0 0 %まで線形的に 変化するようにグラデーション化されている必要は必ずしもなく、 例えば S字状カーブを描くように ^線形的に変化するようにグラデーション化さ れていても良い。
また特殊マーカ一画像 MK Zは、 自動車形状ロボッ ト 3がニュートラル 状態から旋回し、 センサ S R 1、 センサ S R 2、 センサ S R 3及びセンサ S R 4が位置検出領域 P D 1 A、 P D 2 A、 P D 3及び P D 4の範囲から 乗り越えてしまったときであっても、 例えば旋回角度 0二 + 4 6度を、 旋 回角度 0 = + 44度とし'て検出する程度の誤差で済み、 基本マーカ一画像 MKに比べて検出誤差を低減することが出来ると共に、 自動車形状ロボッ 卜 3に対する追従性能をも向上させ得るようになされている。
従ってノート P C 1では、 移動した自動車形状ロボヅ ト 3に対して移動 分のずれが生じた特殊マーカー画像 MK Zを当該自動車形状ロボッ 卜 3の 底面に設けられたセンサ S R 1〜 S R 5と対向させるように二ユマ卜ラル 状態へ戻す際、 基本マーカー画像 MKのときのような符号誤り.により逆方. 向へ動かしてしまうよう,な事態を回避し得るようになされている。
実際上、 自動車形状ロボッ ト 3がニュートラル状態から右方向へ並進し た場合、 図 8 ( A) 右に示すようにセンサ S R 1の輝度レベル a 1が 「中 」 状態から 「明」 状態へ変化すると共に、 センサ S R 2の輝度レベル a 2 が 「中」 状態から 「喑」 状態へ変化する。
また、 自動車形状ロボッ ト 3がニュートラル状態から左方向へ並進した
1 場合も同様に、 図 8 ( A) 左に示すように「センサ S R 1の輝度レベル a 1が 「中」 状態から 「喑」 状態へ変化すると共に、 センサ S R 2の輝度レ ベル a 2が 「中」 状態から 「明」 状態へ変化する。 但し、 この場合もセン サ S R 3の輝度レベル a 3、 センサ S R の輝度レベル a 4及びセンサ S R 5の輝度レベル a 5については一切変化しない。
従ってノート P C 1は、 自動車形状ロボッ ト 3から供給されるセンサ S R 1の輝度レベル a 1及びセンサ S R 2の輝度レベル a 2を参照すること により、 上述した （ 1 ) 式に従って、 X方向のずれ d Xを求めることが出 来る。 · "
同様にノート P C 1は、 自動車形状ロボヅ ト 3から供給されるセンサ S R 3の輝度レベル a 3及びセンサ S R 4の輝度レベル a 4を参照すること により、 y方向のずれ d yを上述した （ 2 ) 式に従って求めることが出来 る。 .
一方、 図 8 (B) 真中に示すように、 自動車形状ロボッ ト 3の底面に設 けられたセンサ S R 1〜 S R 4と、 特殊マーカ一画像 MK Zの位置検出領 域 P D 1 A、 P D 2.A、 PD 3、 P D 4のほぼ中央とが対向するように当 該特殊マーカ一画像 MK Zが液晶ディスプレイ 2に表示された二ユートラ ル状態 （各輝度レベルが 50 %の 「中」 '状態） を基本として、 自動車形状 ロボヅ ト 3が特殊マーカ一画像 MK Zに対して中心軸をそのままにニュー トラル状態から右旋回した場合、 図 8 (B) 右に示すようにセンサ S R 1. の輝度レベル a 1、 ゼ.ンサ S R 2の輝度レベル. a 2が 「中」 状態から 「明 」 状態へ変化するものの、 センサ S R 3の輝度レベル a 3、 センサ S R 4 の輝度レベル a 4については 「中」 状態から 「喑」 状態へ変化する。
同様に、 自動車形状ロボッ ト 3が特殊マーカー画像 MK Zに対して中心 軸をそのままにニュートラル状態から左旋回した場合、 図 8 (B) 左に示 すようにセンサ S R 1の輝度レベル a 1、 センサ S R 2の輝度レベル a 2 が 「中」 状態から 「喑」 状態へ変化するものの、 センサ S R 3の輝度レべ ル a 3、 センサ S R 4の輝度レベル a 4が 「中」 状態から 「明」 状態へ変 化する。
従ってノート P C 1は、 自動車形状ロボヅ ト 3から供給されるセンサ S R 1〜センサ S R 4の輝度レベル a 1〜輝度レベル a 4をそれぞれ参照す ることにより、 旋回角度 d6>を次式 s i n d 0 = p 6 ( ( a 3 + a 4 ) ― ( a 1 + a 2 ) ) · ····· ( 6 ) によって求めることが出来る。 この場合も、 p 6は比例係数であり、 位置 検出空間における環境光やキヤリブレーシヨンに応じてダイナミ ックに変 化させることが出来る。 すなわち、 旋回していない状態では、 （ 6 ) 式の ( ( a 3 + a 4 ) - ( a 1 + a 2 ) ) が 「0」 になるため旋回角度 d 0は 0度になる。 .ここで、 （ 6 ) 式では （ （ a 3 + a 4) - ( a 1 + a 2 ) ) の符号によって右旋回であるか左旋回であるかを判別し得るようになされ ている。 ' , この場合、 基本マーカー画像 MKのときの （ 3 ) 式と比較すると、 特殊 マ一力一画像 MK Zのときの （ 6 ) 式では、 ( ( a 3 + a 4 ) 一 ( a 1 + a 2 ) ) のように減算処理を行っていることから、 基本マーカー画像 MK のリファレンス領域 R Fに対する輝度レベル a 5を用いる必要がない。.従 つて基本マーカー画像 MKでは、 仮に輝度レベル a 5にセンサ Π 5固有 の,誤差が生じていた場合には、 その誤差も 4倍されてしまうが、 特殊マー カー画像 MK Ζの場合はそのようなことがない。
またノート P C 1は、 特殊マ一カー画像 MK Ζのときの （ 6 ) 式を用い た場合、 基本マーカ一画像 ΜΚのときの （ 3 ) 式のように輝度レベル a 1 、 a 2、 a 3、 a 4を全て加算するのではなく、 （ 6 ) 式の （ （ a 3 + a 4 ) - ( a 1 + a 2 ) ) のように減算することにより、 輝度レベル a 1、 a 2、 a 3、 a 4の全てに対して外乱光等による均一な誤差が生じていて も、 それを減算により相殺することができる分だけ、 簡易な計算式により 旋回角度 d 0を高精度に検出することが出来るようになされている。
なおノート P C 1では、 自動車形状ロボッ ト 3のずれ d x、 d y及び旋 回角度 d Θについては、 それそれ同時に独立して計算することができるの で、 例えば自動車形状ロボッ ト 3が右方向へ並進しながら左方向へ旋回し た場合であっても、 当該自動車形状ロボッ ト 3の現在位置及び自動車形状 ロボッ ト 3の向き （姿勢） を算出することが可能である。
更にノート P C 1は、 液晶ディスプレイ 2の画面上に載置された自動車 形状ロボ.ッ ト 3.の本体部 3 Aが上下にその高さを変化させるための機構が 搭載されている場合、 基本マーカ一画像 M Kのときと同様に特殊マーカ一 画像 M K Zを用いた場合にも、 その高さ Zについて検出し得るようになさ れており、 上述の （ 4 ) 式に従って求めることができる。 .
このようにノート P C 1は、 自動車形状ロボッ ト 3が液晶ディスプレイ 2の画面上で移動したときのずれ d x、 d y及び旋回角度 d Θに基づいて 現在位置及び姿勢を検出し、 移動前後における現在位置の差分に応じて特 殊マーカ一画像 M K Zを自動車形状ロボッ 卜 3の底面と対向するように移 動させることにより、 液晶ディスプレイ 2の画面上であれば自動車形状口 ボッ ト 3の現在位置を追従させながらリアルタイムに終始検出し得るよう になされている。
ところで、 この場合もノー卜 P C 1では、 特殊マーカ一画像 M K Zを液 晶ディスズレイ 2.の画面に表示するフレーム周波数又はフィールド周波数 よりも、 センサ S R 1〜S R 4による輝度レベルのサンプリング周波数の 方が高いため、 当該フレーム周波数又はフィールド周波数には依存するこ. となく 自動車形状ロボッ ト 3の現在位置及び姿勢を高速に検出し得るよう になされている。
上述したような位置検出原理を基本的な考え方として応用した具体的な 複合現実提供システムを次に説明するが、 その前に、 液晶ディスプレイ 2 の画面上に載置した自動車形状ロボッ ト 3を物理的な現実世界の対象物体 とし、 その対象物体を画面上で動かしたとき、. その実際の動きに連動させ て画面上の背景画像を動かしたり、 対象物体の動きに合わせて仮想物体モ デルの付加画像を生成して画面上に表示する複合現実表現システムの基本 概念について最初に説明する。
( 2 ) 複合現実表現システムの基本概念
この複合現実表現システムでは、 基本的に 2通りめ考え方がある。 第 1 には、 液晶ディスプレイゃスクリーン等でなる種々の表示手段に表示され た映像に重ねるように配置されている現実世界の対象物体をユーザが動か したとき、 その実際の動きに連動させて背景画像を動かしたり、 その動き に合わせて付加すべき仮想物体モデルの付加画像を生成して表示する対象 物体主導型の複合現実表現システムである。
また第 2には、 液晶ディスプレイ等の表示手段に表示された映像に重ね るように配置ざれている琅実世界の対象物体に対して、 その現実世界の対 象物体に対応した仮想世界の対象物体モデルをコンピュー夕上で動かした とき、 その仮想世界の対象物体モデルの動きに連動させて現実世界の対象 物体を実際に軌かしたり、 その仮想世界の対象物体モデルの動きに合わせ て付加すべき仮想物体モデルの付加画像を生成して表示する仮想物体モデ ル主導型の複合現実表現'システムである。
これら 2通り存在する対.象物体主導型の複合現実表現システムと、 仮想 物体モデル主導型の複合現実表現システムについて以下具体的に説明する
( 2 - 1 ) 対象物体主導型の複合現実表現システムにおける全体構成 図 9において、 1 0 0は全体として対象物体主導型の複合現実表現シス テムを示し、 コンピュータ装置 1 0 2から供給される仮想世界のコンビュ 一夕グラフィクス （ C G ) 映像 V Iをプロジェクタ 1 0 3からスクリーン 1 0 4上に投影する。 仮想世界の C G映像 V 1が投影されたスクリーン 1 0 4上には、 ユーザ 1 0 6がラジオコントローラ （以下、 これを単にラジコンと呼ぶ） 1 0 7 を介して遠隔操作するための例えば戦車の模型等でなる現実世界の対象物 体 1 0 5が載置され、 スクリーン 1 0 4上の C G映像 V 1に対して現実世 界の対象物体 1 0 5が重ねられるように位置付けられる。
現実世界の対象物体 1 0 5は、 ユーザ 1 0 6のラジコン 1 0 7に対する 操作に応じてスクリーン 1 0 4上を自在に動くことができるようになされ ており、 そのどき複合現実表現システム 1 0 0ではスク リーン 1 0 4上に おける現実世界の対象物体 1 0 5の 2次元的な位置や 3次元的な姿勢 （こ の場合は、 動き） を磁気式又は光学式の計測装置 1 0 8により動き情報 S 1 として取得し、 その動き情報 S 1 をコンピュー夕装置.1 0 2の仮想空間 構築部 1 0 9へ送出する。 '
また、 ユーザ 1 0 6のラジコン 1 0 7に対する操作に応じて例えば現実 世界の対象物体 1 0 5から仮想世界の C G映像 V 1を通してミサイルゃレ 一ザを発射するとか、 バリアーを展開するとか、 或いは機雷を設置する等 を行わせるための命令が出されると、 当該ラジコン 1 0 7からその命令に 応じた制御信号 S 2がコンピュータ装置 1 0 2の仮想空間構築部 1 0 9へ 送出される。
仮想空間構築部 1 0 9は、 スク リーン 1 0 4上を動き回る現実世界の対 象物体 1 0 5に対応した仮想世界の対象物体モデルをコンピュー夕装置 1 0 2上で生成する対象物体モデル生成部 1 1 0、 ラジコン 1 0 7からの制 御信号 S 2に応じて現実世界の対象物体 1 0 5に仮想世界の C G映像 V I を介して付与すべき仮想物体モデル （例えばミサイル、 レーザ、 バリアー 及び機雷等） を生成する仮想物体モデル生成部 1 1 1、 スク リーン 1 0 4 に表示する背景画像を生成する背景画像生成部 1 1 2、 ユーザ 1 0 6のラ ジコン操作に応じて動かす対象物体 1 0 5に合わせて背景画像を変化させ たり、 対象物体 1 0 5の動きに合わせて仮想物体モデルを付与する等の種 々の物理計算を行う物理計算部 1 1 3によって構成されている。 従って仮想空間構築部 1 0 9は、 物理計算部 1 1 3により、 現実世界の 対象物体 1 0 5から直接取得した動き情報 S 1に基づい、て仮想世界の対象 物体モデルをコンピュータ装置 1 0 2が作る情報世界の中で仮想的に動か し、 その動きに応じて変化させた背景画像や、 対象物体モデルに付与する 仮想物体モデル等のデータ D 1を映像信号生成部 1 1 4へ送出する。
ここで背景画像の表示内容としては、 現実世界の対象物体 1 0 5の進行 方向に合わせて矢印マークを表示したり、 現実世界の対-象物体 1 0 5にお ける画面上の動きに応じて周りの景色を変化させて表示することが考えら れる。 '
映像信号生成部 1 1 4は、 背景画像及び仮想物体モデル等のデータ D 1 を基に現実世界の対象物体 1 0 5に対して背景画像を連動させ、 かつ仮想 物体モデルを付与するための C G映像信号 S 3を生成し、 その C G映像信 号 S 3に応じた仮想世界の C G映像 V 1をプロジェクタ 1 0 3からスク リ —ン 1 0 4上に投影することにより、 当該仮想世界の C G映像 V 1 と現実 · 世界の対象物体 1 0 5とをスクリーン 1 0 4上で融合した擬似 3次元空間 からなる複合現実感をユーザに体感させ得.るようになされている。
因みに、 映像信号生成部 1 1 4では、 仮想世界の C G映像 V 1をスク リ ーン 1 0 4上に投影する際、 現実世界の対象物体 1 0 5における表面部分 に対して C G映像 V 1の一部が投影されてしまうことを回避するために、 現実世界の対象物体 1 0 5に対応する対象物体モデルの位置及び大きさに 基づいて当該対象物体 1 0 5に相当する箇所の映像だけを抜き取り、. かつ 対象物体 1 0 5の周囲に影が付与されるような C G映像信号 S 3を生成す るようになされている。
なお複合現実表現システム 1 0 0では、. プロジェクタ 1 0 3からスク リ ーン 1 0 4上に投影した仮想世界の C G映像 V 1 と現実世界の対象物体 1 0 5とが重ねられることにより形成される擬似 3次元空間を、 スク リーン 1 0 4を肉眼で目視確認することが可能な全てのユーザ 1 0 6に対して提 供し得るようになされている。
その意味では対象物体主導型の複合現実表現システム 1 0 0は、 いわゆ . るビデオシ一スルータイプというよりは、 外界の光が直接ユーザ 1 0 6に 届く光学シースルータイプと呼ばれる範疇に属するものといえる。
( 2— 1— 1 ) コンピュータ装置の構成
このような対象物体主導型の複合現実表現システム 1 0 0を実現するた めのコンピュ" ~夕装置 1 0 2 としては、 図 1 0に示すように、 全体を統括 制御する C P U (Central Processing Unit) 1 2 1に対し、 ノ ス 1 2 9を 介して R O M (Read Only Memory) 1 2 2、 R A M (Random Access Memory) 1 2 3、 ハー ドディスク ドライブ 1 2 4、 映像信号生成部, 1 1 4、 L C D (Liquid Crystal Display)でなるディスプレイ 1 2 5、 動き情 報 S 1や制御信号 S 2を受け取ったり、 現実世界の対象物体 1 0 5を動か すための動作命令を与えるィンタフエース 1 2 6及びキーボード等の入力 部 1 2 7が接続された構成を有し、 ハードディスク ドライブ.1 2 4から読 み出して R A M 1 2 3上に展開した基本プログラム及び複合現実表現プロ グラムに従って C P U 1 2 1が所定め処理を実行することにより仮想空間 構築部.1 0 9をソフ トウェア的に実現するようになされている。
( 2— 1— 2 ) 対象物体主導型の複合現実表現処理シーケンス
. 次に、 対象物体主導型の複合現実表現システム.1 0 0において現実世界 の対象物体, 1 0.5の動きに連動させて仮想世界の. C G映像 V I .を変化させ る対象物体主導型の複合現実表現処理シーケンスについて説明する。 . 図 1 1に示すように、 対象物体主導型の複合現実表現処理シーケンスで は、 現実世界における処理の流れと、 コンピュータ装置 1 0 2が行う仮想 . 世界の処理の流れに大きく分けることができ、 それぞれの処理結果をスク リーン 1 0 4上で融合するようになされている。
具体的に、 ユーザ 1 0 6はステップ S P 1においてラジコン 1 0 7に対 する操作を行い、 次のステップ' S P 2へ移る。 この場合、 スクリーン 1 0 4上に載置された現実世界の対象物体 1 0 5を移動させるための命令を与 えたり、 現実世界の対象物体 1 0 5に仮想物体モデルとしてのミサイルや レーザーを付加するための命令を与える等の種々の操作が考えられる。 現実世界の対象物体 1 0 5は、 ステップ S P 2においてラジコン 1 0 7 からの命令を受けてユーザのラジコン 1 0 7に対する操作に応じた動作を スク リーン 1 0 4上で実際に実行する。 このとき計測装置 1 0 8は、 ステ ップ S P 3において、 スク リーン 1 0 4上を実際に動いた現実世界の対象 物体 1 0 5の当該スク リーン 1 0 4上における 2次元的な位置や 3次元的 な姿勢を計測し、 その動き情報 S 1を計測結果として仮想空間構築部 1 0 9へ送出する。
一方、 仮想空間構築部 1 0 9では、 ステップ S P 4において、 ユーザ 1 0 6のラジコン操作に応じてラジコン 1 0 7から供給された制御信号 S 2 (図 9 ) がスクリーン 1 0 4上の 2、次元的な位置を示すものであった場合 、 当該制御信号 S 2に応じて仮想物体モデル生成部 1 1 1により仮想世界 の対象物体モデルを生成し、 それを仮想空間上で 2次元的に移動させる。
また仮想空間.構築部 1 0 9では、 ステヅプ S P 4において、 ラジコン操 作により供給された制御信号 S 2が 3次元的な姿勢 （動き） を示すもので あった場合、 当該制御信号 S 2に応じて仮想物体モデル生^部 1 1 1によ り仮想世界の対象物体モデル,を生成し、 それを仮想空間上で 3次元的に動 かす。 .
続いて仮想空間構築部 1 0 9は、 ステップ S P 5において、 計測装置 1 0 8から供給された動き情報 S 1を物理計算部 1 1 3で読み込み、 ステヅ プ S P 6において、 動き情報 S 1を基に仮想世界上の対象物体モデルを動 かすときの背景画像や、 対象物体モデルに付与する仮想物体モデル等のデ 一夕 D 1を算出する。
そして仮想空間構築部 1 0 9は、 ステップ S P 7において、 物理計算部
2 1 1 3における算出結果であるデータ D 1を仮想世界の C G映像 V 1に反 映させるように信号処理する。 コンピュータ装置 1 0 2の映像信号生成部 1 1 4は、 ステップ S P 8において、 ステップ S P 7の反映結果として現 実世界の対象物体 1 0 5に連動させるようにした C G映像信号 S 3を生成 し、 当該 C G.映像信号 S 3をプロジェクタ 1 0 3へ出力する。
プロジェクタ 1 0 3は、 ステップ S P 9において、 その C G映像信号 S 3に応じた図 1. 2に示すような仮想世界の C G映像 V 1をプロジェクタ 1 0 3からスク リーン 1 0 4上に投影する。 この仮想世界の C G映像 V 1は 、 森、 ビルディ ング等の背景画像に現寒世界の対象物体 1 0 5を見かけ上 融合させ、 ユーザ 1 0 6の遠隔操作による現実世界の対象物体 1 0 5の動 きを契機として当該現実世界の対象物体 1 0 5 (右側）， かち他のユーザが 遠隔操作する現実世界の対象物体 1 0 5 (左側） へレーザビーム等の仮想 物体モデル V M 1が付与された瞬間である。 ：
従ってプロジェクタ 1 0 3は、 ユーザ 1 0 6が遠隔操作する現実世界の 対,象物体 1 0 5の動きに背景画像や仮想物体モデルを連動させた状態の仮 想世界の C G映像 V 1をスク リーン 1 0 4上で現実世界の対象物体 1 0 5 にオーバーラップさせることにより、 現実世界の対象物体 1 0 5 と仮想世 界の C G映像 V 1 とをスクリーン 1 0 4上でユーザに違和感を生じさせる ことがないように融合ざせ得るようになされている。
このとき現実世界の対象物体 1 0 5は、 スク リーン 1 0 4上に仮想世界 の C G映像 V 1が投影された場合、 当該現実世界の対象物体 1 ひ 5におけ. る表面部分に対して仮想世界の C G映像 V 1の一部が投影されてしまうこ とがなく、 かつ現実世界の対象物体 1 0 5の周囲に対して影 1 0 5 Aが画 像として付与されることになるため、 現実世界の対象物体 1 0 5 と仮想世 界の C G映像 V 1 とが融合することによって一段と臨場感に溢れた擬似 3 次元空間が構築される。
これによりユーザ 1 0 6は、 ステップ S P 1 0 (図 1 1 ) において、 ス ク リーン 1 0 4上に表示された仮想世界の C G映像. V 1 と現実世界の対象 物体 1 0 5 とが融合された擬似 3次元空間を目視確認することにより、 従 来に比して一段と機能拡張された臨場感に溢れた複合現実感を体感するこ とができるようになされている。
( 2— 1— 3 ) 対象'物体主導型の複合現実表現システムにおける動作及び 効果
以上の構成において、 対象物体主導型の複合現実表現システム 1 0 0で は、 ユーザ 1 0 6により実際に'動かされた現実世界の対象物体 1 0 5 と連 動した仮想世界の C G映像 V 1をスク リーン 1 ひ 4に投影することにより 、 当該現実世界の対象物体 1 0 5 と仮想世界の C G映像 V 1 とをスク リー ン 1 0 4上でオーバーラップさせる。
このように対象物体主導型の複合現実表現システム 1 0 0では、 現実世 界の対象物体 1 0 5における動きに合わせた仮想世界の C G映像 V 1をス クリーン 1 0 4に投影することにより、 現実世界の対象物体 1 0 5におけ る 2次元的な位置の変化に合わせて動く背景画像や、 また現実世界の対象 · 物体 1 0 5における 3次元的な姿勢 （動き） 等に合わせて付与されたレー ザ等の仮想物体モデルを介して、 現実世界の対象物体 1 0 5と仮想世界の .C G映像 V 1 とを同一空間上で融合した擬似 3次元空間を提供することが できる。
これによりユーザ 1 0 6.は、 現実世界の対象物体 1 0 5.をスクリーン.1 4上でラジコン操作しながら動かしたときに、 現実世界の対象物体 1 0 5に連動した背景画像の変化や、 付与される仮想物体モデルを目視確認す ることにより、 従来のような 2次元的な映像だけを用いた M R (Mixed Reality)技術による複合現実感よりも一段と臨場感に溢れた 3次元的な複 合現実感を体感することができる。
また対象物体主導型の複合現実表現システム 1 0 0では、 現実世界の対 象物体 1 0 5における実際の動きに背景画像や仮想物体モデルを追従させ
2 た仮想世界の C G映像 V 1を当該現実世界の対象物体 1 0 5に対して重畳 させることにより、 現実世界と仮想世界との対話を具現化させることがで き、 従来よりもエンターティンメン ト性を一段と向上させることができる 以上の構成によれば、 対象物体主導型の複合現実表現システム 1 0 0で は現実世界の対象物体 1 0 5と、 当該現実世界の対象物体 1 0 5における 実際の動きと連動した仮想世界の C G映像 V 1 とをスク リーン 1 0 4上で 混合させることにより、 現実世界と仮想世界とを融合した擬似 3次元空間 を当該スク リ ン 1 0 4上で表現し、 当該擬似 3次元空間を介して従来よ りも一段と臨場感に優れた複合現実空間をユーザ 1 0 6に対して体感させ ることができる。
( 2 一 2 ) 仮想物体モデル主導型の複合現実表現システムにおける全体構 成
図 9 との対応部分に同一符号を付して示す図 1 3において、 2 0 0は全 体として仮想物体モデル主導型の複合現実表現システムを示し、 コンビュ 一夕装置 1 0 2から供給される仮想世界の C G映像 V 2をプロジェクタ 1 0 3からスクリーン 1 0 4上に投影する。
仮想世界の C G映像. V 2が投影されたスクリーン 1 0 4上には、 ユーザ 1 0 6が入力部 1 2 7を介して間接的に遠隔操作するための現実世界の対 象物体 1 0- 5が載置され、 スクリーン 1 0 4上の C G映像 V 2に対して現 実世界の対象物体 1. 0 5が重ねられるように位置付けられる。 .
この仮想物体モデル主導型の複合現実表現システム 2 0 0においても、 コンピュータ装置 1 0 2の具体的構成に: 3いては、 対象物体主導型の複合 現実表現システム 1 0 0におけるコンピュータ装置 1 0 2 (図 1 0 ) と同 一であるため、 ここではその構成について説明を省略する。 なお、 基本プ ログラム及び複合現実表現プログラムに従って C P U 1 2 1が所定の処理 を実行することにより仮想空間構築部 1 0 9をソフ トウエア的に実現する 点についても対象物体主導型の複合現実表現システム 1 0 0におけるコン ビュー夕装置 1 0 2と同様である。
仮想物体モデル主導型の複合現実表現システム 2 0 0では、 対象物体主 導型の複合現実表現システム 1 0 0 とは異なり、 ユーザ 1 0 6が現実世界 の対象物体 1 0 5を直接動かすのではなく、 当該現実世界の対象物体 1 0 5に相当する仮想世界の対象物体モデルを介して間接的に現実世界の対象 物体 1 0 5を動かすようになされている。
すなわち仮想物体モデル主導型の複合現実表現システム 2 0 0では、 入 力部 1 2 7に対するユーザ 1 ひ 6の操作に応じて現実世界の.対象物体 1 0 5に相当する仮想世界の対象物体モデルをコンピュー夕装置 1 0 2上で仮 想的に動かすことが可能であり、 その対象物体モデルを.動かすときの指令 信号 S 1 2を当該対象物体モデルにおける変化情報として仮想空間構築部 1 0 9へ送出するようになされている。
すなわちコンピュータ装置 1 0 2は、 仮想空間構築部 1 0 9の物理計算 部 1 1. 3によりユーザ 1 0 6からの指令信号 S 1 2.に応じて仮想世界の対 象物休モデルを当該仮想的に動かし、 その場合の仮想世界の対象物体モデ ルの動きに連動して背景画像を動かしたり、 付与すべき仮想物体モデルを 生成し、 仮想世界の対象物体モデルの動きに連動して変化させた背景画像 や、 仮想世界の対象物体モデルに付与すべき仮想物体モデル等のデータ D 1 を映像信号生成部 1 1 4へ送出する。
このとき同時に仮想空間構築部 1. 0 9の物理計算部 1 1 3では、 仮想世 界の中で動かした対象物体モデルの位置や動きに応じて生成した制御信号 S 1 4を現実世 の対象物体 1 0 5へ供給することによって、 仮想世界の 対象物体モデルの動きに現実世界の対象物体 1 0 5を連動させながら動か し得るようになされている。
また、 このとき映像信号生成部 1 1 4は、 背景画像及び仮想物体モデル 等のデータ D 1を基に C G映像信号 S 1 3を生成し、 その C G映像信号 S
2 1. 3に応じた仮想世界の C G映像 V 2をプロジェクタ 1 0 3からスク リー ン 1 0 4上に投影することにより、 仮想世界の対象物体モデルに連動した 動きを有する現実世界の対象物体 1 0 5に合わせて背景画像を変化させか つ仮想物体モデルを付与することができるので、 当該仮想世界の ύ G映像 V 2 と現実世界の対象物体 1 0 5 とを融合した擬似 3次元空間からなる複 合現実感をユーザに体感させ得るようになされている。
因みに、 この場合の映像信号生成部 1 1 4においても、 仮想世界の C G 映像 V 2をスクリーン 1 0 4上に投影する際、 現実世界の対象物体 1 0 5 における表面部分に対して仮想世界の C G映像 V 2の一部が投影されてし ま.うことを回避し得るために、 現実世界の対象物体 1 0 5に対応する仮想 世界の対象物体モデルの位置及び大きさに基づいて当該対象物体モデルに 相当する箇所の映像だけを抜き取り、 かつ対象物体モデルの周囲に影が付 与された C G映像信号 S 1 3を生成するようになされている。
なお仮想物体モデル主導型の複合現実表現システム 2 0 0では、 プロジ ェク夕 1 0 3からスク リーン 1 0 4上に投影した仮想世界の C G映像 V 2 と現実世界の,対象物体 1 0 5 とが重ねられるようにして形成される擬似.3 次元空間を、 ス.クリーン 1 0 4を肉眼で目視確認することが可能な全ての ユーザ 1 0 6に対して提供し得るようになされており、 対象物体主導型の 複合現実表現システム 1 0 0 と同様に外界の光が直接ユーザ 1 0 6に届く 光学シースル一タイプと呼ばれる範疇に属するものである。
( 2 - 2 一 1.) 仮想物体モデル主導型の複合現実表現処理シ ケンス . . 次に、 仮想物体モデル主導型の複合現実表現システム 2 0 0において仮 想世界の対象物体モデルの動きに連動させて現実世界の対象物体 1 0 5を 実際に動かす仮想物体モデル主導型の複合現実表現処理シーケンスについ て説明する。 ' .
図 1 4に示すように、 仮想物体モデル主導型の複合現実表現処理シーケ ンスにおいても、 現実世界における処理の流れと、 コンピュー夕装置 1 0 2が行う仮想世界の処理の流れに大きく分けることができ、 それぞれの処 理結果をスク リーン 1 0 4上で融合するようになされている。
具体的に、 .ユーザ 1 0 6はステヅプ S P 2 1においてコンピュー夕装置 1 0 2の入力部 1 2 7に対する操作を行い、 次のステヅプ S P 2 2へ移る 。 この場合、 瑪実世界の対象物体 1 0 5ではなく、 コンピュータ装置 1 0 2が作り出す仮想世界に存在する対象物体モデルを移動又は動作させるた めの命令を与える種々の操作が考えられる。
仮想空間構築部 1 0 9では、 ステップ S P 2 2において、 コンピュータ 装置 1 0 2の入力部 1 2 7に対する入力操作に応じて仮想物体モデル生成 部 1 1 1により生成した仮想世界の対象物体モデルを動かす。
仮想空間構築部 1 0 9は、 ステップ S P 2 3において、 物理計算部 1 1 3により仮想世界の対象物体モデルの動きに合わせて変化させる背景画像 や、 当該対象物体モデルに付与する仮想物体モデル等のデータ D 1を算出 し、 かつ仮想世界の対象物体モデルの動きに合わせて現実世界の対象物体 1 0 5をスク リ.一ン.1 0 4上で実際に動かすための制御信号 S 1 .4 (図 1 3 ) を生成する。
そして仮想空間構築部 1 0 9は、 ステップ S P 2 4において、 物理計算 部 1 1 3における算出結果であるデータ D 1及び制御信号 S 1 4を仮想世 界の C G映像 V 1に反映させるように信号処理する。
そして映像信号生成部 1 1 4は、 ステップ S P 2 5において、 その反映 結果として仮想世界の対象物体モデルの動きに合わせた C G映像信号 S 1 3を生成し、 当該 C G映像信号 S 1 3をプロジェクタ 1 0 3へ出力する。 プロジェクタ 1 0 3は、 ステップ S P 2 6において、 その C G映像信号 S 1 3に基づいて、 図 1 2に示したような C G映像 V 1 と同様の C G映像 V 2をプロジェクタ 1 0 3からスク リーン 1 0 4上に投影する。
仮想空間構築部 1 .0 9は、 ステップ S P 2 7において、 ステップ S P 2 3の物理計算部 1 1 3により算出した制御信号 S 1 4を現実世界の対象物
2 体 1 0 5へ供給する。 現実世界の対象物体 1 0 5は、 ステップ S P 2 8に おいて、 仮想空間構築部 1 0 9から供給された制御信号 S 1 4に従ってス クリーン 1 0 4上を移動したり、 その姿勢 （動き） を変化させることによ り、 ユーザ 1 0 6の意図に従った動きを表現する。
従って仮想物体モデル主導型の複合現実表現システム 2 0 0においても 、 当該物理計算部 1 1 3により仮想世界の対象物体モデルの位置や動きに 応じて生成した制御信号 S 1 4を現実世界の対象物体 1 0 5へ供給するこ とによって、 仮想世界の対象物体モデルの動きに現実世界の対象物体.1 0 5を連動させて動かレ、 かつ仮想世界の対象物体モデルの動きに連動して 変化する仮想世界の C G映像 V 2を現実世界の対象物体 1 0 5にオーバー ラップさせることができるの 、 対象物体主導型の複合現実表現システム 1 0 0と同様に、 図 1 2に示したような擬似 3次元空間を構築し得るよう になされている。
このとき現実世界の対象物体 1 0 5は、 スク リーン 1 0 4上に仮想世界 の C. G映像 V 2.が投影された場合に、 当該現実世界の対象物体 1 0 5にお ける表面部分に対して仮想世界の C G映像 V 2の一部が投影されてしまう ことがなく、 かつ現実世界の対象物体 1 0 5の周囲に対して影が画像とし て付与されることになるため、 現実世界の対象物体 1 0 5と仮想世界の C G映像 V 2とが融合することによって一段と臨場感の溢れた擬似 3次元空 間が構築される。
これによりュ一ザ.1 0 6は、 ステップ S P 2 9において、：スクリーン 1 0 4上に表示された仮想空間の C G映像 V 2と現実世界の対象物体 1 0 5 とが融合された擬似 3次元空間を目視確認することにより、 従来に比して 一-段と機能拡張された臨場感に溢れた複合現実感を体感することができる ようになされている。 "
( 2 - 2 - 2 ) 仮想物体モデル主導型の複合現実表現システムにおける動 作及び効果 以上の構成において、 仮想物体モデル主導型の複合現実表現システム 2 0 0では、 ユーザ 1 0 6により動かされた仮想世界の対象物体モデルに連 動した仮想世界の C G映像 V 2をスクリーン 1 0 4上に投影すると共に、 仮想世界の対象物体モデルにおける動きに合わせて現実世界の対象物体 1 0 5を実際に動かすことがでぎる。 .
このように仮想物体モデル主導型の複合現実表現システム 2 0 0では、 現実世界の対象物体 1 0 5に相当する仮想世界の対象物体モデルをユーザ が動かしたことに連動して、 現実世界の対象物体 1 0 5及び仮想世界の C G映像 V 2を変化させることにより、 当該現実世界の対象物体 1 0 5 と仮 想世界の C G映像 V 2 とを同一空間上で融合した擬似 3次元空間を構築す ることができる。
これによりユーザ 1 0 6は、 現実世界の対象物体 1 0 5を直接操作しな くても、 仮想世界の対象物体モデルを入力部 1 2 7により操作して動かし たことに連動させて現実世界の対象物体 1 0 5を動かすと同時に、 仮想世 界の対象物体モデルの動きに連動した C G映像 V 2を目視確認することが できるので、 従来のような 2次元的な映像だけを用いた M R技術による複 合現実感よりも一段と臨場感に溢れた 3次元的な複合現実感を体感するこ とができる。 '
また仮想物体モデル主導型の複合現実表現システム 2 0 0では、 仮想世 界の対象物体モデルにおける動きに合わせて現実 1 界の対象物体 1 0 5を 実際に動かし、 かつ仮想世界の対象物体モデルにおける.動きに合わせて背 景画像や仮想物体モデルを追従させた仮想世界の C G映像 V 2を当該現実 世界の対象物体 1' 0 5に対して重畳させることにより、 現実世界と仮想世 界との対話を具現化させることができ、 従来よりもエンターテイ ンメ ン ト 性を,一段と向上させることができる。 '
以上の構成によれば、 仮想物体モデル主導型の複合現実表現システム 2 0 0では仮想世界の対象物体モデルを介して現実世界の対象物体 1 0 5'を 間接的に動かし、 その動きに連動した仮想世界の C G映像 V 2 と現実世界 の対象物体 1 0 5とをスクリーン 1 0 4上で混合させることにより、 現実 世界と仮想世界とを融合した擬似 3次元空間をスク リーン 1 0 4上で表現 し、 当該擬似 3次元空間を介して従来よりも一段と臨場感に優れた複合現 実感をユーザ 1 0 6に対して体感させることができる。
( 2— 3 ) 適用対象
ところで対象物体主導型の複合現実表現システム 1 0 0及び仮想物体モ デル主導型の複合現実表現システム 2 0 0においては、 その適用対象とし て上述した現実世界の対象物体 1 0 5を戦車等の模型に割り当てたゲーム 装置に用いるようにした場合を一例として説明したが、 それだけではなく 種々の適用対象が考えられる。
( 2— 3— ) 都市災害シミュレータへの適用例
具体的には、 対象物体主導型の複合現実表現システム 1 0 0及び仮想物 体モデル主導型の複合現実表現システム 0 0 'において、 例えば現実世界 の対象物体 1 0 5に都市を構築するビルディ ング等の建築模型を割り当て 、 仮想空間構築部 1 0 9の背景画像生成部 1 1 2によって都市の背景画像 を生成し、 仮想物体モデル生成部 1 1 1によって災害時に発生する火事.の 炎等を仮想物体モデルとして付与することによる仮想世界の C G映像 V 1 又は V 2をスクリーン 1 0 4上に投影することにより、 都市災害シミュレ 一夕に適用することができる。
特に、 この場合の対象物体主導型の複合現実表現システム 1. 0. 0.及び仮 想物体モデル主導型の複合現実表現システム 2 0 0では、 現実世界の対象 物体 1 0 5である建築模型に計測装置 1 0 8を埋め込み、 ラジコン 1 0 7 の操作により建築模型に埋め込まれた偏心モータを介して揺れさせたり.、 動かしたり、 ときには倒壊させることによって例えば地震を表現した場合 、 その現実世界の対象物体 1 0 5の動ぎに合わせて変化する仮想世界の C G映像 V 1又は V 2を投影することにより地震の揺れ、 火災、 建物の倒壊 といった状態変化を提示する。
このシミュレートした結果を基にコンピュー夕装置 1 0 2が、 揺れの大 きさに応じた破壊力の算出や、 建物の強度計算、 火災の広がりを予測し、 その結果を仮想世界の C G映像 V 1 として投影しながら、 現実世界の対象 物体 1 0 5である建築模型に対しても制御信号 S 1 4によりフィードバッ クして現実世界の対象物体 1 0 5を再度動かすことにより、 ユーザ 1 0 6 に対して現実世界と仮想世界とにより融合される擬似 3次元空間を視覚的 に提示することができる。
( 2— 3— 2 ) 音楽.ダンスゲームへの適用例
また対象物体主導型の複合現実表現システム 1 0 0及び仮想物体モデル 主導型の複合現実表現システム 2 0 0においては、 例えば現実世界の対象 物体 1 0. 5に人間を割り当て、 仮想世界の C G映 ft v 1又は V 2を表示す る対象としてディスコ或いはクラブ等のホールの床に敷き詰められた大型 のディスプレイを用い、 その大型のディスプレイの上を人間が踊るときの 動きを、 ディスプレイ表面に貼り付けられた透明電極を利用した夕ツチパ ネル等の感圧.デバイスにより リアルタイムに取得し、 その動き情報 S 1を コンピュータ装置 1 0 2の仮想空間構築部 1 0 9へ送出し、 人間が踊る動 きに対してリアルタイムに反応して変化する仮想世界の C G映像 V 1又は V 2を表示することにより、 人間が実際に踊って楽しむことができる音楽 ダンスゲーム装置に適用することができる。
これによりュ,一ザ 1. 0 6は、 人間が踊る動きに連動して変化する仮想世 界の C G映像 (V 1又は V 2を介して提供される擬似 3次元空間を介して、. 一段と臨場感に溢れかつ仮想世界の C G映像 V 1又は V 2の中で実際に踊 つているかのような感覚を体感することができる。
なお、 このときユーザ 1 0 6の好みの色やキャラクタ一を決めてもらい 、 ュ一ザ 1 0 6が踊っている最中にその動きに連動してキャラクタ一がュ 一ザ 1 0 6の影のようになって一緒に踊るような仮想世界の C G映像 V 1 又は V 2を仮想空間構築部 1 0 9により生成して表示することや、 ユーザ 1 0 6の血液型や年齢、 星座等のユーザ 1 0 6の好みによって選択される 項目に合わせて仮想世界の C G映像 V 1又は V 2の具体的内容を決定する ことも可能であり、 種々のバリエ一ションを展閧することができる。
( 2 - 4 ) 変形例
なお上述の対象物体主導型の複合現実表現システム 1 0 0及び仮想物体 モデル主導型の複合現実表現システム 2 0 0においては、 現実世界の対象 物体 1 0 5 として戦車の模型を用いるようにした場合について述べたが、 本発明はこれに限らず、 現実世界の対象物体 1 0 5 として人間や動物を用 いて、 その人間や動物における実際の動きに合わせてスクリーン 1 0 4上 の仮想世界の C G映像 V 1、 V 2を変化させることにより擬似 3次元空間 からなる複合現実感を提供するようにしても良い。
： また上述の対象物体主導型の複合現実表現システム 1 0 0及び仮想物体 モデル主導型の複合現実表現システム 2 0 0においては、 現実世界の対象 物体 1 0 5の 2次元的な位置や 3次元的な姿勢 （動き）. を磁気式又は光学 式の計測装置 1 0 8により動き情報 S 1 として取得し、 その動き情報 S 1 をコンピュータ装置 1 0 2の仮想空間構築部 1 0 9へ送出するようにした 場合について述べてが、 本 ¾明はこれに限らず、 図 9との対応部分.に同一 符号を付した図 1 5に示すように、 磁気式又は光学式の計測装置 1 0 8を 用いるのではなく、 スクリーン 1 0 4上に位置する現実世界の対象物体 1 0 5を計測カメラ 1 3 0によって一定時間間隔毎に順次撮像することによ り、 連続する 2枚の画像を比較して現実世界の対象物体 1 0 5におけるス クリーン 1 0 4上の 2次元的な位置や姿勢 （動き） 等の動き情報 S 1 を判 知するようにしても良い。 . · さらに上述の対象物体主導型の複合現実表現システム 1 0 0及び仮想物 体モデル主導型の複合現実表現システム 2 0 0においては、 現実世界の対 象物体 1 0 5の 2次元的な位置や 3次元的な姿勢 （動き） を磁気式又は光 学式の計測装置 1 0 8によって動き情報 S 1 として取得し、 その動き情報 S 1をコンピュータ装置 1 0 2の仮想空間構築部 1 0 9へ送出するように した場合について述べたが、 本発明はこれに限らず、 スクリーン 1 0 4の 代わりのディスプレイに C G映像信号 S 3及び S 1 3に基づく仮想世界の C G映像 V 1及び V を表示し、 その上に重ねるように現実世界の対象物 体 1 0 5を載置させると共に、 デイスプレイの表面に貼り付けられた透明 電極を利用した夕ツチパネル等の感圧デバイスにより現実世界の対象物体 1 0 5に関する動きの変化を動き情報 S 1 としてリアルタイムに取得し、 その動き情報 S 1をコンピュータ装置 1 0 2の仮想空間構築部 1 0 9へ送 出するようにしても良い。
さらに上述の対象物体主導型の複合現実表現システム 1 0 0及び仮想物 体モデル主導型の複合現実表現システム 2 0 0においては、 スク リーン 1 0 4を用いるようにした場合について述べたが、 本発明はこれに限らず、 C R T (Cathode Ray Tube Display)^ L C D (Liquid Crystal Display) 、 複数の表示素子の集合体であるジャンボトロン （登録商標) .のよ な大 型スクリーンディスプレイ等の種々の表示手段を用いるようにしても良い さらに上述の対象物体主導型の複合現実表現システム 1 0 0及び仮想物 体モデル主導型の複合現実表現システム 2 0 0においては、 スク リーン 1 0 4に±方向からプロ..ジェクタ 1 0 3によって仮想世界の C G映像 V 1及 び V 2を投影するよ.うにした場合について述べたが、 .本発明はこ.れに.限ら ず、 下方向からプロジェクタ 1 0 3によって仮想世界の C G映像 V 1及び V 2をスクリーン 1 0 4に投影したり、 又はプロジェクタ 1 0 3から投影 される仮想世界の C G映像 V 1及び V 2をハーフミラーを介して現実世界 の対象物体 1 0 5の前面側もしくは背面御に虚像として投影するようにし ても良い。
具体的には図 9との対応部分に同一符号を付した図 1 6に示すように、 対象物体主導型の複合現実表現システム 1 5 0ではコンビユー夕装置 1 0 2の映像信号生成部 1 1. 4から出力される C G映像信号 S 3に基づく仮想 世界の C G映像 V 1をハーフミラ一 1 5 1 を介して現実世界の対象物体 1 0 5の前面又は背面 （図示せず） に虚像として投影し、 当該現実世界の対 象物体 1 ひ 5の動きをハーフミラ一 1 5 1を介して計測カメラ 1 3 0で取 り込むことにより取得した動き情報 S 1をコンピュータ装置 1 0 2の仮想 空間構築部 1 0 9 へ送出する。 '- これにより対象物体主導型の複合現実表現システム 1 5 0は、 現実世界 の対象物体 1 0 5における実際の動きに連動した G映像信号 S 3を仮想 空間構築部 1 0 9にて生成し、 その C G映像信号 S 3に応じた仮想世界の C G映像 V 1をプロジェクタ 1 0 3及びハーフミラー 1 5 1 を介して現実 世界の対象物体 1 0 5.に重ねて投影することができるので、 この場合にも •現実世界の対象物体 1 0 5'と仮想世界の C G映像 V 1 とを同一空間上で融 合した擬似 3次元空間を構築し、 当該擬似 3次元空間を介して一段と臨場 感に溢れた.複合現実感をュ ザ 1 0 6に体感させることができる。 '
さらに上述した仮想物体モデル主導型の複合現実表現システム 2 0. 0に おいては、 ユーザ 1 0 6が入力部 1 2 7を操作することにより仮想世界の 対象物体モデルを介して現実世界の対象物体 1 0 5を間接的に動かすよう にした場合について述べたが、 本発明はこれに限ちず、 仮想世界の対象物 体モデルを介して現実世界の対象物体 1 0 5を動かすのではなぐ、 例えば ディスプレイ 1 2.5上に現実世界の対象物体 1 0 5が載置.され、.入力部 1 2 7を操作することにより当該現実世界の対象物体 1 0 5を移動させるた めの指示情報をディスプレイ 1 2 5上に表示させ、 その指示情報を現実世 界の対象物体 1 0 5に追従させることにより動かすようにしても良い。 具体的には図 1 7に示すように、 ディスプレイ 1 2 5上に載置された現 実世界の対象物体 1 0 5の真下に、 コンピュータ装置 1 0 2が表示する仮 想世界の C G映像 V 2の絵柄とは無関係の例えば市松模様でなる 4画素構 成の指示情報 S 'l 0を入力部 1 2 7からの命令に合わせて所定時間間隔毎 に矢印方向へ順次動かして表示する。
現実世界の対象物体 1 0 5には、 ディスプレイ 1 2 5上で所定時間間隔 毎に順次動きながら表示される指示情報 S 1 0を検出可能なセンサが対象 物体 1 0 5の下面に設けられており、 そのセンサによってディスプレイ 1 2 5上の指示情報 S 1 0を変化情報として検出し、 その指示情報 S 1 0を 追従ざせるようにする。
- これにより、 コンピュータ装置 1 0 2は、 仮想世界の対象物体モデルを 動かすことにより現実世界の対象物体 1 0 5を間接的に動かすのではなく 、 ディスプレイ 1 2 5上の指示情報 S 1 0を指定することにより現実世界 の対象物体 1 0 5を動かすことができる。
さらに上述した仮想物体モデル主導型の複合現実表現システム 2 0 0に おいては、 入力部 1 2 7を操作することにより得られた指令信号 S 1 2を 仮想空間構築部 1 0 9へ出力することにより仮想世界の対象物体モデルを 介して現実世界の対象物体 1 0 5を間接的に動かすようにした場合につい て述べたが、 本発明は.これに限らず、 カメラを介してスクリーン 1 .0 4上 に投影された仮想世界の C G映像 V 2を撮像し、 その撮像結果 (こ基づいて 現実世界の対象物体 1 0 5に制御信号 S 1 4を供給することにより、 当該 現実世界の対象物体 1 0 5を動かして仮想世界の C G映像 V 2 と連動させ る-ようにしても良い。 .
さらに上述の対象.物体主導型の複合現実表: £見システム 1 0 0及び仮想物 体モデル主導型の複合現実表現システム 2 0 0においては、 現実世界の対 象物体 1 0 5の状況を判知した結果の状況判知として、 現実世界の対象物 体 1 0 5の 2次元的な位置や 3次元的な姿勢 （動き） を示す動き情報 S 1 を取得するようにした場合について述べたが、 本発明はこれに限らず、 例 えば現実世界の対象物体 1 0 5がロボッ トであるときには当該ロボッ 卜の 表情の変化についても状況判知として取得し、 表情の変化に仮想世界の C G映像 V 1を連動させて変化させるようにしても良い。
さらに上述の対象物体主導型の複合現実表現システム 1 0 0及び仮想物 体モデル主導型の複合現実表現システム 2 0 0においては、 現実世界の対 象物体 1 0 5に対する実際の動きに連動して背景画像を変化させたり、 仮 想物体モデルを付与した仮想世界の C G映像 V 1.及び V 2を生成するよう にした場合について述べたが、 本発明はこれに限らず、 現実世界の対象物 体 1 0 5に対する実際の動きに連動して背景画像だけを変化させたり、 或 いは仮想物体モデルだけを付与するようにした仮想世界の C G映像 V 1及 び V 2を生成するようにしても良い。
さらに上述の対象物体主導型の複合現実表現システム 1 0 0及び仮想物 体モデル主導型の複合現実表現システム 2 0 0においては、 ユーザ 1 0 6 が遠隔操作する現実世界の対象物体 1 0 5 と仮想世界の C G映像 V 1及び V 2 との関係について述べたが、 本発明はこれに限らず、 ユーザ 1 0 6が 有する現実世界の対象物体 1 0 5と他人が有する瑪実世界の対象物体 1 0 5 との関係において、 両者が衝突したようなときに衝突したことを検出で きるよ にセンサを搭載しておき、 衝突判定の結果と.して衝突したことを 認識したときにば、 そのことを ト リガーとして現実世界の対象物体 1 0 5 に制御信号 S 1 4を出力して振動させたり、 仮想世界の C G映像 V 1及び V 2を変化させるようにしても良い。
さらに上述の対象物体主導型の複合現実表現システム 1 0 0においては 、 現実世界の対象物体 1: 0 5における動き情報 S 1に連動させて仮想世界 の C G映像 V 1 を変化させるようにした場合について述べたが、 本発明は これに限らず、 現実世界の対象物体 1 0 5に取り付け又は取り外し可能な パーツの装着状態又は非装着状態を検出し、 その検出結果に連動させて仮 想世界の C G映像 V 1を変化させるようにしても良い。
( 3 ) 位置検出原理を応用した具体的な複合現実提供システム
上述したように、 ここまでの説明では、 対象物体主導型の複合現実表現 システム 1 00及び仮想物体モデル主導型の複合規実表現システム 2 00 を通して、 現実世界の対象物体 1 0 5と、 仮想世界の C G映像 V 1、 V 2 とを同一空間上で融合した擬似 3次元空間を構築し、 3次元的な複合現実 感を表現するための基本概念について詳述したが、 （ 1 ) の位置検出原理 を基本的な考え方として応用した一層具体的な複合現実提供システムにつ いて、 2通り説明する。
( 3— 1 ) 上面照射型の複合現実提供システム
図 1 8に示すように上面照射型の複合現実提供システム 3 0 0では、 ス ク リーン 30 1に対して自動車形状ロボッ ト 3 04が載置された状態で、 ノート P C 3 0 2によって生成された特殊マーカー画像付き C G映像 V 1 0をプロジェクタ 30 3経由で当該スク リーン 3 0 1に対して投影させる ようになされている。
この特殊マ一カー画像付き C G映像 V 1 0は、 図 1 9に示すように、 そ のほぼ中央部分に上述した特殊マーカー画像 MK （図 7 ) が配置され、 周囲にはビル等の背景画像が配置されており、 スクリーン 3 0 1のほぽ中 央に自動車形状ロボッ ト 3 0 4が載置された場合、 当該自動車形状ロボッ ト 3 0'4の上面に相当する背中部分に特殊マ一カー画像 MK Zが投影され るようになされている。
図 20に示すように自動車形状ロボッ ト 3 04は、 自動車形状ロボッ ト 3 (図 2 ) と同棣に、 略直方体形状でなる本体部 3 04 Aの左右両側に 4 個の車輪が設け.られていると共に、 前面部には物を掴むためのァ -Λ部 3 0 4 Bが設けられた構造を有しており、 その背中部分に投影される特殊マ 一力一画像 MK Zに追従してスクリーン 3 0 1上を移動し得るようになさ れている。
また自動車形状ロボッ ト 3 04は、 その背中部分の所定位置に、 特殊マ 一力一画像付き C G映像 V 1 0の特殊マーカー画像 MK Zと対応付けられ た 5個のフォ ト トランジスタでなるセンサ S R 1〜 S R 5が設けられてお り、 センサ S R I及び S R 2が本体部 3 04 Aの先端側及び後端側に配置 されると共に、 センサ S R 3及び S R 4が本体部 30 4 Aの左右両側に配 置され、 センサ SR 5が本体部 3 04 Aのほぼ中心に配置されている。 従って自動車形状ロボッ ト 3 04は、 その背中部分のセンサ S R 1〜 S R 5が、 図 7に示したように、 特殊マーカ一画像 MK Zにおける位置検出 領域 P D 1 A、 PD 2 A、 P D 3及び P D 4の中心に位置しているニュー ト ラル状態を基本として、 特殊マーカー画像付き C G映像 V 1 0のフ レー ム又はフィ一ルドが更新される度に特殊マ一 *—画像 MK Zの位置が動い ていく と、 図 8 (A) 及び （B) に示したように、 センサ S R 1〜センサ S R 4の輝度レベルが変化し、 その輝度レベル変化に基づいて特殊マーカ —画像 MK Zと当該自動車形状ロボッ ト 3 04との相対的位置変化を算出 するようになされている。
そして自動車形状ロボッ ト 3 04は、 特殊マーカ一画像 MK Zと当該自 動車形状ロボッ ト ·3 04との相対的位置変化を 「 0」 にするように当該自 動車形状ロボッ ト 3 04が進行すべき方向及び座標を算出し、 その算出結 果に従ってスク リーン 3 0 1上を移動するようになされている。
ここでノート P C 3 0 2は、 図 2 1に示すように、 C P U (Central Processing Unit) 3 1 0が全体を統括制御し、 ノースブリ ッジ 3 1 1経 由でメモリ 3 1 2から読み出した基本プログラム及び複合現実提供プログ ラム等のアプリケ一ションプログラムに従って上述した特殊マ一力一画像 付き C G映像 V 1 0を G P U (Graphical Process ng Unit) 3 1 4によつ て生成させ得るようになされている。
またノート P C 3 0 2の C P U 3 1 0は、 コン トローラ 3 1 3を介して ユーザの入力操作をノースブリ ッジ 3 1 1経由で受け付け、 それが例えば 特殊マーカー画像 MK Zを動かすための方向及び量を意味するものであつ た場合、 その入力操作に応じて特殊マーカー画像 MK Zを画面中央から所 定方向へ所定量だけ動かした特殊マーカー画像付き C G映像 V 1 0を生成 するための命令を G P U 3 1 4へ供給する。
なおノート P C 3 0 2の C PU 3 1 0は、 コン トローラ 3 1 3を介して ユーザの入力操作を受け付けたとき以外で、 一連のシーケンスのなかで特 殊マ一カー画像 MK Zを動かすための方向及び量を意味するプログラムを 読み出したときにも、 当該特殊マーカー画像 MK Zを画面中央から所定方 向へ所定量だけ動かした特殊マーカー画像付き C G映像 V 1 0を生成する ための命令を G P U 3 1 4へ供給する。
G P U 3 1 4は、 C P U 3 1 0から供給された命令に従って特殊マ一力 一画像 MK Zを画面中央から所定方向へ所定量だけ動かした特殊マーカー 画像付き C G映像 V I 0を生成し、 これをプロジェクタ 30 3経由でスク リーン 3 0 1上に投影するようになされている。
一方、 自動車形状ロボッ ト 304は、 図 2 2に示すように、 その背中部 分に設けられたセンサ S R 1〜 S R 5によって特殊マ一カー画像 MK Zの 輝度レベルを当該センサ SR 1〜S R 5のサンプリング周波数に従って常 時検出しており、 その輝度レベル情報をアナログディジタル変換回路 3 2 2へ送出する。 '
アナログディジ夕ル変換回路 3 2 2は、 センサ S R 1〜S R 5からそれ それ供給されるアナログの輝度レベル情報をデイジタルの輝度レベルデ一 夕に変換し、 これを MCU(Micro computer Unit) 3 2 1へ供給する。
M C U 3 2 1は、 上述した （ i ) 式に従って X方向のずれ d x、 ( 2 ·) 式に従って y方向のずれ d y、 （ 6 ) 式に従って旋回角度 d Sを求めるこ. とが出来るので、 ずれ dx、 d y及び旋回角度 を 「 0」 にするための 駆動信号を生成し、 それをモ一夕 ドライバ 3 2 3及び 3 24絰由で車輪用 モー夕 3 2 5〜 3 2 8へ送出することにより、 本体部 3 04 Aの左右両側 に設けられた 4個の車輪を所定方向へ所定量だけ回転させるようになされ ている。
因みに自動車形状 ボッ ト 3 0 4は、 ワイヤレス L AN(Local Area N
4 et-
- work)ュニッ ト 3 2 9を搭載しており、 ノート P C 3 0 2の LANカー ド 3 1 6 (図 2 1 ) との間で無線通信することができるようになされている 。 従って自動車形状ロボヅ ト 3 04は、 MCU 3 2 1によって算出した X 方向のずれ d x、 y方向のずれ d y、 旋回角度 d 0に基づく現在位置及び 向き （姿勢） をワイヤレス LANユニッ ト 3 2 9によりノー卜 P C 3 0 2 ベ無線送信することが可能である。
ノート P C 3 0 2 (図 2 1 ) では、 自動車形状ロボッ 卜 3 04から無線 送信されてきた現在位置を 2次元座標値として L CD 3 1 5に数値表示し 、 自動車形状ロボッ 卜 3 04の向き （姿勢） を表すベク トルを L CD 3 1 5にアイコン表示することにより、 ユーザのコン トローラ 3 1 3に対する 入力操作に応じて移動させた特殊マ一カー画像 MK Zに自動車形状ロボッ ト 3 04が正確に追従してきているか否かを視覚的に目視確認させ得るよ うになされている。
またノート P C 3 0 2は、 図 23に示すように特殊マーカ一画像 MK Z の中心部分に所定径でなる点滅領域 Q 1を設けた特殊マーカー画像付き C G映像 V 1 0をスクリーン 3 0 1上に投影し得るようになされており、 こ の点滅領域 Q 1を所定周波数で点滅させることによりコン トローラ 3 1 3 を介してユーザによって入力された命令を光変調信号として自動車形状口 ボッ ト 3 04へ光通信するようになされている。
. このとき.自動車形状ロボッ ト 304の M C U 3 2 1はく 特殊マーカ一画 像付き C G映像 V 1 0の特殊マーカー画像 MK Zにおける点滅領域 Q 1の 輝度レベル変化を当該自動車形状ロボッ ト 3 04の背中部分に設けられた センサ S R 5によって検出し得るように.なされており、 その輝度レベル変 化に基づいてノ一ト P C 3 0 2からの命令を認識し得るようになされてい 。
例えば、 ノート P C 3 ◦ 2からの命令が自動車形状ロボッ 卜 3 04のァ ーム部 3 04 Bを動作させることを意味するものであった場合、 当該自動 車形状ロボッ ト 3 04の M C U 3 2 1は、 その命令に応じたモー夕制御信 号を生成してサーボモー夕 3 3 0及び 3 3 1 (図 2 2 ) を駆動することに よりアーム部 3 04 Bを動作させるようになされている。
実際上、 自動車形状ロボッ ト 304はノ一ト卩〇 3 0 2からの命令に従 つてアーム部 3 04 Bを動作させることにより、 図 24に示すように、 例 えばその目前にある缶をアーム部 3 04 Bによって保持することが可能と なる。
すなわちノート P C 3 0 2は、 特殊マ一力一画像付き C G映像 V 1 0に おける特殊マーカ一画像 MK Zを介してスク リーン 3 0 1上の自動車形状 ロボッ ト 3 04を間接的に移動制御し得ると共に、 当該特殊マ一カー画像 MK Zの点滅領域 Q 1を介して自動車形状ロボッ ト 3 04の動作をも間接 的に制御し得るようになされている。
因みにノート P C 3 0 2の C PU 3 1 0は、 ，L ANカード 3 1 6を介し て自動車形状ロボッ ト 3 0 4へ無線通信することにより、 特殊マーカ一画 像 MK Zを介することなく、 当該自動車形状ロボッ小 3 04の移動及び動 作を直接コン トロールすることも可能であり、 また上述の位置検出原理を 用いて自動車形状ロボッ.ト 3 04のスク リーン 3 0 1上の現在位置を検出 することも可能である。 '
さらにノート. P C 3 0 2では、 自動車形状ロボッ ト 3 04から無線送信 されてき.た現在位置.を認識し、 かつ特殊マ一力一画像付き. C G映像 V 1 0 の表示内容についても認識しているため、 例えば特殊マ一力一画像付き C G映像 V 1 0の表示内容として映し出されているビル等の障害物と、 自動 車形状ロボヅ ト 3 04とがスクリーン, 3 0 1の座標上で衝突したと判断し た場合、 特殊マーカ一画像 MK Zの動きを停止すると共に、 当該特殊マー カー画像 MK Zの点滅領域 Q 1を介して自動車形状ロボッ ト 3 04に振動 を生じさせる命令を供給し得るようになされている。 これにより自動車形状ロボッ ト 3 0 4の M C U 3 2 1は、 特殊マーカ一 画像 M K Zの動きの停止に併せて移動を停止すると共に、 特殊マーカー画 像 M K Zの点滅領域 Q 1を介して供給された命令に応じて内部モー夕を動 作させることにより、 本体部 3 0 4 Aに振動を生じさせ、 あたかも特殊マ —カー画像付き C G映像 V 1 0に映し出されたビル等の障害物に自動車形 状ロボッ ト 3 0 4が衝突して衝撃を受けたかのような印象をユーザに与え 、 現実世界の自動車形状ロボッ ト 3 0 4 と仮想世界の特殊マーカー画像付 き C G映像 V 1 0とを同一空間上で融合した擬似 3次元空間を構築するこ とができる。
その結果ユーザは、 現実世界の自動車形状ロボッ ト 3 0 4を直接操作し なくても、 仮想世界の特殊マーカー画像付き C G映像 V 1 0における特殊 マーカー画像 M K Zを介して自動車形状ロボッ ト 3 0 4を間接的に移動制 御することができると.同時に、 特殊マーカー画像付き C G映像 V 1 0の表 示内容と自動車形状ロボッ ト 3 0 4とを擬似的に融合した一段と臨場感に 溢れた 3次元的な複合現実感を体感することができる。
なお上面照射型の複合現実提供システム 3 0 0では、 プロジェクタ 3 ◦ 3により特殊マーカー画像付き C G映像 V 1 0の特殊マーカー画像 M K Z を自動車形状ロボッ ト 3 0 4の背中部分に投射するようになされているた め、 プロジェクタ 3 0 3により特殊マーカー画像 M K Zを自動車形状ロボ ッ ト 3 0 4の背中部分に投影することが出来れば、 特殊マーカー画像 M K Zの軌きに伴って自動車形状ロボッ 卜 3 0 4を移動させる際の場所を選ば ず、 床や道路の上で自動車形状ロボッ ト 3 0 4を移動制御することもでき る。
例えば、 上面照射型の複合現実提供システム 3 0 0では、 仮に壁掛け式 のスクリーン 3 0 1を用いた場合、 壁掛け式スク リーン 3 0 1の背後に設 けられた金属板と、 自動車形状ロボッ ト 3 ひ 4の底面に設けられた磁石と を介して、 壁掛け式スクリーン 3 0 1上に自動車形状ロボッ ト 3 0 4を載 置させ、 特殊マ一カー画像付き C G映像 V 1 0の特殊マ一力一画像 MK Z を介して当該自動車形状ロボッ 卜 3 0 4を間接的に移動制御することも可 能である。
( 3— 2 ) 下面照射型の複合現実提供システム
上述の上面照射型の複合現実提供システム 3 0 0 (図 1 8 ) とは逆に、 図 1及び図 1 8との対応部分に同一符号を付した図 2 5に示すように、 下 闻照射型の複合現実提供システム 4 0 0では、 大型 L C D 40 1の画面上 に自動車形状ロボッ ト 3が載置された状態で、. ノー十 P C 3 0 2によって 生成された特殊マーカ一画像付き C G映像 V 1 0を当該大型 L CD 4 0 1 に自動車形状ロボッ ト 3の下方から表示させるようになされている。
この特殊マ一力一画像付き C G映像 V 1 ひは、 図 1 9に示したように、 そのほぼ中央部分に上述した特殊マ一カー画像 MK Zが配置され、 周囲に はビル等の背景画像が配置ざれており、 大型 L CD 40 1のほぼ中央に自 動車形状ロボッ ト 3 04が截置された場合、 当該自動車形状ロボッ ト 3の 底面部分と特殊マーカー画像 MK Zとが対向するようになされている。
ここで自動車形状ロボッ ト 3の構造としては、 上述した図 2に示レた通. りであるため、 その説明については省略するが、 大型 L C D 4 0 1に表示 された特殊マ一カー画像付き C G映像 V 1 0の特殊マーカ一画像 MK Z ( 図 7 ) における位置検出領域 P D 1 A、 PD 2 A、 ？03及び 04の中 心にセンサ S R 1〜 S R 4が位置しているニュートラル状態を棊本と.して 、 特殊マ一カー画像付き C G映像 V 1 0のフレ ム又はフィ "ル.ドが更新 される度に特殊マ一力二画像 MK Zの位置が少しずつ動いていぐと、 図 8 (A) 及び （B) に示したように、 センサ S R 1〜センサ S R 4の輝度レ ベルが変化し、 その輝度レベル変化に基づいて特殊マーカ一画像 MK Zと 当該自動車形状ロボッ 卜 3との相対的位置変化を算出する。
そして自動車形状ロボッ ト 3は、 特殊マーカー画像 MK Zと当該自動車 形状ロボッ ト 3との相対的位置変化を 「 0」 にするように当該自動車形状
4 口ボッ 卜 3が進行すベき方向及び座標を算出し、 その算出結果に従つて大 型 L CD 4 0 1上を移動するようになされている。
ここでノート P C 3 0 2 (図 2 1 ) の C P U 3 1 0は、 コン トローラ 3 1 3及びノースプリ ッジ 3 1 1経由で受け付けたユーザの入力操作が特殊 マーカー画像 MK Zを動かすための方向及び量を意味するものであった場 '合、 その入力操作に応じて特殊マーカ一画像 MK Zを画面中央から所定方 向へ所定量だけ動かした特殊マーカー画像付き C G映像 V 1 0を生成する ための命令を G P U 3 1 4へ供給する。
この場合もノート P C 30 2の C P U 3 1 0は、 コン トローラ 3 1 3を '介してユーザの入力操作を受け付けたとき以外で、 一連のシーケンスのな かで特殊マーカ一画像 MK Zを動かすための方向及び量を意味するプログ ラムを読み出したときにも、 当該特殊マーカー画像 MK Zを画面中央から 所定方向へ所定量だけ動かした特殊マーカー画像付き C G映像 V 1 0を生 成するための命令を G PU 3 1 4へ供給する。
GP U 3 1 4は、 CPU 3 1 0から供給された命令に従って特殊マ一力 一画像 MK Zを画面中央から所定方向へ所定量だけ動かした特殊マーカー 画像付き C G映像 V 1 0を生成し、.これを大型 L C D 4 0 1に表示するよ うになされている。 ——
一方、 自動車形状ロボッ ト 3は、 底面部分に設けられたセンサ S R 1〜 S R 5によって特殊マーカ一画像 MK.Zの輝度レベルを所定のサンプリ ン グ周波数に従って常時検出しており、 その輝度レベル情報をアナ口グディ ジ夕ル変換回路 3 2 2へ送出する。
アナ口グディ ジタル変換回路 3 2 2は、 センサ S R l.〜 S R 5からそれ それ供給されるアナログの輝度レベル情報をディジタルの輝度レベルデー 夕に変換し、 これを M C U 3 2 1へ供給する。
M C U 3 2 1は、 上述した （ 1 ) 式に従って X方向のずれ d χ、 ( 2 ) 式に従って y方向のずれ d y、 （ 6 ) 式に従って旋回角度 d 0を求めるこ とが出来るので、 ずれ dx、 d y及び旋回角度 d ( を 「 0」 にするための 駆動信号を生成し、 それをモータ ドライバ 3 2 3及び 3 24経由で車輪用 モー夕 3 2 5〜 3 2 8へ送出することにより、 本体部 3 Aの左右両側に設 けられた 4個の車輪を所定方向へ所定量だけ回転させるようになされてい る。 ―
こ、の自動車形状ロボッ ト 3の場合も、 ワイヤレス L A Nユニッ ト 3 2 9 を搭載しており、 ノート P C 3 02との間で無線通信し得、 MCU 3 2 1 によって算出した X方向のずれ d x、 y方向のずれ d y、 旋回角度 に 基づく現在位置及び向き （姿勢） をノート P C 3 0 2へ無線送信し得るよ うになされている。
これによりノート P C 3 0 2 (図 2 1 ) では、 自動車形状ロボッ ト 3か ら無線送信されてきた現在位置を 2次元座標値として L C D 3 1 5に数値 表示し、 自動車形状ロボッ ト 3の向き （姿勢） を表したべク トルを L CD 3 1 5にアイコン表示することにより、 ユーザのコン トロ一ラ 3 1 3に対 する入力操作に応じて移動させた特殊マーカー画像 MK Zに自動車形状口 ボッ ト 3が正確に追従してきているか否かを視覚的に目視確認させ得るよ うになされている。
またノート P C 3 0 2は、 図 23に示したように特殊マーカー画像 M K Zの中心部分に所定径でなる点滅領域 Q 1を設けた特殊マーカー画像付き C G映像 V 1 0を大型 L C D 4 0 1に表示し得るようになされており、 こ の点滅領域. Q 1を所定周波数で点滅させることによりコン 卜ローラ .3.1 3 を介してユーザによって入力された命令を光変調信号として自動車形状口 ボッ ト 3へ光通信するようになされている。
このとき自動車形状ロボッ小 3の M C U 3 2 1は、 特殊マーカ一画像付 き C G映像 V 1 0の特殊マーカー画像 MK Zにおける点滅領域 Q 1の輝度 レベル変化を当該自動車形状ロボッ ト 3の底面に設けられたセンサ S R 5 によって検出し得るようになされており、 その輝度レベル変化に基づいて ノート P C 30 2からの命令を認識し得るようになされている。 ' 例えば、 ノート P C 3 0 2からの命令が自動車形状ロボッ ト 3のアーム 部 3 Bを動作させることを意味するものであった場合、 当該自動車形状口 ボッ ト 3の MCU 3 2 1は、 その命令に応じたモータ制御信号を生成して サ一ボモー夕 3 3 0及び 3 3 1.を駆動することによりアーム部 3 Bを動作 させるようになされている。
実際上、 自動車形状ロボッ ト 3はノ一 卜 P C 3 0 2からの命令に従って アーム部 3 Bを動作させることにより、 例えばその目前にある缶をアーム 部 3 Bにより保持することができる。
すなわちノート P C 3 0 2は、 自動車形状ロボッ ト 3を特殊マーカー画 像付き C G映像 V 1 0の特殊マーカー画像 MK Zを介して大型 L CD 40 1上を間接的に移動制御し得ると共に、 特殊マーカー画像 MK Zの点滅領 域 Q 1を介して自動車形状ロボッ ト 3の動作をも間接的に制御し得るよう になされている。
さらにノート P C 3 0 2では、 自動車形状口ボッ 卜 3かち無線送信され てきた現在位置を.認識し、 かつ特殊マーカー画像付き C G映像 V 1 0の表 示内容についても認識しているため、 例えば特殊マーカー画像付き C G映 像 V 1 0の表示内容として映し出されているビル等の障害物と、 自動車形 状ロボッ ト 3とが大型 L CD 40 1の画面の座標上で衝突レたと判断した 場合、 特殊マーカー画像 MK Zの動きを停止すると共に、 当該特殊マーカ 一画像 MK Zの点滅領域 Q 1.を介して自動車形状ロボッ ト 3に振動を生じ させる命令を供給するようになされている。
これにより自動車形状ロボヅ ト 3の M C U 3 2 1は、 特殊マ^カー画像 MK Zの動きの停止に併せて移動を停止すると共に、 特殊マーカー画像 M K Zの点滅領域 Q 1を介して供給された命令に応じて内部モー夕を動作さ せることにより、 本体部 3 Aに振動を生じさせ、 あたがも特殊マーカ一画 像付き C G映像 V 1 0に映し出されたビル等の障害物に自動車形状ロボッ
4 ト 3が衝突して衝撃を受けたかのような印象をユーザに与え、 現実世界の 自動車形状ロボッ ト 3 と仮想世界の特殊マーカー画像付き C G映像 V 1 0 とを同一空間上で融合した擬似 3次元空間を構築することができる。 . その結果ユーザは、 現実世界の自動車形状ロボッ ト 3を直接操作しなく ても、 仮想世界の特殊マーカ一画像付き C G映像 V 1 0における特殊マ一 カー画像 M K Zを介して自動車形状ロボッ ト 3を間接的に移動制御するこ とができると同時に、 特殊マーカー画像付き C G映像 V 1 0の表示内容と 自動車形状ロボッ 卜 3とを擬似的に融合した ""段と臨場感に溢れた 3次元 的な複合現実感を体感することができる。
なお下面照射型の複合現実提供システム 4 0 0では、 上面照射型の複合 現実提供システム 3 0 0とは異なり、 大型 L C D 4 0 1に対して特殊マー 力一画像付き C G映像 V 1 0を直接表示し、 特殊マーカー画像 M K Z と自 動車形状ロボッ ト 3の底面とを対向させるように載置していることにより 、 特殊マーカー画像 M K Zが自動車形状ロボッ ト 3の本体部.3 Aによって 遮られて環境光による影響を受けずに済み、 高精度に自動車形状ロボッ ト 3を特殊マーカ一画像 M K Zに追従させ得るようになされている。 . ( 4.) 本実施の形態における動作及び効果
以上の構成において、 上述した位置検出原理を用いた位置検出装置とし てのノー ト P C 1 (図 1 ) では、 液晶ディスプレイ 2の画面上に載置され た自動車形状ロボッ ト 3と対向するように基本マーカ 画像 M K又は特殊. マーカ一画像 M K Zを表示し、 移動中の自動車形状ロボッ ト 3のセンサ S R 1〜 S R 5によつて検出された基本マ一カー画像 M K又は特殊マーカー 画像 M K Zに対する輝度レベル変化に基づいて自動車形状ロボッ ト 3の現 在位置を算出することができる。
そのときノート P C 1は、 移動後の自動車形状ロボッ ト 3の現在位置と 棊本マーカ一画像 M K又は特殊マーカ一画像 M K Zとの相対的位置関係の 変化が生じる前のニュートラル状態に戻すように基本マーカー画像 M K又 は特殊マーカー画像 MK Zを移動表示させることにより、 移動中の自動車 形状ロボッ ト 3に基本マーカー画像 MK又は特殊マーカ一画像 MK Zを追 従させながら液晶ディスプレイ 2の画面上を移動する自動車形状ロボッ小 3の現在位置をリアルタイムに検出することができる。
特にノート P C 1は、 輝度レベルが 0 %〜 1 0 0 %まで線形的に変化す る基本マーカー画像 MK又は特殊マーカー lj像 MK Zを自動車形状ロボッ ト 3の位置検出に用いるようにしたことにより、 高精度に自.動車形状ロボ ッ ト 3の現在位置を算出することができる。
またノート P C rは、 特殊マ一力一画像 MK Z (図 7 ) を用いた場合、 位置検出領域 P D 1 A、 PD 2 A、 P D 3及び P D 4の境界部分における 輝度レベル変化が基本マーカ一画像 MKのように急激ではなく グラデーシ ヨン化されているため、 基本マーカー画像 M K (図 3 ) のときのように位 置検出領域 P D 1〜P D 4間で輝度レベル 0 %の部分に対して輝度レベル 1 0 0 %の部分の光が漏れ込むことがなく'、 一段と高精度に自動車形状 D ボッ ト 3の現在位置及び姿勢を検出することができる。
このような位置検出原理を利用した上面照射型の複合現実提供システム 3 0 0及び下面照射型の複合現実提供システム 4 00では、.当該位置検出 原理による計算を自動車形状.ロボッ ト 3 04及び自動車形状ロボッ ト 3に 実行させることにより、 特殊マーカー画像付き C G映像 V 1 0の特殊マー 力.一画像 MK Zの動きに当該自動車形状ロボッ ト 3 04及び.自動車形状.口. ボッ ト 3を正確に追従ざせることが出来る。.
従って上面照射型の複合現実提供システム 3 0 0及び下面照射型の複合 現実提供システム 40 0では、 ユーザが自動車形状ロボッ ト 3 04及び自 動車形状ロボヅ ト 3を直接コン トロールする必要がなく、 ノ一卜 P C 3 0 2のコン トローラ 3 1 3を介して特殊マーカー画像 MK Zを動かすだけで 自動車形状ロボッ ト 3 04及び自動車形状ロボッ ト 3を間接的に移動制御 することができる。 その際、 ノート P C 3 0 2の CP U 3 1 0は、 特殊マーカ一画像 MK Z の点滅領域 Q 1を介して自動車形状ロボッ ト 3 0 4、 自動車形状ロボッ ト 3と光通信することができるので、 特殊マーカー画像 MK Zを介して自動 車形状ロボッ ト 3 04、 自動車形状ロボッ ト 3を移動制御するだけでなく 、 点滅領域 Q 1を介して自動車形状ロボッ ト 3 0 4、 自動車形状ロボッ ト 3に対してアーム部 3 Bを動かす等の具体的な動作についても制御するこ とができる。
.特に、 ノート P C 3 0 2では、 自動車形状ロボッ ト 3 04、 自動車形状 ロボッ ト 3から無線送信されてきた現在位置と、 特殊マーカー画像付き C G映像 V 1 0の表示内容の双方について認識しているため、 特殊マーカー 画像付き C G映像 V 1 0の表示内容として映し出されている障害物と、 自 動車形状ロボッ ト 3 0 4、 自動車形状ロボッ 卜 3とが衝突しだと座標計算 により判断し得た場合、 特殊マ一力一画像 MK Zの動きを停止して自動車 形状ロボッ ト 3 04、 自動車形状ロボッ ト 3の移動を停止させると共に、 当該特殊マーカ 画像 MK Zの点滅領域 Q 1を介して'自動車形状ロボッ ト 3 04、 自動車形状ロボッ ト 3に振動を生じさせることができ.るので、 現 実世界の自動車形状ロボッ ト 3 04、 自動車形状ロボッ ト 3と仮想世界の 特殊マーカー画像付き C G映像 V 1 0とを同一空間上で融合した臨場感の ある複合現実感をユーザに提供することができる。 '
実際上、 下面照射型の複合現実提供システム 4 ◦ 0では、 .図 2 6に示す ように大型 L C D 4_0 1の画面上にユーザ R U 1が所 :有する自動車形状口 ボッ ト 3を載置し、 ユーザ R U 2が所有する自動車形状ロボッ ト 4 5 0を 載置した場合、 ユーザ RU 1及びユーザ RU 2はノート P C 3 0 2をそれ ぞれ操作して特殊マーカー画像付き C G映像 V 1 0の特殊マーカ一画像 M K Zをそれぞれ動かすことにより、 自動車形状ロボッ ト 3及び自動車形状 ロボッ ト 4 5 0をそれぞれ移動制御しながら対戦させることができる。 このとき大型 L C D 4 0 1の画面上に表示された特殊マーカー画像付き C G映像 V 10には、 例えばイ ン夕一ネッ ト接続された遠隔地のリモート ユーザ. vu 1及び y u 2によってその動きが制御された自動車形状ロボッ ト画像 VV 1及び VV 2が表示されており、 現実世界の自動車形状ロボッ ト 3及び 450と仮想世界の自動車形状ロボッ ト画像 V V 1及び VV 2と を特殊マーカー画像付き C G映像 V 10を介して擬似的に対戦させ、 例え ば画面上で自動車形状ロボッ 卜 3と自動車形状ロボッ ト画像 VV 1とが衝 突したときには、 当該自動車形状ロボッ ト 3に振動を生じさせて臨場感を 醸し出させることが可能となる。
( 5 ) 他の実施の形態 '
なお上述の実施の形態においては、 基本マーカー画像 MKや特殊マーカ 一画像 MKZを用いてスクリーン 301上を移動する自動車形状ロボッ ト 304や、 液晶ディスプレイ 2や大型 L CD 40 1の画面上を移動する自 動車形状ロボッ ト 3の現在位置や姿勢を検出するようにした場合について 述べたが、 本発明はこれに限らず、 例えば図 27に示すように、 輝度：レべ ルが 0 %から 100 %まで線形的に変化する縦縞を複数並べた位置検出領 域 PD 1 1からなる.マーカ一画像を自動車形状ロボヅ ト 3のセンサ SR 1 及び SR 2と対向するように表示すると共に、 輝度レベルが 0%から 1 0 0 %まで線形的に変化す.る横縞を複数並べた位置検出領域 P D 1 2からな るマーカー画像を自動車形状口ポッ ト 3のセンサ SR 3及び S R 4と対向 するように表示し、 当該センサ SR 1〜 S R 4による輝度レベル変化と縦 縞や横縞を.横切った数の変化とに基づいて画面上での現在位置や姿勢を検 出.するようにしても良い。
また上述の実施の形態においては、 輝度レベルが 0%〜 1 ひ 0%まで線 形的に変化するようにグラデーション化された基本マーカー画像 MKゃ特 殊マーカー画像 MK Zを用いてスク リーン 30 1上を移動する自動車形状 ロボッ ト 304や、 液晶ディスプレイ 2及び大型 L CD 40 1の画面上を 移動する自動車形状ロボッ ト 3の現在位置や姿勢を検出するようにした場 合について述べたが、 本発明はこれに限らず、 輝度レベルを一定にしたま ま、 色相環上で反対色にある 2色 （例えば青色と黄色） を用いてグラデー ション化させたマ一カー画像に対する色相の変化に基づいて自動車形状口 ボッ ト 3の現在位置や姿勢を検出するようにしても良い。
さらに上述の実施の形態においては、 液晶ディスプレイ 2の画面上に載 置された自動車形状ロボッ ト 3の底面に設けられたセンサ S R 1〜 S R 5 によって検出した基本マーカ一画像 M K又は特殊マーカー画像 M K Zの輝 度レベル変化に基づいて自動車形状ロボッ ト 3の現在位置や姿勢を算出す るようにした場合について述べたが、 本発明はこれに限らず、 自動車形状 ロボッ 卜 3 0 4の上面に対してプロジェクタ 3 0 3により基本マーカー画 像 M K又は特殊マーカ一画像 M K Zを投影し、 その自動車形状ロボッ ト 3 0 4のセンサ 3 11 1〜 3 1 5によって検出した輝度レベル変化に基づいて 自動車形状ロボッ 卜 3 0 4の現在位置や姿勢を算出するようにしても良い さらに上述の実施の形態においては、 液晶ディスプレイ 2の画面上に載 置ざれた自動車形状ロボッ ト 3の移動に基本マーカー画像 M K又は特殊マ 一力一画像 M K Zを追従させながら現在位置を検出するようにした場合に ついて述べたが、 本発明は.これに限ちず、 例えばペン型デバイスの先端を 画面上の特殊マーカ一画像 M K Zに当接させた状態のまま、 ユーザによつ て画面をなぞられるように動かされたときの輝度レベル変化を当該ペン型 デノ イスの.先端に埋め込まれた複数のセンサによって検出し、. それをノ一 ト P C 1 に無線送信することにより、 当該ノート P C 1によってペン型デ バイスの現在位置を検出するようにしても良い。 これによりノート P C 1 は、 ペン型デバイスによって文字がなぞられたときには、 その軌跡に従つ て忠実にその文字を.再現することが可能になる。
, さらに上述の実施の形態においては、 ノート P C 1が位置検出プログラ ムに従って自動車形状ロボッ ト 3の現在位置を検出し、 ノート P C 3 0 2 が複合現実提供プログラムに従って自動車形状ロボッ ト 304や自動車形 状ロボッ ト 3を間接的に移動制御するようにした場合について述べたが、 本発明はこれに限らず、 当該位置検出プログラムや複合現実提供プログラ ムが格納された C D— R 0 M(Compact Disc-Read Only Memory), D V D - R 0 M(
Digital Versatile Disc-Read Only Memory)^ 半導体メモリ等の種々の
^記憶媒体を介してノート P C 1及びノート P C 3 0 2にインス トールする ことにより上述の現在位置検出処理や自動車形状ロボッ ト 3 04や自動車 形状ロボッ ト 3に対する間接的な移動制御処理を実行するようにしても良 い。
さらに上述の実施の形態においては、 位置検出装置を構成するノー ト P C l、 ノート P C 3.0 2及び自動車形状ロボッ ト 3、 自動車形状ロボッ ト 3 04 、 指標画像としての基本マーカー画像 MKや特殊マーカ一画像 M K Zを生成する指標画像生成手段としての C P U 3 1 0及び G P U 3 1 4 と、 輝度レベル検出手段としてのセンサ S R 1〜 S R 5及び位置検出手段 としての C P U 3 1 0とによって構成するようにした場合について述べた が、 本発明はこれに限らず、 その他種々の回路構成又はソフ トケエア構成 でなる指標画像生成手段、 輝度レベル検出乎段及び位置検出手段によって 上述の位置検出装置を構成するようにしても良い。 ' ·：
. さらに上述の実施の形態においては、 複合現実提供システムを構築する 情報処理装置としてのスート P C 3 0 2を、 指標画像生成手段及び指標画 像移動手段としての C P U 3 1 0及び G P U 3 1 4によって構成し、 移動 体としての自動車形状ロボッ ト 3及び 3 04は、 輝度レベル検出手段とし てのセンサ S R 1〜S R 5、 位置検出手段としての MCU 3 2 1 と、 移動 制御手段としての MC U 3 2 1、 モー夕 ドライバ 3 2 3、 3 24及び車輪 用モー夕 3 2 5〜3 2 8によって構成するようにした場合について述べた が、 本 ¾明はこれに限らず、 その他種々の回路構成又はソフ トウヱァ構成 でなる指標画像生成手段及び指標画像移動手段からなる情報処理装置、 輝 度レベル検出手段、 位置検出手段及び移動制御手段からなる移動体によつ て上述の複合現実提供システムを構成するようにしても良い。 産業上の利用可能性 、
本発明の位置検出装置、 位置検出方法、 位置検出プログラム及び複合現 実提供システムは、 例えば据置型及びポータブル型のゲーム装置、 携帯電 話機、 P D A (Personal Digital Assistant)、 D Ϋ D (Digital Versatile Disc)プレーヤ等の現実世界の対象物体と仮想世界の C G映像とを融合す ることが可能な種々の電子機器に適用することができる。

Claims

請 求 の 範 囲
1 . 表示部上を移動する移動体の位置を検出する位置検出装置であって、 第 1の方向及び第 2の方向へ輝度レベルが次第に変化するようにグラデ ーション化された複数の領域からなる指標画像を生成し、 上記表示部上の 上記移動体と対向した位置に表示するための指標画像生成手段と、 上記指標画像の複数の領域における上記第 1の方向及び上記第 2の方向 の輝度レベル変化を検出するため上記移動体に設けられた輝度レベル検出 手段と、 '
上記輝度レベル検出手段によって検出した検出結果に基づいて上記指標 画像と上記移動体との相対的位置関係の変化を算出することにより上記表 示部上における位置を検出する位置検出手段と
を具えることを特徴とする位置検出装置。
2 . 上記位置検出手段は、 上記移動体が上記表示部上を移動することに対 応して上記輝度レベル検出手段によって検出された上記指標画像における 複数の領域の輝度レベルに基づいて位置検出を行う . .
ことを特徴とする請求項 1に記載の位置検出装置。
3 . 上記指標画像には輝度レベルの参照領域が設けられており、 上記位置 検出手段は、 上記移動体が上記表示部上を移動することに対応して上記輝 度レベル検出手段によって検出された上記指標画像における複数の領域の 輝度レベルと上記参照領域の輝度レベルとに基づいて上記移動体が旋回し たときの上記表示部上における位置検出を行う
ことを特徴とする請求項 1に記載の位置検出装置。
4 . 上記指標画像生成手段は、 上記第 1の方向と上記第 1の方向と直交す る第 2の方向へ輝度レベルが次第に変化するようにグラデーション化され た複数の領域からなる指標画像を生成し、 上記表示部上の上記移動体と対 向した位置に表示する ことを特徴'とする請求項 1に記載の位置検出装置。
5 . 上記位置検出手段は、 上記移動体が上記表示部上を移動することに対 応して上記輝度レベル検出手段によって検出された上記指標画像における 複数の領域の輝度レベルの加算値の変化によって上記移動体の上記表示部 における高さを検出するようにした
ことを特徴とする請求項 1に記載の位置検出装置。 .
6 . 上記指標画像生成手段は、 上記輝度レベルが線形的に変化するように グラデーション化する ·
ことを特徴とする請求項 1に記載の位置検出装置。
7 . 上記指標画像生成手段は、 上記指標画像の輝度レベルが 形的に変 化するようにグラデーション化する
ことを特徴とする請求項 1に記載の位置検出装置。
8 . 表示対象上で移動する移動体の位置を.検出する位置検出装置であって 上記表示対象上の第 1の方向及び第 2の方向へ輝度レベルが次第に変化 するようにグラデ一ション化された複数の領域からなる指標画像を生成し 、 上記表示対象上を移動する上記移動体の上面に対して表示する指標画像 生成手段と、 ·
上記指標画像の上記複数の領域における上記第 1の方向及び上記第 2の 方向の輝度レベル変化を検出するため上記移動体の上記上面に設けられた 輝度レベル検出手段と、 .
上記輝度レベル検出手段によって検出した検出結果に基づいて上記指標 画像と上記移動体との相対的位置関係の変化を算出することにより上記表 示対象上における位置を検出する位置検出手段と . ：
を具えることを特徴とする位置検出装置。
9 . 表示部上で移動する移動体の位置を検出する位置検出方法であって、 上記表示部上の第 1の方向及び第 2の方向へ輝度レベルが次第に変化す るようにグラデーション化された複数の領域からなる指標画像を生成する 指標画像生成ステップと、
上記表示部上の上記移動体と対向した位置に上記指標画像を表示する指 標画像表示ステップと、
'上記指標画像の上記複数の領域における上記第 1の方向及び上記第 2の 方向の輝度レベル変化をそれぞれ検出するため上記移動体に設けちれた輝. 度レベル検出手段により上記輝度レベル変化を検出する輝度レベル変化検 出ステップと、
.上記輝度レベル変化に基づいて上記指標画像と上記移動体との相対的位 置関係の変化を算出することにより上記表示部上における位置を検出する 位置検出ステップと '
を具えることを特徴とする位置検出方法。
1 0 . 表示部上で移動する移動体の位置を検出するための情報処理装置に 対して、
表示部上の第 1の方向及び第 2の方向へ輝度レベルが次第に変化するよ うにグラデーション化された複数の領域からなる指標画像を生成する指標 画像生成ステップと、
上記表示部上の上記移動体と対向した位置に上記指標画像を表示する指 標画像表示ステツプと、'
上記指標画像の上記複数の領域における上記第 1の方向及び上記第 2の 方向の輝度レベル変化をそれぞれ検出するため上記移動体に設けられた輝 度レベル検出手段により上記輝度レベル変化を検出する輝度レベル変化検 出ステップと、
上記輝度レベル変化に基づいて上記指標画像と上記移動体との相対的位 置関係の変化を算出することにより上記表示部上における位置を検出する 位置検出ステップと
を実行させること.を特徴とする位置検出プログラム。
1 1 . 情報処理装置によって表示部の画面上に表示される映像と、 当該画 面上に載置された移動体とを対応させながら当該移動体の動きを制御する ことにより、 上記映像と上記移動体とが融合された複合現実感を提供する 複合現実提供システムであって、
上記情報処理装置は、
上記画面上の第 1の方向及び第 2の方向へ輝度レベルが次第に変化する ようにグラデーション化された複数の領域からなる指標画像を生成し、 上 記表示部上の上記移動体と対向した位置に上記映像の位置部として上記指 標画像を表示する指標画像生成手段と、
予め定められた移動命令又は所定の入力手段を介して入力された移動命 令に従って上記指標画像を上記画面上で移動させる指標.画像移動手段と を具え、
上記移動体は、
上記指標画像の上記複数の領域における上記第 1の方向及び上記第 2の 方向の輝度レベル変化をそれぞれ検出するため上記移動体に設けられた輝 度レベル検出手段と、 . .. .
上記指標画像移動手段によって移動された上記指標画像に対し、 上記輝 度レベル検出手段によって検出した上記輝度レベル変化に基づいて上記指 標画像と上記移動体との相対的位置関係の変化を算出することにより上記 表示部上における上記移動体の現在位置を検出する位置検出手段と、 .. 上記移動体の現在位置と移動後の上記指標画像の位置との差分を無くす ように追従させることにより 上記指標画像に合わせて上記移動体を移動 させる移動制御手段と
を具えることを特徴とする複合現実提供システム。
1 2 . 上記情報処理装置の上記指標画像生成手段は、 上記指標画像の一部 分を点滅させることにより上記移動体に対して所定の動作を実行させるた めの動作命令を光通信により供給し、 上記移動体の上記移動制御手段は、 上記輝度レベル検出手段により検出 した上記指標画像の一部分に対する上記点滅による輝度レベル変化に基づ いて上記動作命令を認識し、 当該動作命令に対応した上記所定の動作を実 行させる
ことを特徴とする請求項 1 1に記載の複合現実提供システム。
1 3 '. 情報処理装置によって表示対象上に表示される映像と、 当該表示対 象上に載置さ.れた移動体とを対応させながら当該移動体の動きを制御する ことにより、 上記映像と上記移動体とが融合された複合現実感を提供する 複合現実提供システムであって、
上記情報処理装置は、
上記表示対象上の第 1の方向及び第 2の方向へ輝度レベルが次第に変化 するようにグラデーション化された複数の領域からなる指標画像を生成し 、 上記表示対象上を移動する上記移動体の上面に対して表示する指標画像 生成手段と、
予め定められた移動命令又は所定の入力手段を介して入力された移動命 令に従って上記指標画像を上記表示対象上で移動させる指標画像移動手段 と .
を具え、 .
上記移動体.は、
上記指標画像の上記複数の領域における上記第 1の方向及び上記第 2の 方向の輝度レベル変化をそれぞれ検出するため上記移動体の上記上面に設 けられ六こ輝度レベル検出手段と、 .
上記指標画像移動手段によって移動された上記指標画像に、対し、 上記輝 度レベル検出手段によって検出した上記輝度レベル変化に基づいて上記指 標画像と上記移動体との相対的位置関係の変化を算出することにより上記 表示対象上における上記移動体の現在位置を検出する位置検出手段と、 上記移動体の現在位置と移動後の上記指標画像の位置との差分を無くす ように追従させることにより、 上記指標画像に合わせて上記移動体を移動 させる移動制御手段と
を具えることを特徴とする複合現実提供システム。
1 4 . 上記情報処理装置の上記指標画像生成手段は、 上記指標画像の一部 分を点滅させることにより上記移動体に対して所定の動作を実行させるた めの動作命令を光通信により供給し、
上記移動体の上記移動制御は、 上記輝度レベル検出手段により検出した 上記指標画像の一部分に対する上記点滅により輝度レベル変化に基づいて 上記動作命令を認識し、 当該動作命令に対応.した上記所定の動作を実行さ せる
ことを特徴とする請求項 1 3に記載の複合現実提供システム。
PCT/JP2006/310950 2005-06-14 2006-05-25 位置検出装置、位置検出方法、位置検出プログラム及び複合現実提供システム WO2006134778A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2007521241A JPWO2006134778A1 (ja) 2005-06-14 2006-05-25 位置検出装置、位置検出方法、位置検出プログラム及び複合現実提供システム
US11/922,256 US20080267450A1 (en) 2005-06-14 2006-05-25 Position Tracking Device, Position Tracking Method, Position Tracking Program and Mixed Reality Providing System

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2005-174257 2005-06-14
JP2005174257 2005-06-14

Publications (1)

Publication Number Publication Date
WO2006134778A1 true WO2006134778A1 (ja) 2006-12-21

Family

ID=37532143

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2006/310950 WO2006134778A1 (ja) 2005-06-14 2006-05-25 位置検出装置、位置検出方法、位置検出プログラム及び複合現実提供システム

Country Status (4)

Country Link
US (1) US20080267450A1 (ja)
JP (1) JPWO2006134778A1 (ja)
KR (1) KR20080024476A (ja)
WO (1) WO2006134778A1 (ja)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010520558A (ja) * 2007-03-08 2010-06-10 アイティーティー マニュファクチャリング エンタープライジーズ， インコーポレイテッド 無人車両の状態および制御を提供する、拡張現実ベース型システムおよび方法
WO2016072132A1 (ja) * 2014-11-07 2016-05-12 ソニー株式会社 情報処理装置、情報処理システム、実物体システム、および情報処理方法
JP7413593B2 (ja) 2016-08-04 2024-01-15 株式会社ソニー・インタラクティブエンタテインメント 情報処理装置、情報処理方法、および、情報媒体

Families Citing this family (46)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
FR2911211B1 (fr) * 2007-01-05 2009-06-12 Total Immersion Sa Procede et dispositifs pour inserer en temps reel des objets virtuels dans un flux d'images a partir de donnees issues de la scene reelle representee par ces images
US8974295B2 (en) 2008-06-03 2015-03-10 Tweedletech, Llc Intelligent game system including intelligent foldable three-dimensional terrain
US10155156B2 (en) 2008-06-03 2018-12-18 Tweedletech, Llc Multi-dimensional game comprising interactive physical and virtual components
US8602857B2 (en) 2008-06-03 2013-12-10 Tweedletech, Llc Intelligent board game system with visual marker based game object tracking and identification
WO2009149112A1 (en) 2008-06-03 2009-12-10 Tweedletech, Llc An intelligent game system for putting intelligence into board and tabletop games including miniatures
US9849369B2 (en) 2008-06-03 2017-12-26 Tweedletech, Llc Board game with dynamic characteristic tracking
US9649551B2 (en) 2008-06-03 2017-05-16 Tweedletech, Llc Furniture and building structures comprising sensors for determining the position of one or more objects
EP2193825B1 (en) * 2008-12-03 2017-03-22 Alcatel Lucent Mobile device for augmented reality applications
US8817078B2 (en) * 2009-11-30 2014-08-26 Disney Enterprises, Inc. Augmented reality videogame broadcast programming
US8803951B2 (en) * 2010-01-04 2014-08-12 Disney Enterprises, Inc. Video capture system control using virtual cameras for augmented reality
US8947455B2 (en) 2010-02-22 2015-02-03 Nike, Inc. Augmented reality design system
KR101335391B1 (ko) * 2010-04-12 2013-12-03 한국전자통신연구원 영상 합성 장치 및 그 방법
US9090214B2 (en) 2011-01-05 2015-07-28 Orbotix, Inc. Magnetically coupled accessory for a self-propelled device
US10281915B2 (en) 2011-01-05 2019-05-07 Sphero, Inc. Multi-purposed self-propelled device
US8571781B2 (en) 2011-01-05 2013-10-29 Orbotix, Inc. Self-propelled device with actively engaged drive system
US9429940B2 (en) 2011-01-05 2016-08-30 Sphero, Inc. Self propelled device with magnetic coupling
US9218316B2 (en) 2011-01-05 2015-12-22 Sphero, Inc. Remotely controlling a self-propelled device in a virtualized environment
US20120244969A1 (en) 2011-03-25 2012-09-27 May Patents Ltd. System and Method for a Motion Sensing Device
CN109041372B (zh) * 2011-12-14 2021-01-05 飞利浦灯具控股公司 用于控制照明的方法和装置
JP5912059B2 (ja) * 2012-04-06 2016-04-27 ソニー株式会社 情報処理装置、情報処理方法及び情報処理システム
US9292758B2 (en) 2012-05-14 2016-03-22 Sphero, Inc. Augmentation of elements in data content
US9827487B2 (en) 2012-05-14 2017-11-28 Sphero, Inc. Interactive augmented reality using a self-propelled device
CN104428791A (zh) 2012-05-14 2015-03-18 澳宝提克斯公司 通过检测图像中的圆形物体操作计算装置
US10056791B2 (en) 2012-07-13 2018-08-21 Sphero, Inc. Self-optimizing power transfer
JP6143469B2 (ja) * 2013-01-17 2017-06-07 キヤノン株式会社 情報処理装置、情報処理方法及びプログラム
AU2014232318B2 (en) 2013-03-15 2018-04-19 Mtd Products Inc. Autonomous mobile work system comprising a variable reflectivity base station
CN104052913B (zh) * 2013-03-15 2019-04-16 博世（中国）投资有限公司 提供光绘效果的方法以及实现该方法的设备
EP2869023B1 (en) * 2013-10-30 2018-06-13 Canon Kabushiki Kaisha Image processing apparatus, image processing method and corresponding computer program
CN105792996B (zh) * 2013-11-28 2017-07-25 三菱电机株式会社 机器人***以及机器人***的控制方法
US9829882B2 (en) 2013-12-20 2017-11-28 Sphero, Inc. Self-propelled device with center of mass drive system
JP5850958B2 (ja) * 2014-01-24 2016-02-03 ファナック株式会社 ワークを撮像するためのロボットプログラムを作成するロボットプログラミング装置
JP6290651B2 (ja) * 2014-02-27 2018-03-07 株式会社キーエンス 画像測定器
JP6278741B2 (ja) * 2014-02-27 2018-02-14 株式会社キーエンス 画像測定器
JP6380828B2 (ja) * 2014-03-07 2018-08-29 セイコーエプソン株式会社 ロボット、ロボットシステム、制御装置、及び制御方法
US10181193B2 (en) * 2014-03-10 2019-01-15 Microsoft Technology Licensing, Llc Latency reduction in camera-projection systems
US10310054B2 (en) * 2014-03-21 2019-06-04 The Boeing Company Relative object localization process for local positioning system
US11250630B2 (en) 2014-11-18 2022-02-15 Hallmark Cards, Incorporated Immersive story creation
JP2017196705A (ja) * 2016-04-28 2017-11-02 セイコーエプソン株式会社 ロボット、及びロボットシステム
US10286556B2 (en) * 2016-10-16 2019-05-14 The Boeing Company Method and apparatus for compliant robotic end-effector
JP6484603B2 (ja) * 2016-12-26 2019-03-13 新日鉄住金ソリューションズ株式会社 情報処理装置、システム、情報処理方法、及び、プログラム
CN110573308B (zh) * 2017-04-17 2022-11-22 西门子股份公司 用于机器人设备的空间编程的基于计算机的方法及***
JP6881188B2 (ja) * 2017-09-27 2021-06-02 オムロン株式会社 位置検出装置およびプログラム
US10633066B2 (en) 2018-03-27 2020-04-28 The Boeing Company Apparatus and methods for measuring positions of points on submerged surfaces
US20200265644A1 (en) * 2018-09-12 2020-08-20 Limited Liability Company "Transinzhkom" Method and system for generating merged reality images
US11785176B1 (en) 2020-02-28 2023-10-10 Apple Inc. Ambient light sensor-based localization
CN111885358B (zh) * 2020-07-24 2022-05-17 广东讯飞启明科技发展有限公司 考试终端定位及监控方法、装置、***

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004280380A (ja) * 2003-03-14 2004-10-07 Matsushita Electric Ind Co Ltd 移動体誘導システム、移動体誘導方法および移動体

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3545689B2 (ja) * 2000-09-26 2004-07-21 日本電信電話株式会社 非接触型位置測定方法、非接触型位置測定システムおよびその処理装置
JP2002247602A (ja) * 2001-02-15 2002-08-30 Mixed Reality Systems Laboratory Inc 画像生成装置及びその制御方法並びにそのコンピュータプログラム
JP3940348B2 (ja) * 2002-10-28 2007-07-04 株式会社アトラス バーチャルペットシステム

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004280380A (ja) * 2003-03-14 2004-10-07 Matsushita Electric Ind Co Ltd 移動体誘導システム、移動体誘導方法および移動体

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
SUGIMOTO M. ET AL.: "Gazo Teiji Sochi de Hyoji shita Shihyo Gazo o Mochiita Ichi Shisei Keisoku", TRANSACTIONS OF THE VIRTUAL REALITY SOCIETY OF JAPAN, vol. 10, no. 4, 31 December 2005 (2005-12-31), pages 485 - 494, XP003007209 *

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010520558A (ja) * 2007-03-08 2010-06-10 アイティーティー マニュファクチャリング エンタープライジーズ， インコーポレイテッド 無人車両の状態および制御を提供する、拡張現実ベース型システムおよび方法
WO2016072132A1 (ja) * 2014-11-07 2016-05-12 ソニー株式会社 情報処理装置、情報処理システム、実物体システム、および情報処理方法
JP2016091423A (ja) * 2014-11-07 2016-05-23 ソニー株式会社 情報処理装置、情報処理システム、実物体システム、および情報処理方法
JP7413593B2 (ja) 2016-08-04 2024-01-15 株式会社ソニー・インタラクティブエンタテインメント 情報処理装置、情報処理方法、および、情報媒体

Also Published As

Publication number Publication date
JPWO2006134778A1 (ja) 2009-01-08
KR20080024476A (ko) 2008-03-18
US20080267450A1 (en) 2008-10-30

Similar Documents

Publication Publication Date Title
WO2006134778A1 (ja) 位置検出装置、位置検出方法、位置検出プログラム及び複合現実提供システム
US10510189B2 (en) Information processing apparatus, information processing system, and information processing method
US5999185A (en) Virtual reality control using image, model and control data to manipulate interactions
US7268781B2 (en) Image display control method
JP3503982B2 (ja) 視点設定装置
US7536655B2 (en) Three-dimensional-model processing apparatus, three-dimensional-model processing method, and computer program
Fabian et al. Integrating the microsoft kinect with simulink: Real-time object tracking example
JP2004054590A (ja) 仮想空間描画表示装置、及び仮想空間描画表示方法
JP2687989B2 (ja) 電子遊戯機器
US20210255328A1 (en) Methods and systems of a handheld spatially aware mixed-reality projection platform
JP2012161604A (ja) 空間相関したマルチディスプレイヒューマンマシンインターフェース
Fischer et al. Phantom haptic device implemented in a projection screen virtual environment
KR101734520B1 (ko) 자이로센서의 움직임 패턴 인식 기반의 유저 인터페이싱 시스템
CN105359061A (zh) 计算机图形显示***及方法
US10606241B2 (en) Process planning apparatus based on augmented reality
JPH10198822A (ja) 画像合成装置
US20230384095A1 (en) System and method for controlling a light projector in a construction site
CN112530022A (zh) 在虚拟环境中计算机实现模拟lidar传感器的方法
JP2005100109A (ja) 画像生成情報、情報記憶媒体及び画像生成装置
JP2000206862A (ja) 歩行感覚生成装置
Aloor et al. Design of VR headset using augmented reality
JP2008041013A (ja) 画像表示制御装置、画像表示方法及びプログラム
CN112634342A (zh) 在虚拟环境中对光学传感器进行计算机实现的仿真的方法
Leigh Travel in Virtual Reality.
KR20170082028A (ko) 림 모션 장치

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application
WWE Wipo information: entry into national phase

Ref document number: 2007521241

Country of ref document: JP

Ref document number: 1020077029340

Country of ref document: KR

NENP Non-entry into the national phase

Ref country code: DE

WWE Wipo information: entry into national phase

Ref document number: 11922256

Country of ref document: US

122 Ep: pct application non-entry in european phase

Ref document number: 06747055

Country of ref document: EP

Kind code of ref document: A1