WO2015129522A1 - 容器、画像表示システム、画像表示方法、画像表示プログラム及び記録媒体 - Google Patents
容器、画像表示システム、画像表示方法、画像表示プログラム及び記録媒体 Download PDFInfo
- Publication number
- WO2015129522A1 WO2015129522A1 PCT/JP2015/054422 JP2015054422W WO2015129522A1 WO 2015129522 A1 WO2015129522 A1 WO 2015129522A1 JP 2015054422 W JP2015054422 W JP 2015054422W WO 2015129522 A1 WO2015129522 A1 WO 2015129522A1
- Authority
- WO
- WIPO (PCT)
- Prior art keywords
- image
- image display
- display
- surface portion
- moving body
- Prior art date
Links
Images
Classifications
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09F—DISPLAYING; ADVERTISING; SIGNS; LABELS OR NAME-PLATES; SEALS
- G09F19/00—Advertising or display means not otherwise provided for
- G09F19/12—Advertising or display means not otherwise provided for using special optical effects
- G09F19/18—Advertising or display means not otherwise provided for using special optical effects involving the use of optical projection means, e.g. projection of images on clouds
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09F—DISPLAYING; ADVERTISING; SIGNS; LABELS OR NAME-PLATES; SEALS
- G09F19/00—Advertising or display means not otherwise provided for
- G09F19/02—Advertising or display means not otherwise provided for incorporating moving display members
- G09F19/08—Dolls, faces, or other representations of living forms with moving parts
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09F—DISPLAYING; ADVERTISING; SIGNS; LABELS OR NAME-PLATES; SEALS
- G09F19/00—Advertising or display means not otherwise provided for
- G09F19/12—Advertising or display means not otherwise provided for using special optical effects
Definitions
- the present invention relates to a container, an image display system, an image display method, an image display program, and a recording medium.
- a portable terminal configured to be portable and displaying an operation screen and a processing result is known.
- a portable terminal including a display unit such as an organic EL (Electro-Luminescence) panel or a liquid crystal panel and an operation unit that operates the terminal device is known (for example, see Patent Document 1). ).
- a portable terminal may be leaned on the installation surface, displaying an image captured in advance or an image distributed via a network, and may be used like a digital photo frame or a television.
- a new form of image display using a portable terminal is desired.
- An object of the present invention is to provide a container, an image display system, an image display method, an image display program, and a recording medium that can provide a new image display form.
- the container according to the first aspect of the present invention includes a housing having a housing portion capable of housing an object therein, and transmits at least part of light incident on the housing and incident from the housing portion. And a transmissive member that reflects the projected image along a direction in which the at least part of the light is transmitted.
- the object accommodated in an accommodating part contains a liquid other than the object which has a predetermined shape.
- the transmission member provided in the housing transmits at least part of the light incident from the storage unit, so that the inside of the storage unit can be observed through the transmission member.
- the transmissive member reflects the projected image
- the image projected on the transmissive member can be observed as a virtual image by being positioned in the reflection direction of the image.
- the reflection direction of the image by the transmissive member is along the direction in which the light incident from the accommodating portion is transmitted through the transmissive member.
- the person) can observe the scenery inside the container where the projected images overlap. Therefore, it is possible not only to observe the scenery in the container and the projected image, but also to provide a new display form in which these are observed in an overlapping manner.
- each of the casings constitutes an appearance of the casing, and has a first surface portion and a second surface portion that intersect with each other, and the transmission member includes the first surface portion and the second surface portion. It is preferable to incline with respect to each.
- casing is a substantially rectangular parallelepiped shape, an upper surface part or a bottom face part can be illustrated as a 1st surface part, and a front part can be illustrated as a 2nd surface part.
- the portion of the housing that faces the observer is configured so that the inside of the container can be observed, it is preferable that the portion is formed of a translucent member that transmits at least visible light.
- the inside of the container can be observed from the second surface portion side.
- the image projected from the first surface portion side is reflected by the second surface portion side by the transmissive member inclined with respect to each of the first surface portion and the second surface portion.
- the image can be observed on the side. Therefore, when the inside of the container is viewed from the second surface side, it is possible to reliably observe the scenery inside the container and the image overlapping the scenery.
- each of the casings constitutes an appearance of the casing, and has a first surface portion and a second surface portion that intersect with each other, and the second surface portion is inclined with respect to the first surface portion.
- the transmitting member is preferably located on the second surface portion.
- the first surface portion can be exemplified by the upper surface portion or the bottom surface portion
- the second surface portion can be exemplified by the front surface portion.
- casing is formed with the said translucent member.
- the said 1st aspect there exists an effect similar to the said structure which has the permeation
- the transmissive member is disposed in the accommodating portion and the liquid is accommodated in the accommodating portion, the image projected on the transmissive member passes through the liquid and is transmitted to the transmissive member. It will be incident. For this reason, there is a possibility that the image is distorted due to refraction, and there is a possibility that the luminance of the image that is reflected and viewed by the transmissive member is lowered.
- the transmissive member is provided on the second surface portion that is inclined with respect to the first surface portion and constitutes the external appearance of the housing. None pass. Therefore, even when a liquid is stored in the storage unit, it is possible to suppress the distortion of the image due to refraction, and it is possible to suppress the luminance of the visually recognized image from being lowered. Furthermore, since the transmission member is positioned on the second surface portion, it is not necessary to separately arrange the transmission member in the container. Therefore, the configuration in the container 2 can be simplified.
- the housing is positioned on the opposite side of the third surface portion with respect to the third surface portion and the second surface portion, and projects an image onto the transmissive member. It is preferable to have an arrangement portion in which the display device is arranged.
- a 3rd surface part can be made into a back surface part.
- the arrangement portion is located on the opposite side of the third surface portion with respect to the second surface portion on which the transmission member is provided, that is, on the opposite side of the accommodation portion with respect to the transmission member. According to this, it is possible to easily arrange the display device so as to face the transmissive member.
- the display device can be arranged in a space formed by the second surface portion being inclined with respect to the first surface portion, it is possible to suppress the container from becoming unnecessarily large. Further, since the space is not a housing portion, the occurrence of the distortion and the decrease in the luminance of the image can be reliably suppressed.
- An image display system includes a housing having a housing portion capable of housing an object therein, and at least a part of light provided in the housing and incident from the housing portion.
- a container having a transmissive member that transmits light and reflects the projected image along a direction in which the at least part of the light is transmitted; and a display device that projects the image onto the transmissive member.
- casing is formed of the said translucent member. According to the said 2nd aspect, there can exist an effect similar to the container which concerns on the said 1st aspect.
- an imaging apparatus having at least one of a first imaging unit that images the inside of the housing part via the transmission member, and a second imaging unit that images a region different from the inside of the housing part, It is preferable to include a control device that causes the display device to display an image corresponding to the movement of the moving body based on an image captured by the imaging device.
- Examples of the image according to the movement of the moving body include an image in which a virtual body included in the image is moved according to the movement of the moving body or the shape of the virtual body is changed.
- the control apparatus can display the image according to the motion of the actual moving body contained in the picked-up image by an imaging device, and can expand the width
- the imaging device includes the second imaging unit, and an imaging region of the second imaging unit is a region in a direction in which the projected image is reflected by the transmissive member.
- an imaging region of the second imaging unit is a region in a direction in which the projected image is reflected by the transmissive member.
- the observer when observing the image reflected by the transmissive member, the observer is positioned in the reflection direction of the image by the transmissive member. For this reason, if the imaging area of the second imaging unit is an area in the reflection direction of the image, the second imaging unit captures an area including the observer. According to this, since the control device can detect the movement of the observer, the image corresponding to the movement of the observer can be displayed on the display device.
- an adjustment member that adjusts an imaging direction of the imaging device that is configured integrally with the display device.
- An example of the adjusting member is a reflecting member that reflects light incident from a predetermined direction and guides the light to the imaging apparatus.
- the imaging direction of the imaging device the first imaging unit and the second imaging unit
- the imaging direction of an imaging device can be adjusted with an adjustment member, the area
- the control device detects, by optical flow, the position and moving direction of the moving body included in an image captured by the imaging device, and an image corresponding to the detected position and moving direction of the moving body. Is preferably displayed on the display device.
- the optical flow is a vector representing the motion of an object in temporally continuous images (moving images).
- the position and moving direction of the moving body contained in the said captured image can be detected and acquired by analyzing the moving image comprised by the continuous captured image by an optical flow. Then, the control device displays an image according to the acquired position and moving direction of the moving body, so that an image according to the actual movement of the moving body can be appropriately displayed.
- the control device includes the coordinates of the points in the image formed by the control device that correspond to the points in the display image that are included in the captured image in the storage unit and displayed by the display device. It is preferable to acquire the image and display the image on the display device based on the acquired coordinates of the point in the formed image.
- an image obtained by moving the virtual body is projected. In this case, it is necessary to appropriately acquire the position of the actual moving body in the projected image.
- the control device moves the virtual body according to the position and moving direction of the actual moving body by acquiring the coordinates of the point corresponding to the point in the display image in the formed image.
- the displayed image can be displayed appropriately. Therefore, an image corresponding to the movement of the moving body can be displayed appropriately and reliably.
- the control device acquires the depth of the moving body with respect to the transmissive member based on at least one of the size and speed of the moving body included in an image captured by the imaging device, It is preferable to display an image corresponding to the acquired depth of the moving body.
- the moving body located at the position of the virtual image approaches the virtual body (In other words, when a moving object whose depth position matches that of the virtual object approaches the virtual object), an image for moving the virtual object can be displayed.
- the image display method according to the third aspect of the present invention transmits at least part of light incident from the back side and reflects at least part of light incident from the front side.
- a member, a display device that projects an image from the front side with respect to the transmissive member, an imaging device that captures an area on the back side of the transmissive member via the transmissive member, and a control device that controls the display device An image display method performed using an image display system comprising: a position and movement of a moving body located on the back side of the transmission member based on a captured image by the imaging device. A direction is acquired, and an image corresponding to the acquired position and moving direction of the moving body is displayed on the display device.
- the image display program according to the fourth aspect of the present invention transmits at least part of light incident from the back side and reflects at least part of light incident from the front side.
- a member a display device that projects an image from the front side with respect to the transmissive member, an imaging device that captures an area on the back side of the transmissive member via the transmissive member, and a control device that controls the display device
- an image display program executed by the control device in an image display system comprising: a moving body located on a back side of the transmission member based on a captured image by the imaging device; A position and a moving direction are acquired, and an image corresponding to the acquired position and moving direction of the moving body is displayed on the display device.
- a recording medium is characterized in that the image display program is recorded so as to be readable by a computer.
- the control device reads and executes the image display program recorded on the recording medium, it is possible to achieve the same effect as the image display system according to the second aspect.
- a magnetic tape, a disk-type recording medium, an HDD (Hard Disk Drive), a semiconductor memory, or the like can be used as the recording medium, and the image display program can be installed and executed by the control device using these.
- the image display program can be easily distributed.
- FIG. 1 is a perspective view showing an image display system according to a first embodiment of the present invention.
- the top view which shows an example of the portable terminal in the said 1st Embodiment.
- the block diagram which shows the structure of the portable terminal in the said 1st Embodiment.
- the block diagram which shows the structure of the control part in the said 1st Embodiment.
- FIG. 1 is a perspective view schematically showing a configuration of an image display system 1 according to the first embodiment of the present invention.
- the image display system 1 according to the present embodiment includes a container 2 and a portable terminal 3, and when an observer observes the inside of the container 2 from the front side, the portable terminal 3 is configured so that images projected by 3 can be observed in an overlapping manner.
- the portable terminal 3 detects the movement of the moving body (for example, fish F) in the container 2, and projects the image according to the movement of the said moving body.
- the moving body for example, fish F
- the container 2 includes a casing 21 that is formed in a substantially rectangular parallelepiped shape and forms the outer shape of the container 2, and a storage portion 22 that can store a liquid or the like in the casing 21. Is formed.
- this accommodating part 22 in this embodiment, the water W and the fish F which is an actual moving body are accommodated.
- Such a casing 21 has a front part 211, a back part 212, a top part 213, a bottom part 214, and left and right side parts 215 and 216.
- the front part 211 is equivalent to the 2nd surface part of this invention
- the back surface part 212 is equivalent to the 3rd surface part of this invention.
- the upper surface portion 213 and the bottom surface portion 214 each correspond to the first surface portion of the present invention.
- the front portion 211 is formed of a translucent member such as glass or synthetic resin that transmits at least visible light so that the inside of the container 2 can be observed.
- a disposition portion 23 that is recessed toward the back surface portion 212 located on the opposite side of the front surface portion 211 is formed at a position on the bottom surface portion 214 side of the front surface portion 211.
- the portable terminal 3 mentioned later is arrange
- a rectangular plate-shaped transmission member 24 is disposed in the housing 21.
- the transmissive member 24 is constituted by a half mirror, and transmits a part of light incident from the back surface portion 212 side to the transmissive member 24 and is incident from the front surface portion 211 side. Reflect some of the light.
- the transmitting member 24 is disposed at an angle of approximately 45 ° with respect to the upper surface portion 213 and the bottom surface portion 214 and is disposed at an angle of 45 ° with respect to the front surface portion 211. More specifically, the transmissive member 24 reflects an image (light forming the image) projected upward from the mobile terminal 3 arranged in the arrangement unit 23 along the normal line of the front unit 211. It is arranged inclined downward.
- the scenery on the back part 212 side can be observed with respect to the transmission member 24 through the transmission member 24, and the portable terminal is superimposed on the scenery.
- the image projected from 3 can be observed. That is, the image projected from the mobile terminal 3 onto the transmissive member 24 is visually recognized as a virtual image formed on the back surface 212 side with respect to the transmissive member 24.
- FIG. 2 is a plan view illustrating an example of the mobile terminal 3.
- the mobile terminal 3 can be configured by a smartphone (multifunctional mobile phone), a tablet terminal, a portable game machine, or the like.
- the mobile terminal 3 detects the movement of a moving body within a predetermined area, and forms and projects an image according to the movement of the moving body.
- the predetermined area is set in the display area of the image projected on the transmissive member 24 by the mobile terminal 3 (that is, in the virtual image forming area).
- a portable terminal 3 includes a housing 31, a display unit 32, an operation unit 33, an audio output unit 34, and an imaging unit 35 provided in the housing 31, and a game It is comprised by the terminal device which can execute a program etc.
- the casing 31 constitutes the exterior of the mobile terminal 3 and is formed in a substantially oval shape that is large enough to be held by the left and right hands.
- the housing 31 includes a front surface portion 311, a back surface portion 312 (not shown in FIG. 2), a top surface portion 313, a bottom surface portion 314, and left and right side surface portions 315 and 316.
- the display unit 32 corresponds to the display device of the present invention, and is disposed at the approximate center of the front unit 311.
- the display unit 32 includes a display panel formed in a rectangular shape, and an image formed by the display control unit 371 under the control of a display control unit 371 (see FIG. 4) of the control unit 37 described later. Is displayed. Examples of such a display panel include organic EL (Electro-Luminescence) and liquid crystal display panels.
- the image displayed by the display unit 32 is reflected and observed by the transmission member 24 toward the front unit 211 when the mobile terminal 3 is arranged in the arrangement unit 23.
- the operation unit 33 includes various buttons and sticks disposed around the display unit 32 in the front unit 311 and the upper surface unit 313, and outputs an operation signal according to a user's input operation to the control unit 37. .
- the operation unit 33 is positioned on the left side of the display unit 32, and can be tilted in each direction, and a direction button 331 that can be input in each of the up, down, left, and right directions when facing the front unit 311.
- An operation stick 332 and an operation button 333 located on the bottom surface portion 314 side.
- the operation unit 33 includes four operation buttons 334 located on the right side of the display unit 32, an operation stick 335 having the same configuration as the operation stick 332, operation buttons 336 and 337 located on the bottom surface 314 side, Have Further, the operation unit 33 includes operation buttons 338L and 338R that are located on the left and right sides of the upper surface 313, respectively.
- the audio output unit 34 includes speakers 34 ⁇ / b> L and 34 ⁇ / b> R disposed in the vicinity of both left and right ends of the front portion 311.
- the audio output unit 34 outputs audio corresponding to an audio signal input from an audio output control unit 373 (see FIG. 4) of the control unit 37, which will be described later, through the speakers 34L and 34R.
- the imaging unit 35 corresponds to the imaging device of the present invention, and includes a camera 351 as a first imaging unit disposed on the upper right side of the front unit 311.
- the imaging unit 35 outputs an image captured by the camera 351 to the control unit 37. Note that the imaging direction of the camera 351 is set so that the virtual image forming region is included when the mobile terminal 3 is placed on the placement unit 23.
- FIG. 3 is a block diagram illustrating a configuration of the mobile terminal 3.
- the mobile terminal 3 includes a storage unit 36 and a control unit 37 in addition to the above-described configurations 32 to 35, and these configurations 32 to 37 are connected to each other by a bus line BL.
- the storage unit 36 stores programs and data necessary for the operation of the mobile terminal 3.
- the storage unit 36 stores an OS (Operating System) that controls the operation of the mobile terminal 3, an application program such as a game, and an image display program that executes an image display process described later.
- Such a storage unit 36 can be configured by a non-volatile memory such as a flash memory or an HDD (Hard Disk Drive).
- FIG. 4 is a block diagram illustrating a configuration of the control unit 37.
- the control unit 37 is a control device that has a CPU (Central Processing Unit) and the like and controls the operation of the mobile terminal 3. Specifically, the control unit 37 reads out and processes the program stored in the storage unit 36 according to the user's input operation (operation signal input from the operation unit 33), or The mobile terminal 3 is controlled autonomously. In addition, the control unit 37 executes image display processing for causing the display unit 32 to display an image corresponding to the actual movement of the moving body in the storage unit 22 when the CPU executes the image display program. Therefore, as shown in FIG. 4, the control unit 37 includes a display control unit 371, an imaging control unit 372, an audio output control unit 373, a moving body detection unit 374, a coordinate acquisition unit 375, and a depth acquisition unit 376.
- a display control unit 371 an imaging control unit 372, an audio output control unit 373, a moving body detection unit 374, a coordinate acquisition unit 375, and a depth acquisition unit
- the display control unit 371 draws an image indicating the operation state of the mobile terminal 3 and an image corresponding to the movement of the moving body in the storage unit 22 in a drawing memory (not shown), and outputs an image signal corresponding to the image. By outputting to the display unit 32, the image is displayed on the display unit 32.
- FIG. 5 is a diagram showing a landscape SC and a display image DP that are visually recognized when the inside of the container 2 is observed from the front portion 211 side.
- the outer edge of the display image DP is indicated by a one-dot chain line in order to distinguish the actual landscape SC from the display image DP.
- the water W and the fish F are accommodated in the accommodating part 22 as mentioned above. For this reason, when the image is not projected on the transmissive member 24, when the inside of the container 2 is observed from the front portion 211 side, the scenery where the fish F is swimming in the water W as shown in the upper left in FIG. SC can be observed.
- the display control unit 371 displays the display image DP (display image DP including the virtual plants Aquatic PW and fish PF) shown on the upper right in FIG. As shown in the lower part of FIG. 2, the display image DP reflected by the transmission member 24 is observed as a virtual image together with the scenery SC in the container 2 through the transmission member 24. Therefore, the observer observes the display image DP on the scenery SC.
- the display control unit 371 displays the display image DP that is highly related to the scenery SC in the container 2, but may display the display image DP that is lowly related.
- the imaging control unit 372 controls the operation of the imaging unit 35. Specifically, the imaging control unit 372 causes the imaging unit 35 to capture images at a predetermined cycle (frame rate). Then, the imaging control unit 372 acquires a moving image that is a continuous captured image input from the imaging unit 35 and stores the moving image in the storage unit 36.
- the audio output control unit 373 controls the audio output unit 34 to output a predetermined audio. For example, when the display control unit 371 displays an image in which the fish PF, which is a virtual body, jumps on the water surface, the sound output control unit 373 causes the sound output unit 34 to output a sound of the fish PF jumping on the water surface. .
- FIG. 6 is a diagram illustrating the movement of the fish F, which is a moving body, included in the captured image.
- FIG. 6 is a diagram illustrating the movement of the fish F with a motion vector based on an optical flow.
- the position of the fish F is shown with the dotted line.
- the moving body detection unit 374 analyzes the moving image acquired by the imaging control unit 372, detects the moving body (for example, fish F) included in the moving image, and further, the position and moving direction of the moving body. Is detected.
- the moving body detection unit 374 analyzes the moving image by optical flow and detects the position and moving direction of the moving body.
- the optical flow is a vector representing the motion of an object in temporally continuous images (moving images).
- the coordinate acquisition unit 375 is a functional unit that associates the coordinates in the captured image with the coordinates in the image (formed image) formed by the display control unit 371.
- the coordinates corresponds to the coordinates of the display image in the captured image
- the coordinates of the formed image by the display control unit 371 to appropriately grasp the position of the moving body in the formed image or the position of the virtual body in the captured image.
- the display image DP that shakes the aquatic plant PW according to the movement of the fish F will be displayed.
- the display control unit 371 displays a calibration image including a plurality of points, acquires the positions of the displayed points from the captured image, and thereby determines the position and coordinates of the display image in the captured image.
- a method for making the coordinates of the captured image correspond to the coordinates of the formed image by acquiring is conceivable.
- such a method takes a relatively long time, and is performed every time the position of the mobile terminal 3 in the placement unit 23, the type of the mobile terminal 3, and the position of the camera 351 constituting the imaging unit 35 change. Need to be and cumbersome.
- the process for association can be simplified.
- the coordinates of the point in the formed image are calculated based on the area of the display region divided based on a point (for example, a point indicating the position of the moving body) located in the display region of the display image in the captured image. This is a calculation method.
- FIG. 7 is a diagram illustrating the position of the point P in the display image DP in the captured image CP.
- FIG. 8 is a diagram showing the position of the point P in the formed image FP.
- the mobile terminal 3 since the display image DP by the display unit 32 is reflected and observed by the transmissive member 24, the mobile terminal 3 is upside down from the case where the display image DP is observed. A formed image FP is formed.
- the upper and lower sides of the formed image FP shown in FIG. 8 are opposite to the upper and lower sides of the display image DP shown in FIG. Specifically, as shown in FIG.
- the display image DP included in the captured image CP (the display image DP in which the formed image FP in which the outer edge is formed by the edge connecting the vertex ABCD is displayed and visually recognized as the virtual image)
- the area of the triangle ACP formed by the vertices A and C and the point P in the display image DP is S0.
- the area of the triangle CDP is S1
- the area of the triangle BDP is S2
- the area of the triangle ABP is S3. Accordingly, as shown in FIG. 8, when the coordinates of the point P in the formed image FP are (x, y), the x and y can be obtained by the following equation (1).
- the position of the vertex ABCD in the captured image can be acquired by setting the vertex ABCD in the formed image FP to a different color and detecting the position of each color from the captured image. Further, the area of the triangle ACP can be calculated using Heron's formula or the like.
- FIG. 9 is a diagram illustrating the position of the point P in the display image DP in the captured image CP.
- the second method is a method of obtaining the position of the point P in the captured image CP from the coordinates (x, y) of the point in the formed image FP shown in FIG. Note that the position of the vertex ABCD in the captured image can be acquired by the same method as described above.
- the point of the formed image FP is the coordinate (x, y) normalized by the screen size, and the line segments AB and CD are respectively included in the captured image CP shown in FIG.
- the points to be divided are represented as M and N, and the point where the line segment MN is internally divided by y: 1-y in the captured image CP is represented as P.
- the coordinates of the point P in the formed image FP can be made to correspond to the coordinates of the point P in the captured image CP.
- FIG. 10 shows that when the inside of the container 2 is viewed from the front portion 211 side, the fish F, which is an actual moving body, moves to the display position of the aquatic plant PW, which is a virtual body. It is a figure which shows the state in the container 2 observed when the image swung in the direction opposite to the moving direction is displayed with the portable terminal 3.
- the coordinate acquisition unit 375 can associate the coordinates of the formed image FP formed by the display control unit 371 with the coordinates of the captured image CP.
- the moving direction of the fish F that is a real moving body is the direction toward the display position of the right aquatic plant PW1 among the virtual aquatic plants PW (PW1, PW2), and the fish F
- a display image DP in which the aquatic plant PW1 swings in the direction opposite to the moving direction of the fish F can be displayed as shown in FIG.
- the observer can observe the scenery and the image in which the real moving body (fish F) and the virtual body (aquatic plant PW1) are related.
- the display image DP by the portable terminal 3 is visually recognized as a virtual image on the back side of the transmissive member 24 as described above.
- the housing portion 22 has a predetermined depth dimension
- the fish F may be located on the side. Therefore, by estimating the position of the moving body in the depth direction of the container 2 and forming and displaying an image according to the position of the moving body, a sense of depth can be given to the scenery and the image to be observed.
- the depth acquisition unit 376 acquires the size and moving speed of the moving body (fish F) from the moving image (captured image) acquired by the imaging unit 35 using an optical flow. Based on the size and moving speed of the moving body, the relative distance of the moving body from the portable terminal 3 (in other words, the distance in the depth direction from the transmitting member 24) is estimated and acquired.
- FIG. 11 is a diagram illustrating the depth position of the fish F with respect to the transmission member 24.
- the fish F located on the back side with respect to the transmissive member 24 is located at the position L1 closest to the transmissive member 24, the fish F is captured the largest in the captured image. The moving speed of the fish F is the highest.
- the fish F is located at the position L2 farthest from the transmissive member 24, the fish F is imaged the smallest in the captured image, and the moving speed of the fish F is the lowest.
- the fish F when the fish F is located at a position L3 between the positions L1 and L2, in the captured image, the fish F is smaller than when located at the position L1 and larger than when located at the position L2. As the image is captured, the moving speed of the fish F is lower than that at the position L1 and higher than that at the position L2.
- the depth acquisition part 376 estimates and acquires the relative distance of the said mobile body based on at least one of the magnitude
- FIG. 12 is a flowchart showing image display processing performed in the mobile terminal 3.
- the control unit 37 executes the following image display processing, thereby forming and displaying the image.
- the imaging control unit 372 controls the imaging unit 35 to acquire a captured image (moving image) by the camera 351 (step S1).
- the moving body detection unit 374 processes the acquired captured image as described above, and acquires the position and moving direction of the moving body in the captured image (step S2).
- the coordinate acquisition part 375 acquires the coordinate in the formation image corresponding to the position of the moving body in a captured image (step S3).
- the depth acquisition unit 376 acquires the depth position of the moving body based on the size and moving speed of the moving body in the captured image (step S4). Thereafter, the display control unit 371 forms an image corresponding to each acquired information, and displays the image on the display unit 32 (step S5). By such an image display process, an image like the display image DP is displayed.
- the image display system 1 has the following effects.
- the transmission member 24 provided in the housing 21 of the container 2 transmits at least a part of the light incident from the housing portion 22. According to this, the inside of the accommodating part 22 on the back side can be observed through the transmission member 24. Further, since the transmissive member 24 reflects the image projected from the mobile terminal 3 located in the arrangement unit 23 on the front side, the observer located in the reflection direction of the image can view the image projected on the transmissive member 24. Observe. Furthermore, the reflection direction of the image by the transmissive member 24 is along the direction in which the light incident from the housing portion 22 is transmitted through the transmissive member 24.
- an observer positioned in the traveling direction of the light (the reflection direction of the image) It is possible to observe the scenery in the storage unit 22 where the projected images overlap. Accordingly, the scenery in the container 2 and the projected image can be observed, respectively, and a new display form in which the display image is superimposed on the scenery in the container 2 can be provided.
- the inside of the container 2 can be observed through the front part 211 and the transmission member 24. Further, in this case, projection is performed from the mobile terminal 3 disposed on the bottom surface portion 214 side by the transmission member 24 disposed to be inclined with respect to the top surface portion 213 and the bottom surface portion 214 (first surface portion) and the front surface portion 211. Since the reflected image is reflected to the front portion 211 side, an observer located on the front portion 211 side can observe the image. Therefore, the observer can reliably observe the scenery in the container 2 where the image (display image) overlaps from the front portion 211 side. In this case, since the transmissive member 24 is accommodated in the container 2, the permeable member 24 is not located outside the container 2, and the container 2 can be downsized.
- an arrangement portion 23 in which the mobile terminal 3 is disposed is provided on the bottom surface portion 214 side of the front surface portion 211 of the housing 21, an arrangement portion 23 in which the mobile terminal 3 is disposed is provided. According to this, the mobile terminal 3 can be easily arranged so as to face the transmissive member 24, and the mobile terminal 3 can be prevented from moving unnecessarily.
- the imaging unit 35 includes a camera 351 that images the inside of the accommodation unit 22 via the transmission member 24, and the control unit 37 responds to the movement of the fish F in the accommodation unit 22 based on the image captured by the imaging unit 35.
- the displayed image is displayed on the display unit 32. According to this, it is possible to display an image related to the movement of the fish F that is an actual moving body.
- the position and moving direction of the moving body in the captured image can be accurately acquired by the moving body detecting section 374 that analyzes the image captured by the image capturing section 35 using the optical flow.
- the display control unit 371 can display an image according to the detected position of the moving body and the moving direction on the display unit 32, thereby appropriately displaying an image in accordance with the actual movement of the moving body. Therefore, the interest of the image display system 1 can be enhanced.
- the coordinate acquisition unit 375 acquires the coordinates of the point in the formed image FP corresponding to the point P in the display image DP in the captured image CP in the first direction or the second direction. According to this, since the coordinates of the display image DP in the captured image CP can be made to correspond to the coordinates of the formed image FP, the display control unit 371 uses the aquatic plant in which the fish F, which is an actual moving body, is a virtual body. When approaching PW, an image obtained by shaking the aquatic plant PW can be displayed on the display unit 32. Accordingly, the position and moving direction of the actual moving body in the formed image FP can be properly grasped, and an image in which the virtual body is moved according to the position and moving direction of the moving body can be appropriately displayed.
- the depth acquisition unit 376 acquires the depth of the moving body with respect to the transmissive member 24 based on the size and speed of the moving body included in the captured image. According to this, for example, when the fish F that matches the display position in the depth direction of the aquatic plant PW that is a virtual body approaches the aquatic plant PW, an image in which the aquatic plant PW is shaken can be displayed. When the fish F that does not match the display position approaches the aquatic plant PW when viewed in plan, an image in which the aquatic plant PW does not move can be displayed. Therefore, since an image in consideration of the depth of the housing portion 22 can be displayed, a sense of depth can be given to the observer.
- FIG. 13 is a perspective view schematically showing an image display system 1 ⁇ / b> A that is a modification of the image display system 1.
- the container 2 has the placement portion 23 at the position on the bottom face 214 side of the front portion 211, and the mobile terminal 3 placed in the placement portion 23 is placed on the inclined transmission member 24 from below. The image was projected upward.
- the image display system having the above functions is not limited to such a configuration.
- the container 2A has a casing 21A that is formed in a substantially rectangular parallelepiped shape and forms the outer shape of the container 2A, and a housing portion 22 is formed in the casing 21A. .
- a rectangular plate-shaped transmission member 24 is disposed in the housing 21A.
- the arrangement part 23 is provided at a position on the bottom face 214 side of the front part 211, whereas in the container 2 ⁇ / b> A, the arrangement part 23 ⁇ / b> A in which the mobile terminal 3 is arranged is an upper surface part 213. Is provided at a position on the front portion 211 side.
- the portable terminal 3 is arrange
- the mobile terminal 3 is located at a position opposite to the position with respect to the container 2, and therefore the direction of the transmissive member 24 that reflects the image projected from the mobile terminal 3 toward the front portion 211 side.
- the transmission member 24 is arranged to be inclined at approximately 45 ° with respect to the upper surface portion 213 and the bottom surface portion 214 and further inclined at approximately 45 ° with respect to the front surface portion 211.
- the image projected downward from the portable terminal 3 arranged in the arrangement unit 23A is arranged to be inclined upward so as to be reflected along the normal line of the front unit 211.
- the image display system 1 ⁇ / b> A including the container 2 ⁇ / b> A and the portable terminal 3 can achieve the same effects as the image display system 1.
- the dimension in the direction in which the portions 214 are connected to each other is set so as to coincide with the width dimension and the height dimension of the front portion 211 when the inside of the container 2 is viewed from the front portion 211 side.
- the size of the transmission member 24 is not limited to this. That is, the dimension of the transmissive member 24 can be changed as appropriate. For example, a transmission member whose width dimension is smaller than the transmission member 24 may be adopted.
- FIG. 14 is a perspective view schematically showing an image display system 1B that is a modification of the image display system 1
- FIG. 15 is a view of the image display system 1B as viewed from the front portion 211 side of the container 2B.
- the image display system 1 ⁇ / b> B has the same configuration and function as the image display system 1 except that the container 2 ⁇ / b> B is used instead of the container 2. Instead, it has the same configuration and function as the container 2 except that it has a transmissive member 24B.
- a transmissive member 24B having a smaller width dimension than the transmissive member 24, that is, a transmissive member 24B having a width dimension smaller than that of the front portion 211 is provided in the housing 21 in accordance with the projection range of the image from the portable terminal 3. Is arranged.
- a gap S is formed on both sides in the width direction of the transmission member 24B, and the fish F can move to the front side and the back side of the transmission member 24A via the gap S. .
- the same effect as that of the image display systems 1 and 1A can be obtained, and a transparent member that displays a virtual image of the fish F that is a real moving body can be displayed. It can be moved to the front side of 24B, and the display variation can be expanded.
- the container 2B having the same casing 21 as the container 2 is employed.
- the container 2A having the transmissive member 24B may be employed instead of the transmissive member 24.
- FIG. 16 is a perspective view schematically showing an image display system 1 ⁇ / b> C that is a modification of the image display system 1.
- the container 2 includes the housing 21 formed in a substantially rectangular parallelepiped shape, and the transmissive member 24 is approximately 45 with respect to the front surface portion 211 as well as the top surface portion 213 and the bottom surface portion 214. It is assumed that it is disposed in the housing 21 so as to be inclined.
- the image display system having the above functions is not limited to such a configuration.
- an image display system 1C that employs a container 2C shown in FIG.
- the container 2 ⁇ / b> C includes a housing 21 in which a front portion 211 is inclined by approximately 45 ° with respect to each of an upper surface portion 213 and a bottom surface portion 214. That is, the front portion 211 is formed so as to be inclined away from the back surface portion 212 as it goes from the bottom surface portion 214 side to the top surface portion 213 side.
- the front member 211 is provided with the transmission member 24. In other words, the front portion 211 is configured by the transmission member 24, and the front surface of the transmission member 24 is inclined downward.
- An image displayed on the portable terminal 3 arranged on the front side with respect to the front part 211 is projected, and the image is reflected on the front side by the transmission member 24 so that the viewer can visually recognize the image.
- the transmissive member 24 may be arranged in the front portion 211 according to the projection range of the image from the portable terminal 3. In such an image display system 1C, the arrangement part of the portable terminal 3 is located on the front side of the container 2C.
- the transmissive member 24 is provided on the front surface portion 211 that is inclined with respect to each of the upper surface portion 213 and the bottom surface portion 214. That is, the transmission member 24 constitutes the front part 211. According to this, the accommodating part 22 will be located in the back side of the transmissive member 24. Therefore, even when the liquid is stored in the storage unit 22, it is possible to suppress the image reflected and incident on the transmission member 24 from being distorted due to refraction, and to prevent the luminance of the visually recognized image from decreasing. it can. Furthermore, since it is not necessary to separately arrange the transmissive member 24 inclined with respect to the top surface 213, the bottom surface 214, and the front surface 211 in the container 2C, the configuration in the container 2C can be simplified.
- the mobile terminal 3 is disposed in a space on the opposite side (that is, the front side) from the back surface 212 side with respect to the front surface portion 211 inclined to the top surface portion 213 and the bottom surface portion 214, respectively. That is, the mobile terminal 3 can be arranged in a space formed by the front portion 211 being inclined with respect to the top surface portion 213 and the bottom surface portion 214. According to this, it can suppress that the image display system 1C enlarges unnecessarily.
- the mobile terminal 3 when the thickness dimension of the mobile terminal 3 is relatively large, the imaging range of the camera 351 is expanded, or a member such as a lens and a prism that adjusts the imaging direction of the camera 351 (for example, Even when the adjustment member 4) described later is provided in the mobile terminal 3, the mobile terminal 3 can be suitably arranged.
- FIG. 17 is a diagram illustrating an image display system 1 ⁇ / b> D that is a modification of the image display system 1. Moreover, it may replace with the container 2 and may employ
- the container 2 ⁇ / b> D includes a housing 21 ⁇ / b> D in which a front part 211 is inclined by approximately 45 ° with respect to the bottom part 214, opposite to the container 2 ⁇ / b> C. That is, the front portion 211 is formed to be inclined so as to approach the back surface portion 212 as it goes from the bottom surface portion 214 side to the top surface portion 213 side. Similar to the container 2C, the front portion 211 is provided with a transmissive member 24. In other words, the front portion 211 is constituted by the transmission member 24, and the front surface of the transmission member 24 is inclined upward. Note that, as described above, the transmission member 24 may be arranged in the front portion 211 at a position corresponding to the projection range.
- the upper surface portion 213 extends to the front side from the front surface portion 211, and has an arrangement portion 23D in which the mobile terminal 3 is disposed so that the display portion 32 faces downward (bottom surface portion 214 side).
- the arrangement portion 23D is configured by a translucent member that transmits visible light, and the mobile terminal 3 is located on the back side of the transmission member 24 via the arrangement portion 23D and the transmission member 24.
- the display image DP reflected by the transmissive member 24 is imaged. Even in such an image display system 1D, the same effects as those of the image display systems 1 and 1C can be obtained.
- the image display system according to the present embodiment has the same configuration as the image display systems 1, 1A to 1D.
- the movement of the fish F which is an actual moving body located in the containers 2 and 2A to 2D, is detected, and is a virtual body according to the movement of the fish F.
- An image of shaking the aquatic plants PW was displayed.
- the mobile terminal 3 detects the movement of the water surface and moves the virtual body displayed so as to float on the water surface.
- the image display system according to the present embodiment is different from the image display systems 1, 1A to 1D.
- parts that are the same as or substantially the same as those already described are assigned the same reference numerals and description thereof is omitted.
- FIG. 18 is a schematic diagram showing a configuration of an image display system 1E according to the present embodiment.
- FIG. 19 is the figure which looked at the inside of the container 2D which comprises the said image display system 1E from the front part 211 side.
- the image display system 1 ⁇ / b> E according to the present embodiment includes a container 2 ⁇ / b> D and a portable terminal 3, similar to the image display system 1 ⁇ / b> D.
- the image display system 1 ⁇ / b> E includes a container 2 ⁇ / b> D and a portable terminal 3, similar to the image display system 1 ⁇ / b> D.
- about 1/3 of the water W at the time of full water is poured into the accommodating part 22 in the container 2D, and the fish F is swimming in the water W.
- the portable terminal 3 arranged in the arrangement unit 23D under the control of the display control unit 371, an image including the duck D, which is a virtual body, is projected on the transmissive member 24 by the display unit 32. As shown, the duck D is observed so as to float on the water surface W1.
- the imaging direction of the camera 351 is set to a direction in which the water surface W ⁇ b> 1 that is a moving body can be imaged via the transmission member 24.
- FIG. 20 is a diagram illustrating the motion of the water surface W1 that is a moving body included in the captured image CP by the camera 351.
- FIG. 20 is a diagram illustrating the motion of the water surface W1 with motion vectors. Since the bottom surface portion 314 of the mobile terminal 3 is arranged on the back side, the orientation of the captured image CP is the front portion 211 side of the container 2D in the drawing view of FIG. 20, and the right side is the container 2D. It is the left side surface part 215 side.
- the moving body detection unit 374 configuring the control unit 37 of the mobile terminal 3 analyzes the moving image acquired by the imaging control unit 372 and detects the water surface W1 that is a moving body included in the moving image. Detect motion.
- the moving body detection unit 374 analyzes the moving image captured by the imaging unit 35 using an optical flow, and detects a motion vector of the water surface W1 illustrated in FIG.
- the coordinate acquisition unit 375 associates the coordinates of the starting point of the ripple in the captured image CP with the coordinates of the starting point of the ripple in the image (formed image) formed by the display control unit 371, and the display control unit 371
- An image in which the duck D, which is a virtual body, moves in the direction in which the ripples spread from the starting point (the direction indicated by the dotted arrow in FIG. 20) is displayed.
- the duck D which is a virtual body located on the water surface W1, which is an actual moving body, moves in accordance with the movement of the water surface W1.
- the portable terminal 3 is arranged so that the camera 351 captures the water surface W1 from above, the starting point of the ripples in the depth direction of the container 2D can be easily grasped.
- FIG. 21 is a diagram illustrating the movement of the water surface W1 due to the ripples generated by the user's finger FN.
- what produces a ripple is not restricted to the said fish F, Other things may be used.
- the water surface W1 also moves due to ripples generated when the user's finger FN touches the water surface W1.
- the moving body detection unit 374, the coordinate acquisition unit 375, and the display control unit 371 display an image in which the virtual duck D moves in the direction in which the ripples spread.
- Such an image display system 1E can achieve the same effects as the image display systems 1, 1A to 1D.
- FIG. 22 is a perspective view schematically showing a configuration of an image display system 1F that is a modification of the image display system 1E.
- the mobile terminal 3 is arranged in the arrangement unit 23D provided on the upper surface part 213, and the camera 351 images the water surface W1 from the upper side.
- the image display system according to the present embodiment has the same configuration as that of the image display system 1D, and also detects an observer's movement and displays an image corresponding to the movement. In this respect, the image display system according to the present embodiment is different from the image display system 1D.
- parts that are the same as or substantially the same as those already described are assigned the same reference numerals and description thereof is omitted.
- FIG. 23 is a side view schematically showing the configuration of the image display system 1G according to the present embodiment.
- FIG. 24 is a diagram showing the back surface portion 312 of the mobile terminal 3.
- the image display system 1G according to the present embodiment includes the container 2D and the portable terminal 3 as in the image display system 1D, and has the same functions and functions as the image display system 1D.
- the mobile terminal 3 includes a camera 352 that is provided on the back surface 312 of the housing 31 and constitutes the imaging unit 35.
- the imaging unit 35 outputs not only the image captured by the camera 351 but also the image captured by the camera 352 to the control unit 37.
- the camera 352 corresponds to the second imaging unit of the present invention.
- the resolution of the camera 352 is lower than the resolution of the camera 351 provided in the front portion 311, but is not limited thereto, and may be equal to or higher than the resolution of the camera 351.
- a pair of concave portions 3121 each having an elliptical shape are provided in the vicinity of both left and right ends of the back surface portion 312, and the mobile terminal 3 can be grasped by arranging left and right middle fingers or the like in the respective concave portions 3121. It is configured to be easy.
- a touch panel 339 constituting the operation unit 33 is provided in an area between the pair of recesses 3121.
- the image display system 1G includes an adjustment member 4 that adjusts the imaging direction of each camera 351, 352, as shown in FIG.
- the adjustment member 4 includes two reflection members 41 and 42 configured by mirrors, prisms, and the like.
- the reflection member 41 is attached in the vicinity of the camera 351, and the imaging direction of the camera 351 is changed via the transmission member 24. It adjusts so that it may face the inside of the accommodating part 22.
- the reflection member 42 is attached in the vicinity of the camera 352 and adjusts the imaging direction of the camera 352 so as to face the observer located on the front side of the container 2D.
- the adjustment member 4 can be used in the image display systems 1 and 1A to F.
- FIG. 25 is a diagram illustrating an example of a captured image CP1 captured by the camera 352.
- the portable terminal 3 also performs the same image display process as the image display process in this embodiment.
- the moving body detection unit 374 detects the position and moving direction of the actual moving body (for example, fish F) included in the image captured by the camera 351, and also the actual moving body included in the image captured by the camera 352.
- the position and direction of movement are detected. That is, the moving body detection unit 374 detects the position and moving direction of an actual moving body included in a moving image that is a captured image captured by each of the cameras 351 and 352 for each moving image. For this reason, for example, as illustrated in FIG. 25, when the captured image CP1 in which the observer US shakes his / her hand H is captured and acquired by the camera 352, the moving object detection unit 374 causes the observer US to The position and moving direction of the hand H are detected.
- the captured image CP1 in which the observer US shakes his / her hand H is
- FIG. 26 is a diagram illustrating a state in the container 2D when the mobile terminal 3 displays the display image DP1 in which the fish PF is moved according to the movement of the hand H of the observer US included in the captured image CP1. is there.
- the positions of the observer US and the hand H in the display area of the display image DP1 are indicated by dotted lines.
- the display control unit 371 forms and displays a display image DP1 in which the virtual fish PF approaches the position of the hand H of the observer US.
- the display image DP1 in which the fish PF, which is a virtual body, moves according to the movement of the hand H of the observer US, which is an actual moving body, as viewed from the observer US.
- a display image obtained by moving the fish PF or aquatic plants PW, which are virtual bodies can be displayed in accordance with the movement of the fish F, which is a real moving body, included in the captured image in the storage unit 22 by the camera 351.
- the image display systems 1, 1A to 1D There are the same as the image display systems 1, 1A to 1D.
- the display image which the said duck D which is a virtual body moves according to the motion of the water surface W1 which is an actual moving body can be displayed, for example.
- the imaging unit 35 includes a camera 352 that captures an area in a direction in which an image is reflected by the transmissive member 24, that is, an area where the observer US is located.
- the display control unit 371 performs the movement. An image corresponding to the movement of the body (the movement of the hand H of the observer US) can be displayed on the display unit 32.
- the portable terminal 3 includes an adjustment member 4 having a reflection member 41 that adjusts the imaging direction of the camera 351 located on the front surface 311 and a reflection member 42 that adjusts the imaging direction of the camera 352 located on the back surface 312. According to this, since the imaging direction of each camera 351, 352 can be adjusted to an appropriate direction by the adjustment member 4, an appropriate area can be imaged by the imaging unit 35.
- the display image is changed in accordance with the movement of the fish F included in the image captured by the camera 351 located on the front surface 311 but also the image captured by the camera 352 located on the back surface 312.
- the display image is formed and displayed according to the movement of the observer.
- the present invention is not limited to this. That is, an image including an image in the storage unit 22 (an image in the storage unit 22) and an image of an observer reflected by the transmissive member 24 are included from an image captured by the camera 351 located on the front unit 311.
- the image (the image on the front side) may be separated and the display image may be changed according to the movement of the observer.
- the moving body detection unit 374 separates an image in the storage unit 22 and an image on the front side with respect to the containers 2 and 2A to 2D from an image captured by the camera 351, and actual movement from each image.
- the position, shape and moving direction of the body may be detected.
- the camera 352 may not be provided, and it is not necessary to provide the reflecting member 42 of the adjusting member 4.
- Such image separation can be divided according to the brightness of each image, for example. That is, the brightness of the image in the storage unit 22 captured by the camera 351 is higher than the brightness of the front-side image captured by being reflected by the transmission member 24. For this reason, the image in the accommodating part 22 and the said image of the front side can be isolate
- the image is not limited to a configuration that separates images based on brightness, and each image may be separated based on other characteristics.
- the configuration of the transmissive member 24 a configuration having a polarization separation layer that transmits one polarized light of P-polarized light and S-polarized light and reflects the other polarized light is adopted, and a captured image is obtained depending on the polarization direction. It is good also as a structure to isolate
- the one polarized light incident from the back surface portion 212 side passes through the transmission member 24 having the polarization separation layer and travels to the front surface portion 211 side, so that the one polarized light enters the camera 351.
- the inside of the accommodating portion 22 can be imaged through the transmitting member 24.
- the one polarized light passes through the polarization separation layer of the transmission member 24, but the other polarized light is reflected and incident on the camera 351. . Therefore, by switching the polarized light incident on the camera 351 between the case of acquiring the image in the storage unit 22 and the case of acquiring the images on the front side of the containers 2, 2A to 2D, the respective images are displayed. Can be acquired individually.
- a polarization element that transmits the one polarized light instead of a configuration for switching incident polarized light, a polarization element that transmits the one polarized light and a polarization element that transmits the other polarized light for each pixel or region of the imaging element of the camera 351. It is good also as a structure which provides one.
- the present invention is not limited to the above-described embodiment, and modifications, improvements, and the like within the scope that can achieve the object of the present invention are included in the present invention.
- the water W and the fish F are accommodated in the accommodating portions 22 of the containers 2, 2A to 2D.
- the present invention is not limited to this. That is, the object accommodated in the accommodating part 22 may be other things.
- a machine such as an animal or a toy may be accommodated as the moving body, and the moving body may not be accommodated.
- the transmission member 24 is arranged to be inclined by 45 ° with respect to the upper surface portion 213 and the bottom surface portion 214.
- the present invention is not limited to this.
- the transmissive member 24 may be inclined with respect to the left side surface portion 215 and the right side surface portion 216.
- the inclination angle of the transmission member 24 is not limited to 45 °, and may be another angle. That is, if the image projected from the portable terminal 3 (display device) arranged at a predetermined position can be reflected to a position where the observer can visually recognize, the position and the inclination angle of the transmissive member 24 can be changed as appropriate.
- the containers 2, 2A, 2D have the placement portions 23, 23A, 23D in which the mobile terminal 3 is placed, but the present invention is not limited to this. That is, there may be no arrangement
- the mobile terminal 3 has a configuration in which the display unit 32 as a display device, the imaging unit 35 as an imaging device, and the control unit 37 as a control device are integrated.
- the present invention is not limited to this. That is, in the image display system of the present invention, the configuration of the display device, the imaging device, the control device, and the like integrated in the portable terminal 3 may be separate from each other, and two or more configurations are integrated. Also good.
- the imaging direction of the camera 352 as the second imaging unit is along the reflection direction of the image by the transmissive member 24. That is, the imaging direction of the camera 352 is the direction facing the observer.
- the present invention is not limited to this. That is, the imaging direction of the camera 352 may be another direction.
- the said camera 352 was provided in the back surface part 312 of the portable terminal 3, other places, such as the front part 311, may be sufficient, for example.
- the image display system 1G includes the adjustment member 4 that adjusts the imaging direction of the cameras 351 and 352, but the present invention is not limited to this. That is, as long as the imaging direction of the cameras 351 and 352 is adjusted, the adjustment member 4 is not necessary.
- the configuration of the adjustment member is not limited to the configuration having the reflection member, but may be another configuration as long as the imaging direction can be adjusted.
- the moving body detection unit 374 analyzes the captured image (moving image) acquired from the imaging unit 35 using an optical flow, and detects the position and moving direction of the moving body included in the captured image. did.
- the present invention is not limited to this. That is, as long as the position and moving direction of the moving body in the captured image can be detected, the moving body may be detected by another method, and further, the shape of the moving body may be detected.
- the coordinate acquisition unit 375 acquires the coordinates of the points in the formed image corresponding to the points in the display image included in the captured image by the first method or the second method.
- the present invention is not limited to this. That is, the correspondence between the coordinates in the captured image and the coordinates in the formed image may be determined by other methods.
- the depth acquisition unit 376 acquires the depth position of the moving body based on the size and moving speed of the moving body included in the captured image.
- the present invention is not limited to this. That is, the depth position of the moving body may be estimated and acquired based on either the size or the moving speed of the moving body, or the depth position may be acquired by another method.
- the captured image (moving image) by the imaging unit 35 is used for detection and acquisition of the position, moving direction, size, and moving speed of an actual moving body (for example, fish F, water surface W1, and hand H). It had been.
- the luminance of the image displayed by the display unit 32 of the mobile terminal 3 may be increased or decreased based on the luminance of the display image included in the captured image. For example, by increasing the brightness of the display image, only the display image can be observed, and conversely, by reducing the brightness of the display image, the inside of the housing portion 22 can be easily observed.
- the transmissive member 24 is configured by a half mirror, and the transmissive member 24 may be configured to have a polarization separation layer in a modification of the third embodiment.
- the present invention is not limited to this.
- a dichroic mirror that transmits one of light having a predetermined wavelength or more and light having a wavelength shorter than the predetermined wavelength and reflects the other may be employed as the transmitting member.
- the transmissive member may be configured to be able to observe the inside of the accommodating portion 22 located on the back side through the transmissive member and reflect the image projected from the front side.
- the image display process is performed by the CPU of the control unit 37 executing the image display program stored in the storage unit 36.
- the execution order of steps S2, S3 and S4 in this image display process may be reversed. Further, steps S3 and S4 are not necessarily performed.
- the image display process it is sufficient that the image projected from the display unit 32 is displayed and the transmissive member 24 in which the area on the back side is imaged by the imaging unit 35 is provided.
- the container 2, 2A to 2D having the accommodating portion 22 may be omitted.
- the image display program is stored in the storage unit 36, and the image display processing is executed by the CPU configuring the control unit 37 reading and executing the image display program.
- the present invention is not limited to this. That is, the image display program may be recorded and stored in a recording medium such as a disk-type recording medium or an external device with which the mobile terminal 3 can communicate, and may be appropriately read by the control unit 37. Further, the image display program may not be stored in the storage unit 36 in advance, and may be stored by downloading from a server on the network.
Landscapes
- Business, Economics & Management (AREA)
- Accounting & Taxation (AREA)
- Marketing (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Controls And Circuits For Display Device (AREA)
Abstract
容器(2)は、内部に物体を収容可能な収容部(22)を有する筐体(21)と、筐体(21)に設けられ、収容部(22)から入射される光のうち少なくとも一部の光を透過させるとともに、投影される画像を当該少なくとも一部の光が透過する方向に沿って反射させる透過部材(24)と、を有する。これによれば、透過部材(24)にて反射されて表示される画像が重なった収容部(22)内の風景を、当該透過部材(24)を介して観察できる。
Description
本発明は、容器、画像表示システム、画像表示方法、画像表示プログラム及び記録媒体に関する。
従来、携帯可能に構成され、動作画面や処理結果を表示する携帯端末が知られている。このような携帯端末として、有機EL(Electro-Luminescence)パネルや液晶パネル等の表示手段と、端末装置を操作する操作手段と、を備えた携帯端末が知られている(例えば、特許文献1参照)。
近年、上記特許文献1に記載のような携帯端末が普及するに従って、当該携帯端末は、様々な用途で用いられることが多くなっている。例えば、携帯端末を設置面上に立て掛け、予め取り込んだ画像やネットワークを介して配信される画像を表示して、デジタルフォトフレームやテレビのように利用されることがある。
このように、携帯端末を用いた画像表示の新たな形態が要望されている。
このように、携帯端末を用いた画像表示の新たな形態が要望されている。
本発明は、画像の新たな表示形態を提供できる容器、画像表示システム、画像表示方法、画像表示プログラム及び記録媒体を提供することを目的の1つとする。
本発明の第1態様に係る容器は、内部に物体を収容可能な収容部を有する筐体と、前記筐体に設けられ、前記収容部から入射される光のうち少なくとも一部の光を透過させるとともに、投影される画像を前記少なくとも一部の光が透過する方向に沿って反射させる透過部材と、を有することを特徴とする。
なお、収容部内に収容される物体は、所定の形状を有する物体の他、液体を含む。
上記第1態様によれば、筐体に設けられた透過部材は、収容部から入射される光のうち少なくとも一部を透過させるので、当該透過部材を介して収容部内を観察できる。また、透過部材は、投影された画像を反射させるので、当該画像の反射方向に位置することで、当該透過部材に投影された画像を虚像として観察できる。更に、透過部材による画像の反射方向は、収容部から入射される光が透過部材を透過する方向に沿うので、当該光の進行方向に位置する観察者(すなわち、画像の反射方向に位置する観察者)は、投影された画像が重なった収容部内の風景を観察できる。従って、単に容器内の風景や投影された画像を観察できるだけでなく、これらが重なって観察される新たな表示形態を提供できる。
上記第1態様によれば、筐体に設けられた透過部材は、収容部から入射される光のうち少なくとも一部を透過させるので、当該透過部材を介して収容部内を観察できる。また、透過部材は、投影された画像を反射させるので、当該画像の反射方向に位置することで、当該透過部材に投影された画像を虚像として観察できる。更に、透過部材による画像の反射方向は、収容部から入射される光が透過部材を透過する方向に沿うので、当該光の進行方向に位置する観察者(すなわち、画像の反射方向に位置する観察者)は、投影された画像が重なった収容部内の風景を観察できる。従って、単に容器内の風景や投影された画像を観察できるだけでなく、これらが重なって観察される新たな表示形態を提供できる。
上記第1態様では、前記筐体は、それぞれ当該筐体の外観を構成し、互いに交差する第1面部及び第2面部を有し、前記透過部材は、前記第1面部及び前記第2面部のそれぞれに対して傾斜していることが好ましい。
なお、筐体が略直方体形状である場合には、第1面部としては上面部又は底面部を例示でき、第2面部としては正面部を例示できる。また、筐体において観察者と対向する部位は、容器内を観察可能に構成されていることが望まれるため、少なくとも可視光が透過する透光性部材により形成されていることが好ましい。
上記第1態様によれば、例えば、観察者が第2面部に対向する場合、当該第2面部側から容器内を観察できる。また、この場合、第1面部及び第2面部のそれぞれに対して傾斜する透過部材にて、第1面部側から投影された画像は第2面部側に反射されることとなるので、第2面部側にて当該画像を観察できる。従って、第2面部側から容器内を見た場合に、容器内の風景と、当該風景に重なった画像とを確実に観察できる。
なお、筐体が略直方体形状である場合には、第1面部としては上面部又は底面部を例示でき、第2面部としては正面部を例示できる。また、筐体において観察者と対向する部位は、容器内を観察可能に構成されていることが望まれるため、少なくとも可視光が透過する透光性部材により形成されていることが好ましい。
上記第1態様によれば、例えば、観察者が第2面部に対向する場合、当該第2面部側から容器内を観察できる。また、この場合、第1面部及び第2面部のそれぞれに対して傾斜する透過部材にて、第1面部側から投影された画像は第2面部側に反射されることとなるので、第2面部側にて当該画像を観察できる。従って、第2面部側から容器内を見た場合に、容器内の風景と、当該風景に重なった画像とを確実に観察できる。
上記第1態様では、前記筐体は、それぞれ当該筐体の外観を構成し、互いに交差する第1面部及び第2面部を有し、前記第2面部は、前記第1面部に対して傾斜し、前記透過部材は、前記第2面部に位置することが好ましい。
なお、上記のように、筐体が略直方体形状である場合には、第1面部としては上面部又は底面部を例示でき、第2面部としては正面部を例示できる。また、筐体において観察者と対向する部位は、上記透光性部材により形成されていることが好ましい。
上記第1態様によれば、第1面部に対して傾斜する第2面部に透過部材が位置していることにより、第2面部に対して傾斜した透過部材を有する上記構成と同様の効果を奏することができる。
ここで、透過部材が収容部内に配置されている構成で、かつ、当該収容部内に液体が収容されている場合には、透過部材に投影される画像は、当該液体を通過して透過部材に入射されることとなる。このため、屈折により画像が歪む可能性がある他、透過部材にて反射されて視認される画像の輝度が低下する可能性がある。
これに対し、上記第1態様によれば、透過部材は、第1面部に対して傾斜し、かつ、筐体の外観を構成する第2面部に設けられるので、投影された画像が収容部を通過することがない。従って、収容部に液体が収容されている場合でも、屈折により画像が歪むことを抑制できる他、視認される画像の輝度が低下することを抑制できる。更に、透過部材が第2面部に位置することにより、当該透過部材を容器内に別途配置する必要がない。従って、容器2内の構成を簡略化できる。
なお、上記のように、筐体が略直方体形状である場合には、第1面部としては上面部又は底面部を例示でき、第2面部としては正面部を例示できる。また、筐体において観察者と対向する部位は、上記透光性部材により形成されていることが好ましい。
上記第1態様によれば、第1面部に対して傾斜する第2面部に透過部材が位置していることにより、第2面部に対して傾斜した透過部材を有する上記構成と同様の効果を奏することができる。
ここで、透過部材が収容部内に配置されている構成で、かつ、当該収容部内に液体が収容されている場合には、透過部材に投影される画像は、当該液体を通過して透過部材に入射されることとなる。このため、屈折により画像が歪む可能性がある他、透過部材にて反射されて視認される画像の輝度が低下する可能性がある。
これに対し、上記第1態様によれば、透過部材は、第1面部に対して傾斜し、かつ、筐体の外観を構成する第2面部に設けられるので、投影された画像が収容部を通過することがない。従って、収容部に液体が収容されている場合でも、屈折により画像が歪むことを抑制できる他、視認される画像の輝度が低下することを抑制できる。更に、透過部材が第2面部に位置することにより、当該透過部材を容器内に別途配置する必要がない。従って、容器2内の構成を簡略化できる。
上記第1態様では、前記筐体は、前記第2面部に対向する第3面部と、前記第2面部に対して前記第3面部とは反対側に位置し、前記透過部材に画像を投影する表示装置が配置される配置部と、を有することが好ましい。
なお、第2面部が正面部である場合には、第3面部は背面部とすることができる。
上記第1態様によれば、配置部は、透過部材が設けられる第2面部に対して第3面部とは反対側、すなわち、透過部材に対して収容部とは反対側に位置している。これによれば、透過部材に対向するように表示装置を配置しやすくすることができる。この他、第2面部が第1面部に対して傾斜していることによって形成される空間に表示装置を配置できるので、容器が不要に大型化することを抑制できる。更に、当該空間は、収容部ではないため、上記歪みの発生や画像の輝度の低下を確実に抑制できる。
なお、第2面部が正面部である場合には、第3面部は背面部とすることができる。
上記第1態様によれば、配置部は、透過部材が設けられる第2面部に対して第3面部とは反対側、すなわち、透過部材に対して収容部とは反対側に位置している。これによれば、透過部材に対向するように表示装置を配置しやすくすることができる。この他、第2面部が第1面部に対して傾斜していることによって形成される空間に表示装置を配置できるので、容器が不要に大型化することを抑制できる。更に、当該空間は、収容部ではないため、上記歪みの発生や画像の輝度の低下を確実に抑制できる。
本発明の第2態様に係る画像表示システムは、内部に物体を収容可能な収容部を有する筐体、及び、前記筐体に設けられ、前記収容部から入射される光のうち少なくとも一部の光を透過させるとともに、投影される画像を前記少なくとも一部の光が透過する方向に沿って反射させる透過部材を有する容器と、前記透過部材に画像を投影する表示装置と、を備えることを特徴とする。
なお、筐体において透過部材による画像の反射方向の部位は、上記透光性部材により形成されていることが好ましい。
上記第2態様によれば、上記第1態様に係る容器と同様の効果を奏することができる。
なお、筐体において透過部材による画像の反射方向の部位は、上記透光性部材により形成されていることが好ましい。
上記第2態様によれば、上記第1態様に係る容器と同様の効果を奏することができる。
上記第2態様では、前記透過部材を介して前記収容部内を撮像する第1撮像部、及び、前記収容部内とは異なる領域を撮像する第2撮像部の少なくともいずれかを有する撮像装置と、前記撮像装置による撮像画像に基づいて、移動体の動きに応じた画像を前記表示装置に表示させる制御装置と、を備えることが好ましい。
なお、移動体の動きに応じた画像としては、例えば、移動体の動きに応じて画像に含まれる仮想体を移動させたり、当該仮想体の形状を変更したりした画像を挙げることができ、より具体的に例示すれば、移動体が透過部材に投影された画像に含まれる仮想体に近づいた場合に、当該移動体の移動方向に沿って仮想体を移動させる画像を挙げることができる。
上記第2態様によれば、制御装置が、撮像装置による撮像画像に含まれる現実の移動体の動きに応じた画像を表示でき、画像表示システムによる表示形態の幅を広げることができる。
なお、移動体の動きに応じた画像としては、例えば、移動体の動きに応じて画像に含まれる仮想体を移動させたり、当該仮想体の形状を変更したりした画像を挙げることができ、より具体的に例示すれば、移動体が透過部材に投影された画像に含まれる仮想体に近づいた場合に、当該移動体の移動方向に沿って仮想体を移動させる画像を挙げることができる。
上記第2態様によれば、制御装置が、撮像装置による撮像画像に含まれる現実の移動体の動きに応じた画像を表示でき、画像表示システムによる表示形態の幅を広げることができる。
上記第2態様では、前記撮像装置は、前記第2撮像部を有し、前記第2撮像部の撮像領域は、前記投影された画像が前記透過部材にて反射される方向の領域であることが好ましい。
ここで、透過部材にて反射された画像を観察する場合、観察者は、当該透過部材による画像の反射方向に位置することとなる。このため、第2撮像部の撮像領域が、当該画像の反射方向の領域であれば、第2撮像部は、観察者が含まれる領域を撮像することとなる。これによれば、制御装置は、観察者の動きを検出できるので、当該観察者の動きに応じた画像を表示装置に表示させることができる。
ここで、透過部材にて反射された画像を観察する場合、観察者は、当該透過部材による画像の反射方向に位置することとなる。このため、第2撮像部の撮像領域が、当該画像の反射方向の領域であれば、第2撮像部は、観察者が含まれる領域を撮像することとなる。これによれば、制御装置は、観察者の動きを検出できるので、当該観察者の動きに応じた画像を表示装置に表示させることができる。
上記第2態様では、前記表示装置と一体的に構成された前記撮像装置の撮像方向を調整する調整部材を備えることが好ましい。
なお、調整部材としては、所定方向から入射される光を反射させて撮像装置に導く反射部材を例示できる。
ここで、表示装置と撮像装置とが一体的に構成されている場合、当該撮像装置(第1撮像部及び第2撮像部)の撮像方向が適切な方向に向かない場合が生じうる。
これに対し、上記第2態様では、調整部材により、撮像装置の撮像方向を調整できるので、当該撮像装置により適切な方向の領域を撮像できる。
なお、調整部材としては、所定方向から入射される光を反射させて撮像装置に導く反射部材を例示できる。
ここで、表示装置と撮像装置とが一体的に構成されている場合、当該撮像装置(第1撮像部及び第2撮像部)の撮像方向が適切な方向に向かない場合が生じうる。
これに対し、上記第2態様では、調整部材により、撮像装置の撮像方向を調整できるので、当該撮像装置により適切な方向の領域を撮像できる。
上記第2態様では、前記制御装置は、前記撮像装置による撮像画像に含まれる前記移動体の位置及び移動方向をオプティカルフローにより検出し、検出された前記移動体の位置及び移動方向に応じた画像を前記表示装置に表示させることが好ましい。
なお、オプティカルフローは、時間的に連続した画像(動画像)の中で物体の動きをベクトルで表したものである。
上記第2態様によれば、連続した撮像画像により構成される動画像をオプティカルフローにより解析することで、当該撮像画像に含まれる移動体の位置及び移動方向を検出及び取得できる。そして、制御装置が、取得された移動体の位置及び移動方向に応じた画像を表示させることにより、現実の移動体の動きに合わせた画像を適切に表示できる。
なお、オプティカルフローは、時間的に連続した画像(動画像)の中で物体の動きをベクトルで表したものである。
上記第2態様によれば、連続した撮像画像により構成される動画像をオプティカルフローにより解析することで、当該撮像画像に含まれる移動体の位置及び移動方向を検出及び取得できる。そして、制御装置が、取得された移動体の位置及び移動方向に応じた画像を表示させることにより、現実の移動体の動きに合わせた画像を適切に表示できる。
上記第2態様では、前記制御装置は、前記収容部内の撮像画像に含まれ、かつ、前記表示装置により表示された表示画像内の点に対応する前記制御装置による形成画像内の点の座標を取得し、取得された前記形成画像内の点の座標に基づいて、前記画像を前記表示装置に表示させることが好ましい。
ここで、収容部内の風景に表示画像が重なって観察される状態で、当該表示画像に含まれる仮想体に収容部内の移動体が近づいた際に、当該仮想体を移動させた画像を投影させる場合には、投影される画像における現実の移動体の位置を適切に取得する必要がある。このためには、表示装置により投影される形成画像において、撮像画像における表示画像内の点(移動体の位置に応じた点)に対応する点の座標を把握しておく必要がある。
これに対し、上記第2態様では、制御装置が、形成画像において表示画像内の点に対応する点の座標を取得することで、現実の移動体の位置及び移動方向に応じて仮想体を移動させた画像を適切に表示できる。従って、当該移動体の動きに応じた画像を適切かつ確実に表示できる。
ここで、収容部内の風景に表示画像が重なって観察される状態で、当該表示画像に含まれる仮想体に収容部内の移動体が近づいた際に、当該仮想体を移動させた画像を投影させる場合には、投影される画像における現実の移動体の位置を適切に取得する必要がある。このためには、表示装置により投影される形成画像において、撮像画像における表示画像内の点(移動体の位置に応じた点)に対応する点の座標を把握しておく必要がある。
これに対し、上記第2態様では、制御装置が、形成画像において表示画像内の点に対応する点の座標を取得することで、現実の移動体の位置及び移動方向に応じて仮想体を移動させた画像を適切に表示できる。従って、当該移動体の動きに応じた画像を適切かつ確実に表示できる。
上記第2態様では、前記制御装置は、前記撮像装置による撮像画像に含まれる前記移動体の大きさ及び速度のうち少なくともいずれかに基づいて、前記透過部材に対する前記移動体の奥行を取得し、取得された前記移動体の奥行に応じた画像を表示させることが好ましい。
上記第2態様によれば、例えば、表示装置により仮想体が含まれる画像が透過部材に投影されて虚像として視認される状態において、当該虚像の位置に位置する移動体が仮想体に近づいた場合(換言すると、仮想体との奥行位置が一致する移動体が当該仮想体に近づいた場合)には仮想体を動かす画像を表示できる。一方、当該虚像の位置に位置しない移動体が仮想体に近付いた場合(換言すると、仮想体との奥行位置が一致しない移動体が平面的に見て仮想体に近づいた場合)には仮想体が動かない画像を表示できる。これによれば、収容部の奥行を考慮した画像を表示できる。従って、表示される画像においても、観察者に奥行感を付与できる。
上記第2態様によれば、例えば、表示装置により仮想体が含まれる画像が透過部材に投影されて虚像として視認される状態において、当該虚像の位置に位置する移動体が仮想体に近づいた場合(換言すると、仮想体との奥行位置が一致する移動体が当該仮想体に近づいた場合)には仮想体を動かす画像を表示できる。一方、当該虚像の位置に位置しない移動体が仮想体に近付いた場合(換言すると、仮想体との奥行位置が一致しない移動体が平面的に見て仮想体に近づいた場合)には仮想体が動かない画像を表示できる。これによれば、収容部の奥行を考慮した画像を表示できる。従って、表示される画像においても、観察者に奥行感を付与できる。
本発明の第3態様に係る画像表示方法は、背面側から入射される光のうち少なくとも一部の光を透過させるとともに、正面側から入射される光のうち少なくとも一部の光を反射させる透過部材と、前記透過部材に対して前記正面側から画像を投影する表示装置と、前記透過部材を介して前記透過部材の背面側の領域を撮像する撮像装置と、前記表示装置を制御する制御装置と、を備えた画像表示システムを用いて行われる画像表示方法であって、前記制御装置が、前記撮像装置による撮像画像に基づいて、前記透過部材の背面側に位置する移動体の位置及び移動方向を取得し、取得された前記移動体の位置及び移動方向に応じた画像を前記表示装置に表示させることを特徴とする。
上記第3態様に係る画像表示方法を実施することにより、上記第2態様に係る画像表示システムと同様の効果を奏することができる。
上記第3態様に係る画像表示方法を実施することにより、上記第2態様に係る画像表示システムと同様の効果を奏することができる。
本発明の第4態様に係る画像表示プログラムは、背面側から入射される光のうち少なくとも一部の光を透過させるとともに、正面側から入射される光のうち少なくとも一部の光を反射させる透過部材と、前記透過部材に対して前記正面側から画像を投影する表示装置と、前記透過部材を介して当該透過部材の背面側の領域を撮像する撮像装置と、前記表示装置を制御する制御装置と、を備えた画像表示システムにおける前記制御装置により実行される画像表示プログラムであって、前記制御装置に、前記撮像装置による撮像画像に基づいて、前記透過部材の背面側に位置する移動体の位置及び移動方向を取得させ、取得された前記移動体の位置及び移動方向に応じた画像を前記表示装置に表示させることを特徴とする。
上記第4態様に係る画像表示プログラムを制御装置が実行することにより、上記第2態様に係る画像表示システムと同様の効果を奏することができる。
上記第4態様に係る画像表示プログラムを制御装置が実行することにより、上記第2態様に係る画像表示システムと同様の効果を奏することができる。
本発明の第5態様に係る記録媒体は、上記画像表示プログラムをコンピューター読取可能に記録したことを特徴とする。
上記第5態様によれば、制御装置が記録媒体に記録された上記画像表示プログラムを読み取って実行することで、上記第2態様に係る画像表示システムと同様の効果を奏することが可能となる。また、記録媒体として、磁気テープ、ディスク型記録媒体、HDD(Hard Disk Drive)、及び、半導体メモリー等を用いることができ、これらを利用して上記画像表示プログラムを制御装置にてインストール及び実行できる他、当該画像表示プログラムの配布を容易に実施できる。
上記第5態様によれば、制御装置が記録媒体に記録された上記画像表示プログラムを読み取って実行することで、上記第2態様に係る画像表示システムと同様の効果を奏することが可能となる。また、記録媒体として、磁気テープ、ディスク型記録媒体、HDD(Hard Disk Drive)、及び、半導体メモリー等を用いることができ、これらを利用して上記画像表示プログラムを制御装置にてインストール及び実行できる他、当該画像表示プログラムの配布を容易に実施できる。
[第1実施形態]
以下、本発明の第1実施形態について、図面に基づいて説明する。
図1は、本発明の第1実施形態に係る画像表示システム1の構成を模式的に示す斜視図である。
本実施形態に係る画像表示システム1は、図1に示すように、容器2及び携帯端末3を備え、観察者が容器2内を正面側から観察した際に、容器2内の風景に携帯端末3により投影された画像が重なって観察できるように構成されたものである。また、本実施形態では、携帯端末3は、容器2内の移動体(例えば魚F)の動きを検出し、当該移動体の動きに応じた画像を投影する。
以下、本発明の第1実施形態について、図面に基づいて説明する。
図1は、本発明の第1実施形態に係る画像表示システム1の構成を模式的に示す斜視図である。
本実施形態に係る画像表示システム1は、図1に示すように、容器2及び携帯端末3を備え、観察者が容器2内を正面側から観察した際に、容器2内の風景に携帯端末3により投影された画像が重なって観察できるように構成されたものである。また、本実施形態では、携帯端末3は、容器2内の移動体(例えば魚F)の動きを検出し、当該移動体の動きに応じた画像を投影する。
[容器の構成]
容器2は、図1に示すように、略直方体形状に形成されて当該容器2の外形を構成する筐体21を有し、当該筐体21内には、液体等を収容可能な収容部22が形成されている。この収容部22内には、本実施形態では、水Wと、現実の移動体である魚Fとが収容されている。このような筐体21は、正面部211、背面部212、上面部213、底面部214及び左右の側面部215,216を有する。
これらのうち、正面部211は、本発明の第2面部に相当し、背面部212は、本発明の第3面部に相当する。また、上面部213及び底面部214は、それぞれ本発明の第1面部に相当する。
容器2は、図1に示すように、略直方体形状に形成されて当該容器2の外形を構成する筐体21を有し、当該筐体21内には、液体等を収容可能な収容部22が形成されている。この収容部22内には、本実施形態では、水Wと、現実の移動体である魚Fとが収容されている。このような筐体21は、正面部211、背面部212、上面部213、底面部214及び左右の側面部215,216を有する。
これらのうち、正面部211は、本発明の第2面部に相当し、背面部212は、本発明の第3面部に相当する。また、上面部213及び底面部214は、それぞれ本発明の第1面部に相当する。
正面部211は、容器2内を観察できるように少なくとも可視光を透過するガラス又は合成樹脂等の透光性部材により形成されている。この正面部211における底面部214側の位置には、当該正面部211とは反対側に位置する背面部212に向かって凹む配置部23が形成されている。この配置部23内には、後述する携帯端末3が、正面部311が上面部213側を向くように配置される。
更に、筐体21内には、矩形板状の透過部材24が配置されている。この透過部材24は、本実施形態ではハーフミラーにより構成されており、当該透過部材24に対して背面部212側から入射される光の一部を透過させるとともに、正面部211側から入射される光の一部を反射させる。
この透過部材24は、上面部213及び底面部214に対して略45°傾斜して配置されている他、正面部211に対して45°傾斜して配置されている。詳述すると、透過部材24は、上記配置部23に配置された携帯端末3から上方に向けて投影された画像(画像を形成する光)を正面部211の法線に沿って反射させるように、下向きに傾斜して配置されている。このため、観察者が正面部211側から容器2内を観察すると、透過部材24を介して当該透過部材24に対して背面部212側の風景を観察できる他、当該風景に重ねて、携帯端末3から投影された画像を観察できる。すなわち、携帯端末3から透過部材24に投影された画像は、透過部材24に対して背面部212側に形成される虚像として視認される。
この透過部材24は、上面部213及び底面部214に対して略45°傾斜して配置されている他、正面部211に対して45°傾斜して配置されている。詳述すると、透過部材24は、上記配置部23に配置された携帯端末3から上方に向けて投影された画像(画像を形成する光)を正面部211の法線に沿って反射させるように、下向きに傾斜して配置されている。このため、観察者が正面部211側から容器2内を観察すると、透過部材24を介して当該透過部材24に対して背面部212側の風景を観察できる他、当該風景に重ねて、携帯端末3から投影された画像を観察できる。すなわち、携帯端末3から透過部材24に投影された画像は、透過部材24に対して背面部212側に形成される虚像として視認される。
[携帯端末の構成]
図2は、携帯端末3の一例を示す平面図である。
携帯端末3は、スマートフォン(多機能携帯電話機)、タブレット端末及び携帯型ゲーム機等により構成できる。この携帯端末3は、画像を形成及び投影する他、所定の領域内の移動体の動きを検出し、当該移動体の動きに応じた画像を形成及び投影する。本実施形態では、当該所定の領域は、携帯端末3により透過部材24に投影された画像の表示領域内(すなわち、上記虚像の形成領域内)に設定されている。
このような携帯端末3は、図2に示すように、筐体31と、当該筐体31にそれぞれ設けられる表示部32、操作部33、音声出力部34及び撮像部35とを有し、ゲームプログラム等を実行可能な端末装置により構成されている。
図2は、携帯端末3の一例を示す平面図である。
携帯端末3は、スマートフォン(多機能携帯電話機)、タブレット端末及び携帯型ゲーム機等により構成できる。この携帯端末3は、画像を形成及び投影する他、所定の領域内の移動体の動きを検出し、当該移動体の動きに応じた画像を形成及び投影する。本実施形態では、当該所定の領域は、携帯端末3により透過部材24に投影された画像の表示領域内(すなわち、上記虚像の形成領域内)に設定されている。
このような携帯端末3は、図2に示すように、筐体31と、当該筐体31にそれぞれ設けられる表示部32、操作部33、音声出力部34及び撮像部35とを有し、ゲームプログラム等を実行可能な端末装置により構成されている。
筐体31は、携帯端末3の外装を構成するものであり、左右の手により把持可能な程度の大きさの略長円形状に形成されている。この筐体31は、正面部311、背面部312(図2では図示省略)、上面部313、底面部314及び左右の側面部315,316を有する。
表示部32は、本発明の表示装置に相当し、正面部311における略中央に配設されている。この表示部32は、矩形状に形成された表示パネルにより構成されており、後述する制御部37の表示制御部371(図4参照)による制御の下、当該表示制御部371により形成される画像を表示する。このような表示パネルとして、有機EL(Electro-Luminescence)や液晶等の表示パネルを例示できる。この表示部32により表示された画像は、携帯端末3が上記配置部23に配置された際には、上記透過部材24にて正面部211側に反射されて観察される。
表示部32は、本発明の表示装置に相当し、正面部311における略中央に配設されている。この表示部32は、矩形状に形成された表示パネルにより構成されており、後述する制御部37の表示制御部371(図4参照)による制御の下、当該表示制御部371により形成される画像を表示する。このような表示パネルとして、有機EL(Electro-Luminescence)や液晶等の表示パネルを例示できる。この表示部32により表示された画像は、携帯端末3が上記配置部23に配置された際には、上記透過部材24にて正面部211側に反射されて観察される。
操作部33は、正面部311における表示部32の周囲、及び、上面部313に配設された各種ボタン及びスティックを有し、使用者の入力操作に応じた操作信号を制御部37に出力する。
具体的に、操作部33は、表示部32の左側にそれぞれ位置し、正面部311に対向して見た場合の上下左右の各方向に入力可能な方向ボタン331と、当該各方向に傾倒可能な操作スティック332と、底面部314側に位置する操作ボタン333と、を有する。また、操作部33は、表示部32の右側に位置する4つの操作ボタン334と、操作スティック332と同様の構成を有する操作スティック335と、底面部314側に位置する操作ボタン336,337と、を有する。更に、操作部33は、上面部313の左右両側にそれぞれ位置する操作ボタン338L,338Rを有する。
具体的に、操作部33は、表示部32の左側にそれぞれ位置し、正面部311に対向して見た場合の上下左右の各方向に入力可能な方向ボタン331と、当該各方向に傾倒可能な操作スティック332と、底面部314側に位置する操作ボタン333と、を有する。また、操作部33は、表示部32の右側に位置する4つの操作ボタン334と、操作スティック332と同様の構成を有する操作スティック335と、底面部314側に位置する操作ボタン336,337と、を有する。更に、操作部33は、上面部313の左右両側にそれぞれ位置する操作ボタン338L,338Rを有する。
音声出力部34は、正面部311における左右両端近傍にそれぞれ配設されたスピーカー34L,34Rを有する。この音声出力部34は、後述する制御部37の音声出力制御部373(図4参照)から入力される音声信号に応じた音声を、スピーカー34L,34Rにより出力する。
撮像部35は、本発明の撮像装置に相当し、正面部311における右側上部に配設された第1撮像部としてのカメラ351を有する。この撮像部35は、当該カメラ351による撮像画像を制御部37に出力する。なお、カメラ351の撮像方向は、携帯端末3が上記配置部23に配置された際に、上記虚像の形成領域が含まれるように設定される。
撮像部35は、本発明の撮像装置に相当し、正面部311における右側上部に配設された第1撮像部としてのカメラ351を有する。この撮像部35は、当該カメラ351による撮像画像を制御部37に出力する。なお、カメラ351の撮像方向は、携帯端末3が上記配置部23に配置された際に、上記虚像の形成領域が含まれるように設定される。
図3は、携帯端末3の構成を示すブロック図である。
携帯端末3は、図3に示すように、上記構成32~35の他、記憶部36及び制御部37を備え、これら構成32~37は、互いにバスラインBLにより接続されている。
記憶部36は、携帯端末3の動作に必要なプログラム及びデータを記憶している。例えば、記憶部36は、携帯端末3の動作を制御するOS(Operating System)、ゲーム等のアプリケーションプログラム、及び、後述する画像表示処理を実行させる画像表示プログラムを記憶している。このような記憶部36は、フラッシュメモリー等の不揮発性メモリーやHDD(Hard Disk Drive)により構成できる。
携帯端末3は、図3に示すように、上記構成32~35の他、記憶部36及び制御部37を備え、これら構成32~37は、互いにバスラインBLにより接続されている。
記憶部36は、携帯端末3の動作に必要なプログラム及びデータを記憶している。例えば、記憶部36は、携帯端末3の動作を制御するOS(Operating System)、ゲーム等のアプリケーションプログラム、及び、後述する画像表示処理を実行させる画像表示プログラムを記憶している。このような記憶部36は、フラッシュメモリー等の不揮発性メモリーやHDD(Hard Disk Drive)により構成できる。
[制御部の構成]
図4は、制御部37の構成を示すブロック図である。
制御部37は、CPU(Central Processing Unit)等を有し、携帯端末3の動作を制御する制御装置である。具体的に、制御部37は、当該CPUが記憶部36に記憶されたプログラムを読み出して処理することで、使用者の入力操作(操作部33から入力される操作信号)に応じて、或いは、自律的に携帯端末3を制御する。
この他、制御部37は、CPUが上記画像表示プログラムを実行することで、収容部22内の現実の移動体の動きに応じた画像を表示部32に表示させる画像表示処理を実行する。このため、制御部37は、図4に示すように、表示制御部371、撮像制御部372、音声出力制御部373、移動体検出部374、座標取得部375及び奥行取得部376を有する。
図4は、制御部37の構成を示すブロック図である。
制御部37は、CPU(Central Processing Unit)等を有し、携帯端末3の動作を制御する制御装置である。具体的に、制御部37は、当該CPUが記憶部36に記憶されたプログラムを読み出して処理することで、使用者の入力操作(操作部33から入力される操作信号)に応じて、或いは、自律的に携帯端末3を制御する。
この他、制御部37は、CPUが上記画像表示プログラムを実行することで、収容部22内の現実の移動体の動きに応じた画像を表示部32に表示させる画像表示処理を実行する。このため、制御部37は、図4に示すように、表示制御部371、撮像制御部372、音声出力制御部373、移動体検出部374、座標取得部375及び奥行取得部376を有する。
表示制御部371は、携帯端末3の動作状態を示す画像や、上記収容部22内の移動体の動きに応じた画像を描画メモリー(図示省略)に描画し、当該画像に応じた画像信号を表示部32に出力することで、当該画像を表示部32に表示させる。
図5は、正面部211側から容器2内を観察した場合に視認される風景SC及び表示画像DPを示す図である。なお、図5においては、実際の風景SCと表示画像DPとを区別するため、当該表示画像DPの外縁を一点鎖線で示している。
ここで、本実施形態では、上記のように、収容部22内に水W及び魚Fが収容されている。このため、透過部材24に画像が投影されていない場合には、正面部211側から容器2内を観察すると、図5における左上に示すように、水Wの中を魚Fが泳いでいる風景SCを観察できる。
ここで、本実施形態では、上記のように、収容部22内に水W及び魚Fが収容されている。このため、透過部材24に画像が投影されていない場合には、正面部211側から容器2内を観察すると、図5における左上に示すように、水Wの中を魚Fが泳いでいる風景SCを観察できる。
この状態で、表示制御部371により、例えば図5における右上に示す表示画像DP(仮想体である水草PW及び魚PFが含まれる表示画像DP)が表示部32により表示されると、例えば図5における下段に示すように、透過部材24を透かして容器2内の上記風景SCとともに、当該透過部材24にて反射された表示画像DPが虚像として観察される。このため、観察者により、当該風景SCに表示画像DPが重なって観察される。
なお、上記図5の例では、表示制御部371は、容器2内の風景SCと関連性が高い表示画像DPを表示させているが、関連性が低い表示画像DPを表示させてもよい。
なお、上記図5の例では、表示制御部371は、容器2内の風景SCと関連性が高い表示画像DPを表示させているが、関連性が低い表示画像DPを表示させてもよい。
撮像制御部372は、撮像部35の動作を制御する。具体的に、撮像制御部372は、撮像部35に所定周期(フレームレート)で撮像させる。そして、撮像制御部372は、撮像部35から入力される連続した撮像画像である動画像を取得し、記憶部36に記憶させる。
音声出力制御部373は、音声出力部34を制御して、所定の音声を出力させる。例えば、表示制御部371により、仮想体である上記魚PFが水面を跳ねる画像が表示される際に、音声出力制御部373は、当該魚PFが水面を跳ねる音を音声出力部34に出力させる。
音声出力制御部373は、音声出力部34を制御して、所定の音声を出力させる。例えば、表示制御部371により、仮想体である上記魚PFが水面を跳ねる画像が表示される際に、音声出力制御部373は、当該魚PFが水面を跳ねる音を音声出力部34に出力させる。
図6は、撮像画像に含まれる移動体である魚Fの動きを示す図であり、換言すると、図6は、当該魚Fの動きをオプティカルフローによる動きベクトルで示した図である。なお、図6においては、魚Fの位置を点線で示している。
移動体検出部374は、撮像制御部372により取得された動画像を解析して、当該動画像に含まれる移動体(例えば、魚F)を検出し、更に、当該移動体の位置及び移動方向を検出する。このような移動体検出部374は、例えば図6に示すように、当該動画像をオプティカルフローにより解析し、当該移動体の位置及び移動方向を検出する。なお、オプティカルフローは、時間的に連続した画像(動画像)の中で物体の動きをベクトルで表したものである。
移動体検出部374は、撮像制御部372により取得された動画像を解析して、当該動画像に含まれる移動体(例えば、魚F)を検出し、更に、当該移動体の位置及び移動方向を検出する。このような移動体検出部374は、例えば図6に示すように、当該動画像をオプティカルフローにより解析し、当該移動体の位置及び移動方向を検出する。なお、オプティカルフローは、時間的に連続した画像(動画像)の中で物体の動きをベクトルで表したものである。
座標取得部375は、撮像画像における座標と、表示制御部371により形成される画像(形成画像)における座標とを対応させる機能部である。
ここで、表示制御部371が、現実の移動体である上記魚Fの動きに応じて、表示画像に含まれる仮想体の位置、形状及び動きを変更するためには、撮像画像における座標(詳しくは、撮像画像における表示画像の座標)と、表示制御部371による形成画像の座標とを対応させ、形成画像における移動体の位置、或いは、撮像画像における仮想体の位置を適切に把握しておく必要がある。
例えば、上記水草PWを含む表示画像DPの表示時に、当該水草PWの表示位置近傍に魚Fが移動してくると、当該魚Fの動きに応じて水草PWを揺らす表示画像DPを表示させようとする場合、水草PWの表示位置近傍に当該魚Fが位置するか否かを判定する必要がある。この判定を実施するためには、撮像画像における魚Fの位置が、形成画像においてどの位置に対応しているのかを適切に把握しておく必要がある。換言すると、当該判定を実施するためには、形成画像における現実の魚Fの位置、或いは、撮像画像における仮想体である水草PWの位置を適切に把握しておく必要がある。
ここで、表示制御部371が、現実の移動体である上記魚Fの動きに応じて、表示画像に含まれる仮想体の位置、形状及び動きを変更するためには、撮像画像における座標(詳しくは、撮像画像における表示画像の座標)と、表示制御部371による形成画像の座標とを対応させ、形成画像における移動体の位置、或いは、撮像画像における仮想体の位置を適切に把握しておく必要がある。
例えば、上記水草PWを含む表示画像DPの表示時に、当該水草PWの表示位置近傍に魚Fが移動してくると、当該魚Fの動きに応じて水草PWを揺らす表示画像DPを表示させようとする場合、水草PWの表示位置近傍に当該魚Fが位置するか否かを判定する必要がある。この判定を実施するためには、撮像画像における魚Fの位置が、形成画像においてどの位置に対応しているのかを適切に把握しておく必要がある。換言すると、当該判定を実施するためには、形成画像における現実の魚Fの位置、或いは、撮像画像における仮想体である水草PWの位置を適切に把握しておく必要がある。
このため、表示制御部371により複数の点を含むキャリブレーション用画像を表示させ、表示された当該複数の点の位置を撮像画像から取得し、これにより、撮像画像における表示画像の位置及び座標を取得することで、当該撮像画像の座標と形成画像の座標とを対応させる方法が考えられる。しかしながら、このような手法は、比較的長い時間を要する他、配置部23における携帯端末3の位置、当該携帯端末3の種類、及び、撮像部35を構成するカメラ351の位置が変わるたびに実施する必要があり、面倒である。
これに対し、以下に示す第1方法及び第2方法のいずれかを用いて撮像画像の座標と形成画像の座標とを対応付けることにより、対応付けのための処理を簡略化できる。
第1方法は、撮像画像において表示画像の表示領域内に位置する点(例えば、移動体の位置を示す点)に基づいて分割された当該表示領域の面積により、形成画像における当該点の座標を算出する方法である。
第1方法は、撮像画像において表示画像の表示領域内に位置する点(例えば、移動体の位置を示す点)に基づいて分割された当該表示領域の面積により、形成画像における当該点の座標を算出する方法である。
図7は、撮像画像CPにおける表示画像DP内の点Pの位置を示す図である。また、図8は、形成画像FPにおける点Pの位置を示す図である。なお、図1に示したように、表示部32による表示画像DPは、透過部材24により反射されて観察されるので、携帯端末3は、当該表示画像DPが観察された場合とは上下が逆である形成画像FPを形成する。このため、図8に示す形成画像FPの上下は、図7に示す表示画像DPの上下と逆になっている。
具体的に、図7に示すように、撮像画像CPに含まれる表示画像DP(頂点ABCDを結ぶ辺縁により外縁が形成される形成画像FPが表示され、上記虚像として視認される表示画像DP)において、頂点A,Cと、当該表示画像DP内の点Pとにより形成される三角形ACPの面積をS0とする。同様に、三角形CDPの面積をS1とし、三角形BDPの面積をS2とし、三角形ABPの面積をS3とする。
これらにより、図8に示すように、上記形成画像FPにおける上記点Pの座標を(x,y)とすると、当該x及びyは、それぞれ以下の式(1)により求めることができる。
なお、撮像画像における頂点ABCDの位置は、形成画像FPにおける頂点ABCDを異なる色とし、撮像画像から当該各色の位置を検出することで取得できる。また、三角形ACPの面積は、ヘロンの公式等を用いて算出できる。
具体的に、図7に示すように、撮像画像CPに含まれる表示画像DP(頂点ABCDを結ぶ辺縁により外縁が形成される形成画像FPが表示され、上記虚像として視認される表示画像DP)において、頂点A,Cと、当該表示画像DP内の点Pとにより形成される三角形ACPの面積をS0とする。同様に、三角形CDPの面積をS1とし、三角形BDPの面積をS2とし、三角形ABPの面積をS3とする。
これらにより、図8に示すように、上記形成画像FPにおける上記点Pの座標を(x,y)とすると、当該x及びyは、それぞれ以下の式(1)により求めることができる。
なお、撮像画像における頂点ABCDの位置は、形成画像FPにおける頂点ABCDを異なる色とし、撮像画像から当該各色の位置を検出することで取得できる。また、三角形ACPの面積は、ヘロンの公式等を用いて算出できる。
図9は、撮像画像CPにおける表示画像DP内の点Pの位置を示す図である。
一方、第2方法は、以下の式(2)により、図8に示した形成画像FPにおける点の座標である(x,y)から撮像画像CPにおける点Pの位置を求める方法である。なお、撮像画像における頂点ABCDの位置は、上記と同様の手法により取得できる。
この式(2)は、形成画像FPの点を画面サイズで正規化された座標(x,y)とし、図9に示す撮像画像CPにおいて線分AB,CDをそれぞれx:1-xで内分する点をM,Nとし、撮像画像CPにおいて線分MNをy:1-yで内分する点をPとして表したものである。この式(2)により、形成画像FPにおける点Pの座標と、撮像画像CPにおける点Pの座標とを対応させることができる。
一方、第2方法は、以下の式(2)により、図8に示した形成画像FPにおける点の座標である(x,y)から撮像画像CPにおける点Pの位置を求める方法である。なお、撮像画像における頂点ABCDの位置は、上記と同様の手法により取得できる。
この式(2)は、形成画像FPの点を画面サイズで正規化された座標(x,y)とし、図9に示す撮像画像CPにおいて線分AB,CDをそれぞれx:1-xで内分する点をM,Nとし、撮像画像CPにおいて線分MNをy:1-yで内分する点をPとして表したものである。この式(2)により、形成画像FPにおける点Pの座標と、撮像画像CPにおける点Pの座標とを対応させることができる。
図10は、容器2内を正面部211側から見た場合に、現実の移動体である魚Fが仮想体である水草PWの表示位置に移動したことに応じて、当該水草PWを魚Fの移動方向とは反対方向に揺らした画像が携帯端末3により表示された場合に観察される容器2内の状態を示す図である。
上記第1方法又は第2方法により、座標取得部375は、表示制御部371による形成画像FPの座標と、撮像画像CPの座標とを対応付けることができる。
このため、例えば、現実の移動体である魚Fの移動方向が、仮想体である水草PW(PW1,PW2)のうち右側の水草PW1の表示位置に向かう方向であり、かつ、当該魚Fの位置が、水草PW1の表示位置に近づいた場合に、図10に示すように、水草PW1が魚Fの移動方向とは反対方向に揺れる表示画像DPを表示できる。これにより、現実の移動体(魚F)と仮想体(水草PW1)とが関連した風景及び画像を、観察者に観察させることができる。
上記第1方法又は第2方法により、座標取得部375は、表示制御部371による形成画像FPの座標と、撮像画像CPの座標とを対応付けることができる。
このため、例えば、現実の移動体である魚Fの移動方向が、仮想体である水草PW(PW1,PW2)のうち右側の水草PW1の表示位置に向かう方向であり、かつ、当該魚Fの位置が、水草PW1の表示位置に近づいた場合に、図10に示すように、水草PW1が魚Fの移動方向とは反対方向に揺れる表示画像DPを表示できる。これにより、現実の移動体(魚F)と仮想体(水草PW1)とが関連した風景及び画像を、観察者に観察させることができる。
ところで、携帯端末3による表示画像DPは、上記のように、透過部材24の奥側にて虚像として視認されるが、収容部22は所定の奥行寸法を有することから、当該虚像に対して奥側に魚Fが位置する場合もある。従って、容器2の奥行方向における移動体の位置を推定し、当該移動体の位置に応じて画像を形成及び表示することで、観察される風景及び画像に奥行感を付与できる。
このような奥行感の付与のため、奥行取得部376は、撮像部35によって取得される動画像(撮像画像)からオプティカルフローを用いて移動体(魚F)の大きさ及び移動速度を取得し、当該移動体の大きさ及び移動速度に基づいて、携帯端末3からの移動体の相対的な距離(換言すると、透過部材24から上記奥行方向の距離)を推定及び取得する。
このような奥行感の付与のため、奥行取得部376は、撮像部35によって取得される動画像(撮像画像)からオプティカルフローを用いて移動体(魚F)の大きさ及び移動速度を取得し、当該移動体の大きさ及び移動速度に基づいて、携帯端末3からの移動体の相対的な距離(換言すると、透過部材24から上記奥行方向の距離)を推定及び取得する。
図11は、透過部材24に対する魚Fの奥行位置を説明する図である。
ここで、図11に示すように、透過部材24に対して背面側に位置する魚Fが当該透過部材24に最も近い位置L1に位置する場合、撮像画像においては、当該魚Fは最も大きく撮像され、当該魚Fの移動速度は最も高くなる。一方、当該魚Fが透過部材24から最も遠い位置L2に位置する場合には、撮像画像においては、当該魚Fは最も小さく撮像され、当該魚Fの移動速度は最も低くなる。他方、魚Fが位置L1,L2の間の位置L3に位置する場合には、撮像画像においては、当該魚Fは、位置L1に位置する場合より小さく、かつ、位置L2に位置する場合より大きく撮像されるとともに、魚Fの移動速度は、位置L1に位置する場合より低く、かつ、位置L2に位置する場合より高くなる。
ここで、図11に示すように、透過部材24に対して背面側に位置する魚Fが当該透過部材24に最も近い位置L1に位置する場合、撮像画像においては、当該魚Fは最も大きく撮像され、当該魚Fの移動速度は最も高くなる。一方、当該魚Fが透過部材24から最も遠い位置L2に位置する場合には、撮像画像においては、当該魚Fは最も小さく撮像され、当該魚Fの移動速度は最も低くなる。他方、魚Fが位置L1,L2の間の位置L3に位置する場合には、撮像画像においては、当該魚Fは、位置L1に位置する場合より小さく、かつ、位置L2に位置する場合より大きく撮像されるとともに、魚Fの移動速度は、位置L1に位置する場合より低く、かつ、位置L2に位置する場合より高くなる。
このため、奥行取得部376は、取得される移動体の大きさ及び移動速度の少なくともいずれかに基づいて、当該移動体の相対的な距離を推定及び取得する。
そして、表示制御部371は、例えば、魚Fが上記虚像の表示位置に近い位置L1で、かつ、上記水草PW1の表示位置近傍に移動した場合には、水草PWが揺れる上記表示画像DPを表示する一方で、上記位置L2,L3に魚Fが位置する場合には、水草PWの表示位置近傍に魚Fが移動しても、当該水草PWが揺れる表示画像を表示しないようにする。これにより、観察者に容器2内の奥行感を感じさせることができる。
そして、表示制御部371は、例えば、魚Fが上記虚像の表示位置に近い位置L1で、かつ、上記水草PW1の表示位置近傍に移動した場合には、水草PWが揺れる上記表示画像DPを表示する一方で、上記位置L2,L3に魚Fが位置する場合には、水草PWの表示位置近傍に魚Fが移動しても、当該水草PWが揺れる表示画像を表示しないようにする。これにより、観察者に容器2内の奥行感を感じさせることができる。
[画像表示処理]
図12は、携帯端末3にて行われる画像表示処理を示すフローチャートである。
上記制御部37は、CPUが上記画像表示プログラムを実行することにより、以下に示す画像表示処理を実行し、これにより上記画像を形成及び表示する。
この画像表示処理では、図12に示すように、まず、撮像制御部372が、撮像部35を制御して、カメラ351による撮像画像(動画像)を取得する(ステップS1)。
次に、移動体検出部374が、取得された撮像画像を上記のように処理して、当該撮像画像における移動体の位置及び移動方向を取得する(ステップS2)。
そして、座標取得部375が、撮像画像における移動体の位置に対応する形成画像における座標を取得する(ステップS3)。
また、奥行取得部376が、上記撮像画像における移動体の大きさ及び移動速度に基づいて、当該移動体の奥行位置を取得する(ステップS4)。
この後、表示制御部371が、取得された各情報に応じた画像を形成し、当該画像を表示部32に表示させる(ステップS5)。
このような画像表示処理により、上記表示画像DPのような画像が表示される。
図12は、携帯端末3にて行われる画像表示処理を示すフローチャートである。
上記制御部37は、CPUが上記画像表示プログラムを実行することにより、以下に示す画像表示処理を実行し、これにより上記画像を形成及び表示する。
この画像表示処理では、図12に示すように、まず、撮像制御部372が、撮像部35を制御して、カメラ351による撮像画像(動画像)を取得する(ステップS1)。
次に、移動体検出部374が、取得された撮像画像を上記のように処理して、当該撮像画像における移動体の位置及び移動方向を取得する(ステップS2)。
そして、座標取得部375が、撮像画像における移動体の位置に対応する形成画像における座標を取得する(ステップS3)。
また、奥行取得部376が、上記撮像画像における移動体の大きさ及び移動速度に基づいて、当該移動体の奥行位置を取得する(ステップS4)。
この後、表示制御部371が、取得された各情報に応じた画像を形成し、当該画像を表示部32に表示させる(ステップS5)。
このような画像表示処理により、上記表示画像DPのような画像が表示される。
[第1実施形態の効果]
以上説明した本実施形態に係る画像表示システム1によれば、以下の効果がある。
容器2の筐体21に設けられた透過部材24は、収容部22から入射される光の少なくとも一部を透過させる。これによれば、透過部材24を介して背面側の収容部22内を観察できる。また、透過部材24は、正面側の配置部23に位置する携帯端末3から投影された画像を反射させるので、当該画像の反射方向に位置する観察者は、透過部材24に投影された画像を観察できる。更に、透過部材24による画像の反射方向は、収容部22から入射される光が透過部材24を透過する方向に沿うので、当該光の進行方向(画像の反射方向)に位置する観察者は、投影された画像が重なった収容部22内の風景を観察できる。従って、容器2内の風景や投影された画像をそれぞれ観察できる他、容器2内の風景に表示画像が重なった新たな表示形態を提供できる。
以上説明した本実施形態に係る画像表示システム1によれば、以下の効果がある。
容器2の筐体21に設けられた透過部材24は、収容部22から入射される光の少なくとも一部を透過させる。これによれば、透過部材24を介して背面側の収容部22内を観察できる。また、透過部材24は、正面側の配置部23に位置する携帯端末3から投影された画像を反射させるので、当該画像の反射方向に位置する観察者は、透過部材24に投影された画像を観察できる。更に、透過部材24による画像の反射方向は、収容部22から入射される光が透過部材24を透過する方向に沿うので、当該光の進行方向(画像の反射方向)に位置する観察者は、投影された画像が重なった収容部22内の風景を観察できる。従って、容器2内の風景や投影された画像をそれぞれ観察できる他、容器2内の風景に表示画像が重なった新たな表示形態を提供できる。
観察者が正面部211(第2面部)に対向する場合、当該正面部211及び透過部材24を介して容器2内を観察できる。また、この場合、上面部213及び底面部214(第1面部)と正面部211とに対して傾斜して配置された透過部材24にて、底面部214側に配置された携帯端末3から投影された画像が正面部211側に反射されるので、正面部211側に位置する観察者は当該画像を観察できる。従って、観察者は、正面部211側から、当該画像(表示画像)が重なった容器2内の風景を確実に観察できる。また、この場合には、透過部材24は、容器2内に収納されるので、当該透過部材24が容器2の外側に位置することがなく、当該容器2を小型化できる。
筐体21の正面部211における底面部214側には、携帯端末3が配置される配置部23が設けられている。これによれば、透過部材24に対向するように携帯端末3を配置しやすくすることができる他、携帯端末3が不要に動くことを抑制できる。
撮像部35は、透過部材24を介して収容部22内を撮像するカメラ351を有し、制御部37は、撮像部35による撮像画像に基づいて、収容部22内の魚Fの動きに応じた画像を表示部32に表示させる。これによれば、現実の移動体である魚Fの動きに関連する画像を表示できる。
撮像部35による撮像画像をオプティカルフローにより解析する移動体検出部374により、撮像画像における移動体の位置及び移動方向を正確に取得できる。また、表示制御部371が、検出された移動体の位置及び移動方向に応じた画像を表示部32に表示させることにより、現実の移動体の動きに合わせた画像を適切に表示できる。従って、画像表示システム1の興趣を高めることができる。
座標取得部375は、上記第1方向又は第2方向によって撮像画像CPにおける表示画像DP内の点Pに対応する形成画像FP内の点の座標を取得する。これによれば、撮像画像CPにおける表示画像DPの座標と、形成画像FPの座標とを対応させることができるので、表示制御部371が、現実の移動体である魚Fが仮想体である水草PWに近づいた場合に、当該水草PWを揺らした画像を表示部32に表示させることができる。従って、形成画像FPにおける現実の移動体の位置及び移動方向を適切に把握でき、当該移動体の位置及び移動方向に応じて仮想体を動かす画像を適切に表示できる。
奥行取得部376は、撮像画像に含まれる移動体の大きさ及び速度に基づいて、透過部材24に対する移動体の奥行を取得する。これによれば、例えば、仮想体である水草PWの奥行方向の表示位置と一致する魚Fが当該水草PWに近づいた場合には水草PWを揺らした画像を表示でき、水草PWの奥行方向の表示位置と一致しない魚Fが平面的に見て当該水草PWに近づいた場合には水草PWが動かない画像を表示できる。従って、収容部22の奥行を考慮した画像を表示できるので、観察者に奥行感を付与できる。
[第1実施形態の第1変形例]
図13は、画像表示システム1の変形である画像表示システム1Aを模式的に示す斜視図である。
上記画像表示システム1では、容器2は、正面部211における底面部214側の位置に配置部23を有し、当該配置部23に配置された携帯端末3が、傾斜した透過部材24に下方から上方に向けて画像を投影する構成であった。しかしながら、上記機能を有する画像表示システムは、このような構成に限らない。例えば、容器2に代えて図13に示す容器2Aを採用した画像表示システム1Aとしてもよい。
図13は、画像表示システム1の変形である画像表示システム1Aを模式的に示す斜視図である。
上記画像表示システム1では、容器2は、正面部211における底面部214側の位置に配置部23を有し、当該配置部23に配置された携帯端末3が、傾斜した透過部材24に下方から上方に向けて画像を投影する構成であった。しかしながら、上記機能を有する画像表示システムは、このような構成に限らない。例えば、容器2に代えて図13に示す容器2Aを採用した画像表示システム1Aとしてもよい。
この容器2Aは、図13に示すように、略直方体形状に形成されて当該容器2Aの外形を構成する筐体21Aを有し、当該筐体21A内には、収容部22が形成されている。また、当該筐体21A内には、矩形板状の透過部材24が配置されている。
ここで、上記容器2では、正面部211における底面部214側の位置に配置部23が設けられているのに対し、容器2Aでは、携帯端末3が配置される配置部23Aは、上面部213における正面部211側の位置に設けられている。そして、携帯端末3は、正面部311が底面部214側を向くようにして、当該配置部23Aに配置される。
ここで、上記容器2では、正面部211における底面部214側の位置に配置部23が設けられているのに対し、容器2Aでは、携帯端末3が配置される配置部23Aは、上面部213における正面部211側の位置に設けられている。そして、携帯端末3は、正面部311が底面部214側を向くようにして、当該配置部23Aに配置される。
このように容器2Aでは、携帯端末3は容器2に対する位置とは逆の位置に位置することとなるため、当該携帯端末3から投影された画像を正面部211側に反射させる透過部材24の向きも逆となる。
具体的に、透過部材24は、上記容器2における配置と同様に、上面部213及び底面部214に対して略45°傾斜し、更に正面部211に対して略45°傾斜して配置されているが、配置部23Aに配置された携帯端末3から下方に向けて投影された画像を正面部211の法線に沿って反射させるように、上向きに傾斜して配置されている。
このような容器2A及び上記携帯端末3を備えた画像表示システム1Aでも、上記画像表示システム1と同様の効果を奏することができる。
具体的に、透過部材24は、上記容器2における配置と同様に、上面部213及び底面部214に対して略45°傾斜し、更に正面部211に対して略45°傾斜して配置されているが、配置部23Aに配置された携帯端末3から下方に向けて投影された画像を正面部211の法線に沿って反射させるように、上向きに傾斜して配置されている。
このような容器2A及び上記携帯端末3を備えた画像表示システム1Aでも、上記画像表示システム1と同様の効果を奏することができる。
[第1実施形態の第2変形例]
上記画像表示システム1,1Aでは、容器2,2A内に配置される透過部材24の幅寸法(左右の側面部215,216間を接続する方向の寸法)及び高さ寸法(上面部213及び底面部214間を接続する方向の寸法)は、正面部211側から容器2内を見た場合に、当該正面部211の幅寸法及び高さ寸法と一致するように設定していた。しかしながら、透過部材24の大きさは、これに限らない。すなわち、透過部材24の寸法は、適宜変更可能である。例えば、幅寸法が上記透過部材24より小さい透過部材を採用してもよい。
上記画像表示システム1,1Aでは、容器2,2A内に配置される透過部材24の幅寸法(左右の側面部215,216間を接続する方向の寸法)及び高さ寸法(上面部213及び底面部214間を接続する方向の寸法)は、正面部211側から容器2内を見た場合に、当該正面部211の幅寸法及び高さ寸法と一致するように設定していた。しかしながら、透過部材24の大きさは、これに限らない。すなわち、透過部材24の寸法は、適宜変更可能である。例えば、幅寸法が上記透過部材24より小さい透過部材を採用してもよい。
図14は、画像表示システム1の変形である画像表示システム1Bを模式的に示す斜視図であり、図15は、当該画像表示システム1Bを容器2Bの正面部211側から見た図である。
画像表示システム1Bは、図14及び図15に示すように、容器2に代えて容器2Bを有する他は、画像表示システム1と同様の構成及び機能を有し、容器2Bは、透過部材24に代えて透過部材24Bを有する他は、容器2と同様の構成及び機能を有する。
この容器2Bでは、透過部材24に比べて幅寸法が小さい透過部材24B、すなわち、正面部211より幅寸法が小さい透過部材24Bが、携帯端末3からの画像の投影範囲に応じて筐体21内に配置されている。このことにより、当該透過部材24Bの幅方向における両脇には隙間Sが形成されており、当該隙間Sを介して、上記魚Fは、透過部材24Aの正面側及び背面側に移動可能である。
画像表示システム1Bは、図14及び図15に示すように、容器2に代えて容器2Bを有する他は、画像表示システム1と同様の構成及び機能を有し、容器2Bは、透過部材24に代えて透過部材24Bを有する他は、容器2と同様の構成及び機能を有する。
この容器2Bでは、透過部材24に比べて幅寸法が小さい透過部材24B、すなわち、正面部211より幅寸法が小さい透過部材24Bが、携帯端末3からの画像の投影範囲に応じて筐体21内に配置されている。このことにより、当該透過部材24Bの幅方向における両脇には隙間Sが形成されており、当該隙間Sを介して、上記魚Fは、透過部材24Aの正面側及び背面側に移動可能である。
このような構成の画像表示システム1Bによれば、上記画像表示システム1,1Aと同様の効果を奏することができる他、現実の移動体である魚Fを仮想体の虚像が表示される透過部材24Bの正面側に移動させることができ、表示のバリエーションを拡張できる。
なお、当該画像表示システム1Bでは、容器2と同じ筐体21を有する容器2Bを採用したが、透過部材24に代えて透過部材24Bを有する上記容器2Aを採用してもよい。
なお、当該画像表示システム1Bでは、容器2と同じ筐体21を有する容器2Bを採用したが、透過部材24に代えて透過部材24Bを有する上記容器2Aを採用してもよい。
[第1実施形態の第3変形例]
図16は、画像表示システム1の変形である画像表示システム1Cを模式的に示す斜視図である。
上記画像表示システム1では、容器2は、略直方体形状に形成された筐体21を有し、透過部材24は、上面部213及び底面部214だけでなく、正面部211に対しても略45°傾斜するように筐体21内に配置されるとした。しかしながら、上記機能を有する画像表示システムは、このような構成に限らない。例えば、容器2に代えて図16に示す容器2Cを採用した画像表示システム1Cとしてもよい。
図16は、画像表示システム1の変形である画像表示システム1Cを模式的に示す斜視図である。
上記画像表示システム1では、容器2は、略直方体形状に形成された筐体21を有し、透過部材24は、上面部213及び底面部214だけでなく、正面部211に対しても略45°傾斜するように筐体21内に配置されるとした。しかしながら、上記機能を有する画像表示システムは、このような構成に限らない。例えば、容器2に代えて図16に示す容器2Cを採用した画像表示システム1Cとしてもよい。
この容器2Cは、図16に示すように、正面部211が上面部213及び底面部214のそれぞれに対して略45°傾斜した筐体21を備える。すなわち、正面部211は、底面部214側から上面部213側に向かうに従って背面部212から離間するように傾斜して形成されている。
この正面部211には、上記透過部材24が設けられている。換言すると、正面部211は、透過部材24により構成され、当該透過部材24の正面は下向きに傾斜している。この正面部211に対して正面側に配置された携帯端末3にて表示された画像が投影され、当該画像を透過部材24にて正面側に反射させることで、当該画像を観察者に視認させている。また、観察者は、透過部材24が設けられた正面部211を介して容器2内を観察できるので、携帯端末3により画像が表示される場合には、容器2内の風景に当該画像が重なって観察される。なお、透過部材24を、正面部211において携帯端末3からの画像の投影範囲に応じて配置する構成としてもよい。
このような画像表示システム1Cにおいては、携帯端末3の配置部は、容器2Cの正面側の位置となる。
この正面部211には、上記透過部材24が設けられている。換言すると、正面部211は、透過部材24により構成され、当該透過部材24の正面は下向きに傾斜している。この正面部211に対して正面側に配置された携帯端末3にて表示された画像が投影され、当該画像を透過部材24にて正面側に反射させることで、当該画像を観察者に視認させている。また、観察者は、透過部材24が設けられた正面部211を介して容器2内を観察できるので、携帯端末3により画像が表示される場合には、容器2内の風景に当該画像が重なって観察される。なお、透過部材24を、正面部211において携帯端末3からの画像の投影範囲に応じて配置する構成としてもよい。
このような画像表示システム1Cにおいては、携帯端末3の配置部は、容器2Cの正面側の位置となる。
以上説明した画像表示システム1Cによれば、上記画像表示システム1Aと同様の効果を奏することができる他、以下の効果を奏することができる。
透過部材24は、上面部213及び底面部214のそれぞれに対して傾斜する正面部211に設けられる。すなわち、透過部材24は、当該正面部211を構成する。これによれば、収容部22は、透過部材24の背面側に位置することとなる。従って、当該収容部22内に液体が収容される場合でも、透過部材24に入射されて反射される画像が、屈折により歪むことを抑制できる他、視認される画像の輝度が低下することを抑制できる。更に、上面部213及び底面部214と正面部211とのそれぞれに対して傾斜する透過部材24を容器2C内に別途配置する必要がないので、容器2C内の構成を簡略化できる。
透過部材24は、上面部213及び底面部214のそれぞれに対して傾斜する正面部211に設けられる。すなわち、透過部材24は、当該正面部211を構成する。これによれば、収容部22は、透過部材24の背面側に位置することとなる。従って、当該収容部22内に液体が収容される場合でも、透過部材24に入射されて反射される画像が、屈折により歪むことを抑制できる他、視認される画像の輝度が低下することを抑制できる。更に、上面部213及び底面部214と正面部211とのそれぞれに対して傾斜する透過部材24を容器2C内に別途配置する必要がないので、容器2C内の構成を簡略化できる。
また、携帯端末3は、上面部213及び底面部214のそれぞれに傾斜する正面部211に対する背面部212側とは反対側(すなわち正面側)の空間に配置される。すなわち、正面部211が上面部213及び底面部214に対して傾斜することで形成される空間に、携帯端末3を配置できる。これによれば、画像表示システム1Cが不要に大型化することを抑制できる。この他、携帯端末3の厚さ寸法が比較的大きい場合や、上記カメラ351による撮像範囲を拡大したり、或いは、当該カメラ351の撮像方向を調整したりするレンズ及びプリズム等の部材(例えば、後述する調整部材4)が携帯端末3に設けられている場合でも、携帯端末3を好適に配置できる。
図17は、画像表示システム1の変形である画像表示システム1Dを示す図である。
また、容器2に代えて図17に示す容器2Dを採用して、画像表示システム1Dを構成してもよい。
この容器2Dは、図17に示すように、正面部211が底面部214に対して上記容器2Cとは逆に略45°傾斜した筐体21Dを備える。すなわち、正面部211は、底面部214側から上面部213側に向かうに従って背面部212に近接するように傾斜して形成されている。この正面部211には、上記容器2Cと同様に、透過部材24が設けられている。換言すると、正面部211は、透過部材24により構成されており、当該透過部材24の正面は上向きに傾斜している。なお、上記のように、正面部211において上記投影範囲に応じた位置に透過部材24を配置する構成としてもよい。
また、容器2に代えて図17に示す容器2Dを採用して、画像表示システム1Dを構成してもよい。
この容器2Dは、図17に示すように、正面部211が底面部214に対して上記容器2Cとは逆に略45°傾斜した筐体21Dを備える。すなわち、正面部211は、底面部214側から上面部213側に向かうに従って背面部212に近接するように傾斜して形成されている。この正面部211には、上記容器2Cと同様に、透過部材24が設けられている。換言すると、正面部211は、透過部材24により構成されており、当該透過部材24の正面は上向きに傾斜している。なお、上記のように、正面部211において上記投影範囲に応じた位置に透過部材24を配置する構成としてもよい。
上面部213は、正面部211より正面側に延出しており、その延出部分に、表示部32が下方(底面部214側)を向くように携帯端末3が配置される配置部23Dを有する。この配置部23Dは、可視光を透過する透光性部材によって構成されており、携帯端末3は、当該配置部23D及び透過部材24を介して、当該透過部材24の背面側に位置する収容部22内を撮像する他、透過部材24にて反射された表示画像DPを撮像する。
このような画像表示システム1Dにおいても、上記画像表示システム1,1Cと同様の効果を奏することができる。
このような画像表示システム1Dにおいても、上記画像表示システム1,1Cと同様の効果を奏することができる。
[第2実施形態]
次に、本発明の第2実施形態について説明する。
本実施形態に係る画像表示システムは、上記画像表示システム1,1A~1Dと同様の構成を有する。ここで、当該画像表示システム1,1A~1Dでは、容器2,2A~2D内に位置する現実の移動体である魚Fの動きを検出し、当該魚Fの動きに応じて仮想体である水草PWを揺らす画像を表示する等した。これに対し、本実施形態に係る画像表示システムでは、携帯端末3は、水面の動きを検出し、当該水面に浮くように表示した仮想体を移動させる。この点で、本実施形態に係る画像表示システムと、上記画像表示システム1,1A~1Dとは相違する。なお、以下の説明では、既に説明した部分と同一又は略同一である部分については、同一の符号を付して説明を省略する。
次に、本発明の第2実施形態について説明する。
本実施形態に係る画像表示システムは、上記画像表示システム1,1A~1Dと同様の構成を有する。ここで、当該画像表示システム1,1A~1Dでは、容器2,2A~2D内に位置する現実の移動体である魚Fの動きを検出し、当該魚Fの動きに応じて仮想体である水草PWを揺らす画像を表示する等した。これに対し、本実施形態に係る画像表示システムでは、携帯端末3は、水面の動きを検出し、当該水面に浮くように表示した仮想体を移動させる。この点で、本実施形態に係る画像表示システムと、上記画像表示システム1,1A~1Dとは相違する。なお、以下の説明では、既に説明した部分と同一又は略同一である部分については、同一の符号を付して説明を省略する。
図18は、本実施形態に係る画像表示システム1Eの構成を示す模式図である。また、図19は、当該画像表示システム1Eを構成する容器2D内を正面部211側から見た図である。
本実施形態に係る画像表示システム1Eは、図18に示すように、上記画像表示システム1Dと同様に、容器2D及び携帯端末3を備える。
これらのうち、容器2D内の収容部22には、満水時の1/3程度の水Wが注がれており、水W中には魚Fが泳いでいる。
一方、配置部23Dに配置された携帯端末3では、表示制御部371による制御の下、仮想体であるアヒルDを含む画像が表示部32により透過部材24に投影され、これにより、図19に示すように、水面W1上に浮かんでいるように当該アヒルDが観察される。なお、上記カメラ351の撮像方向は、透過部材24を介して移動体である水面W1を撮像可能な方向に設定されている。
本実施形態に係る画像表示システム1Eは、図18に示すように、上記画像表示システム1Dと同様に、容器2D及び携帯端末3を備える。
これらのうち、容器2D内の収容部22には、満水時の1/3程度の水Wが注がれており、水W中には魚Fが泳いでいる。
一方、配置部23Dに配置された携帯端末3では、表示制御部371による制御の下、仮想体であるアヒルDを含む画像が表示部32により透過部材24に投影され、これにより、図19に示すように、水面W1上に浮かんでいるように当該アヒルDが観察される。なお、上記カメラ351の撮像方向は、透過部材24を介して移動体である水面W1を撮像可能な方向に設定されている。
図20は、カメラ351による撮像画像CPに含まれる移動体である水面W1の動きを示す図であり、換言すると、図20は、当該水面W1の動きを動きベクトルで示した図である。なお、携帯端末3の底面部314が背面側となるように配置されているため、撮像画像CPの向きは、図20の図面視における上側が容器2Dにおける正面部211側となり、右側が容器2Dにおける左側面部215側となっている。
本実施形態では、携帯端末3の制御部37を構成する移動体検出部374は、撮像制御部372により取得された動画像を解析して、当該動画像に含まれる移動体である水面W1の動きを検出する。例えば、図19に示したように、魚Fが水面W1に近づくように浮上した場合、当該魚Fの位置の水面W1が盛り上がり、波紋が生じる。このような場合に、移動体検出部374は、撮像部35により撮像された動画像をオプティカルフローにより解析して、図20に示す水面W1の動きベクトルを検出する。
本実施形態では、携帯端末3の制御部37を構成する移動体検出部374は、撮像制御部372により取得された動画像を解析して、当該動画像に含まれる移動体である水面W1の動きを検出する。例えば、図19に示したように、魚Fが水面W1に近づくように浮上した場合、当該魚Fの位置の水面W1が盛り上がり、波紋が生じる。このような場合に、移動体検出部374は、撮像部35により撮像された動画像をオプティカルフローにより解析して、図20に示す水面W1の動きベクトルを検出する。
そして、座標取得部375が、撮像画像CPにおける波紋の起点の座標と、表示制御部371により形成される画像(形成画像)における波紋の起点の座標とを対応させ、表示制御部371が、当該起点から波紋が広がる方向(図20において点線の矢印により示される方向)に、仮想体であるアヒルDが移動する画像を表示させる。これにより、現実の移動体である水面W1上に位置する仮想体であるアヒルDが、当該水面W1の動きに合わせて移動する様子を観察させることができる。
このようにカメラ351が水面W1を上側から撮像するように携帯端末3が配置されていれば、容器2Dの奥行方向における波紋の起点を容易に把握できる。
このようにカメラ351が水面W1を上側から撮像するように携帯端末3が配置されていれば、容器2Dの奥行方向における波紋の起点を容易に把握できる。
図21は、使用者の指FNによって生じた波紋による水面W1の動きを示す図である。
なお、波紋を生じさせるものは、上記魚Fに限らず、他のものでもよい。例えば、図21に示すように、使用者の指FNが水面W1に触れることで生じる波紋によっても水面W1に動きが生じる。このような場合でも、移動体検出部374、座標取得部375及び表示制御部371により、波紋が広がる方向に仮想体であるアヒルDが移動する画像が表示される。
このような画像表示システム1Eによっても、上記画像表示システム1,1A~1Dと同様の効果を奏することができる。
なお、波紋を生じさせるものは、上記魚Fに限らず、他のものでもよい。例えば、図21に示すように、使用者の指FNが水面W1に触れることで生じる波紋によっても水面W1に動きが生じる。このような場合でも、移動体検出部374、座標取得部375及び表示制御部371により、波紋が広がる方向に仮想体であるアヒルDが移動する画像が表示される。
このような画像表示システム1Eによっても、上記画像表示システム1,1A~1Dと同様の効果を奏することができる。
[第2実施形態の変形]
図22は、画像表示システム1Eの変形である画像表示システム1Fの構成を模式的に示す斜視図である。
上記画像表示システム1Eでは、図18に示したように、携帯端末3が上面部213に設けられた配置部23Dに配置され、カメラ351が水面W1を上側から撮像する構成であった。これに対し、図22に示す画像表示システム1Fのように、容器2Cを採用して、携帯端末3のカメラ351が、水面W1を下側から撮像する構成としてもよい。このような場合でも、上記画像表示システム1Eと同様の効果を奏することができる。
図22は、画像表示システム1Eの変形である画像表示システム1Fの構成を模式的に示す斜視図である。
上記画像表示システム1Eでは、図18に示したように、携帯端末3が上面部213に設けられた配置部23Dに配置され、カメラ351が水面W1を上側から撮像する構成であった。これに対し、図22に示す画像表示システム1Fのように、容器2Cを採用して、携帯端末3のカメラ351が、水面W1を下側から撮像する構成としてもよい。このような場合でも、上記画像表示システム1Eと同様の効果を奏することができる。
[第3実施形態]
次に、本発明の第3実施形態について説明する。
本実施形態に係る画像表示システムは、上記画像表示システム1Dと同様の構成を備える他、観察者の動きを検出して、当該動きに応じた画像を表示する。この点で、本実施形態に係る画像表示システムと、上記画像表示システム1Dとは相違する。なお、以下の説明では、既に説明した部分と同一又は略同一である部分については、同一の符号を付して説明を省略する。
次に、本発明の第3実施形態について説明する。
本実施形態に係る画像表示システムは、上記画像表示システム1Dと同様の構成を備える他、観察者の動きを検出して、当該動きに応じた画像を表示する。この点で、本実施形態に係る画像表示システムと、上記画像表示システム1Dとは相違する。なお、以下の説明では、既に説明した部分と同一又は略同一である部分については、同一の符号を付して説明を省略する。
図23は、本実施形態に係る画像表示システム1Gの構成を模式的に示す側面図である。また、図24は、携帯端末3の背面部312を示す図である。
本実施形態に係る画像表示システム1Gは、図23に示すように、上記画像表示システム1Dと同様に、容器2D及び携帯端末3を備え、当該画像表示システム1Dと同様の作用及び機能を有する。
これらのうち、携帯端末3は、図24に示すように、筐体31の背面部312に設けられ、上記撮像部35を構成するカメラ352を備える。そして、撮像部35は、上記カメラ351による撮像画像だけでなく、カメラ352による撮像画像も、上記制御部37に出力する。このカメラ352は、本発明の第2撮像部に相当する。なお、本実施形態では、カメラ352の解像度は、正面部311に設けられた上記カメラ351の解像度より低いが、これに限らず、当該カメラ351の解像度以上であってもよい。
なお、背面部312の左右両端近傍には、それぞれ楕円形状に形成された一対の凹部3121が設けられており、当該各凹部3121に左右の中指等を配置することで、携帯端末3を把持しやすいように構成されている。更に、当該一対の凹部3121に挟まれる領域には、上記操作部33を構成するタッチパネル339が設けられている。
本実施形態に係る画像表示システム1Gは、図23に示すように、上記画像表示システム1Dと同様に、容器2D及び携帯端末3を備え、当該画像表示システム1Dと同様の作用及び機能を有する。
これらのうち、携帯端末3は、図24に示すように、筐体31の背面部312に設けられ、上記撮像部35を構成するカメラ352を備える。そして、撮像部35は、上記カメラ351による撮像画像だけでなく、カメラ352による撮像画像も、上記制御部37に出力する。このカメラ352は、本発明の第2撮像部に相当する。なお、本実施形態では、カメラ352の解像度は、正面部311に設けられた上記カメラ351の解像度より低いが、これに限らず、当該カメラ351の解像度以上であってもよい。
なお、背面部312の左右両端近傍には、それぞれ楕円形状に形成された一対の凹部3121が設けられており、当該各凹部3121に左右の中指等を配置することで、携帯端末3を把持しやすいように構成されている。更に、当該一対の凹部3121に挟まれる領域には、上記操作部33を構成するタッチパネル339が設けられている。
ここで、上記カメラ351は、正面部211に位置する透過部材24を介して収容部22内を撮像するのに対し、カメラ352は、容器2Dの正面側に位置する観察者を撮像する。しかしながら、各カメラ351,352の撮像方向は、それぞれ正面部311及び背面部312に直交する方向を中心とする方向であることが多い。
このため、画像表示システム1Gは、図23に示すように、各カメラ351,352の撮像方向を調整する調整部材4を備える。
このため、画像表示システム1Gは、図23に示すように、各カメラ351,352の撮像方向を調整する調整部材4を備える。
調整部材4は、ミラーやプリズム等により構成される2つの反射部材41,42を有し、反射部材41は、カメラ351近傍に取り付けられ、当該カメラ351の撮像方向を、透過部材24を介して収容部22内を向くように調整する。また、反射部材42は、カメラ352近傍に取り付けられ、当該カメラ352の撮像方向を、容器2Dの正面側に位置する観察者に向くように調整する。
なお、調整部材4は上記画像表示システム1,1A~Fに採用可能である。
なお、調整部材4は上記画像表示システム1,1A~Fに採用可能である。
図25は、カメラ352により撮像された撮像画像CP1の一例を示す図である。
携帯端末3は、本実施形態においても、上記画像表示処理と同様の画像表示処理を実行する。この際、上記移動体検出部374は、カメラ351による撮像画像に含まれる現実の移動体(例えば魚F)の位置及び移動方向を検出する他、カメラ352による撮像画像に含まれる現実の移動体の位置及び移動方向を検出する。すなわち、移動体検出部374は、各カメラ351,352により撮像された撮像画像である動画像に含まれる現実の移動体の位置及び移動方向を、当該動画像ごとに検出する。
このため、例えば図25に示すように、観察者USが手Hを振るような撮像画像CP1が、カメラ352により撮像されて取得された場合には、移動体検出部374により、当該観察者USの手Hの位置及び移動方向が検出される。
携帯端末3は、本実施形態においても、上記画像表示処理と同様の画像表示処理を実行する。この際、上記移動体検出部374は、カメラ351による撮像画像に含まれる現実の移動体(例えば魚F)の位置及び移動方向を検出する他、カメラ352による撮像画像に含まれる現実の移動体の位置及び移動方向を検出する。すなわち、移動体検出部374は、各カメラ351,352により撮像された撮像画像である動画像に含まれる現実の移動体の位置及び移動方向を、当該動画像ごとに検出する。
このため、例えば図25に示すように、観察者USが手Hを振るような撮像画像CP1が、カメラ352により撮像されて取得された場合には、移動体検出部374により、当該観察者USの手Hの位置及び移動方向が検出される。
図26は、上記撮像画像CP1に含まれる観察者USの手Hの動きに応じて、魚PFを移動させた表示画像DP1を携帯端末3が表示した場合の容器2D内の状態を示す図である。なお、図26においては、表示画像DP1の表示領域における観察者US及び手Hの位置を点線で示している。
そして、表示制御部371が、図26に示すように、観察者USの手Hの位置に仮想体である魚PFが寄って来る表示画像DP1を形成及び表示する。これにより、観察者USから見て、現実の移動体である観察者USの手Hの動きに応じて仮想体である魚PFが移動する表示画像DP1を表示できる。
なお、カメラ351による収容部22内の撮像画像に含まれる現実の移動体である魚Fの動きに応じて、例えば、仮想体である魚PFや水草PWを移動させた表示画像を表示可能であることは、上記画像表示システム1,1A~1Dと同様である。また、現実の移動体である水面W1の動きに応じて、例えば、仮想体である上記アヒルDが移動する表示画像を表示可能であることは、上記画像表示システム1E,1Fと同様である。
そして、表示制御部371が、図26に示すように、観察者USの手Hの位置に仮想体である魚PFが寄って来る表示画像DP1を形成及び表示する。これにより、観察者USから見て、現実の移動体である観察者USの手Hの動きに応じて仮想体である魚PFが移動する表示画像DP1を表示できる。
なお、カメラ351による収容部22内の撮像画像に含まれる現実の移動体である魚Fの動きに応じて、例えば、仮想体である魚PFや水草PWを移動させた表示画像を表示可能であることは、上記画像表示システム1,1A~1Dと同様である。また、現実の移動体である水面W1の動きに応じて、例えば、仮想体である上記アヒルDが移動する表示画像を表示可能であることは、上記画像表示システム1E,1Fと同様である。
[第3実施形態の効果]
以上説明した本実施形態に係る画像表示システム1Gによれば、上記画像表示システム1,1A~1Fと同様の効果を奏することができる他、以下の効果を奏することができる。
撮像部35は、上記カメラ351の他、透過部材24により画像が反射される方向の領域、すなわち、観察者USが位置する領域を撮像するカメラ352を有する。これによれば、上記移動体検出部374が、当該カメラ352による撮像画像に含まれる現実の移動体(観察者US)の位置及び移動方向を検出することで、表示制御部371が、当該移動体の動き(観察者USの手Hの動き)に応じた画像を表示部32に表示させることができる。
以上説明した本実施形態に係る画像表示システム1Gによれば、上記画像表示システム1,1A~1Fと同様の効果を奏することができる他、以下の効果を奏することができる。
撮像部35は、上記カメラ351の他、透過部材24により画像が反射される方向の領域、すなわち、観察者USが位置する領域を撮像するカメラ352を有する。これによれば、上記移動体検出部374が、当該カメラ352による撮像画像に含まれる現実の移動体(観察者US)の位置及び移動方向を検出することで、表示制御部371が、当該移動体の動き(観察者USの手Hの動き)に応じた画像を表示部32に表示させることができる。
携帯端末3は、正面部311に位置するカメラ351の撮像方向を調整する反射部材41と、背面部312に位置するカメラ352の撮像方向を調整する反射部材42とを有する調整部材4を備える。これによれば、当該調整部材4により、各カメラ351,352の撮像方向を適切な向きに調整できるので、適切な領域を撮像部35により撮像できる。
[第3実施形態の変形]
上記画像表示システム1Gでは、正面部311に位置するカメラ351による撮像画像に含まれる魚Fの動きに応じて表示画像を変更するだけでなく、背面部312に位置するカメラ352による撮像画像に含まれる観察者の動きに応じて表示画像を形成及び表示するとした。しかしながら、これに限らない。すなわち、正面部311に位置するカメラ351による撮像画像から、収容部22内の像が含まれる画像(収容部22内の画像)と、透過部材24にて反射される観察者の像が含まれる画像(正面側の画像)とを分離し、当該観察者の動きに応じて表示画像を変更してもよい。
上記画像表示システム1Gでは、正面部311に位置するカメラ351による撮像画像に含まれる魚Fの動きに応じて表示画像を変更するだけでなく、背面部312に位置するカメラ352による撮像画像に含まれる観察者の動きに応じて表示画像を形成及び表示するとした。しかしながら、これに限らない。すなわち、正面部311に位置するカメラ351による撮像画像から、収容部22内の像が含まれる画像(収容部22内の画像)と、透過部材24にて反射される観察者の像が含まれる画像(正面側の画像)とを分離し、当該観察者の動きに応じて表示画像を変更してもよい。
例えば、上記移動体検出部374が、カメラ351による撮像画像から、収容部22内の画像と、容器2,2A~2Dに対して正面側の画像とを分離し、それぞれの画像から現実の移動体の位置、形状及び移動方向を検出してもよい。このような構成によれば、カメラ352は無くてもよく、また、上記調整部材4の反射部材42を設ける必要もない。
このような画像の分離は、例えば、各画像の明度によって分けることができる。すなわち、カメラ351により撮像される収容部22内の画像の明度は、当該透過部材24にて反射されて撮像される正面側の画像の明度より高い。このため、当該明度の違いに基づいて、カメラ351による撮像画像から、収容部22内の画像と、上記正面側の画像とを分離できる。
このような画像の分離は、例えば、各画像の明度によって分けることができる。すなわち、カメラ351により撮像される収容部22内の画像の明度は、当該透過部材24にて反射されて撮像される正面側の画像の明度より高い。このため、当該明度の違いに基づいて、カメラ351による撮像画像から、収容部22内の画像と、上記正面側の画像とを分離できる。
なお、明度によって画像を分離する構成に限らず、他の特性によって各画像を分離してもよい。例えば、上記透過部材24の構成として、P偏光及びS偏光のうちの一方の偏光光を透過して他方の偏光光を反射させる偏光分離層を有する構成を採用して、偏光方向によって撮像画像を分離する構成としてもよい。
この場合、例えば、背面部212側から入射される上記一方の偏光光は、偏光分離層を有する透過部材24を透過して正面部211側に進むことから、当該一方の偏光光はカメラ351に入射されることとなり、当該透過部材24を介して収容部22内を撮像できる。一方、正面部211側から透過部材24に入射される光のうち、上記一方の偏光光は透過部材24の偏光分離層を透過するが、他方の偏光光は反射されてカメラ351に入射される。このため、収容部22内の画像を取得する場合と、容器2,2A~2Dの正面側の画像を取得する場合とで、カメラ351に入射される偏光光を切り替えることにより、当該各画像を個別に取得できる。なお、入射される偏光光を切り替える構成に代えて、カメラ351が有する撮像素子の画素又は領域ごとに、上記一方の偏光光を透過する偏光素子と、他方の偏光光を透過する偏光素子との一方を設ける構成としてもよい。
この場合、例えば、背面部212側から入射される上記一方の偏光光は、偏光分離層を有する透過部材24を透過して正面部211側に進むことから、当該一方の偏光光はカメラ351に入射されることとなり、当該透過部材24を介して収容部22内を撮像できる。一方、正面部211側から透過部材24に入射される光のうち、上記一方の偏光光は透過部材24の偏光分離層を透過するが、他方の偏光光は反射されてカメラ351に入射される。このため、収容部22内の画像を取得する場合と、容器2,2A~2Dの正面側の画像を取得する場合とで、カメラ351に入射される偏光光を切り替えることにより、当該各画像を個別に取得できる。なお、入射される偏光光を切り替える構成に代えて、カメラ351が有する撮像素子の画素又は領域ごとに、上記一方の偏光光を透過する偏光素子と、他方の偏光光を透過する偏光素子との一方を設ける構成としてもよい。
[実施形態の変形]
本発明は、上記実施形態に限定されるものではなく、本発明の目的を達成できる範囲での変形、改良等は本発明に含まれるものである。
上記各実施形態では、容器2,2A~2Dの収容部22内には、水W及び魚Fが収容されているとしたが、本発明はこれに限らない。すなわち、収容部22内に収容される物体は、他のものでもよい。例えば、移動体として動物や玩具等の機械が収容されていてもよく、また、移動体は収容されていなくてもよい。
本発明は、上記実施形態に限定されるものではなく、本発明の目的を達成できる範囲での変形、改良等は本発明に含まれるものである。
上記各実施形態では、容器2,2A~2Dの収容部22内には、水W及び魚Fが収容されているとしたが、本発明はこれに限らない。すなわち、収容部22内に収容される物体は、他のものでもよい。例えば、移動体として動物や玩具等の機械が収容されていてもよく、また、移動体は収容されていなくてもよい。
上記各実施形態では、透過部材24は、上面部213及び底面部214に対して45°傾斜して配置されているとした。しかしながら、本発明はこれに限らない。例えば、透過部材24は、左側面部215及び右側面部216に対して傾斜していてもよい。また、透過部材24の傾斜角は45°に限らず、他の角度であってもよい。すなわち、所定の位置に配置された携帯端末3(表示装置)から投影された画像を、観察者が視認可能な位置に反射できれば、透過部材24の位置及び傾斜角は、適宜変更可能である。
上記各実施形態では、容器2,2A,2Dは、携帯端末3が配置される配置部23,23A,23Dを有するとしたが、本発明はこれに限らない。すなわち、容器2Cのように、配置部は無くてもよく、或いは、アーム等によって携帯端末3が支持される構成であってもよい。
上記各実施形態では、携帯端末3は、表示装置としての表示部32、撮像装置としての撮像部35及び制御装置としての制御部37が一体化された構成を有するとした。しかしながら、本発明はこれに限らない。すなわち、本発明の画像表示システムでは、上記携帯端末3にて一体化されていた表示装置、撮像装置及び制御装置等の構成がそれぞれ別体でもよく、2つ以上の構成が一体化されていてもよい。
上記各実施形態では、第2撮像部としてのカメラ352の撮像方向は、透過部材24による画像の反射方向に沿うとした。すなわち、当該カメラ352の撮像方向は、観察者に向く方向であるとした。しかしながら、本発明はこれに限らない。すなわち、カメラ352の撮像方向は、他の方向でもよい。また、当該カメラ352は、携帯端末3の背面部312に設けられるとしたが、例えば正面部311等、他の場所でもよい。
上記第3実施形態では、画像表示システム1Gは、カメラ351,352の撮像方向を調整する調整部材4を備えるとしたが、本発明はこれに限らない。すなわち、当該カメラ351,352の撮像方向が調整されていれば、調整部材4はなくてもよい。また、調整部材の構成は、反射部材を有する構成に限らず、撮像方向を調整可能であれば、他の構成でもよい。
上記第3実施形態では、画像表示システム1Gは、カメラ351,352の撮像方向を調整する調整部材4を備えるとしたが、本発明はこれに限らない。すなわち、当該カメラ351,352の撮像方向が調整されていれば、調整部材4はなくてもよい。また、調整部材の構成は、反射部材を有する構成に限らず、撮像方向を調整可能であれば、他の構成でもよい。
上記各実施形態では、移動体検出部374は、撮像部35から取得された撮像画像(動画像)をオプティカルフローにより解析して、当該撮像画像に含まれる移動体の位置及び移動方向を検出するとした。しかしながら、本発明はこれに限らない。すなわち、撮像画像における移動体の位置及び移動方向を検出できれば、他の手法により検出してもよく、更には、移動体の形状等を検出してもよい。
上記各実施形態では、座標取得部375は、上記第1方法又は第2方法により、撮像画像に含まれる表示画像内の点に対応する形成画像内の点の座標を取得するとした。しかしながら、本発明はこれに限らない。すなわち、他の手法により、撮像画像における座標と、形成画像における座標との対応を取ってもよい。
上記各実施形態では、奥行取得部376は、撮像画像に含まれる移動体の大きさ及び移動速度に基づいて、当該移動体の奥行位置を取得するとした。しかしながら、本発明はこれに限らない。すなわち、当該移動体の大きさ及び移動速度のいずれかに基づいて、当該移動体の奥行位置を推定及び取得してもよく、他の手法によって当該奥行位置を取得してもよい。
上記各実施形態では、奥行取得部376は、撮像画像に含まれる移動体の大きさ及び移動速度に基づいて、当該移動体の奥行位置を取得するとした。しかしながら、本発明はこれに限らない。すなわち、当該移動体の大きさ及び移動速度のいずれかに基づいて、当該移動体の奥行位置を推定及び取得してもよく、他の手法によって当該奥行位置を取得してもよい。
上記各実施形態では、撮像部35による撮像画像(動画像)は、現実の移動体(例えば魚F、水面W1及び手H)の位置、移動方向、大きさ及び移動速度の検出及び取得に利用されていた。これらに加えて、当該撮像画像に含まれる表示画像の輝度に基づいて、携帯端末3の表示部32により表示される画像の輝度を増減させてもよい。例えば、表示画像の輝度を高めることにより、当該表示画像のみを観察させることができる他、逆に表示画像の輝度を低くすることにより、収容部22内を観察しやすくすることもできる。
上記各実施形態では、透過部材24は、ハーフミラーにより構成されるとし、上記第3実施形態の変形にて、透過部材24は、偏光分離層を有する構成としてもよいとした。しかしながら、本発明はこれに限らない。例えば、透過部材として、所定波長以上の光及び当該所定波長未満の光のうちの一方を透過し、他方を反射させるダイクロイックミラーを採用してもよい。この場合には、撮像画像に対して当該所定波長に基づくフィルタリングを実施することで、撮像画像から収容部22内の風景に基づく画像と、透過部材により反射された表示画像とを分離できる。すなわち、透過部材は、当該透過部材を介して背面側に位置する収容部22内を観察可能で、かつ、正面側から投影された画像を反射可能な構成であればよい。
上記各実施形態では、記憶部36に記憶された画像表示プログラムを制御部37のCPUが実行することで、上記画像表示処理を実施するとした。この画像表示処理におけるステップS2,S3とステップS4とは実行順が逆でもよい。また、必ずしもステップS3及びS4は実施しなくてもよい。更に、上記画像表示処理を実行する場合には、表示部32から投影された画像を表示するとともに、撮像部35により背面側の領域が撮像される透過部材24があればよく、筐体21及び収容部22を有する容器2,2A~2Dのような構成はなくてもよい。
上記各実施形態では、画像表示プログラムは、記憶部36に記憶され、制御部37を構成するCPUが、当該画像表示プログラムを読み出して実行することにより、上記画像表示処理が実行されるとした。しかしながら、本発明はこれに限らない。すなわち、当該画像表示プログラムは、ディスク型記録媒体等の記録媒体や、携帯端末3が通信可能な外部機器に記録及び記憶され、制御部37によって適宜読み出される構成としてもよい。更に、当該画像表示プログラムは、記憶部36に予め記憶されていなくてもよく、ネットワーク上のサーバーからダウンロードすることにより記憶される構成としてもよい。
1,1A,1B,1C,1D,1E,1F,1G…画像表示システム、2,2A,2B,2C,2D…容器、21,21A,21C,21D…筐体、211…正面部(第2面部)、212…背面部(第3面部)、213…上面部(第1面部)、214…底面部(第1面部)、22…収容部、23,23A,23D…配置部、24,24B…透過部材、32…表示部(表示装置)、35…撮像部(撮像装置)、351…カメラ(第1撮像部)、352…カメラ(第2撮像部)、37…制御部(制御装置)、4…調整部材。
Claims (14)
- 内部に物体を収容可能な収容部を有する筐体と、
前記筐体に設けられ、前記収容部から入射される光のうち少なくとも一部の光を透過させるとともに、投影される画像を前記少なくとも一部の光が透過する方向に沿って反射させる透過部材と、を有することを特徴とする容器。 - 請求項1に記載の容器において、
前記筐体は、それぞれ当該筐体の外観を構成し、互いに交差する第1面部及び第2面部を有し、
前記透過部材は、前記第1面部及び前記第2面部のそれぞれに対して傾斜していることを特徴とする容器。 - 請求項1に記載の容器において、
前記筐体は、それぞれ当該筐体の外観を構成し、互いに交差する第1面部及び第2面部を有し、
前記第2面部は、前記第1面部に対して傾斜し、
前記透過部材は、前記第2面部に位置することを特徴とする容器。 - 請求項2又は請求項3に記載の容器において、
前記筐体は、
前記第2面部に対向する第3面部と、
前記第2面部に対して前記第3面部とは反対側に位置し、前記透過部材に画像を投影する表示装置が配置される配置部と、を有することを特徴とする容器。 - 内部に物体を収容可能な収容部を有する筐体、及び、前記筐体に設けられ、前記収容部から入射される光のうち少なくとも一部の光を透過させるとともに、投影される画像を前記少なくとも一部の光が透過する方向に沿って反射させる透過部材を有する容器と、
前記透過部材に画像を投影する表示装置と、を備えることを特徴とする画像表示システム。 - 請求項5に記載の画像表示システムにおいて、
前記透過部材を介して前記収容部内を撮像する第1撮像部、及び、前記収容部内とは異なる領域を撮像する第2撮像部の少なくともいずれかを有する撮像装置と、
前記撮像装置による撮像画像に基づいて、移動体の動きに応じた画像を前記表示装置に表示させる制御装置と、を備えることを特徴とする画像表示システム。 - 請求項6に記載の画像表示システムにおいて、
前記撮像装置は、前記第2撮像部を有し、
前記第2撮像部の撮像領域は、前記投影された画像が前記透過部材にて反射される方向の領域であることを特徴とする画像表示システム。 - 請求項6又は請求項7に記載の画像表示システムにおいて、
前記表示装置と一体的に構成された前記撮像装置の撮像方向を調整する調整部材を備えることを特徴とする画像表示システム。 - 請求項6から請求項8のいずれかに記載の画像表示システムにおいて、
前記制御装置は、前記撮像装置による撮像画像に含まれる前記移動体の位置及び移動方向をオプティカルフローにより検出し、検出された前記移動体の位置及び移動方向に応じた画像を前記表示装置に表示させることを特徴とする画像表示システム。 - 請求項6から請求項9のいずれかに記載の画像表示システムにおいて、
前記制御装置は、前記収容部内の撮像画像に含まれ、かつ、前記表示装置により表示された表示画像内の点に対応する前記制御装置による形成画像内の点の座標を取得し、取得された前記形成画像内の点の座標に基づいて、前記画像を前記表示装置に表示させることを特徴とする画像表示システム。 - 請求項6から請求項10のいずれかに記載の画像表示システムにおいて、
前記制御装置は、前記撮像装置による撮像画像に含まれる前記移動体の大きさ及び速度のうち少なくともいずれかに基づいて、前記透過部材に対する前記移動体の奥行を取得し、取得された前記移動体の奥行に応じた画像を表示させることを特徴とする画像表示システム。 - 背面側から入射される光のうち少なくとも一部の光を透過させるとともに、正面側から入射される光のうち少なくとも一部の光を反射させる透過部材と、前記透過部材に対して前記正面側から画像を投影する表示装置と、前記透過部材を介して前記透過部材の背面側の領域を撮像する撮像装置と、前記表示装置を制御する制御装置と、を備えた画像表示システムを用いて行われる画像表示方法であって、
前記制御装置が、
前記撮像装置による撮像画像に基づいて、前記透過部材の背面側に位置する移動体の位置及び移動方向を取得し、
取得された前記移動体の位置及び移動方向に応じた画像を前記表示装置に表示させることを特徴とする画像表示方法。 - 背面側から入射される光のうち少なくとも一部の光を透過させるとともに、正面側から入射される光のうち少なくとも一部の光を反射させる透過部材と、前記透過部材に対して前記正面側から画像を投影する表示装置と、前記透過部材を介して当該透過部材の背面側の領域を撮像する撮像装置と、前記表示装置を制御する制御装置と、を備えた画像表示システムにおける前記制御装置により実行される画像表示プログラムであって、
前記制御装置に、
前記撮像装置による撮像画像に基づいて、前記透過部材の背面側に位置する移動体の位置及び移動方向を取得させ、
取得された前記移動体の位置及び移動方向に応じた画像を前記表示装置に表示させることを特徴とする画像表示プログラム。 - 請求項13に記載の画像表示プログラムをコンピューター読取可能に記録したことを特徴とする記録媒体。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2014-034528 | 2014-02-25 | ||
JP2014034528A JP6249817B2 (ja) | 2014-02-25 | 2014-02-25 | 画像表示システム、画像表示方法、画像表示プログラム及び記録媒体 |
Publications (1)
Publication Number | Publication Date |
---|---|
WO2015129522A1 true WO2015129522A1 (ja) | 2015-09-03 |
Family
ID=54008843
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
PCT/JP2015/054422 WO2015129522A1 (ja) | 2014-02-25 | 2015-02-18 | 容器、画像表示システム、画像表示方法、画像表示プログラム及び記録媒体 |
Country Status (2)
Country | Link |
---|---|
JP (1) | JP6249817B2 (ja) |
WO (1) | WO2015129522A1 (ja) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20160109704A1 (en) * | 2013-08-01 | 2016-04-21 | Bandai Co., Ltd. | Image display device and program |
Families Citing this family (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP6396070B2 (ja) * | 2014-04-25 | 2018-09-26 | 株式会社ソニー・インタラクティブエンタテインメント | 画像融合システム、情報処理装置、情報端末、および情報処理方法 |
KR101846094B1 (ko) * | 2016-11-09 | 2018-04-05 | (주)엔디에스 | 스마트폰을 이용한 투명 디스플레이 장치 |
JP2020034609A (ja) * | 2018-08-27 | 2020-03-05 | 大日本印刷株式会社 | 表示装置、表示方法、プログラム及び画像投影システム |
JP7247562B2 (ja) * | 2018-12-05 | 2023-03-29 | 大日本印刷株式会社 | 反射板付き容器 |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH0236895U (ja) * | 1988-09-01 | 1990-03-09 | ||
JPH03263085A (ja) * | 1990-03-13 | 1991-11-22 | Hitachi Plant Eng & Constr Co Ltd | 展示装置 |
JP2008203538A (ja) * | 2007-02-20 | 2008-09-04 | National Univ Corp Shizuoka Univ | 画像表示システム |
JP2009136398A (ja) * | 2007-12-04 | 2009-06-25 | Daito Giken:Kk | 表示機能拡張装置 |
JP2011189066A (ja) * | 2010-03-16 | 2011-09-29 | Konami Digital Entertainment Co Ltd | ゲーム装置、ゲーム装置の制御方法、及びプログラム |
JP2015031808A (ja) * | 2013-08-01 | 2015-02-16 | 株式会社バンダイ | 映像表示装置及びプログラム |
Family Cites Families (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH06250115A (ja) * | 1993-02-24 | 1994-09-09 | Sega Enterp Ltd | 疑似水槽装置 |
JPH0736108A (ja) * | 1993-07-15 | 1995-02-07 | Bijiyuaru Sci Kenkyusho:Kk | 映像ディスプレイ装置 |
JPH10161236A (ja) * | 1996-12-04 | 1998-06-19 | Sony Miyuujitsuku Entertainment:Kk | 映像表示方法 |
JP4475308B2 (ja) * | 2007-09-18 | 2010-06-09 | 株式会社デンソー | 表示装置 |
-
2014
- 2014-02-25 JP JP2014034528A patent/JP6249817B2/ja active Active
-
2015
- 2015-02-18 WO PCT/JP2015/054422 patent/WO2015129522A1/ja active Application Filing
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH0236895U (ja) * | 1988-09-01 | 1990-03-09 | ||
JPH03263085A (ja) * | 1990-03-13 | 1991-11-22 | Hitachi Plant Eng & Constr Co Ltd | 展示装置 |
JP2008203538A (ja) * | 2007-02-20 | 2008-09-04 | National Univ Corp Shizuoka Univ | 画像表示システム |
JP2009136398A (ja) * | 2007-12-04 | 2009-06-25 | Daito Giken:Kk | 表示機能拡張装置 |
JP2011189066A (ja) * | 2010-03-16 | 2011-09-29 | Konami Digital Entertainment Co Ltd | ゲーム装置、ゲーム装置の制御方法、及びプログラム |
JP2015031808A (ja) * | 2013-08-01 | 2015-02-16 | 株式会社バンダイ | 映像表示装置及びプログラム |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20160109704A1 (en) * | 2013-08-01 | 2016-04-21 | Bandai Co., Ltd. | Image display device and program |
US9804391B2 (en) * | 2013-08-01 | 2017-10-31 | Bandai Co., Ltd. | Image display device and program |
US10422993B2 (en) | 2013-08-01 | 2019-09-24 | Bandai Co., Ltd. | Image display device and program |
US11340454B2 (en) | 2013-08-01 | 2022-05-24 | Bandai Co., Ltd. | Image display device |
Also Published As
Publication number | Publication date |
---|---|
JP2015158648A (ja) | 2015-09-03 |
JP6249817B2 (ja) | 2017-12-20 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4707034B2 (ja) | 画像処理方法、入力インタフェース装置 | |
JP5261805B2 (ja) | 携帯用機器のカメラアプリケーション | |
CN103412616B (zh) | 装置照相机角度 | |
US9596390B2 (en) | Imaging apparatus, imaging method, and computer-readable recording medium | |
TWI523517B (zh) | 影像擷取裝置、影像對齊方法及用於執行該方法之儲存媒體 | |
WO2015129522A1 (ja) | 容器、画像表示システム、画像表示方法、画像表示プログラム及び記録媒体 | |
CN102739935B (zh) | 折叠成像路径相机 | |
US20120026376A1 (en) | Anamorphic projection device | |
CN108474956A (zh) | 具有可变聚焦的增强现实显示*** | |
CN104349051A (zh) | 被摄体检测装置以及被摄体检测装置的控制方法 | |
US11250541B2 (en) | Camera-based transparent display | |
JP2017146927A (ja) | 制御装置、制御方法及びプログラム | |
TW201404133A (zh) | 自動拍照裝置及方法 | |
TWI531928B (zh) | 投影式運算系統 | |
CN115668340A (zh) | 在头戴式显示设备处的重新投影和晃动 | |
US9478068B2 (en) | Computer-readable medium, image processing device, image processing system, and image processing method | |
JP5261562B2 (ja) | 携帯用機器のカメラアプリケーション | |
JP5805013B2 (ja) | 撮像画像表示装置、撮像画像表示方法、プログラム | |
JP2015171116A (ja) | カメラの表示装置 | |
JP5739670B2 (ja) | 画像表示プログラム、装置、システムおよび方法 | |
JP6686319B2 (ja) | 画像投影装置及び画像表示システム | |
JP2000132329A (ja) | 面認識装置、面認識方法及び仮想画像立体合成装置 | |
KR20210102210A (ko) | 상호 작용을 위한 물리적 인터페이스로서의 모바일 플랫폼 | |
JP5877030B2 (ja) | 撮影装置および撮影方法 | |
US20240155093A1 (en) | Device, system, camera device, and method for capturing immersive images with improved quality |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
121 | Ep: the epo has been informed by wipo that ep was designated in this application |
Ref document number: 15755414 Country of ref document: EP Kind code of ref document: A1 |
|
NENP | Non-entry into the national phase |
Ref country code: DE |
|
122 | Ep: pct application non-entry in european phase |
Ref document number: 15755414 Country of ref document: EP Kind code of ref document: A1 |