WO2018155234A1 - 制御装置、制御方法、プログラム、および投影システム - Google Patents

制御装置、制御方法、プログラム、および投影システム Download PDF

Info

Publication number
WO2018155234A1
WO2018155234A1 PCT/JP2018/004568 JP2018004568W WO2018155234A1 WO 2018155234 A1 WO2018155234 A1 WO 2018155234A1 JP 2018004568 W JP2018004568 W JP 2018004568W WO 2018155234 A1 WO2018155234 A1 WO 2018155234A1
Authority
WO
WIPO (PCT)
Prior art keywords
input
projection
information
control device
sound effect
Prior art date
Application number
PCT/JP2018/004568
Other languages
English (en)
French (fr)
Inventor
洋平 中島
真生 近藤
宏崇 田幸
大輔 塩野
芳恭 久保田
嘉人 大木
裕介 辻田
実穂 山田
賢一 山浦
中山　寛
誠司 鈴木
正憲 松島
太一 野久尾
Original Assignee
ソニー株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニー株式会社 filed Critical ソニー株式会社
Priority to DE112018000999.8T priority Critical patent/DE112018000999T5/de
Priority to US16/486,046 priority patent/US10860205B2/en
Priority to JP2019501227A priority patent/JPWO2018155234A1/ja
Publication of WO2018155234A1 publication Critical patent/WO2018155234A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G06F3/167—Audio in a user interface, e.g. using voice commands for navigating, audio feedback
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04883—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0354—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of 2D relative movements between the device, or an operating part thereof, and a plane or surface, e.g. 2D mice, trackballs, pens or pucks
    • G06F3/03545—Pens or stylus
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10—Character recognition
    • G06V30/14—Image acquisition
    • G06V30/142—Image acquisition using hand-held instruments; Constructional details of the instruments
    • G06V30/1423—Image acquisition using hand-held instruments; Constructional details of the instruments the instrument generating sequences of position coordinates corresponding to handwriting
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/4104—Peripherals receiving signals from specially adapted client devices
    • H04N21/4122—Peripherals receiving signals from specially adapted client devices additional display device, e.g. video projector
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/74—Projection arrangements for image reproduction, e.g. using eidophor
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/12—Picture reproducers
    • H04N9/31—Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3141—Constructional details thereof
    • H04N9/3147—Multi-projection systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/12—Picture reproducers
    • H04N9/31—Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3179—Video signal processing therefor

Definitions

  • the present technology relates to a control device, a control method, a program, and a projection system, and in particular, when presenting input information by projecting an image, can naturally attract the attention of a person around the projection surface.
  • the present invention relates to a control device, a control method, a program, and a projection system.
  • the present technology has been made in view of such a situation, and when presenting input information by projecting an image, it is possible to naturally attract the attention of people around the projection surface. To do.
  • the control device includes a processing unit that projects an image representing the input information that is made to follow input of the input information onto the projection surface with an effect according to a type of the projection surface.
  • a sound effect control unit that outputs a sound effect synchronized with the video representing the input information can be further provided.
  • the sound effect control unit can output the sound effect from a speaker provided on the back side of the projection surface.
  • the sound effect control unit can output the sound effect that changes according to the elapsed time from the start of input of the input information.
  • the sound effect control unit can output the different sound effects depending on the type of the projection plane.
  • the processing unit can determine the type of the projection plane based on the information regarding the projection plane acquired by performing the sensing process on the projection plane.
  • the information regarding the projection plane may include information indicating the material of the projection plane, and the effect may be an effect corresponding to information indicating the material of the projection plane.
  • the input information is information input by a user's manual input transmitted from a mobile terminal, and the video representing the locus of the manual input can be projected on the processing unit.
  • a recognition unit that recognizes characters input by the user based on the input information can be further provided.
  • the processing unit can project the video in which a picture representing the character recognition result moves.
  • a projection system includes a video control unit that projects a video representing input information in accordance with the input of the input information, and a sound effect according to a type of a projection plane of the video.
  • a control device including a sound effect control unit that outputs the information in synchronization with the video representing information; a projection device that projects the video representing the input information supplied from the control device; and the control And another projection device that projects a predetermined image supplied from the device onto a projection plane different from the projection plane.
  • a speaker provided on the back side of the projection surface on which the video representing the input information is projected can be further included.
  • an image representing the input information that follows the input of the input information is projected onto the projection plane with an effect according to the type of the projection plane.
  • the present technology when the input information is presented by projecting an image, it is possible to attract the attention of a person around the projection surface in a natural manner.
  • FIG. 1 is a diagram illustrating an example of a usage state of a projection system according to an embodiment of the present technology.
  • the projection system shown in FIG. 1 is used, for example, in a building or store of a public institution, and projects an image on a projection board 21 made of a thin plate attached to a wall surface W.
  • the color of the surface of the projection board 21 is a dark color, and the projection board 21 produces a situation where a small blackboard is hung on the wall surface W.
  • the projector 11 is installed above the projection board 21 with the light irradiation direction directed toward the projection board 21.
  • the irradiation range (projection range) of the projector 11 is adjusted to substantially match the range of the projection board 21. It is also possible to adopt a mode in which the irradiation range of the projector 11 does not coincide with the projection board 21.
  • the irradiation range may be a range smaller than the size of the projection plate 21 or a range larger than the size of the projection plate 21 (that is, the irradiation range includes the projection plate 21 and other regions). Also good.
  • a speaker 12 is provided on the back side of the projection board 21.
  • the speaker 12 is provided at a position that cannot be seen from the front side of the projection board 21.
  • the projection system of FIG. 1 may be used outdoors. Further, the projection surface of the projector 11 may be the wall surface W itself instead of the projection board 21 attached to the wall surface W, or various planes such as a floor surface and a table top plate may be used. Good. Instead of a flat surface, various surfaces such as the surface of an automobile and the surface of a chair may be used as the projection surface.
  • the installation positions of the projector 11 and the speaker 12 are appropriately changed according to the position of the projection surface.
  • the projection content by the projector 11 is input using the tablet terminal 1.
  • the housing of the tablet terminal 1 is provided with a display in which a touch panel having a touch sensor is stacked. As shown in the lower right of FIG. 1, the user of the tablet terminal 1 can input characters and pictures by directly touching the display surface with a finger.
  • the information representing the input position manually input by the user is transmitted to a control device provided at a predetermined position, and the projector 11 projects an image representing the input content of the user by the control device.
  • the image projected by the projector 11 is an image in which a handwriting is drawn, and is updated and displayed almost in real time following the user's input operation.
  • the handwriting represents the locus of the input position by manual input using a finger or a touch pen.
  • an image projected by the projector 11 in response to a user input will be referred to as a handwriting image.
  • a sound effect synchronized with the handwriting image projected by the projector 11 is output by the control device.
  • the projection system 2 that is the projection system of FIG. 1 includes a projector 11, a speaker 12, and a control device 13, and a user inputs information remotely using the tablet terminal 1. It is a system that can. Transmission / reception of information between the projector 11 and the control device 13 and between the speaker 12 and the control device 13 is performed by wired communication or wireless communication of a predetermined standard such as a wireless LAN (Local Area Network) or Bluetooth (registered trademark). Is done through.
  • a predetermined standard such as a wireless LAN (Local Area Network) or Bluetooth (registered trademark).
  • the input information is projected in real time at a distant position, and sound effects corresponding to the information are output from the back side of the projection surface.
  • a person around the projection surface reacts to the sound and notices that the handwriting image is projected by looking in the direction in which the sound is sounding.
  • the user who is inputting information using the tablet terminal 1 can make a person in the vicinity of the projection plane notice in a natural manner that information is being presented.
  • the projection system 2 is mainly used to present information input by handwriting to a person around the projection plane.
  • FIG. 3 is a diagram illustrating an example of a handwriting image and sound effect output in the projection system 2.
  • the 3 shows the input state at each time on the tablet terminal 1, and the middle shows the handwriting image at each time.
  • the lower row represents sound effects that are output in synchronization with the handwriting image.
  • the state of the projection board 21 is a state in which a handwriting image having the position P1 as the input start position is projected.
  • the position P1 on the projection board 21 is a position corresponding to the position p1 on the display of the tablet terminal 1.
  • an attack sound expressing that the chalk is applied to the blackboard is output from the speaker 12 as a sound effect.
  • the attack sound is played back temporarily.
  • the person around the projection board 21 will see the updated handwriting image thereafter.
  • the user of the tablet terminal 1 continues input by moving the tablet terminal 1 while keeping the finger on the display surface.
  • the state of the projection board 21 extends the curve from the position P1 to the position P2, as indicated by the tip of the arrow # 11.
  • the handwriting image is projected.
  • the position P2 on the projection board 21 is a position corresponding to the position p2 on the display of the tablet terminal 1.
  • the state of the projection board 21 further extends the curve from the position P2 to the position P3 as indicated by the tip of the arrow # 12.
  • the handwriting image is projected.
  • the position P3 on the projection board 21 is a position corresponding to the position p3 on the display of the tablet terminal 1.
  • the drawing sound continues to be output as the sound effect from the speaker 12 in synchronization with the handwriting image in which the curve extends from the position P2 to the position P3.
  • the state of the projection board 21 is set to the input start position as the position P1, as indicated by the tip of the arrow # 13, and the input end position A handwritten image of a wavy line at the position P3 is projected.
  • the handwriting extends to the position P3, the reproduction of the sound effect is also stopped.
  • Handwriting is expressed by lines that are partially blurred, such as lines drawn on a blackboard with chalk. Combined with the above-mentioned sound effect sounding from the projection surface, an effect is realized as if a transparent person draws a line on the blackboard with chalk.
  • the projection system 2 When the projection system 2 is installed in a public place or the like and information is thereby presented, it is important to collect the gazes of surrounding people on the projection plane. By making a sound effect using the projection plane as a generation source, the line of sight of surrounding people can be naturally directed toward the projection plane.
  • the sound effect is output in synchronization with the handwriting image, it is possible to inform the surrounding people in a natural manner that information is being updated continuously.
  • a method of notifying the update of information there is a method of reproducing an alert sound, for example, as performed on a smartphone or a tablet terminal. Although this method attracts people's attention temporarily and does not attract attention continuously, information is continuously updated by outputting sound effects as described above. It becomes possible to tell you that.
  • FIG. 4 is a diagram illustrating another example of a handwriting image and a sound effect.
  • the state of the projection board 21 is a state in which a handwriting image having the position P11 as an input start position is projected.
  • the position P11 on the projection board 21 is a position corresponding to the position p11 on the display of the tablet terminal 1.
  • an attack sound is output from the speaker 12 as a sound effect in synchronization with the handwriting image.
  • the state of the projection board 21 is as indicated by the tip of arrow # 21.
  • the handwriting image of the letter “f” of the alphabet is projected.
  • the drawing sound continues to be output from the speaker 12 as a sound effect in synchronization with the handwriting image in which the character “f” appears.
  • the state of the projection board 21 is a state in which a handwriting image of the letter “h” is projected next to the letters “f”, “i”, and “s” of the alphabet as indicated by the tip of the arrow # 22.
  • the drawing sound continues to be output from the speaker 12 as a sound effect in synchronization with the handwriting image in which the character “h” appears.
  • the state of the projection board 21 is that the handwritten image of the handwritten “fish” character is shown at the tip of arrow # 23. Projected state.
  • the drawing of the character “h” is finished, the sound effect reproduction is also stopped.
  • the control device 13 recognizes the character “fish” input by manual input, and the fish illustration I1 appears in the vicinity of the character “fish”.
  • the image of the illustration I1 is not automatically input by the user, but is an image automatically generated by the control device 13.
  • the handwriting to be drawn is not limited to the handwriting manually input by the user.
  • illustration data is managed in association with various characters.
  • the fish illustration I1 is an image represented by a line drawn with chalk on a blackboard.
  • control device 13 can automatically generate and project a video of various additional information such as characters and pictures related to the input contents of the user by adding it to the handwriting of the user. After the illustration I1 appears in the vicinity of the characters “fish”, an image in which the fish illustration I1 moves is projected.
  • FIG. 5 is a diagram showing an example of the movement of the fish illustration I1.
  • the illustration I1 that appears at the position P21 on the projection board 21 moves over a predetermined time from the position P21 to the position P22 as indicated by the tip of the arrow # 31. Further, the illustration I1 moves from the position P22 to the position P23 over a predetermined time as indicated by the tip of the arrow # 32. In this way, an animation in which the illustration moves may be projected.
  • FIG. 6 is a diagram illustrating an example of an illustration that appears in response to input of handwritten characters.
  • FIG. 6A when a character “Olive” is input, a handwriting image in which an olive illustration I2 appears is projected. Also, as shown in FIG. 6B, when a character “Sea” is input, a handwriting image in which a ship illustration I3 appears is projected. After the appearance, a handwriting image in which these illustrations move is projected as appropriate.
  • FIG. 7 is a block diagram illustrating a hardware configuration example of the control device 13.
  • control device 13 is configured by connecting a CPU 51, a ROM 52, a RAM 53, an input unit 55, an output unit 56, a storage unit 57, and a communication unit 58 via a bus 54.
  • the CPU (Central Processing Unit) 51 executes, for example, a program stored in a ROM (Read Only Memory) 52 on a RAM (Random Access Memory) 53, and controls the overall operation of the control device 13.
  • ROM Read Only Memory
  • RAM Random Access Memory
  • the input unit 55 is composed of a keyboard, a mouse, and the like, and accepts operations by the projection system administrator.
  • the output unit 56 includes a display, a speaker, etc. (not shown).
  • a handwriting image signal projected from the projector 11 and a sound effect signal output from the speaker 12 may be output from the output unit 56 instead of the communication unit 58.
  • the output unit 56 functions as an interface for outputting a video signal of handwritten video and an audio signal of sound effects.
  • the storage unit 57 includes a hard disk, a flash memory, or the like.
  • the storage unit 57 stores various types of information such as a program executed by the CPU 51, data used for projecting a handwriting image, and sound effect data.
  • the communication unit 58 transmits handwritten video data to the projector 11 and transmits sound effect data to the speaker 12 by wired or wireless communication. Further, the communication unit 58 appropriately communicates with an external device via the Internet.
  • tablet terminal 1 also has basically the same configuration as the configuration of the control device 13 shown in FIG.
  • FIG. 8 is a block diagram illustrating a functional configuration example of the control device 13. At least a part of the functional units of the control device 13 shown in FIG. 8 is realized by a predetermined program being executed by the CPU 51 of FIG. In FIG. 8, the structure of a part of the tablet terminal 1, the projector 11, and the speaker 12 is also shown.
  • the handwriting input unit 101 of the tablet terminal 1 detects a user input to the touch panel.
  • the handwriting input unit 101 transmits handwriting information to the control device 13 via the communication unit of the tablet terminal 1 (a communication unit 103 in FIG. 13 described later) in response to detecting a user input. For example, information representing the coordinates of the input position at each time is transmitted as handwriting information.
  • the transmission of handwriting information by the handwriting input unit 101 is repeated from the start of input by the user until the end.
  • a handwriting information acquisition unit 111 a handwriting processing unit 112 a video / audio processing unit 113, a video control unit 114, and a sound effect control unit 115 are realized.
  • the handwriting information obtaining unit 111 obtains the handwriting information by performing processing such as controlling the communication unit 58 and receiving handwriting information transmitted from the tablet terminal 1.
  • the handwriting information acquisition unit 111 outputs the acquired handwriting information to the handwriting processing unit 112.
  • the handwriting processing unit 112 Based on the handwriting information supplied from the handwriting information acquisition unit 111, the handwriting processing unit 112 calculates coordinate information of the handwriting at each timing from the input start to the input end on the projection board 21, and the video / audio processing unit 113. Output to.
  • the handwriting processing unit 112 recognizes the input character based on the handwriting information.
  • the handwriting processing unit 112 functions as a recognition unit that recognizes characters input by the user.
  • the handwriting processing unit 112 When the handwriting processing unit 112 performs character recognition, the handwriting processing unit 112 acquires illustration information corresponding to the recognized character, and outputs coordinate information indicating the display position of the illustration to the video / audio processing unit 113. In addition to the illustrations, the handwriting processing unit 112 outputs coordinate information of various types of additional information to be presented in addition to the information input by the user of the tablet terminal 1.
  • the handwriting processing unit 112 has information for character recognition and manages various additional information such as illustrations in association with the character recognition result. Additional information may be acquired from an external device connected via the Internet.
  • the video / audio processing unit 113 generates handwriting video by analyzing the coordinate information supplied from the handwriting processing unit 112. Also, the video / audio processing unit 113 generates a sound effect synchronized with the handwriting video according to the type of the projection board 21 serving as a projection plane.
  • FIG. 9 is a diagram showing an example of types of projection planes.
  • blackboard, board, and paper are shown as projection surface types, and sound effects A, B, and C are shown as sound effects corresponding to each type.
  • Sound effect A is sound effect data (attack sound and drawing sound) that represents the sound produced when a line is drawn with chalk on the blackboard.
  • the sound effect B is sound effect data representing a sound produced when a line is drawn on the board with paint or the like.
  • the sound effect C is sound effect data representing a sound produced when a line is drawn with a pencil or brush on paper.
  • the video / audio processing unit 113 manages sound effect data corresponding to the types (materials) of various projection planes. For example, the user of the tablet terminal 1 selects in advance the type of projection plane before starting the projection of the handwriting image. The sound effect generation by the video / audio processing unit 113 is performed using data corresponding to the type of projection plane selected by the user of the tablet terminal 1.
  • handwriting information is shown in association with the type of projection plane.
  • the handwriting information is used to select the type of handwriting line to be drawn on the handwriting image.
  • handwriting information corresponding to each type of blackboard, board, and paper, chalk or paint, such as pencil or brush, is shown.
  • the video / audio processing unit 113 also manages handwriting information according to the types (materials) of various projection planes.
  • the handwriting image is also generated using data corresponding to the type of projection plane.
  • the type of projection plane is not set by the user of the tablet terminal 1 but is automatically set by the control device 13 by analyzing an image photographed by a camera provided in the projector 11. Also good.
  • the contents of FIG. 9 are recorded on a predetermined recording medium or the like by the storage unit 57 as a database in which information such as the type of projection plane, sound effects, and handwriting is associated with each other.
  • the video / audio processing unit 113 outputs handwritten video data to the video control unit 114, and outputs sound effect data generated according to the type of the projection board 21 to the sound effect control unit 115.
  • the video control unit 114 reproduces the data supplied from the video / audio processing unit 113.
  • the video control unit 114 controls the communication unit 58 to transmit handwriting video data to the projector 11 to cause the handwriting video to be projected.
  • the sound effect control unit 115 reproduces the data supplied from the video / audio processing unit 113.
  • the sound effect control unit 115 controls the communication unit 58 to transmit the sound effect data to the speaker 12 to output the sound effect.
  • a processing unit for projecting an image that follows the input of handwriting information as input information with an added sound effect according to the type of projection plane includes a handwriting information acquisition unit 111, a handwriting processing unit 112, and a video / audio processing unit. 113, a video control unit 114, and a sound effect control unit 115.
  • the video output unit 121 of the projector 11 determines whether or not the handwriting video data has been updated, and receives the handwriting video data transmitted from the control device 13.
  • the video output unit 121 projects a handwriting video on the projection board 21 based on the received data.
  • the sound effect output unit 131 of the speaker 12 determines whether or not the sound effect data has been updated, and receives the sound effect data transmitted from the control device 13.
  • the sound effect output unit 131 outputs sound effects from the speaker 12 based on the received data.
  • step S1 the handwriting information acquisition unit 111 acquires the handwriting information transmitted from the tablet terminal 1.
  • step S2 the handwriting processing unit 112 calculates the coordinate information of the handwriting at each timing from the input start to the input end based on the handwriting information acquired by the handwriting information acquisition unit 111.
  • step S3 the video / audio processing unit 113 determines the type of projection plane.
  • the video / audio processor 113 determines the type of projection plane by reading information preset by the user.
  • the video / audio processing unit 113 determines the type of projection plane by analyzing an image taken by a camera provided in the projector 11. That is, in this case, sensing processing for the projection plane is performed by the video / audio processing unit 113, whereby information regarding the projection plane is acquired, and the type of the projection plane is determined based on the information regarding the projection plane.
  • the information regarding the projection plane here includes information indicating the material of the projection plane.
  • the type of projection plane may be determined for each region. In this case, it may be specified which region the handwriting information is for the handwriting, and an effect corresponding to the type corresponding to the region to be input of the handwriting may be added.
  • step S4 the video / audio processing unit 113 analyzes the information supplied from the handwriting processing unit 112 to generate a handwritten video, and generates a sound effect corresponding to the type of the projection plane.
  • step S5 the video control unit 114 transmits the handwriting video data generated by the video / audio processing unit 113 to the projector 11 to cause the handwriting video to be projected.
  • step S6 the sound effect control unit 115 transmits the sound effect data generated by the video / audio processing unit 113 to the speaker 12 to output the sound effect.
  • step S7 the handwriting information acquisition unit 111 monitors information transmitted from the tablet terminal 1, and determines whether or not the input by the user is completed. Since transmission of handwriting information continues, when it is determined that the input by the user is not completed, the process returns to step S1 and the above processing is repeated.
  • step S7 If it is determined in step S7 that the user input has been completed, the process is terminated.
  • the user of the tablet terminal 1 can input characters and pictures by handwriting, and project an image representing the input content with an effect corresponding to the type of projection plane.
  • FIG. 11 is a diagram showing another functional configuration example of the projection system 2.
  • the handwriting information acquisition unit 111, the handwriting processing unit 112, the video / audio processing unit 113, the video control unit 114, and the sound effect control unit 115 are realized in the tablet terminal 1.
  • the function of the control device 13 can be mounted on the tablet terminal 1.
  • FIG. 12 is a diagram showing still another functional configuration example of the projection system 2.
  • the handwriting information acquisition unit 111, the handwriting processing unit 112, the video / audio processing unit 113, the video control unit 114, and the sound effect control unit 115 are realized in the projector 11.
  • the function of the control device 13 can be mounted on the projector 11.
  • the control device 13 is not necessary.
  • control device 13 shown in FIG. 8 may be realized on a plurality of devices.
  • a plurality of devices that share and realize the configuration of the control device 13 shown in FIG. 8 are connected via a network.
  • a control device 13 is provided on the Internet, and communication between the tablet terminal 1 and the control device 13, communication between the projector 11 and the control device 13, and communication between the speaker 12 and the control device 13 are performed via the Internet. It may be performed.
  • FIG. 13 is a block diagram illustrating a configuration example of the tablet terminal 1 having the handwriting input unit 101 as described above.
  • the tablet terminal 1 includes a processing unit 101 ⁇ / b> A having a handwriting input unit 101, a display unit 102, and a communication unit 103.
  • the processing unit 101A controls the overall operation of the tablet terminal 1. For example, the processing unit 101 ⁇ / b> A detects a user input to the touch panel, and transmits handwriting information to the control device 13 by the handwriting input unit 101. Further, the processing unit 101A generates an image corresponding to the handwriting information and causes the display unit 102 to display the image.
  • the display unit 102 as the display described above displays an image corresponding to the handwriting information supplied from the processing unit 101A.
  • the communication unit 103 transmits handwriting information to the control device 13 in accordance with control by the handwriting input unit 101 of the processing unit 101A.
  • FIG. 14 is a diagram showing an example of another usage state of the projection system.
  • three projectors, projectors 11-1 to 11-3, are provided on the wall surface W as projectors for projecting input content in the tablet terminal 1.
  • the projector 11-1 is a projector that projects an image on the projection board 21 in the same manner as the projector 11 described above.
  • Projectors 11-2 and 11-3 provided on the left and right sides of projector 11-1 are projectors that project an image on wall surface W.
  • Each projector is installed on the wall surface W so that the projection surfaces are adjacent to each other.
  • the control device 13 can project one image by interlocking the projectors 11-1 to 11-3.
  • the control device 13 interlocks the projectors 11-1 to 11-3 by controlling the communication so that the fish illustration I1 that appears on the projection board 21 by character recognition as described above is displayed on the projector 11-.
  • a video that moves to a position on the projection plane 3 can be projected.
  • a handwriting image representing information input in the tablet terminal 1 is projected by the projector 11-1, and a predetermined image linked to the projection content of the projector 11-1 is projected by the projectors 11-2 and 11-3.
  • the handwriting of the illustration may be changed in real time according to the area onto which the moving fish illustration is projected. For example, when a fish illustration is projected on a blackboard, drawing using a chalk handwriting is performed, and when projecting on a white wall surface, drawing using a black magic pen handwriting is performed.
  • the output of the sound effect according to the handwriting image projected by the projector 11-1 and the output of the sound effect according to the image projected by the projectors 11-2 and 11-3 are different in the material of the projection surface. It is performed using sound data of different types.
  • the picture represented by the characters is projected as additional information
  • the content projected as additional information can be changed as appropriate.
  • a photograph (image), a video, a website screen, or an advertisement related to the input characters may be projected as additional information.
  • the effect according to the type of projection plane may be reflected in the display of the handwriting on the tablet terminal 1.
  • information on the type of projection plane determined by the control device 13 is transmitted from the control device 13 to the tablet terminal 1.
  • the processing unit 101A of the tablet terminal 1 displays a handwritten image with an effect corresponding to the type of the projection plane, and outputs a sound effect. You may make it transmit the data of the handwritten image which added the effect, or the sound effect itself directly with respect to the tablet terminal 1 from the control apparatus 13.
  • Information input directly by the user may be projected onto the projection range.
  • the projection system 2 is provided with an RGB camera and a depth sensor that sense an area including the projection range. Based on the sensing results of an RGB camera, a depth sensor, etc., information related to the operation such as which part of the projection range the user's finger or hand touched is acquired, and transmitted from the tablet terminal 1 using the acquired information. The same processing as when handwritten handwriting information is used is performed.
  • the input using the tablet terminal 1 and the direct input to the projection range may be used simultaneously.
  • FIG. 15 is a block diagram illustrating a configuration example of hardware of a computer that executes the above-described series of processes by a program.
  • CPU 1001, ROM 1002, and RAM 1003 are connected to each other by a bus 1004.
  • an input / output interface 1005 is connected to the bus 1004.
  • the input / output interface 1005 is connected to an input unit 1006 including a keyboard and a mouse, and an output unit 1007 including a display and a speaker.
  • the input / output interface 1005 is connected to a storage unit 1008 made up of a hard disk, a non-volatile memory, etc., a communication unit 1009 made up of a network interface, etc., and a drive 1010 that drives a removable medium 1011.
  • the CPU 1001 loads the program stored in the storage unit 1008 to the RAM 1003 via the input / output interface 1005 and the bus 1004 and executes it, thereby executing the above-described series of processing. Is done.
  • the program executed by the CPU 1001 is recorded in the removable medium 1011 or provided via a wired or wireless transmission medium such as a local area network, the Internet, or digital broadcasting, and installed in the storage unit 1008.
  • a wired or wireless transmission medium such as a local area network, the Internet, or digital broadcasting
  • the program executed by the computer may be a program that is processed in time series in the order described in this specification, or in parallel or at a necessary timing such as when a call is made. It may be a program for processing.
  • the system means a set of a plurality of components (devices, modules (parts), etc.), and it does not matter whether all the components are in the same housing. Accordingly, a plurality of devices housed in separate housings and connected via a network and a single device housing a plurality of modules in one housing are all systems. .
  • Embodiments of the present technology are not limited to the above-described embodiments, and various modifications can be made without departing from the gist of the present technology.
  • the present technology can take a cloud computing configuration in which one function is shared by a plurality of devices via a network and is jointly processed.
  • each step described in the above flowchart can be executed by one device or can be shared by a plurality of devices.
  • the plurality of processes included in the one step can be executed by being shared by a plurality of apparatuses in addition to being executed by one apparatus.
  • a control apparatus comprising: a processing unit that projects an image representing the input information that is made to follow input of input information to the projection plane with an effect according to a type of the projection plane.
  • the control device according to (1) further including a sound effect control unit that outputs a sound effect synchronized with the video representing the input information as an effect according to the type of the projection surface.
  • the said sound effect control part outputs the said sound effect from the speaker provided in the back side of the said projection surface.
  • the control apparatus as described in said (2).
  • the control device (5) The control device according to any one of (2) to (4), wherein the sound effect control unit outputs the sound effect that varies depending on a type of the projection plane.
  • the processing unit determines a type of the projection plane based on information related to the projection plane acquired by performing a sensing process on the projection plane.
  • the information on the projection plane includes information indicating the material of the projection plane,
  • the control device according to (6), wherein the effect is an effect corresponding to information indicating a material of the projection surface.
  • the input information is information input by a user's manual input transmitted from a mobile terminal, The control device according to any one of (1) to (7), wherein the processing unit projects the video representing the trajectory of the manual input.
  • a control method including a step of projecting an image representing the input information that is made to follow input of input information onto the projection plane with an effect corresponding to a type of the projection plane.
  • a program that executes a process including a step of projecting an image representing the input information that is made to follow input of the input information onto the projection plane with an effect according to a type of the projection plane.
  • a video control unit that projects video representing input information in accordance with the input of the input information; and A control device comprising: a sound effect control unit that outputs a sound effect according to the type of projection plane of the video in synchronization with the video representing the input information; A projection device that projects the image representing the input information supplied from the control device onto the projection plane; A projection system comprising: another projection device that projects a predetermined image supplied from the control device onto a projection surface different from the projection surface.
  • the projection system according to (12) further including a speaker provided on a back side of the projection surface on which the video representing the input information is projected.
  • 1 tablet terminal, 11 projector, 12 speaker, 13 control device 101 handwriting input unit, 111 handwriting information acquisition unit, 112 handwriting processing unit, 113 video / audio processing unit, 114 video control unit, 115 sound effect control unit, 121 video Output part, 131 Sound effect output part

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Projection Apparatus (AREA)
  • Transforming Electric Information Into Light Information (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

本技術は、映像を投影することによって入力情報を提示する場合に、投影面の周りにいる人の注意を自然な形で惹くことができるようにする制御装置、制御方法、プログラム、および投影システムに関する。 本技術の一側面の制御装置は、入力情報の入力に追従させた入力情報を表す映像を、投影面の種別に応じた効果を付加して、投影面に投影させる。投影面として例えば壁面に取り付けられた薄板材が用意される。薄板材の表面の色は例えば暗色調の色であり、手書きの文字や絵を表す映像の投影に合わせて、黒板にチョークで文字や絵を描いているときに鳴る音が投影面の裏側に設けられたスピーカから出力される。本技術は、プロジェクタから映像を投影させて情報を提示するシステムに適用することができる。

Description

制御装置、制御方法、プログラム、および投影システム
　本技術は、制御装置、制御方法、プログラム、および投影システムに関し、特に、映像を投影することによって入力情報を提示する場合に、投影面の周りにいる人の注意を自然な形で惹くことができるようにした制御装置、制御方法、プログラム、および投影システムに関する。
　近年、プロジェクタを用いた空間演出が多く行われている。建物だけでなく、家具、日用品などのあらゆる物を投影面としてCG映像を映し出すことにより、非日常的な演出を行うことが可能になる。
特開２０１６－１６２１４２号公報
　しかし映像が投影される空間は様々であり、単に映像を投影することのみでは投影面の周りにいる人の注意を自然な形で惹くことが難しい場合があった。
　本技術はこのような状況に鑑みてなされたものであり、映像を投影することによって入力情報を提示する場合に、投影面の周りにいる人の注意を自然な形で惹くことができるようにするものである。
　本技術の一側面の制御装置は、入力情報の入力に追従させた前記入力情報を表す映像を、投影面の種別に応じた効果を付加して、前記投影面に投影させる処理部を備える。
　前記投影面の種別に応じた効果として、前記入力情報を表す前記映像に同期した効果音を出力させる効果音制御部をさらに設けることができる。
　前記効果音制御部には、前記投影面の裏側に設けられたスピーカから前記効果音を出力させることができる。
　前記効果音制御部には、前記入力情報の入力開始からの経過時間に応じて変化する前記効果音を出力させることができる。
　前記効果音制御部には、前記投影面の種別に応じて異なる前記効果音を出力させることができる。
　前記処理部には、前記投影面に対するセンシング処理を行うことにより取得された投影面に関する情報に基づき前記投影面の種別を決定させることができる。
　前記投影面に関する情報は、前記投影面の材質を示す情報を含み、前記効果は、前記投影面の材質を示す情報に対応する効果であるようにすることができる。
　前記入力情報は、携帯端末から送信された、ユーザの手入力によって入力された情報であり、前記処理部には、前記手入力の軌跡を表す前記映像を投影させることができる。
　前記入力情報に基づいて、前記ユーザにより入力された文字を認識する認識部をさらに設けることができる。この場合、前記処理部には、前記文字の認識結果を表す絵が動く前記映像を投影させることができる。
　本技術の他の側面の投影システムは、入力情報を表す映像を、前記入力情報の入力に追従させて投影させる映像制御部と、前記映像の投影面の種別に応じた効果音を、前記入力情報を表す前記映像に同期して出力させる効果音制御部とを備える制御装置と、前記制御装置から供給された、前記入力情報を表す前記映像を前記投影面に投影する投影装置と、前記制御装置から供給された所定の映像を前記投影面とは異なる投影面に投影する他の投影装置とを含む。
　前記入力情報を表す前記映像が投影される前記投影面の裏側に設けられたスピーカをさらに含めることができる。
　本技術においては、入力情報の入力に追従させた前記入力情報を表す映像が、投影面の種別に応じた効果を付加して、前記投影面に投影される。
　本技術によれば、映像を投影することによって入力情報を提示する場合に、投影面の周りにいる人の注意を自然な形で惹くことができる。
　なお、ここに記載された効果は必ずしも限定されるものではなく、本開示中に記載されたいずれかの効果であってもよい。
本技術の一実施形態に係る投影システムの使用状態の例を示す図である。 投影システムの構成例を示すブロック図である。 筆跡映像と効果音の例を示す図である。 筆跡映像と効果音の他の例を示す図である。 魚のイラストの動きの例を示す図である。 イラストの例を示す図である。 制御装置のハードウェア構成例を示すブロック図である。 制御装置の機能構成例を示すブロック図である。 投影面の種別と効果音の例を示す図である。 制御装置の制御処理について説明するフローチャートである。 投影システムの機能構成例を示す図である。 投影システムの機能構成例を示す図である。 タブレット端末の構成例を示すブロック図である。 投影システムの他の使用状態の例を示す図である。 コンピュータの構成例を示すブロック図である。
　以下、本技術を実施するための形態について説明する。説明は以下の順序で行う。
　１．投影システムの構成例
　２．筆跡映像と効果音の例
　　２－１．第１の例
　　２－２．第２の例
　３．制御装置の構成例と動作
　　３－１．制御装置の構成
　　３－２．制御装置の動作
　４．変形例
＜＜投影システムの構成例＞＞
　図１は、本技術の一実施形態に係る投影システムの使用状態の例を示す図である。
　図１の投影システムは、例えば公共機関の建物や店舗の中で用いられるものであって、壁面Ｗに取り付けられた薄板材よりなる投影盤２１に映像を投影するものである。投影盤２１の表面の色は暗色調の色となっており、投影盤２１は、あたかも小型の黒板が壁面Ｗに掛けられているような状況を演出する。
　投影盤２１の上方には、光の照射方向を投影盤２１に向けたプロジェクタ１１が設置される。プロジェクタ１１の照射範囲（投影範囲）は、投影盤２１の範囲と略一致するように調整されている。なお、プロジェクタ１１の照射範囲が投影盤２１と一致しない態様とすることも可能である。例えば、照射範囲は、投影盤２１のサイズよりも小さな範囲であってもよく、又投影盤２１のサイズよりも大きな範囲（すなわち照射範囲に投影盤２１とその他の領域が含まれる）であってもよい。
　破線で示すように、投影盤２１の裏側にはスピーカ１２が設けられる。スピーカ１２は、投影盤２１の表側からは見えない位置に設けられている。
　図１の投影システムが屋外で用いられるようにしてもよい。また、プロジェクタ１１の投影面として、壁面Ｗに取り付けられた投影盤２１ではなく、壁面Ｗそのものであってもよいし、床面、テーブルの天板などの各種の平面が用いられるようにしてもよい。平面ではなく、自動車の表面、椅子の表面などの各種の面を投影面とするようにしてもよい。投影面の位置に応じて、プロジェクタ１１とスピーカ１２の設置位置は適宜変更される。
　図１の投影システムにおいて、プロジェクタ１１による投影内容はタブレット端末１を用いて入力される。タブレット端末１の筐体にはタッチセンサを有するタッチパネルを積層したディスプレイが設けられている。図１の右下に示すように、タブレット端末１のユーザは、ディスプレイ表面に指で直接触れることによって文字や絵などを入力することができる。
　ユーザの手入力による入力位置を表す情報は、所定の位置に設けられた制御装置に送信され、その制御装置により、ユーザの入力内容を表す映像がプロジェクタ１１によって投影される。プロジェクタ１１が投影する映像は、筆跡を描画した映像であり、ユーザが入力操作を行うことに追従してほぼリアルタイムで更新して表示される。なお、ここでいう筆跡は、指またはタッチペンなどを用いた手入力による入力位置の軌跡を表す。
　以下、適宜、ユーザの入力に応じてプロジェクタ１１が投影する映像を筆跡映像という。
　また、スピーカ１２からは、制御装置により、プロジェクタ１１が投影する筆跡映像に同期した効果音が出力される。
　すなわち、図２に示すように、図１の投影システムである投影システム２は、プロジェクタ１１、スピーカ１２、および制御装置１３から構成され、ユーザが、タブレット端末１を用いて遠隔から情報を入力することができるシステムである。プロジェクタ１１と制御装置１３間、スピーカ１２と制御装置１３間の情報の送受信は、有線の通信により、または、無線LAN(Local Area Network)、Bluetooth（登録商標）などの所定の規格の無線による通信を介して行われる。
　このように、投影システム２においては、入力された情報が離れた位置にリアルタイムに投影され、それに合わせた効果音が投影面の裏側から出力される。これにより、投影面の周囲にいる人は、音に反応して、その音が鳴っている方向に目を向けることによって、筆跡映像の投影が行われていることに気付くことになる。
　タブレット端末１を用いて情報を入力しているユーザは、情報の提示が行われていることを投影面の周囲にいる人に自然な形で気付かせることができる。投影システム２は、主に、手書きで入力した情報を投影面の周囲にいる人に提示するために用いられる。
＜＜筆跡映像と効果音の例＞＞
＜第１の例＞
　図３は、投影システム２において出力される筆跡映像と効果音の例を示す図である。
　図３の上段は、タブレット端末１における各時刻の入力状態を表し、中段は、各時刻の筆跡映像を表す。下段は、筆跡映像に同期して出力される効果音を表す。
　時刻ｔ１において、ユーザが指でタブレット端末１のディスプレイ上の位置ｐ１にタッチした場合（触れた場合）、投影盤２１の状態は、位置Ｐ１を入力開始位置とする筆跡映像が投影された状態になる。投影盤２１上の位置Ｐ１は、タブレット端末１のディスプレイ上の位置ｐ１に対応する位置である。
　また、この筆跡映像に同期して、黒板にチョークを当てたことを表現するアタック音が効果音としてスピーカ１２から出力される。アタック音の再生は一時的に行われる。
　アタック音に反応して振り向くことにより、それ以降、投影盤２１の周囲にいる人は、更新される筆跡映像を見ることになる。タブレット端末１のユーザは、ディスプレイ表面に指を当てたまま移動させることで入力を続ける。
　時刻ｔ２において、ユーザがタブレット端末１のディスプレイ上の位置ｐ２まで指を移動させた場合、投影盤２１の状態は、矢印＃１１の先に示すように、位置Ｐ１から位置Ｐ２まで曲線を延ばした筆跡映像が投影された状態になる。投影盤２１上の位置Ｐ２は、タブレット端末１のディスプレイ上の位置ｐ２に対応する位置である。位置Ｐ１から位置Ｐ２まで曲線が延びる筆跡映像に同期して、黒板にチョークが擦れるときに鳴る音を表現した描画音が効果音としてスピーカ１２から出力され続ける。
　時刻ｔ３において、ユーザがタブレット端末１のディスプレイ上の位置ｐ３まで指を移動させた場合、投影盤２１の状態は、矢印＃１２の先に示すように、位置Ｐ２から位置Ｐ３まで曲線をさらに延ばした筆跡映像が投影された状態になる。投影盤２１上の位置Ｐ３は、タブレット端末１のディスプレイ上の位置ｐ３に対応する位置である。位置Ｐ２から位置Ｐ３まで曲線が延びる筆跡映像に同期して、描画音が効果音としてスピーカ１２から出力され続ける。
　時刻ｔ４において、ユーザがタブレット端末１のディスプレイ上の位置ｐ３で指を離した場合、投影盤２１の状態は、矢印＃１３の先に示すように、入力開始位置を位置Ｐ１とし、入力終了位置を位置Ｐ３とする波線の筆跡映像が投影された状態になる。位置Ｐ３まで筆跡が延びたとき、効果音の再生も停止される。
　筆跡は、例えば、チョークで黒板に描いた線のように、部分的にかすれた線によって表現される。上述したような効果音が投影面から鳴ることとも相俟って、あたかも、透明の人がチョークで黒板に線を描いているような演出が実現される。
　投影システム２が公共の場所などに設置されていて、それによって情報を提示する場合、周囲の人の視線を投影面に集めることが重要になる。投影面を発生源として効果音が鳴るようにすることにより、周囲の人の視線を投影面に自然に向けさせることができる。
　また、筆跡映像に同期して効果音が出力されるため、情報の更新が連続的に行われていることを周囲の人に自然な形で伝えることが可能になる。情報の更新を知らせる方法として例えばスマートフォンやタブレット端末等で行われているようにアラート音を再生するような方法がある。この方法は人の注意を一時的に惹くものであり、注意を連続的に惹くものになっていないが、上述したようにして効果音を出力することにより、情報の更新が連続的に行われていることを伝えることが可能になる。
＜第２の例＞
　図４は、筆跡映像と効果音の他の例を示す図である。
　図４を参照して、手書きの文字を入力する場合の筆跡映像と効果音について説明する。図３の説明と重複する説明については適宜省略する。
　時刻ｔ１１において、ユーザが指でタブレット端末１のディスプレイ上の位置ｐ１１にタッチした場合、投影盤２１の状態は、位置Ｐ１１を入力開始位置とする筆跡映像が投影された状態になる。投影盤２１上の位置Ｐ１１は、タブレット端末１のディスプレイ上の位置ｐ１１に対応する位置である。また、この筆跡映像に同期して、アタック音が効果音としてスピーカ１２から出力される。
　時刻ｔ１２において、ユーザがタブレット端末１のディスプレイ上の位置ｐ１２まで指を移動させ、アルファベットの「ｆ」の文字を書き終えた場合、投影盤２１の状態は、矢印＃２１の先に示すように、アルファベットの「ｆ」の文字の筆跡映像が投影された状態になる。また、「ｆ」の文字が現れる筆跡映像に同期して、描画音が効果音としてスピーカ１２から出力され続ける。
　時刻ｔ１３において、ユーザがアルファベットの「ｆ」、「ｉ」、「ｓ」に続けて、タブレット端末１のディスプレイ上の位置ｐ１３まで指を移動させることによって「ｈ」の文字を書き終えた場合、投影盤２１の状態は、矢印＃２２の先に示すように、アルファベットの「ｆ」、「ｉ」、「ｓ」の文字の隣に「ｈ」の文字の筆跡映像が投影された状態になる。また、「ｈ」の文字が現れる筆跡映像に同期して、描画音が効果音としてスピーカ１２から出力され続ける。
　時刻ｔ１４において、ユーザがタブレット端末１のディスプレイ上の位置ｐ１３で指を離した場合、投影盤２１の状態は、矢印＃２３の先に示すように、手書きの「ｆｉｓｈ」の文字の筆跡映像が投影された状態になる。「ｈ」の文字の描画が終わったとき、効果音の再生も停止される。
　「ｈ」の文字の描画が終わったとき、制御装置１３においては、手入力によって入力された「ｆｉｓｈ」の文字認識が行われ、「ｆｉｓｈ」の文字の近傍に魚のイラストＩ１が出現する。イラストＩ１の映像は、ユーザが手書きで入力した情報ではなく、制御装置１３により自動的に生成された映像である。このように、描画される筆跡は、ユーザが手入力で入力した筆跡に限られるものではない。
　制御装置１３においては、各種の文字と対応付けて、イラストのデータが管理されている。魚のイラストＩ１は、チョークで黒板に描いた線により表現される画像である。
　このように、制御装置１３は、ユーザの筆跡に付加して、ユーザの入力内容に関連する文字や絵などの各種の付加情報の映像を自動的に生成して投影することができる。「ｆｉｓｈ」の文字の近傍にイラストＩ１が出現した後、魚のイラストＩ１が動く映像が投影される。
　図５は、魚のイラストＩ１の動きの例を示す図である。
　図５の左端に示すように、投影盤２１上の位置Ｐ２１に出現したイラストＩ１は、矢印＃３１の先に示すように、位置Ｐ２１から位置Ｐ２２まで所定の時間をかけて移動する。また、イラストＩ１は、矢印＃３２の先に示すように、位置Ｐ２２から位置Ｐ２３まで所定の時間をかけて移動する。このようにイラストが動くアニメーションを投影するようにしてもよい。
　図６は、手書きの文字が入力されることに応じて出現するイラストの例を示す図である。
　図６のＡに示すように「Ｏｌｉｖｅ」の文字が入力された場合、オリーブのイラストＩ２が出現する筆跡映像が投影される。また、図６のＢに示すように「Ｓｅａ」の文字が入力された場合、船のイラストＩ３が出現する筆跡映像が投影される。出現後、適宜、これらのイラストが動く筆跡映像が投影される。
　このように、投影システム２においては、透明の人が黒板にチョークで絵や文字を描いているような演出が実現される。以上のような演出を行う制御装置１３の処理についてはフローチャートを参照して後述する。
＜＜制御装置の構成例と動作＞＞
＜制御装置の構成＞
　図７は、制御装置１３のハードウェア構成例を示すブロック図である。
　図７に示すように、制御装置１３は、CPU５１、ROM５２、RAM５３、入力部５５、出力部５６、記憶部５７、および通信部５８が、バス５４を介して接続されることによって構成される。
　CPU(Central Processing Unit)５１は、例えばROM(Read Only Memory)５２に格納されているプログラムをRAM(Random Access Memory)５３上で実行し、制御装置１３の全体の動作を制御する。
　入力部５５は、キーボード、マウスなどよりなり、投影システムの管理者による操作を受け付ける。
　出力部５６は、図示せぬディスプレイやスピーカなどより構成される。プロジェクタ１１から投影する筆跡映像の信号やスピーカ１２から出力する効果音の信号が、通信部５８からではなく出力部５６から出力されるようにしてもよい。この場合、出力部５６は、筆跡映像のビデオ信号や効果音のオーディオ信号を出力するインタフェースとして機能する。
　記憶部５７は、ハードディスクやフラッシュメモリなどにより構成される。記憶部５７は、CPU５１により実行されるプログラム、筆跡映像の投影に用いるデータ、効果音のデータなどの各種の情報を記憶する。
　通信部５８は、有線または無線による通信によって、プロジェクタ１１に対して筆跡映像のデータを送信し、スピーカ１２に対して効果音のデータを送信する。また、通信部５８は、適宜、インターネットを介して外部の機器と通信を行う。
　なお、タブレット端末１も、図７に示す制御装置１３の構成と基本的に同様の構成を有している。
　図８は、制御装置１３の機能構成例を示すブロック図である。図８に示す制御装置１３の機能部のうちの少なくとも一部は、図７のCPU５１により所定のプログラムが実行されることによって実現される。図８においては、タブレット端末１、プロジェクタ１１、およびスピーカ１２の一部の構成も示されている。
　タブレット端末１の筆跡入力部１０１は、タッチパネルに対するユーザの入力を検出する。筆跡入力部１０１は、ユーザの入力を検出することに応じて、筆跡情報を制御装置１３にタブレット端末１の通信部（後述する図１３の通信部１０３）を介して送信する。例えば、各時刻における入力位置の座標を表す情報が筆跡情報として送信される。筆跡入力部１０１による筆跡情報の送信は、ユーザによる入力が開始してから終了するまで繰り返される。
　制御装置１３においては、筆跡情報取得部１１１、筆跡処理部１１２、映像・音声処理部１１３、映像制御部１１４、および効果音制御部１１５が実現される。
　筆跡情報取得部１１１は、通信部５８を制御し、タブレット端末１から送信されてきた筆跡情報を受信する等の処理を行うことで取得する。筆跡情報取得部１１１は、取得した筆跡情報を筆跡処理部１１２に出力する。
　筆跡処理部１１２は、筆跡情報取得部１１１から供給された筆跡情報に基づいて、投影盤２１における、入力開始から入力終了までの各タイミングにおける筆跡の座標情報を算出し、映像・音声処理部１１３に出力する。
　また、筆跡処理部１１２は、ユーザにより文字が入力された場合、入力された文字を筆跡情報に基づいて認識する。筆跡処理部１１２は、ユーザにより入力された文字を認識する認識部として機能することになる。
　筆跡処理部１１２は、文字認識を行った場合、認識した文字に応じたイラストの情報を取得し、イラストの表示位置を表す座標情報を映像・音声処理部１１３に出力する。筆跡処理部１１２から映像・音声処理部１１３に対しては、イラスト以外にも、タブレット端末１のユーザにより入力された情報に付加して提示する各種の付加情報の座標情報が出力される。
　このように、筆跡処理部１１２は、文字認識用の情報を有するとともに、文字の認識結果と対応付けて、イラストなどの各種の付加情報を管理している。付加情報が、インターネットを介して接続される外部の装置から取得されるようにしてもよい。
　映像・音声処理部１１３は、筆跡処理部１１２から供給された座標情報を解析することによって筆跡映像を生成する。また、映像・音声処理部１１３は、筆跡映像と同期した効果音を、投影面となる投影盤２１の種別に応じて生成する。
　図９は、投影面の種別の例を示す図である。
　図９の例においては、投影面の種別として黒板、板、紙が示されており、それぞれの種別に対応する効果音として効果音Ａ，Ｂ，Ｃが示されている。
　効果音Ａは、黒板にチョークで線を書いたときに鳴る音を表現した効果音（アタック音と描画音）のデータである。効果音Ｂは、板面にペンキ等で線を書いたときに鳴る音を表現した効果音のデータである。効果音Ｃは、紙に鉛筆や筆で線を書いたときに鳴る音を表現した効果音のデータである。
　このように、映像・音声処理部１１３は、各種の投影面の種別（材質）に応じた効果音のデータを管理している。例えばタブレット端末１のユーザは、筆跡映像の投影開始前、投影面の種別を予め選択する。映像・音声処理部１１３による効果音の生成は、タブレット端末１のユーザにより選択された投影面の種別に応じたデータを用いて行われる。
　また、図９の例においては、投影面の種別と対応付けて、筆跡の情報が示されている。筆跡の情報は、筆跡映像に描画する筆跡の線の種別の選択に用いられる。黒板、板、紙のそれぞれの種別に対応する筆跡の情報としてチョーク、ペンキ等、鉛筆又は筆が示されている。
　このように、映像・音声処理部１１３は、各種の投影面の種別（材質）に応じた筆跡の情報をも管理している。筆跡映像の生成も、投影面の種別に応じたデータを用いて行われる。投影面の種別の設定が、タブレット端末１のユーザにより行われるのではなく、プロジェクタ１１に設けられたカメラにより撮影された画像を解析することによって、制御装置１３により自動的に行われるようにしてもよい。図９の内容は、例えば投影面の種別、効果音、筆跡等のそれぞれの情報を関連付けたデータベースとして記憶部５７により所定の記録媒体等に記録される。
　映像・音声処理部１１３は、筆跡映像のデータを映像制御部１１４に出力し、投影盤２１の種別に応じて生成した効果音のデータを効果音制御部１１５に出力する。
　映像制御部１１４は、映像・音声処理部１１３から供給されたデータを再生する。映像制御部１１４は、筆跡映像のデータを通信部５８を制御してプロジェクタ１１に送信し、筆跡映像の投影を行わせる。
　効果音制御部１１５は、映像・音声処理部１１３から供給されたデータを再生する。効果音制御部１１５は、効果音のデータを通信部５８を制御してスピーカ１２に送信し、効果音の出力を行わせる。
　入力情報としての筆跡情報の入力に追従させた映像を、投影面の種別に応じた効果音を付加して投影させる処理部が、筆跡情報取得部１１１、筆跡処理部１１２、映像・音声処理部１１３、映像制御部１１４、および効果音制御部１１５により構成される。
　プロジェクタ１１の映像出力部１２１は、筆跡映像のデータの更新の有無を判別し、制御装置１３から送信されてきた筆跡映像のデータを受信する。映像出力部１２１は、受信したデータに基づいて、筆跡映像を投影盤２１に投影する。
　スピーカ１２の効果音出力部１３１は、効果音のデータの更新の有無を判別し、制御装置１３から送信されてきた効果音のデータを受信する。効果音出力部１３１は、受信したデータに基づいて、効果音をスピーカ１２から出力させる。
＜制御装置の動作＞
　ここで、図１０のフローチャートを参照して、筆跡映像の投影と効果音の出力を制御する制御装置１３の制御処理について説明する。図１０の処理は、タブレット端末１が操作され、筆跡情報がタブレット端末１から送信されてきたときに開始される。
　ステップＳ１において、筆跡情報取得部１１１は、タブレット端末１から送信されてきた筆跡情報を取得する。
　ステップＳ２において、筆跡処理部１１２は、筆跡情報取得部１１１により取得された筆跡情報に基づいて、入力開始から入力終了までの各タイミングにおける筆跡の座標情報を算出する。
　ステップＳ３において、映像・音声処理部１１３は、投影面の種別を決定する。例えば、映像・音声処理部１１３は、ユーザが予め設定した情報を読み込むことによって投影面の種別を決定する。
　また、映像・音声処理部１１３は、プロジェクタ１１に設けられたカメラにより撮影された画像を解析することによって投影面の種別を決定する。すなわち、この場合、投影面に対するセンシング処理が映像・音声処理部１１３により行われることによって、投影面に関する情報が取得され、その投影面に関する情報に基づいて投影面の種別が決定されることになる。ここでいう投影面に関する情報には投影面の材質を示す情報が含まれる。
　なお、投影範囲に投影盤２１以外の領域（すなわち複数の種別・材質の領域）が含まれる場合、その領域ごとに投影面の種別が決定されるようにしてもよい。この場合、筆跡情報がいずれの領域に対しての筆跡であるのかが特定され、筆跡の入力対象の領域に対応する種別に応じた効果が付加されるようにしてもよい。
　ステップＳ４において、映像・音声処理部１１３は、筆跡処理部１１２から供給された情報を解析することによって筆跡映像を生成し、投影面の種別に応じた効果音を生成する。
　ステップＳ５において、映像制御部１１４は、映像・音声処理部１１３により生成された筆跡映像のデータをプロジェクタ１１に送信し、筆跡映像の投影を行わせる。
　ステップＳ６において、効果音制御部１１５は、映像・音声処理部１１３により生成された効果音のデータをスピーカ１２に送信し、効果音の出力を行わせる。
　ステップＳ７において、筆跡情報取得部１１１は、タブレット端末１から送信されてくる情報を監視し、ユーザによる入力が終了した否かを判定する。筆跡情報の送信が続いていることから、ユーザによる入力が終了していないと判定された場合、ステップＳ１に戻り、以上の処理が繰り返し行われる。
　ユーザによる入力が終了したとステップＳ７において判定された場合、処理は終了される。
　以上の処理により、タブレット端末１のユーザは、文字や絵を手書きで入力し、入力内容を表す映像を、投影面の種別に応じた効果を付加した形で投影させることができる。
＜＜変形例＞＞
＜投影システムの構成の変形例＞
　図８の各構成がどの装置において実現されるようにするのかは適宜変更可能である。
　図１１は、投影システム２の他の機能構成例を示す図である。
　図１１の例においては、筆跡情報取得部１１１、筆跡処理部１１２、映像・音声処理部１１３、映像制御部１１４、および効果音制御部１１５が、タブレット端末１において実現される。このように、制御装置１３の機能がタブレット端末１に搭載されるようにすることが可能である。
　図１２は、投影システム２のさらに他の機能構成例を示す図である。
　図１２の例においては、筆跡情報取得部１１１、筆跡処理部１１２、映像・音声処理部１１３、映像制御部１１４、および効果音制御部１１５が、プロジェクタ１１において実現される。このように、制御装置１３の機能がプロジェクタ１１に搭載されるようにすることが可能である。
　投影システム２が図１１、図１２に示す構成を有する場合、制御装置１３は不要となる。
　なお、図８に示す制御装置１３の構成が複数の装置上で実現されるようにしてもよい。この場合、図８に示す制御装置１３の構成を分担して実現する複数の装置はネットワークを介して接続される。
　制御装置１３がインターネット上に設けられ、タブレット端末１と制御装置１３の間の通信、プロジェクタ１１と制御装置１３の間の通信、および、スピーカ１２と制御装置１３の間の通信がインターネットを介して行われるようにしてもよい。
　図１３は、上述したような筆跡入力部１０１を有するタブレット端末１の構成例を示すブロック図である。
　図１３に示すように、タブレット端末１は、筆跡入力部１０１を有する処理部１０１Ａ、表示部１０２、および通信部１０３により構成される。
　処理部１０１Ａは、タブレット端末１の全体の動作を制御する。例えば、処理部１０１Ａは、タッチパネルに対するユーザの入力を検出し、筆跡入力部１０１により、筆跡情報を制御装置１３に送信する。また、処理部１０１Ａは、筆跡情報に対応する画像を生成し表示部１０２に表示させる。
　上述したディスプレイとしての表示部１０２は、処理部１０１Ａから供給された筆跡情報に対応する画像を表示する。
　通信部１０３は、処理部１０１Ａの筆跡入力部１０１による制御に従って、筆跡情報を制御装置１３に送信する。
　図１４は、投影システムの他の使用状態の例を示す図である。
　図１４の例においては、タブレット端末１における入力内容を投影するプロジェクタとして、プロジェクタ１１－１乃至１１－３の３台のプロジェクタが壁面Ｗに設けられている。
　プロジェクタ１１－１は上述したプロジェクタ１１と同様に投影盤２１に映像を投影するプロジェクタである。プロジェクタ１１－１を挟んで左右に設けられるプロジェクタ１１－２とプロジェクタ１１－３は、壁面Ｗに映像を投影するプロジェクタである。各プロジェクタは、投影面が隣接するように壁面Ｗに設置される。
　制御装置１３は、プロジェクタ１１－１乃至１１－３を連動させて１つの映像を投影することができる。例えば、制御装置１３は、プロジェクタ１１－１乃至１１－３を通信により制御することで連動させることにより、上述したようにして文字認識によって投影盤２１に出現させた魚のイラストＩ１を、プロジェクタ１１－３の投影面上の位置にまで移動するような映像を投影することができる。
　この場合、タブレット端末１において入力された情報を表す筆跡映像がプロジェクタ１１－１により投影され、プロジェクタ１１－２，１１－３により、プロジェクタ１１－１の投影内容に連動した所定の映像が投影される。
　複数の投影面に跨がって魚のイラストが移動する映像を投影する場合、移動する魚のイラストが投影される領域に応じて、イラストの筆跡がリアルタイムで変更されるようにしてもよい。例えば、魚のイラストを黒板内に投影する場合には、チョークの筆跡を用いた描画が行われ、白い壁面上に投影する場合には、黒いマジックペンの筆跡を用いた描画が行われる。
　プロジェクタ１１－２，１１－３の投影面の裏側にもスピーカを設け、映像に同期させて、それぞれの投影面の裏側にあるスピーカから効果音を出力させるようにすることも可能である。この場合、プロジェクタ１１－１が投影する筆跡映像に合わせた効果音の出力と、プロジェクタ１１－２，１１－３が投影する映像に合わせた効果音の出力は、投影面の材質が異なるため、異なる種別の効果音のデータを用いて行われる。
　このように、投影システムに複数のプロジェクタが設けられるようにすることも可能である。
＜その他の例＞
　プロジェクタ１１により投影する情報の入力がタブレット端末１を用いて行われるものとしたが、PC、スマートフォンなどの他の装置を用いて行われるようにしてもよい。
　また、手入力によって入力された情報を投影する場合について主に説明したが、キーボードによって入力したり、音声によって入力したりするなど、投影する情報の入力の仕方は任意である。
　文字が表す絵が付加情報として投影されるものとしたが、付加情報として投影される内容は適宜変更可能である。例えば、入力された文字に関連する写真（画像）、動画、Webサイトの画面、広告が付加情報として投影されるようにしてもよい。
　タブレット端末１における筆跡の表示にも、投影面の種別に応じた効果が反映されるようにしてもよい。この場合、例えば、制御装置１３からタブレット端末１に対して、制御装置１３において決定された投影面の種別の情報が送信される。タブレット端末１の処理部１０１Ａは、制御装置１３から送信されてきた種別情報に基づいて、投影面の種別に応じた効果を加えた筆跡画像を表示し、効果音を出力する。制御装置１３からタブレット端末１に対して直接的に、効果を加えた筆跡画像や効果音そのもののデータが送信されるようにしてもよい。
　投影範囲にユーザが直接入力した情報が投影されるようにしてもよい。この場合、投影システム２には、投影範囲を含む領域をセンシングするRGBカメラやデプスセンサが設置される。RGBカメラやデプスセンサなどのセンシング結果に基づいて、ユーザの指や手が投影範囲のどの部分をタッチしたかなどの操作に関する情報が取得され、取得された情報を用いて、タブレット端末１から送信されてきた筆跡情報を用いた場合と同様の処理が行われる。タブレット端末１を用いた入力と、投影範囲に対する直接入力の同時使用が可能とされるようにしてもよい。
＜コンピュータの構成例＞
　上述した一連の処理は、ハードウェアにより実行することもできるし、ソフトウェアにより実行することもできる。一連の処理をソフトウェアにより実行する場合には、そのソフトウェアを構成するプログラムが、専用のハードウェアに組み込まれているコンピュータ、または汎用のパーソナルコンピュータなどに、プログラム記録媒体からインストールされる。
　図１５は、上述した一連の処理をプログラムにより実行するコンピュータのハードウェアの構成例を示すブロック図である。
　CPU１００１、ROM１００２、RAM１００３は、バス１００４により相互に接続される。
　バス１００４には、さらに、入出力インタフェース１００５が接続される。入出力インタフェース１００５には、キーボード、マウスなどよりなる入力部１００６、ディスプレイ、スピーカなどよりなる出力部１００７が接続される。また、入出力インタフェース１００５には、ハードディスクや不揮発性のメモリなどよりなる記憶部１００８、ネットワークインタフェースなどよりなる通信部１００９、リムーバブルメディア１０１１を駆動するドライブ１０１０が接続される。
　以上のように構成されるコンピュータでは、CPU１００１が、例えば、記憶部１００８に記憶されているプログラムを入出力インタフェース１００５及びバス１００４を介してRAM１００３にロードして実行することにより、上述した一連の処理が行われる。
　CPU１００１が実行するプログラムは、例えばリムーバブルメディア１０１１に記録して、あるいは、ローカルエリアネットワーク、インターネット、デジタル放送といった、有線または無線の伝送媒体を介して提供され、記憶部１００８にインストールされる。
　なお、コンピュータが実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。
　本明細書において、システムとは、複数の構成要素（装置、モジュール（部品）等）の集合を意味し、すべての構成要素が同一筐体中にあるか否かは問わない。したがって、別個の筐体に収納され、ネットワークを介して接続されている複数の装置、及び、１つの筐体の中に複数のモジュールが収納されている１つの装置は、いずれも、システムである。
　本技術の実施の形態は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。
　例えば、本技術は、１つの機能をネットワークを介して複数の装置で分担、共同して処理するクラウドコンピューティングの構成をとることができる。
　また、上述のフローチャートで説明した各ステップは、１つの装置で実行する他、複数の装置で分担して実行することができる。
　さらに、１つのステップに複数の処理が含まれる場合には、その１つのステップに含まれる複数の処理は、１つの装置で実行する他、複数の装置で分担して実行することができる。
　なお、本明細書に記載された効果はあくまで例示であって限定されるものでは無く、また他の効果があってもよい。
＜構成の組み合わせ例＞
　本技術は、以下のような構成をとることもできる。
（１）
　入力情報の入力に追従させた前記入力情報を表す映像を、投影面の種別に応じた効果を付加して、前記投影面に投影させる処理部
　を備える制御装置。
（２）
　前記投影面の種別に応じた効果として、前記入力情報を表す前記映像に同期した効果音を出力させる効果音制御部をさらに備える
　前記（１）に記載の制御装置。
（３）
　前記効果音制御部は、前記投影面の裏側に設けられたスピーカから前記効果音を出力させる
　前記（２）に記載の制御装置。
（４）
　前記効果音制御部は、前記入力情報の入力開始からの経過時間に応じて変化する前記効果音を出力させる
　前記（２）または（３）に記載の制御装置。
（５）
　前記効果音制御部は、前記投影面の種別に応じて異なる前記効果音を出力させる
　前記（２）乃至（４）のいずれかに記載の制御装置。
（６）
　前記処理部は、前記投影面に対するセンシング処理を行うことにより取得された投影面に関する情報に基づき前記投影面の種別を決定する
　前記（１）乃至（５）のいずれかに記載の制御装置。
（７）
　前記投影面に関する情報は、前記投影面の材質を示す情報を含み、
　前記効果は、前記投影面の材質を示す情報に対応する効果である
　前記（６）に記載の制御装置。
（８）
　前記入力情報は、携帯端末から送信された、ユーザの手入力によって入力された情報であり、
　前記処理部は、前記手入力の軌跡を表す前記映像を投影させる
　前記（１）乃至（７）のいずれかに記載の制御装置。
（９）
　前記入力情報に基づいて、前記ユーザにより入力された文字を認識する認識部をさらに備え、
　前記処理部は、前記文字の認識結果を表す絵が動く前記映像を投影させる
　前記（８）に記載の制御装置。
（１０）
　入力情報の入力に追従させた前記入力情報を表す映像を、投影面の種別に応じた効果を付加して、前記投影面に投影させる
　ステップを含む制御方法。
（１１）
　コンピュータに、
　入力情報の入力に追従させた前記入力情報を表す映像を、投影面の種別に応じた効果を付加して、前記投影面に投影させる
　ステップを含む処理を実行させるプログラム。
（１２）
　　入力情報を表す映像を、前記入力情報の入力に追従させて投影させる映像制御部と、
　　前記映像の投影面の種別に応じた効果音を、前記入力情報を表す前記映像に同期して出力させる効果音制御部と
　を備える制御装置と、
　前記制御装置から供給された、前記入力情報を表す前記映像を前記投影面に投影する投影装置と、
　前記制御装置から供給された所定の映像を前記投影面とは異なる投影面に投影する他の投影装置と
　を含む投影システム。
（１３）
　前記入力情報を表す前記映像が投影される前記投影面の裏側に設けられたスピーカをさらに含む
　前記（１２）に記載の投影システム。
　１　タブレット端末，　１１　プロジェクタ，　１２　スピーカ，　１３　制御装置，　１０１　筆跡入力部，　１１１　筆跡情報取得部，　１１２　筆跡処理部，　１１３　映像・音声処理部，　１１４　映像制御部，　１１５　効果音制御部，　１２１　映像出力部，　１３１　効果音出力部

Claims (13)

  1. 　入力情報の入力に追従させた前記入力情報を表す映像を、投影面の種別に応じた効果を付加して、前記投影面に投影させる処理部
    　を備える制御装置。
  2. 　前記投影面の種別に応じた効果として、前記入力情報を表す前記映像に同期した効果音を出力させる効果音制御部をさらに備える
    　請求項１に記載の制御装置。
  3. 　前記効果音制御部は、前記投影面の裏側に設けられたスピーカから前記効果音を出力させる
    　請求項２に記載の制御装置。
  4. 　前記効果音制御部は、前記入力情報の入力開始からの経過時間に応じて変化する前記効果音を出力させる
    　請求項２に記載の制御装置。
  5. 　前記効果音制御部は、前記投影面の種別に応じて異なる前記効果音を出力させる
    　請求項２に記載の制御装置。
  6. 　前記処理部は、前記投影面に対するセンシング処理を行うことにより取得された投影面に関する情報に基づき前記投影面の種別を決定する
    　請求項２に記載の制御装置。
  7. 　前記投影面に関する情報は、前記投影面の材質を示す情報を含み、
    　前記効果は、前記投影面の材質を示す情報に対応する効果である
    　請求項６に記載の制御装置。
  8. 　前記入力情報は、携帯端末から送信された、ユーザの手入力によって入力された情報であり、
    　前記処理部は、前記手入力の軌跡を表す前記映像を投影させる
    　請求項１に記載の制御装置。
  9. 　前記入力情報に基づいて、前記ユーザにより入力された文字を認識する認識部をさらに備え、
    　前記処理部は、前記文字の認識結果を表す絵が動く前記映像を投影させる
    　請求項８に記載の制御装置。
  10. 　入力情報の入力に追従させた前記入力情報を表す映像を、投影面の種別に応じた効果を付加して、前記投影面に投影させる
    　ステップを含む制御方法。
  11. 　コンピュータに、
    　入力情報の入力に追従させた前記入力情報を表す映像を、投影面の種別に応じた効果を付加して、前記投影面に投影させる
    　ステップを含む処理を実行させるプログラム。
  12. 　　入力情報を表す映像を、前記入力情報の入力に追従させて投影させる映像制御部と、
    　　前記映像の投影面の種別に応じた効果音を、前記入力情報を表す前記映像に同期して出力させる効果音制御部と
    　を備える制御装置と、
    　前記制御装置から供給された、前記入力情報を表す前記映像を前記投影面に投影する投影装置と、
    　前記制御装置から供給された所定の映像を前記投影面とは異なる投影面に投影する他の投影装置と
    　を含む投影システム。
  13. 　前記入力情報を表す前記映像が投影される前記投影面の裏側に設けられたスピーカをさらに含む
    　請求項１２に記載の投影システム。
PCT/JP2018/004568 2017-02-24 2018-02-09 制御装置、制御方法、プログラム、および投影システム WO2018155234A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
DE112018000999.8T DE112018000999T5 (de) 2017-02-24 2018-02-09 Steuervorrichtung, Steuerverfahren, Programm und Projektionssystem
US16/486,046 US10860205B2 (en) 2017-02-24 2018-02-09 Control device, control method, and projection system
JP2019501227A JPWO2018155234A1 (ja) 2017-02-24 2018-02-09 制御装置、制御方法、プログラム、および投影システム

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2017033509 2017-02-24
JP2017-033509 2017-02-24

Publications (1)

Publication Number Publication Date
WO2018155234A1 true WO2018155234A1 (ja) 2018-08-30

Family

ID=63253627

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2018/004568 WO2018155234A1 (ja) 2017-02-24 2018-02-09 制御装置、制御方法、プログラム、および投影システム

Country Status (4)

Country Link
US (1) US10860205B2 (ja)
JP (1) JPWO2018155234A1 (ja)
DE (1) DE112018000999T5 (ja)
WO (1) WO2018155234A1 (ja)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003219098A (ja) * 2002-01-24 2003-07-31 Seiko Epson Corp オンライン会議システム、会議システム制御用プログラム並びにオンライン会議方法
JP2005080121A (ja) * 2003-09-02 2005-03-24 Yamaha Corp データ通信システム、データ送信端末およびプログラム
JP2007266967A (ja) * 2006-03-28 2007-10-11 Yamaha Corp 音像定位装置およびマルチチャンネルオーディオ再生装置
JP2015206854A (ja) * 2014-04-18 2015-11-19 セイコーエプソン株式会社 表示システム、表示装置、及び、表示制御方法
JP2016224225A (ja) * 2015-05-29 2016-12-28 セイコーエプソン株式会社 表示装置及び画質設定方法

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20140110627A (ko) * 2013-03-08 2014-09-17 엘지전자 주식회사 이동 단말기 및 이의 제어방법
JP6119570B2 (ja) * 2013-11-19 2017-04-26 ソニー株式会社 表示装置、表示方法およびプログラム
WO2015159543A1 (ja) 2014-04-18 2015-10-22 セイコーエプソン株式会社 表示システム、表示装置、及び、表示制御方法
JP6625801B2 (ja) 2015-02-27 2019-12-25 ソニー株式会社 画像処理装置、画像処理方法、及びプログラム
JP2016210920A (ja) 2015-05-12 2016-12-15 日本化薬株式会社 インク組成物及びそれを用いた繊維の捺染方法
JP2019028146A (ja) * 2017-07-26 2019-02-21 セイコーエプソン株式会社 表示装置及び表示装置の制御方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003219098A (ja) * 2002-01-24 2003-07-31 Seiko Epson Corp オンライン会議システム、会議システム制御用プログラム並びにオンライン会議方法
JP2005080121A (ja) * 2003-09-02 2005-03-24 Yamaha Corp データ通信システム、データ送信端末およびプログラム
JP2007266967A (ja) * 2006-03-28 2007-10-11 Yamaha Corp 音像定位装置およびマルチチャンネルオーディオ再生装置
JP2015206854A (ja) * 2014-04-18 2015-11-19 セイコーエプソン株式会社 表示システム、表示装置、及び、表示制御方法
JP2016224225A (ja) * 2015-05-29 2016-12-28 セイコーエプソン株式会社 表示装置及び画質設定方法

Also Published As

Publication number Publication date
US20200050355A1 (en) 2020-02-13
DE112018000999T5 (de) 2019-11-07
JPWO2018155234A1 (ja) 2019-12-19
US10860205B2 (en) 2020-12-08

Similar Documents

Publication Publication Date Title
Kane et al. Bonfire: a nomadic system for hybrid laptop-tabletop interaction
US9584766B2 (en) Integrated interactive space
US8996974B2 (en) Enhancing video presentation systems
CN112243583B (zh) 多端点混合现实会议
WO2015188614A1 (zh) 操作虚拟世界里的电脑和手机的方法、装置以及使用其的眼镜
EP2919104B1 (en) Information processing device, information processing method, and computer-readable recording medium
US20160373691A1 (en) Conveying attention information in virtual conference
US20200326831A1 (en) Augmented reality experience creation via tapping virtual surfaces in augmented reality
JP6683864B1 (ja) コンテンツ制御システム、コンテンツ制御方法、およびコンテンツ制御プログラム
WO2018155234A1 (ja) 制御装置、制御方法、プログラム、および投影システム
US20170201721A1 (en) Artifact projection
TW202016904A (zh) 實物教學投影系統及方法
JP2012119927A (ja) 端末装置、情報提示方法、及び情報提示プログラム
JP6699406B2 (ja) 情報処理装置、プログラム、位置情報作成方法、情報処理システム
Fels et al. Iamascope: An interactive kaleidoscope
JP2021009351A (ja) コンテンツ制御システム、コンテンツ制御方法、およびコンテンツ制御プログラム
US20240185546A1 (en) Interactive reality computing experience using multi-layer projections to create an illusion of depth
US20230334791A1 (en) Interactive reality computing experience using multi-layer projections to create an illusion of depth
US20230334792A1 (en) Interactive reality computing experience using optical lenticular multi-perspective simulation
EP4364402A1 (en) Tactile copresence
Apperley et al. Development and application of large interactive display surfaces
US20230334790A1 (en) Interactive reality computing experience using optical lenticular multi-perspective simulation
KR20180033738A (ko) 디스플레이 장치에 설치되는 착탈식 터치 패널 장치
TWI700003B (zh) 客製化動態影音場景生成系統
Tobita Aero-screen: blimp-based ubiquitous screen for novel digital signage and information visualization

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 18757420

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2019501227

Country of ref document: JP

Kind code of ref document: A

122 Ep: pct application non-entry in european phase

Ref document number: 18757420

Country of ref document: EP

Kind code of ref document: A1