WO2016178365A1 - 情報処理装置、情報処理方法および情報処理プログラム - Google Patents
情報処理装置、情報処理方法および情報処理プログラム Download PDFInfo
- Publication number
- WO2016178365A1 WO2016178365A1 PCT/JP2016/062362 JP2016062362W WO2016178365A1 WO 2016178365 A1 WO2016178365 A1 WO 2016178365A1 JP 2016062362 W JP2016062362 W JP 2016062362W WO 2016178365 A1 WO2016178365 A1 WO 2016178365A1
- Authority
- WO
- WIPO (PCT)
- Prior art keywords
- unit
- data
- image
- electronic blackboard
- information processing
- Prior art date
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04M—TELEPHONIC COMMUNICATION
- H04M3/00—Automatic or semi-automatic exchanges
- H04M3/42—Systems providing special services or facilities to subscribers
- H04M3/56—Arrangements for connecting several subscribers to a common circuit, i.e. affording conference facilities
- H04M3/567—Multimedia conference systems
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L12/00—Data switching networks
- H04L12/02—Details
- H04L12/16—Arrangements for providing special services to substations
- H04L12/18—Arrangements for providing special services to substations for broadcast or conference, e.g. multicast
- H04L12/1813—Arrangements for providing special services to substations for broadcast or conference, e.g. multicast for computer conferences, e.g. chat rooms
- H04L12/1822—Conducting the conference, e.g. admission, detection, selection or grouping of participants, correlating users to one or more conference sessions, prioritising transmission
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
- H04L65/1066—Session management
- H04L65/1083—In-session procedures
- H04L65/1089—In-session procedures by adding media; by removing media
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
- H04L65/40—Support for services or applications
- H04L65/403—Arrangements for multi-party communication, e.g. for conferences
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04M—TELEPHONIC COMMUNICATION
- H04M3/00—Automatic or semi-automatic exchanges
- H04M3/42—Systems providing special services or facilities to subscribers
- H04M3/56—Arrangements for connecting several subscribers to a common circuit, i.e. affording conference facilities
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/14—Systems for two-way working
- H04N7/15—Conference systems
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
- G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
- G06F3/04883—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
- G06F3/147—Digital output to display device ; Cooperation and interconnection of the display device with other functional units using display panels
Definitions
- the present invention relates to an information processing apparatus system.
- Electronic conference boards that can draw stroke images such as letters, numbers, and figures on the background image displayed on a large display are used in meetings at companies, educational institutions, government agencies, and the like.
- an electronic blackboard an electronic information board system in which a computer device that controls a display device superimposes an insertion image on a background image and displays the image on the display device is known (for example, see Patent Document 1).
- the user who used the video conference system is encouraged to use the electronic blackboard.
- the user who has used the video conference system uses the electronic blackboard by adding the function of the electronic blackboard.
- the convenience of being able to use the UI (User Interface) of the video conference system as it is can be improved, and the introduction of the electronic blackboard can be promoted.
- the software for operating the video conference system and the software for operating the electronic blackboard are operated independently.
- the present invention has been proposed in view of the above problems, and its object is to effectively use network resources when the functions of the second information processing system are introduced into the first information processing system. There is.
- An information processing apparatus connected via a communication network, From the communication path set between the information processing apparatus and the other information processing apparatus to transmit the first content data of the first content according to the first information processing system, the other information processing apparatus And a transmission unit for transmitting second content data of the second content created with respect to the first content in accordance with the second information processing system.
- network resources can be used effectively when the functions of the second information processing system are introduced into the first information processing system.
- FIG. 1 is an overall configuration diagram of an image processing system according to the present embodiment. It is a hardware block diagram of an electronic blackboard. It is a hardware block diagram of a transmission management system. It is a functional block diagram of an electronic blackboard. It is a functional block diagram of a file processing unit. It is a functional block diagram of a server part and a communication control part. It is a conceptual diagram which shows page data. It is a conceptual diagram which shows stroke data. It is a conceptual diagram which shows coordinate arrangement
- FIG. 1 is an overall configuration diagram of an image processing system 1 according to the present embodiment.
- two electronic blackboards (whiteboards) 2a and 2b and electronic pens 4a and 4b associated therewith are shown for simplicity of explanation.
- An electronic pen or the like may be used.
- a data providing system that communicates content data in one direction from a communication terminal such as one electronic blackboard to a communication terminal such as another electronic blackboard via a transmission management system, or transmission management
- a communication system that transmits information, emotions, and the like between a plurality of communication terminals via the system is included.
- This communication system is a system for mutually transmitting information, emotions, etc. between a plurality of communication terminals (corresponding to “communication terminals”) via a communication management system (corresponding to “transmission management system”).
- a video conference system, a video phone system, a voice conference system, a voice phone system, a PC (Personal computer) screen sharing system, and the like can be given as examples.
- the image processing system 1 includes a plurality of electronic blackboards 2a and 2b, a plurality of electronic pens 4a and 4b, USB memories 5a and 5b, notebook PCs (Personal Computers) 6a and 6b, a television ( Video) conference terminals 7a and 7b, a transmission management system 50, and a PC 8.
- the electronic blackboards 2a and 2b, the conference terminals 7a and 7b, the transmission management system 50, and the PC 8 are connected via a communication network 9 so as to be communicable.
- the plurality of electronic blackboards 2a and 2b are provided with displays 3a and 3b, respectively.
- the electronic blackboard 2 transmits / receives image data, audio data, and the like to / from other electronic blackboards or the TV (video) conference terminal 7 and the PC 8.
- a video conference is performed by transmitting and receiving high-quality image data, audio data, and the like between the electronic blackboard 2a whose communication ID is “01aa” and the electronic blackboard 2b whose communication ID is “01bb”.
- the image of the image data is a still image will be described, but it may be a moving image as well as a still image. Moreover, both the moving image and the still image may be included in the image of the image data.
- the transmission management system 50 is for managing a plurality of electronic blackboards 2 in an integrated manner.
- the electronic blackboard 2a can cause the display 3a to display an image drawn by an event generated by the electronic pen 4a (touch of the pen tip of the electronic pen 4a or the pen butt of the electronic pen 4a on the display 3a). It can. Note that the electronic blackboard 2a changes the image displayed on the display 3a based on not only the electronic pen 4a but also an event (a gesture such as enlargement, reduction, and page turning) generated by the user's hand Ha or the like. You can also.
- the electronic blackboard 2a can be connected to a USB memory 5a.
- the electronic blackboard 2a reads an electronic file such as PDF (Portable Document Format) from the USB memory 5a, and the electronic blackboard 2a is a USB (Universal Serial Bus) memory.
- An electronic file can be recorded in 5a.
- the electronic blackboard 2a is connected via a cable 10a1 capable of communication according to standards such as DisplayPort, DVI (Digital Visual Interface), HDMI (registered trademark) (High-Definition Multimedia Interface), and VGA (Video Graphics Array).
- a notebook PC 6a is connected.
- the electronic blackboard 2a generates an event by touching the display 3a, and transmits event information indicating the event to the notebook PC 6a in the same manner as an event from an input device such as a mouse or a keyboard.
- a television (video) conference terminal 7a is connected to the communication network 9 via a cable 10a2 capable of communication according to the above standard.
- the notebook PC 6a and the video conference terminal 7a may communicate with the electronic blackboard 2a by wireless communication complying with various wireless communication protocols such as Bluetooth (registered trademark).
- the electronic blackboard 2b having the display 3b, the electronic pen 4b, the USB memory 5b, the notebook PC 6b, the video conference terminal 7b, the cable, etc. 10b1 and cable 10b2 are used. Furthermore, the image displayed on the display 3b can be changed based on an event caused by the user's hand Hb or the like.
- the image drawn on the display 3a of the electronic blackboard 2a at one base is also displayed on the display 3b of the electronic blackboard 2b at another base, and conversely on the display 3b of the electronic blackboard 2b at another base.
- the image drawn on is displayed on the display 3a of the electronic blackboard 2a at one base.
- the image processing system 1 can perform remote sharing processing for sharing the same image at a remote location, and thus is very convenient when used for a conference or the like at a remote location.
- an arbitrary electronic blackboard among the plurality of electronic blackboards it is indicated as “electronic blackboard 2”.
- display 3 When an arbitrary display among a plurality of displays is shown, “display 3” is shown.
- an arbitrary electronic pen among a plurality of electronic pens When an arbitrary USB memory is indicated among the plurality of USB memories, it is indicated as “USB memory 5”.
- an arbitrary notebook PC among the plurality of notebook PCs it is indicated as “notebook PC 6”.
- an arbitrary video conference terminal is indicated among the plurality of video conference terminals, it is indicated as “video conference terminal 7”.
- “hand H” is used when an arbitrary hand among the hands of a plurality of users is shown.
- an arbitrary cable is indicated among the plurality of cables, it is indicated as “cable 10”.
- an image processing system as an example of a communication system a transmission management system as an example of a communication management system, and an electronic blackboard as an example of a communication terminal are assumed.
- the electronic blackboard will be described. That is, the electronic blackboard and the transmission management system are applied not only to an image processing system, a television or a video conference system, but also to a communication system or a transmission system.
- an electronic blackboard is described as an example of the information processing apparatus.
- the present invention is not limited to this, and other examples of the information processing apparatus include a desktop PC, a tablet PC, and an electronic signboard ( It may be a digital signage), a telestrator used in sports or weather forecasts, or an image processing device such as a remote image (video) diagnostic device.
- the notebook PC 6 will be described as an example of the information processing terminal, but is not limited thereto.
- Other examples of the information processing terminal include a desktop PC, a tablet PC, a PDA, a digital video camera, a digital camera, and a game. It may be a terminal capable of supplying image frames such as a machine.
- the communication network includes the Internet, a LAN (Local Area Network), a mobile phone communication network, and the like.
- a USB memory is described as an example of a recording medium.
- the present invention is not limited to this, and various recording media such as an SD card may be used as another example of the recording medium.
- FIG. 2 is a hardware configuration diagram of the electronic blackboard.
- the electronic blackboard 2 includes a CPU 101 that controls the operation of the electronic blackboard 2 as a whole, a ROM 102 that stores a program used to drive the CPU 101 such as an IPL, and a RAM 103 that is used as a work area of the CPU 101. , An SSD 104 for storing various data such as an electronic blackboard program, a network controller 105 for controlling communication with the communication network 9, and an external storage controller 106 for controlling communication with the USB memory 5. Further, the electronic blackboard 2 captures video information as a still image on the display of the camera 107 that captures an image of the subject and obtains image data under the control of the CPU 101, the image sensor I / F 108 that controls the driving of the camera 107, and the notebook PC 6.
- the capture device 111 to be displayed as a moving image, the GPU (Graphics Processing Unit) 112 that specializes in graphics, and the screen display control and management for outputting an output image from the GPU to the display 3 or the video conference terminal 7 are performed.
- a display controller 113 is provided.
- the electronic blackboard 2 further includes a sensor controller 114 that controls processing of the contact sensor 115 and a contact sensor 115 that detects that the electronic pen 4 or the hand H of the user touches the display 3.
- the contact sensor 115 performs input of coordinates and detection of coordinates by an infrared ray blocking method.
- two light emitting / receiving devices installed at both upper ends of the display 3 emit a plurality of infrared rays in parallel with the display 3 and are provided around the display 3.
- This is a method of receiving light that is reflected by the reflecting member and returns on the same optical path as the light path emitted by the light receiving element.
- the contact sensor 115 outputs infrared ID (Identification) emitted by the two light receiving and emitting devices blocked by the object to the sensor controller 114, and the sensor controller 114 identifies the coordinate position that is the contact position of the object. All IDs shown below are examples of identification information.
- the contact sensor 115 is not limited to the infrared ray blocking method, but a capacitance type touch panel that identifies a contact position by detecting a change in capacitance, or a contact position determined by a voltage change of two opposing resistance films.
- Various detection means such as a resistance film type touch panel to be identified and an electromagnetic induction type touch panel to identify a contact position by detecting electromagnetic induction caused by contact of a contact object with the display unit may be used.
- the contact sensor 115 may determine contact using a camera and specify a coordinate position.
- the electronic blackboard 2 includes an electronic pen controller 116.
- This electronic pen controller 116 communicates with the electronic pen 4 to determine whether or not there is a pen tip touch or a pen butt touch on the display 3. It should be noted that the electronic pen controller 116 may determine whether or not the user grips the part of the electronic pen 4 or the other electronic pen part as well as the pen tip and pen butt of the electronic pen 4.
- the electronic blackboard 2 includes a microphone 122 that inputs sound, a speaker 123 that outputs sound, and a sound input / output I / F 124 that processes input and output of sound signals between the microphone 122 and the speaker 123 according to the control of the CPU 101. And an operation button 125 for receiving a user operation, and a power switch 126 for switching on / off the power of the electronic blackboard 2.
- the electronic blackboard 2 includes a CPU 101, a ROM 102, a RAM 103, an SSD 104, a network controller 105, an external storage controller 106, a capture device 111, a GPU 112, a sensor controller 114, an electronic pen controller 116, an image sensor I / F 108, a voice input / output I / O.
- a bus line 120 such as an address bus or a data bus is provided for electrically connecting the F 124, the operation button 125, and the power switch 126.
- program for the electronic blackboard may be distributed and downloaded by being recorded on a computer-readable recording medium such as a CD-ROM or a server on a network.
- FIG. 3 is a hardware configuration diagram of the transmission management system 50.
- the transmission management system 50 includes a CPU 201 that controls the overall operation of the transmission management system 50, a ROM 202 that stores a transmission management program, a RAM 203 that is used as a work area for the CPU 201, and an HD (Hard Disk) that stores various data. 204, an HDD 205 that controls reading and writing of various data to and from the HD 204 according to the control of the CPU 201, and a media drive 207 that controls reading and writing (storage) of data to and from a recording medium 206 such as a flash memory.
- the transmission management system 50 includes a display I / F 208 for displaying various information such as a cursor, menus, windows, characters, and images on the display 216 and a network I for transmitting data using the communication network 9. / F209, a keyboard 211 having a plurality of keys for inputting characters, numerical values, various instructions, etc., and a mouse for selecting and executing various instructions, selecting a processing target, moving a pointing device such as a mouse cursor, etc. 212.
- the transmission management system 50 includes a CD-ROM drive 214 that controls reading and writing of data with respect to a CD-ROM (Compact Disc Read Only Memory) 213 as an example of a removable recording medium, and an external device. And an external device I / F 215 for transmitting and receiving information, and a bus line 210 such as an address bus and a data bus for electrically connecting the respective components to each other.
- a display I / F 208 for displaying various information such as a cursor, menus, windows
- the transmission management program may be installed in an installable or executable format, and recorded on a computer-readable recording medium such as the recording medium 206 or CD-ROM 213 for distribution. .
- the transmission management program may be stored in the HD 204.
- FIG. 4 is a functional block diagram of the electronic blackboard 2.
- the electronic blackboard 2 has each functional configuration shown in FIG. 4 by the hardware configuration and program shown in FIG.
- the electronic blackboard 2 can be a “host device” that starts the remote sharing process first, and can also be a “participating device” that participates in the remote sharing process that has already started.
- the electronic blackboard 2 is roughly composed of both the client unit 20 and the server unit 90.
- the electronic blackboard 2 may include the client unit 20, and the server unit 90 may be a device different from the electronic blackboard 2 such as a distribution control device.
- the client unit 20 and the server unit 90 are functions realized in one housing of the electronic blackboard 2.
- the electronic blackboard 2 When the electronic blackboard 2 is a hosting device, the electronic blackboard 2 realizes (executes) the client unit 20 and the server unit 90.
- the client unit 20 When the electronic blackboard 2 is a participating device, the client unit 20 is realized (executed) in the electronic blackboard 2, but the server unit 90 is not realized (executed). That is, in FIG. 1, when the electronic blackboard 2a is the hosting device and the electronic blackboard 2b is the participating device, the client unit 20 of the electronic blackboard 2a receives the other via the server unit 90 realized in the same electronic blackboard 2a. Communicate with the client unit 20 of the electronic blackboard 2b. On the other hand, the client unit 20 of the electronic blackboard 2b communicates with the client units of the other electronic blackboard 2a via the server unit 90 realized in the other electronic blackboard 2a.
- the client unit 20 includes an operation input reception unit 11, a login request unit 12, a voice input / output unit 13, an imaging unit 14, a video acquisition unit 21, a coordinate detection unit 22, an automatic adjustment unit 23, a contact It has a detection unit 24, an event distribution unit 25, an operation processing unit 26, a gesture processing unit 27, a video superimposing unit 28, an image processing unit 30, and a communication control unit 60.
- Each of these functional units is a function or means realized by any one of the constituent elements shown in FIG. 2 operating according to a command from the CPU 101 in accordance with a program stored in the ROM 102.
- a program for an electronic conference system that realizes an operation input receiving unit 11, a login request unit 12, a voice input / output unit 13, and an imaging unit 14, a video acquisition unit 21, a coordinate detection unit 22, and automatic adjustment Unit 23, contact detection unit 24, event distribution unit 25, operation processing unit 26, gesture processing unit 27, video superimposing unit 28, image processing unit 30, and electronic blackboard program for realizing communication control unit 60 are prepared.
- the electronic conference system program stored in the ROM 102 and the electronic blackboard program operate the CPU 101 in cooperation.
- the electronic blackboard 2 has a storage unit constructed by the SSD 104 shown in FIG.
- the operation input receiving unit 11 is realized by the operation button 125 and the power switch 126 shown in FIG. 2, and receives various inputs by the user. For example, when the user turns on the power switch of the main body of the electronic blackboard 2, the operation input receiving unit 11 receives the power ON and turns on the power.
- the login request unit 12 is realized by a command from the CPU 101 shown in FIG. 2 and indicates that the login is requested from the communication control unit 60 to the transmission management system 50 via the communication network 9 in response to a user operation.
- the login request information and the current IP address of the electronic blackboard 2 are automatically transmitted.
- the voice input / output unit 13 is realized by the microphone 122, the speaker 123, and the voice input / output I / F 124 shown in FIG.
- the voice input / output unit 13 inputs a user's voice, converts the voice into a voice signal, outputs voice data related to the voice signal, and converts the voice signal related to the voice data into voice and outputs the voice data.
- the imaging unit 14 is realized by the camera 107 and the imaging element I / F 108 shown in FIG. 2, and generates image data representing an image obtained by imaging a subject.
- the video acquisition unit 21 acquires the output video of the video output device connected to the cable 10.
- the video acquisition unit 21 analyzes the image signal, and updates the resolution of the image frame that is a display image of the video output device formed by the image signal.
- Image information such as frequency is derived and output to the image acquisition unit 31.
- Image data such as output video and display data are data in a format such as JPEG (Joint Photographic Experts Group), Bitmap, GDI (Graphics Device Interfacing).
- the coordinate detection unit 22 detects the coordinate position of an event (such as an operation in which the user's hand H is touched on the display 3) generated by the user on the display 3.
- the coordinate detection unit 22 also detects the touched area.
- the automatic adjustment unit 23 is activated when the electronic blackboard 2 is activated, and adjusts the image processing parameters of the sensor camera in the optical sensor method of the contact sensor 115 so that the contact sensor 115 can output an appropriate value to the coordinate detection unit 22. To do.
- the contact detection unit 24 detects an event (such as an operation in which the pen tip of the electronic pen 4 or the pen butt of the electronic pen 4 is pressed (touched) on the display 3).
- the event distribution unit 25 distributes the coordinate position of the event detected by the coordinate detection unit 22 and the detection result detected by the contact detection unit 24 to each event of stroke drawing, UI operation, and gesture operation.
- stroke drawing is a state in which the user presses the electronic pen 4 on the display 3 when a stroke image (B) described later is displayed on the display 3 (see FIG. 17), This is an event until the electronic pen 4 is moved and finally the electronic pen 4 is released from the display 3.
- a stroke drawing for example, alphabets “S” and “T” are drawn on the display 3.
- the “stroke drawing” includes not only drawing an image but also an event of deleting an already drawn image or editing a drawn image.
- UI operation is an event in which the user presses a predetermined position with the electronic pen 4 or the hand H when a UI image (A) described later is displayed on the display 3 (see FIG. 17).
- UI operation for example, the color or width of a line drawn by the electronic pen 4 is set.
- “Gesture operation” is an event that the user touches or moves the display 3 with the hand H when a stroke image (B) described later is displayed on the display 3 (see FIG. 17).
- this gesture operation for example, by moving the hand H while the user touches the display 3 with the hand H, the image can be enlarged (or reduced), the display area can be changed, or the page can be switched. it can.
- the operation processing unit 26 executes various operations according to the UI element in which the event is generated, from what is determined as the UI operation by the event distribution unit 25.
- Examples of the UI element include a button, a list, a check box, and a text box.
- the gesture processing unit 27 executes an operation corresponding to what is determined as a gesture operation by the event distribution unit 25.
- the video superimposing unit 28 displays an image superimposed by a display superimposing unit 36 described later as a video on a video output device (display 3 or the like).
- the video superimposing unit 28 performs picture-in-picture of the video sent from another video output device (such as the video conference terminal 7) with respect to the video from the video output device (such as the notebook PC 6).
- the video superimposing unit 28 performs switching for displaying the video that has been picture-in-picture and displayed on a part of the display 3 on the entire display 3.
- the image processing unit 30 performs superimposing processing of each image layer.
- the image processing unit 30 includes an image acquisition unit 31, a stroke processing unit 32, a UI image generation unit 33, a background generation unit 34, a layout management unit 35, a display superimposition unit 36, a page processing unit 37, a file processing unit 40, and page data storage. Section 300 and a remote license management table 310.
- the image acquisition unit 31 acquires each frame as an image from the video acquired by the video acquisition unit 21.
- the image acquisition unit 31 outputs the image data to the page processing unit 37.
- This image corresponds to an output image (C) from a video output device (notebook PC 6 or the like).
- the image acquisition unit 31 serializes the image data by converting it to text (see FIG. 8), and uses a communication application such as an instant message to the remote image transmission unit 63 (to be described later) of the communication control unit 60. Send.
- the stroke processing unit 32 draws an image, deletes the drawn image, or edits the drawn image based on the event related to the stroke drawing allocated by the event distribution unit 25.
- the image by the stroke drawing corresponds to the stroke image (B).
- the results of drawing, deleting, and editing an image based on the stroke drawing are stored in the operation data storage unit 840 of the data management unit 80 as operation data described later.
- the UI image generation unit 33 generates a UI (user interface) image set in advance on the electronic blackboard 2. This UI image corresponds to the UI image (A).
- the background generation unit 34 receives the media data from the page data read from the page data storage unit 300 by the page processing unit 37 from the page processing unit 37.
- the background generation unit 34 outputs the received media data to the display superimposing unit 36.
- the image based on the media data corresponds to the background image (D).
- the pattern of the background image (D) is plain or grid display.
- the layout management unit 35 provides the layout information indicating the layout of each image output from the image acquisition unit 31, the stroke processing unit 32, and the UI image generation unit 33 (or the background generation unit 34) to the display superimposition unit 36. I manage. Thereby, the layout management unit 35 causes the display superimposing unit 36 to display the output image (C) and the stroke image (B) in the UI image (A) and the background image (D). It is possible to instruct whether to hide.
- the display superimposing unit 36 Based on the layout information output from the layout management unit 35, the display superimposing unit 36 displays the layout of each image output from the image acquisition unit 31, the stroke processing unit 32, and the UI image generation unit 33 (background generation unit 34). Do.
- the page processing unit 37 stores the data of the stroke image (B) and the data of the output image (C) in one page data and stores them in the page data storage unit 300.
- the data of the stroke image (B) forms part of page data as stroke arrangement data (each stroke data) indicated by the stroke arrangement data ID.
- the data of the output image (C) forms part of page data as media data indicated by the media data ID. Then, when this media data is read from the page data storage unit 300, it is handled as data of the background image (D).
- the page processing unit 37 transmits media data of the page data once stored to the display superimposing unit 36 via the background generating unit 34.
- the video superimposing unit 28 can re-display the background image (D) on the display 3.
- the page processing unit 37 can return the stroke arrangement data (each stroke data) in the page data to the stroke processing unit 32 so that the stroke can be re-edited. Further, the page processing unit 37 can delete or duplicate page data.
- the data of the output image (C) displayed on the display 3 when the page processing unit 37 stores the page data in the page data storage unit 300 is temporarily stored in the page data storage unit 300 and then When read from the page data storage unit 300, it is read as media data indicating the background image (D). Then, the page processing unit 37 outputs stroke arrangement data indicating the stroke image (B) among the page data read from the page data storage unit 300 to the stroke processing unit 32. Further, the page processing unit 37 outputs media data indicating the background image (D) among the page data read from the page data storage unit 300 to the background generation unit 34.
- the display superimposing unit 36 includes an output image (C) from the image acquisition unit 31, a stroke image (B) from the stroke processing unit 32, a UI image (A) from the UI image generation unit 33, and a background generation unit 34.
- the background image (D) is superimposed according to the layout designated by the layout management unit 35. Thereby, even if each image overlaps, it becomes a structure of each layer of UI image (A), stroke image (B), output image (C), and background image (D) in the order which a user can see.
- the display superimposing unit 36 can also superimpose the image (A) and the image (B) exclusively by switching the image (C) and the image (D). For example, when the cable 10 between the electronic blackboard 2 and the video output device (notebook PC 6 or the like) is disconnected while the image (A), the image (B), and the image (C) are initially displayed. As specified by the layout management unit 35, the image (C) can be removed from the superimposition target and the image (D) can be displayed. In this case, the display superimposing unit 36 also performs display enlargement, display reduction, and display area movement processing.
- the page data storage unit 300 stores page data.
- FIG. 7 is a conceptual diagram showing page data.
- the page data is data for one page displayed on the display 3 (stroke arrangement data (each stroke data) and media data). Since there are many types of parameters included in the page data, the contents of the page data will be described here with reference to FIGS.
- the page data includes a page data ID for identifying an arbitrary page, a start time indicating the time when the display of this page is started, and rewriting the contents of the page by a stroke or a gesture.
- a stroke arrangement data ID for identifying the stroke arrangement data generated by the stroke of the electronic pen 4 or the user's hand H
- the media data ID for identifying the media data. Is remembered.
- the stroke arrangement data is data for displaying the stroke image (B) on the display 3.
- the media data is data for displaying the background image (D) on the display 3.
- FIG. 8 is a conceptual diagram showing stroke arrangement data.
- one stroke arrangement data is represented by a plurality of stroke data.
- One stroke data includes a stroke data ID for identifying the stroke data, a start time indicating the start time of writing one stroke, an end time indicating the end time of writing one stroke, the color of the stroke, A stroke array and coordinate array data ID for identifying the array of stroke passing points are shown.
- this coordinate array data shows detailed information as shown in FIG.
- FIG. 9 is a conceptual diagram showing coordinate array data.
- the coordinate array data includes one point (X coordinate value, Y coordinate value) on the display 3, and the time difference (ms from the start time of the stroke when passing through the one point) ) And the writing pressure information of the electronic pen 4 at this one point. That is, the collection of one point shown in FIG. 9 is shown by one coordinate array data shown in FIG. For example, when the user draws the alphabet “S” with the electronic pen 4, it is drawn with a single stroke, but passes through a plurality of passing points until the drawing of “S” is completed. Information.
- the media data in the page data shown in FIG. 7 shows detailed information as shown in FIG.
- FIG. 10 is a conceptual diagram showing media data.
- the media data includes the media data ID in the page data shown in FIG. 7, the data type of the media data, and the page data from the page processing unit 37 to the page data storage unit 300.
- the recording time, the position of the image displayed on the display 3 by the page data (X coordinate value, Y coordinate value), the size of the image (width, height), and data indicating the contents of the media data are shown in association with each other. Has been.
- the position of the upper left corner of the image to be displayed is shown.
- the remote license management table 310 manages license data necessary for executing remote sharing processing.
- the product ID of the electronic blackboard 2, the license ID used for authentication, and the expiration date of the license are managed in association with each other.
- FIG. 5 is a functional block diagram of the file processing unit 40.
- the file processing unit 40 includes a recovery processing unit 41, a file input unit 42a, a file output unit 42b, a file conversion unit 43, a file transmission unit 44, an address book input unit 45, a backup processing unit 46, a backup output unit 47, and a setting management unit. 48, a setting file input unit 49a, a setting file output unit 49b, and an address book input unit 50. Furthermore, the file processing unit 40 includes an address book management table 410, a backup data storage unit 420, a setting file storage unit 430, and a connection destination management table 440.
- the recovery processing unit 41 detects the abnormal end when the electronic blackboard 2 ends abnormally, and recovers the unsaved page data. For example, in the case of a normal end, the page data is recorded as a PDF file on the USB 5 via the file processing unit 40, but in the case of an abnormal end such as when the power is down, the page data is recorded in the page data storage unit 300. Has been done. Therefore, when the power is turned on again, the recovery processing unit 41 recovers by reading the page data from the page data storage unit 300.
- the file input unit 42a reads a PDF file from the USB memory 5 and stores each page in the page data storage unit 300 as page data.
- the file conversion unit 43 converts the page data stored in the page data storage unit 300 into a PDF format file.
- the file output unit 42 b records the PDF file output by the file conversion unit 43 in the USB memory 5.
- the file transmission unit 44 transmits the PDF file generated by the file conversion unit 43 as an attachment to an e-mail.
- the transmission destination of this PDF file displays the contents of the address book management table 410 on the display 3 by the display superimposing unit 36, and the file transmission unit 44 accepts the selection of the destination by the operation of the input device such as a touch panel by the user. Determined by.
- the address book management table 410 as shown in FIG. 12, the name of the destination and the mail address of the destination e-mail are managed in association with each other. Further, the file transmission unit 44 can accept an input of a mail address as a destination by an operation of an input device such as a touch panel by the user.
- the address book input unit 45 reads the e-mail address list file from the USB memory 5 and manages it in the address book management table 410.
- the backup processing unit 46 performs backup by storing the file output by the file output unit 42b and the file transmitted by the file transmission unit 44 in the backup data storage unit 420. If the user does not set backup, backup processing is not performed.
- the backup data is stored in PDF format as shown in FIG.
- the backup output unit 47 stores the backed up file in the USB memory 5. At the time of storage, a password is input for security by the operation of an input device such as a touch panel by the user.
- the setting management unit 48 stores and reads various setting information of the electronic blackboard 2 in the setting file storage unit 430 for management.
- the various setting information include network settings, date and time settings, region and language settings, mail server settings, address book settings, connection destination list settings, and backup settings.
- the network setting is, for example, an IP address setting of the electronic blackboard 2, a net mask setting, a default gateway setting, a DNS (Domain Name System) setting, or the like.
- the setting file output unit 49b records various setting information of the electronic blackboard 2 in the USB memory 5 as a setting file. Note that the settings file cannot be viewed by the user due to security.
- the setting file input unit 49a reads the setting file stored in the USB memory 5 and reflects various setting information in the various settings of the electronic blackboard 2.
- the connection destination input unit 50 reads a list file of connection destination IP addresses for remote sharing processing from the USB memory 5 and manages the list file with the connection destination management table 440.
- the connection destination management table 440 when the electronic blackboard 2 is a participating device that intends to participate in the remote sharing process, the user of the participating device plays a role as a host device. It is a table for managing beforehand in order to reduce the trouble of inputting the IP address of the electronic blackboard.
- the connection destination management table 440 the name of the base where the electronic blackboard 2 as a hosting apparatus that can participate is installed and the IP address of the electronic blackboard 2 as the hosting apparatus are managed in association with each other.
- connection destination management table 440 can be omitted.
- the user of the participating device needs to input the IP address of the host device using an input device such as a touch panel in order to start remote request processing with the host device. Therefore, the user of the participating device obtains the IP address of the sponsoring device from the user of the sponsoring device by telephone or electronic mail.
- the communication control unit 60 performs communication for setting a communication path such as opening a message communication port with another electronic blackboard 2 via the communication network 9, or with a communication control unit 70 described later in the server unit 90. Control communication. Therefore, the communication control unit 60 includes a remote start processing unit 61, a remote participation processing unit 62, a remote image transmission unit 63, a remote image reception unit 64, a remote operation transmission unit 65, a remote operation reception unit 66, and a participation base management table 610. have.
- the remote start processing unit 61 requests the server unit 90 of the same electronic blackboard 2 to add and open a message communication port, and newly requests the server unit 90 to start remote sharing processing. Receive the request result from.
- the remote start processing unit 61 refers to the remote license management table 310 and makes a request to start remote sharing processing when license information (product ID, license ID, and expiration date) is managed. be able to. However, if the license information is not managed, a request to start remote sharing processing cannot be made.
- the participation base management table 610 is a table for managing the electronic blackboard as a participating device currently participating in the remote sharing process when the electronic blackboard 2 is the sponsor device.
- the participating site management table 610 as shown in FIG. 15, the name of the site where the participating electronic blackboard 2 is installed and the IP address of the electronic blackboard 2 are managed in association with each other.
- the remote participation processing unit 62 adds a message communication port to the remote connection request receiving unit 71 in the server unit 90 of the electronic blackboard 2 as a hosting device that has already started remote sharing processing via the communication network 9. And request to participate in the remote sharing process. Also in this case, the remote participation processing unit 62 refers to the remote license management table 310.
- the remote participation processing unit 62 participates in the remote sharing process that has already been started, the IP address of the electronic blackboard 2 of the participation destination is acquired with reference to the connection destination management table 440.
- the connection destination management table 440 may not be referred to by the remote participation processing unit 62, and the IP address of the participation electronic blackboard 2 may be input by an operation of an input device such as a touch panel by the user.
- the remote image transmission unit 63 adds and opens the output image (C) sent from the video acquisition unit 21 via the image acquisition unit 31 and opens the message communication port (hereinafter referred to as “additional message communication port”). To the server unit 90.
- the remote image receiving unit 64 receives the image data transmitted from the server unit 90 by the video output device connected to the other electronic blackboard 2 from the additional message communication port and outputs the image data to the display superimposing unit 36, thereby Enable sharing processing.
- the remote operation transmission unit 65 transmits various operation data necessary for remote sharing processing to the server unit 90 from the additional message communication port.
- Examples of the operation data include adding a stroke, deleting a stroke, editing a stroke (enlarging, reducing, moving), storing page data, creating page data, duplicating page data, deleting page data, and displaying. Data related to the switching of the current page.
- the remote operation receiving unit 66 performs remote sharing processing by receiving operation data input from another electronic blackboard 2 from the server unit 90 from the additional message communication port and outputting it to the image processing unit 30.
- the server unit 90 includes a communication control unit 70 and a data management unit 80.
- the communication control unit 70 controls communication between the communication control unit 70 in the client unit 20 in the same electronic blackboard 2 and the communication control unit 70 in the client unit 20 in another electronic blackboard 2 via the communication network 9. To do.
- the data management unit 80 manages operation data, image data, and the like.
- the communication controller 70 includes a remote connection request receiver 71, a remote connection result transmitter 72, a remote image receiver 73, a remote image transmitter 74, a remote operation receiver 75, and a remote operation transmitter 76. have.
- the remote connection request receiving unit 71 receives a message communication port addition request for requesting addition of a message communication port or a request for starting remote sharing processing from the remote start processing unit 61, or from the remote participation processing unit 62.
- a message communication port addition request for adding a message communication port or a participation request for remote sharing processing is received.
- the remote connection result transmission unit 72 transmits the result of the request for adding the message communication port to the remote start processing unit 61, the result of the request for starting the remote sharing process, or requests the remote participation processing unit 62 to add the message communication port. And the result of the participation request for the remote sharing process.
- the remote image receiving unit 73 receives the image data (output image (C) data) from the remote image transmitting unit 63 from the additional message communication port, and transmits it to the remote image processing unit 82 described later.
- the remote image transmission unit 74 receives the image data from the remote image processing unit 82 and transmits this image data to the remote image reception unit 64 from the additional message communication port.
- the remote operation receiving unit 75 receives the operation data (data such as the stroke image (B)) from the remote operation transmitting unit 65 from the additional message communication port and transmits it to the remote operation processing unit 83 described later.
- the remote operation transmission unit 76 receives the operation data from the remote operation processing unit 83 and transmits the operation data to the remote operation reception unit 66 from the additional message communication port.
- the data management unit 80 includes a remote connection processing unit 81, a remote image processing unit 82, a remote operation processing unit 83, an operation composition processing unit 84, and a page processing unit 85. Further, the data management unit 80 includes a passcode management unit 810, a participating site management table 820, an image data storage unit 830, an operation data storage unit 840, and a page data storage unit 850.
- the remote connection processing unit 81 starts the remote sharing process and ends the remote sharing process. Further, the remote connection processing unit 81 opens a message communication port according to the message communication port addition request received from the remote start processing unit 61 by the remote connection request receiving unit 71. Further, the remote connection processing unit 81 is based on the license information received together with the remote sharing processing start request from the remote start processing unit 61 or the license information received together with the remote sharing processing participation request from the remote participation processing unit 62. Check whether there is a license and whether it is within the license period. Further, the remote connection processing unit 81 confirms whether or not the participation request from the other electronic blackboard 2 as the client unit exceeds the predetermined number of possible participations.
- the remote connection processing unit 81 opens a message communication port in accordance with a message communication port addition request from another electronic whiteboard 2. Further, the remote connection processing unit 81 has the same passcode that is sent when a request for participation in remote sharing processing is received from another electronic blackboard 2 as the passcode managed by the passcode management unit 810. It is determined whether or not there is the same, and if they are the same, participation in the remote sharing process is permitted. This passcode is issued by the remote connection processing unit 81 when a new remote sharing process is started, and the user of the electronic blackboard 2 as a participating apparatus who intends to participate in the remote sharing process can It is transmitted from the user of the electronic blackboard 2 by telephone or e-mail.
- a user of a participating device who intends to participate in the remote sharing process inputs the pass code to the participating device using an input device such as a touch panel and requests participation, thereby permitting participation.
- an input device such as a touch panel
- the user's usability is given priority over security, and the confirmation of the passcode may be omitted only by confirming the license status.
- the remote connection processing unit 81 uses the participation base information included in the participation request sent from the remote participation processing unit 62 of the participating device via the communication network 9 as the server unit.
- the data are stored in the 90 participating site management table 820.
- the remote connection processing unit 81 reads out the remote site information stored in the participating site management table 820 and transmits it to the remote connection result transmission unit 72.
- the remote connection result transmission unit 72 transmits the remote base information to the remote start processing unit 61 in the client unit 20 of the same sponsor device.
- the remote start processing unit 61 stores the remote site information in 610 in the participating site management table.
- the remote site information is managed by both the client unit 20 and the server unit 90.
- the remote image processing unit 82 is sent from a video output device (notebook PC 6 or the like) connected to the client unit 20 of each electronic blackboard 2 (including the client unit 20 of its own electronic blackboard 2 that is the hosting device) during remote sharing processing.
- Image data output image (C)
- the remote image processing unit 82 determines the display order of the image data to be remotely shared in the order of time when it arrives at the server unit 90 of the electronic blackboard 2 that is the host device.
- the remote image processing unit 82 refers to the participation base management table 820, and includes the client units 20 of all the electronic blackboards 2 participating in the remote sharing process (including the client units 20 of the electronic blackboard 2 that is the hosting device). ), The image data is transmitted in the determined order via the communication control unit 70 (remote image transmission unit 74).
- the remote operation processing unit 83 performs various operation data (strokes) such as stroke images drawn by the client unit 20 of each electronic blackboard 2 (including the client unit 20 of its own electronic blackboard 2 which is the host device) during the remote sharing process.
- the image (B) or the like) is received via the additional message communication port, and the display order of the images to be remotely shared is determined in the order of time when it arrives at the server unit 90 of the electronic blackboard 2 that is the host device.
- the various operation data is the same as the various operation data described above.
- the remote operation processing unit 83 refers to the participating site management table 820, and operates the operation data in the client units 20 of all electronic blackboards 2 (including the client unit of its own electronic blackboard that is the host device) during the remote sharing process. Send.
- the operation synthesis processing unit 84 synthesizes the operation data of each electronic blackboard 2 output from the remote operation processing unit 83, stores the operation data as a result of this synthesis in the operation data storage unit 840 and the remote operation processing unit 83.
- the operation data is transmitted from the remote operation transmission unit 76 to the client unit 20 of the electronic blackboard 2 that is the host device and the client unit 20 of the electronic blackboard 2 that is the participating device via the additional message communication port.
- the operation data includes SEQ (Sequence), the operation name of the operation data, the IP address of the electronic blackboard 2 that is the transmission source of the operation data, and the Port of the client unit (server unit).
- the IP address of the electronic blackboard 2 to which the operation data is transmitted the Port No. of the client unit 20 (server unit 90), the operation type of the operation data, the operation target of the operation data, and the data indicating the contents of the operation data Is shown associated with.
- the client unit 20 Port No.: 50001
- the electronic blackboard 2 IP address: 192.0.0.1
- the server unit 90 Port No .: 50000
- the operation type is “STROKE”
- the operation target is the page data ID “p005”
- the data indicating the contents of the operation data is data indicating the stroke.
- SEQ2 from the server unit 90 (Port No .: 50000) of the electronic blackboard 2 (IP address: 192.0.0.1) that is the hosting device, another electronic blackboard 2 (IP address: 192.0.0.1) that is the participating device. It is shown that operation data is sent to the client unit 20 (Port No .: 50001).
- the operation composition processing unit 84 performs composition in the order in which the operation data is input to the operation composition processing unit 84. Therefore, if the communication network 9 is not congested, remote sharing is performed in the order of strokes by the users of the electronic blackboards 2. A stroke image (B) is displayed on the displays 3 of all the electronic blackboards 2 being processed.
- the page processing unit 85 has the same function as the page processing unit 37 in the image processing unit 30 of the client unit 20, and the server unit 90 also converts the page data shown in FIGS. Store in 850.
- the page data storage unit 850 has the same contents as the page data storage unit 300 in the image processing unit 30.
- the transmission management system 50 includes a transmission / reception unit 51, an authentication unit 52, a management unit 53, a session control unit 57, and a storage / read processing unit 59.
- Each of these functional units is a function or means realized by any one of the constituent elements shown in FIG. 3 operating according to a command from the CPU 201 in accordance with a program stored in the ROM 202.
- the transmission management system 50 includes a storage unit 5000 constructed by the ROM 202, the RAM 203 or the HDD 205 shown in FIG.
- an authentication management DB 5002 configured by an authentication management table as shown in FIG.
- each password is associated with each communication ID of each electronic blackboard 2 managed by the transmission management system 50 and managed.
- the terminal authentication management table shown in FIG. 19 indicates that the communication ID of the electronic blackboard 2a is “01aa” and the password is “aaaa”.
- a terminal management DB 5003 configured by a terminal management table as shown in FIG. 20 is constructed.
- the operating state of each electronic blackboard 2 the reception date and time when login request information described later is received by the transmission management system 50, and the IP address of the electronic blackboard 2 are associated.
- the electronic blackboard 2 a with the communication ID “01aa” has the operation state “ON line”, and the date and time when the log-in request information is received by the transmission management system 50 is “2009”. 11:10 on November 10, 2011, "indicating that the IP address of the electronic blackboard 2a is" 1.2.1.3 ".
- each functional unit of the transmission management system 50 will be described in detail.
- the main components for realizing the functional units of the transmission management system 50 among the components illustrated in FIG. The relationship is also explained.
- the transmission / reception unit 51 is executed by the network I / F 209 shown in FIG. 3, and transmits / receives various data to / from the electronic blackboard 2 via the communication network 9.
- the authentication unit 52 searches the terminal authentication management DB 5002 of the storage unit 5000 using the communication ID and password included in the login request information received via the transmission / reception unit 51 as search keys, and is identical to the terminal authentication management DB 5002. Terminal authentication is performed by determining whether the communication ID and password are managed.
- the management unit 53 receives the communication ID of the electronic blackboard 2, the operating state of the electronic blackboard 2, and the login request information received by the transmission management system 50 in the terminal management table.
- the received date and time and the IP address of the electronic blackboard 2 are stored in association with each other and managed.
- the session control unit 57 is realized by a command from the CPU 201 and controls establishment of a communication session for transmitting image data, sound data, and the like via the communication network 9 between the electronic blackboards (2a, 2b).
- the method for establishing the communication session is not particularly limited. For example, when the communication network 9 is provided with a relay device that relays image data, sound data, and the like, connection information for connecting to this relay device is provided. Based on the control by the session control unit 57, there is a method in which the transmission / reception unit 51 transmits to the electronic blackboard (2a, 2b).
- the transmission / reception unit 51 may transmit a request to start relaying image data and sound data between the electronic blackboards (2a, 2b) to the relay device.
- the electronic blackboard (2a, 2b) can transmit and receive image data and sound data to and from the electronic blackboard (2b, 2a) as a communication partner. It becomes like this.
- FIGS. 21 to 23 are sequence diagrams showing processing of each electronic blackboard.
- the electronic blackboard 2a serves as a hosting device (server unit 90 and client unit 20) that hosts the remote sharing process, and the electronic blackboard 2b participates in the remote sharing process ( The case where it plays the role as the client part 20) is demonstrated.
- the electronic blackboard 2a serves as a hosting device (server unit 90 and client unit 20) that hosts the remote sharing process, and the electronic blackboards 2b and 2c perform the remote sharing process. The case where it plays the role as a participating apparatus (client part 20) to participate is demonstrated.
- displays 3a, 3b, 3c are connected to the electronic blackboards 2a, 2b, 2c, respectively, and notebook PCs 6a, 6b, 6c are connected to the electronic blackboards 2a, 2b, 2c, respectively.
- electronic pens 4a, 4b, and 4c are used, respectively.
- the electronic blackboard 2a makes a login request to the management system 50 by the login request unit 12 (step S1).
- This login request includes a communication ID and a password for identifying the electronic blackboard 2a that is the login request source.
- the transmission / reception unit 51 of the management system 50 receives the login request, the communication ID, and the password.
- the authentication unit 52 determines whether the same set as the combination of the communication ID and password received by the transmission / reception unit 51 is managed in the authentication management table (see FIG. 19), thereby Authentication of the blackboard 2a is performed (step S2). If it is determined by this authentication that the electronic blackboard is valid, the management unit 53 manages the operation state “ON line” for the corresponding communication ID in the terminal management table (see FIG. 20). (Step S3).
- the transmission / reception unit 51 transmits the authentication result to the electronic blackboard 2a that is the login request source (step S4).
- requirement part 12 of the electronic blackboard 2a receives an authentication result.
- a communication session sei is established between the electronic blackboard 2a as the login request source and the management system 50 (step 5).
- the communication session between the various electronic blackboards 2 and the management system 50 is described as a communication session sei.
- the electronic blackboard 2b makes a login request to the management system 50 by the login request unit 12 (step S6).
- This login request includes a communication ID and a password for identifying the electronic blackboard 2b as the login request source.
- the transmission / reception unit 51 of the management system 50 receives the login request, the communication ID, and the password.
- the authentication unit 52 determines whether the same set as the combination of the communication ID and password received by the transmission / reception unit 51 is managed in the authentication management table (see FIG. 19), thereby Authentication of the blackboard 2b is performed (step S7). If it is determined by this authentication that the electronic blackboard is a legitimate electronic blackboard, the management unit 53 sets the operation state “ON line (communicable) for the corresponding communication ID in the terminal management table (see FIG. 20). ) "Is managed (step S8).
- the transmission / reception unit 51 transmits the authentication result to the electronic blackboard 2b as the login request source (step S9). Thereby, the login request
- the communication session for transmitting content data between the electronic blackboards includes a communication session sed1 for transmitting sound data, image data, and operation data between the electronic blackboards 2.
- the electronic blackboard 2a makes a communication start request to the management system 50 by the communication control unit 60 according to the operation of the operation button 125 by the user (step S11).
- This communication start request includes the communication ID of the electronic blackboard 2a that is the communication start request source and the communication ID of the destination electronic blackboard 2b.
- the communication start request source is the electronic blackboard 2a and the destination is the electronic blackboard 2b will be described.
- the transmission / reception unit 51 of the management system 50 receives a communication start request. Subsequently, the management unit 53 of the management system 50 manages the operation state “ON line (during communication)” for the communication ID of the electronic blackboard 2a that is the communication start request source in the terminal management table (see FIG. 20). (Step S12).
- the transmission / reception unit 51 of the management system 50 makes a communication start request to the destination electronic blackboard 2b (step S13).
- This communication start request includes the communication ID of the electronic blackboard 2a as the communication start request source and the communication ID of the destination electronic blackboard 2b sent in step S11. Thereby, the destination electronic blackboard 2b receives the communication start request.
- the electronic blackboard 2b transmits information indicating whether or not a response is possible to the management system 50 by the communication control unit 60 according to the operation of the operation button 125 by the user (step S14).
- the information indicating whether or not the response is possible indicates that a response is made when the user starts a call on the destination electronic blackboard 2b side, and no response is made if the user does not start a call on the destination electronic blackboard 2b side. The effect is shown.
- the electronic blackboard 2b transmits information indicating that it responds to the management system 50 will be described.
- the transmission / reception unit 51 of the management system 50 receives the information indicating whether or not the response is possible. Subsequently, the management unit 53 of the management system 50 manages the operation state “ON line (during communication)” for the communication ID of the destination electronic blackboard 2b in the terminal management table (see FIG. 20) (step S15). ).
- the transmission / reception unit 51 of the management system 50 transmits to the start request source electronic blackboard 2a information indicating that a response has been sent from the destination electronic blackboard 2b in step S14 (step S16). ). Thereby, the electronic blackboard 2a receives information indicating that a response is made by the communication control unit 60.
- the session control unit 57 of the management system 50 controls the establishment of the communication session sed1 for transmitting image data and sound data between the electronic blackboards (2a, 2b) via the communication network 9 (step S17).
- a method for establishing the communication session sed1 is not particularly limited. For example, when a relay device that relays image data and sound data is provided in the communication network 9, connection information for connecting to the relay device is provided. Based on the control by the session control unit 57, there is a method in which the transmission / reception unit 51 transmits to the electronic blackboard (2a, 2b).
- the transmission / reception unit 51 may transmit a request to start relaying image data and sound data between the electronic blackboards (2a, 2b) to the relay device.
- the communication session sed1 is established (step S18).
- the electronic blackboard (2a, 2b) can transmit and receive image data, sound data, and operation data to and from the electronic blackboard (2b, 2a) that is the communication partner.
- Participation process A process for the electronic blackboards 2b and 2c to participate in the remote sharing process will be described with reference to FIG.
- the client unit 20 of the electronic blackboard 2a When the user turns on the power switch 126 of the electronic blackboard 2a, the client unit 20 of the electronic blackboard 2a is activated. Then, when the user performs an operation of starting the server unit 90 with the operation button 125 such as a touch panel, the remote connection request receiving unit 71 in the server unit 90 of the same electronic blackboard 2a is transferred from the remote start processing unit 61 of the client unit 20 to the server unit. An instruction to start 90 processing is output. Thereby, in the electronic blackboard 2a, not only the client unit 20 but also the server unit 90 can start various processes (step S21).
- the UI image generating unit 33 in the client unit 20 of the electronic blackboard 2a generates connection information for establishing a connection with the electronic blackboard 2a, and the video superimposing unit 28 transmits the display superimposing unit 36 from the UI image generating unit 33.
- the connection information obtained through is displayed on the display 3a (step S22).
- This connection information includes the IP address of the host device and the passcode generated for the current remote sharing process.
- the passcode stored in the passcode management unit 810 is read by the remote connection processing unit 81 and transmitted in the order of the remote connection result transmission unit 72 and the remote start processing unit 61. Further, the passcode is transmitted from the communication control unit 60 including the remote start processing unit 61 to the image processing unit 30 and finally input to the UI image generation unit 33.
- connection information includes the passcode. Then, the connection information is transmitted to the users of the electronic blackboards 2b and 2c by telephone or electronic mail by the user of the electronic blackboard 2a. If there is the connection destination management table 440, even if the connection information does not include the IP address of the hosting device, the participating device can make a participation request.
- the remote participation processing unit 62 in the client unit 20 of each electronic blackboard 2b and 2c Is requested to add a message communication port to the communication control unit 70 in the server unit 90 of the electronic blackboard 2a via the communication network 9 and send a passcode to make a participation request (step S23). , S24).
- the remote connection request receiving unit 71 of the communication control unit 70 receives a request for adding a message communication port and a participation request (including a passcode) from each of the electronic blackboards 2b and 2c, and opens the message communication port.
- the pass code is output to the remote connection processing unit 81.
- the port number may be specified by the message communication port addition request, or the port number to be added by the message communication port addition request may be set in advance.
- the remote connection processing unit 81 authenticates the passcode received from each of the electronic blackboards 2b and 2c using the passcode managed by the passcode management unit 810 (step S25). And the remote connection result transmission part 72 notifies an authentication result to the client part 20 of each electronic blackboard 2b, 2c (step S26, S27).
- step S25 remote sharing between the electronic blackboard 2a that is the hosting device and the electronic blackboards 2b and 2c that are the participating devices Processing communication is established, and the remote participation processing unit 62 in the client unit 20 of each electronic blackboard 2b, 2c enables the start of remote sharing processing with each of the other electronic blackboards (steps S28 and S29).
- the electronic blackboard 2b displays the output image (C) on the display 3b (step S30).
- the image acquisition unit 31 of the electronic blackboard 2b receives the data of the output image (C) displayed on the notebook PC 6b from the notebook PC 6b via the video acquisition unit 21, and displays the display superimposing unit 36 and the video.
- the display 3b displays the output image (C).
- the image processing unit 30 including the image acquisition unit 31 of the electronic blackboard 2 b transmits the output image (C) data to the remote image transmission unit 63, so that the communication control unit 60 including the remote image transmission unit 63 is performed.
- the data of the output image (C) is transmitted from the additional message communication port to the communication control unit 70 of the electronic blackboard 2a that is the hosting apparatus via the communication network 9 (step S31).
- the image processing unit 30 including the image acquisition unit 31 of the electronic blackboard 2b serializes the serialized image by converting the data of the output image (C) to the remote image transmission unit 63 (see FIG. 8), and instant Send using a communication application such as a message.
- the array data may be in the form of a data description language such as JSON (Jason, JavaScript Object Notation).
- JSON JavaScript Object Notation
- the image processing unit 30 serializes the data of the output image (C)
- by making the array data into a data description language format such as JSON the readability can be improved and the processing efficiency can be improved. it can.
- the remote image receiving unit 73 of the electronic blackboard 2a receives the output image (C) data from the additional message communication port and outputs it to the remote image processing unit 82, so that the remote image processing unit 82 stores the data in the image data storage unit 830. Data of the output image (C) is stored.
- the remote image processing unit 82 deserializes (parallelizes) the data of the output image (C) received from the additional message communication port, and outputs it to the image data storage unit 830.
- the electronic blackboard 2a which is the hosting device, displays the output image (C) on the display 3a (step S32).
- the remote image processing unit 82 of the electronic blackboard 2 a outputs the output image (C) data received from the remote image receiving unit 73 to the remote image transmitting unit 74.
- the remote image transmitting unit 74 outputs the data of the output image (C) to the remote image receiving unit 64 in the client unit 20 of the electronic blackboard 2a which is the same host device.
- the remote image receiving unit 64 outputs the data of the output image (C) to the display superimposing unit 36.
- the display superimposing unit 36 outputs the output image (C) data to the video superimposing unit 28.
- the video superimposing unit 28 outputs the data of the output image (C) to the display 3a. Thereby, the display 3a displays the output image (C).
- the communication control unit 70 including the remote image transmission unit 74 in the server unit 90 of the electronic blackboard 2a as the hosting apparatus transmits the data of the output image (C) from the additional message communication port via the communication network 9.
- the data of the output image (C) is transmitted to the communication control unit 60 of the electronic blackboard 2c other than the electronic blackboard 2b (step S33).
- the image processing unit 30 including the image acquisition unit 31 of the electronic blackboard 2a serializes the data of the output image (C) in the remote image transmission unit 63 by converting it into text (see FIG. 8), and communication such as an instant message. Send using the application.
- the array data may be in the form of a data description language such as JSON.
- the remote image receiving unit 64 of the electronic blackboard 2c which is a participating device receives the data of the output image (C) from the additional message communication port.
- the electronic blackboard 2c displays the output image (C) on the display 3c (step S34).
- the remote image receiving unit 64 of the electronic blackboard 2c outputs the data of the output image (C) received in step S33 to the display superimposing unit 36 of the electronic blackboard 2c.
- the display superimposing unit 36 outputs the output image (C) data to the video superimposing unit 28.
- the video superimposing unit 28 outputs the data of the output image (C) to the display 3c. Thereby, the display 3c displays the output image (C).
- the display superimposing unit 36 superimposes them.
- An image (A, B, C) is generated, and the video superimposing unit 28 outputs the data of the superimposed image (A, B, C) to the display 3c.
- video conferencing video (E) data is sent from the video conference terminal 7 to the video superimposing unit 28, the video superimposing unit 28 converts the video superimposing image (A, B, C).
- the video (E) data for video conference is superimposed by picture-in-picture and output to the display 3c.
- the user draws a stroke image (B) on the electronic blackboard 2b using the electronic pen 4b (step S41).
- the display superimposing unit 36 of the electronic blackboard 2b superimposes the stroke image (B) on the UI image (A) and the output image (C), and the video superimposing unit 28 is displayed on the display 3b of the electronic blackboard 2b.
- the superimposed images (A, B, C) are displayed (step S42).
- the stroke processing unit 32 of the electronic blackboard 2b receives the stroke image (B) data as the operation data from the coordinate detection unit 22 and the contact detection unit 24 via the event distribution unit 25, and displays the superimposed image. It transmits to the part 36.
- the display superimposing unit 36 can superimpose the stroke image (B) on the UI image (A) and the output image (C), and the video superimposing unit 28 is placed on the display 3b of the electronic blackboard 2b.
- the superimposed image (A, B, C) can be displayed.
- the image processing unit 30 including the stroke processing unit 32 of the electronic blackboard 2b serializes the data of the stroke image (B) by converting it into text, and the serialized stroke image (B) data is remotely operated and transmitted.
- the array data may be in the form of a data description language such as JSON.
- the remote operation transmission unit 65 of the electronic blackboard 2b transmits the data of the stroke image (B) from the additional message communication port via the communication network 9 to the communication control unit 70 of the electronic blackboard 2a that is the host device (step S43). .
- the image processing unit 30 including the stroke processing unit 32 of the electronic blackboard 2b transmits stroke image data in units of strokes when transmitting stroke image (B) data using a communication application such as an instant message. .
- the remote operation receiving unit 75 of the electronic blackboard 2 a receives the stroke image (B) data from the additional message communication port and outputs it to the remote operation processing unit 83, so that the remote operation processing unit 83 is transferred to the operation composition processing unit 84.
- the data of the stroke image (B) is output. In this way, the data of the stroke image (B) drawn on the electronic blackboard 2b is sequentially transmitted to the remote operation processing unit 83 of the electronic blackboard 2a that is the hosting device every time it is drawn.
- the data of the stroke image (B) is data shown for each stroke data ID shown in FIG. Therefore, for example, as described above, when the user draws the alphabet “T” with the electronic pen 4, the stroke image (B) indicated by each of the two stroke data IDs is sequentially transmitted. Is done.
- the image processing unit 30 including the stroke processing unit 32 of the electronic blackboard 2b may transmit a plurality of stroke image data collectively when transmitting the stroke image (B) data.
- the electronic blackboard 2a which is the hosting device, displays on the display 3a a superimposed image (A, B, C) including the data of the stroke image (B) sent from the electronic blackboard 2b (Step S). S44).
- the operation composition processing unit 84 of the electronic blackboard 2a synthesizes the data of the plurality of stroke images (B) sequentially sent via the remote operation processing unit 83 and stores them in the operation data storage unit 840. Store and return to the remote operation processing unit 83.
- the remote operation processing unit 83 outputs the combined stroke image (B) data received from the operation synthesis processing unit 84 to the remote operation transmission unit 76.
- the remote operation transmitting unit 76 outputs the combined stroke image (B) data to the remote operation receiving unit 66 in the client unit 20 of the electronic blackboard 2a which is the same hosting device.
- the remote operation receiving unit 66 outputs the combined stroke image (B) data to the display superimposing unit 36 in the image processing unit 30. Therefore, the display superimposing unit 36 superimposes the combined stroke image (B) on the UI image (A) and the output image (C).
- the video superimposing unit 28 displays the superimposed image (A, B, C) superimposed by the display superimposing unit 36 on the display 3a.
- the communication control unit 70 including the remote operation transmission unit 76 in the server unit 90 of the electronic blackboard 2a as the hosting device transmits the data of the stroke image (B) from the additional message communication port via the communication network 9.
- the data of the combined stroke image (B) is transmitted from the additional message communication port to the communication control unit 60 of the electronic blackboard 2c other than the electronic blackboard 2b (step S45).
- the image processing unit 30 including the stroke processing unit 32 of the electronic blackboard 2a transmits stroke image data in units of strokes when transmitting stroke image (B) data.
- the remote operation receiving part 66 of the electronic blackboard 2c which is a participating apparatus receives the data of the synthesized stroke image (B).
- the image processing unit 30 including the stroke processing unit 32 of the electronic blackboard 2a may collectively transmit the data of a plurality of stroke images.
- the electronic blackboard 2c displays a superimposed image (A, B, C) on the display 3c (step S46).
- the remote operation receiving unit 66 of the electronic blackboard 2c outputs the combined stroke image (B) data received in step S45 to the image processing unit 30 of the electronic blackboard 2c.
- the display superimposing unit 36 of the image processing unit 30 superimposes each data of the UI image (A) and the output image (C) and the data of the combined stroke image (B), and superimposes the superimposed image ( A, B, C) data is output.
- the video superimposing unit 28 outputs the data of the superimposed image (A, B, C) to the display 3c. Thereby, the display 3c displays a superimposed image (A, B, C).
- the output image (C) is displayed on the display 3, but a background image (D) may be displayed instead of the output image (C).
- a background image (D) may be displayed instead of the output image (C).
- the exclusive relationship between the output image (C) and the background image (D) may be stopped, and both the output image (C) and the background image (D) may be displayed on the display 3 at the same time.
- the remote participation processing unit 62 sends the communication control unit 70 in the server unit 90 of the electronic blackboard 2a as the hosting device. Then, an end request for participation is made through the additional message communication port (step S47). As a result, the remote connection request receiving unit 71 of the communication control unit 70 of the electronic blackboard 2a receives the participation end request from the electronic blackboard 2c, and the remote connection processing unit 81 ends the participation together with the IP address of the electronic blackboard 2c. Output the request.
- the remote connection processing unit 81 of the electronic blackboard 2a based on the IP address sent from the remote connection request receiving unit 71, from the participation base management table 820, the IP of the electronic blackboard 2c that has requested participation.
- the address and the name of the base where the electronic blackboard 2c is installed are deleted, and the IP address of the electronic blackboard 2c and a notification of deletion are output to the remote connection result transmission unit 72.
- the communication control unit 70 including the remote connection result transmission unit 72 of the electronic blackboard 2a instructs the communication control unit 60 in the client unit 20 of the electronic blackboard 2c to end participation via the communication network 9 (Ste S48).
- the remote participation processing unit 62 of the communication control unit 60 in the electronic blackboard 2c disconnects the communication of the remote sharing process, thereby completing the participation process, thereby completing the participation (step S49).
- the communication path is set by setting a common message communication port in the electronic conference system and the communication system using the electronic blackboard.
- FIG. 24 is a schematic diagram of an image processing system 1000 according to the embodiment.
- the function of the server unit included in the electronic blackboard 2 according to the first embodiment is realized by the distribution control device.
- the image processing system 1000 of this embodiment is constructed by a distribution control device 600, a plurality of communication terminals (500a to 500f), and a management device 700.
- a distribution control device 600 a plurality of communication terminals (500a to 500f)
- a management device 700 an arbitrary communication terminal among the plurality of communication terminals (500a to 500f) is represented as “communication terminal 500”.
- both the distribution control device 600 and the management device 700 are constructed by server computers.
- the communication terminal 500 is a terminal used by a user who receives a service of the image processing system 1000.
- the communication terminal 500a is a notebook PC (Personal Computer).
- the communication terminal 500b is a mobile terminal such as a smartphone or a tablet terminal.
- the communication terminal 500c is an MFP (Multifunction Peripheral / Printer / Product) in which copy, scan, print, and fax functions are combined.
- the communication terminal 500d is a projector.
- the communication terminal 500e is a television (video) conference terminal provided with a camera, a microphone, and a speaker.
- the communication terminal 500f is an electronic blackboard (whiteboard) capable of electronically converting content drawn by a user or the like.
- the communication terminal 500 is not only a terminal as shown in FIG. 24, but also a wristwatch, a vending machine, a gas meter, a car navigation device, a game machine, an air conditioner, a lighting fixture, a camera alone, a microphone alone, a speaker alone, etc. However, it may be a device capable of communicating via a communication network such as the Internet.
- the distribution control device 600, the communication terminal 500, and the management device 700 can communicate with each other via a communication network 9 such as the Internet or a LAN (Local Area Network).
- Some communication terminals 500 do not have a function of communicating with other terminals or systems via the communication network 9.
- the communication terminal 500d communicates with other terminals and systems via the communication network 9. It becomes possible.
- the distribution control device 600 includes a whiteboard unit 620.
- a renderer function in the whiteboard unit 620 obtains and renders single or plural content data represented in a predetermined description language.
- frame data can be generated as sound data (that is, still image (sound) data) such as still image data such as bitmap data using RGB (Red Green Blue) or PCM (Pulse Code Modulation) data.
- the content data is data acquired from an arbitrary communication terminal or the like, and is image (sound) data based on HTML (Hypertext Markup Language) or CSS (Cascading Style Styles), or image (sound) data based on MP4 (MPEG-4).
- Sound data based on AAC (Advanced Audio Coding) and the like are included.
- the distribution control apparatus 600 includes an encoding unit 660, and the encoding unit 660 plays a role as an encoder, so that each frame data as still image (sound) data is converted into H.264 (MPEG-4CAVC). , H.265, Motion JPEG, and other compression-encoded video (sound) data.
- the management device 700 performs login authentication of the communication terminal 500 and manages contract information and the like of the communication terminal 500.
- the management apparatus 700 has a function of an SMTP (Simple Mail Transfer Protocol) server for transmitting electronic mail.
- SMTP Simple Mail Transfer Protocol
- the management apparatus 700 can be realized as a virtual machine deployed on a cloud service (IaaS: Infrastructure as Service).
- IaaS Infrastructure as Service
- the management device 700 is desirably operated in a multiplexed manner in order to provide a continuous service in response to an unexpected situation.
- the whiteboard unit 620 enables real-time communication (RTC: Real-time communication / collaboration).
- the distribution control apparatus 600 includes an encoding unit 660 described later, and the encoding unit 660 performs real-time encoding on the frame data output by the whiteboard unit 620, and the H.264 standard or the like.
- the video (sound) data generated by the conversion based on can be output. Therefore, the processing of the distribution control device 600 is different from the case where video (sound) data having no real time property recorded on a DVD is read and distributed by a DVD player.
- the distribution control device 600 may have a whiteboard unit.
- the whiteboard unit 620 of the distribution control device 600 it is not necessary to activate the whiteboard unit of each communication terminal 500.
- FIG. 25 is a conceptual diagram showing a basic distribution method.
- the whiteboard unit 620 of the distribution control device 600 acquires content data [A] as image (sound) data from an arbitrary communication terminal or the like and renders it. As a result, each frame data [A] as still image (sound) data is generated.
- the encoder bridge unit 630 including the encoding unit 660 encodes each frame data [A] into video (sound) data [A] (an example of transmission data) of a compression encoding method such as H.264. Convert.
- the distribution control device 600 distributes the converted video (sound) data [A] to the communication terminal 500.
- the image processing system 1000 can also apply the above-described distribution method to distribute content data as video (sound) data to a plurality of bases.
- a method for distributing content data to a plurality of bases will be described below.
- FIG. 26 is a conceptual diagram of multicast.
- the whiteboard unit 620 of the distribution control device 600 acquires and renders content data [A] as image (sound) data from an arbitrary communication terminal or the like, thereby rendering a still image.
- Each frame data [A] as (sound) data is generated.
- the encoder bridge unit 630 encodes each frame data [A] and converts it into video (sound) data.
- the distribution control device 600 distributes the video (sound) data [A] (an example of transmission data) to a plurality of communication terminals (500f1, 500f2, 500f3).
- the same video (sound) is played back at multiple locations.
- the communication terminals 500f1, 500f2, 500f3 do not need to have the same display reproduction capability (the same resolution, etc.).
- Such a distribution method is called, for example, “multicast”.
- FIG. 27 is a conceptual diagram of a multi-display.
- the whiteboard unit 620 of the distribution control device 600 acquires and renders content data [XYZ] as image (sound) data from an arbitrary communication terminal or the like, thereby rendering a still image.
- Each frame data [XYZ] as (sound) data is generated.
- the encoder bridge unit 630 divides the frame data [XYZ] into a plurality of frame data ([X], [Y], [Z]), and then encodes the plurality of pieces of video (sound) data ( [X], [Y], [Z]).
- the distribution control device 600 distributes video (sound) data [X] (an example of transmission data) to the communication terminal 500f1.
- the distribution control device 600 distributes video (sound) data [Y] (an example of transmission data) to the communication terminal 500f2, and communicates video (sound) data [Z] (an example of transmission data). Delivered to the terminal 500f3.
- FIG. 28 is a conceptual diagram of composite distribution using a plurality of communication terminals via the distribution control device 600.
- the communication terminal 500f1 as an electronic blackboard and the communication terminal 500e1 as a video conference terminal are used, and the second base (in FIG. 28).
- a communication terminal 500f2 as an electronic blackboard and a communication terminal 500e2 as a video conference terminal are used.
- an electronic pen P1 is used for causing the communication terminal 500f1 to draw characters or the like by stroke.
- the electronic pen P2 for causing the communication terminal 500f2 to draw characters or the like by stroke. Is being used.
- the video (sound) data acquired by the communication terminal 500e1 is encoded by the encoding unit 660 and then serialized by being converted into text, and an application for communication such as an instant message is used. And transmitted to the distribution control device 600 via the additional message communication port. Thereafter, the data is deserialized, decoded, and input to the whiteboard unit 620 by the decoding unit 640 of the distribution control apparatus 600.
- operation data indicating a stroke drawn on the communication terminal 500f1 by the electronic pen P1 (in this case, coordinate data on the display of the communication terminal 500f1, etc.) is serialized by being converted into text, and used for communication such as an instant message.
- the message is transmitted to the distribution control device 600 via the additional message communication port and input to the whiteboard unit 620.
- the video (sound) data acquired by the communication terminal 500e2 is encoded by the encoding unit 660 and then converted into text, which is serialized, and communication applications such as instant messages are used. Then, it is transmitted to the distribution control device 600 via the additional message communication port. Thereafter, the data is deserialized, decoded, and input to the whiteboard unit 620 by the decoding unit 640 of the distribution control apparatus 600.
- operation data indicating a stroke drawn on the communication terminal 500f2 by the electronic pen P2 (in this case, coordinate data on the display of the communication terminal 500f2, etc.) is serialized by being converted into text and used for communication such as an instant message.
- the message is transmitted to the distribution control device 600 via the additional message communication port and input to the whiteboard unit 620.
- the whiteboard unit 620 obtains content data [A] that is a background image displayed on each display of the communication terminals (500f1, 500f2) from, for example, an arbitrary communication terminal. Then, the whiteboard unit 620 combines and renders the content data [A], the operation data ([p1], [p2]), and the video (sound) content data ([E1], [E2]). Each piece of content ([A], [p1], [p2], [E1], [E2]) generates frame data as still image (sound) data set in a desired layout.
- the encoder bridge unit 630 encodes each frame data, serializes it by converting it into text, and uses a communication application such as an instant message, so that the distribution control device 600 has the same content ([A], Video (sound) data (an example of transmission data) indicating [p1], [p2], [E1], [E2]) is distributed via the additional message communication port.
- the video [A], [p1], [p2], [E1 (video part)] and [E2 (video part)]
- the video [A], [p1], [p2], [E1 (video part)] and [E2 (video part)]
- sound [E1 (sound part)] is output from the speaker of the communication terminal 500e2.
- the sound [E1 (sound part)] of the site is not output by the echo cancellation function of the communication terminal 500f1.
- the sound [E2 (sound part)] of the local site is not output by the echo cancellation function of the communication terminal 500f2.
- the image processing system 1000 can be used for a remote conference or the like. It is valid.
- FIG. 29 is a hardware configuration diagram of the distribution control device 600 and the management device 700 according to the embodiment.
- the distribution control device 600 controls the overall operation of the distribution control device 600 (host) CPU 601, ROM 602 storing programs used to drive the CPU 601 such as IPL, and work area of the CPU 601.
- HDC Hard Disk Controller
- an expansion bus line 650 such as an address bus or a data bus is provided for electrical connection.
- an expansion bus line 650 such as an address bus or a data bus is provided for electrical connection.
- no GPU is provided as in the communication terminal 500d as a projector.
- the hardware configuration of the management apparatus 700 is the same as the hardware configuration of the distribution control apparatus 600, description thereof is omitted.
- FIG. 30 is a functional block diagram showing each function of distribution control apparatus 600 according to the present embodiment.
- FIG. 30 illustrates a functional configuration when the distribution control device 600 distributes video (sound) data to the communication terminal 500f1, but the distribution control device 600 has the same functional configuration even when the distribution destination is other than the communication terminal 500f1.
- the distribution control device 600 includes a plurality of distribution engine servers. However, in order to simplify the description, a case where a single distribution engine server is included will be described below.
- the distribution control device 600 has each functional configuration illustrated in FIG. 30 by a hardware configuration and a program such as a processor that is the CPU 601 or the GPU 615 illustrated in FIG. 29. .
- the distribution control device 600 includes a whiteboard unit 620, a transmission / reception unit 621, a whiteboard control unit 622, a transmission FIFO (First-InFirst-Out) 624, a time management unit 625, a time acquisition unit 626, and a line adaptation.
- a control unit 627, an encoder bridge unit 630, a transmission / reception unit 631, a reception FIFO 634, a recognition unit 635, a delay information acquisition unit 637a, a line adaptive control unit 637b, and a decoding unit 640 are provided.
- the distribution control device 600 includes a storage unit 2000, a coordinate storage unit 122, and a data management unit 120 constructed by the HDD 604 shown in FIG.
- the storage unit 2000 stores later-described recognition information output from the recognition unit 635 and sent via the whiteboard control unit 622.
- the content data acquired by the whiteboard unit 620 can be temporarily stored in the storage unit 2000 as a cache.
- the coordinate storage unit 122 stores the coordinates input to the communication terminal 500.
- the data management unit 120 stores stroke data indicating a stroke generated from the coordinates.
- the transmission / reception unit 621 transmits / receives various data, various requests, various instructions, and the like to / from the management device 700 and an arbitrary communication terminal. For example, the transmission / reception unit 621 acquires content data from an arbitrary communication terminal via an additional message communication port. Also, the transmission / reception unit 621 outputs various data acquired from the management apparatus 700 to each functional configuration in the distribution control apparatus 600, or distributes based on various data acquired from the management apparatus 700, various requests, or various instructions. Each functional configuration in the control device 600 is controlled. For example, the transmission / reception unit 621 switches the combination of the components in the encoder bridge unit 630 illustrated in FIG. 31 based on a distribution switching request from the management device 700.
- the whiteboard control unit 622 controls the whiteboard unit 620. Specifically, the whiteboard control unit 622 acquires various operation data indicating the operation by the user transmitted via the additional message communication port from the communication terminal 500 via the transmission / reception unit 631, and sends it to the whiteboard unit 620. Output.
- the operation data is data generated by an operation event (such as an operation with the keyboard 611 or the mouse 612 or a stroke with the electronic pen P) in the communication terminal 500.
- the whiteboard control unit 622 stores the coordinates input to the display of the communication terminal 500 in the operation data in the coordinate storage unit 122. Then, the whiteboard control unit 622 generates stroke data indicating a stroke by a user operation from all the coordinates stored and accumulated in the coordinate accumulation unit 122 and outputs the stroke data to the whiteboard unit 620.
- the whiteboard control unit 622 when the user operation is a page command (page addition instruction), the whiteboard control unit 622 outputs the added page to the whiteboard unit 620. Further, when the user operation is an image command (an instruction to add an image), the whiteboard control unit 622 outputs the added image to the whiteboard unit 620. The whiteboard control unit 622 outputs a mouse event to the whiteboard unit 620 when no operation is performed by the user.
- the whiteboard control unit 622 is transmitted from the communication terminal 500 via the additional message communication port. Sensor information which is an output signal of each sensor is acquired and output to the whiteboard unit 620. Further, the whiteboard control unit 622 acquires image (sound) data from the recognition unit 635 and outputs the image (sound) data to the whiteboard unit 620, acquires recognition information described later from the recognition unit 635, and stores it in the storage unit 2000. To do. In addition, the whiteboard control unit 622 acquires video (sound) data from the reception FIFO 634 and outputs the video (sound) data to the whiteboard unit 620.
- the whiteboard unit 620 generates each frame data as still image (sound) data by rendering content data or the like as image (sound) data by a renderer function.
- the renderer is also a layout engine (Layout Engine) for laying out a plurality of types of content ([p1], [p2], [E1], [E2]) as shown in FIG.
- the whiteboard unit 620 when the whiteboard unit 620 acquires the stroke data generated by the whiteboard control unit 622, the whiteboard unit 620 stores the stroke data in the data management unit 120. At this time, the whiteboard unit 620 stores the stroke data in, for example, a text format or a PDF (Portable Document Format) format. Then, the whiteboard unit 620 generates frame data as still image (sound) data by rendering the acquired stroke data. At this time, if there is content data that has already been acquired, the whiteboard unit 620 outputs the content data in a layout in which stroke data that is operation data is combined.
- the whiteboard unit 620 stores the acquired page in the data management unit 120.
- the whiteboard unit 620 stores the acquired image in the data management unit 120 when the user operation is an image command (an instruction to add an image).
- the transmission FIFO 624 is a buffer that stores each frame data as still image (sound) data generated by the whiteboard unit 620.
- the time management unit 625 manages the time T unique to the distribution control device 600.
- the time acquisition unit 626 performs time adjustment processing in cooperation with a time control unit 656 in the communication terminal 500 described later. Specifically, the time acquisition unit 626 acquires time information (T) indicating the time T in the distribution control device 600 from the time management unit 625, or the time control described below via the transmission / reception unit 631 and the transmission / reception unit 651. The time information (t) indicating the time t in the communication terminal 500 is received from the unit 556, or the time information (t) and the time information (T) are transmitted to the time control unit 556.
- the line adaptation control unit 627 calculates the reproduction delay time U based on the transmission delay time information (D), and calculates the operating conditions such as the frame rate and data resolution of the conversion unit 661 in the encoder bridge unit 630. To do.
- the reproduction delay time U is a time for delaying reproduction by buffering data before reproduction. That is, the line adaptation control unit 627 changes the operation of the encoder bridge unit 630 based on the transmission delay time information (D) and the data size (number of bits, number of bytes, etc.).
- the transmission delay time information (D) indicates frequency distribution information configured by a plurality of transmission delay times D1 acquired from the reproduction control unit 553 by the delay information acquisition unit 557 in the communication terminal 500. Each transmission delay time D ⁇ b> 1 indicates a time from when the video (sound) data is transmitted by the distribution control device 600 to when it is received by the communication terminal 500.
- the encoder bridge unit 630 outputs each frame data as still image (sound) data generated by the whiteboard unit 620 to the conversion unit 661 (see FIG. 31) in the encoder bridge unit 630. At this time, the conversion unit 661 performs each process in consideration of the operation condition calculated by the line adaptive control unit 627.
- the encoder bridge unit 630 will be described in more detail with reference to FIGS. 31 and 32.
- FIG. 31 is a detailed view of the encoder bridge unit.
- FIG. 32 is a functional block diagram showing each function of the conversion unit.
- the encoder bridge unit 630 includes a creation / selection / transfer unit 660, a selection unit 670, and a plurality of conversion units (661a, 661b, 661c) between them. . Although three conversion units are shown here, the number may be 1-2, or four or more. Hereinafter, an arbitrary conversion unit is represented as “conversion unit 661”.
- the conversion unit 661 can transmit the data format of each frame data as still image (sound) data generated by the whiteboard unit 620 to the communication terminal 500 via the communication network 9. Convert to Therefore, as shown in FIG. 32, the conversion unit 661 includes a trimming unit 662, a resizing unit 663, a dividing unit 664, and an encoding unit 665, thereby performing various processes on the frame data.
- the trimming unit 662, the resizing unit 663, and the dividing unit 664 do not perform processing in the case of sound data.
- the trimming unit 662 performs a process of cutting out only a part of the still image.
- the resizing unit 663 changes the scale of the still image.
- the dividing unit 664 divides the still image as shown in FIG.
- the encoding unit 665 distributes video (sound) data to the communication terminal 500 via the communication network 9 by encoding each frame data as still image (sound) data generated by the whiteboard unit 620. Convert as you can.
- the encoding unit 665 saves bandwidth by inserting skip frame (also referred to as “frame skip”) data until the video moves after that if the video does not move (no update (change) between frames). To do.
- the creation / selection / transfer unit 660 creates a new conversion unit 661, selects frame data as still image (sound) data to be input to the conversion unit 661 that has already been created, The frame data is transferred to the unit 661.
- the creation / selection / transfer unit 660 creates the conversion unit 661 capable of conversion according to the reproduction capability of video (sound) data in the communication terminal 500.
- the creation / selection / transfer unit 660 selects the conversion unit 661 that has already been created. For example, when starting distribution to the communication terminal 500b in addition to distribution to the communication terminal 500a, the same video (sound) data as the video (sound) data distributed to the communication terminal 500a is distributed to the communication terminal 500b. There is.
- the creation / selection / transfer unit 660 creates a new conversion for the communication terminal 500b.
- the conversion unit 661a already created for the communication terminal 500a is used without creating the unit 661b.
- the creation / selection / transfer unit 660 transfers the frame data stored in the transmission FIFO 624 to the conversion unit 661.
- the selection unit 670 selects a desired one from the conversion unit 661 already created.
- the selection unit 670 selects a desired one from the conversion unit 661 already created.
- the transmission / reception unit 631 transmits / receives various data and requests to / from the communication terminal 500 via the additional message communication port.
- the transmission / reception unit 631 transmits various data, requests, and the like from the cloud to the communication terminal 500 via the communication network 9, so that the distribution control device 600 distributes the various data, requests, and the like to the communication terminal 500. be able to.
- the transmission / reception unit 631 transmits authentication screen data for prompting the user to log in to the transmission / reception unit 651 of the communication terminal 500.
- the transmission / reception unit 631 receives operation data indicating an operation by the user from the communication terminal 500 via the additional message communication port.
- the transmission / reception unit 631 converts frame data (converted video data) obtained by converting each frame data as still image (sound) data into a data format that can be distributed to the communication terminal 500 via the communication network 9 by the conversion unit 661.
- the message is transmitted to the communication terminal 500 via the additional message communication port.
- the transmission / reception unit 631 corresponds to a reception unit and a transmission unit.
- the transmission / reception unit 631 performs data transmission to the user application of the communication terminal 500 and the device application of the communication terminal 500 by using a protocol unique to the image processing system 1000 via a HypertextHTransfer Protocol Secure Socket Layer (HTTPS) server. Receive data.
- HTTPS HypertextHTransfer Protocol Secure Socket Layer
- This unique protocol is an HTTPS-based application layer protocol for transmitting and receiving data between the distribution control device 600 and the communication terminal in real time without interruption.
- the transmission / reception unit 631 performs transmission response control, real-time data creation, command transmission, reception response control, reception data analysis, and gesture conversion.
- the transmission response control is a process for managing a download HTTPS session requested (requested) from the communication terminal 500 in order to transmit data from the distribution control device 600 to the communication terminal 500.
- the response of the HTTPS session for download does not end immediately, but is held for a certain time (1 to several minutes).
- the transmission / reception unit 631 dynamically writes the data to be transmitted to the communication terminal 500 in the body part of the response. In order to eliminate the cost of reconnection, another request is received from the communication terminal 500 before the previous session is completed. By making the transmission / reception unit 631 wait until the previous request is completed, the overhead can be deleted even if reconnection is performed.
- Real-time data creation is a process of adding a unique header to the compressed video (and compressed sound) data generated by the encoding unit 665 in FIG. 32 and writing it in the Body part of HTTPS.
- the command transmission is a process for generating command data to be transmitted to the communication terminal 500 and writing it in the Body part of the HTTPS to the communication terminal 500.
- the reception response control is a process for managing an HTTPS session requested from the communication terminal 500 in order for the distribution control device 600 to receive data from the communication terminal 500.
- the response of this HTTPS session does not end immediately, but is held for a certain time (1 to several minutes).
- the communication terminal 500 dynamically writes the data to be transmitted to the transmission / reception unit 631 of the distribution control device 600 in the Body part of the request.
- the received data analysis is a process of analyzing the data sent from the communication terminal 500 for each type and passing the data to a necessary process.
- the gesture conversion is a process of converting a gesture event input by the user to the communication terminal 500f as an electronic blackboard by an electronic pen or handwriting into data in a format that can be received by the whiteboard unit 620.
- the reception FIFO 634 is a buffer for storing video (sound) data after being decoded by the decoding unit 640.
- the recognition unit 635 performs processing on image (sound) data received from the communication terminal 500. Specifically, the recognizing unit 635 recognizes the face, age, sex, and the like of a person or an animal from an image taken by the camera 562 for signage, for example. In addition, the recognition unit 635 performs name tagging by face recognition, background image replacement processing, and the like from an image captured by the camera 562 for the office. The recognition unit 635 causes the storage unit 2000 to store recognition information indicating the recognized content. The recognizing unit 635 achieves high speed by performing processing with the recognition expansion board.
- the delay information acquisition unit 637a is used for uplink channel adaptive control processing corresponding to the delay information acquisition unit 557 on the communication terminal 500 side used for downlink channel adaptive control processing. Specifically, the delay information acquisition unit 637a acquires the transmission delay time information (d1) indicating the transmission delay time d1 from the decoding unit 640, holds the transmission delay time information (d1) for a certain period, and stores a plurality of transmission delay time information (d1). Once acquired, the transmission delay time information (d) indicating the frequency distribution information by the plurality of transmission delay times d1 is output to the line adaptive control unit 637b.
- the transmission delay time information (d1) indicates the time from when the video (sound) data is transmitted by the communication terminal 500 until it is received by the distribution control device 600.
- the line adaptive control unit 637b is used for uplink line adaptive control processing corresponding to the line adaptive control unit 627 used for downlink line adaptive control processing. Specifically, the line adaptation control unit 637b calculates the operating condition of the encoding unit 560 on the communication terminal 500 side based on the transmission delay time information (d). Also, the line adaptation control unit 637b transmits a line adaptation control signal indicating operation conditions such as a frame rate and data resolution to the encoding unit 560 of the communication terminal 500 via the transmission / reception unit 631 and the transmission / reception unit 651.
- the decoding unit 640 decodes video (sound) data transmitted from the communication terminal 500.
- the decoding unit 640 outputs transmission delay time information (d1) indicating the transmission delay time d1 to the delay information acquisition unit 637a.
- FIG. 33 is a functional block diagram showing functions of communication terminal 500 according to the present embodiment.
- the communication terminal 500 is a terminal that serves as an interface for a user to log in to the image processing system 1000 and start or stop the distribution of video (sound) data.
- the communication terminal 500 has each functional configuration shown in FIG. 33 by the hardware configuration and program such as the CPU 601 shown in FIG.
- the program an electronic conference system program and an electronic blackboard program may be prepared.
- the electronic conference system program and the electronic blackboard program cooperate to operate the CPU 601.
- the communication terminal 500 can communicate with other terminals and systems via the communication network 9 by inserting a dongle, the hardware configuration and program shown in FIG. It has each functional composition made.
- the communication terminal 500 includes a decoding unit 550, a transmission / reception unit 551, an operation unit 552, a reproduction control unit 553, a rendering unit 555, a time control unit 556, a delay information acquisition unit 557, a display unit 558, and an encoding unit 560.
- the communication terminal 500 has a storage unit 5000 constructed by the RAM 603 shown in FIG.
- the storage unit 5000 stores time difference information ( ⁇ ) indicating a time difference ⁇ described later, and time information (t) indicating a time t in the communication terminal 500.
- the decoding unit 550 deserializes and decodes video (sound) data distributed from the distribution control device 600 and output from the reproduction control unit 553. If the decoded video (sound) data includes audio, the audio is output from the speaker 561.
- the transmission / reception unit 551 transmits / receives various data and requests to / from the transmission / reception unit 531 of the distribution control apparatus 600 and the management apparatus 700.
- the transmission / reception unit 551 makes a login request to the management apparatus 700 based on the activation of the communication terminal 500 by the operation unit 552 in the login process of the communication terminal 500.
- the operation unit 552 performs a process of accepting a user's operation input.
- the operation unit 552 accepts an input or selection by a power switch, a keyboard, a mouse, an electronic pen P, or the like, and sends it to the whiteboard control unit 622 of the distribution control device 600 as operation data. Send.
- the reproduction control unit 553 buffers the video (sound) data (real-time data packet) received from the transmission / reception unit 551 and outputs the data to the decoding unit 550 in consideration of the reproduction delay time U. In addition, the reproduction control unit 553 calculates transmission delay time information (D1) indicating the transmission delay time D1, and outputs it to the delay information acquisition unit 557.
- D1 transmission delay time information
- the rendering unit 555 renders the data decoded by the decoding unit 550.
- the time control unit 556 performs time adjustment processing in cooperation with the time acquisition unit 626 of the distribution control device 600. Specifically, time control unit 556 acquires time information (t) indicating time t in communication terminal 500 from storage unit 5000. Further, the time control unit 556 requests time information (T) indicating the time T in the distribution control device 600 from the time acquisition unit 626 of the distribution control device 600 via the transmission / reception unit 551 and the transmission / reception unit 531. In this case, time information (t) is transmitted together with a request for time information (T).
- the delay information acquisition unit 557 acquires transmission delay time information (D1) indicating the transmission delay time D1 from the reproduction control unit 553, holds the transmission delay time information for a certain time, and acquires a plurality of transmission delay time information (D1).
- Transmission delay time information (D) indicating frequency distribution information based on a plurality of transmission delay times D1 is transmitted to the channel adaptation control unit 627 via the transmission / reception unit 551 and the transmission / reception unit 531.
- the transmission delay time information (D) is transmitted once every 100 frames, for example.
- the display unit 558 reproduces the data rendered by the rendering unit 555.
- the encoding unit 560 is acquired from the built-in microphone 613, the external camera 562 and the microphone 563, encoded and converted into text, and serialized video (sound) data [E], and acquired from the storage unit 5000.
- the data is transmitted to the decoding unit 640 of the device 600.
- the time difference ⁇ is the difference between the time managed by the distribution control device 600 and the time managed by the communication terminal 500.
- the encoding unit 560 changes the operating condition of the encoding unit 560 based on the operating condition indicated by the channel adaptive control signal received from the channel adaptive control unit 637b. Furthermore, the encoding unit 560 acquires video (sound) data [E] serialized by acquiring from the camera 562 and the microphone 563, encoding and texting in accordance with the new operation conditions, and the current communication acquired from the storage unit 5000.
- the time information (t0) indicating the time t0 in the terminal 500 and the time difference information ( ⁇ ) indicating the time difference ⁇ acquired from the storage unit 5000 are transmitted via the transmission / reception unit 551 and the transmission / reception unit 531 using the communication application.
- the message is transmitted from the additional message communication port to the decoding unit 640 of the distribution control device 600.
- the input means may be capable of outputting touch data and smell data in addition to video (sound) data.
- the input means includes various sensors such as a temperature sensor, a direction sensor, and an acceleration sensor.
- FIG. 34 is a sequence diagram showing basic distribution processing of the distribution control apparatus according to the present embodiment.
- a login request is made using the communication terminal 500a
- a login may be made using a communication terminal 500 other than the communication terminal 500a.
- the transmission / reception unit 551 of the communication terminal 500a transmits a login request to the management device 700 (step S51).
- the management device 700 receives the login request and authenticates the communication terminal 500a (step S52).
- the communication terminal 500a is authenticated as a valid terminal in the image processing system 1000 will be described subsequently.
- the management apparatus 700 transmits the IP address of the distribution control apparatus 600 to the transmission / reception unit 551 of the communication terminal 500a (step S53).
- the IP address of the distribution control device 600 is acquired from the distribution control device 600 by the management device 700 and stored in advance.
- the management apparatus 700 makes a distribution process start request to the transmission / reception unit 621 of the distribution control apparatus 600 (step S54).
- the transmission / reception unit 621 receives a request to start the distribution control apparatus process.
- the whiteboard control unit 622 controls the whiteboard unit 620 based on the start request received by the transmission / reception unit 621.
- the creation / selection / transfer unit 660 of the encoder bridge unit 630 creates the conversion unit 661 according to the playback capability (display resolution, etc.) of the communication terminal 500a and the type of content (step S55).
- the transmission / reception unit 551 of the communication terminal 500a may transmit a message communication port addition request to the distribution control device 600.
- the port number may be specified by the message communication port addition request, or the port number to be added by the message communication port addition request may be set in advance.
- the distribution control device 600 opens the message communication port and notifies the communication terminal 500a that the message communication port has been opened.
- the transmission / reception unit 621 acquires content data [A] from an arbitrary communication terminal 500 via the additional message communication port according to the instruction of the whiteboard unit 620 (step S56).
- the whiteboard unit 620 generates each frame data as still image (sound) data by rendering the content data [A] acquired by the transmission / reception unit 621, and outputs the frame data to the transmission FIFO 624 ( Step S57).
- the conversion unit 661 encodes each frame data stored in the transmission FIFO 624, serializes it by converting it into text, and converts it into video (sound) data [A] to be distributed to the communication terminal 500a (step S58).
- the transmission / reception unit 631 transmits the video (sound) data [A] from the additional message communication port to the transmission / reception unit 651 of the communication terminal 500a (step S59). Thereby, the transmission / reception unit 551 of the communication terminal 500a receives the video (sound) data [A] and outputs it to the reproduction control unit 553.
- the decoding unit 550 acquires the video (sound) data [A] from the reproduction control unit 553, decodes it, and deserializes it (step S60). Thereafter, the speaker 561 reproduces sound based on the decoded sound data [A], and the display unit 558 is based on the video data [A] obtained by the rendering unit 555 from the decoding unit 550 and rendered. The video is reproduced (step S61).
- FIG. 35 is a sequence diagram illustrating distribution processing using a plurality of communication terminals 500 via distribution control device 600 according to the embodiment. Here, specific processing will be described for the patterns shown in FIG. 28 as the plurality of communication terminals 500. In FIG. 35, the processing is the same as the login processing, the start request, and the creation of the conversion unit similar to steps S51 to S55 in FIG.
- the encoding unit 560 of the communication terminal 500f1 receives input of content data as video (sound) data [E] from the camera 562 and the microphone 563 (step S71), the encoding unit 560 encodes the content data [E] ( Step S72).
- the transmission / reception unit 551 transmits the content data [E] encoded by the encoding unit 560 to the transmission / reception unit 631 of the distribution control device 600 (step S73). Thereby, the transmission / reception unit 631 of the distribution control device 600 receives the content data [E].
- the decoding unit 640 of the distribution control device 600 decodes the content data [E] received by the transmission / reception unit 631 and outputs it to the reception FIFO 634 (step S74).
- the whiteboard unit 620 renders the content data [E] stored in the reception FIFO 634 to generate frame data [E] as still image (sound) data, and outputs the frame data [E] to the transmission FIFO 624. (Step S75). In this case, if there is already acquired content data, the whiteboard unit 620 outputs the content data [E] in a combined layout.
- the transmission / reception unit 551 displays operation data [p] indicating the content of the stroke operation received by the operation unit 552. Is transmitted to the transmission / reception unit 631 of the distribution control apparatus 600 (step S77). As a result, the transmission / reception unit 631 of the distribution control apparatus 600 receives the operation data [p]. Then, the whiteboard control unit 622 outputs the operation data [p] received by the transmission / reception unit 631 to the whiteboard unit 620.
- the whiteboard unit 620 generates frame data [p] as still image (sound) data by rendering the operation data [p], and outputs the frame data [p] to the transmission FIFO 624 (step S78). In this case, the whiteboard unit 620 outputs the layout data in which the operation data [p] is combined with the already acquired content data [E].
- the conversion unit 661 encodes each frame data ([E], [p]) as still image (sound) data stored in the transmission FIFO 624 and serializes it by converting it into text, thereby enabling communication. It is converted into video (sound) data ([E], [p]) to be distributed to the terminal 500a (step S79).
- the transmission / reception unit 631 acquires the encoded video (sound) data ([E], [p]) from the encoder bridge unit 630 including the conversion unit 661, and performs additional message communication with the transmission / reception unit 551 of the communication terminal 500f1. Transmission is performed via the port (step S80-1). Thereby, the transmission / reception unit 551 of the communication terminal 500f1 receives the video (sound) data ([E], [p]) via the additional message communication port, and the reproduction control unit 553 of the communication terminal 500f1 receives the transmission / reception unit 551 from the transmission / reception unit 551. Video (sound) data ([E], [p]) is acquired.
- the decoding unit 550 acquires the video (sound) data ([E], [p]) from the reproduction control unit 553 and decodes it (step S81-1). Thereafter, the speaker 561 reproduces a sound based on the decoded sound data [E], and the display unit 558 acquires the video data ([E], [R] acquired from the decoding unit 550 by the rendering unit 555 and rendered. p]), the video is reproduced (step S82-1).
- the transmission / reception unit 531 acquires the encoded video (sound) data ([E], [p]) from the encoder bridge unit 630, and performs communication.
- the data is transmitted to the transmission / reception unit 551 of the terminal 500f2 (step S80-2).
- the reproduction control unit 553 of the communication terminal 500f2 acquires video (sound) data ([E], [p]).
- the decoding unit 550 acquires the video (sound) data ([E], [p]) from the reproduction control unit 553 and decodes it (step S81-2). Thereafter, the speaker 561 reproduces a sound based on the decoded sound data [E], and the display unit 558 acquires the video data ([E], [R] acquired from the decoding unit 550 by the rendering unit 555 and rendered. p]), the video is reproduced (step S82-2).
- FIG. 36 is a flowchart showing the flow of rendering processing by the whiteboard unit of the distribution control apparatus according to this embodiment.
- the whiteboard control unit 622 determines whether the data received by the transmission / reception unit 631 is operation data [p] (step S91). When the received data is not operation data (step S91: No), that is, when the received data is content data [E], the whiteboard unit 620 renders the content data [E] (step S99). This processing is the rendering processing in step S75 in FIG.
- step S91 when the received data is operation data (step S91: Yes), the whiteboard control unit 622 determines whether the command included in the operation data is a stroke command (step S92). When the command included in the operation data is a stroke command (step S92: Yes), the whiteboard control unit 622 determines whether a mouse up event has been received (step S93).
- the whiteboard control unit 622 stores the coordinates included in the operation data together with the transmission ID in the coordinate storage unit 122 (step S94).
- the transmission ID is an identification number given when operation data including a scroll command is received.
- meta-stroke information such as color and thickness included in the operation data may be stored in the coordinate storage unit 122.
- the coordinates may include time and pressure information in addition to the X and Y coordinates. In the following, it is assumed that the stroke data is generated from the metastroke information and the coordinate sequence.
- step S93 when the mouse up event is received in step S93 (step S93: Yes), the whiteboard control unit 622 determines whether or not the coordinates related to the transmission ID are stored in the coordinate storage unit 122 (step S93). S95). If the coordinates related to the transmission ID are not accumulated in the coordinate accumulation unit 122 (step S95: No), the process ends without doing anything.
- step S95 when the coordinates related to the transmission ID are stored in the coordinate storage unit 122 (step S95: Yes), the whiteboard control unit 622 extracts all the coordinates stored in the coordinate storage unit 122, and extracts all the extracted coordinates. Stroke data indicating a stroke is generated from the coordinates (step S96). The whiteboard control unit 622 deletes the extracted coordinates from the coordinate storage unit 122.
- the whiteboard control unit 622 outputs the generated stroke data to the whiteboard unit 620 (step S97).
- the whiteboard unit 620 stores the acquired stroke data in the data management unit 120 (step S97). Then, the whiteboard unit 620 renders the acquired stroke data (step S99).
- step S92 when the command included in the operation data is not a stroke command (step S92: No), the whiteboard control unit 622 determines whether the command included in the operation data is a page command (step S100). .
- step S100 If the command included in the operation data is a page command (step S100: Yes), the whiteboard control unit 622 outputs an additional page to the whiteboard unit 620 (step S101).
- the whiteboard unit 620 stores the acquired page in the data management unit 120 (step S102) and renders it (step S99).
- step S100 when the command included in the operation data is not a page command (step S100: No), the whiteboard control unit 622 determines whether the command included in the operation data is an image command (step S103).
- the whiteboard control unit 622 outputs an additional image to the whiteboard unit 620 (step S104).
- the whiteboard unit 620 stores the acquired image in the data management unit 120 (step S105) and renders (step S99).
- the whiteboard control unit 622 outputs the mouse event to the whiteboard unit 620 (step S106), and the whiteboard unit 620 renders the command. (Step S99).
- the whiteboard unit 620 At the time of data registration in the data management unit 120, the whiteboard unit 620 generates PDF data from all pages and stores it in the data management unit 120 as backup data.
- the distribution control apparatus 600 stores coordinates input on the display of the communication terminal 500, and generates stroke data indicating a stroke by an operation from the user from all the accumulated coordinates. Then, the generated stroke data is stored, and the acquired stroke data is rendered to generate frame data as still image (sound) data. At this time, if there is content data that has already been acquired, the content data is output in a layout in which stroke data that is operation data is combined.
- each frame data as still image (sound) data is converted to a data format that can be distributed to the communication terminal 500, the frame data is transmitted to the communication terminal 500 and is reproduced on the display of the communication terminal 500. In this way, by saving the operation input by the user at the time of distributing the frame data (video data), the operation input such as the stroke can be displayed on the display even after the distribution of the frame data, and the convenience is improved.
- the program executed by the distribution control apparatus 600 according to the present embodiment is an installable or executable file, such as a CD-ROM, a flexible disk (FD), a CD-R, a DVD (Digital Versatile Disk), etc. And recorded on a computer-readable recording medium.
- the program executed by the distribution control apparatus 600 according to the present embodiment may be stored on a computer connected to a network such as the Internet and provided by being downloaded via the network. Further, the program executed by the distribution control apparatus 600 according to the present embodiment may be configured to be provided or distributed via a network such as the Internet. Further, the program executed by the distribution control apparatus 600 according to the present embodiment may be configured to be provided by being incorporated in advance in a ROM or the like.
- the program executed by the distribution control apparatus 600 according to the present embodiment includes the above-described units (transmission / reception unit 621, whiteboard control unit 622, transmission FIFO 624, time management unit 625, time acquisition unit 626, line adaptation control unit 627). , Encoder bridge unit 630, transmission / reception unit 631, reception FIFO 634, recognition unit 635, delay information acquisition unit 637a, line adaptation control unit 637b, decoding unit 640). Furthermore, in the distribution control apparatus 600 according to the present embodiment, as the actual hardware, the CPU (processor) reads the program from the storage medium and executes the program, so that the respective units are loaded on the main storage device. Are generated on the main memory. In addition, for example, some or all of the functions of the above-described units may be realized by a dedicated hardware circuit.
- the communication path is set by setting a common message communication port in the electronic conference system and the communication system using the electronic blackboard.
- the number of communication ports to be used does not increase, so that network resources can be prevented from being compressed. For this reason, network resources can be used effectively.
- the processing load of a communication terminal such as an electronic blackboard can be reduced by providing the distribution control device.
- the image forming system is an example of an information processing system
- the communication terminal 500 and the electronic blackboard 2 are examples of an information processing device
- the first information processing system is an example of a conference system
- the second The information processing system is an example of a communication system using the electronic blackboard 2.
- the remote start processing unit 61 and the remote participation processing unit 62 are examples of setting units
- the video superimposing unit 28 and the display superimposing unit 36 are examples of content processing units
- the coordinate detecting unit 22 and the contact detecting unit 24 are operated. It is an example of a reception part
- the program for the electronic blackboard 2 is an example of an information processing program.
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Computer Networks & Wireless Communication (AREA)
- General Engineering & Computer Science (AREA)
- Business, Economics & Management (AREA)
- General Business, Economics & Management (AREA)
- User Interface Of Digital Computer (AREA)
- Information Transfer Between Computers (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
- Telephonic Communication Services (AREA)
Abstract
通信ネットワークを介して接続される情報処理装置は、第1の情報処理システムにしたがって第1のコンテンツの第1のコンテンツデータを送信するために前記情報処理装置と他の情報処理装置との間で設定された通信経路から、該他の情報処理装置に第2の情報処理システムにしたがって第1のコンテンツに関して作成される第2のコンテンツの第2のコンテンツデータを送信する送信部を有する。
Description
本発明は、情報処理装置システムに関する。
企業や教育機関、行政機関等における会議等において、大型ディスプレイに表示させた背景画像に文字や数字、図形等のストローク画像を描画可能な電子黒板が利用されている。電子黒板の一例として、表示装置を制御するコンピュータ装置が背景画像に挿入画像を重畳して表示装置に表示させる電子情報ボードシステムが知られている(例えば、特許文献1参照)。
テレビ会議システムを利用していたユーザに電子黒板の利用を促すことを考える。この場合、テレビ会議システムを利用していたユーザに、電子黒板の機能を追加させることによって電子黒板を利用させるのが好ましい。これによって、テレビ会議システムのUI(User Interface)をそのまま利用できるなどの利便性を向上できるため、電子黒板の導入を促進させることができる。ここで、テレビ会議システムと電子黒板とを共存させるには、テレビ会議システムを動作させるソフトウェアと、電子黒板を動作させるソフトウェアとを独立して動作させることが考えられる。
しかし、テレビ会議システムを動作させるソフトウェアと、電子黒板を動作させるソフトウェアとを独立して動作させるには、テレビ会議を行う拠点間の通信経路と、該拠点間で電子黒板を用いて通信を行う通信経路とを確保することが必要となる。このため、電子黒板の導入先において、ネットワーク資源を圧迫するおそれがある。
以上は、テレビ会議システムなどの第1の情報処理システムに電子黒板などの第2の情報処理システムの機能を導入する場合に当てはまる。
本発明は上記の問題点に鑑み提案されたものであり、その目的とするところは、第1の情報処理システムに第2の情報処理システムの機能を導入した場合にネットワーク資源を有用に利用することにある。
開示の一実施の形態の情報処理装置は、
通信ネットワークを介して接続される情報処理装置であって、
第1の情報処理システムにしたがって第1のコンテンツの第1のコンテンツデータを送信するために前記情報処理装置と他の情報処理装置との間で設定された通信経路から、該他の情報処理装置に第2の情報処理システムにしたがって前記第1のコンテンツに関して作成される第2のコンテンツの第2のコンテンツデータを送信する送信部
を有する。
通信ネットワークを介して接続される情報処理装置であって、
第1の情報処理システムにしたがって第1のコンテンツの第1のコンテンツデータを送信するために前記情報処理装置と他の情報処理装置との間で設定された通信経路から、該他の情報処理装置に第2の情報処理システムにしたがって前記第1のコンテンツに関して作成される第2のコンテンツの第2のコンテンツデータを送信する送信部
を有する。
開示の実施の形態によれば、第1の情報処理システムに第2の情報処理システムの機能を導入した場合にネットワーク資源を有用に利用することができる。
次に、本発明を実施するための形態を、以下の実施例に基づき図面を参照しつつ説明する。以下で説明する実施例は一例に過ぎず、本発明が適用される実施の形態は、以下の実施例に限られない。
なお、実施例を説明するための全図において、同一機能を有するものは同一符号を用い、繰り返しの説明は省略する。
なお、実施例を説明するための全図において、同一機能を有するものは同一符号を用い、繰り返しの説明は省略する。
以下、図面を用いて、本発明の一実施の形態を説明する。
<第1の実施の形態>
<画像処理システムの概要>
図1は、本実施の形態の画像処理システム1の全体構成図である。なお、図1では、説明を簡略化するために、2台の電子黒板(ホワイトボード)2a,2bおよびこれに付随する電子ペン4a,4b等を示しているが、3台以上の電子黒板や電子ペン等を利用してもよい。
<画像処理システムの概要>
図1は、本実施の形態の画像処理システム1の全体構成図である。なお、図1では、説明を簡略化するために、2台の電子黒板(ホワイトボード)2a,2bおよびこれに付随する電子ペン4a,4b等を示しているが、3台以上の電子黒板や電子ペン等を利用してもよい。
一般に画像処理システムなどの伝送システムには、伝送管理システムを介して一方の電子黒板などの通信端末から他方の電子黒板などの通信端末に一方向でコンテンツデータを通信するデータ提供システムや、伝送管理システムを介して複数の通信端末間で情報や感情等を相互に伝達するコミュニケーションシステムが含まれる。このコミュニケーションシステムは、コミュニケーション管理システム(「伝送管理システム」に相当)を介して複数のコミュニケーション端末(「通信端末」に相当)間で情報や感情等を相互に伝達するためのシステムであり、テレビまたはビデオ会議システム、テレビ電話システム、音声会議システム、音声電話システム、PC(Personal computer)画面共有システム等が例として挙げられる。
図1に示されているように、画像処理システム1は、複数の電子黒板2a,2b、複数の電子ペン4a,4b、USBメモリ5a,5b、ノートPC(Personal Computer)6a,6b、テレビ(ビデオ)会議端末7a,7b、伝送管理システム50、およびPC8を有する。また、電子黒板2a,2b、会議端末7a,7b、伝送管理システム50、およびPC8は、通信ネットワーク9を介して通信可能に接続されている。さらに、複数の電子黒板2a,2bには、それぞれディスプレイ3a,3bが設けられている。
電子黒板2は、他の電子黒板またはテレビ(ビデオ)会議端末7、およびPC8との間で、画像データ、音声データ等の送受信を行うようになっている。例えば、通信IDが「01aa」である電子黒板2aと、通信IDが「01bb」である電子黒板2bとの間で高画質の画像データ、音声データ等の送受信を行うことによってテレビ会議を行うことができる。本実施の形態では、画像データの画像が静止画の場合について説明するが、静止画だけでなく動画であってもよい。また、画像データの画像に動画と静止画の両方が含まれていてもよい。伝送管理システム50は、複数の電子黒板2を一元的に管理するためのものである。
また、電子黒板2aは、電子ペン4aによって生じたイベント(ディスプレイ3aに電子ペン4aのペン先、又は、電子ペン4aのペン尻のタッチ)により描画された画像を、ディスプレイ3aに表示させることができる。なお、電子黒板2aは、電子ペン4aだけでなく、ユーザの手Ha等によって生じたイベント(拡大、縮小、ページめくり等のジェスチャ)に基づいて、ディスプレイ3a上に表示されている画像を変更させることもできる。
また、電子黒板2aには、USBメモリ5aが接続可能であり、電子黒板2aはUSBメモリ5aからPDF(Portable Document Format)等の電子ファイルを読み出したり、電子黒板2aはUSB(Universal Serial Bus)メモリ5aに電子ファイルを記録したりすることができる。また、電子黒板2aには、DisplayPort、DVI(Digital Visual Interface)、HDMI(登録商標)(High-Definition Multimedia Interface)およびVGA(Video Graphics Array)等の規格による通信が可能なケーブル10a1を介して、ノートPC6aが接続されている。そして、電子黒板2aは、ディスプレイ3aに対する接触によってイベントを発生させ、このイベントを示すイベント情報を、マウスやキーボード等の入力装置からのイベントと同様に、ノートPC6aに送信する。通信ネットワーク9には、上記規格による通信が可能なケーブル10a2を介して、テレビ(ビデオ)会議端末7aが接続されている。なお、ノートPC6a、およびテレビ会議端末7aは、Bluetooth(登録商標)等の各種無線通信プロトコルに準拠した無線通信により、電子黒板2aと通信してもよい。
一方、電子黒板2bが設置されている他の拠点では、上記の電子黒板2aと同様に、ディスプレイ3bを備えた電子黒板2b、電子ペン4b、USBメモリ5b、ノートPC6b、テレビ会議端末7b、ケーブル10b1、ケーブル10b2が利用される。さらに、ユーザの手Hb等によって生じたイベントに基づいて、ディスプレイ3b上に表示されている画像を変更させることもできる。
これにより、一の拠点で電子黒板2aのディスプレイ3a上に描画された画像は、他の拠点で電子黒板2bのディスプレイ3b上にも表示され、逆に他の拠点で電子黒板2bのディスプレイ3b上に描画された画像は、一の拠点で電子黒板2aのディスプレイ3a上に表示される。このように、画像処理システム1では、遠隔地において同じ画像を共有する遠隔共有処理を行うことができるため、遠隔地での会議等に用いると、非常に便利である。
なお、以下では、複数の電子黒板のうち任意の電子黒板を示す場合には「電子黒板2」と示す。複数のディスプレイのうち任意のディスプレイを示す場合には「ディスプレイ3」と示す。複数の電子ペンのうち任意の電子ペンを示す場合には「電子ペン4」と示す。複数のUSBメモリのうち任意のUSBメモリを示す場合には「USBメモリ5」と示す。複数のノートPCのうち任意のノートPCを示す場合には「ノートPC6」と示す。複数のテレビ会議端末のうち任意のテレビ会議端末を示す場合には「テレビ会議端末7」と示す。また、複数のユーザの手のうち任意の手を示す場合には「手H」と示す。複数のケーブルのうち任意のケーブルを示す場合には「ケーブル10」と示す。
本実施の形態では、コミュニケーションシステムの一例としての画像処理システム、コミュニケーション管理システムの一例としての伝送管理システム、およびコミュニケーション端末の一例としての電子黒板を想定した上で、画像処理システム、および伝送管理システム、および電子黒板について説明する。すなわち、電子黒板および伝送管理システムは、画像処理システム、テレビまたはビデオ会議システムに適用されるだけでなく、コミュニケーションシステム、または伝送システムにも適用される。
また、本実施の形態では、情報処理装置の一例として、電子黒板を説明するが、これに限るものではなく、情報処理装置の他の例として、デスクトップ型PCやタブレット型PCや、電子看板(デジタルサイネージ)、スポーツや天気予報等で利用されるテレストレータ、又は、遠隔画像(映像)診断装置等の画像処理装置であってもよい。また、情報処理端末の一例として、ノートPC6を説明するが、これに限るものではなく、情報処理端末の他の例として、デスクトップ型PCやタブレット型PC、PDA、デジタルビデオカメラ、デジタルカメラ、ゲーム機等の画像フレームを供給可能な端末であってもよい。さらに、通信ネットワークには、インターネット、LAN(Local Area Network)、携帯電話通信網等が含まれる。また、本実施の形態では、記録媒体の一例として、USBメモリを説明するが、これに限るものではなく、記録媒体の他の例として、SDカード等の各種記録メディアであってもよい。
<電子黒板のハードウェア構成>
図2を用いて、本実施の形態の電子黒板のハードウェア構成を説明する。なお、図2は、電子黒板のハードウェア構成図である。
図2を用いて、本実施の形態の電子黒板のハードウェア構成を説明する。なお、図2は、電子黒板のハードウェア構成図である。
図2に示されているように、電子黒板2は、電子黒板2全体の動作を制御するCPU101、IPL等のCPU101の駆動に用いられるプログラムを記憶したROM102、CPU101のワークエリアとして使用されるRAM103、電子黒板用のプログラム等の各種データを記憶するSSD104、通信ネットワーク9との通信を制御するネットワークコントローラ105、および、USBメモリ5との通信を制御する外部記憶コントローラ106を備えている。さらに、電子黒板2は、CPU101の制御に従って被写体を撮像し画像データを得るカメラ107と、このカメラ107の駆動を制御する撮像素子I/F108と、ノートPC6のディスプレイに対して映像情報を静止画または動画として表示させるキャプチャデバイス111、グラフィクスを専門に扱うGPU(Graphics Processing Unit)112、および、GPUからの出力画像をディスプレイ3やテレビ会議端末7へ出力するために画面表示の制御および管理を行うディスプレイコントローラ113を備えている。さらに、電子黒板2は、接触センサ115の処理を制御するセンサコントローラ114、ディスプレイ3上に電子ペン4やユーザの手H等が接触したことを検知する接触センサ115を備えている。本実施の形態における、この接触センサ115は、赤外線遮断方式による座標の入力および座標の検出を行う。この座標の入力および座標の検出する方法は、ディスプレイ3の上側両端部に設置された2つ受発光装置が、ディスプレイ3に平行して複数の赤外線を放射し、ディスプレイ3の周囲に設けられた反射部材によって反射されて、受光素子が放射した光の光路と同一の光路上を戻って来る光を受光する方法である。接触センサ115は、物体によって遮断された2つの受発光装置が放射した赤外線のID(Identification)をセンサコントローラ114に出力し、センサコントローラ114が、物体の接触位置である座標位置を特定する。なお、以下に示す全ての各IDは、識別情報の一例である。
また、接触センサ115としては、赤外線遮断方式に限らず、静電容量の変化を検知することにより接触位置を特定する静電容量方式のタッチパネル、対向する2の抵抗膜の電圧変化によって接触位置を特定する抵抗膜方式のタッチパネル、接触物体が表示部に接触することによって生じる電磁誘導を検知して接触位置を特定する電磁誘導方式のタッチパネルなどの種々の検出手段を用いてもよい。また、接触センサ115は、カメラを用いて、接触を判断し、座標位置を特定するものであっても良い。
また、電子黒板2は、電子ペンコントローラ116を備えている。この電子ペンコントローラ116は、電子ペン4と通信することで、ディスプレイ3へのペン先のタッチやペン尻のタッチの有無を判断する。なお、電子ペンコントローラ116が、電子ペン4のペン先およびペン尻だけでなく、電子ペン4のユーザが握る部分や、その他の電子ペンの部分のタッチの有無を判断するようにしてもよい。
さらに、電子黒板2は、音声を入力するマイク122と、音声を出力するスピーカ123と、CPU101の制御に従ってマイク122およびスピーカ123との間で音声信号の入出力を処理する音声入出力I/F124と、ユーザの操作を受け付ける操作ボタン125と、電子黒板2の電源のON/OFFを切り換えるための電源スイッチ126と、を備えている。
さらに、電子黒板2は、CPU101、ROM102、RAM103、SSD104、ネットワークコントローラ105、外部記憶コントローラ106、キャプチャデバイス111、GPU112、センサコントローラ114、電子ペンコントローラ116、撮像素子I/F108、音声入出力I/F124、操作ボタン125、および電源スイッチ126を、図2に示されているように電気的に接続するためのアドレスバスやデータバス等のバスライン120を備えている。
なお、電子黒板用のプログラムは、CD-ROM等のコンピュータで読み取り可能な記録媒体や、ネットワーク上のサーバに記録して流通やダウンロードさせるようにしてもよい。
<伝送管理システム50のハードウェア構成>
図3を用いて、本実施の形態に係る伝送管理システムのハードウェア構成を説明する。なお、図3は、伝送管理システム50のハードウェア構成図である。
図3を用いて、本実施の形態に係る伝送管理システムのハードウェア構成を説明する。なお、図3は、伝送管理システム50のハードウェア構成図である。
伝送管理システム50は、伝送管理システム50全体の動作を制御するCPU201と、伝送管理用プログラムを記憶したROM202と、CPU201のワークエリアとして使用されるRAM203と、各種データを記憶するHD(Hard Disk)204と、CPU201の制御に従ってHD204に対する各種データの読み出しおよび書き込みを制御するHDD205と、フラッシュメモリ等の記録メディア206に対するデータの読み出しおよび書き込み(記憶)を制御するメディアドライブ207とを備えている。さらに、伝送管理システム50は、カーソル、メニュー、ウィンドウ、文字、画像等の各種情報をディスプレイ216に表示させるためのディスプレイI/F208と、通信ネットワーク9を利用してデータ伝送をするためのネットワークI/F209と、文字、数値、各種指示等を入力するための複数のキーを備えたキーボード211と、各種指示の選択や実行、処理対象の選択、マウスカーソルなどのポインティングデバイスの移動等を行うマウス212とを備えている。さらに、伝送管理システム50は、着脱可能な記録媒体の一例としてのCD-ROM(Compact Disc Read Only Memory)213に対するデータの読み出しおよび書き込みを制御するCD-ROMドライブ214と、外部の装置との間で情報を送受信するための外部装置I/F215と、上記各構成要素間を相互に電気的に接続するためのアドレスバスやデータバス等のバスライン210とを備えている。
また、上記伝送管理用プログラムは、インストール可能な形式または実行可能な形式のファイルで、上記記録メディア206やCD-ROM213等のコンピュータで読み取り可能な記録媒体に記録して流通させるようにしてもよい。上記伝送管理用プログラムはHD204に記憶されていてもよい。
<電子黒板の機能構成>
図4を用いて、電子黒板2の全体的な機能構成について説明する。図4は、電子黒板2の機能ブロック図である。
図4を用いて、電子黒板2の全体的な機能構成について説明する。図4は、電子黒板2の機能ブロック図である。
電子黒板2は、図2に示されているハードウェア構成およびプログラムによって、図4に示されている各機能構成を有する。電子黒板2は、最初に遠隔共有処理を開始する「主催装置」となり得ると共に、既に開始されている遠隔共有処理に後から参加する「参加装置」にもなり得る。また、電子黒板2は、大きく分けて、クライアント部20およびサーバ部90の両方によって構成されている。クライアント部20およびサーバ部90のうち、電子黒板2にクライアント部20を備え、サーバ部90を配信制御装置などの電子黒板2とは異なる装置とするようにしてもよい。クライアント部20およびサーバ部90は、電子黒板2の1台の筐体内で実現される機能である。そして、電子黒板2が主催装置となる場合には、この電子黒板2では、クライアント部20とサーバ部90が実現(実行)される。また、電子黒板2が参加装置となる場合には、この電子黒板2では、クライアント部20は実現(実行)されるが、サーバ部90は実現(実行)されない。即ち、図1において、電子黒板2aが主催装置で、電子黒板2bが参加装置となる場合、電子黒板2aのクライアント部20は、同じ電子黒板2a内に実現されたサーバ部90を介して、他の電子黒板2bのクライアント部20と通信を行う。一方、電子黒板2bのクライアント部20は、他の電子黒板2a内に実現されたサーバ部90を介して、他の電子黒板2aのクライアント部と通信を行う。
〔クライアント部20の機能構成〕
続いて、クライアント部20の機能構成について説明する。図4に示されるように、クライアント部20は、操作入力受付部11、ログイン要求部12、音声入出力部13、撮像部14、映像取得部21、座標検知部22、自動調整部23、接触検知部24、イベント振分部25、操作処理部26、ジェスチャ処理部27、映像重畳部28、画像処理部30、および通信制御部60を有する。これら各機能部は、図2に示される各構成要素のいずれかが、ROM102に格納されているプログラムに従ったCPU101からの命令により動作することで実現される機能または手段である。これら各機能部のうち、操作入力受付部11、ログイン要求部12、音声入出力部13、および撮像部14を実現する電子会議システム用プログラムと、映像取得部21、座標検知部22、自動調整部23、接触検知部24、イベント振分部25、操作処理部26、ジェスチャ処理部27、映像重畳部28、画像処理部30、および通信制御部60を実現する電子黒板用プログラムとが用意されてもよい。この場合、ROM102に格納されている電子会議システム用プログラムと、電子黒板用プログラムとが協調してCPU101を動作させる。また、電子黒板2は、図2に示されるSSD104によって構築される記憶部を有している。
続いて、クライアント部20の機能構成について説明する。図4に示されるように、クライアント部20は、操作入力受付部11、ログイン要求部12、音声入出力部13、撮像部14、映像取得部21、座標検知部22、自動調整部23、接触検知部24、イベント振分部25、操作処理部26、ジェスチャ処理部27、映像重畳部28、画像処理部30、および通信制御部60を有する。これら各機能部は、図2に示される各構成要素のいずれかが、ROM102に格納されているプログラムに従ったCPU101からの命令により動作することで実現される機能または手段である。これら各機能部のうち、操作入力受付部11、ログイン要求部12、音声入出力部13、および撮像部14を実現する電子会議システム用プログラムと、映像取得部21、座標検知部22、自動調整部23、接触検知部24、イベント振分部25、操作処理部26、ジェスチャ処理部27、映像重畳部28、画像処理部30、および通信制御部60を実現する電子黒板用プログラムとが用意されてもよい。この場合、ROM102に格納されている電子会議システム用プログラムと、電子黒板用プログラムとが協調してCPU101を動作させる。また、電子黒板2は、図2に示されるSSD104によって構築される記憶部を有している。
操作入力受付部11は、図2に示される操作ボタン125および電源スイッチ126によって実現され、ユーザによる各種入力を受け付ける。例えば、ユーザが、電子黒板2の本体の電源スイッチをONにすると、操作入力受付部11が電源ONを受け付けて、電源をONにする。
ログイン要求部12は、図2に示されるCPU101からの命令によって実現され、ユーザの操作を契機として、通信制御部60から通信ネットワーク9を介して伝送管理システム50に、ログインを要求する旨を示すログイン要求情報、および電子黒板2の現時点のIPアドレスを自動的に送信する。
音声入出力部13は、図2に示されるマイク122、スピーカ123、および音声入出力I/F124によって実現される。音声入出力部13は、ユーザの音声を入力し、この音声を音声信号に変換することで音声信号に係る音声データを出力するとともに、音声データに係る音声信号を音声に変換して出力する。撮像部14は、図2に示されるカメラ107および撮像素子I/F108によって実現され、被写体を撮像した画像を表す画像データを生成する。
映像取得部21は、ケーブル10に接続された映像出力機器の出力映像を取得する。映像取得部21は、映像出力機器から画像信号を受信すると、この画像信号を解析して、この画像信号によって形成される映像出力機器の表示画像である画像フレームの解像度や、この画像フレームの更新頻度などの画像情報を導出し、画像取得部31に出力する。出力映像などの画像データおよび表示データは、例えばJPEG(Joint Photographic Experts Group)、Bitmap、GDI(Graphics Device Interface)等の形式のデータである。
座標検知部22は、ディスプレイ3上でユーザによって生じたイベント(ディスプレイ3上にユーザの手Hがタッチされた動作等)の座標位置を検出する。また、座標検知部22は、タッチされた面積も検出する。
自動調整部23は、電子黒板2の起動時に起動され、接触センサ115が座標検知部22に適切な値を出力できるように、接触センサ115の光センサ方式におけるセンサーカメラの画像処理のパラメータを調整する。
接触検知部24は、ユーザによって生じたイベント(ディスプレイ3上に電子ペン4のペン先又は電子ペン4のペン尻が押下(タッチ)された動作等)を検出する。
イベント振分部25は、座標検知部22によって検知されたイベントの座標位置と接触検知部24によって検出された検出結果を、ストローク描画、UI操作、およびジェスチャ操作の各イベントに振り分ける。
ここで、「ストローク描画」は、ディスプレイ3上に後述のストローク画像(B)が表示されている場合(図17参照)に、ユーザがディスプレイ3上で電子ペン4を押下し、この押下した状態で電子ペン4を移動させ、最終的にディスプレイ3上から電子ペン4を離すまでのイベントである。このストローク描画により、例えば、アルファベット「S」や「T」等がディスプレイ3上に描画される。なお、この「ストローク描画」には、画像を描画するだけでなく、既に描画された画像を削除したり、描画された画像を編集したりするイベントも含まれる。
「UI操作」は、ディスプレイ3上に後述のUI画像(A)が表示されている場合(図17参照)に、ユーザが電子ペン4又は手Hによって所定の位置を押下したイベントである。このUI操作により、例えば、電子ペン4により描画される線の色や幅等が設定される。
「ジェスチャ操作」は、ディスプレイ3上に後述のストローク画像(B)が表示されている場合(図17参照)に、ユーザが手Hでディスプレイ3上をタッチしたり移動したりさせるイベントである。このジェスチャ操作により、例えば、ユーザがディスプレイ3に手Hをタッチさせた状態で手Hを移動させることで、画像の拡大(若しくは縮小)、表示領域の変更、又は、ページ切り換え等を行うことができる。
操作処理部26は、イベント振分部25によってUI操作と判断されたものから、イベントが発生されたUIの要素に従って、各種操作を実行する。このUIの要素としては、例えば、ボタン、リスト、チェックボックス、テキストボックスが挙げられる。
ジェスチャ処理部27は、イベント振分部25によってジェスチャ操作と判断されたものに対応した操作を実行する。
映像重畳部28は、後述の表示重畳部36で重畳された画像を映像として映像出力機器(ディスプレイ3等)に対して表示する。また、映像重畳部28は、映像出力機器(ノートPC6等)からの映像に対して、他の映像出力機器(テレビ会議端末7等)から送られて来た映像をピクチャ・イン・ピクチャする。さらに、映像重畳部28は、ピクチャ・イン・ピクチャされてディスプレイ3の一部に表示された映像を、ディスプレイ3の全体に表示させるための切り替えを行う。
画像処理部30は、各画像レイヤの重畳処理等を行う。画像処理部30は、画像取得部31、ストローク処理部32、UI画像生成部33、背景生成部34、レイアウト管理部35、表示重畳部36、ページ処理部37、ファイル処理部40、ページデータ記憶部300、および遠隔ライセンス管理テーブル310を有している。
このうち、画像取得部31は、映像取得部21で取得された映像から、各フレームを画像として取得する。画像取得部31は、この画像のデータを、ページ処理部37に出力する。この画像は、映像出力機器(ノートPC6等)からの出力画像(C)に相当する。また、画像取得部31は、この画像のデータをテキスト化することによってシリアライズし(図8参照)、インスタントメッセージなどのコミュニケーション用アプリケーションを使用して通信制御部60の後述する遠隔画像送信部63に送信する。
ストローク処理部32は、イベント振分部25によって割り振られたストローク描画に係るイベントに基づいて、画像を描画したり、描画された画像を削除したり、描画された画像を編集する。このストローク描画による画像は、ストローク画像(B)に相当する。また、このストローク描画に基づいた画像の描画、削除、編集の各結果は、後述の操作データとして、データ管理部80の操作データ記憶部840に記憶される。
UI画像生成部33は、電子黒板2に予め設定されているUI(ユーザインターフェース)画像を生成する。このUI画像は、UI画像(A)に相当する。
背景生成部34は、ページ処理部37がページデータ記憶部300から読み出したページデータのうちのメディアデータを、ページ処理部37から受信する。背景生成部34は、この受信したメディアデータを表示重畳部36に出力する。また、このメディアデータによる画像は、背景画像(D)に相当する。背景画像(D)のパターンは、無地、グリッド表示等である。
レイアウト管理部35は、表示重畳部36に対して、画像取得部31、ストローク処理部32、およびUI画像生成部33(又は背景生成部34)から出力された各画像のレイアウトを示すレイアウト情報を管理している。これにより、レイアウト管理部35は、表示重畳部36に対して、出力画像(C)およびストローク画像(B)を、UI画像(A)および背景画像(D)中のどの位置に表示させるか又は非表示にさせるかを指示することができる。
表示重畳部36は、レイアウト管理部35から出力されたレイアウト情報に基づき、画像取得部31、ストローク処理部32、およびUI画像生成部33(背景生成部34)から出力された各画像のレイアウトを行う。
ページ処理部37は、ストローク画像(B)のデータと出力画像(C)のデータを、1つのページデータにまとめてページデータ記憶部300に記憶する。ストローク画像(B)のデータは、ストローク配列データIDで示されるストローク配列データ(各ストロークデータ)として、ページデータの一部を成す。出力画像(C)のデータは、メディアデータIDで示されているメディアデータとして、ページデータの一部を成す。そして、このメディアデータは、ページデータ記憶部300から読み出されると、背景画像(D)のデータとして取り扱われる。
また、ページ処理部37は、一旦記憶されたページデータのうちのメディアデータを、背景生成部34を介して表示重畳部36に送信する。これによって、映像重畳部28は、背景画像(D)をディスプレイ3に再表示することができる。また、ページ処理部37は、ページデータのうちのストローク配列データ(各ストロークデータ)を、ストローク処理部32に戻すことで、ストロークの再編集ができる状態にすることができる。さらに、ページ処理部37は、ページデータを削除したり複製したりすることもできる。
即ち、ページ処理部37がページデータ記憶部300にページデータを記憶する時点でディスプレイ3上に表示されている出力画像(C)のデータは、一旦、ページデータ記憶部300に記憶され、その後にページデータ記憶部300から読み出される際には、背景画像(D)を示すメディアデータとして読み出される。そして、ページ処理部37は、ページデータ記憶部300から読み出したページデータのうち、ストローク画像(B)を示すストローク配列データを、ストローク処理部32に出力する。また、ページ処理部37は、ページデータ記憶部300から読み出したページデータのうち、背景画像(D)を示すメディアデータを、背景生成部34に出力する。
表示重畳部36は、画像取得部31からの出力画像(C)、ストローク処理部32からのストローク画像(B)、UI画像生成部33からのUI画像(A)、および、背景生成部34からの背景画像(D)を、レイアウト管理部35によって指定されたレイアウトに従って重畳する。これにより、各画像が重なってもユーザが見える順に、UI画像(A)、ストローク画像(B)、出力画像(C)、および背景画像(D)の各レイアの構成となる。
また、表示重畳部36は、画像(C)と画像(D)を切り替えて、画像(A)および画像(B)に対して排他的に重畳することも可能である。例えば、当初、画像(A)、画像(B)および画像(C)が表示されている状態で、電子黒板2と映像出力機器(ノートPC6等)との間のケーブル10が抜かれた場合には、レイアウト管理部35の指定によって、画像(C)を重畳対象から外し、画像(D)を表示させることができる。この場合に、表示重畳部36は、表示の拡大、表示の縮小、表示領域の移動処理も行う。
ページデータ記憶部300は、ページデータを記憶する。図7は、ページデータを示す概念図である。ページデータは、ディスプレイ3に表示される1ページ分のデータ(ストローク配列データ(各ストロークデータ)およびメディアデータ)である。なお、ページデータに含まれるパラメータの種類が多いため、ここでは、図7乃至10に分けて、ページデータの内容を説明する。
ページデータは、図7に示されているように、任意の1ページを識別するためのページデータID、このページの表示を開始した時刻を示す開始時刻、ストロークやジェスチャ等によるページの内容の書き換えが行われなくなった時刻を示す終了時刻、電子ペン4やユーザの手Hによるストロークによって生じたストローク配列データを識別するためのストローク配列データID、およびメディアデータを識別するためのメディアデータIDが関連付けられて記憶されている。ストローク配列データは、ストローク画像(B)がディスプレイ3上に表示されるためのデータである。メディアデータは、背景画像(D)がディスプレイ3上に表示されるためのデータである。
このようなページデータにより、例えば、ユーザが電子ペン4によってアルファベット「S」を描く場合は一筆書きとなるため、ストロークデータIDが1つで一文字のアルファベット[S]が示される。ところが、ユーザが電子ペン4によってアルファベット「T」を描く場合、二筆書きとなるため、ストロークデータIDが2つで一文字のアルファベット「T」が示されることになる。
また、ストローク配列データは、図8に示されているように詳細な情報を示している。図8は、ストローク配列データを示す概念図である。図8に示されているように、1つのストローク配列データは、複数のストロークデータによって表される。そして、1つのストロークデータは、このストロークデータを識別するためのストロークデータID、1つのストロークの書き始めの時刻を示す開始時刻、1つのストロークの書き終わりの時刻を示す終了時刻、ストロークの色、ストロークの幅、および、ストロークの通過点の配列を識別するための座標配列データIDを示している。
さらに、この座標配列データは、図9に示されているように詳細な情報を示している。図9は、座標配列データを示す概念図である。図9に示されているように、座標配列データは、ディスプレイ3上の1点(X座標値、Y座標値)、この1点を通過したときのストロークの開始時刻からの差分の時刻(ms)、および、この1点における電子ペン4の筆圧の各情報を示している。即ち、図9に示されている1点の集まりが、図8に示されている1つの座標配列データで示されている。例えば、ユーザが電子ペン4によってアルファベット「S」を描く場合、一筆書きとなるが、「S」を描き終えるまでに、複数の通過点を通過するため、座標配列データは、これら複数の通過点の情報を示している。
また、図7に示されているページデータのうちのメディアデータは、図10に示されているように詳細な情報を示している。図10は、メディアデータを示す概念図である。図10に示されているように、メディアデータは、図7に示されているページデータにおけるメディアデータID、メディアデータのデータ種類、ページ処理部37からページデータ記憶部300にページデータが記憶された記録時刻、ページデータによってディスプレイ3上に表示される画像の位置(X座標値、Y座標値)および画像のサイズ(幅、高さ)、並びにメディアデータの内容を示すデータが関連付けられて示されている。このうち、ページデータによってディスプレイ3上に表示される画像の位置は、ディスプレイ3の左上端の座標を(X座標値,Y座標値)=(0,0)とした場合に、ページデータによって表示される画像の左上端の位置を示している。
図4に戻り説明を続ける。遠隔ライセンス管理テーブル310は、遠隔共有処理を実行するために必要なライセンスデータを管理する。この遠隔ライセンス管理テーブル310では、図11に示されているように、電子黒板2のプロダクトID、認証に用いられるライセンスID、およびライセンスの有効期限が関連付けて管理されている。
(ファイル処理部40の機能構成)
続いて、図5を用いて、図4に示されているファイル処理部40の機能構成を説明する。なお、図5は、ファイル処理部40の機能ブロック図である。
続いて、図5を用いて、図4に示されているファイル処理部40の機能構成を説明する。なお、図5は、ファイル処理部40の機能ブロック図である。
ファイル処理部40は、リカバリ処理部41、ファイル入力部42a、ファイル出力部42b、ファイル変換部43、ファイル送信部44、アドレス帳入力部45、バックアップ処理部46、バックアップ出力部47、設定管理部48、設定ファイル入力部49a、設定ファイル出力部49b、およびアドレス帳入力部50を有している。さらに、ファイル処理部40は、アドレス帳管理テーブル410、バックアップデータ記憶部420、設定ファイル記憶部430、および接続先管理テーブル440を有している。
このうち、リカバリ処理部41は、電子黒板2が異常終了した際に、異常終了を検知し、未保存のページデータを復旧する。例えば、正常終了の場合は、ページデータがPDFファイルとしてファイル処理部40を介してUSB5に記録されるが、電源がダウンした等の異常終了の場合は、ページデータがページデータ記憶部300に記録されたままになっている。そのため、再び、電源オンになった際に、リカバリ処理部41は、ページデータ記憶部300からページデータを読み出すことで復旧させる。
ファイル入力部42aは、USBメモリ5から、PDFファイルを読み込み、各ページをページデータとしてページデータ記憶部300に記憶する。
ファイル変換部43は、ページデータ記憶部300に記憶されているページデータを、PDF形式のファイルに変換する。
ファイル出力部42bは、ファイル変換部43によって出力されたPDFファイルをUSBメモリ5に記録する。
ファイル送信部44は、ファイル変換部43によって生成されたPDFファイルを、電子メールに添付して送信する。このPDFファイルの送信先は、表示重畳部36によってディスプレイ3上にアドレス帳管理テーブル410の内容を表示し、ファイル送信部44がユーザによるタッチパネル等の入力装置の操作により、宛先の選択を受け付けることによって決定される。アドレス帳管理テーブル410には、図12に示されているように、宛先の名前および宛先の電子メールのメールアドレスが関連付けられて管理されている。また、ファイル送信部44が、ユーザによるタッチパネル等の入力装置の操作により、宛先としてのメールアドレスの入力を受け付けることもできる。
アドレス帳入力部45は、USBメモリ5から電子メールアドレスの一覧ファイルを読み込み、アドレス帳管理テーブル410に管理する。
バックアップ処理部46は、ファイル出力部42bによって出力されたファイルや、ファイル送信部44によって送信されたファイルを、バックアップデータ記憶部420に記憶することでバックアップする。なお、ユーザがバックアップ設定しない場合は、バックアップの処理は行われない。バックアップデータは、図13に示されているように、PDF形式で記憶される。
バックアップ出力部47は、バックアップされたファイルをUSBメモリ5に記憶する。この記憶の際には、ユーザによるタッチパネル等の入力装置の操作により、セキュリティーのためにパスワードが入力される。
設定管理部48は、電子黒板2の各種設定情報を設定ファイル記憶部430に記憶したり読み出したりして管理する。この各種設定情報としては、例えば、ネットワーク設定、日付や時刻の設定、地域や言語の設定、メールサーバの設定、アドレス帳の設定、接続先リストの設定、バックアップに関する設定が挙げられる。なお、ネットワーク設定は、例えば、電子黒板2のIPアドレスの設定、ネットマスクの設定、デフォルトゲートウェイの設定、又はDNS(Domain Name System)の設定等である。
設定ファイル出力部49bは、電子黒板2の各種設定情報を、設定ファイルとしてUSBメモリ5に記録させる。なお、設定ファイルはセキュリティーによって、ユーザは中身を見ることができない。
設定ファイル入力部49aは、USBメモリ5に記憶されている設定ファイルを読み込み、各種設定情報を電子黒板2の各種設定に反映させる。
接続先入力部50は、USBメモリ5から遠隔共有処理の接続先IPアドレスの一覧ファイルを読み込み、接続先管理テーブル440で管理する。なお、図14に示されているように、接続先管理テーブル440は、電子黒板2が遠隔共有処理に参加しようとする参加装置である場合、この参加装置のユーザが主催装置としての役割を果たす電子黒板のIPアドレスを入力する手間を削減するために、予め管理しておくためのテーブルである。この接続先管理テーブル440では、参加されることが可能な主催装置としての電子黒板2が設置されている拠点の名称、および主催装置としての電子黒板2のIPアドレスが関連付けて管理されている。
なお、接続先管理テーブル440は、省略することも可能である。但し、この場合には、参加装置のユーザは、主催装置との間で遠隔要求処理の開始するために、タッチパネル等の入力装置によって、主催装置のIPアドレスを入力する必要がある。そのため、参加装置のユーザは、電話や電子メール等によって、主催装置のユーザから、主催装置のIPアドレスを知得する。
(通信制御部60の機能構成)
次に、図6を用いて、通信制御部60の機能構成について説明する。
次に、図6を用いて、通信制御部60の機能構成について説明する。
通信制御部60は、通信ネットワーク9を介して、他の電子黒板2とメッセージ通信ポートを開くことなどの通信経路を設定するために行う通信や、サーバ部90における後述の通信制御部70と行う通信を制御する。そのため、通信制御部60は、遠隔開始処理部61、遠隔参加処理部62、遠隔画像送信部63、遠隔画像受信部64、遠隔操作送信部65、遠隔操作受信部66、および参加拠点管理テーブル610を有している。
このうち、遠隔開始処理部61は、同じ電子黒板2のサーバ部90に対して、メッセージ通信ポートを追加して開くことを要求するとともに新たに遠隔共有処理を開始する要求を行い、サーバ部90から要求の結果を受信する。この場合、遠隔開始処理部61は、遠隔ライセンス管理テーブル310を参照し、ライセンス情報(プロダクトID、ライセンスID、および有効期限)が管理されている場合には、遠隔共有処理を開始する要求を行うことができる。但し、ライセンス情報が管理されていない場合には遠隔共有処理を開始する要求を行うことができない。
参加拠点管理テーブル610は、電子黒板2が主催装置である場合、現在、遠隔共有処理に参加している参加装置としての電子黒板を管理するテーブルである。この参加拠点管理テーブル610では、図15に示されているように、参加中の電子黒板2が設置されている拠点の名称および当該電子黒板2のIPアドレスが関連付けて管理されている。
遠隔参加処理部62は、通信ネットワーク9を介して、既に遠隔共有処理を開始している主催装置としての電子黒板2のサーバ部90における遠隔接続要求受信部71に対して、メッセージ通信ポートを追加して開くことを要求するとともに遠隔共有処理への参加要求を行う。この場合も、遠隔参加処理部62は、遠隔ライセンス管理テーブル310を参照する。また、遠隔参加処理部62が、既に開始されている遠隔共有処理に参加する場合には、接続先管理テーブル440を参照して、参加先の電子黒板2のIPアドレスを取得する。なお、遠隔参加処理部62によって接続先管理テーブル440が参照されず、ユーザによるタッチパネル等の入力装置の操作により参加先の電子黒板2のIPアドレスが入力されてもよい。
遠隔画像送信部63は、映像取得部21から画像取得部31を介して送られて来た出力画像(C)を、追加して開いたメッセージ通信ポート(以下、「追加メッセージ通信ポート」という)からサーバ部90に送信する。
遠隔画像受信部64は、サーバ部90から、他の電子黒板2に接続された映像出力機器によって送信された画像データを追加メッセージ通信ポートから受信し、表示重畳部36に出力することで、遠隔共有処理を可能にする。
遠隔操作送信部65は、遠隔共有処理に必要な各種操作データを追加メッセージ通信ポートからサーバ部90に送信する。この各種操作データとしては、例えば、ストロークの追加、ストロークの削除、ストロークの編集(拡大、縮小、移動)、ページデータの記憶、ページデータの作成、ページデータの複製、ページデータの削除、表示されているページの切り替え等に関するデータが挙げられる。また、遠隔操作受信部66は、サーバ部90から、他の電子黒板2で入力された操作データを追加メッセージ通信ポートから受信し、画像処理部30に出力することで、遠隔共有処理を行う。
〔サーバ部の機能構成〕
続いて、図6を用いて、サーバ部90の機能構成について説明する。サーバ部90は、各電子黒板2に設けられており、いずれの電子黒板2であっても、サーバ部としての役割を果たすことができる。そのため、サーバ部90は、通信制御部70、およびデータ管理部80を有している。
続いて、図6を用いて、サーバ部90の機能構成について説明する。サーバ部90は、各電子黒板2に設けられており、いずれの電子黒板2であっても、サーバ部としての役割を果たすことができる。そのため、サーバ部90は、通信制御部70、およびデータ管理部80を有している。
(通信制御部70の機能構成)
次に、図6を用いて、通信制御部70の機能構成について説明する。
次に、図6を用いて、通信制御部70の機能構成について説明する。
通信制御部70は、同じ電子黒板2内のクライアント部20における通信制御部70、および通信ネットワーク9を介して他の電子黒板2内のクライアント部20における通信制御部70との間における通信を制御する。データ管理部80は、操作データや画像データ等を管理する。
さらに詳細に説明すると、通信制御部70は、遠隔接続要求受信部71、遠隔接続結果送信部72、遠隔画像受信部73、遠隔画像送信部74、遠隔操作受信部75、および遠隔操作送信部76を有している。
このうち、遠隔接続要求受信部71は、遠隔開始処理部61から、メッセージ通信ポートの追加を要求するメッセージ通信ポート追加要求や、遠隔共有処理の開始要求を受信したり、遠隔参加処理部62からのメッセージ通信ポートを追加するメッセージ通信ポート追加要求や、遠隔共有処理に対する参加要求を受信したりする。遠隔接続結果送信部72は、遠隔開始処理部61へメッセージ通信ポートの追加の要求の結果、遠隔共有処理の開始要求の結果を送信したり、遠隔参加処理部62へメッセージ通信ポートの追加の要求の結果や、遠隔共有処理に対する参加要求の結果を送信したりする。
遠隔画像受信部73は、遠隔画像送信部63からの画像データ(出力画像(C)のデータ)を追加メッセージ通信ポートから受信し、後述の遠隔画像処理部82に送信する。遠隔画像送信部74は、遠隔画像処理部82から画像データを受信し、遠隔画像受信部64に対して、この画像データを追加メッセージ通信ポートから送信する。
遠隔操作受信部75は、遠隔操作送信部65からの操作データ(ストローク画像(B)等のデータ)を追加メッセージ通信ポートから受信し、後述の遠隔操作処理部83に送信する。遠隔操作送信部76は、遠隔操作処理部83から操作データを受信し、遠隔操作受信部66に対して、この操作データを追加メッセージ通信ポートから送信する。
(データ管理部の機能構成)
次に、図6を用いて、データ管理部80の機能構成について説明する。
次に、図6を用いて、データ管理部80の機能構成について説明する。
データ管理部80は、遠隔接続処理部81、遠隔画像処理部82、遠隔操作処理部83、操作合成処理部84、およびページ処理部85を有している。さらに、データ管理部80は、パスコード管理部810、参加拠点管理テーブル820、画像データ記憶部830、操作データ記憶部840、およびページデータ記憶部850を有している。
このうち、遠隔接続処理部81は、遠隔共有処理の開始、および遠隔共有処理の終了を行う。また、遠隔接続処理部81は、遠隔接続要求受信部71が遠隔開始処理部61から受信したメッセージ通信ポート追加要求にしたがってメッセージ通信ポートを開く。また、遠隔接続処理部81は、遠隔開始処理部61から遠隔共有処理の開始要求と共に受信したライセンス情報、又は、遠隔参加処理部62から遠隔共有処理の参加要求と共に受信したライセンス情報に基づいて、ライセンスの有無やライセンスの期間内であるかを確認する。さらに、遠隔接続処理部81は、クライアント部としての他の電子黒板2からの参加要求が予め定められた参加可能数を超えていないかを確認する。さらに、遠隔接続処理部81は、他の電子黒板2からのメッセージ通信ポート追加要求にしたがってメッセージ通信ポートを開く。また、遠隔接続処理部81は、他の電子黒板2から遠隔共有処理に対する参加要求があった際に送られて来たパスコードが、パスコード管理部810で管理されているパスコードと同じであるか否かを判断し、同じである場合には、遠隔共有処理の参加を許可する。なお、このパスコードは、新たに遠隔共有処理を開始する際に、遠隔接続処理部81によって発行され、遠隔共有処理に参加しようとする参加装置としての電子黒板2のユーザが、主催装置としての電子黒板2のユーザから、電話や電子メール等により伝えられる。これにより、遠隔共有処理に参加しようとする参加装置のユーザが、タッチパネル等の入力装置によって参加装置にパスコードを入力して参加要求することで、参加が許可されることになる。なお、セキュリティーよりもユーザの使い勝手を優先して、ライセンス状況の確認だけで、パスコードの確認を省略してもよい。
また、電子黒板2が主催装置の場合、遠隔接続処理部81は、参加装置の遠隔参加処理部62から通信ネットワーク9を介して送られて来た参加要求に含まれる参加拠点情報を、サーバ部90の参加拠点管理テーブル820に記憶する。そして、遠隔接続処理部81は、参加拠点管理テーブル820に記憶されている遠隔拠点情報を読み出し、遠隔接続結果送信部72に送信する。遠隔接続結果送信部72は、同じ主催装置のクライアント部20における遠隔開始処理部61に遠隔拠点情報を送信する。遠隔開始処理部61は、参加拠点管理テーブルに610に、遠隔拠点情報を記憶する。これにより、主催装置では、クライアント部20およびサーバ部90の両方で、遠隔拠点情報を管理することになる。
遠隔画像処理部82は、遠隔共有処理中の各電子黒板2のクライアント部20(主催装置である自己の電子黒板2のクライアント部20を含む)に接続された映像出力機器(ノートPC6等)からの画像データ(出力画像(C))を追加メッセージ通信ポートを介して受信して画像データ記憶部830に記憶する。さらに、遠隔画像処理部82は、主催装置である自己の電子黒板2のサーバ部90に届いた時間順で遠隔共有処理すべき画像データの表示順を判定する。また、遠隔画像処理部82は、参加拠点管理テーブル820を参照し、遠隔共有処理に参加中の全ての電子黒板2のクライアント部20(主催装置である自己の電子黒板2のクライアント部20を含む)に、通信制御部70(遠隔画像送信部74)を介して、上記判定した順番で画像データを送信する。
遠隔操作処理部83は、遠隔共有処理中の各電子黒板2のクライアント部20(主催装置である自己の電子黒板2のクライアント部20を含む)で描画されたストローク画像等の各種操作データ(ストローク画像(B)等)を追加メッセージ通信ポートを介して受信し、主催装置である自己の電子黒板2のサーバ部90に届いた時間順で遠隔共有処理すべき画像の表示順を判定する。なお、各種操作データは、上述の各種操作データと同じである。また、遠隔操作処理部83は、参加拠点管理テーブル820を参照し、遠隔共有処理中の全ての電子黒板2のクライアント部20(主催装置である自己の電子黒板のクライアント部を含む)に操作データを送信する。
操作合成処理部84は、遠隔操作処理部83から出力された各電子黒板2の操作データを合成し、この合成結果としての操作データを、操作データ記憶部840に記憶するとともに遠隔操作処理部83に戻す。この操作データは、遠隔操作送信部76から、主催装置である電子黒板2のクライアント部20、および参加装置である電子黒板2のクライアント部20のそれぞれに追加メッセージ通信ポートを介して送信されることで、各電子黒板2で同じ操作データに係る画像が表示される。そのために、操作データは、図16に示されているように、SEQ(Sequence)、操作データの操作名、操作データの送信元である電子黒板2のIPアドレスおよびクライアント部(サーバ部)のPort No.、操作データの送信先である電子黒板2のIPアドレスおよびクライアント部20(サーバ部90)のPort No,、操作データの操作種類、操作データの操作対象、並びに操作データの内容を示すデータが関連付けられて示されている。例えば、SEQ1では、主催装置である電子黒板2(IPアドレス:192.0.0.1)のクライアント部20(Port No.:50001)でストロークが描画されると、同じ主催装置である電子黒板2(IPアドレス:192.0.0.1)のサーバ部90(Port No.:50000)に操作データが送られたことが示されている。この場合の操作種類は「STROKE」、操作対象はページデータID「p005」、および、操作データの内容を示すデータはストロークを示すデータである。また、SEQ2では、主催装置である電子黒板2(IPアドレス:192.0.0.1)のサーバ部90(Port No.:50000)から、参加装置である他の電子黒板2(IPアドレス:192.0.0.1)のクライアント部20(Port No.:50001)に、操作データが送られたことが示されている。
なお、操作合成処理部84は、この操作合成処理部84に操作データが入力された順に合成を行うため、通信ネットワーク9が混雑していなければ、各電子黒板2のユーザによるストローク順に、遠隔共有処理中の全ての電子黒板2のディスプレイ3にストローク画像(B)が表示される。
ページ処理部85は、クライアント部20の画像処理部30におけるページ処理部37と同様の機能を有し、サーバ部90でも、図7乃至図9に示されているページデータを、ページデータ記憶部850に記憶する。なお、ページデータ記憶部850は、画像処理部30におけるページデータ記憶部300と同じ内容である。
<伝送管理システムの機能構成>
次に、伝送管理システム50の機能(または手段)について説明する。伝送管理システム50は、図18に示されるように送受信部51と、認証部52と、管理部53と、セッション制御部57と、記憶・読出処理部59とを有している。これら各機能部は、図3に示される各構成要素のいずれかが、ROM202に記憶されているプログラムに従ったCPU201からの命令によって動作することで実現される機能または手段である。また、伝送管理システム50は、図3に示されるROM202、RAM203またはHDD205によって構築される記憶部5000を有している。
次に、伝送管理システム50の機能(または手段)について説明する。伝送管理システム50は、図18に示されるように送受信部51と、認証部52と、管理部53と、セッション制御部57と、記憶・読出処理部59とを有している。これら各機能部は、図3に示される各構成要素のいずれかが、ROM202に記憶されているプログラムに従ったCPU201からの命令によって動作することで実現される機能または手段である。また、伝送管理システム50は、図3に示されるROM202、RAM203またはHDD205によって構築される記憶部5000を有している。
<認証管理テーブル>
また、記憶部5000には、図19に示されるような認証管理テーブルによって構成される認証管理DB5002が構築されている。この認証管理テーブルでは、伝送管理システム50によって管理される全ての電子黒板2の各通信IDに対して、各パスワードが関連付けられて管理される。例えば、図19に示される端末認証管理テーブルにおいて、電子黒板2aの通信IDは「01aa」で、パスワードは「aaaa」であることが示されている。
また、記憶部5000には、図19に示されるような認証管理テーブルによって構成される認証管理DB5002が構築されている。この認証管理テーブルでは、伝送管理システム50によって管理される全ての電子黒板2の各通信IDに対して、各パスワードが関連付けられて管理される。例えば、図19に示される端末認証管理テーブルにおいて、電子黒板2aの通信IDは「01aa」で、パスワードは「aaaa」であることが示されている。
<端末管理テーブル>
また、記憶部5000には、図20に示されるような端末管理テーブルによって構成される端末管理DB5003が構築されている。この端末管理テーブルでは、各電子黒板2の通信ID毎に、各電子黒板2の稼働状態、後述のログイン要求情報が伝送管理システム50で受信された受信日時および電子黒板2のIPアドレスが関連付けられて管理される。例えば、図20に示される端末管理テーブルにおいて、通信IDが「01aa」の電子黒板2aは、稼働状態が「ONライン」であり、伝送管理システム50でログイン要求情報が受信された日時が「2009年11月10日の13時40分」であり、この電子黒板2aのIPアドレスが「1.2.1.3」であることが示されている。
また、記憶部5000には、図20に示されるような端末管理テーブルによって構成される端末管理DB5003が構築されている。この端末管理テーブルでは、各電子黒板2の通信ID毎に、各電子黒板2の稼働状態、後述のログイン要求情報が伝送管理システム50で受信された受信日時および電子黒板2のIPアドレスが関連付けられて管理される。例えば、図20に示される端末管理テーブルにおいて、通信IDが「01aa」の電子黒板2aは、稼働状態が「ONライン」であり、伝送管理システム50でログイン要求情報が受信された日時が「2009年11月10日の13時40分」であり、この電子黒板2aのIPアドレスが「1.2.1.3」であることが示されている。
<伝送管理システムの各機能部>
次に、伝送管理システム50の各機能部について詳細に説明する。なお、以下の記載では、伝送管理システム50の各機能部を説明するにあたって、図3に示される各構成要素のうち、伝送管理システム50の各機能部を実現させるための主な構成要素との関係についても説明する。
次に、伝送管理システム50の各機能部について詳細に説明する。なお、以下の記載では、伝送管理システム50の各機能部を説明するにあたって、図3に示される各構成要素のうち、伝送管理システム50の各機能部を実現させるための主な構成要素との関係についても説明する。
まず、送受信部51は、図3に示されるネットワークI/F209によって実行され、通信ネットワーク9を介して電子黒板2との間で各種データの送受信を行う。認証部52は、送受信部51を介して受信されたログイン要求情報に含まれている通信IDおよびパスワードを検索キーとし、記憶部5000の端末認証管理DB5002を検索し、端末認証管理DB5002に同一の通信IDおよびパスワードが管理されているかを判断することによって端末認証を行う。
管理部53は、ログイン要求してきた電子黒板2の稼働状態を管理すべく、端末管理テーブルに、この電子黒板2の通信ID、電子黒板2の稼働状態、伝送管理システム50でログイン要求情報が受信された受信日時、および電子黒板2のIPアドレスを関連付けて記憶して管理する。
セッション制御部57は、CPU201からの命令によって実現され、電子黒板(2a,2b)間で通信ネットワーク9を介して画像データおよび音データなどを送信する通信セッションの確立を制御する。通信セッションを確立させる方法は、特に限定されないが、例えば、通信ネットワーク9に画像データおよび音データなどを中継する中継装置が設けられている場合には、この中継装置に接続するための接続情報を、セッション制御部57による制御に基づいて、送受信部51が電子黒板(2a,2b)へ送信する方法が挙げられる。また、セッション制御部57による制御に基づいて、送受信部51は、中継装置へ、電子黒板(2a,2b)間での画像データおよび音データの中継開始の要求を送信してもよい。上記の制御に基づいて、通信セッションが確立されると、電子黒板(2a,2b)は、通信相手である電子黒板(2b,2a)との間で画像データおよび音データを送受信することができるようになる。
<実施の形態の処理又は動作>
続いて、図21乃至図23を用いて、本実施の形態の処理又は動作について説明する。なお、図21乃至図23は、各電子黒板の処理を示したシーケンス図である。
続いて、図21乃至図23を用いて、本実施の形態の処理又は動作について説明する。なお、図21乃至図23は、各電子黒板の処理を示したシーケンス図である。
図21に示す実施の形態では、電子黒板2aが遠隔共有処理を主催する主催装置(サーバ部90およびクライアント部20)としての役割を果たしており、電子黒板2bが遠隔共有処理に参加する参加装置(クライアント部20)としての役割を果たす場合について説明する。図22および図23に示す実施の形態では、電子黒板2aが遠隔共有処理を主催する主催装置(サーバ部90およびクライアント部20)としての役割を果たしており、電子黒板2b,2cが遠隔共有処理に参加する参加装置(クライアント部20)としての役割を果たす場合について説明する。また、ここでは、電子黒板2a,2b,2cには、それぞれディスプレイ3a,3b,3cが接続され、さらに、それぞれノートPC6a,6b,6cが接続されている。また、電子黒板2a,2b,2cでは、それぞれ電子ペン4a,4b,4cが使用される。
(セッション確立処理)
図21を用いて、電子黒板2a,2bがセッションを確立する処理について説明する。
図21を用いて、電子黒板2a,2bがセッションを確立する処理について説明する。
電子黒板2aは、ログイン要求部12によって、管理システム50に対し、ログイン要求を行う(ステップS1)。このログイン要求には、ログイン要求元の電子黒板2aを識別するための通信IDおよびパスワードが含まれる。これにより、管理システム50の送受信部51は、ログイン要求並びに通信IDおよびパスワードを受信する。
次に、認証部52は、送受信部51によって受信された通信IDおよびパスワードの組と同じ組が、認証管理テーブル(図19参照)で管理されているかを判断することで、ログイン要求元の電子黒板2aの認証を行う(ステップS2)。そして、この認証により、正当な電子黒板であると判断された場合には、管理部53は、端末管理テーブル(図20参照)の対応する通信IDに対して、稼動状態「ONライン」を管理する(ステップS3)。
次に、送受信部51は、ログイン要求元の電子黒板2aに対して、認証結果を送信する(ステップS4)。これにより、電子黒板2aのログイン要求部12は、認証結果を受信する。そして、上記ステップS2により、正当な電子黒板2であると判断された場合には、ログイン要求元の電子黒板2aと管理システム50との間で通信セッションseiが確立される(ステップ5)。なお、電子黒板間の通信セッション(sed1)と区別するため、各種電子黒板2と、管理システム50との間の通信セッションを、通信セッションseiと表記する。
同じく、図21に示されているように、電子黒板2bは、ログイン要求部12によって、管理システム50に対し、ログイン要求を行う(ステップS6)。このログイン要求には、ログイン要求元の電子黒板2bを識別するための通信IDおよびパスワードが含まれる。これにより、管理システム50の送受信部51は、ログイン要求並びに通信IDおよびパスワードを受信する。
次に、認証部52は、送受信部51によって受信された通信IDおよびパスワードの組と同じ組が、認証管理テーブル(図19参照)で管理されているかを判断することで、ログイン要求元の電子黒板2bの認証を行う(ステップS7)。そして、この認証により、正当な電子黒板であると判断された場合には、管理部53は、端末管理テーブル(図20参照)の対応する通信IDに対して、稼動状態「ONライン(通信可能)」を管理する(ステップS8)。
次に、送受信部51は、ログイン要求元の電子黒板2bに対して、認証結果を送信する(ステップS9)。これにより、電子黒板2bのログイン要求部12は、認証結果を受信する。そして、上記ステップS7により、正当な電子黒板であると判断された場合には、ログイン要求元の電子黒板2bと管理システム50との間で通信セッションseiが確立される(ステップ10)。
続いて、電子黒板間でコンテンツデータを送信する通信セッションを確立する処理を説明する。上記の電子黒板間でコンテンツデータを送信する通信セッションには、電子黒板2間で音データ、画像データ、および操作データを送信する通信セッションsed1が含まれる。
電子黒板2aは、ユーザによる操作ボタン125の操作に応じて、通信制御部60によって、管理システム50に対し、通信の開始要求を行う(ステップS11)。この通信の開始要求には、通信の開始要求元の電子黒板2aの通信ID、および宛先の電子黒板2bの通信IDが含まれている。以下、通信の開始要求元は電子黒板2aであり、宛先は電子黒板2bである場合について説明する。
管理システム50の送受信部51は、通信の開始要求を受信する。続いて、管理システム50の管理部53は、端末管理テーブル(図20参照)における、通信の開始要求元の電子黒板2aの通信IDに対して、稼働状態「ONライン(通信中)」を管理する(ステップS12)。
次に、管理システム50の送受信部51は、宛先の電子黒板2bに対して、通信の開始要求を行う(ステップS13)。この通信の開始要求には、上記ステップS11によって送られて来た通信の開始要求元の電子黒板2aの通信IDおよび宛先の電子黒板2bの通信IDが含まれている。これにより、宛先の電子黒板2bは、通信の開始要求を受信する。
これに対して、電子黒板2bは、ユーザによる操作ボタン125の操作に応じて、通信制御部60によって、管理システム50に対し、応答可否を示す情報を送信する(ステップS14)。この応答可否を示す情報には、宛先の電子黒板2b側でユーザが通話を開始する場合には応答する旨が示され、宛先の電子黒板2b側でユーザが通話を開始しない場合には応答しない旨が示される。以下、電子黒板2bが、応答する旨を示す情報を管理システム50へ送信した場合について説明を続ける。
これにより、管理システム50の送受信部51は、応答可否を示す情報を受信する。続いて、管理システム50の管理部53は、端末管理テーブル(図20参照)における、宛先の電子黒板2bの通信IDに対して、稼働状態「ONライン(通信中)」を管理する(ステップS15)。
次に、管理システム50の送受信部51は、開始要求元の電子黒板2aに対し、上記ステップS14によって宛先の電子黒板2bから送られて来た、応答する旨を示す情報を送信する(ステップS16)。これにより、電子黒板2aは、通信制御部60によって、応答する旨を示す情報を受信する。
続いて、管理システム50のセッション制御部57は、電子黒板(2a,2b)間で通信ネットワーク9を介して画像データおよび音データを送信する通信セッションsed1の確立を制御する(ステップS17)。通信セッションsed1を確立させる方法は、特に限定されないが、例えば、通信ネットワーク9に画像データおよび音データを中継する中継装置が設けられている場合には、この中継装置に接続するための接続情報を、セッション制御部57による制御に基づいて、送受信部51が電子黒板(2a,2b)へ、送信する方法が挙げられる。また、セッション制御部57による制御に基づいて、送受信部51は、中継装置へ、電子黒板(2a,2b)間での画像データおよび音データの中継開始の要求を送信してもよい。上記の制御に基づいて、通信セッションsed1は確立される(ステップS18)。これにより、電子黒板(2a,2b)は、通信相手である電子黒板(2b,2a)との間で画像データ、音データ、および操作データを送受信することができるようになる。
(参加の処理)
図22を用いて、電子黒板2b,2cが遠隔共有処理に参加するための処理について説明する。
図22を用いて、電子黒板2b,2cが遠隔共有処理に参加するための処理について説明する。
ユーザが電子黒板2aの電源スイッチ126をオンにすると、電子黒板2aのクライアント部20が起動する。そして、ユーザがタッチパネル等の操作ボタン125によってサーバ部90を起動させる操作をすると、クライアント部20の遠隔開始処理部61から同じ電子黒板2aのサーバ部90における遠隔接続要求受信部71に、サーバ部90の処理を開始させる指示を出力する。これにより、電子黒板2aでは、クライアント部20だけでなくサーバ部90も各種処理を開始可能となる(ステップS21)。
次に、電子黒板2aのクライアント部20におけるUI画像生成部33が電子黒板2aとの接続を確立するための接続情報を生成し、映像重畳部28が、UI画像生成部33から表示重畳部36を介して得た接続情報をディスプレイ3aに表示させる(ステップS22)。この接続情報には、主催装置のIPアドレス、および今回の遠隔共有処理のために生成されたパスコードが含まれている。この場合、パスコード管理部810に記憶されているパスコードは、遠隔接続処理部81によって読み出され、遠隔接続結果送信部72、遠隔開始処理部61の順に送信される。さらに、パスコードは、遠隔開始処理部61を含む通信制御部60から、画像処理部30に送信され、最終的にUI画像生成部33に入力される。これにより、接続情報には、パスコードが含まれる。そして、接続情報は、電子黒板2aのユーザによって、電話や電子メールにより、電子黒板2b,2cのユーザに伝えられる。なお、接続先管理テーブル440があれば、接続情報には、主催装置のIPアドレスが含まれていなくても、参加装置は参加要求を行うことができる。
次に、電子黒板2b,2cでは、各ユーザによるタッチパネル等の操作ボタン125の操作によって接続情報の入力を受け付けると、各電子黒板2b,2cのクライアント部20における遠隔参加処理部62が、接続情報のIPアドレスに基づき、通信ネットワーク9を介して、電子黒板2aのサーバ部90における通信制御部70に対してメッセージ通信ポートの追加を要求するとともにパスコードを送信して参加要求を行う(ステップS23,S24)。これにより、通信制御部70の遠隔接続要求受信部71は、各電子黒板2b,2cから、メッセージ通信ポートの追加要求、参加要求(パスコードを含む)を受信し、メッセージ通信ポートを開くとともにこのパスコードを遠隔接続処理部81に出力する。ここで、メッセージ通信ポート追加要求でポート番号が指定されてもよいし、メッセージ通信ポート追加要求によって追加するポート番号が予め設定されていてもよい。
次に、遠隔接続処理部81は、各電子黒板2b,2cから受信したパスコードに対し、パスコード管理部810で管理されているパスコードを用いて認証する(ステップS25)。そして、遠隔接続結果送信部72が、各電子黒板2b,2cのクライアント部20に認証結果を通知する(ステップS26,S27)。ステップS25の認証により、各電子黒板2b,2cが正当な電子黒板であると判断されていた場合には、主催装置である電子黒板2aと、参加装置である電子黒板2b,2cとの遠隔共有処理の通信が確立され、各電子黒板2b,2cのクライアント部20における遠隔参加処理部62が、それぞれ他の電子黒板との間の遠隔共有処理の開始を可能にする(ステップS28,S29)。
(出力画像の表示)
続いて、遠隔共有処理における出力画像(C)が表示される処理について説明する。
続いて、遠隔共有処理における出力画像(C)が表示される処理について説明する。
まず、電子黒板2bは、ディスプレイ3bに出力画像(C)を表示する(ステップS30)。具体的には、電子黒板2bの画像取得部31が、ノートPC6bから映像取得部21を介して、ノートPC6bで表示されている出力画像(C)のデータを受信し、表示重畳部36および映像重畳部28を介してディスプレイ3bに送信することで、ディスプレイ3bは出力画像(C)を表示する。
次に、電子黒板2bの画像取得部31を含む画像処理部30が、遠隔画像送信部63に出力画像(C)のデータを送信することで、遠隔画像送信部63を含む通信制御部60が追加メッセージ通信ポートから通信ネットワーク9を介して、主催装置である電子黒板2aの通信制御部70に出力画像(C)のデータを送信する(ステップS31)。例えば、電子黒板2bの画像取得部31を含む画像処理部30は、遠隔画像送信部63に出力画像(C)のデータをテキスト化することによってシリアライズ(直列化)し(図8参照)、インスタントメッセージなどのコミュニケーション用アプリケーションを使用して送信する。画像処理部30は、出力画像(C)のデータをシリアライズする際に、配列データをJSON(ジェイソン、JavaScript Object Notation)などのデータ記述言語の形式としてもよい。画像処理部30が出力画像(C)のデータをシリアライズする際に、配列データをJSONなどのデータ記述言語の形式とすることによって、可読性を向上させることができるとともに、処理効率を向上させることができる。
電子黒板2aの遠隔画像受信部73は、追加メッセージ通信ポートから出力画像(C)のデータを受信し、遠隔画像処理部82に出力することで、遠隔画像処理部82が画像データ記憶部830に出力画像(C)のデータを記憶する。遠隔画像処理部82は、追加メッセージ通信ポートから受信した出力画像(C)のデータをデシリアライズ(並列化)し、画像データ記憶部830に出力する。
次に、主催装置である電子黒板2aは、ディスプレイ3aに出力画像(C)を表示する(ステップS32)。具体的には、電子黒板2aの遠隔画像処理部82は、遠隔画像受信部73から受信した出力画像(C)のデータを、遠隔画像送信部74に出力する。遠隔画像送信部74は、同じ主催装置である電子黒板2aのクライアント部20における遠隔画像受信部64に、出力画像(C)のデータを出力する。遠隔画像受信部64は、表示重畳部36に出力画像(C)のデータを出力する。表示重畳部36は、映像重畳部28に出力画像(C)のデータを出力する。映像重畳部28はディスプレイ3aに出力画像(C)のデータを出力する。これにより、ディスプレイ3aは、出力画像(C)を表示する。
次に、主催装置としての電子黒板2aのサーバ部90における遠隔画像送信部74を含む通信制御部70は、追加メッセージ通信ポートから通信ネットワーク9を介して、出力画像(C)のデータの送信元である電子黒板2b以外の電子黒板2cの通信制御部60に出力画像(C)のデータを送信する(ステップS33)。例えば、電子黒板2aの画像取得部31を含む画像処理部30は、遠隔画像送信部63に出力画像(C)のデータをテキスト化することによってシリアライズし(図8参照)、インスタントメッセージなどのコミュニケーション用アプリケーションを使用して送信する。画像処理部30は、出力画像(C)のデータをシリアライズする際に、配列データをJSONなどのデータ記述言語の形式としてもよい。これにより、参加装置である電子黒板2cの遠隔画像受信部64は、追加メッセージ通信ポートから出力画像(C)のデータを受信する。
次に、電子黒板2cは、ディスプレイ3cに出力画像(C)を表示する(ステップS34)。具体的には、電子黒板2cの遠隔画像受信部64が、上記ステップS33によって受信された出力画像(C)のデータを、電子黒板2cの表示重畳部36に出力する。表示重畳部36は、映像重畳部28に出力画像(C)のデータを出力する。映像重畳部28はディスプレイ3cに出力画像(C)のデータを出力する。これにより、ディスプレイ3cは、出力画像(C)を表示する。
なお、出力画像(C)のデータだけでなく、UI画像(A)、およびストローク画像(B)の各データが、画像取得部31に入力されている場合には、表示重畳部36により、重畳画像(A,B,C)が生成され、映像重畳部28はディスプレイ3cに重畳画像(A,B,C)のデータを出力する。また、テレビ会議端末7から映像重畳部28に、テレビ会議用の映像(E)のデータが送られて来ている場合には、映像重畳部28は、重畳画像(A,B,C)にピクチャー・イン・ピクチャーによりテレビ会議用の映像(E)のデータを重畳して、ディスプレイ3cに出力する。
(重畳画像の表示)
続いて、図23を用いて、遠隔共有処理における重畳画像が表示される処理について説明する。
続いて、図23を用いて、遠隔共有処理における重畳画像が表示される処理について説明する。
まず、電子黒板2bは、ユーザが電子ペン4bを用いて電子黒板2bにストローク画像(B)を描画する(ステップS41)。
次に、電子黒板2bの表示重畳部36は、UI画像(A)、および出力画像(C)に対して、ストローク画像(B)を重畳し、映像重畳部28が電子黒板2bのディスプレイ3b上に、重畳された重畳画像(A,B,C)を表示させる(ステップS42)。具体的には、電子黒板2bのストローク処理部32が座標検知部22および接触検知部24からイベント振分部25を介して、操作データとしてのストローク画像(B)のデータを受信し、表示重畳部36に送信する。これにより、表示重畳部36は、UI画像(A)、および出力画像(C)に対して、ストローク画像(B)を重畳することができ、映像重畳部28が電子黒板2bのディスプレイ3b上に重畳画像(A,B,C)を表示させることができる。
次に、電子黒板2bのストローク処理部32を含む画像処理部30が、ストローク画像(B)のデータをテキスト化することによってシリアライズし、該シリアライズしたストローク画像(B)のデータを遠隔操作送信部65に送信する。画像処理部30は、ストローク画像(B)のデータをシリアライズする際に、配列データをJSONなどのデータ記述言語の形式としてもよい。電子黒板2bの遠隔操作送信部65は、追加メッセージ通信ポートから通信ネットワーク9を介して、主催装置である電子黒板2aの通信制御部70にストローク画像(B)のデータを送信する(ステップS43)。電子黒板2bのストローク処理部32を含む画像処理部30は、ストローク画像(B)のデータをインスタントメッセージなどのコミュニケーション用アプリケーションを使用して送信する際に、ストローク単位でストローク画像のデータを送信する。電子黒板2aの遠隔操作受信部75は、ストローク画像(B)のデータを追加メッセージ通信ポートから受信し、遠隔操作処理部83に出力することで、遠隔操作処理部83が操作合成処理部84にストローク画像(B)のデータを出力する。このようにして、電子黒板2bで描画されたストローク画像(B)のデータは、描画される度に、主催装置である電子黒板2aの遠隔操作処理部83に順次送信される。このストローク画像(B)のデータは、図8に示されているストロークデータID毎に示されるデータである。よって、例えば、上述したように、ユーザが電子ペン4によってアルファベット「T」を描く場合は二筆書きとなるため、2つのストロークデータIDのそれぞれで示されるストローク画像(B)のデータが順次送信される。電子黒板2bのストローク処理部32を含む画像処理部30は、ストローク画像(B)のデータを送信する際に、複数のストローク画像のデータをまとめて送信してもよい。
次に、主催装置である電子黒板2aは、ディスプレイ3aに、電子黒板2bから送られて来たストローク画像(B)のデータが含まれた重畳画像(A,B,C)を表示する(ステップS44)。具体的には、電子黒板2aの操作合成処理部84は、遠隔操作処理部83を介して順次送られて来た複数のストローク画像(B)のデータを合成して、操作データ記憶部840に記憶するとともに遠隔操作処理部83に戻す。これにより、遠隔操作処理部83は、操作合成処理部84から受信した、合成後のストローク画像(B)のデータを、遠隔操作送信部76に出力する。遠隔操作送信部76は、同じ主催装置である電子黒板2aのクライアント部20における遠隔操作受信部66に、合成後のストローク画像(B)のデータを出力する。遠隔操作受信部66は、画像処理部30における表示重畳部36に、合成後のストローク画像(B)のデータを出力する。よって、表示重畳部36は、UI画像(A)、および出力画像(C)に対して、合成後のストローク画像(B)を重畳する。最後に、映像重畳部28が、表示重畳部36によって重畳された重畳画像(A,B,C)をディスプレイ3a上に表示させる。
次に、主催装置としての電子黒板2aのサーバ部90における遠隔操作送信部76を含む通信制御部70は、追加メッセージ通信ポートから通信ネットワーク9を介して、ストローク画像(B)のデータの送信元である電子黒板2b以外の電子黒板2cの通信制御部60に、合成後のストローク画像(B)のデータを追加メッセージ通信ポートから送信する(ステップS45)。電子黒板2aのストローク処理部32を含む画像処理部30は、ストローク画像(B)のデータを送信する際に、ストローク単位でストローク画像のデータを送信する。これにより、参加装置である電子黒板2cの遠隔操作受信部66は、合成後のストローク画像(B)のデータを受信する。電子黒板2aのストローク処理部32を含む画像処理部30は、ストローク画像(B)のデータを送信する際に、複数のストローク画像のデータをまとめて送信してもよい。
次に、電子黒板2cは、ディスプレイ3cに重畳画像(A,B,C)を表示する(ステップS46)。具体的には、電子黒板2cの遠隔操作受信部66が、上記ステップS45によって受信された合成後のストローク画像(B)のデータを、電子黒板2cの画像処理部30に出力する。画像処理部30の表示重畳部36は、UI画像(A)、および出力画像(C)の各データと、合成後のストローク画像(B)のデータを重畳し、映像重畳部28に重畳画像(A,B,C)のデータを出力する。映像重畳部28は、ディスプレイ3cに重畳画像(A,B,C)のデータを出力する。これにより、ディスプレイ3cは、重畳画像(A,B,C)を表示する。
なお、上記処理では、ディスプレイ3上に出力画像(C)が表示されているが、この出力画像(C)に代えて、背景画像(D)を表示してもよい。また、出力画像(C)と背景画像(D)との排他的な関係をやめて、出力画像(C)と背景画像(D)との両方を同時にディスプレイ3上に表示させてもよい。
(参加の終了)
続いて、図23を用いて、参加装置が遠隔共有処理への参加を終了する処理について説明する。図23に示す実施の形態では、電子黒板2cが参加を終了する処理が示されている。
続いて、図23を用いて、参加装置が遠隔共有処理への参加を終了する処理について説明する。図23に示す実施の形態では、電子黒板2cが参加を終了する処理が示されている。
まず、電子黒板2cでは、ユーザによるタッチパネル等の操作ボタン125の操作によって参加の終了要求を受け付けると、遠隔参加処理部62は、主催装置としての電子黒板2aのサーバ部90における通信制御部70に、追加メッセージ通信ポートを介して参加の終了要求を行う(ステップS47)。これにより、電子黒板2aの通信制御部70の遠隔接続要求受信部71は、電子黒板2cから、参加の終了要求を受信し、遠隔接続処理部81に、電子黒板2cのIPアドレスとともに参加の終了要求を出力する。そして、電子黒板2aの遠隔接続処理部81は、遠隔接続要求受信部71から送られて来たIPアドレスに基づいて、参加拠点管理テーブル820から、参加の終了要求を行った電子黒板2cのIPアドレスおよび電子黒板2cが設置されている拠点の名称を削除し、遠隔接続結果送信部72に、電子黒板2cのIPアドレスおよび削除した旨の通知を出力する。
次に、電子黒板2aの遠隔接続結果送信部72を含んだ通信制御部70が、通信ネットワーク9を介して、電子黒板2cのクライアント部20における通信制御部60に、参加の終了を指示する(ステップS48)。これにより、電子黒板2cにおける通信制御部60の遠隔参加処理部62が、遠隔共有処理の通信を切断することで、参加の終了処理を行うことで、参加が終了する(ステップS49)。
本実施の形態に係る画像処理システムによれば、電子会議システムと、電子黒板を使用する通信システムで共通のメッセージ通信ポートを設定することによって通信経路を設定する。これによって、電子会議システムに、電子黒板を導入した場合に、使用する通信ポートが増加しないため、ネットワーク資源が圧迫されることを防止できる。このため、ネットワーク資源を有用に利用することができる。
<第2の実施の形態>
<画像処理システムの概要>
画像処理システム1000の構成について説明する。図24は、実施の形態に係る画像処理システム1000の概略図である。本実施の形態に係る画像処理システム1000では、第1の実施の形態に係る電子黒板2が有していたサーバ部の機能を配信制御装置によって実現したものである。
<画像処理システムの概要>
画像処理システム1000の構成について説明する。図24は、実施の形態に係る画像処理システム1000の概略図である。本実施の形態に係る画像処理システム1000では、第1の実施の形態に係る電子黒板2が有していたサーバ部の機能を配信制御装置によって実現したものである。
図24に示されているように、本実施の形態の画像処理システム1000は、配信制御装置600、複数の通信端末(500a~500f)、および管理装置700によって構築されている。以下では、複数の通信端末(500a~500f)のうち、任意の通信端末を「通信端末500」として表す。また、配信制御装置600および管理装置700は、いずれもサーバコンピュータによって構築されている。
通信端末500は、画像処理システム1000のサービスを受けるユーザが使用する端末である。このうち、通信端末500aは、ノートPC(Personal Computer)である。通信端末500bは、スマートフォンやタブレット端末等のモバイル端末である。通信端末500cは、コピー、スキャン、プリント、およびファックスの各機能が複合されたMFP(Multifunction Peripheral/Printer/Product)である。通信端末500dは、プロジェクタである。通信端末500eは、カメラ、マイクおよびスピーカを備えたテレビ(ビデオ)会議端末である。通信端末500fは、ユーザ等によって描かれた内容を電子的に変換することが可能な電子黒板(ホワイトボード)である。
なお、通信端末500は、図24に示されているような端末だけでなく、腕時計、自動販売機、ガスメータ、カーナビゲーション装置、ゲーム機、エアコン、照明器具、カメラ単体、マイク単体、スピーカ単体等であって、インターネット等の通信ネットワークを介して通信可能な装置であってもよい。
また、配信制御装置600、通信端末500、および管理装置700は、インターネットやLAN(Local Area Network)等の通信ネットワーク9によって通信することができる。この通信ネットワーク9には、3G(3rd Generation)、WiMAX(Worldwide Interoperability for Microwave Access)、LTE(Long Term Evolution)等の無線通信によるネットワークも含まれる。
通信端末500によっては、通信端末500d等のように、通信ネットワーク9を介して他の端末やシステムと通信する機能を有していないものがある。しかし、ユーザが通信端末500dのUSB(Universal Serial Bus)やHDMI(High-Definition Multimedia Interface)のインターフェース部にドングルを差し込むことで、通信端末500dは通信ネットワーク9を介して他の端末やシステムと通信可能となる。
また、配信制御装置600は、ホワイトボード部620を有する。ホワイトボード部620におけるレンダラ(Renderer)の機能が、所定の記述言語で示された単一又は複数のコンテンツデータを取得して、レンダリングする。これにより、RGB(Red Green Blue)によるビットマップデータ等の静止画データやPCM(Pulse Code Modulation)データ等の音データ(即ち、静止画(音)データ)としてのフレームデータを生成することができる。コンテンツデータは、任意の通信端末等から取得されたデータであって、HTML(Hypertext Markup Language)やCSS(Cascading Style Sheets)による画像(音)データ、MP4(MPEG-4)による画像(音)データ、AAC(Advanced Audio Coding)による音データ等が含まれる。
さらに、配信制御装置600は、エンコード部660を有し、エンコード部660がエンコーダとしての役割を果たすことにより、静止画(音)データとしての各フレームデータを、H.264(MPEG-4 AVC)、H.265、Motion JPEG等の圧縮符号化方式の映像(音)データに変換する。
一方、管理装置700は、通信端末500のログイン認証を行ったり、通信端末500の契約情報等の管理を行ったりする。また、管理装置700は、電子メールを送信するためのSMTP(Simple Mail Transfer Protocol)サーバの機能を有している。管理装置700は、例えば、クラウドのサービス(IaaS:Infrastructure as a Service)上に展開される仮想マシンとして実現することができる。管理装置700は、不測の事態に対応して継続的なサービスを提供するために、多重化して運用することが望ましい。
また、ホワイトボード部620は、リアルタイムコミュニケーション(RTC:Real-time communication/collaboration)を可能にしている。さらに、配信制御装置600は後述のエンコード部660を有しており、このエンコード部660は、ホワイトボード部620によって出力されたフレームデータに対して、リアルタイムのエンコードを行い、H.264の規格等に基づく変換により生成された映像(音)データを出力することができる。そのため、配信制御装置600の処理は、DVDプレーヤによって、DVDに記録されているリアルタイム性のない映像(音)データを読み出して配信する場合等とは異なる。
なお、配信制御装置600だけでなく、通信端末500もホワイトボード部を有してもよい。この場合、配信制御装置600のホワイトボード部620を最新化することで、各通信端末500のホワイトボード部を起動させる必要はなくなる。
<各種配信方法>
次に、各種配信方法について説明する。
次に、各種配信方法について説明する。
(基本配信)
図25は、基本的な配信方法を示した概念図である。画像処理システム1000では、図25に示されているように、配信制御装置600のホワイトボード部620が、任意の通信端末等から画像(音)データとしてのコンテンツデータ〔A〕を取得してレンダリングすることにより、静止画(音)データとしての各フレームデータ〔A〕を生成する。そして、エンコード部660を含むエンコーダブリッジ部630が、各フレームデータ〔A〕をエンコード等することによりH.264等の圧縮符号化方式の映像(音)データ〔A〕(送信データの一例)に変換する。配信制御装置600は、変換された後の映像(音)データ〔A〕を通信端末500に配信する。
図25は、基本的な配信方法を示した概念図である。画像処理システム1000では、図25に示されているように、配信制御装置600のホワイトボード部620が、任意の通信端末等から画像(音)データとしてのコンテンツデータ〔A〕を取得してレンダリングすることにより、静止画(音)データとしての各フレームデータ〔A〕を生成する。そして、エンコード部660を含むエンコーダブリッジ部630が、各フレームデータ〔A〕をエンコード等することによりH.264等の圧縮符号化方式の映像(音)データ〔A〕(送信データの一例)に変換する。配信制御装置600は、変換された後の映像(音)データ〔A〕を通信端末500に配信する。
さらに、画像処理システム1000は、上述の配信方法を応用し、コンテンツデータを複数の拠点に映像(音)データとして配信することも可能である。以下に、コンテンツデータを複数の拠点に配信する方法について説明する。
(マルチキャスト)
図26は、マルチキャストの概念図である。図26に示されているように、配信制御装置600のホワイトボード部620は、任意の通信端末等から画像(音)データとしてのコンテンツデータ〔A〕を取得してレンダリングすることにより、静止画(音)データとしての各フレームデータ〔A〕を生成する。そして、エンコーダブリッジ部630が、各フレームデータ〔A〕をエンコードして、映像(音)データに変換する。その後、配信制御装置600は、映像(音)データ〔A〕(送信データの一例)を複数の通信端末(500f1,500f2,500f3)に配信する。
図26は、マルチキャストの概念図である。図26に示されているように、配信制御装置600のホワイトボード部620は、任意の通信端末等から画像(音)データとしてのコンテンツデータ〔A〕を取得してレンダリングすることにより、静止画(音)データとしての各フレームデータ〔A〕を生成する。そして、エンコーダブリッジ部630が、各フレームデータ〔A〕をエンコードして、映像(音)データに変換する。その後、配信制御装置600は、映像(音)データ〔A〕(送信データの一例)を複数の通信端末(500f1,500f2,500f3)に配信する。
以上により、複数の拠点では、同じ映像(音)が再生される。この場合、通信端末(500f1,500f2,500f3)は同じ表示再生能力(解像度が同じ等)を有する必要はない。このような配信方法は、例えば「マルチキャスト」と呼ぶ。
(マルチディスプレイ)
図27は、マルチディスプレイの概念図である。図27に示されているように、配信制御装置600のホワイトボード部620は、任意の通信端末等から画像(音)データとしてのコンテンツデータ〔XYZ〕を取得してレンダリングすることにより、静止画(音)データとしての各フレームデータ〔XYZ〕を生成する。そして、エンコーダブリッジ部630が、フレームデータ〔XYZ〕毎に、複数のフレームデータ(〔X〕,〔Y〕,〔Z〕)に分割した後にエンコードすることで、複数の映像(音)データ(〔X〕,〔Y〕,〔Z〕)に変換する。その後、配信制御装置600は、映像(音)データ〔X〕(送信データの一例)を通信端末500f1に配信する。また、同じように、配信制御装置600は、映像(音)データ〔Y〕(送信データの一例)を通信端末500f2に配信し、映像(音)データ〔Z〕(送信データの一例)を通信端末500f3に配信する。
図27は、マルチディスプレイの概念図である。図27に示されているように、配信制御装置600のホワイトボード部620は、任意の通信端末等から画像(音)データとしてのコンテンツデータ〔XYZ〕を取得してレンダリングすることにより、静止画(音)データとしての各フレームデータ〔XYZ〕を生成する。そして、エンコーダブリッジ部630が、フレームデータ〔XYZ〕毎に、複数のフレームデータ(〔X〕,〔Y〕,〔Z〕)に分割した後にエンコードすることで、複数の映像(音)データ(〔X〕,〔Y〕,〔Z〕)に変換する。その後、配信制御装置600は、映像(音)データ〔X〕(送信データの一例)を通信端末500f1に配信する。また、同じように、配信制御装置600は、映像(音)データ〔Y〕(送信データの一例)を通信端末500f2に配信し、映像(音)データ〔Z〕(送信データの一例)を通信端末500f3に配信する。
以上により、例えば、横長のコンテンツ〔XYZ〕であっても、複数の通信端末500で分割して映像(音)が再生されるため、通信端末(500f1,500f2,500f3)を一列に並べて設置すれば、1つの大きな映像を再生させることと同様の効果を得ることができる。この場合、通信端末(500f1,500f2,500f3)は同じ表示再生能力(解像度が同じ等)を有する必要がある。このような配信方法は、例えば「マルチディスプレイ」と呼ぶ。
(複合配信)
図28は、配信制御装置600を介して複数の通信端末を使った複合配信の概念図である。図28に示されているように、第1の拠点(図28の右側)では、電子黒板としての通信端末500f1およびテレビ会議端末としての通信端末500e1が利用され、第2の拠点(図28の左側)では、同じく電子黒板としての通信端末500f2、およびテレビ会議端末としての通信端末500e2が利用されている。また、第1の拠点では、通信端末500f1にストロークによる文字等を描画させるための電子ペンP1が利用され、第2の拠点では、通信端末500f2にストロークによる文字等を描画させるための電子ペンP2が利用されている。
図28は、配信制御装置600を介して複数の通信端末を使った複合配信の概念図である。図28に示されているように、第1の拠点(図28の右側)では、電子黒板としての通信端末500f1およびテレビ会議端末としての通信端末500e1が利用され、第2の拠点(図28の左側)では、同じく電子黒板としての通信端末500f2、およびテレビ会議端末としての通信端末500e2が利用されている。また、第1の拠点では、通信端末500f1にストロークによる文字等を描画させるための電子ペンP1が利用され、第2の拠点では、通信端末500f2にストロークによる文字等を描画させるための電子ペンP2が利用されている。
そして、第1の拠点において、通信端末500e1によって取得された映像(音)データは、エンコード部660でエンコードされた後に、テキスト化されることよってシリアライズされ、インスタントメッセージなどのコミュニケーション用アプリケーションを使用して、追加メッセージ通信ポートを介して配信制御装置600に送信される。その後、配信制御装置600のデコード部640で、デシリアライズされ、デコードされて、ホワイトボード部620に入力される。また、電子ペンP1によって通信端末500f1に描かれたストロークを示す操作データ(この場合、通信端末500f1のディスプレイ上における座標データ等)は、テキスト化されることよってシリアライズされ、インスタントメッセージなどのコミュニケーション用アプリケーションを使用して、追加メッセージ通信ポートを介して配信制御装置600に送信され、ホワイトボード部620に入力される。
一方、第2の拠点においても、通信端末500e2によって取得された映像(音)データは、エンコード部660でエンコードされた後に、テキスト化されることよってシリアライズされ、インスタントメッセージなどのコミュニケーション用アプリケーションを使用して、追加メッセージ通信ポートを介して配信制御装置600に送信される。その後、配信制御装置600のデコード部640で、デシリアライズされ、デコードされて、ホワイトボード部620に入力される。また、電子ペンP2によって通信端末500f2に描かれたストロークを示す操作データ(この場合、通信端末500f2のディスプレイ上における座標データ等)は、テキスト化されることよってシリアライズされ、インスタントメッセージなどのコミュニケーション用アプリケーションを使用して、追加メッセージ通信ポートを介して配信制御装置600に送信され、ホワイトボード部620に入力される。
一方、ホワイトボード部620は、例えば、任意の通信端末等から通信端末(500f1,500f2)のそれぞれのディスプレイに表示される背景画像であるコンテンツデータ〔A〕を取得する。そして、ホワイトボード部620は、コンテンツデータ〔A〕、操作データ(〔p1〕,〔p2〕)および映像(音)コンテンツデータ(〔E1〕,〔E2〕)を結合してレンダリングすることで、各コンテンツ(〔A〕,〔p1〕,〔p2〕,〔E1〕,〔E2〕)が所望のレイアウトに設置された静止画(音)データとしてのフレームデータを生成する。そして、エンコーダブリッジ部630は、各フレームデータをエンコードし、テキスト化することよってシリアライズし、インスタントメッセージなどのコミュニケーション用アプリケーションを使用して、配信制御装置600が各拠点に同じコンテンツ(〔A〕,〔p1〕,〔p2〕,〔E1〕,〔E2〕)を示す映像(音)データ(送信データの一例)を追加メッセージ通信ポートを介して配信する。
これにより、第1の拠点では、通信端末500f1のディスプレイ上に、映像(〔A〕、〔p1〕、〔p2〕、〔E1(映像部分)〕および〔E2(映像部分)〕)が表示されると共に、通信端末500e1のスピーカから音〔E2(音部分)〕が出力される。一方、第2の拠点でも、通信端末500f2のディスプレイ上に、映像(〔A〕、〔p1〕、〔p2〕、〔E1(映像部分)〕および〔E2(映像部分)〕)が表示されると共に、通信端末500e2のスピーカから音〔E1(音部分)〕が出力される。
第1の拠点では、通信端末500f1のエコーキャンセル機能により、自拠点の音〔E1(音部分)〕は出力されない。一方、第2の拠点では、通信端末500f2のエコーキャンセル機能により、自拠点の音〔E2(音部分)〕は出力されない。
以上により、第1の拠点と第2の拠点とでは、遠隔地間においてリアルタイムで同じ情報を共有する遠隔共有処理を行うことができるため、本実施の形態の画像処理システム1000は遠隔会議等に有効である。
<ハードウェア構成>
図29を用いて、本実施の形態に係る装置のハードウェア構成を説明する。図29は、実施の形態に係る配信制御装置600および管理装置700のハードウェア構成図である。
図29を用いて、本実施の形態に係る装置のハードウェア構成を説明する。図29は、実施の形態に係る配信制御装置600および管理装置700のハードウェア構成図である。
まず、配信制御装置600について説明する。図29に示されているように、配信制御装置600は、配信制御装置600全体の動作を制御する(ホスト)CPU601、IPL等のCPU601の駆動に用いられるプログラムを記憶したROM602、CPU601のワークエリアとして使用されるRAM603、プログラム等の各種データを記憶するHDD604、CPU601の制御にしたがってHDD604に対する各種データの読み出し又は書き込みを制御するHDC(Hard Disk Controller)605、フラッシュメモリ等の記録メディア606に対するデータの読み出し又は書き込み(記憶)を制御するメディアドライブ607、各種情報を表示するディスプレイ608、通信ネットワーク9を利用してデータ送信したりドングルを接続したりするためのI/F609、キーボード611、マウス612、マイク613、スピーカ614、GPU(Graphics Processing Unit)615、GPU615の駆動に用いられるプログラムを記憶したROM616、GPU615のワークエリアとして使用されるRAM617、上記各構成要素を図29に示されているように電気的に接続するためのアドレスバスやデータバス等の拡張バスライン650を備えている。なお、プロジェクタとしての通信端末500dのように、GPUが備えられていない場合もある。また、管理装置700のハードウェア構成は、配信制御装置600のハードウェア構成と同様であるため、それらの説明を省略する。
<機能構成>
次に、図30-33を用いて、本実施の形態に係る装置の機能構成について説明する。
次に、図30-33を用いて、本実施の形態に係る装置の機能構成について説明する。
(配信制御装置の機能構成)
まずは、図30を用いて、配信制御装置600の機能構成について説明する。図30は、本実施の形態に係る配信制御装置600の各機能を示す機能ブロック図である。図30では、配信制御装置600が通信端末500f1に対して映像(音)データを配信する場合の機能構成が示されているが、配信先が通信端末500f1以外の場合も、同じ機能構成を有する。なお、配信制御装置600は、複数の配信エンジンサーバを備えているが、説明を簡単にするために、以下では、単一の配信エンジンサーバを備えている場合について説明する。
まずは、図30を用いて、配信制御装置600の機能構成について説明する。図30は、本実施の形態に係る配信制御装置600の各機能を示す機能ブロック図である。図30では、配信制御装置600が通信端末500f1に対して映像(音)データを配信する場合の機能構成が示されているが、配信先が通信端末500f1以外の場合も、同じ機能構成を有する。なお、配信制御装置600は、複数の配信エンジンサーバを備えているが、説明を簡単にするために、以下では、単一の配信エンジンサーバを備えている場合について説明する。
図30に示されているように、配信制御装置600は、図29に示されているCPU601又はGPU615であるプロセッサ等のハードウェア構成およびプログラムによって、図30に示されている各機能構成を有する。
具体的に、配信制御装置600は、ホワイトボード部620、送受信部621、ホワイトボード制御部622、送信用FIFO(First-In First-Out)624、時刻管理部625、時刻取得部626、回線適応制御部627、エンコーダブリッジ部630、送受信部631、受信用FIFO634、認識部635、遅延情報取得部637a、回線適応制御部637b、およびデコード部640を有している。
さらに、配信制御装置600は、図29に示されているHDD604によって構築される記憶部2000、座標蓄積部122、およびデータ管理部120を有している。この記憶部2000には、認識部635から出力されホワイトボード制御部622を介して送られた後述の認識情報が記憶される。ホワイトボード部620が取得したコンテンツデータは、キャッシュとして、記憶部2000に一時的に記憶しておくこともできる。座標蓄積部122は、通信端末500に入力された座標が記憶される。また、データ管理部120は、当該座標から生成されたストロークを示すストロークデータが記憶される。
送受信部621は、管理装置700や任意の通信端末との間で、各種データ、各種要求、各種指示等の送受信を行う。例えば、送受信部621は、任意の通信端末から追加メッセージ通信ポートを介してコンテンツデータを取得する。また、送受信部621は、管理装置700から取得した各種データを配信制御装置600内の各機能構成に出力したり、管理装置700から取得した各種データ、各種要求、又は各種指示等に基づいて配信制御装置600内の各機能構成を制御したりする。例えば、送受信部621は、管理装置700からの配信の切替え要求に基づいて、図31に示されているエンコーダブリッジ部630内の各構成の組み合わせの切替えを行う。
ホワイトボード制御部622は、ホワイトボード部620の制御を行う。具体的には、ホワイトボード制御部622は、送受信部631を介して通信端末500から、追加メッセージ通信ポートを介して送信されるユーザによる操作を示す各種操作データを取得し、ホワイトボード部620に出力する。操作データは、通信端末500での操作イベント(キーボード611やマウス612等による操作や電子ペンPによるストローク等)によって生じたデータである。ユーザによる操作がストロークコマンド(ストロークの指示)であった場合、ホワイトボード制御部622は、操作データにおける通信端末500のディスプレイに入力された座標を、座標蓄積部122に保存する。そして、ホワイトボード制御部622は、座標蓄積部122に保存されて蓄積した全ての座標から、ユーザからの操作によるストロークを示すストロークデータを生成し、ホワイトボード部620に出力する。
また、ホワイトボード制御部622は、ユーザによる操作がページコマンド(ページの追加指示)であった場合、追加されたページをホワイトボード部620に出力する。また、ホワイトボード制御部622は、ユーザによる操作が画像コマンド(画像の追加指示)であった場合、追加された画像をホワイトボード部620に出力する。また、ホワイトボード制御部622は、ユーザによる操作がいずれでもなかった場合、マウスイベントとしてホワイトボード部620に出力する。
また、通信端末500に、温度センサ、湿度センサ、および加速度センサ等の各種センサが設けられている場合には、ホワイトボード制御部622は、通信端末500から追加メッセージ通信ポートを介して送信される各センサの出力信号であるセンサ情報を取得し、ホワイトボード部620に出力する。さらに、ホワイトボード制御部622は、認識部635から画像(音)データを取得してホワイトボード部620に出力したり、認識部635から後述の認識情報を取得して記憶部2000に記憶したりする。また、ホワイトボード制御部622は、受信用FIFO634から映像(音)データを取得してホワイトボード部620に出力する。
ホワイトボード部620は、レンダラの機能によって、画像(音)データとしてのコンテンツデータ等をレンダリングすることにより、静止画(音)データとしての各フレームデータを生成する。また、レンダラは、図28に示されているように、複数種類のコンテンツ(〔p1〕,〔p2〕,〔E1〕,〔E2〕)のレイアウトを行うレイアウトエンジン(Layout Engine)でもある。
また、ホワイトボード部620は、ホワイトボード制御部622により生成されたストロークデータを取得すると、データ管理部120に保存する。このときホワイトボード部620は、ストロークデータを例えばテキスト形式や、PDF(Portable Document Format)形式で保存する。そして、ホワイトボード部620は、取得したストロークデータをレンダリングすることにより、静止画(音)データとしてのフレームデータを生成する。この時、ホワイトボード部620は、既に取得しているコンテンツデータがあった場合、当該コンテンツデータに対して、操作データであるストロークデータを結合したレイアウトにして出力する。
また、ホワイトボード部620は、ユーザによる操作がページコマンド(ページの追加指示)であった場合、取得したページをデータ管理部120に保存する。また、ホワイトボード部620は、ユーザによる操作が画像コマンド(画像の追加指示)であった場合、取得した画像をデータ管理部120に保存する。
送信用FIFO624は、ホワイトボード部620で生成された静止画(音)データとしての各フレームデータを格納するバッファである。
時刻管理部625は、配信制御装置600独自の時刻Tを管理している。
時刻取得部626は、後述の通信端末500における時刻制御部656と連携して、時刻調整の処理を行う。具体的には、時刻取得部626は、時刻管理部625から配信制御装置600における時刻Tを示す時刻情報(T)を取得したり、送受信部631および送受信部651を介して、後述の時刻制御部556から通信端末500における時刻tを示す時刻情報(t)を受信したり、時刻制御部556に時刻情報(t)および時刻情報(T)を送信する。
回線適応制御部627は、送信遅延時間情報(D)に基づいて、再生遅延時間Uを計算したり、エンコーダブリッジ部630における変換部661のフレームレートやデータの解像度等の動作条件を計算したりする。この再生遅延時間Uは、再生までにデータがバッファリングされることで、再生を遅延させるための時間である。つまり、回線適応制御部627は、送信遅延時間情報(D)とデータのサイズ(ビット数やバイト数等)に基づき、エンコーダブリッジ部630の動作を変更する。この送信遅延時間情報(D)は、通信端末500における遅延情報取得部557が再生制御部553から取得した複数の送信遅延時間D1によって構成された度数分布情報を示す。各送信遅延時間D1は、映像(音)データが配信制御装置600によって送信されてから通信端末500によって受信されるまでの時間を示す。
エンコーダブリッジ部630は、ホワイトボード部620が生成した静止画(音)データとしての各フレームデータを、エンコーダブリッジ部630における変換部661(図31参照)に出力する。この際、変換部661は、回線適応制御部627で計算された動作条件を考慮して各処理を行なう。エンコーダブリッジ部630については、図31および図32を用いて、さらに詳細に説明する。図31は、エンコーダブリッジ部の詳細図である。また、図32は、変換部の各機能を示す機能ブロック図である。
図31に示されているように、エンコーダブリッジ部630は、作成・選択・転送部660、および選択部670と、これらの間に複数の変換部(661a,661b,661c)が構築されている。ここでは、3つの変換部を示したが、1-2個であってもよいし、4個以上であってもよい。以下、任意の変換部を「変換部661」として表す。
さらに、変換部661は、ホワイトボード部620によって生成された静止画(音)データとしての各フレームデータのデータ形式を、通信ネットワーク9を介して通信端末500に配信できるH.264等のデータ形式に変換する。そのため、変換部661は、図32に示されているように、トリミング部662、リサイズ部663、分割部664、およびエンコード部665を有することで、フレームデータに各種処理を施す。トリミング部662、リサイズ部663、および分割部664は、音データの場合は、処理を行わない。
このうち、トリミング部662は、静止画の一部だけを切り出す処理を行う。リサイズ部663は、静止画の縮尺を変更する。分割部664は、図27に示されているように、静止画を分割する。
また、エンコード部665は、ホワイトボード部620で生成された、静止画(音)データとしての各フレームデータをエンコードすることにより、通信ネットワーク9を介して通信端末500に映像(音)データを配信できるように変換する。また、エンコード部665は、映像が動かなければ(フレーム間で更新(変化)がなければ)、以降、映像が動くまでスキップフレーム(「フレームスキップ」ともいう)データを挿入することで帯域をセーブする。
なお、レンダリングにより静止画データと共に音データが生成される場合には、これら両方のデータがエンコードされるが、音データだけが生成される場合には、トリミングやリサイズ、分割は行われることはなく、エンコードだけが行われてデータ圧縮される。
また、作成・選択・転送部660は、新たに変換部661を作成したり、既に作成されている変換部661に対して入力させる静止画(音)データとしてのフレームデータを選択したり、変換部661にフレームデータを転送したりする。作成する場合としては、作成・選択・転送部660は、通信端末500における映像(音)データの再生能力に応じた変換が可能な変換部661を作成する。また、選択する場合としては、作成・選択・転送部660は、既に作成されている変換部661を選択する。例えば、通信端末500aへの配信に加えて通信端末500bへの配信を開始するにあたって、通信端末500aへ配信している映像(音)データと同じ映像(音)データを通信端末500bへ配信する場合がある。このような場合で、さらに、通信端末500bが通信端末500aにおける映像(音)データの再生能力と同じ再生能力を有する場合には、作成・選択・転送部660は通信端末500b用に新たな変換部661bを作成せずに、通信端末500a用に既に作成している変換部661aを利用する。また、転送する場合としては、作成・選択・転送部660は、送信用FIFO624に記憶されているフレームデータを、変換部661に転送する。
一方、選択部670は、既に作成されている変換部661から所望のものを選択する。これら作成・選択・転送部660と選択部670による選択によって、図28に示したような様々なパターンの配信を行うことができる。
図30に戻り説明を続ける。送受信部631は、通信端末500との間で、追加メッセージ通信ポートを介して各種データや要求等の送受信を行う。この送受信部631が、クラウド上から通信ネットワーク9を介して通信端末500に各種データや要求等を送信することで、配信制御装置600は通信端末500に対して、各種データや要求等を配信することができる。
例えば、送受信部631は、通信端末500のログイン処理において、通信端末500の送受信部651に対し、ユーザにログイン要求を促すための認証画面データを送信する。また、送受信部631は、通信端末500から、ユーザによる操作を示す操作データを追加メッセージ通信ポートを介して受信する。さらに、送受信部631は、変換部661によって静止画(音)データとしての各フレームデータが通信ネットワーク9を介して通信端末500に配信可能なデータ形式に変換されたフレームデータ(変換映像データ)を追加メッセージ通信ポートを介して通信端末500に送信する。送受信部631が、受信部と送信部に相当する。
その他に、送受信部631は、HTTPS(Hypertext Transfer Protocol over Secure Socket Layer)サーバを介して画像処理システム1000の独自のプロトコルにより、通信端末500のユーザアプリや通信端末500のデバイスアプリへのデータ送信およびデータ受信を行う。この独自のプロトコルは、配信制御装置600と通信端末との間でリアルタイムに途切れることなくデータを送受信するためのHTTPSベースのアプリケーション層プロトコルである。また、送受信部631は、送信レスポンス制御、リアルタイムのデータ作成、コマンド送信、受信レスポンス制御、受信データ分析、およびジェスチャ変換を行う。
このうち、送信レスポンス制御は、配信制御装置600から通信端末500にデータを送信するために、通信端末500からリクエスト(要求)されたダウンロード用のHTTPSセッションを管理する処理である。このダウンロード用のHTTPSセッションのレスポンスはすぐに終了せず、一定時間(1~数分)保持する。送受信部631は、通信端末500に送るデータを動的にレスポンスのBody部に書き込む。また、再接続のコストをなくすため、通信端末500からは前のセッションが終了しないうちに別のリクエストが届くようにする。送受信部631を、前のリクエストが完了するまで待機させておくようにすることで、再接続を行っても、オーバヘッドを削除することができる。
リアルタイムのデータ作成は、図32におけるエンコード部665で生成された圧縮映像(および圧縮音)のデータに独自のヘッダを付与して、HTTPSのBody部に書き込む処理である。
コマンド送信は、通信端末500に送信するコマンドデータを生成し、通信端末500へのHTTPSのBody部に書き込む処理である。
受信レスポンス制御は、配信制御装置600が通信端末500からデータを受信するために、通信端末500からリクエストされたHTTPSセッションを管理する処理である。このHTTPSセッションのレスポンスはすぐに終了せず、一定時間(1~数分)保持される。通信端末500は、配信制御装置600の送受信部631に送るデータを動的にリクエストのBody部に書き込む。
受信データ分析は、通信端末500から送られてきたデータを種別ごとに分析し、必要なプロセスにデータを渡す処理である。
ジェスチャ変換は、ユーザが電子黒板としての通信端末500fに電子ペンや手書きにより入力したジェスチャイベントを、ホワイトボード部620が受け取れる形式のデータに変換する処理である。
また、受信用FIFO634は、デコード部640でデコードされた後の映像(音)データを格納するバッファである。
認識部635は、通信端末500から受信する画像(音)データに対しての処理を行う。具体的には、認識部635は、例えば、サイネージ向けにカメラ562で撮影された画像から人や動物の顔、年齢、および性別などを認識する。また、認識部635は、オフィス向けに、カメラ562で撮影された画像から顔認識による名前タグ付けや背景画像の差し替え処理などを行う。認識部635は、認識した内容を示す認識情報を記憶部2000に記憶させる。この認識部635は、認識拡張ボードで処理を行うことで高速化が実現される。
遅延情報取得部637aは、下り用の回線適応制御の処理に用いられる通信端末500側の遅延情報取得部557に対応して、上り用の回線適応制御の処理に用いられる。具体的には、遅延情報取得部637aは、デコード部640から送信遅延時間d1を示す送信遅延時間情報(d1)を取得して一定時間保持しておき、複数の送信遅延時間情報(d1)を取得したところで、回線適応制御部637bに、複数の送信遅延時間d1による度数分布情報を示す送信遅延時間情報(d)を出力する。送信遅延時間情報(d1)は、映像(音)データが通信端末500によって送信されてから配信制御装置600によって受信されるまでの時間を示す。
回線適応制御部637bは、下り用の回線適応制御の処理に用いられる回線適応制御部627に対応して、上り用の回線適応制御の処理に用いられる。具体的には、回線適応制御部637bは、送信遅延時間情報(d)に基づいて、通信端末500側のエンコード部560の動作条件を計算する。また、回線適応制御部637bは、送受信部631および送受信部651を介して通信端末500のエンコード部560に、フレームレートやデータの解像度等の動作条件を示す回線適応制御信号を送信する。
デコード部640は、通信端末500から送信されて来た映像(音)データをデコードする。
また、デコード部640は、送信遅延時間d1を示す送信遅延時間情報(d1)を遅延情報取得部637aに出力する。
(通信端末の機能構成)
次に、図33を用いて、通信端末500の機能構成について説明する。図33は、本実施の形態に係る通信端末500の各機能を示す機能ブロック図である。通信端末500は、ユーザが画像処理システム1000へのログインや映像(音)データの配信の開始又は停止などを行うためのインターフェースとなる端末である。
次に、図33を用いて、通信端末500の機能構成について説明する。図33は、本実施の形態に係る通信端末500の各機能を示す機能ブロック図である。通信端末500は、ユーザが画像処理システム1000へのログインや映像(音)データの配信の開始又は停止などを行うためのインターフェースとなる端末である。
図33に示されているように、通信端末500は、図29に示されているCPU601等のハードウェア構成およびプログラムによって、図33に示されている各機能構成を有する。ここで、プログラムは、電子会議システム用プログラムと、電子黒板用プログラムとが用意されてもよい。この場合、電子会議システム用プログラムと、電子黒板用プログラムとが協調してCPU601を動作させる。また、ドングルを差し込まれることで通信端末500が通信ネットワーク9を介して他の端末やシステムと通信可能となる場合には、図29に示されているハードウェア構成およびプログラムによって、図33に示されている各機能構成を有する。
具体的に、通信端末500は、デコード部550、送受信部551、操作部552、再生制御部553、レンダリング部555、時刻制御部556、遅延情報取得部557、表示部558、およびエンコード部560を有している。さらに、通信端末500は、図29に示されているRAM603によって構築される記憶部5000を有している。この記憶部5000には、後述の時刻差Δを示す時刻差情報(Δ)、および通信端末500における時刻tを示す時刻情報(t)が記憶される。
このうち、デコード部550は、配信制御装置600から配信され、再生制御部553から出力された映像(音)データをデシリアライズし、デコードする。デコードした映像(音)データに音声が含まれている場合は、スピーカ561により出力する。
送受信部551は、配信制御装置600の送受信部531、および管理装置700との間で、各種データや要求等の送受信を行う。例えば、送受信部551は、通信端末500のログイン処理において、操作部552による通信端末500の起動に基づき、管理装置700にログイン要求を行う。
操作部552は、ユーザの操作入力を受け付ける処理を行い、例えば、電源スイッチ、キーボード、マウス、電子ペンP等による入力や選択等を受け付け、操作データとして配信制御装置600のホワイトボード制御部622に送信する。
再生制御部553は、送受信部551から受けた映像(音)データ(リアルタイムデータのパケット)をバッファリングし、再生遅延時間Uを考慮してデコード部550に出力する。また、再生制御部553は、送信遅延時間D1を示す送信遅延時間情報(D1)を算出し、遅延情報取得部557に出力する。
レンダリング部555は、デコード部550によってデコードされたデータをレンダリングする。
時刻制御部556は、配信制御装置600の時刻取得部626と連携して、時刻調整の処理を行う。具体的には、時刻制御部556は、記憶部5000から通信端末500における時刻tを示す時刻情報(t)を取得する。また、時刻制御部556は、送受信部551および送受信部531を介して、配信制御装置600の時刻取得部626に、配信制御装置600における時刻Tを示す時刻情報(T)を要求する。この場合、時刻情報(T)の要求と共に、時刻情報(t)が送信される。
遅延情報取得部557は、再生制御部553から送信遅延時間D1を示す送信遅延時間情報(D1)を取得して一定時間保持しておき、複数の送信遅延時間情報(D1)を取得したところで、送受信部551および送受信部531を介して回線適応制御部627に、複数の送信遅延時間D1による度数分布情報を示す送信遅延時間情報(D)を送信する。送信遅延時間情報(D)は、例えば、100フレームに1回送信される。
表示部558は、レンダリング部555によってレンダリングされたデータを再生する。
エンコード部560は、内蔵されたマイク613や、外付けのカメラ562およびマイク563から取得してエンコードし、テキスト化することによってシリアライズした映像(音)データ〔E〕と、記憶部5000から取得した現時点の通信端末500における時刻t0を示す時刻情報(t0)と、同じく記憶部5000から取得した時刻差Δを示す時刻差情報(Δ)を、送受信部551および送受信部531を介して、配信制御装置600のデコード部640に送信する。時刻差Δとは、配信制御装置600独自で管理されている時刻と通信端末500独自で管理されている時刻との差である。
また、エンコード部560は、回線適応制御部637bから受信した回線適応制御信号で示される動作条件に基づいて、エンコード部560の動作条件を変更する。さらに、エンコード部560は、新たな動作条件に従って、カメラ562およびマイク563から取得してエンコードしテキスト化することによってシリアライズした映像(音)データ〔E〕と、記憶部5000から取得した現時点の通信端末500における時刻t0を示す時刻情報(t0)と、記憶部5000から取得した時刻差Δを示す時刻差情報(Δ)とを、コミュニケーション用アプリケーションを使用して送受信部551および送受信部531を介して、追加メッセージ通信ポートから配信制御装置600のデコード部640に送信する。
なお、内蔵されたマイク613、外付けのカメラ562およびマイク563等は、入力手段の一例であり、エンコードやデコードが必要な各種デバイスである。入力手段は、映像(音)データの他に、触覚(touch)データや嗅覚(smell)データを出力することができてもよい。入力手段には、温度センサ、方位センサ、加速度センサ等の各種センサも含まれる。
<動作または処理>
続いて、図34~37を用いて、本実施の形態の動作または処理について説明する。これらの処理は、配信制御装置600、通信端末500、および管理装置700における各CPUが、それぞれに格納されているプログラムに従って動作することにより実行される処理である。
続いて、図34~37を用いて、本実施の形態の動作または処理について説明する。これらの処理は、配信制御装置600、通信端末500、および管理装置700における各CPUが、それぞれに格納されているプログラムに従って動作することにより実行される処理である。
(基本的な配信処理)
まず、図34を用いて、図25に示されている基本的な配信方法における具体的な配信処理を説明する。図34は、本実施の形態に係る配信制御装置の基本的な配信処理を示したシーケンス図である。ここでは、通信端末500aを用いてログイン要求する場合について説明するが、通信端末500a以外の通信端末500を用いてログインしてもよい。
まず、図34を用いて、図25に示されている基本的な配信方法における具体的な配信処理を説明する。図34は、本実施の形態に係る配信制御装置の基本的な配信処理を示したシーケンス図である。ここでは、通信端末500aを用いてログイン要求する場合について説明するが、通信端末500a以外の通信端末500を用いてログインしてもよい。
図34に示されているように、通信端末500aにおいてユーザが電源オンにすると、通信端末500aの送受信部551は、管理装置700にログイン要求を送信する(ステップS51)。これにより、管理装置700は、ログイン要求を受信し、通信端末500aの認証を行う(ステップS52)。ここでは、通信端末500aが画像処理システム1000における正当な端末であると認証された場合について、以下に続けて説明する。
管理装置700は、通信端末500aの送受信部551に、配信制御装置600のIPアドレスを送信する(ステップS53)。配信制御装置600のIPアドレスは、予め、管理装置700によって配信制御装置600から取得されて記憶されている。
次に、管理装置700は、配信制御装置600の送受信部621に、配信処理の開始要求を行う(ステップS54)。これにより、送受信部621は、配信制御装置処理の開始要求を受信する。そして、ホワイトボード制御部622は、送受信部621によって受信された開始要求に基づいて、ホワイトボード部620を制御する。
次に、エンコーダブリッジ部630の作成・選択・転送部660は、通信端末500aの再生能力(ディスプレイの解像度等)およびコンテンツの種類に従って変換部661を作成する(ステップS55)。ここで、通信端末500aの送受信部551は、配信制御装置600にメッセージ通信ポート追加要求を送信するようにしてもよい。ここで、メッセージ通信ポート追加要求でポート番号が指定されてもよいし、メッセージ通信ポート追加要求によって追加するポート番号が予め設定されていてもよい。配信制御装置600は、通信端末500aによって送信されたメッセージ通信ポート追加要求に応じて、メッセージ通信ポートを開き、メッセージ通信ポートを開いたことを通信端末500aに通知する。
次に、送受信部621は、ホワイトボード部620の命令に従い、任意の通信端末500から追加メッセージ通信ポートを介してコンテンツデータ〔A〕を取得する(ステップS56)。
次に、ホワイトボード部620が、送受信部621によって取得されたコンテンツデータ〔A〕をレンダリングすることにより、静止画(音)データとしての各フレームデータを生成して、送信用FIFO624に出力する(ステップS57)。そして、変換部661が、送信用FIFO624に格納された各フレームデータをエンコードし、テキスト化することによってシリアライズし、通信端末500aに配信すべき映像(音)データ〔A〕に変換する(ステップS58)。
次に、送受信部631は、追加メッセージ通信ポートから通信端末500aの送受信部651に映像(音)データ〔A〕を送信する(ステップS59)。これにより、通信端末500aの送受信部551は、映像(音)データ〔A〕を受信して、再生制御部553に出力する。
次に、通信端末500aでは、デコード部550が再生制御部553から映像(音)データ〔A〕を取得してデコードし、デシリアライズする(ステップS60)。その後、スピーカ561は、デコードされた音データ〔A〕に基づいて音を再生すると共に、表示部558は、レンダリング部555によってデコード部550から取得されてレンダリングされた映像データ〔A〕に基づいて映像を再生する(ステップS61)。
(複数の通信端末を使った複合配信の処理)
次に、図35を用いて、配信制御装置を介して複数の通信端末を使った通信の処理を説明する。図35は、実施の形態に係る配信制御装置600を介して複数の通信端末500を使った配信の処理を示すシーケンス図である。ここでは、複数の通信端末500として、図28に示されているパターンについて具体的な処理を説明する。図35では、図34におけるステップS51~S55と同様のログイン処理、開始要求、および変換部の作成を行った後の処理とする。
次に、図35を用いて、配信制御装置を介して複数の通信端末を使った通信の処理を説明する。図35は、実施の形態に係る配信制御装置600を介して複数の通信端末500を使った配信の処理を示すシーケンス図である。ここでは、複数の通信端末500として、図28に示されているパターンについて具体的な処理を説明する。図35では、図34におけるステップS51~S55と同様のログイン処理、開始要求、および変換部の作成を行った後の処理とする。
通信端末500f1のエンコード部560が、カメラ562およびマイク563から映像(音)データ〔E〕としてのコンテンツデータの入力を受け付けると(ステップS71)、エンコード部560はコンテンツデータ〔E〕をエンコードする(ステップS72)。送受信部551は、エンコード部560によってエンコードされたコンテンツデータ〔E〕を、配信制御装置600の送受信部631に送信する(ステップS73)。これにより、配信制御装置600の送受信部631は、コンテンツデータ〔E〕を受信する。
次に、配信制御装置600のデコード部640は、送受信部631によって受信されたコンテンツデータ〔E〕をデコードして、受信用FIFO634に出力する(ステップS74)。そして、ホワイトボード部620が、受信用FIFO634に格納されたコンテンツデータ〔E〕をレンダリングすることにより、静止画(音)データとしてのフレームデータ〔E〕を生成して、送信用FIFO624に出力する(ステップS75)。この場合、ホワイトボード部620は、既に取得しているコンテンツデータがあった場合、コンテンツデータ〔E〕を結合したレイアウトにして出力する。
さらに、通信端末500f1の操作部552が、電子ペンP1によるストローク操作の入力を受け付けると(ステップS76)、送受信部551は、操作部552によって受け付けられたストローク操作の内容を示す操作データ〔p〕を、配信制御装置600の送受信部631に送信する(ステップS77)。これにより、配信制御装置600の送受信部631は、操作データ〔p〕を受信する。そして、ホワイトボード制御部622は、送受信部631によって受信された操作データ〔p〕をホワイトボード部620に出力する。
次に、ホワイトボード部620は、操作データ〔p〕をレンダリングすることにより、静止画(音)データとしてのフレームデータ〔p〕を生成して、送信用FIFO624に出力する(ステップS78)。この場合、ホワイトボード部620は、既に取得しているコンテンツデータ〔E〕に対して、操作データ〔p〕を結合したレイアウトにして出力する。
次に、変換部661が、送信用FIFO624に格納された静止画(音)データとしての各フレームデータ(〔E〕,〔p〕)をエンコードし、テキスト化することによってシリアライズすることで、通信端末500aに配信すべき映像(音)データ(〔E〕,〔p〕)に変換する(ステップS79)。
次に、送受信部631は、変換部661を含むエンコーダブリッジ部630からエンコード後の映像(音)データ(〔E〕,〔p〕)を取得し、通信端末500f1の送受信部551に追加メッセージ通信ポートを介して送信する(ステップS80-1)。これにより、通信端末500f1の送受信部551は、映像(音)データ(〔E〕,〔p〕)を追加メッセージ通信ポートを介して受信し、通信端末500f1の再生制御部553が送受信部551から映像(音)データ(〔E〕,〔p〕)を取得する。
そして、通信端末500f1では、デコード部550が再生制御部553から映像(音)データ(〔E〕,〔p〕)を取得してデコードする(ステップS81-1)。その後、スピーカ561は、デコードされた音データ〔E〕に基づいて音を再生すると共に、表示部558は、レンダリング部555によってデコード部550から取得されてレンダリングされた映像データ(〔E〕,〔p〕)に基づいて映像を再生する(ステップS82-1)。
また、通信端末500f2に対しても、ステップS80-1と同様に、送受信部531は、エンコーダブリッジ部630からエンコード後の映像(音)データ(〔E〕,〔p〕)を取得し、通信端末500f2の送受信部551に送信する(ステップS80-2)。これにより、通信端末500f2の再生制御部553が映像(音)データ(〔E〕,〔p〕)を取得する。
そして、通信端末500f2では、デコード部550が再生制御部553から映像(音)データ(〔E〕,〔p〕)を取得してデコードする(ステップS81-2)。その後、スピーカ561は、デコードされた音データ〔E〕に基づいて音を再生すると共に、表示部558は、レンダリング部555によってデコード部550から取得されてレンダリングされた映像データ(〔E〕,〔p〕)に基づいて映像を再生する(ステップS82-2)。
以上より、通信端末500f1で出力される映像(音)と同じ映像(音)が、通信端末500f2でも出力されることになる。
次に、図35のステップS78におけるホワイトボード部620のレンダリング処理の詳細について説明する。図36は、本実施の形態に係る配信制御装置のホワイトボード部によるレンダリング処理の流れを示すフローチャートである。
まず、ホワイトボード制御部622は、送受信部631によって受信したデータが操作データ〔p〕であるか否かを判断する(ステップS91)。受信したデータが操作データでなかった場合(ステップS91:No)、すなわちコンテンツデータ〔E〕であった場合、ホワイトボード部620は、コンテンツデータ〔E〕をレンダリングする(ステップS99)。この処理が図35におけるステップS75のレンダリング処理となる。
一方、受信したデータが操作データであった場合(ステップS91:Yes)、ホワイトボード制御部622は、操作データに含まれるコマンドがストロークコマンドか否かを判断する(ステップS92)。操作データに含まれるコマンドがストロークコマンドであった場合(ステップS92:Yes)、ホワイトボード制御部622は、マウスアップイベントを受信したか否かを判断する(ステップS93)。
マウスアップイベントを受信していない場合(ステップS93:No)、ホワイトボード制御部622は、送信IDとともに操作データに含まれる座標を座標蓄積部122に保存する(ステップS94)。送信IDとは、スクロールコマンドを含む操作データを受信した際に付される識別番号である。
ここで、座標蓄積部122には、図37に示すように、操作データに含まれる色、太さのようなメタストローク情報を蓄積してもよい。また、座標はX,Y座標に加え、時刻や圧力の情報を含んで構成してもよい。以下では、ストロークデータはメタストローク情報と座標列とから生成されているものとする。
一方、ステップS93において、マウスアップイベントを受信した場合(ステップS93:Yes)、ホワイトボード制御部622は、座標蓄積部122に送信IDに関連する座標が蓄積されているか否かを判断する(ステップS95)。座標蓄積部122に送信IDに関連する座標が蓄積されていない場合(ステップS95:No)、何もせず処理を終了する。
一方、座標蓄積部122に送信IDに関する座標が蓄積されている場合(ステップS95:Yes)、ホワイトボード制御部622は、座標蓄積部122に蓄積されている全ての座標を取り出し、取り出した全ての座標からストロークを示すストロークデータを生成する(ステップS96)。なお、ホワイトボード制御部622は、取り出した座標は座標蓄積部122から削除する。
次に、ホワイトボード制御部622は、生成したストロークデータをホワイトボード部620に出力する(ステップS97)。ホワイトボード部620は、取得したストロークデータをデータ管理部120に保存する(ステップS97)。そして、ホワイトボード部620は、取得したストロークデータをレンダリングする(ステップS99)。
ステップS92において、操作データに含まれるコマンドがストロークコマンドでなかった場合(ステップS92:No)、ホワイトボード制御部622は、操作データに含まれるコマンドがページコマンドか否かを判断する(ステップS100)。
操作データに含まれるコマンドがページコマンドであった場合(ステップS100:Yes)、ホワイトボード制御部622は、追加ページをホワイトボード部620に出力する(ステップS101)。ホワイトボード部620は、取得したページをデータ管理部120に保存し(ステップS102)、レンダリングする(ステップS99)。
一方、操作データに含まれるコマンドがページコマンドでなかった場合(ステップS100:No)、ホワイトボード制御部622は、操作データに含まれるコマンドが画像コマンドか否かを判断する(ステップS103)。
操作データに含まれるコマンドが画像コマンドであった場合(ステップS103:Yes)、ホワイトボード制御部622は、追加画像をホワイトボード部620に出力する(ステップS104)。ホワイトボード部620は、取得した画像をデータ管理部120に保存し(ステップS105)、レンダリングする(ステップS99)。
一方、操作データに含まれるコマンドが画像コマンドでなかった場合(ステップS103:No)、ホワイトボード制御部622は、マウスイベントとしてホワイトボード部620に出力し(ステップS106)、ホワイトボード部620がレンダリングする(ステップS99)。なお、データ管理部120でのデータ登録時に、ホワイトボード部620は、全ページからPDFデータを生成し、バックアップデータとしてデータ管理部120に保存する。
本実施の形態に係る配信制御装置600では、通信端末500のディスプレイに入力された座標を保存し、蓄積した全ての座標からユーザからの操作によるストロークを示すストロークデータを生成する。そして、生成されたストロークデータを保存した上で、取得したストロークデータをレンダリングすることにより、静止画(音)データとしてのフレームデータを生成する。この時、既に取得しているコンテンツデータがあった場合、当該コンテンツデータに対して、操作データであるストロークデータを結合したレイアウトにして出力する。そして、静止画(音)データとしての各フレームデータを通信端末500に配信可能なデータ形式に変換されたフレームデータを通信端末500に送信すると、通信端末500のディスプレイに再生される。このように、フレームデータ(映像データ)の配信時におけるユーザによる操作入力を保存することで、フレームデータの配信後もストローク等の操作入力をディスプレイに表示でき、利便性を向上させる。
本実施の形態に係る配信制御装置600で実行されるプログラムは、インストール可能な形式又は実行可能な形式のファイルでCD-ROM、フレキシブルディスク(FD)、CD-R、DVD(Digital Versatile Disk)等のコンピュータで読み取り可能な記録媒体に記録されて提供される。
また、本実施の形態に係る配信制御装置600で実行されるプログラムを、インターネット等のネットワークに接続されたコンピュータ上に格納し、ネットワーク経由でダウンロードさせることにより提供するように構成してもよい。また、本実施の形態に係る配信制御装置600で実行されるプログラムをインターネット等のネットワーク経由で提供または配布するように構成してもよい。また、本実施の形態に係る配信制御装置600で実行されるプログラムを、ROM等に予め組み込んで提供するように構成してもよい。
本実施の形態に係る配信制御装置600で実行されるプログラムは、上述した各部(送受信部621、ホワイトボード制御部622、送信用FIFO624、時刻管理部625、時刻取得部626、回線適応制御部627、エンコーダブリッジ部630、送受信部631、受信用FIFO634、認識部635、遅延情報取得部637a、回線適応制御部637b、デコード部640)を含むモジュール構成となっている。さらに、本実施の形態に係る配信制御装置600は、実際のハードウェアとしてはCPU(プロセッサ)が上記記憶媒体からプログラムを読み出して実行することにより上記各部が主記憶装置上にロードされ、上記各部が主記憶装置上に生成されるようになっている。また、例えば、上述した各部の機能のうちの一部または全部が専用のハードウェア回路で実現されてもよい。
本実施の形態に係る画像処理システムによれば、電子会議システムと、電子黒板を使用する通信システムで共通のメッセージ通信ポートを設定することによって通信経路を設定する。これによって、電子会議システムに、電子黒板を導入した場合に、使用する通信ポートが増加しないため、ネットワーク資源が圧迫されることを防止できる。このため、ネットワーク資源を有用に利用することができる。さらに、配信制御装置を設けたことによって、電子黒板などの通信端末の処理負荷を低減できる。
上述した実施の形態を適宜組み合わせることも可能である。
上述した実施例において、画像形成システムは情報処理システムの一例であり、通信端末500、電子黒板2は情報処理装置の例であり、第1の情報処理システムは会議システムの一例であり、第2の情報処理システムは電子黒板2を用いた通信システムの一例である。また、遠隔開始処理部61、遠隔参加処理部62は設定部の例であり、映像重畳部28、表示重畳部36はコンテンツ処理部の例であり、座標検知部22、接触検知部24は操作受付部の例であり、電子黒板2用のプログラムは情報処理プログラムの一例である。
本発明は特定の実施例、変形例を参照しながら説明されてきたが、各実施例、変形例は単なる例示に過ぎず、当業者は様々な変形例、修正例、代替例、置換例等を理解するであろう。説明の便宜上、本発明の実施例に従った装置は機能的なブロック図を用いて説明されたが、そのような装置はハードウェアで、ソフトウエアでまたはそれらの組み合わせで実現されてもよい。本発明は上記実施例に限定されず、本発明の精神から逸脱することなく、様々な変形例、修正例、代替例、置換例等が包含される。
本国際特許出願は、2015年5月7日に出願した日本国特許出願第2015-094654号に基づきその優先権を主張するものであり、日本国特許出願第2015-094654号の全内容を参照によりここに援用する。
1、1000 画像処理システム
2 電子黒板
3 ディスプレイ
4 電子ペン
5 USBメモリ
6 ノートPC
7 テレビ会議端末
8 PC
9 通信ネットワーク
50 伝送管理システム
500 通信端末
600 配信制御装置
700 管理装置
2 電子黒板
3 ディスプレイ
4 電子ペン
5 USBメモリ
6 ノートPC
7 テレビ会議端末
8 PC
9 通信ネットワーク
50 伝送管理システム
500 通信端末
600 配信制御装置
700 管理装置
Claims (8)
- 通信ネットワークを介して接続される情報処理装置であって、
第1の情報処理システムにしたがって第1のコンテンツの第1のコンテンツデータを送信するために前記情報処理装置と他の情報処理装置との間で設定された通信経路から、該他の情報処理装置に第2の情報処理システムにしたがって前記第1のコンテンツに関して作成される第2のコンテンツの第2のコンテンツデータを送信する送信部
を有する、情報処理装置。 - 前記第1のコンテンツデータを送信するために前記情報処理装置と他の情報処理装置との間で通信経路を設定する設定部
を有する、請求項1に記載の情報処理装置。 - 前記情報処理装置に入力される前記第1のコンテンツを表示するコンテンツ処理部と、
前記第1のコンテンツに対する操作を受け付ける操作受付部と、
該操作受付部によって受け付けた操作に基づいて、前記第2のコンテンツの第2のコンテンツデータを作成する操作処理部と
を有する、請求項1または2に記載の情報処理装置。 - 前記操作処理部は、前記第2のコンテンツデータを直列化し、
前記送信部は、前記直列化した前記第2のコンテンツデータを前記通信経路から前記他の情報処理装置に送信する、請求項3に記載の情報処理装置。 - 前記設定部は、前記他の情報処理装置との間で通信ポートを追加することによって、前記通信経路を設定する、請求項2に記載の情報処理装置。
- 前記操作処理部は、前記第1のコンテンツに対する操作に基づいて入力された座標からストロークを示すストロークデータを生成する、請求項3または4に記載の情報処理装置。
- 通信ネットワークを介して接続される情報処理装置によって実行される情報処理方法であって、
第1の情報処理システムにしたがって第1のコンテンツの第1のコンテンツデータを送信するためのセッションを確立した他の情報処理装置との間で設定された通信経路から、該他の情報処理装置に第2の情報処理システムにしたがって前記第1のコンテンツに関して作成される第2のコンテンツの第2のコンテンツデータを送信する、情報処理方法。 - 請求項7に記載の情報処理方法を情報処理装置に実行させるための情報処理プログラム。
Priority Applications (4)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017516580A JP6460228B2 (ja) | 2015-05-07 | 2016-04-19 | 情報処理装置、情報処理方法および情報処理プログラム |
CN201680025383.5A CN107534704B (zh) | 2015-05-07 | 2016-04-19 | 一种经由通信网络连接的信息处理方法、设备和介质 |
EP16789501.0A EP3293955A4 (en) | 2015-05-07 | 2016-04-19 | Information processing device, information processing method and information processing program |
US15/800,227 US10419618B2 (en) | 2015-05-07 | 2017-11-01 | Information processing apparatus having whiteboard and video conferencing functions |
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2015094654 | 2015-05-07 | ||
JP2015-094654 | 2015-05-07 |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
US15/800,227 Continuation US10419618B2 (en) | 2015-05-07 | 2017-11-01 | Information processing apparatus having whiteboard and video conferencing functions |
Publications (1)
Publication Number | Publication Date |
---|---|
WO2016178365A1 true WO2016178365A1 (ja) | 2016-11-10 |
Family
ID=57217888
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
PCT/JP2016/062362 WO2016178365A1 (ja) | 2015-05-07 | 2016-04-19 | 情報処理装置、情報処理方法および情報処理プログラム |
Country Status (5)
Country | Link |
---|---|
US (1) | US10419618B2 (ja) |
EP (1) | EP3293955A4 (ja) |
JP (1) | JP6460228B2 (ja) |
CN (1) | CN107534704B (ja) |
WO (1) | WO2016178365A1 (ja) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US11349888B2 (en) | 2020-03-31 | 2022-05-31 | Ricoh Company, Ltd. | Text data transmission-reception system, shared terminal, and method of processing information |
JP7512675B2 (ja) | 2020-05-26 | 2024-07-09 | 株式会社リコー | 通信端末、通信システム、通信方法、及びプログラム |
Families Citing this family (20)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP6747025B2 (ja) * | 2016-04-13 | 2020-08-26 | セイコーエプソン株式会社 | 表示システム、表示装置、及び、表示システムの制御方法 |
US10387747B2 (en) * | 2017-06-26 | 2019-08-20 | Huddly As | Intelligent whiteboard collaboratio systems and methods |
TWI657369B (zh) * | 2018-03-08 | 2019-04-21 | 和碩聯合科技股份有限公司 | 傳送連續資料的方法及資料傳輸系統 |
CN110062275B (zh) * | 2018-06-21 | 2021-07-09 | 安徽赛迈特光电股份有限公司 | 一种液晶显示屏远程控制装置及方法 |
JP2020076908A (ja) * | 2018-11-09 | 2020-05-21 | セイコーエプソン株式会社 | 表示装置及び表示装置の制御方法 |
JP7234612B2 (ja) * | 2018-11-30 | 2023-03-08 | 株式会社リコー | 情報処理システム及び情報処理方法 |
CN116795464A (zh) * | 2018-12-29 | 2023-09-22 | 中兴通讯股份有限公司 | 一种实现远程协助的方法及相关设备 |
WO2020147032A1 (zh) * | 2019-01-16 | 2020-07-23 | 永信科技股份有限公司 | 网络安全管理***及其方法 |
US11551480B2 (en) | 2019-04-11 | 2023-01-10 | Ricoh Company, Ltd. | Handwriting input apparatus, handwriting input method, program, and input system |
US11132122B2 (en) | 2019-04-11 | 2021-09-28 | Ricoh Company, Ltd. | Handwriting input apparatus, handwriting input method, and non-transitory recording medium |
CN110446002A (zh) * | 2019-07-30 | 2019-11-12 | 视联动力信息技术股份有限公司 | 一种视频会议的处理方法、***及装置和存储介质 |
JP7373712B2 (ja) * | 2019-08-19 | 2023-11-06 | 株式会社リコー | 通信端末、通信システム、データ共有方法およびプログラム |
CN110798650B (zh) * | 2019-09-24 | 2022-02-22 | 福建星网智慧科技有限公司 | 一种基于rtp的多***媒体流传输控制方法和装置 |
WO2021064784A1 (ja) * | 2019-09-30 | 2021-04-08 | シャープNecディスプレイソリューションズ株式会社 | 設備管理装置、設備管理方法、及びプログラム |
US11733830B2 (en) | 2019-11-20 | 2023-08-22 | Ricoh Company, Ltd. | Display apparatus for displaying handwritten data with displayed operation menu |
JP7396136B2 (ja) * | 2020-03-13 | 2023-12-12 | 株式会社リコー | 通信管理装置、通信システム、通信方法およびプログラム |
CN111522438A (zh) * | 2020-03-25 | 2020-08-11 | 华为技术有限公司 | 内容传输方法、设备及介质 |
CN113055635A (zh) * | 2021-02-05 | 2021-06-29 | 福建中会智通信息科技有限公司 | 一种进行终端会议的方法和*** |
US11861257B2 (en) | 2021-03-12 | 2024-01-02 | Boe Technology Group Co., Ltd. | Interaction method between display device and terminal device, storage medium and electronic device |
US20220391055A1 (en) * | 2021-05-28 | 2022-12-08 | Ricoh Company, Ltd. | Display apparatus, display system, and display method |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2002116729A (ja) * | 2000-10-04 | 2002-04-19 | Internatl Business Mach Corp <Ibm> | データ変換方法、画像表示方法、画像処理装置、画像表示装置、画像表示システムおよび画像処理システム |
JP2012081112A (ja) * | 2010-10-13 | 2012-04-26 | Toshiba Corp | 画像データ圧縮システム及び画像データ圧縮方法 |
JP2014195183A (ja) * | 2013-03-29 | 2014-10-09 | Brother Ind Ltd | プログラム、通信装置 |
Family Cites Families (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPS63138893A (ja) * | 1986-12-01 | 1988-06-10 | Nec Corp | テレビ会議システム |
JP4321203B2 (ja) * | 2002-10-29 | 2009-08-26 | 富士ゼロックス株式会社 | 遠隔会議システム及び遠隔会議支援方法、並びにコンピュータ・プログラム |
KR20090011436A (ko) * | 2007-07-26 | 2009-02-02 | 삼성전자주식회사 | 디스플레이장치와, 디스플레이장치의 제어방법 및 이를포함하는 디스플레이시스템 |
CN101286865B (zh) * | 2008-05-14 | 2010-11-10 | 华为技术有限公司 | 音视频会议中实现电子白板的方法、装置及*** |
CN101370115A (zh) | 2008-10-20 | 2009-02-18 | 深圳华为通信技术有限公司 | 会议终端、会议服务器、会议***及数据处理方法 |
CN101646056B (zh) * | 2009-08-28 | 2011-07-27 | 华为终端有限公司 | 实现视频会议和数据会议协同工作的方法、装置及*** |
JP5668365B2 (ja) * | 2009-11-20 | 2015-02-12 | 株式会社リコー | 描画処理システム、サーバ装置、ユーザ端末、描画処理方法、プログラム及び記録媒体 |
JP6069898B2 (ja) | 2011-11-25 | 2017-02-01 | 株式会社リコー | 画像処理装置、画像処理システム、方法およびプログラム |
US20150365244A1 (en) | 2013-02-22 | 2015-12-17 | Unify Gmbh & Co. Kg | Method for controlling data streams of a virtual session with multiple participants, collaboration server, computer program, computer program product, and digital storage medium |
JP6323048B2 (ja) * | 2013-03-15 | 2018-05-16 | 株式会社リコー | 配信システム、配信方法、及びプログラム |
JP6398215B2 (ja) * | 2013-03-15 | 2018-10-03 | 株式会社リコー | 配信制御システム、配信システム、配信制御方法、及びプログラム |
JP6439801B2 (ja) | 2014-08-26 | 2018-12-19 | 株式会社リコー | セッション制御システム、通信システム、セッション制御方法、及びプログラム |
-
2016
- 2016-04-19 CN CN201680025383.5A patent/CN107534704B/zh not_active Expired - Fee Related
- 2016-04-19 WO PCT/JP2016/062362 patent/WO2016178365A1/ja unknown
- 2016-04-19 EP EP16789501.0A patent/EP3293955A4/en not_active Withdrawn
- 2016-04-19 JP JP2017516580A patent/JP6460228B2/ja active Active
-
2017
- 2017-11-01 US US15/800,227 patent/US10419618B2/en active Active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2002116729A (ja) * | 2000-10-04 | 2002-04-19 | Internatl Business Mach Corp <Ibm> | データ変換方法、画像表示方法、画像処理装置、画像表示装置、画像表示システムおよび画像処理システム |
JP2012081112A (ja) * | 2010-10-13 | 2012-04-26 | Toshiba Corp | 画像データ圧縮システム及び画像データ圧縮方法 |
JP2014195183A (ja) * | 2013-03-29 | 2014-10-09 | Brother Ind Ltd | プログラム、通信装置 |
Non-Patent Citations (1)
Title |
---|
See also references of EP3293955A4 * |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US11349888B2 (en) | 2020-03-31 | 2022-05-31 | Ricoh Company, Ltd. | Text data transmission-reception system, shared terminal, and method of processing information |
US11979440B2 (en) | 2020-03-31 | 2024-05-07 | Ricoh Company, Ltd. | Text data transmission-reception system, shared terminal, and method of processing information |
JP7512675B2 (ja) | 2020-05-26 | 2024-07-09 | 株式会社リコー | 通信端末、通信システム、通信方法、及びプログラム |
Also Published As
Publication number | Publication date |
---|---|
CN107534704A (zh) | 2018-01-02 |
JP6460228B2 (ja) | 2019-02-06 |
US10419618B2 (en) | 2019-09-17 |
JPWO2016178365A1 (ja) | 2018-05-24 |
EP3293955A4 (en) | 2018-03-21 |
EP3293955A1 (en) | 2018-03-14 |
US20180069962A1 (en) | 2018-03-08 |
CN107534704B (zh) | 2020-11-06 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6460228B2 (ja) | 情報処理装置、情報処理方法および情報処理プログラム | |
JP6398215B2 (ja) | 配信制御システム、配信システム、配信制御方法、及びプログラム | |
JP6354764B2 (ja) | 配信管理装置、配信方法、及びプログラム | |
JP6326855B2 (ja) | 配信制御システム、配信システム、配信制御方法、及びプログラム | |
US9723337B2 (en) | Distribution control system and distribution system | |
US9578079B2 (en) | Distribution control system, distribution system, distribution control method, and computer-readable storage medium | |
JP6354195B2 (ja) | 配信システム、配信方法、及びプログラム | |
US10250665B2 (en) | Distribution control system, distribution system, distribution control method, and computer-readable storage medium | |
US20140280446A1 (en) | Distribution control system, distribution system, distribution control method, and computer-readable storage medium | |
US20140280777A1 (en) | Distribution control system, distribution system, distribution control method, and computer-readable storage medium | |
US20150082359A1 (en) | Distribution management apparatus and distribution management system | |
US20150029196A1 (en) | Distribution management apparatus | |
US9596435B2 (en) | Distribution control apparatus, distribution control method, and computer program product | |
JP5754117B2 (ja) | 外部入力装置、表示データ作成方法、プログラム | |
JP6248488B2 (ja) | 通信端末及び通信方法 | |
US9596282B2 (en) | Delivery managing device, terminal, and delivery managing method | |
JP2015056046A (ja) | 配信管理システム、配信システム、配信管理方法、及びプログラム | |
US9525901B2 (en) | Distribution management apparatus for distributing data content to communication devices, distribution system, and distribution management method | |
JP2016063247A (ja) | 配信システム及び配信方法 | |
JP2016058812A (ja) | 配信制御システム、配信システム、配信制御システムの制御方法、及びプログラム | |
JP6442832B2 (ja) | 配信制御システム、配信システム、配信制御方法、及びプログラム | |
JP6248492B2 (ja) | 配信管理装置、配信管理システム、及び配信管理方法 | |
JP2015201695A (ja) | 配信管理装置 | |
JP2016054375A (ja) | 配信システム、配信制御方法、及びプログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
121 | Ep: the epo has been informed by wipo that ep was designated in this application |
Ref document number: 16789501 Country of ref document: EP Kind code of ref document: A1 |
|
ENP | Entry into the national phase |
Ref document number: 2017516580 Country of ref document: JP Kind code of ref document: A |
|
NENP | Non-entry into the national phase |
Ref country code: DE |