WO2017101440A1 - 远程批注同步的方法与*** - Google Patents
远程批注同步的方法与*** Download PDFInfo
- Publication number
- WO2017101440A1 WO2017101440A1 PCT/CN2016/090746 CN2016090746W WO2017101440A1 WO 2017101440 A1 WO2017101440 A1 WO 2017101440A1 CN 2016090746 W CN2016090746 W CN 2016090746W WO 2017101440 A1 WO2017101440 A1 WO 2017101440A1
- Authority
- WO
- WIPO (PCT)
- Prior art keywords
- annotation
- screen
- coordinate set
- converted
- image
- Prior art date
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
- G06F3/1454—Digital output to display device ; Cooperation and interconnection of the display device with other functional units involving copying of the display data of a local workstation or window to a remote workstation or window so that an actual copy of the data is displayed simultaneously on two or more displays, e.g. teledisplay
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
- G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
- G06F3/04883—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text
Definitions
- the present invention relates to the field of interactive smart tablet technologies, and in particular, to a method and system for remote annotation synchronization. Background technique
- Interactive smart tablet with annotation, painting, multimedia entertainment and other functions, incorporating human-computer interaction, flat panel display, multimedia information processing and network transmission, etc. It is the interaction of office, teaching and graphic in the information age. The preferred solution for the demonstration.
- the inventor found that at least the following problems exist in the conventional technology: using an interactive smart tablet in a classroom or a conference scene, when annotating the content on the screen, the traditional technology requires the user to implement the screen on the interactive smart tablet.
- the related operations (annotations) of the content the user can not interact with the audience from the interactive smart tablet.
- an embodiment of the technical solution of the present invention is:
- a method of remote annotation synchronization comprising the steps of:
- the coordinate set of the current screen image drawn and stored on the drawing canvas is acquired; the current screen image includes the annotation handwriting obtained according to the screen annotation event;
- the converted coordinate set is sent to the interactive smart tablet; the converted coordinate set is parsed by the interactive smart tablet, and the corresponding annotation handwriting is displayed according to the parsed coordinate set.
- a method of remote annotation synchronization including the following steps:
- the converted coordinate set is the mobile terminal acquiring the drawing according to the screen annotation event of the monitoring And storing the coordinate set of the current screen image on the drawing canvas, and performing coordinate conversion on the coordinate set;
- the current screen image includes a screen capture image and an annotation handwriting obtained according to the screen annotation event.
- a remote annotation synchronization system including:
- a monitor screen unit for monitoring a screen annotation event; and, when the screen annotation event is monitored, acquiring a coordinate set of the current screen image drawn and stored on the drawing canvas; the current screen image includes an annotation handwriting obtained according to the screen annotation event;
- the conversion unit is configured to perform coordinate transformation on the coordinate set to obtain the converted coordinate set;
- the mobile sending unit is configured to send the converted coordinate set to the interactive smart tablet; and the transformed smart set analyzes the converted coordinate set And display the corresponding annotation handwriting based on the parsed coordinate set.
- a remote annotation synchronization system including:
- An interactive smart tablet sending unit is configured to send a screen image to the mobile terminal in real time, and the screen image is captured by the mobile terminal to obtain a screen capture image;
- An interactive smart tablet receiving unit configured to receive a converted coordinate set sent by the mobile terminal; and an analyzing unit, configured to parse the converted coordinate set;
- a display unit configured to display a corresponding annotation handwriting according to the parsed coordinate set
- the converted coordinate set is obtained by the mobile terminal according to the screen annotation event of the monitor, obtaining the coordinate set of the current screen image drawn and stored on the drawing canvas, and performing coordinate conversion on the coordinate set;
- the current screen image includes the screen capture image and Annotated handwriting obtained from the screen annotation event.
- the method and system for remote annotation synchronization of the present invention because the mobile device remotely controls the interactive smart tablet for annotation synchronization, ensuring that the annotations displayed on the mobile device and the interactive smart tablet are consistent; the mobile device continuously receives and intercepts the image sent by the interactive smart tablet. At the same time, the related data of the annotation coordinate set information and the like are sent to the interactive smart tablet, and the interactive smart tablet performs corresponding operations according to the relevant data, so that the annotation on the mobile device is consistent with the annotation displayed on the interactive smart tablet. This ensures that the user can perform related operations (annotations) on the screen content from the interactive smart tablet and interact with the viewer.
- FIG. 1 is a schematic diagram of an application scenario of a remote annotation synchronization method and system according to the present invention
- FIG. 2 is a schematic flowchart of Embodiment 1 of a remote annotation synchronization method implemented by a mobile terminal from the perspective of a mobile terminal;
- FIG. 3 is a schematic flowchart of Embodiment 1 of a method for remote annotation synchronization implemented by an interactive smart tablet according to the present invention
- Embodiment 4 is a schematic structural diagram of Embodiment 1 of a system for remote annotation synchronization implemented from a mobile terminal perspective;
- FIG. 5 is a schematic structural diagram of Embodiment 1 of a system for remote annotation synchronization implemented from the perspective of an interactive smart tablet. detailed description
- FIG. 1 is a schematic diagram of an application scenario of a remote annotation synchronization method and system according to the present invention
- an interactive smart tablet is used in a classroom or a conference scene, and when an annotation is performed on the content on the screen, the user needs to interact.
- the remote annotation synchronization method and system of the present invention can remotely control the interactive smart tablet for annotation, ensuring that the annotations displayed on the mobile device (mobile terminal) and the interactive smart tablet are consistent, thereby ensuring that the user can implement the screen content from the interactive smart tablet.
- Related operations (annotations) and interaction with the audience Method 1 of remote annotation synchronization implemented by the present invention from the perspective of a mobile terminal:
- the present invention provides a method for remote annotation synchronization implemented from the perspective of a mobile terminal, and a method for remote annotation synchronization implemented from the perspective of a mobile terminal according to the present invention.
- the schematic diagram of the process of Embodiment 1, as shown in FIG. 2, may include the following steps:
- Step S210 Monitor a screen annotation event
- Step S220 Acquire a coordinate set of a current screen image drawn and stored on the drawing canvas when the screen annotation event is monitored; the current screen image includes an annotation stroke obtained according to the screen annotation event;
- Step S230 performing coordinate conversion on the coordinate set to obtain a converted coordinate set
- Step S240 Send the converted coordinate set to the interactive smart tablet; parse the converted coordinate set by the interactive smart tablet, and display the corresponding annotation handwriting according to the parsed coordinate set.
- step S230 performs coordinate transformation on the coordinate set, and the step of obtaining the converted coordinate set may include:
- the coordinates of all the pixel coordinates in the coordinate set are coordinate-converted with respect to the origin of the coordinate, and the converted coordinate set is obtained.
- the annotation handwriting obtained according to the screen annotation event in step S220 Create a drawing canvas; take the operating system of the mobile terminal as an Android system, the canvas can be an Android drawing canvas, and the Android drawing canvas is created by Canvas, and accordingly the operating system of the mobile terminal is IOS (the mobile operation developed by Apple)
- the drawing canvas can also be an IOS drawing board or a drawing drawing canvas.
- the canvas can also have a drawing canvas function for other types of operating systems. Drawing canvas created by the control;
- Monitors the screen annotation event draws and stores the annotation handwriting on the above drawing canvas according to the movement of the current annotation touch point.
- the purpose of drawing an annotation on the drawing canvas is to make the mobile device match the image displayed on the interactive smart tablet.
- Embodiment 1 of the method for remote annotation synchronization implemented by the mobile terminal from the perspective of the mobile terminal may include the following steps:
- the mobile device draws an annotation so that the mobile terminal is consistent with the image displayed by the interactive smart tablet; the mobile terminal acquires the annotation point coordinate set of the annotation event.
- the mobile device listens to the Android screen annotation event, draws the annotation handwriting according to the movement of the finger, that is, the drawing curve method (canvas drawPath) of the Android drawing canvas is drawn in the onDraw method of the control. And recording the currently drawn handwriting, and obtaining the coordinate set of the handwriting; and since the moving end will continuously encode the image drawn on the canvas to the interactive smart tablet, the interactive smart tablet can display the screen image after decoding, and therefore will annotate The handwriting is drawn on the drawing canvas to ensure that the annotations displayed on the mobile end are consistent with the interactive smart tablet.
- the drawing curve method canvas drawPath
- the screen annotation event is an operation different from the screen touch event.
- the annotation toolbar or the annotation button for triggering the annotation function can be set on the mobile terminal, and when the user triggers the annotation function, the mobile terminal enters the listening Android screen annotation event state.
- the screen touch event does not need to set a toolbar or button that triggers the touch function on the screen, and the user can trigger the screen touch event by touching the screen with the finger; in addition, different time can be set according to the time or the intensity of the touch of the screen by the human hand. Gestures to trigger screen annotations or screen touches.
- the mobile end performs coordinate conversion on the annotation point coordinate set of the annotation event, obtains the converted coordinate set, and transmits the converted coordinate set to the interactive smart tablet device:
- the upper left corner of the coordinate set is the coordinate origin
- the converted coordinate set ( ⁇ , ⁇ ) is: the pixel coordinate (xl, yl) of each point in the annotation point set relative to the upper left corner. Converted to (65535*xl/Xm, 65535*yl/Ym), where Xm is the horizontal resolution of the mobile screen and Ym is the vertical resolution of the mobile screen.
- the converted coordinate set ( ⁇ , ⁇ ) is transmitted to the interactive smart tablet device, and the converted coordinate set is parsed by the interactive smart tablet, and the resolved coordinate set is ( ⁇ * ⁇ /65535, ⁇ * ⁇ /65535), Where ⁇ , ⁇ is the screen resolution of the smart tablet (large screen) end, and the interactive smart tablet displays the corresponding annotation handwriting according to the parsed coordinate set.
- the mobile terminal can also send the converted coordinate set (Xn*xl/Xm,
- the mobile terminal can also directly transmit the coordinate set (xl, yl), which is parsed by the interactive smart tablet and interpreted as (Xn*xl/Xm, Yn*xl/Ym).
- Embodiment 1 of the method for remote annotation synchronization implemented by the mobile terminal from the mobile terminal perspective because the mobile device remotely controls the interactive smart tablet for annotation synchronization, ensuring that the annotations displayed on the mobile device and the interactive smart tablet are consistent; the mobile device continuously receives and The image sent by the interactive smart tablet is intercepted, and the related data of the annotation coordinate set information and the like are sent to the interactive smart tablet, and the interactive smart tablet performs corresponding operations according to the relevant data, so that the annotation on the mobile device and the interactive smart tablet are displayed.
- the annotations are consistent, thus ensuring that the user can perform related operations (annotations) on the screen content from the interactive smart tablet and interact with the viewer.
- FIG. 3 is a remote annotation synchronization implemented from the perspective of an interactive smart tablet.
- a schematic diagram of the process of the method embodiment 1, as shown in FIG. 3, taking the mobile device of the Android system as an example, may include the following steps:
- Step S310 Sending a screen image to the mobile terminal in real time, and intercepting the screen image by the mobile terminal, Have a screen shot image;
- Step S320 Receive a converted coordinate set sent by the mobile terminal, parse the converted coordinate set, and display a corresponding annotation handwriting according to the parsed coordinate set; the converted coordinate set is a mobile terminal annotating event according to the monitoring screen. Obtaining a coordinate set of the current screen image drawn and stored on the drawing canvas, and performing coordinate conversion on the coordinate set; the current screen image includes a screen capture image and an annotation handwriting obtained according to the screen annotation event;
- the step of the interactive smart tablet parsing the converted coordinate set may include:
- the converted coordinate set is parsed to obtain the parsed set of coordinates.
- Embodiment 1 of the method for remote annotation synchronization implemented by the present invention from the perspective of an interactive smart tablet may include the following steps:
- the interactive smart tablet sends the screen image to the mobile device in real time, and is intercepted by the mobile device, and saved as a screen after the screen capture;
- An Android drawing canvas (Canvas) is created by the mobile device, and any image or handwriting can be drawn on the drawing canvas by using the set brush (Paint class); the annotation operations in the embodiment of the present invention are all performed on the Android drawing canvas. .
- the mobile terminal listens to the Android screen annotation event, draws the annotation handwriting according to the movement of the finger, that is, draws the curve of the draw drawing method of the Android drawing canvas in the onDraw method of the control, and records The currently drawn handwriting.
- the screen annotation event is an operation different from the screen touch event.
- an annotation toolbar or an annotation button for triggering the annotation function can be set on the mobile terminal, and when the user triggers the annotation function, the mobile terminal enters the monitoring.
- the screen annotation function or the screen touch function may be triggered by setting different gesture operations in advance according to different time or strength of the human hand touching the screen.
- the interactive smart tablet device receives the converted coordinate set, and parses the converted coordinate set:
- the upper left corner of the coordinate set is the coordinate origin
- the converted coordinate set ( ⁇ , ⁇ ) is: the pixel coordinate of each point in the annotation point set relative to the upper left corner (xl, Yl is converted to (65535*xl/Xm, 65535*yl/Ym), where Xm is the horizontal resolution of the mobile screen and Ym is the vertical resolution of the mobile screen.
- the interactive smart tablet device receives the converted coordinate set (A, B), and parses the converted coordinate set, and the resolved coordinate set is (Xn*A/65535, Yn*B/65535), where Xn, Yn are The screen resolution of the smart tablet (large screen) side, the interactive smart tablet displays the corresponding annotation handwriting according to the parsed coordinate set.
- the interactive smart tablet can receive the coordinate set (Xn*xl/Xm, Yn*xl/Ym) converted by the mobile terminal, and use the coordinate set to display the annotation handwriting.
- the interactive smart tablet can receive the coordinate set (xl, yl ) directly sent by the mobile terminal, and parse it into (Xn*xl/Xm, Yn*xl/Ym) and then perform the annotation handwriting. Show no.
- the method for remote annotation synchronization implemented by the invention from the perspective of the interactive smart tablet is as follows, because the mobile device remotely controls the interactive smart tablet for annotation synchronization, ensuring that the annotations displayed on the mobile device and the interactive smart tablet are consistent; the mobile device continuously receives and The image sent by the interactive smart tablet is intercepted, and the related data of the annotation coordinate set information and the like are sent to the interactive smart tablet, and the interactive smart tablet performs corresponding operations according to the relevant data, so that the annotation on the mobile device and the interactive smart tablet are displayed.
- the annotations are consistent, thus ensuring that the user can perform related operations (annotations) on the screen content from the interactive smart tablet and interact with the viewer.
- FIG. 4 is a schematic structural diagram of the system embodiment 1 of the remote annotation synchronization implemented by the mobile terminal from the perspective of the mobile terminal. As shown in FIG. 4, the method may include:
- the monitor screen unit 10 is configured to monitor a screen annotation event; and, when the screen annotation event is monitored, acquire a coordinate set of a current screen image drawn and stored on the drawing canvas; the current screen image includes an annotation handwriting obtained according to the screen annotation event;
- the converting unit 20 is configured to perform coordinate conversion on the coordinate set to obtain the converted coordinate set; the mobile transmitting unit 30 is configured to send the converted coordinate set to the interactive smart tablet; and the transformed smart set is converted by the interactive smart tablet Parsing, and displaying the corresponding annotation handwriting according to the parsed coordinate set.
- system embodiment 1 of the remote annotation synchronization implemented by the present invention from the perspective of the mobile terminal further includes:
- the mobile terminal receiving unit 40 is configured to receive a screen image sent by the interactive smart tablet in real time;
- the intercepting screen unit 50 is configured to intercept the screen image sent in real time to obtain a screen capture image; and the current screen image further includes a screen capture image;
- the drawing unit 60 is configured to create a drawing canvas; and through the screen annotation event, draw and store the annotation handwriting on the drawing canvas according to the movement of the current annotation touch point; and use the drawing screen image to be drawn and stored on the drawing canvas.
- the specific working process of the system embodiment 1 of the remote annotation synchronization implemented by the mobile terminal from the perspective of the mobile terminal may be as follows:
- the mobile terminal receiving unit 40 receives the interaction.
- the intercepting screen unit 50 intercepts the current screen image;
- the drawing unit 60 creates an Android drawing canvas (Canvas), and any image or handwriting can be drawn on the drawing canvas by using the set brush (Paint class); all the annotations and synchronous scaling operations in the embodiment of the present invention are in Android. Drawing on the canvas.
- the drawing unit 60 draws the image after the screen capture on the drawing canvas, calls the drawing image method of the Android drawing canvas (canvas. drawBitmap) in the drawing (onDraw) method, and records the currently drawn image. Drawing the screenshot on the drawing canvas as the background image ensures that the display on the mobile side is consistent with the interactive smart tablet.
- the listening screen unit 10 listens to the Android screen annotation event, and the drawing unit 60 draws the annotation handwriting according to the movement of the finger, that is, in the drawing drawing (onDraw) method of the control, the drawing drawing method (canvas drawPath) of the Android drawing canvas is used to draw the curve, and the recording is performed.
- the screen annotation event is an operation different from the screen touch event.
- an annotation toolbar or an annotation button for triggering the annotation function can be set on the mobile screen, and when the user triggers the annotation function, the mobile terminal enters the listening Android screen annotation.
- the converting unit 20 performs coordinate transformation on the annotation point coordinate set of the annotation event to obtain the converted coordinate set, and the mobile terminal transmitting unit 30 transmits the converted coordinate set to the interactive smart tablet device:
- the conversion unit 20 takes the upper left corner of the coordinate set as the coordinate origin, and the converted coordinate set ( ⁇ , ⁇ ) is: converts the pixel coordinate (xl, yl ) of each point in the annotation point set from the upper left corner to (65535*xl/ Xm, 65535*yl/Ym), where Xm is the horizontal resolution of the mobile screen and Ym is the vertical resolution of the mobile screen.
- the converted coordinate set ( ⁇ , ⁇ ) is transmitted to the interactive smart tablet device, and the converted coordinate set is parsed by the interactive smart tablet, and the resolved coordinate set is (Xn*A/65535, Yn*B/65535).
- Xn, Yn is the screen resolution of the smart tablet (large screen), and the interactive smart tablet displays the corresponding annotation handwriting according to the parsed coordinate set.
- the mobile terminal may also send the converted coordinate set (Xn*xl/Xm, Yn*xl/Ym), which is directly received by the interactive smart tablet and uses the converted coordinate set to perform the annotation handwriting. display.
- the mobile terminal can also directly transmit the coordinate set (xl, yl), which is parsed by the interactive smart tablet and interpreted as (Xn*xl/Xm, Yn*xl/Ym).
- Embodiment 1 of the system for remote annotation synchronization implemented from the perspective of the mobile terminal, because the mobile device remotely controls the interactive smart tablet for annotation synchronization, ensuring that the annotations displayed on the mobile device and the interactive smart tablet are consistent; the mobile device continuously receives and The image sent by the interactive smart tablet is intercepted, and the related data of the annotation coordinate set information and the like are sent to the interactive smart tablet, and the interactive smart tablet performs corresponding operations according to the relevant data, so that the annotation and the interactive intelligent flat on the mobile device are ensured.
- the annotations displayed on the board are consistent, thus ensuring that the user can perform related operations (annotations) on the screen content from the interactive smart tablet and interact with the viewer.
- the embodiment of the present invention further provides a system embodiment 1 for remote annotation synchronization implemented from the perspective of an interactive smart tablet.
- 5 is a schematic structural diagram of Embodiment 1 of a system for remote annotation synchronization implemented from the perspective of an interactive smart tablet; as shown in FIG. 5, it may include:
- the interactive smart tablet sending unit 510 is configured to send a screen image to the mobile terminal in real time, and the screen image is intercepted by the mobile terminal to obtain a screen capture image;
- the interactive smart panel receiving unit 520 is configured to receive the converted coordinate set sent by the mobile terminal, and the parsing unit 530 is configured to parse the converted coordinate set.
- a display unit 540 configured to display a corresponding annotation handwriting according to the parsed coordinate set
- the converted coordinate set is obtained by the mobile terminal according to the screen annotation event of the monitor, obtaining the coordinate set of the current screen image drawn and stored on the drawing canvas, and performing coordinate conversion on the coordinate set;
- the current screen image includes the screen capture image and Annotated handwriting obtained from the screen annotation event.
- the specific working process of the embodiment 1 of the remote annotation synchronization system implemented from the perspective of the interactive smart tablet may be as follows:
- the interactive smart tablet sending unit 510 sends the screen image to the mobile device in real time, and is intercepted by the mobile device, and saved as a screen after the screen capture;
- An Android drawing canvas (Canvas) is created by the mobile device, and any image or handwriting can be drawn on the drawing canvas by using the set brush (Paint class); the annotation operations in the embodiment of the present invention are all performed on the Android drawing canvas. .
- the mobile terminal listens to the Android screen annotation event, draws the annotation handwriting according to the movement of the finger, that is, draws the curve of the draw drawing method of the Android drawing canvas in the onDraw method of the control, and records The currently drawn handwriting.
- the screen annotation event is an operation different from the screen touch event.
- an annotation toolbar or an annotation button for triggering the annotation function can be set on the mobile terminal, and when the user triggers the annotation function, the mobile terminal enters the monitoring.
- Unit 540 displays the corresponding annotation handwriting based on the parsed coordinate set:
- the upper left corner of the coordinate set is the coordinate origin
- the converted coordinate set ( ⁇ , ⁇ ) is: the pixel coordinate of each point in the annotation point set relative to the upper left corner (xl, Yl is converted to (65535*xl/Xm, 65535*yl/Ym), where Xm is the horizontal resolution of the mobile screen and Ym is the vertical resolution of the mobile screen.
- the interactive smart panel receiving unit 520 receives the converted coordinate set (A, B), and the parsing unit 530 parses the converted coordinate set, and the parsed coordinate set is (Xn*A/65535, Yn*B/65535), wherein Xn, Yn is the screen resolution of the smart tablet (large screen), and the interactive smart tablet displays the corresponding annotation handwriting according to the parsed coordinate set.
- the interactive smart tablet can receive the coordinate set (Xn*xl/Xm, Yn*xl/Ym) converted by the mobile terminal, and use the coordinate set to display the annotation handwriting.
- the interactive smart tablet can receive the coordinate set (xl, yl ) directly sent by the mobile terminal, and parse it into (Xn*xl/Xm, Yn*xl/Ym) and then perform the annotation handwriting. Show no.
- the system embodiment 1 of remote annotation synchronization implemented from the perspective of an interactive smart tablet, because Remotely control the interactive smart tablet with the mobile device to perform annotation synchronization to ensure that the annotations displayed on the mobile device and the interactive smart tablet are consistent; the mobile device continuously receives and intercepts the image sent by the interactive smart tablet, and simultaneously sends related data of the annotation coordinate set information and the like.
- the interactive smart tablet is operated by the interactive smart tablet according to the relevant data, so that the annotation on the mobile device is consistent with the annotation displayed on the interactive smart tablet, thereby ensuring that the user can disconnect the interactive smart tablet from the screen content. Operate (annotate) and interact with the audience.
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- User Interface Of Digital Computer (AREA)
- Information Transfer Between Computers (AREA)
Abstract
一种远程批注同步的方法与***，所述方法包括以下步骤：监听屏幕批注事件(S210)；在监听到屏幕批注事件时，获取绘制并存储在绘图画布上的当前屏幕图像的坐标集(S220)；当前屏幕图像包括根据屏幕批注事件获取的批注笔迹；对坐标集进行坐标转换，得到转换后的坐标集(S230)；将转换后的坐标集发送给交互智能平板；由交互智能平板对转换后的坐标集进行解析，并根据解析后的坐标集显示相应的批注笔迹(S240)。因为采用移动设备远程操控交互智能平板进行批注同步，保证移动设备和交互智能平板上显示的批注一致，保证使用者能够脱离交互智能平板实现对屏幕内容的相关操作，并与观众互动。
Description
远程批注同步的方法与***
技术领域
本发明涉及交互智能平板技术领域， 特别是涉及一种远程批注同步的方 法与***。 背景技术
交互智能平板 （Windows 设备）， 具备批注、 绘画、 多媒体娱乐等功能， 融入了人机交互、 平板显示、 多媒体信息处理和网络传输等多项技术， 是信 息化时代中办公、 教学、 图文互动演示的优选解决方案。
在实现过程中， 发明人发现传统技术中至少存在如下问题： 在教室或者 会议场景使用交互智能平板， 当对屏幕上的内容进行批注讲解时， 传统技术 需要使用者在交互智能平板上实现对屏幕内容的相关操作 （批注）， 使用者不 能脱离交互智能平板与观众互动。 发明内容
基于此， 有必要针对远程控制交互智能平板同步显示屏幕批注的问题， 提供一种远程批注同步的方法与***。
为了实现上述目的， 本发明技术方案的实施例为：
一方面， 提供了一种远程批注同步的方法， 包括以下步骤：
监听屏幕批注事件；
在监听到屏幕批注事件时， 获取绘制并存储在绘图画布上的当前屏幕图 像的坐标集； 当前屏幕图像包括根据屏幕批注事件获取的批注笔迹；
对坐标集进行坐标转换， 得到转换后的坐标集；
将转换后的坐标集发送给交互智能平板； 由交互智能平板对转换后的坐 标集进行解析， 并根据解析后的坐标集显示相应的批注笔迹。
一方面， 还提供了一种远程批注同步的方法， 包括以下步骤：
实时发送屏幕图像给移动端， 由移动端截取该屏幕图像，获得截屏图像；
接收移动端发送的转换后的坐标集， 对转换后的坐标集进行解析， 并根 据解析后的坐标集显示相应的批注笔迹； 转换后的坐标集为移动端根据监听 的屏幕批注事件， 获取绘制并存储在绘图画布上的当前屏幕图像的坐标集， 并对该坐标集进行坐标转换后得到的； 当前屏幕图像包括截屏图像以及根据 屏幕批注事件获取的批注笔迹。
另一方面， 提供了一种远程批注同步的***， 包括：
监听屏幕单元， 用于监听屏幕批注事件； 并在监听到屏幕批注事件时， 获取绘制并存储在绘图画布上的当前屏幕图像的坐标集； 当前屏幕图像包括 根据屏幕批注事件获取的批注笔迹；
转换单元， 用于对坐标集进行坐标转换， 得到转换后的坐标集； 移动端发送单元， 用于将转换后的坐标集发送给交互智能平板； 由交互 智能平板对转换后的坐标集进行解析， 并根据解析后的坐标集显示相应的批 注笔迹。
另一方面， 还提供了一种远程批注同步的***， 包括：
交互智能平板发送单元， 用于实时发送屏幕图像给移动端， 由移动端截 取该屏幕图像， 获得截屏图像；
交互智能平板接收单元， 用于接收移动端发送的转换后的坐标集； 解析单元， 用于对转换后的坐标集进行解析；
显示单元， 用于根据解析后的坐标集显示相应的批注笔迹；
转换后的坐标集为移动端根据监听的屏幕批注事件， 获取绘制并存储在 绘图画布上的当前屏幕图像的坐标集， 并对该坐标集进行坐标转换后得到的； 当前屏幕图像包括截屏图像以及根据屏幕批注事件获取的批注笔迹。
上述技术方案具有如下有益效果：
本发明的远程批注同步的方法与***， 因为采用移动设备远程操控交互 智能平板进行批注同步， 保证移动设备和交互智能平板上显示的批注一致； 移动设备不断的接收并截取交互智能平板发送的图像， 同时将批注的坐标集 信息等相关数据发送给交互智能平板， 并由交互智能平板根据相关数据进行 相应的操作， 所以保证移动设备上的批注与交互智能平板上显示的批注一致，
从而保证使用者能够脱离交互智能平板实现对屏幕内容的相关操作 （批注）， 并与观众互动。 附图说明
通过附图中所示的本发明的优选实施例的更具体说明， 本发明的上述及 其它目的、 特征和优势将变得更加清晰。 在全部附图中相同的附图标记指示 相同的部分， 且并未刻意按实际尺寸等比例缩放绘制附图， 重点在于示出本 发明的主旨。
图 1为本发明远程批注同步的方法与***的一应用场景示意图； 图 2为本发明从移动端角度实施的远程批注同步的方法实施例 1 的流程 示意图；
图 3 为本发明从交互智能平板角度实施的远程批注同步的方法实施例 1 的流程示意图；
图 4为本发明从移动端角度实施的远程批注同步的***实施例 1 的结构 示意图；
图 5 为本发明从交互智能平板角度实施的远程批注同步的***实施例 1 的结构示意图。 具体实施方式
为了便于理解本发明， 下面将参照相关附图对本发明进行更全面的描述。 附图中给出了本发明的首选实施例。 但是， 本发明可以以许多不同的形式来 实现， 并不限于本文所描述的实施例。 相反地， 提供这些实施例的目的是使 对本发明的公开内容更加透彻全面。
除非另有定义， 本文所使用的所有的技术和科学术语与属于本发明的技 术领域的技术人员通常理解的含义相同。 本文中在本发明的说明书中所使用 的术语只是为了描述具体的实施例的目的， 不是旨在于限制本发明。 本文所 使用的术语"及 I或"包括一个或多个相关的所列项目的任意的和所有的组合。
本发明远程批注同步的方法与***的一应用场景：
图 1 为本发明远程批注同步的方法与***的一应用场景示意图； 如图 1 所示， 在教室或者会议场景使用交互智能平板， 当对屏幕上的内容进行批注 讲解时， 需要使用者在交互智能平板上实现对屏幕内容的相关操作 （批注）， 使用者不能脱离交互智能平板与观众互动。 而通过本发明远程批注同步的方 法与***能够远程操控交互智能平板进行批注， 保证移动设备 （移动端） 和 交互智能平板上显示的批注一致， 从而保证使用者能够脱离交互智能平板实 现对屏幕内容的相关操作 （批注）， 并与观众互动。 本发明从移动端角度实施的远程批注同步的方法实施例 1 :
为了实现移动设备远程操控交互智能平板同步显示批注的目的， 本发明 提供了从移动端角度实施的远程批注同步的方法实施例 1 ;图 2为本发明从移 动端角度实施的远程批注同步的方法实施例 1 的流程示意图， 如图 2所示， 可以包括以下步骤：
步骤 S210: 监听屏幕批注事件；
步骤 S220: 在监听到屏幕批注事件时， 获取绘制并存储在绘图画布上的 当前屏幕图像的坐标集； 当前屏幕图像包括根据屏幕批注事件获取的批注笔 迹；
步骤 S230: 对坐标集进行坐标转换， 得到转换后的坐标集；
步骤 S240: 将转换后的坐标集发送给交互智能平板； 由交互智能平板对 转换后的坐标集进行解析， 并根据解析后的坐标集显示相应的批注笔迹。
在一个具体的示例中， 步骤 S230对坐标集进行坐标转换， 得到转换后的 坐标集的步骤可以包括：
取坐标集的边角点为坐标原点；
根据当前监听屏幕的分辨率， 相对坐标原点对坐标集中所有像素点坐标 进行坐标转换， 得到转换后的坐标集。
而在一个具体的示例中， 步骤 S220中根据屏幕批注事件获取的批注笔迹
创建绘图画布； 以移动终端的操作***为 Android***为例， 该画布可以 为 Android绘图画布， 通过 Canvas创建该 Android绘图画布， 相应地在该移 动终端的操作***为 IOS (苹果公司开发的移动操作）***的情况下， 该绘图 画布还可以为 IOS画板或绘画绘图画布， 在交互智能终端的操作***为其他 类型的操作***的情况下， 该画布也可以为其他类型操作***中具有绘图画 布功能的控件所创建的绘图画布；
监听屏幕批注事件， 根据当前批注触摸点的移动在上述绘图画布上绘制 并存储批注笔迹。 而在绘图画布上绘制批注笔迹的目的是让移动设备与交互 智能平板显示的画面一致。
在一个具体的实施例中， 以 Android***的移动设备为例，本发明从移动 端角度实施的远程批注同步的方法的实施例 1可以包括以下步骤：
( 1 ) 移动设备 （移动端） 绘制批注， 使得移动端与交互智能平板显示的 画面一致； 移动端获取批注事件的批注点坐标集合。
1 )创建 Android绘图画布（Canvas ), 借助设置好的画笔 (Paint类)就可以 在绘图画布上绘制任何图像或笔迹； 本发明实施例中的批注操作都是在绘图 画布上进行的。
2) 移动设备 （移动端） 监听到 Android屏幕批注事件时， 根据手指的移 动来绘制批注笔迹，即在控件的绘制图形 (onDraw)方法中调用 Android绘图画 布的绘制曲线方法（canvas drawPath)绘制曲线， 并记录当前绘制的笔迹， 并 获取该笔迹的坐标集； 而由于移动端会不断的将画布上绘制的图像编码到交 互智能平板， 交互智能平板通过解码后能够显示该屏幕图像， 因此将批注笔 迹绘制在绘图画布上能够保证移动端显示的批注与交互智能平板的一致。
其中屏幕批注事件是不同于屏幕触摸事件的操作， 具体而言， 在移动端 可设置触发批注功能的批注工具条或批注按钮， 当用户触发批注功能时， 移 动端即进入监听 Android屏幕批注事件状态；而屏幕触摸事件则无需在屏幕上 设置触发触摸功能的工具条或按钮， 用户通过手指触摸屏幕即可触发屏幕触 摸事件； 此外也可以根据人手触摸屏幕的时间不同或力度不同， 预先设置不 同的手势操作来触发屏幕批注功能或者屏幕触摸功能。
(2 )移动端对批注事件的批注点坐标集合进行坐标转换， 得到转换后的 坐标集， 将转换后的坐标集传输给交互智能平板设备：
在一个具体的实施例中， 取坐标集的左上角为坐标原点， 转换后的坐标 集 (Α,Β)为： 将批注点集合中每一个点相对左上角的像素点坐标 （xl， yl ) 转 换成 （65535*xl/Xm， 65535*yl/Ym)， 其中 Xm是指移动端屏幕的水平分辨 率， Ym是指移动端屏幕的竖直分辨率。 将转换后的坐标集 (Α,Β)传输给交互 智能平板设备， 由交互智能平板对转换后的坐标集进行解析， 解析的坐标集 为（Χη*Α/65535， Υη*Β/65535 ), 其中 Χη， Υη为智能平板（大屏幕）端的屏 幕分辨率， 交互智能平板根据解析后的坐标集显示相应的批注笔迹。
在一个具体的实施例中，移动端也可以发送转换后的坐标集（Xn*xl/Xm，
Yn*xl/Ym) , 由交互智能平板直接接收并使用该转换后的坐标集进行批注笔 迹的显示。
在一个具体的实施例中， 移动端也可以直接发送坐标集 （xl， yl )， 由交 互智能平板接收后解析为 （Xn*xl/Xm， Yn*xl/Ym)。
本发明从移动端角度实施的远程批注同步的方法的实施例 1，因为采用移 动设备远程操控交互智能平板进行批注同步， 保证移动设备和交互智能平板 上显示的批注一致； 移动设备不断的接收并截取交互智能平板发送的图像， 同时将批注的坐标集信息等相关数据发送给交互智能平板， 并由交互智能平 板根据相关数据进行相应的操作， 所以保证移动设备上的批注与交互智能平 板上显示的批注一致， 从而保证使用者能够脱离交互智能平板实现对屏幕内 容的相关操作 （批注）， 并与观众互动。 本发明从交互智能平板角度实施的远程批注同步的方法实施例 1 :
为了实现移动设备远程操控交互智能平板并同步显示批注的目的， 本发 明提供了从交互智能平板角度实施的远程批注同步的方法实施例 1 ;图 3为从 交互智能平板角度实施的远程批注同步的方法实施例 1的流程示意图，如图 3 所示， 以 Android***的移动设备为例， 可以包括以下步骤：
步骤 S310: 实时发送屏幕图像给移动端， 由移动端截取该屏幕图像， 获
得截屏图像；
步骤 S320: 接收移动端发送的转换后的坐标集， 对转换后的坐标集进行 解析， 并根据解析后的坐标集显示相应的批注笔迹； 转换后的坐标集为移动 端根据监听的屏幕批注事件， 获取绘制并存储在绘图画布上的当前屏幕图像 的坐标集， 并对该坐标集进行坐标转换后得到的； 当前屏幕图像包括截屏图 像以及根据屏幕批注事件获取的批注笔迹；
在一个具体的实施例中， 交互智能平板对转换后的坐标集进行解析的步 骤可以包括：
根据当前屏幕的分辨率， 对转换后的坐标集进行解析， 得到解析后的坐 标集。
在一个具体的实施例中， 以 Android***的移动设备为例，本发明从交互 智能平板角度实施的远程批注同步的方法的实施例 1可以包括以下步骤：
1 ) 交互智能平板实时发送屏幕图像给移动设备， 由移动设备进行截取， 并保存为截屏后的图像；
2)由移动设备创建 Android绘图画布（Canvas ),借助设置好的画笔 (Paint 类)可以在绘图画布上绘制任何图像或笔迹； 本发明实施例中的批注操作都是 在 Android绘图画布上进行的。
3 ) 由移动设备将截屏后的图像绘制在绘图画布上， 在控件的绘制图形 (onDraw)方法中调用 Android绘图画布的绘制图像方法 （ canvas. drawBitmap ) 绘制图像， 并记录当前绘制的图像。 而将截图绘制在绘图画布上作为背景图 能够保证移动端的显示与交互智能平板的一致。
4) 当移动端监听到 Android屏幕批注事件时， 根据手指的移动来绘制批 注笔迹，即在控件的绘制图形 (onDraw)方法中调用 Android绘图画布的绘制曲 线方法（canvas drawPath)绘制曲线， 并记录当前绘制的笔迹。 其中屏幕批注 事件是不同于屏幕触摸事件的操作， 具体而言， 在移动端可设置触发批注功 能的批注工具条或批注按钮， 当用户触发批注功能时， 移动端即进入监听
Android屏幕批注事件状态； 而屏幕触摸事件则无需在屏幕上设置触发触摸功 能的工具条或按钮， 用户通过手指触摸屏幕即可触发屏幕触摸事件； 此外也
可以根据人手触摸屏幕的时间不同或力度不同， 预先设置不同的手势操作来 触发屏幕批注功能或者屏幕触摸功能。
5 ) 由移动端对批注事件的批注点坐标集合进行坐标转换， 得到转换后的 坐标集； 交互智能平板设备接收转换后的坐标集， 并对转换后的坐标集进行 解析：
在一个具体的实施例中， 移动端取坐标集的左上角为坐标原点， 转换后 的坐标集 (Α,Β)为： 将批注点集合中每一个点相对左上角的像素点坐标 （xl， yl ) 转换成 （65535*xl/Xm， 65535*yl/Ym)， 其中 Xm是指移动端屏幕的水 平分辨率， Ym是指移动端屏幕的竖直分辨率。
交互智能平板设备接收转换后的坐标集 (A,B)， 并对转换后的坐标集进行 解析， 解析的坐标集为（Xn*A/65535， Yn*B/65535 ), 其中 Xn， Yn为智能平 板 （大屏幕） 端的屏幕分辨率， 交互智能平板根据解析后的坐标集显示相应 的批注笔迹。
在一个具体的实施例中， 交互智能平板可以接收移动端转换的坐标集 (Xn*xl/Xm, Yn*xl/Ym), 并使用该坐标集进行批注笔迹的显示。
在一个具体的实施例中， 交互智能平板可以接收由移动端直接发送的坐 标集 （xl， yl ), 并将其解析为 （Xn*xl/Xm， Yn*xl/Ym) 后进行批注笔迹的 显不。
本发明从交互智能平板角度实施的远程批注同步的方法实施例 1，因为采 用移动设备远程操控交互智能平板进行批注同步， 保证移动设备和交互智能 平板上显示的批注一致； 移动设备不断的接收并截取交互智能平板发送的图 像， 同时将批注的坐标集信息等相关数据发送给交互智能平板， 并由交互智 能平板根据相关数据进行相应的操作， 所以保证移动设备上的批注与交互智 能平板上显示的批注一致， 从而保证使用者能够脱离交互智能平板实现对屏 幕内容的相关操作 （批注）， 并与观众互动。 基于与上述远程批注同步的方法相同的思想， 为了实现移动设备远程操 控交互智能平板并同步显示批注的目的， 本发明实施例还提供了从移动端角
度实施的远程批注同步的***实施例 1，图 4为本发明从移动端角度实施的远 程批注同步的***实施例 1的结构示意图； 如图 4所示， 可以包括：
监听屏幕单元 10，用于监听屏幕批注事件；并在监听到屏幕批注事件时， 获取绘制并存储在绘图画布上的当前屏幕图像的坐标集； 当前屏幕图像包括 根据屏幕批注事件获取的批注笔迹；
转换单元 20， 用于对坐标集进行坐标转换， 得到转换后的坐标集； 移动端发送单元 30， 用于将转换后的坐标集发送给交互智能平板； 由交 互智能平板对转换后的坐标集进行解析， 并根据解析后的坐标集显示相应的 批注笔迹。
在一个具体的实施例中， 本发明从移动端角度实施的远程批注同步的系 统实施例 1还包括：
移动端接收单元 40， 用于接收交互智能平板实时发送的屏幕图像； 截取屏幕单元 50， 用于截取实时发送的屏幕图像， 获得截屏图像； 当前 屏幕图像还包括截屏图像；
绘制单元 60， 用于创建绘图画布； 并通过屏幕批注事件， 根据当前批注 触摸点的移动在绘图画布上绘制并存储批注笔迹； 以及用于将上述截屏图像 绘制并存储在绘图画布上。
在一个具体的实施例中， 以 Android***的移动设备为例，本发明从移动 端角度实施的远程批注同步的***实施例 1的具体工作过程可以是如下所述： 移动端接收单元 40接收交互智能平板实时发送的当前正显示的屏幕图像; 截取屏幕单元 50截取该当前屏幕图像；
绘制单元 60创建 Android绘图画布 （Canvas ), 借助设置好的画笔 (Paint 类)就可以在绘图画布上绘制任何图像或笔迹； 本发明该实施例中所有的批注 和同步缩放等操作都是在 Android绘图画布上进行的。
绘制单元 60将截屏后的图像绘制在绘图画布上， 在绘制图形 (onDraw)方 法中调用 Android绘图画布的绘制图像方法 （ canvas. drawBitmap) 绘制图像， 并记录当前绘制的图像。 而将截图绘制在绘图画布上作为背景图能够保证移 动端的显示与交互智能平板的一致。
监听屏幕单元 10监听 Android屏幕批注事件，绘制单元 60根据手指的移 动来绘制批注笔迹，即在控件的绘制图形 (onDraw)方法中调用 Android绘图画 布的绘制曲线方法（canvas drawPath)绘制曲线， 并记录当前绘制的笔迹。 其 中屏幕批注事件是不同于屏幕触摸事件的操作， 具体而言， 在移动端屏幕上 可设置触发批注功能的批注工具条或批注按钮， 当用户触发批注功能时， 移 动端即进入监听 Android屏幕批注事件状态；而屏幕触摸事件则无需在屏幕上 设置触发触摸功能的工具条或按钮， 用户通过手指触摸屏幕即可触发屏幕触 摸事件； 此外也可以根据人手触摸屏幕的时间不同或力度不同， 预先设置不 同的手势操作来触发屏幕批注功能或者屏幕触摸功能。
转换单元 20对批注事件的批注点坐标集合进行坐标转换， 得到转换后的 坐标集， 移动端发送单元 30将转换后的坐标集传输给交互智能平板设备： 在一个具体的实施例中， 转换单元 20取坐标集的左上角为坐标原点， 转 换后的坐标集 (Α,Β)为：将批注点集合中每一个点相对左上角的像素点坐标（xl， yl ) 转换成 （65535*xl/Xm， 65535*yl/Ym)， 其中 Xm是指移动端屏幕的水 平分辨率， Ym是指移动端屏幕的竖直分辨率。 将转换后的坐标集 (Α,Β)传输 给交互智能平板设备， 由交互智能平板对转换后的坐标集进行解析， 解析的 坐标集为 （Xn*A/65535， Yn*B/65535 ), 其中 Xn， Yn为智能平板 （大屏幕） 端的屏幕分辨率， 交互智能平板根据解析后的坐标集显示相应的批注笔迹。
在一个具体的实施例中，移动端也可以发送转换后的坐标集（Xn*xl/Xm， Yn*xl/Ym)， 由交互智能平板直接接收并使用该转换后的坐标集进行批注笔 迹的显示。
在一个具体的实施例中， 移动端也可以直接发送坐标集 （xl， yl ), 由交 互智能平板接收后解析为 （Xn*xl/Xm， Yn*xl/Ym)。
本发明从移动端角度实施的远程批注同步的***的实施例 1，因为采用移 动设备远程操控交互智能平板进行批注同步， 保证移动设备和交互智能平板 上显示的批注一致； 移动设备不断的接收并截取交互智能平板发送的图像， 同时将批注的坐标集信息等相关数据发送给交互智能平板， 并由交互智能平 板根据相关数据进行相应的操作， 所以保证移动设备上的批注与交互智能平
板上显示的批注一致， 从而保证使用者能够脱离交互智能平板实现对屏幕内 容的相关操作 （批注）， 并与观众互动。 本发明从交互智能平板角度实施的远程批注同步的***实施例 1 :
基于与上述远程批注同步的方法相同的思想， 为了实现移动设备远程操 控交互智能平板并同步显示批注的目的， 本发明实施例还提供了从交互智能 平板角度实施的远程批注同步的***实施例 1，图 5为本发明从交互智能平板 角度实施的远程批注同步的***实施例 1 的结构示意图； 如图 5所示， 可以 包括：
交互智能平板发送单元 510， 用于实时发送屏幕图像给移动端， 由移动端 截取该屏幕图像， 获得截屏图像；
交互智能平板接收单元 520， 用于接收移动端发送的转换后的坐标集； 解析单元 530， 用于对转换后的坐标集进行解析；
显示单元 540， 用于根据解析后的坐标集显示相应的批注笔迹；
转换后的坐标集为移动端根据监听的屏幕批注事件， 获取绘制并存储在 绘图画布上的当前屏幕图像的坐标集， 并对该坐标集进行坐标转换后得到的； 当前屏幕图像包括截屏图像以及根据屏幕批注事件获取的批注笔迹。
在一个具体的实施例中， 以 Android***的移动设备（移动端）为例， 本 发明从交互智能平板角度实施的远程批注同步的***的实施例 1 的具体工作 过程可以是如下所述：
1 ) 交互智能平板发送单元 510实时发送屏幕图像给移动设备， 由移动设 备进行截取， 并保存为截屏后的图像；
2)由移动设备创建 Android绘图画布（Canvas ),借助设置好的画笔 (Paint 类)可以在绘图画布上绘制任何图像或笔迹； 本发明实施例中的批注操作都是 在 Android绘图画布上进行的。
3 ) 由移动设备将截屏后的图像绘制在绘图画布上， 在控件的绘制图形 (onDraw)方法中调用 Android绘图画布的绘制图像方法 （ canvas. drawBitmap ) 绘制图像， 并记录当前绘制的图像。 而将截图绘制在绘图画布上作为背景图
能够保证移动端的显示与交互智能平板的一致。
4) 当移动端监听到 Android屏幕批注事件时， 根据手指的移动来绘制批 注笔迹，即在控件的绘制图形 (onDraw)方法中调用 Android绘图画布的绘制曲 线方法（canvas drawPath)绘制曲线， 并记录当前绘制的笔迹。 其中屏幕批注 事件是不同于屏幕触摸事件的操作， 具体而言， 在移动端可设置触发批注功 能的批注工具条或批注按钮， 当用户触发批注功能时， 移动端即进入监听
Android屏幕批注事件状态； 而屏幕触摸事件则无需在屏幕上设置触发触摸功 能的工具条或按钮， 用户通过手指触摸屏幕即可触发屏幕触摸事件； 此外也 可以根据人手触摸屏幕的时间不同或力度不同， 预先设置不同的手势操作来 触发屏幕批注功能或者屏幕触摸功能。
5 ) 由移动端对批注事件的批注点坐标集合进行坐标转换， 得到转换后的 坐标集； 交互智能平板接收单元 520接收转换后的坐标集， 解析单元 530对 转换后的坐标集进行解析， 显示单元 540根据解析后的坐标集显示相应的批 注笔迹：
在一个具体的实施例中， 移动端取坐标集的左上角为坐标原点， 转换后 的坐标集 (Α,Β)为： 将批注点集合中每一个点相对左上角的像素点坐标 （xl， yl ) 转换成 （65535*xl/Xm， 65535*yl/Ym)， 其中 Xm是指移动端屏幕的水 平分辨率， Ym是指移动端屏幕的竖直分辨率。
交互智能平板接收单元 520接收转换后的坐标集 (A,B)， 解析单元 530对 转换后的坐标集进行解析， 解析的坐标集为（Xn*A/65535， Yn*B/65535 )， 其 中 Xn， Yn为智能平板 （大屏幕） 端的屏幕分辨率， 交互智能平板根据解析 后的坐标集显示相应的批注笔迹。
在一个具体的实施例中， 交互智能平板可以接收移动端转换的坐标集 (Xn*xl/Xm, Yn*xl/Ym), 并使用该坐标集进行批注笔迹的显示。
在一个具体的实施例中， 交互智能平板可以接收由移动端直接发送的坐 标集 （xl， yl ), 并将其解析为 （Xn*xl/Xm， Yn*xl/Ym) 后进行批注笔迹的 显不。
本发明从交互智能平板角度实施的远程批注同步的***实施例 1，因为采
用移动设备远程操控交互智能平板进行批注同步， 保证移动设备和交互智能 平板上显示的批注一致； 移动设备不断的接收并截取交互智能平板发送的图 像， 同时将批注的坐标集信息等相关数据发送给交互智能平板， 并由交互智 能平板根据相关数据进行相应的操作， 所以保证移动设备上的批注与交互智 能平板上显示的批注一致， 从而保证使用者能够脱离交互智能平板实现对屏 幕内容的相关操作 （批注）， 并与观众互动。 以上所述实施例的各技术特征可以进行任意的组合， 为使描述简洁， 未 对上述实施例中的各个技术特征所有可能的组合都进行描述， 然而， 只要这 些技术特征的组合不存在矛盾， 都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本发明的几种实施方式， 其描述较为具体和详 细， 但并不能因此而理解为对发明专利范围的限制。 应当指出的是， 对于本 领域的普通技术人员来说， 在不脱离本发明构思的前提下， 还可以做出若干 变形和改进， 这些都属于本发明的保护范围。 因此， 本发明专利的保护范围 应以所附权利要求为准。
Claims
1、 一种远程批注同步的方法， 其特征在于， 包括以下步骤：
监听屏幕批注事件；
在监听到所述屏幕批注事件时， 获取绘制并存储在绘图画布上的当前屏 幕图像的坐标集； 所述当前屏幕图像包括根据所述屏幕批注事件获取的批注 笔迹；
对所述坐标集进行坐标转换， 得到转换后的坐标集；
将所述转换后的坐标集发送给交互智能平板； 由所述交互智能平板对所 述转换后的坐标集进行解析， 并根据所述解析后的坐标集显示相应的批注笔 迹。
2、 根据权利要求 1所述的远程批注同步的方法， 其特征在于， 在监听屏 幕批注事件的步骤之前， 还包括步骤：
创建所述绘图画布。
3、 根据权利要求 1所述的远程批注同步的方法， 其特征在于， 所述当前 屏幕图像还包括截屏图像； 所述截屏图像是通过以下步骤获得的：
截取所述交互智能平板实时发送的屏幕图像， 获得所述截屏图像。
4、 根据权利要求 1至 3任意一项所述的远程批注同步的方法， 其特征在 于， 所述对所述坐标集进行坐标转换， 得到转换后的坐标集的步骤包括： 取所述坐标集的边角点为坐标原点；
根据当前监听屏幕的分辨率， 相对所述坐标原点对所述坐标集中所有像 素点坐标进行坐标转换， 得到转换后的坐标集。
5、 一种远程批注同步的方法， 其特征在于， 包括以下步骤：
实时发送屏幕图像给移动端， 由所述移动端截取所述屏幕图像， 获得截 屏图像；
接收所述移动端发送的转换后的坐标集， 对所述转换后的坐标集进行解 析， 并根据所述解析后的坐标集显示相应的批注笔迹； 所述转换后的坐标集 为所述移动端根据监听的屏幕批注事件， 获取绘制并存储在绘图画布上的当 前屏幕图像的坐标集， 并对所述坐标集进行坐标转换后得到的； 所述当前屏
幕图像包括所述截屏图像以及根据所述屏幕批注事件获取的批注笔迹。
6、 根据权利要求 5所述的远程批注同步的方法， 其特征在于， 对所述转 换后的坐标集进行解析的步骤包括：
根据当前屏幕的分辨率， 对所述转换后的坐标集进行解析， 得到解析后 的坐标集。
7、 一种远程批注同步的***， 其特征在于， 包括：
监听屏幕单元， 用于监听屏幕批注事件； 并在监听到所述屏幕批注事件 时， 获取绘制并存储在绘图画布上的当前屏幕图像的坐标集； 所述当前屏幕 图像包括根据所述屏幕批注事件获取的批注笔迹；
转换单元， 用于对所述坐标集进行坐标转换， 得到转换后的坐标集； 移动端发送单元， 用于将所述转换后的坐标集发送给交互智能平板； 由 所述交互智能平板对所述转换后的坐标集进行解析， 并根据所述解析后的坐 标集显示相应的批注笔迹。
8、 根据权利要求 7所述的远程批注同步的***， 其特征在于， 还包括： 移动端接收单元， 用于接收所述交互智能平板实时发送的屏幕图像； 截取屏幕单元， 用于截取所述实时发送的屏幕图像， 获得截屏图像； 所 述当前屏幕图像还包括所述截屏图像；
绘制单元， 用于创建绘图画布， 并通过所述屏幕批注事件， 根据当前批 注触摸点的移动在所述绘图画布上绘制并存储所述批注笔迹； 以及用于将所 述截屏图像绘制并存储在所述绘图画布上。
9、 根据权利要求 7或 8所述的远程批注同步的***， 其特征在于， 所述 转换单元具体用于：
取所述坐标集的边角点为坐标原点；
根据当前监听屏幕的分辨率， 相对所述坐标原点对所述坐标集中所有像 素点坐标进行坐标转换， 得到转换后的坐标集。
10、 一种远程批注同步的***， 其特征在于， 包括：
交互智能平板发送单元， 用于实时发送屏幕图像给移动端， 由所述移动 端截取所述屏幕图像， 获得截屏图像；
交互智能平板接收单元， 用于接收所述移动端发送的转换后的坐标集； 解析单元， 用于对所述转换后的坐标集进行解析；
显示单元， 用于根据所述解析后的坐标集显示相应的批注笔迹； 所述转换后的坐标集为所述移动端根据监听的屏幕批注事件， 获取绘制 并存储在绘图画布上的当前屏幕图像的坐标集， 并对所述坐标集进行坐标转 换后得到的； 所述当前屏幕图像包括所述截屏图像以及根据所述屏幕批注事 件获取的批注笔迹。
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201510946754.0 | 2015-12-16 | ||
| CN201510946754.0A CN105446689B (zh) | 2015-12-16 | 2015-12-16 | 远程批注同步的方法与*** |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| WO2017101440A1 true WO2017101440A1 (zh) | 2017-06-22 |
Family
ID=55556945
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| PCT/CN2016/090746 WO2017101440A1 (zh) | 2015-12-16 | 2016-07-20 | 远程批注同步的方法与*** |
Country Status (2)
| Country | Link |
|---|---|
| CN (2) | CN105446689B (zh) |
| WO (1) | WO2017101440A1 (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110543278A (zh) * | 2019-08-19 | 2019-12-06 | 广州点云科技有限公司 | 一种跨设备屏幕坐标的适配方法、装置以及存储介质 |
Families Citing this family (35)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105468206B (zh) * | 2014-09-04 | 2022-04-22 | 华为技术有限公司 | 交互演示方法和设备 |
| CN105446689B (zh) * | 2015-12-16 | 2018-12-07 | 广州视睿电子科技有限公司 | 远程批注同步的方法与*** |
| CN105867753B (zh) * | 2016-04-05 | 2019-03-15 | 福建天晴数码有限公司 | Android***浏览器分屏的方法及*** |
| CN107705343A (zh) * | 2016-08-09 | 2018-02-16 | 作业帮教育科技（北京）有限公司 | 在线答疑时的图形绘制方法和装置 |
| CN107765976B (zh) * | 2016-08-16 | 2021-12-14 | 腾讯科技（深圳）有限公司 | 一种消息推送方法、终端及*** |
| CN110866378B (zh) * | 2016-12-01 | 2023-12-01 | 广州视源电子科技股份有限公司 | 一种在显示屏上进行批注的方法及其*** |
| CN106791937B (zh) * | 2016-12-15 | 2020-08-11 | 广东威创视讯科技股份有限公司 | 视频图像的标注方法和*** |
| CN106940632A (zh) * | 2017-03-06 | 2017-07-11 | 锐达互动科技股份有限公司 | 一种屏幕批注的方法 |
| CN106843797A (zh) * | 2017-03-13 | 2017-06-13 | 广州视源电子科技股份有限公司 | 一种图像文件的编辑方法及装置 |
| CN107659416B (zh) * | 2017-03-27 | 2021-11-16 | 广州视源电子科技股份有限公司 | 一种会议记录分享的方法、装置、会议终端和存储介质 |
| CN107239246A (zh) * | 2017-04-28 | 2017-10-10 | 福建天泉教育科技有限公司 | 一种图片同步显示方法及*** |
| CN107341137B (zh) * | 2017-05-22 | 2020-04-24 | 广州视源电子科技股份有限公司 | 一种基于多平板的批注跟随方法及*** |
| CN107168674B (zh) * | 2017-06-19 | 2020-08-11 | 浙江工商大学 | 投屏批注方法和*** |
| CN107454433B (zh) * | 2017-08-09 | 2020-08-04 | 广州视源电子科技股份有限公司 | 直播的批注方法及装置、终端及直播*** |
| CN107643884B (zh) * | 2017-09-05 | 2021-02-23 | 北京仁光科技有限公司 | 用于至少两台计算机和一个屏幕交互的方法和*** |
| CN108255403B (zh) * | 2018-01-16 | 2020-09-29 | 广州视源电子科技股份有限公司 | 信息批注***、方法、装置和存储介质 |
| CN108459836B (zh) | 2018-01-19 | 2019-05-31 | 广州视源电子科技股份有限公司 | 批注显示方法、装置、设备及存储介质 |
| CN108241480A (zh) * | 2018-01-24 | 2018-07-03 | 上海哇嗨网络科技有限公司 | 显示内容的批注方法、显示客户端及投屏客户端 |
| CN108595401A (zh) * | 2018-04-24 | 2018-09-28 | 广州视源电子科技股份有限公司 | 批注同步***、方法、装置、设备和存储介质 |
| CN108829482B (zh) * | 2018-06-20 | 2022-04-05 | 广州视源电子科技股份有限公司 | 数据传输协作控制***、方法、存储介质及交互设备 |
| CN109240526B (zh) * | 2018-07-26 | 2021-08-20 | 苏州佳世达电通有限公司 | 同屏显示***及其测控方法 |
| CN109522535A (zh) * | 2018-10-18 | 2019-03-26 | 恒峰信息技术有限公司 | 一种基于智能移动终端的批注方法及*** |
| CN109657171B (zh) * | 2018-11-27 | 2022-05-20 | 浙江万朋教育科技股份有限公司 | 一种基于移动终端和浏览器的网页内容同屏批注方法 |
| CN113168243A (zh) * | 2018-12-27 | 2021-07-23 | 深圳市柔宇科技股份有限公司 | 笔迹采集方法、笔迹传输方法及装置、手写板及其*** |
| CN111007982B (zh) * | 2019-11-29 | 2021-04-20 | 珠海豹趣科技有限公司 | 一种电子白板实现方法、设备以及相关*** |
| CN111966276A (zh) * | 2020-07-28 | 2020-11-20 | 锐达互动科技股份有限公司 | 一种实现远程批注的方法、智能笔、设备和介质 |
| CN112463092A (zh) * | 2020-11-25 | 2021-03-09 | 深圳市皓丽智能科技有限公司 | 一种远程批注方法、智能手机和会议平板 |
| CN112947878A (zh) * | 2021-02-26 | 2021-06-11 | 郑州阿帕斯数云信息科技有限公司 | 一种涂鸦显示方法、装置和*** |
| CN113360070B (zh) * | 2021-06-28 | 2023-02-28 | 广州市保伦电子有限公司 | 一种基于qt的协同绘图实现方法及处理终端 |
| CN113760208A (zh) * | 2021-07-20 | 2021-12-07 | 江苏欧帝电子科技有限公司 | 一种触摸信息显示处理方法和装置 |
| CN113867660A (zh) * | 2021-08-24 | 2021-12-31 | 深圳市宝泽科技有限公司 | 一种多设备协同远程同步批注的方法及*** |
| CN113934876B (zh) * | 2021-12-21 | 2022-02-22 | 成都泰盟软件有限公司 | 一种基于Web的作业批改方法、装置及*** |
| WO2023142056A1 (zh) * | 2022-01-29 | 2023-08-03 | 京东方科技集团股份有限公司 | 信息显示方法及显示设备、电子设备、计算机可读介质 |
| CN114721563A (zh) * | 2022-03-30 | 2022-07-08 | 海信视像科技股份有限公司 | 显示设备、批注方法及存储介质 |
| CN116248912B (zh) * | 2023-05-12 | 2023-07-21 | 南京维赛客网络科技有限公司 | 一种对直播流画面实时批注的方法、***及存储介质 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US9122443B1 (en) * | 2008-05-01 | 2015-09-01 | Rockwell Collins, Inc. | System and method for synchronizing multiple video streams |
| CN105094638A (zh) * | 2015-06-17 | 2015-11-25 | 深圳市美贝壳科技有限公司 | 移动终端与智能家居设备的图片屏幕共享方法及移动终端 |
| CN105446689A (zh) * | 2015-12-16 | 2016-03-30 | 广州视睿电子科技有限公司 | 远程批注同步的方法与*** |
| CN105511722A (zh) * | 2015-12-04 | 2016-04-20 | 广东威创视讯科技股份有限公司 | 显示屏控制方法和*** |
| CN105573702A (zh) * | 2015-12-16 | 2016-05-11 | 广州视睿电子科技有限公司 | 远程批注移动、缩放的同步方法与*** |
Family Cites Families (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101206640B (zh) * | 2006-12-22 | 2011-01-26 | 深圳市学之友教学仪器有限公司 | 用于对便携式电子设备中的电子资料进行批注的方法 |
| JP6189812B2 (ja) * | 2010-04-13 | 2017-08-30 | グリッドマーク株式会社 | 手書き入力ボードおよび手書き入力ボードを用いた情報処理システム |
| CN101916174B (zh) * | 2010-06-28 | 2013-01-09 | 汉王科技股份有限公司 | 电子文档笔迹的显示方法及装置、处理方法及装置 |
| CN102981793B (zh) * | 2012-11-22 | 2017-02-15 | 深圳Tcl工业研究院有限公司 | 一种屏幕同步方法及装置 |
| CN103440116B (zh) * | 2013-08-06 | 2016-09-28 | 南京美乐威电子科技有限公司 | 一种交互式电子演示*** |
| CN103413476A (zh) * | 2013-08-28 | 2013-11-27 | 重庆大学 | 一种触摸式电子教鞭 |
| CN103823605B (zh) * | 2014-03-03 | 2017-01-25 | 华强云投资控股有限公司 | 电磁屏间笔迹数据的处理方法及电磁屏*** |
| CN103996317A (zh) * | 2014-05-30 | 2014-08-20 | 杭州华银教育多媒体科技股份有限公司 | 一种新型的无线多媒体互动教学*** |
| CN104158900B (zh) * | 2014-08-25 | 2015-06-10 | 焦点科技股份有限公司 | 一种iPad控制课件同步的方法与*** |
| CN104184739A (zh) * | 2014-09-01 | 2014-12-03 | 陈小鹏 | 一种基于无线网络的课堂同步*** |
| CN104298655A (zh) * | 2014-10-28 | 2015-01-21 | 广州视源电子科技股份有限公司 | 一种课件批注方法及*** |
| CN104765534A (zh) * | 2015-04-27 | 2015-07-08 | 小米科技有限责任公司 | 媒体文件的投射方法和装置 |
-
2015
- 2015-12-16 CN CN201510946754.0A patent/CN105446689B/zh active Active
- 2015-12-16 CN CN201811204167.4A patent/CN109388329A/zh active Pending
-
2016
- 2016-07-20 WO PCT/CN2016/090746 patent/WO2017101440A1/zh active Application Filing
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US9122443B1 (en) * | 2008-05-01 | 2015-09-01 | Rockwell Collins, Inc. | System and method for synchronizing multiple video streams |
| CN105094638A (zh) * | 2015-06-17 | 2015-11-25 | 深圳市美贝壳科技有限公司 | 移动终端与智能家居设备的图片屏幕共享方法及移动终端 |
| CN105511722A (zh) * | 2015-12-04 | 2016-04-20 | 广东威创视讯科技股份有限公司 | 显示屏控制方法和*** |
| CN105446689A (zh) * | 2015-12-16 | 2016-03-30 | 广州视睿电子科技有限公司 | 远程批注同步的方法与*** |
| CN105573702A (zh) * | 2015-12-16 | 2016-05-11 | 广州视睿电子科技有限公司 | 远程批注移动、缩放的同步方法与*** |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110543278A (zh) * | 2019-08-19 | 2019-12-06 | 广州点云科技有限公司 | 一种跨设备屏幕坐标的适配方法、装置以及存储介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN105446689B (zh) | 2018-12-07 |
| CN105446689A (zh) | 2016-03-30 |
| CN109388329A (zh) | 2019-02-26 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| WO2017101440A1 (zh) | 远程批注同步的方法与*** | |
| WO2017101441A1 (zh) | 远程批注移动、缩放的同步方法与*** | |
| CN109871190B (zh) | 一种无线传屏方法、扩展设备和无线传屏*** | |
| CN109542008B (zh) | 一种用于智能全面屏黑板的多屏显示控制方法及其*** | |
| WO2019120054A1 (zh) | 交互控制方法以及***、终端及存储介质 | |
| US9035896B2 (en) | Information sharing apparatus and information sharing system | |
| CN103440116B (zh) | 一种交互式电子演示*** | |
| CN107333087B (zh) | 一种基于视频会话的信息共享方法和装置 | |
| US9288438B2 (en) | Communication control system and control device | |
| WO2015192631A1 (zh) | 视频会议***及方法 | |
| CN102346647A (zh) | 投影仪控制方法及*** | |
| CN106791574B (zh) | 视频标注方法、装置及视频会议*** | |
| WO2019192190A1 (zh) | 无线传屏触摸回传方法及*** | |
| US20140361991A1 (en) | Method and electronic device for controlling mouse module | |
| CN107766024B (zh) | 一种基于拼接墙的ppt放映控制方法和*** | |
| CN103150932A (zh) | 一种带有网络功能的视频实物展示***及方法 | |
| CN203552237U (zh) | 一种交互式电子演示*** | |
| CN105988711B (zh) | 大屏幕交互***及其交互方法 | |
| CN108260011B (zh) | 在显示设备上实现写画的方法和*** | |
| US20170185269A1 (en) | Display management solution | |
| CN203276606U (zh) | 一种带有网络功能的视频实物展示*** | |
| CN202535475U (zh) | 可进行视频内容联合选择的视频会议*** | |
| CN109542218B (zh) | 一种移动终端、人机交互***及方法 | |
| CN106210665B (zh) | 一种基于视频采集的远程主机控制方法及*** | |
| CN104090684A (zh) | 基于触摸屏的遥控器及其配套软件 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| 121 | Ep: the epo has been informed by wipo that ep was designated in this application |
Ref document number: 16874501 Country of ref document: EP Kind code of ref document: A1 |
|
| NENP | Non-entry into the national phase |
Ref country code: DE |
|
| 122 | Ep: pct application non-entry in european phase |
Ref document number: 16874501 Country of ref document: EP Kind code of ref document: A1 |