CN107071559A - 基于关键帧同步的多视频对比*** - Google Patents
基于关键帧同步的多视频对比*** Download PDFInfo
- Publication number
- CN107071559A CN107071559A CN201710327768.3A CN201710327768A CN107071559A CN 107071559 A CN107071559 A CN 107071559A CN 201710327768 A CN201710327768 A CN 201710327768A CN 107071559 A CN107071559 A CN 107071559A
- Authority
- CN
- China
- Prior art keywords
- video
- key frame
- port
- crucial
- unit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000012545 processing Methods 0.000 claims abstract description 6
- 230000033001 locomotion Effects 0.000 claims description 13
- 230000001360 synchronised effect Effects 0.000 abstract description 7
- 230000033764 rhythmic process Effects 0.000 abstract description 3
- 230000036544 posture Effects 0.000 description 11
- 238000004458 analytical method Methods 0.000 description 5
- 238000011156 evaluation Methods 0.000 description 5
- 238000000034 method Methods 0.000 description 2
- 238000012549 training Methods 0.000 description 2
- 238000003556 assay Methods 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 238000012423 maintenance Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000002123 temporal effect Effects 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
- H04N21/44008—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics in the video stream
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/4302—Content synchronisation processes, e.g. decoder synchronisation
- H04N21/4307—Synchronising the rendering of multiple content streams or additional data on devices, e.g. synchronisation of audio on a mobile phone with the video output on the TV screen
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Closed-Circuit Television Systems (AREA)
Abstract
本发明提供一种基于关键帧同步的多视频对比***，该***主要包括多端口设备、显示单元、判断单元、控制单元，在多端口设备的第一端口上接收来第一视频，在多端口设备的第二端口上接收第二视频，第一视频和第二视频包括内容相同或相近的一个以上的关键帧；判断单元判断到达第一端口和到达第二端口的内容是否为同一个关键帧，若是，则继续播放；若不是，则控制单元将关键帧先到达的视频做暂停处理，当另一端口的同一个关键帧到达时，进行同步播放。通过本发明，使节奏不同或时间不同步的两个或多个动作的视频在对比播放时，即能达到关键帧的同步对比，又保证了视频播放的连贯性，更容易识别两个或多个视频中动作或运动的差别。
Description
技术领域
本发明涉及基于多个视频的内容对比、评价和分析中的一种有效的、非时间同步的播放方式，用在基于多个视频的连续动作的运动特征对比、分析和评价等技术应用领域，尤其涉及舞蹈、武术和各类体育运动中的运动对比、分析和评价方面。
背景技术
在舞蹈、武术和各类体育运动的教学和训练过程中，通常会把被训练者的运动过程用摄像机等录像设备录制成视频，然后通过与以前录制的视频，或已录制的他人的视频进行对比、分析和评价，以达到修正或改进被训练者动作或运动的目的。
然而，由于录制的视频是时间序列的，每次录制的视频，或不同对象分别录制的视频，动作的节奏很难完全一致。导致在对比、分析和评价时，需要反复多次将两个或多个视频多次地播放，不仅操作繁琐、效率低，而且很难通过视频的对比，对较为复杂的舞蹈、武术和各类体育运动得出清晰的对比、分析和评价结论。
发明内容
本发明的目的在于，针对上述以时间序列录制的视频在播放时也是同样时间序列播放，难以达到动作的同步对比的问题，提出一种基于关键帧同步的多视频对比***，以实现关键帧同步的方式来进行视频对比播放，从而能够容易地进行动作或运动的同步对比。
为实现上述目的，本发明采用的技术方案是：
一种基于关键帧同步的多视频对比***，包括：具有两个以上接收端口的多端口设备，接收来自多端口设备的视频数据进行显示的显示单元，判断多端口设备的接收端口接收的数据内容的判断单元，根据判断单元的判断结果进行控制的控制单元；
在多端口设备的第一端口上接收来自第一源的第一视频，在多端口设备的第二端口上接收来自第二源的第二视频，第一视频和第二视频包括内容相同或相近的一个以上的关键帧；
在判断单元中存有同一个所述关键帧的对应列表，判断单元判断到达第一端口和第二端口的内容是否为同一个关键帧，若是，则继续播放；若不是，则控制单元将关键帧先到达的视频做暂停处理，当另一端口的同一个关键帧到达时，进行同步播放。
通过本发明涉及的一种基于关键帧同步的多视频对比***，使节奏不同或时间不同步的两个或多个动作的视频在对比播放时，即能达到关键帧的同步对比，又保证了视频播放的连贯性，更容易识别两个或多个视频中动作或运动的差别。
附图说明
图1为本发明所涉及的基于关键帧同步的多视频对比***的示意图。
具体实施方式
为使本发明解决的技术问题、采用的技术方案和达到的技术效果更加清楚，下面结合附图和实施例对本发明作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅用于解释本发明，而非对本发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本发明相关的部分而非全部内容。
以下结合实施例对本发明进一步说明：
实施例1
如图1所示，一种基于关键帧同步的多视频对比***，包括：具有两个以上接收端口的多端口设备，接收来自多端口设备的视频数据进行显示的显示单元，判断多端口设备的接收端口接收的数据内容的判断单元，根据判断单元的判断结果进行控制的控制单元；
在多端口设备的第一端口上接收来自第一源的第一视频，在多端口设备的第二端口上接收来自第二源的第二视频，第一视频和第二视频包括内容相同或相近的一个以上的关键帧；
在判断单元中存有同一个所述关键帧的对应列表，判断单元判断到达第一端口和第二端口的内容是否为同一个关键帧，若是，则继续播放；若不是，则控制单元将关键帧先到达的视频做暂停处理，当另一端口的同一个关键帧到达时，进行同步播放。关于关键帧的判断如下：可以先单独播放时手动指定某一帧为关键帧；也可以根据捕捉时视频时，配套传感器使用，如身体某个部位的惯性传感器的角度分别达到30度、45度、60度时，自动设置当时的视频帧为关键帧。手动指定关键帧时，就指定了关键帧的帧号(比如指定第一个视频的第80帧为第一个运动关键帧，第2个视频的第120帧为第1个运动关键)，播放时第一个视频播放到第80帧后暂停，等待第2个视频播放到第120帧后，一起继续播放。
下面以两个视频的对比为例，对本发明的实际应用做简要说明：作为对比对象的两个视频可以是舞蹈、武术和各类体育运动中一个人重复同一个动作的视频或两个人做同一个动作的视频，通过同时播放查看可以对比一个人两次，或两个人的动作区别。在视频内容中，将有阶段性标志的或者特殊状态的动作姿势所在的各个帧指定为关键帧。
假设一个动作有n个标志性姿势，可以先分别查看第一视频和第二视频，把这n个姿势所在的帧标记出来作为关键帧。两个视频对比播放时，同时开始播放，如果第一视频先播放到了第一个关键帧，则第一视频暂停播放，等待第二视频也播放到第一个关键帧后，第一视频继续播放。同样，如果第二视频先播放到了第一关键帧，则第二视频暂停播放，等待第一视也频播放到第一关键帧后，第二视频继续播放。以此类推，对n个关键帧都作相同的处理，直到播放完成。
上述的实施例中以两个视频是用来说明功能的举例，实际也可以是多个视频同时对比播放。
本发明引入关键帧同步的概念，将舞蹈、武术和各类体育运动，依据动作或运动的特性划分多个关键帧，并手动指定动作或运动的关键帧，同时也可以采用传感器或二维、三维运动识别技术在录制视频时自动识别动作或运动的关键帧，用关键帧同步取代时间同步，实现两个或多个视频的关键帧同步播放。为舞蹈、武术和各类体育运动的教学和训练提供一个简洁、清晰和高效的多视频运动对比、分析和评价解决方案。
上述的关键帧根据用途的不同也可以称为运动关键帧或动作关键帧。
在基于关键帧同步的多视频对比***中，还包括数据抽取单元和存储单元，在播放同一个关键帧时，通过数据抽取单元将同一个关键帧的差异部分自动抽出，并存储在所述存储单元。该基于关键帧同步的多视频对比***，还可以包括差异播放单元，该差异播放单元将上述存储单元中存储的差异部分进行播放。该基于关键帧同步的多视频对比***可应用于视频教学领域。
通过存储单元将关键帧中的差异部分进行存储，方便在动作或运动对比中对单个要素进行抽取观看，节省反复重头播放的繁琐操作，在视频教学领域中，通过该***能够比较有针对性的对有差异部分进行重点纠正。
进一步，通过下述的实施例2，对本发明涉及的基于关键帧同步的多视频对比***进行更详细的说明。
实施例2
以下，以高尔夫挥杆动作的视频作为对比对象，对本发明的设计方案进行详细说明。
分别将知名高尔夫运动员的挥杆动作视频作为第一视频，高尔夫学员的挥杆动作视频作为第二视频，对本发明的实施方式进行说明。
首先，将高尔夫一个全挥杆动作划分为10个关键姿势，这10个姿势按顺序为：站位、引杆、上杆、顶点、下杆、释放、击球、送杆、前挥、收杆，并将这10个关键姿势作为关键帧。查看第一视频，并将视频中运动员的动作达到这10个关键姿势时，分别标记关键姿势所在的帧为关键帧。对第二视频作同样处理，完成关键帧的指定。
两个视频同时从站位所在关键帧开始播放，如果第一视频先播放到引杆姿势所在的关键帧，则第一视频暂停播放，等第二视频也播放到引杆姿势所在的关键帧时，第一视频继续播放。同样，如果第二视频先播放到引杆姿势所在的关键帧，则第二视频暂停播放，等第一视频也播放到引杆所在的关键帧时，第二视频继续播放。以相同的方式处理剩下的9个运动关键帧，直到两个视频都播放到收杆所在的运动关键帧，播放结束。
采用这个方案，即能清晰地看到连续的挥杆动作，又能使两个视频在关键姿势时同步，达到对比高尔夫挥杆动作，为挥杆动作的分析评价提供帮助的目的。
最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。
Claims (5)
1.一种基于关键帧同步的多视频对比***，其特征在于，包括：
具有两个以上接收端口的多端口设备，
接收来自所述多端口设备的视频数据进行显示的显示单元，
判断所述多端口设备的接收端口接收的数据内容的判断单元，
根据所述判断单元的判断结果进行控制的控制单元；
在所述多端口设备的第一端口上接收来自第一源的第一视频，在所述多端口设备的第二端口上接收来自第二源的第二视频，所述第一视频和所述第二视频包括内容相同或相近的一个以上的关键帧；
在所述判断单元中存有同一个所述关键帧的对应列表，所述判断单元判断到达所述第一端口和到达第二端口的内容是否为同一个所述关键帧，若是，则继续播放；若不是，则所述控制单元将所述关键帧先到达的视频做暂停处理，当另一端口的同一个所述关键帧到达时，进行同步播放。
2.根据权利要求1所述的基于关键帧同步的多视频对比***，其特征在于，所述关键帧为分解运动轨迹的运动关键帧，所述运动关键帧可以是在录制视频时手动指定也可以是通过传感元件自动识别。
3.根据权利要求1所述的基于关键帧同步的多视频对比***，其特征在于，还包括数据抽取单元和存储单元，在播放同一个所述关键帧时，通过所述数据抽取单元将同一个所述关键帧的差异部分自动抽出，并存储在所述存储单元。
4.根据权利要求3所述的基于关键帧同步的多视频对比***，其特征在于，还包括差异播放单元，所述差异播放单元将所述存储单元中存储的差异部分进行播放。
5.根据权利要求1至4中任一项所述的基于关键帧同步的多视频对比***，其特征在于，所述***被应用于视频教学领域。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201710327768.3A CN107071559A (zh) | 2017-05-11 | 2017-05-11 | 基于关键帧同步的多视频对比*** |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201710327768.3A CN107071559A (zh) | 2017-05-11 | 2017-05-11 | 基于关键帧同步的多视频对比*** |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN107071559A true CN107071559A (zh) | 2017-08-18 |
Family
ID=59596855
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201710327768.3A Pending CN107071559A (zh) | 2017-05-11 | 2017-05-11 | 基于关键帧同步的多视频对比*** |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN107071559A (zh) |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109801193A (zh) * | 2017-11-17 | 2019-05-24 | 深圳市鹰硕音频科技有限公司 | 一种具有语音评价功能的跟随教学*** |
| CN110134603A (zh) * | 2019-05-15 | 2019-08-16 | 东华大学 | 嵌入式***不同参数运行效果对比*** |
| CN111105406A (zh) * | 2019-12-24 | 2020-05-05 | 杭州当虹科技股份有限公司 | 一种公共电子屏视频流同一性检测的方法 |
| CN111898551A (zh) * | 2020-07-31 | 2020-11-06 | 北京融链科技有限公司 | 加氢视频中的动作分析方法及装置、电子设备 |
| CN113992957A (zh) * | 2020-09-30 | 2022-01-28 | 深度练习(杭州)智能科技有限公司 | 适用于智能终端的视频文件中动作同步***以及同步方法 |
Citations (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20070237225A1 (en) * | 2006-03-30 | 2007-10-11 | Eastman Kodak Company | Method for enabling preview of video files |
| CN201349264Y (zh) * | 2008-12-30 | 2009-11-18 | 深圳市同洲电子股份有限公司 | 一种运动图像处理装置和*** |
| CN101950495A (zh) * | 2010-10-19 | 2011-01-19 | 冠捷显示科技（厦门）有限公司 | 一种新型视频教育技术 |
| CN102761771A (zh) * | 2012-06-29 | 2012-10-31 | 无锡风格软件有限公司 | 一种基于图像客观质量评估进行视频劣播检测的方法及设备 |
| CN102771136A (zh) * | 2010-02-25 | 2012-11-07 | 晶像股份有限公司 | 视频帧同步 |
| CN202979175U (zh) * | 2012-06-29 | 2013-06-05 | 无锡风格软件有限公司 | 一种基于图像客观质量评估进行视频劣播检测的设备 |
| CN103167221A (zh) * | 2013-02-06 | 2013-06-19 | 上海风格信息技术股份有限公司 | 一种通过质量监管比对来保证播出安全的切换方法 |
| CN103686345A (zh) * | 2013-12-18 | 2014-03-26 | 北京航天测控技术有限公司 | 一种基于数字信号处理器的视频内容比对方法 |
| US20140376882A1 (en) * | 2013-06-20 | 2014-12-25 | Hon Hai Precision Industry Co., Ltd. | Computing device with video analyzing function and video analyzing method |
| CN104378675A (zh) * | 2014-12-08 | 2015-02-25 | 厦门雅迅网络股份有限公司 | 一种多通道音视频同步播放处理方法 |
| US20170127117A1 (en) * | 2015-04-14 | 2017-05-04 | International Business Machines Corporation | Synchronizing an augmented reality video stream with a displayed video stream |
-
2017
- 2017-05-11 CN CN201710327768.3A patent/CN107071559A/zh active Pending
Patent Citations (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20070237225A1 (en) * | 2006-03-30 | 2007-10-11 | Eastman Kodak Company | Method for enabling preview of video files |
| CN201349264Y (zh) * | 2008-12-30 | 2009-11-18 | 深圳市同洲电子股份有限公司 | 一种运动图像处理装置和*** |
| CN102771136A (zh) * | 2010-02-25 | 2012-11-07 | 晶像股份有限公司 | 视频帧同步 |
| CN101950495A (zh) * | 2010-10-19 | 2011-01-19 | 冠捷显示科技（厦门）有限公司 | 一种新型视频教育技术 |
| CN102761771A (zh) * | 2012-06-29 | 2012-10-31 | 无锡风格软件有限公司 | 一种基于图像客观质量评估进行视频劣播检测的方法及设备 |
| CN202979175U (zh) * | 2012-06-29 | 2013-06-05 | 无锡风格软件有限公司 | 一种基于图像客观质量评估进行视频劣播检测的设备 |
| CN103167221A (zh) * | 2013-02-06 | 2013-06-19 | 上海风格信息技术股份有限公司 | 一种通过质量监管比对来保证播出安全的切换方法 |
| US20140376882A1 (en) * | 2013-06-20 | 2014-12-25 | Hon Hai Precision Industry Co., Ltd. | Computing device with video analyzing function and video analyzing method |
| CN103686345A (zh) * | 2013-12-18 | 2014-03-26 | 北京航天测控技术有限公司 | 一种基于数字信号处理器的视频内容比对方法 |
| CN104378675A (zh) * | 2014-12-08 | 2015-02-25 | 厦门雅迅网络股份有限公司 | 一种多通道音视频同步播放处理方法 |
| US20170127117A1 (en) * | 2015-04-14 | 2017-05-04 | International Business Machines Corporation | Synchronizing an augmented reality video stream with a displayed video stream |
Non-Patent Citations (1)
| Title |
|---|
| 薛智宏 等: "基于Kinect的原地太极拳辅助训练***", 《河北科技大学学报》 * |
Cited By (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109801193A (zh) * | 2017-11-17 | 2019-05-24 | 深圳市鹰硕音频科技有限公司 | 一种具有语音评价功能的跟随教学*** |
| CN109801193B (zh) * | 2017-11-17 | 2020-09-15 | 深圳市鹰硕教育服务股份有限公司 | 一种具有语音评价功能的跟随教学*** |
| CN110134603A (zh) * | 2019-05-15 | 2019-08-16 | 东华大学 | 嵌入式***不同参数运行效果对比*** |
| CN110134603B (zh) * | 2019-05-15 | 2021-10-26 | 东华大学 | 嵌入式***不同参数运行效果对比*** |
| CN111105406A (zh) * | 2019-12-24 | 2020-05-05 | 杭州当虹科技股份有限公司 | 一种公共电子屏视频流同一性检测的方法 |
| CN111105406B (zh) * | 2019-12-24 | 2023-05-30 | 杭州当虹科技股份有限公司 | 一种公共电子屏视频流同一性检测的方法 |
| CN111898551A (zh) * | 2020-07-31 | 2020-11-06 | 北京融链科技有限公司 | 加氢视频中的动作分析方法及装置、电子设备 |
| CN113992957A (zh) * | 2020-09-30 | 2022-01-28 | 深度练习(杭州)智能科技有限公司 | 适用于智能终端的视频文件中动作同步***以及同步方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN107071559A (zh) | 基于关键帧同步的多视频对比*** | |
| CN104023208B (zh) | 一种自动监测与自主反应的装置及方法 | |
| US20160205317A1 (en) | Information processing device, recording medium, and information processing method | |
| CN107077659A (zh) | 一种智能库存管理***、服务器、方法、终端和程序产品 | |
| CN201349264Y (zh) | 一种运动图像处理装置和*** | |
| CN103197911A (zh) | 一种提供语音输入的方法、***和装置 | |
| CN104094595B (zh) | 在立体视觉***中供处理影像的方法及其装置 | |
| WO2017197882A1 (zh) | 一种视频播放方法及装置 | |
| WO2022068479A1 (zh) | 图像处理方法、装置、电子设备及计算机可读存储介质 | |
| EP1729259A3 (en) | Image processing apparatus, image processing method, and image processing program | |
| CN105898341A (zh) | 一种实现双人同时视频直播的方法及移动客户端 | |
| CN106033255B (zh) | 一种信息处理方法及电子设备 | |
| CN109416562A (zh) | 装置和相关联的方法 | |
| CN104115487A (zh) | 图像处理装置、图像处理方法和程序 | |
| CN110771175A (zh) | 视频播放速度的控制方法、装置及运动相机 | |
| CN109333544A (zh) | 一种观众参与的提线木偶表演的人偶交互方法 | |
| CN103186227A (zh) | 人机互动***和方法 | |
| CN103795910B (zh) | 一种采集图像的方法及装置 | |
| CN109955248A (zh) | 一种机器人及其人脸跟随方法 | |
| CN109348121A (zh) | 一种图像采集方法及装置 | |
| CN111428672A (zh) | 交互对象的驱动方法、装置、设备以及存储介质 | |
| CN103986845B (zh) | 信息处理方法和信息处理设备 | |
| CN107770598A (zh) | 一种同步播放的检测方法、移动终端 | |
| CN103487147A (zh) | 利用电子设备挑选水果的***及方法 | |
| JP2013236659A (ja) | 解析システムおよびその解析方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| WD01 | Invention patent application deemed withdrawn after publication |
Application publication date: 20170818 |
|
| WD01 | Invention patent application deemed withdrawn after publication |