JP2017017387A - 映像処理装置および映像処理方法 - Google Patents
映像処理装置および映像処理方法 Download PDFInfo
- Publication number
- JP2017017387A JP2017017387A JP2015129025A JP2015129025A JP2017017387A JP 2017017387 A JP2017017387 A JP 2017017387A JP 2015129025 A JP2015129025 A JP 2015129025A JP 2015129025 A JP2015129025 A JP 2015129025A JP 2017017387 A JP2017017387 A JP 2017017387A
- Authority
- JP
- Japan
- Prior art keywords
- material data
- sound
- specific sound
- recorded material
- specific
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Television Signal Processing For Recording (AREA)
Abstract
【課題】複数の収録素材データの表示を適切に切替える。
【解決手段】映像処理装置10は、相互に同期した音響および動画を含む複数の収録素材データDにおける当該音響の解析で特定音を検出する特定音検出部44と、特定音検出部44が特定音を検出した場合に複数の収録素材データDのうち一の収録素材データDから他の収録素材データDに表示を切替させる素材切替部46とを具備する。
【選択図】図1
【解決手段】映像処理装置10は、相互に同期した音響および動画を含む複数の収録素材データDにおける当該音響の解析で特定音を検出する特定音検出部44と、特定音検出部44が特定音を検出した場合に複数の収録素材データDのうち一の収録素材データDから他の収録素材データDに表示を切替させる素材切替部46とを具備する。
【選択図】図1
Description
本発明は、音響および動画を処理する技術に関する。
音響と動画とを含む素材を表示する各種の技術が従来から提案されている。例えば特許文献1には、相異なる位置で収録された複数の画像を被写体の動き情報に応じて順次に切替えることでマルチアングル映像を再生する技術が開示されている。
しかし、特許文献1の技術では、被写体の動き情報に応じて画像の切替が制御されるから、例えば被写体が静止した場面等の画像内容の変化が少ない場合には画像を適切に切替えることは困難である。以上の事情を考慮して、本発明は、複数の収録素材データの表示を適切に切替えることを目的とする。
以上の課題を解決するために、本発明の好適な態様に係る映像処理装置は、相互に同期した音響および動画を含む複数の収録素材データにおける当該音響の解析で特定音を検出する特定音検出部と、特定音検出部が特定音を検出した場合に複数の収録素材データのうち一の収録素材データから他の収録素材データに表示を切替させる素材切替部とを具備する。以上の構成では、収録素材データの音響から特定音が検出された場合に収録素材データの表示を切替させるから、被写体が実質的に静止した場面等の画像内容の変化が少ない場面でも複数の収録素材データの表示を適切に切替えることが可能である。
本発明の好適な態様において、特定音検出部は、特定の音源の音響を特定音として検出する。以上の態様では、特定の音源の音響(例えば特定の種類の楽器の演奏音)が検出された場合に収録素材データの表示を切替させるから、特定の音源の音響の有無に連動した収録素材データの切替が可能である。
本発明の好適な態様において、特定音検出部は、特定の語句の発話音を特定音として検出する。以上の態様では、特定の語句の発話音が検出された場合に収録素材データの表示を切替させるから、特定の語句の発話に連動した収録素材データの切替が可能である。
本発明の好適な態様において、素材切替部は、特定音検出部が特定音を検出した場合に、当該特定音の音量が最大である収録素材データに表示を切替させる。以上の態様では、特定音の音量が最大である収録素材データに表示を切替させるから、例えば特定音の音源の様子を重点的に収録した収録素材データを優先的に表示させることが可能である。
本発明の好適な態様において、素材切替部は、特定音検出部が特定音を検出した場合に、複数の収録素材データのうち特定の被写体を含む動画の収録素材データに表示を切替させる。以上の態様では、特定の被写体を含む動画の収録素材データに表示を切替させるから、特定の被写体を含む収録素材データを優先的に表示させることが可能である。例えば、特定音の音源を被写体として含む動画の収録素材データに表示を切替させる構成が好適である。
本発明の好適な態様に係る映像処理方法は、コンピュータが、相互に同期した音響および動画を含む複数の収録素材データにおける当該音響の解析で特定音を検出し、特定音を検出した場合に複数の収録素材データのうち一の収録素材データから他の収録素材データに表示を切替させる。以上の映像処理方法によれば、本発明に係る映像処理装置と同様の効果が実現される。
<第1実施形態>
図1は、第1実施形態の映像処理装置10の構成図である。映像処理装置10は、音響(例えば音声や楽音)および動画を処理するためのコンピュータシステムであり、図1に例示される通り、制御装置22と記憶装置24と通信装置26と表示装置32と放音装置34とを具備する。例えば携帯電話機やスマートフォン、タブレット端末、パーソナルコンピュータ等の可搬型の情報処理装置で映像処理装置10は好適に実現され得るが、据置型の情報処理装置で映像処理装置10を実現することも可能である。
図1は、第1実施形態の映像処理装置10の構成図である。映像処理装置10は、音響(例えば音声や楽音)および動画を処理するためのコンピュータシステムであり、図1に例示される通り、制御装置22と記憶装置24と通信装置26と表示装置32と放音装置34とを具備する。例えば携帯電話機やスマートフォン、タブレット端末、パーソナルコンピュータ等の可搬型の情報処理装置で映像処理装置10は好適に実現され得るが、据置型の情報処理装置で映像処理装置10を実現することも可能である。
制御装置22は、映像処理装置10の各要素を統括的に制御する演算処理装置(例えばCPU)である。通信装置26は、複数の収録装置12と通信する。各収録装置12は、音響を収音する収音装置と動画を撮像する撮像装置とを具備する映像機器であり、収音装置が収音した音響と撮像装置が撮像した動画とを表すデータ(以下「収録素材データ」という)Dを生成する。音響および動画の収録に専用されるデジタルカムコーダ等の映像機器のほか、収録機能を搭載した携帯電話機やスマートフォン等の情報端末が収録装置12として利用され得る。第1実施形態の通信装置26は、複数の収録装置12から収録素材データDを受信する。具体的には、通信装置26は、例えばWi-Fi(登録商標)やBluetooth(登録商標)等の公知の近距離無線通信により各収録装置12から収録素材データDを受信する。ただし、通信装置26と各収録装置12との通信方式は任意であり、例えば通信装置26が有線で各収録装置12と通信することも可能である。
記憶装置24は、例えば磁気記録媒体や半導体記録媒体等の公知の記録媒体で構成され、制御装置22が実行するプログラムや制御装置22が使用する各種のデータを記憶する。なお、映像処理装置10が通信可能なサーバに記憶装置24(すなわちクラウドストレージ)を設置することも可能である。すなわち、映像処理装置10から記憶装置24は省略され得る。
第1実施形態の記憶装置24は、通信装置26が複数の収録装置12から受信した複数の収録素材データDを記憶する。図2には、通信装置26が各収録装置12から受信した複数の収録素材データDが例示されている。図2に例示される通り、任意の1個の収録素材データDは、相互に並列に収録された音響および動画を包含する。なお、以下の説明では2個の収録素材データD(D1,D2)に便宜的に着目するが、映像処理装置10の処理対象となる収録素材データDの総数は任意である。
図1に例示された複数の収録装置12の各々は、例えば相異なる位置で共通の収録対象(被写体)の音響および動画を並列に収録する。例えば、複数の収録装置12は、音響ホール等の共通の音響空間の相異なる地点に配置されて各々が別個の角度から例えば舞台や観客の様子を収録して収録素材データDを生成する。図2に例示される通り、音響や動画の収録の開始点は複数の収録素材データDの間で相違し得る。また、複数の収録素材データDは、相互に共通の音響(ただし音量等の音響特性は相違し得る)を含有する。
図1の表示装置32は、制御装置22から指示された画像を表示する出力機器(例えば液晶表示パネル)である。放音装置34(例えばスピーカーやヘッドホン)は、制御装置22から指示された音響を放音する。具体的には、収録素材データDの動画を表示装置32が表示するとともに当該収録素材データDの音響を放音装置34が放音する。すなわち、表示装置32および放音装置34は、収録素材データDを再生する再生機器として機能する。
制御装置22は、記憶装置24に記憶されたプログラムを実行することで、複数の収録素材データDを処理するための複数の機能(同期処理部42,特定音検出部44,素材切替部46)を実現する。なお、制御装置22の一部の機能を音響処理または画像処理の専用の電子回路で実現した構成や、制御装置22の機能を複数の装置に分散した構成も採用され得る。
同期処理部42は、複数の収録素材データDを相互に同期させる。複数の収録素材データDの同期とは、各収録素材データDの音響および動画の時間軸が複数の収録素材データDにわたり相互に合致する状態を意味する。すなわち、同期処理部42は、図3に例示される通り、各収録素材データDにおける特定の時刻が複数の収録素材データDにわたり時間軸上の共通の時点となるように各収録素材データDの時間軸上の位置を調整する。複数の収録素材データDの同期には公知の技術が任意に採用され得るが、例えば図3の例示からも理解される通り、各収録素材データDの音響を解析することで複数の収録素材データDを相互に同期させる構成が好適である。すなわち、各収録素材データDの音響の時間変動が複数の収録素材データDにわたり時間軸上で整合するように各収録素材データDの時間軸上の位置が調整される。
図1の特定音検出部44は、同期処理部42が同期させた複数の収録素材データDにおける音響の解析で特定の音響(以下「特定音」という)を検出する。例えば、複数の収録素材データDにわたり音響を総合的に解析することで特定音を検出する構成や、事前に選択された1個の収録素材データD(例えば収録装置12の位置等の事情から特定音を包含することが想定される収録素材データD)から特定音を検出する構成が好適である。
第1実施形態の特定音検出部44は、収録素材データDの音響を解析することで特定の音源(以下「目標音源」という)の音響を特定音として検出する。例えば、音響ホール内で複数の楽器が演奏される演奏会を複数の収録装置12が収録した場合を想定すると、特定音検出部44は、特定の種類の楽器を目標音源として特定音(すなわち当該楽器の演奏音)を検出する。
目標音源の音響の検出には公知の技術が任意に採用され得る。例えば、目標音源の音響の傾向を表すSVM(Support Vector Machine)等の認識モデルに、収録素材データDの音響から抽出されるMFCC(Mel-Frequency Cepstrum Coefficients)等の特徴量を適用することで、目標音源の音響を検出することが可能である。また、収録素材データDの音響の周波数スペクトルの時系列(スペクトログラム)を表す観測行列を、検出対象の音響の特徴を表す既知の基底行列と各基底の時間変動を表す係数行列とに分解する非負値行列因子分解(NMF: Nonnegative Matrix Factorization)により、目標音源の音響を検出することも可能である。
素材切替部46は、複数の収録素材データDの各々を順次に切替えて表示装置32に表示させる。図4は、素材切替部46が表示装置32に表示させる画像(以下「再生画面」という)50の模式図である。図4に例示される通り、第1実施形態の再生画面50は、表示領域A1と表示領域A2とを包含する。表示領域A1は、相異なる収録素材データDの動画が表示される複数の単位領域Uに区分される。すなわち、複数の収録素材データDの動画が表示領域A1に並列に表示される。
他方、複数の収録素材データDから選択された1個の収録素材データDが表示領域A2に表示される。表示領域A2は、表示領域A1の1個の単位領域Uと比較して大面積である。すなわち、表示領域A1に表示された複数の収録素材データDの何れかが表示領域A2に優先的に表示される。第1実施形態の素材切替部46は、表示領域A2に表示される収録素材データDを順次に切替える。したがって、視聴者は、表示領域A1を視認することで複数の収録素材データDの全体にわたる内容を確認しながら、表示領域A2を視認することで特定の1個の収録素材データDに注目することが可能である。
第1実施形態の素材切替部46は、特定音検出部44が特定音を検出した場合に、表示領域A2に表示される収録素材データDを切替える。すなわち、表示領域A2の表示対象となる収録素材データDが特定音を契機として順次に変更される。具体的には、素材切替部46は、特定音検出部44が検出した特定音に対応する時点で収録素材データDの表示を切替える。例えば、素材切替部46は、収録素材データDの切替を指示する切替信号を表示装置32に出力することで、表示領域A2に表示される収録素材データDを切替える。図5は、第1実施形態の素材切替部46の動作の説明図である。図5には、各収録素材データDから検出される特定音と、複数の収録素材データD(D1,D2)の各々において表示領域A2に表示される区間(選択対象)との時間的な関係が例示されている。
図5から理解される通り、素材切替部46は、特定音の検出が開始された時点TSで表示対象の収録素材データDを切替える。具体的には、第1実施形態の素材切替部46は、複数の収録素材データDのうち特定音の音量が最大である1個の収録素材データDに表示を切替える。図5では、目標音源を重点的に収録した収録素材データD2に、収録素材データD1と比較して大きい音量で特定音が含有されている状況が想定されている。以上の状況では、表示領域A2に表示される収録素材データD1が、特定音の検出を契機として収録素材データD2に変更される。
また、素材切替部46は、特定音検出部44が特定音を検出しなくなる時点TEにおいて、表示領域A2による表示対象を収録素材データD2から収録素材データD1に変更する。すなわち、収録素材データDの音響に特定音が有意に含有される区間では収録素材データD2の動画が表示領域A2に表示され、特定音が検出されない区間では収録素材データD1の動画が表示領域A2に表示される。以上の説明から理解される通り、表示領域A1に表示された複数の収録素材データDのうち目標音源を重点的に収録した収録素材データDの動画が優先的に表示領域A2に表示される。なお、以上の説明では、収録素材データD1から収録素材データD2への切替と収録素材データD2から収録素材データD1への切替との双方を例示したが、片方向の切替(例えば収録素材データD1から収録素材データD2への切替)のみを許容することも可能である。
さらに、素材切替部46は、複数の収録素材データDのうち特定の1個の収録素材データDの音響を表示装置32による画像表示に並行して放音装置34に放音させる。例えば、音響ホール内の広範にわたる音響を収録可能な位置に設置された所定の収録装置12が収録した1個の収録素材データDの音響が放音装置34から放音される。なお、複数の収録素材データDの音響を適宜に調整(例えばミキシングやマスタリング)したうえで放音装置34に放音させることも可能である。収録素材データDの調整には公知の自動調整技術(オートミキシング)が任意に採用され得る。
以上に説明した通り、第1実施形態では、収録素材データDの音響から特定音が検出された場合に収録素材データDの表示を切替えるから、収録素材データDの動画に画像内容の変化が少ない場合でも複数の収録素材データDを適切に切替えることが可能である。
第1実施形態では、目標音源の音響が検出された場合に収録素材データDの表示を切替えるから、目標音源の音響の有無に連動した収録素材データDの表示切替が可能である。また、第1実施形態では、特定音の音量が最大である収録素材データDに表示を切替えるから、特定音の音源(目標音源)の様子を重点的に収録した収録素材データDを優先的に表示領域A2に表示させることが可能である。
<第2実施形態>
本発明の第2実施形態について説明する。なお、以下に例示する各形態において作用や機能が第1実施形態と同様である要素については、第1実施形態の説明で使用した符号を流用して各々の詳細な説明を適宜に省略する。
本発明の第2実施形態について説明する。なお、以下に例示する各形態において作用や機能が第1実施形態と同様である要素については、第1実施形態の説明で使用した符号を流用して各々の詳細な説明を適宜に省略する。
第1実施形態の特定音検出部44は、目標音源の音響を特定音として検出した。第2実施形態の特定音検出部44は、複数の収録素材データDにおける音響を解析することで、特定の語句(以下「目標語句」という)の発話音を特定音として検出する。具体的には、特定音検出部44は、収録素材データDの音響に対する音声認識で発話内容を解析し、事前に選定された目標語句の文字列と解析結果の発話内容とを照合することで目標語句の発話音を特定音として検出する。収録素材データDの音響に対する音声認識には、公知の技術が任意に採用され得る。例えば特開2014−235263号公報に開示された音声認識が好適に利用される。
図6は、第2実施形態における素材切替部46の動作の説明図である。図6に例示される通り、素材切替部46は、特定音検出部44が目標語句の発話音(特定音)を検出した場合に、表示領域A2に表示される収録素材データDを切替える。具体的には、素材切替部46は、第1実施形態と同様に、複数の収録素材データDのうち特定音の音量が最大である1個の収録素材データDに表示を切替える。すなわち、複数の収録素材データDのうち目標語句の発話者を重点的に収録した収録素材データDの動画が優先的に表示領域A2に表示される。なお、収録素材データDの音響を放音装置34に放音させる動作は第1実施形態と同様である。
図6では、表示領域A2に表示される収録素材データDが、特定音の検出を契機として収録素材データD1から収録素材データD2に変更される場合が例示されている。素材切替部46は、特定音が検出された時点TSから所定の時間(例えば数秒)Pが経過した時点TEにおいて、表示領域A2での表示対象を収録素材データD2から収録素材データD1に変更する。例えば、複数の遊技者が麻雀を実施している場面を複数の収録装置12が収録する状況を想定し、例えば「ロン」という目標語句の発話音を特定音として検出する場合を想定する。表示領域A2に表示される収録素材データDは、遊技の全体的な様子を収録した収録素材データD1から、遊技者の「ロン」という特定音の発話を契機として、当該遊技者の表情や手牌を重点的に収録した収録素材データD2に変更される。
第2実施形態においても第1実施形態と同様の効果が実現される。また、第2実施形態では、目標語句の発話音が検出された場合に収録素材データDの表示を切替えるから、目標語句の発話に連動した収録素材データDの切替が実現される。
なお、以上の説明では、目標語句の発話音の検出の時点TSから所定の時間Pにわたり収録素材データD2を表示領域A2に表示したが、第1実施形態と同様に、特定音が存在する可変長の区間内で収録素材データD2を表示領域A2に表示することも可能である。また、目標音源の音響を特定音として検出する第1実施形態において、第2実施形態と同様に、当該特定音の検出の時点TSから所定の時間Pにわたり収録素材データD2を表示領域A2に表示する構成も採用され得る。
<第3実施形態>
第1実施形態では、特定音検出部44が特定音を検出した場合に、当該特定音の音量が最大である収録素材データDに表示を切替えた。第3実施形態の素材切替部46は、特定音検出部44が特定音を検出した場合に、複数の収録素材データDのうち特定の被写体を含む動画の収録素材データDに表示を切替える。なお、以下の説明では、第1実施形態と同様に、特定音検出部44が目標音源の音響(例えば特定の種類の楽器の演奏音)を検出する場合を想定する。
第1実施形態では、特定音検出部44が特定音を検出した場合に、当該特定音の音量が最大である収録素材データDに表示を切替えた。第3実施形態の素材切替部46は、特定音検出部44が特定音を検出した場合に、複数の収録素材データDのうち特定の被写体を含む動画の収録素材データDに表示を切替える。なお、以下の説明では、第1実施形態と同様に、特定音検出部44が目標音源の音響(例えば特定の種類の楽器の演奏音)を検出する場合を想定する。
具体的には、素材切替部46は、複数の収録素材データDのうち特定音の音源(すなわち目標音源)を被写体として包含する動画の収録素材データDに表示を切替える。収録素材データDの動画における目標音源の有無の判別には公知の画像認識が任意に採用され得る。例えば、目標音源(特定の楽器)の画像の統計的な傾向を表象する認識モデルを機械学習により生成し、各収録素材データDの動画を当該認識モデルに適用する画像認識により目標音源の有無が収録素材データD毎に解析され得る。すなわち、特定音を発音する目標音源を重点的に収録した収録素材データDの動画が優先的に表示領域A2に表示される。
第3実施形態においても第1実施形態と同様の効果が実現される。また、第3実施形態では、特定の被写体を含む動画の収録素材データDに表示を切替えるから、特定の被写体(例えば特定音の音源)を収録した収録素材データDを優先的に表示させることが可能である。
なお、以上の説明では第1実施形態の構成を基礎としたが、特定の被写体を含む動画の収録素材データDを優先的に表示させる第3実施形態の構成は、第2実施形態にも同様に適用される。例えば、目標語句の発声者を含む動画の収録素材データDに表示を切替えることが可能である。目標語句の発声者の認識には公知の技術(話者識別技術や顔認識技術)が任意に採用され得る。以上の構成によれば、例えば特定の発話者(例えば子供)を被写体として含む区間を複数の収録素材データDから抽出して相互に連結した動画を表示装置32に表示させることが可能である。
<変形例>
以上に例示した各態様は多様に変形され得る。具体的な変形の態様を以下に例示する。以下の例示から任意に選択された2個以上の態様は、相互に矛盾しない範囲で適宜に併合され得る。
以上に例示した各態様は多様に変形され得る。具体的な変形の態様を以下に例示する。以下の例示から任意に選択された2個以上の態様は、相互に矛盾しない範囲で適宜に併合され得る。
(1)前述の各形態では、表示装置32の表示領域A2に動画が表示される収録素材データDを順次に切替えたが、収録素材データDの表示を切替えるための制御データCを素材切替部46が生成することも可能である。図7は、制御データCの模式図である。図7に例示される通り、制御データCは、収録素材データDの表示を切替える切替点の時刻(TS1,TS2,……)と、当該切替点での切替先の収録素材データDとを、時間軸上の複数の切替点の各々について指定する時系列データである。素材切替部46は、特定音検出部44が検出した特定音に対応する時点(例えば特定音の始点や終点)を切替点として、切替先の収録素材データD(例えば特定音の音量が最大である収録素材データDや特定の被写体を含む動画の収録素材データD)を指定する制御データCを生成する。複数の収録素材データDを再生する場面では、制御データCが指定する各切替点において収録素材データDの切替が実行される。
また、特定音検出部44が検出した特定音に対応した時点で動画が切替わる1個の動画ファイルを、複数の収録素材データDから抽出した各区間を時間軸上で相互に連結することで素材切替部46が生成(すなわち動画編集)することも可能である。素材切替部46が生成した動画ファイル(マルチアングル映像)は、例えば映像処理装置10のファイル出力部から、半導体メモリまたは光ディスク等の記録媒体や外部の情報端末に出力され得る。
以上の説明から理解される通り、素材切替部46は、特定音が検出された場合に収録素材データDの表示を切替させる要素として包括的に表現され、表示装置32による表示対象の収録素材データDを画像表示に並行して実時間的に切替える要素(第1実施形態から第3実施形態)のほか、収録素材データDの表示の切替を制御する制御データCを生成する要素や、特定音に対応する時点で表示が切替わる収録素材データDを複数の収録素材データDの編集により生成する要素も包含する。
(2)第1実施形態では目標音源の音響を特定音として例示し、第2実施形態では目標語句の発話音を特定音として例示したが、特定音は以上の例示に限定されない。例えば、音響的な特徴量(例えば音量や音高)が所定の条件を充足する音響を特定音として特定音検出部44が検出することも可能である。例えば、音量が所定の閾値を上回る音響を特定音として検出する構成や、音高が所定の閾値を上回る音響を特定音として検出する構成が採用され得る。以上の例示から理解される通り、特定音は、収録素材データDの切替の契機として検出可能な音響として包括的に表現される。
(3)前述の各形態では、映像処理装置10に接続された収録装置12から複数の収録素材データDを取得したが、複数の収録素材データDを取得するための構成は以上の例示に限定されない。例えば、光ディスク等の可搬型の記録媒体から複数の収録素材データDを取得する構成や、インターネット等の通信網を介して複数の収録素材データDを取得する構成も採用され得る。また、前述の各形態では、同期処理部42が複数の収録素材データDを相互に同期させる構成を例示したが、相互に同期する複数の収録素材データDを映像処理装置10が取得する構成も採用され得る。すなわち、複数の収録素材データDを相互に同期させるための構成(同期処理部42)は映像処理装置10から省略され得る。
(4)収録装置12の収音装置と撮像装置とを別体として相互に離間させることも可能である。例えば、演奏会や講演会等のイベントを想定すると、演奏者や講演者等の発音源の近傍に収音装置を設置することで明瞭な音響を収録する一方、舞台から離間した位置に撮像装置を設置することでイベントの全体的な様子を広角で撮像することが可能である。
(5)前述の各形態で例示した映像処理装置10は、前述の通り制御装置22とプログラムとの協働で実現される。各形態のプログラムは、コンピュータが読取可能な記録媒体に格納された形態で提供されてコンピュータにインストールされ得る。記録媒体は、例えば非一過性(non-transitory)の記録媒体であり、CD-ROM等の光学式記録媒体(光ディスク)が好例であるが、半導体記録媒体や磁気記録媒体等の公知の任意の形式の記録媒体を包含し得る。また、以上に例示したプログラムは、通信網を介した配信の形態で提供されてコンピュータにインストールされ得る。
(6)本発明は、前述の各形態に係る映像処理装置10の動作方法(映像処理方法)としても本発明は特定される。具体的には、本発明の好適な態様に係る映像処理方法は、コンピュータ(相互の別体の複数の装置で構成されたコンピュータシステムを含む)が、相互に同期した音響および動画を含む複数の収録素材データDにおける当該音響の解析で特定音を検出し、特定音を検出した場合に複数の収録素材データDのうち一の収録素材データDから他の収録素材データDに表示を切替させる。
10……映像処理装置、12……収録装置、22……制御装置、24……記憶装置、26……通信装置、32……表示装置、34……放音装置、42……同期処理部、44……特定音検出部、46……素材切替部、50……再生画面。
Claims (6)
- 相互に同期した音響および動画を含む複数の収録素材データにおける当該音響の解析で特定音を検出する特定音検出部と、
前記特定音検出部が前記特定音を検出した場合に前記複数の収録素材データのうち一の収録素材データから他の収録素材データに表示を切替させる素材切替部と
を具備する映像処理装置。 - 前記特定音検出部は、特定の音源の音響を前記特定音として検出する
請求項1の映像処理装置。 - 前記特定音検出部は、特定の語句の発話音を前記特定音として検出する
請求項1の映像処理装置。 - 前記素材切替部は、前記特定音検出部が前記特定音を検出した場合に、当該特定音の音量が最大である収録素材データに表示を切替させる
請求項1から請求項3の何れかの映像処理装置。 - 前記素材切替部は、前記特定音検出部が前記特定音を検出した場合に、前記複数の収録素材データのうち特定の被写体を含む動画の収録素材データに表示を切替させる
請求項1から請求項3の何れかの映像処理装置。 - コンピュータが、
相互に同期した音響および動画を含む複数の収録素材データにおける当該音響の解析で特定音を検出し、
前記特定音を検出した場合に前記複数の収録素材データのうち一の収録素材データから他の収録素材データに表示を切替させる
映像処理方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2015129025A JP2017017387A (ja) | 2015-06-26 | 2015-06-26 | 映像処理装置および映像処理方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2015129025A JP2017017387A (ja) | 2015-06-26 | 2015-06-26 | 映像処理装置および映像処理方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2017017387A true JP2017017387A (ja) | 2017-01-19 |
Family
ID=57831400
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2015129025A Pending JP2017017387A (ja) | 2015-06-26 | 2015-06-26 | 映像処理装置および映像処理方法 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2017017387A (ja) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2020170980A (ja) * | 2019-04-05 | 2020-10-15 | 富士通株式会社 | 映像情報出力装置、映像情報出力システム、映像情報出力プログラム及び映像情報出力方法 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH0983997A (ja) * | 1995-09-12 | 1997-03-28 | Osaka Gas Co Ltd | 操作装置 |
JP2004336231A (ja) * | 2003-05-02 | 2004-11-25 | Marubun Corp | 撮影装置 |
JP2004363716A (ja) * | 2003-06-02 | 2004-12-24 | Totsu-Engineering Inc | 議事状況出力システム |
-
2015
- 2015-06-26 JP JP2015129025A patent/JP2017017387A/ja active Pending
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH0983997A (ja) * | 1995-09-12 | 1997-03-28 | Osaka Gas Co Ltd | 操作装置 |
JP2004336231A (ja) * | 2003-05-02 | 2004-11-25 | Marubun Corp | 撮影装置 |
JP2004363716A (ja) * | 2003-06-02 | 2004-12-24 | Totsu-Engineering Inc | 議事状況出力システム |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2020170980A (ja) * | 2019-04-05 | 2020-10-15 | 富士通株式会社 | 映像情報出力装置、映像情報出力システム、映像情報出力プログラム及び映像情報出力方法 |
JP7191760B2 (ja) | 2019-04-05 | 2022-12-19 | 富士通株式会社 | 映像情報出力装置、映像情報出力システム、映像情報出力プログラム及び映像情報出力方法 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US9691429B2 (en) | Systems and methods for creating music videos synchronized with an audio track | |
US8917972B2 (en) | Modifying audio in an interactive video using RFID tags | |
US7236226B2 (en) | Method for generating a slide show with audio analysis | |
EP2376207B1 (en) | Method and system for generating data for controlling a system for rendering at least one signal | |
JP4331217B2 (ja) | 映像再生装置および方法 | |
US10734029B2 (en) | Signal processing apparatus, signal processing method, and non-transitory computer-readable storage medium | |
WO2014188231A1 (en) | A shared audio scene apparatus | |
JP6776788B2 (ja) | 演奏制御方法、演奏制御装置およびプログラム | |
US9558784B1 (en) | Intelligent video navigation techniques | |
US11871084B2 (en) | Systems and methods for displaying subjects of a video portion of content | |
US20150146874A1 (en) | Signal processing for audio scene rendering | |
US9564177B1 (en) | Intelligent video navigation techniques | |
US9990911B1 (en) | Method for creating preview track and apparatus using the same | |
US8712211B2 (en) | Image reproduction system and image reproduction processing program | |
WO2013008869A1 (ja) | 電子機器及びデータ生成方法 | |
JP2017017387A (ja) | 映像処理装置および映像処理方法 | |
JP2013131871A (ja) | 編集装置、遠隔制御装置、テレビジョン受像機、特定音声信号、編集システム、編集方法、プログラム、および、記録媒体 | |
WO2014203870A1 (ja) | 演奏システム、演奏方法及び演奏プログラム | |
WO2017026387A1 (ja) | 映像処理装置、映像処理方法および記録媒体 | |
JP7451999B2 (ja) | 録画装置、動画システム、録画方法、及びプログラム | |
JP6110731B2 (ja) | ジェスチャーによるコマンド入力識別システム | |
US20200204856A1 (en) | Systems and methods for displaying subjects of an audio portion of content | |
JP7102826B2 (ja) | 情報処理方法および情報処理装置 | |
JP5687961B2 (ja) | 同期再生装置及び同期再生方法 | |
JP2012137560A (ja) | カラオケ装置、カラオケ装置の制御方法及び制御プログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20180419 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20181210 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20190108 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20190730 |