WO2018207253A1

WO2018207253A1 - 映像記録再生装置、映像伝送装置、及び映像伝送方法

Info

Publication number: WO2018207253A1
Application number: PCT/JP2017/017525
Authority: WO
Inventors: 浜田　宏一; 甲　展明
Original assignee: マクセル株式会社
Priority date: 2017-05-09
Filing date: 2017-05-09
Publication date: 2018-11-15

Abstract

表示フレームレートが不規則に変化するフレームレートの映像を記録、伝送し、固定フレームレートの映像表示装置で再生する際に、映像の動きの滑らかさを考慮した映像表示を実現することを目的とする。　そのために、映像フレームレートが変動する映像信号を受信して映像フレームを等間隔の固定フレームレートに変換した後に記録する映像記録再生装置であって、映像受信部で受信した映像を映像記録部で記録する映像に変換する映像変換部を備え、映像変換部は、受信する映像フレームのうち、記録で用いる等間隔のタイミングと合わないタイミングで受信した第１のフレームについては、第１のフレームと第１のフレームよりも前に受信した第２のフレームを用いた時間方向補間処理により映像記録部が記録で用いる等間隔のタイミングのフレームである第３のフレームを生成し、映像記録部へ出力するように構成する。

Description

映像記録再生装置、映像伝送装置、及び映像伝送方法

　本発明は、映像信号を記録もしくは再生する映像記録再生装置、映像信号を伝送する映像伝送装置、及び映像伝送方法に関する。

　従来、映像描画装置の描画時間に合わせて、映像描画装置から出力される映像フレームのフレームレートを変化させる可変フレームレート技術が知られている。この可変フレームレート技術により作成された映像を表示するには、可変フレームレート技術に対応した伝送路と、可変フレームレート技術に対応した表示装置が必要であり、これらに対応していない伝送路もしくは表示装置を用いると、映像描画装置が意図した映像フレームの表示ができない。

　可変フレームレート技術としては、例えば、映像表示装置において、画像の描画処理時間とフレームレートから算出した１画面の出力時間とに基づいて表示のタイミングであるフレームレートを修正したり、映像表示装置のフレームレートのタイミングで映像出力装置から映像信号が得られない場合は前フレームを繰り返し表示するなどの技術が知られている。

　しかし、上記のようなフレームレート変換技術では、映像出力装置のフレームレート変動に合わせて映像表示装置のフレームレートを変更しているため、特に映像表示装置のフレームレートが固定である場合の映像表示の滑らかさに関して考慮していない。すなわち、固定フレームレートで表示を行う映像表示装置に対して、映像出力装置からフレームレートが変動する映像を入力すると、映像信号出力装置と映像表示装置のタイミングが合わないため、映像自体が表示されなかったり、時間的にずれた映像を表示することになるため、動きのある映像に対しては、本来動き続けて表示されるべき映像が動いたり止まったりして見える、いわゆるモーションジャダーと呼ばれる画質劣化が生じる場合がある。

　これらの技術に関する背景技術として、特許文献１がある。特許文献１では、映像表示装置が受信した複数の映像フレームから被写体の動きを追跡することで、動きベクトルを探索し、その動きベクトルに応じて、映像フレームに含まれる被写体の位置を移動させた新たな映像フレームを生成する動き補正型のフレーム補間技術が開示されている。この動き補正型フレーム補間技術は、上記モーションジャダーによる画質劣化の抑圧に有効であり、画質劣化の少ない高画質な表示が可能である。

特開平１１－１１２９３９号公報

　しかし、特許文献１に記載されているフレームレート変換技術は、一般的に、固定フレームレートから固定フレームレートへの変換を想定している。すなわち、フレームレート２４Ｈｚの映像入力を６０Ｈｚのフレームレートで表示したり、フレームレート５０Ｈｚの映像入力を６０Ｈｚに変換して出力したりするときに用いられることを想定しており、基本的に可変フレームレートの映像が入力されることを想定していない。

　また、映像信号を記録もしくは伝送しようとした場合、そのデータ容量を小さくするため、映像符号化によりデータ量を圧縮する場合がある。広く活用されている映像符号化規格としてＭＰＥＧ２やＨ．２６４が挙げられるが、これらの規格では、映像表示タイミングを制御する仕組みが規格として備わっており、フレームレートが変動する映像出力装置の映像を符号化した場合であっても、その変動に合わせた表示タイミングを指定することができる。例えば、符号化データの伝送規格としてＭＰＥＧ２－ＴＳを用いる場合、映像表示タイミングを指定するＰＴＳ(Presentation Time Stamp)を用いれば、９０ＫＨｚの時間分解能で表示タイミングを指定可能である。しかしながら、このような表示タイミングが変動するデータを復号して動きの滑らかさを保ったまま表示するには、映像符号化時と同じ表示環境、すなわち、可変フレームレート技術を用いて画像を描画する映像描画装置と可変フレームレート技術に対応した伝送路と、可変フレームレート技術に対応した映像出力装置が必要となり、再生環境が限定的なものとなる。例えば、フレームレートが変化する映像描画装置の映像を、他のユーザと共有したりする場合や、それらの映像を記録した後に、固定フレームレートの映像表示装置で表示したりする場合には、映像描画装置が意図したフレーム時間間隔が得られないため、動きの滑らかさを損なってしまうという課題があった。

　本発明の目的は、フレームレートが変動する映像描画装置の映像を、固定フレームレートの映像に変換した後に、必要に応じて映像符号化し、記録もしくは伝送することにより、固定フレームレートの映像表示装置に動きの滑らかさを損なわず滑らかに表示することが可能な映像記録再生装置、映像伝送装置、及び映像伝送方法を提供することにある。

　本発明は、上記背景技術及び課題に鑑み、その一例を挙げるならば、映像フレームレートが変動する映像信号を受信して映像フレームを等間隔の固定フレームレートに変換した後に記録する映像記録再生装置であって、映像受信部と、映像記録部と、映像受信部で受信した映像を映像記録部で記録する映像に変換する映像変換部と、映像記録部に記録された映像を外部に出力するための信号に変換する映像出力部を備え、映像変換部は、映像受信部で受信する映像フレームのうち、映像記録部が記録で用いる等間隔のタイミングと合わないタイミングで受信した第１のフレームについては、第１のフレームと第１のフレームよりも前に映像受信部で受信した第２のフレームを用いた時間方向補間処理により映像記録部が記録で用いる等間隔のタイミングのフレームである第３のフレームを生成し、第３のフレームを映像記録部へ出力するように構成する。

　本発明によれば、フレーム周期が変動する映像出力装置の映像を記録もしくは伝送し、固定フレームレートの表示装置で表示しても、動きの滑らかさを保ちつつ高画質に表示することが可能となる映像記録再生装置、映像伝送装置、及び映像伝送方法を提供することができる。

実施例１における映像記録再生装置の構成を示すブロック図である。実施例１における映像記録再生システムの構成を示すブロック図である。実施例１における内挿型フレーム補間を説明する図である。実施例１における内挿型フレーム補間を使用した場合の映像記録再生装置への入力と、エンコーダへの入力タイミングを説明する図である。実施例２における映像記録再生システムの構成を示すブロック図である。実施例３における映像記録再生システムの構成を示すブロック図である。実施例４における映像記録再生システムの構成を示すブロック図である。

　以下、本発明の実施例を、図面を用いて説明する。

　本実施例では、映像フレーム毎にフレーム周期が変動する映像信号を固定フレームレートの映像に変換して記録する方法に関して説明する。

　図１は、本実施例における映像記録再生装置の構成を示すブロック図である。図１において、映像記録再生装置１１は、制御部１１７の制御下において、映像描画装置より出力され伝送されてきた映像信号１１０を受信部１１１が受信し、映像信号が一時記憶部（フレームメモリ：ＦＭ）１１２および１１３、フレーム補間部１１４、エンコーダ１１５に伝えられて記録装置１１６に記録される。本実施例においては、エンコーダ１１５を介して記録装置１１６に記録する。また、記録装置１１６に記録せずに、直接外部のインターネット等のネットワークへ伝送するためのプロトコル変換等を行なう映像伝送部１１８を介して伝送してもよい。また、記録装置１１６からの出力を外部のテレビ等に出力するための信号に変換する映像出力部１１９を有する。なお、エンコーダ１１５は、映像信号を圧縮する必要がなければ不要である。また、映像伝送部１１８は記録装置１１６に記録された映像信号を伝送するようにしてもよい。また、映像出力部１１９は、エンコーダ１１５の出力を直接外部に出力するようにしてもよい。

　受信部１１１が受信した映像信号１１０のフレーム間隔情報は制御部１１７へ送信され、制御部１１７がフレーム間隔情報に基づいて一時記憶部１１２および１１３、フレーム補間部１１４、エンコーダ１１５を制御して動きの滑らかさを保ったまま固定レームレートの映像に変換し、記録装置１１６に映像を記録する。

　本実施例においては、一時記憶部１１２および１１３に記録された２つの映像フレームから補間フレームを作る例を示しているが、より多くのフレームを用いて補間フレームを作成することも可能である。フレーム補間技術に関しては、特許文献１などに記載の技術を用いればよい。

　また、本実施例は、記録された映像の再生時に、固定フレームレートの映像表示装置を用いることを想定しているが、表示素子の種類は問わない。現在一般的に用いられているＬＣＤ，ＯＬＥＤ，ＣＲＴのどれであっても構わないし、あるいは、表示装置との間に、何らかの信号処理装置があっても構わない。

　図２は、映像記録再生装置１１に関して、表示装置を含めたシステムとしての構成を説明する図である。図２において、可変フレームレート対応映像描画装置２１の出力は、可変フレームレート技術に対応する伝送路２２を通して、可変フレームレート対応映像表示装置２３により表示される。本実施例では、この可変フレームレート対応映像描画装置２１の出力を記録もしくはネットワークを使って伝送する映像記録再生装置１１に関して述べている。映像記録再生装置１１に関しては図１にて説明済みであるので詳細は省略するが、エンコーダ１１５の出力は記録装置１１６により記録されるか、映像伝送部１１８を介して外部のネットワーク２５に伝送される。デコーダ２７および固定フレームレート映像表示装置２８は、例えばテレビを構成する要素を示しており、映像記録再生装置１１からの出力を、ネットワーク２５や映像出力部１１９経由で受信して、エンコーダ１１５と対になるデコーダ２７で映像信号へと復号し、固定フレームレート表示装置２８により表示する例を示している。

　図３は、フレーム補間技術のうち、本実施例で用いる内挿形のフレーム補間技術を説明する図である。図３において、映像フレーム４０１は、一時記憶部１１３に記憶され、映像フレーム４０３は、一時記憶部１１２に記憶されている。フレーム補間部１１４は、映像フレーム４０１と４０３の映像の被写体の動きから動きベクトルを算出する。例えば、映像フレーム４０３上の被写体４０６が、映像フレーム４０１上の被写体４０４と同一であると判断された場合は、動きベクトルは４０７のようになる。映像フレーム４０１と補間フレーム４０２の時間間隔をα、映像フレーム４０３と補間フレーム４０２の時間間隔をβとすると、動きベクトル４０７をα/（α＋β)した位置に被写体４０４の位置を動かして被写体４０５として補間フレーム４０２を作成する。これにより、映像フレーム４０１と映像フレーム４０３の間にある補間フレーム４０２を予測して作ることが可能となる。

　このようにして補間フレームを作成する技術を内挿型のフレーム補間技術と呼び、内挿型のフレーム補間技術により作成された映像フレームを内挿型フレーム補間映像と呼ぶ。本実施例は、補間フレームとして、この内挿型フレーム補間映像を用いることで、映像の動きの滑らかさを保ちつつ、高画質な映像フレームレート変換を実現できる。

　図４は、本実施例における、映像記録再生装置への映像入力１１０とエンコーダ１１５への入力映像タイミングを説明する図である。図４（Ａ）は、映像描画装置より伝送され、映像表示装置への入力となる映像フレーム（Ａ０，Ａ１，Ａ２）を示し、図４（Ｂ）は、エンコーダに入力される映像フレーム（Ｂ０，Ｂ１，Ｂ２）を示している。すなわち、映像出力装置のフレーム間隔が変動しｔ１であったりｔ２であったりするのに対し、エンコーダへの入力フレームレートは固定でｔ０であることを示している。

　フレーム補間部１１４は、映像表示装置がＢ０のタイミングの映像フレームを出力しようとする際には、Ｂ０と前後するタイミングで受信した入力映像Ａ０，Ａ１を用いて図３に示したような内挿型のフレーム補間を行いＢ０のフレームを作り出して表示を行う。この例の場合、図１における一時記憶部１１２にＡ１の映像、一時記憶部１１３にＡ０の映像が記憶されていることになる。どの入力映像を用いて、補間フレームを作成するかは制御部１１７により制御される。

　同様に、映像表示装置がＢ１のタイミングの映像フレームを出力しようとする際には、Ｂ１と前後するタイミングで受信した入力映像Ａ１，Ａ２を用いて図３に示されるような内挿型のフレーム補間を行いＢ１のフレームを作り出して表示を行う。なお、上記フレーム補間に用いるフレームは２つに限定されず、複数のフレームで補間してもよい。

　本実施例の場合、内挿型のフレーム補間技術を用いる例を示したが、例えばＢ１のタイミングの映像フレームを出力する際に、Ｂ１よりも前に受信した入力映像Ａ０，Ａ１を用いて補間処理を行う外挿型フレーム補間技術を用いても本実施例と同様の効果が実現できる。しかしながら、一般的に外挿型フレーム補間技術よりも内挿型フレーム補間技術により作成した映像フレームの方が映像の品質が高いため、映像記録の場合等で映像の遅延が許容できる場合であれば、内挿型のフレーム補間技術を用い、低遅延伝送等の用途で、映像の遅延が許容できない場合は外挿型フレーム補間技術を使う等の使い分けを行うことも考えられる。

　以上のようにフレーム補間技術を用いることで、描画時間に依存してフレーム毎にフレーム周期が変動する映像信号を、固定フレームレートの映像に変換した後に記録することで、再生時の映像表示環境が固定フレームレートにしか対応していない場合であっても動きの滑らかさを保ちつつ高画質に表示することが可能となる。

　本実施例では、実施例１と同様の映像記録再生装置に関して記載するが、記録されている映像もしくは、ネットワークから取得する映像自体は可変フレームレートの映像であり、その映像を再生、すなわち記録再生装置から出力する際に、映像表示装置のフレームレートに合わせてフレームレート変換を行う方法に関して説明する。

　図５は、本実施例における映像記録再生システムの構成を示すブロック図である。可変フレームレート対応映像描画装置２１から出力された映像信号は、可変フレームレート映像のまま、エンコーダ１１５により映像もしくは記録に適した形式へと変換される。変換された映像信号は、ネットワーク２５に伝送され、ネットワーク２５経由もしくはエンコーダ１１５から直接、映像記録再生装置５１の記録装置１１６に記録される。そして、デコーダ２７により映像が復号される。復号された映像データは、固定フレームレートへの変換装置２４により、固定フレームレート映像表示装置２８のフレームレートに適したフレームレートへと変換され出力される。

　なお、可変フレームレート対応映像描画装置２１は、映像信号のフレーム間隔に関する情報を１フレームの映像信号出力期間またはそれ以前に映像信号に付与して出力し、映像記録再生装置５１は、映像信号のフレーム間隔に関する情報を受信して、固定フレームレートへの変換装置２４により等間隔のタイミングの映像信号へ変換する。

　以上のように、可変フレームレートの映像が記録されている場合であっても映像記録再生装置からの出力時に固定フレームレート映像へと変換することにより、固定フレームレートの映像表示装置に対して、動画の滑らかさを保ちつつ高画質に表示することが可能となる。

　本実施例は、可変フレームレートの映像を、インターネット等のネットワークを用いて可変フレームレート映像のままサーバーに伝送し、サーバー上で固定フレームレート映像へと変換する例について説明する。

　図６は、本実施例における映像記録再生システムの構成を示すブロック図である。図６において、可変フレームレート対応映像描画装置２１から出力された映像は、可変フレームレート映像のまま、エンコーダ１１５に入力され、映像伝送に適した形式へと変換され、ネットワーク上にあるサーバー６１へと送出される。サーバー６１上では、送られてきた映像データを必要に応じて一時的に記録装置１１６に記録する。記録された映像データは、デコーダ２７で復号され、固定フレームレートへの変換装置２４を用いて固定フレームレート映像へ変換される。変換された映像データは再びエンコーダ１１５により伝送に適した映像形式へと変換され、記録装置１１６へと記録される。この記録された映像データはユーザからの要求に応じて適宜、サーバー６１より送出され、例えばＰＣやテレビ等に内蔵されたデコーダ２７により復号され、固定フレームレート映像表示装置２８で表示される。

　なお、可変フレームレート対応映像描画装置２１は、映像信号のフレーム間隔に関する情報を１フレームの映像信号出力期間またはそれ以前に映像信号に付与して出力し、サーバー６１は、映像信号のフレーム間隔に関する情報を受信して、固定フレームレートへの変換装置２４により等間隔のタイミングの映像信号へ変換する。

　以上のように、映像伝送後にサーバー側で固定フレームレート映像へと変換を行うことにより、可変フレームレート映像であっても、動画の滑らかさを保ちつつ高画質に表示することが可能となる。

　本実施例では、映像描画装置から、映像記録再生装置に対して記録タイミングを映像フレームと同時に伝送する場合について説明する。

　図７は、本実施例における映像記録再生システムの構成を示すブロック図である。本実施例では、例えば映像描画装置１０と映像記録再生装置１１をＨＤＭＩ（High Definition Multimedia Interfaceの略称。HDMI, LLCの登録商標）などで接続し、映像描画装置１０が出力した映像信号を映像記録再生装置１１へ伝送して映像を記録するシステムを想定する。

　図７において、映像描画装置１０の内部構成は、描画部１０１と送信部１０２、制御部１０３、描画時間予測部１０４を有する。一方、映像記録再生装置１１の内部構成は、図１と同じであるので、その説明は省略する。

　このシステムでは、映像描画装置１０は制御部１０３の制御下において、描画部１０１が描画したフレームを送信部１０２から映像記録再生装置１１へ映像信号として出力する。同時に描画時間予測部１０４が次のフレームの描画にかかる描画時間を描画内容に基づいて予測し、その予測結果から次のフレームを映像信号として出力するまでのフレーム間隔を算出して、送信部１０２が描画部１０１の描画した映像信号と共に、フレーム間隔に関する情報として映像記録再生装置１１へ出力される。

　映像記録再生装置１１は、受信部１１１が受信したフレーム間隔情報が制御部１１７へ伝えられ、制御部１１７がフレーム間隔情報に基づいて一時記憶部１１２および１１３、フレーム補間部１１４、エンコーダ１１５を制御する。

　映像記録再生装置１１の制御部１１７と映像描画装置１０は、送信部１０２と受信部１１１を結ぶ例えばＨＤＭＩの映像伝送線を通じて、制御情報を交換し、映像表示装置が対応可能な範囲で映像信号のフォーマットを決め、映像信号のメタデータを送受信する。

１０：映像描画装置、１１：映像記録再生装置、２１：可変フレームレート対応映像描画装置、２２：伝送路、２３：可変フレームレート対応映像表示装置、２４：固定フレームレートへの変換装置、２５：ネットワーク、２７：デコーダ、２８：固定フレームレート映像表示装置、５１：映像記録再生装置、６１：サーバー、１０１：描画部、１０２：送信部、１０３：制御部、１０４：描画時間予測部、１１０：映像信号、１１１：受信部、１１２：１１３：一時記憶部、１１４：フレーム補間部、１１５：エンコーダ、１１６：記録装置、１１７：制御部、１１８：映像伝送部、１１９：映像出力部、４０１、４０３：映像フレーム、４０２：補間フレーム、４０４、４０５、４０６：被写体、４０７：動きベクトル

Claims

　映像フレームレートが変動する映像信号を受信して映像フレームを等間隔の固定フレームレートに変換した後に記録する映像記録再生装置であって、
　映像受信部と、映像記録部と、前記映像受信部で受信した映像を前記映像記録部で記録する映像に変換する映像変換部と、前記映像記録部に記録された映像を外部に出力するための信号に変換する映像出力部を備え、
　前記映像変換部は、前記映像受信部で受信する映像フレームのうち、前記映像記録部が記録で用いる等間隔のタイミングと合わないタイミングで受信した第１のフレームについては、前記第１のフレームと該第１のフレームよりも前に前記映像受信部で受信した第２のフレームを用いた時間方向補間処理により前記映像記録部が記録で用いる等間隔のタイミングのフレームである第３のフレームを生成し、該第３のフレームを前記映像記録部へ出力することを特徴とする映像記録再生装置。
　請求項１に記載の映像記録再生装置であって、
　前記第３のフレームは、前記映像記録部が記録で用いる等間隔のタイミングであって前記第１のフレームの受信タイミングよりも前のタイミングであり、かつ、前記第２のフレームの受信タイミングよりも後のフレームであり、
　前記時間方向補間処理は、内挿型フレーム補間であることを特徴とする映像記録再生装置。
　映像フレームレートが変動する映像信号を受信して映像フレームを等間隔の固定フレームレートに変換した後に伝送する映像伝送装置であって、
　映像受信部と、該映像受信部で受信した映像を外部に伝送するための信号に変換する映像伝送部と、前記映像受信部で受信した映像を前記映像伝送部で伝送する映像に変換する映像変換部を備え、
　前記映像変換部は、前記映像受信部で受信する映像フレームのうち、前記映像伝送部が伝送で用いる等間隔のタイミングと合わないタイミングで受信した第１のフレームについては、前記第１のフレームと該第１のフレームよりも前に前記映像受信部で受信した第２のフレームを用いた時間方向補間処理により前記映像伝送部が伝送で用いる等間隔のタイミングのフレームである第３のフレームを生成し、該第３のフレームを前記映像伝送部へ出力することを特徴とする映像伝送装置。
　請求項３に記載の映像伝送装置であって、
　前記第３のフレームは、前記映像伝送部が伝送で用いる等間隔のタイミングであって前記第１のフレームの受信タイミングよりも前のタイミングであり、かつ、前記第２のフレームの受信タイミングよりも後のフレームであり、
　前記時間方向補間処理は、内挿型フレーム補間であることを特徴とする映像伝送装置。
　請求項３に記載の映像伝送装置であって、
前記映像変換部で変換した映像を記録する映像記録部を有し、
前記映像伝送部は、前記映像記録部に記録された映像を外部に伝送するための信号に変換することを特徴とする映像伝送装置。
　映像フレームレートが変動する映像信号を受信して映像フレームを等間隔の固定フレームレートに変換した後に伝送する映像伝送方法であって、
前記等間隔の固定フレームレートのタイミングと合わないタイミングで受信した第１のフレームについては、該第１のフレームと該第１のフレームよりも前に受信した第２のフレームを用いた時間方向補間処理により前記等間隔のタイミングのフレームである第３のフレームを生成し、該第３のフレームを伝送することを特徴とする映像伝送方法。
　請求項６に記載の映像伝送方法であって、
　前記第３のフレームは、前記等間隔のタイミングであって前記第１のフレームの受信タイミングよりも前のタイミングであり、かつ、前記第２のフレームの受信タイミングよりも後のフレームであり、
　前記時間方向補間処理は、内挿型フレーム補間であることを特徴とする映像伝送方法。