JP6834680B2 - 表示装置および表示装置の制御方法 - Google Patents

表示装置および表示装置の制御方法 Download PDF

Info

Publication number
JP6834680B2
JP6834680B2 JP2017063170A JP2017063170A JP6834680B2 JP 6834680 B2 JP6834680 B2 JP 6834680B2 JP 2017063170 A JP2017063170 A JP 2017063170A JP 2017063170 A JP2017063170 A JP 2017063170A JP 6834680 B2 JP6834680 B2 JP 6834680B2
Authority
JP
Japan
Prior art keywords
frame
image
image stream
stream
frames
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2017063170A
Other languages
English (en)
Other versions
JP2018166283A (ja
Inventor
数樹 永井
数樹 永井
橋本 浩幸
浩幸 橋本
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Seiko Epson Corp
Original Assignee
Seiko Epson Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Seiko Epson Corp filed Critical Seiko Epson Corp
Priority to JP2017063170A priority Critical patent/JP6834680B2/ja
Priority to US15/928,419 priority patent/US20180278947A1/en
Publication of JP2018166283A publication Critical patent/JP2018166283A/ja
Application granted granted Critical
Publication of JP6834680B2 publication Critical patent/JP6834680B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Description

本発明は、表示装置および表示装置の制御方法に関する。
無線通信で画像ストリームを伝送する技術として、Miracast(登録商標)が知られている。現在のMiracastでは、ソース(Source)とシンク(Sink)が1対1で無線通信する。ソースは、符号化された複数のフレームで構成される単一の画像ストリームをシンクに送信する。シンクは、ソースから受信した単一の画像ストリームを単一のデコーダーでデコードして複数の画像フレームを生成する。
また、特許文献1には、複数の入力データに基づいて複数の画像を表示する画像投影装置が記載されている。
特開2013−167769号公報
Miracastの規格拡張に伴い、シンクは複数ソースとの同時接続が可能となる。このため、シンクは、複数の画像ストリームを並列的に受信可能になる。よって、シンクにおいても、特許文献1に記載の画像投射装置のように、複数の入力データ(複数の画像ストリーム)に基づいて複数の画像を表示することが期待される。
ところで、複数の画像ストリームに基づいて複数の画像を表示する構成においては、画像ストリームごとに、画像ストリームをデコードするデコーダーを設けることが考えられる。しかしながら、この場合、画像ストリームの数と同数のデコーダーが必要になり、デコーダーの数が増大してしまう。
本発明は上述した事情に鑑みてなされたものであり、複数の画像ストリームに基づいて複数の画像を表示する構成においてデコーダーの数の増大を抑制可能な技術を提供することを解決課題とする。
本発明に係る表示装置の一態様は、フレーム内圧縮にて符号化された第1フレームを有する第1画像ストリームと、フレーム内圧縮にて符号化された第2フレームを有する第2画像ストリームと、を用いて第3画像ストリームを生成する生成部と、前記第3画像ストリームをデコードして前記第3画像ストリームの有するフレーム単位で画像フレームを生成するデコーダーと、前記画像フレームに応じた画像の表示を制御する表示制御部と、を含み、前記第3画像ストリームは、前記第1画像ストリームにおいて、前記第1フレームと当該第1フレームの後の第3フレームとの間に前記第2フレームが挿入され、さらに、前記第3フレームの前に前記第1フレームのコピーが挿入された画像ストリームであり、前記デコーダーは、前記第3画像ストリームにおいて前記第2フレームよりも前の1以上のフレームのデコードを、前記第1画像ストリームにて特定される第1フレームレートよりも高い第2フレームレートで実行し、前記1以上のフレームを前記第1フレームレートでデコードした場合のデコード時間と、前記1以上のフレームを前記第2フレームレートでデコードした場合のデコード時間との差分の時間内に、前記第1フレームのコピーと前記第2フレームとをデコードすることを特徴とする。
この態様によれば、複数の画像ストリームに基づいて複数の画像を表示する構成においてデコーダーの数の増大を抑制することが可能になる。
上述した表示装置の一態様において、前記第1画像ストリームおよび前記第2画像ストリームを受信する通信部と、前記生成部は、前記第2フレームに、前記第2フレームの送信元に応じた識別情報を付加し、前記第2フレームを元に生成された画像フレームは、前記識別情報を有し、前記表示制御部は、前記識別情報を有する画像フレームに応じた画像を、前記識別情報を有さない画像フレームに応じた画像とは異なる領域に表示させることが望ましい。
この態様によれば、画像ストリームに応じた画像を、画像ストリームごとに異なる表示位置に表示可能になる。このため、使用者は、並列的に受信した第1および第2画像ストリームに応じた画像の少なくとも概要を同時に見ることが可能になる。
上述した表示装置の一態様において、前記第2フレームを元に生成された画像フレームは、表示タイミングを複数桁の数値の大きさで表すタイミング情報を有し、前記表示タイミングは、前記数値が大きいほど遅くなり、前記生成部は、前記複数桁のうちの特定の桁に、前記識別情報を設定することが望ましい。
この態様によれば、表示タイミングを表す複数桁の数値の一部が識別情報として兼用される。このため、専用の識別情報を新たに用いる構成に比べて、情報量を少なくできる。
本発明に係る表示装置の制御方法の一態様は、フレーム内圧縮にて符号化された第1フレームを有する第1画像ストリームと、フレーム内圧縮にて符号化された第2フレームを有する第2画像ストリームと、を用いて第3画像ストリームを生成する生成ステップと、前記第3画像ストリームをデコードして前記第3画像ストリームの有するフレーム単位で画像フレームを生成するデコードステップと、前記画像フレームに応じた画像の表示を制御する制御ステップと、を含み、前記第3画像ストリームは、前記第1画像ストリームにおいて、前記第1フレームと当該第1フレームの後の第3フレームとの間に前記第2フレームが挿入され、さらに、前記第3フレームの前に前記第1フレームのコピーが挿入された画像ストリームであり、前記デコードステップでは、前記第3画像ストリームにおいて前記第2フレームよりも前の1以上のフレームのデコードを、前記第1画像ストリームにて特定される第1フレームレートよりも高い第2フレームレートで実行し、前記1以上のフレームを前記第1フレームレートでデコードした場合のデコード時間と、前記1以上のフレームを前記第2フレームレートでデコードした場合のデコード時間との差分の時間内に、前記第1フレームのコピーと前記第2フレームとをデコードすることを特徴とする。
この態様によれば、複数の画像ストリームに基づいて複数の画像を表示する構成においてデコーダーの数の増大を抑制することが可能になる。
第1実施形態の表示装置に係るプロジェクター1を示した図である。 プロジェクター1を模式的に示した図である。 画像メモリー110の一例を示した図である。 投射部107の一例を示した図である。 プロジェクター1の動作を説明するためのフローチャートである。 プロジェクター1の動作を説明するための図である。 プロジェクター1の動作を説明するための図である。 プロジェクター1の動作を説明するための図である。 合成画像ストリーム100の生成手法を説明するための図である。 合成画像ストリーム100の一例を示した図である。 合成画像ストリーム100のDTSの調整を説明するための図である。 プロジェクター1が4台の画像出力装置の各々から画像ストリームを並列的に受信する場合の投射画像30の一例を示した図である。
以下、図面を参照しながら本発明に係る実施の形態を説明する。なお、図面において各部の寸法および縮尺は実際のものと適宜異なる。また、以下に記載する実施の形態は、本発明の好適な具体例である。このため、本実施形態には、技術的に好ましい種々の限定が付されている。しかしながら、本発明の範囲は、以下の説明において特に本発明を限定する旨の記載がない限り、これらの形態に限られるものではない。
<第1実施形態>
図1は、本発明を適用した第1実施形態の表示装置に係るプロジェクター1を示した図である。プロジェクター1は、Miracastのシンク機能を有する。プロジェクター1は、Miracastのソース機能を有する複数の画像出力装置21〜22と無線通信で同時接続する。なお、プロジェクター1が同時接続する画像出力装置の数は2に限らず2以上であればよい。
画像出力装置21〜22は、例えば、スマートフォンまたはタブレット端末である。なお、画像出力装置21〜22は、スマートフォンまたはタブレット端末に限らず、Miracastのソース機能を有している機器であればよい。例えば、画像出力装置としては、Miracastのソースが用いられる。
画像出力装置21〜22は、それぞれ、符号化された複数のフレームで構成される画像ストリーム(動画)をUDP(User Datagram Protocol)データグラムでプロジェクター1に無線送信する。また、画像出力装置21〜22は、それぞれ、デコード(復号)タイミングおよび表示(再生)タイミングの基準になる時刻情報であるPCR(Program Clock Reference)をプロジェクター1に無線送信する。
以下、画像出力装置21が送信する画像ストリームを「画像ストリーム21a」とも称する。画像出力装置22が送信する画像ストリームを「画像ストリーム22a」とも称する。画像ストリーム21aは、第1画像ストリームの一例である。画像ストリーム22aは、第2画像ストリームの一例である。
画像ストリームは、Iフレーム(イントラ符号化フレーム:Intra coded Frame)とPフレーム(予測符号化フレーム:Predicted Frame)とBフレーム(双方向予測符号化フレーム:Bidirectional Predicted Frame)の3種類のフレームを含み得る。
Iフレームは、フレーム内圧縮によって符号化されたフレームである。さらに言えば、Iフレームは、他のフレームを参照することなく、単独で復号可能なフレームである。Iフレームは、画像ストリーム21aおよび22aのいずれにも含まれている。
PフレームおよびBフレームは、フレーム間圧縮によって符号化されたフレームである。具体的には、Pフレームは、時間的に前のフレームを用いたフレーム間圧縮によって符号化されたフレームである。Bフレームは、時間的に前および後のフレームを用いたフレーム間圧縮によって符号化されたフレームである。
Iフレーム、PフレームおよびBフレームは、それぞれ、PTS(Presentation Time Stamp)を有する。PTSは、PCRを基準としたフレームの表示タイミングを、複数桁の数値の大きさで表す。表示タイミングは、PTSの表す数値が大きいほど遅くなる。PTSは、タイミング情報の一例である。
また、Iフレーム、PフレームおよびBフレームは、それぞれ、DTS(Decoding Time Stamp)を有する。DTSは、PCRを基準としたフレームのデコードタイミングを、複数桁の数値の大きさで表す。
プロジェクター1は、画像ストリーム21aおよび22aを並列的に受信する。プロジェクター1は、画像ストリーム21aおよび22aを用いて、合成画像ストリームを生成する。合成画像ストリームは、第3画像ストリームの一例である。
プロジェクター1は、PCRとDTSに基づくタイミングで、合成画像ストリームの有するフレームを1つのデコーダー105(図2参照)でデコードして、合成画像ストリームの有するフレーム単位で画像フレームを生成する。
プロジェクター1は、例えば、画像ストリーム22aの一部(Iフレーム)と画像ストリーム21aとを用いて合成画像ストリームを生成した場合、合成画像ストリームにおいて、画像ストリーム22aの一部の前に位置するフレームのデコードを、画像ストリーム21aにて特定される第1フレームレートよりも高い第2フレームレートで実行する。
ここで、第1フレームレートは、画像ストリーム21aを構成するフレームのデコードの時間間隔に依存し、この時間間隔は、画像ストリーム21aの各フレームのDTSによって特定される。よって、第1フレームレートは、画像ストリーム21aに基づいて、さらに言えば、画像ストリーム21aの各フレームのDTSに基づいて特定される。
そして、プロジェクター1は、デコードのフレームレートを第1フレームレートから第2フレームレートに上げることで空いた時間を使って、1つのデコーダー105で画像ストリーム22aの一部等をデコードする。
プロジェクター1は、画像ストリーム21aから生成された画像フレームに応じた画像を、PCRと画像ストリーム21aのPTSに基づくタイミングで生成し、画像ストリーム22aから生成された画像フレームに応じた画像を、PCRと画像ストリーム22aのPTSに基づくタイミングで生成する。
プロジェクター1は、画像ストリーム21aから生成された画像フレームに応じた画像と、画像ストリーム22aから生成された画像フレームに応じた画像と、を含む投射画像30を、投射面3に投射する。
例えば、プロジェクター1は、合成画像ストリームを、画像ストリーム22aの一部と画像ストリーム21aとを用いて生成した場合、画像ストリーム21aから生成された画像フレームに応じた画像31の上に、画像ストリーム22aの一部から生成された画像フレームに応じた画像32が位置する投射画像30を、投射面3に投射する。投射面3は、例えば、スクリーンまたは壁である。
図2は、プロジェクター1を模式的に示した図である。プロジェクター1は、受取部101と、通信部102と、記憶部103と、処理部104と、デコーダー105と、表示制御部106と、投射部107とを含む。
受取部101は、例えば、各種の操作ボタン、操作キーまたはタッチパネルである。受取部101は、使用者の入力操作を受け取る。受取部101は、入力操作に応じた情報を無線または有線で送信するリモートコントローラー等であってもよい。その場合、プロジェクター1は、リモートコントローラーが送信した情報を受信する受信部を備える。リモートコントローラーは、入力操作を受け取る各種の操作ボタン、操作キーまたはタッチパネルを備える。
通信部102は、画像出力装置21〜22と無線通信する。例えば、通信部102は、画像ストリーム21aおよび22a(図1参照)をUDPデータグラムで受信する。
UDPデータグラムのヘッダーには、送信先ポート番号が記載されている。画像ストリーム21aおよび22aでは、送信先ポート番号が互いに異なる。このため、プロジェクター1は、画像ストリーム21aおよび22aの送信元(画像出力装置21〜22)を、送信先ポート番号によって識別可能である。以下では、画像ストリーム21aの送信先ポート番号を「n1」とし、画像ストリーム22aの送信先ポート番号を「n2」とする。
また、UDPデータグラムのヘッダーには、フレームの種別を表す情報(IフレームかPフレームかBフレームかを表す情報)が記載されている。
記憶部103は、コンピューターが読み取り可能な記録媒体である。記憶部103は、プロジェクター1の動作を規定するプログラムと、種々の情報とを記憶する。また、記憶部103は、図3に示すような画像メモリー110を備える。画像メモリー110は、バッファー110−1とバッファー110−2とを有する。
説明を図2に戻す。処理部104は、CPU(Central Processing Unit)等のコンピューターである。処理部104は、記憶部103に記憶されているプログラムを読み取り実行することによって、制御部108と、生成部109とを実現する。
制御部108は、受取部101が受け取った入力操作に応じて、プロジェクター1を制御する。例えば、制御部108は、入力操作に応じて通信部102を制御して、画像出力装置21〜22との通信を制御する。
生成部109は、画像ストリーム21aと画像ストリーム22aとを用いて合成画像ストリームを生成する。本実施形態では、生成部109は、制御部108からの指示に従って、合成画像ストリームを、画像ストリーム22aの一部(Iフレーム)と画像ストリーム21aとを用いて生成するか、画像ストリーム21aの一部(Iフレーム)と画像ストリーム22aとを用いて生成するかを切り換える。
以下では、説明の簡略化のため、生成部109が、合成画像ストリームを、画像ストリーム22aのIフレームと画像ストリーム21aとを用いて生成する場合を説明する。この場合、画像ストリーム21aが「挿入先画像ストリーム」となり、画像ストリーム22aが「挿入元画像ストリーム」となる。
また、生成部109は、合成画像ストリームの有するフレームのDTSおよびPTSを調整する。生成部109は、DTSを調整することによって、デコーダー105でのフレームレート(デコードにおけるフレームレート)を調整する。
また、生成部109は、合成画像ストリームに含まれる画像ストリーム22aのIフレーム(第2フレーム)のPTSに、第2フレームの送信先ポート番号に応じた識別情報を設定する。送信先ポート番号は、第2フレームを送信した画像出力装置にも対応する。
第2フレームのPTSに対して送信先ポート番号に応じた識別情報を設定することは、第2フレームに対して、第2フレームの送信元に応じた識別情報を付加することの一例である。
デコーダー105は、合成画像ストリームをデコードして、合成画像ストリームの有するフレーム単位で画像フレーム(復号後のフレーム)を生成する。具体的には、デコーダー105は、合成画像ストリームに含まれるフレームごとに、フレームを、フレームのDTSに示されたタイミングでデコードして画像フレームを生成する。なお、画像フレームは、画像フレームの元になったフレームに付加されていたPTSを有する。
表示制御部106は、画像フレームに応じた画像の表示を制御する。表示制御部106は、デコーダー105が生成した画像フレームを、PTSが示す表示タイミングで、画像メモリー110に上書きする。
この際、表示制御部106は、PTSに識別情報が設定されていない画像フレームをバッファー110−1に上書きし、PTSに識別情報が設定されている画像フレームをバッファー110−2に上書きする。
また、表示制御部106は、バッファー110−1〜110−2に格納された2つの画像フレームを用いて、画像31〜32(図1参照)を含む投射画像30に応じた画像信号を生成する。
投射部107は、画像信号に応じた投射画像30を投射面3に投射する。
図4は、投射部107の一例を示した図である。投射部107は、光源11、光変調装置の一例である3つの液晶ライトバルブ12(12R,12G,12B)、投射光学系の一例である投射レンズ13、ライトバルブ駆動部14等を含む。投射部107は、光源11から射出された光を液晶ライトバルブ12で変調して投射画像(画像光)を形成し、この投射画像を投射レンズ13から拡大投射する。
光源11は、キセノンランプ、超高圧水銀ランプ、LED(Light Emitting Diode)、またはレーザー光源等からなる光源部11aと、光源部11aが放射した光の方向のばらつきを低減するリフレクター11bとを含む。光源11から射出された光は、不図示のインテグレーター光学系によって輝度分布のばらつきが低減され、その後、不図示の色分離光学系によって光の3原色である赤色(R)、緑色(G)、青色(B)の色光成分に分離される。R,G,Bの色光成分は、それぞれ液晶ライトバルブ12R,12G,12Bに入射する。
液晶ライトバルブ12は、一対の透明基板間に液晶が封入された液晶パネル等によって構成される。液晶ライトバルブ12には、マトリクス状に配列された複数の画素12pからなる矩形の画素領域12aが形成されており、液晶に対して画素12pごとに駆動電圧を印加可能である。ライトバルブ駆動部14が、表示制御部106から入力される画像信号に応じた駆動電圧を各画素12pに印加すると、各画素12pは、画像信号に応じた光透過率に設定される。このため、光源11から射出された光は、画素領域12aを透過することで変調され、画像信号に応じた画像が色光ごとに形成される。
各色の画像は、図示しない色合成光学系によって画素12pごとに合成され、カラー画像(カラー画像光)である投射画像が生成される。投射画像は、投射レンズ13によって投射面3に拡大投射される。
次に、動作を説明する。
図5は、プロジェクター1の動作を説明するためのフローチャートである。
プロジェクター1と画像出力装置21〜22は、Miracastのデバイス発見手順であるP2P(Peer to Peer)デバイスディスカバリーによって互いに発見され接続される(ステップS1)。
続いて、プロジェクター1と画像出力装置21〜22は、RTSP(Real Time Streaming Protocol)により互いの情報を交換する。この際、プロジェクター1の通信部102は、制御部108の制御により、プロジェクター1の機器情報として、プロジェクター1の対応可能な最大の解像度(例えば、1080p)を、画像出力装置21〜22にレポートする(図6参照)。通信部102が機器情報を画像出力装置21〜22へレポートすることは、プロジェクター1(通信部102)が画像出力装置21〜22に解像度を指定することを意味する(ステップS2)。
画像出力装置21〜22は、機器情報に示された解像度の画像フレームについてエンコードを行う準備をする。その後、画像出力装置21〜22は、画像について再生可能な状態で、プロジェクター1からの指示を待ち受ける。
プロジェクター1の制御部108は、通信部102を用いて、図7に示したように、画像出力装置21〜22に、順次、再生指示をRTSPにより出力する(ステップS3)。
画像出力装置21〜22の各々は、再生指示を受信すると、機器情報に示された解像度の画像フレームのエンコードを開始して画像ストリームを生成し始める。
続いて、画像出力装置21〜22の各々は、RTP(Real time Transport Protocol)により画像ストリームをUDPデータグラムでプロジェクター1に送信し始める(図8参照)。画像出力装置21〜22の各々は、PCRも、UDPデータグラムに記述して送信し始める。
プロジェクター1では、通信部102は、画像出力装置21〜22の各々から、UDPデータグラム(画像ストリーム21a、画像ストリーム22a、およびPCR)を受信し始める(ステップS4)。
なお、制御部108は、画像出力装置21からのUDPデータグラム(画像ストリーム21a)を、画像出力装置22からのUDPデータグラム(画像ストリーム22a)よりも優先的に受信してもよい。例えば、制御部108は、画像出力装置21からのUDPデータグラムを受信するために使用する時間を、画像出力装置22からのUDPデータグラムを受信するために使用する時間よりも長くしてもよい。通信部102は、UDPデータグラムを生成部109に出力する。
生成部109は、画像出力装置21からのUDPデータグラム(画像ストリーム21a)と、画像出力装置22からのUDPデータグラム(画像ストリーム22a)と、を用いて合成画像ストリームを生成する(ステップS5)。ステップS5は、生成ステップの一例である。
図9は、合成画像ストリーム100の生成手法を説明するための図である。
生成部109は、まず、UDPデータグラムのヘッダーに記載の送信先ポート番号を参照して、画像ストリーム21aと、画像ストリーム22aとを識別する。
続いて、生成部109は、画像ストリーム22aを解析して(例えば、UDPデータグラムのヘッダーを解析して)、画像ストリーム22aからIフレームi3を抽出する。Iフレームi3は、第2フレームの一例である。
生成部109は、画像ストリーム22aからIフレームi3を抽出すると、画像ストリーム21aから2つのIフレームi1およびi2を特定する。Iフレームi1は、Iフレームi2よりも時間的に前に位置する。Iフレームi2は、第1フレームの一例である。
続いて、生成部109は、Iフレームi1と、Iフレームi2と、Iフレームi1とIフレームi2との間に存在するフレームと、の数を合計した合計値mを算出する。図9に示した例では、合計値mは「4」となる。
続いて、生成部109は、Iフレームi3を「m−2」回コピーする。続いて、生成部109は、Iフレームi3の「m−2」個のコピーとIフレームi3とを用いて、「m−1」個のIフレームi3が連続するフレーム群Gを生成する。
続いて、生成部109は、フレーム群GをIフレームi2の直後に挿入する。換言すると、生成部109は、画像ストリーム21aにおいて、Iフレームi2と、Iフレームi2の直後のフレームfと、の間に、フレーム群Gを挿入する。フレームfは、第3フレームの一例である。
続いて、生成部109は、Iフレームi2のコピーを生成する。続いて、生成部109は、Iフレームi2のコピーを、フレーム群Gとフレームfとの間に挿入する。換言すると、生成部109は、フレームfの直前にIフレームi2のコピーを挿入する。
図10は、合成画像ストリーム100の一例を示した図である。
図10および図9に示したように、合成画像ストリーム100は、画像ストリーム21aに比べ、Iフレームi2のコピーと「m−1」個のIフレームi3との合計の分だけ、フレームが多くなる。このため、デコーダー105がIフレームi2のコピーと「m−1」個のIフレームi3とをデコードするための時間(以下「追加デコード時間」とも称する)が、新たに必要となる。
そこで、生成部109は、追加デコード時間が捻出され、かつ、追加デコード時間内にIフレームi2のコピーと「m−1」個のIフレームi3とがデコードされるように、デコーダー105のフレームレートを調整する。具体的には、生成部109は、合成画像ストリーム100のDTSと、デコーダー105の動作周波数とを調整する。
図11は、合成画像ストリーム100のDTSの調整を説明するための図である。図11では、比較例として、画像ストリーム21aも示されている。画像ストリーム21aにおいては、説明の簡略化を図るために、時間的に隣り合うフレームでのDTSの差が「100」に設定されているとする。そして、時間的に隣り合うフレームでのDTSの差が「100」である場合のデコードのフレームレートを「Y」で示している。
ここで、合成画像ストリーム100は、Bフレームを有するので、合成画像ストリーム100内のフレームは、合成画像ストリーム100内の並び順とは異なる順番でデコードされることもある。よって、実際には、合成画像ストリーム100内のフレームをデコードの順番に並べた場合に、時間的に隣り合うフレームでのDTSの差が「100」になる。
なお、時間的に隣り合うフレームでのDTSの差は「100」に限らず適宜変更可能である。
生成部109は、合成画像ストリーム100において、Iフレームi1からIフレームi2のコピーまでのデコードのフレームレートが「2Y」になるように、Iフレームi1の直後のフレームからIフレームi2のコピーまでのフレーム(以下「DTS調整対象フレーム」と称する)のDTSを調整する。
具体的には、生成部109は、時間的に隣り合うDTS調整対象フレームでのDTSの差が「100」の半分の「50」になるように、DTS調整対象フレームのDTSを調整する。つまり、生成部109は、合成画像フレーム100では、画像フレーム21aに比べてフレームが4個増えたため、8個のフレームのデコードのフレームレートをYの2倍にする。
ここで、合成画像ストリーム100において、Iフレームi1からIフレームi2までのフレームは、第2フレームよりも前の1以上のフレームの一例である。フレームレートYは、第1フレームレートの一例である。フレームレート2Yは、第2フレームレートの一例である。
続いて、生成部109は、合成画像ストリーム100に含まれるIフレームi2のPTSの特定の桁(例えば、最上位の桁)に、Iフレームi2の送信先ポート番号に応じた識別情報(例えば、特定の数値)を設定する。続いて、生成部109は、合成画像ストリーム100をデコーダー105に出力する。
また、生成部109は、PCRも、デコーダー105に出力する。
画像出力装置21〜22では、PCRは互いに独立している。合成画像ストリーム100に含まれるフレームのDTSおよびPTSは、そのフレームの送信元である画像出力装置が送信したPCRを基準に設定されている。すなわち、送信元が異なるフレームのDTSおよびPTSは、互いに異なるPCRを基準に設定されている。
そこで、生成部109は、基準となるPCR(以下「基準PCR」と称する)として、合成画像ストリーム100において挿入先となる画像ストリーム21aに対応するPCR(画像出力装置21から送信されたPCR)を決定する。
生成部109は、基準PCRを、デコーダー105に出力する。
さらに、生成部109は、合成画像ストリーム100からIフレームi1のDTSとフレームfのDTSとを読み取って不図示の内部メモリーに記憶する。そして、生成部109は、合成画像ストリーム100のIフレームi1のDTSが示すタイミングになると、デコーダー105の動作周波数を、それ以前のデコーダー105の動作周波数の2倍に切り換える。また、生成部109は、合成画像ストリーム100のフレームfのDTSが示すタイミングになると、デコーダー105の動作周波数を、それ以前のデコーダー105の動作周波数の1/2倍に切り換える。
デコーダー105は、合成画像ストリーム100に含まれるフレームごとに、フレームを、フレームのDTSに示された、基準PCRを基準とするタイミングでデコードして画像フレームを生成する(ステップS6)。ステップS6は、デコードステップの一例である。
このため、デコーダー105は、合成画像ストリーム100のIフレームi1からIフレームi2をフレームレートYでデコードした場合のデコード時間と、合成画像ストリーム100のIフレームi1からIフレームi2をフレームレート2Yでデコードした場合のデコード時間との差分の時間内に、Iフレームi2のコピーとフレーム群Gとをデコードする(図11参照)。
なお、画像フレームには、画像フレームの元になったフレームの有していたPTSが付されている。
デコーダー105は、PTSが付されている画像フレームと、基準PCRとを、表示制御部106に出力する。
表示制御部106は、PTSに識別情報が設定されているか否かによって、画像フレームを分別する(ステップS7)。
具体的には、表示制御部106は、画像フレームのうち、PTSに識別情報が設定されていない画像フレーム(画像ストリーム21aに対応する画像フレーム)については、PTSが示す表示タイミング(基準PCRを基準とした表示タイミング)で、画像メモリー110のバッファー110−1に上書きする。なお、表示制御部106は、Iフレームi2のコピーを元に生成された画像フレームを削除してもよい。
一方、デコーダー105が生成した画像フレームのうち、PTSに識別情報が設定されている画像フレーム(画像ストリーム22aに対応する画像フレーム)については、表示制御部106は、その画像フレームを見つけた場合、その画像フレームを、PTSに関わりなく、画像メモリー110のバッファー110−2に上書きする。
続いて、表示制御部106は、バッファー110−1〜110−2に格納された2つの画像フレームを用いて、画像31〜32を含む投射画像30(図1参照)に応じた画像信号を生成する。
本実施形態では、表示制御部106は、バッファー110−1に格納された画像フレームに応じた画像31の上に、バッファー110−2に格納された画像フレームに応じた画像32が位置する投射画像30に応じた画像信号を生成する。続いて、投射部107は、画像信号に応じた画像を投射面3に投射する(ステップS8)。ステップS8は、制御ステップの一例である。
この投射によって、画像出力装置21からの画像ストリーム21aに基づく画像31が表示され、画像出力装置22からのIフレームに基づく画像32がサムネイルとして表示される。
投射画像30が表示されている状況で、使用者が受取部101を操作して、画像32を選択すると、プロジェクター1は、「挿入先画像ストリーム」を画像ストリーム21aから画像ストリーム22aに切り換え、「挿入元画像ストリーム」を画像ストリーム22aから画像ストリーム21aに切り換えた上で、上述した動作を実行する。この際、プロジェクター1と画像出力装置21〜22との接続は継続される。
本実施形態のプロジェクター1およびプロジェクター1の制御方法によれば、プロジェクター1は、画像ストリーム21aの一部のフレームのデコードのフレームレートをフレームレートYからフレームレート2Yに上げることで空いた時間を使って、デコーダー105で画像ストリーム22aの一部のフレームをデコードする。このため、複数の画像ストリームに基づいて複数の画像を表示する構成においてデコーダー105の数の増大を抑制することが可能になる。また、単一のデコーダー105を用いた構成であっても、並列的に受信した複数の画像ストリーム21および22の各々の表す画像の少なくとも概要を表示することが可能になる。
また、合成画像ストリーム100では、Iフレームi3と時間的に前後する画像ストリーム21aのフレームが、Iフレームとなっている。このため、合成画像ストリーム100のデコードにおいて、画像ストリーム21aに属していたフレーム(例えば、PフレームまたはBフレーム)のデコードを、画像ストリーム21aに属していたフレームのみを用いて行うことが可能になる。よって、画像ストリーム21aに属していたフレームのデコードの際に、画像ストリーム22aに属していたフレームを参照してしまうことを禁止できる。
また、画像出力装置を特定する情報である識別情報を、Iフレームi2のPTSに重畳することにより、識別情報をハンドリングするためにデコーダー105の改造および修正が必要ないという利点を有する。
また、挿入先画像ストリーム(例えば、画像ストリーム21a)をデコードして生成された画像フレームでは、PTSは維持される。このため、挿入先画像ストリームが音声ストリームを伴う場合、画像と音声の同期を維持することが可能になる。
なお、挿入元画像ストリーム(例えば、画像ストリーム22a)が音声ストリームを伴う場合、音声と画像とで同期ずれが生じる可能性があるが、サムネイルを表示する場合に音声の出力を禁止することで、同期ずれの発生を回避することが可能になる。
<変形例>
本発明は、上述した実施形態に限定されるものではなく、例えば、次に述べるような各種の変形が可能である。また、次に述べる変形の態様の中から任意に選択された一または複数の変形を適宜組み合わせることもできる。
<変形例1>
プロジェクター1と画像出力装置21〜22との通信は、Miracastに限らず適宜変更可能である。例えば、Miracastでは、ソース発見にP2Pデバイスディスカバリーが用いられるが、画像出力装置(ソース)発見に、mDNS(multicast Domain Name System)など、P2Pデバイスディスカバリーとは異なる方式が用いられてもよい。また、画像出力装置に対して解像度を指定した上で画像出力装置の再生を制御するプロトコルとして、Miracastの代わりに、例えばDLNA(登録商標)(Digital Living Network Alliance)などが用いられてもよい。
<変形例2>
第2フレームレートは、第1フレームレートの2倍に限らず、第1フレームレートよりも高ければよい。この場合、第2フレームレートが高いほど、フレーム群Gに含まれるIフレームi3の数を多くすることができる。なお、第2フレームレートが高くなっても、フレーム群Gに含まれるIフレームi3の数が維持されてもよい。
フレーム群Gに含まれるIフレームi3の数は、例えば「1」でもよい。図11に示した例において、フレーム群Gに含まれるIフレームi3の数を「1」にした場合、フレーム群Gに含まれるIフレームi3と、Iフレームi2のコピーと、のデコードのフレームレートを第1フレームレートにしてもよい。
また、デコードタイミングにおいてフレーム群Gよりも時間的に前のフレームのうち、第2フレームレートでデコードされるフレームは、フレーム群Gの直前のフレームを含まなくてもよい。
<変形例3>
画像ストリーム21aの構成は、図9に示した構成に限らず適宜変更可能である。また、画像ストリーム22aの構成も、図9に示した構成に限らず適宜変更可能である。
<変形例4>
生成部109は、PTSの最上位の桁とは異なる特定の桁(例えば、PTSの最上位の桁を含まずにPTSの最下位の桁を含む桁)に識別情報を設定してもよい。
<変形例5>
プロジェクター1が、3台以上の画像出力装置の各々から画像ストリームを並列的に受信する場合、生成部109は、複数の画像ストリームのいずれか1つを、挿入先画像ストリームとして扱い、残りの画像ストリームを挿入元画像ストリームとして扱ってもよい。
この場合、生成部109は、フレーム群Gを、挿入元画像ストリームの各々から抽出したIフレームで生成する。そして、生成部109は、フレーム群Gを構成するIフレームのPTSに、挿入元画像ストリームに対応した識別情報を設定する。
加えて、表示制御部106は、デコード後の画像フレームに応じた画像を、投射画像30のうち、その画像フレームのPTSに設定された識別情報に応じた領域に書き込む。
図12は、プロジェクター1が4台の画像出力装置の各々から画像ストリームを並列的に受信する場合の投射画像30の一例を示した図である。
領域33には、挿入先画像ストリームに応じた画像が表示され、領域34〜36には、それぞれ、挿入元画像ストリームに応じた画像が1つずつサムネイルとして表示される。
<変形例6>
本実施形態では、RTPでの伝送がUDPを用いて行われたが、通信帯域に余裕があり、またシンクとなるプロジェクター1の処理部104の能力が十分な場合にはUDPの代わりにTCP(Transmission Control Protocol)により伝送が行われてもよい。ただし、UDPが用いられた方が、再送制御を持たないので、リアルタイム性に優れている。
<変形例7>
処理部104がプログラムを実行することによって実現される要素の全部または一部は、例えばFPGA(field programmable gate array)またはASIC(Application Specific IC)等の電子回路によりハードウェアで実現されてもよいし、ソフトウェアとハードウェアとの協働により実現されてもよい。
<変形例8>
投射部107では、光変調装置として液晶ライトバルブが用いられたが、光変調装置は液晶ライトバルブに限らず適宜変更可能である。例えば、光変調装置として、3枚の反射型の液晶パネルを用いた構成であってもよい。また、光変調装置は、1枚の液晶パネルを用いた方式、3枚のデジタルミラーデバイス(DMD)を用いた方式、1枚のデジタルミラーデバイスを用いた方式等の構成であってもよい。光変調装置として1枚のみの液晶パネルまたはDMDが用いられる場合には、色分離光学系や色合成光学系に相当する部材は不要である。また、液晶パネルおよびDMD以外にも、光源が発した光を変調可能な構成は、光変調装置として採用できる。
<変形例9>
表示装置として、投射面3に画像を表示するプロジェクター1が用いられたが、表示装置はプロジェクター1に限らず適宜変更可能である。例えば、表示装置は、直視型のディスプレイ(液晶ディスプレイ、有機EL(Electro Luminescence)ディスプレイ、プラズマディスプレイ、CRT(陰極線管)ディスプレイ等)であってもよい。この場合、投射部107の代わりに、直視型の表示部が用いられる。なお、表示装置としてプロジェクター1が用いられる場合、投射面3は、表示装置に含まれない。
<変形例10>
実施形態では、タイムスタンプ情報としてMPEG2−SystemのPCR、PTS、DTSを用いた例を説明しているが、他のタイムスタンプを用いても良い。
1…プロジェクター、101…受取部、102…通信部、103…記憶部、104…処理部、105…デコーダー、106…表示制御部、107…投射部、108…制御部、109…生成部。

Claims (4)

  1. フレーム内圧縮にて符号化された第1フレームを有する第1画像ストリームと、フレーム内圧縮にて符号化された第2フレームを有する第2画像ストリームと、を用いて第3画像ストリームを生成する生成部と、
    前記第3画像ストリームをデコードして前記第3画像ストリームの有するフレーム単位で画像フレームを生成するデコーダーと、
    前記画像フレームに応じた画像の表示を制御する表示制御部と、を含み、
    前記第3画像ストリームは、前記第1画像ストリームにおいて、前記第1フレームと当該第1フレームの後の第3フレームとの間に前記第2フレームが挿入され、さらに、前記第3フレームの前に前記第1フレームのコピーが挿入された画像ストリームであり、
    前記デコーダーは、
    前記第3画像ストリームにおいて前記第2フレームよりも前の1以上のフレームのデコードを、前記第1画像ストリームにて特定される第1フレームレートよりも高い第2フレームレートで実行し、
    前記1以上のフレームを前記第1フレームレートでデコードした場合のデコード時間と、前記1以上のフレームを前記第2フレームレートでデコードした場合のデコード時間との差分の時間内に、前記第1フレームのコピーと前記第2フレームとをデコードすることを特徴とする表示装置。
  2. 前記第1画像ストリームおよび前記第2画像ストリームを受信する通信部と、
    前記生成部は、前記第2フレームに、前記第2フレームの送信元に応じた識別情報を付加し、
    前記第2フレームを元に生成された画像フレームは、前記識別情報を有し、
    前記表示制御部は、前記識別情報を有する画像フレームに応じた画像を、前記識別情報を有さない画像フレームに応じた画像とは異なる領域に表示させることを特徴とする請求項1に記載の表示装置。
  3. 前記第2フレームを元に生成された画像フレームは、表示タイミングを複数桁の数値の大きさで表すタイミング情報を有し、
    前記表示タイミングは、前記数値が大きいほど遅くなり、
    前記生成部は、前記複数桁のうちの特定の桁に、前記識別情報を設定することを特徴とする請求項2に記載の表示装置。
  4. フレーム内圧縮にて符号化された第1フレームを有する第1画像ストリームと、フレーム内圧縮にて符号化された第2フレームを有する第2画像ストリームと、を用いて第3画像ストリームを生成する生成ステップと、
    前記第3画像ストリームをデコードして前記第3画像ストリームの有するフレーム単位で画像フレームを生成するデコードステップと、
    前記画像フレームに応じた画像の表示を制御する制御ステップと、を含み、
    前記第3画像ストリームは、前記第1画像ストリームにおいて、前記第1フレームと当該第1フレームの後の第3フレームとの間に前記第2フレームが挿入され、さらに、前記第3フレームの前に前記第1フレームのコピーが挿入された画像ストリームであり、
    前記デコードステップでは、
    前記第3画像ストリームにおいて前記第2フレームよりも前の1以上のフレームのデコードを、前記第1画像ストリームにて特定される第1フレームレートよりも高い第2フレームレートで実行し、
    前記1以上のフレームを前記第1フレームレートでデコードした場合のデコード時間と、前記1以上のフレームを前記第2フレームレートでデコードした場合のデコード時間との差分の時間内に、前記第1フレームのコピーと前記第2フレームとをデコードすることを特徴とする表示装置の制御方法。
JP2017063170A 2017-03-24 2017-03-28 表示装置および表示装置の制御方法 Active JP6834680B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2017063170A JP6834680B2 (ja) 2017-03-28 2017-03-28 表示装置および表示装置の制御方法
US15/928,419 US20180278947A1 (en) 2017-03-24 2018-03-22 Display device, communication device, method of controlling display device, and method of controlling communication device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2017063170A JP6834680B2 (ja) 2017-03-28 2017-03-28 表示装置および表示装置の制御方法

Publications (2)

Publication Number Publication Date
JP2018166283A JP2018166283A (ja) 2018-10-25
JP6834680B2 true JP6834680B2 (ja) 2021-02-24

Family

ID=63923021

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017063170A Active JP6834680B2 (ja) 2017-03-24 2017-03-28 表示装置および表示装置の制御方法

Country Status (1)

Country Link
JP (1) JP6834680B2 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2024032107A1 (en) * 2022-08-08 2024-02-15 Douyin Vision Co., Ltd. Method, apparatus, and medium for visual data processing

Also Published As

Publication number Publication date
JP2018166283A (ja) 2018-10-25

Similar Documents

Publication Publication Date Title
JP3843973B2 (ja) プロジェクタ
CN105227941A (zh) 一种投影控制***
JP6232778B2 (ja) 画像処理装置、画像表示装置、および画像処理装置の制御方法
US20190037181A1 (en) Multi-projection system, projector, and method for controlling projector
JP2019040003A (ja) プロジェクターおよびプロジェクターの制御方法
JP2010175907A (ja) 投射型表示装置及びその表示方法
JP2017129728A (ja) 画質補正方法、及び、画像投射システム
JP6834680B2 (ja) 表示装置および表示装置の制御方法
JP6420897B2 (ja) デジタルマイクロミラーデバイス制御装置と投射表示システム
JP5673024B2 (ja) 画像表示装置、画像表示システム及び画像表示方法
JP6922312B2 (ja) 表示装置および表示装置の制御方法
US10482846B2 (en) Display device having processor that controls communication with external device, control method for display device, and display system
JP2020106580A (ja) 表示装置、表示システム、及び表示方法
JP2014003465A (ja) 画像表示装置及びその制御方法
JP6194681B2 (ja) 画像表示装置
JP2021175063A (ja) 画像表示装置の制御方法、及び画像表示装置
JP2015230648A (ja) 表示装置、および表示装置の制御方法
US20180278947A1 (en) Display device, communication device, method of controlling display device, and method of controlling communication device
JP2013012877A (ja) 映像表示システム、映像表示システムの制御方法、および映像表示装置
JP2020182011A (ja) 画像処理方法および画像処理装置
US11089273B2 (en) Image display system and control method for image display system
JP2020061688A (ja) 投影装置及びその制御方法、プログラム、並びに記憶媒体
US11064171B1 (en) Method of controlling display device, and display device
JP2019028208A (ja) プロジェクター、プロジェクターの制御方法および表示システム
JP7263986B2 (ja) 画像表示システム及び画像表示システムの制御方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20200227

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20201127

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20210105

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20210118

R150 Certificate of patent or registration of utility model

Ref document number: 6834680

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150