JP6834680B2 - 表示装置および表示装置の制御方法 - Google Patents
表示装置および表示装置の制御方法 Download PDFInfo
- Publication number
- JP6834680B2 JP6834680B2 JP2017063170A JP2017063170A JP6834680B2 JP 6834680 B2 JP6834680 B2 JP 6834680B2 JP 2017063170 A JP2017063170 A JP 2017063170A JP 2017063170 A JP2017063170 A JP 2017063170A JP 6834680 B2 JP6834680 B2 JP 6834680B2
- Authority
- JP
- Japan
- Prior art keywords
- frame
- image
- image stream
- stream
- frames
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Landscapes
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
- Controls And Circuits For Display Device (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
Description
また、特許文献1には、複数の入力データに基づいて複数の画像を表示する画像投影装置が記載されている。
ところで、複数の画像ストリームに基づいて複数の画像を表示する構成においては、画像ストリームごとに、画像ストリームをデコードするデコーダーを設けることが考えられる。しかしながら、この場合、画像ストリームの数と同数のデコーダーが必要になり、デコーダーの数が増大してしまう。
この態様によれば、複数の画像ストリームに基づいて複数の画像を表示する構成においてデコーダーの数の増大を抑制することが可能になる。
この態様によれば、画像ストリームに応じた画像を、画像ストリームごとに異なる表示位置に表示可能になる。このため、使用者は、並列的に受信した第1および第2画像ストリームに応じた画像の少なくとも概要を同時に見ることが可能になる。
この態様によれば、表示タイミングを表す複数桁の数値の一部が識別情報として兼用される。このため、専用の識別情報を新たに用いる構成に比べて、情報量を少なくできる。
この態様によれば、複数の画像ストリームに基づいて複数の画像を表示する構成においてデコーダーの数の増大を抑制することが可能になる。
図1は、本発明を適用した第1実施形態の表示装置に係るプロジェクター1を示した図である。プロジェクター1は、Miracastのシンク機能を有する。プロジェクター1は、Miracastのソース機能を有する複数の画像出力装置21〜22と無線通信で同時接続する。なお、プロジェクター1が同時接続する画像出力装置の数は2に限らず2以上であればよい。
ここで、第1フレームレートは、画像ストリーム21aを構成するフレームのデコードの時間間隔に依存し、この時間間隔は、画像ストリーム21aの各フレームのDTSによって特定される。よって、第1フレームレートは、画像ストリーム21aに基づいて、さらに言えば、画像ストリーム21aの各フレームのDTSに基づいて特定される。
プロジェクター1は、画像ストリーム21aから生成された画像フレームに応じた画像と、画像ストリーム22aから生成された画像フレームに応じた画像と、を含む投射画像30を、投射面3に投射する。
第2フレームのPTSに対して送信先ポート番号に応じた識別情報を設定することは、第2フレームに対して、第2フレームの送信元に応じた識別情報を付加することの一例である。
この際、表示制御部106は、PTSに識別情報が設定されていない画像フレームをバッファー110−1に上書きし、PTSに識別情報が設定されている画像フレームをバッファー110−2に上書きする。
また、表示制御部106は、バッファー110−1〜110−2に格納された2つの画像フレームを用いて、画像31〜32(図1参照)を含む投射画像30に応じた画像信号を生成する。
図4は、投射部107の一例を示した図である。投射部107は、光源11、光変調装置の一例である3つの液晶ライトバルブ12(12R,12G,12B)、投射光学系の一例である投射レンズ13、ライトバルブ駆動部14等を含む。投射部107は、光源11から射出された光を液晶ライトバルブ12で変調して投射画像(画像光)を形成し、この投射画像を投射レンズ13から拡大投射する。
図5は、プロジェクター1の動作を説明するためのフローチャートである。
プロジェクター1と画像出力装置21〜22は、Miracastのデバイス発見手順であるP2P(Peer to Peer)デバイスディスカバリーによって互いに発見され接続される(ステップS1)。
続いて、画像出力装置21〜22の各々は、RTP(Real time Transport Protocol)により画像ストリームをUDPデータグラムでプロジェクター1に送信し始める(図8参照)。画像出力装置21〜22の各々は、PCRも、UDPデータグラムに記述して送信し始める。
なお、制御部108は、画像出力装置21からのUDPデータグラム(画像ストリーム21a)を、画像出力装置22からのUDPデータグラム(画像ストリーム22a)よりも優先的に受信してもよい。例えば、制御部108は、画像出力装置21からのUDPデータグラムを受信するために使用する時間を、画像出力装置22からのUDPデータグラムを受信するために使用する時間よりも長くしてもよい。通信部102は、UDPデータグラムを生成部109に出力する。
生成部109は、まず、UDPデータグラムのヘッダーに記載の送信先ポート番号を参照して、画像ストリーム21aと、画像ストリーム22aとを識別する。
図10および図9に示したように、合成画像ストリーム100は、画像ストリーム21aに比べ、Iフレームi2のコピーと「m−1」個のIフレームi3との合計の分だけ、フレームが多くなる。このため、デコーダー105がIフレームi2のコピーと「m−1」個のIフレームi3とをデコードするための時間(以下「追加デコード時間」とも称する)が、新たに必要となる。
そこで、生成部109は、追加デコード時間が捻出され、かつ、追加デコード時間内にIフレームi2のコピーと「m−1」個のIフレームi3とがデコードされるように、デコーダー105のフレームレートを調整する。具体的には、生成部109は、合成画像ストリーム100のDTSと、デコーダー105の動作周波数とを調整する。
なお、時間的に隣り合うフレームでのDTSの差は「100」に限らず適宜変更可能である。
ここで、合成画像ストリーム100において、Iフレームi1からIフレームi2までのフレームは、第2フレームよりも前の1以上のフレームの一例である。フレームレートYは、第1フレームレートの一例である。フレームレート2Yは、第2フレームレートの一例である。
画像出力装置21〜22では、PCRは互いに独立している。合成画像ストリーム100に含まれるフレームのDTSおよびPTSは、そのフレームの送信元である画像出力装置が送信したPCRを基準に設定されている。すなわち、送信元が異なるフレームのDTSおよびPTSは、互いに異なるPCRを基準に設定されている。
そこで、生成部109は、基準となるPCR(以下「基準PCR」と称する)として、合成画像ストリーム100において挿入先となる画像ストリーム21aに対応するPCR(画像出力装置21から送信されたPCR)を決定する。
生成部109は、基準PCRを、デコーダー105に出力する。
このため、デコーダー105は、合成画像ストリーム100のIフレームi1からIフレームi2をフレームレートYでデコードした場合のデコード時間と、合成画像ストリーム100のIフレームi1からIフレームi2をフレームレート2Yでデコードした場合のデコード時間との差分の時間内に、Iフレームi2のコピーとフレーム群Gとをデコードする(図11参照)。
なお、画像フレームには、画像フレームの元になったフレームの有していたPTSが付されている。
デコーダー105は、PTSが付されている画像フレームと、基準PCRとを、表示制御部106に出力する。
具体的には、表示制御部106は、画像フレームのうち、PTSに識別情報が設定されていない画像フレーム(画像ストリーム21aに対応する画像フレーム)については、PTSが示す表示タイミング(基準PCRを基準とした表示タイミング)で、画像メモリー110のバッファー110−1に上書きする。なお、表示制御部106は、Iフレームi2のコピーを元に生成された画像フレームを削除してもよい。
一方、デコーダー105が生成した画像フレームのうち、PTSに識別情報が設定されている画像フレーム(画像ストリーム22aに対応する画像フレーム)については、表示制御部106は、その画像フレームを見つけた場合、その画像フレームを、PTSに関わりなく、画像メモリー110のバッファー110−2に上書きする。
本実施形態では、表示制御部106は、バッファー110−1に格納された画像フレームに応じた画像31の上に、バッファー110−2に格納された画像フレームに応じた画像32が位置する投射画像30に応じた画像信号を生成する。続いて、投射部107は、画像信号に応じた画像を投射面3に投射する(ステップS8)。ステップS8は、制御ステップの一例である。
この投射によって、画像出力装置21からの画像ストリーム21aに基づく画像31が表示され、画像出力装置22からのIフレームに基づく画像32がサムネイルとして表示される。
なお、挿入元画像ストリーム(例えば、画像ストリーム22a)が音声ストリームを伴う場合、音声と画像とで同期ずれが生じる可能性があるが、サムネイルを表示する場合に音声の出力を禁止することで、同期ずれの発生を回避することが可能になる。
本発明は、上述した実施形態に限定されるものではなく、例えば、次に述べるような各種の変形が可能である。また、次に述べる変形の態様の中から任意に選択された一または複数の変形を適宜組み合わせることもできる。
プロジェクター1と画像出力装置21〜22との通信は、Miracastに限らず適宜変更可能である。例えば、Miracastでは、ソース発見にP2Pデバイスディスカバリーが用いられるが、画像出力装置(ソース)発見に、mDNS(multicast Domain Name System)など、P2Pデバイスディスカバリーとは異なる方式が用いられてもよい。また、画像出力装置に対して解像度を指定した上で画像出力装置の再生を制御するプロトコルとして、Miracastの代わりに、例えばDLNA(登録商標)(Digital Living Network Alliance)などが用いられてもよい。
第2フレームレートは、第1フレームレートの2倍に限らず、第1フレームレートよりも高ければよい。この場合、第2フレームレートが高いほど、フレーム群Gに含まれるIフレームi3の数を多くすることができる。なお、第2フレームレートが高くなっても、フレーム群Gに含まれるIフレームi3の数が維持されてもよい。
フレーム群Gに含まれるIフレームi3の数は、例えば「1」でもよい。図11に示した例において、フレーム群Gに含まれるIフレームi3の数を「1」にした場合、フレーム群Gに含まれるIフレームi3と、Iフレームi2のコピーと、のデコードのフレームレートを第1フレームレートにしてもよい。
また、デコードタイミングにおいてフレーム群Gよりも時間的に前のフレームのうち、第2フレームレートでデコードされるフレームは、フレーム群Gの直前のフレームを含まなくてもよい。
画像ストリーム21aの構成は、図9に示した構成に限らず適宜変更可能である。また、画像ストリーム22aの構成も、図9に示した構成に限らず適宜変更可能である。
生成部109は、PTSの最上位の桁とは異なる特定の桁(例えば、PTSの最上位の桁を含まずにPTSの最下位の桁を含む桁)に識別情報を設定してもよい。
プロジェクター1が、3台以上の画像出力装置の各々から画像ストリームを並列的に受信する場合、生成部109は、複数の画像ストリームのいずれか1つを、挿入先画像ストリームとして扱い、残りの画像ストリームを挿入元画像ストリームとして扱ってもよい。
この場合、生成部109は、フレーム群Gを、挿入元画像ストリームの各々から抽出したIフレームで生成する。そして、生成部109は、フレーム群Gを構成するIフレームのPTSに、挿入元画像ストリームに対応した識別情報を設定する。
加えて、表示制御部106は、デコード後の画像フレームに応じた画像を、投射画像30のうち、その画像フレームのPTSに設定された識別情報に応じた領域に書き込む。
図12は、プロジェクター1が4台の画像出力装置の各々から画像ストリームを並列的に受信する場合の投射画像30の一例を示した図である。
領域33には、挿入先画像ストリームに応じた画像が表示され、領域34〜36には、それぞれ、挿入元画像ストリームに応じた画像が1つずつサムネイルとして表示される。
本実施形態では、RTPでの伝送がUDPを用いて行われたが、通信帯域に余裕があり、またシンクとなるプロジェクター1の処理部104の能力が十分な場合にはUDPの代わりにTCP(Transmission Control Protocol)により伝送が行われてもよい。ただし、UDPが用いられた方が、再送制御を持たないので、リアルタイム性に優れている。
処理部104がプログラムを実行することによって実現される要素の全部または一部は、例えばFPGA(field programmable gate array)またはASIC(Application Specific IC)等の電子回路によりハードウェアで実現されてもよいし、ソフトウェアとハードウェアとの協働により実現されてもよい。
投射部107では、光変調装置として液晶ライトバルブが用いられたが、光変調装置は液晶ライトバルブに限らず適宜変更可能である。例えば、光変調装置として、3枚の反射型の液晶パネルを用いた構成であってもよい。また、光変調装置は、1枚の液晶パネルを用いた方式、3枚のデジタルミラーデバイス(DMD)を用いた方式、1枚のデジタルミラーデバイスを用いた方式等の構成であってもよい。光変調装置として1枚のみの液晶パネルまたはDMDが用いられる場合には、色分離光学系や色合成光学系に相当する部材は不要である。また、液晶パネルおよびDMD以外にも、光源が発した光を変調可能な構成は、光変調装置として採用できる。
表示装置として、投射面3に画像を表示するプロジェクター1が用いられたが、表示装置はプロジェクター1に限らず適宜変更可能である。例えば、表示装置は、直視型のディスプレイ(液晶ディスプレイ、有機EL(Electro Luminescence)ディスプレイ、プラズマディスプレイ、CRT(陰極線管)ディスプレイ等)であってもよい。この場合、投射部107の代わりに、直視型の表示部が用いられる。なお、表示装置としてプロジェクター1が用いられる場合、投射面3は、表示装置に含まれない。
実施形態では、タイムスタンプ情報としてMPEG2−SystemのPCR、PTS、DTSを用いた例を説明しているが、他のタイムスタンプを用いても良い。
Claims (4)
- フレーム内圧縮にて符号化された第1フレームを有する第1画像ストリームと、フレーム内圧縮にて符号化された第2フレームを有する第2画像ストリームと、を用いて第3画像ストリームを生成する生成部と、
前記第3画像ストリームをデコードして前記第3画像ストリームの有するフレーム単位で画像フレームを生成するデコーダーと、
前記画像フレームに応じた画像の表示を制御する表示制御部と、を含み、
前記第3画像ストリームは、前記第1画像ストリームにおいて、前記第1フレームと当該第1フレームの後の第3フレームとの間に前記第2フレームが挿入され、さらに、前記第3フレームの前に前記第1フレームのコピーが挿入された画像ストリームであり、
前記デコーダーは、
前記第3画像ストリームにおいて前記第2フレームよりも前の1以上のフレームのデコードを、前記第1画像ストリームにて特定される第1フレームレートよりも高い第2フレームレートで実行し、
前記1以上のフレームを前記第1フレームレートでデコードした場合のデコード時間と、前記1以上のフレームを前記第2フレームレートでデコードした場合のデコード時間との差分の時間内に、前記第1フレームのコピーと前記第2フレームとをデコードすることを特徴とする表示装置。 - 前記第1画像ストリームおよび前記第2画像ストリームを受信する通信部と、
前記生成部は、前記第2フレームに、前記第2フレームの送信元に応じた識別情報を付加し、
前記第2フレームを元に生成された画像フレームは、前記識別情報を有し、
前記表示制御部は、前記識別情報を有する画像フレームに応じた画像を、前記識別情報を有さない画像フレームに応じた画像とは異なる領域に表示させることを特徴とする請求項1に記載の表示装置。 - 前記第2フレームを元に生成された画像フレームは、表示タイミングを複数桁の数値の大きさで表すタイミング情報を有し、
前記表示タイミングは、前記数値が大きいほど遅くなり、
前記生成部は、前記複数桁のうちの特定の桁に、前記識別情報を設定することを特徴とする請求項2に記載の表示装置。 - フレーム内圧縮にて符号化された第1フレームを有する第1画像ストリームと、フレーム内圧縮にて符号化された第2フレームを有する第2画像ストリームと、を用いて第3画像ストリームを生成する生成ステップと、
前記第3画像ストリームをデコードして前記第3画像ストリームの有するフレーム単位で画像フレームを生成するデコードステップと、
前記画像フレームに応じた画像の表示を制御する制御ステップと、を含み、
前記第3画像ストリームは、前記第1画像ストリームにおいて、前記第1フレームと当該第1フレームの後の第3フレームとの間に前記第2フレームが挿入され、さらに、前記第3フレームの前に前記第1フレームのコピーが挿入された画像ストリームであり、
前記デコードステップでは、
前記第3画像ストリームにおいて前記第2フレームよりも前の1以上のフレームのデコードを、前記第1画像ストリームにて特定される第1フレームレートよりも高い第2フレームレートで実行し、
前記1以上のフレームを前記第1フレームレートでデコードした場合のデコード時間と、前記1以上のフレームを前記第2フレームレートでデコードした場合のデコード時間との差分の時間内に、前記第1フレームのコピーと前記第2フレームとをデコードすることを特徴とする表示装置の制御方法。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017063170A JP6834680B2 (ja) | 2017-03-28 | 2017-03-28 | 表示装置および表示装置の制御方法 |
US15/928,419 US20180278947A1 (en) | 2017-03-24 | 2018-03-22 | Display device, communication device, method of controlling display device, and method of controlling communication device |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017063170A JP6834680B2 (ja) | 2017-03-28 | 2017-03-28 | 表示装置および表示装置の制御方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2018166283A JP2018166283A (ja) | 2018-10-25 |
JP6834680B2 true JP6834680B2 (ja) | 2021-02-24 |
Family
ID=63923021
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2017063170A Active JP6834680B2 (ja) | 2017-03-24 | 2017-03-28 | 表示装置および表示装置の制御方法 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6834680B2 (ja) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2024032107A1 (en) * | 2022-08-08 | 2024-02-15 | Douyin Vision Co., Ltd. | Method, apparatus, and medium for visual data processing |
-
2017
- 2017-03-28 JP JP2017063170A patent/JP6834680B2/ja active Active
Also Published As
Publication number | Publication date |
---|---|
JP2018166283A (ja) | 2018-10-25 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP3843973B2 (ja) | プロジェクタ | |
CN105227941A (zh) | 一种投影控制*** | |
JP6232778B2 (ja) | 画像処理装置、画像表示装置、および画像処理装置の制御方法 | |
US20190037181A1 (en) | Multi-projection system, projector, and method for controlling projector | |
JP2019040003A (ja) | プロジェクターおよびプロジェクターの制御方法 | |
JP2010175907A (ja) | 投射型表示装置及びその表示方法 | |
JP2017129728A (ja) | 画質補正方法、及び、画像投射システム | |
JP6834680B2 (ja) | 表示装置および表示装置の制御方法 | |
JP6420897B2 (ja) | デジタルマイクロミラーデバイス制御装置と投射表示システム | |
JP5673024B2 (ja) | 画像表示装置、画像表示システム及び画像表示方法 | |
JP6922312B2 (ja) | 表示装置および表示装置の制御方法 | |
US10482846B2 (en) | Display device having processor that controls communication with external device, control method for display device, and display system | |
JP2020106580A (ja) | 表示装置、表示システム、及び表示方法 | |
JP2014003465A (ja) | 画像表示装置及びその制御方法 | |
JP6194681B2 (ja) | 画像表示装置 | |
JP2021175063A (ja) | 画像表示装置の制御方法、及び画像表示装置 | |
JP2015230648A (ja) | 表示装置、および表示装置の制御方法 | |
US20180278947A1 (en) | Display device, communication device, method of controlling display device, and method of controlling communication device | |
JP2013012877A (ja) | 映像表示システム、映像表示システムの制御方法、および映像表示装置 | |
JP2020182011A (ja) | 画像処理方法および画像処理装置 | |
US11089273B2 (en) | Image display system and control method for image display system | |
JP2020061688A (ja) | 投影装置及びその制御方法、プログラム、並びに記憶媒体 | |
US11064171B1 (en) | Method of controlling display device, and display device | |
JP2019028208A (ja) | プロジェクター、プロジェクターの制御方法および表示システム | |
JP7263986B2 (ja) | 画像表示システム及び画像表示システムの制御方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20200227 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20201127 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20210105 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20210118 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6834680 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |