JP7126382B2 - 表示装置 - Google Patents

Description

本発明は、表示装置に関する。

昨今、高解像度のパネルを用いた液晶テレビやモニタに注目が集まっている。４Ｋ等の高解像度のデジタル信号を出力可能な規格として、ＨＤＭＩ（High-Definition Multimedia Interface）（登録商標）やディスプレイポートが主流となっている。年々新たな規格が制定され、新製品への対応が進められているが、新しい解像度へ対応するための規格の制定には時間を要している。例えば、次世代の８Ｋ（４Ｋ×４）の出力は、現状１入力で処理できるまでには至っていない。

この８Ｋを現在の技術で入力する方法として、４Ｋ画像（映像）信号に基づく画像を組み合わせて、１枚の８Ｋ画像として出力する方法が利用されている。この場合、表示装置に１枚の高解像度の画像を出力するためには、まず、画像信号を出力する装置であるソース機器は、高解像度の画像を複数に分割し、それぞれの画像を画像信号として出力する。また、画像信号を入力する表示装置側は、画像信号に基づく画像を適切な位置に当てはめて、１枚の画像として出力する。

このとき、ソース機器と表示装置とは、複数のケーブルによって接続されるため、ケーブルの接続方法によっては、画像信号に基づく画像を適切な位置に表示されない場合がある。そこで、複数のケーブルで伝送されるそれぞれの映像信号が示す映像が、表示パネル上で所定の配列になるように、並び替えを行う並替部を備える表示装置が提案されている（例えば、特許文献１参照）。

特開２０１３－１５３４１０号公報

しかしながら、特許文献１に記載された表示装置が、画像を適切な位置に表示されるように並び替えを行うときは、表示装置の表示領域を分割したそれぞれの領域に、異なる色の有するテスト画像を表示させる必要があった。したがって、ソース機器から表示装置に対して、テスト画像の画像信号を送信するといった、ソース機器側の操作を必要とし、手間がかかるという問題があった。

本願は上述した課題に鑑み、入力された複数の画像信号に基づく画像を自動的に入れ替えて、適切な位置に画像を表示することができる装置を提供することを目的とする。

上述した課題を解決するために、本発明の表示装置は、
画像を入力する端子を複数有し、前記入力された画像をそれぞれ表示可能な複数の表示領域を含む表示部を有する表示装置において、
前記端子から入力された複数の画像を１枚の画像に合成する画像合成部と、
前記画像合成部により合成される合成画像において互いに隣接する画像の境界領域にある画素値をそれぞれ比較する比較部と、
前記比較部により比較した結果、前記境界領域の画素値が近似するように、前記画像を前記表示領域に表示する制御を行う表示制御部と、
を備えることを特徴とする。

本発明によれば、入力された画像を１枚の画像として合成されるときに、境界領域にある画素値を比較し、境界領域の画素値が近似するように、画像を表示することができる。したがって、ユーザは、ソース機器側と表示装置側との端子の組み合わせを気にすること無く、また、ソース機器の操作をするといった手間を掛けること無く、適切な位置に画像を配置された合成画像を表示装置に表示させることが可能となる。

第１実施形態における全体構成を説明するための図である。 第１実施形態における表示装置の機能構成を説明するための図である。 第１実施形態におけるメイン処理を説明するための動作フロー図である。 第１実施形態における実施例を説明するための図である。 第２実施形態におけるメイン処理を説明するための動作フロー図である。 第３実施形態におけるメイン処理を説明するための動作フロー図である。 第３実施形態における動作例を説明するための図である。 第４実施形態におけるメイン処理を説明するための動作フロー図である。 第４実施形態における動作例を説明するための図である。 第４実施形態における動作例を説明するための図である。 第４実施形態における動作例を説明するための図である。 第５実施形態におけるメイン処理を説明するための動作フロー図である。 第５実施形態における動作例を説明するための図である。 第６実施形態におけるメイン処理を説明するための動作フロー図である。 第６実施形態における動作例を説明するための図である。 第７実施形態におけるメイン処理を説明するための動作フロー図である。 第７実施形態における動作例を説明するための図である。 第８実施形態におけるメイン処理を説明するための動作フロー図である。

以下、本発明の実施の形態について、図面を参照して説明する。なお、本実施形態では、一例として、本願発明を適用した表示装置について説明する。

［１．第１実施形態］
［１．１ 全体構成］
第１実施形態の全体構成について説明する。図１は、本発明を適用した表示装置１０と、ソース機器２０とが、複数のケーブルによって接続された状態を示した図である。表示装置１０とソース機器２０とは、例えば、ＨＤＭＩケーブルで接続されており、ソース機器２０から表示装置１０へは、映像のフレーム画像や、音声の信号が送信される。

表示装置１０は、例えば、８Ｋテレビである。また、８Ｋモニタであってもよい。なお、表示装置１０の解像度は、８Ｋに限定されず、４Ｋ、１６Ｋ、３２Ｋであってもよい。また、ソース機器２０は、例えば、高解像度の画像信号を分割して出力可能なコンテンツ再生装置である。なお、ソース機器２０は、８Ｋ放送用対応チューナであってもよいし、ＰＣ（Personal Computer）のような情報処理装置であってもよい。

［１．２ 機能構成］
つづいて、図２を参照して、表示装置１０の機能構成について説明する。図２に示すように、表示装置１０は、制御部１００と、画像信号入力部１１０と、画像処理部１２０と、メモリ１３０と、ＦＰＧＡ（Field Programmable Gate Array）１４０と、表示制御部１５０と、表示部１６０とを備えて構成される。

制御部１００は、表示装置１０の全体を制御するための機能部である。本実施形態は、制御部１００は、ＳｏＣ（System on a Chip）を用いて構成することとして説明するが、ＳｉＰ（System In Package）や、１又は複数のＣＰＵ（Central Processing Unit）を用いて構成されてもよい。

画像信号入力部１１０は、ソース機器２０から出力される画像信号を入力する機能部である。また、画像信号入力部１１０は、入力された画像信号を、フレームレート（例えば、１秒間に６０フレーム）に合わせて、１又は複数の画像データにデコードして、所定のタイミングで出力する。例えば、画像信号入力部１１０は、ＨＤＭＩ端子と、ＨＤＭＩ端子から入力される画像信号をデコードして画像データに変換するＴＭＤＳ（Transition Minimized Differential Signaling）デコーダとを備えて構成される。なお、ＨＤＭＩを用いる場合は、ＴＭＤＳによって、音声データ、コマンドデータ等もデコードされ出力されるが、本実施形態においては、画像データを中心に説明する。

また、本実施形態では、説明のため、表示装置１０には、画像信号入力部１１０は４つ備えられ、各画像信号入力部１１０を、第１画像信号入力部１１０２、第２画像信号入力部１１０４、第３画像信号入力部１１０６、第４画像信号入力部１１０８と記載することとする。また、各画像信号入力部１１０に入力される画像信号を、入力１、入力２、入力３、入力４と記載する。また、入力１に基づく画像データを第１画像データ、入力２に基づく画像データを第２画像データ、入力３に基づく画像データを第３画像データ、入力４に基づく画像データを第４画像データと記載する。

なお、表示装置１０は、表示部１６０に表示する画像の解像度に合わせて、画像信号入力部１１０を複数備える。高解像度の画像を表示するために、ｎ本の画像信号の入力が必要な場合は、表示装置１０は、入力１から入力ｎまでの画像信号をそれぞれ入力可能な、第１画像信号入力部１１０２から第ｎ画像信号入力部１１０９を備える。また、画像信号入力部１１０から出力される画像データの数は、数フレームおきに、連続の画像データを出力してもよい。この場合は、１回の出力タイミングにおいて、連続した複数の画像データ（図２においては、Ａ～Ｎの矢印で示している。）が画像処理部１２０に出力されることとなる。

また、画像信号入力部１１０は、制御部１００の制御により、入力された画像信号をダウンコンバートし、解像度を低くした画像データを出力してもよい。なお、ダウンコンバートは画像信号全体に対して行ってもよいし、画像信号の一部の領域に対応する信号に対してのみ行ってもよい。

画像処理部１２０は、画像信号入力部１１０から出力される画像データ対する処理を実行する機能部である。所定の処理とは、例えば、画像データの特定の画素における画素値を抽出するといった画像データの調査や、複数の画像データを所定の配置パターンに基づいて配置して、１枚の高解像度の画像データとして合成した画像データ（以下、「合成画像データ」という）を生成し出力する処理である。

なお、配置パターンとは、複数の画像データを合成して表示部１６０の表示領域に表示する場合における、画像データと配置位置との組み合わせを示したデータである。本実施形態では、４つの画像信号入力部１１０から画像データが出力されるため、表示部１６０の表示領域を田の字型に４分割し、左上、右上、左下、右下の複数の表示領域のそれぞれに画像データを表示する。この、表示領域と表示領域に表示する画像データとの対応を配列で表現したものを配置パターンとする。例えば、配置パターンが（第１画像データ、第２画像データ、第３画像データ、第４画像データ）という配列のデータであれば、画像処理部１２０は、左上に第１画像データ、右上に第２画像データ、左下に第３画像データ、右下に第４画像データを配置して、１つの画像データとした合成画像データを生成する。なお、配置パターンは、画像処理部１２０に記憶してもよいし、表示装置１０に、配置パターンを記憶する記憶部を設けて、その記憶部に記憶してもよく、初期値として適当な配置パターンが記憶されていることとする。

メモリ１３０は、画像信号入力部１１０から出力される画像を一時的に記憶する、フレームバッファである。メモリ１３０は、例えば、半導体メモリであるＳＲＡＭ（Static RAM）や、ＳＳＤ（Solid State Drive）によって構成される。

ＦＰＧＡ１４０は、任意の論理回路を構成可能なＬＳＩ（Large Scale Integration）である。本実施形態では、画像処理部１２０から出力される合成画像データに基づき、表示制御部１５０に入力する制御信号を生成する機能部として用いる。

表示制御部１５０は、表示部１６０の駆動や出力の制御を行う機能部であり、表示部１６０は合成画像データを出力する機能部である。例えば、表示制御部１５０は、ＬＣＤ（Liquid Crystal Display）コントローラであり、表示部１６０はＬＣＤである。この場合、表示制御部１５０は、合成画像データを読み取り、表示部１６０の各ドットのサブピクセル毎に透過量を制御したり、バックライトの明るさの制御を行ったりする。なお、表示部１６０は、有機ＥＬディスプレイ（ＯＬＥＤ）や有機ＥＬ（Electro-Luminescence）ディスプレイ等の表示装置によって構成されてもよい。

［１．３ 処理の流れ］
つづいて、図３を参照して、本実施形態のメイン処理について説明する。はじめに、画像処理部１２０は、画像信号入力部１１０から４つの画像信号が入力されたか否かを判定する（ステップＳ１０２）。本実施形態では、画像信号入力部１１０は、入力された画像信号をデコードして画像データを出力する。したがって、画像処理部１２０は、４つの画像信号入力部１１０から画像データが出力されたか否かによって、４つの画像信号が入力されたか否かを判定すればよい。なお、画像信号入力部１１０から出力された画像データは、メモリ１３０に記憶される。

つづいて、画像処理部１２０は、メモリ１３０に記憶された画像データを読み取り、配置パターンに基づいて画像データを配置して合成した合成画像データを生成する（ステップＳ１０４）。そして、画像処理部１２０は、合成画像データの中心部分の画素値であるＲＧＢ値を読み取る（ステップＳ１０６）。

合成画像データの中心部分は、４枚の画像データによって構成される境界領域である。ここで、境界領域とは、複数の画像データの境界が隣接する領域をいう。本実施形態では、左上に配置される画像データの右下の１画素と、右上に配置される画像データの左下の１画素と、左下に配置される画像データの右上の１画素と、右下に配置される画像データの左上の１画素とによって構成される領域を境界領域とする。したがって、ステップＳ１０６において、画像処理部１２０は、境界領域である合成画像データの中心部分を構成する４つの画素のＲＧＢ値をそれぞれ読み取る。

ＲＧＢ値とは、画像データの特定の画素において出力する色（画素値）を、光の三原色である赤、緑、青のそれぞれの出力量の組み合わせで表した値。また、ＲＧＢ値において、赤色の光の出力量をＲ値、緑色の光の出力量をＧ値、青色の光の出力量をＢ値とする。例えば、Ｒ値、Ｇ値、Ｂ値は、それぞれ０から２５５までの何れかの値を取ることとしたとき、ＲＧＢ値がＲ値＝０、Ｇ値＝０、Ｂ値＝０であれば、その画素は黒であり、ＲＧＢ値がＲ値＝２５５、Ｇ値＝２５５、Ｂ値＝２５５であれば、その画素は白である。なお、説明のため、本実施形態では、ＲＧＢ値のＲ値、Ｇ値、Ｂ値は、それぞれ０～２５５の２５６段階のいずれか値をとることとして説明するが、２５６段階以外（例えば、１０２４段階、４０９６段階）であってもよい。

つづいて、画像処理部１２０は、合成画像データの中心部分、すなわち、境界領域に含まれる画素のＲＧＢ値が近似するか否かを判定する（ステップＳ１０８）。本実施形態では、境界領域は４つの画素によって構成されるため、４つの画素から異なる２つの画素の画素値が近似するかを判定し、その判定結果に基づいて、合成画像データの中心部分のＲＧＢ値が近似するか否かを判定すればよい。例えば、４つの画素から異なる２つの画素を選択する組み合わせである６通りの組み合わせの全てについて、選択した２つの画素のＲＧＢ値が近似したときに、中心部分のＲＧＢ値が近似すると判定する。また、右上に配置される画像データの左下の画素と、左下に配置される画像データの右上の画素と、右下に配置される画像データの左上の画素との３つの画素のＲＧＢ値について、それぞれ、左上に配置される画像データの右下の画素のＲＧＢ値と比較して、ＲＧＢ値が類似した場合に中心部分のＲＧＢ値が近似すると判定してもよい。

ここで、ＲＧＢ値が近似するとは、２つの画素におけるＲＧＢ値を比較したときに、Ｒ値、Ｇ値、Ｂ値の差分が所定の範囲（以下、「近似判定範囲」という）に収まるときをいう。例えば、近似判定範囲を「－５～＋５」とした場合、２つの画素を比較したときに、Ｒ値、Ｇ値、Ｂ値の差分が、何れも－５～＋５の範囲内であれば、比較した２つの画素のＲＧＢ値が近似することとする。なお、近似判定範囲は、表示装置１０に予め設定されていてもよいし、ユーザによって変更可能であってもよい。

なお、近似判定範囲は、Ｒ値、Ｇ値、Ｂ値のそれぞれについて、別の範囲にしてもよい。例えば、人間の目は、緑に対して感度がよいため、Ｇ値に対する近似判定範囲を、Ｒ値及びＢ値に対する近似判定範囲よりも狭くしてもよい。また、表示部１６０の表示特性に基づいて、近似判定範囲を決定してもよい。

また、画素値の近似を、画素値の変化量に基づいて判定してもよい。例えば、一方の画素値と、他方の画素値との変化量が、ウェーバーの法則により、ユーザが同じ色と感じる範囲（例えば、２％）に収まっていれば、２つの画素値は近似すると判定する。

なお、上述したように、画素値をＲＧＢ値で表現して近似するか否かを判定する代わりに、画素値を別の表色系で表現した上で、画素値が近似するか否かを判定してもよい。例えば、画素値を、明度と、赤と緑の色度と、黄色と青の色度とによって表現したＬａｂ値で表現してもよいし、ＸＹＺ色空間の値によって表現したＸＹＺ値で表現してもよい。また、画素値のうちの一部の値を用いて、画素値が近似するか否かを判定してもよい。

合成画像データの中心部分のＲＧＢ値が近似しない場合は（ステップＳ１０８；Ｎｏ）、誤った配置パターンに基づいて合成画像データを生成したとして、画像処理部１２０は、ランダムに画像データを並び替えて、画像データの配置を入れ替えた別の並びの配置パターンを生成する（ステップＳ１１０）。そして、ステップＳ１０４～ステップＳ１０８の処理を行う。画像処理部１２０は、ＲＧＢ値が近似する配置パターンが特定できるまで、ステップＳ１０４～ステップＳ１１０の処理を実行する。

合成画像データの中心部分のＲＧＢ値が近似する場合は（ステップＳ１０８；Ｙｅｓ）、合成画像データが正しい画像であるとして、その合成画像データを生成した配置パターンを適切な配置パターンとして記憶する。そして、画像信号入力部１１０から出力される画像データに対して、適切な配置パターンに沿って画像データを配置して生成した合成画像データをＦＰＧＡ１４０に出力するようにする。ＦＰＧＡ１４０は、画像処理部１２０から出力される合成画像データに基づき、表示制御部１５０に対して制御信号を送信する。そして、制御信号に基づく表示制御部１５０の制御により、合成画像データは、表示部１６０により、映像として出力される（ステップＳ１１２）。

なお、全ての配置パターンのいずれにおいても、中心部分のＲＧＢ値が近似しない場合には、所定の時間をおき（例えば、１０フレーム分の時間）、改めてメイン処理を実行する。表示装置１０に入力される画像信号が映像に基づくフレーム画像の画像信号であれば、時間の経過によって画像データが変化するため、変化した画像データに基づいてメイン処理を実行することで、合成画像データの中心部分のＲＧＢ値が近似する配置パターンを特定することが可能となる。

［１．４ 動作例］
つづいて、図４を参照して、本実施形態の動作例を説明する。図４（ａ）は、合成画像データと合成画像データの中心部分の位置を示した図であり、図４（ｂ）は、合成画像データの中心部分を構成する境界領域を示した図であり、図４（ｃ）及び図４（ｄ）は、画素値を比較する組み合わせを示した図である。

図４（ａ）は、配置パターンが（第１画像データ、第２画像データ、第３画像データ、第４画像データ）であるときに、配置パターンに沿って画像データを配置して合成した合成画像データの例である。図４（ａ）に示すように、入力１に基づく第１画像データが左上に、入力２に基づく第２画像データが右上に、入力３に基づく第３画像データが左下に、入力４に基づく第４画像データが右下に配置される。

また、合成画像データの中心部分である境界領域Ｅ１００は、４枚の画像データが接する領域である。ここで、境界領域Ｅ１００は、各画像データの四隅の画素のうち、他の３つの画像の四隅における画素の何れかと対向する画素によって構成され、図４（ｂ）に示すような、縦２画素、横２画素の領域である。ここで、第１画像データの右下の画素をＰ１、第２画像データの左下の画素をＰ２、第３画像データの右上の画素をＰ３、第４画像データの左上の画素をＰ４とする。

そして、画像処理部１２０は、Ｐ１、Ｐ２、Ｐ３、Ｐ４の４つの画素の画素値が近似するか否かを判定する。ここで、画像処理部１２０は、４つの画素のうち２つの画素を選択し、選択した２つの画素のＲＧＢ値が近似するか否かを判定する。

４つの画素のうち２つの画素を選択する全ての組み合わせは、図４（ｃ）の矢印で示したように６通りある。したがって、画像処理部１２０は、６通りの画素の組み合わせにおいて、ＲＧＢ値が近似する場合に、中心部分のＲＧＢ値が近似すると判定する。

なお、画像処理部１２０は、６通りのうちの一部の組み合わせにおいて、ＲＧＢ値が近似しているか否かを判定してもよい。例えば、図４（ｄ）に示すように、Ｐ２、Ｐ３、Ｐ４の画素の画素値について、Ｐ１の画素値と比較する場合は、組み合わせの数は３通りとなる。この３通りの画素の組み合わせにおいて、ＲＧＢ値が近似する場合に、画像処理部１２０は、中心部分のＲＧＢ値が近似すると判定してもよい。

また、本実施形態は、ステップＳ１０４において合成画像データを生成したうえで合成画像データの中心部分のＲＧＢ値が近似するか否かを判定したが、合成画像データを生成せず、各画像データから境界領域を構成する画素のＲＧＢ値を読み出して比較をしてもよい。このようにすることで、合成画像データを生成する処理を行うこと無く配置パターンを決定できるため、処理時間の削減が可能となる。

なお、本実施形態では、境界領域は、各画像データにおいて、他の画像データと対向する側の隅部領域の１画素によって構成されることとして説明したが、２以上の画素によって構成されてもよい。この場合は、比較する画素値の組み合わせの数を多くしてもよいし、境界領域を構成する画素の画素値の平均値を比較してもよい。また、境界領域が、円形状やひし形状に構成されてもよい。

また、ステップＳ１１０においては、完全にランダムに配置パターンを生成してもよいし、生成する配置パターンの順番を事前に定めておいてもよい。なお、配置パターンを順に生成する場合は、ユーザが接続しやすいケーブルの順に対応する配置パターンが優先的に生成されるようにしてもよい。このようにすることで、完全にランダムに配置パターンを生成する場合と比べて、適切な配置パターンを早く特定できる可能性を高くすることができる。

また、４Ｋ、１６Ｋ、３２Ｋといった場合でも、上述した処理によって適切な配置パターンを特定することが可能である。また、画像データが４枚である場合について説明したが、それ以上の画像データを用いる場合に応用することも可能である。例えば、画像データが横４枚、縦２枚の計８枚によって構成されるような横長の映像を表示する場合は、４枚の画像データが左上、右上、左下、右下とで隣接することによって構成される境界領域が３箇所ある。したがって、画像処理部１２０は、８枚の画像データをランダムに並べたときに、３箇所の境界領域のそれぞれについて、境界領域を構成する画素のＲＧＢ値が近似するか否かを判定すればよい。画像処理部１２０は、３箇所の境界領域のそれぞれについて、境界領域を構成する画素のＲＧＢ値が近似すると判定した場合は、その配置パターンを、適切な配置パターンとすればよい。

上述した配置パターンの特定は、ユーザの指示があったときに行ってもよいし、起動時（表示装置１０の電源投入時）に行ってもよい。また、定期的に行ってもよい。

本実施形態によれば、表示装置１０は、入力された画像信号に基づき、画像データを適切な位置に配置することが可能となる。したがって、ユーザは、ソース機器２０と、表示装置１０とで、正しい端子に接続されているかを確認する必要がなく、また、ソース機器２０に対する操作をしなくても、高解像度の画像（映像）を容易に体感することができる。

また、画素値の比較に基づいて適切な配置パターンを特定するため、高い精度で適切な配置パターンを特定することが可能となる。

［２．第２実施形態］
つづいて第２実施形態について説明する。第２実施形態は第１実施形態と異なり、予め全ての配置パターンに基づく合成画像データを生成し、その中で中心部分のＲＧＢ値が最も近似する配置パターンを特定する実施形態である。なお、本実施形態は、第１実施形態の図３を図５に置き換えたものであり、同一の機能部及び処理には同一の符号を付し、説明については省略する。

本実施形態のメイン処理について、図５を参照して説明する。画像処理部１２０は、画像信号の入力がされたと判定した場合は、つづいて、全ての配置パターンに基づく合成画像データを生成し、中心部分のＲＧＢ値を読み取る（ステップＳ２０２）。たとえば、画像信号が４つ入力される場合は、それぞれの入力に基づき、４枚の画像データが画像信号入力部１１０から出力される。この、４枚の画像データをそれぞれ異なる位置に配置する組み合わせは２４通りある。したがって、画像処理部１２０は、２４枚の合成画像データを生成する。そして、合成画像データ毎に、中心部分から、境界領域を構成する４画素分のＲＧＢ値を読み出す。

つづいて、画像処理部１２０は、ステップＳ２０２で読み取ったＲＧＢ値に基づき、ＲＧＢ値が最も近似する配置パターンを特定する（ステップＳ２０４）。例えば、画像処理部１２０は、境界領域を構成する４つの画素のＲＧＢ値の差分が最小となる配置パターンをＲＧＢ値が最も近似する配置パターンとする。この場合は、４つの画素から２つの画素を選択した６つの組み合わせのうち、ＲＧＢ値が近似する画素の組み合わせが最も多い配置パターンをＲＧＢ値が最も近似する配置パターンとする。または、差分のばらつきが最小となる配置パターンや、画素値の変化量がもっとも小さい配置パターンを、ＲＧＢ値が最も近似する配置パターンとしてもよい。このように、境界領域を構成する４つの画素のＲＧＢ値に基づく比較可能な値（量）を算出し、算出した値に基づいて、ＲＧＢ値が最も近似する配置パターンを特定する。

そして、画像処理部１２０は、合成画像データをＦＰＧＡ１４０に出力することで、ステップＳ２０４で特定した配置パターンに基づく合成画像データを映像として出力する（ステップＳ１１２）。

なお、ステップＳ２０４において、ＲＧＢ値が最も近似する配置パターンであっても、ＲＧＢ値が近似する画素の組み合わせ数が少なかったり、ばらつきや変化量といった値が大きかったりする場合は、特定した配置パターンが適切である可能性が低いと考えられる。具体的には、ステップＳ２０４で算出する値に対して、閾値や近似と判定する範囲を定め、ステップＳ２０４で算出する値が、閾値に基づき適切な値ではない場合や、近似と判定する範囲に収まらない場合は、適切な配置パターンである可能性が低いと判定する。例えば、境界領域を構成する４画素のうち２画素を選択する６通りの組み合わせについて、画素値が近似する組み合わせの数をステップＳ２０４において算出する値とする。そして、この値に対して閾値を６とする。この場合、全ての配置パターンの内、最もＲＧＢ値が近似する画素の組み合わせが最も多い配置パターンであっても、ＲＧＢ値が近似する画素の組み合わせが５以下であったときは、画像処理部１２０は、適切な配置パターンである可能性が低いと判定する。このような場合は、所定の時間が経過した後（例えば、１０フレーム分の時間）、改めてステップＳ２０２から処理をやり直してもよい。

なお、第１実施形態と同様に、ステップＳ２０２においては、合成画像データを生成せず、各画像データから境界領域を構成する画素のＲＧＢ値を読み出して比較をしてもよい。

本実施形態によれば、全配置パターンから最もＲＧＢ値が近似する配置パターンを特定するため、適切な配置パターンを精度良く特定することが可能となる。

［３．第３実施形態］
つづいて第３実施形態について説明する。第３実施形態は第２実施形態における配置パターンの特定を複数回行う実施形態である。なお、本実施形態は、第２実施形態の図５を図６に置き換えたものであり、同一の機能部及び処理には同一の符号を付し、説明については省略する。

本実施形態のメイン処理について、図６を参照して説明する。画像処理部１２０は、画像信号が入力されたら、全配置パターンの中心部分におけるＲＧＢ値を読み取り、ＲＧＢ値が最も近似する配置パターンを特定可能であるか否かを判定する（ステップＳ３０２）。ＲＧＢ値が最も近似する配置パターンを特定可能であるとは、例えば、ＲＧＢ値が最も近似する配置パターンが、適切な配置パターンである可能性が高い場合である。より具体的には、境界領域を構成する４つの画素のＲＧＢ値に基づく比較可能な値（量）を算出して、最もＲＧＢ値が最も近似する配置パターンを求めたときに、その値が閾値に基づき適切な値である場合や、近似と判定する範囲に収まる場合である。ステップＳ３０２において、ＲＧＢ値が最も近似する配置パターンが特定可能である場合は、画像処理部１２０は、ＲＧＢ値が最も近似する配置パターンを第１配置パターンとして記憶する（ステップＳ３０４）。ここで、第１配置パターンは、適切な配置パターンの候補である。

ステップＳ３０２において、ＲＧＢ値が最も近似する配置パターンを特定できない場合は（ステップＳ３０２；Ｎｏ）、別の画像データに基づいて、ステップＳ２０２及びステップＳ３０２を実行する。このとき、ＲＧＢ値が最も近似する配置パターンが特定できるように、画像データが変化した場合にステップＳ２０２へ戻るようにする。このとき、画像処理部１２０は、ＡＰＬ（Average Picture Level；平均画像レベル）値に変化があるまで待機する（ステップＳ３０６）。なお、ＡＰＬとして、例えば、画像データの平均画素値や、平均輝度値を用いる。このように、画像データが変化するまで待機することにより、例えば、入力された画像が単一色であっても、何度も配置パターンを特定する処理を実行してしまうことを避けることができる。

第１配置パターンを記憶したら、画像処理部１２０は所定時間（例えば、１０フレーム分の時間）が経過したか否かを判定する（ステップＳ３０８）。そして、所定時間経過後（ステップＳ３０８；Ｙｅｓ）、画像処理部１２０は、再度、全配置パターンの中心部分におけるＲＧＢ値を読み取り（ステップＳ３１０）、ＲＧＢ値が最も近似する配置パターンを特定可能であるか否かを判定する（ステップＳ３１２）。ＲＧＢ値が最も近似する配置パターンを特定可能でない場合は、ＡＰＬ値に変化があるまで待機した上で、ステップＳ３１０へ戻る（ステップＳ３１２；Ｎｏ→ステップＳ３１４→ステップＳ３１０）。なお、ステップＳ３１０はステップＳ２０２と、ステップＳ３１２はステップＳ３０２と、ステップＳ３１４はステップＳ３０６と同様の処理を行う。

ＲＧＢ値が最も近似する配置パターンを特定可能であれば、画像処理部１２０は、最も小さい合計差分値となる配置パターンを第２配置パターンとして、第１配置パターンと配置パターンが一致するか否かを判定する（ステップＳ３１４）。第１配置パターンと第２配置パターンとが一致すれば、第１配置パターン（または、第２配置パターン）を適切な配置パターンとして特定する（ステップＳ３１６）。そして、画像処理部１２０は、ステップＳ３１６で特定した配置パターンに基づき画像データを合成して、映像として表示部１６０から出力する（ステップＳ１１２）。

なお、第１配置パターンと、第２配置パターンとが異なる場合は、ステップＳ２０２へ戻る（ステップＳ３１４；Ｎｏ→ステップＳ２０２）。

図７は、本実施形態における動作例を図示したものである。本実施形態は、異なるタイミングで、第１配置パターンと、第２配置パターンを特定する。特に、動画に基づく画像信号が入力された場合には、第１配置パターンを特定するタイミングと、第２配置パターンを特定するタイミングとでは、画像データ（フレーム画像）が異なる。したがって、異なる画像データに基づいて、適切な配置パターンを特定することとなる。

なお、本実施形態は、配置パターンを特定する処理を２回行うこととして説明したが、３回以上行ってもよい。また、配置パターンを特定する処理を、表示部１６０に映像を出力する前の、ブラックアウトしている状態において実行してもよい。

本実施形態によれば、配置パターンを特定する処理を、異なる画像データに基づいて繰り返し行うことができ、適切な配置パターンを特定する精度を向上することができる。

［４．第４実施形態］
つづいて、第４実施形態について説明する。第４実施形態は第１実施形態と異なり、画像信号をダウンコンバートしてから、合成画像データを生成する実施形態である。なお、本実施形態は、第１実施形態の図３を図８に置き換えたものであり、同一の機能部及び処理には同一の符号を付し、説明については省略する。

例えば、表示装置１０が８Ｋの解像度の映像を表示する場合は、画像信号入力部１１０には、通常であれば、４Ｋの画像信号が入力される。しかし、４Ｋの解像度において、ストライプや画素毎に異なる画素値になっている画像の画像信号が入力されたり、森の画像のようなノイズに近い画像の画像信号が入力されたりする場合は、隣接する画素の画素値を比較しても、ＲＧＢ値が近似しない場合がある。このような場合は、表示装置１０は、入力された画像信号をダウンコンバートして、２Ｋの解像度の画像信号として、画像データを出力する。ダウンコンバートすることにより、画像データの解像度が低くなり、画素値が平均化される。そして、２Ｋの解像度の画像データに基づいて、合成画像データを生成して、ＲＧＢ値の比較を行う。したがって、ストライプが含まれる画像や、ノイズに近い画像であっても、画素ごとの画素値が平均化され、画素値の変化が小さくなる。このため、境界領域を構成する画素の画素値の差を小さくでき、配置パターンの特定の精度を向上することができる。

本実施形態におけるメイン処理について、図８を参照して説明する。表示装置１０に画像信号が入力された場合は、画像処理部１２０は、ダウンコンバート条件を満たすか否かを判定する（ステップＳ４０２）。ここで、ダウンコンバート条件とは、画像信号入力部１１０が、画像信号をダウンコンバートする場合における条件であり、例えば、以下の場合はダウンコンバート条件を満たすと判定する。

（１）ダウンコンバートを行うことが設定されている場合
例えば、ユーザの設定により、精度を優先して配置パターンを特定するように指示されている場合は、ダウンコンバートを満たすと判定して、必ずダウンコンバートを行うこととする。

（２）画像データにノイズ成分が多い場合
画像信号に基づく画像データが、ノイズが多いと考えられる場合は、ダウンコンバートを行うこととする。例えば、画素値のヒストグラムを取ったときに、特定の画素値の範囲に含まれる画素が一定の数ある場合は、ノイズが多いと判定する。

ダウンコンバート条件を満たす場合は、画像信号入力部１１０は、画像信号のダウンコンバートを行う（ステップＳ４０２；Ｙｅｓ→ステップＳ４０４）。例えば、画像信号のダウンコンバートは、画像処理部１２０が、画像信号入力部１１０に対して、ダウンコンバートを行うように、制御信号を送信することにより実現する。

つづいて、画像信号に基づき、配置パターンを特定する。例えば、第１実施形態におけるステップＳ１０４～ステップＳ１１０を実行する。

つづいて、配置パターンが特定できた場合は、画像処理部１２０は、画像信号入力部１１０がダウンコンバートをしたか否かを判定する（ステップＳ４０６）。画像信号入力部１１０がダウンコンバートをした場合は、画像信号入力部１１０は、画像信号を元の状態に戻す（ステップＳ４０８）。例えば、画像処理部１２０が、画像信号入力部１１０に対して、ダウンコンバートを行わないように、制御信号を送信することにより実現する。そして、画像処理部１２０は、配置パターンに基づき合成した合成画像データをＦＰＧＡ１４０に出力し、表示部１６０に映像として出力する（ステップＳ１１２）。

本実施形態における動作例を、図を参照して説明する。図９（ａ）は、合成画像データの中心部分である境界領域Ｅ４００を示した図であり、図９（ｂ）は、ダウンコンバート前における境界領域Ｅ４０２の画素値を示したものであり、図９（ｃ）は、ダウンコンバート前における境界領域Ｅ４０４の画素値を示したものである。なお、画素値は、説明を簡単にするため、ＲＧＢ値は、Ｒ値、Ｇ値、Ｂ値の何れも、矩形内に示した値であるとする。

図９（ｂ）に示すように、境界領域Ｅ４０２を構成する４つの画素及びその周りの画素が、ＲＧＢ値がＲ値＝０、Ｇ値＝０、Ｂ値＝０である画素と、ＲＧＢ値がＲ値＝１０、Ｇ値＝１０、Ｂ値＝１０である画素とによって市松模様のように構成されている場合は、縦又は横に隣接するＲＧＢ値は近似しない。

そこで、ダウンコンバートを行うことで、ＲＧＢ値を平均化する。例えば、４Ｋ画像の画像信号を、２Ｋ画像の画像信号にダウンコンバートすることにより、４Ｋにおいて縦２画素、横２画素によって構成されていた画素が、２Ｋにおける１画素となる。この１画素のＲＧＢ値は、４Ｋにおいて縦２画素、横２画素によって構成されていた画素のＲＧＢ値の平均となる。したがって、４ＫにおいてＲ値＝０、Ｇ値＝０、Ｂ値＝０である画素と、Ｒ値＝１０、Ｇ値＝１０、Ｂ値＝１０である画素とによって市松模様のように構成されている場合は、２Ｋにすることで、ＲＧＢ値が平均化され、市松模様を構成していた画素のＲＧＢ値がＲ値＝５、Ｇ値＝５、Ｂ値＝５となる。

例えば、図９（ｂ）の領域Ｅ４０３に示した、第１画像データの右下隅の縦２画素、横２画素のＲＧＢ値は、ダウンコンバートにより、図９（ｃ）の領域Ｅ４０５に示すように、ＲＧＢ値がＲ値＝５、Ｇ値＝５、Ｂ値＝５の画素となる。第２画像データ、第３画像データ、第４画像データにおいても同様である。したがって、境界領域Ｅ４０４を構成する画素のＲＧＢ値は、何れもＲ値＝５、Ｇ値＝５、Ｂ値＝５となり、画像処理部１２０は、ＲＧＢ値が近似すると判定することが可能となる。

なお、境界領域を構成する画素を含む領域のみ、解像度を低くしてもよい。境界領域を構成する画素を含む領域とは、図１０（ａ）に示すように、各画像データの四隅の領域である。また、図１０（ｂ）は、図１０（ａ）に示した境界領域Ｅ４１０を拡大した図である。図１０（ｂ）に示すように、合成画像データの中心部分にある境界領域Ｅ４１０には、境界領域を構成する画素を含む領域Ｅ４２１、領域Ｅ４２２、領域Ｅ４２３、領域Ｅ４２４が含まれる。本実施形態では、説明のため、領域Ｅ４２１、領域Ｅ４２２、領域Ｅ４２３、領域Ｅ４２４は、境界領域の画素と、境界領域の画素の周囲３画素によって構成される、縦２画素、横２画素の領域とする。なお、境界領域を構成する画素を含む領域としては、境界領域の画素を扇状に囲んだ形状としてもよいし、境界領域の画素を三角形状に囲んだ形状としてもよい。また、縦２画素、横２画素よりも大きい領域としてもよい。

図１０（ｂ）に示すように、第１画像データの右下の領域Ｅ４２１、第２画像データの左下の領域Ｅ４２２、第３画像データの左上の領域Ｅ４２３、第４画像データの右上の領域Ｅ４２４は、解像度を低くすることにより、ＲＧＢ値が平均化される。したがって、境界領域Ｅ４２０には、ＲＧＢ値が平均化された画素によって構成され、画像処理部１２０は、平均化された画素に基づいて、ＲＧＢ値が近似するか否かを判定する。

画像データの一部の解像度を低くする処理は、画像信号入力部１１０が行ってもよいし、画像処理部１２０が、画像信号入力部１１０から出力される画像データに対して行ってもよい。このように、解像度を低くする領域を画像データの一部にすることにより、表示装置１０の処理の付加が軽減される。

なお、ダウンコンバートを表示装置１０が行うこととして説明したが、ソース機器２０側で行ってもよい。また、ダウンコンバートを行う制御信号（例えば、ＣＥＣ（Consumer Electronics Control））をソース機器２０から表示装置１０側に送信して、ダウンコンバートを行う制御信号を受信したことを契機に、表示装置１０がダウンコンバートを行ってもよい。また、表示装置１０側のＥＤＩＤ（Extended Display Identification Data）を変更して、低解像度の画像信号がソース機器２０から送信されるようにしてもよい。なお、ソース機器２０側でダウンコンバートすることにより、表示装置１０でダウンコンバートする処理を省けるため、適切な配置パターンを特定する処理を短縮することが可能となる。

なお、図１１に示すように、表示装置１０は、ダウンコンバートを行うか否かを設定する設定画面Ｗ４００を表示してもよい。また、ユーザに対して、表示装置１０による画像データの並べ替えを、精度優先で行わせるか、速度優先で行わせるか、自動で判定させるかを、領域Ｂ４００から選択させる。なお、ＯＫボタンＢ４０２が選択されることにより、ユーザによって選択された設定が有効になり、キャンセルボタンＢ４０４が選択されることにより、元の状態に戻る。精度優先が選択された場合は、ダウンコンバート条件が必ず満たされるとし、速度優先が選択された場合は、ダウンコンバート条件は必ず満たされないようにする。また、自動が選択された場合は、画像処理部１２０が、画像データに基づいて、ダウンコンバートをするか否かを決定する。ダウンコンバートを実行する場合、実行しない場合と比べて時間がかかるため、ユーザによってダウンコンバートを行うか否かが選択されることにより、ユーザの利便性を向上させることができる。

本実施形態によれば、８Ｋ又はそれ以上の高解像度画像に基づいて配置パターンを判定する際、境界領域の画像がストライプ画像や、ノイズを含む画像である場合であっても、判別精度が低下してしまうことを防ぐことができる。

［５．第５実施形態］
つづいて、第５実施形態について説明する。第５実施形態は第１実施形態と異なり、画像データを１枚ずつ合成（結合）する実施形態である。なお、本実施形態は、第１実施形態の図３を図１２に置き換えたものであり、同一の機能部及び処理には同一の符号を付し、説明については省略する。

本実施形態におけるメイン処理について、図１２を参照して説明する。はじめに、画像処理部１２０は、画像信号が入力されたら、各画像データの四隅のＲＧＢ値を読み取る（ステップＳ５０２）。そして、画像処理部１２０は、第１画像データの右下の画素のＲＧＢ値が、第２画像データの左下の画素のＲＧＢ値、第３画像データの左下の画素のＲＧＢ値、第４画像データの左下の画素のＲＧＢ値の何れかと近似するか否かを判定する（ステップＳ５０４）。第１画像データの右下の画素のＲＧＢ値が、第２画像データの左下の画素のＲＧＢ値、第３画像データの左下の画素のＲＧＢ値、第４画像データの左下の画素のＲＧＢ値の何れかと近似した場合は、第１画像データの右側に、ＲＧＢ値の近似した画像データを結合する（ステップＳ５０４；Ｙｅｓ→ステップＳ５０６）。

第１画像データの右下の画素のＲＧＢ値と、第２画像データの左下の画素のＲＧＢ値、第３画像データの左下の画素のＲＧＢ値、第４画像データの左下の画素のＲＧＢ値の何れかと近似しない場合は、つづいて、画像処理部１２０は、第１画像データの左下の画素のＲＧＢ値と、第２画像データの右下の画素のＲＧＢ値、第３画像データの右下の画素のＲＧＢ値、第４画像データの右下の画素のＲＧＢ値の何れかと近似するか否かを判定する（ステップＳ５０４；Ｎｏ→ステップＳ５０８）。第１画像データの左下の画素のＲＧＢ値が、第２画像データの右下の画素のＲＧＢ値、第３画像データの右下の画素のＲＧＢ値、第４画像データの右下のＲＧＢ値の画素の何れかと近似した場合は、第１画像データの左側に、ＲＧＢ値の近似した画像データを結合する（ステップＳ５０８；Ｙｅｓ→ステップＳ５０１０）。

なお、第１画像データの左下の画素のＲＧＢ値と、第２画像データの右下の画素のＲＧＢ値、第３画像データの右下の画素のＲＧＢ値、第４画像データの右下の画素のＲＧＢ値の何れとも近似しない場合は、現在の画像データに基づいて配置パターンを決定できないため、所定時間経過後、改めてステップＳ５０４の処理を行う（ステップＳ５０８；Ｎｏ→ステップＳ５０４）。

つづいて、画像処理部１２０は、第１画像データの右下の画素のＲＧＢ値と、ステップＳ５０６及びステップＳ５１０において結合されなかった画像データ（以下、「未結合画像データ」という）の何れかの右上の画素のＲＧＢ値が近似するか否かを判定する（ステップＳ５１２）。そして、第１画像データの右下の画素のＲＧＢ値と、未結合画像データの何れかの右上の画素のＲＧＢ値が近似した場合は、ＲＧＢ値が近似した画像データを、第１画像データの下側に結合する（ステップＳ５１２；Ｙｅｓ→ステップＳ５１４）。

第１画像データの右下の画素のＲＧＢ値と、未結合画像データの右上の画素のＲＧＢ値が近似しなかった場合は、つづいて、画像処理部１２０は、第１画像データの右上の画素のＲＧＢ値と、未結合画像データの何れかの右下の画素のＲＧＢ値が近似するか否かを判定する（ステップＳ５１２；Ｎｏ→ステップＳ５１６）。そして、第１画像データの右上の画素のＲＧＢ値と、未結合画像データの何れかの右下の画素のＲＧＢ値が近似した場合は、ＲＧＢ値が近似した画像データを、第１画像データの上側に結合する（ステップＳ５１６；Ｙｅｓ→ステップＳ５１８）。

なお、第１画像データの右上のＲＧＢ値と、未結合画像データの何れの右下の画素のＲＧＢ値とが近似しない場合は、現在の画像データに基づいて配置パターンを決定できないため、所定時間経過後、改めてステップＳ５１２の処理を行う。

つづいて、画像処理部１２０は、結合した画像データから配置パターンを特定する。例えば、第１画像データの右側に第３画像データが結合され、第１画像データの上側に第４画像データが結合された場合は、配置パターンは（第４画像データ、第２画像データ、第１画像データ、第３画像データ）であると特定できる。そして、画像処理部１２０は、配置パターンに基づき合成した合成画像データをＦＰＧＡ１４０に出力し、表示部１６０に映像として出力する（ステップＳ１１２）。

図１３を参照して、ＲＧＢ値を比較する画素について説明する。図１３は、第１画像データの左上の画素をＣ１１、右上の画素をＣ１２、右下の画素をＣ１３、左下の画素をＣ１４とした図である。同様に、第２画像データ、第３画像データ、第４画像データについても、画像データの番号を十の位、隅の位置を一の位とした符号で、それぞれの画像データの四隅の画素を表す。

メイン処理のステップＳ５０４においては、Ｃ１４と、Ｃ２３、Ｃ３３、Ｃ４３とのそれぞれのＲＧＢ値を比較する。ここで、例えば、Ｃ１４とＣ３３とのＲＧＢ値が近似する場合は、Ｃ１４とＣ３３との画素が横に連続して配置されるように、第１画像データの右側に第３画像データを配置する。

また、この状態で、メイン処理のステップＳ５１２においては、Ｃ１４と、Ｃ２２、Ｃ４２とのそれぞれのＲＧＢ値を比較する。ここで、例えば、Ｃ１４とＣ２２とのＲＧＢ値が近似する場合は、Ｃ１４とＣ２２との画素が縦に連続して配置されるように、第１画像データの下側に第２画像データを配置する。

この場合、第１画像データの右に第３画像データが、第１画像データの下に第２画像データが結合される。そして、第４画像データは、第１画像データの右下に配置されることが特定できる。したがって、この場合の配置パターンは、（第１画像データ、第３画像データ、第２画像データ、第４画像データ）となる。

本実施形態によれば、境界領域の画素値を比較しながら合成画像データを生成するため、特に合成する画像データが多い場合に有効である。例えば、１６枚の画像データを合成する場合、画像データの組み合わせ方は、１６の階乗の数だけ考えられる。この膨大な配置パターンをランダムに配置してＲＧＢ値を比較したり、予め合成画像データを生成したりすることは現実的ではない。このような場合であっても、１枚の画像データを基準に、画像データの下辺一端側の境界領域の画素値と、未結合画像データの下辺他端側の境界領域の画素値とを比較し、画素値が近似する画像データを結合することができる。同様に、画像データの上辺一端側の境界領域の画素値と、未結合画像データの前記上辺一端側と対応する下辺一端側の境界領域の画素値とを比較し、画素値が近似する画像データを結合することができる。このようにして画像データを結合し、結合した画像データに基づき、適切な配置パターンを特定することが可能となる。このように、本実施形態は、画像データが多い場合であっても、適切な配置パターンを求めることが可能となる。

［６．第６実施形態］
つづいて、第６実施形態について説明する。第６実施形態は第５実施形態と異なり、各画像データの隅の画素ではなく、辺を構成する画素の画素値を比較する実施形態である。すなわち、境界領域が、画像が対向する側の周縁部領域によって構成され、その周縁部領域の画素の画素値を比較する実施形態である。なお、本実施形態は、第５実施形態の図１２を図１４に置き換えたものであり、同一の機能部及び処理には同一の符号を付し、説明については省略する。

本実施形態におけるメイン処理について、図１４を参照して説明する。なお、第５実施形態と同様の処理については、説明を省略する。

はじめに、画像処理部１２０は、画像信号が入力されたら、各画像データの四辺を構成する画素のＲＧＢ値を読み取る（ステップＳ６０２）。このとき、画像処理部１２０は、辺を構成する全ての画素（入力される画像信号が４Ｋであれば、横の辺は３８４０画素、縦の辺は２１６０画素）のＲＧＢ値を読み取ってもよいし、所定の間隔（例えば、１００画素おきといった間隔）や、所定の割合（例えば、各ラインで１００画素分）で、画素のＲＧＢ値を読み取ってもよい。

つづいて、画像処理部１２０は、第１画像データの右辺を構成する画素のＲＧＢ値が、第２画像データの左辺、第３画像データの左辺、第４画像データの左辺を構成する画素のＲＧＢ値と近似するか否かを判定する（ステップＳ６０４）。例えば、画像処理部１２０は、第１画像データの右辺を構成する画素のうち、ステップＳ６０４でＲＧＢ値を読み出した画素のうち１つの画素を選択し、第２画像データの左辺を構成する画素から、選択した画素と同じ縦位置にある画素を選択する。そして、画像処理部１２０は、選択した２つの画素のＲＧＢ値が近似するか否かを判定する。このように、比較する辺を構成する画素について、それぞれ対応する画素のＲＧＢ値を比較する。そして、このような比較を、第１画像データの右辺を構成する画素のうち、ステップＳ６０２でＲＧＢ値を読み取った画素について行う。このとき、比較した全ての画素のＲＧＢ値が近似した場合は、画像処理部１２０は、第１画像データの右辺と、第２画像データの左辺とが近似すると判定する。なお、比較した全ての画素のＲＧＢ値が近似しない場合であっても、比較した画素のＲＧＢ値のうち、近似する画素の数が所定の数又は割合であれば、第１画像データの右辺と、第２画像データの左辺とが近似すると判定してもよい。

なお、第１画像データの右辺と、第２画像データの左辺とが近似しない場合は、画像処理部１２０は、第１画像データの右辺を構成する画素のＲＧＢ値と、第３画像データの左辺を構成する画素のＲＧＢ値とを比較する。このとき、第１画像データの右辺と、第３画像データの左辺とが近似しない場合は、第１画像データの右辺と、第３画像データの左辺とが近似しない場合は、画像処理部１２０は、第１画像データの右辺を構成する画素のＲＧＢ値と、第４画像データの左辺を構成する画素のＲＧＢ値とを比較する。

第１画像データの右辺を構成する画素のＲＧＢ値と、第２画像データの左辺、第３画像データの左辺、第４画像データの左辺を構成する画素のＲＧＢ値とが近似しない場合は、画像処理部１２０は、第１画像データの左辺を構成する画素のＲＧＢ値と、第２画像データの右辺、第３画像データの右辺、第４画像データの右辺を構成する画素のＲＧＢ値とが近似するか否かをする（ステップＳ６０４；Ｎｏ→ステップＳ６０８）。なお、第１画像データの左辺を構成する画素のＲＧＢ値と、第２画像データの右辺、第３画像データの右辺、第４画像データの右辺を構成する画素のＲＧＢ値とが近似しない場合は、所定の時間が経過した後（例えば、１０フレーム分の時間）ステップＳ６０４へ戻る（ステップＳ６０８；Ｎｏ→ステップＳ６０４）。

ステップＳ６０４で、第１画像データの右辺と、第２画像データ、第３画像データ、第４画像データの何れかの左側とが近似する場合は、第１画像データの右側に、第２画像データ、第３画像データ、第４画像データのうち近似する画像データを結合する（ステップＳ６０４；Ｙｅｓ→ステップＳ５０６）。また、ステップＳ６０８で、第１画像データの左辺と、第２画像データ、第３画像データ、第４画像データの何れかの右側とが近似する場合は、第１画像データの左側に、第２画像データ、第３画像データ、第４画像データのうち近似する画像データを結合する（ステップＳ６０８；Ｙｅｓ→ステップＳ５１０）。

また、画像処理部１２０は、ステップＳ６１２では、第１画像データの下辺と、未結合画像データの上辺とにおいて、それぞれの辺を構成する画素のＲＧＢ値が近似するか判定する（ステップＳ６１２）。第１画像データの下辺を構成する画素のＲＧＢ値と、未結合画像データの何れかの上辺を構成する画素のＲＧＢ値が近似する場合は、画像処理部１２０は、第１画像データの下側に、上辺を構成する画素のＲＧＢ値が第１画像データの下辺を構成する画素のＲＧＢ値と近似する画像データを結合する（ステップＳ６１２；Ｙｅｓ→ステップＳ５１４）。

ステップＳ６１２で、第１画像データの下側に画像データを結合しなかった場合は、つづいて画像処理部１２０は、第１画像データの上辺と、未結合画像データの上下とにおいて、それぞれの辺を構成する画素のＲＧＢ値が近似するか判定する（ステップＳ６１２；Ｎｏ→ステップＳ６１６）。第１画像データの上辺を構成する画素のＲＧＢ値と、未結合画像データの何れかの下辺を構成する画素のＲＧＢ値が近似する場合は、画像処理部１２０は、第１画像データの上側に、下辺を構成する画素のＲＧＢ値が第１画像データの上辺を構成する画素のＲＧＢ値と近似する画像データを結合する（ステップＳ６１６；Ｙｅｓ→ステップＳ５１８）。

なお、第１画像データの上辺を構成する画素のＲＧＢ値と、何れかの未結合画像データの下辺を構成する画素のＲＧＢ値とが近似しない場合は、所定の時間が経過した後（例えば、１０フレーム分の時間）ステップＳ６１２へ戻る（ステップＳ６１６；Ｎｏ→ステップＳ６１２）。

そして、画像処理部１２０は、結合した画像データから配置パターンを特定し（ステップＳ５２０）、配置パターンに沿って結合した画像データを、表示部１６０から映像として出力する（ステップＳ１１２）。

図１５を参照して、ＲＧＢ値を比較する辺について説明する。図１５は、第１画像データの上辺をＬ１１、右辺をＬ１２、下辺をＬ１３、左辺をＬ１４とした図である。同様に、第２画像データ、第３画像データ、第４画像データについても、画像データの番号を十の位、辺の位置を一の位とした符号でそれぞれ表す。

メイン処理のステップＳ６０４においては、Ｌ１２と、Ｌ２４、Ｌ３４、Ｌ４４とのそれぞれのＲＧＢ値を比較する。ここで、例えば、Ｌ１２とＬ３４とのＲＧＢ値が近似する場合は、Ｌ１２とＬ３４とが横に連続して配置されるように、第１画像データの右側に第３画像データを配置する。

また、この状態で、メイン処理のステップＳ６１２においては、Ｌ１３と、Ｌ２１、Ｌ４１とのそれぞれのＲＧＢ値を比較する。ここで、例えば、Ｌ１３とＬ２１とのＲＧＢ値が近似する場合は、Ｌ１３とＬ２１とが縦に連続して配置されるように、第１画像データの下側に第２画像データを配置する。

この場合、第１画像データの右に第３画像データが、第１画像データの下に第２画像データが結合される。そして、第４画像データは、第１画像データの右下に配置されることが特定できる。したがって、この場合の配置パターンは、（第１画像データ、第３画像データ、第２画像データ、第４画像データ）となる。

本実施形態によれば、第５実施形態と比較して、複数の画素の画素値を比較するため、結合する画像を精度良く決定することができる。特に、画像データが多い場合は、誤った探索をした場合における手戻りに時間がかかってしまう。本実施形態のように、結合する画像を精度良く決定することにより、適切な配置パターンを特定する時間を抑えることが可能となる。

［７．第７実施形態］
つづいて、第７実施形態について説明する。第７実施形態は第１実施形態と異なり、各画像データの隅の画素ではなく、合成画像データを構成する画像データを貫く線（ライン）を構成する画素のＲＧＢ値を比較する実施形態である。すなわち、境界領域が、画像が対向する側の周縁部領域によって構成されており、複数の画像データに跨って周縁部領域の画素の画素値を比較する実施形態である。なお、本実施形態は、第１実施形態の図３を図１６に置き換えたものであり、同一の機能部及び処理には同一の符号を付し、説明については省略する。

本実施形態では、図１７に示すように、合成画像データの境界領域を横方向に貫くラインをＡラインといい、縦方向に貫くラインをＢラインという。Ａラインは、画像データの結合位置よりも上に位置する上Ａラインと、画像データの結合位置よりも下に位置する下Ａラインとの２本がある。また、Ｂラインは、画像データの結合位置よりも左に位置する左Ｂラインと、画像データの結合位置よりも右に位置する右Ｂラインとの２本がある。

図１６を参照して、本実施形態の処理の流れについて説明する。なお、第１実施形態と同様の処理については、説明を省略する。

画像処理部１２０は、合成画像データを生成したら（ステップＳ１０４）、ＡラインとＢラインを構成する画素のＲＧＢ値を読み取る（ステップＳ７０２）。なお、画像処理部１２０は、Ａライン及びＢラインを構成する全ての画素のＲＧＢ値を読み取ってもよいし、所定の間隔（例えば、１００画素毎）や、所定の割合（例えば、各ラインで１００画素分）で、画素のＲＧＢ値を読み取ってもよい。

つづいて、画像処理部１２０は、上Ａラインと下Ａライン及び左Ｂラインと右Ｂラインとについて、ステップＳ７０２で読み取った画素のＲＧＢ値がそれぞれ近似するか否かを判定する（ステップＳ７０４）。比較した全てのＲＧＢ値が近似した場合は、画像処理部１２０は、ＲＧＢ値が近似したと判定し（ステップＳ７０４；Ｙｅｓ）、このときの配置パターンに基づいて、合成画像データをＦＰＧＡ１４０に出力し、表示部１６０に映像として表示する（ステップＳ１１２）。比較した全てのＲＧＢ値が近似しない場合は、画像処理部１２０は、ランダムに画像データを並び替えた配置パターンを生成し（ステップＳ１１０）、ステップＳ１０４～ステップＳ７０４の処理を行う。

本実施形態は、複数の画素の画素値を比較するため、適切な配置パターンを精度良く特定することが可能となる。

［８．第８実施形態］
つづいて、第８実施形態について説明する。第８実施形態は、第７実施形態と異なり、予め全ての配置パターンに基づく合成画像データを生成し、その中でＡライン及びＢラインのＲＧＢ値が最も近似する配置パターンを特定する実施形態である。なお、本実施形態は、第１実施形態の図３を図１８に置き換えたものであり、同一の機能部及び処理には同一の符号を付し、説明については省略する。なお、Ａライン及びＢラインについては、第７実施形態と同様である。

図１８を参照して、本実施形態の処理の流れについて説明する。なお、第１実施形態と同様の処理については、説明を省略する。画像処理部１２０は、画像信号が入力されたら、全ての配置パターンに基づく合成画像データを生成し、Ａライン及びＢラインを構成する画素のＲＧＢ値を読み取る（ステップＳ８０２）。

つづいて、画像処理部１２０は、ステップＳ８０２で読み取ったＲＧＢ値において、対応する画素のＲＧＢ値のＲ値の差分、Ｇ値の差分、Ｂ値の差分をそれぞれ算出し、全ての差分を合計した合計差分値を算出する。そして、合計差分値が最も小さい配置パターンを特定する（ステップＳ８０４）。

画像処理部１２０は、ステップＳ８０４において特定した配置パターンに基づいて、合成画像データをＦＰＧＡ１４０に出力し、表示部１６０に映像として表示する（ステップＳ１１２）。なお、第２実施形態に記載したように、合計差分値に対する閾値を設けてもよい。

［９．変形例］
本発明は上述した各実施の形態に限定されるものではなく、種々の変更が可能である。すなわち、本発明の要旨を逸脱しない範囲内において適宜変更した技術的手段を組み合わせて得られる実施の形態についても本発明の技術的範囲に含まれる。なお、上述した説明以外であっても、矛盾のない範囲において、ステップの順番を変更したり、一部のステップを省略したりしても構わない。

また、上述した実施形態は、説明の都合上、それぞれ別に説明している部分があるが、技術的に可能な範囲で組み合わせて実行してもよいことは勿論である。例えば、第３実施形態と第４実施形態とを組み合わせてもよい。第３実施形態も第４実施形態もいずれも適切な配置パターンを特定する精度を高める実施形態であるため、より高い精度で適切な配置パターンを特定することが可能となる。

また、実施形態において各装置で動作するプログラムは、上述した実施形態の機能を実現するように、ＣＰＵ等を制御するプログラム（コンピュータを機能させるプログラム）である。そして、これら装置で取り扱われる情報は、その処理時に一時的に一時記憶装置（例えば、ＲＡＭ）に蓄積され、その後、各種ＲＯＭ（Read Only Memory）やＨＤＤ等の記憶装置に格納され、必要に応じてＣＰＵによって読み出し、修正・書き込みが行なわれる。

ここで、プログラムを格納する記録媒体としては、半導体媒体（例えば、ＲＯＭや、不揮発性のメモリカード等）、光記録媒体・光磁気記録媒体（例えば、ＤＶＤ（Digital Versatile Disc）、ＭＯ（Magneto Optical Disc）、ＭＤ（Mini Disc）、ＣＤ（Compact Disc）、ＢＤ （Blu-ray Disk） 等）、磁気記録媒体（例えば、磁気テープ、フレキシブルディスク等）等の何れであってもよい。また、ロードしたプログラムを実行することにより、上述した実施形態の機能が実現されるだけでなく、そのプログラムの指示に基づき、オペレーティングシステムあるいは他のアプリケーションプログラム等と共同して処理することにより、本発明の機能が実現される場合もある。

また、市場に流通させる場合には、可搬型の記録媒体にプログラムを格納して流通させたり、インターネット等のネットワークを介して接続されたサーバコンピュータに転送したりすることができる。この場合、サーバコンピュータの記憶装置も本発明に含まれるのは勿論である。

１０ 表示装置
１００ 制御部
１１０ 画像信号入力部
１２０ 画像処理部
１３０ メモリ
１４０ ＦＰＧＡ
１５０ 表示制御部
１６０ 表示部

Claims (7)

1. 画像を入力する端子を複数有し、前記入力された画像をそれぞれ表示可能な複数の表示領域を含む表示部を有する表示装置において、
   前記端子から入力された複数の画像を１枚の画像に合成する画像合成部と、
   前記画像合成部により合成される合成画像において互いに隣接する画像の境界領域にある画素値をそれぞれ比較する比較部と、
   前記比較部により比較した結果に基づき、前記境界領域の画素値が近似する前記複数の画像の配置パターンを特定する特定部と、
   第１の複数の画像に基づき特定された第１の配置パターンと、当該第１の複数の画像が入力されたタイミングとは異なるタイミングに入力されたことにより得られる、前記第１の複数の画像とは異なる第２の複数の画像に基づき特定された第２の配置パターンとが一致する場合、当該第１の配置パターン又は当該第２の配置パターンに基づき、前記複数の画像を配置して、前記表示領域に表示する制御を行う表示制御部と、
   を備えることを特徴とする表示装置。
2. 前記比較部は、前記画像合成部により合成された合成画像の前記境界領域にある画素値を比較し、
   前記画像合成部は、前記比較部により比較した結果、前記境界領域の画素値が近似していない場合には、前記入力された複数の画像の配置を入れ替えて他の合成画像を合成する、
   ことを特徴とする請求項１に記載の表示装置。
3. 前記比較部は、一の画像の下辺一端側の前記境界領域の画素値と、他の画像の下辺他端側の前記境界領域の画素値とを比較し、
   前記表示制御部は、前記比較部により比較した結果、前記下辺一端側の前記境界領域の画素値と、下辺他端側の前記境界領域の画素値とが最も近似する画像を、一の画像の一端側横の表示領域に表示する制御を行うことを特徴とする請求項１に記載の表示装置。
4. 前記比較部は、前記境界領域として前記画像の対向する側の隅部領域の画素値をそれぞれ比較する又は前記境界領域として前記画像の対向する側の周縁部領域の画素値をそれぞれ比較することを特徴とする請求項１から３の何れか一項に記載の表示装置。
5. 前記特定部は、前記配置パターンを特定できない場合、ＡＰＬ（Average Picture Level）値が変化するまで待機することを特徴とする請求項１から４の何れか一項に記載の表示装置。
6. 前記比較部による前記画素値の比較に用いられる画素値比較用の画像を、前記端子から入力される前記複数の画像の解像度を低くすることにより生成する処理を行う画像処理部を更に備え、
   前記比較部は、前記画素値比較用の画像の前記境界領域にある画素値を比較し、
   前記特定部は、前記比較部による前記画素値比較用の画像に対する比較の結果に基づき、前記境界領域の画素値が近似する前記複数の画像の配置パターンを特定する
   ことを特徴とする請求項１から５の何れか一項に記載の表示装置。
7. 前記画像処理部は、少なくとも前記端子から入力される前記複数の画像の前記境界領域の解像度を低くすることを特徴とする請求項６に記載の表示装置。

Images