JP2018037765A - Image signal processor - Google Patents
Image signal processor Download PDFInfo
- Publication number
- JP2018037765A JP2018037765A JP2016167703A JP2016167703A JP2018037765A JP 2018037765 A JP2018037765 A JP 2018037765A JP 2016167703 A JP2016167703 A JP 2016167703A JP 2016167703 A JP2016167703 A JP 2016167703A JP 2018037765 A JP2018037765 A JP 2018037765A
- Authority
- JP
- Japan
- Prior art keywords
- video
- video signal
- group
- correlation
- arrangement
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Transforming Electric Information Into Light Information (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
- Controls And Circuits For Display Device (AREA)
Abstract
Description
本開示は、複数の映像信号を入力し、入力した映像信号が示す映像を配置して出力する映像信号処理装置に関する。 The present disclosure relates to a video signal processing apparatus that inputs a plurality of video signals, arranges and outputs a video indicated by the input video signals.
近年、複数の映像表示装置を接続して1つのディスプレイのように機能させるマルチディスプレイ装置が普及している。このようなマルチディスプレイ装置は、設置場所の環境や用途・目的に合わせて接続する映像表示装置の数を自由に増減でき、高い利便性を有する。このため、マルチディスプレイ装置は、大画面を必要とする展示会や、競技場、ビルの壁面、コンサートなど、主に業務用途に利用されることが多い。 In recent years, multi-display devices that connect a plurality of video display devices and function as a single display have become widespread. Such a multi-display device is highly convenient because the number of video display devices to be connected can be freely increased / decreased in accordance with the environment of the installation place, the application, and the purpose. For this reason, multi-display devices are often used mainly for business purposes such as exhibitions that require large screens, stadiums, building walls, and concerts.
マルチディスプレイ装置は大画面の映像を表示できるため、複数の映像を同時に表示するのに適している。例えば、マルチディスプレイ装置によれば、カメラとビデオなど、複数の映像信号源からの映像を同時に入力し、好みの配置で表示することができる。 Since the multi-display device can display a large screen image, it is suitable for displaying a plurality of images simultaneously. For example, according to the multi-display device, images from a plurality of video signal sources such as a camera and a video can be simultaneously input and displayed in a desired arrangement.
このような表示を実現するために、一般的には、複数の映像信号源と複数の映像表示装置との間に、複数の入力映像から所望の映像を選択し、サイズや配置を変えて表示するための、マルチウィンドウ処理装置が挿入される。 In order to realize such a display, generally, a desired video is selected from a plurality of input videos and displayed in various sizes and arrangements between a plurality of video signal sources and a plurality of video display devices. A multi-window processing device is inserted.
入力する個々の映像について、近年、フルハイビジョン(1920画素×1080画素)の4倍の4K×2K(3840画素×2160画素、あるいは4096画素×2160画素)、さらには8K×4Kといった高解像度の映像の利用が増えている。このような高解像度映像は、伝送帯域の制約から一本の信号線では伝送できず、複数本の信号線で伝送される場合がある。そのような場合、各々の信号線においては、全体の映像を分割して生成される一部の映像の映像信号が伝送される。 In recent years, with regard to individual images to be input, high-resolution images such as 4K × 2K (3840 pixels × 2160 pixels or 4096 pixels × 2160 pixels), which is four times as high as full high-definition (1920 pixels × 1080 pixels), and 8K × 4K The use of is increasing. Such a high-resolution video cannot be transmitted through a single signal line due to transmission band restrictions, and may be transmitted through a plurality of signal lines. In such a case, a video signal of a part of the video generated by dividing the entire video is transmitted through each signal line.
結果として、マルチウィンドウ装置には、複数の映像信号源からの映像信号が、さらに複数の領域に分割された映像として入力される。このような場合、マルチウィンドウ処理装置は、映像信号の信号源の区別がつかないため、作業者による手作業で、映像のグループ化および配置処理が必要となる。 As a result, video signals from a plurality of video signal sources are input to the multi-window device as videos further divided into a plurality of areas. In such a case, since the signal source of the video signal cannot be distinguished in the multi-window processing device, video grouping and arrangement processing is required by the manual operation of the operator.
特許文献1は、入力された複数の映像を表示パネルの画面上に並べて表示する画像表示装置を開示する。特許文献1では、複数の映像の配置を決定するために、全ての配置の候補について、互いに隣接する映像の縁部の画素値の差分値を算出し、差分値の総和が最小となる候補の配置で、複数の映像を表示する。
特許文献1は、同じ映像信号源からの映像についてのみ判定が可能で、異なる映像信号源からの映像が混在している場合には配置を判定することができない。
In
本開示は、複数の映像信号源から分割映像を示す複数の映像信号を受信し、複数の分割映像を適切に配置して映像表示装置に表示させるための映像信号を生成する映像信号処理装置を提供する。 The present disclosure relates to a video signal processing device that receives a plurality of video signals indicating divided videos from a plurality of video signal sources, and generates a video signal for appropriately arranging the plurality of divided videos to be displayed on a video display device. provide.
本開示の第1の態様において、複数の映像信号を受信し、複数の表示装置で構成される表示領域に表示させるための映像信号を生成する映像信号処理装置が提供される。映像信号処理装置は、複数の映像信号を入力する入力部と、映像信号に含まれる情報に基づき複数の映像信号をグループ化するグループ判定部と、を備える。 In a first aspect of the present disclosure, there is provided a video signal processing device that receives a plurality of video signals and generates a video signal for display on a display area including a plurality of display devices. The video signal processing apparatus includes an input unit that inputs a plurality of video signals, and a group determination unit that groups the plurality of video signals based on information included in the video signals.
本開示の映像信号処理装置によれば、複数の映像信号を、映像信号の特性に基づきグループ化する。このように映像信号をグループ化することにより、その後自動または手動でグループ内の映像信号を同一の映像信号源からの信号として配置することが可能となる。これにより、複数の映像信号源から、分割された映像を示す複数の映像信号を受信する場合に、分割前の元の映像を適切に再構成することができる。 According to the video signal processing device of the present disclosure, a plurality of video signals are grouped based on the characteristics of the video signal. By grouping the video signals in this way, the video signals in the group can then be automatically or manually arranged as signals from the same video signal source. As a result, when receiving a plurality of video signals indicating the divided video from a plurality of video signal sources, the original video before the division can be appropriately reconstructed.
以下、適宜図面を参照しながら、実施の形態を詳細に説明する。但し、必要以上に詳細な説明は省略する場合がある。例えば、既によく知られた事項の詳細説明や実質的に同一の構成に対する重複説明を省略する場合がある。これは、以下の説明が不必要に冗長になるのを避け、当業者の理解を容易にするためである。
なお、発明者(ら)は、当業者が本開示を十分に理解するために添付図面および以下の説明を提供するのであって、これらによって特許請求の範囲に記載の主題を限定することを意図するものではない。
Hereinafter, embodiments will be described in detail with reference to the drawings as appropriate. However, more detailed description than necessary may be omitted. For example, detailed descriptions of already well-known matters and repeated descriptions for substantially the same configuration may be omitted. This is to avoid the following description from becoming unnecessarily redundant and to facilitate understanding by those skilled in the art.
The inventor (s) provides the accompanying drawings and the following description in order for those skilled in the art to fully understand the present disclosure, and is intended to limit the subject matter described in the claims. Not what you want.
(実施の形態1)
[1−1.構成]
図1は、映像信号処理装置の一例であるマルチウィンドウ処理装置を含む映像表示システムの構成例を示す図である。
(Embodiment 1)
[1-1. Constitution]
FIG. 1 is a diagram illustrating a configuration example of a video display system including a multi-window processing device which is an example of a video signal processing device.
映像表示システムは、映像を表示するマルチディスプレイ10と、複数の映像信号源から映像信号を入力し、マルチディスプレイ10に表示する映像信号を生成するマルチウィンドウ処理装置(以下「MWP」という)100と、ユーザ操作にしたがいMWP100に指示を与えるコントローラ200と、を含む。
The video display system includes a multi-display 10 that displays video, a multi-window processing device (hereinafter referred to as “MWP”) 100 that receives video signals from a plurality of video signal sources and generates video signals to be displayed on the multi-display 10. And a
マルチディスプレイ10は複数の映像表示装置を含み、複数の映像表示装置を組み合わせて1つの表示装置として機能させる。図1の例では、マルチディスプレイ10は、4台の映像表示装置で構成されている。各映像表示装置は、液晶ディスプレイ、有機ELディスプレイ、またはプロジェクタである。
The
MWP100は、複数の映像信号源から複数の映像信号を入力し、マルチディスプレイ10を構成する各映像表示装置に表示させるための映像信号を生成し、各映像表示装置に出力する。1つの映像信号源から1つまたは複数の信号線を介して映像信号がMWP100に送出される。このため、MWP100は、複数(図1の例では、16個)の入力端子を備えている。
The
図1の例では、6つの映像信号源A〜FからMWP100に映像信号が入力されている。映像信号源A〜Fそれぞれからの映像信号の解像度、信号線数、1信号線当たりの解像度は図2に示すとおりである。映像信号源A、C、Fそれぞれからは1本の信号線がMFP100に接続されている。映像信号源B、D,Eそれぞれからは4本の信号線がMFP100に接続されている。すなわち、映像信号源B、D、Eからは、各映像信号源の元の映像が4つの映像に分割され、分割されたそれぞれの映像を示す映像信号が4本の信号線を介して分割して伝送される。図1では、合計15本の信号線がMWP100に接続されている。
In the example of FIG. 1, video signals are input to the
MWP100は複数(本実施の形態では、16個)の出力端子を備えている。図1では、マルチディスプレイ10は4台のディスプレイで構成されるため、MWP100は、4つの出力端子すなわち4本の信号線を介してマルチディスプレイ10に映像信号を送出している。
The MWP 100 includes a plurality (16 in this embodiment) of output terminals. In FIG. 1, since the multi-display 10 is composed of four displays, the
MWP100にはコントローラ200が接続されている。コントローラ200は例えばパーソナルコンピュータで構成される。コントローラ200はMWP100に接続される。コントローラ200は、MFP100における複数の映像信号の接続状況及び映像の表示状況を示す表示画面を表示する表示部を有する。図3に、コントローラ200の表示画面の例を示す。表示画面220には、MFP100の各入力端子の接続状況が表示される。表示画面において、複数の入力端子がグループ化され、同じグループの入力端子が破線枠で囲まれて表示されている。MFP100は、各入力端子から入力した映像信号に基づき、同じ映像信号源からの信号であると考えられる映像信号(入力端子)をグループ化する機能を有する。
A
例えば、図1に示すように、入力端子1は映像信号源Aからの信号線に接続されている。入力端子2〜5は映像信号源Bからの信号線に接続されている。入力端子6は映像信号源Cからの信号線に接続されている。入力端子7〜9、11は映像信号源Dからの信号線に接続される。入力端子10、12、13、15は映像信号源Eからの信号線に接続されている。入力端子14は映像信号源Fからの信号線に接続されている。このような場合、MWP100は、各映像信号に基づき映像信号線をグループ分けする。コントローラ200はMWP100からグループ分けに関する情報を受けて、図3に示すように、入力端子2〜5を1つのグループとして、入力端子7〜9、11を別のグループとして、入力端子10、12、13、15をさらに別のグループとして破線枠で囲んで表示画面220上に表示する。
For example, as shown in FIG. 1, the
また、各映像信号源からの信号線が入力端子に対して順に接続されていない場合、コントローラ200は入力端子の番号を適宜入れ替えて表示する。例えば、図1に示すように、映像信号源Dからの信号線の1つは入力端子11に接続される一方で、映像信号源Eからの信号線の1つは入力端子10に接続される。また、映像信号源Eからの信号線の1つは入力端子15に接続される一方で、映像信号源Fからの信号線の1つは入力端子14に接続される。このとき、入力端子10と11に関して、映像信号源Dからの信号線と映像信号源Eからの信号線が接続する入力端子の順序が逆になっている。また、入力端子14と15に関して、映像信号源Eからの信号線と映像信号源Fからの信号線が接続する入力端子の順序も逆になっている。このため、図3に示すように、表示画面220において、入力端子の番号について「10」と「11」を、「14」と「15」を入れ替えて表示している。
In addition, when the signal lines from the video signal sources are not sequentially connected to the input terminals, the
さらに、表示画面220において、グループ分けされた映像信号に対し、マルチディスプレイ10に表示するか否かを選択するためのボタン222が表示される。図3の例では、入力端子1と、入力端子10、12、13、15とが選択されており、このため、映像信号源Aと、映像信号源Eからの映像とが表示される。コントローラ200の画面220上に、マルチディスプレイ10に表示される映像のプレビュー映像224が表示される。
Further, on the
ユーザは、このコントローラ200の表示画面220の映像を見ながら画面上で操作することで、マルチディスプレイ10に表示する映像の選択、映像サイズの変更、配置の調整等を行うことができる。例えば、図3において、映像信号源Aの映像と映像信号源Eの映像のサイズや配置はユーザ操作(指定)にしたがい調整される。このとき、マルチディスプレイ10を構成する4つの映像表示装置により、プレビュー映像224のように配置された映像信号源Aからの映像と映像信号源Eからの映像とが表示される。
The user can perform operations such as selecting a video to be displayed on the multi-display 10, changing the video size, adjusting the arrangement, and the like by operating on the screen while viewing the video on the
[1−2.マルチウィンドウ処理装置(MWP)]
MWP100の具体的な構成を説明する。図4は、MWP100の全体構成を示すブロック図である。MWP100は、16個の映像信号入力部110と、16個の同期信号検出部120と、グループ判定部130と、16個の相関検出部140と、配置判定部150と、操作部160と、マルチウィンドウ処理部170と、映像分割部180とを備える。
[1-2. Multi-window processing device (MWP)]
A specific configuration of the
映像信号入力部110は入力端子毎に設けられ、入力端子に接続された信号線からの映像信号を入力する。すなわち、本実施の形態では、16個の映像信号入力部110が設けられている。
The video
同期信号検出部120は、各映像信号入力部110から映像信号を入力し、それぞれの信号線からの映像信号の同期信号(ここでは、垂直同期信号V_sync)を抽出し、映像信号間で同期信号の位相および周期を比較し、それぞれの比較結果を出力する。同期信号検出部120の構成、動作の詳細は後述する。
The synchronization
グループ判定部130は、位相比較部127及び周期比較部125の比較結果に基づき、複数の映像信号それぞれについてグループを判定する。すなわち、グループ判定部130は、複数の映像信号をグループ化する。グループ判定部130の構成、動作の詳細は後述する。
The
相関検出部140は、映像信号間の相関値を算出する。配置判定部150は、相関検出部140で算出された相関値に基づき映像の配置を決定する。
The
マルチウィンドウ処理部170は、映像信号入力部110から入力した映像信号を、配置判定部150により決定された配置にしたがい配置する。
The
映像分割部180は、マルチウィンドウ処理部170から映像信号を受信し、マルチディスプレイ10を構成する映像表示装置の数に合わせて、受信した映像信号が示す映像を分割し、映像表示装置毎に映像信号を生成して出力する。
The
操作部160は、ユーザの指示を受け付ける手段であり、ボタン、ダイヤル、スイッチ、キーボード、マウス、タッチパネル等の種々の入力手段が含まれる。また、MWP100はコントローラ200を介してユーザの指示を受け付けても良い。
The
MWP100において、映像信号入力部110、同期信号検出部120、グループ判定部130、相関検出部140、配置判定部150、マルチウィンドウ処理部170、映像分割部180の機能は、CPUがソフトウェアを実行することにより実現されてもよい。これらの処理部の機能は専用の電子回路で実現されてもよい。すなわち、MWP100は、CPU、MPU、GPU、DSP、FPGA、ASIC等、種々のデバイスで構成することができる。
In the
(同期信号検出部)
図5は、MWP100における同期信号検出部120の構成を示す図である。同期信号検出部120は、同期信号取得部121と、カウンタ122と、位相算出部123と、位相比較部127と、周期算出部124と、周期比較部125と、グループ判定部130とを備える。同期信号取得部121と、カウンタ122と、周期算出部124とは、信号線毎すなわち入力端子毎に設けられている。
(Synchronous signal detector)
FIG. 5 is a diagram illustrating a configuration of the synchronization
同期信号取得部121は、映像信号から同期信号(垂直同期信号V_sync)を抽出する。例えば、図6(B)、(C)に示すような同期信号を抽出する。ここで、図6(B)は入力端子1を介して入力した映像信号の同期信号(垂直同期信号V1_sync)を示す。図6(C)は入力端子n(n=2,3,・・・,16)を介して入力した映像信号の同期信号(垂直同期信号Vn_sync)を示す。
The synchronization
カウンタ122は、図6(A)に示すようなクロック信号(CLK)に基づき同期信号の間隔(T1、Tn)(n=2,3,・・・,16)をカウントする。位相算出部123は、カウンタ122のカウント値に基づき各映像信号の同期信号の位相(同期信号V_syncの立ち上がりタイミング)を求める。
The
位相比較部127は映像信号間で同期信号の位相を比較する。具体的には、位相比較部127は、基準となる映像信号(例えば、入力端子1を介して入力した映像信号)と、他の映像信号との間で、同期信号の位相を比較し、両者が一致するか否かを判定する。より具体的には、基準となる映像信号(例えば、入力端子1を介して入力した映像信号)と、他の映像信号との間で位相差ΔPnを求め、ΔPnが所定値以下である場合に、位相が一致していると判定する。
The
周期算出部124はカウンタ122のカウント値に基づき各映像信号に含まれる同期信号(V_sync)の周期(T1、Tn)を求める。周期比較部125は、映像信号間の同期信号の周期を比較する。具体的には、周期比較部125は、基準となる映像信号(例えば、入力端子1を介して入力した映像信号)の同期信号の周期(T1)と、他の映像信号の同期信号の周期(Tn)を比較し、両者が一致するか否かを判定する。より具体的には、同期信号の周期の差(T1−Tn)を求め、その差が所定値以下である場合に、周期が一致していると判定する。
The
位相比較部127及び周期比較部125の判定結果は、グループ判定部130に送信される。
The determination results of the
(相関検出部)
図7は、MWP100における相関検出部140の構成を示す図である。相関検出部140は、周囲画素情報取得部141と、画素値差分算出部143とを備える。周囲画素情報取得部141は、信号線毎すなわち入力端子毎に設けられる。周囲画素情報取得部141は、各映像信号が示す映像の周縁部の画素の情報を取得する。ここで、映像の周縁部とは、図8に示すような映像の四辺の縁の領域R1a、R1b、R1c、R1dである。
(Correlation detector)
FIG. 7 is a diagram illustrating a configuration of the
画素値差分算出部143は、グループ判定部130の判定結果を入力する。画素値差分算出部143は、グループ化された組み合わせにおいて、2つの映像信号が示す2つの映像間の、映像の周縁部の画素値の差分の二乗平均を、2つの映像間の相関値として算出する。例えば、図9に示すように、映像1に隣接して配置する映像の候補として、映像2と映像3を想定する場合に、映像1と映像2の相関値として、映像1の周縁部R1bの画素値と、映像2の周縁部R2dの画素値との差分の二乗平均を算出する。同様に、映像1と映像3の相関値として、映像1の周縁部R1cの画素値と、映像3の周縁部R3aの画素値との差分の二乗平均を算出する。画素値差分算出部143は、算出した相関値を配置判定部150に送る。なお、本実施の形態では相関値を差分の二乗平均で求めるため、相関値はその値が小さいほど、映像間の相関が高いことを示す。
The pixel value
[1−3.動作]
以上のように構成される映像表示システムの動作を説明する。
[1-3. Operation]
The operation of the video display system configured as described above will be described.
図1を参照し、複数の映像信号源のそれぞれは、1つまたは複数の信号線を介してMWP100に映像信号を送出する。MWP100において、映像信号入力部110は、信号線が接続された入力端子を介して、各映像信号源からの映像信号を受信する。映像信号入力部110で受信した映像信号は同期信号検出部120に送られる。同期信号検出部120は、各映像信号から同期信号を抽出し、映像信号間で同期信号の周期と位相それぞれを比較し、それらの比較結果を出力する。
Referring to FIG. 1, each of a plurality of video signal sources sends a video signal to
グループ判定部130は、同期信号の周期と位相の比較結果に基づき、映像信号のグループ判定(すなわちグループ化)を行う。すなわち、同じ映像信号源からの映像信号は、同期信号に関して同じ周期と同じ位相を持つと考えられる。このため、同期信号の周期と位相が一致する映像信号を同一グループであると判定することにより、映像信号を映像信号源毎にグループ分けすることが可能となる。すなわち、図10(A)に示すように様々の映像信号が混在して入力された場合でも、図10(B)に示すように、映像信号の同期信号の周期と位相に基づき映像信号をグループ分けすることで映像信号源毎のグループ分けが可能となる。
The
また、映像信号入力部110を介して入力した各々の映像信号は、同期信号検出部120に加えて、相関検出部140にも同時に送られる。相関検出部140は、グループ判定部120によるグループ判定の結果を参照し、グループ毎に、グループ内の映像信号間で映像の相関を検出する。配置判定部150は、相関検出部140の検出結果に基づき、グループ毎に、各入力端子を介して入力した映像信号が示す映像の配置を決定する。すなわち、図10(C)に示すように、映像間の相関に基づき映像の配置を決定する。これにより、グループ毎(すなわち、映像信号源毎)に映像を再構成することができる。
Each video signal input via the video
グループ判定部120による判定結果と、配置判定部150による映像配置の決定結果は、各映像信号とともにマルチウィンドウ処理部170に送られる。このとき、コントローラ200の表示画面220上で、グループ判定結果、映像配置決定結果および映像信号に基づいて合成された映像が表示される(図3参照)。ユーザは、この表示画面220の映像を見ながら、操作部160を操作し、マルチディスプレイ10に表示する映像の選択、映像のサイズの変更、配置の調整等を行うことができる。
The determination result by the
最終的にユーザにより操作部160を介してサイズ、配置等の条件が確定されると、マルチウィンドウ処理部170は、確定された条件と、入力した各映像信号とから、出力映像(合成映像)を生成し、映像分割部180に送出する。マルチウィンドウ処理部170は、グループ毎に、配置判定部150により決定された配置にしたがい映像を配置し、これにより映像信号源から分割して送信された映像を再構成する。さらに、マルチウィンドウ処理部170は、ユーザの指示にしたがい各映像信号源からの映像のサイズや位置を調整して合成することにより出力映像(合成映像)を生成する。
When the user finally determines conditions such as size and arrangement via the
映像分割部180は、マルチディスプレイ10を構成する映像表示装置の数に合わせて合成映像を分割し、映像表示装置毎に映像信号を生成して出力する。
The
マルチディスプレイ10は、MWP100から映像信号を受信し、受信した映像信号に基づき各映像表示装置が映像を表示する。これにより、マルチディスプレイ10は、複数の映像信号源からの複数の映像を1つの映像として表示することができる。
The
以上のように、MWP100が、分割して入力された複数の映像信号を自動でグループ分けし、グループ内で映像を自動で配置して再構成する。この構成により、複数の映像信号源から複数の信号線を介して映像信号を入力し、各映像信号の映像を合成して1つの映像として表示させる場合に、ユーザはMWPに対する信号線の接続状態を気にする必要がなく、信号線の接続作業におけるユーザの手間を軽減でき、利便性を向上できる。
As described above, the
(グループ判定処理)
図11は、グループ判定部130によるグループ判定処理のフローチャートである。以下、図11のフローチャートを参照してグループ判定処理を説明する。なお、以下の説明では、説明の便宜上、入力端子1から入力端子Nまでに複数の映像信号源からの信号線が接続されているとする。図11において、Nは入力映像信号の数、G1〜GNは、入力端子1〜N(すなわち、入力端子1〜Nに入力する映像信号)それぞれに対するグループ番号、T1〜TNは各映像信号の同期信号の周期、P1〜PNは各映像信号の同期信号の位相である。
(Group judgment processing)
FIG. 11 is a flowchart of group determination processing by the
最初に、グループ判定部130は、初期状態でG1〜GNに各々1〜Nを設定する(S11)。グループ判定部130は、複数の入力映像信号の中から2つの映像信号を順次選択し(S12、S13、S16、S17)、選択した2つの映像信号間において、同期信号(V_sync)の周期及び位相が一致しているか否かを判定する(S14)。グループ判定部130は、同期信号の周期の一致性の判定結果及び位相の一致性の判定結果をそれぞれ同期信号検出部120から取得し、それらの判定結果を参照してステップS14の判定を行う。2つの映像信号間で同期信号の周期及び位相が一致する場合(すなわち、それぞれの誤差がそれぞれの閾値以下である場合)、2つの映像信号のグループ番号のうち、大きい方のグループ番号を小さい方のグループ番号に設定する(S15)。これにより、映像信号のグループ化(グループ判定)が可能となる。以上のように同期信号の周期及び位相に基づきグループ化することで、同じ映像信号源からの映像信号を同じグループにグループ分けすることができる。
First, the
(配置判定処理)
図12は、配置判定部150による配置判定処理を示すフローチャートである。以下、図12のフローチャートを参照して配置判定処理を説明する。配置判定部150による配置判定処理は、グループ判定部130により判定されたグループ毎に実施される。なお、以下では、説明の便宜上、4つの映像信号で構成されるグループを例に用いて説明する。また、画素値差分算出部143で算出した隣接する2つの映像間の相関値をD、閾値をd、映像間で隣接する辺の数をmとしている。
(Placement determination process)
FIG. 12 is a flowchart showing the arrangement determination process by the
4つの映像信号による4つの映像から1つの合成映像を構成する場合、合成映像の形状として、図13(A)〜(W)に示すように23種類の形状が考えられる。さらに、23種類の形状のそれぞれについて、4つの映像の配置パターンは4!=24通り存在する。 When one synthesized video is composed of four videos based on four video signals, 23 types of shapes are conceivable as shapes of the synthesized video, as shown in FIGS. Furthermore, for each of the 23 types of shapes, the arrangement pattern of 4 images is 4! = 24 types exist.
配置判定部150は、各形状について配置パターン毎に(S21、S22、S25、S26)、隣接する映像間の周縁部における相関値Dの平均(ΣD/m)を算出する(S23)。例えば、図13(A)の形状について、図14に示すように、配置パターン1、2等が考えられる。配置判定部150は、配置パターン1について、相関検出部140から、映像1と映像2の隣接する縁部間の相関値D1c2aと、映像1と映像3の隣接する縁部間の相関値D1d3bと、映像3と映像4の隣接する縁部間の相関値D3c4aと、映像2と映像4の隣接する縁部間の相関値D2d4bとを取得し、それらの平均値(ΣD/m)を求める。
For each shape (S21, S22, S25, S26), the
配置判定部150は、相関値Dの平均(ΣD/m)を閾値と比較し(S24)、相関値Dの平均(ΣD/m)を閾値以下の場合、その平均値を与える配置パターンで特定される配置を、そのグループに関する4つの映像の配置として決定する(S27)。
The
以上のように、本実施の形態の映像表示システムでは、複数の映像信号(図10(A)参照)を同期信号の特性に基づきグループ化し(図10(B)参照)、その後、グループ毎に、映像間の隣接する縁部の相関値に基づき映像の配置パターンを決定する(図10(C)参照)。これにより、さまざまな映像信号が入力された場合でも、自動的に適切な映像を再構成することができる。 As described above, in the video display system according to the present embodiment, a plurality of video signals (see FIG. 10A) are grouped based on the characteristics of the synchronization signal (see FIG. 10B), and thereafter each group. The video arrangement pattern is determined based on the correlation value of the adjacent edges between the videos (see FIG. 10C). Thereby, even when various video signals are input, an appropriate video can be automatically reconstructed.
[1−4.効果等]
以上のように本実施の形態のMWP100(映像信号処理装置の一例)は、複数の映像信号を受信し、マルチディスプレイ10(複数の表示装置で構成される表示領域)に表示させるための映像信号を生成する装置である。MWP100は、複数の映像信号を入力する映像信号入力部110(入力部の一例)と、映像信号に含まれる情報に基づき複数の映像信号をグループ化するグループ判定部130と、を備える。
[1-4. Effect]
As described above, the MWP 100 (an example of a video signal processing device) according to the present embodiment receives a plurality of video signals and displays the video signals for display on the multi-display 10 (a display area including a plurality of display devices). Is a device that generates The
以上の構成により、MWP100が、分割して入力された複数の映像信号を自動でグループ分けする。このように映像信号をグループ化することにより、その後自動または手動でグループ内の映像信号を同一の映像信号源からの信号として配置することが可能となる。本実施形態では、配置判定部150により、グループ毎に、グループ内の各映像信号の配置を決定し、グループ内で映像を自動で配置して再構成する。この構成により、複数の映像信号源から複数の信号線を介して映像信号を入力し、各映像信号の映像を合成して1つの映像として表示させる場合に、ユーザはMWPに対する信号線の接続状態を気にする必要がなく、信号線の接続作業におけるユーザの手間を軽減でき、利便性を向上できる。
With the above configuration, the
(実施の形態2)
本実施の形態では、MWP100における配置判定部150による配置判定処理の別の例を説明する。実施の形態1では、配置判定部150は、形状と配置を設定して、設定した形状と配置にしたがって配置判定を行った(図12、図13参照)。これに対して、本実施の形態では、形状や配置を予め設定せずに、ある映像に対して配置可能な全ての位置に他の映像を配置し、最小の相関値を有する位置に基づき配置を決定する。以下、図15〜図17を用いて、本実施の形態における配置判定処理を説明する。なお、以下では、説明の便宜上、映像1から映像4をそれぞれ示す4つの映像信号で構成されるグループを例に用いて説明する。
(Embodiment 2)
In the present embodiment, another example of the placement determination process by the
<ステップ1>
まず、4つの映像のうちの1つの映像を基準映像として選択し、残りの映像の中の1つを基準映像の4辺に隣接して配置し、各配置について相関値Dを求める。そして、基準映像の周囲に配置する映像を順次変更しながら、各配置について相関値Dを求める。求めた相関値Dのうち、最も小さい相関値Dを与える配置(2つの映像の配置)を選択する。
<
First, one of the four images is selected as a reference image, one of the remaining images is arranged adjacent to the four sides of the reference image, and a correlation value D is obtained for each arrangement. Then, the correlation value D is obtained for each arrangement while sequentially changing the images arranged around the reference image. Among the obtained correlation values D, an arrangement that gives the smallest correlation value D (an arrangement of two images) is selected.
例えば、図15(A)に示すように、映像1を基準映像として選択し、まず、映像2を映像1の4辺に隣接して配置する。そして、映像1と映像2の4通りの配置(組み合わせ)のそれぞれについて相関値Dを求める。次に、映像1の周囲に配置する映像を映像3に切替え、図15(B)に示すように、映像3を映像1の4辺に隣接して配置する。そして、映像1と映像3の4通りの配置(組み合わせ)のそれぞれについて相関値Dを求める。次に、図15(C)に示すように、映像4を映像1の4辺に隣接して配置する。そして、映像1と映像4の4通りの配置(組み合わせ)のそれぞれについて相関値Dを求める。以上のようにして求めた相関値Dのうち、最も小さい相関値Dを与える配置を選択する。図15(A)〜(C)の中では、図15(A)に示す映像1の右側に映像2が隣接する配置と、図15(C)に示す映像1の右側に映像4が隣接する配置とが選択される。
For example, as shown in FIG. 15A,
<ステップ2>
続いて、ステップ1で選択された配置にしたがい2つの映像を配置し、それらの映像の周囲6カ所それぞれの位置に残りの映像の中の1つを配置し、各配置について相関値Dを求める。その後、ステップ1で選択された配置を持つ2つの映像の周囲に配置される映像を順次変更しながら、各配置について同様に相関値Dを求める。そして、求めた相関値Dのうち、最も小さい相関値Dを与える配置(3つの映像の配置)を選択する。
<
Subsequently, two videos are arranged according to the arrangement selected in
例えば、図16(A)に示すように、ステップ1で選択された映像1と映像2の配置(組み合わせ)の周囲6ヶ所に映像3を配置する。そして、それぞれの位置について、映像3と、それに隣接する映像1または映像2との相関値Dを求める。同様に、図16(B)に示すように、ステップ1で選択された映像1と映像2の配置(組み合わせ)の周囲6ヶ所に映像4を配置し、映像4の各位置について相関値Dを求める。ステップ1で選択されたもう1つの配置(映像1と映像4の組み合わせ)についても、図16(C)、(D)に示すように、映像1と映像4の周囲に映像2または映像3を配置し、それぞれの配置について相関値Dを求める。そして、求めた相関値Dのうち最も小さい相関値Dを与える配置を選択する。図16(A)〜(D)の中では、図16(A)に示す、映像1の右側に映像2が配置され、さらに映像2の右側に映像3が配置される配置が選択される。
For example, as shown in FIG. 16A,
<ステップ3>
最後に、ステップ2で選択された配置にしたがい3つの映像を配置し、それらの映像の周囲8カ所のそれぞれの位置に残りの映像を配置し、各配置について相関値Dを算出する。そして、最も小さい相関値Dを与える配置を選択する。
<
Finally, three videos are arranged according to the arrangement selected in
例えば、図17に示すように、映像1、映像2、映像3をステップ2で選択した配置にしたがい配置し、それらの映像の周囲に映像4を配置し、各配置に対して相関値Dを算出する。そして、相関値Dが最小となる配置、ここでは、映像3の右側に映像4が位置する配置が最終的に選択される。
For example, as shown in FIG. 17,
以上のように、ある映像の周囲の複数の位置に他の映像を配置し、各位置に対して相関値を求め、相関値が最小となる位置を順次求めていくことで、最適な配置を決定してもよい。 As described above, by arranging other images at multiple positions around a certain image, calculating the correlation value for each position, and sequentially determining the position where the correlation value is the smallest, You may decide.
(他の実施の形態)
以上のように、本出願において開示する技術の例示として、実施の形態1〜2を説明した。しかしながら、本開示における技術は、これに限定されず、適宜、変更、置き換え、付加、省略などを行った実施の形態にも適用可能である。また、上記実施の形態1〜2で説明した各構成要素を組み合わせて、新たな実施の形態とすることも可能である。そこで、以下、他の実施の形態を例示する。
(Other embodiments)
As described above,
実施の形態1では、同期信号の周期と位相の双方を用いてグループ判定を行ったが、いずれか一方だけを用いてグループ判定を行ってもよい。なお、同期信号の周期と位相の双方を用いてグループ判定することで判定精度を向上することができる。 In the first embodiment, group determination is performed using both the cycle and phase of the synchronization signal, but group determination may be performed using only one of them. Note that determination accuracy can be improved by performing group determination using both the period and phase of the synchronization signal.
また、実施の形態1において、グループ判定部130において、映像信号の同期信号に代えて、映像信号が示す映像の相関値を用いてグループ判定を行っても良い。図18は、この場合のMWPの構成を示す図である。図18に示すMWP100は、図4に示したような同期信号検出部120を有していない。相関検出部140は、入力した各映像信号間の相関値を算出する。グループ判定部130は、相関検出部140から相関値を取得し、相関値に基づき映像信号をグループ分けする。例えば、グループ判定部130は、相関値の差が所定範囲内にある映像信号群を同じグループとしてグループ化する。これは、同一の映像信号源からの分割映像は互いに相関があると考えられるからである。配置判定部150は、グループ判定部130及び相関検出部140からの出力に基づきグループ毎に映像の配置を決定する。同様に、実施の形態2においても、映像信号の同期信号に代えて、映像信号が示す映像の相関値を用いてグループ判別を行っても良い。このように映像信号間の相関値に基づきグループ化することでも、同じ映像信号源からの映像信号を同じグループにグループ分けすることができる。
In the first embodiment,
また、実施の形態1において、グループ判定部130が映像信号の同期信号に基づいてグループ判定を行った後、相関検出部140で、グループ判定部130により判定された各グループにおいて、さらに映像信号間の相関値に基づきグループ分けを行っても良い。例えば、相関検出部140は、同期信号に基づきグループ分けされたグループ内において、相関値の差が所定範囲内にある映像信号群を同じグループとして、映像信号をさらにグループ化してもよい。
Further, in the first embodiment, after the
実施形態1、2の相関検出では、映像の周縁部に枠がある場合は考慮していない。映像の周縁部に枠のような無地の領域がある映像の場合、上述の方法で相関値Dを算出すると、映像間の実際の相関に関わらず、算出される相関値Dが小さな値となる。これは配置判定において誤判定の要因となる。そこで、画素値差分算出部143において、相関値Dを計算する領域(映像の縁部)が枠のような無地の領域であるか否かの判定を行っても良い。例えば、相関値Dを計算する領域(映像の縁部)において、差分値の標準偏差σを算出してもよい。縁部に模様がある場合、σは大きくなるが、無地の枠同士が隣接する場合、σは小さくなる。よって、図12のフローチャートにおけるステップS24において、相関値の平均が閾値以下であり、かつ、標準偏差σが標準偏差の閾値以上である場合に、ステップS27に進むようにしてもよい。
In the correlation detection of the first and second embodiments, the case where there is a frame at the peripheral edge of the video is not considered. In the case of an image having a plain area such as a frame at the periphery of the image, if the correlation value D is calculated by the above-described method, the calculated correlation value D becomes a small value regardless of the actual correlation between the images. . This becomes a cause of erroneous determination in the arrangement determination. Therefore, the pixel value
また、映像間の相関値は、映像間の周縁部の画素値の差分の二乗平均を算出することで求めたが、映像間の相関を示す値が得られるのであれば、他の方法により算出してもよい。 In addition, the correlation value between images was obtained by calculating the root mean square of the difference between the pixel values of the peripheral part between the images, but if a value indicating the correlation between the images can be obtained, it is calculated by another method. May be.
実施の形態1の配置判定では、図13に示す全ての形状を判定対象としていたが(図12のステップS21)、図13に示す形状のうちの一部のみを判定対象としてもよい。例えば、図13(A)に示す形状のみを判定対象としてもよいし、図13(A)、(B)、(F)に示す形状を判定対象としてもよい。 In the arrangement determination according to the first embodiment, all the shapes shown in FIG. 13 are set as the determination targets (step S21 in FIG. 12), but only a part of the shapes shown in FIG. For example, only the shape shown in FIG. 13A may be the determination target, or the shapes shown in FIGS. 13A, 13B, and 13F may be the determination target.
実施の形態1では、配置判定(図12のフローチャートのステップS24)において、相関値の平均値(ΣD/m)が所定値以下となった時点で、ループを脱出する構成としているが、配置判定方法はこれに限定されない。ある形状に対して、全ての配置について相関値の平均値(ΣD/m)を算出し、算出した値の中の最小値が所定値d以下となるか否かを判定してもよい。相関値の平均値(ΣD/m)が所定値dよりも大きい場合、次の形状に移り、所定値dより小さい場合、そのときの形状、配置を選択する。もしくは、全ての形状、全ての配置について、相関値の平均値(ΣD/m)を算出し、最小の相関値の平均値を与える形状、配置を採用してもよい。 In the first embodiment, in the arrangement determination (step S24 in the flowchart of FIG. 12), the loop is escaped when the average correlation value (ΣD / m) is equal to or less than a predetermined value. The method is not limited to this. For a certain shape, an average value (ΣD / m) of correlation values may be calculated for all arrangements, and it may be determined whether or not the minimum value among the calculated values is equal to or less than a predetermined value d. When the average value (ΣD / m) of the correlation value is larger than the predetermined value d, the process proceeds to the next shape. When the average value is smaller than the predetermined value d, the shape and arrangement at that time are selected. Alternatively, a shape and an arrangement that calculate an average value (ΣD / m) of correlation values for all shapes and all arrangements and give an average value of minimum correlation values may be adopted.
以上のように、本開示における技術の例示として、実施の形態を説明した。そのために、添付図面および詳細な説明を提供した。 As described above, the embodiments have been described as examples of the technology in the present disclosure. For this purpose, the accompanying drawings and detailed description are provided.
したがって、添付図面および詳細な説明に記載された構成要素の中には、課題解決のために必須な構成要素だけでなく、上記技術を例示するために、課題解決のためには必須でない構成要素も含まれ得る。そのため、それらの必須ではない構成要素が添付図面や詳細な説明に記載されていることをもって、直ちに、それらの必須ではない構成要素が必須であるとの認定をするべきではない。 Accordingly, among the components described in the accompanying drawings and the detailed description, not only the components essential for solving the problem, but also the components not essential for solving the problem in order to illustrate the above technique. May also be included. Therefore, it should not be immediately recognized that these non-essential components are essential as those non-essential components are described in the accompanying drawings and detailed description.
また、上述の実施の形態は、本開示における技術を例示するためのものであるから、特許請求の範囲またはその均等の範囲において種々の変更、置き換え、付加、省略などを行うことができる。 Moreover, since the above-mentioned embodiment is for demonstrating the technique in this indication, a various change, replacement, addition, abbreviation, etc. can be performed in a claim or its equivalent range.
本開示は、複数の映像信号源から分割映像を示す複数の映像信号を受信し、複数の分割映像を適切に配置する映像信号処理装置に適用できる。 The present disclosure can be applied to a video signal processing apparatus that receives a plurality of video signals indicating divided videos from a plurality of video signal sources and appropriately arranges the plurality of divided videos.
10 マルチディスプレイ
100 マルチウィンドウ処理装置(MWP)
110 映像信号入力部
120 同期信号検出部
130 グループ判定部
140 相関検出部
150 配置判定部
160 操作部
170 マルチウィンドウ処理部
180 映像分割部
200 コントローラ
10
110 video
Claims (9)
前記複数の映像信号を入力する入力部と、
前記映像信号に含まれる情報に基づき前記複数の映像信号をグループ化するグループ判定部と、を備える、
映像信号処理装置。 A video signal processing device that receives a plurality of video signals and generates a video signal for display on a display area configured by a plurality of video display devices,
An input unit for inputting the plurality of video signals;
A group determination unit that groups the plurality of video signals based on information included in the video signal;
Video signal processing device.
請求項1記載の映像信号処理装置。 The group determination unit groups video signal groups in which a difference in period and / or a phase difference of synchronization signals included in the video signal are within a predetermined range as the same group,
The video signal processing apparatus according to claim 1.
前記グループ判定部は、前記グループ判定部により決定されたグループ内の映像信号を、前記相関値に基づいてさらにグループ化する、
請求項2記載の映像信号処理装置。 A correlation detector that calculates a correlation value indicating a correlation between the two video signals;
The group determination unit further groups the video signals in the group determined by the group determination unit based on the correlation value.
The video signal processing apparatus according to claim 2.
前記グループ判定部は、前記相関値に基づいて前記複数の映像信号をグループ化する、
請求項1記載の映像信号処理装置。 A correlation detector that calculates a correlation value indicating a correlation between the two video signals;
The group determination unit groups the plurality of video signals based on the correlation value.
The video signal processing apparatus according to claim 1.
前記配置判定部は、グループ毎に、グループ内の映像信号間の相関に基づき前記映像信号が示す映像の配置を決定する、請求項5記載の映像信号処理装置。 A correlation detector that calculates a correlation value indicating a correlation between the two video signals;
The video signal processing apparatus according to claim 5, wherein the arrangement determination unit determines the arrangement of the video indicated by the video signal based on a correlation between the video signals in the group for each group.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2016167703A JP2018037765A (en) | 2016-08-30 | 2016-08-30 | Image signal processor |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2016167703A JP2018037765A (en) | 2016-08-30 | 2016-08-30 | Image signal processor |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2018037765A true JP2018037765A (en) | 2018-03-08 |
Family
ID=61567836
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2016167703A Pending JP2018037765A (en) | 2016-08-30 | 2016-08-30 | Image signal processor |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2018037765A (en) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2019049535A1 (en) * | 2017-09-08 | 2019-03-14 | シャープ株式会社 | Image signal supply device, display device, television receiver, image rearrangement method, control program, and recording medium |
JP2019211519A (en) * | 2018-05-31 | 2019-12-12 | シャープ株式会社 | Display device |
WO2020195169A1 (en) * | 2019-03-25 | 2020-10-01 | ソニー株式会社 | Image processing device, image processing method, and display device |
Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20040027482A1 (en) * | 2002-08-09 | 2004-02-12 | Lee Woo Chul | Multi-vision system and method of controlling the same |
KR20090092641A (en) * | 2008-02-27 | 2009-09-01 | 웹싱크 주식회사 | Digital multivision system using integrated frame buffer |
JP2011064857A (en) * | 2009-09-16 | 2011-03-31 | Sharp Corp | Display device, display method and display system |
JP2012173424A (en) * | 2011-02-18 | 2012-09-10 | Canon Inc | Image display apparatus and control method thereof |
JP2014192767A (en) * | 2013-03-27 | 2014-10-06 | Sharp Corp | Display control unit and television receiver |
JP2015102567A (en) * | 2013-11-21 | 2015-06-04 | 三菱電機株式会社 | Multi-vision display control device and multi-vision system |
JP2016090906A (en) * | 2014-11-08 | 2016-05-23 | キヤノン株式会社 | Image processor, image processing method, and program |
-
2016
- 2016-08-30 JP JP2016167703A patent/JP2018037765A/en active Pending
Patent Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20040027482A1 (en) * | 2002-08-09 | 2004-02-12 | Lee Woo Chul | Multi-vision system and method of controlling the same |
KR20090092641A (en) * | 2008-02-27 | 2009-09-01 | 웹싱크 주식회사 | Digital multivision system using integrated frame buffer |
JP2011064857A (en) * | 2009-09-16 | 2011-03-31 | Sharp Corp | Display device, display method and display system |
JP2012173424A (en) * | 2011-02-18 | 2012-09-10 | Canon Inc | Image display apparatus and control method thereof |
JP2014192767A (en) * | 2013-03-27 | 2014-10-06 | Sharp Corp | Display control unit and television receiver |
JP2015102567A (en) * | 2013-11-21 | 2015-06-04 | 三菱電機株式会社 | Multi-vision display control device and multi-vision system |
JP2016090906A (en) * | 2014-11-08 | 2016-05-23 | キヤノン株式会社 | Image processor, image processing method, and program |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2019049535A1 (en) * | 2017-09-08 | 2019-03-14 | シャープ株式会社 | Image signal supply device, display device, television receiver, image rearrangement method, control program, and recording medium |
JP2019050494A (en) * | 2017-09-08 | 2019-03-28 | シャープ株式会社 | Image signal supply device, display unit, television receiver, image rearrangement method, control program and recording medium |
JP2019211519A (en) * | 2018-05-31 | 2019-12-12 | シャープ株式会社 | Display device |
JP7126382B2 (en) | 2018-05-31 | 2022-08-26 | シャープ株式会社 | Display device |
WO2020195169A1 (en) * | 2019-03-25 | 2020-10-01 | ソニー株式会社 | Image processing device, image processing method, and display device |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
WO2016091082A1 (en) | Multi-screen joint display processing method and device | |
CN107027000B (en) | Video processor, display system, and video image processing method | |
TWI391905B (en) | Multiple video signals coexisting system and method thereof | |
CN111510642A (en) | Display system, display method for display system, and display device | |
KR20170046989A (en) | Display apparatus consisting a multi display system and control method thereof | |
US20170344330A1 (en) | Multi-display device | |
JP2017072644A (en) | Display control device | |
JP2018037765A (en) | Image signal processor | |
US10412320B1 (en) | Method and system for switching display from first video source to second video source | |
CN103974050B (en) | Unit multichannel projective synchronization method | |
JP5669614B2 (en) | Image display apparatus and control method thereof | |
US10572209B2 (en) | Multi-display system | |
JP5875415B2 (en) | Image synthesizer | |
US20160078664A1 (en) | Image synthesizing apparatus and method | |
JP6051521B2 (en) | Image composition system | |
JP2012212061A (en) | Multi-display device | |
JP5765963B2 (en) | Image processing apparatus and image processing method | |
JP2009267612A (en) | Image processor, and image processing method | |
JP2012078393A (en) | Multi-display device and video signal generation device | |
JP2015060021A (en) | Display device, control method and program | |
KR101506030B1 (en) | Multi-vision system and picture visualizing method the same | |
US9794534B2 (en) | Image processing methods, and image processing devices and system for a scalable multi-projection system | |
US9933987B2 (en) | Multi-display system | |
JP2013117601A (en) | Multi-display control system, control method thereof, and multi-display device | |
JP6351382B2 (en) | VIDEO PROCESSING DEVICE, ITS CONTROL METHOD, AND PROGRAM |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20190626 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20200228 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20200317 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20200923 |