JP2018182511A - 表示装置、画像出力装置及び表示方法 - Google Patents

表示装置、画像出力装置及び表示方法 Download PDF

Info

Publication number
JP2018182511A
JP2018182511A JP2017078744A JP2017078744A JP2018182511A JP 2018182511 A JP2018182511 A JP 2018182511A JP 2017078744 A JP2017078744 A JP 2017078744A JP 2017078744 A JP2017078744 A JP 2017078744A JP 2018182511 A JP2018182511 A JP 2018182511A
Authority
JP
Japan
Prior art keywords
display
image
output
unit
connection flow
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2017078744A
Other languages
English (en)
Other versions
JP2018182511A5 (ja
JP6949534B2 (ja
Inventor
中川 亮
Akira Nakagawa
亮 中川
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to JP2017078744A priority Critical patent/JP6949534B2/ja
Publication of JP2018182511A publication Critical patent/JP2018182511A/ja
Publication of JP2018182511A5 publication Critical patent/JP2018182511A5/ja
Application granted granted Critical
Publication of JP6949534B2 publication Critical patent/JP6949534B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Transforming Electric Information Into Light Information (AREA)
  • Studio Devices (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Controls And Circuits For Display Device (AREA)

Abstract

【課題】画像を拡大表示する場合、接続形態に応じて画像を拡大表示する表示装置を提供する。【解決手段】ディスプレイ2aは、画像出力装置が出力した出力画像に基づく表示用画像を表示する。ディスプレイ2aは、表示用画像を表示する表示部と、表示用画像を拡大する拡大縮小部と、表示用画像を拡大する表示変更指示を取得するユーザ指示部と、表示変更指示をユーザ指示部が取得した場合、出力画像に基づく画像を表示するディスプレイ2bがディスプレイ2aと同一の画像を表示するように設定されている時は、カメラにおいて出力画像から切り出されたトリミング画像を表示用画像として表示部に表示させ、ディスプレイ2bが表示用画像をディスプレイ2aと同一の画像を表示するように設定されていない時は、拡大縮小部が表示用画像を拡大した拡大画像を表示部に表示させる接続フロー制御部と、を有する。【選択図】図5

Description

本発明は、画像を表示する表示装置、画像を出力する画像出力装置、及び画像の表示方法に関する。
デジタルカメラが高解像度化し、4K解像度や8K解像度に対応したカメラ(以下4Kカメラ、8Kカメラという)が増えてきている。映像制作現場においては、画像を拡大する機能を備えている表示装置上に撮影した画像を表示し、撮影した画像を拡大してフォーカスやディテールを確認することが行われている。特許文献1には、複数の映像入出力機器が接続されているシステムにおいて、機器によって異なる画像処理を行う技術が開示されている。
特開2010−081510号公報
映像制作現場において、コスト面などの制約によりカメラの解像度よりも小さい解像度の表示装置を使用する場合がある。カメラの解像度よりも解像度が小さい表示装置に、撮影した画像を縮小した縮小画像を表示している場合、表示装置上で拡大すると、撮影した画像に比べて、表示した画像の画質が低下することがある。
特許文献1には、機器の画質処理の性能に基づいて、最も性能の高い超解像処理を有する機器の超解像処理機能をオンにし、他の機器の超解像処理機能をオフにする技術が開示されている。特許文献1に開示された技術を用いることで、表示装置上で、高画質な画像を表示することができる。
しかし、映像制作現場においては、一つの撮影装置から出力された同一の画像を、複数の表示装置で表示する場合がある。このような場合に、特許文献1に開示された技術を用いると、表示装置を視認しているユーザの意図に反して、表示装置ごとに画質が異なる画像が表示されてしまうという問題があった。
そこで、本発明はこれらの点に鑑みてなされたものであり、互いに接続された複数の表示装置のうちの一つでユーザが拡大操作を行った場合に、複数の表示装置の接続形態に適した方法で表示用画像を拡大表示することができる表示装置、及び表示方法を提供することを目的とする。
本発明の表示装置は、画像出力装置が出力した出力画像に基づく表示用画像を表示する表示装置であって、前記表示用画像を表示する表示手段と、前記表示用画像を拡大する表示変更手段と、前記表示用画像を拡大する表示変更指示を取得する指示取得手段と、前記表示変更指示を前記指示取得手段が取得した場合、前記出力画像に基づく画像を表示する外部装置が前記表示装置と同一の画像を表示するように設定されているときは、前記画像出力装置において前記出力画像から切り出されたトリミング画像を前記表示用画像として前記表示手段に表示させ、前記外部装置が前記表示用画像を前記表示装置と同一の画像を表示するように設定されていないときは、前記変更手段が表示用画像を拡大した拡大画像を前記表示用画像として前記表示手段に表示させる制御手段と、を有することを特徴とする。
本発明の画像出力装置は、撮像手段が生成した撮像画像に基づく画像を上記の複数の表示装置に出力する画像出力装置であって、前記撮像画像を縮小することにより、前記複数の表示装置に出力する出力画像を生成する画像縮小手段と、前記複数の表示装置に同一の前記出力画像を出力するモードに設定されていないことを条件として、前記撮像画像の一部の領域を切り出したトリミング画像を前記複数の表示装置のうちの一部の表示装置に出力する出力手段と、を有することを特徴とする。
本発明の表示方法は、コンピュータが実行する、画像出力装置が出力した出力画像に基づく表示用画像を表示装置に表示させる表示方法であって、前記表示用画像を表示手段に表示させるステップと、前記表示用画像の表示状態を変更するステップと、前記表示用画像を拡大する表示変更指示を取得するステップと、前記表示変更指示を取得した場合、前記出力画像に基づく画像を表示する外部装置が前記表示装置と同一の画像を表示するように設定されていると判定するステップと、前記外部装置が前記表示装置と同一の画像を表示するように設定されていると判定した場合に、前記画像出力装置において前記出力画像が切り出されたトリミング画像を前記表示用画像として前記表示手段に表示させるステップと、前記外部装置が前記表示用画像を前記表示装置と同一の画像を表示するように設定されていないと判定した場合に、前記出力画像を拡大した拡大画像を前記表示用画像として前記表示手段に表示させるステップと、を有することを特徴とする。
本発明によれば、互いに接続された複数の表示装置のうちの一つでユーザが拡大操作を行った場合に、複数の表示装置の接続形態に適した方法で表示用画像を拡大表示することができるという効果を奏する。
表示システムの構成を示す図である。 カメラの構成を示す図である。 接続フロー情報の一例を示す図である。 表示設定情報の一例を示す図である。 機器情報の一例を示す図である。 ディスプレイの構成を示す図である。 ディスプレイの動作フローチャートである。 第2の実施形態に係る表示システムの構成を示す図である。 切り出し装置及びスイッチャーの構成を示す図である。 第2の実施形態に係る接続フロー情報の一例を示す図である。 第2の実施形態に係る機器情報の一例を示す図である。 第2の実施形態に係るディスプレイの動作フローチャートである。 変更された接続フロー情報の一例を示す図である。
<第1の実施形態>
図1は、表示システムSの構成を示す図である。表示システムSは、カメラ1と、ディスプレイ2aと、ディスプレイ2bとを有する。カメラ1は、例えば4K解像度(3840×2160画素)で撮影可能なデジタルカメラであり、撮影した画像をディスプレイ2aに出力する画像出力装置である。カメラ1は、例えば映像ケーブルを介してIP伝送方式でディスプレイ2aと接続されている。
ディスプレイ2a及び2bは、例えばHD解像度(1280×720)の液晶ディスプレイである。ディスプレイ2a及び2bは、HD解像度の液晶ディスプレイに限らないが、カメラ1が撮影可能な画像の解像度より小さい解像度のディスプレイであることが想定されている。ディスプレイ2a及び2bは、カメラ1が出力した出力画像に基づく表示用画像を画面に表示する表示装置である。ディスプレイ2a及び2bが、カメラ1が出力した出力画像を画面に表示する場合、4K解像度の画像を表示することができないため、カメラ1が出力画像を縮小した画像を画面に表示する。
ディスプレイ2aは、ディスプレイ2bと例えば映像ケーブルを介してIP伝送方式で接続されている。ディスプレイ2aは、カメラ1が出力した出力画像をディスプレイ2bにスルーアウト出力する。すなわち、ディスプレイ2aは、カメラ1が出力した出力画像をそのままの状態でディスプレイ2bに出力する。ディスプレイ2bは、ディスプレイ2aを介して、カメラ1が出力した出力画像に基づく表示用画像を画面に表示する外部装置である。なお、カメラ1とディスプレイ2bとは直接接続されていない。
ユーザ(例えば、映像制作者)がカメラ1で撮影した画像をディスプレイ2a及び2bに表示させて画像のディテール又はフォーカスを調整する場合、ユーザは、例えばディスプレイ2aが表示する表示用画像を拡大して確認する。ディスプレイ2aにおいて表示した表示用画像を拡大すると、カメラ1が縮小した画像を拡大することになるので、表示用画像の画質が劣化してしまう。そこで、ディスプレイ2aが表示する表示画像を拡大する場合に、カメラ1が撮影した撮像画像から拡大したい領域を切り出したトリミング画像を表示用画像として表示することで、画質の劣化が少ない状態で拡大された画像を表示することができる。
しかし、撮像画像から拡大したい領域をカメラ1において切り出したトリミング画像を表示用画像として表示する場合、ディスプレイ2aがスルーアウト出力した出力画像を表示するディスプレイ2bが表示する表示用画像も変化する。このように、カメラ1がトリミング画像を出力すると、表示変更指示を入力したディスプレイ2aと異なるディスプレイ2bを視認するユーザの意図に反して表示用画像が変化してしまうということが生じる。ディスプレイ2aとディスプレイ2bとが同一の画像を表示するように設定されている場合は、ディスプレイ2aにおける拡大操作に伴ってディスプレイ2bの表示用画像が拡大しても問題ないが、ディスプレイ2aとディスプレイ2bとが同一の画像を表示するように設定されていない場合、ディスプレイ2bを視認するユーザにとっては好ましくない。
そこで、本実施形態に係るディスプレイ2aは、ディスプレイ2aとディスプレイ2bとが同一の画像を表示するように設定されていることを条件として、ディスプレイ2aにおける拡大操作に応じて、カメラ1が拡大したい領域を切り出したトリミング画像を表示する。ディスプレイ2aは、ディスプレイ2aとディスプレイ2bとが同一の画像を表示するように設定されていない場合、ディスプレイ2自身が表示用画像を拡大した画像である変更画像を表示する。このようにすることで、本実施形態に係るディスプレイ2aは、ユーザがディスプレイ2に表示用画像を拡大する表示変更指示を入力した場合に、ディスプレイ2aとディスプレイ2bとの間の接続形態に適した方法で表示用画像を拡大表示することができる。
[カメラ1の構成]
図2は、カメラ1の構成を示す図である。カメラ1は、撮像部11と、入出力部12と、記憶部13と、出力制御部14とを有する。出力制御部14は、切替部141、縮小部142、切り出し処理部143、接続フロー生成部144及び接続フロー制御部145を含む。撮像部11は、動画像を撮影することにより撮像画像を生成する。撮像部11は、生成した撮像画像を切替部141に送信する。また、撮像部11は、動画像の撮影を開始すると、撮影を開始したことを示す撮影開始情報を接続フロー生成部144に通知する。なお、撮像部11は、4K解像度(3840x2160画素)で動画像を撮影するが、解像度はこれに限らず、ユーザが任意に設定することができるようにしてもよい。
入出力部12は、他の装置と映像及び情報を送受信する通信インターフェースである。入出力部12は、例えば、DisplayPort(登録商標)及びHDMI(High-Definition Multimedia Interface)(登録商標)を有するが、これに限定されるものではない。入出力部12は、後述する縮小部142から受信した出力画像、又は切り出し処理部143から受信したトリミング画像をディスプレイ2aに送信する。
記憶部13は、ROM(Read Only Memory)、及びRAM(Random Access Memory)などの記憶媒体を含む。記憶部13は、自装置の機器情報、他の装置の機器情報、及び接続フロー情報を記憶する。詳細については後述するが、機器情報は、表示システムSに含まれる各装置の情報を管理するための情報である。接続フロー情報は、表示システムSに含まれる各装置の接続状態を管理するための情報である。また、記憶部13は、例えば出力制御部14が実行するプログラム、映像データ、又は画像データを記憶してもよい。
出力制御部14は、撮像部11が撮像した撮像画像を出力画像として出力するための出力制御手段である。出力制御部14は、例えばCPU(Central Processing Unit)である。出力制御部14は、記憶部13に記憶されたプログラムを実行することにより、切替部141、縮小部142、切り出し処理部143、接続フロー生成部144及び接続フロー制御部145として機能する。
切替部141は、撮像部11から撮像画像を取得し、入出力部12から受信した出力画像を切り出すための切り出し指示又は出力画像の切り出しを停止するための切り出し停止指示に基づいて、撮像画像の通知先を切り換えるスイッチである。切り出し指示は、撮像画像に含まれる画素のうち、切り出しを開始する画素の開始座標、及び撮像画像を切り出す大きさを示すサイズ情報を含む。切替部141は、切り出し指示を取得すると、撮像画像とともに、切り出し指示に含まれる開始座標及びサイズ情報を切り出し処理部143に通知する。切替部141は、切り出し停止指示を取得すると、撮像画像を縮小部142に通知する。なお、切替部141は、切り出し指示及び切り出し停止指示のどちらも受信していない場合、縮小部142に撮像画像を通知してもよい。
縮小部142は、切替部141から撮像画像を取得した撮像画像を縮小し、出力画像として入出力部12に送信する。縮小部142は、撮像画像を縮小せずに入出力部12に送信してもよい。縮小部142は、接続フロー生成部144から他の装置の機器情報を取得して、機器情報に含まれる最大解像度に基づいて撮像画像を縮小する。縮小部142は、入出力部12を介して他の装置からEDID(Extended Display Identification Data)を取得し、EDIDに含まれる解像度情報に基づいて、縮小後の解像度を決定してもよい。
切り出し処理部143は、切替部141から撮像画像及び切り出し指示を受信すると、開始座標及びサイズ情報に基づいて撮像画像を切り出してトリミング画像を生成する。切り出し処理部143は、トリミング画像を入出力部12に送信する。
接続フロー生成部144は、表示システムSに含まれる複数の機器間の接続関係を示す接続フロー情報を生成する。図3は、接続フロー情報の一例を示す図である。本実施形態において、接続フロー生成部144は、接続フロー情報を、図3に示すようなテーブル形式で生成するが、これに限らず他の形式で生成してもよい。以下、接続フロー情報に含まれる各情報項目について詳細に説明する。
(接続フロー情報)
「接続No.」は、接続機器の番号を示す。「接続No.」は、カメラ1を1として、後段にいくほど番号が大きくなるように設定されている。「種別」は、各機器の種別を示す情報であり、本実施形態では「カメラ」、「ディスプレイ」のいずれかから選択されるものとする。
「前段装置」は、それぞれの機器の一つ前に接続されている機器を示す。「前段装置」が「1」ならば、「接続No.」が「1」の機器が前段に接続されていることを示す。「前段装置」が「−」ならば前段に接続されている機器が存在しないことを示す。「後段装置」は、それぞれの機器の一つ後ろに接続されている機器を示す。「後段装置」が「2」ならば、「接続No.」が「2」の機器が後段に接続されていることを示す。「後段装置」が「−」ならば後段に接続されている機器が存在しないことを示す。
「撮影/最大受信解像度」は、各種別の機器が処理可能な最大解像度である。例えばカメラであれば撮影可能な解像度、ディスプレイであれば表示可能な解像度を示す。解像度情報は本実施例では横×縦の画素数とし、例えば「3840×2160」ならば最大で3840×2160画素に対応していることを示し、「1280×720」ならば最大で1280×720画素に対応していることを示す。「切出機能」とは、各機器が画像を切り出す機能を備えているかを示す情報である。「切出機能」が「有」の場合は、切り出し機能を備えていることを示し、「無」の場合は切り出し機能を備えていないことを示す。
「映像ソース」は、ディスプレイ2が表示している画像がどの装置から出力された画像かを示す。「映像ソース」が「1」であれば、「接続No.」が「1」の機器から出力された画像を表示していることを示す。「出力方法」とは、各機器が画像をどのように出力しているかを示す情報である。「出力方法」が「縮小」の場合は画像を縮小して後段に出力していることを示す。「出力方法」が「スルーアウト」であれば、受信した画像をそのまま後段装置に出力していることを示す。「出力方法」が「−」であれば後段装置へ映像を出力していないことを示す。
「同期設定」は、複数のディスプレイ2が、他のディスプレイ2と同一の状態で表示用画像を表示するモードに設定されているか、他のディスプレイ2と同一の状態で表示用画像を表示しないモードに設定されているかを示す同期設定情報の値を示す。「同期設定」が「有」であれば、複数のディスプレイ2の画角及び画質が同一になるように設定されており、複数のディスプレイ2間で同一の画像が表示される。「同期設定」が「無」であれば複数のディスプレイ2間で同一の画像が表示されない。「同期設定」が「−」であれば、複数のディスプレイ2の画角及び画質を等しくする機能を備えていないことを示す。
以下の説明において、「同期設定」が「有」であるディスプレイ2を同期されたディスプレイ2という。同期されたディスプレイ2は、複数の同期されたディスプレイ2のうちいずれかの画角及び画質が変更された場合、他の複数の同期されたディスプレイ2のすべての画角及び画質が変更され、複数の同期されたディスプレイ2のすべてで同一の画像が表示される。なお、ディスプレイ2以外の機器は、画角及び画質を等しくする機能を備えていない。
複数のディスプレイ2の画角及び画質は、「表示設定情報」として、記憶部13が記憶してもよい。図4は、表示設定情報の一例を示す図である。図4(a)は、ディスプレイ2の画角設定情報の一例を示す図である。画角設定情報は、例えば画像に含まれる画素のうち表示を開始する画素の位置を示す「表示開始位置」、及び画像を表示する大きさを示す「表示サイズ」である。図4(b)は、ディスプレイ2の画質設定情報の一例を示す図である。画質設定情報は、例えば画像の表示における明度の差を示す「コントラスト」、及びディスプレイ画面の輝度を示す「ブライトネス」である。
接続フロー生成部144は、自装置の機器情報をさらに生成する。機器情報は、表示システムSに含まれる各装置に固有の情報である。図5は、機器情報の一例を示す図である。接続フロー生成部144は、機器情報を、図5に示すようなテーブル形式で生成するが、これに限らず他の形式で生成してもよい。機器情報に含まれる各情報項目は、接続フロー情報に含まれる各情報項目と同一であるので説明を省略する。図5(a)は、カメラ1の機器情報を示す図である。図5(b)は、ディスプレイ2aの機器情報を示す図である。図5(c)は、ディスプレイ2bの機器情報を示す図である。本実施形態において、機器情報は図5に示すようなテーブル形式で記憶されるが、これに限らず他の形式で記憶されてもよい。
接続フロー生成部144は、撮像部11から撮影開始情報を受信すると、自装置の機器情報を生成する。接続フロー生成部144は、他の装置から機器情報を受信すると、他の装置の機器情報と、自装置の機器情報とを含む接続フロー情報を生成する。また、接続フロー生成部144は、他の装置から接続フロー情報を受信すると、受信した接続フロー情報に、自装置の機器情報を加えた、新たな接続フロー情報を生成する。接続フロー生成部144は、生成した自装置の機器情報、又は接続フロー情報を、接続フロー制御部145に通知する。
接続フロー制御部145は、表示システムSにおける自装置と他の装置との接続状態を示す情報を他の装置と送受信する制御手段である。また、接続フロー制御部145は、撮像部11が撮像した撮像画像の出力を制御し、入出力部12に出力画像として他の装置(例えば2a)へ送信させる。接続フロー制御部145は、入出力部12を介して、他の装置から機器情報又は接続フロー情報を取得する。接続フロー制御部145は、取得した機器情報又は接続フロー情報を接続フロー生成部144に通知し、新たに接続フロー情報を生成させる。また、接続フロー制御部145は、取得した機器情報又は接続フロー情報を記憶部13に記憶させてもよい。接続フロー制御部145は、接続フロー生成部144が生成した機器情報又は接続フロー情報を受信すると、入出力部12を介して他の装置に受信した情報を送信する。
接続フロー制御部145は、入出力部12を介して他の装置に対して機器情報の送信を要求していることを示す要求情報を送信する。また、接続フロー制御部145は、入出力部12を介して他の装置に接続フロー情報の送信を要求していることを示す要求情報を送信してもよい。接続フロー制御部145は、入出力部12を介して他の装置から要求情報を受信すると、要求情報が示す機器情報又は接続フロー情報を、要求情報を送信した装置へ送信する。また、接続フロー制御部145は、例えば、145は、ディスプレイ2aに対し、一定期間ごとに要求情報を送信する。一定期間は例えば10秒であるが、これに限らない。
接続フロー制御部145は、入出力部12を介して切り出し指示を受信すると、切替部141に切り出し指示を通知する。また、接続フロー制御部145は、入出力部12を介して切り出し停止指示を受信すると、切替部141に切り出し停止指示を通知する。
[ディスプレイ2の構成]
図6は、ディスプレイ2の構成を示す図である。ディスプレイ2は、入出力部21と、ユーザ指示部22と、表示部23と、記憶部24と、出力制御部25とを有する。出力制御部25は、拡大縮小部251、接続フロー生成部252、同期制御部253、及び接続フロー制御部254を含む。なお、本実施形態において、ディスプレイ2a及びディスプレイ2bは同一の構成である。
入出力部21は、他の装置と映像及び情報を送受信する通信インターフェースである。入出力部21は、例えば、DisplayPort及びHDMIを有するが、これに限定されるものではない。入出力部21は、他の装置から取得した出力画像を拡大縮小部251へ通知する。また、入出力部21は、自装置と異なる他の装置に画像を出力する画像出力手段として機能する。例えば、入出力部21は、画像出力装置から取得した出力画像を、出力画像を取得した画像出力装置と異なる他の装置に出力する。具体的には、入出力部21は、カメラ1から取得した出力画像をディスプレイ2bにスルーアウト出力する。
ユーザ指示部22は、ユーザが入力した表示用画像に対する表示変更指示を取得する指示取得手段である。ユーザ指示部22は、例えば操作用のボタンを有しており、接続フロー制御部254に、操作されボタンの種別に基づいて特定される受け付けた指示の内容を示す指示信号を送信する。ユーザ指示部22は、リモコン等から信号を受信する受信部であってもよい。
ユーザ指示部22は、例えば表示用画像を拡大する表示変更指示を取得する。ユーザ指示部22は、表示用画像を縮小する表示変更指示を取得してもよい。ユーザ指示部22は、取得した表示変更指示を、接続フロー制御部254に送信する。また、ユーザ指示部22は、ユーザから画角設定又は画質設定を変更する設定変更指示を受け付ける。ユーザ指示部22は、受け付けた設定変更指示を接続フロー制御部254に送信する。また、ユーザ指示部22は、ユーザから接続フロー情報に示される「同期設定」の「有」「無」を切り替える切替指示を受け付ける。ユーザ指示部22は、受け付けた切替指示を接続フロー制御部254に送信する。なお、ユーザ指示部22は、表示用画像を拡大する拡大率を100%以下にする指示を受けた場合、出力画像の切り出しを停止するための切り出し停止指示を接続フロー制御部254へ送信してもよい。
表示部23は、表示用画像を表示する、例えばHD(1024×720画素)解像度の液晶パネルである。記憶部24は、ROM、及びRAMなどの記憶媒体を含む。記憶部24は、自装置の機器情報、他の装置の機器情報、及び接続フロー情報を記憶する。また、記憶部24は、例えば出力制御部25が実行するプログラムの記憶、映像データ、又は画像データを記憶してもよい。出力制御部25は、例えばCPUである。出力制御部25は、記憶部24に記憶されたプログラムを実行することにより、拡大縮小部251、接続フロー生成部252、同期制御部253及び接続フロー制御部254として機能する。
拡大縮小部251は、入出力部21が出力した出力画像を表示用画像として取得し、表示用画像を拡大又は縮小する画像変更手段である。拡大縮小部251は、例えば、接続フロー制御部254から受信した表示用画像を拡大又は縮小する表示変更指示に基づいて、表示用画像を拡大又は縮小した変更画像を生成する。具体的には、拡大縮小部251は、画像変形指示に含まれる表示用画像に対する拡大率又は縮小率に基づいて表示用画像を拡大又は縮小した変更画像を生成する。拡大縮小部251は、生成した変更画像を表示部23に送信する。拡大縮小部251は、変更画像を生成しない場合、入力された表示用画像をそのまま表示部23に送信する。なお、本明細書においては、拡大縮小部251が表示用画像を拡大して得られる変更画像を拡大画像という場合がある。
接続フロー生成部252は、接続フロー制御部254から受信した指示に基づいて、自装置の機器情報、又は接続フロー情報を生成する。接続フロー生成部252は、例えば接続フロー制御部254から接続フロー情報を受信するとともに、新たに接続フロー情報を生成する指示を受信すると、受信した接続フロー情報に自装置の機器情報を追加した新たな接続フロー情報を生成する。接続フロー生成部252は、生成した機器情報又は接続フロー情報を接続フロー制御部254に通知する。
同期制御部253は、ディスプレイ2bの表示モードを示すモード情報を取得する情報取得手段として機能する。また、同期制御部253は、モード情報の一つである同期設定情報に基づいて、複数のディスプレイ2が同期設定状態になっているか否かを判定する。例えば、同期制御部253は、接続フロー制御部254から受信した接続フロー情報、又は機器情報に含まれる同期設定情報に基づいて、複数のディスプレイ2の同期設定状態か否かを判定する。具体的には、同期制御部253は、接続フロー情報に含まれる同期設定情報が「有」であれば、自装置と他のディスプレイ2とが同一の画像を表示する同期設定モードに設定されていると判定する。同期制御部253は、同期設定情報が「無」であれば、自装置と他のディスプレイ2とが同一の画像を表示する同期設定モードに設定されていないと判定する。同期制御部253は、同期設定の有無を判定した結果を接続フロー制御部254に通知する。
なお、以下の説明において、同一の画像を表示する同期設定モードに設定されていることを、「同期設定されている」ということがある。また、同一の画像を表示する同期設定モードに設定されていないことを「同期設定されていない」ということがある。
また、同期制御部253は、ディスプレイ2bの表示設定状態を示す表示設定情報を取得してもよい。同期制御部253は、ユーザ指示部22が受け付けた表示設定変更指示を取得すると、ディスプレイ2の表示設定を変更するとともに、記憶部24に記憶された表示設定情報を変更する。具体的には、同期制御部253は、表示設定変更指示に含まれる表示設定情報と、記憶部24に記憶された表示設定情報とを比較し、表示設定変更指示に含まれる表示設定情報と、記憶部24に記憶された表示設定情報とが同一の場合は表示設定情報を変更しない。
同期制御部253は、表示設定変更指示に含まれる表示設定情報と、記憶部24に記憶された表示設定情報とが同一でない場合、記憶部24に記憶された表示設定情報を表示設定変更指示に含まれる表示設定情報に変更する。また、同期制御部253は、同期設定されている他のディスプレイ2に表示設定変更指示を送信する。同期制御部253は、表示設定変更指示に含まれる表示設定情報と、記憶部24に記憶されたディスプレイ2bの表示設定情報とが同一でない場合、ディスプレイ2bに表示設定変更指示を送信する。このようにすることで、ディスプレイ2aとディスプレイ2bとは同一の画像を表示することができる。なお、同期制御部253は、ユーザ指示部22が受け付けた表示設定指示に基づいて表示設定を変更したが、入出力部21を介して、他の装置が受け付けた表示設定指示を受信した場合も同様に動作する。
接続フロー制御部254は、表示用画像、トリミング画像、又は変更画像のいずれかを表示部23に表示させるように制御する表示制御手段として機能する。例えば、接続フロー制御部254は、表示変更指示をユーザ指示部22が取得していない場合、入出力部21が受信した出力画像を表示用画像として表示部23に表示させる。また、例えば、接続フロー制御部254は、表示変更指示をユーザ指示部22が取得した場合、出力画像に基づく画像を表示するディスプレイ2bが自装置と同一の画像を表示するように設定されているときは、カメラ1が出力画像を切り出したトリミング画像を表示用画像として表示部23に表示させる。
接続フロー制御部254は、表示変更指示をユーザ指示部22が取得した場合、出力画像に基づく画像を表示するディスプレイ2bが自装置と同一の画像を表示するように設定されていないときは、拡大縮小部251が表示用画像を拡大した拡大画像を表示用画像として表示部23に表示させる。
接続フロー制御部254は、同期制御部253が取得した同期設定情報が、ディスプレイ2bが同期設定モードに設定されていることを示している場合、トリミング画像を表示部23に表示させてもよい。具体的には、接続フロー制御部254は、同期設定モードであるか否かを判定し、同期設定モードであると判定した場合、トリミング画像を表示部23に表示させる。また、接続フロー制御部254は、同期設定モードでないと判定した場合、拡大画像を表示部23に表示させる。
このようにすることで、ディスプレイ2aは、ユーザから表示用画像を変更する表示変更指示を受けた場合に、ディスプレイ2aとディスプレイ2bとが同期設定されているときはカメラ1が出力画像を切り出したトリミング画像を表示させることができる。したがって、ディスプレイ2aは、拡大縮小部251が生成した拡大画像を表示する場合よりも高画質な表示用画像を表示することができる。また、ディスプレイ2aは、ユーザから表示用画像を変更する表示変更指示を受けた場合に、ディスプレイ2aとディスプレイ2bとが同期設定されていないときは、ディスプレイ2aが表示用画像を拡大した拡大画像を表示することができる。したがって、ディスプレイ2bを視認するユーザの意図しない画像がディスプレイ2bに表示させることを防止することができる。
接続フロー制御部254は、カメラ1が表示変更指示に基づいて出力画像を切り出すことができる場合にトリミング画像をディスプレイ2bに表示させ、カメラ1が表示変更指示に基づいて出力画像を切り出すことができない場合に、拡大縮小部251が生成した拡大画像を表示部23に表示させてもよい。具体的には、接続フロー制御部254は、接続フロー情報に含まれる「切出機能」の有無に基づいてトリミング可能かどうかを判定する。例えば、接続フロー制御部254は、カメラ1の「切出機能」が「有」か否かを判定し、「切出機能」が「有」である場合、出力画像を切り出すことができると判定し、カメラ1が出力画像を切り出したトリミング画像を表示部23に表示させる。
また、接続フロー制御部254は、カメラ1の「切出機能」が「無」である場合、出力画像を切り出すことができないと判定し、拡大縮小部251が生成した拡大画像を表示部23に表示させる。このようにすることで、ディスプレイ2aは、カメラ1が「切出機能」を有する場合にトリミング画像を表示用画像として表示部23に表示させることができるので、ユーザは高画質のトリミング画像を用いて画像のディテールやフォーカスを確認することができる。
接続フロー制御部254は、表示変更指示に対応する画像に含まれる画素数が、カメラ1が切り出し可能な画像の画素数よりも多い場合に、カメラ1が切り出した画像を拡大処理してから表示部23に表示させてもよい。具体的には、まず、接続フロー制御部254は、表示変更指示が示す拡大対象領域の画像に含まれる画素数が、カメラ1の撮影解像度より定められる拡大対象領域の画素数よりも多い場合に、拡大対象領域を示すサイズ情報を含む切り出し指示をカメラ1に送信する。入出力部21は、拡大対象領域に対応し、かつカメラ1の撮影解像度と同一の解像度に対応する出力画像をカメラ1から受信する。
接続フロー制御部254は、入出力部21がカメラ1の撮影解像度と同一の出力画像を受信した場合、拡大対象領域に含まれる画素数が表示用画像の画素数になるように出力画像を拡大する指示を拡大縮小部251に送信する。拡大縮小部251は、拡大対象領域に含まれる画素数が表示用画像の画素数になるように出力画像を拡大した拡大画像を生成する。このようにすることで、接続フロー制御部254はカメラ1の撮影解像度により定められる画素数よりも多い画素数に対応する画像サイズを指定された場合に、カメラ1が出力可能な最大の大きさで画像を出力させることができる。したがって、ユーザは、できるだけ高解像度の画像を拡大した画像を視認することができる。
接続フロー制御部254は、ディスプレイ2bと自装置との表示設定が同一である場合に、同一の画像を表示するように設定されていると判定し、トリミング画像を表示部23に表示させてもよい。具体的には、接続フロー制御部254は、同期制御部253が取得した表示設定に含まれる画角設定情報及び画質設定情報が同一である場合、同一の画像を表示部23に表示させてもよい。より具体的には、接続フロー制御部254は、同期制御部253が取得したディスプレイ2bの表示設定情報と、自装置の表示設定情報とを比較し、同一であると判定した場合、トリミング画像を表示部23に表示させる。このようにすることで、複数のディスプレイ2を視認する複数のユーザは、意図に反した画像が表示されることなく、表示用画像を視認することができる。
なお、接続フロー制御部254は、出力画像を切り出したトリミング画像を表示させている状態で、ユーザ指示部22から切り出し停止指示を受信した場合、トリミング画像の表示を停止してもよい。例えば、接続フロー制御部254は、トリミング画像の出力を停止させるための指示をカメラ1に送信することにより、カメラ1にトリミング画像の出力を停止させる。
(接続フロー情報の共有方法)
以上説明したように、ディスプレイ2aの接続フロー制御部254は、接続フロー情報に基づいて、カメラ1が出力画像を切り出したトリミング画像を表示部23に表示させるか、拡大縮小部251が表示用画像を拡大した拡大画像を表示部23に表示させるかを判定する。また、ディスプレイ2bにおいても同様にディスプレイ2bの接続フロー制御部254が接続フロー情報に基づいて判定する。さらに、ディスプレイ2bの後段に複数のディスプレイ2が接続されている場合、複数のディスプレイ2それぞれの接続フロー制御部254が接続フロー情報に基づいて判定する。以下、表示システムSに含まれる各装置が、接続フロー情報を共有する方法について説明する。
まず、カメラ1の接続フロー生成部144が、撮像部11から撮影開始情報を受信すると、自装置の機器情報を生成する。接続フロー生成部144が生成する機器情報は、例えば図5(A)で示すテーブル形式の情報である。接続フロー生成部144は、自装置の「接続No.」を「1」として機器情報を生成する。接続フロー制御部145は接続フロー生成部144が生成した機器情報をディスプレイ2aに送信する。なお、カメラ1の接続フロー制御部145は、自装置の機器情報を、ディスプレイ2aに出力画像とともに送信してもよく、出力画像と別個に送信してもよい。
次に、ディスプレイ2aの入出力部21は、受信したカメラ1の機器情報を接続フロー制御部254に通知する。接続フロー制御部254は、受信したカメラ1の機器情報を接続フロー生成部252に通知する。ディスプレイ2の接続フロー生成部252は、自装置の機器情報を生成する。ディスプレイ2aの接続フロー生成部252が生成する機器情報は、例えば図5(B)で示すテーブル形式の情報である。
接続フロー生成部252は、受信したカメラ1の機器情報が示すカメラ1の「接続No.」と異なる「2」を「接続No.」とするディスプレイ2aの機器情報を生成する。続いて、接続フロー生成部252は、カメラ1の機器情報及びディスプレイ2aの機器情報に基づいて、接続フロー情報を生成する。接続フロー生成部252は、カメラ1の「前段装置」を「−」、カメラ1の「後段装置」を「2」、ディスプレイ2aの「前段装置」を「1」として接続フロー情報を生成する。接続フロー生成部252は生成した接続フロー情報を接続フロー制御部254に通知し、接続フロー制御部254は入出力部21を介して接続フロー情報をディスプレイ2bに送信する。
そして、ディスプレイ2bの入出力部21は、受信した接続フロー情報をディスプレイ2bの接続フロー制御部254に通知する。ディスプレイ2bの接続フロー制御部254は、受信した接続フロー情報をディスプレイ2bの接続フロー生成部252に通知する。ディスプレイ2bの接続フロー生成部252は自装置の機器情報を生成する。接続フロー生成部252は、受信した接続フロー情報、及び自装置の機器情報に基づいて、新たな接続フロー情報を生成する。接続フロー生成部252は、「接続No.」を「3」、ディスプレイ2bの「前段装置」を「2」、ディスプレイ2bの「後段装置」を「−」とし、ディスプレイ2aの「後段装置」を「3」として接続フロー情報を生成する。
ディスプレイ2bの接続フロー制御部254は、後段装置があるか否かを判定する。接続フロー制御部254は後段装置があると判定した場合は、後段装置に接続フロー情報を送信する。接続フロー制御部254は後段装置がないと判定した場合は、前段装置に接続フロー情報を送信する。本実施形態においては、ディスプレイ2bの後段に接続されている機器がないので、ディスプレイ2bの接続フロー制御部254は後段装置がないと判定し、接続フロー情報をディスプレイ2aに送信する。
ディスプレイ2aの接続フロー制御部254は、ディスプレイ2bから接続フロー情報を送信すると、ディスプレイ2bから受信した接続フロー情報を、新たな接続フロー情報として記憶部24に記憶させる。また、ディスプレイ2aの接続フロー制御部254は、ディスプレイ2bから受信した接続フロー情報をカメラ1に送信する。カメラ1の接続フロー制御部145は、受信した接続フロー情報を記憶部13に記憶させる。以上のようにすることで、表示システムSに含まれる全ての機器に、同一の接続フロー情報を共有させることができる。
以下、ディスプレイ2aの接続フロー制御部254が、共有された接続フロー情報に基づいて、カメラ1が出力画像を切り出したトリミング画像を表示部23に表示させるか、拡大縮小部251が表示用画像を拡大した拡大画像を表示部23に表示させるかを判定する処理について説明する。
図7は、ディスプレイ2の動作フローチャートである。図7のフローチャートにおいては、ユーザがディスプレイ2aのユーザ指示部22を操作して、表示用画像を拡大する表示変更指示を入力したものとして説明する。なお、以下ディスプレイ2aが動作するものとして説明するが、ディスプレイ2bは、ディスプレイ2aと同様に動作する。
まず、ステップS1において、接続フロー制御部254は、接続フロー情報の「前段装置」及び「切出機能」を参照して、自装置の前段に切り出し機能を有する装置があるか否かを判定する。接続フロー制御部254は、自装置の前段に切り出し機能を有する装置があると判定した場合ステップS2に進み、切り出し機能を有する装置がないと判定した場合ステップS4に進む。
ステップS2において、接続フロー制御部254は、接続フロー情報の「出力方法」を参照して自装置からスルーアウト出力している装置があるか否かを判定する。接続フロー制御部254は、「出力方法」が「スルーアウト」であればスルーアウト出力している装置があると判定しステップS3に進む。接続フロー制御部254は、「出力方法」が「スルーアウト」でなければスルーアウト出力している装置がないと判定し、ステップS5に進む。
ステップS3において、接続フロー制御部254は、スルーアウト出力している装置が同期設定されているか否かを判定する。接続フロー制御部254は、「種別」がディスプレイであり、かつ「映像ソース」が同一である装置について、「同期設定」が「有」の場合に、同期設定されていると判定してステップS5に進む。接続フロー制御部254は、「同期設定」が「無」の場合に、同期設定されていないと判定してステップS4に進む。
ステップS4において、接続フロー制御部254は、拡大縮小部251が表示用画像を拡大した拡大画像を表示部23に表示させる。ステップS5において、接続フロー制御部254は、カメラ1が出力画像を切り出したトリミング画像を表示部23に表示させる。
なお、以上の説明においては、カメラ1が画像をトリミングする場合について説明したが、カメラ1は、画像をトリミングするだけでなく、画像を縮小したり変形したりしてもよい。
[第1の実施形態の効果]
以上説明したように、接続フロー制御部254は、複数のディスプレイ2の間において同期設定されている場合に、カメラ1が出力画像を切り出したトリミング画像を表示部23に表示させる。また、接続フロー制御部254は、複数のディスプレイ2の間において同期設定されていない場合に、拡大縮小部251が表示用画像を拡大した拡大画像を表示部23に表示させる。このようにすることで、接続フロー制御部254は、ユーザが表示用画像を拡大したい場合に、他のディスプレイ2で同一の画像を表示しているかどうかによって、表示用画像の拡大方法を切り替えることができる。したがって、ディスプレイ2は、接続形態に適した方法で表示用画像を拡大表示することができる。
<第2の実施形態>
第2の実施形態における表示システムSは、出力画像を複数のディスプレイに分配するスイッチャーと、出力画像の切り出し機能を有する切り出し装置とを有する点で第1の実施形態と異なる。以下の説明においては、第1の実施形態と異なる点について説明し、同様の点については適宜省略する。
図8は、第2の実施形態に係る表示システムSの構成を示す図である。第2の実施形態に係る表示システムSは、カメラ1と、ディスプレイ2aと、ディスプレイ2bと、切り出し装置4と、スイッチャー5とを有する。図8(a)は、表示システムSの通常時の動作の概要を説明するための図である。まず、カメラ1が出力画像を出力し、スイッチャー5が出力画像を取得する(図8(a)における(1))。次に、スイッチャー5が出力画像をディスプレイ2a及びディスプレイ2bに出力する(図8(a)における(2))。続いて、ディスプレイ2aが、スイッチャー5が出力した出力画像を取得する(図8(a)における(3a))。また、ディスプレイ2bが、スイッチャー5が出力した出力画像を取得する(図8(a)における(3b))。このようにすることで、表示システムSは、複数のディスプレイで同一の画像を表示させることができる。
図8(b)は、ディスプレイ2bにおいてユーザが表示用画像を拡大する表示変更指示を入力した場合の動作の概要を説明するための図である。まず、カメラ1が出力画像を出力し、スイッチャー5が出力画像を取得する(図8(b)における(1))。次に、スイッチャー5が出力画像をディスプレイ2aに出力する(図8(b)における(2a))。続いて、ディスプレイ2aが、スイッチャー5が出力した出力画像を取得し(図8(b)における(3a))、取得した出力画像を表示用画像として表示する。ここで、ユーザが、ディスプレイ2bにおいて表示用画像を拡大する操作を行ったとする。
スイッチャー5は、ディスプレイ2bから拡大画像の要求を受けると、出力画像を切り出し装置4に出力する(図8(a)における(2b))。切り出し装置4は、出力画像から表示変更指示が示す画像と同一の画像を切り出したトリミング画像を生成して、スイッチャー5に出力する(図8(a)における(3b))。続いて、スイッチャー5が、切り出し装置4が生成したトリミング画像を取得する(図8(a)における(4))。そして、スイッチャー5がトリミング画像をディスプレイ2bに出力し、ディスプレイ2bがトリミング画像を取得する(図8(a)における(5))。ディスプレイ2bは、取得したトリミング画像を表示用画像として表示する。このようにすることで、第2の実施形態における表示システムSは、ディスプレイ2aに出力画像を表示させ、ディスプレイ2bに出力画像を切り出したトリミング画像を表示させることができる。以下、切り出し装置4及びスイッチャー5の構成及び機能について詳細に説明する。
図9は、切り出し装置4及びスイッチャー5の構成を示す図である。切り出し装置4は、スイッチャー5を介して取得した撮像画像から一部の領域の画像を切り出す装置であり、入出力部41と、出力制御部42と、記憶部43とを有する。出力制御部42は、切り出し処理部421、接続フロー生成部422及び接続フロー制御部423を含む。入出力部41は、他の装置と映像及び情報を送受信する通信インターフェースである。出力制御部42は、例えばCPUであり、切り出し装置4の動作を制御する。出力制御部42は、切り出し処理部421、接続フロー生成部422及び接続フロー制御部423として機能する。
切り出し処理部421は、撮像画像から、接続フロー制御部423から取得した切り出し指示に含まれる開始座標及びサイズ情報が示す領域の画像を切り出してトリミング画像を生成する。切り出し処理部421は、生成したトリミング画像を、入出力部41を介してスイッチャー5に送信する。
接続フロー生成部422は、機器情報又は接続フロー情報を生成する。接続フロー制御部423は、スイッチャー5から切り出し指示を取得して切り出し処理部421に通知する。接続フロー制御部423は、切り出し処理部421に撮像画像からトリミング画像を切り出させてスイッチャー5に送信させる。
記憶部43は、ROM、及びRAMなどの記憶媒体を含む。記憶部43は、自装置の機器情報、他の装置の機器情報、及び接続フロー情報を記憶する。また、記憶部43は、例えば出力制御部42が実行するプログラムの記憶、映像データ、又は画像データを記憶してもよい。
スイッチャー5は、取得した画像を複数の装置に分配する分配装置であり、入出力部51と、出力制御部52と、記憶部53とを含む。出力制御部52は、縮小部521、接続フロー生成部522、及び接続フロー制御部523を含む。入出力部51は、他の装置と映像及び情報を送受信する通信インターフェースである。出力制御部52は、例えばCPUであり、スイッチャー5の動作を制御する。出力制御部52は、縮小部521、接続フロー生成部522及び接続フロー制御部523として機能する。
縮小部521は、カメラ1が出力した撮像画像を取得し、取得した撮像画像を縮小することにより出力画像を生成する。縮小部521は、入出力部51を介して、ディスプレイ2に出力画像を出力する。
接続フロー生成部522は、スイッチャー5の機器情報又は接続フロー情報を生成する。接続フロー制御部523は、ディスプレイ2から表示変更指示を取得し、取得した表示変更指示に基づいて入出力部51を制御することにより、縮小部521が生成した出力画像又は切り出し装置4が生成したトリミング画像をディスプレイ2に対して出力する。例えば、接続フロー制御部523は、ディスプレイ2bから表示変更指示を取得した場合、ディスプレイ2aに出力画像を出力し、ディスプレイ2bにトリミング画像を出力する。また例えば、接続フロー制御部523は、表示変更指示を受信していない場合、接続された複数のディスプレイ2に同一の出力画像を出力する。
記憶部53は、ROM、及びRAMなどの記憶媒体を含む。記憶部53は、自装置の機器情報、他の装置の機器情報、及び接続フロー情報を記憶する。また、記憶部53は、例えば出力制御部52が実行するプログラムの記憶、映像データ、又は画像データを記憶してもよい。
以下、ディスプレイ2bが、表示用画像の拡大指示を取得したものとして、ディスプレイ2a、ディスプレイ2b、切り出し装置4及びスイッチャー5の動作について説明する。以下の説明において、画像出力装置と、画像出力装置が出力する出力画像を表示するディスプレイ2との関係を接続関係という。また、例えば、カメラ1が出力する出力画像を表示中に、切り出し装置4が切り出したトリミング画像をディスプレイ2aに出力するように、ディスプレイ2が表示する画像の出力元となる画像出力装置を変更することを、接続関係を変更するという。
ディスプレイ2bの接続フロー制御部254は、ユーザ指示部22が拡大指示を取得した場合、接続フロー情報に基づいて、ディスプレイ2a及び2bに出力画像に基づく画像を分配して入力するスイッチャー5が接続されているか否かを判定する。接続フロー制御部254は、判定結果に基づいて、トリミング画像を表示用画像として表示部23に表示させるか、拡大画像を表示用画像として表示部23に表示させるかを決定する。
例えば、ディスプレイ2bの接続フロー制御部254は、ディスプレイ2a及び2bにスイッチャー5が接続されており、かつディスプレイ2a及び2bが同一の画像を表示するように設定されていないときは、ディスプレイ2bは、トリミング画像をディスプレイ2bの表示部23に表示させると決定する。また、例えば、ディスプレイ2bの接続フロー制御部254は、ディスプレイ2a及び2bにスイッチャー5が接続されており、かつディスプレイ2a及び2bがディスプレイ2aと同一の画像を表示するように設定されているときは、自身の拡大縮小部251で生成された拡大画像を表示部23に表示させると決定する。
ディスプレイ2bの接続フロー制御部254は、複数の画像出力装置と接続されている状態において、複数の画像出力装置のうち少なくとも一つが画像の切り出し機能を有する場合、切り出し機能を有する画像出力装置(例えば切り出し装置4)が外部装置(他のディスプレイ2a)に画像を出力しているか否かを判定する。ディスプレイ2bの接続フロー制御部254は、切り出し機能を有する画像出力装置が他のディスプレイ2aに画像を出力していない場合、切り出し機能を有する画像出力装置とディスプレイ2bとの接続関係を変更する。例えば、ディスプレイ2bの接続フロー制御部254は、切り出し装置4が切り出したトリミング画像をディスプレイ2bに出力するようにスイッチャー5を制御する。
以上説明したように、拡大指示を取得したディスプレイ2bの接続フロー制御部254は、スイッチャー5が接続されている場合に、切り出し装置4が撮像画像から切り出したトリミング画像を表示させ、スイッチャー5が接続されていない場合に拡大縮小部251が拡大した拡大画像を表示させる。また、接続フロー制御部254は、スイッチャー5に切り出し装置4が接続されている場合、切り出し装置4が他のディスプレイ2にトリミング画像を出力していないときに、切り出し装置4が切り出したトリミング画像を表示させる。このようにすることで、ディスプレイ2aを使用するユーザは、スイッチャー5に複数のディスプレイ2が接続されている場合であっても、他のディスプレイ2が表示する表示用画像を変更することなく、ディスプレイ2aの表示用画像を変更することができる。
(接続フロー情報の共有方法)
第2の実施形態に係る表示システムSは、第1の実施形態と同様に接続フロー情報を共有するが、第1の実施形態と異なり、スイッチャー5の接続フロー生成部522が、表示システムSに含まれる各装置の機器情報を取得し、各装置の機器情報に基づいて接続フロー情報を生成する。以下、スイッチャー5の接続フロー生成部522が、各装置の機器情報に基づいて接続フロー情報を生成する方法について説明する。
スイッチャー5の接続フロー生成部522は、受信した複数の機器情報を結合して新たな機器情報を生成する。具体的には、スイッチャー5の接続フロー生成部522は、スイッチャー5の接続フロー生成部522が生成した機器情報と、受信した機器情報とを比較し、生成した機器情報にない機器情報が受信した機器情報に含まれている場合、生成した機器情報にない機器情報を含む新たな機器情報を生成する。スイッチャー5の接続フロー生成部522は、生成した機器情報にない機器情報が、受信した機器情報に含まれていない場合、受信した機器情報を破棄する。
スイッチャー5の接続フロー制御部523は、複数の機器情報を結合することにより生成した機器情報に、後段に接続された装置の機器情報がすべて追記されているか否かを判定する。例えば、接続フロー制御部523は、接続フロー生成部522が生成した機器情報と、受信した機器情報とを比較し、生成した機器情報にない機器情報が、受信した機器情報に含まれていない場合、後段に接続された装置の機器情報がすべて追記されていると判定する。接続フロー制御部523が後段に接続された装置の機器情報がすべて追記されていると判定した場合、接続フロー生成部522は、生成した機器情報に基づいて接続フロー情報を生成する。以下、スイッチャー5の接続フロー制御部523が、表示システムSに含まれる各装置の機器情報を取得する方法について、図10を参照しながら説明する。図10は、第2の実施形態に係る機器情報の一例を示す図である。
まず、カメラ1の接続フロー生成部144が、撮像部11から撮影開始情報を受信すると、自装置の機器情報を生成する。接続フロー生成部144が生成する機器情報は、例えば図10(A)で示すテーブル形式の情報である。接続フロー生成部144は、自装置の「接続No.」を「1」として機器情報を生成する。接続フロー制御部145は接続フロー生成部144が生成した機器情報をスイッチャー5に送信する。
スイッチャー5の接続フロー制御部523は、カメラ1の機器情報を受信すると、スイッチャー5の接続フロー生成部522に通知する。接続フロー生成部522は、カメラ1の機器情報を受信すると、スイッチャー5の機器情報を、スイッチャー5の「接続No.」を「2」として、例えば図10(B)で示すテーブル形式の情報として生成する。接続フロー生成部522は、スイッチャー5の機器情報をカメラ1の機器情報に追記することにより新たな機器情報を生成する。接続フロー生成部522は新たに生成した機器情報を接続フロー制御部523に通知するとともに、記憶部53に記憶させる。
スイッチャー5の接続フロー制御部523は、接続フロー生成部522が生成した機器情報を、ディスプレイ2a、ディスプレイ2b及び切り出し装置4に送信する。なお、接続フロー制御部523は、ディスプレイ2a、ディスプレイ2b及び切り出し装置4に機器情報を送信する場合、機器情報とともに「接続No.」を送信してもよい。例えば、接続フロー制御部523は、前段装置が分配機器であることを示す「接続No.」として、「接続No.」に添え字を付けた「接続No.」を送信する。具体的には、接続フロー制御部523は、ディスプレイ2aに「接続No.」として「3A」を、ディスプレイ2bに「接続No.」として「3B」を、切り出し装置4に「接続No.」として「3C」を送信する。
ディスプレイ2aの接続フロー生成部252は、「接続No.」を「3A」としてディスプレイ2aの機器情報を生成する。ディスプレイ2bの接続フロー生成部252は、「接続No.」を「3B」としてディスプレイ2bの機器情報を生成する。切り出し装置4の接続フロー生成部422は、「接続No.」を「3C」として切り出し装置4の機器情報を生成する。ディスプレイ2a、ディスプレイ2b、及び切り出し装置4が生成する機器情報は、それぞれ図10(C)、(D)、(E)のようなテーブル形式の情報である。
ディスプレイ2aの接続フロー制御部254は、自装置の後段に他の装置があるか否かを判定し、後段に他の装置があると判定した場合、受信した機器情報にディスプレイ2aの機器情報を追記した新たな機器情報を後段の他の装置に送信する。ディスプレイ2aの接続フロー制御部254は、後段に他の装置がないと判定した場合、受信した機器情報にディスプレイ2aの機器情報を追記した新たな機器情報をスイッチャー5に送信する。ディスプレイ2bの接続フロー制御部254、及び切り出し装置4の接続フロー制御部423も同様の動作を行う。
以上のように、スイッチャー5の後段に接続された装置が、それぞれが生成した機器情報をスイッチャー5に送信することにより、スイッチャー5の接続フロー制御部523は表示システムSに含まれる各装置の機器情報を取得することができる。スイッチャー5の接続フロー制御部523は、取得した各装置の機器情報をスイッチャー5の接続フロー生成部522に通知する。接続フロー生成部522は、各装置の機器情報に基づいて、接続フロー情報を生成する。接続フロー生成部522は、例えば図11に示すテーブル形式の情報として、接続フロー情報を生成する。図11は、第2の実施形態に係る接続フロー情報の一例を示す図である。以下、第2の実施形態に係る接続フロー情報の項目について説明する。
第2の実施形態における「種別」は、第1の実施形態に示した種別の他、「スイッチャー」、「切り出し装置」のいずれかから選択されるものとする。「撮影/最大受信解像度」は、「種別」が「スイッチャー」であれば受信可能な解像度、「切り出し装置」であれば切り出し可能な解像度を示す。「映像ソース」は、出力画像が加工された加工画像が入力されている場合、加工した装置の「接続No.」を含む。例えば、「接続No.」が「1」の装置から出力された出力画像を、「接続No.」が「2」の装置が加工した場合、「映像ソース」は「1,2」となる。「出力方法」が「分配」であれば、画像を2つ以上の装置へ出力可能であることを示す。
スイッチャー5の接続フロー制御部523は、接続フロー生成部522が生成した接続フロー情報を、表示システムSに含まれる各装置に送信する。このようにすることで、表示システムSに含まれる各装置は、接続フロー情報を共有することができる。以下、ディスプレイ2の接続フロー制御部254が、スイッチャー5が接続されているか否かを判定し、接続フロー情報に基づいて、出力画像を切り出したトリミング画像を表示させるか、変更画像を表示させるか判定する処理について説明する。
(ディスプレイ2の動作フローチャート)
図12は、第2の実施形態に係るディスプレイ2の動作フローチャートである。図12のフローチャートにおいては、ユーザがディスプレイ2bのユーザ指示部22を操作して、表示用画像を拡大する表示変更指示を入力したものとして説明する。なお、以下ディスプレイ2bの動作について説明するが、ディスプレイ2aは、ディスプレイ2bと同様に動作する。
まず、ステップS11において、ディスプレイ2bの接続フロー制御部254は、接続フロー情報の「前段装置」及び「切出機能」を参照して、自装置の前段に切り出し機能を有する装置があるか否かを判定する。接続フロー制御部254は、自装置の前段に切り出し機能を有する装置があると判定した場合ステップS12に進み、切り出し機能を有する装置がないと判定した場合ステップS17に進む。
ステップS12において、接続フロー制御部254は、接続フロー情報の「出力方法」を参照して、自装置の前段に分配を行っている装置があるか否かを判定する。具体的には、接続フロー制御部254は、自装置の前段装置の「出力方法」に「分配」が含まれている場合に、分配を行っている装置があると判定する。接続フロー制御部254は、分配を行っている装置があると判定するとステップS13に進み、分配を行っている装置がないと判定するとステップS14に進む。
ステップS13において、接続フロー制御部254は、自装置の前段にカメラ以外で切り出し機能を有する装置があるか否かを判定する。具体的には、接続フロー制御部254は、接続フロー情報の「種別」が「カメラ」ではなく、かつ「切出し機能」が「有」である装置が自装置の前段にあるか否かを判定する。接続フロー制御部254は、自装置の前段にカメラ以外で切り出し機能を有する装置があると判定するとステップS15に進む。接続フロー制御部254は、自装置の前段にカメラ以外で切り出し機能を有する装置がないと判定すると、ステップS16に進む。
ステップS14において、接続フロー制御部254は、接続フロー情報の「出力方法」を参照して、自装置からスルーアウト出力している装置があるか否かを判定する。接続フロー制御部254は、「出力方法」が「スルーアウト」であればスルーアウト出力している装置があると判定し、ステップS16に進む。接続フロー制御部254は、「出力方法」が「スルーアウト」でなければスルーアウト出力している装置がないと判定し、ステップS18に進む。
ステップS15において、接続フロー制御部254は、接続フローを切り替える指示を含む接続フロー切替情報を、出力画像を分配している装置(本実施形態におけるスイッチャー5)に送信する。また、接続フロー制御部254は、接続フロー切替情報とともに、表示変更指示をスイッチャー5に送信してもよい。スイッチャー5の接続フロー制御部523は、接続フロー切替情報を受信すると、接続フロー切替情報に基づいて、接続フロー情報を変更する。具体的には、スイッチャー5の接続フロー制御部523は、接続フロー情報に含まれる「前段装置」、「後段装置」及び「映像ソース」を変更する。
図13は、変更された接続フロー情報の一例を示す図である。図13の変更された接続フロー情報では、図11の接続フロー情報の「接続No.」が「3C」である切り出し装置の「後段装置」が「−」から「2」に変更されている。また、「接続No.」が「3A」のディスプレイの「映像ソース」が「1,2」から「1,3C」に変更されている。
ステップS16において、接続フロー制御部254は、スルーアウト出力している装置が同期設定されているか否かを判定する。接続フロー制御部254は、「種別」がディスプレイであり、かつ「映像ソース」が同一である装置について、「同期設定」が「無」の場合に、同期設定されていないと判定してステップS17に進む。ステップ17において、接続フロー制御部254は、拡大縮小部251が表示用画像を拡大した拡大画像を表示部23に表示させる。接続フロー制御部254は、「同期設定」が「有」の場合に、同期設定されていると判定してステップS18に進む。
ステップS18において、接続フロー制御部254は、前段装置が出力画像を切り出したトリミング画像を表示部23に表示させる。具体的には、接続フロー制御部254は、「種別」がディスプレイであり、かつ「映像ソース」が同一である装置について、「同期設定」が「有」の場合に、カメラ1が切り出したトリミング画像を表示部23に表示させる。また、接続フロー制御部254は、自装置の前段にカメラ以外で切り出し機能を有する装置がある場合、切り出し機能を有する装置(本実施形態においては切り出し装置4)が切り出したトリミング画像を表示部23に表示させる。
(変形例)
以上の説明においては、スイッチャー5の接続フロー生成部522が、表示システムSに含まれる各装置の機器情報を取得し、取得した機器情報に基づいて接続フロー情報を生成した。しかし、これに限らず、表示システムSに含まれる各装置が、他の装置の機器情報を取得し、取得した機器情報に基づいて接続フロー情報を生成してもよい。具体的には、表示システムSに含まれる各装置の接続フロー生成部は、表示システムSに含まれるすべての装置の機器情報に基づいて接続フロー情報を生成する。このようにすることで、各装置の接続フロー生成部は、同一の機器情報に基づいて接続フロー情報を生成するので、同一の接続フロー情報を生成することができる。このようにすることでも、表示システムSは、各装置に同一の接続フロー情報を共有させることができる。
[第2の実施形態の効果]
以上説明したように、第2の実施形態における表示システムSは、カメラ1が出力した出力画像がスイッチャー5を介して複数のディスプレイ2に分配されている。スイッチャー5は、ディスプレイ2から表示変更指示を受信すると、切り出し装置4が接続されているか否かを判定する。スイッチャー5は、切り出し装置4が接続されている場合、表示変更指示を送信したディスプレイ2に切り出し装置4が切り出したトリミング画像を出力し、他のディスプレイ2に出力画像を出力する。
スイッチャー5は、切り出し装置4が接続されていない場合、出力画像を分配している複数のディスプレイ2が同一の画像を表示するように同期設定されているか否かを判定する。スイッチャー5は、同期設定されている場合、カメラ1が切り出したトリミング画像を複数のディスプレイ2に出力する。スイッチャー5は、同期設定されていない場合、出力画像を分配している複数のディスプレイ2に、出力画像を送信する。表示変更指示を送信したディスプレイ2は、出力画像を拡大した拡大画像を表示する。このようにすることで、ディスプレイ2を視認するユーザは、スイッチャー5が複数の装置に出力画像を分配する場合であっても、表示システムSの接続形態に適した方法で出力画像を拡大した表示用画像を視認することができる。
以上、本発明を実施の形態を用いて説明したが、本発明の技術的範囲は上記実施の形態に記載の範囲には限定されず、その要旨の範囲内で種々の変形及び変更が可能である。例えば、装置の分散・統合の具体的な実施の形態は、以上の実施の形態に限られず、その全部又は一部について、任意の単位で機能的又は物理的に分散・統合して構成することができる。また、複数の実施の形態の任意の組み合わせによって生じる新たな実施の形態も、本発明の実施の形態に含まれる。組み合わせによって生じる新たな実施の形態の効果は、もとの実施の形態の効果を合わせ持つ。
2 ディスプレイ
22 ユーザ指示部
23 表示部
24 記憶部
251 拡大縮小部
254 接続フロー制御部

Claims (13)

  1. 画像出力装置が出力した出力画像に基づく表示用画像を表示する表示装置であって、
    前記表示用画像を表示する表示手段と、
    前記表示用画像を拡大する表示変更手段と、
    前記表示用画像を拡大する表示変更指示を取得する指示取得手段と、
    前記表示変更指示を前記指示取得手段が取得した場合、前記出力画像に基づく画像を表示する外部装置が前記表示装置と同一の画像を表示するように設定されているときは、前記画像出力装置において前記出力画像から切り出されたトリミング画像を前記表示用画像として前記表示手段に表示させ、前記外部装置が前記表示用画像を前記表示装置と同一の画像を表示するように設定されていないときは、前記表示変更手段が表示用画像を拡大した拡大画像を前記表示用画像として前記表示手段に表示させる制御手段と、
    を有することを特徴とする表示装置。
  2. 前記制御手段は、前記画像出力装置が前記表示変更指示に基づいて前記出力画像を切り出すことができる場合に前記トリミング画像を前記表示手段に表示させ、前記画像出力装置が前記表示変更指示に基づいて前記出力画像を切り出すことができない場合に、前記拡大画像を前記表示手段に表示させることを特徴とする、
    請求項1記載の表示装置。
  3. 前記制御手段は、前記表示変更指示が示す拡大対象領域の画像に含まれる画素数が、前記画像出力装置が切り出し可能な画像の画素数よりも多い場合に、前記画像出力装置が切り出した画像を拡大処理してから前記表示手段に表示させることを特徴とする、
    請求項2に記載の表示装置。
  4. 前記外部装置が前記表示装置と同一の前記表示用画像を表示する同期設定モードに設定されているか否かを示す設定情報を取得する情報取得手段をさらに有し、
    前記制御手段は、前記情報取得手段が取得した前記設定情報が、前記外部装置が前記同期設定モードに設定されていることを示している場合、前記トリミング画像を前記表示手段に表示させることを特徴とする、
    請求項1から3のいずれか一項に記載の表示装置。
  5. 前記制御手段は、前記表示変更指示を前記指示取得手段が取得した場合、前記表示装置と前記外部装置とに前記出力画像に基づく画像を分配して入力する分配装置が接続されている場合に、前記トリミング画像を前記表示用画像として前記表示手段に表示させず、前記拡大画像を前記表示用画像として前記表示手段に表示させることを特徴とする、
    請求項1から4のいずれか一項に記載の表示装置。
  6. 前記制御手段は、前記表示装置と前記外部装置とに前記分配装置が接続されており、かつ前記外部装置が前記表示用画像を前記表示装置と同一の画像を表示するように設定されていないときは、前記拡大画像を前記表示手段に表示させることを特徴とする、
    請求項5に記載の表示装置。
  7. 前記制御手段は、複数の前記画像出力装置と接続されている状態において、前記複数の画像出力装置のうち少なくとも一つの切り出し装置が画像の切り出し機能を有する場合、前記切り出し装置が前記外部装置に画像を出力していないことを条件として、前記切り出し装置が切り出した前記トリミング画像を前記表示手段に表示させることを特徴とする、
    請求項1から6のいずれか一項に記載の表示装置。
  8. 撮像手段が生成した撮像画像に基づく画像を請求項1から7のいずれか一項に記載の複数の表示装置に出力する画像出力装置であって、
    前記撮像画像を縮小することにより、前記複数の表示装置に出力する出力画像を生成する画像縮小手段と、
    前記複数の表示装置に同一の前記出力画像を出力するモードに設定されていないことを条件として、前記撮像画像の一部の領域を切り出したトリミング画像を前記複数の表示装置のうちの一部の表示装置に出力する出力手段と、
    を有することを特徴とする画像出力装置。
  9. コンピュータが実行する、
    画像出力装置が出力した出力画像に基づく表示用画像を表示装置に表示させる表示方法であって、
    前記表示用画像を表示手段に表示させるステップと、
    前記表示用画像の表示状態を変更するステップと、
    前記表示用画像を拡大する表示変更指示を取得するステップと、
    前記表示変更指示を取得した場合、前記出力画像に基づく画像を表示する外部装置が前記表示装置と同一の画像を表示するように設定されていると判定するステップと、
    前記外部装置が前記表示装置と同一の画像を表示するように設定されていると判定した場合に、前記画像出力装置において前記出力画像が切り出されたトリミング画像を前記表示用画像として前記表示手段に表示させるステップと、
    前記外部装置が前記表示用画像を前記表示装置と同一の画像を表示するように設定されていないと判定した場合に、前記出力画像を拡大した拡大画像を前記表示用画像として前記表示手段に表示させるステップと、
    を有することを特徴とする表示方法。
  10. 前記画像出力装置が前記表示変更指示に基づいて前記出力画像を切り出すことができると判定した場合に前記トリミング画像を前記表示手段に表示させるステップと、
    前記画像出力装置が前記表示変更指示に基づいて前記出力画像をトリミングできないと判定した場合に、前記拡大画像を前記表示手段に表示させるステップと、
    を有することを特徴とする、
    請求項9に記載の表示方法。
  11. 前記外部装置が前記表示装置と同一の前記表示用画像を表示する同期設定モードに設定されているか否かを示す設定情報を取得するステップと、
    前記設定情報が、前記外部装置が前記同期設定モードに設定されていることを示している場合、前記トリミング画像を前記表示手段に表示させるステップと、
    を有することを特徴とする、
    請求項9又は10に記載の表示方法。
  12. 前記表示変更指示を取得するステップと、
    前記表示装置と前記外部装置とに前記出力画像に基づく画像を分配して入力する分配装置が接続されているか否かを判定するステップと、
    前記分配装置が接続されていると判定した場合、前記トリミング画像を前記表示用画像として前記表示手段に表示させず、前記拡大画像を前記表示用画像として前記表示手段に表示させるステップと、
    を有することを特徴とする請求項9又は10に記載の表示方法。
  13. 複数の前記画像出力装置と接続されている状態において、前記複数の画像出力装置のうち少なくとも一つの切り出し装置が画像の切り出し機能を有する場合、前記切り出し装置が前記外部装置に画像を出力しているか否かを判定するステップと、
    前記切り出し装置が前記外部装置に画像を出力していないことを条件として、前記切り出し装置が切り出した前記トリミング画像を前記表示手段に表示させるように制御するステップと、
    を有することを特徴とする、
    請求項9から11のいずれか一項に記載の表示方法。


JP2017078744A 2017-04-12 2017-04-12 表示装置、画像出力装置及び表示方法 Active JP6949534B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2017078744A JP6949534B2 (ja) 2017-04-12 2017-04-12 表示装置、画像出力装置及び表示方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2017078744A JP6949534B2 (ja) 2017-04-12 2017-04-12 表示装置、画像出力装置及び表示方法

Publications (3)

Publication Number Publication Date
JP2018182511A true JP2018182511A (ja) 2018-11-15
JP2018182511A5 JP2018182511A5 (ja) 2020-04-30
JP6949534B2 JP6949534B2 (ja) 2021-10-13

Family

ID=64277046

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017078744A Active JP6949534B2 (ja) 2017-04-12 2017-04-12 表示装置、画像出力装置及び表示方法

Country Status (1)

Country Link
JP (1) JP6949534B2 (ja)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005134479A (ja) * 2003-10-28 2005-05-26 Pioneer Electronic Corp 描画装置及び方法、コンピュータプログラム並びに描画表示システム
JP2009198734A (ja) * 2008-02-21 2009-09-03 Pioneer Electronic Corp マルチディスプレイの制御方法、制御プログラムおよびマルチディスプレイ装置
JP2010039806A (ja) * 2008-08-06 2010-02-18 Nikon Systems Inc 画像表示装置
JP2015133681A (ja) * 2014-01-16 2015-07-23 ソニー株式会社 カメラ装置

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005134479A (ja) * 2003-10-28 2005-05-26 Pioneer Electronic Corp 描画装置及び方法、コンピュータプログラム並びに描画表示システム
JP2009198734A (ja) * 2008-02-21 2009-09-03 Pioneer Electronic Corp マルチディスプレイの制御方法、制御プログラムおよびマルチディスプレイ装置
JP2010039806A (ja) * 2008-08-06 2010-02-18 Nikon Systems Inc 画像表示装置
JP2015133681A (ja) * 2014-01-16 2015-07-23 ソニー株式会社 カメラ装置

Also Published As

Publication number Publication date
JP6949534B2 (ja) 2021-10-13

Similar Documents

Publication Publication Date Title
US9619861B2 (en) Apparatus and method for improving quality of enlarged image
US10192338B2 (en) Method, device and MCU for adjusting and controlling sub-picture in multiple pictures
JP2014096749A (ja) 撮像装置及び画像処理方法
US10798354B2 (en) Projection display apparatus and method for controlling the same
CN114630053B (zh) 一种hdr图像显示方法及显示设备
WO2018025474A1 (ja) 情報処理装置、情報処理方法、及びプログラム
US20130342712A1 (en) Photographing control apparatus and photographing control method
JP2012173683A (ja) 表示制御装置、情報表示装置、及び表示制御方法
US10440260B2 (en) Display control apparatus to enable a user to check a captured image after image processing
US11010864B2 (en) Image capturing apparatus, control method, and storage medium
JP6755701B2 (ja) 撮像装置、表示装置及び画像処理装置
JP2015125346A (ja) 表示装置、制御装置及び制御方法
JP6949534B2 (ja) 表示装置、画像出力装置及び表示方法
US9635425B2 (en) Handheld display zoom feature
JP6980450B2 (ja) 制御装置、制御方法、及びプログラム
JP2013021550A (ja) 撮像装置及びその制御方法
JP4901981B2 (ja) 画像処理装置、画像処理方法及びプログラム
JP2019129466A (ja) 映像表示装置
JP2007134798A (ja) 出力制御システムおよび方法、出力制御装置および方法、並びにプログラム
JP2017192123A (ja) 画像記録装置およびその制御方法
JP2007201816A (ja) 映像表示システム及び映像受信装置
JP2019012179A (ja) Hdr画像表示システム
JP6249637B2 (ja) 画像合成装置
WO2020246146A1 (ja) 映像処理装置、表示装置、および映像処理方法
JP2011254198A (ja) 映像表示装置及び映像表示方法

Legal Events

Date Code Title Description
RD01 Notification of change of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7421

Effective date: 20180227

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200317

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20200317

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20210108

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20210202

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210305

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20210824

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20210922

R151 Written notification of patent or utility model registration

Ref document number: 6949534

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151