JP2021157056A - 画像投射システム、画像投射システムの制御方法 - Google Patents

画像投射システム、画像投射システムの制御方法 Download PDF

Info

Publication number
JP2021157056A
JP2021157056A JP2020057352A JP2020057352A JP2021157056A JP 2021157056 A JP2021157056 A JP 2021157056A JP 2020057352 A JP2020057352 A JP 2020057352A JP 2020057352 A JP2020057352 A JP 2020057352A JP 2021157056 A JP2021157056 A JP 2021157056A
Authority
JP
Japan
Prior art keywords
pattern
projector
image
projection system
lens shift
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2020057352A
Other languages
English (en)
Other versions
JP2021157056A5 (ja
JP7484309B2 (ja
Inventor
昌一 木下
Shoichi Kinoshita
昌一 木下
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Seiko Epson Corp
Original Assignee
Seiko Epson Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Seiko Epson Corp filed Critical Seiko Epson Corp
Priority to JP2020057352A priority Critical patent/JP7484309B2/ja
Priority to US17/213,991 priority patent/US11327389B2/en
Publication of JP2021157056A publication Critical patent/JP2021157056A/ja
Publication of JP2021157056A5 publication Critical patent/JP2021157056A5/ja
Application granted granted Critical
Publication of JP7484309B2 publication Critical patent/JP7484309B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03BAPPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B21/00Projectors or projection-type viewers; Accessories therefor
    • G03B21/005Projectors using an electronic spatial light modulator but not peculiar thereto
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/12Picture reproducers
    • H04N9/31Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3191Testing thereof
    • H04N9/3194Testing thereof including sensor feedback
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03BAPPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B21/00Projectors or projection-type viewers; Accessories therefor
    • G03B21/14Details
    • G03B21/142Adjusting of projection optics
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03BAPPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B21/00Projectors or projection-type viewers; Accessories therefor
    • G03B21/14Details
    • G03B21/20Lamp housings
    • G03B21/2006Lamp housings characterised by the light source
    • G03B21/2013Plural light sources
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03BAPPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B21/00Projectors or projection-type viewers; Accessories therefor
    • G03B21/14Details
    • G03B21/20Lamp housings
    • G03B21/2006Lamp housings characterised by the light source
    • G03B21/2033LED or laser light sources
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03BAPPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B21/00Projectors or projection-type viewers; Accessories therefor
    • G03B21/54Accessories
    • G03B21/56Projection screens
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/12Picture reproducers
    • H04N9/31Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/12Picture reproducers
    • H04N9/31Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3141Constructional details thereof
    • H04N9/3147Multi-projection systems
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/12Picture reproducers
    • H04N9/31Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3141Constructional details thereof
    • H04N9/317Convergence or focusing systems
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/12Picture reproducers
    • H04N9/31Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3179Video signal processing therefor
    • H04N9/3185Geometric adjustment, e.g. keystone or convergence
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/12Picture reproducers
    • H04N9/31Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3179Video signal processing therefor
    • H04N9/3188Scale or resolution adjustment

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Optics & Photonics (AREA)
  • Geometry (AREA)
  • Projection Apparatus (AREA)
  • Video Image Reproduction Devices For Color Tv Systems (AREA)
  • Controls And Circuits For Display Device (AREA)

Abstract

【課題】被投射面の状態に係らずに、投射画像の位置を調整可能な画像投射システムの制御方法を提供すること。【解決手段】レンズシフト機能を備えた第1プロジェクター、及び第2プロジェクターを含む複数台のプロジェクター、並びに撮像装置を有する画像投射システムの制御方法であって、前記第1プロジェクターは、第1色調の第1パターンを投射し、前記第2プロジェクターは、第2色調の第2パターンを投射し、前記撮像装置は、前記第1パターン、および前記第2パターンを含む複合画像を撮像した撮像画像を生成し、前記第1プロジェクターは、前記撮像画像において、前記第1パターンに対する、前記第2パターンの重なり部分の面積が、所定の割合以上であるか否か判断し、前記第1プロジェクターは、前記所定の割合に満たない場合、前記第2プロジェクターの前記レンズシフト機能により、前記第2パターンが、前記第1パターンに重なるようにレンズシフトさせる。【選択図】図3

Description

本発明は、画像投射システム、及び、画像投射システムの制御方法に関する。
複数台のプロジェクターの投射画像を用いて、明るい画像や、大きな画像を実現する画像投射システムが知られている。当該システムによれば、複数の投射画像を重ね合わせることで個々の画像よりも明るい画像が得られるスタック投射や、複数の投射画像を上下左右に並べることで、個々の画像よりも大きな画像が得られるマルチスクリーン投射を行うことができる。このようなスタック投射や、マルチスクリーン投射を行う場合、複数のプロジェクターからの投射画像の位置を合わせる必要があるため、様々な位置合わせ方法が提案されている。
例えば、特許文献1の画像投射装置では、複数のプロジェクターに同じ照合パターンを投射させて、当該照合パターンが重なるように、投射画像の位置を調整するとしている。照合パターンとしては、十字状のパターンが用いられている。
特開2011−29727号公報
しかしながら、特許文献1の方法では、スクリーンとなる被投射面の状態によっては、パターンが認識できず、調整が困難となる課題があった。例えば、被投射面に凹凸がある場合では、十字状のパターンが凹凸部で歪んでしまい照合パターンの認識が困難となる恐れがあった。よって、被投射面の状態に係らずに、投射画像の位置を調整可能な画像投射システム、及び、当該システムの制御方法を提供することを目的とする。
本願に係る画像投射システムの制御方法は、レンズシフト機能を備えた第1プロジェクター、及び第2プロジェクターを含む複数台のプロジェクター、並びに撮像装置を有する画像投射システムの制御方法であって、前記第1プロジェクターは、第1色調の第1パターンを投射し、前記第2プロジェクターは、第2色調の第2パターンを投射し、前記撮像装置は、前記第1パターン、および前記第2パターンを含む複合画像を撮像した撮像画像を生成し、前記第1プロジェクターは、前記撮像画像において、前記第1パターンに対する、前記第2パターンの重なり部分の面積が、所定の割合以上であるか否か判断し、前記第1プロジェクターは、前記所定の割合に満たない場合、前記第2プロジェクターの前記レンズシフト機能により、前記第2パターンが、前記第1パターンに重なるようにレンズシフトさせる。
本願に係る画像投射システムの制御方法は、レンズシフト機能を備えた第1プロジェクター、第2プロジェクター、及び第3プロジェクターを含む複数台のプロジェクター、並びに撮像装置を有する画像投射システムの制御方法であって、前記第1プロジェクターは、第1色調の第1パターンを投射し、前記第2プロジェクターは、第2色調の第2パターンを投射し、前記第3プロジェクターは、第3色調の第3パターンを投射し、前記撮像装置は、前記第1パターン、前記第2パターン、及び、前記第3パターンを含む複合画像を撮像した撮像画像を生成し、前記第1プロジェクターは、前記撮像画像において、前記第1パターン、前記第2パターン、及び、前記第3パターンが重なった重畳部分の面積を求め、前記第1パターンに対する、前記重畳部分の面積が、所定の割合以上であるか否か判断し、前記第1プロジェクターは、前記所定の割合に満たない場合、前記第2プロジェクターの前記レンズシフト機能、または、前記第3プロジェクターの前記レンズシフト機能により、前記第2パターン、または、前記第3パターンのうち、少なくとも一方が、前記第1パターンに重なるようにレンズシフトさせる。
本願に係る画像投射システムは、レンズシフト機能を備えた複数台のプロジェクター、及び撮像装置を含む画像投射システムであって、第1色調の第1パターンを投射する第1プロジェクターと、第2色調の第2パターンを投射する第2プロジェクターと、を含み、前記第1プロジェクターは、前記第2プロジェクター、及び前記撮像装置と通信可能に接続され、前記撮像装置は、前記第1パターン、および前記第2パターンを含む複合画像を撮像し、前記第1プロジェクターは、前記撮像画像において、前記第1パターンに対する、前記第2パターンの重なり部分の面積が、所定の割合に満たない場合、前記第2プロジェクターの前記レンズシフト機能により、前記第2パターンが、前記第1パターンに重なるようにレンズシフトさせる。
実施形態1の画像投射システムの概略構成図。 プロジェクターのブロック構成図。 画像投射システムの制御方法を示すフローチャート図。 複合画像の一態様を示す図。 複合画像の一態様を示す図。 複合画像の一態様を示す図。 実施形態2の制御方法を示すフローチャート図。 テストパターンの異なる態様を示す図。
実施形態1
***画像投射システムの概要***
図1は、本実施形態に係る画像投射システムの概略構成図である。
画像投射システム100は、共通のネットワークに接続されたプロジェクター81、プロジェクター82、及び、プロジェクター83などから構成されている。図1に示すように、画像投射システム100は、3台のプロジェクターが投射する3つの投射画像をスクリーン30で重ね合せるスタック投射を行っている。なお、長方形のスクリーン30における長辺方向をX方向、短辺方向をY方向として説明する。また、X(+)方向を右、X(−)方向を左、Y(+)方向を上、Y(−)方向を下ともいう。
図1では、3台のプロジェクターが下からプロジェクター83、プロジェクター81、プロジェクター82の順に積み重ねた状態で設置されている。中央のプロジェクター81は、第1プロジェクターとしてのマスタープロジェクターであり、上下のプロジェクター82、プロジェクター83を制御する。
プロジェクター82は、スレーブプロジェクターであり、第2プロジェクターに相当する。プロジェクター83も、スレーブプロジェクターであり、第3プロジェクターに相当する。なお、スレーブプロジェクターのことをスレーブ機器ともいう。以下説明において、プロジェクター81の投射画像を基準画像、3台のプロジェクター81,82,83により重畳された画像を複合画像ともいう。
好適例において、3台のプロジェクターは同一のプロジェクターとする。なお、3台の構成に限定するものではなく、複数台の構成であれば良い。共通のネットワークとしては、例えば、LAN(Local Area Network)を用いており、3台のプロジェクター81,82,83間では、Ethernet(登録商標)規格に従って通信が行われる。
図1では、スクリーン30に、3台のプロジェクター81,82,83からの3つの投射画像が重畳された複合画像45が表示されている。複合画像45は、スクリーン30よりも一回り小さい長方形をなしており、スクリーン30にフィットしているが、これは後述の制御方法により、3つの投射画像の位置合わせを行った後の状態を示している。
***プロジェクターの概略構成***
図2は、プロジェクターの概略構成を示すブロック図である。
前述したように3台のプロジェクター81,82,83は、同一のプロジェクターであるため、代表としてプロジェクター81の構成について説明する。
図2に示すように、プロジェクター81は、制御部10、記憶部11、操作部12、操作信号受信部13、通信部14、画像情報入力部15、画像情報処理部16、OSD処理部17、画像投写部28、レンズ調整部18、撮像装置19などから構成されている。
制御部10は、1つ又は複数のプロセッサーを備えて構成され、記憶部11に記憶されている制御プログラムに従って動作することによりプロジェクター81の動作を統括制御する。
記憶部11は、RAM(Random Access Memory)、及び、ROM(Read Only Memory)を備えて構成される。RAMは、各種データ等の一時記憶に用いられ、ROMは、プロジェクター81の動作を制御するための制御プログラムや、付随するデータなどを記憶する。制御プログラムには、プロジェクター81を起動させるときの処理の順序と内容を指示する起動プログラムや、スタック投射や、マルチスクリーン投射を行う際の複数のプロジェクターによる投射画像の位置合わせ制御プログラムなどが記憶されている。付随データには、位置合わせ用のパターン画像などが含まれている。また、位置合わせ制御プログラムの実行後に行われる自動フィットプログラムも記憶されている。自動フィットプログラムは、位置合わせ制御プログラムにより8割方の位置調整が完了した複合画像を、プロジェクター81が有する台形歪補正などの機能を使ってピッタリと一致させるプログラムである。詳しくは、プロジェクター81は、粗調整が終了した複合画像を撮像装置19により撮像し、撮像画像を解析して、補正が必要なプロジェクターに位置調整の指示を出す。位置調整は、対象となるプロジェクターのズーム調整、フォーカス調整、及び、台形歪補正機能により実行される。なお、自動フィットプログラムのことを自動位置調整機能ともいう。
操作部12は、ユーザーがプロジェクター81に対して各種指示を行うための複数の操作キーを備えている。操作キーとしては、電源のオンとオフとを切り替えるための「電源キー」、各種設定を行うためのメニューを表示させる「メニューキー」などがある。ユーザーが操作部12の各種操作キーを操作すると、操作部12は、操作内容に応じた操作信号を制御部10に出力する。
操作信号受信部13は、Bluetooth(登録商標)に準拠した通信デバイスを備えて構成され、リモコン3からの操作信号を受信してデコードし、制御部10に送信する。なお、スタック投射や、マルチスクリーン投射を行う場合、マスターとなるプロジェクター81以外のスレーブ機器のBluetooth機能はオフされる。なお、近距離通信が可能であれば良く、例えば、赤外線通信を用いても良い。
通信部14は、好適例として無線LAN規格に準拠した無線通信用のモジュールを用いている。プロジェクター81は、通信部14を介してネットワークNWに接続し、当該ネットワークNWに接続するプロジェクター82,83を制御する。また、ネットワークNWからは、画像信号などの画像ソースも供給される。なお、無線通信に限定するものではなく、LANケーブルを用いて各機器間を有線接続しても良い。または、各機器間をHDMI(登録商標、High-Definition Multimedia Interface)ケーブルを用いて、デイジーチェーンしても良い。
画像情報入力部15は、コンピューターや、画像再生装置などの外部の画像供給装置(図示せず)に接続され、画像供給装置から画像情報の供給を受ける。また、画像情報入力部15は、制御部10から位置合わせ用のパターン画像などの供給を受けると、必要な画像処理を施し、処理後の画像情報を画像情報処理部16に出力する。
画像情報処理部16は、制御部10の制御に基づいて、画像情報入力部15から入力される画像情報に対して、必要な画像処理を施し、処理後の画像情報をOSD処理部17に出力する。
OSD処理部17は、制御部10の制御に基づいて、画像上にメッセージ画像やメニュー画像等のOSD(On-Screen Display)画像を重畳して表示するための処理を行う。OSD処理部17は、図示しないOSDメモリーを備えており、OSD画像を形成するための図形やフォント等を表すOSD画像情報を記憶している。位置合わせ用のパターン画像を記憶していても良い。制御部10が、OSD画像の重畳を指示すると、OSD処理部17は、必要なOSD画像情報をOSDメモリーから読み出し、画像上の所定の位置にOSD画像が重畳されるように、画像情報処理部16から入力される画像情報にこのOSD画像情報を合成する。
画像投写部28は、光源21、光変調装置としての3つの液晶ライトバルブ22R,22G,22B、投写光学系としての投写レンズ23、ライトバルブ駆動部24などから構成されている。画像投写部28は、光源21から射出された光を、液晶ライトバルブ22R,22G,22Bで変調して画像光を形成し、このフルカラーの画像光を投写レンズ23からスクリーン30に投射する。
光源21は、発光ダイオードや半導体レーザー等の固体光源を含んで構成されている。なお、超高圧水銀ランプやメタルハライドランプなどの放電型の光源ランプを用いても良い。光源21から射出された光は、図示しないインテグレーター光学系によって輝度分布が略均一な光に変換され、図示しない色分離光学系によって光の3原色である赤色(R)、緑色(G)、青色(B)の各色光成分に分離された後、それぞれ液晶ライトバルブ22R,22G,22Bに入射する。
液晶ライトバルブ22R,22G,22Bは、それぞれ一対の透明基板間に液晶が封入された透過型の液晶パネル等によって構成される。各液晶パネルには、マトリクス状に配列された複数の画素からなる矩形の画像形成領域22iが形成されており、液晶に対して画素毎に駆動電圧を印加可能になっている。
ライトバルブ駆動部24は、液晶ライトバルブ22R,22G,22Bの画像形成領域22iに画像を形成する。具体的には、ライトバルブ駆動部24は、OSD処理部17から入力される画像情報に応じた駆動電圧を、画像形成領域22iの各画素に印加し、各画素を画像情報に応じた光透過率に設定する。光源21から射出された光は、液晶ライトバルブ22R,22G,22Bの画像形成領域22iを透過することによって画素毎に変調され、画像情報に応じた画像光が色光毎に形成される。形成された各色の画像光は、図示しない色合成光学系によって画素毎に合成されてカラー画像を表す画像光となり、投写レンズ23によってスクリーン30に拡大投射される。
なお、画像情報入力部15、画像情報処理部16、およびOSD処理部17は、1つ又は複数のプロセッサー等によって構成されてもよいし、ASIC(Application Specific Integrated Circuit)やFPGA(Field Programmable Gate Array)などの専用の処理装置によって構成されても良い。
投写レンズ23は、複数の凹凸レンズを含んで構成されており、複数の凹凸レンズにおける特定のレンズには、ズーム調整用、フォーカス調整用、レンズシフト用のアクチュエーターが取付けられている。アクチュエーターとしては、圧電モーターなどのモーターを含むリニアアクチュエーターなどが好適である。
レンズ調整部18は、これらのアクチュエーターを駆動する駆動回路を備えており、制御部10からの指示により、ズーム調整、フォーカス調整、及び、レンズシフト調整を行う。レンズシフト調整では、投写レンズ23の中心光軸と略直交する面上において、投写レンズ23を上下左右に移動させる。
撮像装置19は、撮像素子としてCMOS(Complementary Metal Oxide Semiconductor)センサーを備えたカメラであり、プロジェクター81の前面に配置され、スクリーンに投射された投射画像を撮像可能に設けられている。なお、撮像素子は、撮像が可能な素子であれば良く、例えば、CCD(Charge Couple Device)センサーであっても良い。
なお、上記では、光変調装置として、透過型の液晶ライトバルブ22R,22G,22Bを用いるものとして説明したが、反射型の液晶ライトバルブ等、反射型の光変調装置を用いることであっても良い。また、入射した光の射出方向を、画素としてのマイクロミラー毎に制御することにより、光源21から射出された光を変調するデジタルミラーデバイス等を用いても良い。また、色光別に複数の光変調装置を備える構成に限定されず、1つの光変調装置で複数の色光を時分割で変調する構成としても良い。
また、上記では、撮像装置19はプロジェクター81の一部として構成されるものとして説明したが、撮像装置19は、プロジェクター81と別体であっても良い。例えば、図1に示すように、カメラを備えたスマートフォン119を撮像装置19として用いても良い。スマートフォン119は、無線LAN規格に準拠した無線通信用のモジュールを備えており、画像投射システム100のネットワークに接続し、プロジェクター81,82,83と通信可能に設定されている。または、カメラ及び通信機能を備えたパーソナルコンピューターを撮像装置19として用いても良い。このように、撮像装置19が別体で構成された場合であっても、プロジェクター81の一部として構成された場合と同様に、投射画像の位置調整を行うことができる。
***投射画像の位置調整方法−1***
図3は、投射画像の位置調整方法の流れを示すフローチャートである。図4A、図4B、図4Cは、複合画像の一態様を示す図である。
ここでは、スタック画像投射時における画像投射システム100の制御方法について、図3を主体に、適宜、他の図を交えて説明する。なお、以下の処理は、プロジェクター81が主体となって、スレーブのプロジェクター82,83を制御することにより実行される。詳しくは、プロジェクター81が記憶部11の投射画像の位置合わせ制御プログラムを実行することにより、スレーブのプロジェクター82,83を制御する。なお、図3のフローチャートによる処理を標準処理ともいう。
ステップS71では、プロジェクター81は、投射画像の位置合わせ用のテストパターンとして基準となる第1パターン41を投射する。図4Aに示すように、第1パターン41は、無地の長方形画像であり、色調は緑色で全ベタされている。
ステップS72では、プロジェクター82がテストパターンとして第2パターン42を投射し、プロジェクター83がテストパターンとして第3パターン43を投射する。第2パターン42は無地の長方形画像であり、色調は青色の全ベタである。第3パターン43は無地の長方形画像であり、色調は赤色の全ベタである。図4Aに示すように、第1パターン41の右上方に、第2パターン42が一部の重なり部分51を持って投射されている。第1パターン41の右下方に、第3パターン43が僅かな重なりを持って投射されている。
ステップS73では、プロジェクター81は、撮像装置19により、第1パターン41、第2パターン42、及び、第3パターン43を含む複合画像を撮像する。なお、第1パターン41、及び、第2パターン42を含む複合画像を撮像することであっても良い。
ステップS74では、プロジェクター81は、撮像画像において、第1パターン41に対する、第2パターン42の重なり部分51の面積が、所定の割合以上であるか否か判断する。詳しくは、撮像した撮像画像を解析し、第1パターン41の面積、第2パターン42の面積、及び両者の重なり部分51の面積を算出する。なお、重なり部分51の色調は、第1パターン41の緑色光と、第2パターン42の青色光とが混色して空色となるため、色調の違いを利用して面積を算出しても良い。また、全ベタ画像による第1パターン41、第2パターン42は、被投射面に凹凸がある場合であっても、十字状の照合パターンなどと比べて凹凸による影響は少ないため、撮像画像から面積を算出することができる。
そして、所定の割合を80%とした場合、第1パターン41の面積に対する重なり部分51の面積が、80%以上であるか否か判断する。所定の割合以上であった場合には、自動調整可能な範囲内であるため、第2パターン42の位置合わせ処理を終了する。所定の割合未満の場合には、ステップS76に進む。図4Aの場合は、80%未満のためステップS76に進む。なお、所定の割合は80%に構成に限定するものではなく、自動位置調整機能により調整可能な範囲であれば良く、70〜90%の範囲内で設定すれば良い。
ステップS76では、第2パターン42を第1パターン41に重ねるために必要なレンズシフト量を導出する。図4Aの場合は、撮像画像を解析し、第1パターン41における重心41c、及び、第2パターン42における重心42cを算出し、XY座標における重心41cの座標と、重心42cの座標との差分を求め、当該差分から必要なレンズシフト量を導出する。
ステップS77では、プロジェクター81は、プロジェクター82に対して、ステップS76で導出されたレンズシフト量を用いてレンズシフトを行うよう指示を出す。図4Aの場合、プロジェクター82は、図中の矢印で示すように、第1パターン41の重心41c位置に、第2パターン42の重心42c位置を一致させるようにレンズシフトを行う。詳しくは、第2パターン42が矢印のベクトルに沿って動くように、X(−)、及び、Y(−)方向に導出された量のレンズシフトが実行される。レンズシフトが行われると、ステップS73に戻る。
ステップS73では、プロジェクター81は、撮像装置19により、レンズシフト実行後の複合画像を撮像する。図4Bに示すように、レンズシフト後の第2パターン42は、第1パターン41と略重なった状態となっている。
ステップS74では、プロジェクター81は、撮像画像において、第1パターン41の面積に対する第2パターン42の重なり部分52の面積が80%以上であるか否か判断する。図4Bの場合は、第1パターン41と第2パターン42との重なり部分52の面積が80%以上であったため、第2パターンの位置合わせ処理は終了となる。
スレーブプロジェクターが1台の場合はこれで終了となるが、本実施形態では、スレーブプロジェクターが2台あるため、続いて、次のプロジェクター83の位置合わせ処理が行われる。詳しくは、第3パターン43の位置を、基準となる第1パターン41に近づける処理が行われる。この処理は、上記の第2パターン42の位置を第1パターン41に近づける処理と同様であり、図3のステップS73以降の処理を第3パターン43に対して実施する。
ステップS74では、プロジェクター81は、レンズシフト後の図4Bにおける撮像画像において、第1パターン41の面積に対する第3パターン43の重なり部分の面積が80%以上であるか否か判断する。図4Bの場合、第3パターン43の重なり部分の面積は80%未満であるため、ステップS76に進む。なお、重なり部分の色調は、第1パターンの緑色光と第3パターンの赤色光とが混色して黄色となるため、色調の違いを利用して面積を算出しても良い。
ステップS76では、第3パターン43を第1パターン41に重ねるために必要なレンズシフト量を導出する。図4Bの場合は、撮像画像を解析し、第1パターン41の重心41c、及び、第3パターン43の重心43cを算出し、XY座標における重心41cの座標と、重心43cの座標との差分を求め、当該差分から必要なレンズシフト量を導出する。
ステップS77では、プロジェクター81は、プロジェクター83に対して、ステップS76で導出されたレンズシフト量を用いてレンズシフトを行うように指示を出す。図4Bの場合、プロジェクター83は、図中の矢印で示すように、第1パターン41の重心41c位置に、第3パターン43の重心43c位置を一致させるようにレンズシフトを行う。詳しくは、プロジェクター83は、第3パターン43が矢印のベクトルに沿って動くように、X(−)、及び、Y(+)方向に導出された量のレンズシフトを実行する。レンズシフトが終了すると、ステップS73に戻る。
ステップS73では、プロジェクター81は、撮像装置19により、レンズシフト実行後の複合画像を撮像する。図4Cに示すように、レンズシフト後の第3パターン43は、第1パターン41と略重なった状態となっている。
ステップS74では、プロジェクター81は、撮像画像において、第1パターン41の面積に対する第3パターン43の重なり部分の面積が80%以上であるか否か判断する。図4Cの場合は、第1パターン41と第3パターン43との重なり部分の面積が80%以上であったため、第3パターン43の位置合わせ処理は終了となる。なお、スレーブプロジェクターがまだある場合は、台数分、ステップS73以降の処理を繰り返せば良い。
複合画像が図4Cの状態になると、後の細部の位置合わせ処理は、前述した自動位置調整機能により行うことができる。
以上述べたように、この制御方法によれば、プロジェクター81は、プロジェクター81による第1パターン41、及び、プロジェクター82による第2パターン42を含む複合画像を撮像した撮像画像において、第1パターン41に対する、第2パターン42の重なり部分51の面積が、所定の割合以上であるか否か判断する。所定の割合に満たない場合は、プロジェクター82のレンズシフト機能により、第2パターン42が、第1パターン41に重なるようにレンズシフトさせる。よって、凹凸などの被投射面の影響を受けにくい面積を用いて、投射画像の位置合わせを行うことができる。
従って、この制御方法によれば、被投射面の状態に係らずに、投射画像の位置を調整することができる。換言すれば、被投射面の状態に係らずに、投射画像の位置を調整可能な画像投射システム100を提供できる。
また、プロジェクター82のレンズシフト機能によるレンズシフトは、撮像画像において、第1パターン41の重心41cの位置に、第2パターン42の重心42cの位置を一致させるように行われる。この方法によれば、第1パターン41と、第2パターン42との位置合わせは、重心位置を目標として行われる。撮像画像の解析において、重心位置はパターン画像が多少歪んでいても抽出可能である。
よって、重心位置に基づいて、第2パターン42が第1パターン41に重なるようにレンズシフトを行うことができる。
また、第3パターン43を投射する第3のプロジェクター83がある場合、プロジェクター81は、第1パターン41、第2パターン42、及び、第3パターン43を含む複合画像を撮像した撮像画像において、第1パターン41に対する第3パターン43の重なり部分の面積が、所定の割合以上であるか否か判断する。所定の割合に満たない場合は、プロジェクター83のレンズシフト機能により、第3パターン43が、第1パターン41に重なるようにレンズシフトさせる。
よって、3台のプロジェクターによる画像投射システムにも適用することができる。また、3台以上の場合も同様に、1台ずつ第1パターン41を基準として投射画像の位置合わせを行うことができる。
また、第1パターン41の第1色調は緑色であり、第2パターン42の第2色調は青色であり、第3パターン43の第3色調は赤色に設定されている。
これによれば、全てのパターンが重なった部分は白色の投射画像となるため、位置調整の状況が視覚的に把握し易い。また、撮像画像の解析時に色情報を用いることができる。
実施形態2
***投射画像の位置調整方法−2***
図5は、実施形態2に係る投射画像の位置調整方法の流れを示すフローチャートである。
ここでは、実施形態1とは異なるスタック画像投射時における画像投射システム100の制御方法について、図5を主体に、適宜、他の図を交えて説明する。本実施形態の位置調整に係る制御方法は、スレーブプロジェクターが2台以上ある場合に好適であり、より効率的に投射画像の位置合わせを行うことができる。なお、実施形態1での説明と重複する部分は省略する。
ステップS91はステップS71と同一である。図4Cに示すように、プロジェクター81は、基準となる第1パターン41を投射する。
ステップS92はステップS72と同一である。プロジェクター82が第2パターン42を投射し、プロジェクター83が第3パターン43を投射する。
ステップS93はステップS73と同一である。プロジェクター81は、撮像装置19により、図4Cに示す、第1パターン41、第2パターン42、及び、第3パターン43を含む複合画像を撮像する。
ステップS94では、プロジェクター81は、撮像画像において、全てのパターン画像が重なった重畳部分があるか否か判断する。重畳部分がある場合はステップS95に進む。重畳部分がない場合はステップS96に進む。ステップS96では、重畳部分がないため、図3の標準処理のフローチャートに沿って1パターンずつ位置調整を行う。
図4Cの場合、第1パターン41、第2パターン42、及び、第3パターン43が重なった重畳部分61があるため、ステップS95に進む。なお、重畳部分61の色調は、第1パターン41の緑色光、第2パターン42の青色光、及び、第3パターン43の赤色光が混色して白色となるため、色調の違いを利用して重なり部分を検出しても良い。
ステップS95では、プロジェクター81は、撮像画像において、第1パターン41の面積に対する、重畳部分61の面積が所定の割合以上であるか否か判断する。詳しくは、撮像した撮像画像を解析し、第1パターン41の面積、及び、3つのパターンが重なった重畳部分61の面積を算出する。そして、第1パターン41の面積に対する、重畳部分61の面積が所定の割合以上であるか否か判断する。所定の割合以上の場合は、自動位置調整機能の範囲内となるため、位置合わせ処理は終了となる。所定の割合未満の場合は、ステップS97に進む。図4Cの場合は、重畳部分61の面積が、所定の割合としての80%以上であったため、位置合わせ処理は終了となる。
ステップS97では、ステップS95での解析結果から、位置調整が必要なパターン画像を抽出し、当該パターン画像におけるレンズシフト量を導出する。導出方法は、実施形態1での説明と同様である。
ステップS98では、プロジェクター81は、位置調整が必要なスレーブプロジェクターに対して、ステップS97で導出されたレンズシフト量を用いてレンズシフトを行うよう指示を出す。レンズシフトが終了すると、ステップS93に戻る。
以上述べたように、この制御方法によれば、実施形態1での効果に加えて、以下の効果を得ることができる。
プロジェクター81は、プロジェクター81による第1パターン41、プロジェクター82による第2パターン42、及び、プロジェクター83による第3パターン43を含む複合画像を撮像した撮像画像において、第1パターン41、第2パターン42、及び、第3パターン43が重なった重畳部分61の面積を求め、第1パターン41に対する、重畳部分61の面積が、所定の割合以上であるか否か判断する。所定の割合に満たない場合は、プロジェクター82のレンズシフト機能、または、プロジェクター83のレンズシフト機能により、第2パターン42、または、第3パターン43のうち、少なくとも一方が、第1パターン41に重なるようにレンズシフトさせる。
よって、3つのパターンが重なった重畳部分61の面積が、所定の割合以上である場合は、直ぐに粗調整を終了することができる。
従って、効率良く投射画像の位置を調整することができる。
実施形態3
***照合パターンの他の態様***
図6は、照合パターンの他の態様を示す図であり、図4Aに対応している。
上記各実施形態では、投射画像の位置合わせ用のテストパターンとして無地で全ベタのカラー画像を用いるとして説明したが、これに限定するものではない。例えば、図6に示すパターン55を用いても良い。
図6のパターン55は長方形をなしており、当該長方形の2本の対角線57と、5つの小長方形56とを含んだパターン画像である。小長方形56は、パターン55の長方形における4隅に1つずつ、中央に1つ配置されている。2本の対角線57は、中央の小長方形56の対角線と重なっている。
2本の対角線57、及び、5つの小長方形56は、同じ色調としている。例えば、3台のプロジェクターのテストパターンとする場合には、上記実施形態と同様に、緑色、青色、赤色のテストパターンとして用いれば良い。このパターンを用いた場合であっても、上記実施形態と同様の作用効果を得ることができる。
実施形態4
***マルチスクリーン投射における位置調整方法***
上記各実施形態では、スタック投射時における投射画像の位置合わせ方法について説明したが、テストパターンの重なり面積を利用した位置合わせ方法は、マルチスクリーン投射を行う場合でも適用することができる。
例えば、2台のプロジェクターを用いて、上下に連続したタイリング画像を投射する場合、実施形態1と同様に、各プロジェクターに全ベタのパターン画像を投射させて、基準となる下側パターンに対する上側パターンの重なり面積が、所定の割合以上である場合は、重なり量が大きすぎるため、上側パターンを移動させる。所定の割合は、例えば10%とする。これによれば、マルチスクリーン投射を行う場合においても、上記各実施形態と同様に複合画像の位置合わせを行うことができる。
10…制御部、11…記憶部、14…通信部、15…画像情報入力部、16…画像情報処理部、17…OSD処理部、18…レンズ調整部、19…撮像装置、30…スクリーン、41…第1パターン、41c…重心、42…第2パターン、42c…重心、43…第3パターン、43c…重心、45…複合画像、51…重なり部分、52…重なり部分、55…パターン、56…小長方形、57…対角線、61…重畳部分、81…プロジェクター、82…プロジェクター、83…プロジェクター、100…画像投射システム。

Claims (7)

  1. レンズシフト機能を備えた第1プロジェクター、及び第2プロジェクターを含む複数台のプロジェクター、並びに撮像装置を有する画像投射システムの制御方法であって、
    前記第1プロジェクターは、第1色調の第1パターンを投射し、
    前記第2プロジェクターは、第2色調の第2パターンを投射し、
    前記撮像装置は、前記第1パターン、および前記第2パターンを含む複合画像を撮像した撮像画像を生成し、
    前記第1プロジェクターは、前記撮像画像において、前記第1パターンに対する、前記第2パターンの重なり部分の面積が、所定の割合以上であるか否か判断し、
    前記第1プロジェクターは、前記所定の割合に満たない場合、前記第2プロジェクターの前記レンズシフト機能により、前記第2パターンが、前記第1パターンに重なるようにレンズシフトさせる、
    画像投射システムの制御方法。
  2. 前記第2プロジェクターの前記レンズシフト機能によるレンズシフトは、
    前記撮像画像において、前記第1パターンの重心位置に、前記第2パターンの重心位置を一致させるように行われる、
    請求項1に記載の画像投射システムの制御方法。
  3. さらに、第3色調の第3パターンを投射する第3プロジェクターを含み、
    前記第1パターン、前記第2パターン、及び、前記第3パターンを含む複合画像を撮像した撮像画像を生成し、
    前記第1プロジェクターは、前記撮像画像において、前記第1パターンに対する、前記第3パターンの重なり部分の面積が、所定の割合以上であるか否か判断し、
    前記第1プロジェクターは、前記所定の割合に満たない場合、前記第3プロジェクターの前記レンズシフト機能により、前記第3パターンが、前記第1パターンに重なるようにレンズシフトさせる、
    請求項1または2に記載の画像投射システムの制御方法。
  4. 前記所定の割合は、80%である、
    請求項1〜3のいずれか一項に記載の画像投射システムの制御方法。
  5. 前記第1色調は緑色であり、
    前記第2色調は青色であり、
    前記第3色調は赤色である、
    請求項3または4に記載の画像投射システムの制御方法。
  6. レンズシフト機能を備えた第1プロジェクター、第2プロジェクター、及び第3プロジェクターを含む複数台のプロジェクター、並びに撮像装置を有する画像投射システムの制御方法であって、
    前記第1プロジェクターは、第1色調の第1パターンを投射し、
    前記第2プロジェクターは、第2色調の第2パターンを投射し、
    前記第3プロジェクターは、第3色調の第3パターンを投射し、
    前記撮像装置は、前記第1パターン、前記第2パターン、及び、前記第3パターンを含む複合画像を撮像した撮像画像を生成し、
    前記第1プロジェクターは、前記撮像画像において、前記第1パターン、前記第2パターン、及び、前記第3パターンが重なった重畳部分の面積を求め、前記第1パターンに対する、前記重畳部分の面積が、所定の割合以上であるか否か判断し、
    前記第1プロジェクターは、前記所定の割合に満たない場合、前記第2プロジェクターの前記レンズシフト機能、または、前記第3プロジェクターの前記レンズシフト機能により、前記第2パターン、または、前記第3パターンのうち、少なくとも一方が、前記第1パターンに重なるようにレンズシフトさせる、
    画像投射システムの制御方法。
  7. レンズシフト機能を備えた複数台のプロジェクター、及び撮像装置を含む画像投射システムであって、
    第1色調の第1パターンを投射する第1プロジェクターと、
    第2色調の第2パターンを投射する第2プロジェクターと、を含み、
    前記第1プロジェクターは、前記第2プロジェクター、及び前記撮像装置と通信可能に接続され、
    前記撮像装置は、前記第1パターン、および前記第2パターンを含む複合画像を撮像し、
    前記第1プロジェクターは、前記撮像画像において、前記第1パターンに対する、前記第2パターンの重なり部分の面積が、所定の割合に満たない場合、前記第2プロジェクターの前記レンズシフト機能により、前記第2パターンが、前記第1パターンに重なるようにレンズシフトさせる、
    画像投射システム。
JP2020057352A 2020-03-27 2020-03-27 画像投射システム、画像投射システムの制御方法 Active JP7484309B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2020057352A JP7484309B2 (ja) 2020-03-27 2020-03-27 画像投射システム、画像投射システムの制御方法
US17/213,991 US11327389B2 (en) 2020-03-27 2021-03-26 Image projection system and method of controlling image projection system

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2020057352A JP7484309B2 (ja) 2020-03-27 2020-03-27 画像投射システム、画像投射システムの制御方法

Publications (3)

Publication Number Publication Date
JP2021157056A true JP2021157056A (ja) 2021-10-07
JP2021157056A5 JP2021157056A5 (ja) 2023-03-09
JP7484309B2 JP7484309B2 (ja) 2024-05-16

Family

ID=77855923

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020057352A Active JP7484309B2 (ja) 2020-03-27 2020-03-27 画像投射システム、画像投射システムの制御方法

Country Status (2)

Country Link
US (1) US11327389B2 (ja)
JP (1) JP7484309B2 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115343898A (zh) * 2021-04-27 2022-11-15 中强光电股份有限公司 投影***及投射影像叠加方法

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3646580B2 (ja) 1999-08-31 2005-05-11 セイコーエプソン株式会社 投写型表示装置、並びに、投写表示システムおよびその表示方法
JP4168024B2 (ja) 2004-11-08 2008-10-22 株式会社日立製作所 スタックプロジェクション装置及びその調整方法
JP4882237B2 (ja) 2005-02-07 2012-02-22 セイコーエプソン株式会社 画像プロジェクションシステム、画像プロジェクション方法、画像プロジェクションプログラム、そのプログラムを記憶した記憶媒体、およびプロジェクタの制御装置
JP2006245737A (ja) 2005-03-01 2006-09-14 Casio Comput Co Ltd 投影画像補正装置、投影画像補正方法及びプログラム
JP2011029727A (ja) 2009-07-21 2011-02-10 Canon Inc 画像投射装置
JP6089461B2 (ja) * 2012-06-22 2017-03-08 セイコーエプソン株式会社 プロジェクター、画像表示システム、プロジェクターの制御方法
JP2014010264A (ja) 2012-06-29 2014-01-20 Jvc Kenwood Corp 画像投写位置調整装置及び画像投写位置調整方法
JP6127443B2 (ja) 2012-10-19 2017-05-17 カシオ計算機株式会社 投影装置及び投影状態調整方法
TWI516093B (zh) 2012-12-22 2016-01-01 財團法人工業技術研究院 影像互動系統、手指位置的偵測方法、立體顯示系統以及立體顯示器的控制方法
CN104793450B (zh) 2015-04-23 2017-02-01 中影巴可(北京)电子有限公司 用于数字电影放映机的双机重合调整方法和***
JP6251871B2 (ja) 2015-06-15 2017-12-27 マクセル株式会社 投写型映像表示装置
JP2017147634A (ja) 2016-02-18 2017-08-24 キヤノン株式会社 投影装置、投影方法及び投影システム
JP7096664B2 (ja) 2017-12-15 2022-07-06 キヤノン株式会社 投写制御装置およびその制御方法、ならびに投写システム
JP2019120749A (ja) * 2017-12-28 2019-07-22 キヤノン株式会社 表示制御装置、画像投影システム、制御方法およびプログラム
JP2019198030A (ja) * 2018-05-10 2019-11-14 キヤノン株式会社 複数の投影装置を制御する制御装置及び制御方法

Also Published As

Publication number Publication date
US20210302810A1 (en) 2021-09-30
JP7484309B2 (ja) 2024-05-16
US11327389B2 (en) 2022-05-10

Similar Documents

Publication Publication Date Title
JP3620537B2 (ja) 画像処理システム、プロジェクタ、プログラム、情報記憶媒体および画像処理方法
JP4026649B2 (ja) プロジェクタ、プロジェクタの制御方法、プロジェクタの制御プログラム、およびこのプログラムを記憶した記憶媒体
CN113271446B (zh) 投影仪的基于计算机的控制方法
JP2011029727A (ja) 画像投射装置
US10701325B2 (en) Multi-projection system, projector, and method for controlling projector
US10638100B2 (en) Projector, multi-projection system, and method for controlling projector
US11323673B2 (en) Method for operating control apparatus, and projector
JP2015132747A (ja) プロジェクター
JP2019045549A (ja) 画像投写システム、端末装置及び画像投写システムの制御方法
JP2008003516A (ja) 照明光学系および投写型表示装置
JP2019024180A (ja) プロジェクター、マルチプロジェクションシステムおよびプロジェクターの制御方法
JP2008225297A (ja) 画像表示装置、表示位置調整方法及び表示位置調整プログラム
US11327389B2 (en) Image projection system and method of controlling image projection system
JP2012018214A (ja) 投写型映像表示装置
JP2010085563A (ja) 画像調整装置、画像表示システム及び画像調整方法
JP5217194B2 (ja) プロジェクタ
JP2022147132A (ja) 投写画像の調整方法、情報処理装置、及び投写システム
JP7138237B2 (ja) 投影システム、投影制御装置、投影制御方法、及び投影制御プログラム
US20240146884A1 (en) Display method, projector, and non-transitory computer-readable storage medium storing program
US11800070B2 (en) Control method for projector, projector, and image projection system
JP2013085159A (ja) プロジェクター、及びプロジェクターの制御方法
WO2021246211A1 (ja) 情報処理装置、情報処理方法、及びプログラム
JP2018180105A (ja) 投影装置及び画像投影方法
JP2020098225A (ja) 画像抽出方法、及びプロジェクター

Legal Events

Date Code Title Description
RD07 Notification of extinguishment of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7427

Effective date: 20200821

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20210914

RD03 Notification of appointment of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7423

Effective date: 20211101

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230228

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20230228

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20231030

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20231205

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20240201

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20240402

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20240415

R150 Certificate of patent or registration of utility model

Ref document number: 7484309

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150