JP6364872B2 - 情報処理装置、プロジェクター、情報処理方法及びプログラム - Google Patents

情報処理装置、プロジェクター、情報処理方法及びプログラム Download PDF

Info

Publication number
JP6364872B2
JP6364872B2 JP2014068876A JP2014068876A JP6364872B2 JP 6364872 B2 JP6364872 B2 JP 6364872B2 JP 2014068876 A JP2014068876 A JP 2014068876A JP 2014068876 A JP2014068876 A JP 2014068876A JP 6364872 B2 JP6364872 B2 JP 6364872B2
Authority
JP
Japan
Prior art keywords
display surface
information
detected
image
generating
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2014068876A
Other languages
English (en)
Other versions
JP2015191484A (ja
Inventor
彬 桐生
彬 桐生
武彦 刀根
武彦 刀根
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Seiko Epson Corp
Original Assignee
Seiko Epson Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Seiko Epson Corp filed Critical Seiko Epson Corp
Priority to JP2014068876A priority Critical patent/JP6364872B2/ja
Priority to TW104109577A priority patent/TWI639049B/zh
Priority to CN201580013674.8A priority patent/CN106104436B/zh
Priority to PCT/JP2015/001778 priority patent/WO2015146189A1/ja
Priority to KR1020167029718A priority patent/KR101894315B1/ko
Priority to US15/126,640 priority patent/US20170085848A1/en
Priority to EP15769741.8A priority patent/EP3125081A4/en
Priority to BR112016022572A priority patent/BR112016022572A2/pt
Publication of JP2015191484A publication Critical patent/JP2015191484A/ja
Application granted granted Critical
Publication of JP6364872B2 publication Critical patent/JP6364872B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/12Picture reproducers
    • H04N9/31Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3191Testing thereof
    • H04N9/3194Testing thereof including sensor feedback
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/042Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means
    • G06F3/0425Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means using a single imaging device like a video camera for tracking the absolute position of a single or a plurality of objects with respect to an imaged reference surface, e.g. video camera imaging a display or a projection screen, a table or a wall surface, on which a computer generated image is displayed or projected
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G06F3/1423Digital output to display device ; Cooperation and interconnection of the display device with other functional units controlling a plurality of local displays, e.g. CRT and flat panel display
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G06F3/1423Digital output to display device ; Cooperation and interconnection of the display device with other functional units controlling a plurality of local displays, e.g. CRT and flat panel display
    • G06F3/1446Digital output to display device ; Cooperation and interconnection of the display device with other functional units controlling a plurality of local displays, e.g. CRT and flat panel display display composed of modules, e.g. video walls
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/36Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/12Picture reproducers
    • H04N9/31Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3141Constructional details thereof
    • H04N9/3147Multi-projection systems
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/12Picture reproducers
    • H04N9/31Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3179Video signal processing therefor
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2354/00Aspects of interface with display user

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Signal Processing (AREA)
  • Computer Hardware Design (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Projection Apparatus (AREA)
  • Transforming Electric Information Into Light Information (AREA)
  • Position Input By Displaying (AREA)

Description

本発明は、画像の投写面上の位置を指示して行われる操作を検出する技術に関する。
ペン等の指示体で指示された画像の投写面上の位置を検出し、検出した位置に応じて手書きの画像を表示させたり、オブジェクト(例えばメニューやアイコン)を選択する操作を受け付けたりする機能を備えたプロジェクターがある。かかるプロジェクターにおいて、表示中の複数画面に跨る処理を実行可能にする技術が、特許文献1に開示されている。特許文献1は、複数の画像ソースから入力された画像を1台のプロジェクターが分割表示した場合の、複数の表示領域に跨る処理を実行することを開示している。
特開2013−97177号公報
1つのPC(Personal Computer)に複数台のモニターを接続して実質的な画面領域を拡大させる、マルチモニターと呼ばれる表示手法がある。この表示手法を利用すれば、複数台のプロジェクターを使用して、投写した画像が表示される表示面を実質的に拡大させることができる。しかし、一のプロジェクターに対応する表示面の内外に跨る操作が行われた場合に、当該操作に応じた処理に不具合が生じる可能性がある。特許文献1は、複数台のプロジェクターを使用した場合の処理の不具合については開示していない。
本発明は、上述した事情に鑑みてなされたもので、その目的の一つは、投写した画像が表示される表示面の内外に跨って行われる操作に応じた処理の不具合を解消することである。
上記目的を達成するために、本発明に係る情報処理装置は、画像が投写される投写面に対して指示体により指示された位置を繰り返し検出し、検出した位置の位置情報を供給する検出手段と、前記検出手段が前記画像の表示面内の第1の位置を検出した後、前記表示面外の第2の位置を検出した場合、前記第1の位置と前記第2の位置とに挟まれる第3の位置の位置情報を生成する生成手段とを備える。
この発明によれば、投写した画像が表示される表示面の内外に跨って行われる操作に応じた処理の不具合を解消することができる。
上記目的を達成するために、本発明に係る情報処理装置は、画像が投写される投写面に対して指示体により指示された位置を繰り返し検出し、検出した位置の位置情報を供給する検出手段と、前記検出手段が前記画像の表示面外の第1の位置を検出した後、前記表示面内の第2の位置を検出した場合、前記第1の位置と前記第2の位置とに挟まれる第3の位置の位置情報を生成する生成手段とを備える。
この発明によれば、投写した画像が表示される表示面の内外に跨って行われる操作に応じた処理の不具合を解消することができる。
本発明において、前記検出手段は、前記表示面を含む撮像領域を所定の周期で撮像した画像データに基づいて、前記指示された位置を検出し、前記生成手段は、前記撮像の時期が1周期だけ異なる2つの前記画像データに基づいて、前記第1の位置及び前記第2の位置を特定し、前記第3の位置の位置情報を生成してもよい。
この発明によれば、撮像の時期が連続する2つの画像データに基づいて、表示面の内外に跨って行われた操作を検出することができる。
本発明において、前記検出手段は、前記表示面よりも広い前記撮像領域を撮像した前記画像データに基づいて、前記指示された位置を検出してもよい。
この発明によれば、表示面よりも撮像領域を広くすることによって、表示面の内外に跨って行われた操作を検出することができる。
本発明において、前記生成手段は、前記第3の位置と関連付けて、前記指示体が前記表示面外へ移動したことを示す情報を生成してもよい。
この発明によれば、指示体が表示面外へ移動した位置を精度良く検出することができる。
本発明において、前記表示面として第1の表示面と第2の表示面とが配列し、前記生成手段は、前記第1の位置が前記第1の表示面内で、前記第2の位置が前記第2の表示面内で検出された場合に、前記第3の位置の位置情報を生成してもよい。
この発明によれば、第1の表示面及び第2の表示面に跨って行われる操作に応じた処理の不具合を解消することができる。
本発明において、前記生成手段は、前記指示体が前記表示面外へ移動したことを示す情報が前記検出手段により供給された場合に、当該情報が前記第1の表示面から前記第2の表示面への移動に対応するときは、当該情報を削除してもよい。
この発明によれば、第1の表示面から第2の表示面へ指示体が移動した位置を誤認する可能性を低くすることができる。
本発明において、前記生成手段は、前記第1の表示面に対し、前記第3の位置と関連付けて前記指示体が前記表示面外へ移動したことを示す情報を生成してもよい。
この発明によれば、指示体が第1の表示面から第2の表示面へ移動した位置を精度良く検出することができる。
本発明において、前記生成手段は、前記第2の表示面に対し、前記第3位置の位置情報を生成してもよい。
この発明によれば、第1の表示面から指示体が移動してきた第2の表示面上の位置を精度良く検出することができる。
なお、本発明は、情報処理装置のほか、プロジェクター、情報処理方法及びプログラムとしても観念することが可能である。
本発明の第1実施形態に係る投写システムの全体構成を示す図。 同実施形態に係る投写システムのハードウェア構成を示すブロック図。 同実施形態に係る投写システムの機能構成を示すブロック図。 同実施形態に係る補間処理を示すフローチャート。 同実施形態に係るプライマリー画面に係る補間処理の説明図。 同実施形態に係るセカンダリー画面に係る補間処理の説明図。 同実施形態に係る描画処理の説明図。 本発明の第2実施形態に係る投写システムの機能構成を示すブロック図。 同実施形態に係る補間処理の説明図。 同実施形態に係る補間処理の説明図。 2画面表示時の描画処理において発生する不具合の一例の説明図。
以下、本発明の実施の形態について図面を参照しつつ説明する。
[第1実施形態]
図1は、本発明の第1実施形態に係る投写システム1の全体構成を示す図である。投写システム1は、プロジェクター10−1と、プロジェクター10−2と、PC(Personal Computer)20と、指示体30とを備える。
プロジェクター10−1,10−2は、ここでは液晶プロジェクターであり、水平方向に隣り合って配置される。プロジェクター10−1,10−2は、PC20から入力された画像信号に基づいて、スクリーン40上に画像を投写する投写型表示装置である。プロジェクター10−1,10−2は、例えばR(Red)、G(Green)、B(Blue)の三原色の各色成分に対応した入力画像を表す画像信号に基づいて、カラー画像を投写する。スクリーン40は、ここでは反射型のスクリーンであり、プロジェクター10−1,10−2により画像が投写される投写面である。
プロジェクター10−1は、プライマリー画面SC1(第1の表示面)をスクリーン40上に投写する。プロジェクター10−2は、セカンダリー画面SC2(第2の表示面)をスクリーン40上に投写する。プライマリー画面SC1は、マルチモニターの表示手法におけるプライマリーモニターに対応し、セカンダリー画面SC2は、マルチモニターの表示手法におけるセカンダリーモニターに対応する画面である。このため、プライマリー画面SC1及びセカンダリー画面SC2が配列することにより、全体として一つの画面領域SCが表示される。本実施形態において、プライマリー画面SC1の右端の辺と、セカンダリー画面SC2の左端の辺とが一致するように、プロジェクター10−1,10−2が予め調整されているものとする。プロジェクター10−1,10−2は、画面領域SCの表示に関する情報処理を実行する情報処理装置として機能する。
以下の説明で、符号の末尾に枝番で「1」を付した構成要素は、プロジェクター10−1の構成要素であり、符号の末尾に枝番で「2」を付した構成要素は、プロジェクター10−2の構成要素である。
PC20は、プロジェクター10−1,10−2に入力される画像信号の信号源(映像ソース)となる情報処理装置である。PC20は、プロジェクター10−1,10−2の各々と通信可能に接続される。PC20は、例えばOS(Operating System)の機能に基づいて、プライマリー画面を表示する表示装置としてプロジェクター10−1を関連付け、セカンダリー画面を表示する表示装置としてプロジェクター10−2を関連付けている。
なお、図1の例では、PC20はプロジェクター10−1,10−2の各々と有線で接続されるが、無線で接続されてもよく、接続方式や通信方式は特に問わない。
指示体30は、ここではペン型のデバイス(操作デバイス)であり、スクリーン40上の位置を指示するためにユーザーUに使用される。指示体30は、例えば、画面領域SCに重ねて文字や図形を手書きする操作を行うために、ユーザーUにより使用される。また、指示体30は、画面領域SCに含まれる操作可能なオブジェクトを選択する操作を行うために、ユーザーUにより使用される。指示体30は、ペン型に限らず、棒形状等の他形状の操作デバイスであってもよい。また、指示体30は、操作デバイスではなく、ユーザーUの手や指等で代用されてもよい。
図2は、投写システム1のハードウェア構成を示すブロック図である。プロジェクター10−1,10−2は、自装置がプライマリー画面を表示するか、セカンダリー画面を表示するかによって異なる機能を実行するが、ハードウェア構成は互いに共通する。以下ではプロジェクター10−1のハードウェア構成を代表して説明する。
プロジェクター10−1は、CPU(Central Processing Unit)11と、ROM(Read Only Memory)12と、RAM(Random Access Memory)13と、操作部14と、画像処理部15と、投写部16と、カメラ部17と、インターフェース18とを備える。
CPU11は、ROM12等の記憶手段に記憶されたプログラムを、RAM13に読み出して実行することにより、プロジェクター10−1の各部を制御するマイクロコンピューターである。操作部14は、プロジェクター10−1の電源のオン/オフや各種操作を行うための操作子(例えば物理キー)を備えた操作手段である。
画像処理部15は、例えばASIC(Application Specific Integrated Circuit)等の画像処理回路を備え、プロジェクター10−1が行う画像処理を司る。画像処理部15は、CPU11の制御に従って、例えばPC20からインターフェース18に入力された画像信号に対して、リサイズ処理や台形補正等の所定の画像処理を行う。
投写部16は、画像処理部15による画像処理後の画像信号に基づいて、スクリーン40に画像(プライマリー画面SC1)を投写する。投写部16は、光源161と、液晶パネル162と、光学系163と、光源制御部164と、パネル駆動部165と、光学系駆動部166とを有する。光源161は、例えばLED(Light Emitting Diode)や半導体ダイオードを含む固体光源で、液晶パネル162に光を射出する。液晶パネル162は、例えば透過型の液晶パネルで、光源161から入射した光を変調する光変調器である。液晶パネル162は、RGBの三原色の各色に対応して設けられる。光学系163は、例えばレンズやレンズ調整用の駆動回路を備え、液晶パネル162により変調された光(画像光)を拡大して、スクリーン40上に投写する。光源制御部164は、CPU11の制御に従って光源161を駆動する。パネル駆動部165は、CPU11から供給された画像信号に基づいて液晶パネル162を駆動する。光学系駆動部166は、CPU11の制御に従って光学系163の駆動回路を駆動する。
カメラ部17は、イメージセンサー(例えばCMOSセンサー又はCCDセンサー)を有し、スクリーン40を撮像する。本実施形態において、カメラ部17は、CPU11の制御に従って、投写部16が画像を投写する範囲よりも広い画角で、スクリーン40を撮像する。即ち、カメラ部17は、プライマリー画面SC1の全体を含む、プライマリー画面SC1よりも広い領域を撮像領域とする。インターフェース18は、PC20に接続するためのインターフェースである。インターフェース18は、プロジェクター10−1とPC20との間のデータの入出力に関わる機能を実現する。
プロジェクター10−2は、投写部16によりセカンダリー画面SC2をスクリーン40上に投写する。また、プロジェクター10−2において、カメラ部17は、セカンダリー画面SC2の全体を含む、セカンダリー画面SC2よりも広い領域を撮像領域とする。
PC20は、CPU21と、ROM22と、RAM23と、操作部24と、画像処理部25と、表示部26と、記憶部27と、インターフェース28と、インターフェース29とを備える。
CPU21は、ROM22等の記憶手段に記憶されたプログラムを、RAM23に読み出して実行することにより、PC20の各部を制御するマイクロコンピューターである。操作部24は、キーボードやテンキー等の複数の操作子(例えば物理キー)を備えた操作手段である。画像処理部25は、例えばASIC等の画像処理回路を備え、CPU21の制御に従って各種の画像処理を行う。表示部26は、例えば液晶ディスプレイであり、CPU21の制御に従って各種の画像(画面)を表示する。記憶部27は、例えばハードディスク等の記憶媒体を備え、各種のデータを記憶する。記憶部27は、内部記憶手段、外部記憶手段又はこれらの組み合わせのいずれであってもよい。インターフェース28は、プロジェクター10−1に接続するためのインターフェースである。インターフェース28は、プロジェクター10−1とPC20との間のデータの入出力に関わる機能を実現する。インターフェース29は、プロジェクター10−2に接続するためのインターフェースである。インターフェース29は、プロジェクター10−2とPC20との間のデータの入出力に関わる機能を実現する。
図1で示されるようにして、2台のプロジェクターを用いて2画面の表示を行う場合、以下で説明する処理の不具合が発生する可能性がある。図11は、ユーザーUに描かれた手書きの画像を表示するための描画処理で発生する不具合の一例を説明する図である。
図11(a)に示すように、ユーザーUが指示体30を用いて、プライマリー画面SC1とセカンダリー画面SC2とを跨って線を描画する操作を行った場合を考える。本来、図11(a)に示した線が描画処理により表示されるべきであるが、プライマリー画面SC1及びセカンダリー画面SC2の画面境界付近で、線が途切れることがある。続いて、描画処理において線が途切れる理由を説明する。
一般に、プロジェクターは、指示体30の位置(典型的には先端位置)を繰り返し検出し、検出した位置の座標情報を、描画処理を行うPC等へ供給する。プロジェクターが供給する座標情報は、指示体30の位置を座標形式で表した位置情報で、具体的には「プッシュ情報」及び「ポップ情報」を含む。「プッシュ情報」は、検出した指示体30の位置を表す座標情報である。描画処理では、時間的に連続して検出された2つの座標情報が示す位置同士を線で結んで、線が描画される。「ポップ情報」は、投写した画像の表示面内で指示体30の位置を検出した後、当該表示面内で指示体30の位置を検出しなくなった場合に供給される座標情報である。ポップ情報は、例えば、表示面内で最後に検出された指示体30の位置を表す。
以下、プライマリー画面SC1及びセカンダリー画面SC2の各々で発生する描画処理の不具合を説明する。
図11(b−1)に示すように、プライマリー画面SC1内の位置のプッシュ情報PuAが検出された後、指示体30がプライマリー画面SC1外へ移動した場合、プッシュ情報PuAが示す位置のポップ情報Poが供給されて、プライマリー画面SC1に関する座標情報の供給が終了する。このため、プッシュ情報PuAが示す位置と、プライマリー画面SC1の右端の画面境界とに挟まれる領域には、線が描画されない。
図11(b−2)に示すように、指示体30がセカンダリー画面SC2内へ移動してプッシュ情報PuB,PuCが順次供給された場合、プッシュ情報PuB,PuCが示す位置同士を結ぶ線は描画される。しかし、セカンダリー画面SC2内で最初に供給されたプッシュ情報は、プッシュ情報PuBであるから、セカンダリー画面SC2の左端の画面境界と、プッシュ情報PuBが示す位置とに挟まれる領域には、線が描画されない。
以上の理由により、図11(a)で説明したユーザーUの操作が行われた場合、図11(c)に示す描画処理が行われ、プライマリー画面SC1とセカンダリー画面SC2との境界付近で線が途切れる。
投写システム1では、以上説明した描画処理の不具合を解消するための機能が、プロジェクター10−1,10−2において実現される。
図3は、投写システム1の機能構成を示すブロック図である。
PC20は、画像信号供給手段201,202と、検出手段203と、変換手段204と、実行手段205と、表示手段206とを備える。プロジェクター10−1は、画像信号入力手段101−1と、投写手段102−1と、撮像手段103−1と、検出手段104−1と、生成手段105−1と、出力手段106−1とを備える。プロジェクター10−2は、画像信号入力手段101−2と、投写手段102−2と、撮像手段103−2と、検出手段104−2と、生成手段105−2と、出力手段106−2とを備える。
PC20において、画像信号供給手段201は、画像(映像)を表す画像信号をプロジェクター10−1へ供給する手段である。画像信号供給手段202は、画像(映像)を表す画像信号をプロジェクター10−2へ供給する手段である。画像信号供給手段201,202は、例えば、R、G、Bの三原色の各色成分に対応した画像信号を供給する。画像信号供給手段201,202は、例えば、ハードディスク装置等のPC20の内部記録媒体、又は、DVD(Digital Versatile Disk)等のデータ記録メディアで例示される外部記録媒体から読み出したデータに基づいて画像信号を再生し、再生した画像信号を供給する。画像信号は、例えば、プレゼンテーション用の資料で例示される文書ファイルの画像や、動画像又は静止画像で例示される画像を表す画像信号であるが、画像信号が表す画像については特に問わない。画像信号供給手段201は、CPU21、記憶部27及びインターフェース28により実現される。画像信号供給手段202は、CPU21、記憶部27及びインターフェース29により実現される。
プロジェクター10−1において、画像信号入力手段101−1は、PC20から入力された入力画像を表す画像信号を、投写手段102−1へ供給する。プロジェクター10−2において、画像信号入力手段101−2は、PC20から入力された入力画像を表す画像信号を、投写手段102−2へ供給する。画像信号入力手段101−1,101−2は、例えばCPU11、画像処理部15及びインターフェース18により実現される。
投写手段102−1は、画像信号入力手段101−1から供給された画像信号に基づいて、スクリーン40にプライマリー画面SC1を投写する手段である。投写手段102−2は、画像信号入力手段101−2から供給された画像信号に基づいて、スクリーン40にセカンダリー画面SC2を投写する手段である。投写手段102−1,102−2は、例えばCPU11、画像処理部15及び投写部16により実現される。
撮像手段103−1は、スクリーン40のプライマリー画面SC1を含む撮像領域を所定の周期で撮像し、撮像した画像を表す画像データ(以下「撮像データ」という。)を生成して、検出手段104−1へ供給する。撮像手段103−2は、スクリーン40のセカンダリー画面SC2を含む撮像領域を所定の周期で撮像し、撮像データを生成して検出手段104−2へ供給する。撮像手段103−1の撮像周期、及び、撮像手段103−2の撮像周期は、例えば、50Hz以上60Hz以下である。撮像手段103−1,103−2は、指示体30がスクリーン40上の位置を指示している場合、指示体30を含む撮像画像を表す撮像データを生成する。撮像手段103−1,103−2は、例えばCPU11、画像処理部15及びカメラ部17により実現される。
検出手段104−1,104−2は、スクリーン40上の位置を指示する指示体30の位置を繰り返し検出し、検出した位置の座標情報を供給する手段である。検出手段104−1,104−2は、撮像周期毎に供給された撮像データを解析して、指示体30の位置、より詳細には、指示体30の先端の位置を検出する。検出手段104−1,104−2は、撮像データから指示体30の位置を検出した場合には、当該位置の座標情報としてプッシュ情報を供給する。また、検出手段104−1,104−2は、指示体30が表示面外へ移動した場合には、指示体30を検出しなくなった位置の座標情報として、ポップ情報を供給する。
なお、検出手段104−1,104−2が供給する座標情報の各々は、プロジェクター10−1,10―2の入力画像の座標系の座標を示す。このため、検出手段104−1,104−2は、撮像データから求めた座標の座標系を入力画像の座標系に変換する処理を行ってから、座標情報を供給する。検出手段104−1,104−2は、例えばCPU11及び画像処理部15により実現される。
生成手段105−1は、検出手段104−1により供給された座標情報に基づいて、座標情報を補間する補間処理を行う。生成手段105−2は、検出手段104−2により供給された座標情報に基づいて、補間処理を行う。生成手段105−1,105−2は、例えばCPU11及び画像処理部15により実現される。
ここで、プロジェクター10−1で実行される補間処理、及び、プロジェクター10−2実行される補間処理について詳細を説明する。以下、図11(a)に示すように、指示体30を用いて、プライマリー画面SC1とセカンダリー画面SC2を跨る水平方向の直線がユーザーUに描かれる場合の補間処理を例に挙げて説明する。
<プロジェクター10−1の補間処理>
図4(a)は、プロジェクター10−1で実行されるプライマリー画面SC1に係る補間処理を示すフローチャートである。図5は、プライマリー画面SC1に係る補間処理を説明する図である。図5には、説明の便宜のために、プッシュ情報が示す位置同士を結んで描画される線を示している。また、図5には、撮像手段103−1の撮像領域がT1で示されている。
検出手段104−1は、プライマリー画面SC1内で指示体30の位置を検出すると、検出した位置のプッシュ情報を、生成手段105−1へ供給する(ステップS1−1)。生成手段105−1は、供給されたプッシュ情報に基づいて、指示体30(即ち指示体30が指示する位置)がプライマリー画面SC1内からプライマリー画面SC1外へ移動したかどうかを判断する(ステップS2−1)。指示体30のプライマリー画面SC1外への移動は、ここでは、指示体30のセカンダリー画面SC2内への移動のことである。
図5(a)に示すように、検出手段104−1がプライマリー画面SC1内のプッシュ情報Pu1,Pu2を続けて供給した場合、生成手段105−1は、ステップS2−1で「NO」と判断し、供給されたプッシュ情報をパスして、出力手段106−1へ供給する(ステップS3−1)。
続いて、図5(b)に示すように、検出手段104−1がプッシュ情報Pu3,Pu4を続けて供給したとする。この場合、検出手段104−1は、ステップS3−1でプッシュ情報Pu3を出力手段106−1へ供給した後、指示体30がプライマリー画面SC1内からプライマリー画面SC1外へ移動したと判断する(ステップS2−1;YES)。図5(b)に示すように、撮像領域T1はプライマリー画面SC1よりも広い領域である。このため、検出手段104−1は、プライマリー画面SC1外の位置のプッシュ情報を供給することが可能である。
撮像領域T1は、例えば、指示体30が移動する速度によらないで、プライマリー画面SC1外のプッシュ情報を供給できるように設定されている。プライマリー画面SC1に対する撮像領域T1の相対的な大きさは、計算又は実験等に基づいて調整されればよい。本願の発明者らの知見によると、撮像領域T1は、プライマリー画面SC1を各方向におよそ10%拡大した領域で足りる。
ステップS2−1で「YES」と判断した後、生成手段105−1は、プライマリー画面SC1の画面境界上に、プッシュ情報を生成する(ステップS4−1)。ここでは、生成手段105−1は、図5(c)に示す位置にプッシュ情報Pu34を生成する。具体的には、生成手段105−1は、プッシュ情報Pu3が示す位置(第1の位置)及びプッシュ情報Pu4が示す位置(第2の位置)を結ぶ線分と、画面境界とが交差する位置(第3の位置)に、プッシュ情報Pu34を生成する。
次に、生成手段105−1は、プライマリー画面SC1の画面境界上に、ポップ情報を生成する(ステップS5−1)。ここでは、生成手段105−1は、図5(d)に示す位置にポップ情報Po1を生成する。具体的には、生成手段105−1は、プッシュ情報Pu34が生成された位置と同じ位置に、ポップ情報Po1を生成する。ステップS5−1では、生成手段105−1は、検出手段104−1から供給されたポップ情報を削除して、新たに生成したポップ情報に置き換える。ステップS5−1の処理により、プライマリー画面SC1の画面境界上の位置で、指示体30がプライマリー画面SC1外へ移動したことを、ポップ情報Po1に基づいて特定可能にすることができる。
生成手段105−1は、ステップS4−1で生成したプッシュ情報と、ステップS5−1で生成したポップ情報とを、出力手段106−1へ供給する(ステップS6−1)。画面境界上にプッシュ情報Pu34が生成されたので、図5(e)に示すように、プッシュ情報が示す位置同士を結んで描画される線は、プライマリー画面SC1の画面境界まで達する。
<プロジェクター10−2の補間処理>
図4(b)は、プロジェクター10−2で実行されるセカンダリー画面SC2に係る補間処理を示すフローチャートである。図6は、セカンダリー画面SC2に係る補間処理を説明する図である。図6には、説明の便宜のために、プッシュ情報が示す位置同士を結んで描画される線を示している。また、図6には、撮像手段103−2の撮像領域がT2で示されている。撮像領域T2は、撮像領域T1と同じ知見に基づいて設定される。
検出手段104−2は、指示体30の位置を検出すると、検出した位置のプッシュ情報を、生成手段105−2へ供給する(ステップS1−2)。生成手段105−2は、供給されたプッシュ情報に基づいて、指示体30がセカンダリー画面SC2外からプライマリー画面SC1内へ移動したかどうかを判断する(ステップS2−2)。指示体30のセカンダリー画面SC2内への移動は、ここでは、指示体30のプライマリー画面SC1内からセカンダリー画面SC2内への移動のことである。
図6(a)に示すように、検出手段104−2がプッシュ情報Pu5,Pu6を続けて供給したとする。プッシュ情報Pu5は、例えばプッシュ情報Pu4と同じ位置を表すが、異なる位置を表してもよい。ここでは、生成手段105−2は、ステップS2−2で「YES」と判断する。
なお、図6(a)に示すように、撮像領域T2はセカンダリー画面SC2よりも広い領域であるから、検出手段104−2はセカンダリー画面SC2外のプッシュ情報を供給することが可能である。
ステップS2−2で「YES」と判断した場合、生成手段105−2は、セカンダリー画面SC2の画面境界上に、プッシュ情報を生成する(ステップS3−2)。ここでは、生成手段105−2は、図6(b)に示す位置にプッシュ情報Pu56を生成する。具体的には、生成手段105−2は、プッシュ情報Pu5が示す位置(第1の位置)及びプッシュ情報Pu6が示す位置(第2の位置)を結ぶ線分と、画面境界とが交差する位置(第3の位置)に、プッシュ情報Pu56を生成する。
次に、生成手段105−2は、ステップS1−2で供給されたプッシュ情報と、ステップS3−2で生成したプッシュ情報とを、出力手段106−2へ供給する(ステップS4−2)。図6(c)に示すように、画面境界上にプッシュ情報Pu56が生成されたので、
セカンダリー画面SC2の画面境界上のプッシュ情報Pu56が示す位置から、セカンダリー画面SC2内のプッシュ情報Pu6が示す位置まで延びる線が描画される。
ステップS2−2において、指示体30がセカンダリー画面SC2外からセカンダリー画面SC2内へ移動していない、即ち、指示体30がセカンダリー画面SC2内で移動したと判断した場合(ステップS2−2;NO)、生成手段105−2は、ステップS1−2で供給されたプッシュ情報をパスして、出力手段106−1へ供給する(ステップS5−2)。図6(d)に示すように、検出手段104−2がプッシュ情報Pu6に続けてプッシュ情報Pu7を供給した場合、生成手段105−2は、プッシュ情報Pu7を出力手段106−1へ供給する。
以上が、プロジェクター10−1及びプロジェクター10−2で実行される補間処理の説明である。
図3に戻り、出力手段106−1は、生成手段105−1により生成された座標情報を、PC20へ出力する。出力手段106−2は、生成手段105−2により生成された座標情報を、PC20へ出力する。出力手段106−1,106−2は、例えばCPU11及びインターフェース18により実現される。
なお、本実施形態では、生成手段105−1は、検出手段104−1から供給されたプッシュ情報を出力手段106−1へパスする機能を実行するが、生成手段105−1を介さないで、検出手段104−1から出力手段106−1へ座標情報が供給されてもよい。同様に、生成手段105−2を介さないで、検出手段104−2から出力手段106−2へ座標情報が供給されてもよい。
PC20において、検出手段203は、指示体30により指示された位置を繰り返し検出し、検出した位置の座標情報を供給する手段である。具体的には、検出手段203は、出力手段106−1,106−2により出力された座標情報が入力されることにより、当該座標情報が示す位置を検出する。そして、検出手段203は、検出した位置の座標情報を、変換手段204へ供給する。検出手段203は、CPU21及びインターフェース28,29により実現される。
変換手段204は、検出手段203から供給された座標情報に基づいて、操作情報に変換する手段である。変換手段204は、例えばUSB(Universal Serial Bus)規格で定められたHID(Human Interface Device)デバイスクラスを割り当てた操作情報に変換する。この操作情報は、HIDが解釈可能な形式で記述されたコマンドである。変換手段204は、変換した操作情報を、実行手段205へ供給する。変換手段204は、例えば、専用のデバイスドライバーを実行することにより実現される。
実行手段205は、変換手段204から供給された操作情報に基づいて、所定の処理を実行する手段である。実行手段205は、画像信号供給手段201,202が供給する画像信号が示す画像上の操作情報で特定される位置に、ユーザーUが手書きした文字や図形を描画する描画処理を行う。実行手段205は、描画処理後の画像信号を、画像信号供給手段201,202、及び、表示手段206の各々へ供給する。実行手段205は、例えば、専用のデバイスドライバーを実行することにより実現される。
表示手段206は、実行手段205から供給された画像信号に基づいて、画像を表示する手段である。表示手段206が表示した画像は、PC20を操作するユーザー(ユーザーU又はその他のユーザー)によって観察される。表示手段206は、CPU11及び表示部26の協働により実現される。
図7は、図5,6で説明した補間処理に応じて表示される画面領域SCを示す図である。図7に示すように、プライマリー画面SC1に対し、プッシュ情報Pu34が生成され、更に、セカンダリー画面SC2に対し、プッシュ情報Pu56が生成されたので、プライマリー画面SC1とセカンダリー画面SC2との画面境界を跨る線が、途切れることなく表示される。
以上の投写システム1の説明では、プライマリー画面SC1からセカンダリー画面SC2に跨る線を描画する場合を説明したが、セカンダリー画面SC2からプライマリー画面SC1に跨る線を描画する場合も、補間処理が行われることにより、画面境界を跨る線が途切れることなく表示される。また、プライマリー画面SC1又はセカンダリー画面SC2から画面領域SC外へ指示体30が移動する場合も、補間処理が行われることにより、画面領域SCの画面境界付近で、線が描画されないという不具合の発生が解消される。
更に、投写システム1によれば、描画処理以外の処理の不具合も解消される場合がある。例えば、ユーザーUが、アイコン等の操作可能なオブジェクトを、プライマリー画面SC1及びセカンダリー画面SC2を跨って移動させるドラッグ操作を行った場合を考える。このドラッグ操作は、指示体30をスクリーン40上のオブジェクトに接触させたまま移動させる操作である。
この場合、PC20は、プライマリー画面SC1の画面境界までオブジェクトが移動した後、ポップ情報に基づいて当該オブジェクトが一旦ドロップされたと認識するが、セカンダリー画面SC2の画面境界上に生成されたプッシュ情報に基づいて、当該オブジェクトが再び選択されたと認識して、再びドラッグ操作を受け付ける。このため、ユーザーUにとっては、画面境界を跨ってオブジェクトを移動させるドラッグ操作を違和感なく行うことが可能である。即ち、プロジェクター10−1によりポップ情報が画面境界上に生成されたことにより、ポップ情報に基づく処理の不具合も解消される。
[第2実施形態]
次に、本発明の第2実施形態を説明する。
本実施形態の投写システム1では、プロジェクター10−1,10−2ではなく、PC20が補間処理を行う点で、上述した第1実施形態と相違する。このため、本実施形態のプロジェクター10−1,10−2は、従来構成のプロジェクターと同じアルゴリズムで、指示体30の位置を検出してもよい。以下、上述した第1実施形態と同じ構成又は機能については、上述した第1実施形態と同じ符号を付して表す。また、本実施形態の投写システム1の全体構成及びハードウェア構成は、上述した第1実施形態と同じでよいから、これらの説明を省略する。
図8は、本実施形態の投写システムの機能構成を示すブロック図である。本実施形態のプロジェクター10−1,10−2が備える機能は、生成手段105−1,105−2を備えない点を除いて、上述した第1実施形態と同じである。即ち、出力手段106−1は、検出手段104−1により供給された座標情報を、PC20へ出力する。出力手段106−2は、検出手段104−2により供給された座標情報を、PC20へ出力する。
PC20は、上述した第1実施形態で説明した機能に加え、生成手段207を備える。
PC20において、検出手段203は、出力手段106−1および出力手段106−2から入力されたそれぞれの座標情報に基づいて、指示体30により指示された位置を繰り返し検出し、検出した位置の座標情報を生成手段207へ供給する手段である。
生成手段207は、検出手段203により供給された座標情報に基づいて補間処理を行う。生成手段207は、例えばCPU21及び画像処理部25により実現される。
図9は、PC20で実行される補間処理を示すフローチャートである。図10は、補間処理を説明する図である。以下、図11(a)に示すように、指示体30を用いて、プライマリー画面SC1とセカンダリー画面SC2を跨る水平方向の直線がユーザーUに描かれる場合の処理を例に挙げて説明する。図10には、説明の便宜のために、プッシュ情報が示す位置同士を結んで描画される線を示している。また、本実施形態では、撮像手段103−1の撮像領域は、プライマリー画面SC1に等しい領域でよい。また、撮像手段103−2の撮像領域は、セカンダリー画面SC2に等しい領域でよい。
検出手段203は、指示体30の位置を検出すると、検出した位置のプッシュ情報を、生成手段207へ供給する(ステップS11)。生成手段207は、供給されたプッシュ情報に基づいて、指示体30がプライマリー画面SC1からセカンダリー画面SC2へ移動したかどうかを判断する(ステップS12)。
図10(a)に示すように、検出手段203が、プッシュ情報Pua,ポップ情報Po,プッシュ情報Pub,Pucを順番に検出した場合を考える。プッシュ情報Puaは、プライマリー画面SC1内で検出された位置を表す。ポップ情報Poは、指示体30がプライマリー画面SC1外へ移動したことにより供給されたポップ情報である。プッシュ情報Pub,Pucは、セカンダリー画面SC2内で検出された位置を表す。生成手段207は、例えば、プライマリー画面SC1のプッシュ情報が供給されたのに続けて、セカンダリー画面SC2のプッシュ情報が供給された場合に、ステップS12の処理で「YES」と判断する。
ステップS12の処理で「YES」と判断すると、生成手段207は、プライマリー画面SC1からセカンダリー画面SC2への移動を特定した、2つのプッシュ情報が示す位置同士の間隔が、撮像手段103−1,103−2の分解能(例えば撮像周期)に応じた間隔かどうかを判断する(ステップS13)。指示体30でひと続きの線が描かれた場合、プッシュ情報Puaが示す位置と、プッシュ情報Pubが示す位置との間隔は、撮像手段103−1,103−2の分解能に応じた所定距離の範囲内に収まるはずである。
生成手段207は、プッシュ情報Puaが示す位置と、プッシュ情報Pubが示す位置との間隔が、撮像手段103−1,103−2の分解能に応じた間隔と判断した場合(ステップS13;YES)、プライマリー画面SC1に対し、画面境界上にプッシュ情報を生成する(ステップS14)。ここでは、生成手段207は、図10(b)に示すプッシュ情報Pus1を生成する。具体的には、生成手段207は、プッシュ情報Puaが示す位置(第1の位置)及びプッシュ情報Pubが示す位置(第2の位置)を結ぶ線分と、画面境界とが交差する位置(第3の位置)に、プッシュ情報Pus1を生成する。このプッシュ情報の生成の意図は、上述した第1実施形態のステップS4−1と同じである。
次に、生成手段207は、プライマリー画面SC1に対し、画面境界上にポップ情報を生成する(ステップS15)。ここでは、生成手段207は、図10(c)に示す画面境界上の位置に、ポップ情報Po2を生成する。生成手段207は、プッシュ情報Pus1が示す位置と同じ位置にポップ情報Po2を生成する。ステップS15では、生成手段207は、検出手段203から供給されたポップ情報を削除して、新たに生成したポップ情報に置き換える。このポップ情報の生成の意図は、上述した第1実施形態のステップS5−1と同じである。
次に、生成手段207は、セカンダリー画面SC2に対し、画面境界上にプッシュ情報を生成する(ステップS16)。ここでは、生成手段207は、図10(d)に示す画面境界上の位置に、プッシュ情報Pus2を生成する。具体的には、生成手段207は、プッシュ情報Puaが示す位置(第1の位置)及びプッシュ情報Pubが示す位置(第2の位置)を結ぶ線分と、画面境界とが交差する位置(第3の位置)に、プッシュ情報Pus2を生成する。このプッシュ情報の生成の意図は、上述した第1実施形態のステップS3−2と同じである。
生成手段207は、検出手段203から供給されたプッシュ情報と、生成手段207が生成したプッシュ情報及びポップ情報とを、変換手段204へ供給する(ステップS17)。変換手段204及び実行手段205が実行する機能は、上述した実施形態と同じでよいので、説明を省略する。
なお、本実施形態では、生成手段207が、検出手段203から供給されたプッシュ情報をパスする機能を実行するが、生成手段207を介さないで、検出手段203から変換手段204へ座標情報が供給されてもよい。
以上説明した第2実施形態の投写システム1によれば、プロジェクター10−1,10−2が補間処理を行う機能を有しなくても、上述した第1実施形態と同等に処理の不具合を解消することができる。よって、プロジェクター10−1,10−2を従来構成のプロジェクターとしたまま、生成手段207を実現するためのアプリケーションプログラムをPC20にインストールすることによって、上述した第1実施形態と同等に処理の不具合を解消することも可能である。
更に、本実施形態の投写システム1によれば、プロジェクター10−1,10−2の撮像領域を、投写画像の表示面よりも大きくしなくてもよい。
[変形例]
本発明は、上述した実施形態と異なる形態で実施することが可能である。また、以下に示す変形例は、各々を適宜に組み合わせてもよい。
上述した各実施形態の投写システム1では、2台のプロジェクターを用いて2つの表示面を表示して一の画面領域SCを表示していたが、3台以上のプロジェクターを用いて3つ以上の表示面を表示して、一の画面領域を表示させてもよい。この場合の補間処理は、隣り合う2つの表示面の一方を、上述した第1実施形態のプライマリー画面と見立て、他方を、上述した第1実施形態のセカンダリー画面と見立てた処理が行われればよい。
また、本発明において、複数の表示面が水平方向に配列するのではなく、鉛直方向やその他の方向に配列してもよい。
更に、1台のプロジェクターを用いて1つの表示面を表示する場合も、上述した各実施形態で説明した作用により処理の不具合が解消される。図5(e)や図6(d)を見て分かるように、補間処理が行われることにより、画面境界により近い位置まで描画処理によって線が表示されるので、補間処理が行われない場合に比べて、描画される線が途切れなくなる。
上述した各実施形態の投写システム1では、補間処理において、画面境界上にプッシュ情報が生成されていたが、一のプッシュ情報が示す第1の位置と、その後に供給された一プッシュ情報が示す第2の位置とに挟まれる位置にプッシュ情報が生成されればよい。この場合において、画面境界上に線が到達しないにしても、補間処理が行われない場合に比べて、線の途切れは目立ちにくくなる。
上述した各実施形態の投写システム1では、撮像時期が連続する2つの撮像データに基づいて、指示体30の表示面の内外に跨る移動が検出されていた。この例に限られず、投写システム1において、撮像時期が連続しない複数の撮像データに基づいて、指示体30の表示面の内外に跨る移動が検出されてもよい。
上述した第2実施形態の投写システム1において、上述した第1実施形態と同様に、プロジェクター10−1,10−2の撮像領域を、投写する画像の表示面よりも広くしてもよい。この場合、プロジェクター10−1,10−2と同じ補間処理が、PC20のCPU21により実行されることとなる。
上述した各実施形態の投写システム1の構成又は動作の一部が省略されてもよい。例えば、補間処理におけるポップ情報の生成は、ポップ情報に基づく処理の不具合が発生しない場合等には省略されてもよい。また、上述した各実施形態の投写システム1では、補間処理において、プライマリー画面SC1及びセカンダリー画面SC2の各々に対しプッシュ情報が生成されていた。描画処理等の処理に不具合が生じない場合には、投写システム1において、プライマリー画面SC1又はセカンダリー画面SC2の一方に対して、プッシュ情報が生成されてもよい。
プロジェクター10−1,10−2が、指示体30が指示する位置を検出するための方法は、撮像手段を用いる方法でなくてもよい。例えば、タッチパネルやライトカーテンなどの技術を採用するなどして、指示体30が検出した位置に応じた情報を出力する機能を有していれば、プロジェクター10−1,10−2が撮像手段を備えなくてもよい。
また、プロジェクター10−1,10−2は、外部の撮像手段から撮像データを取得して、指示体30の位置を検出してもよい。
PC20は、スマートフォンやタブレット型コンピューター等の、PC以外の情報処理機能を有する情報処理装置に置き換えられてもよい。
プロジェクター10−1,10−2は、三原色の各色成分に対応する複数の液晶パネル(ライトバルブ)を有するものに限定されない。プロジェクター10−1,10−2は、単一の液晶パネルを有していてもよい。この場合、光学フィルター等を用いて画素毎に対応する色が設定される。また、液晶パネルは、透過型に限られず、反射型であってもよい。また、プロジェクター10−1,10−2は、液晶型のプロジェクターに限られず、例えば、DMD(Digital Mirror Device)やLCOS(Liquid Crystal On Silicon)等を用いたものであってもよい。
上述した実施形態において、プロジェクター10−1,10−2やPC20が実現する各機能は、複数のプログラムの組み合わせによって実現され、又は、複数のハードウェア資源の連係によって実現されうる。プロジェクター10−1,10−2の機能(例えば、検出手段104−1及び生成手段105−1、検出手段104−2及び生成手段105−2)や、PC20の機能(例えば、検出手段203及び生成手段207)がプログラムを用いて実現される場合、このプログラムは、磁気記録媒体(磁気テープ、磁気ディスク(HDD(Hard Disk Drive)、FD(Flexible Disk))等)、光記録媒体(光ディスク等)、光磁気記録媒体、半導体メモリー等のコンピューター読み取り可能な記録媒体に記憶した状態で提供されてもよいし、ネットワークを介して配信されてもよい。また、本発明は、情報処理方法として把握することも可能である。
1…投写システム、10−1,10−2…プロジェクター、101−1,101−2…画像信号入力手段、102−1,102−2…投写手段、103−1,103−2…撮像手段、104−1,104−2…検出手段、105−1,105−2…生成手段、106−1,106−2…出力手段、11,21…CPU、12,22…ROM、13,23…RAM、14,24…操作部、15,25…画像処理部、16…投写部、17…カメラ部、18,28,29…インターフェース、201,202…画像信号供給手段、203…検出手段、204…変換手段、205…実行手段、206…表示手段、207…生成手段、26…表示部、27…記憶部

Claims (24)

  1. 画像が投写される投写面に対して指示体により指示された位置を繰り返し検出し、検出した位置の位置情報を供給する検出手段と、
    前記検出手段が前記画像の表示面内の第1の位置を検出した後、前記表示面外の第2の位置を検出した場合、前記第1の位置と前記第2の位置とに挟まれる第3の位置の位置情報を生成する生成手段と
    を備え、
    前記検出手段は、
    前記表示面を含む撮像領域を所定の周期で撮像した画像データに基づいて、前記指示された位置を検出し、
    前記生成手段は、
    前記撮像の時期が1周期だけ異なる2つの前記画像データに基づいて、前記第1の位置及び前記第2の位置を特定し、前記第3の位置の位置情報を生成する
    情報処理装置。
  2. 画像が投写される投写面に対して指示体により指示された位置を繰り返し検出し、検出した位置の位置情報を供給する検出手段と、
    前記検出手段が前記画像の表示面外の第1の位置を検出した後、前記表示面内の第2の位置を検出した場合、前記第1の位置と前記第2の位置とに挟まれる第3の位置の位置情報を生成する生成手段と
    を備え、
    前記検出手段は、
    前記表示面を含む撮像領域を所定の周期で撮像した画像データに基づいて、前記指示された位置を検出し、
    前記生成手段は、
    前記撮像の時期が1周期だけ異なる2つの前記画像データに基づいて、前記第1の位置及び前記第2の位置を特定し、前記第3の位置の位置情報を生成する
    情報処理装置。
  3. 前記検出手段は、
    前記表示面よりも広い前記撮像領域を撮像した前記画像データに基づいて、前記指示された位置を検出する
    ことを特徴とする請求項1又は2に記載の情報処理装置。
  4. 前記生成手段は、
    前記第3の位置と関連付けて、前記指示体が前記表示面外へ移動したことを示す情報を生成する
    ことを特徴とする請求項1から請求項3のいずれか1項に記載の情報処理装置。
  5. 画像が投写される投写面に対して指示体により指示された位置を繰り返し検出し、検出した位置の位置情報を供給する検出手段と、
    前記検出手段が前記画像の表示面内の第1の位置を検出した後、前記表示面外の第2の位置を検出した場合、前記第1の位置と前記第2の位置とに挟まれる第3の位置の位置情報を生成する生成手段と
    を備え、
    前記生成手段は、
    前記第3の位置と関連付けて、前記指示体が前記表示面外へ移動したことを示す情報を生成する
    情報処理装置。
  6. 画像が投写される投写面に対して指示体により指示された位置を繰り返し検出し、検出した位置の位置情報を供給する検出手段と、
    前記検出手段が前記画像の表示面外の第1の位置を検出した後、前記表示面内の第2の位置を検出した場合、前記第1の位置と前記第2の位置とに挟まれる第3の位置の位置情報を生成する生成手段と
    を備え、
    前記生成手段は、
    前記第3の位置と関連付けて、前記指示体が前記表示面外へ移動したことを示す情報を生成する
    情報処理装置。
  7. 画像が投写される投写面に対して指示体により指示された位置を繰り返し検出し、検出した位置の位置情報を供給する検出手段と、
    前記検出手段が前記画像の表示面内の第1の位置を検出した後、前記表示面外の第2の位置を検出した場合、前記第1の位置と前記第2の位置とに挟まれる第3の位置の位置情報を生成する生成手段と
    を備え、
    前記表示面として第1の表示面と第2の表示面とが配列し、
    前記生成手段は、
    前記第1の位置が前記第1の表示面内で、前記第2の位置が前記第2の表示面内で検出された場合に、前記第3の位置の位置情報を生成し、
    前記指示体が前記表示面外へ移動したことを示す情報が前記検出手段により供給された場合に、当該情報が前記第1の表示面から前記第2の表示面への移動に対応するときは、当該情報を削除する
    情報処理装置。
  8. 前記生成手段は、
    前記第1の表示面に対し、前記第3の位置と関連付けて前記指示体が前記表示面外へ移動したことを示す情報を生成する
    ことを特徴とする請求項7に記載の情報処理装置。
  9. 前記生成手段は、
    前記第2の表示面に対し、前記第3の位置の位置情報を生成する
    ことを特徴とする請求項8に記載の情報処理装置。
  10. 投写面に画像を投写する投写手段と、
    前記投写面に対して指示体により指示された位置を繰り返し検出し、検出した位置の位置情報を供給する検出手段と、
    前記検出手段が前記画像の表示面内の第1の位置を検出した後、前記表示面外の第2の位置を検出した場合、前記第1の位置と前記第2の位置とに挟まれる第3の位置の位置情報を生成する生成手段と、
    前記検出手段により供給された位置情報、及び、前記生成手段により生成された位置情報を出力する出力手段と
    を備え、
    前記検出手段は、
    前記表示面を含む撮像領域を所定の周期で撮像した画像データに基づいて、前記指示された位置を検出し、
    前記生成手段は、
    前記撮像の時期が1周期だけ異なる2つの前記画像データに基づいて、前記第1の位置及び前記第2の位置を特定し、前記第3の位置の位置情報を生成する
    プロジェクター。
  11. 投写面に画像を投写する投写手段と、
    前記投写面に対して指示体により指示された位置を繰り返し検出し、検出した位置の位置情報を供給する検出手段と、
    前記検出手段が前記画像の表示面外の第1の位置を検出した後、前記表示面内の第2の位置を検出した場合、前記第1の位置と前記第2の位置とに挟まれる第3の位置の位置情報を生成する生成手段と、
    前記検出手段により供給された位置情報、及び、前記生成手段により生成された位置情報を出力する出力手段と
    を備え、
    前記検出手段は、
    前記表示面を含む撮像領域を所定の周期で撮像した画像データに基づいて、前記指示された位置を検出し、
    前記生成手段は、
    前記撮像の時期が1周期だけ異なる2つの前記画像データに基づいて、前記第1の位置及び前記第2の位置を特定し、前記第3の位置の位置情報を生成する
    プロジェクター。
  12. 投写面に画像を投写する投写手段と、
    前記投写面に対して指示体により指示された位置を繰り返し検出し、検出した位置の位置情報を供給する検出手段と、
    前記検出手段が前記画像の表示面内の第1の位置を検出した後、前記表示面外の第2の位置を検出した場合、前記第1の位置と前記第2の位置とに挟まれる第3の位置の位置情報を生成する生成手段と、
    前記検出手段により供給された位置情報、及び、前記生成手段により生成された位置情報を出力する出力手段と
    を備え、
    前記生成手段は、
    前記第3の位置と関連付けて、前記指示体が前記表示面外へ移動したことを示す情報を生成する
    プロジェクター。
  13. 投写面に画像を投写する投写手段と、
    前記投写面に対して指示体により指示された位置を繰り返し検出し、検出した位置の位置情報を供給する検出手段と、
    前記検出手段が前記画像の表示面外の第1の位置を検出した後、前記表示面内の第2の位置を検出した場合、前記第1の位置と前記第2の位置とに挟まれる第3の位置の位置情報を生成する生成手段と、
    前記検出手段により供給された位置情報、及び、前記生成手段により生成された位置情報を出力する出力手段と
    を備え、
    前記生成手段は、
    前記第3の位置と関連付けて、前記指示体が前記表示面外へ移動したことを示す情報を生成する
    プロジェクター。
  14. 投写面に画像を投写する投写手段と、
    前記投写面に対して指示体により指示された位置を繰り返し検出し、検出した位置の位置情報を供給する検出手段と、
    前記検出手段が前記画像の表示面内の第1の位置を検出した後、前記表示面外の第2の位置を検出した場合、前記第1の位置と前記第2の位置とに挟まれる第3の位置の位置情報を生成する生成手段と、
    前記検出手段により供給された位置情報、及び、前記生成手段により生成された位置情報を出力する出力手段と
    を備え、
    前記表示面として第1の表示面と第2の表示面とが配列し、
    前記生成手段は、
    前記第1の位置が前記第1の表示面内で、前記第2の位置が前記第2の表示面内で検出された場合に、前記第3の位置の位置情報を生成し、
    前記指示体が前記表示面外へ移動したことを示す情報が前記検出手段により供給された場合に、当該情報が前記第1の表示面から前記第2の表示面への移動に対応するときは、当該情報を削除する
    プロジェクター。
  15. 画像が投写される投写面に対して指示体により指示された位置を繰り返し検出し、検出した位置の位置情報を供給する検出ステップと、
    前記画像の表示面内の第1の位置を検出した後、前記表示面外の第2の位置を検出した場合、前記第1の位置と前記第2の位置とに挟まれる第3の位置の位置情報を生成する生成ステップと
    を備え、
    前記検出ステップにおいては、
    前記表示面を含む撮像領域を所定の周期で撮像した画像データに基づいて、前記指示された位置を検出し、
    前記生成ステップにおいては、
    前記撮像の時期が1周期だけ異なる2つの前記画像データに基づいて、前記第1の位置及び前記第2の位置を特定し、前記第3の位置の位置情報を生成する
    情報処理方法。
  16. 画像が投写される投写面に対して指示体により指示された位置を繰り返し検出し、検出した位置の位置情報を供給する検出ステップと、
    前記画像の表示面外の第1の位置を検出した後、前記表示面内の第2の位置を検出した場合、前記第1の位置と前記第2の位置とに挟まれる第3の位置の位置情報を生成する生成ステップと
    を備え、
    前記検出ステップにおいては、
    前記表示面を含む撮像領域を所定の周期で撮像した画像データに基づいて、前記指示された位置を検出し、
    前記生成ステップにおいては、
    前記撮像の時期が1周期だけ異なる2つの前記画像データに基づいて、前記第1の位置及び前記第2の位置を特定し、前記第3の位置の位置情報を生成する
    情報処理方法。
  17. 画像が投写される投写面に対して指示体により指示された位置を繰り返し検出し、検出した位置の位置情報を供給する検出ステップと、
    前記画像の表示面内の第1の位置を検出した後、前記表示面外の第2の位置を検出した場合、前記第1の位置と前記第2の位置とに挟まれる第3の位置の位置情報を生成する生成ステップと
    を備え、
    前記生成ステップにおいては、
    前記第3の位置と関連付けて、前記指示体が前記表示面外へ移動したことを示す情報を生成する
    情報処理方法。
  18. 画像が投写される投写面に対して指示体により指示された位置を繰り返し検出し、検出した位置の位置情報を供給する検出ステップと、
    前記画像の表示面外の第1の位置を検出した後、前記表示面内の第2の位置を検出した場合、前記第1の位置と前記第2の位置とに挟まれる第3の位置の位置情報を生成する生成ステップと
    を備え、
    前記生成ステップにおいては、
    前記第3の位置と関連付けて、前記指示体が前記表示面外へ移動したことを示す情報を生成する
    情報処理方法。
  19. 画像が投写される投写面に対して指示体により指示された位置を繰り返し検出し、検出した位置の位置情報を供給する検出ステップと、
    前記画像の表示面内の第1の位置を検出した後、前記表示面外の第2の位置を検出した場合、前記第1の位置と前記第2の位置とに挟まれる第3の位置の位置情報を生成する生成ステップと
    を備え、
    前記表示面として第1の表示面と第2の表示面とが配列し、
    前記生成ステップにおいては、
    前記第1の位置が前記第1の表示面内で、前記第2の位置が前記第2の表示面内で検出された場合に、前記第3の位置の位置情報を生成し、
    前記指示体が前記表示面外へ移動したことを示す情報が前記検出ステップにより供給された場合に、当該情報が前記第1の表示面から前記第2の表示面への移動に対応するときは、当該情報を削除する
    情報処理方法。
  20. コンピューターに、
    画像が投写される投写面に対して指示体により指示された位置を繰り返し検出し、検出した位置の位置情報を供給する検出ステップと、
    前記画像の表示面内の第1の位置を検出した後、前記表示面外の第2の位置を検出した場合、前記第1の位置と前記第2の位置とに挟まれる第3の位置の位置情報を生成する生成ステップと
    を実行させるためのプログラムであって、
    前記検出ステップは、
    前記表示面を含む撮像領域を所定の周期で撮像した画像データに基づいて、前記指示された位置を検出し、
    前記生成ステップは、
    前記撮像の時期が1周期だけ異なる2つの前記画像データに基づいて、前記第1の位置及び前記第2の位置を特定し、前記第3の位置の位置情報を生成する
    プログラム。
  21. コンピューターに、
    画像が投写される投写面に対して指示体により指示された位置を繰り返し検出し、検出した位置の位置情報を供給する検出ステップと、
    前記画像の表示面外の第1の位置を検出した後、前記表示面内の第2の位置を検出した場合、前記第1の位置と前記第2の位置とに挟まれる第3の位置の位置情報を生成する生成ステップと
    を実行させるためのプログラムであって、
    前記検出ステップは、
    前記表示面を含む撮像領域を所定の周期で撮像した画像データに基づいて、前記指示された位置を検出し、
    前記生成ステップは、
    前記撮像の時期が1周期だけ異なる2つの前記画像データに基づいて、前記第1の位置及び前記第2の位置を特定し、前記第3の位置の位置情報を生成する
    プログラム。
  22. コンピューターに、
    画像が投写される投写面に対して指示体により指示された位置を繰り返し検出し、検出した位置の位置情報を供給する検出ステップと、
    前記画像の表示面内の第1の位置を検出した後、前記表示面外の第2の位置を検出した場合、前記第1の位置と前記第2の位置とに挟まれる第3の位置の位置情報を生成する生成ステップと
    を実行させるためのプログラムであって、
    前記生成ステップは、
    前記第3の位置と関連付けて、前記指示体が前記表示面外へ移動したことを示す情報を生成する
    プログラム。
  23. コンピューターに、
    画像が投写される投写面に対して指示体により指示された位置を繰り返し検出し、検出した位置の位置情報を供給する検出ステップと、
    前記画像の表示面外の第1の位置を検出した後、前記表示面内の第2の位置を検出した場合、前記第1の位置と前記第2の位置とに挟まれる第3の位置の位置情報を生成する生成ステップと
    を実行させるためのプログラムであって、
    前記生成ステップは、
    前記第3の位置と関連付けて、前記指示体が前記表示面外へ移動したことを示す情報を生成する
    プログラム。
  24. コンピューターに、
    画像が投写される投写面に対して指示体により指示された位置を繰り返し検出し、検出した位置の位置情報を供給する検出ステップと、
    前記画像の表示面内の第1の位置を検出した後、前記表示面外の第2の位置を検出した場合、前記第1の位置と前記第2の位置とに挟まれる第3の位置の位置情報を生成する生成ステップと
    を実行させるためのプログラムであって、
    前記表示面として第1の表示面と第2の表示面とが配列し、
    前記生成ステップは、
    前記第1の位置が前記第1の表示面内で、前記第2の位置が前記第2の表示面内で検出された場合に、前記第3の位置の位置情報を生成し、
    前記指示体が前記表示面外へ移動したことを示す情報が前記検出ステップにより供給された場合に、当該情報が前記第1の表示面から前記第2の表示面への移動に対応するときは、当該情報を削除する
    プログラム。
JP2014068876A 2014-03-28 2014-03-28 情報処理装置、プロジェクター、情報処理方法及びプログラム Active JP6364872B2 (ja)

Priority Applications (8)

Application Number Priority Date Filing Date Title
JP2014068876A JP6364872B2 (ja) 2014-03-28 2014-03-28 情報処理装置、プロジェクター、情報処理方法及びプログラム
TW104109577A TWI639049B (zh) 2014-03-28 2015-03-25 資訊處理裝置、投影機及資訊處理方法
PCT/JP2015/001778 WO2015146189A1 (ja) 2014-03-28 2015-03-27 情報処理装置、プロジェクターおよび情報処理方法
KR1020167029718A KR101894315B1 (ko) 2014-03-28 2015-03-27 정보 처리 장치, 프로젝터 및 정보 처리 방법
CN201580013674.8A CN106104436B (zh) 2014-03-28 2015-03-27 信息处理装置、投影仪和信息处理方法
US15/126,640 US20170085848A1 (en) 2014-03-28 2015-03-27 Information processing device, projector and information processing method
EP15769741.8A EP3125081A4 (en) 2014-03-28 2015-03-27 Information processing device, projector, and information processing method
BR112016022572A BR112016022572A2 (pt) 2014-03-28 2015-03-27 Dispositivo de processamento de informação, projetor e método para processamento de informação

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2014068876A JP6364872B2 (ja) 2014-03-28 2014-03-28 情報処理装置、プロジェクター、情報処理方法及びプログラム

Publications (2)

Publication Number Publication Date
JP2015191484A JP2015191484A (ja) 2015-11-02
JP6364872B2 true JP6364872B2 (ja) 2018-08-01

Family

ID=54194733

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2014068876A Active JP6364872B2 (ja) 2014-03-28 2014-03-28 情報処理装置、プロジェクター、情報処理方法及びプログラム

Country Status (8)

Country Link
US (1) US20170085848A1 (ja)
EP (1) EP3125081A4 (ja)
JP (1) JP6364872B2 (ja)
KR (1) KR101894315B1 (ja)
CN (1) CN106104436B (ja)
BR (1) BR112016022572A2 (ja)
TW (1) TWI639049B (ja)
WO (1) WO2015146189A1 (ja)

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016189072A (ja) * 2015-03-30 2016-11-04 富士通株式会社 キャリブレーション方法、プログラム及びキャリブレーション装置
JP6642032B2 (ja) * 2016-01-21 2020-02-05 セイコーエプソン株式会社 プロジェクター及びプロジェクターの制御方法
JP2017182110A (ja) * 2016-03-28 2017-10-05 セイコーエプソン株式会社 表示システム、表示装置、情報処理装置及び情報処理方法
JP2017182109A (ja) 2016-03-28 2017-10-05 セイコーエプソン株式会社 表示システム、情報処理装置、プロジェクター及び情報処理方法
JP6623908B2 (ja) * 2016-04-08 2019-12-25 富士通株式会社 情報処理装置、情報処理方法及び情報処理プログラム
CN112422933A (zh) 2019-08-21 2021-02-26 台达电子工业股份有限公司 投影装置、投影***以及运行方法
TWI718632B (zh) * 2019-08-21 2021-02-11 台達電子工業股份有限公司 投影裝置、投影系統以及運作方法
CN113934089A (zh) 2020-06-29 2022-01-14 中强光电股份有限公司 投影定位***与其投影定位方法
CN114356264B (zh) * 2021-12-30 2023-12-05 威创集团股份有限公司 一种信号生成方法、装置、设备及可读存储介质

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7006055B2 (en) * 2001-11-29 2006-02-28 Hewlett-Packard Development Company, L.P. Wireless multi-user multi-projector presentation system
JP2005181404A (ja) * 2003-12-16 2005-07-07 Nec Viewtechnology Ltd 複数画像表示可能な画像投射制御装置
JP2005346583A (ja) * 2004-06-04 2005-12-15 Canon Inc 画像表示装置、マルチディスプレイ・システム、座標情報出力方法及びその制御プログラム
US7557774B2 (en) * 2004-08-13 2009-07-07 Microsoft Corporation Displaying visually correct pointer movements on a multi-monitor display system
JP4026649B2 (ja) * 2005-02-16 2007-12-26 セイコーエプソン株式会社 プロジェクタ、プロジェクタの制御方法、プロジェクタの制御プログラム、およびこのプログラムを記憶した記憶媒体
JP2008116874A (ja) * 2006-11-08 2008-05-22 Seiko Epson Corp マルチディスプレイシステム、及びこのシステム上で実行されるプログラム
GB0910186D0 (en) * 2009-06-15 2009-07-29 Adder Tech Ltd Computer input switching device
JP2011070086A (ja) * 2009-09-28 2011-04-07 Seiko Epson Corp プロジェクター、プロジェクションシステム、プロジェクションシステムの制御方法
JP5740826B2 (ja) * 2010-03-29 2015-07-01 セイコーエプソン株式会社 画像表示装置、画像情報処理装置及び画像情報処理方法
JP2012253543A (ja) * 2011-06-02 2012-12-20 Seiko Epson Corp 表示装置、表示装置の制御方法、及び、プログラム
JP5927845B2 (ja) * 2011-11-01 2016-06-01 セイコーエプソン株式会社 表示装置、表示装置の制御方法、及び、プログラム
JP5590022B2 (ja) 2011-12-28 2014-09-17 富士通株式会社 情報処理装置、制御方法および制御プログラム
JP2013171553A (ja) * 2012-02-23 2013-09-02 Sharp Corp ディスプレイ装置
US20130229396A1 (en) * 2012-03-05 2013-09-05 Kenneth J. Huebner Surface aware, object aware, and image aware handheld projector
WO2013132486A1 (en) * 2012-03-06 2013-09-12 N-Trig Ltd. Digitizer system
WO2014039685A1 (en) * 2012-09-06 2014-03-13 Interphase Corporation Absolute and relative positioning sensor fusion in an interactive display system
JP2014052930A (ja) * 2012-09-10 2014-03-20 Seiko Epson Corp 表示装置、および、表示装置の制御方法

Also Published As

Publication number Publication date
TWI639049B (zh) 2018-10-21
BR112016022572A2 (pt) 2017-08-15
CN106104436B (zh) 2019-07-02
KR101894315B1 (ko) 2018-10-04
EP3125081A1 (en) 2017-02-01
KR20160136436A (ko) 2016-11-29
EP3125081A4 (en) 2018-05-02
US20170085848A1 (en) 2017-03-23
CN106104436A (zh) 2016-11-09
TW201546535A (zh) 2015-12-16
WO2015146189A1 (ja) 2015-10-01
JP2015191484A (ja) 2015-11-02

Similar Documents

Publication Publication Date Title
JP6364872B2 (ja) 情報処理装置、プロジェクター、情報処理方法及びプログラム
US8745509B2 (en) Image display system, graphical user interface, and image display method
JP5585505B2 (ja) 画像供給装置、画像表示システム、画像供給装置の制御方法、画像表示装置、及び、プログラム
JP7122595B2 (ja) 画像表示装置及び画像表示方法
JP2014052930A (ja) 表示装置、および、表示装置の制御方法
US20110169776A1 (en) Image processor, image display system, and image processing method
US10416813B2 (en) Display system, display device, information processing device, and information processing method
JP2012194424A (ja) プロジェクター、及び、プロジェクターの制御方法
TWI691890B (zh) 顯示裝置、投影機及顯示控制方法
JP2017182109A (ja) 表示システム、情報処理装置、プロジェクター及び情報処理方法
JP2015197587A (ja) 双方向表示方法および双方向表示装置
JP6269227B2 (ja) 表示装置、プロジェクター、および表示制御方法
US20170090707A1 (en) Interactive display method and interactive display device
US11276372B2 (en) Method of operation of display device and display device
JP6520194B2 (ja) 表示装置及び表示方法
US11979691B2 (en) Projection apparatus
US11567396B2 (en) Projection apparatus
JP6511725B2 (ja) 双方向表示方法および双方向表示装置
JP2024033487A (ja) 表示方法、表示装置及びプログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20170315

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20171205

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20180205

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20180403

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20180514

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20180605

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20180618

R150 Certificate of patent or registration of utility model

Ref document number: 6364872

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150