JP7149915B2

JP7149915B2 - Projection device, projection method and program

Info

Publication number: JP7149915B2
Application number: JP2019177672A
Authority: JP
Inventors: 雄大阿部; 修也楠本; 優馬小宮; 智大島田
Original assignee: Fujifilm Corp
Current assignee: Fujifilm Corp
Priority date: 2019-09-27
Filing date: 2019-09-27
Publication date: 2022-10-07
Anticipated expiration: 2039-09-27
Also published as: JP2021056652A

Description

本発明は、投影装置、投影方法及びプログラムに関する。 The present invention relates to a projection device, projection method and program.

近年、インタラクティブ操作を行うことができる投影装置が提案されている。ここでインタラクティブ操作とは、ユーザが投影されている画像に対して投影面上で書き込みを行えたり、ユーザの指示により投影されている画像を移動又は拡縮させることである。 In recent years, projection devices have been proposed that allow interactive operations. Here, the interactive operation means that the user can write on the projected image on the projection surface, or move, enlarge or reduce the projected image according to the user's instruction.

例えば特許文献１に記載されている技術では、インタラクティブ操作に関連する技術が記載されている。具体的には、特許文献１に記載された技術では、指示手段を移動させた移動軌跡に対応する第１の軌跡画像を画像の表示面上における設定されたオフセット量だけオフセットした位置に表示させるとともに、移動軌跡に対応する第２の軌跡画像をオフセットしない位置にも表示させる。 For example, the technique described in Patent Literature 1 describes a technique related to interactive operation. Specifically, in the technique described in Patent Literature 1, a first trajectory image corresponding to the movement trajectory along which the pointing means is moved is displayed at a position offset by a set offset amount on the display surface of the image. At the same time, the second trajectory image corresponding to the movement trajectory is also displayed at a non-offset position.

特開２００６－１２０３９号公報Japanese Unexamined Patent Application Publication No. 2006-12039

本発明の技術に係る一つの実施形態は、複数の人物に対して主画像を投影する場合において、操作を行う操作者に対して副画像を適切に表示することができる投影装置、投影方法、及びプログラムを提供することである。 One embodiment of the technology of the present invention provides a projection device, a projection method, and a projection method that can appropriately display a sub-image for an operator who performs an operation when projecting a main image for a plurality of persons. and provide programs.

本発明の一の態様である投影装置は、主画像又は主画像と主画像の少なくとも一部が複製された副画像とを含む投影画像を投影面に投影する投影部と、投影部への入力操作を検出する入力操作検出部と、投影面の周囲に位置する複数の人物のうちの副画像に入力操作を行う操作者を検知する検知部と、検知部により検知された操作者に対応して配置された副画像と主画像とを含む投影画像を生成する投影画像生成部と、を備え、投影画像生成部は、入力操作検出部の検出結果に基づいて、操作者の副画像への入力操作を主画像に反映させた投影画像を生成する。 A projection device according to one aspect of the present invention includes a projection unit that projects onto a projection plane a projection image that includes a main image or a main image and a sub-image obtained by replicating at least part of the main image; An input operation detection unit that detects an operation, a detection unit that detects an operator performing an input operation on a sub-image among a plurality of people positioned around the projection plane, and an operator detected by the detection unit. a projection image generation unit that generates a projection image including the sub-image and the main image arranged in the same manner, the projection image generation unit, based on the detection result of the input operation detection unit, detects the operator's input to the sub-image. A projection image is generated in which the input operation is reflected in the main image.

好ましくは、投影装置は、検知部の検知結果に基づいて、操作者と、操作者ではない他の人物とを判定する判定部を備え、投影画像生成部は、判定部の結果に基づいて、操作者の副画像への操作を主画像に反映させる。 Preferably, the projection device includes a determination unit that determines the operator and other persons other than the operator based on the detection result of the detection unit, and the projected image generation unit determines, based on the result of the determination unit, The operator's operation on the sub-image is reflected in the main image.

好ましくは、投影装置は、投影面の周囲に位置する複数の人物の撮像画像を取得する撮像部を備え、検知部は、撮像画像に基づいて、投影面の周囲に位置する複数の人物を検知する。 Preferably, the projection device includes an imaging unit that acquires captured images of a plurality of people positioned around the projection plane, and the detection unit detects the plurality of people positioned around the projection plane based on the captured images. do.

好ましくは、投影画像生成部は、検知部で検知された複数の人物の検知結果に基づいて、副画像を配置する。 Preferably, the projection image generator arranges the sub-images based on the detection results of the plurality of persons detected by the detector.

好ましくは、検知部は、撮像画像に基づいて、人物の指示動作を検知して操作者を検知する。 Preferably, the detection unit detects an operator by detecting an instruction action of a person based on the captured image.

好ましくは、投影装置は、複数の人物のうち少なくとも１人が有し、操作指示の入力を行う指示体からの指示を受け付ける指示受付部を備え、入力操作検出部は、指示に基づいて前記入力操作を検出し、検知部は、指示に基づいて操作者を検知する。 Preferably, the projection device includes an instruction reception unit that is owned by at least one of the plurality of persons and that receives an instruction from an indicator that inputs an operation instruction, and the input operation detection unit receives the input operation instruction based on the instruction. An operation is detected, and the detection unit detects the operator based on the instruction.

好ましくは、検知部は、人物が有する特徴部を検知することにより、操作者を検知する。 Preferably, the detection unit detects the operator by detecting a characteristic part of the person.

好ましくは、検知部は、予め決められた位置の人物を操作者として検知する。 Preferably, the detector detects a person at a predetermined position as the operator.

好ましくは、入力操作検出部は、投影面の周囲に位置する複数の人物の操作画面の要求指示を検出し、投影画像生成部は、入力操作検出部により検出された要求指示に応じて、操作画面と主画像とを含む投影画像を生成する。 Preferably, the input operation detection unit detects a request instruction on the operation screen of a plurality of persons positioned around the projection plane, and the projection image generation unit performs the operation according to the request instruction detected by the input operation detection unit. A projection image is generated that includes a screen and a main image.

本発明の他の態様である投影方法は、主画像又は主画像と主画像の少なくとも一部が複製された副画像とを含む投影画像を投影面に投影する投影部を有する投影装置の投影方法であって、投影部への入力操作を検出する入力操作検出ステップと、投影面の周囲に位置する複数の人物のうちの副画像に入力操作を行う操作者を検知する検知ステップと、検知ステップにより検知された操作者に対応して配置された副画像と主画像とを含む投影画像を生成する投影画像生成ステップと、を含み、投影画像生成ステップは、入力操作検出ステップの検出結果に基づいて、操作者の副画像への入力操作を主画像に反映させた投影画像を生成する。 A projection method according to another aspect of the present invention is a projection method for a projection apparatus having a projection unit that projects onto a projection surface a projection image including a main image or a main image and a sub-image obtained by replicating at least part of the main image. an input operation detection step of detecting an input operation to the projection unit; a detection step of detecting an operator performing an input operation on a sub-image among a plurality of persons positioned around the projection plane; and a detection step. a projected image generating step of generating a projected image including a sub-image and a main image arranged corresponding to the operator detected by Then, a projection image is generated in which the operator's input operation to the sub-image is reflected in the main image.

本発明の他の態様であるプログラムは、主画像又は主画像と主画像の少なくとも一部が複製された副画像とを含む投影画像を投影面に投影する投影部を有する投影装置の投影方法をコンピュータに実行させるプログラムであって、投影部への入力操作を検出する入力操作検出ステップと、投影面の周囲に位置する複数の人物のうちの副画像に入力操作を行う操作者を検知する検知ステップと、検知ステップにより検知された操作者に対応して配置された副画像と主画像とを含む投影画像を生成する投影画像生成ステップと、を含み、投影画像生成ステップは、入力操作検出ステップの検出結果に基づいて、操作者の副画像への入力操作を主画像に反映させた投影画像を生成する投影方法をコンピュータに実行させる。 A program according to another aspect of the present invention provides a projection method for a projection device having a projection unit that projects onto a projection plane a projection image that includes a main image or a main image and a sub-image obtained by replicating at least part of the main image. A program to be executed by a computer, comprising: an input operation detection step for detecting an input operation to a projection unit; and a projection image generation step of generating a projection image including a main image and a sub-image arranged corresponding to the operator detected by the detection step, wherein the projection image generation step is an input operation detection step. Based on the detection result, the computer executes a projection method for generating a projected image in which the operator's input operation to the sub-image is reflected in the main image.

図１は、投影装置が使用される一形態に関して説明する図である。FIG. 1 is a diagram illustrating one form in which the projection device is used. 図２は、投影装置の機能構成の例を示すブロック図である。FIG. 2 is a block diagram showing an example of the functional configuration of the projection device. 図３は、投影装置を使用した投影方法を示すフローチャートである。FIG. 3 is a flow chart showing a projection method using a projection device. 図４は、複数の人物が出席する会議において、投影装置により会議の資料を投影する例を説明する図である。4A and 4B are diagrams for explaining an example of projecting conference materials by a projection device in a conference attended by a plurality of persons. 図５は、撮像画像を概念的に示す図である。FIG. 5 is a diagram conceptually showing a captured image. 図６は、副画像を必要とする場合を説明する図である。FIG. 6 is a diagram explaining a case where a sub-image is required. 図７は、副画像の表示要求の一例を示す図である。FIG. 7 is a diagram showing an example of a display request for a sub-image. 図８は、副画像の表示例を示す図である。FIG. 8 is a diagram showing a display example of a sub-image. 図９は、操作者でない他の人物の操作と判定した場合について説明する図である。FIG. 9 is a diagram illustrating a case where it is determined that the operation is performed by a person other than the operator. 図１０は、操作者のインタラクティブ操作と判定された場合について説明する図である。FIG. 10 is a diagram illustrating a case where it is determined that an operator's interactive operation is performed. 図１１は、投影装置の機能構成例を示すブロック図である。FIG. 11 is a block diagram illustrating a functional configuration example of a projection device. 図１２は、電子ペンによりインタラクティブ操作を行うことを示す図である。12A and 12B are diagrams showing an interactive operation using an electronic pen. FIG. 図１３は、投影方法を示したフローチャートである。FIG. 13 is a flow chart showing the projection method. 図１４は、操作画面の要求指示の例を示す図である。FIG. 14 is a diagram showing an example of a request instruction on the operation screen. 図１５は、操作画面の要求指示を行う場合について説明する図である。15A and 15B are diagrams for explaining a case where an operation screen request instruction is given. 図１６は、表示された操作画面の例を示す図である。FIG. 16 is a diagram showing an example of the displayed operation screen. 図１７は、人物が有する特徴部により操作者を検知する場合の例を示す図である。17A and 17B are diagrams illustrating an example of detecting an operator based on a characteristic portion of a person. FIG. 図１８は、特定の位置に居る人物を、操作者として検知する場合の例を示す図である。FIG. 18 is a diagram showing an example of detecting a person at a specific position as the operator.

以下、添付図面に従って本発明に係る投影装置、投影方法及びプログラムの好ましい実施の形態について説明する。 Preferred embodiments of the projection apparatus, projection method, and program according to the present invention will be described below with reference to the accompanying drawings.

＜第１の実施形態＞
先ず、本発明の第１の実施形態に関して説明する。 <First embodiment>
First, the first embodiment of the present invention will be described.

図１は、本実施形態の投影装置２０が使用される一形態に関して説明する図である。 FIG. 1 is a diagram for explaining one mode in which the projection device 20 of this embodiment is used.

投影装置２０は会議室の天井Ｘに設置されている。投影装置２０のプロジェクタ部（投影部）２０Ａは、投影装置２０で生成される投影画像をテーブルＴの表面（以後、単にテーブルＴという）を投影面として投影する。テーブルＴの回りに着席した会議の出席者である人物Ａ及び人物Ｊは、テーブルＴに投影される投影画像を参照する。なお、図１で示されている人物Ａと人物Ｊとの配置は、図４をＸ軸方向に向かって見た場合の配置である。 The projection device 20 is installed on the ceiling X of the conference room. A projector section (projection section) 20A of the projection device 20 projects a projection image generated by the projection device 20 using the surface of the table T (hereinafter simply referred to as the table T) as a projection plane. A person A and a person J, who are attendees of the conference seated around the table T, refer to the projection image projected on the table T. FIG. The arrangement of the person A and the person J shown in FIG. 1 is the arrangement when FIG. 4 is viewed in the X-axis direction.

投影装置２０はカメラ部（撮像部）２０Ｂを備え、テーブルＴを含む人物が写っている撮像画像を取得する。図１及び図４に示す場合では、テーブルＴを囲む人物Ａ～人物Ｌの撮像画像が取得される。なお、図１は投影装置２０が使用される一例を示す図であり、これに限定されるものではない。例えば投影装置２０は、天井Ｘに設置されることには限定されず、テーブルＴの表面に投影画像を投影することが可能な位置に設置することができる。また、投影面は、テーブルＴに限定されるものではなく、投影画像を投影することができる表面であればよい。例えば、スクリーンやホワイトボードを投影面とすることもできる。 The projection device 20 includes a camera section (image pickup section) 20B, and obtains a captured image including a table T in which a person is captured. In the case shown in FIGS. 1 and 4, captured images of persons A to L surrounding the table T are acquired. Note that FIG. 1 is a diagram showing an example in which the projection device 20 is used, and the present invention is not limited to this. For example, the projection device 20 is not limited to being installed on the ceiling X, and can be installed at a position where a projection image can be projected onto the surface of the table T. Further, the projection surface is not limited to the table T, and may be any surface on which a projection image can be projected. For example, a screen or whiteboard can be used as the projection surface.

図２は、投影装置２０の機能構成の例を示すブロック図である。 FIG. 2 is a block diagram showing an example of the functional configuration of the projection device 20. As shown in FIG.

投影装置２０は、投影面であるテーブルＴに投影画像を投影するプロジェクタ部２０Ａと、テーブルＴの回りに位置する複数の人物を捉えるカメラ部２０Ｂと、制御部２６と、メモリ２７と、投影画像生成部２８と、入力操作検出部３０、検知部３１と、判定部３３と、入力Ｉ／Ｆ(interface)２９と、を備えている。なお制御部２６、メモリ２７、及び入力Ｉ／Ｆ２９は、プロジェクタ部２０Ａ及びカメラ部２０Ｂにおいて共通に機能する。 The projection device 20 includes a projector section 20A that projects a projection image onto a table T that is a projection surface, a camera section 20B that captures a plurality of people positioned around the table T, a control section 26, a memory 27, and a projection image. A generation unit 28 , an input operation detection unit 30 , a detection unit 31 , a determination unit 33 , and an input I/F (interface) 29 are provided. Note that the control unit 26, memory 27, and input I/F 29 function commonly in the projector unit 20A and the camera unit 20B.

プロジェクタ部２０Ａは、所謂単板式の液晶プロジェクタであり、表示用光学素子（光変調素子ともいう）４２と、素子ドライバ４３と、ＬＥＤ光源４４と、光源ドライバ４５と、投影レンズ４６と、レンズドライバ４７と、を含む。 The projector unit 20A is a so-called single-panel liquid crystal projector, and includes a display optical element (also referred to as an optical modulation element) 42, an element driver 43, an LED light source 44, a light source driver 45, a projection lens 46, and a lens driver. 47 and

表示用光学素子４２は、複数色のカラーフィルタを備えた透過型の液晶パネル、或いはダイクロイックミラーとマイクロレンズアレイとモノクロの透過型の液晶パネルとを組み合わせたカラーフィルレス構造の素子等が用いられる。カラーフィルレス構造の素子は、例えば、Ｒ（Ｒｅｄ）光、Ｇ（Ｇｒｅｅｎ）光、Ｂ（Ｂｌｕｅ）光をそれぞれ反射する３種類のダイクロイックミラーにより白色光をＲＧＢの３色の光に分光し、３色の光を互いに異なった角度で液晶パネル上のマイクロレンズアレイに入射させる。そして、３色の光をマイクロレンズアレイにより液晶パネルのＲ用画素、Ｇ用画素、Ｂ用画素にそれぞれ入射させることによりカラー画像の表示が可能となる。 The display optical element 42 is a transmissive liquid crystal panel equipped with color filters of multiple colors, or an element with a color filterless structure combining a dichroic mirror, a microlens array, and a monochrome transmissive liquid crystal panel. . An element with a color-fill-less structure, for example, splits white light into three colors of RGB by means of three types of dichroic mirrors that reflect R (Red) light, G (Green) light, and B (Blue) light, respectively. Three colors of light are made incident on the microlens array on the liquid crystal panel at different angles. A color image can be displayed by making the three colors of light incident on the pixels for R, G, and B of the liquid crystal panel through the microlens array.

なお、プロジェクタ部２０Ａは、単板式の液晶プロジェクタに限定されるものでなく、色分離光学系及び複数の液晶パネルを備える公知の３板式の液晶プロジェクタであってもよい。また、プロジェクタ部２０Ａは、透過型液晶方式に限定されるものではなく、反射型液晶表示方式やＤＭＤ（Digital Mirror Device）等を用いた反射型表示方式等の他の各種方式を採用してもよい。 The projector unit 20A is not limited to a single-panel liquid crystal projector, and may be a known three-panel liquid crystal projector having a color separation optical system and a plurality of liquid crystal panels. Further, the projector unit 20A is not limited to the transmissive liquid crystal display system, and may adopt various other systems such as a reflective liquid crystal display system or a reflective display system using a DMD (Digital Mirror Device). good.

素子ドライバ４３は、制御部２６の制御の下、表示用光学素子４２を制御して、投影画像生成部２８が生成した投影画像を表示させる。 Under the control of the control unit 26, the device driver 43 controls the display optical device 42 to display the projection image generated by the projection image generation unit 28. FIG.

ＬＥＤ光源４４は、投影光源であり、表示用光学素子４２の背面側（投影レンズ４６に対向する面とは反対面側）から表示用光学素子４２に対して白色光を入射させる。これにより、表示用光学素子４２から投影画像の像光が出射される。光源ドライバ４５は、制御部２６の制御の下、ＬＥＤ光源４４の駆動を制御する。なお、投影光源としてＬＥＤ以外の光源を使用可能である。また、ＤＭＤ等、Ｒ光、Ｂ光、Ｇ光を時分割で順次投影する表示用光学素子４２を用いる場合は、投影光源として、Ｒ光、Ｂ光、Ｇ光を時分割で表示用光学素子４２に順次照射させる光源を使用する。すなわち、投影光としては、Ｒ光、Ｂ光、Ｇ光などの白色光以外の光を用いることができる。 The LED light source 44 is a projection light source, and emits white light to the display optical element 42 from the rear side (the side opposite to the surface facing the projection lens 46) of the display optical element 42. FIG. As a result, the image light of the projected image is emitted from the display optical element 42 . The light source driver 45 controls driving of the LED light source 44 under the control of the control section 26 . A light source other than the LED can be used as the projection light source. When a display optical element 42 such as a DMD that sequentially projects R light, B light, and G light in a time-division manner is used, the display optical element 42 projects R light, B light, and G light in a time-division manner as a projection light source. A light source that sequentially illuminates 42 is used. That is, as projection light, light other than white light, such as R light, B light, and G light, can be used.

投影レンズ４６は、表示用光学素子４２から出射される投影画像の像光を投影面に投影する。レンズドライバ４７は、図示しないレンズ駆動部を介して、投影レンズ４６のフォーカス制御等を行う。なお、本例では投影装置２０及びテーブルＴの位置がほぼ固定であるので、テーブルＴの位置に合わせて予めフォーカス調整等が予め行われていてもよい。 The projection lens 46 projects the image light of the projection image emitted from the display optical element 42 onto the projection plane. The lens driver 47 performs focus control and the like of the projection lens 46 via a lens driving section (not shown). In this example, since the positions of the projection device 20 and the table T are substantially fixed, focus adjustment and the like may be performed in advance according to the position of the table T. FIG.

制御部２６は、データバス４９を介して、レンズドライバ３７、撮像素子３８、インターフェース回路４０、素子ドライバ４３、光源ドライバ４５、及びレンズドライバ４７等に接続している。この制御部２６は、例えばＣＰＵ（Central Processing Unit）を含む各種の演算部及び処理部及び記憶部により構成されたものであり、メモリ２７から読み出した制御用のプログラムやデータを実行することで、投影装置２０の全体の動作や処理を統括制御する。 The control unit 26 is connected to the lens driver 37, the imaging element 38, the interface circuit 40, the element driver 43, the light source driver 45, the lens driver 47 and the like via the data bus 49. FIG. The control unit 26 is composed of various calculation units, processing units, and storage units including, for example, a CPU (Central Processing Unit). It centrally controls the overall operation and processing of the projection device 20 .

メモリ２７は、制御部２６が処理を実行するための制御用のプログラムを格納している。 The memory 27 stores control programs for the control unit 26 to execute processing.

投影画像生成部２８は、プロジェクタ部２０Ａで投影される投影画像を生成する。具体的には投影画像生成部２８は、主画像で構成される投影画像、又は主画像及び副画像で構成される投影画像を生成する。ここで、主画像とは投影面に投影される比較的大きな画像である。例えば主画像は、会議に出席した出席者全員が見ることを想定した画像である。また、副画像とは、主画像に対してインタラクティブ操作（入力操作）を行う操作者に補助的に投影される画像である。すなわち、主画像に対してインタラクティブ操作を行う場合に、出席者の位置によっては、直接主画像の所定の領域に手が届かない場合がある。このような場合には、副画像を操作者の手元に表示して、操作者は、敢えて移動しなくても主画像に対してインタラクティブ操作を行うことが可能になる。 The projection image generation section 28 generates a projection image projected by the projector section 20A. Specifically, the projection image generator 28 generates a projection image composed of a main image, or a projection image composed of a main image and a sub-image. Here, the main image is a relatively large image projected onto the projection plane. For example, the main image is an image intended to be viewed by all attendees who attended the conference. Also, the sub-image is an image that is auxiliary projected to the operator who performs an interactive operation (input operation) on the main image. That is, when an interactive operation is performed on the main image, depending on the position of the attendee, there may be cases where the hand cannot directly reach a predetermined area of the main image. In such a case, the sub-image is displayed at the operator's hand so that the operator can interact with the main image without moving.

投影画像生成部２８は、検知部３１により検知された操作者に対応して配置された副画像と主画像とを含む投影画像を生成する。副画像は、予め投影面上の所定の位置に配置することが決められていてもよい。例えば、テーブルＴにおいて予め出席者が座る位置が決まっている場合には、副画像はテーブルＴにおいて予め決められた位置に表示される。また、副画像は、操作者の場所に応じて表示されてもよい。例えば、検知部３１で検知された操作者の手元や周辺に副画像を表示される。 The projection image generation unit 28 generates a projection image including a sub-image and a main image arranged corresponding to the operator detected by the detection unit 31 . The sub-image may be arranged in advance at a predetermined position on the projection plane. For example, when the positions of the attendees on the table T are determined in advance, the sub-image is displayed at the predetermined positions on the table T. FIG. Also, the sub-image may be displayed according to the location of the operator. For example, the sub-image is displayed at the operator's hand or in the vicinity detected by the detection unit 31 .

投影画像生成部２８は、入力操作検出部３０の検出結果に基づいて、操作者の副画像へのインタラクティブ操作（入力操作）を主画像に反映させた投影画像を生成する。なお、投影画像生成部２８は、副画像においてもインタラクティブ操作を反映させた投影画像を生成してもよい。 Based on the detection result of the input operation detection unit 30, the projection image generation unit 28 generates a projection image in which the operator's interactive operation (input operation) on the sub-image is reflected in the main image. Note that the projected image generation unit 28 may generate a projected image that reflects the interactive operation in the sub-image as well.

入力操作検出部３０は、プロジェクタ部２０Ａへのインタラクティブ操作を検出する。具体的には、プロジェクタ部２０Ａが投影する投影画像へのインタラクティブ操作を検出する。入力操作検出部３０は、様々の手法により、インタラクティブ操作を検出することができる。例えば入力操作検出部３０は、カメラ部２０Ｂにより撮像された撮像画像に基づいて、インタラクティブ操作を検出する。入力操作検出部３０は、撮像画像を画像処理することにより、操作者の書き込みや投影された画像の移動又は拡縮操作を検出して、投影画像生成部２８はその検出結果を投影画像（主画像、又は主画像及び副画像）に反映させる。また、入力操作検出部３０は、図２では図示は省略しているが、電子ペン等の指示体に送信される信号により、インタラクティブ操作を検出してもよい。入力操作検出部３０は、電子ペンから送信されてくる信号により、操作者が書き込んだ文字又は投影された画像への操作を検出し、投影画像生成部２８はその検出結果を投影画像に反映させる。 The input operation detection section 30 detects an interactive operation to the projector section 20A. Specifically, an interactive operation to the projection image projected by the projector unit 20A is detected. The input operation detection unit 30 can detect interactive operations using various methods. For example, the input operation detection unit 30 detects an interactive operation based on the captured image captured by the camera unit 20B. The input operation detection unit 30 performs image processing on the captured image to detect writing by the operator or movement or scaling of the projected image. , or main image and sub image). Although not shown in FIG. 2, the input operation detection unit 30 may detect an interactive operation from a signal transmitted to an indicator such as an electronic pen. The input operation detection unit 30 detects characters written by the operator or operations on the projected image based on a signal transmitted from the electronic pen, and the projection image generation unit 28 reflects the detection result in the projection image. .

検知部３１は、投影面の周囲に位置する複数の人物のうちの副画像にインタラクティブ操作を行う操作者を検知する。検知部３１は、投影装置２０が取得する様々の情報に基づいて、会議の参加者から、インタラクティブ操作を行う操作者を検知する。例えば検知部３１は、カメラ部２０Ｂで取得された撮像画像に基づいて、操作者を検知する。 The detection unit 31 detects an operator who performs an interactive operation on the sub-image among the plurality of persons positioned around the projection plane. The detection unit 31 detects an operator who performs an interactive operation from participants of the conference based on various information acquired by the projection device 20 . For example, the detection unit 31 detects the operator based on the captured image acquired by the camera unit 20B.

判定部３３は、インタラクティブ操作が操作者の操作であるか、操作者でない者の操作であるかを判定する。例えば判定部３３は、撮像画像に基づいて、操作者と、操作者ではない他の人物とを判定する。 The determination unit 33 determines whether the interactive operation is an operation by an operator or an operation by a person other than the operator. For example, the determination unit 33 determines the operator and other persons who are not the operator based on the captured image.

カメラ部２０Ｂは、会議の出席者を捉えた撮像画像の取得を行う。カメラ部２０Ｂは出席者の撮像画像を静止画又は動画で取得する。カメラ部２０Ｂは、撮影レンズ３６と、レンズドライバ３７と、撮像素子３８と、図中「Ａ／Ｄ」と表示しているＡＤ(Analog-to-Digital)変換器３９と、図中「Ｉ／Ｆ」と表示しているインターフェース(interface)回路４０と、を含む。カメラ部２０Ｂは、常時又は一定の間隔で撮像画像を取得する。 The camera unit 20B acquires a captured image of the attendees of the conference. The camera unit 20B acquires still images or moving images of attendees. The camera unit 20B includes a photographing lens 36, a lens driver 37, an image sensor 38, an AD (Analog-to-Digital) converter 39 indicated as "A/D" in the figure, and an "I/ and an interface circuit 40 labeled "F". The camera unit 20B acquires captured images all the time or at regular intervals.

撮影レンズ３６を介して、出席者の像は撮像素子３８に結像する。レンズドライバ３７は、図示しないレンズ駆動部を介して、撮影レンズ３６のフォーカス制御等を行う。 An image of the attendee is formed on the imaging element 38 through the photographing lens 36 . The lens driver 37 performs focus control and the like of the photographing lens 36 via a lens driving section (not shown).

撮像素子３８は、垂直ドライバ及び水平ドライバ等を有するＣＭＯＳ(Complementary Metal-Oxide Semiconductor)ドライバにより駆動されるＣＭＯＳ型のイメージセンサにより構成されている。なお、撮像素子３８は、ＣＭＯＳ型に限らず、ＸＹアドレス型、又はＣＣＤ(Charge Coupled Device)型のイメージセンサでもよい。 The imaging device 38 is composed of a CMOS image sensor driven by a CMOS (Complementary Metal-Oxide Semiconductor) driver having a vertical driver, a horizontal driver, and the like. Note that the imaging device 38 is not limited to the CMOS type, and may be an XY address type or CCD (Charge Coupled Device) type image sensor.

撮像素子３８には、ＲＧＢの各フィルタが２次元状に配列されたカラーフィルタが備えられており、撮像素子３８によりカラー画像が得られる。なお、得られる撮像画像は、カラー画像に限定されるものではなく、モノクロ画像であってもよい。 The imaging device 38 is provided with a color filter in which RGB filters are arranged two-dimensionally, and a color image is obtained by the imaging device 38 . Note that the captured image obtained is not limited to a color image, and may be a monochrome image.

ＡＤ変換器３９は、撮像素子３８から読み出された受光信号をデジタル信号に変換してインターフェース回路４０へ出力する。インターフェース回路４０は、画像入力コントローラとして機能するものであり、ＡＤ変換器３９から入力された撮像画像を制御部２６へ出力する。 The AD converter 39 converts the received light signal read out from the imaging element 38 into a digital signal and outputs the digital signal to the interface circuit 40 . The interface circuit 40 functions as an image input controller and outputs the captured image input from the AD converter 39 to the control section 26 .

図３は、投影装置２０を使用した投影方法を示すフローチャートである。なお、図３に示す一連のステップを説明した後に、各ステップの詳細について説明を行う。 FIG. 3 is a flow chart showing a projection method using the projection device 20. As shown in FIG. After describing the series of steps shown in FIG. 3, the details of each step will be described.

先ず、会議の出席者が会議室に入室した後に、投影装置２０の電源が入れられる（ステップＳ１０）。その後、カメラ部２０Ｂにより出席者の撮像が行われ撮像画像が取得される（ステップＳ１１）。その後、検知部３１により、取得された撮像画像に基づいて人物の数及び各人物の位置が検知される（ステップＳ１２）。次に、プロジェクタ部２０Ａにより投影面に主画像が投影される（ステップＳ１３）。次に、検知部３１は、会議の出席者のうちで操作者を検知する（検知ステップ：ステップＳ１４）。そして、検知部３１で操作者が検知された場合には、操作者に対応する位置に副画像を表示する（ステップＳ１５）。その後、入力操作検出部３０はインタラクティブ操作を検知する（入力操作検出ステップ：ステップＳ１６）。次に、判定部３３により、入力操作検出部３０で検知された操作が操作者の操作であるか否かが判定される（ステップＳ１７）。検知したインタラクティブ操作が操作者のものである場合には、副画像に検知したインタラクティブ操作を反映させ（投影画像生成ステップ：ステップＳ１８）、投影画像生成部２８により、主画像に検知したインタラクティブ操作を反映させた投影画像が生成され投影面に投影される（投影画像生成ステップ：ステップＳ１９）。一方、検知したインタラクティブ操作が操作者のものでない場合には、副画像に検知したインタラクティブ操作を反映させず（ステップＳ２０）、主画像に検知したインタラクティブ操作を反映させない（ステップＳ２１）。 First, after the conference attendees enter the conference room, the projection device 20 is turned on (step S10). After that, the attendee is imaged by the camera section 20B to obtain a captured image (step S11). After that, the detection unit 31 detects the number of persons and the position of each person based on the captured image (step S12). Next, the main image is projected onto the projection surface by the projector unit 20A (step S13). Next, the detection unit 31 detects the operator among the attendees of the conference (detection step: step S14). Then, when the operator is detected by the detector 31, a sub-image is displayed at a position corresponding to the operator (step S15). After that, the input operation detection unit 30 detects an interactive operation (input operation detection step: step S16). Next, the determination unit 33 determines whether or not the operation detected by the input operation detection unit 30 is the operator's operation (step S17). When the detected interactive operation is that of the operator, the detected interactive operation is reflected in the sub-image (projected image generation step: step S18), and the projected image generation unit 28 applies the detected interactive operation to the main image. A reflected projection image is generated and projected onto the projection plane (projection image generating step: step S19). On the other hand, if the detected interactive operation is not that of the operator, the detected interactive operation is not reflected in the sub-image (step S20) and the detected interactive operation is not reflected in the main image (step S21).

上述の各構成及び機能は、任意のハードウェア、ソフトウェア、或いは両者の組み合わせによって適宜実現可能である。例えば、上述の処理ステップ（処理手順）をコンピュータに実行させるプログラム、そのようなプログラムを記録したコンピュータ読み取り可能な記録媒体（非一時的記録媒体）、或いはそのようなプログラムをインストール可能なコンピュータに対しても本発明を適用することが可能である。 Each configuration and function described above can be appropriately realized by arbitrary hardware, software, or a combination of both. For example, a program that causes a computer to execute the above-described processing steps (procedures), a computer-readable recording medium (non-temporary recording medium) recording such a program, or a computer capable of installing such a program However, it is possible to apply the present invention.

次に、上述したステップの各ステップに関して詳細に説明をする。 Next, each step of the steps described above will be described in detail.

＜＜ステップＳ１０～ステップＳ１２＞＞
先ず、ステップＳ１０～ステップＳ１２に関して説明する。ステップＳ１０では投影装置２０の電源が入れられる。投影装置２０の電源は、手動で入れられてもよいし、会議の出席者が会議室に入室したことを検知して自動的に電源が入れられてもよい。 <<Step S10 to Step S12>>
First, steps S10 to S12 will be described. In step S10, the power of the projection device 20 is turned on. The power of the projection device 20 may be manually turned on, or may be automatically turned on upon detecting that a conference attendee has entered the conference room.

図４は、複数の人物が出席する会議において、投影装置２０により会議の資料を投影する例を説明する図である。 FIG. 4 is a diagram illustrating an example of projecting conference materials by the projection device 20 in a conference attended by a plurality of persons.

会議室にはテーブルＴが設置されており、テーブルＴの回りに、会議の参加者である人物Ａ～人物Ｌが位置している。投影装置２０は、図１で説明したように天井Ｘに設置されており、テーブルＴを投影面として投影画像を投影する。人物Ａ～人物Ｌは、テーブルＴに投影される会議の資料を見ながら会議に参加する。 A table T is installed in the conference room, and persons A to L who are participants in the conference are positioned around the table T. FIG. The projection device 20 is installed on the ceiling X as described with reference to FIG. 1, and projects a projection image using the table T as a projection surface. Persons A to L participate in the conference while viewing conference materials projected on the table T. FIG.

ステップＳ１１及びステップＳ１２では、カメラ部２０Ｂにより会議の出席者の撮像が行われ、検知部３１により人物の数及び位置が検知される。 In steps S11 and S12, the camera section 20B captures images of the attendees of the conference, and the detection section 31 detects the number and positions of the persons.

図５は、カメラ部２０Ｂにより撮像された撮像画像を概念的に示す図である。 FIG. 5 is a diagram conceptually showing a captured image captured by the camera section 20B.

図５に示された撮像画像Ｐは、カメラ部２０Ｂにより撮像される。撮像画像Ｐには全ての会議の出席者（人物Ａ～人物Ｌ）が写っている。カメラ部２０Ｂにより取得された撮像画像Ｐに基づいて、検知部３１は人物Ａ～人物Ｌを検知する。例えば、検知部３１は、カメラ部２０Ｂで撮像された撮像画像に画像処理を行うことにより、人物Ａ～人物Ｌを検知する。撮像画像Ｐにおける点線は、検知部３１で人物Ａ～人物Ｌの各々が検知されたことを示す。検知部３１は、人物Ａ～人物Ｌの各々の位置を検知する。 A captured image P shown in FIG. 5 is captured by the camera section 20B. The captured image P shows all attendees (Person A to Person L) of the conference. The detection unit 31 detects persons A to L based on the captured image P acquired by the camera unit 20B. For example, the detection unit 31 detects persons A to L by performing image processing on images captured by the camera unit 20B. A dotted line in the captured image P indicates that each of the persons A to L has been detected by the detection unit 31 . The detection unit 31 detects the positions of the persons A to L, respectively.

ここで、インタラクティブ操作を行う場合に、操作者が副画像を必要とする場合に関して説明する。 Here, a case where the operator needs a sub-image when performing an interactive operation will be described.

図６は、人物Ａが操作者であり、副画像を必要とする場合を説明する図である。 FIG. 6 is a diagram illustrating a case where person A is the operator and needs a sub-image.

人物Ａは領域ＭＩに表示されている主画像に対してインタラクティブ操作を行いたいと思っている。インタラクティブ操作を行う場合には、領域ＭＩに表示されている主画像に直接触れなければならない場合には、人物Ａの位置からは手が届かず人物Ａはそのままの位置では領域ＭＩに表示された主画像に対してインタラクティブ操作を行うことができない。このような場合に、人物Ａの目の前（手元）に、領域ＭＩに表示されている主画像と同じ内容の副画像を表示し、人物Ａの副画像へのインタラクティブ操作を領域ＭＩに反映させることにより、人物Ａはそのままの位置から、領域ＭＩに表示された主画像を操作することができる。 Person A wishes to perform an interactive operation on the main image displayed in area MI. When performing an interactive operation, if it is necessary to directly touch the main image displayed in the area MI, the person A cannot be reached from the position of the person A, and the person A is displayed in the area MI at the same position. You cannot perform interactive operations on the main image. In such a case, a sub-image having the same content as the main image displayed in the area MI is displayed in front of the person A (at hand), and the interactive operation on the sub-image of the person A is reflected in the area MI. By allowing the person A to operate the main image displayed in the area MI from the same position.

＜＜ステップＳ１３～ステップＳ１５＞＞
次に、ステップＳ１３～ステップＳ１５に関して説明する。 <<Step S13 to Step S15>>
Next, steps S13 to S15 will be described.

ステップＳ１３では、プロジェクタ部２０Ａにより主画像で構成された投影画像が投影される。主画像は、投影面であるテーブルＴの全域に表示されてもよいし、テーブルＴの一部分に表示されてもよい。 In step S13, the projection image composed of the main image is projected by the projector section 20A. The main image may be displayed on the entire table T, which is the projection plane, or may be displayed on a part of the table T. FIG.

ステップＳ１４では、検知部３１により操作者が検知される。具体的には、検知部３１は、カメラ部２０Ｂで取得された撮像画像に基づいて、所定の指示動作（ジェスチャ）を検知することにより操作者を検知する。 In step S14, the detection unit 31 detects the operator. Specifically, the detection unit 31 detects the operator by detecting a predetermined instruction action (gesture) based on the captured image acquired by the camera unit 20B.

図７は、副画像の表示要求の一例を示す図である。 FIG. 7 is a diagram showing an example of a display request for a sub-image.

図７に示した場合では、人物Ａは、指で領域ＭＩを指し示すことにより、領域ＭＩに表示されている主画像に対応する副画像の表示の要求を行う。カメラ部２０Ｂにより、人物Ａの動きが常時撮像されており、人物Ａの副画像の表示要求を検知することにより、人物Ａが操作者であることを検知する。具体的には、検知部３１は、撮像画像を画像処理することにより、人物Ａが指を指したことを検知し、人物Ａが操作者であることを検知する。また、検知部３１は、撮像画像を画像処理することにより、人物Ａが指している方向において領域ＭＩが存在することを検知して、人物Ａが領域ＭＩの操作者であることを検知する。 In the case shown in FIG. 7, the person A requests display of the sub-image corresponding to the main image displayed in the area MI by pointing the area MI with his finger. The camera unit 20B constantly captures images of the movement of the person A, and by detecting a request to display a sub-image of the person A, it is detected that the person A is the operator. Specifically, the detection unit 31 performs image processing on the captured image to detect that the person A has pointed a finger and that the person A is the operator. Further, the detection unit 31 performs image processing on the captured image to detect that the area MI exists in the direction pointed by the person A, and detects that the person A is the operator of the area MI.

ステップＳ１５では、検知部３１の検知結果に基づいて、画像生成部により主画像と副画像とで構成される投影画像が生成され、その投影画像がテーブルＴに投影される。 In step S<b>15 , the projection image composed of the main image and the sub-image is generated by the image generation unit based on the detection result of the detection unit 31 , and the projection image is projected onto the table T.

図８は、人物Ａに対応する位置に表示された副画像の表示例を示す図である。 FIG. 8 is a diagram showing a display example of a sub-image displayed at a position corresponding to person A. As shown in FIG.

検知部３１により人物Ａが領域ＭＩに関しての副画像の表示要求をしたと検知され、投影画像生成部２８により人物Ａの手元に副画像ＭＳを有する投影画像が表示される。副画像ＭＳは、領域ＭＩに表示されている主画像と同様の内容を表示する。具体的には、領域ＭＩに表示されている「あいう」が副画像ＭＳにおいても表示されている。なお、副画像が表示される位置は、人物Ａがインタラクティブ操作を行う観点より、人物Ａの位置に対応して様々な位置が採用される。 The detection unit 31 detects that the person A has requested the display of the sub-image for the area MI, and the projection image generation unit 28 displays the projection image having the sub-image MS at the person A's hand. The sub-image MS displays the same content as the main image displayed in the area MI. Specifically, "a" displayed in the area MI is also displayed in the sub-image MS. Various positions are adopted for the position where the sub-image is displayed, corresponding to the position of the person A, from the viewpoint of the person A performing an interactive operation.

＜＜ステップＳ１６～ステップＳ２２＞＞
次に、ステップＳ１６～ステップＳ２２に関して説明する。 <<Step S16 to Step S22>>
Next, steps S16 to S22 will be described.

ステップＳ１６では、入力操作検出部３０により、人物Ａのインタラクティブ操作が検知される。インタラクティブ操作は、人物Ａの指により行われても良いし、電子ペン等の指示体により行われてもよい。人物Ａの指でインタラクティブ操作を行う場合には、カメラ部２０Ｂで人物Ａを撮像することにより、インタラクティブ操作を検知する。例えば、人物Ａが文字を記載する場合には、カメラ部２０Ｂで人物Ａの指の軌跡を検知する。また例えば、人物Ａが電子ペン５１でインタラクティブ操作を行う場合には、電子ペン５１から人物Ａが記載した文字を認識し、その情報が投影装置２０に送られる。 In step S<b>16 , the input operation detection unit 30 detects an interactive operation by the person A. FIG. The interactive operation may be performed with a finger of person A, or may be performed with an indicator such as an electronic pen. When performing an interactive operation with a finger of person A, the interactive operation is detected by capturing an image of person A with the camera unit 20B. For example, when person A writes characters, the camera unit 20B detects the trajectory of person A's finger. Also, for example, when the person A performs an interactive operation with the electronic pen 51 , the characters written by the person A are recognized from the electronic pen 51 and the information is sent to the projection device 20 .

ステップＳ１７では、判定部３３により、検知したインタラクティブ操作が操作者（人物Ａ）の操作であるか、又は操作者ではない他の人物（人物Ｂや人物Ｌなど）の操作であるかを検知する。例えば判定部３３は、カメラ部２０Ｂで撮像された撮像画像により、人物Ａのインタラクティブ操作であるか、他の人物の操作であるかを判定する。 In step S17, the determination unit 33 detects whether the detected interactive operation is the operation of the operator (person A) or the operation of another person (person B, person L, etc.) who is not the operator. . For example, the determination unit 33 determines whether the operation is an interactive operation by the person A or an operation by another person, based on the captured image captured by the camera unit 20B.

図９は、判定部３３が操作者でない他の人物の操作と判定した場合について説明する図である。 FIG. 9 is a diagram illustrating a case where the determination unit 33 determines that the operation is performed by a person other than the operator.

判定部３３は、カメラ部２０Ｂで撮像された撮像画像によって、人物Ａのインタラクティブ操作であるか否かを判定する。具体的には判定部３３は、撮像画像において、人物Ａを検知しており、人物Ａの身体での操作か又は他の人物（例えば人物Ｂ）の身体での操作かを判定する。判定部３３が、人物Ａのインタラクティブ操作ではないと判定した場合には、その操作は副画像及び主画像に反映されない（ステップＳ２０及びステップＳ２１）。 The determination unit 33 determines whether or not it is the interactive operation of the person A based on the captured image captured by the camera unit 20B. Specifically, the determination unit 33 detects the person A in the captured image, and determines whether the operation is performed with the body of the person A or with the body of another person (for example, the person B). When the determination unit 33 determines that the operation is not the interactive operation of the person A, the operation is not reflected in the sub-image and the main image (steps S20 and S21).

図１０は、判定部３３により、操作者のインタラクティブ操作と判定された場合について説明する図である。 FIG. 10 is a diagram illustrating a case where the determination unit 33 determines that the interactive operation is performed by the operator.

判定部３３により、検知されたインタラクティブ操作が人物Ａの操作であることが判定された場合には、そのインタラクティブ操作は副画像及び主画像に反映される（ステップＳ１８及びステップＳ１９）。図１０に示した場合では、入力操作検出部３０により人物Ａの電子ペン５１によるインタラクティブ操作（文字「え」を入力）を検出し、投影画像生成部２８により、この入力された文字が副画像ＭＳ及び領域ＭＩの主画像にも反映された投影画像が生成され投影される。 When the determination unit 33 determines that the detected interactive operation is the operation of the person A, the interactive operation is reflected in the sub-image and the main image (steps S18 and S19). In the case shown in FIG. 10, the input operation detection unit 30 detects an interactive operation (inputting the character "E") by the electronic pen 51 of the person A, and the projection image generation unit 28 detects the input character as a sub image. A projection image that is also reflected in the main image of the MS and region MI is generated and projected.

以上で説明したように、本実施形態では、検知部３１により、複数の人物から操作者が検知され、その操作者の手元に副画像が表示される。これにより、操作者は副画像にインタラクティブ操作を行うことによって、主画像にもその内容を反映させることができる。また本実施形態では、カメラ部２０Ｂが投影装置２０に備えられているので、会議の出席者を捉えた撮像画像から得られる情報を、検知部３１、入力操作検出部３０及び判定部３３は使用することができる。 As described above, in this embodiment, the detection unit 31 detects an operator from a plurality of persons, and displays a sub-image at the operator's hand. Thus, by performing an interactive operation on the sub-image, the operator can reflect the content on the main image as well. Further, in the present embodiment, since the camera unit 20B is provided in the projection device 20, the detection unit 31, the input operation detection unit 30, and the determination unit 33 use information obtained from the captured image of the attendees of the conference. can do.

＜第２の実施形態＞
次に、第２の実施形態に関して説明する。 <Second embodiment>
Next, a second embodiment will be described.

図１１は、第２の実施形態の投影装置２０の機能構成例を示すブロック図である。なお、図２で既に説明を行った箇所は、同じ符号を付し説明を省略する。 FIG. 11 is a block diagram showing a functional configuration example of the projection device 20 of the second embodiment. In addition, the same code|symbol is attached|subjected to the location which already demonstrated in FIG. 2, and description is abbreviate|omitted.

投影装置２０は、プロジェクタ部２０Ａと、制御部２６と、メモリ２７と、投影画像生成部２８と、入力操作検出部３０と、検知部３１と、判定部３３と、入力Ｉ／Ｆ(interface)２９と、指示受付部３５と、を備えている。 The projection device 20 includes a projector unit 20A, a control unit 26, a memory 27, a projection image generation unit 28, an input operation detection unit 30, a detection unit 31, a determination unit 33, an input I/F (interface) 29 and an instruction receiving unit 35 .

本実施形態の投影装置２０は、第１の実施形態の投影装置２０とは異なりカメラ部２０Ｂを有していない。すなわち、本実施形態の投影装置２０は、カメラ部２０Ｂを構成する、撮像素子３８、ＡＤ(Analog-to-Digital)変換器３９、及びインターフェース回路４０を有していない。 Unlike the projection device 20 of the first embodiment, the projection device 20 of this embodiment does not have a camera section 20B. That is, the projection device 20 of this embodiment does not have the imaging device 38, the AD (Analog-to-Digital) converter 39, and the interface circuit 40 that constitute the camera section 20B.

投影装置２０は、電子ペン（指示体）５１からの指示受付部３５を備える。指示受付部３５は、複数の人物のうち少なくとも１人が有し、操作指示の入力を行う電子ペン５１からの指示を受け付ける。 The projection device 20 includes an instruction reception unit 35 from an electronic pen (pointer) 51 . The instruction receiving unit 35 receives instructions from an electronic pen 51 owned by at least one of a plurality of persons and used for inputting operation instructions.

入力操作検出部３０は、指示受付部３５が受け付けた指示に基づいて、プロジェクタ部２０Ａへのインタラクティブ操作を検出する。すなわち、電子ペン５１を介してのインタラクティブ操作は、入力操作検出部３０により検出される。 The input operation detection section 30 detects an interactive operation to the projector section 20A based on the instruction received by the instruction reception section 35 . That is, an interactive operation via the electronic pen 51 is detected by the input operation detection section 30 .

検知部３１は、指示受付部３５が受け付けた指示に基づいて、インタラクティブ操作を行う操作者を検知する。具体的には、電子ペン５１は予め所持する人物が決められており、電子ペン５１から送信されてきた信号により、操作者を検知することができる。 The detection unit 31 detects an operator performing an interactive operation based on the instruction received by the instruction reception unit 35 . Specifically, the person who possesses the electronic pen 51 is determined in advance, and the operator can be detected from the signal transmitted from the electronic pen 51 .

判定部３３は、指示受付部３５が受け付けた指示に基づいて、操作者と操作者ではない他の人物を判定する。具体的には、電子ペン５１は予め所持する人物が決められており、電子ペン５１から送信されてきた信号により、操作者と操作者ではない他の人物を判定する。 Based on the instruction received by the instruction receiving unit 35, the determination unit 33 determines the operator and other persons who are not the operator. Specifically, the person who possesses the electronic pen 51 is determined in advance, and the signal transmitted from the electronic pen 51 determines the operator and other persons who are not the operator.

図１２は、人物Ａ及び人物Ｂの各々が電子ペン５１によりインタラクティブ操作を行うことを示す図である。 FIG. 12 is a diagram showing that each of person A and person B performs an interactive operation with the electronic pen 51. As shown in FIG.

人物Ａは電子ペン５１Ａを有しており、人物Ｂは電子ペン５１Ｂを有している。電子ペン５１Ａは、予め人物Ａ（又は図１２中の人物Ａが位置する場所に居る人物）が所持することが設定されており、電子ペン５１Ｂは、予め人物Ｂが所持することが設定されている。従って、入力操作検出部３０は、電子ペン５１Ａからの指示は人物Ａのインタラクティブ操作として検出し、電子ペン５１Ｂからの指示は人物Ｂのインタラクティブ操作として検出する。また、電子ペン５１Ａ及び電子ペン５１Ｂの位置は予め決められており、副画像の配置は、電子ペン５１Ａ及び電子ペン５１Ｂを基準にして配置される。すなわち、人物Ａは、電子ペン５１Ａを介して副画像の表示要求を行い、電子ペン５１Ａの予め設定された位置に対応して副画像も配置される。 A person A has an electronic pen 51A, and a person B has an electronic pen 51B. The electronic pen 51A is preset to be possessed by person A (or a person who is in the location of person A in FIG. 12), and the electronic pen 51B is preset to be possessed by person B. there is Therefore, the input operation detection unit 30 detects an instruction from the electronic pen 51A as an interactive operation by the person A, and detects an instruction from the electronic pen 51B as an interactive operation by the person B. FIG. Further, the positions of the electronic pens 51A and 51B are determined in advance, and the sub-images are arranged based on the electronic pens 51A and 51B. That is, the person A requests the display of the sub-image via the electronic pen 51A, and the sub-image is also arranged corresponding to the preset position of the electronic pen 51A.

また、各副画像と各電子ペンとは一対一に対応している。すなわち、人物Ａの電子ペン５１Ａは人物Ａの副画像ＭＳ－Ａに対してのみ操作を行うことが可能であり、人物Ｂの電子ペン５１Ｂは人物Ｂの副画像ＭＳ－Ｂに対してのみ操作を行うことが可能である。すなわち、判定部３３は、電子ペン５１Ａの副画像ＭＳ－Ａには電子ペン５１Ａを介しての指示を操作者のインタラクティブ操作であると判定し、電子ペン５１Ｂの副画像ＭＳ－Ｂには電子ペン５１Ｂを介しての指示を操作者のインタラクティブ操作であると判定する。なお、電子ペン５１Ａ及び５１Ｂは、投影装置２０に無線又は有線により接続されている。 Also, each sub-image and each electronic pen are in one-to-one correspondence. That is, the electronic pen 51A of person A can operate only on the sub-image MS-A of person A, and the electronic pen 51B of person B can operate only on the sub-image MS-B of person B. It is possible to That is, the determination unit 33 determines that the instruction given via the electronic pen 51A to the sub-image MS-A of the electronic pen 51A is the operator's interactive operation, and the sub-image MS-B of the electronic pen 51B to the electronic The instruction through the pen 51B is determined to be the operator's interactive operation. The electronic pens 51A and 51B are connected to the projection device 20 wirelessly or by wire.

図１３は、本実施形態における投影方法を示したフローチャートである。 FIG. 13 is a flow chart showing a projection method according to this embodiment.

先ず、会議の出席者が会議室に入室した後に、投影装置２０の電源が入れられる（ステップＳ３０）。その後、プロジェクタ部２０Ａにより、投影面に主画像が投影される（ステップＳ３１）。次に、検知部３１は、会議の出席者のうちで操作者を検知する（ステップＳ３２）。そして、検知部３１で操作者が検知された場合には、操作者に対応する位置に副画像を表示する（ステップＳ３３）。その後、入力操作検出部３０はインタラクティブ操作を検出する（ステップＳ３４）。次に、判定部３３により、入力操作検出部３０で検出された操作が操作者の操作であるか否かが判定される（ステップＳ３５）。検出したインタラクティブ操作が操作者のものである場合には、投影画像生成部２８により、副画像に検出したインタラクティブ操作を反映させ（ステップＳ３６）、主画像に検出したインタラクティブ操作を反映（ステップＳ３７）させた投影画像が生成される。一方、検知したインタラクティブ操作が操作者のものでない場合には、副画像に検知したインタラクティブ操作を反映させず（ステップＳ３８）、主画像に検知したインタラクティブ操作を反映させない（ステップＳ３９）。 First, after the attendees of the conference enter the conference room, the projector 20 is turned on (step S30). After that, the main image is projected onto the projection surface by the projector unit 20A (step S31). Next, the detection unit 31 detects the operator among the attendees of the conference (step S32). Then, when the operator is detected by the detection unit 31, a sub-image is displayed at a position corresponding to the operator (step S33). After that, the input operation detection unit 30 detects an interactive operation (step S34). Next, the determination unit 33 determines whether or not the operation detected by the input operation detection unit 30 is the operator's operation (step S35). When the detected interactive operation is that of the operator, the projected image generation unit 28 reflects the detected interactive operation in the sub-image (step S36) and reflects the detected interactive operation in the main image (step S37). A projected image is generated. On the other hand, if the detected interactive operation is not that of the operator, the detected interactive operation is not reflected in the sub-image (step S38) and the detected interactive operation is not reflected in the main image (step S39).

以上で説明したように、本実施形態では、検知部３１により複数の人物から操作者が検知され、その操作者の手元に副画像が表示される。これにより、操作者は副画像にインタラクティブ操作を行うことによって、主画像にもその内容を反映させることができる。また本実施形態では、電子ペン５１を使用してインタラクティブ操作が行われ、各電子ペン５１は各副画像に対応しているので、操作者ではない他の人物の電子ペン５１による誤ったインタラクティブ操作の検出を防ぐことができる。 As described above, in this embodiment, the detection unit 31 detects an operator from a plurality of persons, and displays a sub-image in front of the operator. Thus, by performing an interactive operation on the sub-image, the operator can reflect the content on the main image as well. Further, in the present embodiment, interactive operations are performed using the electronic pens 51, and each electronic pen 51 corresponds to each sub-image. can prevent the detection of

＜第１の変形例＞
次に、第１の変形例に関して説明する。本例においては、操作画面を使用して副画像を表示させる。 <First modification>
Next, a first modified example will be described. In this example, the operation screen is used to display the sub-image.

検知部３１は、投影面の周囲に位置する複数の人物の操作画面の要求指示を検知する。そして、投影画像生成部２８は、入力操作検出部３０により検知された要求指示に応じて、操作画面と主画像とを含む投影画像を生成する。 The detection unit 31 detects a request instruction for an operation screen by a plurality of persons positioned around the projection plane. Then, the projection image generation section 28 generates a projection image including the operation screen and the main image in accordance with the request instruction detected by the input operation detection section 30 .

図１４は、操作画面の要求指示の例を示す図である。 FIG. 14 is a diagram showing an example of a request instruction on the operation screen.

人物Ａは、指示動作（指を移動させる）ことにより、操作画面の要求指示を出す。入力操作検出部３０は、カメラ部２０Ｂを有する投影装置２０（図２を参照）である場合には、人物Ａの撮像画像に基づいて、人物Ａが操作画面の投影領域の端辺６１を指先で１往復移動させることを検出する。これにより、入力操作検出部３０は、操作画面の要求指示を検出する。投影画像生成部２８は、要求指示に基づいて、端辺６１から出現する操作画面を有する投影画像を生成する。 Person A issues an instruction to request an operation screen by performing an instruction action (moving a finger). If the input operation detection unit 30 is the projection device 20 (see FIG. 2) having the camera unit 20B, the input operation detection unit 30 detects the edge 61 of the projection area of the operation screen by the person A based on the captured image of the person A. is detected to move one reciprocation with . Thereby, the input operation detection unit 30 detects the request instruction on the operation screen. The projection image generator 28 generates a projection image having an operation screen appearing from the edge 61 based on the request instruction.

図１５は、人物Ａが有する電子ペン５１Ａにより、操作画面の要求指示を行う場合について説明する図である。 FIG. 15 is a diagram for explaining a case where the electronic pen 51A possessed by the person A is used to issue an instruction to request an operation screen.

人物Ａは、指示体（電子ペン５１Ａ）により、操作画面の要求指示を出す。入力操作検出部３０は、電子ペン５１Ａが接続される指示受付部３５を有する投影装置２０（図１１を参照）である場合には、電子ペン５１Ａから操作画面の要求指示を検出する。具体的には、電子ペン５１Ａには、操作画面の表示ボタンが設けられており、表示ボタンが押下されることにより、操作画面が表示される。電子ペン５１Ａの位置は予め決められており、電子ペン５１Ａの位置を基準にして操作画面が表示される。 The person A issues an operation screen request instruction using an indicator (electronic pen 51A). The input operation detection unit 30 detects an operation screen request instruction from the electronic pen 51A in the case of the projection device 20 (see FIG. 11) having the instruction reception unit 35 to which the electronic pen 51A is connected. Specifically, the electronic pen 51A is provided with an operation screen display button, and the operation screen is displayed by pressing the display button. The position of the electronic pen 51A is predetermined, and the operation screen is displayed based on the position of the electronic pen 51A.

図１６は、表示された操作画面の例を示す図である。入力操作検出部３０が操作画面の要求を検知した場合には、投影画像生成部２８は主画像と操作画面ＭＯとを含む投影画像を生成する。操作画面ＭＯは、投影面に投影される主画像への操作を行えるアイコンを有している。具体的には操作画面ＭＯは、「色変更」「太さ変更」「副画像表示」「一つ戻す」等のアイコンを有している。操作画面ＭＯのこれらのアイコンを指又は電子ペン５１Ａによりタッチすることにより、アイコンに応じたインタラクティブ操作を行うことができる。なお、図１６に示した場合では、操作画面ＭＯは矢印５５に示すようにテーブルＴの縁から出現する。 FIG. 16 is a diagram showing an example of the displayed operation screen. When the input operation detection unit 30 detects the operation screen request, the projection image generation unit 28 generates a projection image including the main image and the operation screen MO. The operation screen MO has icons for operating the main image projected on the projection plane. Specifically, the operation screen MO has icons such as "color change", "thickness change", "sub image display", and "back one". By touching these icons on the operation screen MO with a finger or the electronic pen 51A, interactive operations corresponding to the icons can be performed. In the case shown in FIG. 16, the operation screen MO appears from the edge of the table T as indicated by an arrow 55. FIG.

以上で説明したように、本実施形態では、入力操作検出部３０が操作画面の要求指示を検出し、操作画面が表示される。そして、操作画面が有するアイコンを介してインタラクティブ操作を行うことができるので、ユーザに簡便なインタラクティブ操作を提供することができる。 As described above, in the present embodiment, the input operation detection unit 30 detects an operation screen request instruction, and the operation screen is displayed. Since interactive operations can be performed via the icons on the operation screen, it is possible to provide the user with simple interactive operations.

＜第２の変形例＞
次に、第２の変形例に関して説明する。本例では、検知部３１が操作者を検知する態様の他の例に関して説明する。 <Second modification>
Next, a second modified example will be described. In this example, another example of a mode in which the detection unit 31 detects an operator will be described.

図１７は、検知部３１が、人物が有する特徴部により操作者を検知する場合の例を示す図である。 FIG. 17 is a diagram showing an example in which the detection unit 31 detects an operator based on a characteristic part of a person.

図１７に示す場合には、人物Ａは特徴部として色がついた指輪Ｒをしている。そして、投影装置２０がカメラ部２０Ｂを有する場合（図２を参照）には、人物Ａの指輪Ｒが写っている撮像画像が取得され、その撮像画像に基づいて人物Ａを操作者として検知する。なお、特徴部としては、色のついた指輪Ｒに限定されず、様々なものを特徴部として採用することができる。また、判定部３３は、指輪Ｒをしている人物を操作者と判定し、指輪Ｒしていない人物を操作者でないと判定することができる。 In the case shown in FIG. 17, person A has a colored ring R as a characteristic part. Then, when the projection device 20 has the camera unit 20B (see FIG. 2), a captured image showing the ring R of the person A is acquired, and the person A is detected as the operator based on the captured image. . Note that the characteristic portion is not limited to the colored ring R, and various types of characteristic portions can be employed. Further, the determination unit 33 can determine that the person wearing the ring R is the operator and that the person not wearing the ring R is not the operator.

このように、人物が身につけている特徴部（指輪）により、操作者を検知及び判定することにより、正確に操作者のインタラクティブ操作を反映させることができる。 In this way, by detecting and determining the operator from the characteristic portion (ring) worn by the person, it is possible to accurately reflect the interactive operation of the operator.

＜第３の変形例＞
次に、第３の変形例に関して説明する。本例では、検知部３１が操作者を検知する態様の他の例に関して説明する。 <Third Modification>
Next, a third modification will be described. In this example, another example of a mode in which the detection unit 31 detects an operator will be described.

図１８は、特定の位置に居る人物を、操作者として検知する場合の例を示す図である。 FIG. 18 is a diagram showing an example of detecting a person at a specific position as the operator.

図１８に示す場合には、人物Ｚは、全ての人物との距離が最も短い場所Ｓに位置している。検知部３１は、場所Ｓに位置した人物を操作者として検知することが決められおり、人物Ｚが場所Ｓに位置したことを検知すると、検知部３１は人物Ｚを操作者として検知する。投影装置２０がカメラ部２０Ｂを有する場合（図２を参照）には、人物Ｚが写っている撮像画像が取得され、検知部３１はその撮像画像に基づいて人物Ｚを操作者として検知し、判定部３３はその撮像画像に基づいて操作者を判定する。また、電子ペン５１と接続される指示受付部３５を有する投影装置２０である場合（図１１を参照）には、検知部３１は場所Ｓに設置される電子ペン５１からの指示に基づいて人物Ｚを操作者として検知し、判定部３３は場所Ｓに設置される電子ペン５１からの指示に基づいて操作者を判定する。 In the case shown in FIG. 18, person Z is located at location S where the distance to all persons is the shortest. The detection unit 31 is determined to detect a person positioned at the location S as the operator, and upon detecting that the person Z is positioned at the location S, the detection unit 31 detects the person Z as the operator. When the projection device 20 has the camera unit 20B (see FIG. 2), a captured image in which the person Z is captured is acquired, and the detection unit 31 detects the person Z as the operator based on the captured image, The determination unit 33 determines the operator based on the captured image. Further, in the case of the projection device 20 having the instruction receiving unit 35 connected to the electronic pen 51 (see FIG. 11), the detection unit 31 detects the person based on the instruction from the electronic pen 51 installed at the place S. Z is detected as the operator, and the determination unit 33 determines the operator based on the instruction from the electronic pen 51 installed at the place S. FIG.

このように、予め決められた場所に位置する人物を操作者として検知及び判定することにより、操作者が代表してインタラクティブ操作を行って投影画像を操作し、スムーズ会議の進行を行うことができる。 In this way, by detecting and judging a person positioned at a predetermined place as an operator, the operator can perform an interactive operation on behalf of the operator to operate the projected image, and the conference can proceed smoothly. .

以上で本発明の例に関して説明してきたが、本発明は上述した実施の形態に限定されず、本発明の精神を逸脱しない範囲で種々の変形が可能であることは言うまでもない。 Although examples of the present invention have been described above, it goes without saying that the present invention is not limited to the above-described embodiments, and that various modifications are possible without departing from the spirit of the present invention.

２０：投影装置
２０Ａ：プロジェクタ部
２０Ｂ：カメラ部
２６：制御部
２７：メモリ
２８：投影画像生成部
２９：入力Ｉ／Ｆ
３０：入力操作検出部
３１：検知部
３３：判定部
３５：指示受付部
３６：撮影レンズ
３７：レンズドライバ
３８：撮像素子
３９：ＡＤ変換器
４０：インターフェース回路
４２：表示用光学素子
４３：素子ドライバ
４４：ＬＥＤ光源
４５：光源ドライバ
４６：投影レンズ
４７：レンズドライバ
４９：データバス 20: projection device 20A: projector section 20B: camera section 26: control section 27: memory 28: projection image generation section 29: input I/F
30: input operation detection unit 31: detection unit 33: determination unit 35: instruction reception unit 36: photographing lens 37: lens driver 38: image sensor 39: AD converter 40: interface circuit 42: display optical element 43: element driver 44: LED light source 45: Light source driver 46: Projection lens 47: Lens driver 49: Data bus

Claims

主画像又は前記主画像と前記主画像の少なくとも一部が複製された副画像とを含む投影画像を投影面に投影する投影部と、
前記投影部への入力操作を検出する入力操作検出部と、
前記投影面の周囲に位置する複数の人物のうちの前記副画像に前記入力操作を行う操作者を検知する検知部と、
前記検知部により検知された前記操作者に対応する位置に配置された前記副画像と前記主画像とを含む前記投影画像を生成する投影画像生成部と、
前記検知部の検知結果に基づいて、前記操作者と、前記操作者ではない他の前記人物とを判定する判定部と、
を備え、
前記投影画像生成部は、前記判定部の結果及び前記入力操作検出部の検出結果に基づいて、前記操作者の前記副画像への前記入力操作を前記主画像に反映させた前記投影画像を生成する投影装置。 a projection unit that projects onto a projection plane a projection image that includes a main image or the main image and a sub-image obtained by replicating at least part of the main image;
an input operation detection unit that detects an input operation to the projection unit;
a detection unit that detects an operator performing the input operation on the sub-image among a plurality of persons positioned around the projection plane;
a projection image generation unit that generates the projection image including the sub-image and the main image arranged at a position corresponding to the operator detected by the detection unit;
a determination unit that determines the operator and the person other than the operator based on the detection result of the detection unit;
with
The projection image generation unit generates the projection image in which the input operation of the operator to the sub-image is reflected in the main image, based on the result of the determination unit and the detection result of the input operation detection unit. projection device.

主画像又は前記主画像と前記主画像の少なくとも一部が複製された副画像とを含む投影画像を投影面に投影する投影部と、
前記投影部への入力操作を検出する入力操作検出部と、
前記投影面の周囲に位置する複数の人物のうちの前記副画像に前記入力操作を行う操作者を検知する検知部と、
前記検知部により検知された前記操作者に対応する位置に配置された前記副画像と前記主画像とを含む前記投影画像を生成する投影画像生成部と、
を備え、
前記投影画像生成部は、前記入力操作検出部の検出結果に基づいて、前記操作者の前記副画像への前記入力操作を前記主画像に反映させた前記投影画像を生成し、
前記検知部は、予め決められた位置の前記人物を前記操作者として検知する投影装置。 a projection unit that projects onto a projection plane a projection image that includes a main image or the main image and a sub-image obtained by replicating at least part of the main image;
an input operation detection unit that detects an input operation to the projection unit;
a detection unit that detects an operator performing the input operation on the sub-image among a plurality of persons positioned around the projection plane;
a projection image generation unit that generates the projection image including the sub-image and the main image arranged at a position corresponding to the operator detected by the detection unit;
with
The projection image generation unit generates the projection image in which the input operation of the operator to the sub image is reflected in the main image based on the detection result of the input operation detection unit ,
The detection unit detects the person at a predetermined position as the operator .

前記検知部の検知結果に基づいて、前記操作者と、前記操作者ではない他の前記人物とを判定する判定部を備え、
前記投影画像生成部は、前記判定部の結果に基づいて、前記操作者の前記副画像への操作を前記主画像に反映させる請求項２に記載の投影装置。 A determination unit that determines the operator and the person other than the operator based on the detection result of the detection unit,
3. The projection device according to claim 2, wherein the projection image generation unit reflects the operator's operation on the sub-image in the main image based on the result of the determination unit.

前記検知部は、予め決められた位置の前記人物を前記操作者として検知する請求項１に記載の投影装置。 The projection device according to claim 1, wherein the detection unit detects the person at a predetermined position as the operator.

前記投影面の周囲に位置する前記複数の人物の撮像画像を取得する撮像部を備え、
前記検知部は、前記撮像画像に基づいて、前記投影面の周囲に位置する前記複数の人物を検知する請求項１から４のいずれか１項に記載の投影装置。 An imaging unit that acquires captured images of the plurality of people positioned around the projection plane,
The projection device according to any one of claims 1 to 4 , wherein the detection unit detects the plurality of persons positioned around the projection plane based on the captured image.

前記投影画像生成部は、前記検知部で検知された前記複数の人物の検知結果に基づいて、前記副画像を配置する請求項５に記載の投影装置。 6. The projection device according to claim 5, wherein the projection image generation unit arranges the sub-images based on detection results of the plurality of persons detected by the detection unit.

前記検知部は、前記撮像画像に基づいて、前記人物の指示動作を検知して前記操作者を検知する請求項５又は６に記載の投影装置。 7. The projection device according to claim 5 , wherein the detection unit detects the operator by detecting the pointing action of the person based on the captured image.

前記複数の人物のうち少なくとも１人が有し、操作指示の入力を行う指示体からの指示を受け付ける指示受付部を備え、
前記入力操作検出部は、前記指示に基づいて前記入力操作を検出し、
前記検知部は、前記指示に基づいて前記操作者を検知する請求項１から７のいずれか１項に記載の投影装置。 an instruction reception unit that is owned by at least one of the plurality of persons and receives an instruction from an indicator that inputs an operation instruction;
The input operation detection unit detects the input operation based on the instruction,
The projection device according to any one of claims 1 to 7 , wherein the detection unit detects the operator based on the instruction.

前記検知部は、前記人物が有する特徴部を検知することにより、前記操作者を検知する請求項１から８のいずれか１項に記載の投影装置。 The projection device according to any one of claims 1 to 8 , wherein the detection unit detects the operator by detecting a characteristic part of the person.

前記入力操作検出部は、前記投影面の周囲に位置する複数の人物の操作画面の要求指示を検出し、
前記投影画像生成部は、前記入力操作検出部により検出された前記要求指示に応じて、前記操作画面と前記主画像とを含む投影画像を生成する請求項１から９のいずれか１項に記載の投影装置。 The input operation detection unit detects a request instruction for an operation screen of a plurality of persons positioned around the projection plane,
10. The projection image generation unit according to any one of claims 1 to 9 , wherein the projection image generation unit generates a projection image including the operation screen and the main image in accordance with the request instruction detected by the input operation detection unit. projection device.

主画像又は前記主画像と前記主画像の少なくとも一部が複製された副画像とを含む投影画像を投影面に投影する投影部を有する投影装置の投影方法であって、
前記投影部への入力操作を検出する入力操作検出ステップと、
前記投影面の周囲に位置する複数の人物のうちの前記副画像に前記入力操作を行う操作者を検知する検知ステップと、
前記検知ステップにより検知された前記操作者に対応する位置に配置された前記副画像と前記主画像とを含む前記投影画像を生成する投影画像生成ステップと、
前記検知ステップの検知結果に基づいて、前記操作者と、前記操作者ではない他の前記人物とを判定する判定ステップと、
を含み、
前記投影画像生成ステップは、前記判定ステップの結果及び前記入力操作検出ステップの検出結果に基づいて、前記操作者の前記副画像への前記入力操作を前記主画像に反映させた前記投影画像を生成する投影方法。 A projection method for a projection device having a projection unit that projects onto a projection surface a projection image that includes a main image or a main image and a sub-image obtained by replicating at least part of the main image, comprising:
an input operation detection step of detecting an input operation to the projection unit;
a detection step of detecting an operator performing the input operation on the sub-image among a plurality of persons positioned around the projection plane;
a projected image generating step of generating the projected image including the sub-image and the main image arranged at a position corresponding to the operator detected by the detecting step;
a determination step of determining the operator and the person other than the operator based on the detection result of the detection step;
including
The projection image generation step generates the projection image in which the operator's input operation to the sub-image is reflected in the main image, based on the result of the determination step and the detection result of the input operation detection step. projection method.

主画像又は前記主画像と前記主画像の少なくとも一部が複製された副画像とを含む投影画像を投影面に投影する投影部を有する投影装置の投影方法であって、
前記投影部への入力操作を検出する入力操作検出ステップと、
前記投影面の周囲に位置する複数の人物のうちの前記副画像に前記入力操作を行う操作者を検知する検知ステップと、
前記検知ステップにより検知された前記操作者に対応する位置に配置された前記副画像と前記主画像とを含む前記投影画像を生成する投影画像生成ステップと、
を含み、
前記投影画像生成ステップは、前記入力操作検出ステップの検出結果に基づいて、前記操作者の前記副画像への前記入力操作を前記主画像に反映させた前記投影画像を生成し、
前記検知ステップは、予め決められた位置の前記人物を前記操作者として検知する投影方法。 A projection method for a projection device having a projection unit that projects onto a projection plane a projection image that includes a main image or the main image and a sub-image obtained by replicating at least a part of the main image, comprising:
an input operation detection step of detecting an input operation to the projection unit;
a detection step of detecting an operator performing the input operation on the sub-image among a plurality of persons positioned around the projection plane;
a projected image generating step of generating the projected image including the sub-image and the main image arranged at a position corresponding to the operator detected by the detecting step;
including
The projected image generating step generates the projected image in which the operator's input operation to the sub-image is reflected in the main image based on the detection result of the input operation detecting step ,
In the projection method, the detection step detects the person at a predetermined position as the operator .

主画像又は前記主画像と前記主画像の少なくとも一部が複製された副画像とを含む投影画像を投影面に投影する投影部を有する投影装置の投影方法をコンピュータに実行させるプログラムであって、
前記投影部への入力操作を検出する入力操作検出ステップと、
前記投影面の周囲に位置する複数の人物のうちの前記副画像に前記入力操作を行う操作者を検知する検知ステップと、
前記検知ステップにより検知された前記操作者に対応する位置に配置された前記副画像と前記主画像とを含む前記投影画像を生成する投影画像生成ステップと、
前記検知ステップの検知結果に基づいて、前記操作者と、前記操作者ではない他の前記人物とを判定する判定ステップと、
を含み、
前記投影画像生成ステップは、前記判定ステップの結果及び前記入力操作検出ステップの検出結果に基づいて、前記操作者の前記副画像への前記入力操作を前記主画像に反映させた前記投影画像を生成する投影方法をコンピュータに実行させるプログラム。 A program for causing a computer to execute a projection method of a projection device having a projection unit that projects onto a projection plane a projection image that includes a main image or a projection image that includes the main image and a sub-image obtained by replicating at least part of the main image, the program comprising:
an input operation detection step of detecting an input operation to the projection unit;
a detection step of detecting an operator performing the input operation on the sub-image among a plurality of persons positioned around the projection plane;
a projected image generating step of generating the projected image including the sub-image and the main image arranged at a position corresponding to the operator detected by the detecting step;
a determination step of determining the operator and the person other than the operator based on the detection result of the detection step;
including
The projection image generation step generates the projection image in which the operator's input operation to the sub-image is reflected in the main image based on the result of the determination step and the detection result of the input operation detection step. A program that causes a computer to execute a projection method.

主画像又は前記主画像と前記主画像の少なくとも一部が複製された副画像とを含む投影画像を投影面に投影する投影部を有する投影装置の投影方法をコンピュータに実行させるプログラムであって、
前記投影部への入力操作を検出する入力操作検出ステップと、
前記投影面の周囲に位置する複数の人物のうちの前記副画像に前記入力操作を行う操作者を検知する検知ステップと、
前記検知ステップにより検知された前記操作者に対応する位置に配置された前記副画像と前記主画像とを含む前記投影画像を生成する投影画像生成ステップと、
を含み、
前記投影画像生成ステップは、前記入力操作検出ステップの検出結果に基づいて、前記操作者の前記副画像への前記入力操作を前記主画像に反映させた前記投影画像を生成し、
前記検知ステップは、予め決められた位置の前記人物を前記操作者として検知する投影方法をコンピュータに実行させるプログラム。 A program for causing a computer to execute a projection method of a projection device having a projection unit that projects onto a projection plane a projection image that includes a main image or a projection image that includes the main image and a sub-image obtained by replicating at least part of the main image, the program comprising:
an input operation detection step of detecting an input operation to the projection unit;
a detection step of detecting an operator performing the input operation on the sub-image among a plurality of persons positioned around the projection plane;
a projected image generating step of generating the projected image including the sub-image and the main image arranged at a position corresponding to the operator detected by the detecting step;
including
The projected image generating step generates the projected image in which the operator's input operation to the sub-image is reflected in the main image based on the detection result of the input operation detecting step ,
The detecting step includes a program for causing a computer to execute a projection method for detecting the person at a predetermined position as the operator .