JP7140514B2

JP7140514B2 - Projection type display device and its control method

Info

Publication number: JP7140514B2
Application number: JP2018040320A
Authority: JP
Inventors: 大作長浜
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 2018-03-07
Filing date: 2018-03-07
Publication date: 2022-09-21
Anticipated expiration: 2038-03-07
Also published as: JP2019161247A

Description

本発明は、カメラ連携機能を有する投射型表示装置に関する。 The present invention relates to a projection display device having a camera cooperation function.

近年、カメラを内蔵したプロジェクタや外部カメラと接続可能なプロジェクタを用いて、カメラで撮像した画像をプロジェクタの制御に応用することが提案されている。プロジェクタのカメラと連携した機能（以下、カメラ連携機能と呼ぶ）の例として、撮像した投射画像の形状から台形歪みを補正する機能、画質調整・画像補正機能、インタラクティブ機能・ジェスチャー操作機能などがある。 2. Description of the Related Art In recent years, it has been proposed to use a projector with a built-in camera or a projector connectable to an external camera, and apply an image captured by the camera to control the projector. Examples of functions linked with the projector's camera (hereinafter referred to as "camera linkage functions") include functions for correcting trapezoidal distortion based on the shape of the captured projection image, image quality adjustment/image correction functions, interactive functions/gesture operation functions, etc. .

特許文献１には、電子ペンとカメラとプロジェクタとを用いた電子黒板システムが開示されている。特許文献２には、カメラを用いた台形補正技術が開示されている。 Patent Document 1 discloses an electronic blackboard system using an electronic pen, a camera, and a projector. Patent Document 2 discloses a trapezoidal correction technique using a camera.

特開２００３－２７６３９９号公報JP-A-2003-276399 特開２００５－２８６５７５号公報JP 2005-286575 A

ところで、台形歪み補正、画質調整・画像補正、インタラクティブ機能・ジェスチャー操作などのカメラ連携機能に応じてカメラに求められる解像度やフレームレートなどの性能は変わる。しかしながら、従来技術のように解像度やフレームレートが固定の場合、カメラ連携機能を十分に発揮することが難しい。 By the way, performance such as resolution and frame rate required for the camera changes depending on the camera-linked functions such as trapezoidal distortion correction, image quality adjustment/image correction, interactive function/gesture operation, and the like. However, when the resolution and frame rate are fixed as in the conventional technology, it is difficult to fully exhibit the camera cooperation function.

そこで本発明は、複数の種類のカメラ連携機能を適切なカメラ設定で利用可能な投射型表示装置およびその制御方法を提供することを目的とする。 SUMMARY OF THE INVENTION Accordingly, it is an object of the present invention to provide a projection display apparatus and a method of controlling the same that can use a plurality of types of camera cooperation functions with appropriate camera settings.

本発明の一側面としての投射型表示装置は、撮像部と、前記撮像部により撮像された画像に基づいて、ジェスチャー操作を解析するための第１の制御と、前記投射型表示装置と分離して設けられた外部装置を用いたインタラクティブ操作を解析するための第２の制御を行う制御部とを有し、前記制御部は、前記第１の制御または前記第２の制御に応じて、前記撮像部から出力される画像データの転送速度が所定の転送速度以下となるように、前記撮像部により撮像される前記画像のフレームレートまたは解像度の少なくとも一つの設定を行う。 A projection display device as one aspect of the present invention includes an imaging unit, first control for analyzing a gesture operation based on an image captured by the imaging unit, and the projection display device separated from each other. and a control unit that performs second control for analyzing an interactive operation using an external device provided in the control unit, according to the first control or the second control, the At least one of the frame rate and the resolution of the image captured by the imaging unit is set so that the transfer speed of the image data output from the imaging unit is equal to or lower than a predetermined transfer speed .

本発明の他の側面としての投射型表示装置の制御方法は、ジェスチャー操作を解析するための第１の制御を設定するステップと、撮像部から出力される画像データの転送速度が所定の転送速度以下となるように、前記撮像部により撮像される画像のフレームレートを第１のフレームレートに設定し、かつ前記画像の解像度を第１の解像度に設定するステップと、前記投射型表示装置と分離して設けられた外部装置を用いたインタラクティブ操作を解析するための第２の制御を設定するステップと、前記転送速度が前記所定の転送速度以下となるように、前記フレームレートを第１のフレームレートよりも低い第２のフレームレートに設定し、かつ前記解像度を第１の解像度よりも高い第２の解像度に設定するステップとを有する。 According to another aspect of the present invention, there is provided a method for controlling a projection display device, comprising: setting a first control for analyzing a gesture operation ; setting a frame rate of an image captured by the imaging unit to a first frame rate and setting a resolution of the image to the first resolution ; setting a second control for analyzing an interactive operation using an external device provided as an external device; setting a second frame rate lower than the frame rate and setting the resolution to a second resolution higher than the first resolution.

本発明の他の目的及び特徴は、以下の実施例において説明される。 Other objects and features of the invention are illustrated in the following examples.

本発明によれば、複数の種類のカメラ連携機能を適切なカメラ設定で利用可能な投射型表示装置およびその制御方法を提供することができる。 According to the present invention, it is possible to provide a projection display apparatus and a method of controlling the same that can use a plurality of types of camera cooperation functions with appropriate camera settings.

実施例１における投射型表示装置のブロック図である。1 is a block diagram of a projection display device in Example 1. FIG. 各実施例における撮像部のブロック図である。4 is a block diagram of an imaging unit in each embodiment; FIG. 実施例１における投射型表示装置の制御方法を示すフローチャートである。5 is a flow chart showing a control method of the projection display device in Example 1. FIG. 実施例２における投射型表示装置のブロック図である。FIG. 10 is a block diagram of a projection display device in Example 2; 実施例２における電子ペンのブロック図である。FIG. 11 is a block diagram of an electronic pen in Example 2; 実施例２における投射型表示装置の制御方法を示すフローチャートである。10 is a flow chart showing a control method of the projection display device in Example 2. FIG.

以下、本発明の実施例について、図面を参照しながら詳細に説明する。 BEST MODE FOR CARRYING OUT THE INVENTION Hereinafter, embodiments of the present invention will be described in detail with reference to the drawings.

まず、図１を参照して、本発明の実施例１における投射型表示装置（プロジェクタ）について説明する。図１は、本実施例における投射型表示装置１００のブロック図である。 First, with reference to FIG. 1, a projection type display device (projector) according to a first embodiment of the invention will be described. FIG. 1 is a block diagram of a projection display device 100 according to this embodiment.

画像信号入力部１０１は、画像信号入力用のインターフェースコネクタを含む。画像信号入力部１０１を介して外部装置から投射型表示装置１００に画像信号が入力される。また画像信号入力部１０１に入力された画像信号は、画像信号処理部１０２に出力される。画像信号処理部１０２は、台形補正、スケーリング、明るさ補正、コントラスト補正、および、色補正（画像補正）などの各種信号処理を行う。画像信号処理部１０２から出力された画像信号は、パネル駆動部１０３に出力される。 The image signal input unit 101 includes an interface connector for image signal input. An image signal is input from an external device to the projection display device 100 via the image signal input unit 101 . An image signal input to the image signal input unit 101 is output to the image signal processing unit 102 . The image signal processing unit 102 performs various signal processing such as keystone correction, scaling, brightness correction, contrast correction, and color correction (image correction). The image signal output from the image signal processing section 102 is output to the panel driving section 103 .

パネル駆動部１０３は、画像信号処理部１０２から出力された画像信号に基づいて液晶パネル（光変調素子）１０４を駆動する。なお液晶パネル１０４は、透過型液晶パネルまたは反射型液晶パネルのいずれでもよい。また液晶パネル１０４に代えて、ＤｉｇｉｔａｌＭｉｒｒｏｒＤｅｖｉｃｅ等、他の種類の表示素子を用いることもできる。 The panel drive section 103 drives the liquid crystal panel (light modulation element) 104 based on the image signal output from the image signal processing section 102 . The liquid crystal panel 104 may be either a transmissive liquid crystal panel or a reflective liquid crystal panel. Further, instead of the liquid crystal panel 104, other types of display elements such as a Digital Mirror Device can be used.

光源駆動部１０５は、ＭＰＵ１０８からの指令に従い、光源１０６の点灯・消灯や、光源１０６への供給電力を一定に保つなどの光源駆動を行う。光源１０６から出た光は、光学系（不図示）により液晶パネル１０４に導かれる。液晶パネル１０４に導かれた光は、液晶パネル１０４で光変調され、レンズ１０７によりスクリーン等の投射面に投射される。 The light source driving unit 105 drives the light source 106 by turning on/off the light source 106 and keeping the electric power supplied to the light source 106 constant according to a command from the MPU 108 . Light emitted from the light source 106 is guided to the liquid crystal panel 104 by an optical system (not shown). The light guided to the liquid crystal panel 104 is optically modulated by the liquid crystal panel 104 and projected onto a projection surface such as a screen by the lens 107 .

ＭＰＵ１０８は、投射型表示装置１００の各部を制御する制御部であり、内部メモリ（記憶部）１０８ａを有する。操作部１０９を介して入力されたユーザの操作に応じた動作を行う。撮像部１１０は、投射面を撮像するように投射型表示装置１００に設けられており、投射画像やユーザを撮像する。撮像部１１０を用いて撮像した撮像画像データは、カメラ連携機能切替部１１１へ出力される。カメラ連携機能切替部１１１は、ＭＰＵ１０８の命令に従い、信号の出力先を切り替える。例えば、キーストン補正を実行している場合、カメラ連携機能切替部１１１は、キーストン処理部１１２へ信号を出力する。また、ジェスチャー操作を実行している場合、カメラ連携機能切替部１１１は、ジェスチャー処理部１１３へ信号を出力する。 The MPU 108 is a control unit that controls each unit of the projection display device 100, and has an internal memory (storage unit) 108a. It performs an operation according to a user's operation input via the operation unit 109 . The imaging unit 110 is provided in the projection display device 100 so as to capture an image of the projection surface, and captures the projection image and the user. Captured image data captured using the imaging unit 110 is output to the camera link function switching unit 111 . The camera cooperation function switching unit 111 switches the output destination of the signal according to the command of the MPU 108 . For example, when keystone correction is being performed, the camera link function switching unit 111 outputs a signal to the keystone processing unit 112 . Also, when a gesture operation is being performed, the camera link function switching unit 111 outputs a signal to the gesture processing unit 113 .

キーストン処理部１１２は、撮像画像データに基づいてキーストン歪み量の解析とキーストン補正量の演算とを行い、キーストン補正量を画像信号処理部１０２へ出力する。画像信号処理部１０２は、キーストン補正量に基づいて画像を補正することによりキーストン補正を行う。ジェスチャー処理部１１３は、撮像画像データに基づいてユーザの動作を解析する。ユーザの動作がジェスチャー操作である場合、ジェスチャー処理部１１３はユーザの操作内容をＭＰＵ１０８へ出力する。 The keystone processing unit 112 analyzes the keystone distortion amount and calculates the keystone correction amount based on the captured image data, and outputs the keystone correction amount to the image signal processing unit 102 . The image signal processing unit 102 performs keystone correction by correcting the image based on the keystone correction amount. The gesture processing unit 113 analyzes the user's motion based on the captured image data. If the user's action is a gesture operation, the gesture processing unit 113 outputs the content of the user's operation to the MPU 108 .

次に、図２を参照して、撮像部１１０について説明する。図２は、撮像部１１０のブロック図である。同期信号発生部２０１は、撮像部ＣＰＵ２０７からのフレームレート指令信号に基づいて、撮像部１１０の各部を同期して動作させるための同期信号を生成する。具体的には、同期信号発生部２０１は、撮像センサ駆動部２０２、アナログフロントエンド２０３、デジタル信号処理部２０４、解像度変換部２０５、および、画像エンコーダ（画像処理部）２０６を同期して動作させるための同期信号を生成して分配する。撮像部ＣＰＵ２０７が出力するフレームレート指令信号は、７．５ｆｐｓ（ｆｒａｍｅｐｅｒｓｅｃｏｎｄ）や３０ｆｐｓなどのフレームレート（単位時間当たりの撮像数）を示す指令信号であり、これら以外のフレームレートであってもよい。 Next, the imaging unit 110 will be described with reference to FIG. FIG. 2 is a block diagram of the imaging unit 110. As shown in FIG. The synchronization signal generation unit 201 generates a synchronization signal for synchronously operating each unit of the imaging unit 110 based on the frame rate command signal from the imaging unit CPU 207 . Specifically, the synchronization signal generation unit 201 causes the imaging sensor drive unit 202, the analog front end 203, the digital signal processing unit 204, the resolution conversion unit 205, and the image encoder (image processing unit) 206 to operate in synchronization. Generates and distributes synchronization signals for The frame rate command signal output by the imaging unit CPU 207 is a command signal indicating a frame rate (the number of images captured per unit time) such as 7.5 fps (frame per second) or 30 fps. good.

撮像センサ２０８は、ＣＭＯＳセンサやＣＣＤセンサであり、撮像センサ駆動部２０２からの駆動信号に基づいて駆動される。撮像センサ２０８は、撮像して得られたアナログ画像データをアナログフロントエンド２０３へ出力する。アナログフロントエンド２０３は、撮像センサ２０８から出力されたアナログ画像データに対して、ノイズ除去、信号増幅、および、アナログデジタル変換（Ａ／Ｄ変換）を行い、デジタル画像データを生成する。アナログフロントエンド２０３により生成されたデジタル画像データは、デジタル信号処理部２０４へ出力される。デジタル信号処理部２０４は、デモザイク処理を行い、デモザイク処理後の画像データを解像度変換部２０５へ出力する。 The imaging sensor 208 is a CMOS sensor or a CCD sensor, and is driven based on a drive signal from the imaging sensor driving section 202 . The imaging sensor 208 outputs analog image data obtained by imaging to the analog front end 203 . The analog front end 203 performs noise removal, signal amplification, and analog-to-digital conversion (A/D conversion) on analog image data output from the imaging sensor 208 to generate digital image data. Digital image data generated by the analog front end 203 is output to the digital signal processing section 204 . The digital signal processing unit 204 performs demosaic processing, and outputs image data after the demosaicing processing to the resolution conversion unit 205 .

解像度変換部２０５は、撮像部ＣＰＵ２０７からの解像度変換量指令信号に基づいて解像度変換を行い、解像度変換後の画像データを画像エンコーダ２０６へ出力する。例えば、入力画像（デジタル信号処理部２０４からの画像データ）の解像度が１２８０×１０２４であり、撮像部ＣＰＵ２０７の解像度変換量指令が６４０×４８０である場合、画像の解像度は６４０×４８０に変換される。なお、これらの変換前後の解像度は一例であり、他の異なる解像度でもよい。また、解像度変換を行わずに入力画像のそのままの解像度で出力してもよい。 The resolution conversion unit 205 performs resolution conversion based on the resolution conversion amount command signal from the imaging unit CPU 207 and outputs image data after resolution conversion to the image encoder 206 . For example, when the resolution of the input image (image data from the digital signal processing unit 204) is 1280×1024 and the resolution conversion amount command of the imaging unit CPU 207 is 640×480, the resolution of the image is converted to 640×480. be. Note that these resolutions before and after conversion are examples, and other different resolutions may be used. Alternatively, the input image may be output with the same resolution as it is without resolution conversion.

画像エンコーダ２０６は、撮像部ＣＰＵ２０７からの圧縮指令信号に基づいて、デジタル画像データを圧縮する。撮像部ＣＰＵ２０７が圧縮指令信号を出力した場合、画像エンコーダ２０６はデジタル画像データを圧縮し、カメラ連携機能切替部１１１に圧縮後のデジタル画像データを出力する。一方、撮像部ＣＰＵ２０７が非圧縮指令信号を出力した場合、画像エンコーダ２０６はデジタル画像データを圧縮せずにカメラ連携機能切替部１１１にデジタル画像データを出力する。なお、ここでは圧縮または非圧縮のいずれかのみを説明しているが、圧縮する場合の圧縮率を変更可能に構成してもよい。 The image encoder 206 compresses the digital image data based on the compression command signal from the imaging unit CPU 207 . When the imaging unit CPU 207 outputs a compression command signal, the image encoder 206 compresses the digital image data and outputs the compressed digital image data to the camera link function switching unit 111 . On the other hand, when the imaging unit CPU 207 outputs the non-compression command signal, the image encoder 206 outputs the digital image data to the camera link function switching unit 111 without compressing the digital image data. Although only one of compression and non-compression is described here, the compression rate in the case of compression may be changed.

画像エンコーダ２０６からカメラ連携機能切替部１１１への画像データ出力に関して、通常、画像データの転送速度には上限（所定の転送速度）がある。このため、画像データの転送速度の上限を超えないように（画像データの転送速度が所定の転送速度以下となるように）フレームレート、解像度、および、圧縮／非圧縮を決定する必要がある。例えば画像データの転送速度の上限が４８０Ｍｂｐｓ（ｂｉｔｐｅｒｓｅｃｏｎｄ）の場合、フレームレート３０ｆｐｓ、解像度１２８０×１０２４、非圧縮、ＲＧＢ２４ｂｉｔとするとデータ転送速度は９００Ｍｂｐｓになる。このため、フレームレートを下げるかまたは解像度を下げることにより、データ転送速度を低くする必要がある。この場合、一例としてフレームレートを７．５ｆｐｓにすればデータ転送速度は上限以下の２２５Ｍｂｐｓとなる。また他の一例として、解像度を６４０×４８０とすればデータ転送速度は上限以下の約２１１Ｍｂｐｓとなる。また本実施例において、画像データの転送速度以下になるように画像データを圧縮してもよい。 Regarding image data output from the image encoder 206 to the camera link function switching unit 111, there is usually an upper limit (predetermined transfer speed) for the transfer speed of the image data. Therefore, it is necessary to determine the frame rate, resolution, and compression/non-compression so that the upper limit of the image data transfer rate is not exceeded (the image data transfer rate is equal to or lower than a predetermined transfer rate). For example, if the upper limit of the image data transfer rate is 480 Mbps (bit per second), the data transfer rate is 900 Mbps if the frame rate is 30 fps, resolution is 1280×1024, uncompressed, and RGB is 24 bits. Therefore, it is necessary to lower the data transfer rate by lowering the frame rate or lowering the resolution. In this case, as an example, if the frame rate is set to 7.5 fps, the data transfer rate will be 225 Mbps, which is below the upper limit. As another example, if the resolution is 640×480, the data transfer rate is about 211 Mbps, which is below the upper limit. Further, in this embodiment, the image data may be compressed so as to be equal to or lower than the transfer speed of the image data.

次に、図３を参照して、本実施例における投射型表示装置１００の制御方法について説明する。図３は、投射型表示装置１００の制御方法を示すフローチャートである。図３の各ステップは、主にＭＰＵ１０８の指令に基づいて実行される。 Next, referring to FIG. 3, a method of controlling the projection display device 100 in this embodiment will be described. FIG. 3 is a flow chart showing a control method of the projection display device 100. As shown in FIG. Each step in FIG. 3 is executed mainly based on the instructions of the MPU 108 .

まず、ステップＳ１０１において、ＭＰＵ１０８は、ユーザがカメラ連携機能のうちのジェスチャー操作を選択しているか否かを判定する。ユーザがジェスチャー操作を選択している場合、ステップＳ１０２へ進む。一方、ユーザがジェスチャー操作を選択していない場合、ステップＳ１０６へ進む。 First, in step S101, the MPU 108 determines whether or not the user has selected the gesture operation from among the camera link functions. If the user has selected the gesture operation, the process proceeds to step S102. On the other hand, if the user has not selected the gesture operation, the process proceeds to step S106.

ステップＳ１０２において、ＭＰＵ１０８は、ジェスチャー操作が選択されていることに合わせて、カメラ連携機能切替部１１１の出力先をジェスチャー処理部１１３へ切り替える。続いてステップＳ１０３において、ユーザの動作を正確に解析するため、または、ユーザの操作感を高めるため、フレームレートを高くして解像度を低くする。ここでは、フレームレートを３０ｆｐｓ、解像度を６４０×４８０に設定しているが、ユーザの動作を正確に解析することが可能なフレームレートまたは解像度であればよい。続いてステップＳ１０４において、ＭＰＵ１０８は、ユーザの動作を解析する。またＭＰＵ１０８は、その解析結果がジェスチャー操作である場合、ジェスチャー操作に応じた制御を行う。続いてステップＳ１０５において、ＭＰＵ１０８はジェスチャー操作が終了したか否かを判定する。ジェスチャー操作が終了した場合、ステップＳ１０１へ戻る。一方、ジェスチャー操作が終了していない場合、ステップＳ１０４へ戻る。 In step S102 , the MPU 108 switches the output destination of the camera link function switching unit 111 to the gesture processing unit 113 in accordance with the gesture operation being selected. Subsequently, in step S103, the frame rate is increased and the resolution is decreased in order to accurately analyze the user's motion or to enhance the user's operational feeling. Here, the frame rate is set to 30 fps and the resolution is set to 640×480, but any frame rate or resolution that allows accurate analysis of the user's motion may be used. Subsequently, in step S104, the MPU 108 analyzes the user's motion. Further, when the analysis result indicates a gesture operation, the MPU 108 performs control according to the gesture operation. Subsequently, in step S105, the MPU 108 determines whether or not the gesture operation has ended. When the gesture operation is finished, the process returns to step S101. On the other hand, if the gesture operation has not ended, the process returns to step S104.

ステップＳ１０６において、ＭＰＵ１０８は、ユーザがカメラ連携機能のうちキーストン補正を選択しているか否かを判定する。ユーザがキーストン補正を選択している場合、ステップＳ１０７へ進む。一方、ユーザがキーストン補正を選択していない場合、ステップＳ１０１へ戻る。 In step S106, the MPU 108 determines whether or not the user has selected keystone correction from among the camera link functions. If the user has selected keystone correction, the process proceeds to step S107. On the other hand, if the user has not selected keystone correction, the process returns to step S101.

ステップＳ１０７において、ＭＰＵ１０８は、キーストン補正が選択されていることに合わせて、カメラ連携機能切替部１１１の出力先をキーストン処理部１１２へ切り替える。続いてステップＳ１０８において、ＭＰＵ１０８は、キーストン歪み量を正確に解析するため、フレームレートを低くして解像度を高くする。ここでは、フレームレートを７．５ｆｐｓ、解像度を１２８０×１０２４に設定しているが、キーストン歪み量を正確に解析することが可能なフレームレートまたは解像度であればよい。続いてステップＳ１０９において、ＭＰＵ１０８はキーストン歪み量を解析し、キーストン補正を実行する。続いてステップＳ１１０において、ＭＰＵ１０８は、キーストン補正が終了したか否かを判定する。キーストン補正が終了した場合、ステップＳ１０１へ戻る。一方、キーストン補正が終了していない場合、ステップＳ１０９へ戻る。 In step S107, the MPU 108 switches the output destination of the camera linkage function switching unit 111 to the keystone processing unit 112 in accordance with the keystone correction being selected. Subsequently, in step S108, the MPU 108 lowers the frame rate and increases the resolution in order to accurately analyze the keystone distortion amount. Although the frame rate is set to 7.5 fps and the resolution to 1280×1024 here, any frame rate or resolution that allows accurate analysis of the keystone distortion amount may be used. Subsequently, in step S109, the MPU 108 analyzes the keystone distortion amount and performs keystone correction. Subsequently, in step S110, the MPU 108 determines whether or not the keystone correction has ended. When the keystone correction is completed, the process returns to step S101. On the other hand, if the keystone correction has not ended, the process returns to step S109.

なお本実施例において、カメラ連携機能（複数種類の制御）はジェスチャー操作およびキーストン補正の二つの機能であるが、これに限定されるものではない。本実施例は、人検知、インタラクティブ（電子黒板）、色ムラ補正、輝度補正、オートフォーカス、曲面補正、壁色補正、壁模様補正、色度調整、環境光補正、姿勢推定などの他のカメラ連携機能を有していてもよい。この場合、それぞれのカメラ連携機能に応じてフレームレート、解像度、画像データ圧縮（圧縮量または圧縮率）などのカメラ設定（撮像部１１０の設定）を変更することができる。例えば、内部メモリ１０８ａなどの記憶部は、複数種類の制御と撮像部１１０の設定との関係を示す情報（データテーブル）を記憶しており、ＭＰＵ１０８は、記憶部から撮像部１１０の設定に関する情報を読み出すことができる。 In this embodiment, the camera link functions (multiple types of control) are two functions of gesture operation and keystone correction, but are not limited to these. This embodiment uses other cameras such as human detection, interactive (electronic blackboard), color unevenness correction, brightness correction, autofocus, curved surface correction, wall color correction, wall pattern correction, chromaticity adjustment, ambient light correction, posture estimation, etc. You may have a cooperation function. In this case, camera settings (settings of the imaging unit 110) such as frame rate, resolution, image data compression (compression amount or compression ratio) can be changed according to each camera link function. For example, a storage unit such as the internal memory 108a stores information (data table) indicating the relationship between a plurality of types of control and settings of the imaging unit 110, and the MPU 108 receives information on settings of the imaging unit 110 from the storage unit can be read.

次に、図４を参照して、本発明の実施例２における投射型表示装置（プロジェクタ）について説明する。図４は、本実施例における投射型表示装置１００ａのブロック図である。投射型表示装置１００ａは、人検出処理部１１４および電子ペン処理部１１５を有する点で、実施例１の投射型表示装置１００と異なる。投射型表示装置１００ａの他の構成は、投射型表示装置１００と同様であるため、その説明については省略する。 Next, with reference to FIG. 4, a projection type display device (projector) according to a second embodiment of the invention will be described. FIG. 4 is a block diagram of the projection display device 100a in this embodiment. The projection display device 100a differs from the projection display device 100 of the first embodiment in that it has a human detection processing unit 114 and an electronic pen processing unit 115 . Since other configurations of the projection display device 100a are the same as those of the projection display device 100, descriptions thereof will be omitted.

人検出処理部１１４は、投射面を撮像する撮像部１１０により取得された撮像画像データに基づいて撮像画面内に人が存在するか否かを検出し、人検出結果をＭＰＵ１０８へ出力する。ＭＰＵ１０８は、人検出処理部１１４による人検出結果に基づいて、投射方向に人が存在するか否かを判定することができる。 The human detection processing unit 114 detects whether or not a person exists in the imaged screen based on the captured image data acquired by the imaging unit 110 that captures the image of the projection surface, and outputs the human detection result to the MPU 108 . The MPU 108 can determine whether or not a person exists in the projection direction based on the person detection result by the person detection processing unit 114 .

電子ペン処理部１１５は、外部装置としての電子ペン（操作手段）３００から出力される赤外線で描かれた軌跡を読み取り、液晶パネル１０４の画素に合わせたマッピングを行い、画像信号処理部１０２へ電子ペン描画データを出力する。画像信号処理部１０２は、入力画像に電子ペン描画データを重ねてパネル駆動部１０３へ出力する。また電子ペン処理部１１５は、現在、電子ペンを使用中であるか否かを判定し、その判定結果をＭＰＵ１０８へ出力する。 The electronic pen processing unit 115 reads the trajectory drawn with infrared rays output from the electronic pen (operation means) 300 as an external device, performs mapping according to the pixels of the liquid crystal panel 104, and sends the electronic pen to the image signal processing unit 102. Output pen drawing data. The image signal processing unit 102 superimposes the electronic pen drawing data on the input image and outputs it to the panel driving unit 103 . The electronic pen processing unit 115 also determines whether or not the electronic pen is currently being used, and outputs the determination result to the MPU 108 .

次に、図５を参照して、電子ペン３００について説明する。図５は、電子ペン３００のブロック図である。電子ペン３００は投射型表示装置１００ａとは別のユニット（投射型表示装置１００ａとは分離して設けられた外部装置）である。電子ペンＣＰＵ３０２は、電子ペン操作部３０１に入力されたユーザの操作に応じた動作を行う。また電子ペンＣＰＵ３０２は、ペンの先端に設けられた赤外線発光部３０３を制御する。 Next, the electronic pen 300 will be described with reference to FIG. FIG. 5 is a block diagram of the electronic pen 300. As shown in FIG. The electronic pen 300 is a unit separate from the projection display device 100a (an external device provided separately from the projection display device 100a). The electronic pen CPU 302 performs an operation according to the user's operation input to the electronic pen operation unit 301 . The electronic pen CPU 302 also controls an infrared light emitting unit 303 provided at the tip of the pen.

次に、図６を参照して、本実施例における投射型表示装置１００ａの制御方法について説明する。図６は、投射型表示装置１００ａの制御方法を示すフローチャートを説明する。図６の各ステップは、主にＭＰＵ１０８の指令に基づいて実行される。 Next, referring to FIG. 6, a method of controlling the projection display device 100a in this embodiment will be described. FIG. 6 illustrates a flowchart showing a control method of the projection display device 100a. Each step in FIG. 6 is executed mainly based on an instruction from MPU 108 .

まず、ステップＳ２０１において、ＭＰＵ１０８は、カメラ連携機能切替部１１１の出力先を人検出処理部１１４へ切り替える。続いてステップＳ２０２において、ＭＰＵ１０８は、人検出処理部１１４を用いて人を検出したか否かを判定する。人検出処理部１１４が人を検出した場合、ステップＳ２０３に進む。一方、人検出処理部１１４が人を検出していない場合、ステップＳ２１０に進む。 First, in step S201 , the MPU 108 switches the output destination of the camera link function switching unit 111 to the human detection processing unit 114 . Subsequently, in step S202, the MPU 108 uses the human detection processing unit 114 to determine whether or not a human has been detected. If the human detection processing unit 114 detects a human, the process proceeds to step S203. On the other hand, if the human detection processing unit 114 has not detected a human, the process proceeds to step S210.

ステップＳ２０３において、ＭＰＵ１０８は、カメラ連携機能切替部１１１の出力先を電子ペン処理部１１５へ切り替える。続いてステップＳ２０４において、ＭＰＵ１０８は、電子ペン処理部１１５を用いて、ユーザが電子ペン３００を使用中（操作中）であるか否かを判定する。ユーザが電子ペン３００を使用している場合、ステップＳ２０５に進む。一方、ユーザが電子ペン３００を使用していない場合、ステップＳ２０７に進む。 In step S203 , the MPU 108 switches the output destination of the camera link function switching unit 111 to the electronic pen processing unit 115 . Subsequently, in step S204 , the MPU 108 uses the electronic pen processing unit 115 to determine whether or not the user is using (operating) the electronic pen 300 . If the user is using the electronic pen 300, the process proceeds to step S205. On the other hand, if the user is not using the electronic pen 300, the process proceeds to step S207.

ステップＳ２０５において、ＭＰＵ１０８は、電子ペン３００が使用されていることに合わせ、電子ペン３００により描かれる軌跡を正確に解析するためにフレームレートを低くして解像度を高くする。ここでは、フレームレートを７．５ｆｐｓ、解像度を１２８０×１０２４に設定しているが、キーストン歪み量を正確に解析することが可能なフレームレートまたは解像度であればよい。続いてステップＳ２０６において、ＭＰＵ１０８は、電子ペン３００により描かれる軌跡を解析し、その解析結果に応じた処理を行う。そしてステップＳ２０１へ戻る。 In step S205, the MPU 108 lowers the frame rate and increases the resolution in order to accurately analyze the trajectory drawn by the electronic pen 300 as the electronic pen 300 is being used. Although the frame rate is set to 7.5 fps and the resolution to 1280×1024 here, any frame rate or resolution that allows accurate analysis of the keystone distortion amount may be used. Subsequently, in step S206, the MPU 108 analyzes the trajectory drawn by the electronic pen 300 and performs processing according to the analysis result. Then, the process returns to step S201.

ステップＳ２０２にて人が検出されておらず、かつ、ステップＳ２０４にて電子ペン３００が使用されていない場合、ユーザがジェスチャー操作を行っていることが予想される。このためステップＳ２０７において、ＭＰＵ１０８は、カメラ連携機能切替部１１１の出力先をジェスチャー処理部１１３へ切り替える。続いてステップＳ２０８において、ユーザの動作を正確に解析するため、または、ユーザの操作感を高めるため、フレームレートを高くして解像度を低くする。ここでは、フレームレートを３０ｆｐｓ、解像度を６４０×４８０に設定しているが、キーストン歪み量を正確に解析することが可能なフレームレートまたは解像度であればよい。続いてステップＳ２０９において、ＭＰＵ１０８は、ユーザの動作を解析する。またＭＰＵ１０８は、その解析結果がジェスチャー操作である場合、ジェスチャー操作に応じた制御を行う。 If no person is detected in step S202 and electronic pen 300 is not used in step S204, it is expected that the user is performing a gesture operation. Therefore, in step S207 , the MPU 108 switches the output destination of the camera link function switching unit 111 to the gesture processing unit 113 . Subsequently, in step S208, the frame rate is increased and the resolution is decreased in order to accurately analyze the user's motion or to enhance the user's operational feeling. Although the frame rate is set to 30 fps and the resolution to 640×480 here, any frame rate or resolution that allows accurate analysis of the keystone distortion amount may be used. Subsequently, in step S209, the MPU 108 analyzes the user's motion. Further, when the analysis result indicates a gesture operation, the MPU 108 performs control according to the gesture operation.

ステップＳ２１０において、ＭＰＵ１０８は、ユーザがカメラ連携機能のうちキーストン補正を選択しているか否かを判定する。ユーザがキーストン補正を選択している場合、ステップＳ２１１へ進む。一方、ユーザがキーストン補正を選択していない場合、ステップＳ２０１へ戻る。 In step S210, the MPU 108 determines whether or not the user has selected keystone correction from among the camera link functions. If the user has selected keystone correction, the process proceeds to step S211. On the other hand, if the user has not selected keystone correction, the process returns to step S201.

ステップＳ２１１において、ＭＰＵ１０８は、キーストン補正が選択されていることに合わせて、カメラ連携機能切替部１１１の出力先をキーストン処理部１１２へ切り替える。続いてステップＳ２１２において、ＭＰＵ１０８は、キーストン歪み量を正確に解析するため、フレームレートを低くして解像度を高くする。ここでは、フレームレートを７．５ｆｐｓ、解像度を１２８０×１０２４に設定しているが、キーストン歪み量を正確に解析することが可能なフレームレートまたは解像度であればよい。続いてステップＳ２１３において、ＭＰＵ１０８はキーストン歪み量を解析し、キーストン補正を実行する。続いてステップＳ２１４において、ＭＰＵ１０８は、キーストン補正が終了したか否かを判定する。キーストン補正が終了した場合、ステップＳ２０１へ戻る。一方、キーストン補正が終了していない場合、ステップＳ２１３へ戻る。 In step S211, the MPU 108 switches the output destination of the camera linkage function switching unit 111 to the keystone processing unit 112 in accordance with the keystone correction being selected. Subsequently, in step S212, the MPU 108 lowers the frame rate and increases the resolution in order to accurately analyze the keystone distortion amount. Although the frame rate is set to 7.5 fps and the resolution to 1280×1024 here, any frame rate or resolution that allows accurate analysis of the keystone distortion amount may be used. Subsequently, in step S213, the MPU 108 analyzes the keystone distortion amount and performs keystone correction. Subsequently, in step S214, the MPU 108 determines whether or not the keystone correction has ended. If the keystone correction is finished, the process returns to step S201. On the other hand, if the keystone correction has not ended, the process returns to step S213.

なお本実施例において、カメラ連携機能はジェスチャー操作、キーストン補正、人検出、および、電子ペン操作に相当するインタラクティブ（電子黒板）があるが、これらに限定されるものではない。本実施例は、色ムラ補正、輝度補正、オートフォーカス、曲面補正、壁色補正、壁模様補正、色度調整、環境光補正、姿勢推定などの他のカメラ連携機能を有していてもよい。この場合、それぞれのカメラ連携機能に応じてフレームレート、解像度、画像データ圧縮（圧縮量または圧縮率）などのカメラ設定を変更することができる。例えば、内部メモリ１０８ａなどの記憶部は、複数種類の制御と撮像部１１０の設定との関係を示す情報（データテーブル）を記憶しており、ＭＰＵ１０８は、記憶部から撮像部１１０の設定に関する情報を読み出すことができる。 In this embodiment, the camera link function includes gesture operation, keystone correction, human detection, and interactive (electronic blackboard) equivalent to electronic pen operation, but is not limited to these. This embodiment may have other camera linkage functions such as color unevenness correction, brightness correction, autofocus, curved surface correction, wall color correction, wall pattern correction, chromaticity adjustment, ambient light correction, and orientation estimation. . In this case, camera settings such as frame rate, resolution, and image data compression (compression amount or compression rate) can be changed according to each camera link function. For example, a storage unit such as the internal memory 108a stores information (data table) indicating the relationship between a plurality of types of control and settings of the imaging unit 110, and the MPU 108 receives information on settings of the imaging unit 110 from the storage unit can be read.

このように各実施例において、ＭＰＵ１０８は、撮像部１１０により撮像された画像に基づいて複数種類の制御（カメラ連携機能）を行う。またＭＰＵ１０８は、複数種類の制御に応じて撮像部１１０の設定（カメラ設定）を行う。好ましくは、ＭＰＵ１０８は、撮像部１１０の設定として、撮像部１１０により撮像される画像のフレームレートを設定する。また好ましくは、ＭＰＵ１０８は、撮像部１１０の設定として、画像の解像度を変更する。また好ましくは、複数種類の制御は、少なくとも、第１の制御（例えばジェスチャー操作）と第２の制御（例えば、キーストン補正や、電子ペン３００を用いたインタラクティブ操作）とを含む。ＭＰＵ１０８は、第１の制御を行う場合、フレームレートを第１のフレームレート（例えば３０ｆｐｓ）に設定し、かつ解像度を第１の解像度（例えば６４０×４８０）に設定する。一方、ＭＰＵ１０８は、第２の制御を行う場合、フレームレートを第１のフレームレートよりも低い第２のフレームレート（例えば７．５ｆｐｓ）に設定し、かつ解像度を第１の解像度よりも高い第２の解像度（例えば１２８０×１０２４）に設定する。 Thus, in each embodiment, the MPU 108 performs multiple types of control (camera link function) based on the image captured by the imaging unit 110 . The MPU 108 also performs settings (camera settings) for the imaging unit 110 in accordance with multiple types of control. Preferably, the MPU 108 sets the frame rate of the image captured by the imaging unit 110 as the setting of the imaging unit 110 . Also preferably, the MPU 108 changes the resolution of the image as a setting of the imaging unit 110 . Also preferably, the plurality of types of control includes at least first control (eg, gesture operation) and second control (eg, keystone correction and interactive operation using electronic pen 300). When performing the first control, the MPU 108 sets the frame rate to the first frame rate (eg, 30 fps) and sets the resolution to the first resolution (eg, 640×480). On the other hand, when performing the second control, the MPU 108 sets the frame rate to a second frame rate lower than the first frame rate (for example, 7.5 fps) and sets the resolution to a second resolution higher than the first resolution. 2 resolution (eg 1280×1024).

好ましくは、ＭＰＵ１０８は、撮像部１１０の設定として、撮像部１１０により撮像される画像の圧縮量を設定する。また好ましくは、ＭＰＵ１０８は、撮像部１１０の設定として、画像の色情報の設定（色信号と輝度信号との両方（カラー画像信号）を出力するか、または、輝度信号のみ（白黒画像信号）を出力するかの設定）を行う。これにより、複数種類の制御に応じて、所定の通信容量の範囲内で画像データの通信を行うことができる。 Preferably, the MPU 108 sets the compression amount of the image captured by the imaging unit 110 as the setting of the imaging unit 110 . Further, preferably, the MPU 108, as the setting of the imaging unit 110, outputs the setting of the color information of the image (both the color signal and the luminance signal (color image signal), or outputs only the luminance signal (black-and-white image signal). output). Accordingly, image data communication can be performed within a predetermined communication capacity according to a plurality of types of control.

好ましくは、ＭＰＵ１０８は、撮像部１１０から出力される画像データの転送速度が所定の転送速度以下になるように撮像部１１０の設定を行う。より好ましくは、ＭＰＵ１０８は、撮像部１１０の設定として、撮像部１１０により撮像される画像のフレームレート、解像度、圧縮率、および、色情報の少なくとも一つを設定する。 Preferably, the MPU 108 sets the imaging unit 110 so that the transfer speed of image data output from the imaging unit 110 is equal to or lower than a predetermined transfer speed. More preferably, the MPU 108 sets at least one of the frame rate, resolution, compression rate, and color information of the image captured by the imaging unit 110 as the setting of the imaging unit 110 .

各実施例によれば、複数の種類のカメラ連携機能を適切なカメラ設定で利用可能な投射型表示装置およびその制御方法を提供することができる。 According to each embodiment, it is possible to provide a projection display device and a method of controlling the same that can use a plurality of types of camera cooperation functions with appropriate camera settings.

以上、本発明の好ましい実施例について説明したが、本発明はこれらの実施例に限定されず、その要旨の範囲内で種々の変形及び変更が可能である。 Although preferred embodiments of the present invention have been described above, the present invention is not limited to these embodiments, and various modifications and changes are possible within the scope of the gist.

１００投射型表示装置
１０８ＭＰＵ（制御部）
１１０撮像部 100 projection display device 108 MPU (control unit)
110 imaging unit

Claims

投射型表示装置であって、
撮像部と、
前記撮像部により撮像された画像に基づいて、ジェスチャー操作を解析するための第１の制御と、前記投射型表示装置と分離して設けられた外部装置を用いたインタラクティブ操作を解析するための第２の制御を行う制御部と、を有し、
前記制御部は、前記第１の制御または前記第２の制御に応じて、前記撮像部から出力される画像データの転送速度が所定の転送速度以下となるように、前記撮像部により撮像される前記画像のフレームレートまたは解像度の少なくとも一つの設定を行うことを特徴とする投射型表示装置。 A projection display device,
an imaging unit;
A first control for analyzing a gesture operation based on the image captured by the imaging unit, and a second control for analyzing an interactive operation using an external device provided separately from the projection display device. and a control unit that controls 2 ,
According to the first control or the second control, the control unit captures an image by the imaging unit so that the transfer speed of the image data output from the imaging unit is equal to or lower than a predetermined transfer speed. A projection display device , wherein at least one of frame rate and resolution of the image is set.

前記制御部は、
前記第１の制御を行う場合、前記画像のフレームレートを第１のフレームレートに設定し、かつ前記画像の解像度を第１の解像度に設定し、
前記第２の制御を行う場合、前記フレームレートを第１のフレームレートよりも低い第２のフレームレートに設定し、かつ前記解像度を第１の解像度よりも高い第２の解像度に設定することを特徴とする請求項１に記載の投射型表示装置。 The control unit
When performing the first control, setting the frame rate of the image to a first frame rate and setting the resolution of the image to a first resolution;
When performing the second control, setting the frame rate to a second frame rate lower than the first frame rate and setting the resolution to a second resolution higher than the first resolution. 2. A projection display device according to claim 1 .

前記第１の制御および前記第２の制御と前記設定との関係を示す情報を記憶する記憶部を更に有し、
前記制御部は、前記記憶部から前記設定に関する情報を読み出すことを特徴とする請求項１または２に記載の投射型表示装置。 further comprising a storage unit that stores information indicating the relationship between the first control and the second control and the setting ;
3. The projection display apparatus according to claim 1, wherein the control section reads out the information regarding the setting from the storage section.

投射型表示装置の制御方法であって、
ジェスチャー操作を解析するための第１の制御を設定するステップと、
撮像部から出力される画像データの転送速度が所定の転送速度以下となるように、前記撮像部により撮像される画像のフレームレートを第１のフレームレートに設定し、かつ前記画像の解像度を第１の解像度に設定するステップと、
前記投射型表示装置と分離して設けられた外部装置を用いたインタラクティブ操作を解析するための第２の制御を設定するステップと、
前記転送速度が前記所定の転送速度以下となるように、前記フレームレートを第１のフレームレートよりも低い第２のフレームレートに設定し、かつ前記解像度を第１の解像度よりも高い第２の解像度に設定するステップと、を有することを特徴とする投射型表示装置の制御方法。 A control method for a projection display device, comprising:
setting a first control for analyzing the gesture operation ;
setting a frame rate of an image captured by the imaging unit to a first frame rate and setting a resolution of the image to a first frame rate so that a transfer speed of image data output from the imaging unit is equal to or lower than a predetermined transfer speed; setting a resolution of 1;
setting a second control for analyzing an interactive operation using an external device provided separately from the projection display device ;
setting the frame rate to a second frame rate lower than the first frame rate and setting the resolution to a second frame rate higher than the first resolution so that the transfer rate is equal to or lower than the predetermined transfer rate ; and setting a resolution.