JP2011123580A - Indication input system and optical indication input device - Google Patents

Indication input system and optical indication input device Download PDF

Info

Publication number
JP2011123580A
JP2011123580A JP2009279132A JP2009279132A JP2011123580A JP 2011123580 A JP2011123580 A JP 2011123580A JP 2009279132 A JP2009279132 A JP 2009279132A JP 2009279132 A JP2009279132 A JP 2009279132A JP 2011123580 A JP2011123580 A JP 2011123580A
Authority
JP
Japan
Prior art keywords
liquid crystal
crystal display
display device
instruction input
light
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2009279132A
Other languages
Japanese (ja)
Inventor
Takeshi Yamaguchi
山口  剛
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sharp Corp
Original Assignee
Sharp Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sharp Corp filed Critical Sharp Corp
Priority to JP2009279132A priority Critical patent/JP2011123580A/en
Publication of JP2011123580A publication Critical patent/JP2011123580A/en
Pending legal-status Critical Current

Links

Images

Landscapes

  • Control Of Indicators Other Than Cathode Ray Tubes (AREA)
  • Position Input By Displaying (AREA)
  • Liquid Crystal Display Device Control (AREA)

Abstract

<P>PROBLEM TO BE SOLVED: To irradiate a liquid crystal display device with laser light (hereinafter described as light in short) from an optical indication input device (pointer) to make the liquid crystal display device detect an irradiation position as the indication input position, the liquid crystal display device detecting indication input on the basis of a result of output of an optical sensor in a display panel. <P>SOLUTION: A liquid crystal display device 10 has an optical sensor in a display panel and includes a function which turns a backlight (hereinafter BL) on and off and detects an indication input position on the basis of a difference in the output of the optical sensor between a state in which the BL is turned on and a state in which the BL is turned off. A pointer 30 irradiates the display panel with light to execute indication input. The pointer 30 has a light emission part which radiates the light, the optical sensor 34 which detects the illumination light of the BL from the display panel, and a memory which stores the blinking timing of the BL which is computed on the basis of the detected light. The pointer turns the light on and off in synchronization with the blinking of the BL to radiate the light to the display panel, and the liquid crystal display device 10 detects a light-radiated position, as the indication input position, on the basis of the output of the optical sensor of the display panel. <P>COPYRIGHT: (C)2011,JPO&INPIT

Description

本発明は、光センサ内蔵型液晶表示装置に対して光学式指示入力装置からレーザ光を照射し当該照射位置を指示入力位置として上記液晶表示装置が検出する指示入力システム及びその光学式指示入力装置に関する。   The present invention relates to an instruction input system in which a liquid crystal display device with a built-in optical sensor is irradiated with laser light from an optical instruction input device, and the liquid crystal display device detects the irradiation position as an instruction input position, and the optical instruction input device. About.

パーソナルコンピュータ(PC:Personal Computer)からの画像を大型のディスプレイに映しながら会議等で発表を行う際、レーザポインタが用いられている。このレーザポインタは、現在単に注目箇所を指し示すために用いられることが多いが、コンピュータ用のマウスのような指示入力装置としても機能するようになれば大変便利である。
このことに関し、画面をUSB(Universal Serial Bus)カメラで撮影し、画面上におけるレーザポインタの指示位置を認識し、レーザ光による指示位置が約1〜2秒程度動かなかった場合、当該位置に対してクリック操作がなされたものとして認識したりする「Afterglow」という商品がある。
A laser pointer is used to make a presentation at a conference or the like while displaying an image from a personal computer (PC) on a large display. This laser pointer is currently often used simply to point to a point of interest, but it is very convenient if it also functions as an instruction input device such as a mouse for a computer.
In this regard, if the screen is photographed with a USB (Universal Serial Bus) camera, the indicated position of the laser pointer on the screen is recognized, and if the indicated position by the laser beam does not move for about 1 to 2 seconds, There is a product “Afterglow” that is recognized as a click operation.

また、特許文献1には、各画素に光センサを設けた液晶ディスプレイが開示されている。この液晶ディスプレイでは、変調されたレーザ光のみを検出し、バックライトからの光等のそれ以外の光が光センサに入射したとしても「変調されたレーザ光が入射した」とは認識しない。この構成により、レーザポインタからの変調されたレーザ光がある画素の光センサで検出された場合、当該画素に対応する位置に対してクリック操作がなされたものとして認識するようにしている。   Patent Document 1 discloses a liquid crystal display in which an optical sensor is provided for each pixel. In this liquid crystal display, only the modulated laser light is detected, and even if other light such as light from the backlight is incident on the optical sensor, it is not recognized that “the modulated laser light is incident”. With this configuration, when a modulated laser beam from the laser pointer is detected by a photosensor of a pixel, it is recognized that a click operation has been performed on a position corresponding to the pixel.

また、近年では、液晶表示装置の表示パネル内にマトリクス状に光センサを設け、ユーザが画面に触れることによる入射光の光量変化を光センサで検知し、検知結果に基づき、表示パネルへのタッチ入力を検出するものが開発されている。このような液晶表示ディスプレイに対しても、「Afterglow」の技術や特許文献1に開示の技術を用いれば、レーザポインタをマウスのような指示入力装置として機能させることができる。   In recent years, optical sensors are provided in a matrix in the display panel of a liquid crystal display device, and the change in the amount of incident light caused by the user touching the screen is detected by the optical sensor. Based on the detection result, the display panel is touched. Something that detects input has been developed. Also for such a liquid crystal display, if the “Afterglow” technique or the technique disclosed in Patent Document 1 is used, the laser pointer can be made to function as an instruction input device such as a mouse.

特開2001−175413号公報JP 2001-175413 A

しかしながら、「Afterglow」の技術では、カメラから影になった箇所に対する操作は認識できないので、ディスプレイ全面を撮影できる位置にカメラを設置する必要があり、カメラとディスプレイの位置がずれると再設定が必要である。また、カメラを用いる場合、操作位置の検出精度は、カメラの画素数に依存するため、十分でないことがある。   However, since the “Afterglow” technology cannot recognize the operation of the shadowed area from the camera, it is necessary to install the camera at a position where the entire surface of the display can be photographed. It is. When using a camera, the detection accuracy of the operation position depends on the number of pixels of the camera and may not be sufficient.

また、特許文献1に開示の技術を用いる場合、上述の問題を回避できるが、指等によるタッチ操作の検出機構と、レーザ光による指示入力操作の検出機構とを、別々に液晶表示装置に組み込む必要があり、高コストとなる。また、この技術では、外光の影響を除くために、レーザポインタ側に変調機構を設ける必要があり、液晶表示装置側には変調されたレーザ光を他の光と識別する機構を設ける必要があった。   In addition, when the technique disclosed in Patent Document 1 is used, the above-described problem can be avoided, but a detection mechanism for a touch operation with a finger or the like and a detection mechanism for an instruction input operation with a laser beam are separately incorporated in a liquid crystal display device. It is necessary and expensive. In this technique, in order to eliminate the influence of external light, it is necessary to provide a modulation mechanism on the laser pointer side, and it is necessary to provide a mechanism for discriminating the modulated laser light from other light on the liquid crystal display device side. there were.

本発明は、上述のような実情に鑑みてなされたものであり、その目的は、表示パネルに内蔵された光センサからの出力結果に基づいてタッチ入力を検出する液晶表示装置に対して光学式指示入力装置からレーザ光を照射し当該照射位置を指示入力位置として液晶表示装置が検出する指示入力システム及びその光学式指示入力装置を提供することにある。   The present invention has been made in view of the above circumstances, and an object thereof is optical with respect to a liquid crystal display device that detects a touch input based on an output result from an optical sensor incorporated in a display panel. An object of the present invention is to provide an instruction input system in which a liquid crystal display device detects a laser beam from an instruction input device and detects the irradiation position as an instruction input position, and an optical instruction input device thereof.

上記課題を解決するために、本発明の第1の技術手段は、表示パネルの内部前面に光センサを有し、前記表示パネルのバックライトを所定の周期で点滅させ該バックライトの点灯時及び消灯時における前記光センサの出力の差分に基づき、前記表示パネル上の指示入力位置を検出する機能を備えた液晶表示装置と、該液晶表示装置の表示パネルに対してレーザ光を照射して指示入力を行う光学式指示入力装置と、を含む指示入力システムであって、前記光学式指示入力装置が、前記レーザ光を照射する発光部と、前記液晶表示装置の前記表示パネルからの前記バックライトの照光を検出する光センサと、該光センサでの検出光に基いて算出した前記液晶表示装置のバックライトの点滅タイミングを記憶するメモリと、を有し、前記記憶した点滅タイミングに基いて、前記レーザ光を前記バックライトの点滅と同期して点滅させて前記液晶表示装置の表示パネルに照射し、前記液晶表示装置が、前記レーザ光の照射の際の前記表示パネルの光センサの出力に基いて、前記レーザ光の照射位置を判定し、前記指示入力位置として検出することを特徴としたものである。   In order to solve the above-mentioned problem, the first technical means of the present invention has a light sensor on the inner front surface of the display panel, and blinks the backlight of the display panel at a predetermined cycle. A liquid crystal display device having a function of detecting an instruction input position on the display panel based on a difference in output of the optical sensor when the light is turned off, and an instruction by irradiating a laser beam to the display panel of the liquid crystal display device An instruction input system including an optical instruction input device that performs input, wherein the optical instruction input device emits the laser light and the backlight from the display panel of the liquid crystal display device An optical sensor that detects the illumination of the liquid crystal, and a memory that stores the flashing timing of the backlight of the liquid crystal display device calculated based on the light detected by the optical sensor. Based on the timing, the laser light is blinked in synchronization with the blinking of the backlight and is irradiated to the display panel of the liquid crystal display device, and the liquid crystal display device is irradiated with the laser light. Based on the output of the optical sensor, the irradiation position of the laser beam is determined and detected as the instruction input position.

本発明の第2の技術手段は、第1の技術手段において、前記光学式指示入力装置が、さらに、特定の波長及び/又はパターンのレーザ光である特定レーザ光を前記バックライトの点滅と同期して点滅させて前記液晶表示装置の表示パネルに照射する特定レーザ光源を有し、前記液晶表示装置が、前記特定レーザ光の照射の際の前記光センサの出力に基いて、前記光学式指示入力装置からの前記特定レーザ光の照射位置を判定し、特定指示入力位置として検出することを特徴としたものである。   According to a second technical means of the present invention, in the first technical means, the optical instruction input device further synchronizes a specific laser beam, which is a laser beam having a specific wavelength and / or pattern, with blinking of the backlight. A specific laser light source that flashes and irradiates the display panel of the liquid crystal display device, and the liquid crystal display device is configured to display the optical indication based on an output of the photosensor when the specific laser light is irradiated. The irradiation position of the specific laser beam from the input device is determined and detected as a specific instruction input position.

本発明の第3の技術手段は、第1の技術手段のシステムにおける光学式指示入力装置であって、液晶表示装置の表示パネルからのバックライトの照光を検出する光センサと、該光センサでの検出光に基いて算出した前記液晶表示装置のバックライトの点滅タイミングを記憶するメモリと、を有し、前記記憶した点滅タイミングに基いて、前記レーザ光を前記バックライトの点滅と同期して点滅させて前記液晶表示装置の表示パネルに照射することを特徴としたものである。   According to a third technical means of the present invention, there is provided an optical instruction input device in the system of the first technical means, the optical sensor for detecting the illumination of the backlight from the display panel of the liquid crystal display device, and the optical sensor. A memory for storing the flashing timing of the backlight of the liquid crystal display device calculated based on the detected light of the laser, and based on the flashing timing stored, the laser beam is synchronized with the flashing of the backlight The display panel of the liquid crystal display device is illuminated with flashing light.

本発明の第4の技術手段は、第2の技術手段のシステムにおける光学式指示入力装置であって、液晶表示装置の表示パネルからのバックライトの照光を検出する光センサと、該光センサでの検出光に基いて算出した前記液晶表示装置のバックライトの点滅タイミングを記憶するメモリと、を有し、前記記憶した点滅タイミングに基いて、前記レーザ光を前記バックライトの点滅と同期して点滅させて前記液晶表示装置の表示パネルに照射し、さらに、特定の波長及び/又はパターンのレーザ光である特定レーザ光を前記バックライトの点滅と同期して点滅させて前記液晶表示装置の表示パネルに照射する特定レーザ光源を有することを特徴としたものである。   According to a fourth technical means of the present invention, there is provided an optical instruction input device in the system of the second technical means, an optical sensor for detecting backlight illumination from a display panel of a liquid crystal display device, and the optical sensor. A memory for storing the flashing timing of the backlight of the liquid crystal display device calculated based on the detected light of the laser, and based on the flashing timing stored, the laser beam is synchronized with the flashing of the backlight Flashing and irradiating the display panel of the liquid crystal display device, and further flashing specific laser light, which is laser light having a specific wavelength and / or pattern, in synchronization with the flashing of the backlight. A specific laser light source for irradiating the panel is provided.

本発明の第5の技術手段は、第3または第4の技術手段において、前記レーザ光を前記バックライトの点滅と同期して点滅させる点滅モードと前記レーザ光を常時点灯させる点灯モードとの間でモードを切替えるモード切替スイッチを有することを特徴としたものである。   According to a fifth technical means of the present invention, in the third or fourth technical means, between the blinking mode in which the laser light blinks in synchronization with the blinking of the backlight and the lighting mode in which the laser light is always lit. And a mode changeover switch for changing over the mode.

本発明の光学式指示入力装置によれば、操作位置検出をカメラを用いずに液晶表示パネル内の光センサを用いて行っているので、カメラを用いる場合に比べ、精度高く上記検出を行うことができる。   According to the optical instruction input device of the present invention, since the operation position is detected using the optical sensor in the liquid crystal display panel without using the camera, the above detection can be performed with higher accuracy than when using the camera. Can do.

本発明の光学式指示入力装置の一例が適用される指示入力システムを説明する図である。It is a figure explaining the instruction | indication input system with which an example of the optical instruction | indication input device of this invention is applied. 図1の指示入力システムを構成する液晶表示装置を説明する図である。It is a figure explaining the liquid crystal display device which comprises the instruction | indication input system of FIG. 図2の液晶表示装置でのタッチ位置検出方法を説明する図である。It is a figure explaining the touch position detection method in the liquid crystal display device of FIG. 本発明の光学式指示入力装置の一例の概略を説明する機能ブロック図である。It is a functional block diagram explaining the outline of an example of the optical instruction | indication input device of this invention. 図4の光学式指示入力装置からのレーザ光を図2の液晶表示装置に向けたときにタッチ入力として検出される様子を説明する図であるFIG. 5 is a diagram for explaining how the laser light from the optical instruction input device of FIG. 4 is detected as a touch input when the laser light is directed to the liquid crystal display device of FIG. 2. 図4の光学式指示入力装置の処理例を説明するフローチャートである。It is a flowchart explaining the process example of the optical instruction | indication input device of FIG. 本発明の光学式指示入力装置の他の例が適用される指示入力システムを構成する液晶表示装置を説明する図である。It is a figure explaining the liquid crystal display device which comprises the instruction | indication input system with which the other example of the optical instruction | indication input device of this invention is applied. 本発明の光学式指示入力装置の他の例の概略を説明する図である。It is a figure explaining the outline of the other example of the optical instruction | indication input device of this invention. 図8の光学式指示入力装置の処理例を説明するフローチャートである。It is a flowchart explaining the process example of the optical instruction | indication input device of FIG.

図1は、本発明の光学式指示入力装置が適用される指示入力システムを説明する図である。図1の指示入力システム1は、内蔵する光センサからの出力に基づくタッチ操作検出機能を有する液晶表示装置10と、該表示装置10と接続され該表示装置を表示/入力装置とするパーソナルコンピュータ(PC)等の情報処理装置20と、レーザ光により液晶表示装置10に指示入力可能な光学式指示入力装置30と、を備える。この指示入力システム1では、液晶表示装置10が、ユーザが表示パネル11のある位置をタッチしたときに当該位置をタッチ位置として検出するだけでなく、光学式指示入力装置30からのレーザ光をタッチパネル11のある位置に向けたときに当該位置をタッチ位置として検出し、その情報を情報処理装置20に伝える。情報処理装置20は、例えば、その情報に基づき、マウスカーソルを液晶表示装置10の対応する位置に表示させる。   FIG. 1 is a diagram for explaining an instruction input system to which an optical instruction input device of the present invention is applied. An instruction input system 1 in FIG. 1 includes a liquid crystal display device 10 having a touch operation detection function based on an output from a built-in optical sensor, and a personal computer (connected to the display device 10 and using the display device as a display / input device). And an optical instruction input device 30 capable of inputting instructions to the liquid crystal display device 10 by laser light. In this instruction input system 1, the liquid crystal display device 10 not only detects the position as a touch position when the user touches a position on the display panel 11, but also touches the laser beam from the optical instruction input device 30 with a touch panel. 11 is detected as a touch position, and the information is transmitted to the information processing apparatus 20. The information processing apparatus 20 displays a mouse cursor at a corresponding position on the liquid crystal display device 10 based on the information, for example.

まず、タッチ操作検出機能を有する液晶表示装置10について、図2及び図3を用いて説明する。図2(A)は、液晶表示装置の要部の物理的な構造の概略を説明する図で、図2(B)は、同装置の機能的な構成を説明する機能ブロック図である。図3は、本液晶表示装置でのタッチ位置検出方法を説明する図である。   First, the liquid crystal display device 10 having a touch operation detection function will be described with reference to FIGS. FIG. 2A is a diagram illustrating an outline of a physical structure of a main part of the liquid crystal display device, and FIG. 2B is a functional block diagram illustrating a functional configuration of the device. FIG. 3 is a diagram for explaining a touch position detection method in the present liquid crystal display device.

液晶表示装置10は、図2(A)で例示するように、2枚の透明基板の間に液晶が充填された表示パネル11と、表示パネル11の背面側から光を照射するバックライト12と、を備え、表示パネル11の内部前面には光センサ11aが画素毎に設けられている。また、液晶表示装置10は、図2(B)に示すように、表示パネル11に表示する画像を制御する表示制御部13aと、光センサ11aからの出力信号を処理してタッチ入力を検出するタッチ入力検出部13bと、所定のタイミングでバックライト12のON/OFFを切替えるバックライト制御部13cと、を有する制御部13を更に備える。   As illustrated in FIG. 2A, the liquid crystal display device 10 includes a display panel 11 in which liquid crystal is filled between two transparent substrates, and a backlight 12 that emits light from the back side of the display panel 11. , And an optical sensor 11a is provided for each pixel on the inner front surface of the display panel 11. Further, as shown in FIG. 2B, the liquid crystal display device 10 detects a touch input by processing an output signal from the display control unit 13a for controlling an image displayed on the display panel 11 and the optical sensor 11a. The apparatus further includes a control unit 13 having a touch input detection unit 13b and a backlight control unit 13c that switches ON / OFF of the backlight 12 at a predetermined timing.

この液晶表示装置10では、ユーザが表示パネル11上に指を置くと、指や手に対応した部分において、光センサ11aに入射される外光(周囲光)が遮断され、バックライト12からの光が反射して光センサ11aに入射され、それ以外の部分では、外光のみが光センサ11aに入射される。したがって、表示パネル11上のユーザの指や手に対応した部分と他の部分とで、光センサ11aが検出する光に輝度差が生じるので、この原理に基づき、液晶表示装置10のタッチ入力検出入力部13bでは光センサ11aからの出力に基づいてタッチ入力を検出している。   In this liquid crystal display device 10, when a user places a finger on the display panel 11, external light (ambient light) incident on the optical sensor 11 a is blocked at a portion corresponding to the finger or hand, and the light from the backlight 12 is blocked. The light is reflected and incident on the optical sensor 11a, and only the outside light is incident on the optical sensor 11a in other portions. Accordingly, a difference in luminance occurs between the portion corresponding to the user's finger or hand on the display panel 11 and the other portion, so that the light detected by the optical sensor 11a has a difference in luminance. Based on this principle, the touch input detection of the liquid crystal display device 10 is performed. The input unit 13b detects a touch input based on the output from the optical sensor 11a.

また、液晶表示装置10は、タッチ入力の検出のため、上述のように所定のタイミングでバックライト12のON/OFFを切替えている。これは、切替えずにバックライト12を常時ONにする場合、以下のように、環境によってはタッチ位置を検出できない恐れがあるからである。すなわち、外光が無い環境(暗室等)では、光センサ11aからの出力信号に基づいて得られる画像は、図3(A)の画像A1のように、ユーザの指や手に対応した部分と他の部分との輝度差が大きいので、この輝度差に基づき、容易にタッチ位置を判断できる。それに対し、外光が多く存在する環境(非常に明るい環境)では、得られる画像が、図の画像A2のように、画像全体の輝度が高いものとなってしまうため、輝度差に基づいてタッチ位置を判断することが難しく検出できない恐れがある。   Further, the liquid crystal display device 10 switches ON / OFF of the backlight 12 at a predetermined timing as described above in order to detect touch input. This is because when the backlight 12 is always turned on without switching, the touch position may not be detected depending on the environment as described below. That is, in an environment where there is no external light (such as a dark room), an image obtained based on an output signal from the optical sensor 11a is a portion corresponding to a user's finger or hand, such as an image A1 in FIG. Since the luminance difference with other parts is large, the touch position can be easily determined based on this luminance difference. On the other hand, in an environment where there is a lot of external light (very bright environment), the resulting image has a high brightness as shown in the image A2 in the figure, so that the touch is based on the brightness difference. It may be difficult to detect the position and cannot be detected.

そこで、液晶表示装置10では、バックライト12のON/OFFを切替えて点滅させ、タッチ入力検出部13bが、バックライト点灯時の光センサ11aからの出力に基づき図3(B)の画像B1を取得し、バックライト消灯時の光センサ11aからの出力に基づき画像B2を取得する。そして、これら画像B1,B2の差分画像B3を作成し、当該画像B3における輝度差に基づいて、タッチ位置を認識する。このような構成により、外光があってもタッチ位置を検出できるようになっている。
なお、上述では、光センサがカラー非対応のものであるものとして説明しているが、光センサがカラー対応のもの、例えばRGBカラー対応のものであったとしても、各色成分について差分画像を作成し、該作成した差分画像を合成し、その合成画像からタッチ位置を認識することができる。
Therefore, in the liquid crystal display device 10, the backlight 12 is switched ON / OFF to blink, and the touch input detection unit 13 b displays the image B <b> 1 in FIG. 3B based on the output from the light sensor 11 a when the backlight is lit. The image B2 is acquired based on the output from the optical sensor 11a when the backlight is turned off. And the difference image B3 of these images B1 and B2 is created, and the touch position is recognized based on the luminance difference in the image B3. With such a configuration, the touch position can be detected even when there is external light.
In the above description, the optical sensor is described as being incompatible with color, but even if the optical sensor is compatible with color, for example, RGB color, a difference image is created for each color component. Then, the created difference image can be synthesized, and the touch position can be recognized from the synthesized image.

続いて、光学式指示入力装置30について、図1及び図2を参照し、図4及び図5を用いて説明する。図4は、光学式指示入力装置30の概略を説明する機能ブロック図、図5は、光学式指示入力装置30からのレーザ光を液晶表示装置10に向けたときにタッチ入力として検出される様子を説明する図である。   Next, the optical instruction input device 30 will be described with reference to FIGS. 4 and 5 with reference to FIGS. FIG. 4 is a functional block diagram for explaining the outline of the optical instruction input device 30, and FIG. 5 shows a state detected as a touch input when the laser light from the optical instruction input device 30 is directed to the liquid crystal display device 10. FIG.

光学式指示入力装置30は、図4に示すように、レーザ光を出射する発光部31と、該発光部31を制御する発光制御部32と、を備え、発光制御部32の制御により、発光部31が本発明の特徴的な動作をする。すなわち液晶表示装置10のバックライト12(図1参照)の点滅タイミングに合わせてレーザ光を出射する(点滅させる)。より詳細には、光学式指示入力装置30は、液晶表示装置10のバックライト12が点灯している間はレーザ光を点灯し、バックライトが消灯している間はレーザ光も消灯する。   As shown in FIG. 4, the optical instruction input device 30 includes a light emitting unit 31 that emits laser light and a light emission control unit 32 that controls the light emitting unit 31, and emits light under the control of the light emission control unit 32. The unit 31 performs a characteristic operation of the present invention. That is, the laser beam is emitted (flashes) in accordance with the flashing timing of the backlight 12 (see FIG. 1) of the liquid crystal display device 10. More specifically, the optical instruction input device 30 turns on the laser beam while the backlight 12 of the liquid crystal display device 10 is turned on, and turns off the laser beam while the backlight is turned off.

また、光学式指示入力装置30は、バックライト12の点滅タイミングに合わせたレーザ光の点滅タイミングを決定するために、光センサ部33、メモリ34、クロック35、周波数演算部36を備えている。これら構成部33〜36の動作について、つまり、レーザ光の点滅タイミングの決定方法については後述する。さらに、光学式指示入力装置30は、当該装置30の電源のON/OFFをトグル方式で切替える電源スイッチ37a(図1参照)、レーザ光の点滅タイミングを決定する読取りモードとレーザ光を出射する通常モードとをトグル方式で切替えるモード切替スイッチ37b、後述の点滅スイッチ37cを含む操作部37を備える。   The optical instruction input device 30 includes an optical sensor unit 33, a memory 34, a clock 35, and a frequency calculation unit 36 in order to determine the flashing timing of the laser light in accordance with the flashing timing of the backlight 12. The operation of these components 33 to 36, that is, a method for determining the flashing timing of the laser light will be described later. Further, the optical instruction input device 30 has a power switch 37a (see FIG. 1) for switching ON / OFF of the power supply of the device 30 by a toggle method, a reading mode for determining the flashing timing of the laser beam, and a normal emitting laser beam. An operation unit 37 including a mode switching switch 37b for switching between modes by a toggle method and a flashing switch 37c described later is provided.

光学式指示入力装置30と異なりレーザ光を常時点灯させる従来のレーザポインタを液晶表示装置10のある位置に向けた場合、図5に示すように、液晶表示装置10が得るバックライト点灯時の画像C1とバックライト消灯時の画像C2の両方にレーザスポットが現れ、その差分画像C3ではレーザスポットが消えてしまうため、液晶表示装置10では、従来のレーザポインタが向けられた位置をタッチ位置として検出できない。
それに対し、光学式指示入力装置30では、上述のように、バックライト12の点滅タイミングに合わせてレーザ光を点滅させるので、当該入力装置30を液晶表示装置10のある位置に向けた場合、液晶表示装置10が得るバックライト点灯時の画像D1にのみレーザスポットが現れ、バックライト消灯時の画像D2にはレーザスポットが現れないので、その差分画像D3には、レーザスポットが残る。そのため、液晶表示装置10では、光学式指示入力装置30が向けられた位置をタッチ位置として検出できる。これにより、液晶表示装置10が、光学式指示入力装置30が向けられた位置にマウスカーソルを表示でき、光学式指示入力装置30が向けられる位置が動かされると、それに合わせて、マウスカーソルが動くように表示できる。
Unlike the optical instruction input device 30, when a conventional laser pointer that always turns on laser light is directed to a certain position of the liquid crystal display device 10, as shown in FIG. Since the laser spot appears in both C1 and the image C2 when the backlight is turned off, and the laser spot disappears in the difference image C3, the liquid crystal display device 10 detects the position where the conventional laser pointer is pointed as the touch position. Can not.
On the other hand, in the optical instruction input device 30, as described above, the laser light blinks in accordance with the blinking timing of the backlight 12, so that when the input device 30 is directed to a certain position of the liquid crystal display device 10, liquid crystal Since the laser spot appears only in the image D1 when the backlight is turned on and the image D2 does not appear when the backlight is turned off, the laser spot remains in the difference image D3. Therefore, in the liquid crystal display device 10, the position where the optical instruction input device 30 is directed can be detected as the touch position. As a result, the liquid crystal display device 10 can display the mouse cursor at the position to which the optical instruction input device 30 is directed. When the position to which the optical instruction input device 30 is directed is moved, the mouse cursor moves accordingly. Can be displayed.

このように、光学式指示入力装置30がバックライト12の点滅タイミングに合わせてレーザ光を点滅させるので、当該装置30を用いた液晶表示装置10に対する操作を、液晶表示装置10の指等によるタッチ操作に対するソフトウェアを含む検出機構によって検出できる。そのため、タッチ操作検出機構と別に光学式指示入力装置30を用いた操作の検出機構を液晶表示装置10に設ける必要がないので、液晶表示装置10が高価になるのを防ぐことができる。また、レーザ光を用いているので、光学式指示入力装置30と液晶表示装置10との距離が大きくても、光学式指示入力装置30を機能させることができる。   As described above, since the optical instruction input device 30 blinks the laser light in synchronization with the blinking timing of the backlight 12, the operation on the liquid crystal display device 10 using the device 30 is touched with a finger or the like of the liquid crystal display device 10. It can be detected by a detection mechanism that includes software for the operation. For this reason, it is not necessary to provide an operation detection mechanism using the optical instruction input device 30 in addition to the touch operation detection mechanism in the liquid crystal display device 10, so that the liquid crystal display device 10 can be prevented from becoming expensive. Further, since the laser beam is used, the optical instruction input device 30 can function even when the distance between the optical instruction input device 30 and the liquid crystal display device 10 is large.

なお、光学式指示入力装置30が常時点灯(連続点灯)する通常のレーザポインタとしても使用でき、必要な時に点滅して液晶表示装置10に対する指示入力装置として使用できることが好ましい。前述の図1の点滅スイッチ37cは、常時点灯モードと点滅モードの切替えのためのものである。光学式指示入力装置30は、点滅スイッチ37cが押されている間のみ、点滅モードとなる。これにより、例えば、常時点滅しているのでは狙った位置を最初に指示するのは難しいという問題も解決できる。   The optical instruction input device 30 can be used as a normal laser pointer that is always lit (continuously lit), and preferably flashes when necessary and used as an instruction input device for the liquid crystal display device 10. The blinking switch 37c in FIG. 1 described above is for switching between the always-on mode and the blinking mode. The optical instruction input device 30 is in the blink mode only while the blink switch 37c is being pressed. As a result, for example, it is possible to solve the problem that it is difficult to first indicate the target position if it is constantly flashing.

続いて、光学式指示入力装置30におけるレーザ光の点滅タイミングの決定方法の例について説明する。点滅タイミングの決定(設定)は、点滅モードで使用される前に、以下のようにして行われる。
光学式指示入力装置30は、電池が入れられると(主電源がONになると)、クロック35が動作を開始する。ユーザは、光学式指示入力装置30の光センサ部33を液晶表示装置10のタッチパネル12に接触させた状態で、モード切替スイッチ37bを読取モードに設定し電源スイッチ37aをONにする。すると、光学式指示入力装置30は、光センサ部33を動作させ、例えば、光センサ部33に接触しているタッチパネル12の面の光量(0〜255の値で示される)を1msごとに1回ずつ1000回(1秒分)読取り、メモリ34に保存する。そして、保存したデータを周波数演算部36にて高速フーリエ変換して解析し、明暗変化の周波数、点灯開始時間、消灯開始時間を求める。
Next, an example of a method for determining the blinking timing of the laser light in the optical instruction input device 30 will be described. The determination (setting) of the blinking timing is performed as follows before being used in the blinking mode.
In the optical instruction input device 30, when the battery is inserted (when the main power supply is turned on), the clock 35 starts operating. In a state where the optical sensor unit 33 of the optical instruction input device 30 is in contact with the touch panel 12 of the liquid crystal display device 10, the user sets the mode switch 37b to the reading mode and turns on the power switch 37a. Then, the optical instruction input device 30 operates the optical sensor unit 33 and, for example, the light amount (indicated by a value of 0 to 255) of the surface of the touch panel 12 that is in contact with the optical sensor unit 33 is 1 every 1 ms. Read 1000 times (1 second) and save in memory 34. The stored data is analyzed by fast Fourier transform in the frequency calculation unit 36, and the frequency of light-dark change, lighting start time, and light extinguishing start time are obtained.

例えば、解析結果として、メインの周波数成分が100Hzであり、点灯時間(値が連続して128以上を保つ時間)および消灯時間(値が連続して128未満を保つ時間)の平均値がそれぞれ4000μs、6000μsであり、クロック35でいうと2分20秒+20000μsの時点から点灯を開始しており、現在が2分30秒+21000μsであったとなった場合は、タイムアップ間隔を(1/100hz)=10000μsとして保存し、点灯タイマは(20000−21000+10000=)9000μs後に開始、消灯タイマは(9000+4000=)13000μs後に開始としてタイマを開始する。各タイマはタイムアップ間隔ごとにタイムアップ割り込みを発生させる。タイマが開始した後で電源は自動的にOFFになるが、主電源がONの間はタイマは回り続ける。   For example, as an analysis result, the main frequency component is 100 Hz, and the average values of the lighting time (time for which the value is continuously maintained at 128 or more) and the light-off time (time for which the value is continuously maintained at less than 128) are each 4000 μs. When the clock 35 is 2 minutes 20 seconds + 20000 μs and the current time is 2 minutes 30 seconds + 21000 μs, the time-up interval is set to (1/100 hz) = The timer is started as 9000 μs, the lighting timer starts after (20000−21000 + 10000 =) 9000 μs, and the extinguishing timer starts as (9000 + 4000 =) 13000 μs. Each timer generates a time-up interrupt at every time-up interval. The power supply is automatically turned off after the timer starts, but the timer continues to rotate while the main power supply is on.

そして、上述のように点滅タイミングを設定した光学式指示入力装置30について、ユーザが、モード切替スイッチ37bを通常モードに設定し、電源スイッチ37aをONにし点滅スイッチ37cを押す(ONに保つ)と、発光制御部32が、上記タイムアップ割り込みを検知するようになり、点灯タイムアップ割り込みがくれば点灯、消灯タイムアップ割り込みがくれば消灯を行う。各タイムアップ割り込みは、実際に検知した液晶表示装置10のバックライト12の点滅周期に基づいて周期的に発生するよう設定されているため、レーザの点滅周期がバックライト12の点滅周期と同期する。   Then, with respect to the optical instruction input device 30 in which the blinking timing is set as described above, when the user sets the mode changeover switch 37b to the normal mode, turns on the power switch 37a and presses the blinking switch 37c (keep ON). The light emission control unit 32 detects the time-up interrupt, and turns on when the lighting time-up interrupt occurs and turns off when the light-up time-up interrupt occurs. Since each time-up interrupt is set to be periodically generated based on the actually detected flashing period of the backlight 12 of the liquid crystal display device 10, the laser flashing period is synchronized with the flashing period of the backlight 12. .

次に、図6を用いて、光学式指示入力装置30の処理例を説明する。
光学式指示入力装置30は、電池が入れられ主電源がONされクロック35が動作を開始すると、電源がONとなっているか否か判定する(ステップS1)。
電源ONになっていた場合(YESの場合)、設定されている動作モードを判定する(ステップS2)。モード切替スイッチ37bにより読取りモードが設定されている場合、レーザが点灯されていれば消灯したうえで、光センサ部33が、保存データ数を0に設定し動作を開始する(ステップS3)。ステップS4では、光センサ部33で光量値を読み取り(測定し)、測定時刻とともにメモリ34に保存し、保存データ数を1つ加算し、光量値を周期的に測定するための周期タイマをリセットする。この例では、周期タイマ1msごとにタイムアップ割り込みを発生させるものとする。
Next, a processing example of the optical instruction input device 30 will be described with reference to FIG.
When the battery is inserted, the main power supply is turned on, and the clock 35 starts operating, the optical instruction input device 30 determines whether or not the power supply is turned on (step S1).
If the power is on (YES), the set operation mode is determined (step S2). When the reading mode is set by the mode switch 37b, the laser is turned off if the laser is turned on, and the optical sensor unit 33 sets the number of stored data to 0 and starts the operation (step S3). In step S4, the light sensor unit 33 reads (measures) the light amount value, stores it in the memory 34 together with the measurement time, adds one to the number of stored data, and resets the periodic timer for periodically measuring the light amount value. To do. In this example, a time-up interrupt is generated every 1 ms of the periodic timer.

ステップS5では、保存データ数が1000以上となったか否か判定する。なっていなければ(NOの場合)、周期タイマ割り込みが発生したか否か判定する(ステップS6)。発生していない場合(NOの場合)、ステップS6に戻り、発生した場合(YESの場合)、ステップS4に戻る。   In step S5, it is determined whether the number of stored data has reached 1000 or more. If not (NO), it is determined whether or not a periodic timer interrupt has occurred (step S6). If it has not occurred (in the case of NO), the process returns to step S6. If it has occurred (in the case of YES), the process returns to step S4.

ステップS6において、YESの場合、すなわち、光センサ部33での1msごとに1回ずつ1000回の光量の読み取りを終えた場合、周波数演算部36が、明暗変化の周波数(タイムアップ間隔)、消灯開始時間、点灯開始時間を計算し、メモリ34に保存し、発光制御部32が、計算された消灯開始時間,点灯開始時間に点灯タイマ,消灯タイマを開始し、電源をOFFに設定し(ステップS7)、ステップS1に戻る。   In step S6, in the case of YES, that is, when the light sensor unit 33 has finished reading the light quantity once every 1 ms, the frequency calculation unit 36 turns off the frequency of the light / dark change (time-up interval) and turns off. The start time and the lighting start time are calculated and stored in the memory 34, and the light emission control unit 32 starts the lighting timer and the lighting timer at the calculated lighting start time and lighting start time, and sets the power supply to OFF (step S7), returning to step S1.

一方、ステップS2において、動作モードが通常モードに設定されていると判定された場合、発光モードの設定を判定する(ステップS8)。点滅スイッチONが押されており点滅モードが設定されている場合は、発光制御部32が、発光部31を制御してレーザを点灯させ(ステップS9)、そして、消灯タイムアップ割り込みが発生したか否か判定する(ステップS10)。発生していない場合(NOの場合)、ステップS10に戻る。発生していた場合(YESの場合)、発光部31を制御してレーザを消灯させ(ステップS11)、点灯タイムアップ割り込みが発生したか否か判定する(ステップS12)。発生していない場合(NOの場合)、処理はステップS12に戻り、発生していた場合(YESの場合)、ステップS1に戻る。このような処理をすることにより、光学式指示入力装置30のレーザの点滅周期と液晶表示装置10のバックライト12の点滅周期を同期させることができるので、光学式指示入力装置30によるレーザスポットの位置をタッチ位置として液晶表示装置10に認識させ、当該位置にマウスカーソルを表示させることができる。   On the other hand, when it is determined in step S2 that the operation mode is set to the normal mode, the setting of the light emission mode is determined (step S8). If the blinking switch ON is pressed and the blinking mode is set, the light emission control unit 32 controls the light emitting unit 31 to turn on the laser (step S9), and whether an extinguishing time-up interrupt has occurred. It is determined whether or not (step S10). If not (NO), the process returns to step S10. If it has occurred (in the case of YES), the light emitting unit 31 is controlled to turn off the laser (step S11), and it is determined whether a lighting time-up interrupt has occurred (step S12). If it has not occurred (NO), the process returns to step S12. If it has occurred (YES), the process returns to step S1. By performing such processing, the blinking cycle of the laser of the optical instruction input device 30 and the blinking cycle of the backlight 12 of the liquid crystal display device 10 can be synchronized. The position can be recognized by the liquid crystal display device 10 as a touch position, and a mouse cursor can be displayed at the position.

また、ステップS8において、点滅スイッチ37cが押されておらず、常時点灯モードが設定されている場合は、発光制御部32で発光部31を制御しレーザを点灯させる(ステップS13)。その後、処理はステップS1に戻る。
ステップS1において、電源OFFの場合(NOの場合)、レーザが点灯されているか否か判定し(ステップS14)、点灯されている場合(YESの場合)、発光制御部32で発光部31を制御しレーザを消灯させて(ステップS15)、ステップS1に処理を戻し、点灯されていない場合(ステップS14,NOの場合)、そのままステップS1に処理を戻す。
In step S8, when the blinking switch 37c is not pressed and the constant lighting mode is set, the light emission control unit 32 controls the light emitting unit 31 to turn on the laser (step S13). Thereafter, the process returns to step S1.
In step S1, when the power is OFF (in the case of NO), it is determined whether or not the laser is turned on (step S14). When the laser is turned on (in the case of YES), the light emission control unit 32 controls the light emitting unit 31. Then, the laser is turned off (step S15), and the process returns to step S1, and if it is not lit (NO in step S14), the process returns to step S1 as it is.

続いて、本発明の光学式指示入力装置の他の例について説明する。本例の光学式指示入力装置は、例えば、図2の液晶表示装置10と同様のタッチ操作検出機能を有する図7の後述の液晶表示装置10’と、該液晶表示装置10’と接続され該液晶表示装置を表示/入力装置とする情報処理装置と、を含むシステムに適用される。このシステムでは、本例の光学式指示入力装置が液晶表示装置10’のバックライト12の点滅に同期して赤色または青色のレーザ光を点滅させることができるようになっており、液晶表示装置10’が、本例の光学式指示入力装置からの同期赤色レーザ光が表示パネル11’のある位置に向けられたときに当該位置をタッチ位置(左クリック位置)として検出し、その情報を情報処理装置に伝える。また、液晶表示装置10’が、同期青色レーザ光が表示パネル11’のある位置に向けられたときに当該位置をタッチ位置(右クリック位置)として検出し、その情報を情報処理装置に伝える。情報処理装置20は、左クリック位置情報や右クリック位置情報に基づき、当該操作に対応した画面(例えば、左クリック位置にマウスカーソルを表示した画面)を液晶表示装置10に表示させる。   Next, another example of the optical instruction input device of the present invention will be described. The optical instruction input device of this example is connected to, for example, a liquid crystal display device 10 ′ described later in FIG. 7 having a touch operation detection function similar to that of the liquid crystal display device 10 in FIG. 2 and the liquid crystal display device 10 ′. The present invention is applied to a system including an information processing apparatus using a liquid crystal display device as a display / input device. In this system, the optical instruction input device of this example can blink red or blue laser light in synchronization with blinking of the backlight 12 of the liquid crystal display device 10 ′. 'Detects the position as a touch position (left click position) when the synchronous red laser beam from the optical instruction input device of this example is directed to a position on the display panel 11', and the information is processed. Tell the device. The liquid crystal display device 10 ′ detects the position as a touch position (right click position) when the synchronous blue laser light is directed to a position on the display panel 11 ′, and transmits the information to the information processing apparatus. Based on the left click position information and the right click position information, the information processing apparatus 20 causes the liquid crystal display device 10 to display a screen corresponding to the operation (for example, a screen displaying a mouse cursor at the left click position).

図7は、本例における液晶表示装置の概略を説明する機能ブロック図である。なお、図2の液晶表示装置と同様な構成については、同じ参照符号を付すことにより、その説明を省略する。   FIG. 7 is a functional block diagram for explaining the outline of the liquid crystal display device in this example. In addition, about the structure similar to the liquid crystal display device of FIG. 2, the description is abbreviate | omitted by attaching | subjecting the same referential mark.

液晶表示装置10’は、図7で例示するように、表示パネル11’を備え、表示パネル11’内には、RGBカラー対応の光センサ11a’が当該パネル11’の全体に亘って設けられている。また、液晶表示装置10は、光センサ11a’からのRGB各成分の出力信号を処理してタッチ入力を検出するタッチ入力検出部13b’と、光センサ11a’からのR成分の出力信号を処理して左クリック位置を検出する左クリック検出部13dと、光センサ11a’からのB成分の出力信号を処理して右クリック位置(特定指示入力位置)を検出する右クリック検出部13eと、を有する制御部13’を備える。なお、タッチ入力検出部13b’のタッチ位置検出方法と、左クリック検出部13dの左クリック位置検出方法と、右クリック検出部13eの右クリック位置検出方法は、図2のタッチ入力検出部13bの図3や図5を用いて説明したタッチ位置検出方法と同様であるので、その説明を省略する。   As illustrated in FIG. 7, the liquid crystal display device 10 ′ includes a display panel 11 ′. In the display panel 11 ′, an RGB color compatible optical sensor 11 a ′ is provided over the entire panel 11 ′. ing. Further, the liquid crystal display device 10 processes the output signals of the RGB components from the optical sensor 11a ′ to detect the touch input, and processes the output signals of the R component from the optical sensor 11a ′. A left click detection unit 13d for detecting a left click position, and a right click detection unit 13e for processing a B component output signal from the optical sensor 11a ′ to detect a right click position (specific instruction input position). It has control part 13 'which has. Note that the touch position detection method of the touch input detection unit 13b ′, the left click position detection method of the left click detection unit 13d, and the right click position detection method of the right click detection unit 13e are the same as those of the touch input detection unit 13b of FIG. Since this is the same as the touch position detection method described with reference to FIGS. 3 and 5, the description thereof is omitted.

次に、本例の光学式指示入力装置について、図8を用いて説明する。図8(A)は本例の光学式指示入力装置を説明する機能ブロック図、図8(B)は、同入力装置の概略外観図である。なお、図1及び図4の光学式指示入力装置30と同様な構成については、同じ参照符号を付すことにより、その説明を省略する。   Next, the optical instruction input device of this example will be described with reference to FIG. FIG. 8A is a functional block diagram illustrating the optical instruction input device of this example, and FIG. 8B is a schematic external view of the input device. In addition, about the structure similar to the optical instruction | indication input device 30 of FIG.1 and FIG.4, the description is abbreviate | omitted by attaching | subjecting the same referential mark.

光学式指示入力装置30’は、図8(A)に示すように、赤色レーザ光を出射する赤色レーザダイオード(LD:Laser Diode)31aと青色レーザ光を出射する青色LD(本発明の「特定レーザ光源」の一例)31bを有する発光部31と、該発光部31を制御する発光制御部32’と、を備え、発光制御部32’の制御により、液晶表示装置10’(図7参照)のバックライト12の点滅タイミングに合わせて、赤色LD31aからの赤色レーザ光を点滅させたり、青色LD31bからの青色レーザ光を点滅させたりする。より詳細には、光学式指示入力装置30’は、液晶表示装置10’に対する指示入力の際、バックライト12が点灯している間は赤色レーザ光や青色レーザ光を点灯させ、バックライト12が消灯している間は赤色レーザ光や青色レーザ光を消灯するようになっている。この光学式指示入力装置30’のレーザ光の点滅タイミングの決定方法は図4の光学式指示入力装置30と同様である。   As shown in FIG. 8A, the optical instruction input device 30 ′ includes a red laser diode (LD) 31a that emits red laser light and a blue LD that emits blue laser light (“specific” of the present invention). An example of a “laser light source” includes a light emitting unit 31 having 31 b and a light emission control unit 32 ′ for controlling the light emitting unit 31, and the liquid crystal display device 10 ′ (see FIG. 7) is controlled by the light emission control unit 32 ′. The red laser light from the red LD 31a is flashed or the blue laser light from the blue LD 31b is flashed in accordance with the flashing timing of the backlight 12. More specifically, the optical instruction input device 30 ′ turns on the red laser light or the blue laser light while the backlight 12 is lit when the instruction is input to the liquid crystal display device 10 ′. While the light is turned off, the red laser light and the blue laser light are turned off. The method for determining the flashing timing of the laser light of the optical instruction input device 30 'is the same as that of the optical instruction input device 30 of FIG.

また、光学式指示入力装置30’は、図8(B)に示すように、通常モードにおいてバックライト12の点滅タイミングに同期させて赤色LD31aを点滅させるための赤色点滅スイッチ37dと、同様に同期させて青色LD31bを点滅させるための青色点滅スイッチ37eとを含む操作部37’を備える。   Further, as shown in FIG. 8B, the optical instruction input device 30 ′ is synchronized with the red blinking switch 37d for blinking the red LD 31a in synchronization with the blinking timing of the backlight 12 in the normal mode. And an operation unit 37 ′ including a blue blinking switch 37e for blinking the blue LD 31b.

ユーザが赤色点滅スイッチ37dを押した状態で光学式指示入力装置30’を液晶表示装置10’の表示パネル12の所望の位置に向けると、液晶表示装置10’が赤色用光センサ11b(図7参照)からの出力に基づき当該位置が左クリックされたものとして検出し、当該表示装置10’に接続されたPC等の情報処理装置に送信する。これにより、例えば、液晶表示装置10’の赤色レーザスポットの位置にマウスカーソルが表示される。また、赤色点滅スイッチ37dを押した状態で液晶表示装置10’に対して光学式指示入力装置30’を向ける位置をずらしていく場合は、ドラッグ操作する形態でマウスカーソルが移動するように液晶表示装置10’に表示される。   When the user presses the red blinking switch 37d and directs the optical instruction input device 30 'to a desired position on the display panel 12 of the liquid crystal display device 10', the liquid crystal display device 10 'is turned to the red light sensor 11b (FIG. 7). Based on the output from the reference), the position is detected as left-clicked, and is transmitted to an information processing apparatus such as a PC connected to the display apparatus 10 ′. Thereby, for example, the mouse cursor is displayed at the position of the red laser spot of the liquid crystal display device 10 '. Further, when the position where the optical instruction input device 30 ′ is directed with respect to the liquid crystal display device 10 ′ with the red blinking switch 37d being pressed is shifted, the liquid crystal display is displayed so that the mouse cursor moves in a drag operation form. Displayed on the device 10 '.

また、ユーザが青色点滅スイッチ37eを押した状態で光学式指示入力装置30’を液晶表示装置10’の表示パネル12の所望の位置に向けると、液晶表示装置10’が青色用光センサ11cからの出力に基づき当該位置が右クリックされたものとして検出し、上記情報処理装置に送信する。これにより、右クリック操作に応じた表示画面が液晶表示装置10’に表示される。
なお、光学式指示入力装置30’は、通常モードにおいて両スイッチ37d,37eとも押されない場合、赤色LD31aを常時点灯するので、通常のレーザポインタとして用いることができる。
Further, when the user directs the optical instruction input device 30 ′ to a desired position on the display panel 12 of the liquid crystal display device 10 ′ with the blue blinking switch 37e pressed, the liquid crystal display device 10 ′ is moved from the blue light sensor 11c. Is detected as a right-click on the position and transmitted to the information processing apparatus. Thereby, a display screen corresponding to the right click operation is displayed on the liquid crystal display device 10 ′.
The optical instruction input device 30 ′ can be used as a normal laser pointer because the red LD 31a is always lit when both switches 37d and 37e are not pressed in the normal mode.

次に、図9を用いて、光学式指示入力装置30’の処理例を説明する。なお、図6の光学式指示入力装置30と同様な処理については、同じステップ番号を付すことにより、その説明を省略する。また、ステップS2において、動作モードが読取りモードとして設定される場合の処理は、図6のものと同じであるので、その記載を省略した。   Next, a processing example of the optical instruction input device 30 'will be described with reference to FIG. In addition, about the process similar to the optical instruction | indication input device 30 of FIG. 6, the description is abbreviate | omitted by attaching | subjecting the same step number. Further, since the processing when the operation mode is set as the reading mode in step S2 is the same as that in FIG. 6, the description thereof is omitted.

光学式指示入力装置30’では、電池が入れられ主電源がONされ、クロック35が動作を開始した後、動作モードが通常モードに設定されていると判定された場合、左クリックモードが設定されているか否か判定する(ステップS21)。左クリック用スイッチ(赤色点滅スイッチ)37dが押されており左クリックモードが設定されている場合は、発光制御部32’が、発光部31’の赤色LD31aを制御して赤色レーザを点灯させ(ステップS22)、そして、消灯タイムアップ割り込みが発生したか否か判定する(ステップS23)。発生していない場合(NOの場合)、ステップS23に戻る。発生していた場合(YESの場合)、発光部31’の赤色LD31aを制御して消灯させ(ステップS24)、点灯タイムアップ割り込みが発生したか否か判定する(ステップS25)。発生していない場合(NOの場合)、処理はステップS25に戻り、発生していた場合(YESの場合)、ステップS1に戻る。   In the optical instruction input device 30 ′, when the battery is inserted, the main power supply is turned on, and the clock 35 starts operating, when it is determined that the operation mode is set to the normal mode, the left click mode is set. It is determined whether or not (step S21). When the left click switch (red blinking switch) 37d is pressed and the left click mode is set, the light emission control unit 32 ′ controls the red LD 31a of the light emission unit 31 ′ to turn on the red laser ( In step S22), it is determined whether an extinguishing time-up interrupt has occurred (step S23). If not (NO), the process returns to step S23. If it has occurred (in the case of YES), the red LD 31a of the light emitting unit 31 'is controlled to be extinguished (step S24), and it is determined whether a lighting time-up interrupt has occurred (step S25). If it has not occurred (in the case of NO), the process returns to step S25. If it has occurred (in the case of YES), the process returns to step S1.

また、ステップS21において、赤色点滅スイッチ37dが押されておらず左クリックモードが設定されていない場合は、右クリックモードが設定されているか否か判定する(ステップS26)。右クリック用スイッチ(青色点滅スイッチ)37dが押されており右クリックモードが設定されている場合は、発光制御部32’が、発光部31’の青色LD31bを制御して青色レーザを点灯させ(ステップS27)、そして、消灯タイムアップ割り込みが発生したか否か判定する(ステップS28)。発生していない場合(NOの場合)、ステップS28に戻る。発生していた場合(YESの場合)、発光部31’の青色LD31bを制御して消灯させ(ステップS29)、点灯タイムアップ割り込みが発生したか否か判定する(ステップS30)。発生していない場合(NOの場合)、処理はステップS30に戻り、発生していた場合(YESの場合)、ステップS1に戻る。   In step S21, if the red flashing switch 37d is not pressed and the left click mode is not set, it is determined whether the right click mode is set (step S26). When the right click switch (blue blinking switch) 37d is pressed and the right click mode is set, the light emission control unit 32 ′ controls the blue LD 31b of the light emission unit 31 ′ to turn on the blue laser ( In step S27), it is determined whether an extinguishing time-up interrupt has occurred (step S28). If not (NO), the process returns to step S28. If it has occurred (in the case of YES), the blue LD 31b of the light emitting unit 31 'is controlled to be extinguished (step S29), and it is determined whether a lighting time-up interrupt has occurred (step S30). If it has not occurred (NO), the process returns to step S30. If it has occurred (YES), the process returns to step S1.

また、ステップS26において、青色点滅スイッチ37eが押されておらず右クリックモードが設定されていないと判定された場合、つまり、両スイッチ37d,37eが押されておらず常時点灯モードが設定されている場合、発光制御部32’で赤色LD31aを制御し点灯させる(ステップS13)。その後、処理はステップS1に戻る。
ステップS1において、電源OFFの場合(NOの場合)、赤色LD31aが点灯されているか否か判定し(ステップS32)、点灯されている場合(YESの場合)、発光制御部32’で赤色LD31aを制御し消灯させて(ステップS33)、ステップS1に処理を戻し、点灯されていない場合(ステップS32,NOの場合)、そのままステップS1に処理を戻す。
If it is determined in step S26 that the blue blinking switch 37e is not pressed and the right click mode is not set, that is, both the switches 37d and 37e are not pressed and the constant lighting mode is set. If so, the light emission control unit 32 ′ controls the red LD 31a to light up (step S13). Thereafter, the process returns to step S1.
In step S1, when the power is OFF (in the case of NO), it is determined whether or not the red LD 31a is lit (step S32). If it is lit (in the case of YES), the light emission control unit 32 ′ selects the red LD 31a. Control is turned off (step S33), and the process returns to step S1, and if not lit (in the case of NO at step S32), the process returns to step S1 as it is.

なお、この例では、左クリック等の通常用途用と右クリックといった特殊用途用とで異なった波長のレーザ光を光学式指示入力装置が出射し、また、特定の波長成分と他の波長成分を分けて検出可能な液晶表示装置のカラー対応の光センサで、通常用途用や特殊用途用のレーザ光照射位置を検出するようになっていた。これに代えて、特殊用途用のレーザ光の発光パターンすなわち点滅周期を通常用途用のものとで異ならせ、レーザ光を出射、検出するようにしてもよい。例えば、通常用途用のレーザについては、バックライトの点滅に合わせて点滅するようにし、特殊用途用のレーザについては、バックライトが消灯されているときは消灯しバックライトが2回点灯するうち1回点灯するようにする。この場合、液晶表示装置に設ける光センサは、カラー対応のものであってもカラー非対応のものであってもよい。   In this example, the optical instruction input device emits laser light having different wavelengths for normal use such as left click and special use such as right click, and a specific wavelength component and other wavelength components are emitted. A color-corresponding optical sensor of a liquid crystal display device that can be separately detected detects a laser light irradiation position for normal use or special use. Alternatively, the emission pattern of the laser beam for special use, that is, the blinking cycle may be different from that for the normal use, and the laser beam may be emitted and detected. For example, for a laser for normal use, it blinks with the blinking of the backlight, and for a laser for special use, it turns off when the backlight is turned off, and 1 of the backlight lights up twice. To light up once. In this case, the optical sensor provided in the liquid crystal display device may be color-compatible or non-color-compatible.

また、特殊用途用の発光部が、上述と同様にバックライトの点滅周期と同期してレーザ光を点滅すると共に点灯時のレーザ光の波長すなわち色をバックライトの点灯周期と同期して切り替えるようにしてもよい。例えば、点灯時のレーザ光の色を赤→白→赤→白→・・・と切り替えるようにしてもよい。この場合、液晶表示装置では、カラー対応の光センサにより、R成分の差分画像のみにレーザスポットが現れるときと、RGBの各成分の差分画像全てにレーザスポットが現れるときと、が交互に検出され、この検出がなされたときに右クリック動作がなされたものと判定する。   In addition, the special-purpose light emitting unit blinks the laser light in synchronization with the blinking period of the backlight as described above, and switches the wavelength of the laser light at the time of lighting, that is, the color in synchronization with the lighting period of the backlight. It may be. For example, the color of the laser beam at the time of lighting may be switched from red → white → red → white →. In this case, in the liquid crystal display device, when the laser spot appears only in the difference image of the R component and when the laser spot appears in all the difference images of the RGB components, the color-corresponding optical sensor detects alternately. When this detection is made, it is determined that a right click operation has been performed.

なお、光学式指示入力装置側でレーザの波長や点滅周期等を複数の設定の中から決めておき、液晶表示装置側で左クリックや右クリックとして判別できる波長や点滅周期等をポインタ側で行った設定値のみに限定設定することで、他の光学式指示入力装置による誤動作等を防止することもできる。光学式指示入力装置毎に異なる設定しかできなくしておいてもよい。   In addition, the wavelength and blinking period of the laser are determined from a plurality of settings on the optical instruction input device side, and the wavelength and blinking period that can be identified as left click and right click on the liquid crystal display device side are performed on the pointer side. By limiting the setting to only the set values, it is possible to prevent malfunctions caused by other optical instruction input devices. Only different settings may be made for each optical instruction input device.

本例のシステムでは、光学式指示入力装置を用いた通常用途操作と特殊用途操作の検出用に、タッチ操作検出用の光センサとは別の光センサを設ける必要がない。言い換えれば、光学式指示入力装置を用いた通常用途操作と特殊用途操作を、タッチ操作検出用の光センサを用いて検出できる。そのため、液晶表示装置のコストを抑えることができる。   In the system of this example, it is not necessary to provide an optical sensor different from the optical sensor for detecting the touch operation for detecting the normal use operation and the special use operation using the optical instruction input device. In other words, a normal use operation and a special use operation using the optical instruction input device can be detected by using an optical sensor for detecting a touch operation. Therefore, the cost of the liquid crystal display device can be suppressed.

また、上記の全ての例の光学式指示入力装置において、レーザ光の点滅タイミングは一度設定した後は固定であったが、光学式指示入力装置の指示方向と平行に集光レンズを配した光センサを設けておき、レーザ光照射位置近傍の点滅タイミングを測定してリアルタイムにレーザ光の点滅タイミングを変えるようにしてもよい。   Further, in the optical instruction input devices of all the above examples, the flashing timing of the laser light was fixed after being set once, but the light having the condenser lens arranged parallel to the instruction direction of the optical instruction input device. A sensor may be provided, and the blinking timing near the laser beam irradiation position may be measured to change the blinking timing of the laser beam in real time.

1…システム、10,10’…液晶表示装置、11,11’…表示パネル、11a,11a’…光センサ、12…タッチパネル、12…バックライト、12…表示パネル、13,13’…制御部、13a…表示制御部、13b,13b’…タッチ入力検出入力部、13c…バックライト制御部、13d…左クリック検出部、13e…右クリック検出部、20…情報処理装置、30…光学式指示入力装置、31,31’…発光部、31a…赤色LD、31b…青色LD、32…発光制御部、33…光センサ部、34…メモリ、35…クロック、36…周波数演算部、37,37’…操作部、37a…電源スイッチ、37b…モード切替スイッチ、37c…点滅スイッチ、37d…赤色点滅スイッチ、37e…青色点滅スイッチ。 DESCRIPTION OF SYMBOLS 1 ... System 10, 10 '... Liquid crystal display device 11, 11' ... Display panel, 11a, 11a '... Optical sensor, 12 ... Touch panel, 12 ... Back light, 12 ... Display panel, 13, 13' ... Control part , 13a ... display control unit, 13b, 13b '... touch input detection input unit, 13c ... backlight control unit, 13d ... left click detection unit, 13e ... right click detection unit, 20 ... information processing device, 30 ... optical instruction Input device 31, 31 ′... Light emitting unit, 31 a... Red LD, 31 b .. Blue LD, 32 .. Light emission control unit, 33 .. Photosensor unit, 34. '... operation unit, 37a ... power switch, 37b ... mode change switch, 37c ... flashing switch, 37d ... red flashing switch, 37e ... blue flashing switch.

Claims (5)

表示パネルの内部前面に光センサを有し、前記表示パネルのバックライトを所定の周期で点滅させ該バックライトの点灯時及び消灯時における前記光センサの出力の差分に基づき、前記表示パネル上の指示入力位置を検出する機能を備えた液晶表示装置と、該液晶表示装置の表示パネルに対してレーザ光を照射して指示入力を行う光学式指示入力装置と、を含む指示入力システムであって、
前記光学式指示入力装置は、
前記レーザ光を照射する発光部と、
前記液晶表示装置の前記表示パネルからの前記バックライトの照光を検出する光センサと、
該光センサでの検出光に基いて算出した前記液晶表示装置のバックライトの点滅タイミングを記憶するメモリと、を有し、
前記記憶した点滅タイミングに基いて、前記レーザ光を前記バックライトの点滅と同期して点滅させて前記液晶表示装置の表示パネルに照射し、
前記液晶表示装置は、前記レーザ光の照射の際の前記表示パネルの光センサの出力に基いて、前記レーザ光の照射位置を判定し、前記指示入力位置として検出することを特徴とする指示入力システム。
A light sensor is provided on the inner front surface of the display panel, the backlight of the display panel is blinked at a predetermined cycle, and based on the difference in the output of the light sensor when the backlight is turned on and off, An instruction input system comprising: a liquid crystal display device having a function of detecting an instruction input position; and an optical instruction input device that performs an instruction input by irradiating a laser beam to a display panel of the liquid crystal display device. ,
The optical instruction input device is:
A light emitting unit for irradiating the laser beam;
An optical sensor for detecting illumination of the backlight from the display panel of the liquid crystal display device;
A memory for storing the flashing timing of the backlight of the liquid crystal display device calculated based on the light detected by the optical sensor;
Based on the stored flashing timing, the laser light is flashed in synchronization with the flashing of the backlight to irradiate the display panel of the liquid crystal display device,
The liquid crystal display device determines an irradiation position of the laser light based on an output of an optical sensor of the display panel at the time of the laser light irradiation, and detects the position as the instruction input position. system.
前記光学式指示入力装置は、さらに、特定の波長及び/又はパターンのレーザ光である特定レーザ光を前記バックライトの点滅と同期して点滅させて前記液晶表示装置の表示パネルに照射する特定レーザ光源を有し、
前記液晶表示装置は、前記特定レーザ光の照射の際の前記光センサの出力に基いて、前記光学式指示入力装置からの前記特定レーザ光の照射位置を判定し、特定指示入力位置として検出することを特徴とする請求項1に記載の指示入力システム。
The optical instruction input device further emits a specific laser beam, which is a laser beam having a specific wavelength and / or pattern, in synchronization with the flashing of the backlight and irradiates the display panel of the liquid crystal display device. Having a light source,
The liquid crystal display device determines an irradiation position of the specific laser light from the optical instruction input device based on an output of the optical sensor at the time of irradiation of the specific laser light, and detects it as a specific instruction input position. The instruction input system according to claim 1.
液晶表示装置の表示パネルからのバックライトの照光を検出する光センサと、該光センサでの検出光に基いて算出した前記液晶表示装置のバックライトの点滅タイミングを記憶するメモリと、を有し、前記記憶した点滅タイミングに基いて、前記レーザ光を前記バックライトの点滅と同期して点滅させて前記液晶表示装置の表示パネルに照射することを特徴とする請求項1に記載の指示入力システムにおける光学式指示入力装置。   An optical sensor for detecting backlight illumination from the display panel of the liquid crystal display device, and a memory for storing the flashing timing of the backlight of the liquid crystal display device calculated based on the detection light from the optical sensor. 2. The instruction input system according to claim 1, wherein, based on the stored flashing timing, the laser light is flashed in synchronism with the flashing of the backlight and irradiated to the display panel of the liquid crystal display device. Optical instruction input device. 液晶表示装置の表示パネルからのバックライトの照光を検出する光センサと、該光センサでの検出光に基いて算出した前記液晶表示装置のバックライトの点滅タイミングを記憶するメモリと、を有し、前記記憶した点滅タイミングに基いて、前記レーザ光を前記バックライトの点滅と同期して点滅させて前記液晶表示装置の表示パネルに照射し、
さらに、特定の波長及び/又はパターンのレーザ光である特定レーザ光を前記バックライトの点滅と同期して点滅させて前記液晶表示装置の表示パネルに照射する特定レーザ光源を有することを特徴とする請求項2に記載の指示入力システムにおける光学式指示入力装置。
An optical sensor for detecting backlight illumination from the display panel of the liquid crystal display device, and a memory for storing the flashing timing of the backlight of the liquid crystal display device calculated based on the detection light from the optical sensor. Based on the stored flashing timing, the laser light is flashed in synchronization with the flashing of the backlight to irradiate the display panel of the liquid crystal display device,
Furthermore, it has a specific laser light source that irradiates the display panel of the liquid crystal display device with specific laser light that is laser light having a specific wavelength and / or pattern blinking in synchronization with blinking of the backlight. The optical instruction input device in the instruction input system according to claim 2.
前記レーザ光を前記バックライトの点滅と同期して点滅させる点滅モードと前記レーザ光を常時点灯させる点灯モードとの間でモードを切替えるモード切替スイッチを有することを特徴とする請求項3または4に記載の光学式指示入力装置。   5. The apparatus according to claim 3, further comprising a mode changeover switch for switching a mode between a blinking mode in which the laser beam is blinked in synchronization with blinking of the backlight and a lighting mode in which the laser beam is always turned on. The optical instruction input device described.
JP2009279132A 2009-12-09 2009-12-09 Indication input system and optical indication input device Pending JP2011123580A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2009279132A JP2011123580A (en) 2009-12-09 2009-12-09 Indication input system and optical indication input device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2009279132A JP2011123580A (en) 2009-12-09 2009-12-09 Indication input system and optical indication input device

Publications (1)

Publication Number Publication Date
JP2011123580A true JP2011123580A (en) 2011-06-23

Family

ID=44287438

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2009279132A Pending JP2011123580A (en) 2009-12-09 2009-12-09 Indication input system and optical indication input device

Country Status (1)

Country Link
JP (1) JP2011123580A (en)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102214044A (en) * 2011-06-27 2011-10-12 瀚宇彩晶股份有限公司 Integrated touch display structure and manufacturing method thereof
JP2013047936A (en) * 2011-08-29 2013-03-07 Samsung Electronics Co Ltd Optical touch screen apparatus capable of remote sensing and touch sensing
JP2014525100A (en) * 2011-07-25 2014-09-25 京東方科技集團股▲ふん▼有限公司 Display system
US9423294B2 (en) 2012-05-25 2016-08-23 Samsung Display Co., Ltd. Display device and optical inputting device with retarders
WO2021140921A1 (en) * 2020-01-09 2021-07-15 ソニーグループ株式会社 Information processing device, information processing method, and program

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102214044A (en) * 2011-06-27 2011-10-12 瀚宇彩晶股份有限公司 Integrated touch display structure and manufacturing method thereof
CN102214044B (en) * 2011-06-27 2014-03-19 瀚宇彩晶股份有限公司 Integrated touch display structure and manufacturing method thereof
JP2014525100A (en) * 2011-07-25 2014-09-25 京東方科技集團股▲ふん▼有限公司 Display system
JP2013047936A (en) * 2011-08-29 2013-03-07 Samsung Electronics Co Ltd Optical touch screen apparatus capable of remote sensing and touch sensing
US9423294B2 (en) 2012-05-25 2016-08-23 Samsung Display Co., Ltd. Display device and optical inputting device with retarders
WO2021140921A1 (en) * 2020-01-09 2021-07-15 ソニーグループ株式会社 Information processing device, information processing method, and program
US11836300B2 (en) 2020-01-09 2023-12-05 Sony Group Corporation Information processing apparatus and information processing method

Similar Documents

Publication Publication Date Title
US9581802B2 (en) Endoscope device, and measurement method
CN107657238B (en) Fingerprint acquisition method and electronic equipment
US9622326B1 (en) Method and device for determining emitted light intensity level
US10708559B2 (en) Lighting apparatus
JP6413236B2 (en) Projector, projection system, and projector control method
CN107094247B (en) Position detection device and contrast adjustment method thereof
CN105723303B (en) Projection-type image display device, operation detection device and projection type image display methods
JP2011123580A (en) Indication input system and optical indication input device
CN109144375B (en) Screen control method and device
JP2004265410A (en) Visible pointer tracking system and method using separately detectable pointer tracking signal
JP2011513828A5 (en)
KR20110013459A (en) Interactive input system with controlled lighting
JP5643153B2 (en) Optical projection device
EP3011894B1 (en) Eye gaze detection apparatus and eye gaze detection method
JP2010060817A (en) Display device and electronic apparatus with the same
US8654103B2 (en) Interactive display
JP6836176B2 (en) Display device and control method of display device
JP2017182109A (en) Display system, information processing device, projector, and information processing method
JP2019061513A (en) Position detection device, position detection system, and control method for position detection device
JP2002229726A (en) Coordinate input device
JP6690271B2 (en) Position detection system, position detection device, and position detection method
JP2017003613A (en) Display device
JP2013101028A (en) Oil leakage detector
WO2012129647A1 (en) Projection unit and method of controlling the same
JP6690272B2 (en) Position detection system, self-luminous indicator, and unique information acquisition method