JP2024004509A - Aerial operation apparatus - Google Patents

Aerial operation apparatus Download PDF

Info

Publication number
JP2024004509A
JP2024004509A JP2020198783A JP2020198783A JP2024004509A JP 2024004509 A JP2024004509 A JP 2024004509A JP 2020198783 A JP2020198783 A JP 2020198783A JP 2020198783 A JP2020198783 A JP 2020198783A JP 2024004509 A JP2024004509 A JP 2024004509A
Authority
JP
Japan
Prior art keywords
sensor
button
aerial
operating device
buttons
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2020198783A
Other languages
Japanese (ja)
Inventor
仁 中山
Hitoshi Nakayama
史晴 中島
Fumiharu Nakajima
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Murakami Corp
Original Assignee
Murakami Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Murakami Corp filed Critical Murakami Corp
Priority to JP2020198783A priority Critical patent/JP2024004509A/en
Priority to PCT/JP2021/040611 priority patent/WO2022113685A1/en
Publication of JP2024004509A publication Critical patent/JP2024004509A/en
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0346—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04815—Interaction with a metaphor-based environment or interaction object displayed as three-dimensional, e.g. changing the user viewpoint with respect to the environment or object

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • User Interface Of Digital Computer (AREA)
  • Position Input By Displaying (AREA)

Abstract

PROBLEM TO BE SOLVED: To provide an aerial operation apparatus configured to suppress malfunctions.
SOLUTION: An aerial operation apparatus comprises: a recognition unit that recognizes whether a button 11 has been pressed on the basis of the position of an object F detected by a sensor 12; and a signal output unit that outputs a control signal corresponding to the button 11 pressed by a user of the aerial operation apparatus 1 to equipment outside the aerial operation apparatus 1 to control the operation of the equipment. When the recognition unit recognizes that the object F detected by the sensor 12 is located at a position of a button 11, the recognition unit disables the operation of a plurality of buttons 11 so as to suppress the output of the control signal output by the signal output unit. When the recognition unit recognizes that the object F detected by the sensor 12 has separated from the button 11, the recognition unit enables the operation of the button 11 so as to allow the signal output unit to output the control signal.
SELECTED DRAWING: Figure 3
COPYRIGHT: (C)2024,JPO&INPIT

Description

本開示は、空中に虚像として表示された表示面に対する操作が行われる空中操作装置に関する。 The present disclosure relates to an aerial operating device in which an operation is performed on a display screen displayed as a virtual image in the air.

特開２０１９－１０９６３７号公報には、装置筐体と、装置筐体の内部に配置されたディスプレイと、ディスプレイの実像を装置筐体の外部の空中に結像する光学プレートと、非接触位置検出部とを備えた非接触入力装置が記載されている。非接触位置検出部は、不可視光発光素子と反射光を検出する受光素子とを備え、不可視光発光素子から出射して検出面で反射した光を受光素子で検出する。検出面は、光学プレートによって結像された空中像の像面と略平行に配置される。 JP2019-109637A discloses a device housing, a display disposed inside the device housing, an optical plate that forms a real image of the display in the air outside the device housing, and a non-contact position detection device. A non-contact input device is described. The non-contact position detection section includes an invisible light emitting element and a light receiving element that detects reflected light, and the light receiving element detects the light emitted from the invisible light emitting element and reflected on the detection surface. The detection plane is arranged substantially parallel to the image plane of the aerial image formed by the optical plate.

非接触入力装置は、第１検出面と、第１検出面よりも奥側に位置する第２検出面とを有する。第１検出面及び第２検出面のそれぞれには、指示物体として手指が当てられる。手指が第１検出面に当たると手指が指しているＸＹ位置座標がポインタとして空中像に表示される。これにより、ユーザは空中像のどこの位置を指しているかを認識できる。 The non-contact input device has a first detection surface and a second detection surface located further back than the first detection surface. A finger is applied as a pointing object to each of the first detection surface and the second detection surface. When the finger hits the first detection surface, the XY position coordinates the finger is pointing to are displayed on the aerial image as a pointer. This allows the user to recognize which position in the aerial image the user is pointing to.

手指が第２検出面に当たると、第２検出面に手指が当てられた時点が入力時とされ、その後、指示位置が第１検出面において検出された位置座標に基づいて補正される。すなわち、第２検出面に手指が当てられたときを基準としてその後の手指の位置が補正されるので、ユーザは手指の位置ずれを気にすることなく入力操作を行うことが可能となる。 When the finger touches the second detection surface, the time when the finger touches the second detection surface is determined as the input time, and thereafter, the indicated position is corrected based on the position coordinates detected on the first detection surface. That is, since the subsequent position of the finger is corrected based on the time when the finger is placed on the second detection surface, the user can perform an input operation without worrying about the positional deviation of the finger.

特開２０１９－１０９６３７号公報JP2019-109637A

前述したように、空中像の像面に略平行に検出面を設定し、検出面において指等の対象物を検出する場合において、対象物の誤検出が問題となることがある。複数の検出面として複数のボタンが表示される場合には、押されたボタンと異なるボタンに対応する検出面が対象物を検出することによって誤動作が生じることがある。すなわち、押したボタンとは異なるボタンが反応することがある。また、空中に虚像としてボタン付きの表示面を表示する場合には、例えば使用者の衣服等、指以外のものがボタンに触れることによって意図しない動作がなされる可能性がある。このように、誤動作が生じたり、意図しない動作がなされたりする懸念がある。 As described above, when a detection surface is set substantially parallel to the image plane of an aerial image and a target object such as a finger is detected on the detection surface, erroneous detection of the target object may become a problem. When a plurality of buttons are displayed as a plurality of detection planes, a malfunction may occur because a detection plane corresponding to a button different from the pressed button detects an object. In other words, a button different from the one you pressed may respond. Furthermore, when displaying a display surface with buttons as a virtual image in the air, there is a possibility that an unintended action may occur if something other than a finger, such as the user's clothing, touches the button. In this way, there is a concern that malfunctions or unintended operations may occur.

本開示は、誤動作を抑制することができる空中操作装置を提供することを目的とする。 An object of the present disclosure is to provide an aerial operating device that can suppress malfunctions.

本開示の一側面に係る空中操作装置は、光を照射して情報を表示する表示装置と、表示装置からの光を複数回反射させて空中に虚像として複数のボタン付きの表示面を表示する空中結像デバイスと、ボタンに接近する対象物の位置を検出するセンサと、を備えた空中操作装置であって、センサによって検出された対象物の位置に基づいて、ボタンが押されたか否かを認識する認識部と、空中操作装置の使用者によって押されたボタンに応じた制御信号を空中操作装置の外部の機器に出力し、機器の動作を制御する信号出力部と、を備え、認識部は、センサによって検出された対象物がボタンの位置であると認識したときに信号出力部による制御信号の出力を抑制するように複数のボタンを無効とし、センサによって検出された対象物がボタンから離れることを認識したときに信号出力部による制御信号の出力を許容するようにボタンを有効とする。 An aerial operating device according to one aspect of the present disclosure includes a display device that displays information by irradiating light, and a display surface with a plurality of buttons that reflects the light from the display device multiple times as a virtual image in the air. An aerial operating device comprising an aerial imaging device and a sensor for detecting the position of an object approaching a button, the apparatus determining whether the button has been pressed based on the position of the object detected by the sensor. and a signal output unit that outputs a control signal according to the button pressed by the user of the aerial operating device to a device external to the aerial operating device to control the operation of the device. When the unit recognizes that the object detected by the sensor is at the button position, the plurality of buttons are disabled so as to suppress the output of the control signal by the signal output unit. The button is enabled to allow the signal output section to output a control signal when it is recognized that the user is moving away from the object.

この空中操作装置では、空中結像デバイスが空中に虚像として複数のボタン付きの表示面を表示し、ボタンに接近する指等の対象物の位置をセンサが検出する。認識部はセンサによって検出された対象物の位置に基づいてボタンが押されたか否かを認識する。信号出力部は、押されたボタンに応じた制御信号を空中操作装置の外部の機器に出力する。認識部は、対象物がボタンの位置にあるときに複数のボタンを無効にする。従って、ボタンが押されたタイミングで複数のボタンを無効にすることにより、意図しないボタンが反応して意図しない動作が生じることを抑制することができる。また、認識部は、対象物がボタンから離れるときに、信号出力部による制御信号の出力を許容するように当該ボタンを有効とする。従って、対象物がボタンから離れるタイミングで当該ボタンを有効にすることにより、意図したボタンのみを反応させて意図した動作を実現させることができる。よって、誤動作を抑制することができると共に、ボタンの操作性を向上させることができる。 In this aerial operating device, an aerial imaging device displays a display screen with a plurality of buttons as a virtual image in the air, and a sensor detects the position of an object such as a finger approaching a button. The recognition unit recognizes whether the button has been pressed based on the position of the object detected by the sensor. The signal output unit outputs a control signal according to the pressed button to equipment external to the aerial operating device. The recognition unit disables the plurality of buttons when the object is located at the button position. Therefore, by disabling a plurality of buttons at the timing when a button is pressed, it is possible to prevent an unintended button from reacting and causing an unintended operation. Further, when the object leaves the button, the recognition unit enables the button so as to allow the signal output unit to output a control signal. Therefore, by activating the button at the timing when the object leaves the button, it is possible to cause only the intended button to respond and realize the intended action. Therefore, it is possible to suppress malfunctions and improve the operability of the buttons.

複数のボタンは、少なくとも１つのボタンを含むグループを構成し、認識部は、センサによって検出された対象物がグループのボタンの位置であると認識したときに、グループの全てのボタンを無効としてもよい。この場合、認識部は、対象物がグループに属するボタンの位置にあるときに、当該グループの全てのボタンを無効にする。グループのボタンが押されたタイミングで当該グループに属する全てのボタンを無効にすることにより、当該グループ内における他のボタンが反応して意図しない動作が生じることを抑制できる。 The plurality of buttons constitute a group including at least one button, and when the recognition unit recognizes that the object detected by the sensor is at the position of the button of the group, the recognition unit may disable all buttons of the group. good. In this case, when the object is located at the position of a button belonging to a group, the recognition unit disables all buttons of the group. By disabling all buttons belonging to a group at the timing when a button of a group is pressed, it is possible to prevent other buttons in the group from reacting and causing unintended operations.

本開示の別の側面に係る空中操作装置は、光を照射して情報を表示する表示装置と、表示装置からの光を複数回反射させて空中に虚像として複数のボタン付きの表示面を表示する空中結像デバイスと、ボタンに接近する対象物の位置を検出するセンサと、を備えた空中操作装置であって、センサによって検出された対象物の位置に基づいて、ボタンが押されたか否かを認識する認識部と、空中操作装置の外部の機器に制御信号を出力して機器の動作を制御する信号出力部と、を備え、センサは、対象物の位置を複数回検出し、信号出力部は、表示面を挟む第１面と第２面との間に対象物が位置していることをセンサが複数回検出したときにのみ、機器に制御信号を出力する。 An aerial operating device according to another aspect of the present disclosure includes a display device that displays information by emitting light, and a display screen with a plurality of buttons that reflects the light from the display device multiple times as a virtual image in the air. an aerial imaging device that detects the position of an object approaching the button; and a sensor that detects the position of an object approaching the button; The sensor detects the position of the object multiple times and outputs the signal. The output unit outputs a control signal to the device only when the sensor detects multiple times that the object is located between the first surface and the second surface that sandwich the display surface.

この空中操作装置では、空中結像デバイスによって結像される表示面を挟む第１面と第２面との間に対象物が位置することをセンサが複数回検出したときに、信号出力部が機器に制御信号を出力する。すなわち、第１面と第２面の間に対象物が位置することをセンサが複数回検出したときにのみ、信号出力部が機器に制御信号を出力して機器が動作する。従って、第１面と第２面の間に位置する対象物をセンサが複数回検出しない場合には、信号出力部が制御信号を出力しないので、機器の誤動作を抑制することができる。 In this aerial operating device, when the sensor detects multiple times that an object is located between the first surface and the second surface that sandwich the display surface that is imaged by the aerial imaging device, the signal output section is activated. Outputs control signals to equipment. That is, only when the sensor detects multiple times that the object is located between the first surface and the second surface, the signal output section outputs a control signal to the device and the device operates. Therefore, if the sensor does not detect the object located between the first surface and the second surface multiple times, the signal output section does not output the control signal, so malfunction of the device can be suppressed.

前述した空中操作装置は、認識部が認識したことを空中操作装置の使用者に通知する通知部を備え、通知部は、表示面を挟む第１面と第２面との間に対象物が位置していることをセンサが複数回検出したときに、ボタンが押されたことを使用者に通知してもよい。この場合、第１面と第２面の間に対象物が位置することをセンサが複数回検出したときに、ボタンが押されたことが使用者に通知される。従って、ボタンが正しく押されたことを使用者に通知することができるので、ボタンの操作性を向上させることができる。 The above-mentioned aerial operating device includes a notification section that notifies the user of the aerial operating device that the recognition section has recognized the object. The user may be notified that the button has been pressed when the sensor detects the location multiple times. In this case, the user is notified that the button has been pressed when the sensor detects multiple times that the object is located between the first and second surfaces. Therefore, since the user can be notified that the button has been pressed correctly, the operability of the button can be improved.

センサは、センサから対象物までの距離を複数回計測し、信号出力部は、計測されたセンサから対象物までの距離の平均値が、センサから第２面までの距離以上且つセンサから第１面までの距離以下であるときにのみ、機器に制御信号を出力してもよい。この場合、信号出力部は、計測された距離の平均値が、センサから第２面までの距離以上、且つセンサから第１面までの距離以下である場合にのみ、機器に制御信号を出力する。従って、距離の平均値が、センサから第２面までの距離より短い場合、又はセンサから第１面までの距離より長い場合には、信号出力部は制御信号を出力しない。従って、対象物の誤検出を抑制して誤動作をより確実に抑制することができる。 The sensor measures the distance from the sensor to the object a plurality of times, and the signal output section is configured to measure the distance from the sensor to the object a plurality of times, and the signal output section is configured to measure the distance from the sensor to the object if the average value of the measured distances from the sensor to the object is greater than or equal to the distance from the sensor to the second surface and from the sensor to the first surface. A control signal may be output to the device only when the distance to the surface is less than or equal to the distance to the surface. In this case, the signal output unit outputs a control signal to the device only when the average value of the measured distances is greater than or equal to the distance from the sensor to the second surface and less than or equal to the distance from the sensor to the first surface. . Therefore, if the average value of the distances is shorter than the distance from the sensor to the second surface or longer than the distance from the sensor to the first surface, the signal output section does not output the control signal. Therefore, erroneous detection of the object can be suppressed and malfunctions can be suppressed more reliably.

前述した空中操作装置は、複数のセンサを備え、信号出力部は、複数のセンサが対象物を検出したときに、機器に制御信号を出力しなくてもよい。この場合、複数のセンサが対象物を検出したときに制御信号の出力が抑制されるので、誤検出及び誤動作をより確実に抑制することができる。 The above-described aerial operating device includes a plurality of sensors, and the signal output unit does not need to output a control signal to the device when the plurality of sensors detects an object. In this case, since the output of the control signal is suppressed when the plurality of sensors detect the object, erroneous detection and malfunction can be suppressed more reliably.

本開示の別の側面に係る空中操作装置は、光を照射して情報を表示する表示装置と、表示装置からの光を複数回反射させて空中に虚像として複数のボタン付きの表示面を表示する空中結像デバイスと、ボタンに接近する対象物の位置を検出するセンサと、を備えた空中操作装置であって、センサによって検出された対象物の位置に基づいて、ボタンが押されたか否かを認識する認識部と、空中操作装置の外部の機器に制御信号を出力して機器の動作を制御する信号出力部と、を備え、センサは、対象物の位置を複数回検出し、信号出力部は、センサによって検出された対象物の位置が第１面であると認識部が認識した後に、センサによって検出された対象物の位置が第１面よりもセンサ寄りの位置にある第２面であると認識部が認識したときにのみ、機器に制御信号を出力する。 An aerial operating device according to another aspect of the present disclosure includes a display device that displays information by emitting light, and a display screen with a plurality of buttons that reflects the light from the display device multiple times as a virtual image in the air. an aerial imaging device that detects the position of an object approaching the button; and a sensor that detects the position of an object approaching the button; The sensor detects the position of the object multiple times and outputs the signal. After the recognition unit recognizes that the position of the object detected by the sensor is on the first surface, the output section outputs a second image whose position of the object detected by the sensor is closer to the sensor than the first surface. A control signal is output to the device only when the recognition unit recognizes that it is a surface.

この空中操作装置では、対象物の位置が第１面であると認識部が認識した後に、対象物の位置が当該第１面よりもセンサ寄りの第２面であると認識部が認識したときにのみ、信号出力部が機器に制御信号を出力する。すなわち、対象物が第１面からセンサ寄りの第２面に移動したことが認識されたときにのみ機器に制御信号が出力される。従って、対象物が第１面から第２面に移動する場合以外には制御信号が機器に出力されないので、対象物の誤検出、及び機器の誤動作を抑制することができる。 In this aerial operating device, after the recognition unit recognizes that the object is on the first surface, when the recognition unit recognizes that the object is on the second surface, which is closer to the sensor than the first surface. The signal output section outputs a control signal to the device only when That is, a control signal is output to the device only when it is recognized that the object has moved from the first surface to the second surface closer to the sensor. Therefore, since the control signal is not output to the device except when the target object moves from the first surface to the second surface, erroneous detection of the target object and malfunction of the device can be suppressed.

前述した空中操作装置は、複数のセンサを備え、第１面から第２面までの距離は、互いに隣接する２つのセンサ間の距離の半分であってもよい。この場合、対象物が第１面から２つのセンサ間の距離の半分移動して第２面に達したときにのみ、機器に対する制御信号が出力される。従って、機器に対する制御信号の出力を制限できるので、誤動作を抑制することができる。 The above-described aerial operating device may include a plurality of sensors, and the distance from the first surface to the second surface may be half the distance between two adjacent sensors. In this case, a control signal for the device is output only when the object moves from the first surface by half the distance between the two sensors and reaches the second surface. Therefore, since the output of control signals to the device can be restricted, malfunctions can be suppressed.

前述した空中操作装置は、表示面におけるボタンの隣接位置に接近する対象物の位置を検出するダミーセンサを備え、信号出力部は、ダミーセンサによって対象物の位置が検出されたときに、機器に制御信号を出力しなくてもよい。この場合、ボタンの隣接位置にある対象物をダミーセンサが検出したときに機器への制御信号の出力が規制される。従って、対象物の誤検出、及び機器の誤動作をより確実に抑制することができる。 The above-mentioned aerial operating device includes a dummy sensor that detects the position of an object approaching a position adjacent to a button on the display surface, and the signal output section outputs a signal to the device when the position of the object is detected by the dummy sensor. It is not necessary to output a control signal. In this case, when the dummy sensor detects an object located adjacent to the button, the output of the control signal to the device is regulated. Therefore, erroneous detection of objects and malfunctions of equipment can be suppressed more reliably.

本開示によれば、誤動作を抑制することができる。 According to the present disclosure, malfunctions can be suppressed.

実施形態に係る空中操作装置の適用例を示す斜視図である。FIG. 1 is a perspective view showing an application example of the aerial operating device according to the embodiment. 実施形態に係る空中操作装置がボタン付きの表示面を表示している状態を示す斜視図である。FIG. 2 is a perspective view showing a state in which the aerial operating device according to the embodiment is displaying a display screen with buttons. 実施形態に係る空中操作装置の縦断面図である。FIG. 1 is a longitudinal cross-sectional view of an aerial operating device according to an embodiment. 実施形態に係る空中操作装置の機能を示すブロック図である。FIG. 2 is a block diagram showing the functions of the aerial operating device according to the embodiment. 実施形態に係るセンサによる対象物の検出を模式的に示す図である。FIG. 3 is a diagram schematically showing detection of a target object by a sensor according to an embodiment. 実施形態に係るボタンと認識部との関係の例を示すブロック図である。It is a block diagram showing an example of the relationship between a button and a recognition part concerning an embodiment. 実施形態に係る空中操作装置におけるボタンの認識方法の工程を示すフローチャートである。It is a flow chart which shows the process of the button recognition method in the aerial operation device concerning an embodiment. 変形例に係る空中操作装置を示す斜視図である。FIG. 7 is a perspective view showing an aerial operating device according to a modified example. 変形例に係る空中操作装置を示す縦断面図である。It is a longitudinal cross-sectional view showing an aerial operating device according to a modified example.

以下では、本開示に係る空中操作装置の種々の実施形態について図面を参照しながら説明する。図面の説明において同一又は相当する要素には同一の符号を付し、重複する説明を適宜省略する。また、図面は、理解の容易化のため、一部を簡略化又は誇張して描いている場合があり、寸法比率及び角度等は図面に記載のものに限定されない。 Below, various embodiments of the aerial operating device according to the present disclosure will be described with reference to the drawings. In the description of the drawings, the same or corresponding elements are given the same reference numerals, and redundant description will be omitted as appropriate. In addition, some parts of the drawings may be simplified or exaggerated for ease of understanding, and the dimensional ratios, angles, etc. are not limited to those shown in the drawings.

図１は、本実施形態に係る一例としての空中操作装置１を示す斜視図である。図２は、空中操作装置１が空中にボタン１１付きの表示面１０を表示している状態を示す斜視図である。例えば、本実施形態に係る空中操作装置１は、機器を操作するための操作入力装置である。 FIG. 1 is a perspective view showing an example of an aerial operating device 1 according to the present embodiment. FIG. 2 is a perspective view showing a state in which the aerial operating device 1 displays a display screen 10 with buttons 11 in the air. For example, the aerial operation device 1 according to this embodiment is an operation input device for operating equipment.

空中操作装置１は、一例として、トイレＴに設けられ、表示面１０のボタン１１はトイレＴの各部を動作させるスイッチである。ボタン１１付きの表示面１０は、空中に浮き出るように表示される空中浮遊像である。すなわち、ボタン１１付きの表示面１０は、空中に虚像として表示される。よって、空中操作装置１の使用者は直接ボタン等に触れなくて済むため衛生的にトイレＴの各部を操作することが可能である。 The aerial operating device 1 is provided in a toilet T, for example, and the buttons 11 on the display surface 10 are switches for operating various parts of the toilet T. The display surface 10 with buttons 11 is a floating image displayed in the air. That is, the display surface 10 with the button 11 is displayed as a virtual image in the air. Therefore, the user of the aerial operating device 1 does not have to directly touch buttons or the like, and can operate each part of the toilet T in a hygienic manner.

例えば、トイレＴは、便器Ｂと、便器Ｂに隣接する壁部Ｗとを備える。例えば、壁部Ｗは、便器Ｂに着座した使用者から見て右側に設けられる。例示的な壁部Ｗには、空中操作装置１及びトイレットペーパーＥが固定されており、洗面台Ｍが設けられていてもよい。便器Ｂは、例えば、ウォシュレット（登録商標）付きであって、表示面１０のボタン１１からトイレＴのウォシュレットを操作可能とされている。例えば、表示面１０は、複数のボタン１１を備えており、使用者が複数のボタン１１を操作することによってウォシュレットの各部を動作させることが可能である。 For example, the toilet T includes a toilet B and a wall W adjacent to the toilet B. For example, the wall W is provided on the right side when viewed from the user seated on the toilet bowl B. The aerial operating device 1 and the toilet paper E are fixed to the exemplary wall W, and a wash basin M may be provided. The toilet bowl B is equipped with a Washlet (registered trademark), for example, and the washlet of the toilet T can be operated from a button 11 on the display surface 10. For example, the display surface 10 includes a plurality of buttons 11, and the user can operate each part of the washlet by operating the plurality of buttons 11.

空中操作装置１は、例えば、壁部Ｗに固定されている。空中操作装置１は、壁部Ｗに埋め込まれていてもよいし、壁部Ｗに対して着脱可能であってもよい。例示的な空中操作装置１は、筐体２と、筐体２の下部から突出する突出部３とを備える。突出部３には、ボタン１１に接近する対象物Ｆを検出する複数のセンサ１２が埋め込まれている。 The aerial operating device 1 is fixed to a wall W, for example. The aerial operating device 1 may be embedded in the wall W, or may be removable from the wall W. The exemplary aerial operating device 1 includes a housing 2 and a protrusion 3 protruding from the bottom of the housing 2. A plurality of sensors 12 are embedded in the protrusion 3 to detect an object F approaching the button 11.

本開示において、「対象物」とは、ボタン１１を操作して機器を動作させるものを示しており、例えば、使用者の指を示している。センサ１２はボタン１１に対応して設けられており、各ボタン１１は各センサ１２の斜め上方に表示される。一例として、ボタン１１及びセンサ１２の数は７である。 In the present disclosure, the "object" indicates something that operates the button 11 to operate the device, and indicates, for example, a user's finger. The sensors 12 are provided corresponding to the buttons 11, and each button 11 is displayed diagonally above each sensor 12. As an example, the number of buttons 11 and sensors 12 is seven.

表示面１０は、空中操作装置１の上下方向Ｄ１、及び壁部Ｗからの突出方向Ｄ３の双方に対して斜め上方に向けられるように表示される。これにより、使用者に表示面１０を視認しやすくすることができる。例えば、表示面１０は光って表示されるので、周囲の明るさにかかわらず容易に表示面１０を視認することができる。表示面１０は、例えば、左右方向Ｄ２に長く延びる形状を呈する。 The display surface 10 is displayed so as to be directed diagonally upward with respect to both the vertical direction D1 of the aerial operating device 1 and the protruding direction D3 from the wall W. Thereby, the display surface 10 can be easily recognized by the user. For example, since the display surface 10 is displayed in a luminous manner, the display surface 10 can be easily viewed regardless of the surrounding brightness. The display surface 10 has, for example, a shape that extends long in the left-right direction D2.

一例として、表示面１０は、矩形状に表示され、表示面１０の縦方向の長さＬ１は表示面１０の横方向の長さＬ２よりも短い。長さＬ１と長さＬ２のアスペクト比を１：Ｘ（Ｘを実数）とすると、例えば、Ｘの値は２以上且つ１０以下である。Ｘの値の下限は３であてもよいし、Ｘの値の上限は５、６、７、８又は９であってもよい。 As an example, the display surface 10 is displayed in a rectangular shape, and the length L1 of the display surface 10 in the vertical direction is shorter than the length L2 of the display surface 10 in the horizontal direction. Assuming that the aspect ratio between length L1 and length L2 is 1:X (X is a real number), the value of X is, for example, 2 or more and 10 or less. The lower limit of the value of X may be 3, and the upper limit of the value of X may be 5, 6, 7, 8, or 9.

一例として、上記のＸの値は４であり、長さＬ１と長さＬ２のアスペクト比は１：４であってもよい。ボタン１１は、例えば、矩形状を呈する。一例として、ボタン１１は正方形状であってもよい。ボタン１１の一辺の長さは、例えば、１８ｍｍ以上且つ２４ｍｍ以下である。しかしながら、ボタン１１の形状及び大きさは適宜変更可能である。 As an example, the value of X above may be 4, and the aspect ratio between length L1 and length L2 may be 1:4. The button 11 has, for example, a rectangular shape. As an example, the button 11 may have a square shape. The length of one side of the button 11 is, for example, 18 mm or more and 24 mm or less. However, the shape and size of the button 11 can be changed as appropriate.

表示面１０は、複数のボタン１１以外のものを表示してもよい。例えば、表示面１０は、複数のボタン１１と、文字情報１３とを含んでもよい。文字情報１３は、一例として、日付情報、時刻情報、気温情報、温度情報及び気圧情報の少なくともいずれかを含んでいてもよい。 The display surface 10 may display items other than the plurality of buttons 11. For example, the display surface 10 may include a plurality of buttons 11 and text information 13. The character information 13 may include, for example, at least one of date information, time information, temperature information, temperature information, and atmospheric pressure information.

表示面１０では、例えば、表示面１０の下側において複数のボタン１１が横方向に並ぶように表示され、複数のボタン１１の上方に文字情報１３が表示されてもよい。ボタン１１は、表示面１０の中心１０ｂからずれた位置に中心１１ｂが位置するように配置されてもよい。本実施形態では、一例として、複数のボタン１１のそれぞれは、中心１０ｂを通ると共に表示面１０の長手方向（横方向）に延びる基準線Ｖからオフセットした位置に表示される。 On the display surface 10, for example, a plurality of buttons 11 may be displayed so as to be lined up in the horizontal direction on the lower side of the display surface 10, and text information 13 may be displayed above the plurality of buttons 11. The button 11 may be arranged such that the center 11b is located at a position offset from the center 10b of the display surface 10. In this embodiment, as an example, each of the plurality of buttons 11 is displayed at a position offset from a reference line V passing through the center 10b and extending in the longitudinal direction (lateral direction) of the display surface 10.

図３は、空中操作装置１の内部構造を模式的に示す断面図である。図２及び図３に示されるように、例えば、筐体２は、横長に延びる箱状を呈する。一例として、筐体２は、壁部Ｗに取り付けられた状態において上下方向Ｄ１及び左右方向Ｄ２に延びる前面２ｂと、上下方向Ｄ１及び壁部Ｗからの突出方向Ｄ３に延びる左右一対の側面２ｃと、左右方向Ｄ２及び突出方向Ｄ３に延びる上面２ｄと、上面２ｄの反対側を向く下面２ｆとを有する。 FIG. 3 is a sectional view schematically showing the internal structure of the aerial operating device 1. As shown in FIG. As shown in FIGS. 2 and 3, for example, the housing 2 has a horizontally elongated box shape. As an example, the casing 2 has a front surface 2b extending in the vertical direction D1 and the horizontal direction D2 when attached to the wall W, and a pair of left and right side surfaces 2c extending in the vertical direction D1 and the protruding direction D3 from the wall W. , has an upper surface 2d extending in the left-right direction D2 and the protrusion direction D3, and a lower surface 2f facing opposite to the upper surface 2d.

突出部３は、例えば、矩形板状を呈する。一例として、突出部３は、前面２ｂの下側から突出すると共に上方に向けられる主面３ｂと、左右方向Ｄ２又は突出方向Ｄ３を向く端面３ｃと、主面３ｂの反対側を向く裏面３ｄとを有する。前述したように突出部３にはセンサ１２が内蔵されている。これにより、センサ１２によって対象物Ｆを検出しやすくすることができる。 The protrusion 3 has a rectangular plate shape, for example. As an example, the protrusion 3 has a main surface 3b that projects from the lower side of the front surface 2b and faces upward, an end surface 3c that faces in the left-right direction D2 or the protrusion direction D3, and a back surface 3d that faces the opposite side of the main surface 3b. has. As described above, the protrusion 3 has a built-in sensor 12. Thereby, the object F can be easily detected by the sensor 12.

空中操作装置１は、ボタン１１付きの表示面１０を表示する空中結像デバイス１４と、筐体２の内部に配置された表示装置１５と、制御部２０とを備える。空中結像デバイス１４及び表示装置１５は、表示面１０を虚像として空中に表示する虚像表示部に相当する。空中結像デバイス１４は、例えば、筐体２の前面２ｂの内側に位置する開口２ｇに固定されている再帰反射部材（再起反射鏡）である。 The aerial operating device 1 includes an aerial imaging device 14 that displays a display screen 10 with buttons 11, a display device 15 disposed inside a housing 2, and a control unit 20. The aerial imaging device 14 and the display device 15 correspond to a virtual image display unit that displays the display surface 10 as a virtual image in the air. The aerial imaging device 14 is, for example, a retroreflective member (retroreflector) fixed to an opening 2g located inside the front surface 2b of the housing 2.

開口２ｇは、例えば、筐体２の前面２ｂを構成する一対の第１板部２ｈと、第１板部２ｈの筐体２の内側に固定された一対の第２板部２ｊとによって画成される。一例として、第１板部２ｈ及び第２板部２ｊは、上下一対に設けられる。空中結像デバイス１４は、第１板部２ｈと第２板部２ｊの間に挟まれた状態で筐体２に固定されている。 The opening 2g is defined, for example, by a pair of first plate portions 2h forming the front surface 2b of the housing 2 and a pair of second plate portions 2j fixed to the inside of the housing 2 of the first plate portion 2h. be done. As an example, the first plate part 2h and the second plate part 2j are provided as a pair of upper and lower parts. The aerial imaging device 14 is fixed to the housing 2 while being sandwiched between the first plate part 2h and the second plate part 2j.

空中結像デバイス１４は、例えば、左右方向Ｄ２に延びる長辺と、上下方向Ｄ１に延びる短辺とを有する長方形状とされている。空中結像デバイス１４の一方の長辺及び他方の長辺のそれぞれが、第１板部２ｈと第２板部２ｊの間に挟まれている。表示装置１５は、空中結像デバイス１４に対して斜めに配置されている。 The aerial imaging device 14 has, for example, a rectangular shape having long sides extending in the left-right direction D2 and short sides extending in the up-down direction D1. One long side and the other long side of the aerial imaging device 14 are sandwiched between the first plate part 2h and the second plate part 2j. The display device 15 is arranged obliquely to the aerial imaging device 14 .

一例として、表示装置１５は液晶ディスプレイ（ＬＣＤ）である。表示装置１５は、筐体２の内部において空中結像デバイス１４の斜め上方に配置されている。表示装置１５は、画像を表示するスクリーンを有する。表示装置１５のスクリーンは、例えば、空中結像デバイス１４に向けて斜め下方に画像としての光Ｃを照射する。空中結像デバイス１４は、表示装置１５からの光Ｃを内部において複数回（例えば２回）反射し、空中操作装置１の使用者から見て空中結像デバイス１４よりも手前側の空間に表示面１０を結像する。 As an example, display device 15 is a liquid crystal display (LCD). The display device 15 is arranged diagonally above the aerial imaging device 14 inside the housing 2 . Display device 15 has a screen that displays images. The screen of the display device 15, for example, irradiates light C as an image diagonally downward toward the aerial imaging device 14. The aerial imaging device 14 internally reflects the light C from the display device 15 multiple times (for example, twice), and displays the image in a space in front of the aerial imaging device 14 when viewed from the user of the aerial operating device 1. Image the surface 10.

センサ１２は、例えば、突出部３の主面３ｂに露出していてもよい。一例として、センサ１２は深度センサである。例えば、センサ１２は、ボタン１１から延びる仮想直線上、すなわち、虚像であるボタン１１に対して正面位置に設けられる。センサ１２は、当該仮想直線に対して垂直な面における対象物Ｆの位置（２次元位置）の情報と、センサ１２から対象物Ｆまでの距離Ｋの情報とを含む距離画像データを取得する。センサ１２は、例えば、距離画像データを取得する。センサ１２は、例えば、取得した距離画像データを所定の周期（例えば１／３０秒）で制御部２０に出力する。 The sensor 12 may be exposed on the main surface 3b of the protrusion 3, for example. In one example, sensor 12 is a depth sensor. For example, the sensor 12 is provided on a virtual straight line extending from the button 11, that is, in a position in front of the button 11, which is a virtual image. The sensor 12 acquires distance image data including information on the position (two-dimensional position) of the object F in a plane perpendicular to the virtual straight line and information on the distance K from the sensor 12 to the object F. The sensor 12 acquires distance image data, for example. For example, the sensor 12 outputs the acquired distance image data to the control unit 20 at a predetermined period (for example, 1/30 seconds).

具体例として、センサ１２は、対象物Ｆを含む撮影領域内に存在する物体上の各点に光線（又は赤外線）を照射し、物体上の各点から反射した光線を受光する。そして、センサ１２は、受光した光線に基づいてセンサ１２と物体上の各点との距離を測定し、測定した距離を画素毎に出力する。センサ１２と物体上の各点との距離は、例えばＬｉｇｈｔ Ｃｏｄｉｎｇ方式によって測定されてもよい。 As a specific example, the sensor 12 irradiates a light beam (or infrared rays) to each point on an object existing in the photographing area including the target object F, and receives the light beam reflected from each point on the object. Then, the sensor 12 measures the distance between the sensor 12 and each point on the object based on the received light beam, and outputs the measured distance for each pixel. The distance between the sensor 12 and each point on the object may be measured by, for example, a light coding method.

Ｌｉｇｈｔ Ｃｏｄｉｎｇ方式では、センサ１２は、対象物Ｆを含む撮影領域内に存在する物体上の各点にランダムドットパターンで光線を照射する。そして、センサ１２は、物体上の各点から反射した光線を受光し、反射した光線のパターンの歪みを検出することによって、センサ１２と物体上の各点との距離を測定する。センサ１２は、物体上の各点の２次元位置の情報と、センサ１２から物体上の各点までの距離の情報とを複数の画素として検出し、検出した複数の画素を制御部２０に出力する。 In the Light Coding method, the sensor 12 irradiates each point on the object, including the object F, within the imaging area with a light beam in a random dot pattern. The sensor 12 then receives the light rays reflected from each point on the object and measures the distance between the sensor 12 and each point on the object by detecting the distortion of the pattern of the reflected light rays. The sensor 12 detects information on the two-dimensional position of each point on the object and information on the distance from the sensor 12 to each point on the object as a plurality of pixels, and outputs the detected plurality of pixels to the control unit 20. do.

制御部２０は、センサ１２及び表示装置１５のそれぞれと通信可能とされている。制御部２０は、例えば、プログラムを実行するＣＰＵ（Central Processing Unit）と、ＲＯＭ（Read Only Memory）及びＲＡＭ（Random Access Memory）を含む記憶部と、入出力部と、ドライバとを含む。制御部２０の各機能は、ＣＰＵの制御の下で入出力部を動作させ、記憶部におけるデータの読み出し又は書き込みを行うことによって実現される。制御部２０の形態及び配置場所については特に限定されない。 The control unit 20 is capable of communicating with each of the sensor 12 and the display device 15. The control unit 20 includes, for example, a CPU (Central Processing Unit) that executes a program, a storage unit including a ROM (Read Only Memory) and a RAM (Random Access Memory), an input/output unit, and a driver. Each function of the control unit 20 is realized by operating the input/output unit under the control of the CPU and reading or writing data in the storage unit. The form and location of the control unit 20 are not particularly limited.

図４は、制御部２０の機能ブロック図である。図３及び図４に示されるように、制御部２０は、機能的構成要素として、画像出力部２１と、対象物検出部２２と、認識部２３と、信号出力部２４と、通知部２５とを有する。画像出力部２１は、表示装置１５に表示される画像の画像データの制御信号を表示装置１５に出力する。表示装置１５は、画像出力部２１からの画像データの制御信号に基づいて、様々な種類の画像を表示することが可能である。 FIG. 4 is a functional block diagram of the control unit 20. As shown in FIGS. 3 and 4, the control unit 20 includes an image output unit 21, an object detection unit 22, a recognition unit 23, a signal output unit 24, and a notification unit 25 as functional components. has. The image output unit 21 outputs a control signal for image data of an image displayed on the display device 15 to the display device 15. The display device 15 is capable of displaying various types of images based on image data control signals from the image output section 21.

対象物検出部２２は、センサ１２から出力される距離画像データに基づいて対象物Ｆを検出する。対象物検出部２２は、対象物Ｆを検出すると、対象物Ｆの位置を示す位置データを認識部２３に出力する。認識部２３は、対象物検出部２２から出力された位置データに基づいて、対象物Ｆによってボタン１１が押されたことを認識する。 The target object detection unit 22 detects the target object F based on the distance image data output from the sensor 12. When the target object F is detected, the target object detection unit 22 outputs position data indicating the position of the target object F to the recognition unit 23. The recognition unit 23 recognizes that the button 11 has been pressed by the object F based on the position data output from the object detection unit 22.

通知部２５は、ボタン１１が押されたと認識部２３が認識したときに認識部２３から操作信号を受信する。通知部２５は、ボタン１１が操作されたと認識部２３が認識したときに、ボタン１１が操作されたことを空中操作装置１の使用者に通知する通知手段である。通知部２５は、例えば、音声出力部２５ｂと、色彩変更部２５ｃとを有する。 The notification unit 25 receives an operation signal from the recognition unit 23 when the recognition unit 23 recognizes that the button 11 has been pressed. The notification unit 25 is a notification unit that notifies the user of the aerial operating device 1 that the button 11 has been operated when the recognition unit 23 recognizes that the button 11 has been operated. The notification section 25 includes, for example, an audio output section 25b and a color change section 25c.

一例として、音声出力部２５ｂは、スピーカであり、認識部２３から操作信号を受信したときに音声を出力する。音声出力部２５ｂからの音声を使用者が聞くことにより、使用者はボタン１１が操作された旨を把握可能となる。色彩変更部２５ｃは、例えば、認識部２３から操作信号を受信したときに色彩変更信号を生成し、色彩変更信号を表示装置１５に出力する。 As an example, the audio output unit 25b is a speaker, and outputs audio when receiving an operation signal from the recognition unit 23. By hearing the audio from the audio output section 25b, the user can recognize that the button 11 has been operated. For example, the color change unit 25c generates a color change signal when receiving the operation signal from the recognition unit 23, and outputs the color change signal to the display device 15.

表示装置１５は、色彩変更部２５ｃから色彩変更信号を受信すると、例えば、使用者が押下したボタン１１の色彩を変更する。ボタン１１の色彩が変更されたことを使用者が視認することにより、使用者はボタン１１が操作された旨を把握可能となる。なお、表示装置１５は、色彩変更部２５ｃから色彩変更信号を受信したときに、ボタン１１以外の箇所の色彩を変更してもよい。 When the display device 15 receives the color change signal from the color change section 25c, it changes the color of the button 11 pressed by the user, for example. By visually recognizing that the color of the button 11 has been changed, the user can recognize that the button 11 has been operated. Note that the display device 15 may change the color of a portion other than the button 11 when receiving a color change signal from the color change section 25c.

以上の通知部２５を備えることにより、使用者はボタン１１が操作された旨を把握できる。しかしながら、通知部２５では、音声出力部２５ｂ及び色彩変更部２５ｃの少なくともいずれかが省略されてもよい。また、通知部２５は、音声出力部２５ｂによる音声出力、又は色彩変更部２５ｃによる色彩変更、とは異なる態様でボタン１１が操作された旨を使用者に通知してもよい。 By providing the above notification section 25, the user can know that the button 11 has been operated. However, in the notification section 25, at least one of the audio output section 25b and the color change section 25c may be omitted. Further, the notification unit 25 may notify the user that the button 11 has been operated in a manner different from the audio output by the audio output unit 25b or the color change by the color change unit 25c.

信号出力部２４は、ボタン１１が押されたと認識部２３が認識したときに、ボタン１１の押下操作に基づく制御信号を生成する。信号出力部２４は、生成した制御信号を空中操作装置１の外部の機器３０に送信し、制御信号を機器３０に送信することによって機器３０を動作させる。 The signal output unit 24 generates a control signal based on the pressing operation of the button 11 when the recognition unit 23 recognizes that the button 11 has been pressed. The signal output unit 24 transmits the generated control signal to a device 30 external to the aerial operating device 1, and operates the device 30 by transmitting the control signal to the device 30.

機器３０は、例えば、ウォシュレット付きの便器Ｂ（図１参照）、ウォシュレットの各部、及び洗面台Ｍのいずれかであってもよい。一例として、機器３０は便器Ｂであってもよく、便器Ｂは信号出力部２４から制御信号を受けたときに便器洗浄を行うように動作してもよい。このように、例示的な空中操作装置１では、虚像として表示されるボタン１１の操作でトイレＴの各部を動作させることが可能である。従って、トイレＴの各部の動作のためにボタン等を直接（物理的に）押す必要がないため、衛生的に操作を実現させることができる。 The device 30 may be, for example, a toilet bowl B with a washlet (see FIG. 1), various parts of the washlet, or a washbasin M. As an example, the device 30 may be a toilet bowl B, and the toilet bowl B may operate to flush the toilet bowl when receiving a control signal from the signal output section 24. In this way, in the exemplary aerial operating device 1, each part of the toilet T can be operated by operating the button 11 displayed as a virtual image. Therefore, since there is no need to directly (physically) press buttons or the like to operate each part of the toilet T, the operation can be performed hygienically.

例えば、認識部２３は、センサ１２によって検出された対象物Ｆがボタン１１の位置であると認識したときに信号出力部２４による制御信号の出力を抑制するようにボタン１１を無効としてもよい。また、認識部２３は、センサ１２によって検出された対象物Ｆがボタン１１から離れることを認識したときに信号出力部２４による制御信号の出力を許容するようにボタン１１を有効としてもよい。 For example, when the recognition unit 23 recognizes that the object F detected by the sensor 12 is at the position of the button 11, the recognition unit 23 may disable the button 11 so as to suppress the output of the control signal by the signal output unit 24. Furthermore, when the recognition unit 23 recognizes that the object F detected by the sensor 12 leaves the button 11, the recognition unit 23 may enable the button 11 so as to allow the signal output unit 24 to output a control signal.

また、認識部２３は、センサ１２と対象物Ｆとの距離Ｋが閾値Ｙ１以下であるか否か、及びセンサ１２と対象物Ｆとの距離Ｋが閾値Ｙ１より小さい閾値Ｙ２以下であるか否か、を判定してもよい。この場合、認識部２３は、センサ１２からの距離Ｋが閾値Ｙ１である押下判定面である第１面Ｚ１に対象物Ｆが到達したか否か、及びセンサ１２からの距離Ｋが閾値Ｙ２である押下判定面である第２面Ｚ２に対象物Ｆが到達したか否か、を判定する。 The recognition unit 23 also determines whether the distance K between the sensor 12 and the object F is less than or equal to the threshold Y1, and whether the distance K between the sensor 12 and the object F is less than or equal to the threshold Y2, which is smaller than the threshold Y1. It may be determined whether In this case, the recognition unit 23 determines whether or not the object F has reached the first surface Z1, which is the press determination surface, where the distance K from the sensor 12 is the threshold Y1, and the distance K from the sensor 12 is the threshold Y2. It is determined whether the object F has reached the second surface Z2, which is a certain press determination surface.

第１面Ｚ１及び第２面Ｚ２のそれぞれは、センサ１２からの距離が一定である部位に形成された仮想の面である。図５に示されるように、第１面Ｚ１及び第２面Ｚ２のそれぞれは、例えば、円形状を呈する。第１面Ｚ１及び第２面Ｚ２のそれぞれは、例えば、ボタン１１の近接位置に設けられる。第１面Ｚ１及び第２面Ｚ２の少なくともいずれかがボタン１１の位置と一致していてもよいし、第１面Ｚ１及び第２面Ｚ２の双方がボタン１１の位置と一致していなくてもよい。 Each of the first surface Z1 and the second surface Z2 is a virtual surface formed at a constant distance from the sensor 12. As shown in FIG. 5, each of the first surface Z1 and the second surface Z2 has a circular shape, for example. Each of the first surface Z1 and the second surface Z2 is provided at a position close to the button 11, for example. At least one of the first surface Z1 and the second surface Z2 may match the position of the button 11, or even if both the first surface Z1 and the second surface Z2 do not match the position of the button 11. good.

第１面Ｚ１から第２面Ｚ２までの距離は、一例として、互いに隣接する２つのセンサ１２間の距離の半分である。なお、図３では、第１面Ｚ１がボタン１１よりも使用者側に設けられ、且つ第２面Ｚ２がボタン１１よりもセンサ１２寄りの位置に設けられる例を示している。 The distance from the first surface Z1 to the second surface Z2 is, for example, half the distance between two adjacent sensors 12. Note that FIG. 3 shows an example in which the first surface Z1 is provided closer to the user than the button 11, and the second surface Z2 is provided closer to the sensor 12 than the button 11.

前述したように、センサ１２は、対象物Ｆの位置を複数回検出する。一例として、信号出力部２４は、表示面１０を挟む第１面Ｚ１と第２面Ｚ２との間に対象物Ｆが位置していることをセンサ１２が複数回検出したときにのみ、機器３０に制御信号を出力する。また、センサ１２は、センサ１２から対象物Ｆまでの距離Ｋを複数回計測する。例えば、通知部２５は、表示面１０を挟む第１面Ｚ１と第２面Ｚ２との間に対象物Ｆが位置していることをセンサ１２が複数回検出したときに、ボタン１１が押されたことを空中操作装置１の使用者に通知する。 As described above, the sensor 12 detects the position of the object F multiple times. As an example, the signal output unit 24 outputs the signal from the device 30 only when the sensor 12 detects multiple times that the object F is located between the first surface Z1 and the second surface Z2 that sandwich the display surface 10. Outputs a control signal to. Further, the sensor 12 measures the distance K from the sensor 12 to the object F multiple times. For example, when the sensor 12 detects multiple times that the object F is located between the first surface Z1 and the second surface Z2 that sandwich the display surface 10, the notification unit 25 detects that the button 11 is pressed. The user of the aerial operating device 1 is notified of this fact.

そして、信号出力部２４は、計測されたセンサ１２から対象物Ｆまでの距離Ｋの平均値が、センサ１２から第２面Ｚ２までの距離（閾値Ｙ２）以上且つセンサ１２から第１面Ｚ１までの距離（閾値Ｙ１）以下であるときにのみ機器３０に制御信号を出力する。具体例として、センサ１２が距離Ｋをｎ回（ｎは自然数）計測したときに、距離Ｋの平均値が閾値Ｙ１以上且つ閾値Ｙ２以下であるときに信号出力部２４が制御信号を機器３０に出力する。上記のｎの値は、例えば、３以上且つ１０以下（一例として５）である。 Then, the signal output unit 24 determines that the average value of the measured distance K from the sensor 12 to the object F is greater than or equal to the distance (threshold value Y2) from the sensor 12 to the second surface Z2 and from the sensor 12 to the first surface Z1. A control signal is output to the device 30 only when the distance is less than or equal to the distance (threshold value Y1). As a specific example, when the sensor 12 measures the distance K n times (n is a natural number), the signal output unit 24 outputs a control signal to the device 30 when the average value of the distance K is greater than or equal to the threshold value Y1 and less than or equal to the threshold value Y2. Output. The above value of n is, for example, 3 or more and 10 or less (5 as an example).

信号出力部２４は、センサ１２によって検出された対象物Ｆの位置が第１面Ｚ１であると認識部２３が認識した後に、センサ１２によって検出された対象物Ｆの位置が第１面Ｚ１よりもセンサ１２寄りの第２面Ｚ２であると認識部２３が認識したときにのみ、機器３０に制御信号を出力してもよい。 After the recognition unit 23 recognizes that the position of the object F detected by the sensor 12 is on the first surface Z1, the signal output section 24 determines whether the position of the object F detected by the sensor 12 is on the first surface Z1. The control signal may be output to the device 30 only when the recognition unit 23 recognizes that the second surface Z2 is located closer to the sensor 12.

信号出力部２４は、複数のセンサ１２が対象物Ｆを同時に検出したときに、機器３０に制御信号を出力しないように構成されていてもよい。また、複数のセンサ１２の少なくともいずれかがダミーセンサであってもよく、信号出力部２４は当該ダミーセンサによって対象物Ｆの位置が検出されたときに機器３０に制御信号を出力しないように構成されていてもよい。ダミーセンサは、例えば、表示面１０におけるボタン１１の隣接位置に接近する対象物Ｆの位置を検出する。以上のように所定の条件下で信号出力部２４が制御信号を出力しないように構成されていることにより、機器３０の誤動作を抑制することができる。 The signal output unit 24 may be configured not to output a control signal to the device 30 when the plurality of sensors 12 detect the object F at the same time. Further, at least one of the plurality of sensors 12 may be a dummy sensor, and the signal output unit 24 is configured not to output a control signal to the device 30 when the position of the object F is detected by the dummy sensor. may have been done. The dummy sensor detects, for example, the position of the object F approaching a position adjacent to the button 11 on the display surface 10. By being configured so that the signal output unit 24 does not output a control signal under predetermined conditions as described above, malfunctions of the device 30 can be suppressed.

図６は、複数のボタン１１と認識部２３との関係の例を模式的に示すブロック図である。図６に例示されるように、複数のボタン１１は、少なくとも１つのボタン１１を含むグループを構成する。グループの数は、単数であってもよいし、複数であってもよい。グループは、同一線上でタッチできる関係にある複数のボタン１１から構成されていてもよい。図６の例では、ボタン１１Ａ及びボタン１１Ｂを含むグループＧ１、ボタン１１Ｃ、ボタン１１Ｄ及びボタン１１Ｅを含むグループＧ２、並びに、ボタン１１Ｎを含むグループＧＸ（Ｘは３以上の自然数）が構成されている。 FIG. 6 is a block diagram schematically showing an example of the relationship between the plurality of buttons 11 and the recognition unit 23. As illustrated in FIG. 6, the plurality of buttons 11 constitute a group including at least one button 11. The number of groups may be singular or plural. A group may be composed of a plurality of buttons 11 that can be touched on the same line. In the example of FIG. 6, a group G1 includes buttons 11A and 11B, a group G2 includes buttons 11C, 11D, and 11E, and a group GX includes buttons 11N (X is a natural number of 3 or more). .

図７は、以上のようにグループ分けされたボタン１１の操作を認識部２３が認識する認識方法のフローチャートである。図７に示されるように、まず、認識部２３は、タッチされたボタン１１のグループを認識する。例えば、認識部２３は、センサ１２によって検出された対象物Ｆがボタン１１Ａ（又はボタン１１Ｂ）の位置であるときに、グループＧ１の領域を認識する。このとき、例えば、グループＧ１におけるタッチ同一線上の領域を認識する（ステップＳ１）。 FIG. 7 is a flowchart of a recognition method in which the recognition unit 23 recognizes the operations of the buttons 11 grouped as described above. As shown in FIG. 7, first, the recognition unit 23 recognizes the group of buttons 11 that have been touched. For example, the recognition unit 23 recognizes the area of the group G1 when the object F detected by the sensor 12 is located at the button 11A (or button 11B). At this time, for example, an area on the same line as the touch in group G1 is recognized (step S1).

認識部２３は、センサ１２によって検出された対象物ＦがグループＧ１のボタン１１Ａ（又はボタン１１Ｂ）の位置であると認識したときに、グループＧ１の全てのボタン１１（ボタン１１Ａ及びボタン１１Ｂ）を無効とする。すなわち、前述した領域にある全てのボタンを無効とする（ステップＳ２）。そして、認識部２３は、グループＧ１（例えば前述した領域）にある全てのボタン（ボタン１１Ａ及びボタン１１Ｂ）を有効可能候補とする（ステップＳ３）。 When the recognition unit 23 recognizes that the object F detected by the sensor 12 is located at the button 11A (or button 11B) of the group G1, the recognition unit 23 activates all the buttons 11 (button 11A and button 11B) of the group G1. shall be invalidated. That is, all buttons in the above-mentioned area are disabled (step S2). Then, the recognition unit 23 sets all buttons (button 11A and button 11B) in group G1 (for example, the above-mentioned area) as valid candidates (step S3).

ところで、例えば、最初にボタン１１Ａを押そうとしたが、押したときにボタン１１Ｂを押したかったことに使用者が気付くことがある。そのときに、使用者は、表示面１０から指等の対象物Ｆを離さず、そのまま表示面１０に対象物Ｆを添えたままボタン１１Ｂに対象物Ｆを移動させることがあり、ボタン１１Ｂから対象物Ｆを離したときに動作させるようにしたいことが考えられる。このとき、認識部２３は、センサ１２によって検出された対象物Ｆがボタン１１Ｂから離れるか否か、すなわち、対象物Ｆの位置がタッチリリースボタン座標であるか否かを判定する（ステップＳ４）。認識部２３は、センサ１２によって検出された対象物Ｆがボタン１１Ｂから離れることを認識したとき、すなわち、対象物Ｆの位置がタッチリリースボタン座標であるときに、信号出力部２４による制御信号の出力を許容するようにボタン１１Ｂを有効とし（ステップＳ５）、一連の工程を終了する。一方、認識部２３は、センサ１２によって検出された対象物Ｆがボタン１１Ｂから離れることを認識しないとき、すなわち、対象物Ｆの位置がタッチリリースボタン座標でないときには、そのまま一連の工程を終了する。 By the way, for example, the user may try to press the button 11A first, but then realize that he wanted to press the button 11B. At that time, the user may move the object F, such as a finger, from the display surface 10 to the button 11B while keeping the object F on the display surface 10. It is conceivable that it is desired to operate the object F when it is released. At this time, the recognition unit 23 determines whether the object F detected by the sensor 12 leaves the button 11B, that is, whether the position of the object F is at the touch release button coordinates (step S4). . When the recognition unit 23 recognizes that the object F detected by the sensor 12 leaves the button 11B, that is, when the position of the object F is at the touch release button coordinates, the recognition unit 23 outputs a control signal from the signal output unit 24. The button 11B is enabled to allow output (step S5), and the series of steps is completed. On the other hand, when the recognition unit 23 does not recognize that the object F detected by the sensor 12 leaves the button 11B, that is, when the position of the object F is not at the touch release button coordinates, the recognition unit 23 directly ends the series of steps.

次に、本実施形態に係る空中操作装置１から得られる作用効果について説明する。空中操作装置１では、空中結像デバイス１４が空中に虚像として複数のボタン１１付きの表示面１０を表示し、ボタン１１に接近する指等の対象物Ｆの位置をセンサ１２が検出する。認識部２３はセンサ１２によって検出された対象物Ｆの位置に基づいてボタン１１が押されたか否かを認識する。信号出力部２４は、押されたボタン１１に応じた制御信号を空中操作装置１の外部の機器３０に出力する。認識部２３は、対象物Ｆがボタン１１の位置にあるときに複数のボタン１１の操作を無効にする。従って、ボタン１１が押されたタイミングで複数のボタン１１を無効にすることにより、意図しないボタン１１が反応して意図しない動作が生じることを抑制することができる。 Next, the effects obtained from the aerial operating device 1 according to this embodiment will be explained. In the aerial operating device 1, an aerial imaging device 14 displays a display screen 10 with a plurality of buttons 11 as a virtual image in the air, and a sensor 12 detects the position of an object F such as a finger approaching the button 11. The recognition unit 23 recognizes whether the button 11 has been pressed based on the position of the object F detected by the sensor 12. The signal output unit 24 outputs a control signal according to the pressed button 11 to a device 30 external to the aerial operating device 1. The recognition unit 23 disables operations on the plurality of buttons 11 when the object F is located at the button 11 position. Therefore, by disabling the plurality of buttons 11 at the timing when the button 11 is pressed, it is possible to prevent an unintended button 11 from reacting and causing an unintended operation.

また、認識部２３は、対象物Ｆがボタン１１から離れるときに、信号出力部２４による制御信号の出力を許容するように当該ボタン１１を有効とする。従って、対象物Ｆがボタン１１から離れるタイミングで当該ボタン１１を有効にすることにより、意図したボタン１１のみを反応させて意図した動作を実現させることができる。よって、誤動作を抑制することができると共に、ボタン１１の操作性を向上させることができる。 Furthermore, when the object F leaves the button 11, the recognition unit 23 enables the button 11 to allow the signal output unit 24 to output a control signal. Therefore, by activating the button 11 at the timing when the object F leaves the button 11, it is possible to cause only the intended button 11 to respond and realize the intended operation. Therefore, malfunctions can be suppressed and the operability of the button 11 can be improved.

複数のボタン１１は、少なくとも１つのボタン１１を含むグループＧ１，Ｇ２，ＧＸを構成し、認識部２３は、センサ１２によって検出された対象物ＦがグループＧ１，Ｇ２，ＧＸのボタン１１の位置であると認識したときに、グループＧ１，Ｇ２，ＧＸの全てのボタン１１の操作を無効としてもよい。例えば、認識部２３は、対象物ＦがグループＧ１に属するボタン１１Ａの位置にあるときに、グループＧ１の全てのボタン１１（ボタン１１Ａ及びボタン１１Ｂ）を無効にする。グループＧ１のボタンが押されたタイミングでグループＧ１に属する全てのボタン１１を無効にすることにより、グループＧ１内における他のボタン１１が反応して意図しない動作が生じることを抑制できる。具体例として、ボタン１１Ａを押したつもりだったがボタン１１Ｂが反応してしまったと使用者が感じることを回避することができる。 The plurality of buttons 11 constitute groups G1, G2, and GX each including at least one button 11, and the recognition unit 23 determines that the object F detected by the sensor 12 is located at the position of the button 11 of the groups G1, G2, and GX. When it is recognized that there is a button 11 in groups G1, G2, and GX, operations on all buttons 11 in groups G1, G2, and GX may be disabled. For example, when the object F is located at the position of the button 11A belonging to the group G1, the recognition unit 23 disables all the buttons 11 (button 11A and button 11B) of the group G1. By disabling all the buttons 11 belonging to the group G1 at the timing when the button of the group G1 is pressed, it is possible to prevent other buttons 11 in the group G1 from reacting and causing unintended operations. As a specific example, it is possible to avoid the user feeling that he intended to press the button 11A but the button 11B did not respond.

図３に例示されるように、空中操作装置１では、空中結像デバイス１４によって結像される表示面１０を挟む第１面Ｚ１と第２面Ｚ２との間に対象物Ｆが位置することをセンサ１２が複数回検出したときにのみ、信号出力部２４が機器３０に制御信号を出力する。すなわち、第１面Ｚ１と第２面Ｚ２の間に対象物Ｆが位置することをセンサ１２が複数回検出したときにのみ、信号出力部２４が機器３０に制御信号を出力して機器３０が動作する。従って、第１面Ｚ１と第２面Ｚ２の間に位置する対象物Ｆをセンサ１２が複数回検出しない場合には、信号出力部２４が制御信号を出力しないので、対象物Ｆの誤検出を抑制することができる。その結果、機器３０の誤動作を抑制することができる。 As illustrated in FIG. 3, in the aerial operating device 1, the object F is located between the first surface Z1 and the second surface Z2 that sandwich the display surface 10 that is imaged by the aerial imaging device 14. The signal output unit 24 outputs a control signal to the device 30 only when the sensor 12 detects the same multiple times. That is, only when the sensor 12 detects multiple times that the object F is located between the first surface Z1 and the second surface Z2, the signal output section 24 outputs a control signal to the device 30 so that the device 30 Operate. Therefore, if the sensor 12 does not detect the object F located between the first surface Z1 and the second surface Z2 multiple times, the signal output section 24 does not output the control signal, so that the erroneous detection of the object F is prevented. Can be suppressed. As a result, malfunctions of the device 30 can be suppressed.

空中操作装置１は、認識部２３が認識したことを空中操作装置１の使用者に通知する通知部２５を備え、通知部２５は、表示面１０を挟む第１面Ｚ１と第２面Ｚ２との間に対象物Ｆが位置していることをセンサ１２が複数回検出したときに、ボタン１１が押されたことを使用者に通知してもよい。この場合、第１面Ｚ１と第２面Ｚ２の間に対象物Ｆが位置することをセンサ１２が複数回検出したときに、ボタン１１が押されたことが使用者に通知される。従って、ボタン１１が正しく押されたことを使用者に通知することができるので、ボタン１１の操作性を向上させることができる。 The aerial operating device 1 includes a notification section 25 that notifies the user of the aerial operating device 1 that the recognition section 23 has recognized the information. The user may be notified that the button 11 has been pressed when the sensor 12 detects multiple times that the object F is located between the two. In this case, when the sensor 12 detects multiple times that the object F is located between the first surface Z1 and the second surface Z2, the user is notified that the button 11 has been pressed. Therefore, since the user can be notified that the button 11 has been pressed correctly, the operability of the button 11 can be improved.

センサ１２は、センサ１２から対象物Ｆまでの距離Ｋを複数回計測し、信号出力部２４は、計測されたセンサ１２から対象物Ｆまでの距離Ｋの平均値が、センサ１２から第２面Ｚ２までの距離以上且つセンサ１２から第１面Ｚ１までの距離以下であるときにのみ、機器３０に制御信号を出力してもよい。この場合、信号出力部２４は、計測された距離Ｋの平均値が、センサ１２から第２面Ｚ２までの距離以上、且つセンサ１２から第１面Ｚ１までの距離以下である場合にのみ、機器３０に制御信号を出力する。従って、距離Ｋの平均値が、センサ１２から第２面Ｚ２までの距離より短い場合、又はセンサ１２から第１面Ｚ１までの距離より長い場合には、信号出力部２４は制御信号を出力しない。従って、対象物Ｆの誤検出を抑制して誤動作をより確実に抑制することができる。 The sensor 12 measures the distance K from the sensor 12 to the object F multiple times, and the signal output unit 24 determines that the average value of the measured distance K from the sensor 12 to the object F is determined from the sensor 12 to the second surface. The control signal may be output to the device 30 only when the distance is greater than or equal to Z2 and less than or equal to the distance from the sensor 12 to the first surface Z1. In this case, the signal output unit 24 outputs the signal to the device only when the average value of the measured distances K is greater than or equal to the distance from the sensor 12 to the second surface Z2 and less than or equal to the distance from the sensor 12 to the first surface Z1. A control signal is output to 30. Therefore, if the average value of the distance K is shorter than the distance from the sensor 12 to the second surface Z2 or longer than the distance from the sensor 12 to the first surface Z1, the signal output section 24 does not output the control signal. . Therefore, erroneous detection of the object F can be suppressed and malfunctions can be suppressed more reliably.

空中操作装置１は、複数のセンサ１２を備え、信号出力部２４は、複数のセンサ１２が対象物Ｆを検出したときに、機器３０に制御信号を出力しなくてもよい。この場合、複数のセンサ１２が対象物Ｆを検出したときに制御信号の出力が抑制されるので、誤検出及び誤動作をより確実に抑制することができる。 The aerial operating device 1 includes a plurality of sensors 12, and the signal output unit 24 does not need to output a control signal to the device 30 when the plurality of sensors 12 detect the object F. In this case, since the output of the control signal is suppressed when the plurality of sensors 12 detect the object F, erroneous detection and malfunction can be suppressed more reliably.

空中操作装置１では、対象物Ｆの位置が第１面Ｚ１であると認識部２３が認識した後に、対象物Ｆの位置が第１面Ｚ１よりもセンサ１２寄りの第２面Ｚ２であると認識部２３が認識したときにのみ、信号出力部２４が機器３０に制御信号を出力してもよい。この場合、対象物Ｆが第１面Ｚ１からセンサ１２寄りの第２面Ｚ２に移動したことが認識されたときにのみ機器３０に制御信号が出力される。従って、対象物Ｆが第１面Ｚ１から第２面Ｚ２に移動する場合以外には制御信号が機器３０に出力されないので、対象物Ｆの誤検出、及び機器の誤動作を抑制することができる。具体例として、トイレＴを使用している使用者の衣服等が表示面１０を通った場合、トイレットペーパーＥを取ろうとする使用者の手が表示面１０を通った場合、トイレＴの掃除をするときに手等が表示面１０を通った場合、及び小さな虫が表示面１０を通った場合等におけるボタン１１の誤検出を抑制することができる。 In the aerial operating device 1, after the recognition unit 23 recognizes that the position of the object F is on the first surface Z1, the recognition unit 23 recognizes that the position of the object F is on the second surface Z2, which is closer to the sensor 12 than the first surface Z1. The signal output unit 24 may output a control signal to the device 30 only when the recognition unit 23 recognizes the device. In this case, a control signal is output to the device 30 only when it is recognized that the object F has moved from the first surface Z1 to the second surface Z2 closer to the sensor 12. Therefore, since the control signal is not output to the device 30 except when the object F moves from the first surface Z1 to the second surface Z2, erroneous detection of the object F and malfunction of the device can be suppressed. As a specific example, if the clothes, etc. of a user using the toilet T pass through the display surface 10, or if the hand of a user trying to remove toilet paper E passes through the display surface 10, the toilet T will not be cleaned. Erroneous detection of the button 11 can be suppressed when a hand or the like passes through the display surface 10 when doing so, or when a small insect passes through the display surface 10.

空中操作装置１は、複数のセンサ１２を備え、第１面Ｚ１から第２面Ｚ２までの距離は、互いに隣接する２つのセンサ１２間の距離の半分であってもよい。この場合、対象物Ｆが第１面Ｚ１から２つのセンサ１２間の距離の半分移動して第２面Ｚ２に達したときにのみ、機器３０に対する制御信号が出力される。従って、機器３０に対する制御信号の出力を制限できるので、誤動作を抑制することができる。 The aerial operating device 1 includes a plurality of sensors 12, and the distance from the first surface Z1 to the second surface Z2 may be half the distance between two adjacent sensors 12. In this case, the control signal for the device 30 is output only when the object F moves from the first surface Z1 by half the distance between the two sensors 12 and reaches the second surface Z2. Therefore, since the output of control signals to the device 30 can be restricted, malfunctions can be suppressed.

空中操作装置１は、表示面１０におけるボタン１１の隣接位置に接近する対象物Ｆの位置を検出するダミーセンサを備え、信号出力部２４は、当該ダミーセンサによって対象物Ｆの位置が検出されたときに、機器３０に制御信号を出力しなくてもよい。この場合、ボタン１１の隣接位置にある対象物Ｆをダミーセンサが検出したときに機器３０への制御信号の出力が規制される。従って、対象物Ｆの誤検出、及び機器３０の誤動作をより確実に抑制することができる。 The aerial operating device 1 includes a dummy sensor that detects the position of the object F approaching the position adjacent to the button 11 on the display surface 10, and the signal output unit 24 detects the position of the object F that is detected by the dummy sensor. Sometimes, it is not necessary to output a control signal to the device 30. In this case, when the dummy sensor detects the object F located adjacent to the button 11, the output of the control signal to the device 30 is regulated. Therefore, erroneous detection of the object F and malfunction of the device 30 can be suppressed more reliably.

以上、本開示に係る空中操作装置の実施形態について説明した。しかしながら、本開示に係る空中操作装置は、前述した実施形態に限定されるものではなく、各請求項に記載した要旨を変更しない範囲において変形し、又は他のものに適用したものであってもよい。すなわち、空中操作装置の各部の構成、形状、大きさ、数、材料及び配置態様は、前述した要旨を変更しない範囲において適宜変更可能である。 The embodiments of the aerial operating device according to the present disclosure have been described above. However, the aerial operating device according to the present disclosure is not limited to the above-described embodiments, and may be modified or applied to other things without changing the gist of each claim. good. That is, the configuration, shape, size, number, material, and arrangement of each part of the aerial operating device can be changed as appropriate without changing the gist described above.

例えば、前述の実施形態では、センサ１２は、センサ１２と物体上の各点との距離をＬｉｇｈｔ Ｃｏｄｉｎｇ方式によって測定する例について説明したが、この方式に限定されない。例えば、センサ１２は、センサ１２と物体上の各点との距離を、ＴＯＦ（Ｔｉｍｅ Ｏｆ Ｆｌｉｇｈｔ）方式によって測定してもよい。ＴＯＦ方式では、センサ１２は、光線が物体上の各点で反射してセンサ１２に到達するまでの光線の飛行時間（遅れ時間）を算出し、算出した飛行時間と光の速度とから、センサ１２と物体上の各点との距離を測定する。このような形態であっても、前述した実施形態と同様の効果を奏する。更に、センサの種類は深度センサに限定されない。すなわち、深度センサであるセンサ１２に代えて、赤外線センサ又は超音波センサ等を備えていてもよく、センサの種類は適宜変更可能である。 For example, in the above-described embodiment, an example was described in which the sensor 12 measures the distance between the sensor 12 and each point on the object using a light coding method, but the method is not limited to this method. For example, the sensor 12 may measure the distance between the sensor 12 and each point on the object using a TOF (Time Of Flight) method. In the TOF method, the sensor 12 calculates the flight time (delay time) of the light ray until it reaches the sensor 12 after being reflected at each point on the object, and from the calculated flight time and the speed of light, the sensor 12 Measure the distance between 12 and each point on the object. Even with such a configuration, the same effects as those of the embodiment described above can be achieved. Furthermore, the type of sensor is not limited to a depth sensor. That is, instead of the sensor 12, which is a depth sensor, an infrared sensor, an ultrasonic sensor, or the like may be provided, and the type of sensor can be changed as appropriate.

また、前述の実施形態では、下部に複数のボタン１１が横方向に並ぶように配置され、ボタン１１の上方に文字情報１３が表示される表示面１０を空中結像デバイス１４及び表示装置１５が表示する例について説明した。しかしながら、表示面のボタン等のレイアウトは、上記の例に限られず適宜変更可能である。 Furthermore, in the embodiment described above, a plurality of buttons 11 are arranged horizontally at the bottom, and the aerial imaging device 14 and the display device 15 control the display surface 10 on which the text information 13 is displayed above the buttons 11. An example of display has been explained. However, the layout of buttons and the like on the display surface is not limited to the above example and can be changed as appropriate.

次に、変形例に係る空中操作装置４１について図８及び図９を参照しながら説明する。図８は、変形例に係る空中操作装置４１を示す斜視図である。図９は、空中操作装置４１の内部構造を模式的に示す縦断面図である。図８及び図９に示されるように、空中操作装置４１は、テンキーである複数のボタン５１を備えた表示面５０を虚像として空中に表示する。空中操作装置４１は柱状を呈する。空中操作装置４１は、第１方向Ａ１、第２方向Ａ２及び第３方向Ａ３に延在する。 Next, an aerial operating device 41 according to a modification will be described with reference to FIGS. 8 and 9. FIG. 8 is a perspective view showing an aerial operating device 41 according to a modified example. FIG. 9 is a vertical cross-sectional view schematically showing the internal structure of the aerial operating device 41. As shown in FIG. As shown in FIGS. 8 and 9, the aerial operating device 41 displays a virtual image of a display surface 50 including a plurality of buttons 51, which are numeric keys, in the air. The aerial operating device 41 has a columnar shape. The aerial operating device 41 extends in a first direction A1, a second direction A2, and a third direction A3.

第１方向Ａ１は空中操作装置４１の奥行方向（前後方向）に相当し、、第２方向Ａ２は空中操作装置４１の幅方向に相当し、第３方向Ａ３は空中操作装置４１の高さ方向に相当する。空中操作装置４１の第３方向Ａ３の長さ（高さ）は、空中操作装置４１の第１方向Ａ１の長さ（奥行）、及び空中操作装置４１の第２方向Ａ２の長さ（幅）よりも長い。これにより使用者に対する表示面５０の視認性を一層高めることが可能となる。 The first direction A1 corresponds to the depth direction (back and forth direction) of the aerial operating device 41, the second direction A2 corresponds to the width direction of the aerial operating device 41, and the third direction A3 corresponds to the height direction of the aerial operating device 41. corresponds to The length (height) of the aerial operating device 41 in the third direction A3 is the length (depth) of the aerial operating device 41 in the first direction A1, and the length (width) of the aerial operating device 41 in the second direction A2. longer than This makes it possible to further improve the visibility of the display surface 50 for the user.

空中操作装置４１は、空中操作装置４１の外面を構成する筐体４２を備える。筐体４２は、例えば、鉛直上方を向く上面４２ｂと、第２方向Ａ２に沿って並ぶ一対の側面４２ｃと、第１方向Ａ１の一方側を向く前面４２ｄと、第１方向Ａ１の他方側を向く背面４２ｆと、鉛直下方を向く下面４２ｇとを有する。更に、筐体４２は、前面４２ｄの上側に位置する傾斜面４２ｈを有する。 The aerial operating device 41 includes a casing 42 that forms the outer surface of the aerial operating device 41 . The housing 42 has, for example, an upper surface 42b facing vertically upward, a pair of side surfaces 42c lined up along the second direction A2, a front surface 42d facing one side in the first direction A1, and a front surface 42d facing the other side in the first direction A1. It has a back surface 42f that faces toward the front, and a lower surface 42g that faces vertically downward. Furthermore, the housing 42 has an inclined surface 42h located above the front surface 42d.

傾斜面４２ｈには、空中結像デバイス５４が露出する矩形状の開口が形成されている。傾斜面４２ｈは、例えば、斜め上方に向けられている。空中結像デバイス５４によって結像される表示面５０は、傾斜面４２ｈよりも使用者寄りの位置に表示されるので、表示面５０の視認性を高めることができる。 A rectangular opening through which the aerial imaging device 54 is exposed is formed in the inclined surface 42h. For example, the inclined surface 42h is directed diagonally upward. Since the display surface 50 imaged by the aerial imaging device 54 is displayed at a position closer to the user than the inclined surface 42h, the visibility of the display surface 50 can be improved.

表示面５０のボタン５１は、現金自動預け払い機（ＡＴＭ：AutomatedTeller Machine）を操作するためのボタンである。ボタン５１付きの表示面５０は、空中に浮き出るように表示される空中浮遊像である。すなわち、ボタン５１付きの表示面５０は、空中に虚像として表示される。よって、空中操作装置４１の使用者は、直接タッチパネル等に触れなくて済むため衛生的に現金自動預け払い機を操作することが可能である。 Buttons 51 on the display screen 50 are buttons for operating an automated teller machine (ATM). The display surface 50 with the button 51 is a floating image displayed in the air. That is, the display surface 50 with the button 51 is displayed as a virtual image in the air. Therefore, the user of the aerial operating device 41 does not have to directly touch the touch panel or the like, and can operate the automatic teller machine hygienically.

例えば、表示面５０は、複数のボタン５１を備えており、使用者が複数のボタン５１を操作することによって現金自動預け払い機を操作することが可能である。筐体４２には、例えば、ボタン５１に接近する対象物Ｆを検出するセンサ４３が埋め込まれている。センサ４３の構成は、前述したセンサ１２の構成と同様である。 For example, the display surface 50 includes a plurality of buttons 51, and by operating the plurality of buttons 51, the user can operate the automatic teller machine. For example, a sensor 43 that detects an object F approaching the button 51 is embedded in the housing 42 . The configuration of the sensor 43 is similar to the configuration of the sensor 12 described above.

空中操作装置４１は、例えば、複数のセンサ４３を備える。センサ４３は、例えば、ボタン５１に対応して設けられており、各ボタン５１は各センサ４３の斜め上方に表示される。一例として、ボタン５１及びセンサ４３の数は１２である。表示面５０は、空中結像デバイス５４よりも使用者寄りの位置に表示され、且つ空中結像デバイス５４の斜め上方に表示される。これにより、使用者に表示面５０を視認しやすくすることができる。 The aerial operating device 41 includes, for example, a plurality of sensors 43. The sensors 43 are provided corresponding to, for example, the buttons 51, and each button 51 is displayed diagonally above each sensor 43. As an example, the number of buttons 51 and sensors 43 is twelve. The display surface 50 is displayed at a position closer to the user than the aerial imaging device 54, and is displayed diagonally above the aerial imaging device 54. Thereby, the display surface 50 can be easily recognized by the user.

例えば、表示面５０は光って表示されてもよく、この場合、周囲の明るさにかかわらず容易に表示面５０を視認することができる。表示面５０は、例えば、縦に長く延びる形状を呈する。一例として、表示面５０は矩形状に表示され、表示面５０の縦方向の長さは表示面５０の横方向の長さよりも長い。しかしながら、表示面５０の形状及び大きさは上記の例に限られず特に限定されない。表示面５０は、ボタン５１以外のものを表示してもよい。例えば、表示面５０は，複数のボタン５１と文字情報とを含んでもよい。文字情報は、一例として、日付情報及び時刻情報の少なくともいずれかを含んでもよい。 For example, the display surface 50 may be displayed by shining, and in this case, the display surface 50 can be easily recognized regardless of the surrounding brightness. The display surface 50 has, for example, a shape that extends vertically. As an example, the display surface 50 is displayed in a rectangular shape, and the length of the display surface 50 in the vertical direction is longer than the length of the display surface 50 in the horizontal direction. However, the shape and size of the display surface 50 are not limited to the above example and are not particularly limited. The display surface 50 may display items other than the buttons 51. For example, the display surface 50 may include a plurality of buttons 51 and text information. The character information may include, for example, at least one of date information and time information.

表示面５０では、例えば、複数のボタン５１が格子状に配列されるように表示される。一例として、複数のボタン５１は、テンキーとして表示される。この場合、空中操作装置４１のボタン５１を押すことによって、現金自動預け払い機に対して引き落としの金額、預け入れの金額、振込金額又は暗証番号を指定することが可能となる。 On the display surface 50, for example, a plurality of buttons 51 are displayed in a grid pattern. As an example, the plurality of buttons 51 are displayed as a numeric keypad. In this case, by pressing the button 51 of the aerial operating device 41, it becomes possible to specify the amount to be debited, the amount to be deposited, the amount to be transferred, or the password to the automatic teller machine.

ボタン５１の形状は、例えば、四角形状（一例として隅丸長方形状）である。しかしながら、ボタン５１の形状は、円形状、長円形状、又は多角形状であってもよく、特に限定されない。例えば、ボタン５１として、決定ボタン及び戻るボタンの少なくともいずれかが含まれていてもよい。この場合、決定ボタンは操作を決定させるボタンに相当し、戻るボタンは操作の前に戻るボタンに相当する。しかしながら、ボタン５１の種類は、上記の各例に限られず特に限定されない。 The shape of the button 51 is, for example, a square shape (an example is a rectangular shape with rounded corners). However, the shape of the button 51 may be circular, oval, or polygonal, and is not particularly limited. For example, the button 51 may include at least one of a decision button and a return button. In this case, the enter button corresponds to a button for determining an operation, and the return button corresponds to a button to return to the previous operation. However, the type of button 51 is not limited to the above examples and is not particularly limited.

空中操作装置４１は、ボタン５１付きの表示面５０を表示する空中結像デバイス５４と、筐体４２の内部に配置された表示装置５５と、制御部６０とを備える。空中結像デバイス５４及び表示装置５５は、表示面５０を虚像として空中に表示する虚像表示部に相当する。空中結像デバイス５４は、例えば、筐体４２の傾斜面４２ｈに形成された開口に固定されている再帰反射部材（再帰反射鏡）である。表示装置５５は、空中結像デバイス５４に対して斜めに配置されている。なお、空中結像デバイス５４、表示装置５５及び制御部６０のそれぞれの構成は、前述した空中結像デバイス１４、表示装置１５及び制御部２０のそれぞれの構成と同一である。 The aerial operating device 41 includes an aerial imaging device 54 that displays a display screen 50 with buttons 51, a display device 55 disposed inside the housing 42, and a control unit 60. The aerial imaging device 54 and the display device 55 correspond to a virtual image display unit that displays the display surface 50 as a virtual image in the air. The aerial imaging device 54 is, for example, a retroreflective member (retroreflector) fixed to an opening formed in the inclined surface 42h of the housing 42. Display device 55 is arranged obliquely with respect to aerial imaging device 54 . Note that the configurations of the aerial imaging device 54, the display device 55, and the control section 60 are the same as the configurations of the aerial imaging device 14, the display device 15, and the control section 20 described above.

以上、現金自動預け払い機に設けられる変形例の空中操作装置４１について説明したが、空中操作装置４１からも空中操作装置１と同様の作用効果が得られる。また、変形例に係る空中操作装置４１に対して、本開示に係る操作入力装置は、更に変形させることが可能である。例えば、前述の変形例では、現金自動預け払い機に設けられる空中操作装置４１について説明した。しかしながら、本開示に係る空中操作装置は、キッチン、水回り、病院、公共機関、駅又は空港等に設けられていてもよい。 The aerial operating device 41 as a modified example provided in an automated teller machine has been described above, but the same effects as the aerial operating device 1 can be obtained from the aerial operating device 41 as well. Moreover, the operation input device according to the present disclosure can be further modified with respect to the aerial operation device 41 according to the modification. For example, in the above-mentioned modification, the aerial operating device 41 provided in an automated teller machine has been described. However, the aerial operating device according to the present disclosure may be installed in a kitchen, a water area, a hospital, a public institution, a station, an airport, etc.

例えば、キッチンに設けられる空中操作装置では、ボタン付きの表示面が空中に虚像として表示されることにより、食材が付着した指等でディスプレイに直接触れなくても、料理アプリを操作可能となる。すなわち、従来は携帯端末等のディスプレイを触るために、わざわざ手を洗ってからディスプレイに表示される料理アプリを操作していたが、本開示に係る空中操作装置では、ボタン付きの表示面が空中に虚像として表示されるので、空中のボタンを操作することによって料理アプリを操作できる。従って、わざわざ手を洗わなくても料理アプリを操作できるので、操作性が高い空中操作装置とすることができる。 For example, in an aerial operation device installed in a kitchen, a display screen with buttons is displayed as a virtual image in the air, making it possible to operate a cooking app without directly touching the display with a finger or the like covered with food. That is, in the past, in order to touch the display of a mobile terminal, etc., one had to wash one's hands before operating a cooking app displayed on the display, but with the aerial operation device according to the present disclosure, the display surface with buttons is It is displayed as a virtual image, so you can operate the cooking app by operating the buttons in the air. Therefore, since the cooking application can be operated without taking the trouble of washing hands, it is possible to provide an aerial operating device with high operability.

例えば、ＡＴＭ、病院、公共機関、駅又は空港に設けられる空中操作装置では、ボタン付きの表示面が空中に虚像として表示されることにより、共用のディスプレイを直接触らなくても、ＡＴＭ、又は、病院若しくは空港の受付機等の操作を行うことが可能である。従って、共用のディスプレイへの指の接触を不要とすることができるので、衛生的に操作を行うことができる。 For example, in aerial operating devices installed at ATMs, hospitals, public institutions, stations, or airports, a display screen with buttons is displayed as a virtual image in the air, allowing users to operate ATMs or It is possible to operate reception machines at hospitals or airports. Therefore, since it is not necessary to touch the shared display with a finger, the operation can be performed hygienically.

１，４１…空中操作装置、２，４２…筐体、２ｂ…前面、２ｃ…側面、２ｄ…上面、２ｆ…下面、２ｇ…開口、２ｈ…第１板部、２ｊ…第２板部、３…突出部、３ｂ…主面、３ｃ…端面、３ｄ…裏面、１０，５０…表示面、１０ｂ…中心、１１，１１Ａ，１１Ｂ，１１Ｃ，１１Ｄ，１１Ｅ，１１Ｎ，５１…ボタン、１１ｂ…中心、１２，４３…センサ、１３…文字情報、１４，５４…空中結像デバイス、１５，５５…表示装置、２０，６０…制御部、２１…画像出力部、２２…対象物検出部、２３…認識部、２４…信号出力部、２５…通知部、２５ｂ…音声出力部、２５ｃ…色彩変更部、３０…機器、４２ｂ…上面、４２ｃ…側面、４２ｄ…前面、４２ｆ…背面、４２ｇ…下面、４２ｈ…傾斜面、Ａ１…第１方向、Ａ２…第２方向、Ａ３…第３方向、Ｂ…便器、Ｃ…光、Ｄ１…上下方向、Ｄ２…左右方向、Ｄ３…突出方向、Ｅ…トイレットペーパー、Ｆ…対象物、Ｇ１，Ｇ２，ＧＸ…グループ、Ｋ…距離、Ｍ…洗面台、Ｔ…トイレ、Ｖ…基準線、Ｗ…壁部、Ｙ１，Ｙ２…閾値、Ｚ１…第１面、Ｚ２…第２面。

DESCRIPTION OF SYMBOLS 1, 41... Aerial operation device, 2, 42... Housing, 2b... Front surface, 2c... Side surface, 2d... Top surface, 2f... Bottom surface, 2g... Opening, 2h... First plate part, 2j... Second plate part, 3 ...Protrusion, 3b...Main surface, 3c...End surface, 3d...Back surface, 10, 50...Display surface, 10b...Center, 11, 11A, 11B, 11C, 11D, 11E, 11N, 51...Button, 11b...Center, DESCRIPTION OF SYMBOLS 12, 43... Sensor, 13... Text information, 14, 54... Aerial imaging device, 15, 55... Display device, 20, 60... Control unit, 21... Image output unit, 22... Target object detection unit, 23... Recognition Part, 24...Signal output part, 25...Notification part, 25b...Audio output part, 25c...Color changing part, 30...Device, 42b...Top surface, 42c...Side surface, 42d...Front surface, 42f...Back surface, 42g...Bottom surface, 42h ... Inclined surface, A1 ... first direction, A2 ... second direction, A3 ... third direction, B ... toilet bowl, C ... light, D1 ... vertical direction, D2 ... left and right direction, D3 ... protruding direction, E ... toilet paper, F...Target, G1, G2, GX...Group, K...Distance, M...Washstand, T...Toilet, V...Reference line, W...Wall, Y1, Y2...Threshold, Z1...First surface, Z2... Second side.

Claims (9)

光を照射して情報を表示する表示装置と、
前記表示装置からの光を複数回反射させて空中に虚像として複数のボタン付きの表示面を表示する空中結像デバイスと、
前記ボタンに接近する対象物の位置を検出するセンサと、
を備えた空中操作装置であって、
前記センサによって検出された対象物の位置に基づいて、前記ボタンが押されたか否かを認識する認識部と、
前記空中操作装置の使用者によって押された前記ボタンに応じた制御信号を前記空中操作装置の外部の機器に出力し、前記機器の動作を制御する信号出力部と、
を備え、
前記認識部は、
前記センサによって検出された対象物が前記ボタンの位置であると認識したときに前記信号出力部による前記制御信号の出力を抑制するように複数の前記ボタンを無効とし、
前記センサによって検出された対象物が前記ボタンから離れることを認識したときに前記信号出力部による前記制御信号の出力を許容するように前記ボタンを有効とする、
空中操作装置。 a display device that displays information by irradiating light;
an aerial imaging device that displays a display surface with a plurality of buttons as a virtual image in the air by reflecting light from the display device multiple times;
a sensor that detects the position of an object approaching the button;
An aerial operating device comprising:
a recognition unit that recognizes whether or not the button is pressed based on the position of the object detected by the sensor;
a signal output unit that outputs a control signal according to the button pressed by a user of the aerial operating device to equipment external to the aerial operating device to control the operation of the equipment;
Equipped with
The recognition unit is
disabling the plurality of buttons so as to suppress output of the control signal by the signal output unit when it is recognized that the object detected by the sensor is at the position of the button;
activating the button to allow the signal output unit to output the control signal when it is recognized that the object detected by the sensor leaves the button;
Aerial control device. 前記複数のボタンは、少なくとも１つの前記ボタンを含むグループを構成し、
前記認識部は、前記センサによって検出された対象物が前記グループの前記ボタンの位置であると認識したときに、前記グループの全ての前記ボタンを無効とする、
請求項１に記載の空中操作装置。 The plurality of buttons constitute a group including at least one of the buttons,
The recognition unit disables all the buttons of the group when recognizing that the object detected by the sensor is at the position of the button of the group.
The aerial operating device according to claim 1. 光を照射して情報を表示する表示装置と、
前記表示装置からの光を複数回反射させて空中に虚像として複数のボタン付きの表示面を表示する空中結像デバイスと、
前記ボタンに接近する対象物の位置を検出するセンサと、
を備えた空中操作装置であって、
前記センサによって検出された対象物の位置に基づいて、前記ボタンが押されたか否かを認識する認識部と、
前記空中操作装置の外部の機器に制御信号を出力して前記機器の動作を制御する信号出力部と、
を備え、
前記センサは、前記対象物の位置を複数回検出し、
前記信号出力部は、前記表示面を挟む第１面と第２面との間に前記対象物が位置していることを前記センサが複数回検出したときにのみ、前記機器に制御信号を出力する、
空中操作装置。 a display device that displays information by irradiating light;
an aerial imaging device that displays a display surface with a plurality of buttons as a virtual image in the air by reflecting light from the display device multiple times;
a sensor that detects the position of an object approaching the button;
An aerial operating device comprising:
a recognition unit that recognizes whether or not the button is pressed based on the position of the object detected by the sensor;
a signal output unit that outputs a control signal to equipment external to the aerial operating device to control the operation of the equipment;
Equipped with
The sensor detects the position of the object multiple times,
The signal output unit outputs a control signal to the device only when the sensor detects multiple times that the object is located between a first surface and a second surface that sandwich the display surface. do,
Aerial control device. 前記認識部が認識したことを前記空中操作装置の使用者に通知する通知部を備え、
前記通知部は、前記表示面を挟む第１面と第２面との間に前記対象物が位置していることを前記センサが複数回検出したときに、前記ボタンが押されたことを前記使用者に通知する、
請求項３に記載の空中操作装置。 comprising a notification unit that notifies a user of the aerial operating device that the recognition unit has recognized,
The notification unit may notify the user that the button has been pressed when the sensor detects multiple times that the object is located between a first surface and a second surface that sandwich the display surface. notify the user;
The aerial operating device according to claim 3. 前記センサは、前記センサから前記対象物までの距離を複数回計測し、
前記信号出力部は、計測された前記センサから前記対象物までの距離の平均値が、前記センサから前記第２面までの距離以上且つ前記センサから前記第１面までの距離以下であるときにのみ、前記機器に制御信号を出力する、
請求項３又は４に記載の空中操作装置。 The sensor measures the distance from the sensor to the target object multiple times,
The signal output unit is configured to transmit a signal when an average value of measured distances from the sensor to the object is greater than or equal to the distance from the sensor to the second surface and less than or equal to the distance from the sensor to the first surface. only outputs a control signal to said equipment;
The aerial operating device according to claim 3 or 4. 複数の前記センサを備え、
前記信号出力部は、複数の前記センサが前記対象物を検出したときに、前記機器に制御信号を出力しない、
請求項３～５のいずれか一項に記載の空中操作装置。 comprising a plurality of the sensors,
The signal output unit does not output a control signal to the device when the plurality of sensors detect the target object.
The aerial operating device according to any one of claims 3 to 5. 光を照射して情報を表示する表示装置と、
前記表示装置からの光を複数回反射させて空中に虚像として複数のボタン付きの表示面を表示する空中結像デバイスと、
前記ボタンに接近する対象物の位置を検出するセンサと、
を備えた空中操作装置であって、
前記センサによって検出された対象物の位置に基づいて、前記ボタンが押されたか否かを認識する認識部と、
前記空中操作装置の外部の機器に制御信号を出力して前記機器の動作を制御する信号出力部と、
を備え、
前記センサは、前記対象物の位置を複数回検出し、
前記信号出力部は、前記センサによって検出された対象物の位置が第１面であると前記認識部が認識した後に、前記センサによって検出された対象物の位置が前記第１面よりも前記センサ寄りの位置にある第２面であると前記認識部が認識したときにのみ、前記機器に制御信号を出力する、
空中操作装置。 a display device that displays information by irradiating light;
an aerial imaging device that displays a display surface with a plurality of buttons as a virtual image in the air by reflecting light from the display device multiple times;
a sensor that detects the position of an object approaching the button;
An aerial operating device comprising:
a recognition unit that recognizes whether or not the button is pressed based on the position of the object detected by the sensor;
a signal output unit that outputs a control signal to equipment external to the aerial operating device to control the operation of the equipment;
Equipped with
The sensor detects the position of the object multiple times,
The signal output unit may be arranged such that, after the recognition unit recognizes that the position of the object detected by the sensor is on the first surface, the position of the object detected by the sensor is lower than the first surface. outputting a control signal to the device only when the recognition unit recognizes that the second surface is at a closer position;
Aerial control device. 複数の前記センサを備え、
前記第１面から前記第２面までの距離は、互いに隣接する２つの前記センサ間の距離の半分である、
請求項７に記載の空中操作装置。 comprising a plurality of the sensors,
The distance from the first surface to the second surface is half the distance between the two adjacent sensors,
The aerial operating device according to claim 7. 前記表示面における前記ボタンの隣接位置に接近する対象物の位置を検出するダミーセンサを備え、
前記信号出力部は、前記ダミーセンサによって前記対象物の位置が検出されたときに、前記機器に制御信号を出力しない、
請求項７又は８に記載の空中操作装置。

comprising a dummy sensor that detects the position of an object approaching a position adjacent to the button on the display surface,
The signal output unit does not output a control signal to the device when the position of the target object is detected by the dummy sensor.
The aerial operating device according to claim 7 or 8.
JP2020198783A 2020-11-30 2020-11-30 Aerial operation apparatus Pending JP2024004509A (en)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2020198783A JP2024004509A (en) 2020-11-30 2020-11-30 Aerial operation apparatus
PCT/JP2021/040611 WO2022113685A1 (en) 2020-11-30 2021-11-04 Aerial operation device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2020198783A JP2024004509A (en) 2020-11-30 2020-11-30 Aerial operation apparatus

Publications (1)

Publication Number Publication Date
JP2024004509A true JP2024004509A (en) 2024-01-17

Family

ID=81754412

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020198783A Pending JP2024004509A (en) 2020-11-30 2020-11-30 Aerial operation apparatus

Country Status (2)

Country Link
JP (1) JP2024004509A (en)
WO (1) WO2022113685A1 (en)

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012194617A (en) * 2011-03-15 2012-10-11 Lixil Corp Operation input device
JP2012252386A (en) * 2011-05-31 2012-12-20 Ntt Docomo Inc Display device
JP5987395B2 (en) * 2012-03-27 2016-09-07 セイコーエプソン株式会社 Display device
US10359883B2 (en) * 2014-12-26 2019-07-23 Nikon Corporation Detection device, electronic apparatus, detection method and program
JP2017115334A (en) * 2015-12-22 2017-06-29 アイシン精機株式会社 Human body private part washing apparatus
JP7225586B2 (en) * 2018-07-10 2023-02-21 オムロン株式会社 input device
JP2020021296A (en) * 2018-08-01 2020-02-06 シャープ株式会社 Electric apparatus

Also Published As

Publication number Publication date
WO2022113685A1 (en) 2022-06-02

Similar Documents

Publication Publication Date Title
US8907894B2 (en) Touchless pointing device
KR100829172B1 (en) Infrared Touch Screen Apparatus and Method for Calculation of Coordinations at a Touch Point of the Same
US20060164387A1 (en) Input apparatus and touch-reading character/symbol input method
US10019115B2 (en) Method and apparatus for contactlessly detecting indicated position on reproduced image
JP2017062709A (en) Gesture operation device
KR101019254B1 (en) apparatus having function of space projection and space touch and the controlling method thereof
US10042464B2 (en) Display apparatus including touchscreen device for detecting proximity touch and method for controlling the same
CA2691992A1 (en) Information inputting device, information outputting device and method
WO2021171733A1 (en) Operation input device
KR20110138975A (en) Apparatus for detecting coordinates, display device, security device and electronic blackboard including the same
JP2022130496A (en) input device
KR20120088344A (en) Apparatus and Method for Providing 3D Input Interface
JP2013186827A (en) Operation device
JP2024004509A (en) Aerial operation apparatus
KR20090116544A (en) Apparatus and method for space touch sensing and screen apparatus sensing infrared camera
WO2023079879A1 (en) Aerial operation device and start-up method
WO2022113687A1 (en) Aerial operation apparatus
WO2021260989A1 (en) Aerial image display input device and aerial mage display input method
JP2022539483A (en) Non-contact touch panel system, control method thereof, and non-contact input device attachable to existing touch screen
JP7272764B2 (en) Information provision system
WO2022085346A1 (en) Aerial display apparatus
KR101414356B1 (en) Portable Device and Information Input Method thereof
WO2022138165A1 (en) Operation input device and calibration method
JP2023168064A (en) Aerial operation device
KR20090116543A (en) Apparatus and method for space touch sensing and screen apparatus using depth sensor

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20231129

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20240528